WinActorの使い方⑪画像マッチングとは

WinActorの使い方⑪画像マッチングとは

WinActorの画像マッチングは非常に使いやすく、感覚的にわかりやすいものです。
初心者向けに使い方の詳細を下記の順で解説致します。
初心者の方はまず画像マッチングを利用してみましょう!

  1. 画像マッチングとは

  2. 対象のウィンドウを選択する

  3. ウィンドウ識別名の設定

  4. マッチングさせたい箇所の選択

  5. 条件指定(操作設定)

  6. 輪郭マッチングについて



1.画像マッチングとは


画像マッチングとは簡単に言いますと、
PCのモニターに表示されている内容を画像として識別します。
その画像に対してクリック等のマウス処理を記憶させます。

それでは画像マッチングをダブルクリックしてプロパティを開きます。



2.対象のウィンドウを選択する


先ずは対象のウィンドウを選択します。
下記の矢印ボタンをクリックします。


今回は下記のようにyahooを対象とします。
ウィンドウをクリックします。
※ブラウザは何を用いてもかまいません。


対象となるウィンドウが選択されると
下記のようにイメージ画像にそのウィンドウのタイトルが記載されます。


下記の矢印のイメージ管理を押下してみましょう。
選択したウィンドウが保存されています。



3.ウィンドウ識別名の設定


ウィンドウ識別名とは操作対象となるウィンドウの名前です。
先程と同様にウィンドウをクリックします。
下記のようにウィンドウ識別名にウィンドウのタイトルが記載されればOKです。




ちなみにウィンドウのタイトルとはIEですと下記の赤丸の箇所に表示されます。
カーソルを合わせるとウィンドウ識別名:Yahoo!JAPANが表示されます。
つまりwinactorはウィンドウ識別名に一致するウィンドウを探しに行くのです。



※ここで多くあるエラーが下記のようなパターンです。
 解決方法を下記で解説しました。

WinActorウィンドウ識別名 一致するウィンドウが存在しませんでした 解決方法



4.マッチングさせたい箇所の選択


マッチングさせたい箇所を赤□で囲みます。
今回はヤフオク!をクリックさせます。


マウス操作位置の設定

赤□だけでもいいのですが、
矢印で指定したマウス操作位置も設定した方がいいでしょう。
つまり赤□を基準にして十字マークをクリックするという意味になります。
※マウス操作位置(十字マーク)を設定しない場合は、赤□で囲った中心をクリックすることになります。


ここで
マウス操作位置って設定必要?と疑問をもたれた方もいらっしゃるかもしれません。
例えば下記のような時はどうでしょう。

メッセージ2の入力ボックスをクリックさせたいとします。



赤□だけの設定だと下記のようになります。
しかしメッセージ1やメッセージ3と似たようなボックスもあります。
このような場合メッセージ1やメッセージ3をクリックしてしまう可能性
があります!



ここでマウス操作位置が活躍します。
下記のように設定します。
メッセージ2を赤□で囲い、ここを基準にしてクリック位置を設定します。



尚、画像マッチングでは下記のようなエラーが出現することがあります。
こちらで解決方法を解説しています。

WinActorマッチング画像が存在しません。解決方法

検索範囲の設定

任意設定ではあるのですが、設定しておくと良いです。
範囲を限定することで、探す時間がやや早くなりますし、
誤ってクリックする可能性を減らす事ができます。

※似たようなクリック箇所があり、絶対に押し間違いをしてほしくない箇所ってあるかと思います。
その場合、その場所を検索範囲から外すことで押し間違いの可能性を限りなく減らせます。

下記のように範囲を緑枠で囲います。


また上記の虫眼鏡マークをクリックすると
下の箇所が設定可能になります。
原点というのはどこから検索を開始するか?
という意味になります。
特にいじる必要性はあまりないでしょう。


マッチング画像を予め指定

マッチング画像を赤枠で指定せず、画像ファイルのパスを指定しておくことも可能です。
・実行時にマッチング画像を取得にチェックをいれます。
・マッチング画像ファイルをフルパスで指定します。
※変数も指定可能です。
指定した画像ファイルを識別したウィンドウから探して、アクションをおこします。



5.条件指定(操作設定)

最後になります。
更新ボタンを押下したら設定完了です。

  • 縮尺率 速度を向上させたいのなら、下げてもいいですが誤りは絶対さけたいならいじる必要はありません。

  • マッチ率 80~85くらいが良いと言われています。
    ※数値を上げれば間違いは減りますが、見つからない確率も上がります。
    ※画像マッチングは解像度の変化に非常に弱いです。

  • タイムアウト 対象となるウィンドウが表示されるまでの待ち時間になります。パソコンのスペックやネット環境に応じて調整します。

  • アクション 今回はクリックしたいだけですので左ボタンクリックを設定しています。

  • 態取得結果 状態チェックの結果、TrueかFalseを格納する変数になります。今回は結果を設定しました。
    ※表示された内容に応じて処理を分岐させることも可能です。
    下記を参考にしてください。

WinActorの使い方⑤-5画像マッチングを用いた繰り返し処理

  • 操作位置 マウス操作位置(十字マーク)を設定すると、自動的に記載されます   



6.輪郭マッチングについて

画像マッチングと似たノードに輪郭マッチングというものがあります。


プロパティはまず下記の通りで
画像マッチングではマッチ率ですが精度となっています。
高、中、低の3段階設定です。
プロパティでは違いというのはこれくらいです。



画像マッチングとの大きな違いは
輪郭マッチングは表示倍率の変化に強いという点です。

以下の画像のようにウィンドウ画面の表示サイズを変更することができます。
これが記録時と異なってしまうと画像マッチングではエラーが起きやすくなりますが、輪郭マッチングでは許容できる場合があります。

しかしながら私の経験上は、
輪郭マッチングを利用しても表示倍率が変わるとエラーとなることも多くて
あまり使えないなという印象です。
これは識別する画像で異なると思いますので臨機応変に使い分けみてください。