WinActorEyeとは？その１ jsonファイル作成編
- fukutaku
- 2021年11月13日
winactoreyeという機能が存在します。
これっていったい何なのか？何ができるのか？
という疑問にお答えします。
端的にお伝えしますと
画像識別とOCR機能になります。
今回と次回では画像識別についてご紹介します。
eyeというだけあって目です。
ターゲットを認識してくれます。
画像マッチングよりは細かな設定ができるのでやや可能性が広がる機能と思っていただければ大丈夫です。
winactoreyeでしかできないことをまず紹介します。
それは2点あります。
ターゲットが複数あっても対応可能である。という点と
解像度(モニター)変化に強いという点です。
下記のようにターゲットとなる登録ボタンが2つある場合です。
複数のターゲットを全て押下することが可能です。
具体的な設定方法を5ステップで解説します。
- PNGファイルをつくる
- スナップショットと矩形
- PNGファイルの読み込み
- ヒストグラム探索
- 矩形からの座標抽出
1.PNGファイルをつくる
まずwinactoreyeはwinactorとは別のシステムという認識を持って頂くと良いです。
winactoreyeを用いてターゲットを認識できるプログラムを作成します。
プログラムと言って自動記録で作ることができますのでご安心ください。
そのプログラム(正確にはjsonファイル)をwinactorで読み込むという流れになります。
まずはターゲットの画像を作成します。
今回は登録ボタンをターゲットとします。
画面コピーをとってPNGファイルとして保存します。
まずはチュートリアルを起動します。
私の環境ですと下記に入っていました。
C:\Program Files (x86)\WinActor7\WinActor_Documents\Japanese
Print Screenキー(機種によってFnキーとの同時押し)で画面コピーをとります。
ペイント3Dを起動して、新規作成を押下、Ctrl + Vで貼り付けます。
トリミングでターゲット画像である登録ボタンだけのPNGファイルを作ります。
以下のようにデスクトップに登録ボタンのPNGファイルを保存します。
2.スナップショットと矩形
いよいよwinactoreyeを起動します。
ターゲットを認識できるプログラムを作成します。
と言っても操作を記録するだけになります。
記録ボタンを押下します。
入力→スナップショットを選択します。
下記ボタンをクリックしてチュートリアルが表示された画面を選択後、実行を押下します。
すると下記ののように画面キャプチャが撮れます。
ターゲットとなる登録ボタンを画像マッチングと同様に矩形(四角)でくくります。
下記のようにこれまでの作業が記録されています。
No1はチュートリアル画面を撮ったという記録。
No2は登録ボタンを四角でくくった記録になります。
これらの記録を最終的にjsonファイルとしてまとめて、winactorに実行させます。
3.PNGファイルの読み込み
次に入力→画像読み込みを選択します。
そしてトリミングした登録ボタンの画像ファイルを選択します。
※ワークフォルダ変更をマクロに記録しないにチェックを入れます。
実行しますと矢印のように選択した画像が表示されます。
4.ヒストグラム探索
フィルタ→ヒストグラム探索をクリックします。
※ヒストグラム探索は色に注目しているため解像度の変化に強いのです。
画像マッチングは何に注目しているのかは説明書には記載がありません。
- キャプチャ画像リソース名・・・先ほどスナップショットしたウィンドウズ名になります。
- マッチング画像リソース名・・・トリミングした登録ボタンの画像ファイル名になります。
- 画像リソース名・・・histと入力します。
- 矩形リソース名・・histと入力します。
※キャプチャ画像とマッチング画像から画像リソースと矩形リソースを抽出します。その情報がhistに出力されます。
矩形リソース名histからターゲットとなる登録ボタンの座標を抽出します。
5.矩形からの座標抽出
最後に座標の抽出になります。
フィルタ→矩形から座標を抽出をクリックします。
先ほど矩形リソース情報をhistに出力しました。
ですので今回は入力にhist
出力に座標を記入します。
※座標リソース名はターゲットとなる画像の座標情報の出力先となります。
実行を押下して、最後に記録ボタンを押下すれば記録停止で完了です。
お疲れ様でした。
以下のように5行にわたって記録されていますでしょうか。
今回ご紹介した手順は5スッテップでしたので6行以上の記録がある方は
おそらく実行ボタンを2度押ししたりしている可能性があります。
不要な記録は削除しましょう。
最後にこの記録をjsonファイルとして抽出します。
下記ボタンから保存できます。
私はファイル名を登録としました。
拡張子は.jsonになります。
このjsonファイルをwinactorのシナリオ内で呼び出して利用します！
その2シナリオ作成編ではjsonファイルを読み込むシナリオ作成を解説します。
どうぞお楽しみに！
