Enterprise Blue Ocean ◮

神谷町RPAブログ

  • Youtube で、あらためて振り返る RPA とは?・・・はこちら☆
  • Blue Prism の Blue Prism 事始め!オンボーディングの記事はこちら
  • Blue Prism を 無料で利用する 方法はこちら
  • Blue Prism で Excelを操作 する記事はこちら
  • Blue Prism の ベストプラクティス 記事はこちら
  • Blue Prism の 逆引きナレッジ wiki こちら。ご活用ください☆

Blue Prism で Citrix やリモートデスクトップの画面を構造認識して操作する

Blue Prism (に限らず、少なくない RPA がそうかもしれないが)だと、

Citrixリモートデスクトップの画面は、

画像マッチングしかできず、

Surface Automation をがんばるしかない!

 

・・・って思うじゃん?

f:id:EnterpriseBlueOcean:20200229141153p:plain

 

まぁ、Surface Automation も良いと思うよ。

うん、まぁ、アレもなかなかイケメンだ。

 

しかし、「それしかない」と思い込むほどには、

世の中は決して狭くはない。

今日はそんなお話です。

 

Ultima IA-Connect を使う

Ultima IA-Connect を使うことで、

Citrix またはリモートデスクトップの画面を構造認識させることが可能です。

digitalexchange.blueprism.com

 

仕組みとしては、

Blue Prism のランタイムリソース側に IA-Connect Director、

Citrix やリモートデスクトップの画面の向こうに IA-Connect Agent を

配置して通信させる構成です。

 

動作イメージは、

IA-Connect が Citrix やリモートデスクトップ専用の

アプリケーションモデラーとして機能する感じかな。

 

やってみた

文章で書いてもわかりにくいので、

実際にやってみます。

(今回はリモートデスクトップを試した)

 

インストールと構成

まず、IA-Connect Director をインストール。

(画面は IA-Connect Inspector。URL は

http://【ホスト名】:8002/IAConnectRESTClient/WebService/UIAInspector.html 

f:id:EnterpriseBlueOcean:20200229141734p:plain

リモートデスクトップ画面の向こうには、

IA-Connect Agent を配置。

これは単にexeを置いて起動すればOK。

f:id:EnterpriseBlueOcean:20200229142051p:plain

ライセンス情報を設定すると、

Director と Agent の通信が可能になります。

 

リモートデスクトップ画面のスパイ

IA-Connect Inspector から、

リモートデスクトップ画面の向こう側のアプリケーションを起動します。

今回は電卓(C:\\Windows\System32\win32calc.exe)を使いました。

f:id:EnterpriseBlueOcean:20200229143042p:plain

起動すると、全体の大枠がまずはスパイされます。

f:id:EnterpriseBlueOcean:20200229144842p:plain

Identify を押下すると、

その行がアプリケーションのどこを指しているのか、

表示されます。

f:id:EnterpriseBlueOcean:20200229145004p:plain

Step in を押下することで、

さらにその子要素を識別できます。

f:id:EnterpriseBlueOcean:20200229145335p:plain

識別した要素は、

Blue Prism のプロセス/オブジェクト・スタジオ

コピー&ペーストで配置できます。

f:id:EnterpriseBlueOcean:20200229145729p:plain

f:id:EnterpriseBlueOcean:20200229145942p:plain

 

以上の操作は、IA-Connect Inspector を使用せず、

Blue Prism からダイレクトに行うことも可能です。

専用の VBO が IA-Connect インストール時に提供される)

 

動かしてみた

快適☆☆☆☆☆

画像マッチングではないので、

ウィンドウが最前面に出てなくても、

むしろ画面に表示されてなくても、

きちんと動作する!

 

諸々の変更解像度フォントなど)に強い形で、

Citrix、リモートデスクトップの画面を自動化できそうだゾ☆

やったぜ。 

 

まとめ

  • Citrixリモートデスクトップの画面を Blue Prism で自動化する場合、画像マッチングの Surface Automation を使うことができるが、Ultima IA-Connect を使えば構造認識で自動化が可能になる
  • IA-Connect は、Blue Prism のランタイムリソース側の Director と、Citrix やリモートデスクトップの画面の向こう側の Agent で構成される
  • IA-Connect は Citrixリモートデスクトップ画面専用アプリケーションモデラーのように動作し、スパイした結果は、Blue Prism にコピー&ペーストで持ってこれる

 

たまにはこーゆー、

変わった話題も面白いよね!

Blue Prism の可能性は無限大だゾ☆