JP7017613B2 - 自動検出されるターゲットラベルに基づくロボティックプロセスオートメーションアクティビティのネーミング（名付け） - Google Patents

Description

本発明は、ロボティックプロセスオートメーション（ＲＰＡ）に関し、より詳細には、例えばマウスクリック、テキスト入力などのアクティビティのターゲット（対象）となるユーザインタフェース要素を自動的に識別するためのシステムと方法に関する。

ＲＰＡは、反復的なコンピューティングタスクを自動化することで生産性を向上させることを目的とする情報技術の新興分野であり、これにより、人間のオペレータがより知的に洗練され且つ／又は創造的なアクティビティを実行できるようにする。自動化のターゲットとなる注目すべきタスクには、ドキュメントからの構造化データの抽出、例えばフォームに入力するためなどのユーザインタフェースとの対話などがある。

ＲＰＡ開発の明確な支流は、ソフトウェアロボットのプログラミング及び管理を簡単にすることに向けられており、高度なプログラミングスキル又は訓練が不足しているユーザにＲＰＡ技術の範囲を拡大することを最終的な目標としている。ＲＰＡをよりアクセスし易いものとする１つの方法は、ＲＰＡ指向の統合開発環境（ＩＤＥ）の開発であり、これにより、コーディング自体ではなく、グラフィカルユーザインタフェース（ＧＵＩ）ツールを介してロボットをプログラミングすることが可能になる。このようなＧＵＩツールをできるだけ直感的でユーザフレンドリーなものにして、幅広い開発者を魅了することに強い関心がある。

一態様によれば、ロボティックプロセスオートメーション（ＲＰＡ）ソフトウェアを設計する方法は、コンピュータシステムの少なくとも１つのハードウェアプロセッサを使用して、ＲＰＡアクティビティを示すユーザ入力の受け取りに応じて、ユーザがＲＰＡアクティビティのパラメータを構成できるようにするアクティビティ構成ユーザインタフェース（ＵＩ）を公開することを含む。該方法は、それに応じて、少なくとも１つのハードウェアプロセッサを使用して、ターゲットＵＩ内に表示される複数のＵＩ要素からＲＰＡアクティビティのターゲット要素を選択するユーザ入力を受け取ることを、さらに含む。該方法は、ターゲット要素を選択するユーザ入力の受け取りに応じて、少なくとも１つのハードウェアプロセッサを使用して、ターゲット要素のユーザ向けラベルを自動的に選択することと、ユーザ向けラベルの選択に応じて、アクティビティ構成ＵＩ内にユーザ向けラベルを表示させることと、をさらに含む。ユーザ向けラベルは、ターゲット要素に対するユーザ向けラベルの画面上の相対位置に従って複数のＵＩ要素から選択される。該方法は、ターゲットＵＩのソースコード内でターゲット要素を特徴付けるコードラベルを判断することと、ＲＰＡアクティビティとターゲット要素とに従って作成されるＲＰＡスクリプトを出力することと、をさらに含む。ＲＰＡスクリプトはコードラベルを含む。クライアントマシンでＲＰＡスクリプトを実行することで、クライアントマシンによって公開されるランタイムＵＩ内でターゲット要素のランタイムインスタンスを自動的に識別することと、ターゲット要素のランタイムインスタンスを使用して人間のオペレータの対話の結果を再現する動作を自動的に実行することと、をクライアントマシンに実行させる。ターゲット要素のランタイムインスタンスはコードラベルに従って識別される。上記動作はＲＰＡアクティビティに従って判断される。

別の一態様によれば、コンピュータシステムは、自動化ターゲットアプリケーションとスクリプトオーサリングアプリケーションとを実行するように構成された少なくとも１つのハードウェアプロセッサを含む。自動化ターゲットアプリケーションは、複数のユーザインタフェース（ＵＩ）要素を含むターゲットＵＩを公開するように構成されている。スクリプトオーサリングアプリケーションは、ロボティックプロセスオートメーション（ＲＰＡ）アクティビティを示すユーザ入力の受け取りに応じて、ユーザがＲＰＡアクティビティのパラメータを構成できるようにするアクティビティ構成ＵＩを公開するように構成されている。スクリプトオーサリングアプリケーションはさらに、それに応じて、ターゲットＵＩ内に表示される複数のＵＩ要素からＲＰＡアクティビティのターゲット要素を選択するユーザ入力を受け取るように構成されている。スクリプトオーサリングアプリケーションはさらに、ターゲット要素を選択するユーザ入力の受け取りに応じて、ターゲット要素のユーザ向けラベルを自動的に選択し、ユーザ向けラベルの選択に応じて、アクティビティ構成ＵＩ内にユーザ向けラベルを表示させるように構成されている。ユーザ向けラベルは、ターゲット要素に対するユーザ向けラベルの画面上の相対位置に従って複数のＵＩ要素から選択される。スクリプトオーサリングアプリケーションはさらに、ターゲットＵＩのソースコード内でターゲット要素を特徴付けるコードラベルを判断し、ＲＰＡアクティビティとターゲット要素とに従って作成されるＲＰＡスクリプトを出力するように構成されている。ＲＰＡスクリプトはコードラベルを含む。クライアントマシンでＲＰＡスクリプトを実行することで、クライアントマシンによって公開されるランタイムＵＩ内でターゲット要素のランタイムインスタンスを自動的に識別することと、ターゲット要素のランタイムインスタンスを使用して人間のオペレータの対話の結果を再現する動作を自動的に実行することと、をクライアントマシンに実行させる。ターゲット要素のランタイムインスタンスはコードラベルに従って識別される。上記動作はＲＰＡアクティビティに従って判断される。

別の一態様によれば、非一時的なコンピュータ読み取り可能な媒体は命令を記憶し、該命令は、複数のユーザインタフェース（ＵＩ）要素を含むターゲットＵＩを公開するように構成されたコンピュータシステムの少なくとも１つのハードウェアプロセッサによって実行されるときに、ロボティックプロセスオートメーション（ＲＰＡ）アクティビティを示すユーザ入力の受け取りに応じて、ユーザがＲＰＡアクティビティのパラメータを構成できるようにするアクティビティ構成ユーザインタフェース（ＵＩ）を公開することを、コンピュータシステムに実行させる。該命令はさらに、それに応じて、ターゲットＵＩ内に表示される複数のＵＩ要素からＲＰＡアクティビティのターゲット要素を選択するユーザ入力を受け取ることを、コンピュータシステムに実行させる。該命令はさらに、ターゲット要素を選択するユーザ入力の受け取りに応じて、ターゲット要素のユーザ向けラベルを自動的に選択することと、ユーザ向けラベルの選択に応じて、アクティビティ構成ＵＩ内にユーザ向けラベルを表示させることと、をコンピュータシステムに実行させる。ユーザ向けラベルは、ターゲット要素に対するユーザ向けラベルの画面上の相対位置に従って複数のＵＩ要素から選択される。該命令はさらに、ターゲットＵＩのソースコード内でターゲット要素を特徴付けるコードラベルを判断することと、ＲＰＡアクティビティとターゲット要素とに従って作成されるＲＰＡスクリプトを出力することと、をコンピュータシステムに実行させる。ＲＰＡスクリプトはコードラベルを含む。クライアントマシンでＲＰＡスクリプトを実行することで、クライアントマシンによって公開されるランタイムＵＩ内でターゲット要素のランタイムインスタンスを自動的に識別することと、ターゲット要素のランタイムインスタンスを使用して人間のオペレータの対話の結果を再現する動作を自動的に実行することと、をクライアントマシンに実行させる。ターゲット要素のランタイムインスタンスはコードラベルに従って識別される。上記動作はＲＰＡアクティビティに従って判断される。

本発明の上記の態様及び利点は、以下の詳細な説明を読み図面を参照すると、よりよく理解されるであろう。

本発明の幾つかの実施形態による例示的なロボティックプロセスオートメーション（ＲＰＡ）システムを示す。

本発明の幾つかの実施形態による、ＲＰＡクライアントで実行される例示的なソフトウェアを示す。

本発明の幾つかの実施形態による、複数のユーザインタフェース（ＵＩ）要素を含む例示的なＵＩを示す。

本発明の幾つかの実施形態による、スクリプトオーサリングアプリケーションによって実行される例示的な一連のステップを示す。

本発明の幾つかの実施形態による例示的なロボット設計ＵＩを示す。

本発明の幾つかの実施形態による例示的なアクティビティ構成ＵＩを示す。

本発明の幾つかの実施形態による、例示的なユーザインタフェース、ターゲット要素、及び複数の候補ラベル要素を示す。

本発明の幾つかの実施形態による、ターゲット要素に関連付けられるユーザ向けラベルを自動的に判断するために実行される例示的な一連のステップを示す。

本発明の幾つかの実施形態による例示的な要素間距離のセットを示す。

本発明の幾つかの実施形態による例示的な要素間距離の別のセットを示す。

本発明の幾つかの実施形態による、２つのＵＩ要素間の例示的な重複の程度を示す。

本発明の幾つかの実施形態による、例示的なユーザインタフェース、ターゲット要素、及び複数の候補ラベル位置を示す。

本発明の幾つかの実施形態による、ユーザ向けラベルを自動的に識別するためにスクリプトオーサリングアプリケーションによって実行される代替的な一連のステップを示す。

本発明の幾つかの実施形態による、ＵＩ要素を特徴付ける様々な種類のデータを示す。

本発明の幾つかの実施形態による、データ入力アクティビティの詳細を示す例示的なアクティビティ構成ＵＩを示す。

本発明の幾つかの実施形態による、データスクレイピングアクティビティの詳細を示す別の例のアクティビティ構成ＵＩを示す。

本発明の幾つかの実施形態による、マウスクリックアクティビティの詳細を示すさらに別の例のアクティビティ構成ＵＩを示す。

本発明の幾つかの実施形態による、実行時にソフトウェアロボットによって実行される例示的な一連のステップを示す。

本明細書に記載の方法を実行するように構成されたコンピューティングデバイスの例示的な一実施形態を示す。

以下の説明では、構造間の記載された全ての接続は、直接的な動作接続又は中間構造を介した間接的な動作接続であってもよいことが理解される。要素のセットは、一又は複数の要素を含む。要素の任意の記載は、少なくとも１つの要素を指すと理解される。複数の要素は少なくとも２つの要素を含む。「又は（若しくは／或いは）」の任意の使用は、排他的でない又は（若しくは／或いは）（排他的でない論理和）を意味する。特に必要がない限り、任意の記載されている方法のステップは、必ずしも特定の示された順序で実行される必要はない。第２の要素から派生した第１の要素（例えば、データなど）には、第２の要素に等しい第１の要素と、第２の要素及び任意に他のデータを処理することによって生成された第１の要素とが含まれる。パラメータに従って判断又は決定を行うことには、パラメータに従って、且つ任意に他のデータに従って、判断又は決定を行うことが含まれる。特に明記しない限り、ある量/データのインジケータ（指標）は、量／データ自体又は量/データ自体とは異なるインジケータであってもよい。コンピュータプログラムは、タスクを実行する一連のプロセッサ命令である。本発明の幾つかの実施形態で説明されるコンピュータプログラムは、他のコンピュータプログラムのスタンドアロンのソフトウェアエンティティ又はサブエンティティ（例えば、サブルーチン、ライブラリなど）であってもよい。「データベース」という用語は、本明細書では、組織化された検索可能なデータのコレクションを示すために使用される。コンピュータ読み取り可能な媒体には、例えば磁気、光学、半導体記憶媒体（例えば、ハードドライブ、光ディスク、フラッシュメモリ、ＤＲＡＭなど）などの非一時的な媒体、及び、例えば導電ケーブル、光ファイバリンクなどの通信リンクが含まれる。幾つかの実施形態によれば、本発明は、とりわけ、本明細書に記載の方法を実行するようにプログラムされたハードウェア（例えば、一又は複数のプロセッサなど）、本明細書に記載の方法を実行するコンピュータ読み取り可能媒体符号化（エンコード）命令を含むコンピュータシステムを提供する。

以下の説明は、例として、必ずしも限定的なものとしてではなく、本発明の実施形態を例示する。

図１は、本発明の幾つかの実施形態による例示的なロボティックプロセスオートメーションシステムを示す。複数のＲＰＡクライアント１０ａ～ｅはそれぞれ、少なくともハードウェアプロセッサ、メモリユニット、各ＲＰＡクライアントがコンピュータネットワーク及び／又は他のコンピューティングデバイスに接続できるようにするネットワークアダプタを備えるコンピューティングデバイスを表す。例示的なＲＰＡクライアント１０ａ～ｅは、パーソナルコンピュータ、ラップトップ及びタブレットコンピュータ、およびモバイル通信デバイス（例えば、スマートフォンなど）を含む。例示的なユースケースシナリオにおいて、ＲＰＡクライアント１０ａ～ｄは、会社の経理部又は人事部に属するデスクトップコンピュータを表す。図示されたＲＰＡクライアント１０ａ～ｄは、ローカルエリアネットワーク（ＬＡＮ）を含んでもよいローカル通信ネットワーク１２によって相互接続される。クライアント１０ａ～ｄはさらに、広域ネットワーク（ＷＡＮ）及び／又はインターネットを含んでもよい拡張ネットワーク１４にアクセスしてもよい。図１の例示的な構成では、ＲＰＡクライアント１０ｅは、拡張ネットワーク１４に直接接続される。そのようなクライアントは、様々なアクセスポイントでネットワーク１４に接続する、例えばラップトップ、タブレットコンピュータ、携帯電話などのモバイルコンピュータを表してもよい。

典型的なＲＰＡシナリオにおいて、会社の従業員は、ビジネスアプリケーション（例えば、ワードプロセッサ、スプレッドシートエディタ、ブラウザ、電子メールアプリケーションなど）を使用して、例えば様々なビジネスクライアントに請求書を発行するために、反復タスクを実行する。各タスクを実際に実行するために、従業員は、本明細書においてビジネスプロセスとみなされる一連の動作／アクションを実行する。請求書発行ビジネスプロセスの一部を形成する例示的な動作は、ＭｉｃｒｏｓｏｆｔＥｘｃｅｌ（登録商標）スプレッドシートを開くこと、クライアントの会社の詳細を検索すること、各詳細を請求書テンプレートにコピーすること、購入されたアイテムを示す請求書フィールドに入力すること、電子メールアプリケーションに切り替えること、各クライアントへの電子メールメッセージを作成すること、新しく作成された請求書を各電子メールメッセージに添付すること、「送信」ボタンをクリックすることなどを含む。従業員のコンピュータで実行されるＲＰＡソフトウェアは、各タスクを実行する過程で各人間のオペレータによって実行される一連の動作を模倣することによって、各ビジネスプロセスを自動化してもよい。そのような自動化の典型的なターゲットとなる例示的なプロセスは、支払いの処理、請求、ビジネスクライアントとの通信（例えば、ニュースレター及び／又は製品提供の配信など）、内部通信（例えば、メモ、会議及び／又はタスクのスケジューリングなど）、給与処理などを含む。

本明細書において、人間の動作／アクションを模倣することには、人間のオペレータがコンピュータで各動作／アクションを実行するときに発生する一連のコンピューティングイベントを再現することと、人間のオペレータがコンピュータで各動作を実行した結果を再現することとが含まれると理解される。例えば、グラフィカルユーザインタフェースのボタンをクリックする動作を模倣することは、オペレーティングシステムにマウスポインタを各ボタンへ移動させてマウスクリックイベントを生成させることを含んでもよいし、或いは、各ＧＵＩボタン自体をクリック状態に切り替えることを含んでもよい。

図２は、本発明の幾つかの実施形態による、ＲＰＡクライアント１０で実行される例示的なソフトウェアを示す。ＲＰＡクライアント１０は、図１のＲＰＡクライアント１０ａ～ｅのいずれかを表してもよい。ＲＰＡクライアント１０は、オペレーティングシステム（ＯＳ）４０とビジネスアプリケーション４２のセットとを実行する。ＯＳ４０は、例えばＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ（登録商標）、Ｌｉｎｕｘ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）などの、任意の広く利用可能なオペレーティングシステムを含んでもよく、アプリケーション４２とＲＰＡクライアント１０のハードウェアとの間のインタフェースとなるソフトウェア層を含んでもよい。ビジネスアプリケーション４２は、一般に、タスクを実行するＲＰＡクライアント１０の人間のオペレータによって使用される任意のコンピュータプログラムを表す。例示的なビジネスアプリケーション４２は、とりわけ、ワードプロセッサ、スプレッドシートアプリケーション、グラフィックスアプリケーション、ブラウザ、ソーシャルメディアアプリケーション、電子通信アプリケーションを含む。少なくとも１つのビジネスアプリケーション４２は、以下に詳述するように、自動化のターゲットとなるユーザインタフェース（ＵＩ）を公開（表示）するように構成される。

幾つかの実施形態において、ＲＰＡクライアント１０は、ビジネスプロセスの自動化を集合的に実装する相互接続されたコンピュータプログラムのセットを含むＲＰＡロボット４４をさらに実行する。例示的なＲＰＡロボットは、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＷｉｎｄｏｗｓ Ｗｏｒｋｆｌｏｗ Ｆｏｕｎｄａｔｉｏｎアプリケーションプログラミングインタフェースを使用して構築される。幾つかの実施形態において、ＲＰＡロボット４４は、ＲＰＡクライアント１０でインスタンス化された別個の専用仮想マシン内で実行される。

ＲＰＡロボット４４のコンポーネントは、ＲＰＡエージェント４３とロボットエグゼキュータ４５のセットとを含む。ロボットエグゼキュータ４５は、ビジネスプロセスを実行し、実際に各クライアントマシンで各一連の動作を実行する人間のオペレータのアクションを模倣する一連の動作（当該技術分野においてアクティビティとしても知られる）を示すＲＰＡスクリプト５０を受け取るように構成される。ＲＰＡスクリプト５０は、通常、プロセス固有であり、即ち、各別個のビジネスプロセスはＲＰＡスクリプトの別個のセットによって記述される。ＲＰＡスクリプト５０は、当該技術分野で知られている任意のデータ仕様に従って作成されてもよい。好ましい実施形態において、ＲＰＡスクリプト５０は、拡張可能マークアップ言語（ＸＭＬ）のあるバージョンで符号化されるが、スクリプト５０は、例えばＣ＃、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｊａｖａなどのプログラミング言語で作成されてもよい。或いは、ＲＰＡスクリプト５０は、バイトコードのＲＰＡ固有のバージョンで、又は、例えば英語、スペイン語、日本語などの自然言語で作成された一連の命令として、指定されてもよい。幾つかの実施形態において、スクリプト５０は、ネイティブのプロセッサ命令（例えば、機械語など）のセットにプリコンパイルされる。

幾つかの実施形態において、ロボットエグゼキュータ４５は、ＲＰＡスクリプト５０を、各スクリプトに記載された動作を実行するためのプロセッサ命令を含むランタイムパッケージに変換するように構成されたインタプリタ（例えば、ジャストインタイムインタプリタ又はコンパイラなど）を備える。したがって、実行スクリプト５０は、ＲＰＡスクリプト５０を変換し、ＲＰＡクライアント１０のプロセッサに対して結果として得られるランタイムパッケージをメモリにロードしランタイムパッケージを起動して実行するように指示するエグゼキュータ４５を含んでもよい。

ＲＰＡエージェント４３は、ロボットエグゼキュータ４５の動作を管理してもよい。例えば、ＲＰＡエージェント４３は、人間のオペレータからの入力に従って、且つ／又は、スケジュールに従って、ロボットエグゼキュータ４５によって実行されるタスク／スクリプトを選択してもよい。エージェント４３はさらに、エグゼキュータ４５の様々な動作パラメータを構成してもよい。ロボット４４が複数のエグゼキュータ４５を備えるとき、エージェント４３は、それらのアクティビティ及び／又はプロセス間通信を調整してもよい。ＲＰＡエージェント４３はさらに、ＲＰＡロボット４４と図１に示すＲＰＡシステムの他のコンポーネントとの間の通信を管理してもよい。そのようなコンポーネントは、他のＲＰＡクライアント及び／又はロボット管理サーバ１１ａ～ｂのセットで実行されてもよい。そのような一例において、サーバ１１ａ～ｂは、複数のクライアントマシンにわたるＲＰＡアクティビティを調整し、複雑なスケジューリング及び／又はライセンス管理を可能にするロボットオーケストレータサービスを動作させてもよい。サーバ１１ａ～ｂはさらに、ＲＰＡスクリプトの実行の様々な中間値及び／又は結果を示す個々のＲＰＡロボットからデータを受け取ってもよい。そのようなデータは、アクティビティレポートの生成、ライセンス契約の実施、及び／又は誤動作の軽減に使用されてもよい。

幾つかの実施形態において、ＲＰＡクライアント１０はさらに、ＲＰＡクライアント１０の人間のオペレータがＲＰＡスクリプト５０を作成してアクティビティのセットを実行するロボットを効果的に設計することを可能にするように構成されたスクリプトオーサリングアプリケーション４６を実行する。オーサリングアプリケーション４６は、統合開発環境（ＩＤＥ）のように機能してもよく、オペレータがビジネスプロセスをモデル化するためのツールのセットと対話することを可能にするコードエディタ及び／又はユーザインタフェースを含んでもよい。例示的なオーサリングアプリケーションは、ユーザがビジネスアプリケーション４２を選択し、各アプリケーションと対話する所望の方法を示すこと、例えば、ロボット４４によって実行される一連の動作を示すことを可能にしてもよい。例示的な動作は、例えば、特定のＥｘｃｅｌ（登録商標）スプレッドシート開くこと、データテーブルの特定の行／列からデータを読み取ること、特定の方法で各データを処理すること、特定のボタンをクリックすること、電子メールメッセージの作成し送信すること、特定の統合レコードの場所（ＵＲＬ）にナビゲートすることなどを含む。幾つかの実施形態において、オーサリングアプリケーション４６は、ＲＰＡロボット４４によって読み取り可能なフォーマット（例えば、ＸＭＬなど）でＲＰＡスクリプト５０を出力する。ＲＰＡスクリプト５０は、ネットワーク１２及び／又は１４を介してＲＰＡクライアント１０ａ～ｅに通信可能に接続されアクセス可能なスクリプトリポジトリ１５に記憶されてもよい（図１を参照）。好ましい実施形態において、スクリプトリポジトリ１５は、ロボット管理サーバ１１ａ～ｂに直接リンクされる。スクリプトリポジトリ１５は、データベース、例えば基準のセットに従ってスクリプト５０の選択的検索を可能にする任意の構造化データコレクションなどとして構成されてもよい。

当業者は、図２に示す全てのコンポーネントが同じ物理プロセッサ又はマシンで実行される必要があるわけではないことを理解するであろう。典型的なＲＰＡ構成において、スクリプト開発／ロボット設計は１つのマシン（当該技術分野において一般に「設計側」として知られる）で実行される。次に、結果として得られるＲＰＡスクリプト５０は、実行のために他の複数のユーザ及びマシン（通常、「ランタイム側」又は単に「ランタイム」として知られる）に渡される。

図３は、本発明の幾つかの実施形態による例示的なユーザインタフェース（ＵＩ）５８を示す。ＵＩ５８は、任意のビジネスアプリケーション４２によって公開されてもよい。ユーザインタフェースは、人間とマシンの対話を可能にするコンピュータインタフェースであり、例えばユーザ入力を受け取り各入力に応答するように構成されたインタフェースなどである。ユーザインタフェースの一般的な例は、グラフィカルユーザインタフェース（ＧＵＩ）として知られ、これにより、ユーザに対して表示される視覚要素のセットを介して人間とマシンの対話が可能になる。例示的なＵＩ５８は、例示的なウィンドウ６０ａ～ｂのセットと、メニューインジケータ６２ａ、アイコン６２ｂ、ボタン６２ｃ、テキストボックス６２ｄを含む例示的なＵＩ要素のセットとを有する。他の例示的なＵＩ要素は、とりわけ、ウィンドウ、ラベル、フォーム、個々のフォームフィールド、トグル、リンク（例えば、ハイパーリンク、ハイパーテキスト、統一資源識別子など）を含む。ＵＩ要素は、情報を表示し、入力（テキスト、マウスイベント）を受け取り、且つ／又はソフトウェア及び／又は各コンピュータシステムの機能を制御してもよい。

一部のＵＩ要素は、それに作用すること（例えば、ボタン６２ｃのクリックなど）が振る舞い／反応をトリガするという意味でインタラクティブである。そのような振る舞い／反応は一般的に、各要素又は要素のグループに固有である。例えば、保存ボタンをクリックすると、印刷ボタンをクリックするのとは異なる効果が得られる。同じキーボードショートカット（例えば、Ｃｔｒｌ－Ｇなど）が、あるウィンドウ／アプリケーションで実行するとある効果を発揮し、別のウィンドウ／アプリケーションで実行すると全く異なる効果を発揮してもよい。したがって、動作／アクションは同じであるが（クリックの実行、キーボードキーの組み合わせの押下、一連の文字の書き込みなど）、各アクションの結果は、各動作のオペランドに実質的に依存してもよい。オペランドは、本明細書において、例えばクリック、キーボードイベントなどの現在の動作／アクションによって作用されるＵＩ要素、又は別の言い方では、各ユーザ入力を受け取るために選択されるＵＩ要素として定義される。「ターゲット」と「オペランド」という用語は、本明細書において互換的に使用される。

図４は、本発明の幾つかの実施形態による、スクリプトオーサリングアプリケーション４６によって実行される例示的な一連のステップを示す。ステップ１０２において、アプリケーション４６は、ユーザがロボット４４によって実行される所望のアクティビティを示すことを可能にするロボット設計インタフェース（例えば、ＧＵＩなど）を公開してもよい。図５は、本発明の幾つかの実施形態による例示的なロボット設計ＧＵＩ７０を示す。ＧＵＩ７０は、様々な領域、例えばメニュー領域７１とプロセス設計領域７２を含む。メニュー領域７１は、ユーザが、とりわけ、個々のＲＰＡアクティビティを選択して自動化のためのターゲットビジネスアプリケーションを示すことを可能にする。幾つかの実施形態において、アクティビティは、メニューの階層を介して到達されてもよい。アクティビティは、様々な基準に従って、例えば、ビジネスアプリケーションの種類（例えば、ＭＳ Ｅｘｃｅｌ（登録商標）アクティビティ、ウェブアクティビティ、電子メールアクティビティなど）に従って、且つ／又は、対話の種類（例えば、マウスアクティビティ、ホットキーアクティビティ、データ取得アクティビティ、フォーム入力アクティビティなど）に従って、グループ化されてもよい。

プロセス設計領域７２は、ＲＰＡアクティビティのシーケンスの図を表示し、該シーケンスは、現在自動化されているビジネスプロセスの流れを模倣している。ユーザは、シーケンスのアクティビティを追加、削除、再配置してもよい。各アクティビティは、アクティビティ固有のアクティビティ構成ＵＩ（図５に項目７４ａ～ｂとして示す）を使用して、個別に構成されてもよい。幾つかの実施形態において、ユーザインタフェース７４ａ～ｂは、ＧＵＩ７０の子ウィンドウを含んでもよい。ユーザがアクティビティの種類を選択すると（図４のステップ１０４）、ステップ１０６において、幾つかの実施形態では、各アクティビティの種類（例えば、マウスクリック、データスクレイピングなど）に従って構造化されたアクティビティ構成ＵＩが公開され、アクティビティシーケンスの他のメンバのコンテキストで各構成ＵＩが表示される。

図６は、本発明の幾つかの実施形態による、アクティビティ構成インタフェース７４ｃの例示的な外観（表示）を示す。例示的なインタフェース７４ｃは、「Ｔｙｐｅ Ｉｎｔｏ（入力）」アクティビティ（即ち、ターゲットＵＩの入力フィールドへの入力）を構成し、フィールドのセット、例えば、アクティビティ名フィールド８２とアクティビティパラメータフィールドのセット８４ａ～ｂとを示す。アクティビティ名フィールド８２は、現在のアクティビティのアクティビティ種類のインジケータと現在のアクティビティのオペランド／ターゲットの識別子とを受け付けるように構成される。パラメータフィールド８４ａ～ｂは、ユーザが現在のアクティビティの様々なパラメータを設定できるように構成される。図６の例では、パラメータはターゲット入力フィールドに書き込まれているものである。フィールド８４ｂは、ユーザによって入力されたテキストの形で、又は、各入力テキストのソースのインジケータの形で、ユーザ入力を受け付けてもよい。例示的なソースには、スプレッドシートの特定のセル／列／行、指定されたＵＲＬにあるドキュメント、ターゲットＵＩの別のＵＩ要素などが含まれる。

現在のＲＰＡアクティビティの別の例示的なパラメータは、各アクティビティのオペランド／ターゲットＵＩ要素である。アクティビティがマウスクリックを含む一例において、ターゲットＵＩ要素は、ボタン、メニュー項目、ハイパーリンクなどであってもよい。アクティビティがフォームへの入力を含む別の例において、ターゲットＵＩ要素は、各テキスト入力を受け付ける必要がある特定のフォームフィールドであってもよい。アプリケーション４６は、ユーザが様々な方法でターゲットＵＩ要素を示すことを可能にしてもよい。例えば、候補ＵＩ要素のメニュー／リストからターゲット要素を選択するようにユーザを案内してもよい。好ましい実施形態において、ステップ１０７では、ターゲットＵＩ、即ち、現在の自動化の対象を構成するビジネスアプリケーション４２のユーザインタフェースの設計側インスタンスを公開する。例示的なターゲットＵＩは、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｅｌ（登録商標）、ブラウザ、電子メールプログラムなどのインタフェースを含む。ターゲットＵＩを公開することは、各ＵＩ内のＵＩ要素のサブセットを強調表示し、選択を示すために１つをクリックするようにユーザを案内することを含んでもよい。ステップ１０８において、アプリケーション４６は、例えば、特定のＯＳ関数を呼び出してマウスクリックを検出し、クリックされたＵＩ要素を識別することによって、選択されたターゲット要素を示すユーザ入力を受け付けて処理してもよい。

次に、ステップ１１０において、幾つかの実施形態では、ターゲット要素のユーザ向けラベルを自動的に判断してもよい。ラベル要素（又は単に「ラベル」）は、本明細書において、関連付けられるターゲットＵＩ要素と共に表示されるＵＩ要素として定義される。修飾子「ユーザ向け」は、本明細書において、各ＵＩのソースコードの一部であり一般的にはユーザに不可視であるコードラベル（コードラベルについては以下で詳述する）とは対照的に、ターゲットＵＩ内に表示されるＵＩ要素であるためにラベル要素がユーザに可視であることを示すために使用される。ターゲット要素とラベル要素は一般的に、セマンティック接続（意味的接続）を有し、例えば、両方とも同じＵＩ要素のグループ／コンテナに属し、且つ／又は、一緒に機能を実行する。入力フィールドに関連付けられる例示的なラベル要素には、とりわけ、各入力フィールドの隣に表示されるテキストラベルと、各入力フィールドを含むフォームのタイトルとが含まれる。ボタンに関連付けられる例示的なラベル要素には、各ボタンの上に表示されるテキストが含まれる。ラベルは必ずしもテキストである必要はなく、画像（例えば、アイコン、記号など）を含んでもよい。図７は、本発明の幾つかの実施形態による、選択されたターゲット要素６４と複数の潜在的なラベル要素６６ａ～ｅとを有する例示的なターゲットＵＩ５８を示す。

ターゲット要素のユーザ向けラベルを判断すること（図４のステップ１１０）は、候補ＵＩ要素のセットから、例えば図７の候補ラベル６６ａ～ｅの中から、ラベルを選択することを含む。図８は、本発明の幾つかの実施形態による、ラベルを自動的に判断する例示的な方法を示す。ステップ２０２において、アプリケーション４６は、ターゲットＵＩ５８によって表示されるＵＩ要素のセットから選択された候補ラベルのセット（例えば項目６６ａ～ｅを参照）を生成してもよい。候補ラベル要素は、各ターゲット要素（例えば、ボタン、テキスト、入力フィールドなど）の要素種類に従って選択されてもよい。幾つかの実施形態において、候補ラベルは、それらが各ターゲットと同じ要素グループに属するか否かに従って選択されてもよい。例えば、ターゲット要素がフォームフィールドである場合、幾つかの実施形態では、同じフォームフィールドに属するＵＩ要素の中からのみラベル候補を選択するであろう。ＨＴＭＬドキュメントの場合、幾つかの実施形態では、ターゲット要素と同じ＜ｄｉｖ＞又は＜ｓｐａｎ＞コンテナからラベル候補を選択してもよい。

次に、ステップ２０４において、アプリケーション４６は、基準のセットに従って各候補ラベルを評価してもよい。幾つかの実施形態において、ステップ２０４は、ラベル適合性スコアを判断することを含み、別個の基準に従って評価された複数のサブスコアを組み合わせてもよい。例示的な基準は、ターゲット要素に対する候補ラベルの相対位置である。相対位置は、距離のセット、角度、及び／又は各ターゲット要素と候補ラベル要素との間の重なり度合いに従って判断されてもよい。

図９は、本発明の幾つかの実施形態による、ターゲット要素６４（この例では、入力フィールド）を候補ラベル６６から分離する例示的な距離のセットを示す。距離ｄ_１及びｄ_２は、画面の主座標（例えば、水平及び垂直など）に沿って、各要素の中心／重心間で測定される。光学式文字認識ソフトウェア（ＯＣＲ）を使用して検出されたテキスト要素の場合、該距離は、各テキスト要素の周囲を囲む境界ボックスの中心又は重心まで測定されてもよい。例えばマンハッタン距離、ユークリッド距離などの他の例示的な要素間距離が、ｄ_１及びｄ_２に従って評価されてもよい。幾つかの実施形態は、信頼できるラベルが一般的にそのターゲット要素の近くに位置するという観察に依存するので、ターゲット要素に比較的近い候補ラベルには、より遠い別の候補ラベルと比較して比較的高い適合性スコアが与えられてもよい。そのような実施形態において、例示的なラベル適合性スコアは、１／Ｄ又は（１－Ｄ／Ｄ_ｍａｘ）に従って判断されてもよく、この場合、Ｄは、ｄ_１及び／又はｄ_２に従って判断される要素間距離を示し、Ｄ_ｍａｘは、所定の閾値を示し、該閾値を超えると、２つのＵＩ要素は意味的に関連していないとみなされる。

別の例示的な適合性スコアは、候補ラベルとターゲット要素の間のアライメント（整列）の程度に従って判断されてもよい。アライメントは、例えば図１０に示すように、距離の別のセットに従って判断されてもよい。例示的な距離ｄ_３は、ラベル候補６６の左端をターゲット要素６４の左端から分離する。一方、距離ｄ_４は、ラベル候補６６の上端をターゲット要素６４の上端から分離する。幾つかの実施形態は、それらのターゲットを確実に識別するラベルが一般的に各ターゲットと整列している（揃えられている）という観察に依存している。したがって、幾つかの実施形態において、比較的小さいｄ_３又はｄ_４の距離は、各候補ラベルの比較的高いラベル適合性スコアに対応してもよい。図１０は、左部及び／又は上部のアライメントをテストするために使用されてもよい距離のみを示す。当業者は、図示された距離の測定が、右部及び／又は下部のアライメントをテストするために修正されてもよいことを理解するであろう。例示的な適合性スコアは、次のように計算されてもよい。

ここで、Ａは、ｄ_３及び／又はｄ_４に従って判断されるアライメント距離であり、Ａ_ｍａｘは、所定の閾値であり、この閾値を超えると、２つのＵＩ要素は整列されていないとみなされる。

さらに別の例示的な適合性スコアは、ラベル候補とターゲット要素の間の重なり度合いに従って判断されてもよい。図１１は、本発明の幾つかの実施形態による例示的な重なり度合い６７を示し、重なり度合い６７は、一方の要素が他方の要素と交わる比率、又は別の言い方では、一方の要素のどれだけが他方と重なるかとして判断される。そのような実施形態において、２つの要素が交わらない場合、２つの要素は重なりゼロとなるが、一方の要素が他方の要素を完全に含む場合、２つの要素は１００％の重なりを有する。幾つかの実施形態は、特定の種類のターゲット要素（例えば、ボタンなど）のラベルを確実に識別するために、重なり度合いに従って判断してスコア付けする。ターゲット要素６４の種類がボタンであるそのような１つの例では、アプリケーション４６は、ターゲットとの実質的な重なり度合い（例えば、９０％を超える）を有さない全てのラベル候補を除外してもよい。

他の例示的なラベル適合性基準は、各ＵＩ要素の画像及び／又はテキストコンテンツを含んでもよい。幾つかの実施形態ではテキストラベルが好ましいので、テキストを含まないＵＩ要素には、テキストの断片を表示する他のＵＩ要素よりも比較的低いラベル適合性スコアが与えられてもよい。別の例示的な基準は、候補ＵＩ要素によって表示されるテキストの長さであってもよい。幾つかの実施形態において、比較的小さいテキスト要素には、かなりの量のテキストを有するテキスト要素と比較して、比較的高い適合性スコアが与えられてもよい。

さらに別の例示的な基準は、類似の外観を有するラベル候補の数、例えば同一のテキストを有するラベルの数などを含んでもよい。ある例示的なシナリオにおいて、ターゲットＵＩ５８は、複数の人に関するデータを収集するように設計され、「姓」とラベル付けされる複数のフィールドを有するフォームを含む。このような状況で、「姓」ラベルは特定のフォームフィールドを識別するのにあまり信頼できない可能性がある。したがって、幾つかの実施形態では、各ラベル候補が（同様の画像を有する又は同様のテキストを表示する他のラベル候補がないという意味で）一意であるか否かを判断し、そうでない場合、各候補ラベルに比較的低いアンカー適合性スコアを与えてもよい。代替的な実施形態では、複数のラベルを同じターゲット要素、例えば各フォームフィールドの近くに配置されるラベル、入力のフォーム又はブロックのそれぞれのタイトルなどに割り当ててもよい。

ステップ２０６では、ラベル候補について評価されたスコアを比較してもよい。明確な勝者がいる場合、ステップ２１０において、スクリプトオーサリングアプリケーション４６は、ターゲット要素に関連付けられるユーザ向けラベルとして、最高の適合性スコアを有する候補ＵＩ要素を選択してもよい。ラベル適合性スコアが評価されない場合、又は複数の候補が同じ適合性スコアを有する場合、幾つかの実施形態では、ユーザ向けラベルとしてＵＩ要素を明示的に示すようにユーザを案内してもよい（ステップ２０８）。

ユーザ向けのラベル要素を自動的に選択する代替的な方法を、図１２、図１３に示す。アプリケーション４６が候補ラベルのセットを生成してターゲット要素に対する候補ラベルの位置に従って候補ラベルの適合性を評価する前述の方法とは対照的に、ステップ２２２では、ＵＩ５８内の候補位置を、例えば画面座標｛Ｘ、Ｙ｝として生成してもよい。そのような実施形態は、ラベルが関連付けられるターゲットを明確に識別するラベルが通常それらの各ターゲットに、例えばそれらの左に直接又は真上若しくは真下に、近接し整列しているという観察に再び依存する（位置は、各ＵＩの自然言語に依存してもよい）。したがって、幾つかの実施形態では、そのような位置で潜在的なラベル要素を明示的に探してもよい。図１２は、ターゲット要素６４の周囲にある複数の候補位置６５ａ～ｄを示す。そのような候補位置は、ターゲット要素の画面位置に従って、及び／又はターゲット要素のサイズに従って判断されてもよい。幾つかの実施形態において、候補位置は、例えば決定論的成分とランダム成分の合計として、ランダムに生成される。

次に、ステップ２２４では、候補位置に位置するＵＩ要素を識別してもよい。幾つかの実施形態において、要素は、各位置が各要素の画面境界内にある場合、特定の位置に位置するとみなされる。別の実施形態では、各要素の中心／重心と各位置との間の距離が所定の閾値よりも小さい場合に、要素が特定の位置に位置するとみなしてもよい。図１２の例では、ＵＩ要素６６は候補位置６５ａに位置する。幾つかの実施形態において、ステップ２２４は、ＯＳ４０のネイティブ機能への呼び出しを発行することを含み、各機能は、画面の特定の領域を占めるＵＩ要素のリストを返すように構成される。どのＵＩ要素が候補位置に位置するかを判断する他の方法には、各ＵＩの基礎となるソースコード（例えば、ＨＴＭＬスクリプト、スタイルシートなど）の解析が含まれる。

ＵＩ要素が各候補位置に位置していない場合、幾つかの実施形態では、ステップ２２２に戻って、別の候補位置を生成する。別の方法では、ステップ２２６において、スクリプトオーサリングアプリケーション４６は、ラベル適合基準のセットに従って、識別されたＵＩ要素のセットをフィルタリングしてもよい。そのような基準は、とりわけ、可視性（例えば、可視のＵＩ要素のみがラベルとして選択されてもよい）及び要素種類（例えば、テキスト要素が他の種類のＵＩ要素よりも優先されてもよい）を含んでもよい。他の適合性基準は、上記のように、ターゲット要素に対する候補の相対的位置を含んでもよい。

候補位置に位置するＵＩ要素のいずれもがラベルに適合するとみなされない場合（例えば、所定の閾値を超える適合性スコアが与えられたものがない場合など）、幾つかの実施形態では、ステップ２２２に戻って別の候補位置を生成してもよい。別の方法では、ステップ２３２において、適格なＵＩ要素を、各ターゲット要素のユーザ向けラベルとして選択してもよい。

ターゲット及び／又はユーザ向けラベルの識別に応じて、ステップ１１２（図４）において、スクリプトオーサリングアプリケーション４６は、各ターゲット及びラベル要素の要素特性特徴のセットを判断してもよい。本発明の幾つかの実施形態によるそのような要素特性データが、図１４に示され、とりわけ、要素画像９０ａ～ｂのセットと、要素テキスト９２ａ～ｂのセットと、ターゲット要素６４及び関連付けられるラベル６６のコードラベル９４ａ～ｂのセットとを含む。

コードラベル９４ａ～ｂは、ターゲットＵＩ５８のソースコード内の各ＵＩ要素を識別する。ユーザインタフェースのソースコードという用語は、本明細書では、各ユーザインタフェースによって表示されるコンテンツのプログラム表現を示すと理解される。ソースコードは、プログラミング言語で書かれたプログラム／スクリプトと、ＲＰＡクライアント１０のメモリに存在するデータ構造とを含んでもよい。例示的なソースコードは、ウェブブラウザアプリケーションによってウェブページとしてレンダリングされるＨＴＭＬ文書を含む。

コードラベル９４ａ～ｂは、例えば、ＲＰＡクライアント１０がＵＩ５８の表示を管理するために使用するオブジェクトの階層（ＵＩツリー）内の特定のオブジェクトとして、オペレーティングシステムに対して各ＵＩ要素を識別する。図示されるコードラベル９４ａ（図１４）は、ターゲット要素６４を、「ｕｉｄｏｕｂｌｅ．ｅｘｅ」というビジネスアプリケーションのウィンドウ内で可視である「ＴｅｌｌｅｒＣｔｒｌ３７」という名のオブジェクトとして識別する属性と値のペアのセットを含む。一方、コードラベル９４ｂは、ラベル６６を、ターゲット要素６４と同じアプリケーションウィンドウの一部を形成する「Ｃａｓｈ Ｉｎ」という名のテキスト要素として識別する。コードラベル９４ａ～ｂの図示されるフォーマットは、一例としてのみ提供される。当業者は、属性と値のペアのリストのほかに、ＵＩ要素をプログラムで表現する複数の他の方法があってもよいことを理解するであろう。

幾つかの実施形態において、コードラベル９４ａ～ｂを判断することは、ＵＩ５８の基礎となるコンピュータプログラム／スクリプトを解析すること、及び／又はＵＩ５８の表示を管理するためにＯＳ４０及び／又はビジネスアプリケーション４２によって使用されるデータ構造を解析すること、及び各ＵＩ要素を特徴付ける属性と値のペアのセットを抽出することを含む。

幾つかの実施形態において、各要素テキスト９２ａ～ｂ（図１４）は、各ＵＩ要素の画面境界内に表示されるテキスト（一連の英数字）のコンピュータ符号化を含む。図示する例では、ターゲット要素６４はテキストを表示しないので、要素テキスト９２ａは値ＮＵＬＬを有する。一方、要素テキスト９２ｂはテキスト「Ｃａｓｈ Ｉｎ」からなる。テキストのコンピュータ符号化は、例えば、一連の数字コード（例えば、Ｕｎｉｃｏｄｅなど）を含んでもよく、この場合、各コードは、要素テキスト９２ａ～ｂの個別の文字に対応する。

スクリプトオーサリングアプリケーション４６の実施形態は、様々な方法を使用して要素テキスト９２ａ～ｂを判断してもよい。アプリケーション４６がＵＩ５８のソースコードにアクセスできるとき、アプリケーション４６は、各ソースコードから要素テキスト９２ａ～ｂを抽出しようと試みてもよい。例えば、ウェブページのボタンに表示されるラベルは、各ウェブページに関連付けられているＨＴＭＬドキュメントを解析することで見つけることができる。他のビジネスアプリケーション４２の場合、スクリプトオーサリングアプリケーション４６は、ＯＳ４０及び／又はビジネスアプリケーション４２のデータ構造を解析して、要素テキスト９２ａ～ｂがＵＩ５８のソースコードに含まれるか否かを判断してもよい。

代替的な実施形態において、アプリケーション４６は、例えば光学式文字認識（ＯＣＲ）コンピュータプログラムなどの画像分析ツールを使用して、要素テキスト９２ａ～ｂを判断してもよい。そのような一例において、ＯＣＲツールは、それぞれのターゲット及び／又はラベルＵＩ要素を含む画面領域の画像を入力し、テキストトークンのセット（例えば、語句など）と各テキストトークンに対して判断された境界ボックスとを返してもよい。例示的な境界ボックスは、とりわけ、各テキストトークンの周囲を囲む多角形と、各トークンの凸包とを含む。境界ボックスは、図１４において、「Ｃａｓｈ Ｉｎ」という語句を囲む破線の矩形によって示されている。テキストトークン及び境界ボックスの受け取りに応じて、アプリケーション４６は、境界ボックスが各ＵＩ要素と実質的に重なるか否かを判断してもよく、ＹＥＳの場合、各ＵＩ要素を特徴付ける要素テキストとして、各境界ボックス内に位置するテキストトークンを選択してもよい。各境界ボックスの十分な比率（例えば、５０％を超える、一般的には８０～１００％）が各ＵＩ要素の画面境界内に位置する場合、実質的な重なりが確立されてもよい。

幾つかの実施形態において、各要素画像９０ａ～ｂ（図１４）は、各ＵＩ要素の境界内で画面に表示される画像のコンピュータ符号化を含む。画像のコンピュータ符号化は、複数のチャネルにわたる可能性がある各画面領域に対応するピクセル値の配列（例えば、ＲＧＢなど）、及び／又はピクセル値の各配列にしたがって計算された値のセット（例えば、ピクセル値の各配列のＪＰＥＧ又はウェーブレット表現など）を含んでもよい。各要素画像９０ａ～ｂを判断することは、ＵＩ５８のクリッピングのコンテンツ、即ち、各ＵＩ要素を示すＵＩ５８の限定された領域のコンテンツを取得することを含んでもよい。

ターゲット選択及び自動ラベル識別に応じて、ステップ１１４（図４）において、スクリプトオーサリングアプリケーション４６は、各ＲＰＡアクティビティのアクティビティ構成インタフェースに、ターゲットＵＩ要素及び／又は他のアクティビティパラメータに関する情報を取り込んでもよい。例示的な一実施形態において、アクティビティ構成インタフェースの外観は、ターゲット要素の選択の受け取りに応じて、図６の例示的な表示から図１５の例示的な表示に切り替えられてもよい。読み易さを向上させ、伝達される情報をユーザフレンドリーで直感的にするために、幾つかの実施形態では、各ターゲットに関連付けられるユーザ向けラベル６６（図４のステップ１１０で検出されるラベル６６）によって各アクティビティのターゲット／オペランドを参照してもよい。別の言い方をすると、ユーザに情報を提示する際に、アクティビティ構成インタフェースは、ユーザ向けラベルを、記述子として使用し、且つ／又は、各ターゲット要素の代わりに使用してもよい。例えば、幾つかの実施形態では、アクティビティ名フィールド８２（図６）に、ターゲット要素自体に従うのではなくユーザ向けラベルに従って判断されたアクティビティ名を取り込んでもよい。アクティビティ名は、例えば、アクティビティ種類のテキストインジケータ（例えば、「Ｔｙｐｅ Ｉｎｔｏ」など）をユーザ向けラベルの要素テキスト９２ｃ（例えば、「Ｃａｓｈ Ｉｎ」など）と連結することによって、構築されてもよい。代替的な実施形態において、アクティビティ名フィールドは、そのテキストコンテンツとは対照的に、各ユーザ向けラベルの画像（例えば、アイコンなど）を表示してもよい。

図示されたアクティビティ構成インタフェース７４ｄは、各ＲＰＡアクティビティの要約を示すアクティビティ記述フィールド８６をさらに含む。幾つかの実施形態において、フィールド８６は、ユーザ向けラベル及び／又はターゲット要素の特性データ、例えばユーザ向けラベルの画像９０ｃ及びターゲット要素の画像９０ｄなどを表示する。代替的な実施形態では、要素画像の代わりに又は要素画像に加えて、要素テキストを表示してもよい。

図１６は、テキスト取得アクティビティに関連して公開される別の例示的なアクティビティ構成インタフェース７４ｄを示す。図７を参照すると、示される例示的なアクティビティは、ロボットに、ＵＩ５８からトランザクション番号を取得するように指示する。図１５の状況とは対照的に、ここでは、ターゲット要素（実際のトランザクション番号）及びそのユーザ向けラベル（「Ｔｒａｎｓａｃｔｉｏｎ ＃」）は両方ともテキスト要素である。インタフェース７４ｄは、ユーザ向けラベルのテキスト９２ｄに従って判断されるアクティビティ名を表示して、即ち、真のターゲットの代替／記述子として再びユーザ向けラベルを使用して、読み易さを向上させ、現在のアクティビティを非コーディング開発者に対してアクセス可能にするために、アクティビティ記述は、各ターゲット要素及びそのユーザ向けラベル（それぞれ項目９０ｆ及び項目９０ｅ）の画像が表示する。

図１７は、マウスクリックアクティビティに関連して公開されるさらに別の例示的なアクティビティ構成インタフェース７４ｅを示す。図７を参照すると、示されるアクティビティは、ロボットに、ＵＩ５８の「Ａｃｃｅｐｔ」ボタンをクリックするように指示する。幾つかの実施形態では、ボタン要素のユーザ向けラベルを、各ボタンの上に表示されるテキスト要素として識別する。この場合、テキスト要素「Ａｃｃｅｐｔ」はボタン自体と同じ場所に配置される。そのような実施形態では、インタフェース７４ｃは、ボタン上に表示されるテキスト９２ｅに従って判断されるアクティビティ名を表示する。

さらなるステップ１１６（図４）において、スクリプトオーサリングアプリケーション４６は、選択されたＲＰＡアクティビティに対応するＲＰＡスクリプトを作成してもよい。別の言い方をすると、ステップ１１６において、アプリケーション４６は、実行時に使用されるロボットのコードを、例えばスクリプトファイルに出力する。ＲＰＡスクリプト５０は、当該技術分野で知られている任意のコンピュータ読み取り可能符合化で、例えば、ＸＭＬのバージョンで、又は一連のネイティブのプロセッサ命令（例えば、機械語など）にコンパイルされて、作成されてもよい。

各アクティビティ／自動化ステップについて、オーサリングアプリケーション４６は、各アクティビティ（例えば、クリック（ｃｌｉｃｋ）、入力（ｔｙｐｅ ｉｎｔｏ）など）のインジケータと、各ターゲット要素及びユーザ向けラベルについてステップ１１２で判断された要素特性特徴とを、ＲＰＡスクリプト５０に出力してもよい。そのようなデータは、とりわけ、各ＵＩ要素についてコードラベル、要素テキスト、及び要素画像を含んでもよい。特性データの符号化は、特性データ自体及び／又はそのようなデータの他の表現、例えば、各データにリモートでアクセス可能なネットワーク位置（例えば、ＵＲＬ、ネットワークアドレスなど）のインジケータを含んでもよい。

自動化の設計段階が完了すると、ＲＰＡスクリプト５０は、スクリプトリポジトリ１５に送られ、且つ／又は、実行のため他のＲＰＡクライアントに渡されてもよい（例えば、図１を参照）。図１８は、実行時にＲＰＡロボット４４によって実行される例示的な一連のステップを示している。ＲＰＡスクリプト５０の受け取りに応じて、ステップ３０４では、ＲＰＡスクリプト５０の内容に従って実行されるアクティビティの種類を判断する。ステップ３０４では、さらに、各ロボットがＲＰＡスクリプト５０に従ってそれと対話するように構成されているターゲットＵＩ及び／又はランタイムビジネスアプリケーション（例えば、ＭＳ Ｅｘｃｅｌ（登録商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ（登録商標）など）を判断する。ステップ３０６において、ＲＰＡロボット４４は、例えば、ローカルクライアントマシンで各ビジネスアプリケーションのインスタンスを呼び出すことで、各ターゲットＵＩを公開してもよい。さらに、ステップ３０８では、ＲＰＡスクリプト５０に記憶されている情報に従って、各アクティビティのランタイムターゲットＵＩ要素を自動的に識別してもよい。ランタイムターゲットＵＩ要素は、各アクティビティのオペランド、即ち、ロボット４４がそれに作用する（例えば、クリックする、テキストを入力する、コンテンツを取得するなど）ように構成されているランタイムターゲットＵＩのＵＩ要素を含む。ランタイムターゲットは、例えば、各ＵＩ要素のコードラベルに従って、且つ／又は、各ＵＩ要素によって表示されるテキスト及び／又は画像に従って、識別されてもよい。さらに、幾つかの実施形態では、ターゲット要素の設計時インスタンスに関連付けられるユーザ向けラベルについて設計時に判断された特性データに従って、ランタイムターゲットを識別する。実行時ターゲット要素の識別が成功したことに応じて、ステップ３１０は、スクリプト化されたアクティビティを自動的に実行する、即ち、ＲＰＡスクリプト５０に示されるように各ＵＩ要素と対話してもよい。

図１９は、本明細書に記載の方法の幾つかを実行するようにプログラムされたコンピューティングデバイスの例示的なハードウェア構成を示す。各コンピューティングデバイスは、図１のＲＰＡクライアント１０ａ～ｅの何れか、例えば、図１９に示すようなパーソナルコンピュータを表してもよい。例えば携帯電話、タブレットコンピュータ、ウェアラブルなどの他のコンピューティングデバイスが、僅かに異なる構成を有してもよい。プロセッサ２２は、信号及び／又はデータのセットを使用して計算及び／又は論理演算を実行するように構成された物理デバイス（例えば、マイクロプロセッサ、半導体基板上に形成されたマルチコア集積回路など）を備える。そのような信号又はデータは、符号化され、プロセッサ命令（例えば、機械語など）の形でプロセッサ２２に渡されてもよい。プロセッサ２２は、中央処理装置（ＣＰＵ）及び／又はグラフィックスプロセッシングユニット（ＧＰＵ）のアレイを含んでもよい。

メモリユニット２４は、動作を実行する過程でプロセッサ２２によってアクセス又は生成されるデータ／信号／命令符号化（エンコーディング）を記憶する揮発性のコンピュータ読み取り可能な媒体（例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）を備えてもよい。入力デバイス２６は、ユーザがデータ及び／又は命令をＲＰＡクライアント１０に導入することを可能にする各ハードウェアインタフェース及び／又はアダプタを含む、コンピュータキーボード、マウス、マイクなどを含んでもよい。出力デバイス２８は、例えばモニタなどの表示デバイス、スピーカ、及びグラフィックカードなどのハードウェアインタフェース／アダプタを含んでもよく、各コンピューティングデバイスがユーザにデータを通信できるようにする。幾つかの実施形態において、入力デバイス及び出力デバイス２６～２８は、共通のハードウェア（例えば、タッチスクリーンなど）を共有する。ストレージデバイス３２は、ソフトウェア命令及び／又はデータの不揮発な記憶、読み取り、及び書き込みを可能にするコンピュータ読み取り可能な媒体を含む。例示的なストレージデバイスには、磁気ディスク及び光ディスク、フラッシュメモリデバイス、並びにＣＤ及び／又はＤＶＤディスク及びドライブなどのリムーバブルメディアが含まれる。ネットワークアダプタ３４は、各コンピューティングデバイスが電子通信ネットワーク（例えば、図１のネットワーク１２、１４など）及び／又は他のデバイス／コンピュータシステムに接続することを可能にする。

コントローラハブ３０は、一般に、複数のシステム、周辺機器、及び／又はチップセットバス、及び／又はプロセッサ２２とＲＰＡクライアント１０の残りのハードウェアコンポーネントとの間の通信を可能にする全ての他の回路を表す。例えば、コントローラハブ３０は、メモリコントローラ、入力／出力（Ｉ／Ｏ）コントローラ、割り込みコントローラを含んでもよい。ハードウェアメーカに応じて、幾つかのそのようなコントローラが、１つの集積回路に組み込まれてもよく、且つ／又は、プロセッサ２２と統合されてもよい。別の例において、コントローラハブ３０は、プロセッサ２２をメモリ２４に接続するノースブリッジ、及び／又は、プロセッサ２２をデバイス２６、２８、３２、３４に接続するサウスブリッジを含んでもよい。

上記の例示的なシステム及び方法は、ロボット設計プロセスを、より直感的にし、正式なプログラミングのバックグラウンドが乏しい開発者にアクセスし易くすることで、ＲＰＡロボットの設計を容易にする。

ロボットソフトウェア（一般にデザインタイム（設計時）として知られる自動化の段階）を設計する場合、ＲＰＡ開発者は、ターゲットＵＩのインスタンスを呼び出し、ターゲット要素と各ターゲット要素で実行されるアクティビティとを示す。例えば、開発者は、ターゲットＵＩのボタンを指定し、各ボタンをクリックするようにロボットを構成してもよい。別の例において、開発者は、入力フィールドを示し、各入力フィールドにテキストを入力するようにロボットを構成してもよい。さらに別の例において、開発者は、ユーザインタフェースのテキストボックスを示し、各テキストボックスのコンテンツを取得するようにロボットを構成してもよい。結果として得られるロボットコードは、ターゲット要素のインジケータ及び各アクティビティのインジケータを含んでもよい。その後、ロボットコードはＲＰＡクライアントに渡されてもよい。

ＲＰＡシステムは、コードラベル（各ユーザインタフェースの基礎となるソースコードの特徴（例えば、ウェブページの外観とコンテンツを指定するＨＴＭＬコードなど））に従ってターゲット要素を識別してもよい。しかし、ターゲットＵＩ要素のコードラベルは、各ＵＩ要素の種類、外観、又は画面の場所に関する洞察を開発者に提供しなくてもよい。ユーザインタフェースのソースコードを理解するには、長期間の訓練が必要である可能性があり、正式なプログラミング訓練が不足している開発者にとっては選択肢にならない可能性がある。さらに、ソースコードラベルでＵＩ要素を参照すると、複数の設計者が同じＲＰＡソフトウェアで共同作業を行うような場合の移植性と共同開発が妨げられる可能性がある。ソースコードから派生する名は、一部の開発者には透過的である可能性があるが、各ターゲットＵＩのアーキテクチャにあまり詳しくない可能性がある他の開発者には透過的ではない可能性がある。

幾つかの実施形態は、ＵＩ要素をそのラベルとは明確に区別するロボット／コンピュータシステムとは対照的に、ＵＩの人間のユーザが一般的に、インタラクティブ要素（例えば、フォームフィールド、ボタンなど）をそのラベルとまとめて捉えるという観察に依存する。例えば、ユーザが実際に行った動作がＯＫラベルを表示しているボタンをクリックすることであった場合に、ユーザは「ＯＫをクリックしました」と言うことが多い。同様に、「姓」が、フィールド自体ではなく、実際にはその入力フィールドの隣に表示されるラベルである場合、ユーザは「姓を入力しています」と言う場合がある。一方、ＲＰＡを成功させるには、ターゲット要素に関連付けられるラベルではなく、ターゲット要素自体に作用する必要がある。

したがって、ロボット設計インタフェースのユーザ向けの側面において、幾つかの実施形態では、意図的に、識別子として、且つ／又は、実際のターゲット要素の代わりに、ラベルを使用する。図１５に示すそのような一例において、スクリプトオーサリングアプリケーション４６は、ロボット４４に、コードラベル「ＴｅｌｌｅｒＣｔｒｌ３７」を有するとして識別される入力フィールドに入力するように指示する。しかし、図１５に示すユーザ向けのアクティビティ構成インタフェースでは、各アクティビティが、例えば「Ｔｙｐｅ ｉｎｔｏ ‘ＴｅｌｌｅｒＣｔｒｌ３７’」ではなく、「Ｔｙｐｅ ｉｎｔｏ ‘Ｃａｓｈ Ｉｎ’」として表示される。そのようなユーザ指向のコミュニケーションは、各設計ツールの理解を大幅に促進し、ＲＰＡオーサリングを魅力的で非コーダーがアクセスできるようにする可能性がある。

別の例示的なＵＩの向上において、幾つかの実施形態では、ターゲット要素自体の代わりに、ターゲット要素の画像又はそれに関連付けられるユーザ向けラベルを使用する。各画像は、実際のターゲットＵＩのクリッピングを含んでもよく、ターゲットＵＩ内で各要素をレンダリングするために使用される実際のカラースキーム、フォント、及びフォントサイズを含む、ターゲット要素及び／又はラベルの画面上の外観を示す。そのような一例を図１６に示す。ここでは、ターゲット要素（実際のトランザクション番号）が画像として表されている。このような表現により、非技術系のユーザでも、ＵＩ内のターゲット要素をすぐに識別し、ロボットが何をするように設計されているかを理解することが可能になる。

上記の実施形態が本発明の範囲から逸脱することなく多くの方法で変更されてもよいことは、当業者に明らかであろう。したがって、本発明の範囲は、以下の特許請求の範囲及びそれらの法的均等物によって判断されるべきである。

Claims (15)

1. ロボティックプロセスオートメーション（ＲＰＡ）ソフトウェアを設計する方法であって、
   該方法は、コンピュータシステムの少なくとも１つのハードウェアプロセッサを使用して、
   ＲＰＡアクティビティを示すユーザ入力の受け取りに応じて、ユーザが前記ＲＰＡアクティビティのパラメータを構成できるようにするアクティビティ構成ユーザインタフェース（ＵＩ）を公開することと、
   それに応じて、ターゲットＵＩ内に表示される複数のＵＩ要素から前記ＲＰＡアクティビティのターゲット要素を選択するユーザ入力を受け取ることと、
   前記ターゲット要素を選択するユーザ入力の受け取りに応じて、前記ターゲット要素のユーザ向けラベルを自動的に選択することと、
   前記ユーザ向けラベルの選択に応じて、前記アクティビティ構成ＵＩ内に前記ユーザ向けラベルを表示させることと、
   前記ターゲットＵＩのソースコード内で前記ターゲット要素を特徴付けるコードラベルを判断することと、
   前記ＲＰＡアクティビティと前記ターゲット要素とに従って作成されるＲＰＡスクリプトを出力することと、
   を含み、
   前記ユーザ向けラベルは、前記ターゲット要素に対する前記ユーザ向けラベルの画面上の相対位置に従って前記複数のＵＩ要素から選択され、
   前記ＲＰＡスクリプトは前記コードラベルを含み、
   クライアントマシンで前記ＲＰＡスクリプトを実行することで、
   前記クライアントマシンによって公開されるランタイムＵＩ内で前記ターゲット要素のランタイムインスタンスを自動的に識別することと、
   前記ターゲット要素の前記ランタイムインスタンスを使用して人間のオペレータの対話の結果を再現する動作を自動的に実行することと、
   を、前記クライアントマシンに実行させ、
   前記ターゲット要素のランタイムインスタンスは前記コードラベルに従って識別され、
   前記動作は前記ＲＰＡアクティビティに従って判断されることを特徴とする方法。
2. 前記ユーザ向けラベルを表示させることは、
   前記ユーザ向けラベルのテキストコンテンツを抽出することと、
   前記アクティビティ構成ＵＩ内に前記テキストコンテンツを表示させることと、
   を含むことを特徴とする、請求項１に記載の方法。
3. 前記アクティビティ構成ＵＩはアクティビティ名フィールドを含み、
   前記ユーザ向けラベルを表示させることは、
   前記ＲＰＡアクティビティのアクティビティ種類と前記ユーザ向けラベルによって表示されるテキストとに従って、前記ＲＰＡアクティビティのアクティビティ名を判断することと、
   前記アクティビティ名フィールド内に前記アクティビティ名を表示させることと、
   を含むことを特徴とする、請求項１に記載の方法。
4. 前記アクティビティ名を判断することは、前記アクティビティ種類のインジケータと前記テキストとを連結することを含むことを特徴とする、請求項３に記載の方法。
5. 前記ユーザ向けラベルを表示させることは、前記アクティビティ構成ＵＩ内に前記ターゲットＵＩの画像のクリッピングを表示させることを含み、
   前記クリッピングは前記ユーザ向けラベルを示すことを特徴とする、請求項１に記載の方法。
6. 前記方法は、前記ターゲット要素を選択するユーザ入力の受け取りに応じて、前記アクティビティ構成ＵＩ内で前記ターゲットＵＩの画像のクリッピングを表示させることをさらに含み、
   前記クリッピングは前記ターゲット要素を示すことを特徴とする、請求項１に記載の方法。
7. 前記コードラベルは、前記ターゲット要素の属性と値のペアのセットを含み、
   前記属性と値のペアのセットは前記ソースコードで指定されることを特徴とする、請求項１に記載の方法。
8. 自動化ターゲットアプリケーションとスクリプトオーサリングアプリケーションとを実行するように構成された少なくとも１つのハードウェアプロセッサを含むコンピュータシステムであって、
   前記自動化ターゲットアプリケーションは、複数のユーザインタフェース（ＵＩ）要素を含むターゲットＵＩを公開するように構成され、
   前記スクリプトオーサリングアプリケーションは、
   ロボティックプロセスオートメーション（ＲＰＡ）アクティビティを示すユーザ入力の受け取りに応じて、ユーザが前記ＲＰＡアクティビティのパラメータを構成できるようにするアクティビティ構成ＵＩを公開することと、
   それに応じて、ターゲットＵＩ内に表示される複数のＵＩ要素から前記ＲＰＡアクティビティのターゲット要素を選択するユーザ入力を受け取ることと、
   前記ターゲット要素を選択するユーザ入力の受け取りに応じて、前記ターゲット要素のユーザ向けラベルを自動的に選択することと、
   前記ユーザ向けラベルの選択に応じて、前記アクティビティ構成ＵＩ内に前記ユーザ向けラベルを表示させることと、
   前記ターゲットＵＩのソースコード内で前記ターゲット要素を特徴付けるコードラベルを判断することと、
   前記ＲＰＡアクティビティと前記ターゲット要素とに従って作成されるＲＰＡスクリプトを出力することと、
   を実行するように構成され、
   前記ユーザ向けラベルは、前記ターゲット要素に対する前記ユーザ向けラベルの画面上の相対位置に従って前記複数のＵＩ要素から選択され、
   前記ＲＰＡスクリプトは前記コードラベルを含み、
   クライアントマシンで前記ＲＰＡスクリプトを実行することで、
   前記クライアントマシンによって公開されるランタイムＵＩ内で前記ターゲット要素のランタイムインスタンスを自動的に識別することと、
   前記ターゲット要素の前記ランタイムインスタンスを使用して人間のオペレータの対話の結果を再現する動作を自動的に実行することと、
   を、前記クライアントマシンに実行させ、
   前記ターゲット要素のランタイムインスタンスは前記コードラベルに従って識別され、
   前記動作は前記ＲＰＡアクティビティに従って判断されることを特徴とするコンピュータシステム。
9. 前記ユーザ向けラベルを表示させることは、
   前記ユーザ向けラベルのテキストコンテンツを抽出することと、
   前記アクティビティ構成ＵＩ内に前記テキストコンテンツを表示させることと、
   を含むことを特徴とする、請求項８に記載のコンピュータシステム。
10. 前記アクティビティ構成ＵＩはアクティビティ名フィールドを含み、
    前記ユーザ向けラベルを表示させることは、
    前記ＲＰＡアクティビティのアクティビティ種類と前記ユーザ向けラベルによって表示されるテキストとに従って、前記ＲＰＡアクティビティのアクティビティ名を判断することと、
    前記アクティビティ名フィールド内に前記アクティビティ名を表示させることと、
    を含むことを特徴とする、請求項８に記載のコンピュータシステム。
11. 前記アクティビティ名を判断することは、前記アクティビティ種類のインジケータと前記テキストとを連結することを含むことを特徴とする、請求項１０に記載のコンピュータシステム。
12. 前記ユーザ向けラベルを表示させることは、前記アクティビティ構成ＵＩ内に前記ターゲットＵＩの画像のクリッピングを表示させることを含み、
    前記クリッピングは前記ユーザ向けラベルを示すことを特徴とする、請求項８に記載のコンピュータシステム。
13. 前記コンピュータシステムはさらに、前記ターゲット要素を選択するユーザ入力の受け取りに応じて、前記アクティビティ構成ＵＩ内で前記ターゲットＵＩの画像のクリッピングを表示させ、
    前記クリッピングは前記ターゲット要素を示すことを特徴とする、請求項８に記載のコンピュータシステム。
14. 前記コードラベルは、前記ターゲット要素の属性と値のペアのセットを含み、
    前記属性と値のペアのセットは前記ソースコードで指定されることを特徴とする、請求項８に記載のコンピュータシステム。
15. 命令を記憶する非一時的なコンピュータ読み取り可能な媒体であって、
    該命令は、複数のユーザインタフェース（ＵＩ）要素を含むターゲットＵＩを公開するように構成されたコンピュータシステムの少なくとも１つのハードウェアプロセッサによって実行されるときに、
    ロボティックプロセスオートメーション（ＲＰＡ）アクティビティを示すユーザ入力の受け取りに応じて、ユーザが前記ＲＰＡアクティビティのパラメータを構成できるようにするアクティビティ構成ユーザインタフェース（ＵＩ）を公開することと、
    それに応じて、ターゲットＵＩ内に表示される複数のＵＩ要素から前記ＲＰＡアクティビティのターゲット要素を選択するユーザ入力を受け取ることと、
    前記ターゲット要素を選択するユーザ入力の受け取りに応じて、前記ターゲット要素のユーザ向けラベルを自動的に選択することと、
    前記ユーザ向けラベルの選択に応じて、前記アクティビティ構成ＵＩ内に前記ユーザ向けラベルを表示させることと、
    前記ターゲットＵＩのソースコード内で前記ターゲット要素を特徴付けるコードラベルを判断することと、
    前記ＲＰＡアクティビティと前記ターゲット要素とに従って作成されるＲＰＡスクリプトを出力することと、
    を前記コンピュータシステムに実行させ、
    前記ユーザ向けラベルは、前記ターゲット要素に対する前記ユーザ向けラベルの画面上の相対位置に従って前記複数のＵＩ要素から選択され、
    前記ＲＰＡスクリプトは前記コードラベルを含み、
    クライアントマシンで前記ＲＰＡスクリプトを実行することで、
    前記クライアントマシンによって公開されるランタイムＵＩ内で前記ターゲット要素のランタイムインスタンスを自動的に識別することと、
    前記ターゲット要素の前記ランタイムインスタンスを使用して人間のオペレータの対話の結果を再現する動作を自動的に実行することと、
    を、前記クライアントマシンに実行させ、
    前記ターゲット要素のランタイムインスタンスは前記コードラベルに従って識別され、
    前記動作は前記ＲＰＡアクティビティに従って判断されることを特徴とする非一時的なコンピュータ読み取り可能な媒体。

Images