JP2023544278A - テスト中のアプリケーションのテストオートメーションのためのコンピュータ実装方法およびシステム - Google Patents

Abstract

テスト中のアプリケーションのテストオートメーションファイルを生成するためのシステムおよびコンピュータ実装方法が、本明細書に開示される。コンピュータ実装方法は、テスト中のアプリケーションに関連する画像ファイルを取得すること、および画像ファイルの１または複数のコントロール要素を特定することを含む。コンピュータ実装方法は、コンピュータビジョンコンポーネントを使用して、画像ファイルの１または複数のコントロール要素でユーザーによって実行される１または複数のアクションを記録することにより、画像ファイルのテストオートメーション記録データを生成することをさらに含む。コンピュータ実装方法は、設計段階において、テストオートメーション記録データを使用してテストオートメーションファイルを生成することをさらに含む。コンピュータ実装方法は、開発段階において、ライブアプリケーションをテストするためにテストオートメーションファイルを使用することをさらに含む。ライブアプリケーションは、ＲＰＡアプリケーションであり得る。

Description

（関連出願への相互参照）
本出願は、２０２０年９月２５日に出願された米国特許出願第１７／０３２，５５６号の利益およびその優先権を主張する国際出願である。先に提出された本出願の主題は、その全体を参照することにより、本明細書に組み込まれる。

本開示は概して、ロボティックプロセスオートメーション（ＲＰＡ）に関し、より具体的には、コンピュータビジョン機能を使用したユーザーインターフェースのテストオートメーションに関する。

一般的に、ＵＩ（ユーザーインターフェース）デザインの提案は、ＵＩ専門家およびＵＸ（ユーザーエクスペリエンス）専門家によって行われる。また、従来は、テストオートメーションはソフトウェア開発段階になってからのみ行うことができた。テストオートメーションエンジニアは、ソフトウェア開発チームがＵＩの実装を完了するまで、アプリケーションのＵＩデザインに対するテストオートメーションの実行を待たなければならない場合がある。これは、時間とコストのかかる手順である。さらに、ワークフローの欠陥をリアルタイムでデバッグし、実行時に不具合を回避することは、さらに困難となる。

したがって、テストオートメーションエンジニアが設計段階で欠陥のあるアプリケーションをテストすることができ、ソフトウェア開発者がユーザーインターフェースを実装するまでのテストオートメーションエンジニアの待ち時間を短縮するツールが必要とされている。

本発明の特定の実施形態は、現在のテストオートメーションによってまだ十分に特定されていない、評価されていない、または解決されていない本分野における問題およびニーズのソリューションを提供する。例えば、本発明のいくつかの実施形態は、テストを開始する前に開発者側で費やされる重要な待ち時間を必要とせずに、設計段階でのアプリケーションのテストに関する。そのため、本発明の様々な実施形態は、ＵＩ／ＵＸ専門家によって開発されたモック画像のテストに関連し、モック画像上のユーザーアクションを記録するためのコンピュータビジョン技術を使用し、テスト中のアプリケーションのテストのためのテストオートメーションの生成のために記録されたアクションを使用する。

実施形態において、テスト中のアプリケーションのテストオートメーションファイルを生成するためのコンピュータ実装方法は、テスト中アプリケーションのユーザーインターフェース設計に関連する画像ファイルを取得することを含む。方法はまた、処理コンポーネントによって、テスト中のアプリケーションのユーザーインターフェース設計に関連する画像ファイルの１または複数のコントロール要素を特定することを含む。１または複数のコントロール要素は、データの入力のためにユーザーによってアクセス可能な１または複数のフィールドを含む。方法は、コンピュータビジョンコンポーネントを用いてテストオートメーション記録データを生成することをさらに含む。テストオートメーション記録データの生成は、得られた画像ファイルの１または複数のコントロール要素で実行された１または複数のアクションを記録することを含む。方法はまた、テストオートメーション記録データに基づいて、テスト中のアプリケーションのテストオートメーションファイルを生成することを含む。テストオートメーションファイルは、テスト中のアプリケーションの実際のユーザーインターフェースにアクセスを提供することなく、生成されたテストオートメーションの記録データを含む。

別の実施形態では、非一時的なコンピュータ読み取り可能な媒体は、コンピュータプログラムを格納する。コンピュータプログラムは、少なくとも１つのプロセッサが、テスト中のアプリケーションのユーザーインターフェース設計に関連する画像ファイルを取得し、テスト中のアプリケーションのユーザーインターフェース設計に関連する画像ファイルの１または複数のコントロール要素を特定するように構成される。１または複数のコントロール要素は、データの入力のためにユーザーによってアクセス可能な１または複数のフィールドを含む。コンピュータプログラムは、少なくとも１つのプロセッサが、コンピュータビジョンコンポーネントを用いてテストオートメーション記録データを生成するようにさらに構成される。テストオートメーション記録データの生成は、得られた画像ファイルの１または複数のコントロール要素で実行された１または複数のアクションを記録することを含む。コンピュータプログラムは、少なくとも１つのプロセッサが、テストオートメーション記録データに基づいて、テスト中のアプリケーションのテストオートメーションファイルを生成するようにさらに構成される。テストオートメーションファイルは、テスト中のアプリケーションの実際のユーザーインターフェースにアクセスを提供することなく、生成されたテストオートメーションの記録データを含む。

さらに別の実施形態では、コンピューティングシステムは、機械読み取り可能なコンピュータプログラム命令を格納するメモリと、コンピュータプログラム命令を遂行するように構成された少なくとも１つのプロセッサとを含む。コンピュータプログラム命令は、少なくとも１つのプロセッサが、テスト中のアプリケーションのユーザーインターフェース設計に関連する画像ファイルを取得し、人工知能処理コンポーネントによって、テスト中のアプリケーションのユーザーインターフェース設計に関連する画像ファイルの１または複数のコントロール要素を特定するように構成される。コンピュータプログラム命令は、コンピュータビジョンコンポーネントを使用して、画像ファイルの１または複数のコントロール要素で実行される１または複数のアクションを記録することによって、テストオートメーション記録データを生成するようにさらに構成される。生成されたテストオートメーション記録データは、画像ファイルの１または複数のコントロール要素上で実行される１または複数のアクションのそれぞれに関連する１または複数の記録されたアクションを含む。コンピュータプログラム命令は、テストオートメーション記録データに基づいて、テスト中のアプリケーションのためのテストオートメーションファイルを生成するようにさらに構成される。テストオートメーションファイルは、生成されたテストオートメーション記録データを含む。

本発明の特定の実施形態の利点が容易に理解されるように、上記で簡単に説明した本発明のより特定の説明は、添付の図面に図示されている特定の実施形態を参照して描写される。これらの図面は、本発明の典型的な実施形態のみを描いており、したがって、その範囲を限定するものとは考えられないことが理解されるべきであるが、本発明は、以下の添付の図面を使用することにより、さらなる特定および詳細をもって描写され、説明されるであろう。

本発明の実施形態による、ロボティックプロセスオートメーション（ＲＰＡ）システムを示すアーキテクチャ図である。

本発明の実施形態による、展開したＲＰＡシステムを示すアーキテクチャ図である。

本発明の実施形態による、デザイナ、アクティビティ、およびドライバの間の関係を示すアーキテクチャ図である。

本発明の実施形態による、別のＲＰＡシステムを示すアーキテクチャ図である。

本発明の実施形態による、テスト中のアプリケーションのテストオートメーションファイルを生成するために構成されたコンピューティングシステムを示すアーキテクチャ図である。

本発明の実施形態による、ユーザーインタフェーステストモジュールを示すアーキテクチャ図である。

本発明の実施形態による、テスト中のアプリケーションのユーザーインターフェースのモック画像を示すグラフィカルユーザーインターフェース（ＧＵＩ）である。

本発明の実施形態による、テストオートメーション記録データを生成するために、モック画像の１または複数のコントロール要素でユーザーが実行した１または複数のアクションを記録するシナリオのスクリーンショットを示すＧＵＩである。 本発明の実施形態による、テストオートメーション記録データを生成するために、モック画像の１または複数のコントロール要素でユーザーが実行した１または複数のアクションを記録するシナリオのスクリーンショットを示すＧＵＩである。

本発明の実施形態による、テスト中のアプリケーションのテストオートメーションファイルを生成するためのスクリーンショットを示すＧＵＩである。 本発明の実施形態による、テスト中のアプリケーションのテストオートメーションファイルを生成するためのスクリーンショットを示すＧＵＩである。

本発明の実施形態による、ライブアプリケーションのスクリーンショット、サイドバイサイド、ライブアプリケーションのモック画像を示すＧＵＩである。

本発明の実施形態による、ライブアプリケーション上でモック画像の録画ファイルを実行した際のスクリーンショットを示すＧＵＩである。 本発明の実施形態による、ライブアプリケーション上でモック画像の録画ファイルを実行した際のスクリーンショットを示すＧＵＩである。 本発明の実施形態による、ライブアプリケーション上でモック画像の録画ファイルを実行した際のスクリーンショットを示すＧＵＩである。 本発明の実施形態による、ライブアプリケーション上でモック画像の録画ファイルを実行した際のスクリーンショットを示すＧＵＩである。

本発明の実施形態による、テストオートメーションファイルを生成するためのコンピュータ実装方法を示すフローチャートである。

本発明の実施形態による、ライブアプリケーションをテストするためのコンピュータ実装方法を示すフローチャートである。

別段の記載がない限り、類似の参照文字は、添付の図面全体で一貫して対応する特徴を示す。

（実施形態の詳細な説明）
いくつかの実施形態は、コンピュータビジョン技術を使用してテスト中のアプリケーションのテストオートメーションファイルを生成するように構成されたシステム（以下、「コンピューティングシステム」と称する）に関する。テストオートメーションファイルは、ライブアプリケーションが利用可能である場合または開発されている場合に、ライブアプリケーションのテストに使用され得る。いくつかの実施形態では、コンピューティングシステムは、テスト中のアプリケーションに関連するＵＩのモック画像などの画像ファイルに基づいて、テストオートメーションファイルを生成するように構成される。したがって、コンピューティングシステムは、テスト中のアプリケーションが完全に開発される前に、すなわち、テスト中のアプリケーションがライブアプリケーションとなるようにライブ化するずっと前に、テスト中のアプリケーションのテスト段階を開始することを可能にする。

さらに、コンピューティングシステムは、テスト中のアプリケーションのテストを本当にシフトレフトすることができ、アプリケーションのテストケースを生成するのに費やされるコスト、時間および労力を節約することにつながる。コンピューティングシステムを使用すると、ソフトウェアテストエンジニアなどのユーザーは、ソフトウェアアプリケーションの開発を待つ必要がなく、ソフトウェア開発ライフサイクルの設計段階でソフトウェアアプリケーションのＵＩ／ＵＸ画像が利用可能になるとすぐにテストケースを書き始めることができる。

いくつかの実施形態では、コンピューティングシステムは、コンピューティングシステムで利用可能なコンピュータビジョン機能を使用することによって、テスト中のアプリケーションのためのテストオートメーションファイルの生成を可能にする。テストオートメーションファイルは、ソフトウェア開発ライフサイクルの設計段階で準備されたＵＩ設計の画像モックアップなどの画像ファイルに基づいて、テストオートメーション記録データの生成のために画像ファイル上で実行される１または複数のユーザーアクションを記録することにより、生成される。この記録は、コンピュータビジョン機能を用いて行われるため、テストオートメーションファイルの生成のためのデータをキャプチャするための、真に直感的でユーザーフレンドリーなプロセスを提供する。画像ファイルは、次にＡＩ対応クラウドサーバーにアップロードされ、これは、画像ファイルの分析を実行し、１または複数のユーザーアクションの形でユーザーのインタラクションを記録するために画像ファイルの１または複数のコントロール要素を特定する。ＡＩ対応クラウドサーバーは、別個の処理コンポーネントとして具現化され、コンピューティングシステムが、本技術分野で利用可能な従来のソフトウェアテストソリューションと比較して、ストレージ要件を低減し、遂行時間を改善することができる。さらに、遂行時間およびストレージ要件の改善は、コンピューティングシステム上の演算オーバーヘッドを減少させ得る。このように、テストオートメーションファイルは、実際のソフトウェア開発ライフサイクルの開始前に生成され、本明細書に開示されたコンピューティングシステムおよびコンピュータ実装方法を使用して、テスト中のアプリケーションのテストオートメーション段階のシフトレフトを引き起こす。いくつかの実施形態では、本発明の範囲から逸脱することなく、テスト中のアプリケーションは、ロボティックプロセスオートメーション（ＲＰＡ）アプリケーションに関係し、コンピューティングシステムは、ＲＰＡシステムに酷似しているかまたはそれを複製する。

図１は、本開示の実施形態による、ＲＰＡシステム１００を示すアーキテクチャ図である。ＲＰＡシステム１００は、開発者またはユーザーがワークフローを設計、テストおよび実装することを可能にするデザイナ１１０を含む。デザイナ１１０は、アプリケーション統合のためのソリューションを提供するとともに、サードパーティアプリケーション、管理情報技術（ＩＴ）タスク、およびビジネスＩＴプロセスを自動化する。デザイナ１１０はまた、ビジネスプロセスのグラフィカルな表現である自動化プロジェクトの開発を容易にする。簡単に言えば、デザイナ１１０は、ワークフローおよびロボットの開発および展開を容易にする。

自動化プロジェクトは、本明細書で「アクティビティ」と定義されるワークフローで開発されたステップのカスタムセット間の遂行順序および関係の制御を開発者に与えることにより、ルールベースのプロセスの自動化を可能にする。デザイナ１１０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンをクリックする、ファイルを読む、ログパネルに書き込むなどのアクションを含む。いくつかの実施形態では、ワークフローは入れ子になっているか、または埋め込まれ得る。

ワークフローのいくつかのタイプには、シーケンス、フローチャート、有限状態機械（ＦＳＭ）、および／またはグローバル例外ハンドラなどを含むが、これらに限定されない。シーケンスは、ワークフローを乱雑にすることなく、あるアクティビティから別のアクティビティへのフローを可能にする、線形プロセスに特に適し得る。フローチャートは、特により複雑なビジネスロジックに適し、複数の分岐ロジックオペレータを介して、より多様な方法で意思決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適する。ＦＳＭは、条件（すなわち、遷移）またはアクティビティによりトリガされ得る有限の数の状態をそれらの遂行中に使用する。グローバル例外ハンドラは、遂行エラーに遭遇したときのワークフローの挙動を決定したり、プロセスをデバッグしたりするのに特に適する。

ワークフローがデザイナ１１０内で開発されると、ビジネスプロセスの遂行は、コンダクタ１２０により調整され、デザイナ１１０内で開発されたワークフローを遂行する１または複数のロボット１３０を調整する。コンダクタ１２０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｏｒｃｈｅｓｔｒａｔｏｒ（商標）である。コンダクタ１２０は、環境におけるリソースの生成、監視、および展開の管理を容易にする。コンダクタ１２０はまた、サードパーティのソリューションおよびアプリケーションとの統合ポイントとして動作する。

コンダクタ１２０は、全てのロボット１３０を管理し、ロボット１３０を集中ポイントから接続して遂行する。管理されるロボット１３０のタイプには、アテンディッドロボット１３２、アンアテンディッドロボット１３４、開発ロボット（アンアテンディッドロボット１３４と同様であるが、開発およびテストの目的で使用される）、および非生産ロボット（アテンディッドロボット１３２と同様であるが、開発およびテストの目的で使用される）が含まれるが、これらに限定されない。アテンディッドロボット１３２は、ユーザーイベントによってトリガされ、同じコンピューティングシステム上で人と並んで動作する。アテンディッドロボット１３２は、集中プロセスデプロイメントおよびロギング媒体のためのコンダクタ１２０とともに使用される。アテンディッドロボット１３２は、人間のユーザーが様々なタスクを達成するのを支援し、ユーザーイベントによってトリガされ得る。いくつかの実施形態では、プロセスは、このタイプのロボット上でコンダクタ１２０から開始できず、および／またはそれらはロックされた画面の下で実行できない。特定の実施形態では、アテンディッドロボット１３２は、ロボットトレイからまたはコマンドプロンプトから開始される。次いで、アテンディッドロボット１３２は、いくつかの実施形態では、人の監督下で動作する。

アンアテンディッドロボット１３４は、仮想環境で無人で動作し、多くのプロセスを自動化するために使用される。アンアテンディッドロボット１３４は、リモート遂行、監視、スケジューリング、および作業キューのサポートの提供を担当する。全てのロボットタイプのためのデバッグは、いくつかの実施形態では、デザイナ１１０において実行される。アテンディッドロボット１３２およびアンアテンディッドロボット１３４の両方は、メインフレーム、ウェブアプリケーション、仮想マシン（ＶＭ）、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などにより生成されたもの）、およびコンピューティングシステムアプリケーション（例えば、デスクトップおよびラップトップアプリケーション、モバイルデバイスアプリケーション、ウェアラブルコンピュータアプリケーションなど）を含むが、これらに限定されない様々なシステムおよびアプリケーションを自動化するために使用される。

コンダクタ１２０は、プロビジョニング、展開、構成、キューイング、監視、ロギング、および／または相互接続性の提供を含むがこれらに限定されない様々な能力を有する。プロビジョニングは、ロボット１３０とコンダクタ１２０（例えば、ウェブアプリケーション）との間の接続を作成し、維持することを含む。展開は、遂行のために割り当てられたロボット１３０へのパッケージバージョンの正しい配信を保証することを含む。構成は、ロボット環境およびプロセス構成の維持および配信を含む。キューイングは、キューおよびキュー項目の管理を提供することを含む。監視は、ロボットの特定データを追跡し、ユーザーの権限を維持することを含む。ロギングは、データベース（例えば、ＳＱＬデータベース）および／または別のストレージメカニズム（例えば、大規模なデータセットを格納し、迅速にクエリを実行する能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））へのログの保存およびインデックス作成を含む。コンダクタ１２０は、サードパーティのソリューションおよび／またはアプリケーションのための通信の集中点として動作することにより、相互接続性を提供する。

ロボット１３０は、デザイナ１１０で構築されたワークフローを実行する遂行エージェントである。ロボット（複数可）１３０のいくつかの実施形態の１つの商業的な例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット１３０は、デフォルトで、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。その結果、ロボット１３０は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開くように構成され、かつＷｉｎｄｏｗｓ（登録商標）サービスの権利を有する。

いくつかの実施形態では、ロボット１３０は、ユーザーモードで設置される。このようなロボット１３０については、所定のロボット１３０が設置されているユーザーと同じ権利を有することを意味する。この特色はまた、各マシンを最大限に全活用することを保証する高密度（ＨＤ）ロボットにも利用可能である。いくつかの実施形態では、いずれかのタイプのロボット１３０は、ＨＤ環境で構成され得る。

いくつかの実施形態におけるロボット１３０は、複数のコンポーネントに分割され、それぞれが特定の自動化タスクに特化されている。いくつかの実施形態におけるロボットコンポーネントは、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、およびコマンドラインを含むが、これらに限定されない。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホスト（すなわち、ロボット１３０が遂行されるコンピューティングシステム）との間のプロキシとして動作する。これらのサービスは、ロボット１３０の資格情報を任されて管理する。コンソールアプリケーションは、ローカルシステム下のＳＣＭにより起動される。

いくつかの実施形態におけるユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホストとの間のプロキシとして動作する。ユーザーモードロボットサービスは、ロボット１３０の資格情報を任されて管理し得る。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが自動的に起動される。

エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッションの下で与えられたジョブを実行する（つまり、それらはワークフローを遂行し得る）。エグゼキュータは、モニタ毎のドットパーインチ（ＤＰＩ）設定を意識する。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標） Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであり得る。エージェントは、サービスのクライアントであり得る。エージェントは、ジョブの開始または停止、および設定の変更を要求するように構成される。コマンドラインはサービスのクライアントである。コマンドラインは、ジョブの開始を要求し、その出力を待つコンソールアプリケーションである。

上で説明したように、ロボット１３０のコンポーネントが分割されていることは、開発者、サポートユーザー、およびコンピューティングシステムが、各コンポーネントが遂行していることをより容易に実行し、特定し、および追跡するのに役立つ。この方法では、エグゼキュータとサービスに異なるファイアウォールルールを設定するなど、コンポーネントごとに特別な挙動を構成し得る。エグゼキュータは常に、いくつかの実施形態では、モニタごとのＤＰＩ設定を認識する。その結果、ワークフローは、ワークフローが作成されたコンピューティングシステムの構成に関係なく、いずれかのＤＰＩで遂行される。また、いくつかの実施形態では、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルに依存しないようにする。ＤＰＩを認識していないまたは意図的に認識していないとマークされているアプリケーションの場合、いくつかの実施形態ではＤＰＩを無効にする。

図２は、本開示の実施形態による、展開したＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のＲＰＡシステム１００の一部であってもよくまたはその一部でなくてもよい。クライアント側、サーバー側、またはその両方が、本発明の範囲から逸脱することなく、いずれかの所望の数のコンピューティングシステムを含むことに留意すべきである。クライアント側では、ロボットアプリケーション２１０は、エグゼキュータ２１２、エージェント２１４、およびデザイナ２１６（例えば、デザイナ１１０）を含む。しかし、いくつかの実施形態では、デザイナ２１６は、ロボットアプリケーション２１０上で実行していない。エグゼキュータ２１２はプロセスを実行している。図２に示すように、複数のビジネスプロジェクト（すなわち、エグゼキュータ２１２）が同時に実行する。エージェント２１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、本実施形態では、全てのエグゼキュータ２１２のための単一の接続ポイントである。この実施形態における全てのメッセージは、コンダクタ２３０に記録され、それは、データベースサーバー２４０、インデクササーバー２５０、またはその両方を介して、それらをさらに処理する。図１に関して上述したように、エグゼキュータ２１２は、ロボットコンポーネントである。

いくつかの実施形態では、ロボットは、マシン名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理する。同時に実行される複数のインタラクティブセッションをサポートするコンピューティングシステム（Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２など）では、そこで複数のロボットが同時に実行しており、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行している。これは、上記のＨＤロボットと呼ばれる。

エージェント２１４はまた、ロボットの状態を送信し（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）、遂行されるパッケージの要求されるバージョンをダウンロードすることにも責任を負う。エージェント２１４とコンダクタ２３０との間の通信は、いくつかの実施形態では、常にエージェント２１４によって開始される。通知シナリオでは、エージェント２１４は、後にコンダクタ２３０によってロボットにコマンド（例えば、開始、停止など）を送信するために使用されるＷｅｂＳｏｃｋｅｔチャネルを開く。

サーバー側には、プレゼンテーション層（ウェブアプリケーション２３２、オープンデータプロトコル（ＯＤａｔａ）代表状態転送（ＲＥＳＴ）アプリケーションプログラミングインターフェース（ＡＰＩ）エンドポイント２３４、通知および監視ＡＰＩ２３６）、サービス層（ＡＰＩ実装／ビジネスロジック２３８）、永続層（データベースサーバー２４０およびインデクササーバー２５０）が含まれる。コンダクタ２３０は、ウェブアプリケーション２３２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４、通知および監視ＡＰＩ２３６、ならびにＡＰＩ実装／ビジネスロジック２３８を含む。いくつかの実施形態では、ユーザーがコンダクタ２２０のインターフェース（例えば、ブラウザ２２０を介して）で実行するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実行される。このような動作は、本発明の範囲を逸脱することなく、ロボット上でのジョブの起動、キュー内のデータの追加／削除、無人で実行するジョブのスケジューリングなどを含むが、これらに限定されない。ウェブアプリケーション２３２は、サーバープラットフォームのビジュアル層である。この実施形態では、ウェブアプリケーション２３２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）およびジャバスクリプト（ＪＳ）を使用する。しかし、本発明の範囲を逸脱することなく、いずれかの所望のマークアップ言語、スクリプト言語、または他のいずれかのフォーマットを使用し得る。ユーザーは、コンダクタ２３０を制御するための様々な動作を実行するために、本実施形態ではブラウザ２２０を介してウェブアプリケーション２３２からのウェブページとインタラクションする。例えば、ユーザーは、ロボットグループを作成し、ロボットへのパッケージの割り当てを行い、ロボット毎および／またはプロセス毎のログを解析し、ロボットを起動しおよび停止などをする。

ウェブアプリケーション２３２に加えて、コンダクタ２３０は、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４を公開するサービス層も含む。しかし、本発明の範囲を逸脱することなく、他のエンドポイントも含まれる。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション２３２とエージェント２１４の両方により消費される。エージェント２１４は、本実施形態では、クライアントコンピュータ上の１または複数のロボットのスーパーバイザである。

本実施形態のＲＥＳＴ ＡＰＩは、構成、ロギング、監視、およびキューイング機能をカバーする。構成エンドポイントは、いくつかの実施形態では、アプリケーションのユーザー、権限、ロボット、アセット、リリース、および環境を定義し、構成するために使用される。ロギングＲＥＳＴエンドポイントは、例えば、エラー、ロボットによって送信された明示的なメッセージ、およびその他の環境固有の情報など、様々な情報をログに記録するために使用される。デプロイメントＲＥＳＴエンドポイントは、コンダクタ２３０においてジョブ開始コマンドが使用された場合に遂行されるべきパッケージバージョンを問い合わせるためにロボットにより使用される。キューイングＲＥＳＴエンドポイントは、キューへのデータの追加、キューからのトランザクションの取得、トランザクションのステータスの設定など、キューおよびキューアイテムの管理を担う。

ＲＥＳＴエンドポイントの監視は、ウェブアプリケーション２３２およびエージェント２１４を監視する。通知および監視ＡＰＩ２３６は、エージェント２１４の登録、エージェント２１４への構成設定の配信、ならびにサーバーおよびエージェント２１４からの通知の送受信に使用されるＲＥＳＴエンドポイントとして構成される。通知および監視ＡＰＩ２３６は、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用する。

永続層は、本実施形態では、一対のサーバー－データベースサーバー２４０（例えば、ＳＱＬサーバー）およびインデクササーバー２５０を含む。本実施形態におけるデータベースサーバー２４０は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を格納する。この情報は、いくつかの実施形態では、ウェブアプリケーション２３２を介して管理される。データベースサーバー２４０はまた、キューおよびキューアイテムを管理する。いくつかの実施形態では、データベースサーバー２４０は、ロボットにより記録されたメッセージを（インデクササーバー２５０に加えて、またはそれに代えて）格納する。

いくつかの実施形態では任意であるが、インデクササーバー２５０は、ロボットにより記録された情報を保存し、インデックスを作成する。特定の実施形態では、インデクササーバー２５０は、構成設定を介して無効化されてもよい。いくつかの実施形態では、インデクササーバー２５０は、オープンソースプロジェクトの全文検索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。ロボットにより記録されたメッセージ（例えば、ログメッセージまたはライン書き込みのようなアクティビティを使用して）は、ロギングＲＥＳＴエンドポイント（複数可）を介してインデクササーバー２５０に送信されて、そこで将来の利用のためにそれらはインデックス化される。

図３は、本開示の実施形態による、デザイナ３１０、ユーザー定義アクティビティ３２０、ユーザーインターフェース（ＵＩ）オートメーションアクティビティ３３０、およびドライバ３４０間の関係３００を示すアーキテクチャ図である。以上のように、開発者は、デザイナ３１０を用いて、ロボットによって遂行されるワークフローを開発する。いくつかの実施形態によれば、デザイナ３１０は、統合開発環境（ＩＤＥ）の設計モジュールであり得、ユーザーまたは開発者がワークフローに関連する１または複数の機能を実行することを可能にする。機能は、ワークフローについての編集、コーディング、デバッグ、ブラウジング、保存、修正などを含む。いくつかの例示的な実施形態では、デザイナ３１０は、ワークフローを解析することを容易にする。さらに、いくつかの実施形態では、デザイナ３１０は、マルチウィンドウユーザーインターフェースなどにおいて、２つ以上のワークフローを比較するように構成される。ワークフローは、ユーザー定義のアクティビティ３２０およびＵＩオートメーションアクティビティ３３０を含む。いくつかの実施形態では、画像中の非テキストの視覚的コンポーネントを特定することができ、これは、本明細書ではコンピュータビジョン（ＣＶ）と呼ばれる。このようなコンポーネントに関連するいくつかのＣＶアクティビティは、クリック、タイプ、テキストを取得、ホバー、要素の有無を検出、スコープの更新、ハイライトなどを含むが、これらに限定されない。いくつかの実施形態では、クリックは、例えば、ＣＶ、光学的文字認識（ＯＣＲ）、ファジーテキストマッチング、およびマルチアンカーを使用して要素を特定し、それをクリックする。タイプは、上記および要素内のタイプを用いて要素を特定する。テキストの取得は、特定のテキストの場所を特定し、ＯＣＲを使用してそれをスキャンする。ホバーは、要素を特定し、その上にホバーする。要素の有無の検出は、上述した技術を用いて、画面上に要素の有無を検出するかどうかを確認する。いくつかの実施形態では、デザイナ３１０に実装される数百または数千もののアクティビティが存在し得る。しかし、本発明の範囲を逸脱することなく、いずれかの数および／またはアクティビティのタイプを利用することができる。

ＵＩオートメーションアクティビティ３３０は、低レベルのコード（例えば、ＣＶアクティビティ）で記述され、画面とのインタラクションを促進する特別な低レベルのアクティビティのサブセットである。いくつかの実施形態では、ＵＩオートメーションアクティビティ３３０は、ワークフローにおける欠陥のデバッグまたは欠陥の修正に関連する、アクティビティを含む。ＵＩオートメーションアクティビティ３３０は、ロボットが所望のソフトウェアとインタラクションすることを可能にするドライバ３４０を介して、これらのインタラクションを促進する。例えば、ドライバ３４０は、オペレーティングシステム（ＯＳ）ドライバ３４２、ブラウザドライバ３４４、ＶＭドライバ３４６、エンタープライズアプリケーションドライバ３４８などを含む。

ドライバ３４０は、フックを探したり、キーを監視したりするなど、低レベルでＯＳドライバ３４２とインタラクションする。それらは、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を促進してもよい。例えば、「クリック」アクティビティは、ドライバ３４０を介して、これらの異なるアプリケーションにおいて同じ役割を果たす。ドライバ３４０は、ＲＰＡシステムにおけるＲＰＡアプリケーションの遂行を可能にする。

図４は、本開示の実施形態による、ＲＰＡシステム４００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム４００は、図１および／または図２のＲＰＡシステム１００および／または２００であり得るまたは含み得る。ＲＰＡシステム４００は、複数のクライアントコンピューティングシステム４１０（例えば、ロボットを実行する）を含む。コンピューティングシステム４１０は、その上で実行されるウェブアプリケーションを介してコンダクタコンピューティングシステム４２０と通信する。コンダクタコンピューティングシステム４２０は、順に、データベースサーバー４３０（例えば、データベースサーバー２４０）および任意のインデクササーバー４４０（例えば、任意のインデクササーバ２５０）と通信する。

図１および図３に関して、これらの実施形態ではウェブアプリケーションが使用されているが、本発明の範囲から逸脱することなく、任意の適切なクライアント／サーバーソフトウェアが使用され得ることに留意すべきである。例えば、コンダクタは、クライアントコンピューティングシステム上で、非ウェブベースのクライアントソフトウェアアプリケーションと通信するサーバーサイドアプリケーションを実行するように構成される。

図５は、本開示の実施形態による、テスト中のアプリケーションにおけるユーザーインターフェースのロボティックプロセスオートメーション（ＲＰＡ）ワークフローのために構成されたコンピューティングシステム５００を示すアーキテクチャ図である。いくつかの実施形態では、コンピューティングシステム５００は、本明細書に描かれたおよび／または記載された１または複数のコンピューティングシステムである。コンピューティングシステム５００は、情報を通信するためのバス５１０または他の通信機構と、情報を処理するためのバス５１０に結合されたプロセッサ（複数可）５２０とを含む。プロセッサ（複数可）５２０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらのいずれかの組み合わせを含む、いずれかのタイプの一般的または特定用途向けプロセッサであり得る。プロセッサ（複数可）５２０はまた、複数の処理コアを有し、コアの少なくとも一部は、特定の機能を実行するように構成され得る。いくつかの実施形態では、複数並列処理が使用されてもよい。特定の実施形態では、少なくとも１つのプロセッサ（複数可）５２０は、生物学的ニューロンを模倣する処理要素を含むニューロモーフィック回路である。いくつかの実施形態では、ニューロモーフィック回路は、フォンノイマンコンピューティングアーキテクチャの典型的なコンポーネントを必要としない。

コンピューティングシステム５００は、プロセッサ（複数可）５２０によって遂行される情報および命令を格納するためのメモリ５３０をさらに含む。メモリ５３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気ディスクもしくは光ディスクなどの静的記憶装置、または他のタイプの非一時的なコンピュータ読み取り可能な媒体、あるいはそれらのいずれかの組み合わせで構成され得る。非一時的なコンピュータ読み取り可能な媒体は、プロセッサ（複数可）５２０によってアクセスされる任意の利用可能な媒体であり得、揮発性媒体、不揮発性媒体、またはその両方を含み得る。また、媒体は、取り外し可能なもの、取り外し不可能なもの、または両方であってもよい。

さらに、コンピューティングシステム５００は、無線および／または有線接続を介して通信ネットワークへのアクセスを提供するために、トランシーバなどの通信デバイス５４０を含む。いくつかの実施形態では、通信デバイス５４０は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ）通信、汎用パケット無線サービス（ＧＰＲＳ：Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、ユニバーサル移動体通信システム（ＵＭＴＳ：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ：Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速パケットアクセス（ＨＳＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ：ＬＴＥ Ａｄｖａｎｃｅｄ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、８０２．１６ｘ、８０２．１５、Ｈｏｍｅ Ｎｏｄｅ－Ｂ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線ＩＤタグ（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、近距離無線通信（ＮＦＣ：Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、第５世代（５Ｇ）、Ｎｅｗ Ｒａｄｉｏ（ＮＲ）、それらのいずれかの組み合わせ、および／または本発明の範囲から逸脱することなく、いずれかの他の現在存在するまたは将来実装される通信標準および／またはプロトコルを使用するように構成される。いくつかの実施形態では、通信デバイス５４０は、本発明の範囲から逸脱することなく、単数のアンテナ、アレイ状のアンテナ、フェーズドアンテナ、スイッチドアンテナ、ビームフォーミングアンテナ、ビームステアリングアンテナ、それらの組み合わせ、および／またはいずれかの他のアンテナ構成である１または複数のアンテナを含む。

プロセッサ（複数可）５２０は、バス５１０を介して、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高精細ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、ＩＰＳ（Ｉｎ－Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）ディスプレイ、またはユーザーに情報を表示するためのいずれかの他の適切なディスプレイなどのディスプレイ５５０にさらに結合されている。ディスプレイ５５０は、抵抗方式、静電容量方式、表面弾性波（ＳＡＷ）静電容量方式、赤外線方式、光学イメージング方式、分散信号方式、音響パルス認識方式、フラストレート全内部反射方式などを用いて、タッチ（ハプティック）ディスプレイ、３次元（３Ｄ）タッチディスプレイ、マルチ入力タッチディスプレイ、マルチタッチディスプレイなどとして構成され得る。本発明の範囲を逸脱することなく、いずれかの好適な表示デバイスおよびハプティックＩ／Ｏが使用され得る。

コンピュータマウス、タッチパッドなどのようなキーボード５６０およびカーソル制御デバイス５７０は、ユーザーがコンピューティングシステムとインターフェースすることを可能にするために、バス５１０にさらに結合されている。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在せず、ユーザーは、ディスプレイ５５０および／またはタッチパッド（図示せず）のみを介してデバイスとインタラクションする。任意の入力デバイスの種類および組み合わせは、設計の選択の問題として使用され得る。特定の実施形態では、物理的な入力デバイスおよび／またはディスプレイは存在しない。例えば、ユーザーは、コンピューティングシステム５００と通信している別のコンピューティングシステムを介してリモートでコンピューティングシステム５００とインタラクションし、コンピューティングシステム５００は自律的に動作し得る。

メモリ５３０は、プロセッサ（複数可）５２０により遂行されたときに機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５３２を含む。モジュールはさらに、本明細書に記載されたプロセスの全部もしくは一部またはその派生物を実行するように構成されたＵＩテストモジュール５３４を含む。コンピューティングシステム５００は、付加的な機能を含む１または複数の付加的な機能モジュール５３６を含む。

当業者であれば、「システム」は、本発明の範囲から逸脱することなく、サーバー、組み込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、または他のいずれかの適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上述した機能を「システム」により実行されるものとして提示することは、何ら本開示の範囲を限定することを意図するものではなく、本開示の多くの実施形態の一例を提供することを意図するものである。実際、本明細書に開示された方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技法と整合性のあるローカライズされた形態および分配された形態で実装されてもよい。

本明細書で説明するシステム特色のいくつかは、実装の独立性をより強調するために、モジュールとして提示されていることに留意すべきである。例えば、モジュールは、カスタムの非常に大規模な集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他の個別部品のような既製の半導体を含むハードウェア回路として実装され得る。また、モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、グラフィックス処理ユニットなどのプログラマブルハードウェアデバイスに実装され得る。

モジュールはまた、様々なタイプのプロセッサにより遂行されるためのソフトウェアに少なくとも部分的に実装される。例えば、遂行可能コードの特定された単位は、例えば、オブジェクト、プロシージャ、または関数として編成されていてもよいコンピュータ命令の１または複数の物理的または論理的なブロックを含み得る。それにもかかわらず、遂行可能な特定されたモジュールは、物理的に一緒に配置されている必要はなく、論理的に結合されたときにモジュールを含み、モジュールのために述べられた目的を達成するために、異なる場所に格納された別々の命令を含む。さらに、モジュールは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープのような非一時的なコンピュータ読み取り可能な媒体、および／または本発明の範囲から逸脱することなくデータを格納するために使用される他のいずれかの非一時的なコンピュータ読み取り可能な媒体に格納される。

実際、遂行可能コードのモジュールは、単一の命令であってもよいし、多数の命令であってもよいし、さらには、複数の異なるコードセグメント、異なるプログラム間、および複数のメモリデバイス間に分散されていてもよい。同様に、動作データは、モジュール内で特定され、ここで示され、いずれかの適切なタイプのデータ構造体内でいずれかの適切な形態で具現化され、組織化され得る。動作データは、単一のデータセットとして収集され、または異なる記憶デバイスにわたり異なる場所に分散され得、少なくとも部分的には、単にシステムまたはネットワーク上の電子信号として存在する。

図６は、本開示の実施形態による、ＵＩテストモジュール６００を示すアーキテクチャ図である。いくつかの実施形態では、ＵＩテストモジュール６００は、図５に図示されたＵＩテストモジュール５３４と同様であるか、または同じである。また、いくつかの実施形態では、ＵＩテストモジュール６００は、デザイナ１１０内に具現化される。ＵＩテストモジュール６００は、データ収集モジュール６１０、テストモジュール６２０、および修正モジュール６３０を含み、これらはプロセッサ（複数可）５２０によって遂行されて、テスト中のアプリケーションにおけるユーザーインターフェースのＲＰＡワークフローをテストするためにそれらの特定の機能性を実行する。

データ収集モジュール６１０は、ユーザーからＲＰＡワークフローを取得する。実施形態に応じて、データ収集モジュール６１０は、データファイルとして、または、ユーザーの１または複数のアクションが記録された、テストオートメーションファイルなどの記録ファイルとして、ＲＰＡワークフローを取得する。テストオートメーションファイルは、ソリューション設計文書（ＳＤＤ）、プロセス設計命令（ＰＤＩ）、オブジェクト設計命令（ＯＤＩ）、またはビジネスプロセス（ＢＰ）コードを含むが、これらに限定されない。

特定の実施形態では、データ収集モジュール６１０は、設計段階にあるアプリケーションのユーザーインターフェースをテストしている可能性があるユーザーに、イネーブルオプション（ｅｎａｂｌｅ－ｏｐｔｉｏｎ）を提供する。例えば、ユーザーがイネーブルオプションを有効にすると、データ収集モジュール６１０は、ＲＰＡワークフロー（例えば、ユーザーからのライブデータ）の１または複数のアクティビティ（すなわち、シーケンス）を取得する。データ収集モジュール６１０は、ユーザーからライブデータを取得するデスクトップレコーダーをトリガし得る。例えば、デスクトップレコーダーは、ユーザーのキーボードアクション（例えば、マウスクリックおよびＸ＆Ｙ座標、キーボード押下、デスクトップ画面のオブジェクト検出（例えば、ユーザーによって選択されたボタンおよびテキストフィールドの特定））を記録するとともに、現在アクセスされているアプリケーションおよびユーザーのキーボードアクションの受信を特定する。デスクトップレコーダーはまた、ワークフローの経過時間の長さを測定し、ワークフローの各アクティビティの経過時間の長さを測定し、ワークフローのステップ数をカウントし、かつ記録停止、開始、および一時停止機能をコントロールするためのグラフィカルユーザーインターフェースを提供し得る。さらに、データ収集モジュール６１０によって得られたＲＰＡワークフローまたはＲＰＡワークフローのシーケンスは、ＵＩテストモジュール６２０によって使用される。

別の例では、ＵＩテストモジュール６００は、ＲＰＡワークフローおよびＲＰＡワークフローに関連する予測された欠陥情報を含む。

いくつかの実施形態によると、ＵＩテストモジュール６２０は、テストされた記録ファイルを出力するために記録されたファイルを分析する。例えば、ＵＩテストモジュール６２０は、記録されたファイルの各ＲＰＡワークフローを分析して、それらの対応するテストされたＲＰＡワークフローを出力する。

いくつかの実施形態によれば、ＵＩテストモジュール６００は、１または複数の追加モジュール、例えば、修正モジュールをさらに含む。修正モジュールは、１または複数の修正アクティビティを実行する。修正アクティビティは、ＲＰＡワークフローのより良い可能性またはＲＰＡワークフローのアクティビティに関するフィードバックをユーザーに提供すること、ＲＰＡワークフローに関連するメトリックスに関するレポートを生成すること、欠陥を有するモック画像を生成することを含む。

いくつかの実施形態では、修正モジュールは、ＲＰＡワークフローのより良い可能性に関するフィードバックをユーザーに提供する。いくつかの例示的な実施形態によれば、フィードバックは、修正されたＲＰＡワークフロー、またはＲＰＡワークフローを修正するための提案メッセージを含む。提案メッセージは、ＲＰＡワークフローを修正するための情報を含み得る。修正されたＲＰＡワークフローは、ＲＰＡワークフローに関連するメトリックスと比較して、より良いメトリックスを有する。

いくつかの実施形態によれば、フィードバックは、機械学習（ＭＬ）モデル（図示せず）によって提供され、ＭＬモデルは、高品質のＲＰＡワークフローを構築するためにベストプラクティスドキュメント（ｂｅｓｔ ｐｒａｃｔｉｃｅ ｄｏｃｕｍｅｎｔ）およびフレームワーク（例えば、Ｒｏｂｏｔｉｃ Ｅｎｔｅｒｐｒｉｓｅフレームワーク）を使用して訓練される。いくつかの実施形態では、生成されたメトリックスについてのレポートは、パーセントで示される。

特定の実施形態では、修正モジュール６３０は、ＲＰＡワークフローに関連する警告メッセージまたはエラーメッセージを生成する。警告メッセージまたはエラーメッセージは、アクティビティが規則のセットに違反する場合、またはアクティビティが欠陥を含む場合、ＲＰＡワークフローのアクティビティの規則違反詳細または欠陥情報を含む要約を含む。いくつかの実施形態によると、修正モジュールは、ＲＰＡワークフローに関連する警告メッセージまたはエラーメッセージを含むツールチップアイコンを生成する。修正モジュールはまた、アクティビティが規則のセットに違反する場合、またはアクティビティが欠陥を含む場合、アクティビティを修正するためにユーザーがアクティビティにアクセスするように、アクティビティ名およびその対応する番号を出力し得る。修正モジュールはまた、ワークフロー比較モジュールの機能を含み得る。例えば、修正モジュールは、ＲＰＡワークフローおよび修正されたＲＰＡワークフローに関する比較レポートを生成する。比較レポートは、異なる色で強調された変更点を有するＲＰＡワークフローおよび修正されたＲＰＡワークフローを（例えば、横に並べて）含み得る。いくつかの実施形態では、変更点は、新たに追加された行、削除された行、または修正された行のうちの１または複数を含む。

また、一旦ＲＰＡワークフローに対して修正アクティビティが実行され、およびＲＰＡワークフローに関連するメトリックスがしきい値メトリックスと適合すると、ＲＰＡワークフローはパッケージとして出力され得ることを理解されたい。さらに、パッケージはコンダクタ１２０によって展開される。いくつかの実施形態では、しきい値メトリックスは、ユーザーによって事前に定義され得、メトリックスについて可能な値に対する限界または範囲制限を提供する。しきい値は、パーセンテージを単位として定義される。

特定の実施形態では、デザイナ１１０は、ＲＰＡワークフローに関連するメトリックスがしきい値メトリックスと適合しない場合、ＲＰＡワークフローで前述したテストを再実行するオプションを提供する。

このように、ＵＩテストモジュール６００は、プロセッサ（複数可）５２０によって遂行されるとき、展開の前にＲＰＡワークフローまたはＲＰＡワークフローのアクティビティをデバッグするために前述した動作を実行する。その結果、設計段階で、正確なＲＰＡワークフローを設計することをもたらす。正確なＲＰＡワークフローは、ユーザー定義プロセスを遂行するための限りなく少ない命令（すなわち、より少ないストレージ要件およびより少ない遂行時間のＲＰＡワークフロー）を含む。例えば、ＵＩテストアナライザー６００は、ＲＰＡワークフローに関連する欠陥（ルール検証のセットに失敗するアクティビティも含む）を特定し、正確なＲＰＡワークフローを設計するための欠陥を除去するためにＲＰＡワークフローを修正する。また、いくつかの実施形態では、ワークフローアナライザー６００は、インターリーブ技術（例えば、インターリーブコード開発）により欠陥を除去する。さらに、正確なＲＰＡワークフローは、ＲＰＡワークフローと比較して、例えば、信頼性値、再利用性値、正確性値などの改善のような改善された測定メトリックスを有する。いくつかのさらなる実施形態では、ワークフローアナライザー６００は、タイミング解析を提供するために、様々なＣＩ／ＣＤ（継続的インテグレーションおよび継続的デリバリー）ツールならびに他のアプリケーションおよびサービスと統合する。

図７は、本開示の実施形態による、ワークフローのユーザーインターフェースのモック画像７００を示すＧＵＩである。

本実施形態では、モック画像７００は、ユーザーインターフェースのバンクアプリケーションのモック画像を示す。モック画像７００は、いくつかの実施形態において、テスト中のアプリケーションのテストオートメーションを生成するために使用される画像ファイルに対応する。モック画像７００は、ワークフローにおけるユーザーインターフェースのテストオートメーションのために、ＵＩおよびＵＸの専門家によって提供される。実施形態において、モック画像は、ＰＮＧファイルであり得る。例えば、モック画像７００は、ユーザーが「電子メールアドレス（Ｅｍａｉｌ Ａｄｄｒｅｓｓ）」、「ローン金額（Ｌｏａｎ Ａｍｏｕｎｔ）」、「ローン期間（Ｌｏａｎ Ｔｅｎｕｒｅ）」、「年収（Ｙｅａｒｌｙ Ｉｎｃｏｍｅ）」、および「年齢（Ａｇｅ）」を入力してローンを申請できるバンクアプリケーションのユーザーインターフェースの画像ファイルである。バンクアプリケーションは、銀行でローンの見積もりを作成するために、ローンアプリケーションに送信される。ワークフローは、コンピューティングシステム５００への入力（すなわち、ユーザーからのＲＰＡワークフロー）を含む。コンピューティングシステム５００は、ＵＩテストモジュール５３４を遂行し、ワークフローをデバッグする。

バンクアプリケーションのためのモックアップ画像、例えばモック画像７００に基づいて、テストオートメーションエンジニアは、ＵＩ ／ＵＸ専門家によって提供されるそのようなモック画像上で記録されたファイルを作成することによってＵＩテストオートメーションの労力を始め得る。したがって、テストモジュール５３４を使用して、開発者などのユーザーは、ＲＰＡアプリケーションに関連付けられたユーザーインターフェースのテストを実際のコーディングおよびそれらのユーザーインターフェースの開発のかなり前に開始することによって、ＲＰＡアプリケーションのテストプロセスをシフトレフトすることができる。ある意味では、ユーザーインターフェースのテストは、ＵＩテストモジュール５３４によって提供されるテストオートメーション機能を使用することにより、設計段階自体で開始される。さらに、コンピュータビジョン（ＣＶ）技術を使用してこれらのテストケースを生成することで、開発者またはＵＩ／ＵＸモジュールの設計者であるエンドユーザーにとって、より直感的で便利、迅速かつ効果的なＵＩテストオートメーションプロセスを実現する。

図８Ａおよび図８Ｂは、本開示の実施形態による、記録されたファイルを作成するために、モック画像の１または複数のコントロール要素でのユーザーに関連する１または複数のアクションを記録するための例示的なシナリオを説明するＧＵＩである。

いくつかの実施形態では、図７のモック画像７００に示すように、ローンデータをアプリケーションに記入するための新しいテストケースを作成するために、デザイナ１１０がユーザーによって開かれる。モック画像に基づいて自動化のための記録ファイルを作成するために、ユーザーは「記録（Ｒｅｃｏｒｄｉｎｇ）」という名前の「リボン（Ｒｉｂｂｏｎ）」をクリックし、デザイナ１１０のコンピュータビジョンベースのレコーダーを使用する。

しかし、記録を進める前に、ユーザーは、モック画像上で特定可能なすべてのＵＩコントロールを特定するために、モック画像としてモックアップの画像を選択し、これをクラウドＡＩサーバーまたはオンプレミスサーバーにアップロードし得る。ユーザーは、モック画像のすべてのコントロールとインタラクションし得る。レコーダーは、ユーザーによってモック画像上で実行されたアクションを記録するように構成される。１または複数のアクションは、ユーザーによるモック画像上のフィールドへの記入に対応する。実施形態では、１または複数のアクションは、ローンアプリケーションフォームのデータ（またはモックデータ）を記入することを含む。

図８Ｂを参照すると、丸みを帯びたドットのボックスは、モック画像上でのユーザーアクションを記録するレコーダーを示し、破線のボックスは、ユーザーがバンクアプリケーションのフォームで詳細を記入するスペースを示す。

図９Ａおよび図９Ｂは、本開示の実施形態による、コンピュータビジョンレコーダーに基づくワークフローとして記録されたファイルを作成するためのスクリーンショットを示すＧＵＩである。

図９Ａを参照すると、バンクアプリケーションの形態のモックデータが記入され、ユーザーがモックデータを記入した後に記録を停止していた場合、記録されたオートメーションは、９００Ａのワークフローとして、デザイナ１１０にシーケンシャルフォームで表示される。これは、コンピュータビジョンレコーダーに基づく記録ファイルの作成方法の１つである。

図９Ｂを参照すると、記録されたオートメーションは、デザイナ１１０において示され、ここで、ユーザーは、ワークフローにおいてコンピュータビジョンアクティビティを追加し、９００Ｂに示すように、一意的に特定可能な画像上のボタンを選択することにより、範囲を示す。

図１０は、本開示の実施形態による、モック画像（ｂ）上で自動化を実行するためのモックウェブアプリケーションまたは画像（ａ）を示すグラフィカルユーザーインターフェース１０００である。テストでは、通常、図面に基づいてテストケースを作成することができず、開発者によって実際の実装が完了するまでユーザーが待つことを必要とする。図１０に示されるようないくつかの実施形態では、テストケースは、テンプレートとして図面のみを使用して、最初（すなわち、開発前）に作成される。図１０の画像（ａ）を参照。例えば、コンピュータビジョンアルゴリズムは、描画されたコントロール要素（例えば、ボタンまたはテキストボックス）を視覚的に特定し得る。そうするために、いくつかの実施形態では、特定としてニアバイラベルアプローチが使用される。このようにして、この図面に基づいて作成された自動化（図１０の画像（ｂ）参照）は、実際のアプリケーション上で遂行可能でもあり得る。図１０に示すように、画像（ｂ）は、コンテンツおよびフィールドの点で、画像（ａ）と類似しているように見える。

図９Ａおよび図９Ｂについて説明したように、モック画像に基づいて自動化のセットが作成される場合、ユーザーはまだモック画像上で自動化を実行することができない。そこで、図１０を参照すると、テスト中のアプリケーションまたは設計段階のアプリケーションのユーザーインターフェースに基づいて、モック画像（ｂ）上で自動化を実行するためのウェブアプリケーションが作成される。このようなウェブアプリケーションは、モック画像（ｂ）と同様に動作する。図１０の左側にはウェブアプリケーションが示され、右側にはモック画像が示される。実施形態では、ウェブアプリケーションおよびモック画像は、ＵＩデザイナおよびＵＸデザイナによって提供される。

図１１Ａ～図１１Ｄは、本開示の実施形態に従う、ウェブアプリケーション上でモック画像の記録ファイルを実行する際のスクリーンショットを示すＧＵＩ１１００Ａ～Ｄである。

図１１Ａを参照すると、モック画像用ウェブアプリケーション上でユーザーの１または複数の記録されたアクションの記録されたファイルを実行するために、ユーザーはデザイナ１１０を使用する。ユーザーは、作成された自動化上のオプションボタンをクリックする。さらに図１１Ｂに示すように、ユーザーは、「セレクタを編集する（Ｅｄｉｔ ｔｈｅ ｓｅｌｅｃｔｏｒ）」をクリックする。さらに、図１１Ｃおよび図１１Ｄを参照すると、自動化が実行されなければならないターゲットがユーザーによって選択される。ターゲットは、Ｃｈｒｏｍｅに対応するが、これに限定されるものではない。実施形態では、デザイナ１１０において、ウェブアプリケーション上で記録されたファイルを遂行するために、実行ファイルがクリックされる。実行ファイルをクリックすると、デザイナ１１０は、クラウドＡＩサーバーと通信してアプリケーションを分析し、その後、自動化を実行する。したがって、コンピュータビジョンは、ユーザーが実際のユーザーインターフェースに実際にアクセスすることなくユーザーインターフェースの自動化を開始することを可能にすることによって、テストオートメーションの労力を本当にシフトすることを可能にする。

図１２は、本発明の実施形態による、テストオートメーションファイルを生成するためのコンピュータ実装方法１２００を示すフローチャートである。

コンピュータ実装方法１２００は、方法１２００を遂行するためのトリガを受信したときに、スタートコントロールボックス（Ｓｔａｒｔ ｃｏｎｔｒｏｌ ｂｏｘ）で遂行を開始する。

コンピュータ実装方法１２００は、１２１０において、テスト中のアプリケーションのＵＩ設計に関連する画像ファイルを取得することを含む。画像ファイルは、展開されたＲＰＡアプリケーションまたはまだ開発されていないテスト中のアプリケーションなどの実際のアプリケーションのＵＩ設計のモックアップに対応する。いくつかの実施形態では、画像ファイルは、Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃ（ＰＮＧ）形式のファイルである。他の実施形態では、画像ファイルは、限定されないが、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）フォーマット画像、ＪＰＧフォーマット画像、Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ（ＴＩＦＦ）フォーマット画像、ビットマップ（ＢＭＰ）フォーマット画像、Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＧＩＦ）フォーマット画像、Ｅｎｃａｐｕｌａｔｅｄ ＰｏｓｔＳｃｒｉｐｔ（ＥＰＳ）フォーマット画像、およびＲＡＷタイプの画像など、本術分野で知られている利用可能なロッシーまたはロスレス画像ファイルフォーマットのいずれかであり得る。

画像ファイルが取得されると、コンピュータ実装方法１２００は、１２２０において、画像ファイルの１または複数のコントロール要素を特定することを含む。画像ファイルの１または複数のコントロール要素は、ユーザーが、デザイン画像ファイルによって図示されるＵＩとインタラクションするために使用し得る要素である。例えば、１または複数のコントロール要素は、画像ファイルのモックデータを記入するためのフィールドに対応する。そのようなフィールドは、限定されないが、テキストボックス、ボタン、ドロップダウンリスト、ウィンドウ、チェックボックス、スライダなどのナビゲーションコンポーネント、フォーム、ラジオボタン、メニュー、アイコン、ツールチップ、検索フィールド、サイドバー、ローダー、トグルボタンなどを含む。

いくつかの実施形態では、１または複数のコントロール要素は、図面上の１または複数のコントロール要素（例えば、ボタンまたはテキストボックス）の位置を見つけることによって特定される。図面が分析されるため、図面上の画像そのものをユーザーが使用することはできない。しかし、ＡＩ処理コンポーネントでは、１または複数のコントロール要素の相対的な位置が特定される。相対的な位置は、例えば、座標系を用いて特定される。

いくつかの実施形態では、画像ファイルは、ＡＩ対応クラウドサーバーなどのＡＩ処理コンポーネントにアップロードされ、画像ファイルは、画像ファイルに関連する１または複数のコントロール要素を特定するためにＡＩ技術を使用して分析される。いくつかの実施形態では、ＡＩ処理コンポーネントは、１または複数のコントロール要素を特定するためにＡＩ処理コンポーネントを使用してコンピューティングシステム上で画像ファイルをローカルに分析するように、方法１２００を遂行するコンピューティングシステムの一部となるように具現化される。例えば、ＡＩ処理コンポーネントは、その形状および外観に基づいてコントロールの種類（例えば、テキストボックスとボタン）を特定し、したがって、その上で可能な入力方法を導き出す（例えば、あなたはテキストボックスに入力でき、あなたはボタンでクリックできる）。ＡＩ処理コンポーネントの強みは、つまり、コントロール要素の画像を、以前に撮影された類似画像のスクリーンショットと単純に一致させようとしないことである。ＡＩ処理コンポーネントは、教師あり学習により、膨大な数のコントロールの学習セットで訓練される。このアプローチにより、コントロールの種類に視覚的な違いがあっても、安定したコントロールの種類の特定が可能になる。このように、人間のユーザーが形または色に関係なくボタンをボタンとして特定できるように、ＡＩ処理アルゴリズムも同様に、ボタンをボタンとして特定する。

１または複数のコントロール要素の分析および特定の後、コンピュータ実装方法１２００は、１２３０において、コンピュータビジョンコンポーネントを使用して、特定された１または複数のコントロール要素上で実行されたユーザーアクションの記録によってテストオートメーション記録データを生成することを含む。ユーザーアクションは、画像ファイルの１または複数のコントロール要素で実行される１または複数のアクションは、画像ファイルにおけるユーザーによるモックデータの記入に対応する。例えば、ユーザーは、図７に描かれたモック画像７００に図示されたテキストフィールドに、電子メールアドレス、ローン金額、ローン期間、および年齢に関するデータを記入することができる。テキストフィールドは、１または複数のコントロール要素に対応し、これらのテキストフィールドへのデータの記入は、コンピューティングシステム５００のコンピュータビジョン対応レコーダーによって記録される、１または複数のユーザーアクションに対応する。記録は、ユーザーが図８Ａに図示されたリボンの記録オプションをクリックしたときにトリガされる。一旦開始されたコンピュータビジョンレコーダーは、コンピュータビジョンアクティビティまたはＣＶアクティビティ（前述したように）を記録する。いくつかのＣＶアクティビティは、クリック、タイプ、テキストを取得、ホバー、要素の有無を検出、スコープの更新、ハイライトなどを含むが、これらに限定されない。いくつかの実施形態では、クリックは、例えば、ＣＶ、光学的文字認識（ＯＣＲ）、ファジーテキストマッチング、およびマルチアンカーを使用して要素を特定し、それをクリックする。タイプは、上記および要素内のタイプを用いて要素を特定する。テキストの取得は、特定のテキストの場所を特定し、ＯＣＲを使用してそれをスキャンする。ホバーは、要素を特定し、その上にホバーする。要素の有無の検出は、上述した技術を用いて、画面上に要素の有無を検出するかどうかを確認する。いくつかの実施形態では、デザイナ３１０に実装され得る数百または数千もののアクティビティが存在してもよい。しかし、本発明の範囲を逸脱することなく、いずれかの数および／またはアクティビティのタイプを利用することができる。ＵＩオートメーションアクティビティ３３０は、低レベルのコード（例えば、ＣＶアクティビティ）で書かれ、モック画像の１または複数のコントロール要素上で実行される１または複数のユーザーアクションなどの画面とのインタラクションを容易にする特別な低レベルアクティビティのサブセットである。

これらの１または複数のユーザーアクションの記録に基づいて、１２４０において、テスト中のアプリケーションのテストオートメーションファイルの生成のために、テストオートメーション記録データが生成され、使用される。例えば、ユーザーが記録を停止すると、記録されたオートメーションは、図９Ａに示されるように、ＵｉＰａｔｈ Ｓｔｕｄｉｏ Ｐｒｏなどのコンピューティングシステムにおいて、ワークフローとしてシーケンシャルフォームに示される。

これらの記録されたオートメーションは、その後、ライブアプリケーションが開発されると、テスト中のアプリケーションに対応するアプリケーションなどのライブアプリケーションのテストのために使用され得る。いくつかの実施形態では、生成されたテストオートメーションファイルは、様々な記録されたオートメーションがシーケンシャルワークフローの形態で格納されたＲＰＡテストオートメーションに対応する。いくつかの実施形態では、テストオートメーションファイルの記録されたテストオートメーションは、後にＣｈｒｏｍｅのようなブラウザなどの正しいターゲットを指定することによってライブアプリケーションと関連付けられ、次いで、ライブアプリケーションのテストのためにライブアプリケーション上で記録されたオートメーションを実行するために使用される。

図１２で実行されるプロセスステップは、本発明の実施形態によって、図１２で説明したプロセス（複数可）の少なくとも一部を実行するようにプロセッサ（複数可）への命令をエンコードするコンピュータプログラムによって実行される。コンピュータプログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されていてもよい。コンピュータ読み取り可能な媒体は、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／またはデータを格納するために使用される他のそのような媒体または媒体の組み合わせであってもよいが、これらに限定されるものではない。コンピュータプログラムは、図１２に記載されたプロセスステップの全部または一部を実装するために、コンピューティングシステム（例えば、図５のコンピューティングシステム５００のプロセッサ（複数可）５２０）のプロセッサ（複数可）を制御するためのコード化された命令を含んでもよく、これはまた、コンピュータ読み取り可能な媒体に格納されてもよい。

図１３は、本発明の実施形態による、ライブアプリケーションをテストするためのコンピュータ実装方法１３００を示すフローチャートである。

コンピュータ実装方法１３００は、コンピュータ実装方法１２００と関連して先に説明した処理ステップのすべてを含む。例えば、コンピュータ実装方法１３００は、開始（Ｓｔａｒｔ）で制御を開始し、１３１０で、テスト中のアプリケーションのユーザーインターフェース設計に関連する画像ファイルを取得し、１３２０で、画像ファイルの１またはコントロール要素を特定することを含む。特定は、１または複数のコントロール要素の分析および特定のために画像ファイルをアップロードすることができるＡＩ対応クラウドサーバーなどの人工知能コンポーネントを使用して行われる。次に、１３３０において、テストオートメーション記録データは、前述のように、１または複数のコントロール要素上で実行される１または複数のユーザーアクションを記録するためのコンピュータビジョンコンポーネントを使用して生成される。

さらに、１３４０では、テスト中のアプリケーションのために、テストオートメーション記録データを含むテストオートメーションファイルが生成される。

記録されたテストオートメーションを使用して実際のテストを行うために、１３５０で、ライブアプリケーションが選択される。ライブアプリケーションは、ブラウザ（Ｃｈｒｏｍｅなど）で開くことができ、図１１Ａおよび図１１Ｂに示されるプロセスを使用して選択される。例えば、記録されたテストオートメーション上で、ユーザーは、コンピューティングシステム５００上の別のウィンドウでブラウザで開かれたライブアプリケーションファイルを選択するための編集セレクタ（Ｅｄｉｔ Ｓｅｌｅｃｔｏｒ）オプション上でクリックする。

さらに、１３６０において、生成されるテストオートメーションファイルは、図１１Ｃに示されるように、選択されたライブアプリケーションと関連付けられる。このために、記録されたテストオートメーションのセレクタエディタ（Ｓｅｌｅｃｔｏｒ Ｅｄｉｔｏｒ）において、Ｃｈｒｏｍｅのようなブラウザでターゲットを指定する。ライブアプリケーションと記録されたテストオートメーションとの間の関連付けが確立されると、１３７０において、テストオートメーションファイルにおける１または複数の記録されたユーザーアクションは、ユーザーがコンピューティングシステム５００のスタジオ（Ｓｔｕｄｉｏ）モジュールによってなど、コンピューティングシステムで提供される実行ファイルオプションをクリックする場合など、ライブアプリケーション上で遂行される。その後、コンピューティングシステム５００は、ＡＩ対応クラウドサーバーと通信してライブアプリケーションを分析し、その後、自動化を実行する。

いくつかの実施形態では、ユーザーは、テストオートメーションのためのコンピュータビジョンアクティビティのワークフローにコンピュータビジョンアクティビティを追加し、図９Ｂに示すように、一意的に特定可能な画像上のボタンを選択することによって、範囲を示すことができる。

このように、コンピュータ実装方法１２００および１３００は、ユーザーが実際のユーザーインターフェースに実際にアクセスすることなくユーザーインターフェースの自動化を開始することを可能にすることによって、テストオートメーションの労力を本当にシフトすることを可能にする。

図１３で実行されるプロセスステップは、本発明の実施形態によって、図１３で説明したプロセス（複数可）の少なくとも一部を実行するようにプロセッサ（複数可）への命令をエンコードするコンピュータプログラムによって実行される。コンピュータプログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されていてもよい。コンピュータ読み取り可能な媒体は、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／またはデータを格納するために使用される他のそのような媒体または媒体の組み合わせであってもよいが、これらに限定されるものではない。コンピュータプログラムは、図１３に記載されたプロセスステップの全部または一部を実装するために、コンピューティングシステム（例えば、図５のコンピューティングシステム５００のプロセッサ（複数可）５２０）のプロセッサ（複数可）を制御するためのコード化された命令を含んでもよく、これはまた、コンピュータ読み取り可能な媒体に格納されてもよい。

コンピュータプログラムは、ハードウェア、ソフトウェア、またはハイブリッド実装で実装され得る。コンピュータプログラムは、互いに動作可能な通信を行うモジュールで構成され得、情報または指示をディスプレイに送るように設計されている。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、またはいずれかの他の好適なデバイスで動作するように構成され得る。

本開示の様々な実施形態のコンポーネントは、本明細書に一般的に記載され、図示されているように、様々な異なる構成で配置され、設計されてもよいことが、容易に理解されるであろう。したがって、添付の図に表されるような本開示の実施形態の詳細な説明は、特許請求されるような本発明の範囲を限定することを意図するものではなく、本発明の選択された実施形態を代表するものにすぎない。

本明細書を通して記載された本発明の特色、構造、または特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせられ得る。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、または類似の言語を参照することは、実施形態に関連して記載された特定の特色、構造、または特徴が、本開示の少なくとも１つの実施形態に含まれていることを意味する。したがって、本明細書全体を通して「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、または類似の言語の出現は、必ずしも全ての実施形態の同じグループを指すものではなく、記載された特色、構造、または特徴は、１または複数の実施形態ではいずれかの好適な方法で組み合わせられ得る。

本明細書全体を通して特色、利点、または類似の言語への参照は、本開示で実現され得る特色および利点の全てが、本発明のいずれかの単一の実施形態にあるべきであること、または本発明のいずれかの実施形態であることを意味するものではないことに留意すべきである。むしろ、特色および利点に言及する言語は、実施形態に関連して記載された特定の特色、利点、または特徴が、本開示の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書全体での特色および利点の議論、ならびに類似の言語は、同じ実施形態を参照することができるが、必ずしもその必要性はない。

さらに、本発明の記載された特色、利点、および特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせることができる。関連する技術の当業者は、本発明が、１または複数の特定の実施形態の特定の特徴または利点なしに実施され得ることを認識するであろう。他の例では、追加の特徴および利点は、本発明の全ての実施形態には存在しないかもしれないが特定の実施形態では認識され得る。

本分野における通常の技術を有する者は、上述したような本発明を、異なる順序でのステップを用いて、および／または開示されているものとは異なる構成のハードウェア要素を用いて実施することができることを容易に理解するであろう。したがって、本発明は、これらの好ましい実施形態に基づいて説明されてきたが、本発明の精神および範囲内にとどまりながら、特定の変更、変形、および代替的な構成が明らかになることは、当業者には明らかであろう。したがって、本発明の範囲を決定するためには、添付の特許請求の範囲を参照すべきである。

Claims (20)

1. テスト中のアプリケーションのテストオートメーションファイルを生成するためのコンピュータ実装方法であって、
   テスト中の前記アプリケーションのユーザーインターフェース設計に関連する画像ファイルを取得し、
   処理コンポーネントによって、テスト中の前記アプリケーションの前記ユーザーインターフェース設計に関連する前記画像ファイルの１または複数のコントロール要素を特定し、ここで、前記１または複数のコントロール要素は、データの入力のためにユーザーがアクセスできる１または複数のフィールドで構成され、
   コンピュータビジョンコンポーネントを用いてテストオートメーション記録データを生成し、ここで、前記テストオートメーション記録データの生成は、得られた前記画像ファイルの前記１または複数のコントロール要素で実行された１または複数のアクションを記録することを含み、
   前記テストオートメーション記録データに基づいて、テスト中の前記アプリケーションの前記テストオートメーションファイルを生成し、ここで、前記テストオートメーションファイルは、テスト中の前記アプリケーションの実際のユーザーインターフェースへのアクセスを提供せずに、生成された前記テストオートメーション記録データを含む、ことを含む、コンピュータ実装方法。
2. 生成された前記テストオートメーションファイルを取得し、
   ライブアプリケーションファイルを選択し、
   生成された前記テストオートメーションファイルを、選択された前記ライブアプリケーションファイルと関連付け、
   生成された前記テストオートメーション記録データに関連する前記１または複数の記録されたアクションを、前記関連付けに基づいて選択された前記ライブアプリケーションファイル上で遂行することをさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記１または複数のアクションの記録は、ワークフローのシーケンシャルフォーム（ｓｅｑｕｅｎｔｉａｌ ｆｏｒｍ）にある、請求項１に記載のコンピュータ実装方法。
4. 前記１または複数のアクションを記録するために、前記方法はさらに、
   ワークフローにおける前記ユーザーのコンピュータビジョンアクティビティを受信し、
   前記ユーザーによって、一意的に特定可能な前記画像ファイル上のボタンの選択を受信すること含む、請求項１に記載のコンピュータ実装方法。
5. テスト中の前記アプリケーションの前記ユーザーインターフェース設計に関連する前記画像ファイルの前記１または複数のコントロール要素を特定することはさらに、
   クラウドサーバー上に、テスト中の前記アプリケーションの前記ユーザーインターフェース設計に関連する取得された前記画像ファイルをアップロードし、ここで、前記クラウドサーバーは、前記処理コンポーネントを含み、
   前記クラウドサーバーに関連する前記処理コンポーネントによって、アップロードされた前記画像ファイルを処理し、ここで、アップロードされた前記画像の処理は、取得された前記画像ファイル上の座標系を使用して、前記１または複数のコントロール要素のそれぞれについて位置を特定することを含み、
   前記処理に基づき、前記画像ファイルの前記１または複数のコントロール要素を特定することを含む、請求項１に記載のコンピュータ実装方法。
6. 前記１または複数のコントロール要素の特定は、前記画像の１または複数の特徴に基づいて、前記１または複数のコントロール要素のそれぞれについてコントロールタイプを特定することを含む、請求項５に記載のコンピュータ実装方法。
7. 前記画像ファイルの前記１または複数のコントロール要素で実行される前記１または複数のアクションは、前記画像ファイルにおけるユーザーによるモックデータの記入に対応する、請求項１に記載のコンピュータ実装方法。
8. 生成された前記テストオートメーションファイルは、ロボティックプロセスオートメーション（ＲＰＡ）ワークフローファイルである、請求項１に記載のコンピュータ実装方法。
9. コンピュータプログラムを格納した非一時的なコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムは、少なくとも１つのプロセッサが、
   テスト中のアプリケーションのユーザーインターフェース設計に関連する画像ファイルを取得し、
   テスト中の前記アプリケーションの前記ユーザーインターフェース設計に関連する前記画像ファイルの１または複数のコントロール要素を特定し、ここで、前記１または複数のコントロール要素は、データの入力のためにユーザーがアクセスできる１または複数のフィールドで構成され、
   コンピュータビジョンコンポーネントを用いてテストオートメーション記録データを生成し、ここで、前記テストオートメーション記録データの生成は、得られた前記画像ファイルの前記１または複数のコントロール要素で実行された１または複数のアクションを記録することを含み、
   前記テストオートメーション記録データに基づいて、テスト中の前記アプリケーションのテストオートメーションファイルを生成し、ここで、前記テストオートメーションファイルは、テスト中の前記アプリケーションの実際のユーザーインターフェースへのアクセスを提供せずに、生成された前記テストオートメーション記録データを含む、ように構成される、非一時的なコンピュータ読み取り可能な媒体。
10. 前記コンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、
    生成された前記テストオートメーションファイルを取得し、
    ライブアプリケーションファイルを選択し、
    生成された前記テストオートメーションファイルを、選択された前記ライブアプリケーションファイルと関連付け、
    生成された前記テストオートメーション記録データに関連する前記１または複数の記録されたアクションを、前記関連付けに基づいて選択された前記ライブアプリケーションファイル上で遂行する、ように構成される、請求項９に記載の非一時的なコンピュータ読み取り可能な媒体。
11. 前記１または複数のアクションの記録は、ワークフローのシーケンシャルフォーム（ｓｅｑｕｅｎｔｉａｌ ｆｏｒｍ）にある、請求項９に記載の非一時的なコンピュータ読み取り可能な媒体。
12. 前記コンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、
    ワークフローにおける前記ユーザーのコンピュータビジョンアクティビティを受信し、
    前記ユーザーによって、一意的に特定可能な前記画像ファイル上のボタンの選択を受信する、ように構成される、請求項９に記載の非一時的なコンピュータ読み取り可能な媒体。
13. 前記コンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、
    クラウドサーバー上に、テスト中の前記アプリケーションの前記ユーザーインターフェース設計に関連する取得された前記画像ファイルをアップロードし、ここで、前記クラウドサーバーは、処理コンポーネントを含み、
    アップロードされた前記画像ファイルを処理し、
    前記処理に基づき、前記画像ファイルの前記１または複数のコントロール要素を特定する、ように構成される、請求項１２に記載の非一時的なコンピュータ読み取り可能な媒体。
14. 前記コンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、取得された前記画像ファイル上の座標系を用いて、前記１または複数のコントロール要素の各々について位置を特定する、ように構成される、請求項１３に記載の非一時的なコンピュータ読み取り可能な媒体。
15. 前記コンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、前記画像の１または複数の特徴に基づいて、前記１または複数のコントロール要素のそれぞれについてコントロールタイプを特定する、ように構成される、請求項１４に記載の非一時的なコンピュータ読み取り可能な媒体。
16. 前記画像ファイルの前記１または複数のコントロール要素で実行される前記１または複数のアクションは、前記画像ファイルにおけるユーザーによるモックデータの記入に対応する、請求項９に記載の非一時的なコンピュータ読み取り可能な媒体。
17. 生成された前記テストオートメーションファイルは、ロボティックプロセスオートメーション（ＲＰＡ）ワークフローファイルである、請求項９に記載の非一時的なコンピュータ読み取り可能な媒体。
18. 機械読み取り可能なコンピュータプログラム命令を格納するメモリと、
    前記コンピュータプログラム命令を遂行するように構成された少なくとも１つのプロセッサとを含むコンピューティングシステムであって、前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサが、
    テスト中のアプリケーションのユーザーインターフェース設計に関連する画像ファイルを取得し、
    人工知能処理コンポーネントによって、テスト中の前記アプリケーションの前記ユーザーインターフェース設計に関連する前記画像ファイルの１または複数のコントロール要素を特定し、
    コンピュータビジョンコンポーネントを使用して、前記画像ファイルの前記１または複数のコントロール要素で実行される１または複数のアクションを記録することによって、テストオートメーション記録データを生成し、ここで、生成された前記テストオートメーション記録データは、前記画像ファイルの前記１または複数のコントロール要素で実行される前記１または複数のアクションのそれぞれに関連する１または複数の記録されたアクションを含み、
    前記テストオートメーション記録データに基づいて、テスト中の前記アプリケーションのテストオートメーションファイルを生成し、ここで、前記テストオートメーションファイルは、生成された前記テストオートメーション記録データを含む、コンピューティングシステム。
19. 前記１または複数のアクションの記録は、ワークフローのシーケンシャルフォーム（ｓｅｑｕｅｎｔｉａｌ ｆｏｒｍ）にある、請求項１８に記載のコンピュータプログラマブル製品。
20. 前記コンピュータプログラム命令はさらに、前記少なくとも１つのプロセッサが、
    生成された前記テストオートメーションファイルを取得し、
    ライブアプリケーションファイルを選択し、
    生成された前記テストオートメーションファイルを、選択された前記ライブアプリケーションファイルと関連付け、
    生成された前記テストオートメーション記録データに関連する前記１または複数の記録されたアクションを、前記関連付けに基づいて選択された前記ライブアプリケーションファイル上で遂行する、ように構成される、請求項１８に記載のコンピュータプログラマブル製品。

Images