JP2023523374A - ロボティックプロセスオートメーションのための機械学習モデル再訓練パイプライン - Google Patents

Abstract

ロボティックプロセスオートメーション（ＲＰＡ）のための機械学習（ＭＬ）モデル再訓練パイプラインが開示される。生産環境または開発環境にＭＬモデルが展開されている場合、ＲＰＡロボットはそれらのワークフローを実行する際にＭＬモデルにリクエストを送信する。ＭＬモデルの信頼度が一定の信頼度を下回ると、潜在的に多数のコンピューティングシステムから訓練データが収集される。その後、収集した訓練データの少なくとも一部を用いてＭＬモデルを訓練し、新しいバージョンのＭＬモデルを展開する。【選択図】図１

Description

（関連出願への相互参照）
本出願は、２０２０年４月３０日に出願された米国非仮特許出願第１６／８６４，０００号の利益を主張する。先に出願された本出願の主題は、その全体を参照することにより、組み込まれる。

本発明は概して、ロボティックプロセスオートメーション（ＲＰＡ）に関し、より具体的には、ＲＰＡのための機械学習（ＭＬ）モデル再訓練パイプラインに関する。

現在のところ、ＭＬモデルを再学習するためのフィードバックループを自動化するための標準的なメカニズムまたはプロセスは存在しない。したがって、改良されたソリューションが有益であり得る。

本発明の特定の実施形態は、現在のＲＰＡ技術によってまだ十分に特定されていない、評価されていない、または解決されていない本分野における問題およびニーズのソリューションを提供し得る。例えば、本発明のいくつかの実施形態は、ＲＰＡのためのＭＬモデル再訓練パイプラインに関連する。

実施形態では、ＲＰＡのためのＭＬモデル再訓練パイプラインを実装するためのコンピュータ実装方法は、ＲＰＡロボットによってＭＬモデルを呼び出すことと、ＲＰＡロボットによってＭＬモデルの実行から結果を受信することとを含む。コンピュータ実装方法はまた、ＲＰＡロボットによって、ＭＬモデルのデータをラベル付けするための１または複数のトリガ条件が満たされているかどうかを判断することを含む。１または複数のトリガ条件が満たされた場合、コンピュータ実装方法は、ユーザーに、ＭＬモデルを訓練または再訓練するためのラベル付けされたデータを提供するように促し、ラベル付けされたデータを、ＲＰＡロボットによって、ＭＬモデルの訓練または再訓練のためにサーバーに送信する、またはＲＰＡロボットによって、ＭＬモデルからの結果に関連する情報を、後続のラベル付けのためのキューに追加することをさらに含む。

別の実施形態では、ＲＰＡのためのＭＬモデル再訓練パイプラインの実装のためのコンピュータ実装方法は、ＲＰＡロボットによって、ＭＬモデルのデータをラベル付けするための１または複数のトリガ条件が満たされているかどうかを判断することを含む。１または複数のトリガ条件が満たされた場合、コンピュータ実装方法はまた、ユーザーに、ＭＬモデルを訓練または再訓練するためのラベル付けされたデータを提供するように促し、ラベル付けされたデータを、ＲＰＡロボットによって、ＭＬモデルの訓練または再訓練のためにサーバーに送信する、またはＲＰＡロボットによって、ＭＬモデルからの結果に関連する情報を、後続のラベル付けのためのキューに追加することを含む。

さらに別の実施形態では、ＲＰＡのためのＭＬモデル再訓練パイプラインを実装するためのコンピュータ実装方法は、ＲＰＡロボットによってＭＬモデルを呼び出すことと、ＲＰＡロボットによってＭＬモデルの実行から結果を受信することとを含む。コンピュータ実装方法はまた、ＲＰＡロボットによって、ＭＬモデルのデータをラベル付けするための１または複数のトリガ条件が満たされているかどうかを判断することを含む。１または複数のトリガ条件が満たされた場合、コンピュータ実装方法は、ユーザーに、ＭＬモデルを訓練または再訓練するためのラベル付けされたデータを提供するように促し、ラベル付けされたデータを、ＲＰＡロボットによって、ＭＬモデルの訓練または再訓練のためにサーバーに送信する、またはＲＰＡロボットによって、ＭＬモデルからの結果に関連する情報を、後続のラベル付けのためのキューに追加することをさらに含む。１または複数の訓練基準が満たされた場合、コンピュータ実装方法は、サーバーによってＭＬモデルを訓練し、ラベル付けされたデータを使用して新しいバージョンのＭＬモデルを生成し、サーバーによって新しいバージョンのＭＬモデルを展開することをさらに含む。

本発明の特定の実施形態の利点が容易に理解されるように、上記で簡単に説明した本発明のより特定の説明は、添付の図面に図示されている特定の実施形態を参照して描写される。これらの図面は、本発明の典型的な実施形態のみを描いており、したがって、その範囲を限定するものとは考えられないことが理解されるべきであるが、本発明は、以下の添付の図面を使用することにより、さらなる特定および詳細をもって描写され、説明されるであろう。

本発明の実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

本発明の実施形態による、展開したＲＰＡシステムを示すアーキテクチャ図である。

本発明の実施形態による、デザイナ、アクティビティ、およびドライバの間の関係を示すアーキテクチャ図である。

本発明の実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

本発明の実施形態による、ＲＰＡ用のＭＬモデル再訓練パイプラインの一部を実装するように構成されたコンピューティングシステムを示すアーキテクチャ図である。

本発明の実施形態による、ＲＰＡ用のＭＬモデル再訓練パイプラインを実装するように構成されたシステムを示すアーキテクチャ図である。

本発明の実施形態による、ＲＰＡ用のＭＬモデル再訓練パイプラインのためのプロセスを示すフローチャートである。

（実施形態の詳細な説明）
いくつかの実施形態は、ＲＰＡのためのＭＬモデル再訓練パイプラインに関連する。生産（つまり、ランタイム）環境または開発環境にＭＬモデルが配置されている場合、ＲＰＡロボットはそれらのワークフローを実行する際にＭＬモデルにリクエストを送信し得る。しかしながら、ＭＬモデルの性能は、様々な条件の変化に伴い、時間の経過とともに劣化し、および／またはさもなくば所望の性能特性から逸脱したりし得る。例えば、ＲＰＡロボットが犬を識別するために訓練されたＭＬモデルを呼び出す場合を考えてみる。ＭＬモデルは当初９９％の信頼度しきい値を持っていたが、より多くの犬の画像および新しい犬種でより広く使用されるようになると、信頼度しきい値は９５％まで下がる。

いくつかの実施形態では、再訓練のためにラベル付けされたデータの収集を開始するために、１または複数のトリガを採用する。トリガには、ＭＬモデルの性能が信頼できるしきい値を下回ること、統計的分布から逸脱したＭＬモデルの結果（例えば、ＭＬモデルの予測値がユーザー層に関して正規分布内に収まらなくなったこと）、以前に観測された範囲から外れたＭＬモデルの結果、人のユーザー（例えば、ＲＰＡ開発者）が望ましくない性能特性に気づき、再訓練のためにラベル付けされたデータの収集を開始すること、および／または本発明の範囲から逸脱することなく、他の適切なトリガが含まれるが、これらに限定されない。確率論的ＭＬモデルでは、「例外」を提供するための具体的な論理パスが常に存在する決定論的論理とは異なり、他のタイプのメカニズムを用いる必要がある。

ラベル付けされたデータ収集（すなわち、「ヒューマンインザループ」）をトリガするタイミングは、このように、いくつかの実施形態ではトリガベースである。上記の犬を識別するＭＬモデルの例に戻るが、信頼度しきい値が９５％未満になると、人のユーザーに入力が求められ得る。例えば、ＲＰＡロボットが実行しているコンピューティングシステムの人のユーザーは、修正を行うためのインターフェースまたはオプションを提示され得る。例えば、人のユーザーは、ＭＬモデルにより行われた識別（例えば、「犬ではない」という識別）をレビュー、識別が間違っている場合には修正を行うことができる。誤った画像およびユーザーの修正は、訓練データとしてサーバー（クラウドベースシステム、データセンター、社内サーバー、ＲＰＡプロバイダのサーバーなど）に送信され得、ＲＰＡロボットは残りのそのワークフローの実行を進め得る。

いくつかの実施形態は、アテンディッドロボットまたはアンアテンディッドロボットに採用され得る。アテンディッドオートメーションの文脈では、人がデータをラベル付けしてＲＰＡロボットと一緒に作業し得る。バックグラウンドで動作し、弁護士のために契約条項を分類するアテンディッドＲＰＡロボットを考える。再訓練がトリガされると、弁護士は、条項のタイプを選択するように促され得、その分類は再訓練のためのラベル付けされたデータの一部になり得る。このように、アテンディッドＲＰＡロボットによって呼び出されたＭＬモデルに対するラベル付けは、いくつかの実施形態では同期され得る。

アンアテンディッドオートメーションの文脈では、ＲＰＡロボットはＭＬモデルにリクエストを送信し得、それは予測およびその予測の信頼度を返信する。次に、アンアテンディッドＲＰＡロボットは、信頼度しきい値および／または他のいくつかの規準／基準が満たされているかどうかを評価し得る。さもなくば、アンアテンディッドＲＰＡロボットは、ユーザーが後で実行できるように、ラベル付けされたタスクをタスクキューに追加し得る。このように、いくつかの実施形態では、アンアテンディッドＲＰＡロボットによって呼び出されるＭＬモデルに対するラベル付けは、非同期であり得る。

サーバーは、様々なユーザーから訓練データを受信して格納し得る。このように、時間の経過とともに、ラベル付けされた訓練データのバッチが収集される。所定の時間が経過したとき、所定の量の訓練データが受信されたとき、所定の数の訓練データサンプルが受信されたとき、データがデータのいくつかの分布（例えば、正規分布、二項分布、または他の統計的分布）、カスタム規準もしくは基準、またはそれらの任意の組み合わせから外れたときなど、ＭＬモデルは、収集された訓練データを使用して訓練または再訓練され得る。訓練はまた、ＭＬモデルは、収集された訓練データを使用して、または現在のバージョンのＭＬモデルを訓練するために使用された前の訓練データとともに収集された訓練データを使用してのみ起こる。一度訓練されたり再訓練されたりすると、新しいバージョンのＭＬモデルが潜在的に人の動作を介さずに展開される。

いくつかの実施形態では、新しいバージョンのＭＬモデルは、単に前のバージョンを置き換えてもよく、ＲＰＡロボットワークフローからのＭＬモデルへの呼び出しは、代わりに新しいバージョンのＭＬモデルを呼び出し得る。特定の実施形態では、新しいバージョンのＭＬモデルは、ＲＰＡロボットのユーザーのコンピューティングシステムに押し出されてもよい。いくつかの実施形態では、ＲＰＡロボットのワークフローは、新しいバージョンのＭＬモデルを呼び出すように変更されてもよい。特定の実施形態では、ＲＰＡロボットは、最初に新しいバージョンのＭＬモデルを試し、ある信頼度が実現されていない場合、前のバージョンのＭＬモデルを試して、前のバージョンがより高い信頼度を達成しているかどうかを確認してもよい。いくつかの実施形態では、ＲＰＡロボットは、ＭＬモデルの両方のバージョンを呼び出して、最も信頼度の高いモデルからの出力を選択してもよい。

いくつかの実施形態は、精度を向上させるために、人がＭＬモデルの予測を修正するための標準的なメカニズムを備えたＭＬモデル監視のためのフレームワークを提供する。特定の実施形態では、ユーザーは、ラベル付けされたデータが訓練／再訓練のために取り込まれていることを認識していない場合がある。この標準的なフレームワークは、いくつかの実施形態ではプログラミングの知識を必要とせずに、訓練データを収集し、様々なビジネスプロセスのためのＭＬモデルの精度を向上させるために使用されてもよい。

サンプル収集の状況およびタイミングは、いくつかの実施形態では、ＭＬモデルに依存する。ＭＬモデルに使用されている場合には、許容できる信頼度しきい値についてビジネス上または技術上の判断がなされ得る。医療診断、車両制御モデルなど、偽陰性が非常に有害な場合は、しきい値が高い（例えば、９９．９％、９９．９９９９％など）場合があり得る。トランザクションスピードが重要な場合は、より高いエラー率が許容される場合がある（例：７５％、８５％、９０％、９５％など）。もし、偽陽性の方が偽陰性よりも許容できる場合、またはその逆の場合には、どのような条件でＭＬモデルの訓練または再訓練を行うことが望ましいかにも影響を与えることがある。

図１は、本発明の実施形態による、ＲＰＡシステム１００を示すアーキテクチャ図である。ＲＰＡシステム１００は、開発者がワークフローを設計して実装することを可能にするデザイナ１１０を含む。デザイナ１１０は、アプリケーション統合のためのソリューションを提供するとともに、サードパーティアプリケーション、管理情報技術（ＩＴ）タスク、およびビジネスＩＴプロセスを自動化する。デザイナ１１０は、ビジネスプロセスのグラフィック表現である自動化プロジェクトの開発を容易にし得る。簡単に言えば、デザイナ１１０は、ワークフローおよびロボットの開発およびデプロイメントを容易にする。

自動化プロジェクトは、本明細書で「アクティビティ」と定義されるワークフローで開発されたカスタムセットのステップ間の実行順序および関係の制御を開発者に与えることにより、ルールベースのプロセスの自動化を可能にする。デザイナ１１０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンをクリックする、ファイルを読む、ログパネルに書き込むなどのアクションを含み得る。いくつかの実施形態では、ワークフローは入れ子になっているか、または埋め込まれ得る。

ワークフローのタイプには、シーケンス、フローチャート、有限状態機械（ＦＳＭ）、および／またはグローバル例外ハンドラなどを含み得るが、これらに限定されない。シーケンスは、ワークフローを乱雑にすることなく、あるアクティビティから別のアクティビティへのフローを可能にする、線形プロセスに特に適し得る。フローチャートは、特により複雑なビジネスロジックに適し得、複数の分岐ロジックオペレータを介して、より多様な方法で意思決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適し得る。ＦＳＭは、条件（すなわち、遷移）またはアクティビティによってトリガされる有限の数の状態をそれらの実行中に使用し得る。グローバル例外ハンドラは、実行エラーに遭遇したときのワークフローの動作を決定したり、プロセスをデバッグしたりするのに特に適し得る。

ワークフローがデザイナ１１０内で開発されると、ビジネスプロセスの実行は、コンダクタ１２０によって調整され、デザイナ１１０内で開発されたワークフローを実行する１または複数のロボット１３０を調整する。コンダクタ１２０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｏｒｃｈｅｓｔｒａｔｏｒ（商標）である。コンダクタ１２０は、環境におけるリソースの生成、監視、およびデプロイメントの管理を容易にする。コンダクタ１２０は、サードパーティのソリューションおよびアプリケーションとの統合ポイントとして動作し得る。

コンダクタ１２０は、全てのロボット１３０を管理し得、ロボット１３０を集中ポイントから接続して実行する。管理され得るロボット１３０のタイプには、アテンディッドロボット１３２、アンアテンディッドロボット１３４、開発ロボット（アンアテンディッドロボット１３４と同様であるが、開発およびテストの目的で使用される）、および非生産ロボット（アテンディッドロボット１３２と同様であるが、開発およびテストの目的で使用される）が含まれるが、これらに限定されない。アテンディッドロボット１３２は、ユーザーイベントによってトリガされ、同じコンピューティングシステム上で人と並んで動作する。アテンディッドロボット１３２は、集中プロセスデプロイメントおよびロギング媒体のためのコンダクタ１２０とともに使用され得る。アテンディッドロボット１３２は、人のユーザーが様々なタスクを達成するのを支援してもよく、ユーザーイベントによってトリガされてもよい。いくつかの実施形態では、プロセスは、このタイプのロボット上でコンダクタ１２０から開始することができず、および／またはそれらはロックされた画面の下で実行することができない。特定の実施形態では、アテンディッドロボット１３２は、ロボットトレイからまたはコマンドプロンプトからのみ起動され得る。アテンディッドロボット１３２は、いくつかの実施形態では、人の監督下で動作することが好ましい。

アンアテンディッドロボット１３４は、仮想環境で無人で動作し、多くのプロセスを自動化し得る。アンアテンディッドロボット１３４は、リモート実行、監視、スケジューリング、および作業キューのサポートの提供を担当し得る。全てのロボットタイプのためのデバッグは、いくつかの実施形態では、デザイナ１１０で実行され得る。アテンディッドロボットおよびアンアテンディッドロボットの両方は、メインフレーム、ウェブアプリケーション、ＶＭ、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などによって生成されたもの）、およびコンピューティングシステムアプリケーション（例えば、デスクトップおよびラップトップアプリケーション、モバイル装置アプリケーション、ウェアラブルコンピュータアプリケーションなど）を含むが、これらに限定されない様々なシステムおよびアプリケーションを自動化し得る。

コンダクタ１２０は、プロビジョニング、デプロイメント、構成、キューイング、監視、ロギング、および／または相互接続性の提供を含むがこれらに限定されない様々な能力を有し得る。プロビジョニングは、ロボット１３０とコンダクタ１２０（例えば、ウェブアプリケーション）との間の接続を作成し、維持することを含み得る。デプロイメントは、実行のために割り当てられたロボット１３０へのパッケージバージョンの正しい配信を保証することを含み得る。構成は、ロボット環境およびプロセス構成のメンテナンスおよび配信を含み得る。キューイングは、キューおよびキュー項目の管理を提供することを含み得る。監視は、ロボットの識別データを追跡し、ユーザーの権限を維持することを含み得る。ロギングは、データベース（例えば、ＳＱＬデータベース）および／または別のストレージメカニズム（例えば、大規模なデータセットを格納し、迅速にクエリを実行する能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）へのログの保存およびインデックス作成を含み得る。コンダクタ１２０は、サードパーティのソリューションおよび／またはアプリケーションのための通信の集中点として動作することにより、相互接続性を提供し得る。

ロボット１３０は、デザイナ１１０で構築されたワークフローを実行する実行エージェントである。ロボット（複数可）１３０のいくつかの実施形態の１つの商業的な例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット１３０は、デフォルトで、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。その結果、このようなロボット１３０は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開くことができ、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有し得る。

いくつかの実施形態では、ロボット１３０は、ユーザーモードで設置され得る。このようなロボット１３０については、所定のロボット１３０が設置されているユーザーと同じ権利を有することを意味する。この特色はまた、各マシンを最大限に全活用することを保証する高密度（ＨＤ）ロボットにも利用可能であり得る。いくつかの実施形態では、いずれかのタイプのロボット１３０は、ＨＤ環境で構成され得る。

いくつかの実施形態におけるロボット１３０は、複数のコンポーネントに分割され、それぞれが特定の自動化タスクに特化されている。いくつかの実施形態におけるロボットコンポーネントは、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、およびコマンドラインを含むが、これらに限定されない。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と実行ホスト（すなわち、ロボット１３０が実行されるコンピューティングシステム）との間のプロキシとして動作する。これらのサービスは、ロボット１３０の資格情報を任されて管理する。コンソールアプリケーションは、ローカルシステム下のＳＣＭによって起動される。

いくつかの実施形態におけるユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と実行ホストとの間のプロキシとして動作する。ユーザーモードのロボットサービスは、ロボット１３０の資格情報を任されて管理し得る。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが自動的に起動され得る。

エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッションの下で与えられたジョブを実行し得る（つまり、ワークフローを実行し得る。エグゼキュータは、モニタ毎のドットパーインチ（ＤＰＩ）設定を意識し得る。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標） Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであり得る。エージェントはサービスのクライアントとなり得る。エージェントは、ジョブの開始または停止、設定の変更を依頼し得る。コマンドラインはサービスのクライアントである。コマンドラインは、ジョブの開始を要求し、その出力を待つことができるコンソールアプリケーションである。

上で説明したように、ロボット１３０のコンポーネントが分割されていることは、開発者、サポートユーザー、およびコンピューティングシステムが、各コンポーネントが何を実行しているかをより容易に実行し、識別し、および追跡するのに役立つ。この方法では、エグゼキュータとサービスに異なるファイアウォールルールを設定するなど、コンポーネントごとに特別な動作を構成し得る。エグゼキュータは常に、いくつかの実施形態では、モニタごとのＤＰＩ設定を認識し得る。その結果、ワークフローは、作成されたコンピューティングシステムの構成に関係なく、いずれかのＤＰＩで実行し得る。また、いくつかの実施形態では、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルに依存しないようにし得る。ＤＰＩを認識していないまたは意図的に認識していないとマークされているアプリケーションの場合、いくつかの実施形態ではＤＰＩを無効にし得る。

図２は、本発明の実施形態による、展開したＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のＲＰＡシステム１００であってもよく、またはその一部であってもよい。クライアント側、サーバー側、またはその両方が、本発明の範囲から逸脱することなく、いずれかの所望の数のコンピューティングシステムを含むことができることに留意すべきである。クライアント側では、ロボットアプリケーション２１０は、エグゼキュータ２１２、エージェント２１４、およびデザイナ２１６を含む。しかし、いくつかの実施形態では、デザイナ２１６は、コンピューティングシステム２１０上で実行されていなくてもよい。エグゼキュータ２１２はプロセスを実行する。図２に示すように、複数のビジネスプロジェクトが同時に実行され得る。エージェント２１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、本実施形態では、全てのエグゼキュータ２１２のための単一の接続ポイントである。この実施形態における全てのメッセージは、コンダクタ２３０に記録され、コンダクタ２３０は、データベースサーバー２４０、インデクササーバー２５０、またはその両方を介して、それらをさらに処理する。図１に関して上述したように、エグゼキュータ２１２は、ロボットコンポーネントであり得る。

いくつかの実施形態では、ロボットは、マシン名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理し得る。同時に実行される複数の対話型セッションをサポートするコンピューティングシステム（Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２など）では、複数のロボットが同時に実行され得、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行され得る。これは、上記のＨＤロボットと呼ばれる。

エージェント２１４はまた、ロボットの状態を送信し（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）、実行されるパッケージの必要なバージョンをダウンロードすることにも責任を負う。エージェント２１４とコンダクタ２３０との間の通信は、いくつかの実施形態では、常にエージェント２１４によって開始される。通知シナリオでは、エージェント２１４は、後にコンダクタ２３０によってロボットにコマンド（例えば、開始、停止など）を送信するために使用されるＷｅｂＳｏｃｋｅｔチャネルを開いてもよい。

サーバー側には、プレゼンテーション層（ウェブアプリケーション２３２、オープンデータプロトコル（ＯＤａｔａ）代表状態転送（ＲＥＳＴ）アプリケーションプログラミングインターフェース（ＡＰＩ）エンドポイント２３４、通知および監視２３６）、サービス層（ＡＰＩ実装／ビジネスロジック２３８）、永続層（データベースサーバー２４０、インデクササーバー２５０）が含まれる。コンダクタ２３０は、ウェブアプリケーション２３２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４、通知および監視２３６、ならびにＡＰＩ実装／ビジネスロジック２３８を含む。いくつかの実施形態では、ユーザーがコンダクタ２２０のインターフェース（例えば、ブラウザ２２０を介して）で実行するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実行される。このような動作は、本発明の範囲を逸脱することなく、ロボット上でのジョブの起動、キュー内のデータの追加／削除、無人で実行するジョブのスケジューリングなどを含み得るが、これらに限定されない。ウェブアプリケーション２３２は、サーバープラットフォームのビジュアル層である。この実施形態では、ウェブアプリケーション２３２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）およびジャバスクリプト（ＪＳ）を使用する。しかし、本発明の範囲を逸脱することなく、いずれかの所望のマークアップ言語、スクリプト言語、または他のいずれかのフォーマットを使用し得る。ユーザーは、コンダクタ２３０を制御するための様々な動作を実行するために、本実施形態ではブラウザ２２０を介してウェブアプリケーション２３２からのウェブページと対話する。例えば、ユーザーは、ロボットグループを作成し、ロボットへのパッケージの割り当てを行い、ロボット毎および／またはプロセス毎のログを解析し、ロボットを起動しおよび停止し得る。

ウェブアプリケーション２３２に加えて、コンダクタ２３０は、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４を公開するサービス層も含む。しかし、本発明の範囲を逸脱することなく、他のエンドポイントが含まれていてもよい。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション２３２とエージェント２１４の両方によって消費される。エージェント２１４は、本実施形態では、クライアントコンピュータ上の１または複数のロボットのスーパーバイザである。

本実施形態のＲＥＳＴ ＡＰＩは、構成、ロギング、監視、およびキューイング機能をカバーする。構成エンドポイントは、いくつかの実施形態では、アプリケーションのユーザー、権限、ロボット、アセット、リリース、および環境を定義し、構成するために使用されてもよい。ロギングＲＥＳＴエンドポイントは、例えば、エラー、ロボットによって送信された明示的なメッセージ、およびその他の環境固有の情報など、様々な情報をログに記録するために使用され得る。デプロイメントＲＥＳＴエンドポイントは、コンダクタ２３０においてジョブ開始コマンドが使用された場合に実行されるべきパッケージのバージョンを問い合わせるためにロボットによって使用されてもよい。キューイングＲＥＳＴエンドポイントは、キューへのデータの追加、キューからのトランザクションの取得、トランザクションのステータスの設定など、キューおよびキューアイテムの管理を担ってもよい。

ＲＥＳＴエンドポイントの監視は、ウェブアプリケーション２３２およびエージェント２１４を監視してもよい。通知および監視ＡＰＩ２３６は、エージェント２１４の登録、エージェント２１４への構成設定の配信、およびサーバーとエージェント２１４との間の通知の送受信に使用されるＲＥＳＴエンドポイントであってもよい。通知および監視ＡＰＩ２３６は、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用してもよい。

永続層は、本実施形態では、一対のサーバー－データベースサーバー２４０（例えば、ＳＱＬサーバー）およびインデクササーバー２５０－を含む。本実施形態におけるデータベースサーバー２４０は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を格納する。この情報は、いくつかの実施形態では、ウェブアプリケーション２３２を介して管理される。データベースサーバー２４０は、キューおよびキューアイテムを管理してもよい。いくつかの実施形態では、データベースサーバー２４０は、ロボットによって記録されたメッセージを（インデクササーバー２５０に加えて、またはインデクササーバー２５０に代えて）格納してもよい。

いくつかの実施形態では任意であるが、インデクササーバー２５０は、ロボットによって記録された情報を保存し、インデックスを作成する。特定の実施形態では、インデクササーバー２５０は、構成設定を介して無効化されてもよい。いくつかの実施形態では、インデクササーバー２５０は、オープンソースプロジェクトの全文検索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。ロボットによって記録されたメッセージ（例えば、ログメッセージまたはライン書き込みのようなアクティビティを使用して）は、ロギングＲＥＳＴエンドポイント（複数可）を介してインデクササーバー２５０に送信されてもよく、そこで将来の利用のためにそれらはインデックス化される。

図３は、本発明の実施形態による、デザイナ３１０、アクティビティ３２０、３３０、およびドライバ３４０の間の関係３００を示すアーキテクチャ図である。以上のように、開発者は、デザイナ３１０を用いて、ロボットによって実行されるワークフローを開発する。ワークフローは、ユーザー定義のアクティビティ３２０およびＵＩ自動化アクティビティ３３０を含んでもよい。いくつかの実施形態では、画像中の非テキストの視覚的コンポーネントを識別することができ、これは、本明細書ではコンピュータビジョン（ＣＶ）と呼ばれる。このようなコンポーネントに関連するいくつかのＣＶアクティビティは、クリック、タイプ、テキストを取得、ホバー、要素の有無を検出、スコープの更新、ハイライトなどを含むが、これらに限定されない。いくつかの実施形態では、クリックは、例えば、ＣＶ、光学的文字認識（ＯＣＲ）、ファジーテキストマッチング、およびマルチアンカーを使用して要素を識別し、それをクリックする。タイプは、上記および要素内のタイプを用いて要素を識別してもよい。テキストを取得すると、特定のテキストの場所を特定し、ＯＣＲを使用してそれをスキャンし得る。ホバーは、要素を識別し、その上にホバーし得る。要素の有無を検出するかどうかは、上述した技術を用いて、画面上に要素の有無を検出するかどうかを確認し得る。いくつかの実施形態では、デザイナ３１０に実装され得る数百または数千でさえのアクティビティが存在してもよい。しかし、本発明の範囲を逸脱することなく、いずれかの数および／またはアクティビティのタイプを利用することができる。

ＵＩ自動化アクティビティ３３０は、低レベルのコード（例えば、ＣＶアクティビティ）で記述され、画面との対話を促進する特別な低レベルのアクティビティのサブセットである。ＵＩ自動化アクティビティ３３０は、ロボットが所望のソフトウェアと対話することを可能にするドライバ３４０を介して、これらの対話を促進する。例えば、ドライバ３４０は、ＯＳドライバ３４２、ブラウザドライバ３４４、ＶＭドライバ３４６、エンタープライズアプリケーションドライバ３４８などを含んでもよい。

ドライバ３４０は、フックを探したり、キーを監視したりするなど、低レベルでＯＳと対話してもよい。それらは、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を促進してもよい。例えば、「クリック」アクティビティは、ドライバ３４０を介して、これらの異なるアプリケーションにおいて同じ役割を果たす。

図４は、本発明の実施形態による、ＲＰＡシステム４００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム４００は、図１および／または図２のＲＰＡシステム１００および／または２００であってもよいし、それを含んでもよい。ＲＰＡシステム４００は、ロボットを実行する複数のクライアントコンピューティングシステム４１０を含む。コンピューティングシステム４１０は、その上で実行されるウェブアプリケーションを介してコンダクタコンピューティングシステム４２０と通信することができる。コンダクタコンピューティングシステム４２０は、順番に、データベースサーバー４３０および任意のインデクササーバー４４０と通信することができる。

図１および図３に関して、これらの実施形態ではウェブアプリケーションが使用されているが、本発明の範囲から逸脱することなく、いずれかの適切なクライアント／サーバーソフトウェアを使用することができることに留意すべきである。例えば、コンダクタは、クライアントコンピューティングシステム上で、非ウェブベースのクライアントソフトウェアアプリケーションと通信するサーバーサイドアプリケーションを実行してもよい。

図５は、本発明の実施形態による、ＲＰＡ用のＭＬモデル再訓練パイプラインの一部を実装するように構成されたコンピューティングシステム５００を示すアーキテクチャ図である。いくつかの実施形態では、コンピューティングシステム５００は、本明細書に描かれたおよび／または記載された１または複数のコンピューティングシステムであってもよい。コンピューティングシステム５００は、情報を通信するためのバス５０５または他の通信機構と、情報を処理するためのバス５０５に結合されたプロセッサ（複数可）５１０とを含む。プロセッサ（複数可）５１０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらのいずれかの組み合わせを含む、いずれかのタイプの一般的または特定用途向けプロセッサであり得る。プロセッサ（複数可）５１０はまた、複数の処理コアを有してもよく、コアの少なくとも一部は、特定の機能を実行するように構成され得る。いくつかの実施形態では、複数並列処理が使用されてもよい。特定の実施形態では、少なくとも１つのプロセッサ（複数可）５１０は、生物学的ニューロンを模倣する処理要素を含むニューロモーフィック回路であり得る。いくつかの実施形態では、ニューロモーフィック回路は、フォンノイマンコンピューティングアーキテクチャの典型的なコンポーネントを必要としない場合がある。

コンピューティングシステム５００は、プロセッサ（複数可）５１０によって実行される情報および命令を格納するためのメモリ５１５をさらに含む。メモリ５１５は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気ディスクもしくは光ディスクなどの静的記憶装置、または他のタイプの非一時的なコンピュータ読み取り可能な媒体、あるいはそれらのいずれかの組み合わせで構成され得る。非一時的なコンピュータ読み取り可能な媒体は、プロセッサ（複数可）５１０によってアクセス可能ないずれかの利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体または両方などを含み得る。また、媒体は、取り外し可能なもの、取り外し不可能なもの、または両方であってもよい。

さらに、コンピューティングシステム５００は、無線および／または有線接続を介して通信ネットワークへのアクセスを提供するために、トランシーバなどの通信装置５２０を含む。いくつかの実施形態では、通信装置５２０は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ）通信、汎用パケット無線サービス（ＧＰＲＳ：Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、ユニバーサル移動体通信システム（ＵＭＴＳ：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ：Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速パケットアクセス（ＨＳＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ：ＬＴＥ Ａｄｖａｎｃｅｄ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、８０２．１６ｘ、８０２．１５、Ｈｏｍｅ Ｎｏｄｅ－Ｂ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線ＩＤタグ（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、近距離無線通信（ＮＦＣ：Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、第５世代（５Ｇ）、Ｎｅｗ Ｒａｄｉｏ（ＮＲ）、それらのいずれかの組み合わせ、および／または本発明の範囲から逸脱することなく、いずれかの他の現在存在するまたは将来実装される通信標準および／またはプロトコルを使用するように構成され得る。いくつかの実施形態では、通信装置５２０は、本発明の範囲から逸脱することなく、単数のアンテナ、アレイ状のアンテナ、フェーズドアンテナ、スイッチドアンテナ、ビームフォーミングアンテナ、ビームステアリングアンテナ、それらの組み合わせ、および／またはいずれかの他のアンテナ構成である１または複数のアンテナを含み得る。

プロセッサ（複数可）５１０は、バス５０５を介して、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高精細ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、ＩＰＳ（Ｉｎ－Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）ディスプレイ、またはユーザーに情報を表示するためのいずれかの他の適切なディスプレイなどのディスプレイ５２５にさらに結合されている。ディスプレイ５２５は、抵抗方式、静電容量方式、表面弾性波（ＳＡＷ）静電容量方式、赤外線方式、光学イメージング方式、分散信号方式、音響パルス認識方式、フラストレート全内部反射方式などを用いて、タッチ（ハプティック）ディスプレイ、３次元（３Ｄ）タッチディスプレイ、マルチ入力タッチディスプレイ、マルチタッチディスプレイなどとして構成されていてもよい。本発明の範囲を逸脱することなく、いずれかの好適な表示装置およびハプティックＩ／Ｏを使用することができる。

コンピュータマウス、タッチパッドなどのようなキーボード５３０およびカーソル制御装置５３５は、ユーザーがコンピューティングシステムとインターフェースすることを可能にするために、バス５０５にさらに結合されている。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在しない場合があり、ユーザーは、ディスプレイ５２５および／またはタッチパッド（図示せず）のみを介してデバイスと対話することができる。入力デバイスの種類および組み合わせは、設計の選択の問題として使用され得る。特定の実施形態では、物理的な入力装置および／またはディスプレイは存在しない。例えば、ユーザーは、コンピューティングシステム５００と通信している別のコンピューティングシステムを介してリモートでコンピューティングシステム５００と対話してもよいし、コンピューティングシステム５００は自律的に動作してもよい。

メモリ５１５は、プロセッサ（複数可）５１０によって実行されたときに機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５４０を含む。モジュールはさらに、本明細書に記載されたプロセスの全部もしくは一部またはその派生物を実行するように構成されたＭＬモデル再訓練パイプラインモジュール５４５を含む。コンピューティングシステム５００は、付加的な機能を含む１または複数の付加的な機能モジュール５５０を含み得る。

当業者であれば、「システム」は、本発明の範囲から逸脱することなく、サーバー、組み込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、または他のいずれかの適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上述した機能を「システム」によって実行されるものとして提示することは、何ら本発明の範囲を限定することを意図するものではなく、本発明の多くの実施形態の一例を提供することを意図するものである。実際、本明細書に開示された方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技術と整合性のあるローカライズされた形態および分散された形態で実装されてもよい。

本明細書で説明するシステム特色のいくつかは、実装の独立性をより強調するために、モジュールとして提示されていることに留意すべきである。例えば、モジュールは、カスタムの非常に大規模な集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他のディスクリート構成要素のような既製の半導体を含むハードウェア回路として実装され得る。また、モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジック装置、グラフィックス処理ユニットなどのプログラマブルハードウェア装置に実装され得る。

モジュールまたは、様々なタイプのプロセッサによって実行されるためのソフトウェアに少なくとも部分的に実装され得る。例えば、実行可能コードの識別された単位は、例えば、オブジェクト、プロシージャ、または関数として編成されていてもよいコンピュータ命令の１または複数の物理的または論理的なブロックを含み得る。それにもかかわらず、実行可能な識別されたモジュールは、物理的に一緒に配置されている必要はなく、論理的に結合されたときにモジュールを含み、モジュールのために述べられた目的を達成するために、異なる場所に格納された別々の命令を含んでいてもよい。さらに、モジュールは、例えば、ハードディスクドライブ、フラッシュ装置、ＲＡＭ、テープのようなコンピュータ読み取り可能な媒体、および／または本発明の範囲から逸脱することなくデータを格納するために使用される他のいずれかの非一時的なコンピュータ読み取り可能な媒体に格納されていてもよい。

実際、実行可能コードのモジュールは、単一の命令であってもよいし、多数の命令であってもよいし、さらには、複数の異なるコードセグメント、異なるプログラム間、および複数のメモリ装置間に分散されていてもよい。同様に、操作データは、モジュール内で識別され、ここで示されてもよく、いずれかの適切なタイプのデータ構造体内でいずれかの適切な形態で具現化され、組織化され得る。操作データは、単一のデータセットとして収集されてもよいし、または異なる記憶装置にわたり異なる場所に分散されていてもよく、少なくとも部分的には、単にシステムまたはネットワーク上の電子信号として存在していてもよい。

図６は、本発明の実施形態による、ＲＰＡ用のＭＬモデル再訓練パイプラインを実装するように構成されたシステム６００を示すアーキテクチャ図である。システム６００は、デスクトップコンピュータ６０２、６０３、タブレット６０４、スマートフォン６０６などのユーザーコンピューティングシステムを含む。しかしながら、スマートウォッチ、ラップトップコンピュータ、インターネットオブシングス（ＩｏＴ）装置、車両コンピューティングシステムなどを含むが、これらに限定されない、本発明の範囲から逸脱しない、いずれかの所望のコンピューティングシステムが使用され得る。また、４つのユーザーコンピューティングシステムが図６に示されているが、本発明の範囲から逸脱することなく、いずれかの好適な数のコンピューティングシステムが使用され得る。例えば、いくつかの実施形態では、数十、数百、数千、または数百万のコンピューティングシステムが使用されてもよい。

各コンピューティングシステム６０２、６０３、６０４、６０６は、ＭＬモデルを呼び出すおよび／または実行するデジタルプロセス６１０をその上で実行する。デジタルプロセス６１０は、ＲＰＡデザイナアプリケーションを介して生成されたロボットであってもよいし、オペレーティングシステムの一部であってもよいし、パーソナルコンピュータ（ＰＣ）またはスマートフォンのためのダウンロード可能なアプリケーションであってもよいし、本発明の範囲から逸脱しない、他のいずれかのソフトウェアおよび／またはハードウェアであってもよい。実際、いくつかの実施形態では、１または複数のデジタルプロセス６１０のロジックは、物理的なハードウェアを介して部分的にまたは完全に実装される。デジタルプロセス６１０は、トリガに応答するＭＬモデルを訓練／再訓練するための訓練データを収集して送信してもよい。トリガには、ＭＬモデルの性能が信頼できるしきい値を下回ること、統計的分布から逸脱したＭＬモデルの結果（例えば、ＭＬモデルの予測値がユーザーのプールに関して正規分布内に収まらなくなったこと）、以前に観測された範囲から外れたＭＬモデルの結果、人のユーザー（例えば、ＲＰＡ開発者）が望ましくない性能特性に気づき、再訓練のためにラベル付けされたデータの収集を開始すること、および／または本発明の範囲から逸脱することなく、他の適切なトリガが含まれるが、これらに限定されない。

デジタルプロセス６１０は、ネットワーク６２０（例えば、ローカルエリアネットワーク（ＬＡＮ）、移動体通信ネットワーク、衛星通信ネットワーク、インターネット、それらのいずれかの組み合わせなど）を介して、それらのそれぞれのコンピューティングシステムのユーザーから収集された訓練データをサーバー６３０に送信する。サーバー６３０は、訓練データをデータベース６４０に格納する。訓練データは、画像およびユーザーによる修正（例えば、コンポーネントが画面上に位置する領域、エラーに関するユーザーからのテキスト説明、領域のラベルなど）を含んでもよいが、これらに限定されない。

人のユーザー（例えば、ＲＰＡ技術者またはデータサイエンティスト）による指示があった場合、所定量の訓練データが収集された場合、前の訓練から所定時間が経過した場合、訓練要求が受信された場合などに、サーバー６３０は、複数のＡＩ層６３２を介して訓練データを実行する。ＡＩ層６３２はデータを処理し、新しいバージョンのＭＬモデルを生成する。ＡＩ層６３２は、統計的モデリング（例えば、隠れマルコフモデル（ＨＭＭ））を実行し、深層学習技術（例えば、長期短期記憶（ＬＳＴＭ）深層学習、前の隠蔽された状態のエンコードなど）を利用し得る。

いくつかの実施形態では、各ＡＩ層６３２は、訓練データ上で実行されるアルゴリズム（またはモデル）であり、ＭＬモデル自体は、訓練データで訓練された人工「ニューロン」の深層学習ニューラルネットワーク（ＤＬＮＮ）であり得る。層は、直列、並列、またはそれらの組み合わせで実行され得る。ＡＩ層６３２は、配列抽出層、クラスタリング検出層、視覚成分検出層、テキスト認識層（例えば、ＯＣＲ）、オーディオ－ツー－テキスト変換層、１または複数の層の複数のインスタンス、またはそれらのいずれかの組み合わせを含んでもよいが、これらに限定されない。本発明の範囲を逸脱することなく、いずれかの所望の数およびタイプ（複数可）の層を使用し得る。複数の層を使用することで、システムが画面またはプロセスで何が起こっているのかのグローバルな画像を展開し得る。例えば、あるＡＩ層はＯＣＲを実行し、別のＡＩ層はボタンなどを検出してもよい。パターンは、１つのＡＩ層によって個別に決定されてもよいし、複数のＡＩ層によってまとめて決定されてもよい。

特定の実施形態では、データサイエンティストは、ＭＬモデルの訓練を開始し、および／または監視し得る。例えば、データサイエンティストは、訓練データセットを追加データで補完したり、新たに訓練されたＭＬモデルが所望の信頼度を達成できなかった場合に、異なるまたは補完された訓練データを用いてＭＬモデルを再訓練したりしてもよい。データサイエンティストは、いくつかの実施形態では、ＭＬモデルが準備ができて承認された場合に、更新通知を生成してもよい。特定の実施形態では、サーバー６３０は、通知を生成してもよい。

新しいバージョンのＭＬモデルが適切に訓練された後、サーバー６３０は、新しいバージョンのＭＬモデルをデータベース６４０に保存してもよく、潜在的に前のバージョンのＭＬモデルを置き換えることができる。ユーザーコンピューティングシステム６０２、６０３、６０４、６０６からＭＬモデルが呼び出されると、新しいバージョンのＭＬモデルが実行される。特定の実施形態では、新しいバージョンのＭＬモデルは、コンピューティングシステム６０２、６０３、６０４、６０６に押し出されてもよい。いくつかの実施形態では、ＭＬモデルを呼び出すＲＰＡロボットのワークフローは、新しいバージョンのＭＬモデルを呼び出すように変更されてもよい。特定の実施形態では、ＲＰＡロボットは、最初に新しいバージョンのＭＬモデルを試し、ある信頼度しきい値が満たされていない場合、前のバージョンのＭＬモデルを試して、前のバージョンが与えられたシナリオに対してより高い信頼度を達成しているかどうかを確認してもよい。いくつかの実施形態では、ＲＰＡロボットは、ＭＬモデルの両方のバージョンを呼び出して、最も信頼度の高いモデルからの出力を選択してもよい。

図７は、本発明の実施形態による、ＲＰＡ用のＭＬモデル再訓練パイプラインのためのプロセス７００を示すフローチャートである。プロセスは、ユーザーコンピューティングシステム７１０で実行されているＲＰＡロボットワークフローからＭＬモデルを呼び出すことから始まる。ＲＰＡロボットは、７２０でＭＬモデルからの出力（例えば、予測および信頼度しきい値、変数および統計的分布など）を受信し、７３０で１または複数のトリガ条件が満たされているかどうかを判断する。トリガ条件には、ＭＬモデルの性能が信頼できるしきい値を下回ること、統計的分布から逸脱したＭＬモデルの結果（例えば、ＭＬモデルの予測値がユーザーのプールに関して正規分布内に収まらなくなったこと）、以前に観測された範囲から外れたＭＬモデルの結果、人のユーザー（例えば、ＲＰＡ開発者）が望ましくない性能特性に気づき、再訓練のためにラベル付けされたデータの収集を開始すること、および／または本発明の範囲から逸脱することなく、他の適切なトリガが含まれるが、これらに限定されない。

７３０でトリガ条件（複数可）が満たされた場合、ラベル付けされた訓練データが得られ、７４０でサーバーに提出される。例えば、アテンディッドロボットＲＰＡロボットの場合、ＲＰＡロボットが実行されているコンピューティングシステムの人ユーザーには、修正を行うためのインターフェースまたはオプションが提示されたり、または別のコンピューティングシステムの人ユーザーには、信頼度しきい値未満の識別が発生した場所に関する情報が提供され、修正を行うためのインターフェースまたはオプションが提示され得る。また、アンアテンディッドロボットＲＰＡロボットの場合には、スクリーンショットを自動的に撮影し、ＭＬモデルが適用された画面上の所定のコンポーネントの座標が提供され得る。この情報は、その後のレビューまたはラベル付けのためのキューに追加され得る。

１または複数の訓練基準が７５０で満たされた場合、ＭＬモデルは、収集された訓練データを使用して、または現在のバージョンのＭＬモデルを訓練するために使用された前の訓練データとともに収集された訓練データを使用して、７６０で訓練される。１または複数の訓練基準は、所定の時間が経過したとき、所定の量の訓練データが受信されたとき、所定の数の訓練データサンプルが受信されたとき、データがデータのいくつかの分布（例えば、正規分布、二項分布、または他の統計的分布）、カスタム規準もしくは基準、またはそれらの任意の組み合わせから外れたときなどを含み得る。いくつかの実施形態では、訓練基準は、図７に示された他のステップにリンクされていない別のプロセスでチェックされる。

訓練後、新しいバージョンのＭＬモデルを７７０で展開する。いくつかの実施形態では、新しいバージョンのＭＬモデルは、単に前のバージョンを置き換えてもよく、ＲＰＡロボットワークフローからのＭＬモデルへの呼び出しは、さらなる変更なしに、代わりに新しいバージョンのＭＬモデルを呼び出し得る。しかしながら、いくつかの実施形態では、ＲＰＡロボットが７８０において新しいバージョンのＭＬモデルと対話することができるように、さらなる修正が行われる。例えば、特定の実施形態では、新しいバージョンのＭＬモデルは、ＲＰＡロボットのユーザーのコンピューティングシステムに押し出されてもよい。いくつかの実施形態では、ＲＰＡロボットのワークフローは、新しいバージョンのＭＬモデルを呼び出すように変更されてもよい。

いくつかの実施形態では、複数のバージョンのＭＬモデルが、ＲＰＡロボットによって７９０で呼び出されてもよい。例えば、特定の実施形態では、ＲＰＡロボットは、最初に新しいバージョンのＭＬモデルを試し、ある信頼度が実現されない場合、前のバージョン（複数可）がより高い信頼度を達成するかどうか、またはそうでなければより良い結果（例えば、統計的分布とのより良い適合性、範囲内に収まる値、より速い実行など）を達成するかどうかを確認するために、１または複数の前のバージョンのＭＬモデルを試すことができる。いくつかの実施形態では、ＲＰＡロボットは、複数のバージョンのＭＬモデル（例えば、新しいバージョンのＭＬモデルおよびの１または複数の前のバージョンのＭＬモデル）を呼び出して、最も高い信頼度またはそうでなければより良い結果を有するモデルからの出力を選択してもよい。

図７で実行されるプロセスステップは、本発明の実施形態に従って、図７で説明したプロセス（複数可）の少なくとも一部を実行するようにプロセッサ（複数可）への命令をエンコードするコンピュータプログラムによって実行されてもよい。コンピュータプログラムは、非一時的なコンピュータ読み取り可能な媒体に具現化されていてもよい。コンピュータ読み取り可能な媒体は、ハードディスクドライブ、フラッシュ装置、ＲＡＭ、テープ、および／またはデータを格納するために使用される他のそのような媒体または媒体の組み合わせであってもよいが、これらに限定されるものではない。コンピュータプログラムは、図７に記載されたプロセスステップの全部または一部を実装するために、コンピューティングシステム（例えば、図５のコンピューティングシステム５００のプロセッサ（複数可）５１０）のプロセッサ（複数可）を制御するためのコード化された命令を含んでもよく、これはまた、コンピュータ読み取り可能な媒体に格納されてもよい。

コンピュータプログラムは、ハードウェア、ソフトウェア、またはハイブリッド実装で実装され得る。コンピュータプログラムは、互いに操作可能な通信を行うモジュールで構成され得、情報または命令をディスプレイに送るように設計されている。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、またはいずれかの他の好適な装置で動作するように構成され得る。

本発明の様々な実施形態のコンポーネントは、本明細書に一般的に記載され、図示されているように、様々な異なる構成で配置され、設計されてもよいことが、容易に理解されるであろう。したがって、添付の図に表されるような本発明の実施形態の詳細な説明は、特許請求されるような本発明の範囲を限定することを意図するものではなく、本発明の選択された実施形態を代表するものにすぎない。

本明細書を通して記載された本発明の特色、構造、または特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせられ得る。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、または類似の言語を参照することは、実施形態に関連して記載された特定の特色、構造、または特徴が、本発明の少なくとも１つの実施形態に含まれていることを意味する。したがって、本明細書全体を通して「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、または類似の言語の出現は、必ずしも全ての実施形態の同じグループを指すものではなく、記載された特色、構造、または特徴は、１または複数の実施形態ではいずれかの好適な方法で組み合わせられ得る。

本明細書全体を通して特色、利点、または類似の言語への参照は、本発明で実現され得る特色および利点の全てが、本発明のいずれかの単一の実施形態にあるべきであること、または本発明のいずれかの実施形態にあることを意味するものではないことに留意すべきである。むしろ、特色および利点に言及する言語は、実施形態に関連して記載された特定の特色、利点、または特徴が、本発明の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書全体での特色および利点の議論、ならびに類似の言語は、同じ実施形態を参照することができるが、必ずしもその必要性はない。

さらに、本発明の記載された特色、利点、および特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせることができる。関連する技術に熟練した人は、本発明が、１または複数の特定の実施形態の特定の特徴または利点なしに実施され得ることを認識するであろう。他の例では、追加の特徴および利点は、本発明の全ての実施形態には存在しないかもしれない特定の実施形態では認識され得る。

本分野における通常の技術を有する者は、上述したような本発明を、異なる順序でのステップを用いて、および／または開示されているものとは異なる構成のハードウェア要素を用いて実施することができることを容易に理解するであろう。したがって、本発明は、これらの好ましい実施形態に基づいて説明されてきたが、本発明の精神および範囲内にとどまりながら、特定の変更、変形、および代替的な構成が明らかになることは、当業者には明らかであろう。したがって、本発明の範囲を決定するためには、添付の特許請求の範囲を参照すべきである。

Claims (20)

1. ロボティックプロセスオートメーション（ＲＰＡ）のための機械学習（ＭＬ）モデル再訓練パイプラインを実装するためのコンピュータ実装方法であって、
   ＲＰＡロボットによって、機械学習（ＭＬ）モデルを呼び出し、
   前記ＲＰＡロボットによって、前記ＭＬモデルの実行から結果を受信し、
   前記ＲＰＡロボットによって、前記ＭＬモデルのデータをラベル付けするための１または複数のトリガ条件が満たされているかどうかを判断し、
   前記１または複数のトリガ条件が満たされた場合、
   ユーザーに前記ＭＬモデルの訓練または再訓練のためのラベル付けされたデータの提供を促し、前記ラベル付けされたデータを、前記ＲＰＡロボットによって、前記ＭＬモデルの訓練または再訓練のためにサーバーに送信する、または
   前記ＭＬモデルからの前記結果に関連する情報を、前記ＲＰＡロボットによって、後続のラベル付けをするためのキューに追加する、ことを含む、コンピュータ実装方法。
2. 前記１または複数のトリガ条件は、ＭＬモデルの性能が信頼できるしきい値を下回ること、ＭＬモデルの結果が統計的分布から逸脱すること、ＭＬモデルの結果が前に観測された範囲から外れること、またはそれらのいずれかの組み合わせを含む、請求項１に記載のコンピュータ実装方法。
3. 前記１または複数のトリガ条件は、前記ラベル付けされたデータの収集のための開始コマンドの受信を含む、請求項１に記載のコンピュータ実装方法。
4. 前記サーバーによって、前記ラベル付けされたデータを受信し、
   前記サーバーによって、前記ラベル付けされたデータをデータベースに格納することをさらに含む、請求項１に記載のコンピュータ実装方法。
5. １または複数の訓練基準が満たされた場合、前記サーバーによって、前記ラベル付けされたデータを使用して前記ＭＬモデルを訓練し、新しいバージョンの前記ＭＬモデルを生成し、
   前記サーバーによって、前記新しいバージョンの前記ＭＬモデルを展開することをさらに含む、請求項１に記載のコンピュータ実装方法。
6. 前記ＭＬモデルの訓練は、前記新しいバージョンの前記ＭＬモデルよりも前に訓練された前記ＭＬモデルのバージョンを訓練するために使用された以前の訓練データを使用することを追加的に含む、請求項５に記載のコンピュータ実装方法。
7. 前記１または複数の訓練基準は、所定の期間の経過、所定の量の訓練データの受信、所定の数の訓練データサンプルの受信、前記データがデータの分布から外れていること、またはそれらのいずれかの組み合わせを含む、請求項５に記載のコンピュータ実装方法。
8. 前記新しいバージョンの前記ＭＬモデルが、前のバージョンの前記ＭＬモデルを置き換える、請求項５に記載のコンピュータ実装方法。
9. 前記ＲＰＡロボットのワークフローを変更して、前記新しいバージョンの前記ＭＬモデルを呼び出すことをさらに含む、請求項５に記載のコンピュータ実装方法。
10. 前記ＲＰＡロボットのワークフローを変更して、複数のバージョンの前記ＭＬモデルを呼び出すようにし、前記複数のバージョンは前記新しいバージョンの前記ＭＬモデルを含むことをさらに含む、請求項５に記載のコンピュータ実装方法。
11. 前記ＲＰＡロボットによって、前記新しいバージョンの前記ＭＬモデルを呼び出し、
    前記１または複数のトリガ条件が満たされていない場合、前記ＲＰＡロボットによって、前バージョンの前記ＭＬモデルを呼び出し、現在のバージョンの前記ＭＬモデルおよび前記前バージョンの前記ＭＬモデルから最適な結果を選択することをさらに含む、請求項１０に記載のコンピュータ実装方法。
12. 前記ＲＰＡロボットによって、前記新しいバージョンの前記ＭＬモデルおよび少なくとも１つの前のバージョンの前記ＭＬモデルを呼び出し、
    前記ＲＰＡロボットによって、現在のバージョンの前記ＭＬモデルおよび少なくとも１つの前のバージョンの前記ＭＬモデルから最良の結果を選択することをさらに含む、請求項１０に記載のコンピュータ実装方法。
13. 前記ラベル付けされたデータの収集および前記新しいバージョンの前記ＭＬモデルの訓練は、複数のＲＰＡロボットによって呼び出された複数のＭＬモデルに対して一様である、請求項１に記載のコンピュータ実装方法。
14. ロボティックプロセスオートメーション（ＲＰＡ）のための機械学習（ＭＬ）モデル再訓練パイプラインを実装するためのコンピュータ実装方法であって、
    前記ＲＰＡロボットによって、ＭＬモデルのデータをラベル付けするための１または複数のトリガ条件が満たされているかどうかを判断し、
    前記１または複数のトリガ条件が満たされた場合、
    ユーザーに前記ＭＬモデルの訓練または再訓練のためのラベル付けされたデータの提供を促し、前記ラベル付けされたデータを、前記ＲＰＡロボットによって、前記ＭＬモデルの訓練または再訓練のためにサーバーに送信する、または
    前記ＭＬモデルからの前記結果に関連する情報を、前記ＲＰＡロボットによって、後続のラベル付けするためのキューに追加することを含む、コンピュータ実装方法。
15. 前記１または複数のトリガ条件は、ＭＬモデルの性能が信頼できるしきい値を下回ること、ＭＬモデルの結果が統計的分布から逸脱すること、ＭＬモデルの結果が前に観測された範囲から外れること、またはそれらのいずれかの組み合わせを含む、請求項１４に記載のコンピュータ実装方法。
16. １または複数の訓練基準が満たされた場合、前記サーバーによって、前記ラベル付けされたデータを使用して前記ＭＬモデルを訓練し、新しいバージョンの前記ＭＬモデルを生成し、
    前記サーバーによって、前記新しいバージョンの前記ＭＬモデルを展開することをさらに含む、請求項１４に記載のコンピュータ実装方法。
17. 前記１または複数の訓練基準は、所定の期間の経過、所定の量の訓練データの受信、所定の数の訓練データサンプルの受信、前記データがデータの分布から外れていること、またはそれらのいずれかの組み合わせを含む、請求項１６に記載のコンピュータ実装方法。
18. 前記ＲＰＡロボットのワークフローを変更して、複数のバージョンの前記ＭＬモデルを呼び出すようにし、前記複数のバージョンは前記新しいバージョンの前記ＭＬモデルを含むことをさらに含む、請求項１６に記載のコンピュータ実装方法。
19. ロボティックプロセスオートメーション（ＲＰＡ）のための機械学習（ＭＬ）モデル再訓練パイプラインを実装するためのコンピュータ実装方法であって、
    ＲＰＡロボットによって、機械学習（ＭＬ）モデルを呼び出し、
    前記ＲＰＡロボットによって、前記ＭＬモデルの実行から結果を受信し、
    前記ＲＰＡロボットによって、前記ＭＬモデルのデータをラベル付けするための１または複数のトリガ条件が満たされているかどうかを判断し、
    前記１または複数のトリガ条件が満たされた場合、
    ユーザーに前記ＭＬモデルの訓練または再訓練のためのラベル付けされたデータの提供を促し、前記ラベル付けされたデータを、前記ＲＰＡロボットによって、前記ＭＬモデルの訓練または再訓練のためにサーバーに送信する、または
    前記ＭＬモデルからの前記結果に関連する情報を、前記ＲＰＡロボットによって、後続のラベル付けするためのキューに追加し、
    １または複数の訓練基準が満たされた場合、前記サーバーによって、前記ラベル付けされたデータを使用して前記ＭＬモデルを訓練し、新しいバージョンの前記ＭＬモデルを生成し、
    前記サーバーによって、前記新しいバージョンの前記ＭＬモデルを展開することを含む、コンピュータ実装方法。
20. 前記１または複数のトリガ条件は、ＭＬモデルの性能が信頼できるしきい値を下回ること、ＭＬモデルの結果が統計的分布から逸脱すること、ＭＬモデルの結果が前に観測された範囲から外れること、またはそれらのいずれかの組み合わせを含み、
    前記１または複数の訓練基準は、所定の期間の経過、所定の量の訓練データの受信、所定の数の訓練データサンプルの受信、前記データがデータの分布から外れていること、またはそれらのいずれかの組み合わせを含む、請求項１９に記載のコンピュータ実装方法。

Images