JP2023552666A - アクションセンターを介した人工知能（ａｉ）／機械学習（ｍｌ）モデルの補足、ａｉ／ｍｌモデル再訓練ハードウェア制御、およびａｉ／ｍｌモデル設定管理 - Google Patents

Abstract

アクションセンターを介して人工知能（ＡＩ）／機械学習（ＭＬ）モデルを補足し、ＡＩ／ＭＬモデル再訓練ハードウェア制御を提供し、ＡＩ／ＭＬモデル設定管理を提供することが開示されている。ＡＩ／ＭＬモデルは、ＡＩ／ＭＬモデルがロボティックプロセスオートメーション（ＲＰＡ）ロボットによって呼び出され得るホスティングインフラストラクチャ上に展開され得る。ＡＩ／ＭＬモデルの性能がしきい値を下回ると、ＡＩ／ＭＬモデル予測の結果および他のデータがアクションセンターに送信され、そこで人間は適切なアプリケーションを使用してデータをレビューし、予測を承認するか、または予測が誤っている場合は修正を提供する。次いで、このアクションセンター承認結果は、ＡＩ／ＭＬモデルからの予測の代わりに使用されるＲＰＡロボットに送信される。

Description

（関連出願の相互参照）
本出願は、２０２１年１月２２日に出願された米国特許出願第１７／１５５，２０９号の利益を主張し、上記出願は、２０２０年１２月１１日に出願されたインド特許出願第２０２０１１０５３９２６号の利益を主張する。これらの先願の主題は、その全体が参照により本明細書に組み込まれる。

本発明は、一般に、人工知能（ＡＩ）および機械学習（ＭＬ）に関し、より具体的には、アクションセンターを介してＡＩ／ＭＬモデルを補足すること、ＡＩ／ＭＬモデル再訓練ハードウェア制御、およびＡＩ／ＭＬモデル設定管理に関する。

ＡＩ／ＭＬモデルは、定義が困難であり、変動性が高く、確率的手法を必要とするステップを自動化するために、ロボティックプロセスオートメーション（ＲＰＡ）において有益であり得る。ＲＰＡロボットによって呼び出すことができるＡＩ／ＭＬモデルは、適切なインフラストラクチャ上に展開することができる。例えば、ＲＰＡロボットによって呼び出されると、そのようなＡＩ／ＭＬモデルは、結果（例えば、予測）および信頼度を返すことができる。しかしながら、経時的に、ＡＩ／ＭＬモデルは、データおよび／またはモデルドリフトのために精度が低下する可能性がある。

通常、ＡＩ／ＭＬモデルの精度が低下すると、ラベル化された訓練データが取得され、その性能を改善する試みでＡＩ／ＭＬモデルを再訓練するために使用される。しかしながら、ラベル付き訓練データを取得するプロセスは高価で時間がかかる可能性があり、再訓練には少なからぬ時間がかかる可能性があり、再訓練されたＡＩ／ＭＬモデルが提供されるまでＡＩ／ＭＬモデルは所望よりも正確ではない。また、どのハードウェアが再訓練に使用されるかに対する制御はない。したがって、ＡＩ／ＭＬモデルの再訓練および管理に対する改善されたアプローチが有益であり得る。

本発明の特定の実施形態は、現在のＲＰＡ技術によってまだ完全に識別、認識、または解決されていない当技術分野の問題および必要性に対するソリューションを提供することができる。例えば、本発明のいくつかの実施形態は、アクションセンターを介したＡＩ／ＭＬモデルの補足、ＡＩ／ＭＬモデル再訓練ハードウェア制御、およびＡＩ／ＭＬモデル設定管理に関する。

一実施形態では、システムは、１つまたは複数のＡＩ／ＭＬモデルを含むか、あるいは１つまたは複数のＡＩ／ＭＬモデルにアクセスするサーバーを含む。システムはまた、遂行中に１つまたは複数のＡＩ／ＭＬモデルのうちの少なくとも１つを呼び出すように構成された１つまたは複数のＲＰＡロボットと、アクションセンターと、を含む。サーバーは、１つまたは複数のＡＩ／ＭＬモデルの性能を監視し、１つまたは複数のＡＩ／ＭＬモデルのうちの１つのＡＩ／ＭＬモデルを遂行するために、１つまたは複数のＲＰＡロボットのうちの呼び出しＲＰＡロボットから要求を受信するように構成される。要求されたＡＩ／ＭＬモデルの性能が、ある期間にわたって、または要求されたＡＩ／ＭＬモデルの実行回数にわたって、初めて１つまたは複数の性能しきい値を下回る場合に、サーバーは、要求されたＡＩ／ＭＬモデルの遂行の結果をレビューするために、アクションセンターにレビュー要求を送信するように構成される。アクションセンターは、結果が正しいという指示をアクションセンターアプリケーションから受信するか、または修正された結果をアクションセンターアプリケーションから受信するように構成される。結果が正しくない場合に、アクションセンターはまた、アクションセンターから呼び出しＲＰＡロボットか、サーバーか、またはその両方に修正された結果を提供するように構成される。

別の実施形態では、コンピュータにより実施される方法は、アクションセンターアプリケーションにより、ＡＩ／ＭＬモデルからの結果をレビューする要求を受信するステップと、アクションセンターアプリケーションにより、ＡＩ／ＭＬモデルにより解析された画像と、結果についての１つまたは複数のパラメータと、をディスプレイに表示させるステップと、を含む。１つまたは複数のパラメータは、ＡＩ／ＭＬモデルによる予測を含む。コンピュータにより実施される方法はまた、アクションセンターアプリケーションによって、１つまたは複数のパラメータのうちの少なくとも１つに対する修正を受信するステップと、ＡＩ／ＭＬモデルの再訓練のために修正をサーバーに送信するステップと、を含む。

さらに別の実施形態では、非一時的コンピュータ可読媒体がコンピュータプログラムを格納する。コンピュータプログラムは、少なくとも１つのプロセッサに、ＲＰＡロボットによって要求されたＡＩ／ＭＬモデルを遂行させ、ＡＩ／ＭＬモデルの性能を監視させるように構成される。ＡＩ／ＭＬモデルの性能が、ある期間にわたって、またはＡＩ／ＭＬモデルの実行回数にわたって、初めて１つまたは複数の性能しきい値を下回る場合に、コンピュータプログラムは、少なくとも１つのプロセッサに、ＡＩ／ＭＬモデルの遂行の結果をレビューするためにアクションセンターにレビュー要求を送信させるように構成される。

本発明の特定の実施形態の利点が容易に理解されるように、上記で簡単に説明した本発明のより具体的な説明は、添付の図面に示されている特定の実施形態を参照することによって提供される。これらの図面は、本発明の典型的な実施形態のみを示しており、したがってその範囲を限定するものと見なされるべきではないことを理解されたいが、本発明は、添付の図面を使用することによって追加の具体性および詳細を伴って説明および説明される。

本発明の一実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

本発明の一実施形態による、展開されたＲＰＡシステムを示すアーキテクチャ図である。

本発明の一実施形態による、デザイナ、アクティビティ、およびドライバの間の関係を示すアーキテクチャ図である。

本発明の一実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

本発明の一実施形態による、アクションセンター、ＡＩ／ＭＬモデル再訓練ハードウェア制御、およびＡＩ／ＭＬモデル設定管理を介してＡＩ／ＭＬモデルを補足するように構成されたコンピューティングシステムを示すアーキテクチャ図である。

本発明の一実施形態による、アクションセンターを介してＡＩ／ＭＬモデルを補足し、ＡＩ／ＭＬモデル再訓練ハードウェア制御を提供し、ＡＩ／ＭＬモデル設定管理を提供するように構成されたシステムを示すアーキテクチャ図である。

本発明の一実施形態による、アクションセンターアプリケーションのためのインターフェースを示す図である。

本発明の一実施形態による、アクションセンターを介してＡＩ／ＭＬモデルを補足し、ＡＩ／ＭＬモデル再訓練ハードウェア制御を提供し、ＡＩ／ＭＬモデル設定管理を提供するためのプロセスを示すフローチャートである。

別段の指示がない限り、同様の符号は、添付の図面を通して一貫して対応する特徴を示す。

いくつかの実施形態は、アクションセンターを介したＡＩ／ＭＬモデルの補足、ＡＩ／ＭＬモデル再訓練ハードウェア制御、およびＡＩ／ＭＬモデル設定管理に関する。ＡＩ／ＭＬモデルは、ＡＩ／ＭＬモデルがＲＰＡロボットによって呼び出され得るホスティングインフラストラクチャ上に展開され得る。例えば、いくつかの実施形態では、顧客は、ＲＰＡサービスプロバイダによってホストされたシステムにＡＩ／ＭＬモデルを展開することができ、これらのホストされたＡＩ／ＭＬモデルは、顧客のＲＰＡロボットにおける関連するアクティビティによって呼び出され得る。しかしながら、特定の実施形態では、顧客は、自身のシステム上で自身のＡＩ／ＭＬモデルをホストすることができる。

ＡＩ／ＭＬモデルホスティングシステムは、そこでホストされるＡＩ／ＭＬモデルの性能を監視することができる。ＡＩ／ＭＬモデルの性能は、初めてしきい値を下回るか、または何らかの一貫性（例えば、特定の期間にわたる、ＡＩ／ＭＬモデルの特定の実行回数にわたる平均性能など）を伴って低下し得る。例えば、所与のＡＩ／ＭＬモデルのターゲット信頼度または予想される信頼度は少なくとも９０％であり得るが、信頼度は８９％、８５％、７０％などに低下する可能性がある。これが発生すると、いくつかの実施形態では、ＡＩ／ＭＬモデル遂行の結果（例えば、予測）および他のデータ（例えば、ＡＩ／ＭＬモデルが解析していたユーザーインターフェース（ＵＩ）のスクリーンショット、ＡＩ／ＭＬモデルが処理していた文書、ユーザーインタラクションのシーケンスに関連するデータ、パターンについて解析されていたデータベース内のデータなど）がアクションセンターに送信され、人間が適切なアプリケーションを使用してデータをレビューし、予測を承認するか、または予測が間違っている場合は修正を提供する。いくつかの実施形態では、アクションセンターアプリケーションは、アクションセンターユーザーがＡＩ／ＭＬモデルが解析していた画像およびＡＩ／ＭＬモデルが提供した値を見るヒューマンインザループウェブアプリケーションであってもよい。例えば、図７を参照されたい。次いで、このアクションセンター承認結果（すなわち、ＡＩ／ＭＬモデルによって予測された承認結果または修正結果）は、ＡＩ／ＭＬモデルからの予測の代わりに使用されるＲＰＡロボットに送信される。そのような手法は、ＡＩ／ＭＬモデルがターゲット信頼度を下回っても、所望の精度を実現する再訓練されたＡＩ／ＭＬモデルが提供され得るまで、迅速に正確な予測を提供することができる。しかしながら、特定の実施形態では、すべてのＡＩ／ＭＬモデル予測は、人間によるレビューのためにアクションセンターに送信されてもよい。

いくつかの実施形態では、ＡＩ／ＭＬモデルからの予測はＲＰＡロボットに送信され、ＲＰＡロボットは次に、性能しきい値が満たされたかどうかを判定し、満たされていない場合はアクションセンターの人間のレビュアーによるレビューのためにデータを送信する。特定の実施形態では、ＡＩ／ＭＬモデルをホストする、および／または呼び出すコンピューティングシステムは、この機能を実行する。次いで、人間によるレビューの結果は、ホイストおよび／または呼び出しコンピューティングシステムに送信され、ＲＰＡロボットに送信されてもよいし、アクションセンターからＲＰＡロボットに直接送信されてもよい。

いくつかの実施形態では、ロジックは、ＲＰＡロボットの呼び出しアクティビティ、またはアクションセンターからの結果をＲＰＡロボットに待機させる何らかの他のアクティビティに含まれてもよい。例えば、ＵＩ内のグラフィカル要素を見つけるように訓練されたＡＩ／ＭＬモデルが、所与のグラフィカル要素がターゲット信頼度を下回る信頼度を有するボタンであるという予測を返す場合、ＲＰＡロボットはアクションセンターが応答するのを待つことができる。いくつかの実施形態では、ＲＰＡロボットは、アクションセンターによる人間のレビューのためにデータを送信することができる。特定の実施形態では、このデータは、ＡＩ／ＭＬモデルをホストするサーバーによって、ＡＩ／ＭＬモデル自体によって、ＡＩ／ＭＬモデルおよび／またはＲＰＡロボットから通信を受信することができる別のコンピューティングシステムなどによって送信されてもよい。

いくつかの実施形態では、ＲＰＡロボットは、アクションセンターからの結果の確認のために一定時間待機するように構成されてもよい。その期間内に結果が受信されない場合、ＲＰＡロボットは、ＡＩ／ＭＬモデルからの予測を使用してその動作を継続しようとし、そのワークフロー内の関連するアクティビティをスキップし、デフォルトのアクションを実行するなどを試みることができる。特定の実施形態では、結果がその期間内に受信されないか、または動作を継続しようとする試みが失敗した場合、ＲＰＡロボットは例外をスローするか、またはエラーメッセージを提供することができる。

非限定的な例として、請求書が合計価格フィールドおよびベンダーフィールドを有する場合を考える。ＡＩ／ＭＬモデルのターゲット信頼度は９０％であるが、ＡＩ／ＭＬモデルは、８９％の信頼度でこれらのグラフィカル要素の値を識別する。ＵＩのスクリーンショットはアクションセンターに送信されてもよく、その結果、人間のレビュー者は、ＡＩ／ＭＬモデルによって提供されるベンダー名および価格が正確であることを確認し、そうである場合には確認を送信し、予測が正しくない場合には修正を送信することができる。

アクションセンターの人間のレビュアーによって行われた修正および彼らがレビューした関連データは、ＡＩ／ＭＬモデルのその後の再訓練のためにデータベースに格納され得る。修正は、レビュアーのコンピューティングシステム、呼び出しＲＰＡロボット、ＡＩ／ＭＬモデルをホストするサーバーなどによって押し出されてもよい。これは、呼び出しＲＰＡロボットに正確な結果を提供しながら、再訓練のためにデータをプッシュするフィードバックループを提供する。再訓練は、一定量の訓練データが受信された後に、一定期間が経過した後に、一定数の修正が受信された後などに実行されてもよい。再訓練されたＡＩ／ＭＬモデルがターゲット信頼度よりも高い、または少なくとも現在展開されているＡＩ／ＭＬモデルよりも高い典型的な信頼度を有する場合、再訓練されたバージョンは、現在展開されているＡＩ／ＭＬモデルの代わりに展開されて使用され、現在展開されているＡＩ／ＭＬモデルと連携して使用されて、２つから最良の予測を取得することなどができる。

いくつかの実施形態では、ＡＩ／ＭＬモデルは、単一の画像およびラッパーとしてアップロードされ、Ｄｏｃｋｅｒ（商標）画像としてＫｕｂｅｒｎｅｔｅｓ（商標）クラスタに展開され得る。提供される値（例えば、フラグまたは環境変数）に基づいて、コンテナは、ＡＩ／ＭＬモデルを呼び出し、それらの遂行の結果を返すサービング予測呼び出し元として機能することができる。あるいは、コンテナは、ＡＩ／ＭＬモデルを訓練するために使用されてもよい。

いくつかの実施形態では、再訓練のためにグラフィックスプロセッシングユニット（ＧＰＵ）、中央プロセッシングユニット（ＣＰＵ）、それらの組み合わせ、最初に利用可能な（例えば、すべてのＧＰＵがビジーである場合には、ＣＰＵを代わりに使用して再訓練を直ちに開始することができるが、再訓練はＧＰＵよりも長くかかる可能性がある）などを使用するかどうかを指定することができる。特定の実施形態では、ユーザーはこれらの設定を無効にすることができる。例えば、ユーザーは、「最初に利用可能な」設定を無効にし、ＧＰＵが利用可能になるとＧＰＵが再訓練に使用されるように指示することができる。

いくつかの実施形態では、過剰容量を再訓練に使用することができる。例えば、コンピューティングシステムがＡＩ／ＭＬモデルをホストおよび再訓練する場合、コンピューティングシステムは再訓練のためにアイドルプロセッサ（例えば、ＧＰＵおよび／またはＣＰＵ）を使用することができ、これにより、現在サービス提供しているＡＩ／ＭＬモデルによって消費されるハードウェアリソースが少なくなるため、再訓練プロセスが高速化される。逆に、いくつかの実施形態では、現在サービス提供しているＡＩ／ＭＬモデルおよび／または他のサービスの遂行に対する需要が増加した場合、再訓練から処理リソースを割り当てることができる。しかしながら、特定の実施形態では、ＡＩ／ＭＬモデルを再訓練することを既に任されているプロセッサは、現在サービス提供しているＡＩ／ＭＬモデルおよび／または他のサービスの遂行の需要が増加した場合でも、再訓練に専念することができる。

いくつかの実施形態では、システムは、所与のＡＩ／ＭＬモデルに対してどのＣＰＵ／ＧＰＵリソースが最適であるかを学習することができる。次いで、システムは、最適な構成に基づいてＣＰＵとＧＰＵとの組み合わせを自動的に調整する（またはすべてのＣＰＵもしくはすべてのＧＰＵを割り当てる）ことができる。いくつかの実施形態では、ＣＰＵおよびＧＰＵは、実行時にＲＰＡロボットによって呼び出されるＡＩ／ＭＬモデルを提供するために選択されてもよく、自動平衡化は、所与のＡＩ／ＭＬモデルに対してそれらの改善された組み合わせを提供するために実行されてもよい。

いくつかの実施形態では、設定スクリプトを使用して、ＡＩ／ＭＬモデルを管理し、ＡＩ／ＭＬモデルにサービスを提供するためのハードウェアリソースを設定し、および／または再訓練することができる。例えば、Ｋｕｂｅｒｎｅｔｅｓ（登録商標）の場合、ユーザーがポッドを指定するとき、ユーザーは、ＣＰＵ、ＧＰＵ、および／またはＲＡＭリソースなど、コンテナが使用するリソースを指定することもできる。リソース仕様を使用して、ポッドを配置するノードを決定することができる。
ａｐｉバージョン：ｖ１
種類：ポッド
メタデータ：
名称：フロントエンド
仕様：
コンテナ：
タイプ：「サービング」
－名称：ａｉａｐｐ
画像：ｉｍａｇｅｓ．ＵｉＰａｔｈ．ｅｘａｍｐｌｅ／ａｉａｐｐ：ｖ２
リソース：
好ましいｃｐｕ：「偽」
好ましいｇｐｕ：「真」
最初に利用可能：「真」
使用ｃｐｕ：「真」
使用ｇｐｕ：「真」
要求：
メモリ：「６４Ｍｉ」
ｃｐｕ；「２５０ｍ」
ｇｐｕ：「１ｇ」
限界：
メモリ：「１２８Ｍｉ」
ｃｐｕ：「５００ｍ」
ｇｐｕ：「２ｇ」
－名称：ａｉ－ログ－アグリゲータ
画像：ｉｍａｇｅｓ．ＵｉＰａｔｈ．ｅｘａｍｐｌｅ／ａｉ－ｌｏｇ－ａｇｇｒｅｇａｔｏｒ：ｖ４
リソース：
最初に利用可能：「偽」
使用ｃｐｕ：「真」
使用ｇｐｕ：「偽」
要求：
ｃｐｕ；「２５０ｍ」
限界：
メモリ：「１２８Ｍｉ」
ｃｐｕ：「５００ｍ」

ＣＰＵユニットは、ＣＰＵの処理能力の１０００分の１であるｍｉｌｌｉｃｐｕ（ｍ）で指定される。ＧＰＵユニットは、１ｇ、２ｇ、１０ｇなどの整数ＧＰＵ（ｇ）で指定される。この例のメモリユニットは、１，０４８，５７６バイトに等しいメビバイト（Ｍｉ）で指定される。

「タイプ」設定は、ＡＩ／ＭＬモデルコンテナがＡＩ／ＭＬモデル（例えば、ＡＩ／ＭＬモデルは入力データを取り込み、呼び出しＲＰＡロボットの結果を提供する）を提供するためのものであるか、ＡＩ／ＭＬモデルを再訓練するためのものであるかを指定する。上記の例では、コンテナはサービングコンテナである。「最初に利用可能」設定は、最初に利用可能な処理リソースを使用するかどうかを指定する。例えば、ＣＰＵのみが利用可能であるがＧＰＵが好ましい場合には、ＣＰＵが使用される。「最初に利用可能」が真である場合には、「好ましいｃｐｕ」および「好ましいｇｐｕ」を設定してプリファレンスを指定することができる。あるいは、好ましいｃｐｕまたは好ましいｇｐｕのみが提供される場合には、このフラグが真である場合にはこの処理リソースが好ましく、このフラグが偽である場合には他の処理リソースが好ましいと仮定することができる。

「ｃｐｕ」および「ｇｐｕ」設定は、使用されるＣＰＵおよびＧＰＵリソースを指定する。「使用ｃｐｕ」および「使用ｇｐｕ」フラグは、それぞれ、使用するＣＰＵまたはＧＰＵを指定する。しかしながら、いくつかの実施形態では、ＣＰＵを使用するかＧＰＵを使用するかは、「ｃｐｕ」および「ｇｐｕ」値から推測することができる。「ｃｐｕ」または「ｃｐｕ」の一方のみの値が提供される場合、いくつかの実施形態では、省略された処理リソースは望ましくないと想定され得る。

図１は、本発明の一実施形態による、ＲＰＡシステム１００を示すアーキテクチャ図である。ＲＰＡシステム１００は、開発者がワークフローを設計および実装することを可能にするデザイナ１１０を含む。デザイナ１１０は、アプリケーション統合、ならびにサードパーティアプリケーション、管理情報技術（ＩＴ）タスク、およびビジネスＩＴプロセスを自動化するためのソリューションを提供することができる。デザイナ１１０は、ビジネスプロセスのグラフィカル表現である自動化プロジェクトの開発を容易にすることができる。簡単に言えば、デザイナ１１０は、ワークフローおよびロボットの開発およびデプロイメントを容易にする。

自動化プロジェクトは、本明細書で「アクティビティ」と定義される、ワークフローで開発されたステップのカスタムセット間の遂行順序および関係の制御を開発者に与えることによって、ルールベースのプロセスの自動化を可能にする。デザイナ１１０の一実施形態の一商用例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンのクリック、ファイルの読み取り、ログパネルへの書き込みなどのアクションを含むことができる。いくつかの実施形態では、ワークフローはネストまたは埋め込みされてもよい。

いくつかのタイプのワークフローは、シーケンス、フローチャート、有限状態機械（ＦＳＭ）、および／またはグローバル例外ハンドラを含むことができるが、これらに限定されない。シーケンスは、ワークフローを乱すことなく１つのアクティビティから別のアクティビティへの流れを可能にする線形プロセスに特に適し得る。フローチャートは、より複雑なビジネスロジックに特に適しており、複数の分岐論理演算子を介してより多様な方法で決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適している場合がある。ＦＳＭは、条件（すなわち、遷移）またはアクティビティによってトリガされる有限数の状態をそれらの遂行において使用することができる。グローバル例外ハンドラは、遂行エラーに遭遇したときのワークフローの挙動を判定し、プロセスをデバッグするのに特に適し得る。

ワークフローがデザイナ１１０で開発されると、ビジネスプロセスの遂行は、デザイナ１１０で開発されたワークフローを遂行する１つまたは複数のロボット１３０を編成するコンダクタ１２０によって編成される。コンダクタ１２０の一実施形態の一商用例は、ＵｉＰａｔｈオーケストレータ（商標）である。コンダクタ１２０は、環境内のリソースの作成、監視、およびデプロイメントの管理を容易にする。コンダクタ１２０は、第三者のソリューションおよびアプリケーションとの統合ポイントとして機能することができる。

コンダクタ１２０は、集中ポイントからロボット１３０を接続し遂行するすべてのロボット１３０を管理することができる。管理され得るロボット１３０のタイプは、これらに限定されないが、アテンディッドロボット１３２、アンアテンディッドロボット１３４、開発ロボット（アンアテンディッドロボット１３４と同様であるが、開発および試験の目的で使用される）、および非生産ロボット（アテンディッドロボット１３２と同様であるが、開発および試験の目的で使用される）を含む。アテンディッドロボット１３２は、ユーザーイベントによってトリガされ、同じコンピューティングシステム上で人間と一緒に動作する。アテンディッドロボット１３２は、集中プロセスデプロイメントおよび記録媒体のためのコンダクタ１２０と共に使用することができる。アテンディッドロボット１３２は、人間のユーザーが様々なタスクを達成するのを助けることができ、ユーザーイベントによってトリガすることができる。いくつかの実施形態では、プロセスは、このタイプのロボットのコンダクタ１２０から開始することができず、および／またはロックされた画面の下で実行することができない。特定の実施形態では、アテンディッドロボット１３２は、ロボットトレイまたはコマンドプロンプトからのみ起動することができる。いくつかの実施形態では、アテンディッドロボット１３２は人間の監督下で動作するべきである。

アンアテンディッドロボット１３４は、仮想環境で無人で動作し、多くのプロセスを自動化することができる。アンアテンディッドロボット１３４は、リモート遂行、監視、スケジューリング、および作業待ち行列のサポートの提供を担当することができる。いくつかの実施形態では、すべてのロボットタイプのデバッグを、デザイナ１１０で実行することができる。アテンディッドロボットおよびアンアテンディッドロボットの両方は、メインフレーム、ウェブアプリケーション、ＶＭ、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などによって製造されたもの）、およびコンピューティングシステムアプリケーション（例えば、デスクトップおよびラップトップアプリケーション、モバイルデバイスアプリケーション、ウェアラブルコンピュータアプリケーションなど）を含むがこれらに限定されない様々なシステムおよびアプリケーションを自動化することができる。

コンダクタ１２０は、プロビジョニング、デプロイメント、構成、キューイング、監視、ロギング、および／または相互接続性の提供を含むがこれらに限定されない様々な機能を有することができる。プロビジョニングは、ロボット１３０とコンダクタ１２０（例えば、ウェブアプリケーション）との間の接続の作成および保守を含むことができる。デプロイメントは、遂行のために割り当てられたロボット１３０へのパッケージバージョンの正しい配信を保証することを含むことができる。構成は、ロボット環境およびプロセス構成の維持および配信を含むことができる。キューイングは、キューおよびキュー項目の管理を提供することを含むことができる。監視は、ロボット識別データを追跡し、ユーザー権限を維持することを含むことができる。ロギングは、データベース（例えば、ＳＱＬデータベース）および／または別のストレージ機構（例えば、大規模なデータセットを格納し、迅速にクエリする能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））へのログの格納およびインデックス付けを含むことができる。コンダクタ１２０は、第三者のソリューションおよび／またはアプリケーションのための通信の集中ポイントとして作用することによって相互接続性を提供することができる。

ロボット１３０は、デザイナ１１０に構築されたワークフローを実行する遂行エージェントである。ロボット１３０のいくつかの実施形態の一商用例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット１３０は、デフォルトでＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。結果として、そのようなロボット１３０は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開き、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有することができる。

いくつかの実施形態では、ロボット１３０は、ユーザーモードで設置することができる。このようなロボット１３０の場合、これは、所与のロボット１３０が設置されているユーザーと同じ権利を有することを意味する。この特徴は、その最大の可能性で各機械の完全な利用を保証する高密度（ＨＤ）ロボットにも利用可能であり得る。いくつかの実施形態では、任意のタイプのロボット１３０をＨＤ環境で構成することができる。

いくつかの実施形態におけるロボット１３０は、各々が特定の自動化タスク専用であるいくつかのコンポーネントに分割される。いくつかの実施形態におけるロボットコンポーネントは、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、およびコマンドラインを含むが、これらに限定されない。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホスト（すなわち、ロボット１３０が遂行されるコンピューティングシステム）との間のプロキシとして機能する。これらのサービスは、ロボット１３０の資格情報で信頼され、管理する。コンソールアプリケーションは、ローカルシステムの下でＳＣＭによって起動される。

いくつかの実施形態におけるユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホストとの間のプロキシとして機能する。ユーザーモードロボットサービスは、ロボット１３０のための資格情報を信頼し管理することができる。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションを自動的に起動することができる。

エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッション下で所与のジョブを実行することができる（すなわち、エグゼキュータはワークフローを遂行することができる）。エグゼキュータは、モニターごとのドット／インチ（ＤＰＩ）設定を認識することができる。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標）Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであってもよい。エージェントは、サービスのクライアントであってもよい。エージェントは、ジョブの開始または停止および設定の変更を要求することができる。コマンドラインは、サービスのクライアントである。コマンドラインは、ジョブの開始を要求し、その出力を待つことができるコンソールアプリケーションである。

上記で説明したようにロボット１３０のコンポーネントを分割することは、開発者、サポートユーザー、およびコンピューティングシステムが各コンポーネントが実行しているものをより容易に実行、識別、および追跡するのに役立つ。このようにして、エグゼキュータおよびサービスに対して異なるファイアウォールルールを設定するなど、特別な挙動をコンポーネントごとに構成することができる。エグゼキュータは、いくつかの実施形態では、モニターごとにＤＰＩ設定を常に認識することができる。結果として、ワークフローは、それらが作成されたコンピューティングシステムの構成にかかわらず、任意のＤＰＩで遂行され得る。いくつかの実施形態では、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルとは無関係であってもよい。ＤＰＩを認識していない、または意図的に認識していないとマークされたアプリケーションの場合、いくつかの実施形態ではＤＰＩを無効にすることができる。

図２は、本発明の一実施形態による、展開されたＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のＲＰＡシステム１００であってもよいし、その一部であってもよい。クライアント側、サーバー側、またはその両方は、本発明の範囲から逸脱することなく、任意の所望の数のコンピューティングシステムを含むことができることに留意されたい。クライアント側では、ロボットアプリケーション２１０は、エグゼキュータ２１２と、エージェント２１４と、デザイナ２１６と、を含む。しかしながら、いくつかの実施形態では、デザイナ２１６は、コンピューティングシステム２１０上で実行されていなくてもよい。エグゼキュータ２１２は、実行中のプロセスである。図２に示すように、いくつかのビジネスプロジェクトが同時に実行されてもよい。エージェント２１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、この実施形態ではすべてのエグゼキュータ２１２に対する単一の接続ポイントである。この実施形態におけるすべてのメッセージは、データベースサーバー２４０、インデクササーバー２５０、またはその両方を介してそれらをさらに処理するコンダクタ２３０にログされる。図１に関して上述したように、エグゼキュータ２１２はロボットコンポーネントであってもよい。

いくつかの実施形態では、ロボットは、機械名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理することができる。同時に実行される複数のインタラクティブなセッション（例えば、Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２）をサポートするコンピューティングシステムでは、複数のロボットが同時に実行され、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行されてもよい。これは、上記ではＨＤロボットと呼ばれる。

エージェント２１４はまた、ロボットのステータス（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）を送信し、遂行されるパッケージの必要なバージョンをダウンロードする役割も担う。エージェント２１４とコンダクタ２３０との間の通信は、いくつかの実施形態では常にエージェント２１４によって開始される。通知シナリオでは、エージェント２１４は、ロボットにコマンド（例えば、始動、停止など）を送信するためにコンダクタ２３０によって後で使用されるＷｅｂＳｏｃｋｅｔチャネルを開くことができる。

サーバー側には、プレゼンテーション層（ウェブアプリケーション２３２、オープンデータプロトコル（ＯＤａｔａ）代表状態転送（ＲＥＳＴ）アプリケーション・プログラミング・インターフェース（ＡＰＩ）エンドポイント２３４、ならびに通知および監視２３６）、サービス層（ＡＰＩ実装／ビジネスロジック２３８）、永続層（データベースサーバー２４０、インデクササーバー２５０）が含まれる。コンダクタ２３０は、ウェブアプリケーション２３２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４、通知および監視２３６、ならびにＡＰＩ実装／ビジネスロジック２３８を含む。いくつかの実施形態では、ユーザーがコンダクタ２３０のインターフェース内で（例えば、ブラウザ２２０を介して）実行するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実行される。そのようなアクションは、本発明の範囲から逸脱することなく、ロボット上のジョブの開始、キュー内のデータの追加／削除、無人で実行するためのジョブのスケジューリングなどを含むことができるが、これらに限定されない。ウェブアプリケーション２３２は、サーバープラットフォームのビジュアル層である。この実施形態では、ウェブアプリケーション２３２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）およびＪａｖａＳｃｒｉｐｔ（ＪＳ）を使用する。しかしながら、本発明の範囲から逸脱することなく、任意の所望のマークアップ言語、スクリプト言語、または任意の他のフォーマットを使用することができる。ユーザーは、コンダクタ２３０を制御するための様々なアクションを実行するために、この実施形態ではブラウザ２２０を介してウェブアプリケーション２３２からのウェブページとインタラクトする。例えば、ユーザーは、ロボットグループを作成し、ロボットにパッケージを割り当て、ロボットごとおよび／またはプロセスごとにログを分析し、ロボットを起動および停止することなどができる。

ウェブアプリケーション２３２に加えて、コンダクタ２３０はまた、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４を公開するサービス層を含む。しかしながら、本発明の範囲から逸脱することなく、他のエンドポイントが含まれてもよい。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション２３２とエージェント２１４の両方によって消費される。エージェント２１４は、この実施形態ではクライアントコンピュータ上の１つまたは複数のロボットの管理者である。

この実施形態におけるＲＥＳＴ ＡＰＩは、構成、ロギング、監視、およびキューイング機能をカバーする。構成エンドポイントは、いくつかの実施形態では、アプリケーションユーザー、権限、ロボット、アセット、リリース、および環境を定義および構成するために使用され得る。例えば、エラー、ロボットによって送信された明示的なメッセージ、および他の環境固有の情報などの様々な情報をログに記録するために、ＲＥＳＴエンドポイントをロギングすることができる。開始ジョブコマンドがコンダクタ２３０内で使用される場合に遂行されるべきパッケージバージョンをクエリするために、デプロイメントＲＥＳＴエンドポイントがロボットによって使用されてもよい。ＲＥＳＴエンドポイントをキューイングすることは、キューにデータを追加すること、キューからトランザクションを取得すること、トランザクションの状態を設定することなど、キューおよびキュー項目管理を担当することができる。

ＲＥＳＴエンドポイントの監視は、ウェブアプリケーション２３２およびエージェント２１４を監視することができる。通知監視ＡＰＩ２３６は、エージェント２１４の登録、エージェント２１４への構成設定の配信、ならびにサーバーおよびエージェント２１４からの通知の送信／受信に使用されるＲＥＳＴエンドポイントであってもよい。通知監視ＡＰＩ２３６はまた、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用してもよい。

永続層は、この実施形態におけるサーバーのペア、すなわちデータベースサーバー２４０（例えば、ＳＱＬサーバー）およびインデクササーバー２５０を含む。この実施形態におけるデータベースサーバー２４０は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を格納する。この情報は、いくつかの実施形態ではウェブアプリケーション２３２を介して管理される。データベースサーバー２４０は、キューおよびキュー項目を管理することができる。いくつかの実施形態では、データベースサーバー２４０は、（インデクササーバー２５０に加えて、またはその代わりに）ロボットによって記録されたメッセージを格納することができる。

インデクササーバー２５０は、いくつかの実施形態ではオプションであり、ロボットによって記録された情報を格納し、インデックス付けする。特定の実施形態では、インデクササーバー２５０は、構成設定を通じて無効にすることができる。いくつかの実施形態では、インデクササーバー２５０は、オープンソースプロジェクトのフルテキスト探索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。ロボット（例えば、ログメッセージまたは行書き込みのようなアクティビティを使用する）によってログされたメッセージは、ロギングＲＥＳＴエンドポイントを介してインデクササーバー２５０に送信されてもよく、そこでそれらは将来の利用のためにインデックス付けされる。

図３は、本発明の一実施形態による、デザイナ３１０、アクティビティ３２０，３３０、ドライバ３４０、およびＡＩ／ＭＬモデル３５０の間の関係３００を示すアーキテクチャ図である。上記により、開発者は、デザイナ３１０を使用して、ロボットによって遂行されるワークフローを開発する。ワークフローは、ユーザー定義のアクティビティ３２０およびＵＩ自動化アクティビティ３３０を含むことができる。ユーザー定義のアクティビティ３２０および／またはＵＩ自動化アクティビティ３３０は、いくつかの実施形態では、１つまたは複数のＡＩ／ＭＬモデル３５０を呼び出すことができ、これは、ロボットが動作しているコンピューティングシステムに対してローカルにおよび／またはそこから遠隔に配置することができる。いくつかの実施形態は、本明細書ではコンピュータビジョン（ＣＶ）と呼ばれる、画像内の非テキスト視覚コンポーネントを識別することができる。そのようなコンポーネントに関係するいくつかのＣＶアクティビティは、クリック、タイプ、テキストを取得、ホバー、要素存在、リフレッシュ範囲、ハイライトなどを含み得るが、これらに限定されない。いくつかの実施形態では、クリックは、例えば、ＣＶ、光学文字認識（ＯＣＲ）、ファジー文字マッチング、およびマルチアンカーを使用して要素を識別し、それをクリックする。タイプは、上記および要素内のタイプを使用して要素を識別することができる。テキストを取得し、ＯＣＲを使用して特定のテキストの位置を識別し、それをスキャンすることができる。ホバーは、要素を識別し、それをホバーすることができる。要素が存在することは、上述した技術を使用して、画面上に要素が存在するかどうかをチェックすることができる。いくつかの実施形態では、デザイナ３１０に実装することができるアクティビティは、数百または数千であってもよい。しかしながら、本発明の範囲から逸脱することなく、任意の数および／またはタイプのアクティビティが利用可能であり得る。

ＵＩ自動化アクティビティ３３０は、下位レベルコード（例えば、ＣＶアクティビティ）に書き込まれ、画面とのインタラクションを容易にする特別な低レベルのアクティビティのサブセットである。ＵＩ自動化アクティビティ３３０は、ロボットが所望のソフトウェアとインタラクトすることを可能にするドライバ３４０および／またはＡＩ／ＭＬモデルを介したこれらのインタラクションを容易にする。例えば、ドライバ３４０は、ＯＳドライバ３４２、ブラウザドライバ３４４、ＶＭドライバ３４６、エンタープライズアプリケーションドライバ３４８などを含むことができる。ＡＩ／ＭＬモデル３５０のうちの１つまたは複数は、コンピューティングシステムとのインタラクションの実行を決定するためにＵＩ自動化アクティビティ３３０によって使用され得る。いくつかの実施形態では、ＡＩ／ＭＬモデル３５０は、ドライバ３４０を増強するか、それらを完全に置き換えることができる。実際、特定の実施形態では、ドライバ３４０は含まれない。

ドライバ３４０は、フックを探し、キーを監視するなど、低レベルでＯＳとインタラクトすることができる。それらは、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を容易にすることができる。例えば、「クリック」アクティビティは、ドライバ３４０を介してこれらの異なるアプリケーションで同じ役割を実行する。

図４は、本発明の一実施形態による、ＲＰＡシステム４００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム４００は、図１および／または図２のＲＰＡシステム１００および／または２００であり得るか、それらを含み得る。ＲＰＡシステム４００は、ロボットを実行する複数のクライアントコンピューティングシステム４１０を含む。コンピューティングシステム４１０は、その上で実行されるウェブアプリケーションを介してコンダクタコンピューティングシステム４２０と通信することができる。次に、コンダクタコンピューティングシステム４２０は、データベースサーバー４３０および任意選択のインデクササーバー４４０と通信することができる。

図１および図３に関して、これらの実施形態ではウェブアプリケーションが使用されているが、本発明の範囲から逸脱することなく、任意の適切なクライアント／サーバーソフトウェアを使用できることに留意されたい。例えば、コンダクタは、クライアントコンピューティングシステム上の非ウェブベースのクライアントソフトウェアアプリケーションと通信するサーバー側アプリケーションを実行することができる。

図５は、本発明の一実施形態による、アクションセンターを介してＡＩ／ＭＬモデルを補足し、ＡＩ／ＭＬモデル再訓練ハードウェア制御を提供し、ＡＩ／ＭＬモデル設定管理を提供するように構成されたコンピューティングシステム５００を示すアーキテクチャ図である。いくつかの実施形態では、コンピューティングシステム５００は、本明細書に図示および／または記載されたコンピューティングシステムのうちの１つまたは複数であってもよい。コンピューティングシステム５００は、情報を通信するためのバス５０５または他の通信機構と、情報を処理するためにバス５０５に結合されたプロセッサ５１０と、を含む。プロセッサ５１０は、中央プロセッシングユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらの任意の組み合わせを含む、任意のタイプの汎用または専用プロセッサであってもよい。プロセッサ５１０はまた、複数の処理コアを有してもよく、コアの少なくともいくつかは、特定の機能を実行するように構成されてもよい。いくつかの実施形態では、複数並列処理が使用されてもよい。特定の実施形態では、プロセッサ５１０の少なくとも一方は、生体ニューロンを模倣する処理要素を含むニューロモーフィック回路であってもよい。いくつかの実施形態では、ニューロモーフィック回路は、フォン・ノイマン・コンピューティングアーキテクチャの典型的なコンポーネントを必要としない場合がある。

コンピューティングシステム５００は、プロセッサ５１０によって遂行される情報および命令を格納するためのメモリ５１５をさらに含む。メモリ５１５は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気もしくは光ディスクなどの静的ストレージ、または任意の他のタイプの非一時的コンピュータ可読媒体、またはそれらの組み合わせの任意の組み合わせで構成することができる。非一時的コンピュータ可読媒体は、プロセッサ５１０によってアクセス可能な任意の利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体、またはその両方を含んでもよい。媒体はまた、取り外し可能、取り外し不能、またはその両方であってもよい。

さらに、コンピューティングシステム５００は、無線接続および／または有線接続を介して通信ネットワークへのアクセスを提供するためのトランシーバなどの通信デバイス５２０を含む。いくつかの実施形態では、通信デバイス５２０は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ）通信、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、高速パケットアクセス（ＨＳＰＡ）、ロングタームエボリューション（ＬＴＥ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ）、８０２．１６ｘ、８０２．１５、ホームノードＢ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線周波数識別（ＲＦＩＤ）、赤外線データ協会（ＩｒＤＡ）、近距離通信（ＮＦＣ）、第５世代（５Ｇ）、新無線（ＮＲ）、それらの任意の組み合わせ、ならびに／あるいは本発明の範囲から逸脱することなく、任意の他の現在存在する、または将来実施される通信規格および／またはプロトコルを使用するように構成されてもよい。いくつかの実施形態では、通信デバイス５２０は、本発明の範囲から逸脱することなく、単一、アレイ、位相、切り替え、ビームフォーミング、ビームステア、それらの組み合わせ、および／または任意の他のアンテナ構成である１つまたは複数のアンテナを含むことができる。

プロセッサ５１０はさらに、バス５０５を介して、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高精細ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、インプレーンスイッチング（ＩＰＳ）ディスプレイ、またはユーザーに情報を表示するための任意の他の適切なディスプレイなどのディスプレイ５２５にさらに結合される。ディスプレイ５２５は、抵抗性、容量性、表面弾性波（ＳＡＷ）容量性、赤外線、光学イメージング、分散信号技術、音響パルス認識、フラストレート全内部反射などを使用して、タッチ（触覚）ディスプレイ、３次元（３Ｄ）タッチディスプレイ、マルチ入力タッチディスプレイ、マルチタッチディスプレイなどとして構成され得る。本発明の範囲から逸脱することなく、任意の適切なディスプレイデバイスおよび触覚Ｉ／Ｏが使用され得る。

キーボード５３０およびコンピュータマウス、タッチパッドなどのカーソル制御デバイス５３５は、ユーザーがコンピューティングシステムとインターフェースすることを可能にするためにバス５０５にさらに結合される。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在しなくてもよく、ユーザーは、ディスプレイ５２５および／またはタッチパッド（図示せず）のみを介してデバイスとインタラクトすることができる。入力デバイスの任意のタイプおよび組み合わせを、設計上の選択事項として使用することができる。特定の実施形態では、物理的入力デバイスおよび／またはディスプレイは存在しない。例えば、ユーザーは、それと通信する別のコンピューティングシステムを介してコンピューティングシステム５００と遠隔でインタラクトすることができ、またはコンピューティングシステム５００は自律的に動作することができる。

メモリ５１５は、プロセッサ５１０によって遂行されると機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５４０を含む。モジュールは、本明細書に記載のプロセスまたはその派生物の全部または一部を実行するように構成されたＡＩ／ＭＬモデル管理モジュール５４５をさらに含む。コンピューティングシステム５００は、追加の機能を含む１つまたは複数の追加の機能モジュール５５０を含むことができる。

当業者は、「システム」が、本発明の範囲から逸脱することなく、サーバー、組込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、もしくは任意の他の適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上記の機能を「システム」によって実行されるものとして提示することは、本発明の範囲を決して限定することを意図するものではなく、本発明の多くの実施形態の一例を提供することを意図している。実際、本明細書に開示する方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技術と一致する局所化された形態および分散された形態で実装されてもよい。コンピューティングシステムは、ローカルエリアネットワーク（ＬＡＮ）、移動通信ネットワーク、衛星通信ネットワーク、インターネット、パブリッククラウドもしくはプライベートクラウド、ハイブリッドクラウド、サーバーファーム、それらの任意の組み合わせなどの一部であるか、またはそれらによってアクセス可能であり得る。本発明の範囲から逸脱することなく、任意の局所化されたまたは分散されたアーキテクチャが使用されてもよい。

本明細書に記載されたシステム特徴のいくつかは、それらの実施態様の独立性をより具体的に強調するために、モジュールとして提示されていることに留意されたい。例えば、モジュールは、カスタムの超大規模集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他のディスクリートコンポーネントなどの既製の半導体を含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、グラフィックスプロセッシングユニットなどのプログラマブルハードウェアデバイスに実装されてもよい。

モジュールはまた、様々なタイプのプロセッサによって遂行するためのソフトウェアに少なくとも部分的に実装されてもよい。遂行可能コードの識別されたユニットは、例えば、オブジェクト、プロシージャ、または関数として編成することができるコンピュータ命令の１つまたは複数の物理ブロックまたは論理ブロックを含むことができる。それにもかかわらず、識別されたモジュールの遂行可能ファイルは、物理的に共に配置される必要はないが、論理的に共に結合されたときにモジュールを含み、モジュールの記載された目的を達成する異なる場所に格納された異なる命令を含むことができる。さらに、モジュールは、コンピュータ可読媒体に格納されてもよく、それは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／または本発明の範囲から逸脱することなくデータを格納するために使用される任意の他のそのような非一時的コンピュータ可読媒体であってもよい。

実際、遂行可能コードのモジュールは、単一の命令、または多くの命令であってもよく、いくつかの異なるコードセグメント、異なるプログラム、およびいくつかのメモリデバイスに分散されてもよい。同様に、操作データは、本明細書ではモジュール内で識別および図示されてもよく、任意の適切な形態で具現化され、任意の適切なタイプのデータ構造内に編成されてもよい。操作データは、単一のデータセットとして収集されてもよく、または異なるストレージデバイスを含む異なる場所に分散されてもよく、少なくとも部分的に、システムまたはネットワーク上の電子信号としてのみ存在してもよい。

図６は、本発明の一実施形態による、アクションセンターを介してＡＩ／ＭＬモデルを補足し、ＡＩ／ＭＬモデル再訓練ハードウェア制御を提供し、ＡＩ／ＭＬモデル設定管理を提供するように構成されたシステム６００を示すアーキテクチャ図である。システム６００は、デスクトップコンピュータ６０２、タブレット６０４、およびスマートフォン６０６などのユーザーコンピューティングシステムを含む。しかしながら、限定はしないが、スマートウォッチ、ラップトップコンピュータなどを含む、本発明の範囲から逸脱することなく、任意の所望のコンピューティングシステムを使用することができる。また、図６には３つのユーザーコンピューティングシステムが示されているが、本発明の範囲から逸脱することなく、任意の適切な数のコンピューティングシステムを使用することができる。例えば、いくつかの実施形態では、数十、数百、数千、または数百万のコンピューティングシステムを使用することができる。

各コンピューティングシステム６０２，６０４，６０６は、特定のタスク（例えば、連鎖または非連鎖のいずれかのＡＩ／ＭＬモデル６３２のうちの１つまたは複数）の実行においてＡＩ／ＭＬモデルを呼び出すＲＰＡロボット６１０を有する。例えば、ＲＰＡロボット６１０のうちの１つまたは複数は、ＣＶを使用してユーザーがそれぞれのコンピューティングシステム上で何をしているかを認識するように訓練されたＡＩ／ＭＬモデルを呼び出すことができる。コンピューティングシステム６０２，６０４，６０６は、ネットワーク６２０（例えば、ローカルエリアネットワーク（ＬＡＮ）、移動通信ネットワーク、衛星通信ネットワーク、インターネット、それらの任意の組み合わせなど）を介して、ＡＩ／ＭＬモデル６３２の遂行の要求および関連する入力情報などの情報をサーバー６３０に送信する。いくつかの実施形態では、サーバー６３０は、パブリッククラウドアーキテクチャ、プライベートクラウドアーキテクチャ、ハイブリッドクラウドアーキテクチャなどの一部であってもよい。特定の実施形態では、サーバー６３０は、単一のコンピューティングシステム６３０上で複数のソフトウェアベースのサーバーをホストしてもよい。いくつかの実施形態では、サーバー６３０は、１つまたは複数の仮想マシン（ＶＭ）を介して実装されてもよい。特定の実施形態では、サーバー６３０は、インターネット接続性を有さない「エアギャップ」サーバーであってもよい。サーバー６３０は、この実施形態では、それぞれの呼び出しＲＰＡロボットが自動化を完了するのを支援する情報を提供するためにＲＰＡロボット６１０のうちの１つまたは複数によって呼び出されるＡＩ／ＭＬモデル６３２を含む。いくつかの実施形態では、ＲＰＡロボット６１０によって呼び出されるＡＩ／ＭＬモデル６３２は、統計的モデリング（例えば、隠れマルコフモデル（ＨＭＭ））などの様々な機能を実行する複数の層を有し、深層学習技術（例えば、長期短期記憶（ＬＳＴＭ）深層学習、以前の隠れ状態の符号化など）を利用してユーザーインタラクションのシーケンスを識別することができる。

サーバー６３０は、その上で実行されるＡＩセンターソフトウェアを介して、ＡＩ／ＭＬモデル６３２の性能を監視し、例えば、ローカルまたはデータベース６４０に格納され得るＡＩ／ＭＬモデル６３２のための１つまたは複数のしきい値にアクセスする。しかしながら、いくつかの実施形態では、ＲＰＡロボット６１０は、性能しきい値を監視することができる。ＡＩ／ＭＬモデル６３２が初めて性能しきい値を下回ったとき、または何らかの一貫性（例えば、特定の期間にわたる、ＡＩ／ＭＬモデルの特定の実行回数にわたる平均性能など）を伴って下回った場合に、ＡＩ／ＭＬモデル遂行（例えば、予測）の結果および他のデータ（例えば、ＡＩ／ＭＬモデルが解析していたユーザーインターフェース（ＵＩ）のスクリーンショット、ＡＩ／ＭＬモデルが処理していた文書、ユーザーインタラクションのシーケンスに関連するデータ、パターンについて解析されていたデータベース内のデータなど）はアクションセンター６５０に送信され、そこで人間がそれぞれのコンピューティングシステム６５２のレビューアプリケーション６５４を使用してデータをレビューする。予測が正しい場合、レビュアーはレビューアプリケーション６５４を介して予測を承認し、予測が正しくない場合、レビュアーは正しい予測を提供する。サーバー６３０を介してＡＩ／ＭＬモデル６３２によって以前に提供されていない場合、予測は、その自動化に使用するためにＲＰＡロボット６１０に提供される。

いくつかの実施形態では、ロジックは、ＲＰＡロボット６１０の呼び出しアクティビティ、またはアクションセンター６５０からの結果をＲＰＡロボット６１０に待機させる何らかの他のアクティビティに含まれてもよい。いくつかの実施形態では、ＲＰＡロボット６１０は、アクションセンター６５０による人間のレビューのためにデータを送信することができる。特定の実施形態では、このデータは、サーバー６３０によって、ＡＩ／ＭＬモデル６３２自体によって、ＡＩ／ＭＬモデル６３２および／またはＲＰＡロボット６１０などから通信を受信することができる別のコンピューティングシステムによって送信されてもよい。

いくつかの実施形態では、ＲＰＡロボット６１０は、アクションセンター６５０からの結果の確認のために一定時間待機するように構成されてもよい。結果がその期間内に受信されない場合、ＲＰＡロボット６１０は、ＡＩ／ＭＬモデル６３２からの予測を使用してその動作を継続しようと試み、そのワークフロー内の関連するアクティビティをスキップし、デフォルトのアクションをとるなどしてもよい。特定の実施形態では、ＲＰＡロボット６１０は、その期間内に結果が受信されない場合、または動作を継続する試みが失敗した場合、例外をスローするか、またはエラーメッセージを提供することができる。

アクションセンター６５０の人間のレビュー者によって行われた修正および彼らがレビューした関連データは、ＡＩ／ＭＬモデル６３２のその後の再訓練のためにデータベース６４０に格納することができる。修正は、レビューアプリケーション６５４を介して、ＲＰＡロボット６１０を呼び出すことによって、ＡＩ／ＭＬモデル６３２をホストするサーバー６３０などによって、レビュアーのコンピューティングシステム６５２によって押し出されてもよい。これは、呼び出しＲＰＡロボット６１０に正確な結果も提供しながら、再訓練のためにデータをプッシュするフィードバックループを提供する。再訓練は、一定量の訓練データが受信された後か、一定期間が経過した後か、一定数の修正が受信された後などに、サーバー６３０または他の何らかのコンピューティングシステムによって実行することができる。再訓練されたＡＩ／ＭＬモデルが、ターゲット信頼度よりも高い、または少なくとも現在展開されているＡＩ／ＭＬモデル６３２よりも高い典型的な信頼度を有する場合には、再訓練されたバージョンは、現在展開されているＡＩ／ＭＬモデル６３２の代わりに展開されて使用され、現在展開されているＡＩ／ＭＬモデル６３２と連携して使用されて、それらの２つから最良の予測を取得することなどができる。

いくつかの実施形態では、ＡＩ／ＭＬモデル６３２は、単一の画像およびラッパーとしてアップロードされ、Ｄｏｃｋｅｒ（商標）画像としてＫｕｂｅｒｎｅｔｅｓ（商標）クラスタに展開され得る。提供される値に基づいて、コンテナは、ＡＩ／ＭＬモデル６３２を呼び出し、それらの遂行の結果を返すサービング予測呼び出し元として機能することができる。あるいは、コンテナは、ＡＩ／ＭＬモデル６３２を訓練するために使用されてもよい。

いくつかの実施形態では、ＡＩ／ＭＬモデル６３２の所与のＡＩ／ＭＬモデルを再訓練するためにどのハードウェアを使用するかを指定するための構成がサーバー６３０に提供され、および／またはデータベース６４０に格納され得る。例えば、再訓練のためにグラフィックスプロセッシングユニット（ＧＰＵ）、中央プロセッシングユニット（ＣＰＵ）、それらの組み合わせ、最初に利用可能な（例えば、すべてのＧＰＵがビジーである場合には、ＣＰＵを代わりに使用して再訓練を直ちに開始することができるが、再訓練はＧＰＵよりも長くかかる可能性がある）などを使用するかどうかを指定することができる。特定の実施形態では、これらの設定は、構成内の設定を無効にし、ＧＰＵが利用可能になると再訓練に使用することを要求することなどによって無効にすることができる。

いくつかの実施形態では、過剰容量を再訓練に使用することができる。例えば、サーバー６３０がＡＩ／ＭＬモデルをホストして再訓練する場合、サーバー６３０は、再訓練のためにアイドルプロセッサ（例えば、ＧＰＵおよび／またはＣＰＵ）を使用することができ、これにより、現在サービス提供しているＡＩ／ＭＬモデル６３２によって消費されるハードウェアリソースが少なくなるため、再訓練プロセスが高速化される。逆に、いくつかの実施形態では、現在サービス提供しているＡＩ／ＭＬモデル６３２および／または他のサービスの遂行に対する需要が増加した場合、再訓練から処理リソースを割り当てることができる。しかしながら、特定の実施形態では、現在サービス提供しているＡＩ／ＭＬモデル６３２および／または他のサービスの遂行の需要が増加しても、ＡＩ／ＭＬモデルを再訓練することを既に任されているプロセッサは、再訓練に専念することができる。

いくつかの実施形態では、サーバー６３０は、ＡＩ／ＭＬモデル６３２の所与のＡＩ／ＭＬモデルに対してどのＣＰＵ／ＧＰＵリソースが最適であるかを学習することができる。次いで、サーバー６３０は、最適な構成に基づいてＣＰＵとＧＰＵとの組み合わせを自動的に調整する（またはすべてのＣＰＵもしくはすべてのＧＰＵを割り当てる）ことができる。いくつかの実施形態では、実行時にＲＰＡロボット６１０によって呼び出されるＡＩ／ＭＬモデル６３２を提供するためにＣＰＵおよびＧＰＵを選択することができ、ＡＩ／ＭＬモデル６３２の所与のＡＩ／ＭＬモデルに対してそれらの改善された組み合わせを提供するために自動平衡化を実行することができる。

ＡＩ層

いくつかの実施形態では、複数のＡＩ層を使用することができる。各ＡＩ層は、データ上で実行されるアルゴリズム（またはモデル）であり、ＡＩモデル自体は、訓練データで訓練された訓練済人工「ニューロン」の深層学習ニューラルネットワーク（ＤＬＮＮ）であってもよい。層は、直列、並列、またはそれらの組み合わせで実行されてもよい。

ＡＩ層は、シーケンス抽出層、クラスタリング検出層、視覚コンポーネント検出層、テキスト認識層（例えば、ＯＣＲ）、音声テキスト変換層、またはそれらの任意の組み合わせを含むことができるが、これらに限定されない。しかしながら、本発明の範囲から逸脱することなく、任意の所望の数およびタイプの層を使用することができる。複数の層を使用することにより、システムは画面内で何が起こっているかの全体像を作成することができる。例えば、１つのＡＩ層はＯＣＲを実行することができ、別のＡＩ層はボタンを検出することができ、別のＡＩ層はシーケンスを比較することができるなどである。パターンは、ＡＩ層によって個別に、または複数のＡＩ層によって集合的に決定され得る。

図７は、本発明の一実施形態による、アクションセンターアプリケーションのためのインターフェース７００を示す。インターフェース７００は、ＡＩ／ＭＬモデルが解析していた画像を表示する画像表示ペイン７１０と、ＡＩ／ＭＬモデルによって識別されたオブジェクトのタイプおよびその位置を示すＡＩ／ＭＬモデルパラメータペイン７２０とを含む。この例では、ＡＩ／ＭＬモデルは、バウンディングボックス７１４に見られるトラック７１２を列車と誤認している。ＡＩ／ＭＬモデルによって識別されたオブジェクトタイプ、ならびにバウンディングボックス７１４の位置およびサイズは、それぞれタイプフィールド７２２および位置フィールド７２４に示す。予測の信頼度も示されている。

ＡＩ／ＭＬモデルがオブジェクトを正しく識別した場合、ユーザーは承認ボタン７２６をクリックして識別を確認することができる。いくつかの実施形態では、ＲＰＡロボットは、ユーザーが修正を提供するかどうかにかかわらず、ＡＩ／ＭＬモデルからの予測を使用して進めることができる。特定の実施形態では、ＲＰＡロボットは、ＡＩ／ＭＬモデルからの予測が正確であるというアクションセンターアプリケーションからの指示を待つことができる。

この例では、ＡＩ／ＭＬモデルがオブジェクトを列車と誤認したため、ユーザーは、フィールド７２２を更新することによって、画像内で識別されたオブジェクトのタイプを修正することができる。特定の実施形態では、他の修正も行うことができる。例えば、画像内のオブジェクトが識別されなかった場合、またはオブジェクトの位置が間違っている場合、ユーザーは、正しいオブジェクトの周りにバウンディングボックスを描画するか、またはこの実施形態では手動でパラメータを入力することができる。修正が行われた後に、ユーザーは、修正ボタン７２８をクリックして、ＲＰＡロボットに修正を提供するか、再訓練のためにサーバー／データベースに修正を提供するか、またはその両方を行うことができる。

いくつかの実施形態では、様々なタイプの情報が画像表示ペイン７１０に示され得ることに留意されたい。例えば、画像表示ペイン７１０は、本発明の範囲から逸脱することなく、文書（例えば、ＰＤＦ文書、Ｍｉｃｒｏｓｏｆｔ Ｗｏｒｄ（登録商標）文書など）、ユーザーインターフェースのスクリーンショット、またはＡＩ／ＭＬモデルが解析している任意の他のコンテンツを示すことができる。実際、インターフェース７００は、インターフェース７００がＡＩ／ＭＬモデルが解析するコンテンツ、その入力、および／またはその出力に関連するように、任意の所望の方法で構成され得る。

図８は、本発明の一実施形態による、アクションセンターを介してＡＩ／ＭＬモデルを補足し、ＡＩ／ＭＬモデル再訓練ハードウェア制御を提供し、ＡＩ／ＭＬモデル設定管理を提供するためのプロセス８００を示すフローチャートである。プロセスは、８０５でＲＰＡロボットからＡＩ／ＭＬモデルを遂行する呼び出しを受信し、８１０で要求されたＡＩ／ＭＬモデルを遂行することから始まる。いくつかの実施形態では、要求されたＡＩ／ＭＬモデルを遂行するとき、要求されたＡＩ／ＭＬモデルを再訓練するために使用するプロセッサを指定する構成が使用される。プロセッサは、例えば、ＧＰＵおよびＣＰＵを含むことができる。特定の実施形態では、構成は、すべてのＧＰＵを使用するかどうか、すべてのＣＰＵを使用するかどうか、またはＧＰＵとＣＰＵとの組み合わせを使用するかどうかを指定する。いくつかの実施形態では、構成は、好ましいタイプのプロセッサが利用できない場合、利用可能な任意のプロセッサを使用することを指定する。特定の実施形態では、アイドルプロセッサは、要求されたＡＩ／ＭＬモデルを再訓練するために使用される。いくつかの実施形態では、ＡＬ／ＭＬモデルを遂行するためのＲＰＡロボットからの要求に基づいて、要求されたＡＩ／ＭＬモデルの再訓練にプロセッサが追加されるか、または要求されたＡＩ／ＭＬモデルの再訓練からプロセッサが除去される。特定の実施形態では、呼び出しＲＰＡロボットのアクティビティは、アクションセンターからのＡＩ／ＭＬモデルの遂行の結果を、呼び出しＲＰＡロボットに、ある期間待たせるロジックを含む。特定の実施形態では、ＡＩ／ＭＬモデルの遂行の結果がその期間中に受信されない場合、ＲＰＡロボットは、要求されたＡＩ／ＭＬモデルからの結果を使用して動作を継続しようとするか、要求されたＡＩ／ＭＬモデルに関連するアクティビティをスキップするか、またはデフォルトアクションをとるように構成される。

しきい値監視が８１５で実行され、ＡＩ／ＭＬモデル性能（例えば、値しきい値、標準偏差、別の統計的尺度などで）の信頼度または他の何らかのメトリックがしきい値を下回らない場合、ＡＩ／ＭＬモデルの遂行の結果が８２０でＲＰＡロボットに提供される。特定の実施形態では、８２０において、要求されたＡＩ／ＭＬモデルを遂行するためのプロセッサの最適な組み合わせを学習することによって性能を改善することができ、学習されたプロセッサの最適な組み合わせを使用して、要求されたＡＩ／ＭＬモデルを遂行するためのプロセッサの自動平衡化を実行することができる。いくつかの実施形態では、ＡＩ／ＭＬモデルの遂行の結果、および場合によっては精度および／または他の何らかの性能メトリックは、しきい値に関係なくＲＰＡロボットに提供される。特定の実施形態では、要求されたＡＩ／ＭＬモデルの性能は、最初に、ある期間にわたって、または実行されるステップ８１５の「はい」分岐のための要求されたＡＩ／ＭＬモデルの実行回数にわたって、１つまたは複数の性能しきい値を下回らなければならない。

８１５でしきい値が満たされない場合、８２５でＡＩ／ＭＬモデル結果のレビュー要求がアクションセンターに送信される。いくつかの実施形態では、レビュー要求は、要求されたＡＩ／ＭＬモデルによって解析された画像のスクリーンショットと、要求されたＡＩ／ＭＬモデルからの予測とを含む。次いで、アクションセンターは、８３０において、結果（例えば、アクションセンターアプリケーションを介して）のレビューを実行する。いくつかの実施形態では、レビューは、ＡＩ／ＭＬモデルから結果をレビューする要求を受信することと、ＡＩ／ＭＬモデルによって解析された画像および結果の１つまたは複数のパラメータを、アクションセンターアプリケーションを遂行するコンピューティングシステムのディスプレイに表示することと、結果が正しくない場合、パラメータの少なくとも１つに対する修正を受信することと、を含む。８３５で結果が正しい場合、８４０で、アクションセンターアプリケーションを介して結果が承認され、ＲＰＡロボットに送信されるか、またはそれ以上のアクションは行われない。

しかしながら、８３５において結果が正しくない場合、８４５において、修正された結果は、アクションセンターアプリケーションを介して提供されてもよく、結果は、再訓練のために格納されるか、または呼び出しＲＰＡロボットに送信されてもよい。データが再訓練のためにＲＰＡプロバイダによって格納されるのではなく、呼び出しＲＰＡロボットに送信される場合、これは、顧客がデータを機密または専有であると考え、したがってデータをローカルに記憶し、セキュリティ目的のために顧客側で再訓練するときに起こり得る。８５０で再訓練基準が満たされる場合（例えば、訓練データの量が受信され、期間が経過し、アクションセンターから修正数が受信されるなど）、８５５でＡＩ／ＭＬモデルが再訓練される。次いで、再訓練されたＡＩ／ＭＬモデルは、８６０で展開される。いくつかの実施形態では、再訓練されたＡＩ／ＭＬモデルが性能しきい値の少なくとも１つに関して改善する場合、保持されたＡＩ／ＭＬモデルは、ＡＩ／ＭＬモデルの以前のバージョンの代わりに、またはそれと並行して使用され、２つの間の最良の結果が使用され得る。特定の実施形態では、再訓練されたＡＩ／ＭＬモデルは、再訓練されたＡＩ／ＭＬモデルが１つまたは複数の性能しきい値を１つまたは複数のそれぞれの最小改善量だけ改善する場合にのみ展開される。

図８で実行されるプロセスステップは、本発明の実施形態に従って、プロセッサが図８で説明したプロセスの少なくとも一部を実行するための命令を符号化するコンピュータプログラムによって実行されてもよい。コンピュータプログラムは、非一時的コンピュータ可読媒体上で具現化されてもよい。コンピュータ可読媒体は、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／またはデータを格納するために使用される任意の他のそのような媒体または媒体の組み合わせであってもよいが、これらに限定されない。コンピュータプログラムは、コンピュータ可読媒体に格納することもできる、図８で説明したプロセスステップの全部または一部を実施するようにコンピューティングシステムのプロセッサ（例えば、図５のコンピューティングシステム５００のプロセッサ５１０）を制御するための符号化命令を含むことができる。

コンピュータプログラムは、ハードウェア、ソフトウェア、またはハイブリッド実装で実施することができる。コンピュータプログラムは、互いに動作可能に通信し、表示するために情報または命令を渡すように設計されたモジュールから構成することができる。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、または任意の他の適切なデバイス上で動作するように構成することができる。

本発明の様々な実施形態のコンポーネントは、本明細書の図に一般的に記載および図示するように、多種多様な異なる構成で配置および設計されてもよいことが容易に理解されよう。したがって、添付の図面に表される本発明の実施形態の詳細な説明は、特許請求される本発明の範囲を限定することを意図するものではなく、本発明の選択された実施形態を単に代表するものである。

本明細書を通して説明される本発明の特徴、構造、または特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、または同様の文言への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して、「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、または同様の文言の出現は、必ずしもすべてが同じ実施形態のグループを指すわけではなく、記載された特徴、構造、または特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。

本明細書を通して特徴、利点、または同様の文言を参照することは、本発明で実現され得る特徴および利点のすべてが本発明の任意の単一の実施形態であるべきであること、または本発明の任意の単一の実施形態であることを意味するものではないことに留意されたい。むしろ、特徴および利点に言及する文言は、一実施形態に関連して説明される特定の特徴、利点、または特性が本発明の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書を通して、特徴および利点、ならびに同様の文言の説明は、必ずしもそうとは限らないが、同じ実施形態を参照することができる。

さらに、本発明の記載された特徴、利点、および特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。当業者は、特定の実施形態の特定の特徴または利点の１つまたは複数なしで本発明を実施できることを認識するであろう。他の例では、本発明のすべての実施形態には存在しない可能性がある特定の実施形態において、追加の特徴および利点が認識され得る。

当業者は、上述の本発明が、異なる順序のステップ、および／または開示されているものとは異なる構成のハードウェア要素を用いて実施され得ることを容易に理解するであろう。したがって、本発明をこれらの好ましい実施形態に基づいて説明してきたが、本発明の趣旨および範囲内に留まりながら、特定の修正、変形、および代替構築が明らかであることは、当業者には明らかであろう。したがって、本発明の範囲を決定するために、添付の特許請求の範囲を参照すべきである。

Claims (29)

1. システムであって、
   １つまたは複数の人工知能（ＡＩ）／機械学習（ＭＬ）モデルを含む、または前記１つまたは複数のＡＩ／ＭＬモデルにアクセス可能なサーバーと、
   遂行中に前記１つまたは複数のＡＩ／ＭＬモデルのうちの少なくとも１つを呼び出すように構成された１つまたは複数のロボティックプロセスオートメーション（ＲＰＡ）ロボットと、
   アクションセンターと、を含み、
   前記サーバーは、
   前記１つまたは複数のＡＩ／ＭＬモデルの性能を監視し、
   前記１つまたは複数のＡＩ／ＭＬモデルのうちの１つのＡＩ／ＭＬモデルを遂行するために、前記１つまたは複数のＲＰＡロボットのうちの呼び出しＲＰＡロボットから要求を受信し、
   前記要求されたＡＩ／ＭＬモデルの性能が、ある期間にわたって、または前記要求されたＡＩ／ＭＬモデルの実行回数にわたって、初めて１つまたは複数の性能しきい値を下回る場合に、前記要求されたＡＩ／ＭＬモデルの前記遂行の結果をレビューするために、前記アクションセンターにレビュー要求を送信する、ように構成され、
   前記アクションセンターは、
   前記結果が正しいという指示をアクションセンターアプリケーションから受信するか、または修正された結果を前記アクションセンターアプリケーションから受信し、
   前記結果が正しくない場合に、前記修正された結果を前記アクションセンターから前記呼び出しＲＰＡロボットか、前記サーバーか、またはその両方に提供する、ように構成される、システム。
2. 前記サーバーは、
   前記要求されたＡＩ／ＭＬモデルを遂行し、
   前記要求されたＡＩ／ＭＬモデルの前記遂行の結果および前記結果の精度を呼び出しＲＰＡロボットに提供する、ようにさらに構成される、請求項１に記載のシステム。
3. 前記サーバーによって前記アクションセンターに送信された前記レビュー要求は、前記要求されたＡＩ／ＭＬモデルによって解析された画像のスクリーンショットと、前記要求されたＡＩ／ＭＬモデルからの予測と、を含む、請求項１に記載のシステム。
4. 前記アクションセンターが修正を提供する場合に、前記アクションセンターまたは前記サーバーは、前記要求されたＡＩ／ＭＬモデルを再訓練するために前記修正に関連するデータを格納させるか、前記データを前記呼び出しＲＰＡロボットに送信するか、またはその両方を行うように構成される、請求項１に記載のシステム。
5. ある量の訓練データが受信された後か、ある期間が経過した後か、または前記アクションセンターからいくつかの修正が受信された後に、前記サーバーが、前記要求されたＡＩ／ＭＬモデルを再訓練するように構成される、請求項４に記載のシステム。
6. 前記再訓練されたＡＩ／ＭＬモデルが前記１つまたは複数の性能しきい値のうちの少なくとも１つに関して改善する場合に、前記サーバーは、
   前記要求されたＡＩ／ＭＬモデルの代わりに前記再訓練されたＡＩ／ＭＬモデルを展開するか、または
   前記要求されたＡＩ／ＭＬモデルと連携して前記再訓練されたＡＩ／ＭＬモデルを使用し、前記再訓練されたＡＩ／ＭＬモデルおよび前記要求されたＡＩ／ＭＬモデルから最良の結果を取得する、ように構成される、請求項５に記載のシステム。
7. 前記再訓練されたＡＩ／ＭＬモデルは、前記再訓練されたＡＩ／ＭＬモデルが前記１つまたは複数の性能しきい値を１つまたは複数のそれぞれの最小改善量だけ改善する場合にのみ展開される、請求項６に記載のシステム。
8. 前記サーバーは、前記要求されたＡＩ／ＭＬモデルを再訓練するために使用するプロセッサを指定する構成を使用するように構成され、前記プロセッサは、グラフィックスプロセッシングユニット（ＧＰＵ）および中央プロセッシングユニット（ＣＰＵ）を含む、請求項５に記載のシステム。
9. 前記構成は、すべてのＧＰＵを使用するかどうか、すべてのＣＰＵを使用するかどうか、またはＧＰＵとＣＰＵとの組み合わせを使用するかどうかを指定する、請求項８に記載のシステム。
10. 前記構成は、好ましいタイプのプロセッサが利用可能でない場合に、任意の利用可能なプロセッサを使用することを指定する、請求項８に記載のシステム。
11. 前記サーバーは、前記要求されたＡＩ／ＭＬモデルを再訓練するためにアイドルプロセッサを使用するように構成される、請求項８に記載のシステム。
12. 前記サーバーは、前記サーバーが前記１つまたは複数のＡＬ／ＭＬモデルを遂行するための前記１つまたは複数のＲＰＡロボットからの要求に基づいて、前記要求されたＡＩ／ＭＬモデルの前記再訓練にプロセッサを追加するか、または前記要求されたＡＩ／ＭＬモデルの前記再訓練からプロセッサを取り除くように構成される、請求項８に記載のシステム。
13. 前記呼び出しＲＰＡロボットのアクティビティは、前記アクションセンターからの前記ＡＩ／ＭＬモデルの前記遂行の前記結果を、前記呼び出しＲＰＡロボットに、ある期間待たせるロジックを含む、請求項８に記載のシステム。
14. 前記ＡＩ／ＭＬモデルの前記遂行の前記結果が前記期間中に受信されない場合に、前記ＲＰＡロボットは、前記要求されたＡＩ／ＭＬモデルからの前記結果を使用して操作を継続しようとするか、前記要求されたＡＩ／ＭＬモデルに関連するアクティビティをスキップするか、またはデフォルトのアクションをとるように構成される、請求項１３に記載のシステム。
15. 前記サーバーは、前記要求されたＡＩ／ＭＬモデルを遂行するためのプロセッサの最適な組み合わせを学習し、前記学習されたプロセッサの最適な組み合わせを使用して、前記要求されたＡＩ／ＭＬモデルを遂行するための前記プロセッサの自動平衡化を実行するように構成される、請求項１に記載のシステム。
16. 前記アクションセンターアプリケーションは、
    前記ＡＩ／ＭＬモデルからの前記結果をレビューする要求を受信し、
    前記ＡＩ／ＭＬモデルによって解析された画像と、前記結果についての１つまたは複数のパラメータと、をディスプレイに表示し、
    前記１つまたは複数のパラメータのうちの少なくとも１つに対する修正を受信する、ように構成される、請求項１に記載のシステム。
17. コンピュータにより実施される方法であって、アクションセンターアプリケーションにより、知能（ＡＩ）／機械学習（ＭＬ）モデルからの結果をレビューする要求を受信するステップと、
    前記ＡＩ／ＭＬモデルによって解析された画像と、前記結果についての１つまたは複数のパラメータとを、前記アクションセンターアプリケーションによりディスプレイに表示するステップであって、前記１つまたは複数のパラメータが前記ＡＩ／ＭＬモデルによる予測を含む、ステップと、
    前記アクションセンターアプリケーションにより、前記１つまたは複数のパラメータのうちの少なくとも１つに対する修正を受信するステップと、
    前記ＡＩ／ＭＬモデルの再訓練のために前記修正をサーバーに送信するステップと、
    を含むコンピュータにより実施される方法。
18. 前記アクションセンターアプリケーションにより、前記ＡＩ／ＭＬモデルを呼び出したロボティックプロセスオートメーション（ＲＰＡ）ロボットに前記修正を送信するステップをさらに含み、
    前記修正は、前記ＡＩ／ＭＬモデルの前記結果に対する修正された予測を含む、
    請求項１７に記載のコンピュータにより実施される方法。
19. コンピュータプログラムを格納する非一時的コンピュータ可読媒体であって、前記コンピュータプログラムは、少なくとも１つのプロセッサに、
    ロボティックプロセスオートメーション（ＲＰＡ）ロボットによって要求される知能（ＡＩ）／機械学習（ＭＬ）モデルを遂行させ、
    前記ＡＩ／ＭＬモデルの性能を監視させ、
    前記ＡＩ／ＭＬモデルのＡＩ／ＭＬモデルの性能が、ある期間にわたって、または前記ＡＩ／ＭＬモデルの実行回数にわたって、初めて１つまたは複数の性能しきい値を下回る場合に、前記ＡＩ／ＭＬモデルの前記遂行の結果をレビューするために、アクションセンターにレビュー要求を送信させる、ように構成される、非一時的コンピュータ可読媒体。
20. 前記レビュー要求は、前記ＡＩ／ＭＬモデルによって解析された画像のスクリーンショットと、前記ＡＩ／ＭＬモデルからの予測と、を含む、請求項１９に記載の非一時的コンピュータ可読媒体。
21. 前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、
    前記アクションセンターから前記ＡＩ／ＭＬモデルの修正を受信させ、
    前記ＡＩ／ＭＬモデルを再訓練するための前記修正を格納させる、ようにさらに構成される、請求項１９に記載の非一時的コンピュータ可読媒体。
22. ある量の訓練データが受信された後か、ある期間が経過した後か、または前記アクションセンターからいくつかの修正が受信された後に、前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、
    前記ＡＩ／ＭＬモデルを再訓練させ、
    前記再訓練されたＡＩ／ＭＬモデルが前記１つまたは複数の性能しきい値のうちの少なくとも１つに関して改善する場合に、
    前記ＡＩ／ＭＬモデルの以前のバージョンの代わりに前記再訓練されたＡＩ／ＭＬモデルを展開させるか、または
    前記再訓練されたＡＩ／ＭＬモデルを前記ＡＩ／ＭＬモデルの前記以前のバージョンと連携して使用させ、前記再訓練されたＡＩ／ＭＬモデルおよび前記ＡＩ／ＭＬモデルの前記以前のバージョンから最良の結果を取得させる、ようにさらに構成される、請求項１９に記載の非一時的コンピュータ可読媒体。
23. 前記再訓練されたＡＩ／ＭＬモデルは、前記再訓練されたＡＩ／ＭＬモデルが前記１つまたは複数の性能しきい値を１つまたは複数のそれぞれの最小改善量だけ改善する場合にのみ展開される、請求項２２に記載の非一時的コンピュータ可読媒体。
24. 前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、
    前記ＡＩ／ＭＬモデルを再訓練するために使用するプロセッサを指定する構成を使用させるようにさらに構成され、前記プロセッサは、グラフィックスプロセッシングユニット（ＧＰＵ）および中央プロセッシングユニット（ＣＰＵ）を含む、請求項２２に記載の非一時的コンピュータ可読媒体。
25. 前記構成は、すべてのＧＰＵを使用するかどうか、すべてのＣＰＵを使用するかどうか、またはＧＰＵとＣＰＵとの組み合わせを使用するかどうかを指定する、請求項２４に記載の非一時的コンピュータ可読媒体。
26. 前記構成は、好ましいタイプのプロセッサが利用可能でない場合に、任意の利用可能なプロセッサを使用することを指定する、請求項２４に記載の非一時的コンピュータ可読媒体。
27. 前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、
    前記ＡＩ／ＭＬモデルを再訓練するためにアイドルプロセッサを使用させるようにさらに構成される、請求項２４に記載の非一時的コンピュータ可読媒体。
28. 前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、
    前記コンピュータプログラムが前記ＡＬ／ＭＬモデルを遂行するための前記ＲＰＡロボットからの要求に基づいて、前記ＡＩ／ＭＬモデルの前記再訓練にプロセッサを追加させるか、または前記ＡＩ／ＭＬモデルの前記再訓練からプロセッサを取り除かせる、ようにさらに構成される、請求項２４に記載の非一時的コンピュータ可読媒体。
29. 前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、
    前記ＡＩ／ＭＬモデルを遂行するためのプロセッサの最適な組み合わせを学習させ、前記学習されたプロセッサの最適な組み合わせを使用させて、前記ＡＩ／ＭＬモデルを遂行するための前記プロセッサの自動平衡化を実行させる、ようにさらに構成される、請求項１９に記載の非一時的コンピュータ可読媒体。