JP2024074288A - ブラウザ内でのターゲットアプリケーションの自動拡張 - Google Patents

Abstract

【課題】ターゲットアプリケーションのソースコードを変更することなく、ターゲットアプリケーションの機構および／または機能を拡張する方法を提供する。
【解決手段】プロセッサによって遂行される拡張エンジンによって実装される方法は、ブラウザによってホストされるターゲットアプリケーションを検出すること、ターゲットアプリケーションのソースコードを変更することなく、予め定義された自動拡張をターゲットアプリケーションに自動的に埋め込むことによって、機構または機能をターゲットアプリケーションに拡張すること及び予め定義された自動拡張のうち選択された数を遂行することを含む。
【選択図】なし

Description

本開示は概して自動化に関する。

一般に、会社または企業は、すぐに使えるアプリケーションソフトウェアやアプリケーションを使用して、ワープロ、データ入力などのタスクを実行する。さらに、会社または企業は、さまざまな開発会社のアプリケーションを使用するようになっている。

アプリケーションを変更することは非常に難しい。ほとんどのアプリケーションは、特に会社または企業が社内でアプリケーションを構築していない場合、カスタマイズできない。次いで、ニーズが変化、進化、または期限切れになると、会社または企業はアプリケーションから離れていき、これには非常に高いコスト（例えば、時間、金銭など）がかかる。

アプリケーションから離れる代わりに、ロボティックプロセスオートメーション（ＲＰＡ）でカスタマイズなどを行うことができる。現在、アプリケーションに関連する自動化を検索するのは難しい場合がある。さらに、ＲＰＡを開くにはアシスタントソフトウェアが必要になる場合がある。したがって、ＲＰＡを簡単に見つけてアクセスし、そして既存のすぐに使用できるアプリケーションソフトウェアまたはアプリケーションに適用できる解決策が必要である。

１または複数の実施形態によると、方法が提供される。方法は、少なくとも１つのプロセッサによって遂行される拡張エンジンによって実装される。方法は、ブラウザによってホストされるターゲットアプリケーションを検出することを含む。方法は、ターゲットアプリケーションのソースコードを変更することなく、１または複数の予め定義された自動拡張をターゲットアプリケーションに自動的に埋め込むことによって、機構または機能をターゲットアプリケーションに拡張することを含む。方法は、１または複数の予め定義された自動拡張のいくつかを遂行することを含む。上記の方法の実施形態は、システム、コンピュータプログラム製品、および／または装置として実装され得る。本明細書に記載のシステムの実施形態は、本明細書に記載のメモリ、プロセッサ、コンピュータプログラム製品、および／またはソフトウェアのいずれかを利用することができる。

本明細書の特定の実施形態の利点が容易に理解されるように、より特定された説明は、添付の図面に図示されている特定の実施形態を参照して描写される。これらの図面は、典型的な実施形態のみを描いており、したがって、その範囲を限定するものとは考えられないことが理解されるべきであるが、本明細書に記載の１または複数の実施形態は、以下の添付の図面を使用することにより、さらなる特定および詳細をもって描写され、説明されるであろう。

１または複数の実施形態によるオートメーションシステムを示すアーキテクチャ図を示す。

１または複数の実施形態によるＲＰＡシステムを示すアーキテクチャ図を示す。

１または複数の実施形態による展開されたＲＰＡシステムを示すアーキテクチャ図を示す。

１または複数の実施形態による、デザイナ、アクティビティ、およびドライバの間の関係を示すアーキテクチャ図を示す。

１または複数の実施形態によるコンピューティングシステムを示すアーキテクチャ図を示す。

１または複数の実施形態による画像内のグラフィカル要素を認識するように訓練されたニューラルネットワークの例を示す。

１または複数の実施形態によるニューロンの一例を示す。

１または複数の実施形態によるＡＩ／ＭＬモデル（複数可）を訓練するためのプロセスを示すフローチャートを示す。

１または複数の実施形態によるシステムによって実装されるプロセスを示す。

１または複数の実施形態による例示的なインターフェースを示す。

１または複数の実施形態による例示的なインターフェースを示す。

１または複数の実施形態による例示的なインターフェースを示す。

１または複数の実施形態による例示的なインターフェースを示す。

別段の記載がない限り、類似の参照文字は、添付の図面全体で一貫して対応する特徴を示す。

（実施形態の詳細な説明）
一般に、本明細書に記載の実施形態はオートメーションに関する。より具体的には、本明細書二記載の実施形態は、ブラウザ内のターゲットアプリケーションの自動拡張に関する。

１または複数の実施形態によると、自動拡張は、その上の、プロセッサ、コンピューティングシステム、および／またはコントローラ上で遂行する拡張エンジンによって実行され得る。拡張エンジンは、拡張およびＲＰＡを自動的に管理、遂行、および動作するためのポリシーおよび技術のフレームワークを含むソフトウェアとして説明され得る。拡張は、既存のアプリケーション（例えば、ブラウザおよびターゲットアプリケーション）と並行して（またはその上で）実行し、かつその機能に追加する、拡張エンジンおよび／またはブラウザアシスタントのソフトウェアプログラム機構である。ＲＰＡは、エージェントソフトウェアであり得、その例には、１または複数のジョブを遂行する、ロボット、ワークフローなどが含まれる。ジョブは、ＲＰＡによって遂行される作業単位と考えることができる。

例として、拡張エンジンは、ターゲットアプリケーションのソースコードを変更することなく、ターゲットアプリケーションの機構および／または機能を拡張し得る。例えば、拡張エンジンは、ブラウザによってホストされるターゲットアプリケーションを検出し、ターゲットアプリケーションのソースコードを変更することなく（つまり、ソースコードのユーザーインタラクションなしに）、１または複数の予め定義された自動拡張をターゲットアプリケーションに自動的に埋め込むことによって、ターゲットアプリケーションに機構および／または機能を拡張し得る。方法は、１または複数の予め定義された自動拡張のいくつかを遂行することを含み得る。ターゲットアプリケーションがウェブアプリケーションである場合、拡張エンジンはウェブブラウザに常駐する（例えば、常駐して動作する）ブラウザアシスタントを実装し得、ウェブページとウェブアプリケーションのアプリケーションをカスタマイズし得、機能（例えば、ボタン、コールアウト、トリガ）を追加し得、そしてウェブアプリケーションを終了したりまたは変更したりすることなく、他のアプリケーション、自動化、拡張、ＲＰＡに状況に応じてアクセスし得る。さらに、拡張エンジンのその他の動作には、拡張とウェブおよびブラウザ拡張との結合、拡張オプションのガバナンス、（例えば、ターゲットアプリケーションを超えた）他のアプリケーションへの拡張機構を拡張すること、ならびにブラウザ拡張への開発エクスペリエンスの提供が含まれるが、これらに限定されない。

１または複数の技術的効果、利点、および利益によると、ＲＰＡアシスタントソフトウェアのダウンロードおよびインストールの必要性を回避することで拡張エクスペリエンスを簡素化し、（例えば、ＲＰＡアシスタントソフトウェアなしで）任意のターゲットアプリケーション内で１または複数の予め定義された自動拡張を表示し、かつアプリケーションのソースコードを変更することなく、任意のターゲットアプリケーションに１または複数の予め定義された自動拡張を埋め込む。１または複数の技術的効果、利点、および利益によると、拡張エンジンは、エグゼキュータ、アシスタント、またはインストーラなしで、任意のオペレーティングシステムのターゲットアプリケーションで１または複数の予め定義された自動拡張を直接遂行し、１または複数の予め定義された自動拡張とロードされたウェブページを使用して、ＲＰＡを自動的に開き／開始し、そしてターゲットアプリケーションのユーザーインターフェース（ＵＩ）内で１または複数の予め定義された自動拡張の直接クリックおよび遂行を実装する。

図１は、１または複数の実施形態によるハイパーオートメーションシステム１００を示すアーキテクチャ図である。本明細書で使用される「ハイパーオートメーション」は、プロセスオートメーションのコンポーネント、統合ツール、および作業を自動化する能力を増幅する技術をまとめたオートメーションシステムを指す。例えば、いくつかの実施形態では、ＲＰＡがハイパーオートメーションシステムのコアで使用され、特定の実施形態では、人工知能および／もしくは機械（ＡＩ／ＭＬ）、プロセスマイニング、分析、ならびに／または他の高度なツールによって自動化能力が拡張され得る。ハイパーオートメーションシステムがプロセスを学習し、ＡＩ／ＭＬモデルを訓練し、そして分析を採用すると、例えば、より多くの知識作業が自動化され得、組織内のコンピューティングシステム、例えば、個人によって使用されるものと自律的に動作するものの両方は、すべてハイパーオートメーションプロセスの参加者として従事され得る。いくつかの実施形態のハイパーオートメーションシステムは、ユーザーおよび組織が効率的かつ効果的にオートメーションを発見し、理解し、そして拡張することを可能にする。

ハイパーオートメーションシステム１００は、デスクトップコンピュータ１０２、タブレット１０４、およびスマートフォン１０６などのユーザーコンピューティングシステムを含む。しかしながら、スマートウォッチ、ラップトップコンピュータ、サーバー、インターネットオブシングス（ＩｏＴ）デバイスなどを含むが、これらに限定されない、任意の所望のコンピューティングシステムが、本明細書に記載の１または複数の実施形態の範囲から逸脱せずに使用され得る。また、図１には３つのユーザーコンピューティングシステムが示されているが、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、任意の適切な数のコンピューティングシステムが使用され得る。例えば、いくつかの実施形態では、数十、数百、数千、または数百万のコンピューティングシステムが使用されてもよい。ユーザーコンピューティングシステムは、ユーザーによって積極的に使用されてもよいし、または多くのもしくは任意のユーザー入力なしに自動的に実行され得る。

各コンピューティングシステム１０２、１０４、１０６は、そこで実行しているそれぞれのオートメーションプロセス（複数可）１１０、１１２、１１４を有する。オートメーションプロセス（複数可）１０２、１０４、１０６は、限定されないが、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、ＲＰＡロボット、オペレーティングシステムの一部、それぞれのコンピューティングシステム用のダウンロード可能なアプリケーション（複数可）、他の任意の適切なソフトウェアおよび／またはハードウェア、またはこれらの任意の組み合わせを含み得る。いくつかの実施形態では、１または複数のプロセス（複数可）１１０、１１２、１１４は、リスナーであり得る。リスナーは、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、ＲＰＡロボット、オペレーティングシステムの一部、それぞれのコンピューティングシステム用のダウンロード可能なアプリケーション、または他の任意のソフトウェアおよび／もしくはハードウェアであり得る。実際、いくつかの実施形態では、リスナー（複数可）のロジックは、物理的なハードウェアを介して部分的または完全に実装される。

リスナーは、それぞれのコンピューティングシステムとのユーザーインタラクションおよび／またはアンアテンディッドコンピューティングシステムの動作に関連するデータを監視および記録し、ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワーク、衛星通信ネットワーク、インターネット、それらのいずれかの組み合わせ等）を介してコアハイパーオートメーションシステム１２０にデータを送信する。データは、限定されないが、どのボタンがクリックされたか、マウスがどこに移動したか、フィールドに入力されたテキスト、１つのウィンドウが最小化されそして別のウィンドウが開かれたこと、ウィンドウに関連するアプリケーションなどを含み得る。特定の実施形態では、リスナーからのデータは、ハートビートメッセージの一部として定期的に送信され得る。いくつかの実施形態では、データは、所定量のデータが収集されると、所定期間が経過した後、またはその両方で、コアハイパーオートメーションシステム１２０に送信され得る。サーバー１３０などの１または複数のサーバーは、リスナーからデータを受信し、データベース１４０などのデータベースに格納する。

オートメーションプロセスは、設計時間中にワークフローで開発されたロジックを遂行し得る。ＲＰＡの場合、ワークフローは、本明細書において「アクティビティ」として定義される、シーケンスまたは他の何らかのロジックフローで遂行されるステップのセットを含み得る。各アクティビティは、ボタンをクリックする、ファイルを読む、ログパネルに書き込むなどのアクションを含み得る。いくつかの実施形態では、ワークフローは入れ子になっているか、または埋め込まれ得る。

いくつかの実施形態におけるＲＰＡのための長時間実行ワークフローは、サービスオーケストレーション、人間の介入、およびアンアテンディッド環境における長時間実行トランザクションをサポートするマスタープロジェクトである。米国特許第１０，８６０，９０５号を参照されたい。また、この内容はすべて参照により組み込まれる。人間の介入は、特定のプロセスが、アクティビティの次のステップに進む前に、例外処理、承認、または検証のために人間の入力を必要とする場合に登場する。この場合、プロセスの遂行は一時停止され、人間のタスクが完了するまでＲＰＡロボットを開放する。

長時間実行ワークフローは、永続化アクティビティを介してワークフローの断片化をサポートしてもよく、呼び出しプロセスおよび非ユーザーインタラクションアクティビティと組み合わされ、人間のタスクをＲＰＡロボットタスクでオーケストレーションし得る。いくつかの実施形態では、複数または多数のコンピューティングシステムが、長時間実行ワークフローのロジックの遂行に参加し得る。長時間実行ワークフローは、迅速な遂行を促進するためにセッションで実行し得る。いくつかの実施形態では、長時間実行ワークフローは、アプリケーションプログラミングインターフェース（ＡＰＩ）呼び出しを実行し、かつ長時間実行ワークフローセッションで実行するアクティビティを含み得るバックグラウンドプロセスをオーケストレーションしてもよい。これらのアクティビティは、いくつかの実施形態では、呼び出しプロセスアクティビティによって呼び出され得る。ユーザーセッションで実行するユーザーインタラクションアクティビティを有するプロセスは、コンダクタアクティビティからジョブを開始することによって呼び出され得る（コンダクタは、本明細書で後により詳細に説明する）。ユーザーは、いくつかの実施形態では、コンダクタでフォームを完成させる必要があるタスクを通じてインタラクションし得る。ＲＰＡロボットにフォームタスクが完了するのを待たせ、その後、長時間実行ワークフローを再開させるアクティビティが含まれ得る。

１または複数のオートメーションプロセス（複数可）１１０、１１２、１１４は、コアハイパーオートメーションシステム１２０と通信している。いくつかの実施形態では、コアハイパーオートメーションシステム１２０は、サーバー１３０などの１または複数のサーバー上でコンダクタアプリケーションを実行し得る。例示のために１つのサーバー１３０が示されているが、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、互いに近接する、または分散アーキテクチャの複数または多数のサーバーが採用され得る。例えば、１または複数のサーバーが、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、コンダクタ機能、ＡＩ／ＭＬモデル提供、認証、ガバナンス、および／または他の任意の適切な機能のために提供され得る。いくつかの実施形態では、コアハイパーオートメーションシステム１２０は、パブリッククラウドアーキテクチャ、プライベートクラウドアーキテクチャ、ハイブリッドクラウドアーキテクチャなどを組み込んでよく、またはその一部であってよい。特定の実施形態では、コアハイパーオートメーションシステム１２０は、サーバー１３０などの１または複数のコンピューティングシステム上で複数のソフトウェアベースのサーバーをホストし得る。いくつかの実施形態では、サーバー１３０などのコアハイパーオートメーションシステム１２０の１または複数のサーバーは、１または複数の仮想マシン（ＶＭ）を介して実装され得る。

いくつかの実施形態では、１または複数のオートメーションプロセス（複数可）１１０、１１２、１１４は、コアハイパーオートメーションシステム１２０上に展開されたまたはコアハイパーオートメーションシステム１２０によってアクセス可能な１または複数のＡＩ／ＭＬモデル１３２を呼び出してもよい。ＡＩ／ＭＬモデル１３２は、本明細書でより詳細に議論されるように、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、任意の適切な目的のために訓練され得る。２または複数のＡＩ／ＭＬモデル１３２は、それらが集合的に協働出力（複数可）を提供するように、いくつかの実施形態では連鎖されてもよい（例えば、直列、並列、またはそれらの組合せ）。ＡＩ／ＭＬモデル１３２は、コンピュータビジョン（ＣＶ）、光学的文字認識（ＯＣＲ）、文書処理および／または理解、意味学習および／または分析、分析予測、プロセス発見、タスクマイニング、テスト、自動ＲＰＡワークフロー生成、シーケンス抽出、クラスタリング検出、音声－テキスト翻訳、これらのいずれかの組み合わせなどを実行または支援してもよい。しかしながら、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、ＡＩ／ＭＬモデルの任意の所望の数および／またはタイプ（複数可）が使用され得る。複数のＡＩ／ＭＬモデルを使用することで、例えば、与えられたコンピューティングシステム上で何が起こっているかについての全体像をシステムが開発し得る。例えば、あるＡＩ／ＭＬモデルはＯＣＲを実行することができ、別のものはボタンを検出することができ、別のものはシーケンスを比較することができる、などである。パターンは、ＡＩ／ＭＬモデルによって個別に決定されてもよいし、または複数のＡＩ／ＭＬモデルによって集合的に決定されてもよい。特定の実施形態では、１または複数のＡＩ／ＭＬモデルは、少なくとも１つのコンピューティングシステム１０２、１０４、１０６上にローカルに展開される。

いくつかの実施形態では、複数のＡＩ／ＭＬモデル１３２が使用され得る。各ＡＩ／ＭＬモデル１３２は、データ上で実行するアルゴリズム（またはモデル）であり、ＡＩ／ＭＬモデル自体は、例えば、訓練データにおいて訓練された、人工「ニューロン」の深層学習ニューラルネットワーク（ＤＬＮＮ）であり得る。いくつかの実施形態では、ＡＩ／ＭＬモデル１３２は、統計的モデリング（例えば、隠れマルコフモデル（ＨＭＭ））などの様々な機能を実行する複数の層を有してよく、深層学習技術（例えば、長短期記憶（ＬＳＴＭ）深層学習、以前の隠れ状態のエンコーディングなど）を利用して所望の機能を実行し得る。

ハイパーオートメーションシステム１００は、いくつかの実施形態では、４つの主要な機能群を提供し得る：（１）発見、（２）自動化の構築、（３）管理、および（４）エンゲージメント。オートメーション（例えば、ユーザーコンピューティングシステム、サーバーなどで実行する）は、いくつかの実施形態では、ＲＰＡロボットなどのソフトウェアロボットによって実行され得る。例えば、アテンディッドロボット、アンアテンディッドロボット、および／またはテストロボットが使用され得る。アテンディッドロボットは、タスク（例えば、ＵｉＰａｔｈ Ａｓｓｉｓｔａｎｔ（商標）を介して）でユーザーを支援するためにユーザーと協働する。アンアテンディッドロボットはユーザーから独立して動作し、潜在的に、ユーザーが知らない間にバックグラウンドで実行し得る。テストロボットは、アプリケーションまたはＲＰＡワークフローに対してテストケースを実行するアンアテンディッドロボットである。テストロボットは、いくつかの実施形態では、複数のコンピューティングシステム上で並行して実行され得る。

発見機能は、ビジネスプロセスの自動化の様々な機会のための、その自動的な推奨を発見し、提供し得る。そのような機能は、サーバー１３０などの１または複数のサーバーによって実装され得る。発見機能は、いくつかの実施形態では、オートメーションハブ、プロセスマイニング、タスクマイニング、および／またはタスクキャプチャを提供することを含み得る。オートメーションハブ（例えば、ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｈｕｂ（商標））は、可視性および制御性を有するオートメーションロールアウトを管理するためのメカニズムを提供し得る。オートメーションアイデアは、例えば、提出フォームを介して従業員からクラウドソーシングされ得る。これらのアイデアを自動化するための実現可能性と投資収益率（ＲＯＩ）の計算が提供され、将来の自動化のための文書が収集され、そして自動化の発見から構築までを迅速に行うためのコラボレーションが提供され得る。

（例えば、ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｃｌｏｕｄ（商標）および／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標）を介した）プロセスマイニングとは、アプリケーション（企業資源計画（ＥＲＰ）アプリケーション、顧客関係管理（ＣＲＭ）アプリケーション、メールアプリケーション、コールセンターアプリケーションなど）からデータを収集して分析し、組織にどんなエンドツーエンドのプロセスが存在するか、それらを効果的に自動化するにはどうすればよいか、また自動化がもたらす影響についてを特定するプロセスを指す。このデータは、例えば、リスナーによってユーザーコンピューティングシステム１０２、１０４、１０６から取得され、サーバー１３０などのサーバーによって処理され得る。いくつかの実施形態では、１または複数のＡＩ／ＭＬモデル１３２がこの目的のために採用され得る。この情報は、実装を迅速化し、手動での情報転送を回避するために、オートメーションハブにエクスポートされ得る。プロセスマイニングの目標は、組織内のプロセスを自動化することによって、ビジネス価値を高めることであり得る。プロセスマイニングの目標のいくつかの例は、限定されないが、利益の増加、顧客満足度の向上、規制および／または契約遵守、従業員の効率の向上などを含む。

（例えば、ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｃｌｏｕｄ（商標）および／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標）を介した）タスクマイニングは、ワークフロー（例えば、従業員のワークフロー）を特定および集約し、次にＡＩを適用して日常的なタスクのパターンおよびバリエーションを明らかにし、自動化の容易性および節約の可能性について（例えば、時間および／またはコストの節約）そのようなタスクをスコアリングする。１または複数のＡＩ／ＭＬモデル１３２は、データ内の反復タスクパターンを明らかにするために採用され得る。自動化の機が熟した反復タスクは、その後、特定され得る。この情報は、最初、リスナーによって提供され得、いくつかの実施形態では、サーバー１３０などのコアハイパーオートメーションシステム１２０のサーバー上で分析され得る。タスクマイニングからの発見（例えば、ｅｘｔｅｎｓｉｖｅ ａｐｐｌｉｃａｔｉｏｎ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ（ＸＡＭＬ）プロセスデータ）は、プロセス文書またはＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）などのデザイナアプリケーションにエクスポートされて、自動化をより迅速に作成および展開し得る。

いくつかの実施形態におけるタスクマイニングは、ユーザーアクション（例えば、マウスクリック位置、キーボード入力、ユーザーがインタラクションしていたアプリケーションウィンドウおよびグラフィカル要素、インタラクションのためのタイムスタンプなど）を伴うスクリーンショットの撮影、統計データ（例えば、遂行時間、アクション数、テキスト入力など）の収集、スクリーンショットの編集および注釈、記録されるアクションのタイプの指定、などを含み得る。

（ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｃｌｏｕｄ（商標）および／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標）を介した）タスクキャプチャは、ユーザーが作業しているときにアテンディッドプロセスを自動的に文書化する、またはアンアテンディッドプロセスのためのフレームワークを提供する。このような文書化は、プロセス定義文書（ＰＤＤ）、スケルトンワークフロー、プロセスの各部分のアクションのキャプチャ、ユーザーのアクションの記録および各ステップに関する詳細を含む包括的なワークフロー図の自動生成、Ｍｉｃｒｏｓｏｆｔ Ｗｏｒｄ（登録商標）文書、ＸＡＭＬファイルなどのような形式で自動化することが望ましいタスクを含み得る。構築可能なワークフローは、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）などのデザイナアプリケーションに直接エクスポートされ得る。タスクキャプチャは、プロセスを説明するサブジェクトマターエキスパートと、プロダクショングレードオートメーションを提供するセンターオブエクセレンス（ＣｏＥ）メンバーとの両方にとって、要件収集プロセスを簡素化し得る。

オートメーションの構築は、デザイナアプリケーション（ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）、ＵｉＰａｔｈ ＳｔｕｄｉｏＸ（商標）、ＵｉＰａｔｈ Ｗｅｂ（商標）など）を介して達成され得る。例えば、ＰＡ開発施設１５０のＲＰＡ開発者は、コンピューティングシステム１５２のＲＰＡデザイナアプリケーション１５４を使用して、ウェブ、モバイル、ＳＡＰ（登録商標）、および仮想デスクトップなどのさまざまなアプリケーションおよび環境用のオートメーションを構築およびテストし得る。ＡＰＩ統合は、さまざまなアプリケーション、技術、およびプラットフォームに対して提供され得る。事前定義されたアクティビティ、ドラッグアンドドロップモデリング、およびワークフローレコーダーは、最小限のコーディングで自動化を容易にし得る。文書理解機能は、１または複数ＡＩ／ＭＬモデル１３２を呼び出すデータ抽出および解釈のためのドラッグアンドドロップＡＩスキルを介して提供され得る。このような自動化は、表、チェックボックス、署名、および手書きを含む、事実上任意の文書タイプおよびフォーマットを処理し得る。データが検証されるか、または例外が処理されるとき、この情報は、それぞれのＡＩ／ＭＬモデルを再訓練するために使用されてよく、時間とともにそれらの精度が改善される。

統合サービスにより、開発者は、例えば、ＵＩの自動化とＡＰＩの自動化をシームレスに組み合わせ得る。ＡＰＩを必要とする、またはＡＰＩと非ＡＰＩアプリケーションおよびシステムの両方を横断する自動化が構築され得る。開発者が多種多様なプロセスをより迅速に自動化できるように、あらかじめ建築されたＲＰＡおよびＡＩテンプレートとソリューションのためのリポジトリ（例えば、ＵｉＰａｔｈ Ｏｂｊｅｃｔ Ｒｅｐｏｓｉｔｏｒｙ（商標））またはマーケットプレイス（例えば、ＵｉＰａｔｈ Ｍａｒｋｅｔｐｌａｃｅ（商標））が提供され得る。したがって、自動化を構築する場合、ハイパーオートメーションシステム１００は、ユーザーインターフェース、開発環境、ＡＰＩ統合、あらかじめ建築されたおよび／またはカスタムビルドのＡＩ／ＭＬモデル、開発テンプレート、統合開発環境（ＩＤＥ）、および高度なＡＩ能力を提供し得る。ハイパーオートメーションシステム１００は、いくつかの実施形態では、ＲＰＡロボットの開発、展開、管理、構成、監視、デバッグ、および保守を可能にし、それはハイパーオートメーションシステム１００のための自動化を提供し得る。

いくつかの実施形態では、デザイナアプリケーション（複数可）および／または外部ルールエンジンなどのハイパーオートメーションシステム１００のコンポーネントは、ハイパーオートメーションシステム１００によって提供されるさまざまな機能を制御するためのガバナンスポリシーを管理および施行するためのサポートを提供する。ガバナンスとは、組織がポリシーを導入して、ＥＵ一般データ保護規則（Ｇｅｎｅｒａｌ Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ Ｒｅｇｕｌａｔｉｏｎ：ＧＤＰＲ）、米国医療保険の携行性と責任に関する法律（ｔｈｅ Ｕ．Ｓ． Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ：ＨＩＰＡＡ）、サードパーティアプリケーションの利用規約などに違反するような、ユーザーが組織に害を及ぼし得る行動を実行できる自動化（ＲＰＡロボットなど）を開発できないようにする能力である。そうでなければ、開発者は、彼らの自動化の実行中にプライバシー法、利用規約などに違反する自動化を作成し得るため、いくつかの実施形態は、ロボットおよび／またはロボット設計アプリケーションレベルでアクセス制御およびガバナンス制限を実装する。これは、開発者が、セキュリティリスクをもたらすか、またはポリシー、規制、プライバシー法、および／もしくはプライバシーポリシーに違反する方法で動作し得る未承認ソフトウェアライブラリへの依存を取ることを防止することによって、いくつかの実施形態ではオートメーションプロセス開発パイプラインにセキュリティおよびコンプライアンスの追加レベルを提供し得る。米国非仮特許出願第１６／９２４，４９９号を参照されたい。また、この内容はすべて参照により組み込まれる。

管理機能は、組織全体にわたるオートメーションの管理、展開、および最適化を提供し得る。管理機能は、いくつかの実施形態では、オーケストレーション、テスト管理、ＡＩ機能、および／または洞察力を含み得る。ハイパーオートメーションシステム１００の管理機能はまた、自動化アプリケーションおよび／またはＲＰＡロボットのためのサードパーティソリューションおよびアプリケーションとの統合ポイントとして作動し得る。ハイパーオートメーションシステム１００の管理機能は、とりわけ、限定されないが、ＲＰＡロボットのプロビジョニング、展開、構成、キューイング、監視、ロギング、および相互接続を容易にすることを含み得る。

ＵｉＰａｔｈ Ｏｒｃｈｅｓｔｒａｔｏｒ（商標）（いくつかの実施形態ではＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｃｌｏｕｄ（商標）の一部として提供されてもよく、またはオンプレミス、ＶＭ、プライベートもしくはパブリッククラウドで、Ｌｉｎｕｘ（商標） ＶＭで、またはＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｓｕｉｔｅ（商標）を介してクラウドネイティブシングルコンテナスイートとして提供されてもよい）などのコンダクタアプリケーションは、ＲＰＡロボットデプロイメントのセキュリティを展開、監視、最適化、拡大縮小、および確保するオーケストレーション能力を提供する。テストスイート（例えば、ＵｉＰａｔｈ Ｔｅｓｔ Ｓｕｉｔｅ（商標））は、展開された自動化の品質を監視するためのテスト管理を提供し得る。テストスイートは、テストの計画および遂行、要件の充足、および欠陥のトレーサビリティを促進し得る。テストスイートは、包括的なテストレポートを含み得る。

分析ソフトウェア（例えば、ＵｉＰａｔｈ Ｉｎｓｉｇｈｔｓ（商標））は、展開された自動化の性能を追跡、測定、および管理し得る。分析ソフトウェアは、自動化動作を組織の特定の重要業績評価指標（ＫＰＩ）および戦略的成果と整合させ得る。分析ソフトウェアは、人間のユーザーがより理解しやすいように、ダッシュボード形式で結果を提示し得る。

データサービス（例えば、ＵｉＰａｔｈ Ｄａｔａ Ｓｅｒｖｉｃｅ（商標））は、例えば、データベース１４０に格納され、ドラッグアンドドロップのストレージインターフェースを用いて、データを単一の、拡張可能な、安全な場所に持ち込むことができる。いくつかの実施形態は、データのシームレスなアクセス、エンタープライズグレードのセキュリティ、およびスケーラビリティを確保しながら、ローコードまたはノーコードのデータモデリングおよびストレージを自動化に提供してもよい。ＡＩ機能は、ＡＩセンター（例えば、ＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標））によって提供されてもよく、これはＡＩ／ＭＬモデルの自動化への組み込みを容易にする。あらかじめ建築されたＡＩ／ＭＬモデル、モデルテンプレート、およびさまざまな展開オプションにより、データ科学者でない人でもこのような機能にアクセスできるようにし得る。展開された自動化（例えば、ＲＰＡロボット）は、ＡＩ／ＭＬモデル１３２などのＡＩセンターからＡＩ／ＭＬモデルを呼び出し得る。ＡＩ／ＭＬモデルの性能は、監視され、データレビューセンター１６０によって提供されるような、人間が検証したデータを使用して訓練され、改善され得る。人間のレビューアは、コンピューティングシステム１５４上のレビューアプリケーション１５２を介して、ラベル付けされたデータをコアハイパーオートメーションシステム１２０に提供してもよい。例えば、人間のレビューアは、ＡＩ／ＭＬモデル１３２による予測が正確であることを検証してもよいし、そうでなければ修正を提供してもよい。この動的入力は、その後、ＡＩ／ＭＬモデル１３２を再訓練するためのトレーニングデータとして保存されてもよく、例えば、データベース１４０のようなデータベースに格納されてもよい。ＡＩセンターは、次に、訓練データを使用してＡＩ／ＭＬモデルの新バージョンを訓練するための訓練ジョブをスケジュールし、遂行し得る。肯定的な例と否定的な例の両方が、ＡＩ／ＭＬモデル１３２の再訓練のために格納され、使用され得る。

エンゲージメント機能は、所望のプロセスに関するシームレスなコラボレーションのために、人間および自動化を１つのチームとして関与させる。ローコードアプリケーションは、ブラウザタブとレガシーソフトウェアを接続するために、いくつかの実施形態ではＡＰＩを欠いているものであっても、（例えば、ＵｉＰａｔｈ Ａｐｐｓ（商標）を介して）構築され得る。アプリケーションは、例えば、ドラッグアンドドロップ制御の豊富なライブラリを通じて、ウェブブラウザを使用して迅速に作成され得る。アプリケーションは、１つのオートメーションまたは複数のオートメーションに接続され得る。

アクションセンター（例えば、ＵｉＰａｔｈ Ａｃｔｉｏｎ Ｃｅｎｔｅｒ（商標））は、オートメーションから人間へ、またはその逆へ、プロセスを引き渡すための簡単で効率的なメカニズムを提供する。人間は、承認またはエスカレーションを提供し、例外処理などを行い得る。その後、オートメーションは、所定のワークフローの自動機能を実行し得る。

ローカルアシスタントは、ユーザーがオートメーション（例えば、ＵｉＰａｔｈ Ａｓｓｉｓｔａｎｔ（商標））を起動するための起動パッドとして提供され得る。この機能は、例えばオペレーティングシステムによって提供されるトレイで提供されてもよく、ユーザーが彼らのコンピューティングシステム上でＲＰＡロボットおよびＲＰＡロボット搭載アプリケーションとインタラクションすることを可能にし得る。インターフェースは、所定のユーザーに対して承認されたオートメーションをリストにし、ユーザーがそれらを実行することを可能にし得る。これらは、オートメーションマーケットプレイス、オートメーションハブの内部オートメーションストアなどからのすぐに使えるオートメーションを含んでもよい。オートメーションが実行しているとき、オートメーションがそのアクションを実行する間、ユーザーがコンピューティングシステムを使用できるように、それらは、コンピューティングシステム上の他のプロセスと並行してローカルインスタンスとして実行し得る。特定の実施形態では、アシスタントは、ユーザーがアシスタントの起動パッドからそれらのもうすぐ自動化されるプロセスを文書化できるように、タスクキャプチャ機能と統合される。

チャットボット（例えば、ＵｉＰａｔｈ Ｃｈａｔｂｏｔｓ（商標））、ソーシャルメッセージングアプリケーション、および／または音声コマンドは、ユーザーがオートメーションを実行することを可能にし得る。これにより、顧客とのやり取りまたは他のアクティビティを行うために必要な情報、ツール、およびリソースへのアクセスを簡素化し得る。人と人との会話は、他のプロセスと同様に容易に自動化され得る。このようにして起動されたトリガＲＰＡロボットは、注文状況の確認、ＣＲＭへのデータ投稿などの動作を、平易な言語コマンドを用いて実行できる可能性がある。

任意の規模での自動化プログラムのエンドツーエンドの測定およびガバメントは、いくつかの実施形態ではハイパーオートメーションシステム１００によって提供され得る。上記により、自動化の性能を理解するために、（例えば、ＵｉＰａｔｈ Ｉｎｓｉｇｈｔｓ（商標）を介した）分析が採用されてもよい。利用可能なビジネスメトリクスおよび運用上の洞察のいずれかの組み合わせを使用するデータモデリングおよび分析は、さまざまな自動化プロセスに使用され得る。カスタム設計およびあらかじめ構築されたダッシュボードにより、所望の測定基準にわたりデータが視覚化され、新しい分析的洞察が発見され、性能指標が追跡され、オートメーションについてＲＯＩが発見され、ユーザーのコンピューティングシステム上で遠隔測定モニタリングが実行され、エラーと異常が検出され、およびオートメーションがデバッグされ得る。自動化のライフサイクルを通じてオートメーションを管理するために、自動化管理コンソール（例えば、ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｏｐｓ（商標））が提供され得る。組織は、オートメーションの構築方法、ユーザーがそれらとともにできること、およびユーザーがどのオートメーションにアクセスできるかを統治し得る。

ハイパーオートメーションシステム１００は、いくつかの実施形態では、反復的なプラットフォームを提供する。プロセスが発見され得、オートメーションが構築され得、テストされ得、そして展開され得、性能が測定され得、オートメーションの使用がユーザーに容易に提供され得、フィードバックが得られ得、ＡＩ／ＭＬモデルが訓練され、再訓練され得、そしてプロセス自体が繰り返され得る。これにより、より堅牢で効果的な一連の自動化を促進する。

図２は、１または複数の実施形態によるＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のハイパーオートメーションシステム１００の一部である。ＲＰＡシステム２００は、開発者がワークフローを設計して実装することを可能にするデザイナ２１０を含む。デザイナ２１０は、アプリケーション統合のためのソリューションを提供するとともに、サードパーティアプリケーション、管理情報技術（ＩＴ）タスク、およびビジネスＩＴプロセスを自動化する。デザイナ２１０は、ビジネスプロセスのグラフィック表現である自動化プロジェクトの開発を容易にし得る。簡単に言えば、デザイナ２１０は、ワークフローおよびロボットの（矢印２１１で示される）開発および展開を容易にする。いくつかの実施形態では、デザイナ２１０は、ユーザーのデスクトップ上で実行するアプリケーション、ＶＭでリモートで実行するアプリケーション、ウェブアプリケーションなどであってもよい。

自動化プロジェクトは、上記のように本明細書で「アクティビティ」と定義されるワークフローで開発されたカスタムセットのステップ間の遂行順序および関係の制御を開発者に与えることにより、ルールベースのプロセスの自動化を可能にする。デザイナ２１０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンをクリックする、ファイルを読む、ログパネルに書き込むなどのアクションを含み得る。いくつかの実施形態では、ワークフローは入れ子になっているか、または埋め込まれ得る。

ワークフローのいくつかのタイプには、シーケンス、フローチャート、有限状態機械（ＦＳＭ）、および／またはグローバル例外ハンドラなどを含み得るが、これらに限定されない。シーケンスは、ワークフローを乱雑にすることなく、あるアクティビティから別のアクティビティへのフローを可能にする、線形プロセスに特に適し得る。フローチャートは、特により複雑なビジネスロジックに適し得、複数の分岐ロジックオペレータを介して、より多様な方法で意思決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適し得る。ＦＳＭは、条件（すなわち、遷移）またはアクティビティによりトリガされる有限の数の状態をそれらの遂行中に使用し得る。グローバル例外ハンドラは、遂行エラーに遭遇したときのワークフローの挙動を決定したり、プロセスをデバッグしたりするのに特に適し得る。

ワークフローがデザイナ２１０内で開発されると、ビジネスプロセスの遂行は、コンダクタ２２０によって調整され、デザイナ２１０内で開発されたワークフローを遂行する１または複数のロボット２３０を調整する。コンダクタ２２０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｏｒｃｈｅｓｔｒａｔｏｒ（商標）である。コンダクタ２２０は、環境におけるリソースの生成、監視、および展開の管理を容易にする。コンダクタ２２０は、サードパーティのソリューションおよびアプリケーションとの統合ポイントとして動作し得る。上記により、いくつかの実施形態では、コンダクタ２２０は、図１のコアハイパーオートメーションシステム１２０の一部であり得る。

コンダクタ２２０は、全てのロボット２３０を管理し得、ロボット２３０を集中ポイントから（矢印２３１で示される）接続して遂行する。管理され得るロボット２３０のタイプには、アテンディッドロボット２３２、アンアテンディッドロボット２３４、開発ロボット（アンアテンディッドロボット２３４と同様であるが、開発およびテストの目的で使用される）、および非生産ロボット（アテンディッドロボット２３２と同様であるが、開発およびテストの目的で使用される）が含まれるが、これらに限定されない。アテンディッドロボット２３２は、ユーザーイベントによってトリガされ、同じコンピューティングシステム上で人と並んで動作する。アテンディッドロボット２３２は、集中プロセスデプロイメントおよびロギング媒体のためのコンダクタ２２０とともに使用され得る。アテンディッドロボット２３２は、人のユーザーが様々なタスクを達成するのを支援してもよく、ユーザーイベントによってトリガされてもよい。いくつかの実施形態では、プロセスは、このタイプのロボット上でコンダクタ２２０から開始することができず、および／またはそれらはロックされた画面の下で実行することができない。特定の実施形態では、アテンディッドロボット２３２は、ロボットトレイからまたはコマンドプロンプトからのみ起動され得る。アテンディッドロボット２３２は、いくつかの実施形態では、人の監督下で動作することが好ましい。

アンアテンディッドロボット２３４は、仮想環境で無人で動作し、多くのプロセスを自動化し得る。アンアテンディッドロボット２３４は、リモート遂行、監視、スケジューリング、および作業キューのサポートの提供を担当し得る。全てのロボットタイプのためのデバッグは、いくつかの実施形態では、デザイナ２１０で実行され得る。アテンディッドロボットおよびアンアテンディッドロボットの両方は、メインフレーム、ウェブアプリケーション、ＶＭ、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などにより生成されたもの）、およびコンピューティングシステムアプリケーション（例えば、デスクトップおよびラップトップアプリケーション、モバイルデバイスアプリケーション、ウェアラブルコンピュータアプリケーションなど）を含むが、これらに限定されない様々なシステムおよびアプリケーションを（破線のボックス２９０で示される）自動化し得る。

コンダクタ２２０は、プロビジョニング、展開、構成、キューイング、監視、ロギング、および／または相互接続性の提供を含むがこれらに限定されない（矢印２３２で示される）様々な能力を有し得る。プロビジョニングは、ロボット２３０とコンダクタ２２０（例えば、ウェブアプリケーション）との間の接続を作成し、維持することを含み得る。展開は、遂行のために割り当てられたロボット２３０へのパッケージバージョンの正しい配信を保証することを含み得る。構成は、ロボット環境およびプロセス構成の維持および配信を含み得る。キューイングは、キューおよびキュー項目の管理を提供することを含み得る。監視は、ロボットの特定データを追跡し、ユーザーの権限を維持することを含み得る。ロギングは、データベース（例えば、構造化照会言語（ＳＱＬ）データベースまたはＮｏＳＱＬデータベース）および／または別のストレージメカニズム（例えば、大規模なデータセットを格納し、迅速にクエリを実行する能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）へのログの保存およびインデックス作成を含み得る。コンダクタ２２０は、サードパーティのソリューションおよび／またはアプリケーションのための通信の集中点として操作することにより、相互接続性を提供し得る。

ロボット２３０は、デザイナ２１０で構築されたワークフローを実装する遂行エージェントである。ロボット（複数可）２３０のいくつかの実施形態の１つの商業的な例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット２３０は、デフォルトで、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。その結果、このようなロボット２３０は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開くことができ、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有し得る。

いくつかの実施形態では、ロボット２３０は、ユーザーモードで設置され得る。このようなロボット２３０については、所定のロボット２３０が設置されているユーザーと同じ権利を有することを意味する。この特色はまた、各マシンを最大限に全活用することを保証する高密度（ＨＤ）ロボットにも利用可能であり得る。いくつかの実施形態では、いずれかのタイプのロボット２３０は、ＨＤ環境で構成され得る。

いくつかの実施形態におけるロボット２３０は、複数のコンポーネントに分割され、それぞれが特定の自動化タスクに特化されている。いくつかの実施形態におけるロボットコンポーネントは、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、およびコマンドラインを含むが、これらに限定されない。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ２２０と遂行ホスト（すなわち、ロボット２３０が遂行されるコンピューティングシステム）との間のプロキシとして動作する。これらのサービスは、ロボット２３０の資格情報を任されて管理する。コンソールアプリケーションは、ローカルシステム下のＳＣＭにより起動される。

いくつかの実施形態におけるユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ２２０と遂行ホストとの間のプロキシとして動作する。ユーザーモードロボットサービスは、ロボット２３０の資格情報を任されて管理し得る。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが自動的に起動され得る。

エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッションの下で与えられたジョブを遂行し得る（つまり、ワークフローを遂行し得る）。エグゼキュータは、モニタ毎のドットパーインチ（ＤＰＩ）設定を認識し得る。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標） Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであり得る。エージェントはサービスのクライアントであり得る。エージェントは、ジョブの開始または停止、設定の変更を依頼し得る。コマンドラインはサービスのクライアントである。コマンドラインは、ジョブの開始を要求し、その出力を待つことができるコンソールアプリケーションである。

上で説明したように、ロボット２３０のコンポーネントが分割されていることは、開発者、サポートユーザー、およびコンピューティングシステムが、各コンポーネントが遂行していることをより容易に実行し、特定し、および追跡するのに役立つ。この方法では、エグゼキュータとサービスに異なるファイアウォールルールを設定するなど、コンポーネントごとに特別な挙動を構成し得る。エグゼキュータは常に、いくつかの実施形態では、モニタごとのＤＰＩ設定を認識し得る。その結果、ワークフローは、ワークフローが作成されたコンピューティングシステムの構成に関係なく、いずれかのＤＰＩで遂行し得る。また、いくつかの実施形態では、デザイナ２１０からのプロジェクトは、ブラウザのズームレベルに依存しないようにし得る。ＤＰＩを認識していないまたは意図的に認識していないとマークされているアプリケーションの場合、いくつかの実施形態ではＤＰＩを無効にし得る。

本実施形態におけるＲＰＡシステム２００は、ハイパーオートメーションシステムの一部である。開発者は、デザイナ２１０を使用して、（例えば、そのＡＩセンターの一部として）コアハイパーオートメーションシステム２４０に展開されたＡＩ／ＭＬモデルを利用するＲＰＡロボットを構築かつテストし得る。そのようなＲＰＡロボットは、ＡＩ／ＭＬモデル（複数可）の遂行のための入力を送信し、コアハイパーオートメーションシステム２４０を介してそこからの出力を受信し得る。

１または複数のロボット２３０は、上述したように、リスナーであってもよい。これらのリスナーは、ユーザーが彼らのコンピューティングシステムを使用するときに彼らがしていることに関する情報をコアハイパーオートメーションシステム２４０に提供し得る。この情報は、その後、プロセスマイニング、タスクマイニング、タスクキャプチャなどのためにコアハイパーオートメーションシステムによって使用され得る。

アシスタント／チャットボット２５０は、ユーザーがＲＰＡローカルロボットを起動することを可能にするために、ユーザーコンピューティングシステム上に提供され得る。アシスタントは、例えば、システムトレイに配置され得る。チャットボットは、ユーザーがチャットボットのテキストを見ることができるように、ユーザーインターフェースを有し得る。あるいは、チャットボットは、ユーザーインターフェースを持たず、バックグラウンドで実行し、ユーザーの発話に対してコンピューティングシステムのマイクを使用して聞くことができる。

いくつかの実施形態では、データラベリングは、ロボットが実行しているコンピューティングシステムのユーザーによって、またはロボットが情報を提供する別のコンピューティングシステム上で実行され得る。例えば、ロボットがＶＭユーザーのために画像にＣＶを行うＡＩ／ＭＬモデルを呼び出すが、ＡＩ／ＭＬモデルが画面上のボタンを正しく特定しない場合、ユーザーは、誤特定または非特定コンポーネントの周りに矩形を描き、正しい特定を有するテキストを潜在的に提供し得る。この情報は、コアハイパーオートメーションシステム２４０に提供され得、その後、ＡＩ／ＭＬモデルの新バージョンの訓練のために後で使用され得る。

図３は、１または複数の実施形態による展開されたＲＰＡシステム３００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム３００は、図２のＲＰＡシステム２００および／または図１のハイパーオートメーションシステム１００の一部であり得る。展開されたＲＰＡシステム３００は、異なるコンピューティングプロセスの自動化のためのエンタープライズレベル、ユーザーレベル、またはデバイスレベルの自動化ソリューションなどを提供する、クラウドベースのシステム、オンプレミスシステム、デスクトップベースのシステムであり得る。

クライアント側３０１、サーバー側３０２、またはその両方が、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、いずれかの所望の数のコンピューティングシステムを含み得ることに留意すべきである。クライアント側３０１では、ロボットアプリケーション３１０は、エグゼキュータ３１２、エージェント３１４、およびデザイナ３１６を含む。しかし、いくつかの実施形態では、デザイナ３１６は、エグゼキュータ３１２およびエージェント３１４と同じコンピューティングシステム上で実行していない場合がある。エグゼキュータ３１２はプロセスを実行している。図３に示すように、複数のビジネスプロジェクトが同時に実行され得る。エージェント３１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、本実施形態では、全てのエグゼキュータ３１２のための単一の接続ポイントである。本実施形態における全てのメッセージはコンダクタ３４０にログインされ、それはデータベースサーバー３５５、ＡＩ／ＭＬサーバー３６０、インデクササーバー３７０、またはそれらの任意の組み合わせを介してそれらをさらに処理する。図２に関して上述したように、エグゼキュータ３１２は、ロボットコンポーネントであり得る。

いくつかの実施形態では、ロボットは、マシン名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理し得る。同時に実行される複数のインタラクティブセッションをサポートするコンピューティングシステム（Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２など）では、複数のロボットが同時に実行され得、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行され得る。これは、上記のＨＤロボットと呼ばれる。

エージェント３１４はまた、ロボットの状態を送信し（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）、遂行されるパッケージの要求されるバージョンをダウンロードすることにも責任を負う。エージェント３１４とコンダクタ３４０との間の通信は、いくつかの実施形態では、常にエージェント３１４によって開始される。通知シナリオでは、エージェント３１４は、後にコンダクタ３３０によってロボットにコマンド（例えば、開始、停止など）を送信するために使用されるＷｅｂＳｏｃｋｅｔチャネルを開いてもよい。

リスナー３３０は、リスナー３３０が常駐するアテンディッドコンピューティングシステムおよび／またはアンアテンディッドコンピューティングシステムの動作とのユーザーインタラクションに係るデータを監視し記録する。リスナー３３０は、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、ＲＰＡロボット、オペレーティングシステムの一部、それぞれのコンピューティングシステム用のダウンロード可能なアプリケーション、または他の任意のソフトウェアおよび／もしくはハードウェアであり得る。実際、いくつかの実施形態では、リスナーのロジックは、物理的なハードウェアを介して部分的または完全に実装される。

サーバー側３０２には、コンダクタ３４０に加えて、プレゼンテーション層３３３、サービス層３３４、および永続層３３６が含まれる。プレゼンテーション層３３３は、ウェブアプリケーション３４２と、Ｏｐｅｎ Ｄａｔａ Ｐｒｏｔｏｃｏｌ（ＯＤａｔａ）Ｒｅｐｒｅｓｅｎｔａｔｉｖｅ Ｓｔａｔｅ Ｔｒａｎｓｆｅ（ＲＥＳＴ）アプリケーションプログラミングインターフェース（ＡＰＩ）エンドポイント３４４と、通知および監視３４６と、を含み得る。サービス層３３４は、ＡＰＩ実装／ビジネスロジック３４８を含み得る。永続層３３６は、データベースサーバー３５５、ＡＩ／ＭＬサーバー３６０、およびインデクササーバー３７０を含み得る。例えば、コンダクタ３４０は、ウェブアプリケーション３４２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント３４４、通知および監視３４６、ならびにＡＰＩ実装／ビジネスロジック３４８を含む。いくつかの実施形態では、ユーザーがコンダクタ３４０のインターフェース（例えば、ブラウザ３２０を介して）で実行するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実行される。このような動作は、本明細書に記載の１または複数の実施形態の範囲を逸脱することなく、ロボット上でのジョブの起動、キュー内のデータの追加／削除、無人で実行するジョブのスケジューリングなどを含み得るが、これらに限定されない。ウェブアプリケーション３４２は、サーバープラットフォームのビジュアル層であり得る。この実施形態では、ウェブアプリケーション３４２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）およびジャバスクリプト（ＪＳ）を使用する。しかし、本明細書に記載の１または複数の実施形態の範囲を逸脱することなく、いずれかの所望のマークアップ言語、スクリプト言語、または他のいずれかのフォーマットを使用し得る。ユーザーは、コンダクタ３４０を制御するための様々な動作を実行するために、本実施形態ではブラウザ３２０を介してウェブアプリケーション３４２からのウェブページとインタラクションする。例えば、ユーザーは、ロボットグループを作成し、ロボットへのパッケージの割り当てを行い、ロボット毎および／またはプロセス毎のログを解析し、ロボットを起動および停止などし得る。

ウェブアプリケーション３４２に加えて、コンダクタ３４０は、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント３４４を公開するサービス層３３４も含む。しかし、本明細書に記載の１または複数の実施形態の範囲を逸脱することなく、他のエンドポイントが含まれていてもよい。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション３４２とエージェント３１４の両方により消費される。エージェント３１４は、本実施形態では、クライアントコンピュータ上の１または複数のロボットのスーパーバイザである。

本実施形態のＲＥＳＴ ＡＰＩは、（少なくとも矢印３４９で示される）構成、ロギング、監視、およびキューイング機能を含む。構成エンドポイントは、いくつかの実施形態では、アプリケーションのユーザー、権限、ロボット、アセット、リリース、および環境を定義し、構成するために使用されてもよい。ロギングＲＥＳＴエンドポイントは、例えば、エラー、ロボットによって送信された明示的なメッセージ、およびその他の環境固有の情報など、様々な情報をログに記録するために使用され得る。デプロイメントＲＥＳＴエンドポイントは、コンダクタ３４０においてジョブ開始コマンドが使用された場合に遂行されるべきパッケージのバージョンを問い合わせるためにロボットにより使用されてもよい。キューイングＲＥＳＴエンドポイントは、キューへのデータの追加、キューからのトランザクションの取得、トランザクションのステータスの設定など、キューおよびキューアイテムの管理を担ってもよい。

ＲＥＳＴエンドポイントの監視は、ウェブアプリケーション３４２およびエージェント３１４を監視してもよい。通知および監視ＡＰＩ３４６は、エージェント３１４の登録、エージェント３１４への構成設定の配信、ならびにサーバーおよびエージェント３１４からの通知の送受信に使用されるＲＥＳＴエンドポイントであってもよい。通知および監視ＡＰＩ３４６は、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用してもよい。図３に示すように、本明細書で説明される１または複数のアクティビティ／アクションが矢印３５０および３５１によって表される。

サービス層３３４のＡＰＩは、いくつかの実施形態では、適切なＡＰＩアクセスパスの構成を通じて、例えば、コンダクタ３４０および全体的なハイパーオートメーションシステムがオンプレミス展開タイプまたはクラウドベース展開タイプを有するかどうかに基づいて、アクセスされ得る。コンダクタ３４０のためのＡＰＩは、コンダクタ３４０に登録されたさまざまなエンティティに関する統計を照会するためのカスタムメソッドを提供し得る。各論理リソースは、いくつかの実施形態では、ＯＤａｔａエンティティであってもよい。そのようなエンティティにおいて、ロボット、プロセス、キューなどのコンポーネントは、プロパティ、関係、および動作を有してよい。コンダクタ３４０のＡＰＩは、いくつかの実施形態では、以下の２つの方法でウェブアプリケーション３４２および／またはエージェント３１４によって消費され得る：コンダクタ３４０からＡＰＩアクセス情報を得ることによって、またはＯＡｕｔｈフローを使用するために外部アプリケーションを登録することによって。

永続層３３６は、本実施形態では、データベースサーバー３５５（例えば、ＳＱＬサーバー）、ＡＩ／ＭＬサーバー３６０（例えば、ＡＩセンター機能などのＡＩ／ＭＬモデル提供サービスを提供するサーバー）、およびインデクササーバー３７０の３つのサーバーを含む。本実施形態におけるデータベースサーバー３５５は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を格納する。この情報は、いくつかの実施形態では、ウェブアプリケーション３４２を介して管理される。データベースサーバー３５５は、キューおよびキューアイテムを管理してもよい。いくつかの実施形態では、データベースサーバー３５５は、ロボットにより記録されたメッセージを（インデクササーバー３７０に加えて、またはそれに代えて）格納してもよい。データベースサーバー３５５は、例えば、クライアント側３０１にインストールされたリスナー３３０から受信した、プロセスマイニング、タスクマイニング、および／またはタスクキャプチャ関連データも格納し得る。リスナー３３０およびデータベース３５５の間に矢印は示されていないが、リスナー３３０は、いくつかの実施形態では、データベース３５５と通信することができ、逆もまた同様であることが理解されるべきである。このデータは、ＰＤＤ、画像、ＸＡＭＬファイルなどの形態で格納され得る。リスナー３３０は、リスナー３３０が常駐するそれぞれのコンピューティングシステム上のユーザーアクション、プロセス、タスク、およびパフォーマンスメトリクスを傍受するように構成され得る。例えば、リスナー３３０は、そのそれぞれのコンピューティングシステム上のユーザーアクション（例えば、クリック、タイプされた文字、ロケーション、アプリケーション、アクティブ要素、時間など）を記録し得、次にこれらをデータベースサーバー３５５に提供し格納されるのに適した形式に変換し得る。

ＡＩ／ＭＬサーバー３６０は、ＡＩ／ＭＬモデルの自動化への組み込みを容易にする。あらかじめ建築されたＡＩ／ＭＬモデル、モデルテンプレート、およびさまざまな展開オプションにより、データ科学者でない人でもこのような機能にアクセスできるようにし得る。展開されたオートメーション（例えば、ＲＰＡロボット）は、ＡＩ／ＭＬサーバー３６０からＡＩ／ＭＬモデルを呼び出し得る。ＡＩ／ＭＬモデルの性能は、監視され、そして人間が検証したデータを使用して訓練され、改善され得る。ＡＩ／ＭＬサーバー３６０は、ＡＩ／ＭＬモデルの新しいバージョンを訓練するために、訓練ジョブをスケジュールし、遂行し得る。

ＡＩ／ＭＬサーバー３６０は、開発時にユーザーのためのさまざまなＭＬスキルを構成するためのＡＩ／ＭＬモデルおよびＭＬパッケージに係るデータを格納し得る。本明細書で使用されるＭＬスキルは、例えば、オートメーションによって使用され得る、プロセスのためのあらかじめ構築され訓練されたＭＬモデルである。ＡＩ／ＭＬサーバー４６０はまた、限定されないが、意図分析、自然言語処理（ＮＬＰ）、音声分析、異なるタイプのＡＩ／ＭＬモデルなどを含む、さまざまなＡＩ／ＭＬ能力のための文書理解技術およびフレームワーク、アルゴリズムおよびソフトウェアパッケージに係るデータを格納し得る。

いくつかの実施形態では任意であるが、インデクササーバー３７０は、ロボットにより記録された情報を保存し、インデックスを作成する。特定の実施形態では、インデクササーバー３７０は、構成設定を介して無効化されてもよい。いくつかの実施形態では、インデクササーバー３７０は、オープンソースプロジェクトの全文検索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。ロボットにより記録されたメッセージ（例えば、ログメッセージまたはライン書き込みのようなアクティビティを使用して）は、ロギングＲＥＳＴエンドポイント（複数可）を介してインデクササーバー３７０に送信されてもよく、そこで将来の利用のためにそれらはインデックス化される。

図４は、１または複数の実施形態による、デザイナ４１０、アクティビティ４２０、４３０、４４０、４５０、ドライバ４６０、ＡＰＩ４７０、およびＡＩ／ＭＬモデル４８０間の関係を説明するアーキテクチャ図である。本明細書で示されるように、開発者は、デザイナ４１０を用いて、ロボットによって遂行されるワークフローを開発する。様々なタイプのアクティビティは、いくつかの実施形態では、開発者に表示され得る。デザイナ４１０は、ユーザーのコンピューティングシステムに対してローカルであっても、またはそれに対してリモートであってもよい（例えば、ＶＭまたはリモートウェブサーバーとインタラクションするローカルウェブブラウザーを介してアクセスされる）。ワークフローは、ユーザー定義アクティビティ４２０、ＡＰＩ駆動アクティビティ４３０、ＡＩ／ＭＬアクティビティ４４０、および／または、ＵＩオートメーションアクティビティ４５０を含み得る。（点線で示すように）例として、ユーザー定義アクティビティ４２０およびＡＰＩ駆動アクティビティ４４０は、それらのＡＰＩを介してアプリケーションとインタラクションする。次いで、ユーザー定義アクティビティ４２０および／またはＡＩ／ＭＬアクティビティ４４０は、いくつかの実施形態では、ロボットが動作しているコンピューティングシステムに対してローカルに、および／またはそれに対してリモートに位置され得る、１または複数のＡＩ／ＭＬモデル４８０を呼び出し得る。

いくつかの実施形態では、画像中の非テキストの視覚的コンポーネントを特定することができ、これは、本明細書ではＣＶと呼ばれる。ＣＶは、ＡＩ／ＭＬモデル（複数可）４８０によって少なくとも部分的に実行され得る。そのようなコンポーネントに係るいくつかのＣＶアクティビティは、限定されないが、ＯＣＲを用いたセグメント化されたラベルデータからのテキストの抽出、ファジーテキストマッチング、ＭＬを用いたセグメント化されたラベルデータのクロッピング、ラベルデータにおける抽出されたテキストとグランドトゥルースデータとの比較等を含み得る。いくつかの実施形態では、ユーザー定義のアクティビティ４２０に実装され得るアクティビティの数は、数百または数千であってもよい。しかし、本明細書に記載の１または複数の実施形態の範囲を逸脱することなく、任意の数および／またはアクティビティのタイプが使用され得る。

ＵＩオートメーションアクティビティ４５０は、低レベルのコードで記述され、画面とのインタラクションを促進する特別な低レベルのアクティビティのサブセットである。ＵＩオートメーションアクティビティ４５０は、ロボットが所望のソフトウェアとインタラクションすることを可能にするドライバ４６０を介して、これらのインタラクションを促進する。例えば、ドライバ４６０は、オペレーティングシステム（ＯＳ）ドライバ４６２、ブラウザドライバ４６４、ＶＭドライバ４６６、エンタープライズアプリケーションドライバ４６８などを含み得る。いくつかの実施形態では、コンピューティングシステムとのインタラクションを実行するために、１または複数のＡＩ／ＭＬモデル４８０はＵＩオートメーションアクティビティ４５０によって使用され得る。特定の実施形態では、ＡＩ／ＭＬモデル４８０は、ドライバ４６０を増強するか、またはそれらを完全に置き換え得る。実際、特定の実施形態では、ドライバ４６０は含まれない。

ドライバ４６０は、ＯＳドライバ４６２を介して、フックを探したり、キーを監視したりするなど、低レベルでＯＳとインタラクションし得る。ドライバ４６０は、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を促進してもよい。例えば、「クリック」アクティビティは、ドライバ４６０を介して、これらの異なるアプリケーションにおいて同じ役割を果たす。

図５は、１または複数の実施形態による、コントローラに実装されたＲＰＡによる事前認証アクセスを提供するように構成されたコンピューティングシステム５００を示すアーキテクチャ図である。１または複数の実施形態によると、ＲＰＡはアイデンティティを有するロボットまたは機械であるため、作成されたジョブが作成されると、そのジョブはアイデンティティに基づいてＲＰＡに割り当てられる。つまり、コントローラはＲＰＡに関する情報を知っているため、コントローラによってＲＰＡにジョブが割り当てられる。次に、コントローラ（場合によってはアイデンティティサービスも使用）は、ＲＰＡをチェックし、ＲＰＡが正しいアイデンティティを持っているかどうか、ＲＰＡに特定のジョブが割り当てられているかどうかをチェックする（例えば、コントローラとアイデンティティサービスはそれぞれ構成をチェックする）。例えば、アイデンティティサービスは、コントローラの事前認証された特権を確認でき、これには、任意の範囲のセットに対する任意のユーザーアイデンティティのトークンの要求が含まれる。次に、コントローラはジョブに対して事前認証された特権を確認し得る（例えば、ユーザーアカウントは対応する構成を示す）。このような場合、ユーザーアイデンティティに対して事前承認が実行されるため、コントローラおよび／またはＲＰＡはユーザーアイデンティティに対応するユーザーになりすますことができる。事前認証された特権の確認の例には、構成が正しく設定されているかどうかのチェックおよびトークン要求の決定を含む（例えば、場合によっては、ジョブを遂行する必要がある場合、コントローラはジョブを見て、そのジョブにどのトークンが必要であるかを決定する。次に、コントローラはアイデンティティサービスに行き、ジョブ用の事前承認されたトークンを取得する）。

いくつかの実施形態では、コンピューティングシステム５００は、本明細書に描かれたおよび／または記載された１または複数のコンピューティングシステムであってもよい。特定の実施形態では、コンピューティングシステム５００は、図１および図２に示されるようなハイパーオートメーションシステムの一部であり得る。コンピューティングシステム５００は、情報を通信するためのバス５０５または他の通信機構と、情報を処理するためのバス５０５に結合されたプロセッサ（複数可）５１０とを含む。プロセッサ（複数可）５１０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらのいずれかの組み合わせを含む、いずれかのタイプの一般的または特定用途向けプロセッサであり得る。プロセッサ（複数可）５１０はまた、複数の処理コアを有してもよく、コアの少なくとも一部は、特定の機能を実行するように構成され得る。いくつかの実施形態では、複数並列処理が使用されてもよい。特定の実施形態では、少なくとも１つのプロセッサ（複数可）５１０は、生物学的ニューロンを模倣する処理要素を含むニューロモーフィック回路であり得る。いくつかの実施形態では、ニューロモーフィック回路は、フォンノイマンコンピューティングアーキテクチャの典型的なコンポーネントを必要としない場合がある。

コンピューティングシステム５００は、プロセッサ（複数可）５１０によって遂行される情報および命令を格納するためのメモリ５１５をさらに含む。メモリ５１５は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気ディスクもしくは光ディスクなどの静的記憶装置、または他のタイプの非一時的なコンピュータ読み取り可能な媒体、あるいはそれらのいずれかの組み合わせで構成され得る。非一時的なコンピュータ読み取り可能な媒体は、プロセッサ（複数可）５１０によりアクセス可能ないずれかの利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体または両方などを含み得る。また、媒体は、取り外し可能なもの、取り外し不可能なもの、または両方であってもよい。

さらに、コンピューティングシステム５００は、無線および／または有線接続を介して通信ネットワークへのアクセスを提供するために、トランシーバなどの通信デバイス５２０を含む。いくつかの実施形態では、通信デバイス５２０は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ）通信、汎用パケット無線サービス（ＧＰＲＳ：Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、ユニバーサル移動体通信システム（ＵＭＴＳ：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ：Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速パケットアクセス（ＨＳＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ：ＬＴＥ Ａｄｖａｎｃｅｄ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、８０２．１６ｘ、８０２．１５、Ｈｏｍｅ Ｎｏｄｅ－Ｂ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線ＩＤタグ（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、近距離無線通信（ＮＦＣ：Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、第５世代（５Ｇ）、Ｎｅｗ Ｒａｄｉｏ（ＮＲ）、それらのいずれかの組み合わせ、および／または本明細書に記載の１もしくは複数の実施形態の範囲から逸脱することなく、いずれかの他の現在存在するまたは将来実装される通信標準および／またはプロトコルを使用するように構成され得る。いくつかの実施形態では、通信デバイス５２０は、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、単数のアンテナ、アレイ状のアンテナ、パネル状のアンテナ、フェーズドアンテナ、スイッチドアンテナ、ビームフォーミングアンテナ、ビームステアリングアンテナ、それらの組み合わせ、および／またはいずれかの他のアンテナ構成である１または複数のアンテナを含み得る。

プロセッサ（複数可）５１０は、バス５０５を介して、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高精細ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、ＩＰＳ（Ｉｎ－Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）ディスプレイ、またはユーザーに情報を表示するためのいずれかの他の適切なディスプレイなどのディスプレイ５２５にさらに結合されている。ディスプレイ５２５は、抵抗方式、静電容量方式、表面弾性波（ＳＡＷ）静電容量方式、赤外線方式、光学イメージング方式、分散信号方式、音響パルス認識方式、フラストレート全内部反射方式などを用いて、タッチ（ハプティック）ディスプレイ、３次元（３Ｄ）タッチディスプレイ、マルチ入力タッチディスプレイ、マルチタッチディスプレイなどとして構成されていてもよい。本明細書に記載の１または複数の実施形態の範囲を逸脱することなく、いずれかの好適な表示デバイスおよびハプティックＩ／Ｏを使用することができる。

コンピュータマウス、タッチパッドなどのようなキーボード５３０およびカーソル制御デバイス５３５は、ユーザーがコンピューティングシステム５００とインターフェースすることを可能にするために、バス５０５にさらに結合されている。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在しない場合があり、ユーザーは、ディスプレイ５２５および／またはタッチパッド（図示せず）のみを介してデバイスとインタラクションすることができる。任意の入力デバイスの種類および組み合わせは、設計の選択の問題として使用され得る。特定の実施形態では、物理的な入力デバイスおよび／またはディスプレイは存在しない。例えば、ユーザーは、コンピューティングシステム５００と通信している別のコンピューティングシステムを介してリモートでそれとインタラクションしてもよいし、コンピューティングシステム５００は自律的に動作してもよい。

メモリ５１５は、プロセッサ（複数可）５１０により遂行されたときに機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５４０を含む。モジュールは、本明細書に記載されたプロセスの全部もしくは一部またはその派生物を実行するように構成されたモジュール５４５（コントローラに実装されたＲＰＡによる事前認証アクセスなど）をさらに含む。コンピューティングシステム５００は、付加的な機能を含む１または複数の付加的な機能モジュール５５０を含み得る。

当業者であれば、「システム」は、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、サーバー、組み込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、または他のいずれかの適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上述した機能を「システム」により実行されるものとして提示することは、何ら本明細書に記載の実施形態の範囲を限定することを意図するものではなく、多くの実施形態の一例を提供することを意図するものである。実際、本明細書に開示された方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技法と整合性のあるローカライズされた形態および分配された形態で実装されてもよい。コンピューティングシステムは、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワーク、衛星通信ネットワーク、インターネット、パブリッククラウドまたはプライベートクラウド、ハイブリッドクラウド、サーバーファーム、それらのいずれかの組み合わせなどの一部であり得、そうでない場合はそれらによりアクセス可能であり得る。本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、任意の局所または分散アーキテクチャが使用され得る。

本明細書で説明するシステム特色のいくつかは、実装の独立性をより強調するために、モジュールとして提示されていることに留意すべきである。例えば、モジュールは、カスタムの非常に大規模な集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他の個別部品のような既製の半導体を含むハードウェア回路として実装され得る。また、モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、グラフィックス処理ユニットなどのプログラマブルハードウェアデバイスに実装され得る。

モジュールはまた、様々なタイプのプロセッサにより遂行されるためのソフトウェアに少なくとも部分的に実装され得る。例えば、遂行可能コードの特定された単位は、例えば、オブジェクト、プロシージャ、または関数として編成されていてもよいコンピュータ命令の１または複数の物理的または論理的なブロックを含み得る。それにもかかわらず、遂行可能な特定されたモジュールは、物理的に一緒に配置されている必要はなく、論理的に結合されたときにモジュールを含み、モジュールのために述べられた目的を達成するために、異なる場所に格納された別々の命令を含んでいてもよい。さらに、モジュールは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープのような非一時的なコンピュータ読み取り可能な媒体、および／または本明細書に記載の１もしくは複数の実施形態の範囲から逸脱することなくデータを格納するために使用される他のいずれかの非一時的なコンピュータ読み取り可能な媒体に格納されていてもよい。

実際、遂行可能コードのモジュールは、単一の命令であってもよいし、多数の命令であってもよいし、さらには、複数の異なるコードセグメント、異なるプログラム間、および複数のメモリデバイス間に分散されていてもよい。同様に、動作データは、モジュール内で特定され、ここで示されてもよく、いずれかの適切な形態で具現化され、いずれかの適切なタイプのデータ構造体内で組織化され得る。動作データは、単一のデータセットとして収集されてもよいし、または異なる記憶デバイスにわたり異なる場所に分散されていてもよく、少なくとも部分的には、単にシステムまたはネットワーク上の電子信号として存在していてもよい。

本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、さまざまなタイプのＡＩ／ＭＬモデルが訓練され、展開され得る。例えば、図６は、１または複数の実施形態による画像内のグラフィカル要素を認識するように訓練されたニューラルネットワーク６００の例を示す。ここで、ニューラルネットワーク６００は、（列６２０で示される）入力層の入力「ニューロン」１～Ｉに関する入力として、１９２０ｘ１０８０の画面のスクリーンショット画像の（列６１０で示される）ピクセルを受信する。この場合、Ｉは、スクリーンショット画像のピクセルの総数である２，０７３，６００である。

ニューラルネットワーク６００はまた、（列６３０および６４０で表される）多数の隠れ層を含む。ＤＬＮＮと浅い学習ニューラルネットワーク（ＳＬＮＮ）はどちらも通常複数の層を有するが、ＳＬＮＮは場合によっては１または２つの層しか持たず、通常はＤＬＮＮよりも少ない場合がある。典型的に、ニューラルネットワークアーキテクチャは、ニューラルネットワーク６００の場合と同様に、入力層、複数の中間層（例えば、隠れ層）、および（列６５０で表される）出力層を含む。

多くの場合、ＤＬＮＮは多くの層（１０、５０、２００など）を有し、後続の層は通常、前の層からの機能を再利用して、より複雑で一般的な関数を計算する。一方、ＳＬＮＮは少数のレイヤーしか有さず、生データサンプルからエキスパート機能が事前に作成されるため、比較的迅速に訓練する傾向がある。ただし、特徴抽出は面倒である。一方、ＤＬＮＮは通常、エキスパート機能を必要としないが、訓練に時間がかかり、より多くの層を有する傾向がある。

どちらのアプローチでも、層は訓練セットで同時に訓練され、通常は分離された交差検証セットでオーバーフィッティングをチェックする。両方の技法でも優れた結果が得られ、両方のアプローチにかなりの熱意がある。個々の層の最適なサイズ、形状、および数は、それぞれのニューラルネットワークによって対処される問題に依存する。

図６に戻ると、入力層として提供されるピクセルは、隠れ層１のＪ個のニューロンへの入力として供給される。この例では、すべてのピクセルが各ニューロンに供給されるが、限定されないが、フィードフォワードネットワーク、ラジアルベーシスネットワーク、ディープフィードフォワードネットワーク、ディープコンボリューションインバースグラフィックスネットワーク、コンボリューションニューラルネットワーク、リカレントニューラルネットワーク、人工ニューラルネットワーク、長期／短期記憶ネットワーク、ゲーテッドリカレントユニットネットワーク、生成的敵対ネットワーク、リキッドステートマシン、オートエンコーダ、変分オートエンコーダ、ノイズ除去オートエンコーダ、スパースオートエンコーダ、エクストリームラーニングマシン、エコー状態ネットワーク、マルコフ連鎖、ホップフィールドネットワーク、ボルツマンマシン、制限付きボルツマンマシン、深層残差ネットワーク、コホーネンネットワーク、ディープビリーフネットワーク、ディープコンボリューションネットワーク、サポートベクターマシン、ニューラルチューリングマシン、または本明細書に記載の１もしくは複数の実施形態の範囲から逸脱しない任意の他の適切なタイプまたは組み合わせのニューラルネットワークを含む、個々にまたは組み合わせて使用され得るさまざまなアーキテクチャが可能である。

隠れ層２（６３０）は、隠れ層１（６２０）から入力を受信し、隠れ層３は隠れ層２（６３０）から入力を受信し、というように、（楕円６５５で表される）最後の隠れ層がその出力を出力層の入力として提供するまで、全ての隠れ層について同じように行われる。ニューロンＩ、Ｊ、Ｋ、およびＬの数は必ずしも等しくなく、したがって、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、ニューラルネットワーク６００の所定の層に対して任意の所望の数の層を使用することができることに留意されたい。実際、特定の実施形態では、所与の層におけるニューロンのタイプは、すべて同じでなくてもよい。

ニューラルネットワーク６００は、画像内で発見されたと考えられるグラフィカル要素に信頼スコアを割り当てるように訓練される。許容できないほど低い尤度を有するマッチングを減らすために、いくつかの実施形態では、信頼しきい値を満たすかまたはそれを超える信頼スコアを有するそれらの結果のみが提供され得る。例えば、信頼しきい値が８０％である場合、この量を超える信頼スコアを有する出力が使用され、残りは無視されてもよい。この場合、出力層は、（出力６６１および６６２で表される）２つのテキストフィールド、（出力６６３で表される）テキストラベル、および（出力６６５で表される）送信ボタンが見つかったことを示す。ニューラルネットワーク６００は、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、これらの要素の位置、寸法、画像、および／または信頼スコアを提供してもよく、これは、この出力を所定の目的のために使用するＲＰＡロボットまたは別のプロセスによってその後使用され得る。

ニューラルネットワークは、典型的には信頼スコアを有する確率的構築物であることに留意されたい。これは、ＡＩ／ＭＬモデルが、訓練中に類似の入力が正しく特定された頻度に基づいて学習したスコアであり得る。例えば、テキストフィールドは、しばしば長方形の形状と白い背景を有する。ニューラルネットワークは、これらの特徴を有するグラフィカル要素を高い信頼度で特定することを学習し得る。信頼スコアの一般的なタイプは、０と１の間の１０進数（信頼度のパーセンテージとして解釈可能）、負の∞と正の∞の間の数、または表現のセット（例えば、「低」、「中」、および「高」）を含む。また、より正確な信頼スコアを得る試みとして、温度スケーリング、バッチ正規化、重み減衰、負対数尤度（ＮＬＬ）など、さまざまな後処理較正技法が採用され得る。

ニューラルネットワークの「ニューロン」は、通常、生体ニューロンの機能に基づく数学的関数である。ニューロンは、重み付けされた入力を受信し、それらが出力を次の層に渡すかどうかを統治する和および活性化関数を有する。この活性化関数は、値がしきい値を下回っている場合は何も起こらない非線形のしきい値付きアクティビティ関数であり得、関数がしきい値を超えると線形に応答する（つまり、正規化線形単位（ＲｅＬＵ）非線形性）。実際のニューロンはほぼ同様のアクティビティ関数を有し得るため、深層学習では合計関数およびＲｅＬＵ関数が使用される。線形変換を介して、情報が差し引かれたり、追加されたりするなどされ得る。本質的に、ニューロンは、それらの基礎となる数学的関数によって統治される次の層に出力を渡すゲーティング関数として機能する。いくつかの実施形態では、少なくともいくつかのニューロンに対して異なる関数が使用され得る。

この場合、ニューロン７００は単層パーセプトロンである。しかしながら、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、任意の適切なニューロンタイプまたはニューロンタイプの組み合わせが使用され得る。活性化関数の重みおよび／または出力値（複数可）の値の範囲は、本明細書に記載の１または複数の実施形態の範囲から逸脱することなく、いくつかの実施形態では異なり得ることにも留意されたい。

例えば、画像内のグラフィカル要素の特定が成功するこの場合について、目標、または「報酬関数」がよく使用される。報酬関数は、状態空間の検索を導き、目標（例えば、グラフィカル要素の成功した特定、ＲＰＡワークフローのアクティビティの次のシーケンスの成功した特定、など）の達成を試みるために、短期および長期の両方の報酬を使用して中間遷移およびステップを探索する。

訓練中、さまざまなラベル付きデータ（この場合は画像）がニューラルネットワーク６００を介して供給される。特定に成功すると、ニューロンへの入力の重みが強化されるが、特定に失敗すると、それらの重みが弱まる。平均二乗誤差（ＭＳＥ）または勾配降下などのコスト関数を使用して、わずかに間違っている予測を、大きく間違っている予測よりもはるかに少ない罰で済むようにし得る。ＡＩ／ＭＬモデルの性能が一定回数の訓練反復後に改善されない場合、データサイエンティストは報酬関数を変更し、特定されていないグラフィカル要素がどこにあるかを示し、誤特定されたグラフィカル要素の修正を提供するなどし得る。

バックプロパゲーションは、フィードフォワードニューラルネットワークでシナプスの重みを最適化するための手法である。バックプロパゲーションは、ニューラルネットワークの隠れ層を「ポップアップ」して、各ノードがどれだけの損失を負担しているかを確認し、その後、誤差率の高いノードに低い重みを与え、逆もまた同様、損失を最小化するように重みを更新するために使用され得る。つまり、バックプロパゲーションは、データサイエンティストが実際の出力と所望の出力との差を最小にするように、重みを繰り返し調整することを可能にする。

バックプロパゲーションのアルゴリズムは、数学的に最適化理論に基づいている。教師あり学習では、出力が既知の訓練データをニューラルネットワークに通し、既知の目標出力からコスト関数を用いて誤差を計算し、これがバックプロパゲーションの誤差を与える。誤差は出力で計算され、この誤差は、誤差を最小化するネットワークの重みの修正に変換される。

ＡＩ／ＭＬモデルは、それが良好な精度のレベル（例えば、検出のためのＦ２またはＦ４しきい値を使用して９７％以上、約２０００エポック）に達するまで、複数のエポックにわたって訓練され得る。この精度レベルは、いくつかの実施形態では、Ｆ１スコア、Ｆ２スコア、Ｆ４スコア、または本明細書に記載の１もしくは複数の実施形態の範囲から逸脱しない任意の他の適切な技法を使用して決定され得る。訓練データで一旦訓練されると、ＡＩ／ＭＬモデルは、ＡＩ／ＭＬモデルが以前に遭遇したことのない評価データのセットでテストされ得る。これは、ＡＩ／ＭＬモデルが、訓練データ中のグラフィカル要素をよく特定するが、他の画像にうまく一般化しないような「過剰適合」をしないことを保証するのに役立つ。

いくつかの実施形態では、ＡＩ／ＭＬモデルがどのような精度レベルを達成することが可能であるかは、知られていない場合がある。したがって、評価データを分析する際にＡＩ／ＭＬモデルの精度が下がり始めている場合（すなわち、モデルは訓練データでは良好に実行しているが、評価データでは性能が低下し始めている）、ＡＩ／ＭＬモデルは、訓練データ（および／または新しい訓練データ）におけるさらなる訓練のエポックを経ることができる。いくつかの実施形態では、ＡＩ／ＭＬモデルは、精度が特定のレベルに達した場合、または訓練されたＡＩ／ＭＬモデルの精度が既存の展開されたＡＩ／ＭＬモデルより優れている場合にのみ展開される。

特定の実施形態では、訓練されたＡＩ／ＭＬモデルの収集は、対象グラフィカル要素のタイプごとにＡＩ／ＭＬモデルを採用する、ＡＩ／ＭＬモデルを採用してＯＣＲを実行する、さらに別のＡＩ／ＭＬモデルを展開してグラフィカル要素間の近接関係を認識する、さらに別のＡＩ／ＭＬモデルを採用して他のＡＩ／ＭＬモデルからの出力に基づいてＲＰＡワークフローを生成するなど、タスクを実現するために使用され得る。例えば、これにより、ＡＩ／ＭＬモデルが集合的にセマンティックオートメーションを可能にし得る。

いくつかの実施形態では、最先端の文、テキスト、および画像埋め込み用のＰｙｔｈｏｎ（商標）フレームワークであるＳｅｎｔｅｎｃｅＴｒａｎｓｆｏｒｍｅｒｓ（商標）などのトランスフォーマーネットワークを使用することができる。このようなトランスフォーマーネットワークは、高いスコアと低いスコアの両方を持つ単語およびフレーズの関連付けを学習する。これは、ＡＩ／ＭＬモデルを訓練して、何が入力に近く、何がそうでないかをそれぞれ決定する。単語／フレーズの対だけを使用するのではなく、トランスフォーマーネットワークは、フィールド長およびフィールドタイプも使用してもよい。

図８は、１または複数の実施形態によるＡＩ／ＭＬモデル（複数可）を訓練するためのプロセス８００を示すフローチャートである。プロセス８００は、ＮＬＰおよびチャットボットなどの他のＵＩ学習操作にも適用できることに留意されたい。プロセスは、（例えば、特定されたグラフィカル要素およびテキストを伴う）ラベル付けされた画面、単語およびフレーズ、所定の単語またはフレーズに対する類似の単語およびフレーズが特定され得るような単語およびフレーズ間の意味的関連性の「シソーラス」などの例えば、図８に示すようなラベル付けされたデータを提供するデータをブロック８１０で訓練することから始まる。提供される訓練データの性質は、ＡＩ／ＭＬモデルが達成しようとする目的に依存する。ＡＩ／ＭＬモデルは、次に、ブロック８２０で複数のエポックにわたって訓練され、結果は、ブロック８３０においてレビューされる。

ＡＩ／ＭＬモデルが決定ブロック８４０（プロセス８００はいいえの矢印に従って進む）で所望の信頼しきい値を満たさない場合、ブロック８５０でＡＩ／ＭＬモデルがその目的をよりよく達成するのを助けるために、訓練データが補充され、および／または報酬関数が修正され、プロセスはブロック８２０に戻る。ＡＩ／ＭＬモデルが決定ブロック８４０（プロセス８００ははいの矢印に従って進む）で信頼しきい値を満たす場合、ＡＩ／ＭＬモデルは、ブロック８６０で評価データに対してテストされ、ＡＩ／ＭＬモデルがよく一般化し、ＡＩ／ＭＬモデルが訓練データに関して過剰に適合しないことを確認する。評価データは、ＡＩ／ＭＬモデルが以前に処理したことのない画面、ソースデータなどを含んでもよい。決定ブロック８７０で評価データの信頼しきい値が満たされる場合（プロセス８００ははいの矢印に従って進む）、ブロック８８０でＡＩ／ＭＬモデルが展開される。そうでない場合（プロセス８００はいいえの矢印に従って進む）、プロセスはブロック８８０に戻り、ＡＩ／ＭＬモデルがさらに訓練される。

図９は、１または複数の実施形態によるシステム９０１によって実装されるプロセス９００を示す。プロセス９００は、拡張エンジン９０２（本明細書ではエンジン９０２と呼ぶ；例えば、図２のデザイナ２１０）およびブラウザアシスタント９０３を実装するシステム９０１（例えば、コンピューティングシステムおよび／またはコントローラ）によって実装され得、これは、エンジン９０２から独立していてもよいし、またはエンジン９０２に組み込まれていてもよい。システム９０１は、データソース９０４（例えば、アプリケーションデータ）、ＲＰＡ９０５、およびそこにターゲットアプリケーション９０８を含むブラウザ９０７をさらに含む。さらに、システム９０１は、ブラウザ９０７に埋め込まれ、ブラウザアシスタント９０３を介して選択されて、ターゲットアプリケーションのソースコードを変更することなく（例えば、ユーザーアクションを要求する）ターゲットアプリケーション９０８に機構または機能を拡張できる、１または複数の予め定義された自動拡張９０９（別名、拡張９０９）を含み得る。１または複数の予め定義された自動拡張９０９は、既存のアプリケーション（例えば、ブラウザ９０７およびターゲットアプリケーション９０３）と並行して（またはその上で）実行し、かつその機能に追加する、拡張エンジンおよび／またはブラウザアシスタントのソフトウェアプログラム機構を含み得る。予め定義された自動拡張９０９についての「予め定義された」という用語は、プロセス９００の実装に先立って、デザイナ、ＲＰＡ９０５、または他のエンティティが予め定義された自動拡張９０９およびそれに関連付けられたメタデータを作成したことを示し、その結果、ブラウザアシスタント９０３がターゲットアプリケーション９０８とインタラクションするときに、あらかじめ定義された自動拡張９０９をエンジン９０２が利用し得る。

プロセス９００はブロック９１０で始まり、ここで、エンジン９０２がブラウザ９０７によってホストされるターゲットアプリケーション９０８を検出する。ブロック９２０でエンジン９０２は、ターゲットアプリケーション９０８のソースコードを変更することなく、１または複数の予め定義された自動拡張９０９をターゲットアプリケーション９０８に自動的に埋め込むことによって、機構または機能をターゲットアプリケーション９０８に拡張する。ブロック９３０で、エンジン９０２は、１または複数の予め定義された自動拡張９０９のいくつかを遂行する。１または複数の予め定義された自動拡張９０９のいずれか１つを遂行すると、エンジン９０２と同じコンピューティングシステム上またはクラウドシステムに直接配置されたＲＰＡ９０５を呼び出すまたはトリガすることができる。

一般に、システム９０１は、コンピューティングシステム、クラウドシステム、および／またはエンジン９０２を介してブラウザアシスタント９０３の動作を実装するコントローラであり得る。さらに、エンジン９０２および／またはブラウザアシスタント９０３は、ＲＰＡ９０５およびその拡張を生成、管理、自動的に遂行および動作するためのポリシーおよび技術のフレームワークを含むシステム９０１内のソフトウェアとして記述され得る。１または複数の実施形態によると、ブラウザアシスタント９０３は、エンジン９０２に統合することができ、スタンドアロンソフトウェアとすることができ、またはブラウザ９０７に統合することができる。例えば、ブラウザアシスタント９０３は、ブラウザ９０７内に表示されながら、コンピューティングシステム上で直接動作することができる。

１または複数の実施形態によると、エンジン９０２および／またはブラウザアシスタント９０３による１または複数の予め定義された自動拡張９０９は、ブラウザ９０７およびターゲットアプリケーション９０８のための層またはＵＩ層であり得る。拡張は、エンジン９０２を通じてバージョン管理、編集可能、および表示可能にすることもできる。一例では、ユーザーは、システム９０１の１または複数の予め定義された自動拡張９０９を利用（例えば、ターゲットアプリケーション９０８に機構を追加する）できるようにブラウザ拡張（例えば、ブラウザアシスタント９０３）をインストールし、それに同意し、そしてそれにログインすることができる。

一例として、ブラウザアシスタント９０３はウェブベースのアプリケーションをターゲットにしており、機能を他のアプリケーションに拡張することができる。例えば、ターゲットアプリケーション９０８がウェブアプリケーションである場合、エンジン９０２は、ターゲットアプリケーション９０８を離れるまたは変更することなく、ブラウザ９０７内に常駐する／常にあるブラウザアシスタント９０３を実装し、ターゲットアプリケーション９０８のウェブページ／アプリケーションをカスタマイズし、（例えば、１または複数の予め定義された自動拡張９０９をターゲットアプリケーション９０８に埋め込むことによって）機能を追加し、そしてコンテキストに応じて他のアプリケーションおよび自動化にアクセスする。エンジン９０２およびブラウザアシスタント９０３の他の動作には、拡張拡張（ａｕｇｍｅｎｔａｔｉｏｎ ｅｘｔｅｎｓｉｏｎ）とウェブ自動拡張との結合、拡張オプションのガバナンス、（例えば、ターゲットアプリケーションを超えた）他のアプリケーションへの拡張機構を拡張すること、ならびにブラウザ拡張への開発エクスペリエンスの提供が含まれるが、これらに限定されない。

データソース９０４は、エンジンおよび／またはターゲットアプリケーション９０８の動作をサポートする任意の形式の情報であり得る。データソース９０４の例には、メタデータ（例えば、アドレス情報などのターゲットアプリケーション９０８に関する情報を伴うワークフローグループ）、アプリケーションデータ（例えば、エクセルスプレッドシート）、自然言語（例えば、テキスト形式）、書かれたオートメーションタスク、アプリケーションにあるデータテーブル、および音声テキスト化による拡張が含まれるが、これらに限定されない。

ＲＰＡ９０５は、ロボット／アシスタントソフトウェアを遂行するエージェントソフトウェアであってもよく、その例としては、ロボット、ワークフローなどが挙げられ、ジョブは、ＲＰＡによって遂行される作業単位とみなすことができ、その両方については本明細書でさらに説明する。１または複数の実施形態によると、ＲＰＡ９０５は、ターゲットアプリケーション９０８の機構および機能を拡張することができる。ＲＰＡ９０５は拡張の代表例であり得る。機構および機能には、ボタン、コールアウト、およびトリガが含まれまるが、これらに限定されない。１または複数の予め定義された自動化拡張機能９０９

ブラウザ９０７は、ローカルウェブサイト、ファイルシステム、および／またはインターネットにアクセスしてナビゲートするための任意のアプリケーションソフトウェアであり得る。例えば、ブラウザ９０７は、特定のウェブサイトまたはターゲットアプリケーション９０８からファイルを取得し、ウェブページをグラフィカルにレンダリングする。ターゲットアプリケーション９０８は、ブラウザ９０７内で遂行される任意のウェブアプリケーションまたはソフトウェアであり得る。

図９は、プロセス９３９におけるシステム９０１による別の動作例も示す。例えば、エンジン９０２および／またはブラウザアシスタント９０３は、簡略化された拡張エクスペリエンスの１または複数の技術的効果、利点、および利益を可能にする動作、ターゲットアプリケーション９０８のソースコードを変更することなく、ターゲットアプリケーション９０８に機構および機能を拡張するなど、を提供する（これにより、ＲＰＡアシスタントソフトウェアをインストールする必要がなくなる）。

図９のプロセス９３９は、ブロック９４０で始まり、エンジン９０２およびブラウザアシスタント９０３は拡張（すなわち、１または複数のあらかじめ定義された自動拡張９０９）を作成する。エンジン９０２およびブラウザアシスタント９０３による拡張の作成には、ブラウザ９０７の拡張を使用する「ローコード」エクスペリエンスが含まれる。作成された各拡張はワークフローのグループとしてモデル化でき、各ワークフローには複数の基礎的要素を含めることができる。各基礎的要はアクションを実行し得る。アクションには、データの読み取り、アクションの待機、ユーザーエクスペリエンス（ＵＸ）またはＵＩの表示、サービスの呼び出し、スクリプト（ＪａｖａＳｃｒｉｐｔ）の遂行、ページインタラクションなどが含まれ得るが、これらに限定されない。作成された各拡張は、エンジン９０２およびブラウザアシスタント９０３によって、メタデータとともにデータソース９０４内に、１または複数の予め定義された自動拡張９０９として保存され得る。メタデータの例には、ワークフローグループ、ターゲットアプリケーション９０８に関する情報、ターゲットアプリケーション９０８のアドレス情報、ターゲットアプリケーション割り当て情報、ターゲットアプリケーション検出情報、エンジン９０２がターゲットアプリケーション９０８を特定できるようにする情報などが含まれるが、これらに限定されない。

ブロック９５０で、エンジン９０２およびブラウザアシスタント９０３は、１または複数の予め定義された自動拡張９０９を管理する。拡張管理の１または複数の実施形態によると、（一度作成された／予め定義された）１または複数の予め定義された自動拡張９０９は、ブラウザアシスタント９０３を通じて共有、バージョン管理、編集可能、閲覧可能、および利用され得る。例えば、１または複数の予め定義された自動拡張９０９は、データソース９０４を介して他のユーザーと共有され得る。さらに、エンジン９０２は、１または複数の予め定義された自動拡張９０９のうちのどれが遂行しているかを示す１または複数のＵＩを提供するなど、１または複数の予め定義された自動拡張９０９を表示可能にすることができる。拡張管理の１または複数の実施形態によると、エンジン９０２は、１または複数のＵＩを介して、１または複数の予め定義された自動拡張９０９のいずれかを一時停止、無効化、または有効化する機能をユーザーに提供することができる。

ブロック９６０で、エンジン９０２およびブラウザアシスタント９０３は、１または複数の予め定義された自動拡張９０９を利用する。利用されている１つまたは複数の予め定義された自動拡張９０９は、ターゲットアプリケーション９０８のバックグラウンドで遂行することができ、ユーザーに目に見える影響を及し得ない。さらに、１または複数の予め定義された自動拡張９０９は、ターゲットアプリケーション９０８のバックグラウンドで遂行することができ、ダイアログボックスなどの１または複数のＵＩ要素によって表すことができる。１または複数の実施形態によると、ブラウザ拡張９０７を使用して、１または複数の予め定義された自動拡張９０９は、ターゲットアプリケーション９０８に固有の利用可能な自動化を表示し、その中に要素を埋め込むことによって、ターゲットアプリケーション９０８に配信され得る。

一例として、エンジン９０２は、ブラウザアシスタント９０３のすべてのインスタンス間で１または複数の拡張を共有する。次に、ブラウザ９０７がＣｈｒｏｍｅ（登録商標）ブラウザであり、ブラウザアシスタント９０３がそれとインタラクションしている場合、Ｃｈｒｏｍｅ（登録商標）ブラウザは、エンジン９０２によって作成および管理される１または複数の拡張を利用することができる。例えば、各ユーザーがＣｈｒｏｍｅ（登録商標）ブラウザを使用すると、１または複数の拡張が自動的に利用され得る。したがって、任意のユーザーが、（対応するメタデータを使用して）１または複数の予め定義された自動拡張９０９の１つと一致するアドレスを持つウェブページに行くと、その拡張は自動的に利用される。次に、その一致した拡張に関連付けられた任意のワークフロー／ＲＰＡが遂行する。

ブロック９７０で、エンジン９０２およびブラウザアシスタント９０３は、１または複数の予め定義された自動拡張９０９に関する拡張９０９およびＵＩ要素を表示する。例えば、エンジン９０２のトレイを使用して拡張を表示することができる。１または複数の実施形態によると、エンジン９０２およびブラウザアシスタント９０３は、Ｃｈｒｏｍｅ（登録商標）ブラウザおよびそこに示されるターゲットアプリケーション９０８に特有の利用可能な拡張を表示する。場合によっては、ブロック９４０で拡張を設計する際に、拡張がどのターゲットアプリケーション９０８に関連しているかを特定するためにメタデータを作成または生成することができる。例えば、正規表現（または正規表現（ｒｅｇｅｘ））が（ブラウザアシスタント９０３を使用して）Ｃｈｒｏｍｅ（登録商標）ブラウザの現在のタブ内のターゲットアプリケーション９０８と一致する場合、対応する拡張が利用可能になるか、またはユーザーに表示される。次に、ユーザーは利用可能な拡張または表示された拡張を選択して開始し得る。選択には、ブラウザ拡張がＡＰＩを介してブラウザアシスタント９０３およびエンジン９０２を呼び出すようにするＵＵＩ要素によって表示されるリストからの特定を含むことができる。１または複数の実施形態によると、１または複数の予め定義された自動拡張９０９は、ｃｈｒｏｍｅ．ｅｘｅによって遂行され得、遂行ファイルを必要としない。

１または複数の予め定義された自動拡張９０９に関するＵＩ要素の表示に関する１または複数の実施形態によると、エンジン９０２は汎用拡張を提供し得る。例えば、「ウェブページ全体を印刷」は、任意のウェブページ（ＧｏｏｇｌｅホームページおよびＷａｌｍａｒｔウェブサイトなど）で遂行され得る自動化にし得る。図１０～図１１を参照すると、１または複数の実施形態による例示的なインターフェース１０００および１１００が示されている。一般に、例として、Ｇｏｏｇｌｅホームページ内で利用可能な１または複数の予め定義された自動拡張９０９（インターフェース１０００を参照）は、Ｗａｌｍａｒｔウェブサイト（インターフェース１１００を参照）内で利用可能な１または複数の予め定義された自動拡張９０９とは異なる場合がある。ポップアップインターフェース１０１０は、Ｇｏｏｇｌｅホームページに特有の利用可能な拡張（すなわち、Ｃｈｒｏｍｅ（登録商標）ブラウザのＧｏｏｇｌｅホームページ上で遂行するために利用可能な拡張のリスト）を示す。ポップアップインターフェース１１１０は、Ｗａｌｍａｒｔウェブサイトに特有の利用可能な拡張（すなわち、Ｃｈｒｏｍｅ（登録商標）ブラウザのＷａｌｍａｒｔウェブサイト上で遂行するために利用可能な拡張のリスト）を示す。それでも、ＧｏｏｇｌｅホームページとＷａｌｍａｒｔウェブサイトの両方にわたる拡張には、共通のワークフローがあり得る。共通ワークフローごとに、エンジン９０２は、普遍的な拡張またはその拡張に関するＵＩ要素を提供することができる。

ブロック９８０で、エンジン９０２およびブラウザアシスタント９０３は、要素、ＲＰＡ９０５、拡張、またはアプリケーションを埋め込む。従来、ターゲットアプリケーション９０８（例えばウェブページ）上で新しい機能を実現するには、開発者はウェブアプリケーションのソースコードを変更するか、ソフトウェア開発キットを利用する必要がある。対照的に、エンジン９０２およびブラウザアシスタント９０３は、１または複数のブラウザ拡張を利用して、ソースコードを変更することなく、新しい要素、ＲＰＡ９０５、拡張、またはアプリケーションをターゲットアプリケーション９０８のウェブページに埋め込むことによって、新しい機能でターゲットアプリケーション９０８を拡張する。ブラウザ拡張が無効になっている場合、ターゲットアプリケーション９０８のウェブページに加えられたすべての変更が無効になることに留意されたい。また、新たに追加された要素をＲＰＡ９０５にタグ付けすることができ、これにより、新たに追加された要素とのユーザーのインタラクションに応答してＲＰＡ９０５をトリガできることにも留意されたい。１または複数の実施形態によると、エンジン９０２は、アプリケーションに特有の利用可能な拡張９０９を表示することができる。これに関して、ブラウザ９０７で拡張が利用可能な場合、エンジン９０２は、ブラウザ拡張を使用してターゲットアプリケーション９０８で拡張を有効にすることができる。

図１２は、１または複数の実施形態による例示的なインターフェース１２００を示す。ユースケース例として、利用可能な拡張を使用するＤｏｏｒＤａｓｈサイト用のデジタルアダプションプラットフォーム（Ｄｉｇｉｔａｌ Ａｄｏｐｔｉｏｎ Ｐｌａｔｆｏｒｍ：ＤＡＰ）が例示的なインターフェース１２００によって示されている。ＤｏｏｒＤａｓｈサイトで利用可能なすべての拡張９０９は、ポップアップアイコン１２１０を使用してアクセスし得る。ポップアップアイコン１２１０をクリックすると、利用可能な拡張９０９、アプリケーション、要素、ＲＰＡ９０５などのリストが生成される。リストから、ＤｏｏｒＤａｓｈサイトの使用をガイドするＤＡＰワークフローが選択される。選択すると、例示的なコールアウトがユーザーをＤｏｏｒＤａｓｈサイト内にナビゲートするようにガイドする。

図１３は、１または複数の実施形態による、新しい要素およびアプリケーションの追加に関連する例示的なインターフェース１３０１および１３０２を示す。例示的なインターフェース１３０１は、何の拡張も行われていない（またはブラウザ拡張が無効になっている場合の）勤務日の欠勤ページのスクリーンショットを示す。ブラウザ拡張が有効になると、ブラウザ拡張を使用して、新しい要素１３１０および新しいアプリケーション１３２０をウェブページに挿入することができる。例示的なインターフェース１３０２に示すように、ユーザーが新しい要素を選択すると、新しいアプリケーション１３２０が表示される。

１または複数の技術的効果、利点、および利益によると、プロセス９００およびエンジン９０２は、（例えば、ＲＰＡアシスタントソフトウェアなしに）ターゲットアプリケーション９０８内にＲＰＡ９０５を表示し、アプリケーションのソースコードを変更することなくＲＰＡ９０５をターゲットアプリケーション９０８に埋め込むことによって、ＲＰＡアシスタントソフトウェアをダウンロードおよびインストールする必要性を回避することによって拡張エクスペリエンスを簡素化する。１または複数の技術的効果、利点、および利益によると、プロセス９００およびエンジン９０２は、エグゼキュータ、アシスタント、またはインストーラなしで、任意のブラウザ９０７内のターゲットアプリケーション９０８でＲＰＡ９０５を直接遂行し、ロードされたウェブページコンテキストを使用してＲＰＡ９０５を自動的に開き／開始し、そして直接クリックを実装し、かつブラウザ９０７およびターゲットアプリケーション９０８のユーザーインターフェース内でＲＰＡ動作を遂行する。

１またはの実施形態によると、エンジン９０２は、選択またはトリガによる自動化遂行シナリオで動作する（すなわち、自動化は、遂行に．ｅｘｅ／．ｄｌｌファイルまたはサーバレス機能を必要としなくてもよい）。例えば、エンジン９０２は、個別の拡張（例えば、最小または軽量のＲＰＡ９０５）を作成／提供することができ、コンダクタアプリケーションまたはデータソース９０４に公開することができる。個別の拡張をトリガした後（およびエグゼキュータで実行する代わりに）、個別の拡張はターゲットアプリケーション９０８上で遂行されるため、遂行ファイルは必要なくまたはダウンロードされることもない。また、例えば、エグゼキュータが個別の自動化を実行するとき、エグゼキュータは、（例えば、太線、タスクメニュー、他のアプリケーションデータなどを含む）ディスプレイ／画面／ＵＩ全体をスキャンすることができる。ただし、ブラウザエグゼキュータを使用する場合は常に、ブラウザエグゼキュータはブラウザインターフェースの四隅に制限される。個別の拡張など、１または複数の予め定義された自動拡張９０９の利点である技術的効果は、１または複数の予め定義された自動拡張９０９がブラウザ９０７の複数のタブで遂行され得ることである。

１または複数の実施形態によると、エンジン９０２は、拡張サービスを提供するためにユーザー認証を要求することができる。認証は、パブリッククラウドアーキテクチャ、プライベートクラウドアーキテクチャ、ハイブリッドクラウドアーキテクチャなどを介して実行され得る。例えば、ＲＰＡ９０５を遂行／変更するためのユーザー入力（例えば、ユーザーＩＤおよびパスワード）を受信して承認するためのポップアップを表示し得る。

１または複数の実施形態によると、方法が提供される。方法は、少なくとも１つのプロセッサによって実行される拡張エンジンによって実装される。方法は、拡張エンジンによって、ブラウザによってホストされるターゲットアプリケーションを検出することと、拡張エンジンによって、ターゲットアプリケーションのソースコードを変更することなく、１または複数の予め定義された自動拡張をターゲットアプリケーションに自動的に埋め込むことによって、１もしくは複数の機構または１もしくは複数の機能をターゲットアプリケーションに拡張することと、拡張エンジンによって、１または複数の予め定義された自動拡張のいくつかを遂行することと、を含む。

１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、１または複数の予め定義された自動拡張は、ロボティックプロセスオートメーションを含み得る。

１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、拡張エンジンは、ターゲットアプリケーションをホストするブラウザと連携し、１または複数の予め定義された自動拡張を提示するように構成されたブラウザアシスタントを含み得る。

１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、１または複数の予め定義された自動拡張のそれぞれは、ターゲットアプリケーションの検出前に作成されたソフトウェアプログラム機構を含み得る。

１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、１または複数の予め定義された自動拡張のうちの少なくとも１つは、ターゲットアプリケーションを特定するメタデータを含み得る。

１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、１または複数の予め定義された自動拡張のうちの少なくとも１つは、ターゲットアプリケーションおよび第２のターゲットアプリケーションに埋め込むための汎用拡張を含み得る。

１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、ターゲットアプリケーションは、ウェブアプリケーションを含み得る。

１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、１または複数の予め定義された自動拡張のうちの少なくとも１つは、エンジンを遂行する少なくとも１つのプロセッサを含む遂行中のコンピューティングシステムにローカルなロボティックプロセスオートメーションとインタラクションし得る。

１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、１または複数の予め定義された自動拡張のうちの少なくとも１つが、クラウドシステム内のロボティックプロセスオートメーションとインタラクションし得る。１もしくは複数の実施形態または本明細書に記載の方法の実施形態のいずれかによると、拡張エンジンは、１または複数の予め定義された自動拡張を管理し、自動的に遂行し、そして動作するためのソフトウェアフレームワークを含み得る。

１または複数の実施形態によれば、システムが提供される。システムは、拡張エンジンのプログラムコードを格納する少なくとも１つのメモリと、システムの動作を引き起こすプログラムコードを遂行する少なくとも１つのプロセッサと、を含み得る。動作は、拡張エンジンによって、ブラウザによってホストされるターゲットアプリケーションを検出することと、拡張エンジンによって、ターゲットアプリケーションのソースコードを変更することなく、１または複数の予め定義された自動拡張をターゲットアプリケーションに自動的に埋め込むことによって、１もしくは複数の機構または１もしくは複数の機能をターゲットアプリケーションに拡張することと、拡張エンジンによって、１または複数の予め定義された自動拡張のいくつかを遂行することと、を含む。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、１または複数の予め定義された自動拡張は、ロボティックプロセスオートメーションを含み得る。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、拡張エンジンは、ターゲットアプリケーションをホストするブラウザと連携し、１または複数の予め定義された自動拡張を提示するように構成されたブラウザアシスタントを含み得る。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、１または複数の予め定義された自動拡張のそれぞれは、ターゲットアプリケーションの検出前に作成されたソフトウェアプログラム機構を含み得る。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、１または複数の予め定義された自動拡張のうちの少なくとも１つは、ターゲットアプリケーションを特定するメタデータを含み得る。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、１または複数の予め定義された自動拡張のうちの少なくとも１つは、ターゲットアプリケーションおよび第２のターゲットアプリケーションに埋め込むための汎用拡張を含み得る。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、ターゲットアプリケーションは、ウェブアプリケーションを含み得る。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、１または複数の予め定義された自動拡張のうちの少なくとも１つは、エンジンを遂行する少なくとも１つのプロセッサを含む遂行中のコンピューティングシステムにローカルなロボティックプロセスオートメーションとインタラクションし得る。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、１または複数の予め定義された自動拡張のうちの少なくとも１つが、クラウドシステム内のロボティックプロセスオートメーションとインタラクションし得る。

１もしくは複数の実施形態または本明細書に記載のシステムの実施形態のいずれかによると、拡張エンジンは、１または複数の予め定義された自動拡張を管理し、自動的に遂行し、そして動作するためのソフトウェアフレームワークを含み得る。

コンピュータプログラムは、ハードウェア、ソフトウェア、またはハイブリッド実装で実装され得る。コンピュータプログラムは、互いに動作可能な通信を行うモジュールで構成され得、情報または指示をディスプレイに送るように設計されている。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、またはいずれかの他の好適なデバイスで動作するように構成され得る。

様々な実施形態のコンポーネントは、本明細書に一般的に記載され、図示されているように、様々な異なる構成で配置され、設計されてもよいことが、容易に理解されるであろう。したがって、添付の図に表されるような実施形態の詳細な説明は、特許請求されるような範囲を限定することを意図するものではなく、選択された実施形態を代表するものにすぎない。

本明細書を通して記載された特色、構造、または特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせられ得る。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、または類似の言語を参照することは、実施形態に関連して記載された特定の特色、構造、または特徴が、少なくとも１つの実施形態に含まれていることを意味する。したがって、本明細書全体を通して「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、または類似の言語の出現は、必ずしも全ての実施形態の同じグループを指すものではなく、記載された特色、構造、または特徴は、１または複数の実施形態ではいずれかの好適な方法で組み合わせられ得る。

本明細書全体を通して特色、利点、または類似の言語への参照は、実現され得る特色および利点の全てが、いずれかの単一の実施形態にあるべきであること、またはいずれかの実施形態であることを意味するものではないことに留意すべきである。むしろ、特色および利点に言及する言語は、実施形態に関連して記載された特定の特色、利点、または特徴が、１または複数の実施形態に含まれることを意味すると理解される。したがって、本明細書全体での特色および利点の議論、ならびに類似の言語は、同じ実施形態を参照することができるが、必ずしもその必要性はない。

さらに、本明細書に記載の１または複数の実施形態の特色、利点、および特徴は、任意の適切な方法で組み合わせることができる。関連する技術の当業者は、本開示が、１または複数の特定の実施形態の特定の特徴または利点なしに実施され得ることを認識するであろう。他の例では、追加の特徴および利点は、全ての実施形態には存在しないかもしれないが特定の実施形態では認識され得る。

本分野における通常の技術を有する者は、本開示を、異なる順序でのステップを用いて、および／または開示されているものとは異なる構成のハードウェア要素を用いて実施することができることを容易に理解するであろう。したがって、本開示は、これらの好ましい実施形態に基づいて説明されてきたが、本開示の精神および範囲内にとどまりながら、特定の変更、変形、および代替的な構成が明らかになることは、当業者には明らかであろう。したがって、本開示の範囲を決定するためには、添付の特許請求の範囲を参照すべきである。

Claims (20)

1. 少なくとも１つのプロセッサによって実行される拡張エンジンによって実装される方法であって、前記方法が、
   前記拡張エンジンによって、ブラウザによってホストされるターゲットアプリケーションを検出することと、
   前記拡張エンジンによって、前記ターゲットアプリケーションのソースコードを変更することなく、１または複数の予め定義された自動拡張を前記ターゲットアプリケーションに自動的に埋め込むことによって、１もしくは複数の機構または１もしくは複数の機能を前記ターゲットアプリケーションに拡張することと、
   前記拡張エンジンによって、前記１または複数の予め定義された自動拡張のいくつかを遂行することと、を含む、方法。
2. 前記１または複数の予め定義された自動拡張が、ロボティックプロセスオートメーションを含む、請求項１に記載の方法。
3. 前記拡張エンジンが、前記ターゲットアプリケーションをホストする前記ブラウザと連携し、１または複数の予め定義された自動拡張を提示するように構成されたブラウザアシスタントを含む、請求項１に記載の方法。
4. 前記１または複数の予め定義された自動拡張のそれぞれが、前記ターゲットアプリケーションの検出前に作成されたソフトウェアプログラム機構を含む、請求項１に記載の方法。
5. 前記１または複数の予め定義された自動拡張のうちの少なくとも１つが、前記ターゲットアプリケーションを特定するメタデータを含む、請求項１に記載の方法。
6. 前記１または複数の予め定義された自動拡張のうちの少なくとも１つが、前記ターゲットアプリケーションおよび第２のターゲットアプリケーションに埋め込むための汎用拡張を含む、請求項１に記載の方法。
7. 前記ターゲットアプリケーションが、ウェブアプリケーションを含む、請求項１に記載の方法。
8. 前記１または複数の予め定義された自動拡張のうちの少なくとも１つが、前記エンジンを遂行する前記少なくとも１つのプロセッサを含む遂行中のコンピューティングシステムにローカルなロボティックプロセスオートメーションとインタラクションする、請求項１に記載の方法。
9. 前記１または複数の予め定義された自動拡張のうちの少なくとも１つが、クラウドシステム内のロボティックプロセスオートメーションとインタラクションする、請求項１に記載の方法。
10. 前記拡張エンジンは、前記１または複数の予め定義された自動拡張を管理し、自動的に遂行し、そして動作するためのソフトウェアフレームワークを含む、請求項１に記載の方法。
11. システムであって、
    拡張エンジンのプログラムコードを格納する少なくとも１つのメモリと、
    前記システムの動作を引き起こす前記プログラムコードを遂行する少なくとも１つのプロセッサと、を含み、前記動作が、
    前記拡張エンジンによって、ブラウザによってホストされるターゲットアプリケーションを検出することと、
    前記拡張エンジンによって、前記ターゲットアプリケーションのソースコードを変更することなく、１または複数の予め定義された自動拡張を前記ターゲットアプリケーションに自動的に埋め込むことによって、１もしくは複数の機構または１もしくは複数の機能を前記ターゲットアプリケーションに拡張することと、
    前記拡張エンジンによって、前記１または複数の予め定義された自動拡張のいくつかを遂行することと、を含む、システム。
12. 前記１または複数の予め定義された自動拡張が、ロボティックプロセスオートメーションを含む、請求項１１に記載のシステム。
13. 前記拡張エンジンが、前記ターゲットアプリケーションをホストする前記ブラウザと連携し、１または複数の予め定義された自動拡張を提示するように構成されたブラウザアシスタントを含む、請求項１１に記載のシステム。
14. 前記１または複数の予め定義された自動拡張のそれぞれが、前記ターゲットアプリケーションの検出前に作成されたソフトウェアプログラム機構を含む、請求項１１に記載のシステム。
15. 前記１または複数の予め定義された自動拡張のうちの少なくとも１つが、前記ターゲットアプリケーションを特定するメタデータを含む、請求項１１に記載のシステム。
16. 前記１または複数の予め定義された自動拡張のうちの少なくとも１つが、前記ターゲットアプリケーションおよび第２のターゲットアプリケーションに埋め込むための汎用拡張を含む、請求項１１に記載のシステム。
17. 前記ターゲットアプリケーションが、ウェブアプリケーションを含む、請求項１１に記載のシステム。
18. 前記１または複数の予め定義された自動拡張のうちの少なくとも１つが、前記エンジンを遂行する前記少なくとも１つのプロセッサを含む遂行中のコンピューティングシステムにローカルなロボティックプロセスオートメーションとインタラクションする、請求項１１に記載のシステム。
19. 前記１または複数の予め定義された自動拡張のうちの少なくとも１つが、クラウドシステム内のロボティックプロセスオートメーションとインタラクションする、請求項１１に記載のシステム。
20. 前記拡張エンジンは、前記１または複数の予め定義された自動拡張を管理し、自動的に遂行し、そして動作するためのソフトウェアフレームワークを含む、請求項１１に記載のシステム。