JP2024065102A - ロボットプロセス自動化のためのセマンティック自動化ビルダー - Google Patents

ロボットプロセス自動化のためのセマンティック自動化ビルダー Download PDF

Info

Publication number
JP2024065102A
JP2024065102A JP2023185064A JP2023185064A JP2024065102A JP 2024065102 A JP2024065102 A JP 2024065102A JP 2023185064 A JP2023185064 A JP 2023185064A JP 2023185064 A JP2023185064 A JP 2023185064A JP 2024065102 A JP2024065102 A JP 2024065102A
Authority
JP
Japan
Prior art keywords
automation
semantic
actions
builder
automations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023185064A
Other languages
English (en)
Inventor
ガブリエル マリン イウリアン
ペトレスク アレクサンドル－クリスチャン
ペトレ エイドリアン－バレンティン
ボタン ポール－ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UiPath Inc
Original Assignee
UiPath Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UiPath Inc filed Critical UiPath Inc
Publication of JP2024065102A publication Critical patent/JP2024065102A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)

Abstract

【課題】ロボットプロセス自動化のためのセマンティック自動化ビルダーを提供する。【解決手段】ハイパー自動化システム１００において、ロボットプロセス自動化のセマンティック自動化を生成する方法は、ターゲットアプリケーションである文字自動化タスクに対応するユーザー入力または当該ロボットプロセス自動化のアクションを特定するためのステップを受信することと、各アクションをアクティビティに対してマッピングして、マップされたアクティビティを生成することと、当該マップされたアクティビティに基づいて当該アクションを当該セマンティック自動化に変換することと、当該アクションの編集を可能にするために、当該セマンティック自動化ビルダーのユーザーインターフェース中に当該セマンティック自動化を提供することと、を含む。【選択図】図１

Description

本開示は、主に自動化に関する。
一般的に、これらの自動化の構築及び編集にＲＰＡノウハウについて、ほとんどの駆け出しの開発者は、自動化プロセスの設計の出発点に必要なコーディング概念及び論理的思考に不慣れである。即ち、このＲＰＡノウハウの場合、ＲＰＡのワークフローに必要なアクティビティを設計時期において構成することは、時間のかかるプロセスである。従来、ＲＰＡワークフローデザイナ用アプリケーションにおいては、ワークフロー中のアクティビティは、手動で構成される。アクティビティ構成を改良することが、必要とされている。
１つ以上の実施形態によれば、方法が提供される。上記方法は、少なくとも１つのプロセッサ上で実行されるセマンティック自動化ビルダーによって実行される。上記方法は、ロボットプロセス自動化の１つ以上のセマンティック自動化を生成する。方法は、上記ロボットプロセス自動化の１つ以上のアクションを特定するために、ターゲットアプリケーション、文字自動化タスクまたは１つ以上のステップに対応する１つ以上のユーザー入力を受信することを含む。上記方法は、１つ以上のアクションの各アクションをアクティビティにマッピングして、１つ以上のマップされたアクティビティを生成することと、上記１つ以上のマップされたアクティビティに基づいて上記１つ以上のアクションを上記１つ以上のセマンティック自動化に変換することとを含む。上記方法は、上記セマンティック自動化ビルダーのユーザーインターフェースにおいて上記１つ以上のセマンティック自動化を提供して、上記１つ以上のアクションの編集を可能にすることを含む。上記方法の実施形態は、システム、コンピュータープログラム製品及び／または装置として実行され得る。
本明細書中の特定の実施形態の利点を容易に理解してもらうために、添付の実施形態中に例示される特定の実施形態を参照して、より詳細な説明を記載する。これらの図面は、代表的な実施形態を示すものに過ぎないため、その範囲を制限するものとみなされるべきではなく、本明細書中の１つ以上の実施形態について、添付図面の利用を通じてさらに具体的かつ詳細に記載及び説明していくことが理解されるべきである。図面中：
１つ以上の実施形態による自動化システムを示す構造図を示す。
１つ以上の実施形態によるＲＰＡシステムを示す構造図を示す。
１つ以上の実施形態による、展開されたＲＰＡシステムを示す構造図を示す。
１つ以上の実施形態による、デザイナ、アクティビティ及びドライバー間の関係を示す構造図を示す。
１つ以上の実施形態によるコンピューティングシステムを示す構造図を示す。
１つ以上の実施形態による、画像中のグラフィック要素を認識するように訓練されたニューラルネットワークの例を示す。
１つ以上の実施形態によるニューロンの例を示す。
１つ以上の実施形態による、人工知能及び／または機械モデル（単数または複数）を訓練するプロセスを示すフローチャートである。
１つ以上の実施形態による、システムによって実行される方法を示す。
１つ以上の実施形態による例示的インターフェースを示す。
１つ以上の実施形態による例示的インターフェースを示す。
１つ以上の実施形態による例示的インターフェースを示す。
１つ以上の実施形態による方法を示す。
他に明記無き限り、添付図面全体において、類似の参照文字は、対応する特徴を一貫して示す。
一般的に、本明細書中の実施形態は、自動化に関する。より詳細には、本明細書中の実施形態は、セマンティックを用いて自動アクティビティ構成を可能にするＲＰＡのためおよびワークフロー生成のためのセマンティック自動化ビルダーに関する。セマンティック自動化ビルダーの実行は、コンピューティングシステム及び／またはコントローラーによって行われ得る。一例として、コンピューティングシステム及び／またはコントローラーは、セマンティック自動化ビルダーの動作（例えば、セマンティック自動化の作成）をＲＰＡワークフロー設計エンジンを通じて実行し得る。ＲＰＡワークフロー設計エンジンは、ＲＰＡのワークフローを機械学習（ＭＬ）を用いて自然言語で記述されたタスクから生成し、生成されたワークフローをゼロコードの直感的なユーザーインターフェース（ＵＩ）を用いて有効化する。
ＲＰＡワークフロー設計エンジン及び／またはセマンティック自動化ビルダーは、ＲＰＡ（例えば、ＲＰＡを作成し、ＲＰＡにジョブを割りあてるデザイナ）を生成、管理、自動実行するためのポリシー及び技術の枠組みを含むソフトウェアとして記述され得る。ＲＰＡは、ロボット／アシスタントソフトウェアを実行するエージェントソフトウェアであり得る。ロボット／アシスタントソフトウェアの例を挙げると、ロボット、ワークフローなどがあり、ジョブは、ＲＰＡによって実行される仕事の単位とみなされ得る。双方について、本明細書中さらに記載する。
本明細書中記載のように、ＲＰＡのワークフローにおけるアクティビティは、従来は手動で構成さているため、駆け出しの開発者の場合、ＲＰＡ構築のためのプロセスに時間がかかる。そのため、ＲＰＡワークフロー設計エンジン及び／またはセマンティック自動化ビルダーは、向上したＲＰＡの開発の１つ以上の技術的効果、利点及び恩恵ならびに自動化設計時間の低減を可能にする動作を提供する（例えば、アクティビティの改良された発見可能性、文字自動化タスクからの全アクティビティを特定する訓練済みモデル、音声テキスト化機能）。
図１は、１つ以上の実施形態によるハイパー自動化システム１００を示す構造図を示す。本明細書中用いられるように、「ハイパー自動化」とは、プロセス自動化のコンポーネントと、統合ツールと、仕事を自動化する能力を増強させる技術とを１つにした自動化システムを指す。例えば、いくつかの実施形態において、ＲＰＡはハイパー自動化システムのコアにおいて用いられ得、特定の実施形態において、人工知能及び／または機械（ＡＩ／ＭＬ）、プロセスマイニング、分析ならびに／あるいは他の高度ツールにより、自動化能力が拡張され得る。ハイパー自動化システムが例えばプロセス学習、ＡＩ／ＭＬモデルの訓練及び分析利用を進めるにつれて、より多くの知識労働が自動化され得、組織におけるコンピューティングシステム（例えば、個人によって使用されているもの及び自律的に実行されているもの双方）全てが、ハイパー自動化プロセスにおける参加者として従事し得る。いくつかの実施形態のハイパー自動化システムにより、ユーザー及び組織が自動化の発見、理解及びスケーリングを効率的かつ有効に実施することが可能になる。
ハイパー自動化システム１００は、ユーザーコンピューティングシステムを含む（例えば、デスクトップコンピューター１０２、タブレット１０４及びスマートフォン１０６）。しかし、任意の所望のコンピューティングシステムが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く用いられ得る（例を非限定的に挙げると、スマートウォッチ、ラップトップコンピューター、サーバー、モノのインターネット（ＩｏＴ）デバイス）。また、図１中では３つのユーザーコンピューティングシステムを図示しているが、任意の適切な数のコンピューティングシステムが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く用いられ得る。例えば、いくつかの実施形態において、数十個、数百個、数千個または数百万個のコンピューティングシステムが用いられ得る。ユーザーコンピューティングシステムは、ユーザーが能動的に用いてもよいし、あるいは、ユーザー入力をほとんどまたは全く用いること無く自動的に実行されてもよい。
各コンピューティングシステム１０２、１０４、１０６上においては、各自動化プロセス（単数または複数）１１０、１１２、１１４が実行される。自動化プロセス（単数または複数）１０２、１０４、１０６の例を非限定的に挙げると、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、ＲＰＡロボット、オペレーティングシステムの一部、各コンピューティングシステムのダウンロード可能なアプリケーション（単数または複数）、任意の他の適切なソフトウェア及び／またはハードウェア、あるいはこれらの任意の組み合わせがある。いくつかの実施形態において、プロセス（単数または複数）１１０、１１２、１１４のうち１つ以上が、リスナーであり得る。リスナーは、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、ＲＰＡロボット、オペレーティングシステムの一部、各コンピューティングシステムのダウンロード可能なアプリケーションあるいは任意の他のソフトウェア及び／またはハードウェアであり得る。実際、いくつかの実施形態において、リスナー（単数または複数）の論理は、物理的ハードウェアを介して部分的にまたは完全に実行される。
リスナーは、各コンピューティングシステムとのユーザー相互作用及び／またはアンアテンディッドコンピューティングシステムの動作に関するデータを監視及び記録し、ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワーク、衛星通信ネットワーク、インターネット、これらの任意の組み合わせなど）を介して上記データをコアハイパー自動化システム１２０へ送信する。このデータを非限定的に挙げると、どのボタンがクリックされたのか、マウスが動かされた場所はどこか、フィールド内に入力されたテキスト、１つのウィンドウが最小化され、別のウィンドウが開かれた、ウィンドウと関連付けられたアプリケーションなどがある。特定の実施形態において、リスナーからのデータは、ハートビートメッセージの一部として定期的に送信され得る。いくつかの実施形態において、所定量のデータが収集された後、所定の時間が経過した後またはこれら両方の後、データはコアハイパー自動化システム１２０へ送信され得る。１つ以上のサーバー（例えば、サーバー１３０）は、リスナーからのデータを受信し、データベース（例えば、データベース１４０）中に保存する。
自動化プロセスは、設計時期にワークフローにおいて開発された論理を実行し得る。ＲＰＡの場合、ワークフローは、順番にまたはいくつかの他の論理フローにおいて実行される１組のステップ（本明細書中、「アクティビティ」として定義される）を含み得る。各アクティビティは、アクションを含み得る（例えば、ボタンをクリックすること、ファイルを読み出すこと、ログパネルへ書き込むことなど）。いくつかの実施形態において、ワークフローは、入れ子式にしてもよいし、あるいは埋め込んでもよい。
いくつかの実施形態において、ＲＰＡのための長期実行されるワークフローは、サービスオーケストレーション、人的介入、及びアンアテンディッド環境において長期実行されるトランザクションをサポートするマスタープロジェクトである。米国特許第１０，８６０，９０５号を参照されたい。同文献の内容全体を参考のため援用する。人的介入が開始されるのは、アクティビティにおける次のステップに進む前に、特定のプロセスにおいて例外、承認または有効化を取り扱うために人間の入力が必要とされる場合である。この状況において、プロセス実行は中断されて、人間のタスクが完了されるまでＲＰＡロボットを開放する。
長期実行されるワークフローは、ワークフローフラグメンテーションを持続的アクティビティを介してサポートし得、呼び出しプロセス及び非ユーザー相互作用アクティビティと組み合わされ得、これにより人間のタスクをＲＰＡロボットタスクと共にオーケストレートする。いくつかの実施形態において、複数のまたは多数のコンピューティングシステムは、長期実行されるワークフローの論理の実行に参加し得る。長期実行されるワークフローは、スピーディーな実行を促進させるようにセッションにおいて実行され得る。いくつかの実施形態において、長期実行されるワークフローは、アプリケーションプログラミングインターフェース（ＡＰＩ）呼び出しを行いかつ長期実行されるワークフローセッションにおいて実行されるアクティビティを含み得るバックグラウンドプロセスをオーケストレートし得る。いくつかの実施形態において、これらのアクティビティは、呼び出しプロセスアクティビティによって呼び出され得る。ユーザーセッションにおいて実行されるユーザー相互作用アクティビティを含むプロセスが、コンダクターアクティビティ（本明細書中においてより詳細に記載されるコンダクター）からのジョブの開始によって呼び出され得る。いくつかの実施形態において、ユーザーは、コンダクター内において完了すべきフォームを要求するタスクを通じて相互作用し得る。ＲＰＡロボットにフォームタスクの完了を待機させた後に、長期実行されるワークフローを再開させるアクティビティが含まれ得る。
１つ以上の自動化プロセス（単数または複数）１１０、１１２、１１４が、コアハイパー自動化システム１２０と通信する。いくつかの実施形態において、コアハイパー自動化システム１２０は、コンダクターアプリケーションを１つ以上のサーバー（例えば、サーバー１３０）上において実行させ得る。例示目的のため、１つのサーバー１３０を図示しているが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、複数のまたは多数のサーバーを相互に近隣に配置してまたは分配型アーキテクチャにしたものを用いてもよい。例えば、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、１つ以上のサーバーが、コンダクター機能、ＡＩ／ＭＬモデル提供、認証、ガバナンス及び／または任意の他の適切な機能のために設けられ得る。いくつかの実施形態において、コアハイパー自動化システム１２０は、パブリッククラウドアーキテクチャ、プライベートクラウドアーキテクチャ、ハイブリッドクラウドアーキテクチャなどを採用し得るかまたはその一部となり得る。特定の実施形態において、コアハイパー自動化システム１２０は、１つ以上のコンピューティングシステム上の複数のソフトウェアベースのサーバーをホストし得る（例えば、サーバー１３０。）いくつかの実施形態において、コアハイパー自動化システム１２０の１つ以上のサーバー（例えば、サーバー１３０）が、１つ以上の仮想機械（ＶＭ）を介して実行され得る。
いくつかの実施形態において、自動化プロセス（単数または複数）１１０、１１２、１１４のうち１つ以上は、コアハイパー自動化システム１２０上において展開されたかまたはコアハイパー自動化システム１２０からアクセス可能な１つ以上のＡＩ／ＭＬモデル１３２を呼び出し得る。ＡＩ／ＭＬモデル１３２は、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、本明細書中においてより詳細に述べるように、任意の適切な目的のために訓練され得る。ＡＩ／ＭＬモデル１３２の例を非限定的に挙げると、生成的な事前訓練を行なったトランスフォーマー３（ＧＰＴ－３）モデルがある。このモデルは、ワークフロー記述のサンプル及びデータベース１４０中に見受けられる実際のワークフローによってさらに訓練され、その結果、微調整されたＧＰＴ－３モデルが得られる。いくつかの実施形態において、ＡＩ／ＭＬモデル１３２のうち２つ以上が、協同的出力（単数または複数）を共同で提供するように連鎖され得る（例えば、直列、並列、またはこれらの組み合わせ）。ＡＩ／ＭＬモデル１３２は、コンピュータービジョン（ＣＶ）、光学文字認識（ＯＣＲ）、文書処理及び／または理解、セマンティック学習及び／または分析、分析予測、プロセス発見、タスクマイニング、試験、自動ＲＰＡワークフロー生成、シーケンス抽出、クラスタリング検出、音声テキスト翻訳、これらの任意の組み合わせなどを行い得るかまたは支援し得る。しかし、任意の所望の数及び／または種類（単数または複数）のＡＩ／ＭＬモデルが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く用いられ得る。複数のＡＩ／ＭＬモデルを用いると、例えば所与のコンピューティングシステムにおいて何が起こっているのかについてシステムが全体像を展開することが可能になり得る。例えば、１つのＡＩ／ＭＬモデルはＯＣＲを行い得、別のものはボタンを検出し得、別のものはシーケンスを比較し得る。パターンが、ＡＩ／ＭＬモデルによって個別に決定され得るか、または複数のＡＩ／ＭＬモデルによって集合的に決定され得る。特定の実施形態において、１つ以上のＡＩ／ＭＬモデルが、コンピューティングシステム１０２、１０４、１０６のうち少なくとも１つにおいて局所的に展開される。
いくつかの実施形態において、複数のＡＩ／ＭＬモデル１３２が用いられ得る。各ＡＩ／ＭＬモデル１３２は、データ上で実行されるアルゴリズム（またはモデル）であり、ＡＩ／ＭＬモデルそのものは、例えば訓練データ中において訓練された人工「ニューロン」の深層学習ニューラルネットワーク（ＤＬＮＮ）であり得る。いくつかの実施形態において、ＡＩ／ＭＬモデル１３２は、多様な機能（例えば、統計モデリング（例えば、隠れマルコフモデル（ＨＭＭ）））を行う複数の層を有し得、所望の機能を行うために深層学習技術（例えば、長・短期記憶（ＬＳＴＭ）深層学習、前回の隠蔽状態の符号化など）を利用し得る。
いくつかの実施形態において、ハイパー自動化システム１００は、以下の４つの主要機能グループを提供し得る：（１）発見；（２）自動化の構築；（３）管理；及び（４）従属。いくつかの実施形態において、自動化（例えば、ユーザーコンピューティングシステム、サーバー上などにおいて実行するもの）は、ソフトウェアロボット（例えば、ＲＰＡロボット）によって実行され得る。例えば、アテンディッドロボット、アンアテンディッドロボット及び／または試験ロボットが用いられ得る。アテンディッドロボットは、ユーザーと協働して、ユーザーのタスクを（例えば、ＵｉＰａｔｈアシスタント（商標）を介して）支援する。アンアテンディッドロボットは、ユーザーから独立して機能し、バックグラウンドで恐らくはユーザーの知識無しに実行され得る。試験ロボットは、アプリケーションまたはＲＰＡワークフローに対してテストケースを実行するアンアテンディッドロボットである。いくつかの実施形態において、試験ロボットは、複数のコンピューティングシステム上において並列に実行され得る。
発見機能は、事業プロセスの異なる自動化機会を発見し得、これらの機会について自動レコメンデーションを提供し得る。このような機能は、１つ以上のサーバー（例えば、サーバー１３０）によって実行され得る。いくつかの実施形態において、発見機能は、自動化ハブ、プロセスマイニング、タスクマイニング及び／またはタスクキャプチャを提供することを含み得る。自動化ハブ（例えば、ＵｉＰａｔｈ自動化ハブ（商標））は、自動化ロールアウトを可視性及び制御と共に管理する機構を提供し得る。自動化アイディアが、従業員から例えば提出フォームを介してクラウドソースされ得る。これらのアイディアを自動化するための実行可能性及び投資対効果（ＲＯＩ）の計算が提供され得、将来の自動化のための文書化が収集され得、自動化の発見から構築までをより迅速に行うための協力が提供され得る。
（例えば、ＵｉＰａｔｈ自動化クラウド（商標）及び／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標））を介したプロセスマイニングは、アプリケーション（例えば、企業資源計画（ＥＲＰ）アプリケーション、カスタマーリレーション管理（ＣＲＭ）アプリケーション、ｅメールアプリケーション、コールセンターアプリケーションなど）からのデータを収集及び分析するプロセスを指し、組織中にどんなエンドツーエンドプロセスが存在するか及びそれらのプロセスを効果的に自動化させる方法を特定し、当該自動化による影響がどのようなものになるであろうかも示す。このデータは、ユーザーコンピューティングシステム１０２、１０４、１０６ｂｙ例えばリスナーによって収集され得、サーバー（例えば、サーバー１３０）によって処理され得る。いくつかの実施形態において、１つ以上のＡＩ／ＭＬモデル１３２が、この目的のために用いられ得る。この情報は、実行の高速化及び手動の情報転送の回避のために、自動化ハブへエクスポートされ得る。プロセスマイニングの目的は、組織内のプロセスを自動化することにより事業価値を増大させることであり得る。プロセスマイニング目的のいくつかの例を非限定的に挙げると、利益増大、顧客満足向上、規制及び／または契約の遵守、従業員効率の向上などがある。
タスクマイニングは、（例えば、ＵｉＰａｔｈ自動化クラウド（商標）及び／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標）を介して）ワークフロー（例えば、従業員ワークフロー）を特定及び集計し、次にＡＩ適用により日々のタスクのパターン及び変動を可視化させて、自動化容易性及び節減可能性（例えば、時間及び／またはコスト節減）についてこのようなタスクをスコア化する。１つ以上のＡＩ／ＭＬモデル１３２が、データ中のタスクパターンの反復を明示するために用いられ得る。次に、自動化の時機が熟している反復タスクが特定され得る。いくつかの実施形態において、この情報は、先ずリスナーから提供され得、コアハイパー自動化システム１２０のサーバー（例えば、サーバー１３０）上において分析され得る。タスクマイニング（例えば、拡張可能アプリケーションマークアップ言語（ＸＡＭＬ）プロセスデータ）からの調査結果は、文書処理へまたは自動化の作成及び展開をより容易に行うためにデザイナアプリケーション（例えば、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標））へエクスポートされ得る。
いくつかの実施形態において、タスクマイニングは、ユーザーアクション（例えば、マウスクリック場所、キーボード入力、アプリケーションウィンドウ及びユーザーが相互作用していたグラフィック要素、相互作用のタイムスタンプなど）のスクリーンショットをとること、統計データを収集すること（例えば、実行時間、アクション数、テキスト入力など）、スクリーンショットを編集及び注釈付加すること、記録されるべきアクションの種類を指定することなどを含み得る。
タスクキャプチャは、ユーザーがアンアテンディッドプロセスの枠組みに取り組んでいるかまたは提供している際に、（例えば、ＵｉＰａｔｈ自動化クラウド（商標）及び／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標）を介して）アテンディッドプロセスを自動的に文書化する。このような文書化は、骨格ワークフロー、プロセスの各部分をキャプチャするアクション、ユーザーアクションを記録すること、及び各ステップについての詳細を含む包括的ワークフロー図を自動生成すること、Ｍｉｃｒｏｓｏｆｔ Ｗｏｒｄ（登録商標）文書、ＸＡＭＬファイルなどをプロセス定義文書（ＰＤＤ）の形態で自動化するための所望のタスクを含み得る。いくつかの実施形態において、構築の準備が整ったワークフローが、デザイナアプリケーション（例えばＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標））へ直接エクスポートされ得る。タスクキャプチャは、プロセスを説明する対象事項の専門家及び製造グレードの自動化を提供するセンターオブエクセレンス（ＣｏＥ）のメンバー双方にとって、要求収集プロセスを簡素化させ得る。
自動化の構築は、デザイナアプリケーション（例えば、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）、ＵｉＰａｔｈ ＳｔｕｄｉｏＸ（商標）またはＵｉＰａｔｈ Ｗｅｂ（商標））を介して達成され得る。例えば、ＰＡ開発施設１５０のＲＰＡ開発者は、多様なアプリケーション及び環境（例えば、ウェブ、モバイル、ＳＡＰ（登録商標）及び仮想化デスクトップ）の自動化の構築及び試験のために、コンピューティングシステム１５２のＲＰＡデザイナアプリケーション１５４を用い得る。ＡＰＩ統合は、多様なアプリケーション、技術及びプラットフォームのために提供され得る。事前規定されたアクティビティ、ドラッグアンドドロップモデリング及びワークフローレコーダーは、自動化をより容易にさせ得、コーディングも最小になる。文書理解機能が、１つ以上のＡＩ／ＭＬモデル１３２を呼び出すデータ抽出及び解釈のために、ドラッグアンドドロップＡＩスキルを介して提供され得る。このような自動化は、任意の文書種類及びフォーマット（例えば、表、チェックボックス、署名及び手書き）を仮想的に処理し得る。有効化される際または例外が取り扱われる際、この情報は各ＡＩ／ＭＬモデルの再訓練のために用いられ得、これにより、精度が経時的に向上する。
統合サービスは、開発者が例えばユーザーインターフェース（ＵＩ）自動化をＡＰＩ自動化とシームレスに組み合わせることを可能にさせ得る。ＡＰＩを必要とするかまたはＡＰＩ及び非ＡＰＩのアプリケーション及びシステム双方を横断する自動化が、構築され得る。事前構築されたＲＰＡ及びＡＩテンプレート及び解決法のためのリポジトリ（例えば、ＵｉＰａｔｈ オブジェクトリポジトリ（商標））またはマーケットプレイス（例えば、ＵｉＰａｔｈマーケットプレイス（商標））が、開発者が広範な多様なプロセスをより迅速に自動化させることを可能にするために、提供され得る。よって、自動化の構築の際、ハイパー自動化システム１００は、ユーザーインターフェース、開発環境、ＡＰＩ統合、事前構築された及び／またはカスタム構築されたＡＩ／ＭＬモデル、開発テンプレート、統合開発環境（ＩＤＥ）及び高度ＡＩ能力を提供し得る。いくつかの実施形態において、ハイパー自動化システム１００は、ハイパー自動化システム１００のための自動化を提供し得るＲＰＡロボットの開発、展開、管理、構成、監視、デバッギング及びメンテナンスを可能する。
いくつかの実施形態において、ハイパー自動化システム１００のコンポーネント（例えば、デザイナアプリケーション（単数または複数）及び／または外部規則エンジン）は、ハイパー自動化システム１００によって提供される多様な機能の管理のためのガバナンスポリシーを管理及び施行するためのサポートを提供する。ガバナンスとは、組織にとって有害になり得るアクション（例えば、欧州連合の一般データ保護規則（ＧＤＰＲ）、米国の医療保険の携行性と責任に関する法律（ＨＩＰＡＡ）、サードパーティアプリケーションの利用規約などの違反）をとる可能性のある自動化（例えば、ＲＰＡロボット）をユーザーが開発する事態を回避するために、組織がポリシーを設定する能力である。そのようなものが無い場合、開発者は、自身が自動化を行っている際にプライバシー法、利用規約などに違反する自動化を作成し得るため、いくつかの実施形態は、アクセス制御及びガバナンス制限をロボット及び／またはロボット設計アプリケーションレベルにおいて実行する。いくつかの実施形態において、これは、ポリシー、規制、プライバシー法及び／またはプライバシーポリシーに違反する様態でセキュリティ上の危険性または成果物を導入し得る未承認のソフトウェアライブラリへの依存から開発者を遠ざけることにより、より高レベルのセキュリティ及びコンプライアンスを自動化プロセス開発パイプラインへ提供し得る。米国非仮特許出願第１６／９２４，４９９号を参照されたい。同文献の内容全体を参考のため援用する。
管理機能は、自動化の管理、展開及び最適化を組織にわたって提供し得る。いくつかの実施形態において、管理機能は、オーケストレーション、試験管理、ＡＩ機能及び／または識見を含み得る。ハイパー自動化システム１００の管理機能は、サードパーティ解決法及び自動化アプリケーション及び／またはＲＰＡロボットのためのアプリケーションとの統合ポイントとしても機能し得る。ハイパー自動化システム１００の管理能力の例を非限定的に挙げると、ＲＰＡロボットのプロビジョニング、展開、構成、キューイング、監視、ロギング及び相互接続性などの促進がある。
コンダクターアプリケーション（例えば、ＵｉＰａｔｈオーケストレータ（商標））（いくつかの実施形態において、これは、ＵｉＰａｔｈ自動化クラウド（商標）の一部として、オンプレミスで、ＶＭ中に、プライベートまたはパブリッククラウド中に、Ｌｉｎｕｘ（商標）ＶＭ中に、またはＵｉＰａｔｈ自動化スイート（商標）を介してクラウドネイティブの単一のコンテナスイートとして）提供され得る）は、ＲＰＡロボット展開のセキュリティの展開、監視、最適化、スケーリング及び確保のためのオーケストレーション能力を提供する。試験スイート（例えば、ＵｉＰａｔｈ試験スイート（商標））は、展開された自動化の品質を監視するための試験管理を提供し得る。試験スイートは、試験計画及び実行、要件の充足及び欠陥トレーサビリティを促進させ得る。試験スイートは、包括的な試験報告を含み得る。
分析ソフトウェア（例えば、ＵｉＰａｔｈ識見（商標））は、展開された自動化の性能を追跡し、測定し、管理し得る。分析ソフトウェアは、組織について自動化動作を特定の主要業績評価指標（ＫＰＩ）及び戦略的成果と揃え得る。分析ソフトウェアは、人間のユーザーによる理解の促進のために、結果をダッシュボードフォーマットで提示し得る。
データサービス（例えば、ＵｉＰａｔｈデータサービス（商標））は、データベース１４０中に保存され得、例えばデータをドラッグアンドドロップ保存インターフェースにより単一の、スケーラブルなセキュアな場所内に移動させ得る。いくつかの実施形態は、シームレスなアクセス、エンタープライズグレードのセキュリティ及びデータ拡張性を確保しつつ、低レベルコードまたはノーコードのデータモデリング及び自動化への保存を提供し得る。ＡＩ機能は、自動化へのＡＩ／ＭＬモデルの取り入れを促進させるＡＩセンター（例えば、ＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標））によって提供され得る。事前構築されたＡＩ／ＭＬモデル、モデルテンプレート及び多様な展開の選択肢は、データサイエンティストではない人にとってもこのような機能をアクセス可能にさせ得る。展開された自動化（例えば、ＲＰＡロボット）は、ＡＩセンターからＡＩ／ＭＬモデル（例えば、ＡＩ／ＭＬモデル１３２）を呼び出し得る。ＡＩ／ＭＬモデルの性能は監視され得、人間によって検証されたデータ（例えば、データレビューセンター１６０によって提供されるもの）を用いて訓練及び向上され得る。人間のレビューワーは、ラベル付きデータをコンピューティングシステム１５４上のレビューアプリケーション１５２を介してコアハイパー自動化システム１２０へ提供し得る。例えば、人間のレビューワーは、ＡＩ／ＭＬモデル１３２による予測が正確であるかまたはそうでは無い場合に修正を提供すると検証し得る。次に、この動的な入力は、ＡＩ／ＭＬモデル１３２を保持するための訓練データとして保存され得、例えばデータベース（例えば、データベース１４０）中に保存され得る。次に、ＡＩセンターは、新規バージョンのＡＩ／ＭＬモデルを訓練データを用いて訓練するための訓練ジョブをスケジュール及び実行し得る。正の例及び負の例双方が、ＡＩ／ＭＬモデル１３２の保持のために保存及び利用され得る。１つ以上の実施形態によれば、データベース１４０は、生成されたアクションを（これらのアクションの編集と共に）を保存するセマンティックワークフローデータベースと、ＡＩ／ＭＬモデル１３２の訓練材料として用いられるように生成されたワークフローとを示し得るかまたは含み得る。
従属機能は、所望のプロセス上におけるシームレスな協働のために人間及び自動化を１つのチームとして従属させ得る。いくつかの実施形態において、低レベルコードのアプリケーションは、ＡＰＩを含まないブラウザータブ及びレガシーソフトウェアも（例えば、ＵｉＰａｔｈ Ａｐｐｓ（商標）を介して）接続させるように、構築され得る。アプリケーションは、例えばドラッグアンドドロップ制御の豊富なライブラリーを通じてウェブブラウザーを用いて迅速に作成され得る。アプリケーションは、単一の自動化または複数の自動化へ接続され得る。
アクションセンター（例えば、ＵｉＰａｔｈアクションセンター（商標））は、自動化から人間へのハンドオフプロセスまたはその逆方向のハンドオフプロセスに対し、簡潔かつ効率的なメカニズムを提供する。人間は、例えば承認または段階的拡大を提供し得、例外を設定し得る。次に、自動化は、所与のワークフローの自動機能を行い得る。
ローカルアシスタントが、ユーザーが自動化（例えば、ＵｉＰａｔｈアシスタント（商標））を起動する際に用いられるローンチパッドとして提供され得る。この機能は、オペレーティングシステムによって提供されるトレイ中に提供され得、例えば、ユーザーがＲＰＡロボット及びＲＰＡロボットによって動力提供されるアプリケーションとの相互作用を自身のコンピューティングシステム上において行うことを可能にし得る。インターフェースは、所与のユーザーについて承認された自動化をリスト化し得、ユーザーがこれらの自動化を実行させることを可能にさせ得る。これらは、自動化マーケットプレイスからの準備完了した自動化、自動化ハブ中の内部自動化ストアなどを含み得る。自動化は、実行される際、コンピューティングシステム上の他のプロセスと並行してローカルインスタンスとして実行され得るため、自動化によるアクションが行われている間、ユーザーはコンピューティングシステムを使用することができる。特定の実施形態において、ユーザーが自身の間もなく自動化されるプロセスをアシスタントローンチパッドから文書化することができるように、アシスタントはタスクキャプチャ機能と統合される。
チャットボット（例えば、ＵｉＰａｔｈチャットボット（商標））、ソーシャルメッセージングアプリケーション及び／または音声コマンドは、ユーザーが自動化を実行することを可能にさせ得る。これにより、顧客と相互作用するためまたは他のアクティビティを行うための、ユーザーが必要としている情報、ツール及びリソースへのアクセスが簡単になり得る。人々の間の会話は、他のプロセスと同様に、容易に自動化され得る。このようにしてキックオフされたトリガーＲＰＡロボットは、動作（例えば、注文状況のチェック、ＣＲＭ中へのデータ投稿など）を恐らくはプレインランゲージコマンドを用いて行い得る。
いくつかの実施形態において、自動化プログラムの任意の規模でのエンドツーエンド測定及び管理が、ハイパー自動化システム１００によって提供され得る。上記により、自動化の性能を（例えば、ＵｉＰａｔｈ識見（商標）を介して）理解するために分析が用いられ得る。利用可能な事業測定基準及び業務識見の任意の組み合わせを用いたデータモデリング及び分析が、多様な自動プロセスにおいて用いられ得る。カスタム設計されかつ事前構築されたダッシュボードは、所望の測定基準にわたってデータを可視化することを可能にし、新規の分析識見を発見することを可能にし、性能インジケーターを追跡することを可能にし、自動化のためにＲＯＩを発見することを可能にし、テレメトリー監視をユーザーコンピューティングシステム上において行うことを可能にし、エラー及びアノマリーを検出することを可能にし、自動化をデバッグすることを可能にする。自動化管理コンソール（例えば、ＵｉＰａｔｈ自動化Ｏｐｓ（商標））が、自動化ライフサイクル全体において自動化を管理するために提供され得る。組織は、自動化の構築様態、ユーザーが自動化を用いてできる内容、ユーザーがアクセスすることが可能な自動化を管理し得る。
いくつかの実施形態において、ハイパー自動化システム１００は、反復型プラットフォームを提供する。プロセスが発見され得、自動化が構築、試験及び展開され得、性能が測定され得、自動化の利用が容易にユーザーへ提供され得、フィードバックが入手され得、ＡＩ／ＭＬモデルが訓練及び再訓練され得、プロセスそのものが反復され得る。これは、よりロバストかつ効果的な自動化スイートを促進させる。
図２は、１つ以上の実施形態によるＲＰＡシステム２００を示す構造図を示す。いくつかの実施形態において、ＲＰＡシステム２００は、図１のハイパー自動化システム１００の一部である。ＲＰＡシステム２００は、開発者がワークフロー（例えば、本明細書中に記載のようなＲＰＡワークフロー設計エンジン及び／またはセマンティック自動化ビルダー）を設計及び実行することを可能にするデザイナ２１０を含む。デザイナ２１０は、アプリケーション統合や、サードパーティアプリケーション、行政情報技術（ＩＴ）タスク及び事業ＩＴプロセスの自動化のための解決法を提供し得る。デザイナ２１０は、事業プロセスのグラフィカル表示である自動化プロジェクトの開発を促進させ得る。簡単に述べると、デザイナ２１０は、ワークフロー及びロボットの（矢印２１１によって示されるような）開発及び展開を促進させる。いくつかの実施形態において、デザイナ２１０は、ユーザーのデスクトップ上において実行されるアプリケーション、ＶＭにおいて遠隔実行されるアプリケーション、ウェブアプリケーションであり得る。
自動化プロジェクトは、ワークフロー中において開発されるカスタムセットのステップ（本明細書中上記によれば「アクティビティ」として規定されるもの）の間の実行順序及び関係の制御を開発者へ付与することにより、規則ベースのプロセスの自動化を可能にさせる。デザイナ２１０の実施形態の１つの商業的例として、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）がある。各アクティビティは、アクション（例えば、ボタンのクリック、ファイル読み出し、ログパネルへの書き込みなど）を含み得る。いくつかの実施形態において、ワークフローは、入れ子式にしてもよいし、あるいは埋め込んでもよい。
いくつかの種類のワークフローの例を非限定的に挙げると、シーケンス、フローチャート、有限状態機械（ＦＳＭ）及び／またはグローバル例外ハンドラーがある。シーケンスは、線形プロセスに特に適切であり得、１つのアクティビティから別のアクティビティへの流れをワークフローを乱すこと無く可能にする。フローチャートは、より複雑な事業論理により適切であり得、アクティビティの決定及び接続の統合を複数の分岐論理演算子を通じてより多様な様態で可能にする。ＦＳＭは、大規模ワークフローに特に適切であり得る。ＦＳＭは、自身の実行において有限数の状態を用い得、これらの状態は、ある条件（即ち、移行）またはアクティビティによってトリガーされる。グローバル例外ハンドラーは、実行エラーに遭遇した際及びデバッギングプロセスのためにワークフロー挙動を決定するのに特に適切であり得る。
デザイナ２１０においてワークフローが開発された後、事業プロセスの実行がコンダクター２２０によってオーケストレートされる。コンダクター２２０は、デザイナ２１０において開発されたワークフローを実行する１つ以上のロボット２３０をオーケストレートする。コンダクター２２０の実施形態の１つの商業的例として、ＵｉＰａｔｈオーケストレーター（商標）がある。コンダクター２２０は、環境内におけるリソースの作成、監視及び展開の管理を促進させる。コンダクター２２０は、サードパーティ解決法及びアプリケーションとの統合ポイントとして機能し得る。上記により、いくつかの実施形態において、コンダクター２２０は、図１のコアハイパー自動化システム１２０の一部であり得る。
コンダクター２２０は、ロボット２３０のフリートを管理し得、（矢印２３１によって示されるように）ロボット２３０を集中点から接続及び実行させる。管理され得るロボット２３０の種類を非限定的に挙げると、アテンディッドロボット２３２、アンアテンディッドロボット２３４、（アンアテンディッドロボット２３４と同様であるが、開発目的及び試験目的に用いられる）開発ロボット、及び（アテンディッドロボット２３２と同様であるが、開発目的及び試験目的に用いられる）非生産ロボットがある。アテンディッドロボット２３２は、ユーザーイベントによってトリガーされ、同一のコンピューティングシステム上において人間と共に作動する。アテンディッドロボット２３２は、集中型プロセス展開及びロギング媒体のためにコンダクター２２０と共に用いられ得る。アテンディッドロボット２３２は、人間のユーザーが多様なタスクを達成することを支援し得、ユーザーイベントによってトリガーされ得る。いくつかの実施形態において、プロセスは、この種のロボット上のコンダクター２２０から開始することができずかつ／またはロックされた画面下において実行することができない。特定の実施形態において、アテンディッドロボット２３２は、ロボットトレイのみからまたはコマンドプロンプトからのみから開始され得る。いくつかの実施形態において、アテンディッドロボット２３２は、人間の監督下において実行すべきである。
アンアテンディッドロボット２３４は、仮想環境においてアンアテンディッドで実行され、多数のプロセスを自動化させることができる。アンアテンディッドロボット２３４は、作業待ち行列のリモート実行、監視、スケジューリング及びサポート提供を担当し得る。いくつかの実施形態において、全種類のロボットのデバッギングは、デザイナ２１０において実行され得る。アテンディッドロボット及びアンアテンディッドロボット双方は、（破線の箱２９０によって示されるように）多様なシステム及びアプリケーション（例を非限定的に挙げると、メインフレーム、ウェブアプリケーション、ＶＭ、エンタープライズアプリケーションを自動化させ得る（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などによって製造されたもの））、ならびにコンピューティングシステムアプリケーション（例えば、デスクトップアプリケーション及びラップトップアプリケーション、モバイルデバイスアプリケーション、ウエラブルコンピューターアプリケーションなど）。
コンダクター２２０は、（矢印２３２によって示されるように）多様な能力を有し得る（例を非限定的に挙げると、提供、展開、構成、待ち行列、監視、ロギング、及び／または相互接続性の提供）。プロビジョニングは、ロボット２３０とコンダクター２２０（例えば、ウェブアプリケーション）との間の接続の作成及びメンテナンスを含み得る。展開は、割りあてられたロボット２３０への実行のためのパッケージバージョンの正確な送達を確保することを含み得る。構成は、ロボット環境及びプロセス構成のメンテナンス及び送達を含み得る。待ち行列は、待ち行列の管理及び待ち行列アイテムの提供を含み得る。監視は、ロボット識別情報データを追跡すること及びユーザー許可を維持することを含み得る。ロギングは、データベース（例えば、構造化照会言語（ＳＱＬ）またはＮｏＳＱＬデータベース）及び／または別の保存機構（例えば、大型データセットの保存及び迅速問い合わせを行う能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））へログを保存すること及びインデックス付与することを含み得る。コンダクター２２０は、サードパーティ解決法及び／またはアプリケーションの通信の集中点として機能することにより、相互接続性を提供し得る。
ロボット２３０は、デザイナ２１０中に組み込まれたワークフローを実行する実行エージェントである。ロボット（単数または複数）２３０のいくつかの実施形態の１つの商業的例として、ＵｉＰａｔｈ Ｒｏｂｏｔ（商標）がある。いくつかの実施形態において、ロボット２３０は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）による管理されたデフォルトのサービスをインストールする。その結果、このようなロボット２３０は、ローカルシステムアカウント下のインタラクティブＷｉｎｄｏｗｓ（登録商標）セッションを開くことができ、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有し得る。
いくつかの実施形態において、ロボット２３０は、ユーザーモードにおいてインストールされ得る。このようなロボット２３０の場合、所与のロボット２３０がインストールされているユーザーと同じ権利をロボット２３０が有していることを意味する。この機能は、高密度（ＨＤ）ロボットにも利用可能であり得るため、各機械を最大限の可能性までフル活用することが保証される。いくつかの実施形態において、任意の種類のロボット２３０が、ＨＤ環境において構成され得る。
いくつかの実施形態において、ロボット２３０は、いくつかのコンポーネントに分割され、それぞれは、特定の自動化タスクの専用とされる。いくつかの実施形態において、ロボットコンポーネントを非限定的に挙げると、ＳＣＭ管理のロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント及びコマンドラインがある。ＳＣＭ管理のロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理及び監視し、コンダクター２２０と実行ホスト（即ち、ロボット２３０が実行されるコンピューティングシステム）との間のプロキシとして機能する。これらのサービスは、ロボット２３０の資格情報によって信頼を受け、この資格情報を管理する。コンソールアプリケーションが、ローカルシステム下においてＳＣＭによって起動される。
いくつかの実施形態において、ユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理及び監視し、コンダクター２２０と実行ホストとの間のプロキシとして機能する。ユーザーモードロボットサービスは、ロボット２３０の資格情報によって信頼を受け得、この資格情報を管理し得る。ＳＣＭ管理のロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションは自動起動され得ない。
エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッション下において所与のジョブを実行させ得る（即ち、ワークフローを実行し得る。エグゼキュータは、モニター１インチあたりのドット数（ＤＰＩ）の設定を認識し得る。エージェントは、利用可能なジョブをシステムトレイウィンドウ内に表示するＷｉｎｄｏｗｓ（登録商標）プレゼンテーションファンデーション（ＷＰＦ）アプリケーションであり得る。エージェントは、サービスのクライアントであり得る。エージェントは、ジョブの開始または停止ならびに設定の変更をリクエストし得る。コマンドラインは、サービスのクライアントである。コマンドラインは、ジョブ開始をリクエストし得、ジョブの出力を待機し得るコンソールアプリケーションである。
ロボット２３０のコンポーネントを上記のように分割すると、各コンポーネントが実行している内容を開発者、サポートユーザー及びコンピューティングシステムが実行、特定及び追跡することがより容易になる。特殊な挙動が、コンポーネント毎にこのようにして構成され得る（例えば、エグゼキュータ及びサービスに応じて異なるファイヤーウォール規則を設定すること）。いくつかの実施形態において、エグゼキュータは、モニター毎のＤＰＩ設定を常に認識し得る。その結果、ワークフローが、当該ワークフローが作成されたコンピューティングシステムの構成に関係無く任意のＤＰＩにおいて実行され得る。いくつかの実施形態において、デザイナ２１０からのプロジェクトは、ブラウザのズームレベルからも独立し得る。いくつかの実施形態において、ＤＰＩを認識していないアプリケーションまたは認識していないものとして意図的にマーク付けされているアプリケーションについては、ＤＰＩはディセーブルされ得る。
本実施形態におけるＲＰＡシステム２００は、ハイパー自動化システムの一部である。開発者は、コアハイパー自動化システム２４０において（例えば、そのＡＩセンターの一部として）展開されたＡＩ／ＭＬモデルを利用するＲＰＡロボットを構築及び試験するために、デザイナ２１０を用い得る。このようなＲＰＡロボットは、ＡＩ／ＭＬモデル（単数または複数）の実行のために入力を送信し得、ＡＩ／ＭＬモデルからの出力をコアハイパー自動化システム２４０を介して受信し得る。
ロボット２３０のうち１つ以上は、上記したようにリスナーであり得る。これらのリスナーは、ユーザーが自身のコンピューティングシステムを使用しているときにユーザーが何をしてるのかについての情報をコアハイパー自動化システム２４０に提供し得る。次に、この情報は、コアハイパー自動化システムによってプロセスマイニング、タスクマイニング、タスクキャプチャなどのために用いられ得る。
ユーザーがＲＰＡローカルロボットを起動することを可能にするために、アシスタント／チャットボット２５０がユーザーコンピューティングシステム上に設けられ得る。このアシスタントは、例えばシステムトレイ内に配置され得る。チャットボットは、ユーザーがチャットボット内でテキストを見ることができるように、ユーザーインターフェースを有し得る。あるいは、チャットボットは、ユーザーインターフェースを含んでいない場合もあり、バックグラウンドで実行し得、コンピューティングシステムのマイクロフォンを用いてユーザーのスピーチをリッスンする。
いくつかの実施形態において、データのラベル付けは、ロボットが実行しているコンピューティングシステムのユーザーによってまたはロボットから情報が提供される別のコンピューティングシステムによって行われ得る。例えば、ＶＭユーザーのために画像上にＣＶを行うＡＩ／ＭＬモデルをロボットが呼び出したが、ＡＩ／ＭＬモデルが画面上のボタンを正しく特定しない場合、ユーザーは、誤認されたかまたは特定されていないコンポーネントの周囲に矩形を描き得、テキストに対して正しい識別情報を付与し得る。この情報は、コアハイパー自動化システム２４０へ提供され得、その後、後で新規バージョンのＡＩ／ＭＬモデルの訓練に用いられ得る。
図３は、１つ以上の実施形態による展開されたＲＰＡシステム３００を示す構造図を示す。いくつかの実施形態において、ＲＰＡシステム３００は、図２のＲＰＡシステム２００及び／または図１のハイパー自動化システム１００の一部であり得る。展開されたＲＰＡシステム３００は、例えば異なるコンピューティングプロセスの自動化のためにエンタープライズレベル、ユーザーレベルまたはデバイスレベルの自動化解決法を提供する、クラウドベースのシステム、オンプレミスシステム、デスクトップベースのシステムであり得る。
クライアント側３０１、サーバー側３０２または双方が、任意の所望の数のコンピューティングシステムを本明細書中の１つ以上の実施形態の範囲から逸脱すること無く含み得る点に留意されたい。クライアント側３０１において、ロボットアプリケーション３１０は、エグゼキュータ３１２と、エージェント３１４と、デザイナ３１６とを含む。しかし、いくつかの実施形態において、デザイナ３１６は、エグゼキュータ３１２及びエージェント３１４と同じコンピューティングシステム上において実行していない場合がある。エグゼキュータ３１２は、実行プロセスである。図３に示すように、いくつかの事業プロジェクトが同時に実行され得る。エージェント３１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、本実施形態において全エグゼキュータ３１２のための単一の接触ポイントである。本実施形態において、全てのメッセージは、コンダクター３４０にログインする。コンダクター３４０は、これらをデータベースサーバー３５５、ＡＩ／ＭＬサーバー３６０、インデクササーバー３７０またはこれらの任意の組み合わせを介してさらに処理する。図２について上記したように、エグゼキュータ３１２は、ロボットコンポーネントであり得る。
いくつかの実施形態において、ロボットは、機械名とユーザー名との間の関連を示す。ロボットは、複数のエグゼキュータを同時に管理し得る。同時に実行する複数のインタラクティブセッションをサポートするコンピューティングシステム（例えば、Ｗｉｎｄｏｗｓ（登録商標）サーバー２０１２）上において、複数のロボットが同時に実行している場合があり、それぞれは独自のユーザー名を用いて別個のＷｉｎｄｏｗｓ（登録商標）セッション内にある。これは、上記のＨＤロボットとして呼ばれる。
エージェント３１４は、ロボットの状態を送信することも担当し（例えば、ロボットが未だ機能していることを示す「ハートビート」メッセージを定期的に送信し）、必要なバージョンのパッケージを実行のためにダウンロードする。いくつかの実施形態において、エージェント３１４とコンダクター３４０との間の通信は、常にエージェント３１４によって開始される。通知シナリオにおいて、エージェント３１４は、コンダクター３３０がコマンドをロボットへ送る際にコンダクター３３０によって用いられるウェブソケットチャンネルを開き得る（例えば、開始、停止など）。
リスナー３３０は、アテンディッドコンピューティングシステム及び／またはリスナー３３０が常駐しているアンアテンディッドコンピューティングシステムの動作とのユーザー相互作用に関連するデータを監視及び記録する。リスナー３３０は、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、ＲＰＡロボット、オペレーティングシステムの一部、各コンピューティングシステムのためのダウンロード可能なアプリケーション、または任意の他のソフトウェア及び／またはハードウェアであり得る。実際、いくつかの実施形態において、リスナーの論理は、物理的ハードウェアを介して部分的にまたは完全に実行される。
サーバー側３０２において、プレゼンテーション層３３３、サービス層３３４及び持続的層３３６ならびにコンダクター３４０が設けられる。プレゼンテーション層３３３は、ウェブアプリケーション３４２、オープンデータプロトコル（ＯＤａｔａ）Ｒｅｐｒｅｓｅｎｔａｔｉｖｅ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ（ＲＥＳＴ）アプリケーションプログラミングインターフェース（ＡＰＩ）エンドポイント３４４ならびに通知及び監視３４６を含み得る。サービス層３３４は、ＡＰＩ実行／事業論理３４８を含み得る。持続的層３３６は、データベースサーバー３５５、ＡＩ／ＭＬサーバー３６０及びインデクササーバー３７０を含み得る。例えば、コンダクター３４０は、ウェブアプリケーション３４２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント３４４、通知及び監視３４６、ならびにＡＰＩ実行／事業論理３４８を含む。いくつかの実施形態において、ユーザーがコンダクター３４０インターフェースにおいて（例えば、ブラウザ３２０を介して）行うほとんどのアクションは、多様なＡＰＩを呼び出すことによって行われる。このようなアクションを非限定的に挙げると、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、ロボット上においてジョブを開始すること、待ち行列中においてデータを追加／削除すること、アンアテンディッドで実行するジョブをスケジューリングすることなどがある。ウェブアプリケーション３４２は、サーバープラットフォームのビジュアル層であり得る。本実施形態において、ウェブアプリケーション３４２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）及びＪａｖａＳｃｒｉｐｔ（ＪＳ）を使用する。しかし、任意の所望のマークアップ言語、スクリプト言語または任意の他のフォーマットが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く用いられ得る。本実施形態において、ユーザーは、コンダクター３４０を制御するための多様なアクションを行うために、ウェブアプリケーション３４２からのウェブページとブラウザ３２０を介して相互作用する。例えば、ユーザーは、ロボットグループを作成し得、パッケージをロボットへ割り当て得、ロボットについて及び／またはプロセスについてログを分析し得、ロボットを開始及び停止し得る。
ウェブアプリケーション３４２に加えて、コンダクター３４０は、ＯＤａｔａＲＥＳＴ ＡＰＩエンドポイント３４４を露出させるサービス層３３４も含む。しかし、他のエンドポイントが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く含まれ得る。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション３４２及びエージェント３１４双方によって消費される。本実施形態において、エージェント３１４は、クライアントコンピューター上の１つ以上のロボットスーパーバイザーである。
本実施形態において、ＲＥＳＴ ＡＰＩは、構成、ロギング、監視、及び（少なくとも矢印３４９によって示される）待ち行列機能を含む。いくつかの実施形態において、構成エンドポイントは、アプリケーションユーザー、許可、ロボット、アセット、リリース及び環境の定義及び構成のために用いられ得る。ロギングＲＥＳＴエンドポイントは、異なる情報（例えば、エラー、ロボットによって送られた明示的メッセージ、及び他の環境特有の情報）のログをとるために用いられ得る。展開ＲＥＳＴエンドポイントは、ジョブ開始コマンドがコンダクター３４０において用いられる場合に実行されるべきパッケージバージョンについてロボットが問い合わせる際にロボットによって用いられ得る。待ち行列ＲＥＳＴエンドポイントは、待ち行列及び待ち行列アイテム管理（例えば、待ち行列へデータを追加すること、待ち行列からトランザクションを入手すること、トランザクションのステータスを設定すること）を担当し得る。
ＲＥＳＴエンドポイントを監視することは、ウェブアプリケーション３４２及びエージェント３１４を監視し得る。通知及び監視ＡＰＩ３４６は、エージェント３１４を登録することと、構成設定をエージェント３１４へ送達させることと、サーバー及びエージェント３１４から通知を層に／受信することとのために用いられるＲＥＳＴエンドポイントであり得る。いくつかの実施形態において、通知及び監視ＡＰＩ３４６は、ＷｅｂＳｏｃｋｅｔ通信も用い得る。図３に示すように、本明細書中に記載の１つ以上のアクティビティ／アクションは、矢印３５０及び３５１によって示される。
いくつかの実施形態において、サービス層３３４中のＡＰＩは、例えばコンダクター３４０及び全体的ハイパー自動化システムがオンプレミス展開種類またはクラウドベースの展開種類を有するかに基づいて、適切なＡＰＩアクセス経路の構成を通じてアクセスされ得る。コンダクター３４０のＡＰＩは、コンダクター３４０中に登録された多様なエンティティについての問い合わせ統計のためのカスタム方法を提供し得る。いくつかの実施形態において、各論理リソースは、ＯＤａｔａエンティティであり得る。このようなエンティティにおいて、ロボット、プロセス、待ち行列などのコンポーネントは、特性、関係及び動作を有し得る。いくつかの実施形態において、コンダクター３４０のＡＰＩは、ウェブアプリケーション３４２及び／またはエージェント３１４によって２つの様態で消費され得る（即ち、コンダクター３４０からＡＰＩアクセス情報を入手することまたはＯＡｕｔｈ流れの使用のために外部アプリケーションを登録すること）。
本実施形態において、持続的層３３６は、サーバーのトリオを含む（即ち、データベースサーバー３５５（例えば、ＳＱＬサーバー）、ＡＩ／ＭＬサーバー３６０（例えば、ＡＩ／ＭＬモデル提供サービスを提供するサーバー（例えば、ＡＩセンター機能））及びインデクササーバー３７０）。本実施形態において、データベースサーバー３５５は、ロボット、ロボットグループ、関連付けられたプロセス、ユーザー、役割、スケジュールの構成などを保存する。いくつかの実施形態において、この情報は、ウェブアプリケーション３４２を通じて管理される。データベースサーバー３５５は、待ち行列及び待ち行列アイテムを管理し得る。いくつかの実施形態において、データベースサーバー３５５は、ロボットによってログされたメッセージを（インデクササーバー３７０に加えてまたはインデクササーバー３７０の代わりに）保存し得る。データベースサーバー３５５は、例えばクライアント側３０１にインストールされたリスナー３３０から受信されたプロセスマイニング、タスクマイニング及び／またはタスクキャプチャ関連データも保存し得る。リスナー３３０とデータベース３５５との間に矢印は図示されていないが、いくつかの実施形態において、リスナー３３０はデータベース３５５と通信することができ、その逆も可能であることが理解されるべきである。このデータは、ＰＤＤ、画像、ＸＡＭＬファイルなどの形式で保存され得る。リスナー３３０は、リスナー３３０が常駐している各コンピューティングシステム上のユーザーアクション、プロセス、タスク及び性能測定基準をインターセプトするように構成され得る。例えば、リスナー３３０は、その各コンピューティングシステム上のユーザーアクション（例えば、クリック、タイプ入力された文字、場所、アプリケーション、アクティブ要素、時間など）を記録し得、その後、これらをデータベースサーバー３５５中への提供及び保存のための適切なフォーマットへ変換し得る。
ＡＩ／ＭＬサーバー３６０は、自動化へのＡＩ／ＭＬモデルの取り入れを促進させる。事前構築されたＡＩ／ＭＬモデル、モデルテンプレート及び多様な展開選択肢は、データサイエンティストではない者にとってもこのような機能アクセスを可能にし得る。展開された自動化（例えば、ＲＰＡロボット）は、ＡＩ／ＭＬモデルをＡＩ／ＭＬサーバー３６０から呼び出し得る。ＡＩ／ＭＬモデルの性能が監視され得、人間によって検証されたデータを用いて訓練された及び向上され得る。ＡＩ／ＭＬサーバー３６０は、訓練ジョブをスケジュール及び実行して、新規バージョンのＡＩ／ＭＬモデルを訓練し得る。
ＡＩ／ＭＬサーバー３６０は、開発時期において多様なＭＬスキルをユーザーのために構成するためのＡＩ／ＭＬモデル及びＭＬパッケージに関連するデータを保存し得る。ＭＬスキルは、本明細書中用いられるように、プロセスのために事前構築されかつ訓練されたＭＬモデルであり、例えば自動化によって用いられ得る。ＡＩ／ＭＬサーバー４６０は、多様なＡＩ／ＭＬ能力についての文書理解技術及び枠組み、アルゴリズムならびにソフトウェアパッケージに関するデータも保存し得る（例を非限定的に挙げると、意図分析、自然言語処理（ＮＬＰ）、話し言葉分析、異なる種類のＡＩ／ＭＬモデルなど）。
インデクササーバー３７０は、いくつかの実施形態において任意選択的なものであり、ロボットによってログされた情報を保存し、インデックス付与する。特定の実施形態において、インデクササーバー３７０は、構成設定を通じてディセーブルされ得る。いくつかの実施形態において、インデクササーバー３７０は、オープンソースプロジェクトのフルテキストサーチエンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を用いる。ロボットによってログされたメッセージ（例えば、ログメッセージまたは行書き込みなどのアクティビティを用いたもの）は、ロギングＲＥＳＴエンドポイント（単数または複数）を通じてインデクササーバー３７０へ送られ得、インデクササーバー３７０において将来の利用のためにインデクス付与される。
図４は、１つ以上の実施形態によるデザイナ４１０、アクティビティ４２０、４３０、４４０、４５０、ドライバー４６０、ＡＰＩ４７０及びＡＩ／ＭＬモデル４８０間の関係を示す構造図を示す。本明細書中に記載のように、開発者は、ロボットによって実行されるワークフローを開発するためにデザイナ４１０によって用いられる。いくつかの実施形態において、多様な種類のアクティビティが開発者へ表示され得る。デザイナ４１０は、ユーザーのコンピューティングシステムに対してローカルであってもよいし、あるいはリモートであってもよい（例えば、ＶＭまたはリモートウェブサーバーと相互作用するローカルウェブブラウザーを介してアクセスされ得る）。ワークフローは、ユーザーが規定したアクティビティ４２０、ＡＰＩ駆動型アクティビティ４３０、ＡＩ／ＭＬアクティビティ４４０及び／または及びＵＩ自動化アクティビティ４５０を含み得る。一例として（点線によって示すように）、ユーザーが規定したアクティビティ４２０及びＡＰＩ駆動型アクティビティ４４０は、自身のＡＰＩを介してアプリケーションと相互作用する。その結果、いくつかの実施形態において、ユーザーが規定したアクティビティ４２０及び／またはＡＩ／ＭＬアクティビティ４４０は、ロボットが動作しているコンピューティングシステムに対してローカル配置されかつ／またはリモート配置され得る１つ以上のＡＩ／ＭＬモデル４８０を呼び出し得る。
いくつかの実施形態は、画像中の非テキスト視覚コンポーネント（本明細書中、ＣＶと呼ばれる）を特定することができる。ＣＶは、ＡＩ／ＭＬモデル（単数または複数）４８０によって少なくとも部分的に行われ得る。このようなコンポーネントに関連するいくつかのＣＶアクティビティを非限定的に挙げると、セグメント化されたラベルデータからテキストをＯＣＲを用いて抽出すること、ファジーテキストマッチング、セグメント化されたラベルデータをＭＬを用いてクロッピングすること、ラベルデータ中の抽出されたテキストを基礎となる真正データと比較することなどがある。いくつかの実施形態において、ユーザーが規定したアクティビティ４２０において実行され得る数百または数千のアクティビティがあり得る。しかし、任意の数及び／または種類のアクティビティが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く用いられ得る。
ＵＩ自動化アクティビティ４５０は、より低レベルのコードで書かれかつ画面との相互作用を促進させる特別なより低レベルのアクティビティのサブセットである。ＵＩ自動化アクティビティ４５０は、ロボットが所望のソフトウェアと相互作用することを可能にするドライバー４６０を介して、これらの相互作用を促進させる。例えば、ドライバー４６０は、オペレーティングシステム（ＯＳ）ドライバー４６２、ブラウザドライバー４６４、ＶＭドライバー４６６、エンタープライズアプリケーションドライバー４６８などを含み得る。いくつかの実施形態において、１つ以上のＡＩ／ＭＬモデル４８０が、コンピューティングシステムとの相互作用を行うためにＵＩ自動化アクティビティ４５０によって用いられ得る。特定の実施形態において、ＡＩ／ＭＬモデル４８０は、ドライバー４６０を増加させ得るかまたは完全にドライバー４６０と代替し得る。実際、特定の実施形態において、ドライバー４６０は含まれない。
ドライバー４６０は、ＯＳと低レベルで相互作用して、ＯＳドライバー４６２を介してフックを探索したり、鍵を監視したりなどし得る。ドライバー４６０は、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を促進させ得る。例えば、「クリック」アクティビティは、これらの異なるアプリケーションにおいてドライバー４６０を介して同じ役割を行う。
図５は、１つ以上の実施形態による、コントローラーを実行したＲＰＡによる事前承認されたアクセスを提供するように構成されたコンピューティングシステム５００を示す構造図を示す。１つ以上の実施形態によれば、ＲＰＡは識別情報を有するロボットまたは機械であるため、作成されたジョブが作成されると、当該ジョブは上記識別情報に基づいてＲＰＡに割り当てられる。即ち、コントローラーはＲＰＡについての情報を知っているため、ＲＰＡに対してコントローラーからジョブが割り当てられる。次に、コントローラーは（時には識別情報サービスと共に）ＲＰＡを確認して、ＲＰＡが正しい識別情報を有しているか、ＲＰＡに対して特定のジョブが割り当てられたかを確認する（例えば、コントローラー及び識別情報サービスそれぞれが構成を確認する）。例えば、識別情報サービスは、コントローラーについて事前承認された権利を確認し得る。この権利は、１組の任意の範囲について任意のユーザー識別情報についてトークンを要求することを含む。次に、コントローラーは、ジョブについて事前承認された権利を確認し得る（例えば、ユーザーアカウントが対応する構成を示す）。これらの場合において、コントローラー及び／またはＲＰＡがユーザー識別情報に対応するユーザーに扮することができるように、事前承認がユーザー識別情報に対して行われる。事前承認された権利を確認することは、構成が正しく設定されていることを確認すること、トークンリクエストを決定すること（例えば、いくつかの場合において、ジョブを実行する必要がある場合において、コントローラーはジョブを見て、ジョブに必要なトークンを決定する。次に、コントローラーは、識別情報サービスに進み、ジョブについて事前承認されたトークンを入手する）を含む。
いくつかの実施形態において、コンピューティングシステム５００は、本明細書中に図示及び／または記載のコンピューティングシステムのうち１つ以上であり得る。特定の実施形態において、コンピューティングシステム５００は、例えば図１及び図２に示すハイパー自動化システムの一部であり得る。コンピューティングシステム５００は、バス５０５または情報を通信する他の通信機構、及び処理情報のためにバス５０５へ連結されたプロセッサ（単数または複数）５１０を含む。プロセッサ（単数または複数）５１０は、任意の種類の汎用または特定目的用のプロセッサであり得る（例えば、中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、その複数のインスタンス及び／またはこれらの任意の組み合わせ）。プロセッサ（単数または複数）５１０は、複数の処理コアも有し得、コアのうち少なくともいくつかは、特定の機能を行うように構成され得る。いくつかの実施形態において、多並列処理が用いられ得る。特定の実施形態において、プロセッサ（単数または複数）５１０のうち少なくとも１つが、生物ニューロンを模倣する処理要素を含むニューロモルフィック回路であり得る。いくつかの実施形態において、ニューロモルフィック回路は、フォンノイマンコンピューティングアーキテクチャの典型的なコンポーネントを必要としない場合がある。
コンピューティングシステム５００は、プロセッサ（単数または複数）５１０によって実行されるべき情報及び命令を保存するメモリ５１５をさらに含む。メモリ５１５は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、静的記憶装置（例えば、磁気ディスクまたは光学ディスク）あるいは任意の他の種類の非一時的なコンピューターにより読み出し可能な媒体またはこれらの組み合わせの任意の組み合わせを含み得る。非一時的なコンピューターにより読み出し可能な媒体は、プロセッサ（単数または複数）５１０によるアクセスが可能な任意の利用可能な媒体であり得、揮発性媒体、不揮発性媒体または双方を含み得る。媒体は、取り外し可能であってもよいし、取り外し不可能であってもよいし、あるいはどちらも可能であってもよい。
さらに、コンピューティングシステム５００は、無線及び／または有線の接続を介して通信ネットワークへのアクセスを提供するための通信デバイス５２０（例えば、トランシーバ）を含む。いくつかの実施形態において、通信デバイス５２０は、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、周波数分割多重アクセス（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、直交周波数多重（ＯＦＤＭ）、直交周波数分割多重アクセス（ＯＦＤＭＡ）、モバイル通信用グローバルシステム（ＧＳＭ）、汎用パケット無線サービス（ＧＰＲＳ）、万国移動通信システム（ＵＭＴＳ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、高速パケットアクセス（ＨＳＰＡ）、ロングタームエボリューション（ＬＴＥ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、８０２、１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域（ＵＷＢ）、８０２．１６ｘ、８０２．１５、Ｈｏｍｅ Ｎｏｄｅ－Ｂ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線周波数認識装置（ＲＦＩＤ）、赤外線データ協会（ＩｒＤＡ）、近距離無線通信（ＮＦＣ）、第５世代（５Ｇ）新規無線（ＮＲ）、これらの任意の組み合わせ、及び／または任意の他の現在の既存のまたは将来実行される通信基準及び／またはプロトコルを用いるように構成され得る。いくつかの実施形態において、通信デバイス５２０は、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、単数の、整列された、パネル、位相、スイッチ型、ビーム形成、ビームステアリング、これらの組み合わせの１つ以上のアンテナならびにあるいは任意の他のアンテナ構成を含み得る。
プロセッサ（単数または複数）５１０は、バス５０５を介してディスプレイ５２５へさらに連結され得る（例えば、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放射ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高細精度ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、インプレーンスイッチング（ＩＰＳ）ディスプレイまたはユーザーへ情報を表示する任意の他の適切なディスプレイ）。ディスプレイ５２５は、抵抗性、容量性、弾性表面波（ＳＡＷ）容量性、赤外線、光学イメージング、分散信号技術、音響パルス認識、フラストレーション内部全反射などを用いて、タッチ（触覚）ディスプレイ、三次元（３Ｄ）タッチディスプレイ、多入力タッチディスプレイ、マルチタッチディスプレイなどとして構成され得る。任意の適切なディスプレイデバイス及び触覚Ｉ／Ｏが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、用いられ得る。
キーボード５３０及びカーソル制御デバイス５３５（例えば、コンピューターマウス、タッチパッド）が、ユーザーがコンピューティングシステム５００とのインターフェースを持つことを可能にするように、さらにバス５０５へ連結される。しかし、特定の実施形態において、物理的キーボード及びマウスが存在しない場合があり得、ユーザーは、ディスプレイ５２５及び／またはタッチパッド（図示せず）のみを通じてデバイスと相互作用し得る。任意の種類及び組み合わせの入力デバイスが、設計選択事項として用いられ得る。特定の実施形態において、物理的入力デバイス及び／またはディスプレイが存在しない。例えば、ユーザーは、自身が通信している別のコンピューティングシステムを介してコンピューティングシステム５００と遠隔的に相互作用してもよし、あるいはコンピューティングシステム５００が自律的に動作してもよい。
メモリ５１５は、プロセッサ（単数または複数）５１０によって実行された場合に機能を提供するソフトウェアモジュールを保存する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５４０を含む。これらのモジュールは、本明細書中に記載のプロセスまたはその派生物を全体的にまたは部分的に行うように構成されたモジュール５４５（例えば、コントローラーを実行したＲＰＡによる事前承認されたアクセス）をさらに含む。コンピューティングシステム５００は、さらなる機能を含む１つ以上のさらなる機能モジュール５５０を含み得る。
当業者は、「システム」は、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、サーバー、組込コンピューティングシステム、パーソナルコンピューター、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステムまたは任意の他の適切なコンピューティングデバイス、あるいはデバイスの組み合わせとして具現化され得ることを理解する。上記機能を「システム」によって行われるものとして提示することは、本明細書中の実施形態の範囲を制限することをいかようにも意図しておらず、多くの実施形態の一例を提供することを意図している。実際、本明細書中に開示される方法、システム及び装置は、クラウドコンピューティングシステムを含むコンピューティング技術と一致する局所型及び分散型として実行され得る。コンピューティングシステムは、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワーク、衛星通信ネットワーク、インターネット、パブリッククラウドまたはプライベートクラウド、ハイブリッドクラウド、サーバーファーム、これらの任意の組み合わせなどの一部であり得るか、または、他の場合にこれらによるアクセスが可能であり得る。任意の局所型または分散型アーキテクチャが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く用いられ得る。
本明細書中に記載のシステム特徴のうちいくつかが、その実行独立性をより詳細に強調するためにモジュールとして提示されてきた点に留意されたい。例えば、モジュールは、カスタム型の超大規模集積（ＶＬＳＩ）回路またはゲートアレイ、市販の半導体（例えば、論理チップ、トランジスターまたは他の個別コンポーネント）を含むハードウェア回路として実行され得る。モジュールは、プログラマブルハードウェアデバイス（例えば、フィールドプログラマブルゲートアレイ、プログラマブルアレイ論理、プログラマブル論理デバイス、グラフィックスプロセッシングユニットなど）においても実行され得る。
モジュールは、多様な種類のプロセッサによる実行のためにソフトウェアにおいて少なくとも部分的に実行してもよい。実行可能コードの特定された単位は、例えば、オブジェクト、手順または関数として組織され得るコンピューター命令の１つ以上の物理ブロックまたは論理ブロックであり得る。それにも関わらず、特定されたモジュールの実行可能ファイルは、物理的に共に配置する必要は無いが、異なる場所に保存された異種の命令を含み得る。これらの異種の命令は、共に論理的に結合されると、モジュールを含み、モジュールの明示された目的を達成する。さらに、モジュールは、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、コンピューターにより読み出し可能な媒体（これは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ及び／またはデータの保存に用いられる任意の他のこのような非一時的コンピューターにより読み出し可能な媒体であり得る）上に保存され得る。
実際、実行可能コードのモジュールは、単一の命令または多数の命令であり得、さらにはいくつかの異なるコードセグメントにわたって、異なるプログラム間においてかついくつかのメモリデバイスにわたって分散させてもよい。同様に、動作データは、モジュール内において特定及び例示され得、任意の適切な形態で具現化され得、任意の適切な種類のデータ構造内に編成化され得る。動作データは、単一のデータセットとして収集してもよいし、あるいは、異なる記憶装置にわたるものを含む異なる場所にわたって分散させてもよく、単にシステムまたはネットワーク上の電子信号として少なくとも部分的に存在し得る。
多様な種類のＡＩ／ＭＬモデルが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、訓練され得、展開され得る。例えば、図６は、１つ以上の実施形態により画像内のグラフィック要素を認識するように訓練されたニューラルネットワーク６００の例を示す。ここで、ニューラルネットワーク６００は、（縦列６２０によって示されるような）入力層のＩに対する入力「ニューロン」１についての入力として、１９２０×１０８０画面のスクリーンショット画像の（縦列６１０によって示されるような）画像を受信する。この場合、Ｉは２，０７３，６００であり、これは、スクリーンショット画像内の合計画素数である。
ニューラルネットワーク６００は、（縦列６３０及び６４０によって示されるような）複数の隠れ層も含む。ＤＬＮＮ及び浅層学習ニューラルネットワーク（ＳＬＮＮ）は通常は複数の層を有するが、場合によってはＳＬＮＮは１つまたは２つの層のみを有する場合もあり、通常はＤＬＮＮよりも少数である。典型的には、ニューラルネットワークアーキテクチャは、ニューラルネットワーク６００と同様に、入力層と、複数の中間層（例えば、隠れ層）と、（縦列６５０によって示されるような）出力層とを含む。
ＤＬＮＮは、多数の層（例えば、１０、５０、２００）を有することが多く、後続層は、より複雑な一般的機能の計算のために、典型的には前の層からのフィーチャを再利用する。一方、専門家フィーチャが生データサンプルから事前に作成されているため、ＳＬＮＮは、数個の層のみを有することが多く、訓練も比較的高速である傾向がある。しかし、フィーチャ抽出には手間がかかる。他方、ＤＬＮＮは、通常は専門家フィーチャは不要であり、訓練にはより長時間を要し、より多数の層を有する傾向がある。
どちらのアプローチにおいても、これらの層は、訓練セットに対して同時に訓練され、通常は、孤立した交差検証セットへのオーバーフィッティングをチェックする。どちらの技術においても優れた結果が得られ得、双方のアプローチに対して相当の熱意がある。個々の層の最適なサイズ、形状及び数量は、各ニューラルネットワークが対処する問題によって異なる。
図６に戻って、入力層として設けられた画素は、隠れ層１のＪニューロンへの入力として送られる。本例においては全画素を各ニューロンへ送っているが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、個別にまたは組み合わせて用いられ得る多様なアーキテクチャが可能である（例を非限定的に挙げると、フィードフォワードネットワーク、ラジアル基底ネットワーク、ディープフィードフォワードネットワーク、ディープ畳み込み逆グラフィックスネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、人工ニューラルネットワーク、長・短期記憶ネットワーク、ゲート付き回帰型ユニットネットワーク、生成敵対的ネットワーク、液体状態機械、オートエンコーダ、変分オートエンコーダ、ノイズ除去オートエンコーダ、スパースオートエンコーダ、エクストリーム学習機械、エコー状態ネットワーク、マルコフ鎖、ホップフィールドネットワーク、ボルツマン機械、制限付きボルツマン機械、ディープ残留ネットワーク、コホネンネットワーク、深層信念ネットワーク、深層畳み込みネットワーク、サポートベクトル機械、ニューラルターニング機械、または任意の他の適切な種類または組み合わせのニューラルネットワーク）。
隠れ層２（６３０）は、隠れ層１（６２０）から入力を受信し、隠れ層３は、隠れ層２（６３０）から入力を受信するといった具合に、（楕円６５５によって示されるように）最後の隠れ層が出力層のための出力を入力として提供するまで全ての隠れ層について行われる。ニューロンＩ、Ｊ、Ｋ及びＬの数は必ずしも等しくないため、任意の所望の数の層が、本明細書中の１つ以上の実施形態の範囲から逸脱すること無くニューラルネットワーク６００の所与の層に対して用いられ得る点に留意されたい。実際、特定の実施形態において、所与の層内のニューロンの種類は、全てが同一では無い場合がある。
ニューラルネットワーク６００は、画像内に見受けられると思われるグラフィック要素に対して信頼度スコアを割りあてるように、訓練される。いくつかの実施形態において、許容できないほど低い可能性とのマッチを低減させるために、信頼閾値を満たすかまたは超える信頼度スコアを有する結果のみが提供され得る。例えば、信頼閾値が８０％である場合、信頼度スコアがこの量を超える出力が用いられ得、残りは無視され得る。この場合、出力層は、（出力６６１及び６６２によって示されるような）２つのテキストフィールド、（出力６６３によって示されるような）テキストラベル、及び（出力６６５によって示されるような）提出ボタンが見つかったことを示す。ニューラルネットワーク６００は、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く、これらの要素について場所、寸法、画像及び／または信頼度スコアを提供し得る、これは、ＲＰＡロボットまたは所与の目的のためにこの出力を用いる別のプロセスによって後に用いられ得る
ニューラルネットワークは、信頼度スコアを有することが多い確率論的構造体である点に留意されたい。これは、類似の入力が訓練時に正しく特定された頻度に基づいてＡＩ／ＭＬモデルによって学習されたスコアであり得る。例えば、テキストフィールドは、矩形形状及び白色バックグラウンドを有することが多い。ニューラルネットワークは、これらの特性を高信頼度と共に有するグラフィック要素を特定することを学習し得る。いくつかの一般的種類の信頼度スコアは、０～１の十進数（これは、信頼度パーセンテージとして解釈され得る）、負の００～正の００の間の数、または表現の集合（例えば、「低」、「中」及び「高」）を含む。より正確な信頼度スコアを入手するために、多様な後処理較正技術も用いられ得る（例えば、温度スケーリング、バッチ正規化、荷重減衰、負の対数尤度（ＮＬＬ）など）。
ニューラルネットワーク中の「ニューロン」は、典型的には生物ニューロンの機能に基づいた数学関数である。ニューロンは、重み付き入力を受け取り、総和と、次の層へ出力を送るかを規定する活性化関数とを有する。この活性化関数は、非線形の閾値活性関数であり得、値が閾値を下回る場合は何も発生しないが、閾値を超えるとこの関数は線形に反応する（即ち、正規化線形ユニット（ＲｅＬＵ）の非線形性）。実際のニューロンはほぼ同様の活性関数を有し得るため、総和関数及びＲｅＬＵ関数は深層学習において用いられる。線形変換を介して、情報が減算、加算などされ得る。本質的には、ニューロンは、基礎となる数学関数によって規定されるような出力を次の層へ送るゲーティング機能として機能する。いくつかの実施形態において、少なくともいくつかのニューロンに対して、異なる関数が用いられ得る。
この場合、ニューロン７００は、単一層のパーセプトロンである。しかし、任意の適切な種類のニューロンまたは複数種類のニューロンの組み合わせが、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く用いられ得る。いくつかの実施形態において、活性化関数の重み及び／または出力値（単数または複数）の数値範囲は、本明細書中の１つ以上の実施形態の範囲から逸脱すること無く異なり得る点にも留意されたい。
目標または「報酬機能」が往々にして用いられる（例えば、画像中のグラフィック要素の識別情報が成功した場合のため）。報酬機能は、中間移行及びステップを探索して、状態空間の探索及び目標（例えば、グラフィック要素の成功する識別情報、ＲＰＡワークフローのためのアクティビティの次のシーケンスの成功する識別情報）の達成のための試行を誘導するために、短期報酬及び長期報酬双方を用いる。
訓練時において、多様なラベル付きデータ（この場合、画像）は、ニューラルネットワーク６００を通じて送られる。成功する識別情報は、ニューロンへの入力に対する重みを強くする一方、成功しない識別情報は、この重みを弱くする。少しだけ誤っている予測に対する罰則を非常に誤っている予測の場合よりもずっと軽くするために、コスト関数（例えば、平均二乗誤差（ＭＳＥ）または勾配降下）が用いられ得る。ＡＩ／ＭＬモデルの性能が一定回数の訓練反復後に向上しない場合、データサイエンティストは、例えば、報酬機能を修正し得、特定されていないグラフィック要素の表示を提供し得、誤認されたグラフィック要素の修正を提供し得る。
逆方向伝搬は、フィードフォワードニューラルネットワーク内のシナプス重みを最適化する技術である。逆方向伝搬は、ニューラルネットワークの隠れ層の「フードを開ける」ために用いられ得、これにより、各ノードが負う損失の大きさを確認し、その後当該ノードへより高いエラー率及びより低い重みを付与することにより上記損失を最小化させるように上記重みを更新することならびにその逆を行う。換言すれば、逆方向伝搬は、データサイエンティストが実際の出力と所望の出力との間の差を最小化させるように上記重みを繰り返し調節することを可能にする。
逆方向伝搬アルゴリズムは、最適化理論において数学的に発見される。教師付き学習において、出力が既知である訓練データは、ニューラルネットワークを通じて送られ、既知のターゲット出力からのコスト関数と共にエラーが計算された結果、逆方向伝搬におけるエラーが得られる。エラーは出力において計算され、このエラーは、エラーを最小化させるネットワーク重みのための修正に変換される。
ＡＩ／ＭＬモデルは、良好な精度レベル（例えば、検出についてＦ２またはＦ４の閾値及びおよそ２，０００個のエポックを用いて９７％以上）に到達するまで、複数のエポックにわたって訓練され得る。いくつかの実施形態において、この精度レベルは、本明細書中の１つ以上の実施形態の範囲から逸脱すること無くＦ１スコア、Ｆ２スコア、Ｆ４スコアまたは任意の他の適切な技術を用いて決定され得る。訓練データ上で訓練された後、ＡＩ／ＭＬモデルは、ＡＩ／ＭＬモデルが以前遭遇したことの無い１組の評価データについて試験され得る。これにより、訓練データ中のグラフィック要素は良好に特定するが、他の画像までは一般化しないように、ＡＩ／ＭＬモデルを「オーバーフィット」させることが確実に無いことが支援される。
いくつかの実施形態において、ＡＩ／ＭＬモデルが達成可能な精度レベルが不明である場合がある。そのため、評価データの評価時にＡＩ／ＭＬモデルの精度が低下し始めた場合（即ち、モデルは訓練データ上では良好に機能するものの、評価データ上ではそれほど機能しなくなり始めた場合）、ＡＩ／ＭＬモデルは、訓練データ上の訓練のより多数のエポック（及び／または新規訓練データ）を通過し得る。いくつかの実施形態において、ＡＩ／ＭＬモデルは、精度が特定のレベルに到達した場合または訓練されたＡＩ／ＭＬモデルの精度が既存の展開されたＡＩ／ＭＬモデルを上回る場合にのみ、展開される。
特定の実施形態において、訓練されたＡＩ／ＭＬモデルの集合が、タスクの達成のために用いられ得る（例えば、各種の対象グラフィック要素のためにＡＩ／ＭＬモデルを用いること、ＯＣＲの実施のためにＡＩ／ＭＬモデルを用いること、グラフィック要素間の近接関係を認識するためにさらに別のＡＩ／ＭＬモデルを展開すること、その他のＡＩ／ＭＬモデルからの出力に基づいてＲＰＡワークフローを生成するためにさらに別のＡＩ／ＭＬモデルを用いること）。これは、例えばＡＩ／ＭＬモデルがセマンティック自動化を可能にすることを集合的に可能にし得る。
いくつかの実施形態は、最先端技術の文章、テキスト及び画像の埋め込みのためのＰｙｔｈｏｎ（商標）の枠組みであるＳｅｎｔｅｎｃｅＴｒａｎｓｆｏｒｍｅｒ（商標）などのトランスフォーマーネットワークを用い得る。このようなトランスフォーマーネットワークは、高スコア及び低スコア双方を有する単語及び句の関連を学習する。これは、入力に近いものは何か及び近くないものは何かをそれぞれＡＩ／ＭＬモデルに学習させる。単語／句の複数の対を単に用いる代わりに、トランスフォーマーネットワークは、フィールド長さ及びフィールド種類も用い得る。
図８は、１つ以上の実施形態による、ＡＩ／ＭＬモデル（単数または複数）の訓練のためのプロセス８００を示すフローチャートである。プロセス８００は、他のＵＩ学習動作（例えば、ＮＬＰ及びチャットボットのためのもの）にも適用可能である点に留意されたい。このプロセスは、ブロック８１０において訓練データと共に開始する（例えば、図８に示すようなラベル付きデータを提供すること）（例えば、（例えば、特定されたグラフィック要素及びテキストで）ラベル付けされた画面、単語及び句、所与の単語または句についての類似の単語及び句を特定可能にするための単語及び句間のセマンティック関連の「類語辞典」など）。提供される訓練データの性質は、ＡＩ／ＭＬモデルが達成しようとしている目的に依存する。次に、ＡＩ／ＭＬモデルはブロック８２０において複数のエポックにわたって訓練され、結果がブロック８３０においてレビューされる。
決定ブロック８４０においてＡＩ／ＭＬモデルが所望の信頼閾値を満たさない（プロセス８００が「いいえ」の矢印に従って進む）場合、ＡＩ／ＭＬモデルがブロック８５０において目的をより良く達成することを支援するために訓練データが捕捉されかつ／または報酬機能が修正され、プロセスはブロック８２０に戻る。決定ブロック８４０においてＡＩ／ＭＬモデルが信頼閾値を満たす（プロセス８００が「はい」の矢印に従って進む）場合、ＡＩ／ＭＬモデルが良好に一般化しておりかつＡＩ／ＭＬモデルが訓練データに対してオーバーフィットしていないことを保証するために、ブロック８６０においてＡＩ／ＭＬモデルを評価データについて試験する。評価データは、ＡＩ／ＭＬモデルが以前に処理したことの無い画面、ソースデータなどを含み得る。決定ブロック８７０において信頼閾値が評価データについて満たされている（プロセス８００が「はい」の矢印に従って進む）場合、ＡＩ／ＭＬモデルはブロック８８０において展開される。そうではない（プロセス８００が「いいえ」の矢印に従って進む）場合、プロセスはブロック８８０に戻り、ＡＩ／ＭＬモデルはさらに訓練される。
図９は、１つ以上の実施形態による方法９００を示すフローチャートである。方法９００は、システム９０１によって実行され得る（例えば、ＲＰＡワークフロー設計エンジン９０２（本明細書中エンジン９０２と呼ぶ；例えば、図２のデザイナ２１０）及びエンジン９０２から独立し得るかまたはエンジン９０２中に内蔵され得るセマンティック自動化ビルダー９０３を実行するコンピューティングシステム及び／またはコントローラー）。システム９０１は、データソース９０４（例えば、アプリケーションデータ（例えば、Ｅｘｃｅｌ表計算））、ＲＰＡ９０５、ＣＶソフトウェア９０６、セマンティックワークフローデータベース９０７、及びアクション生成器及びＡＩモデル９０８（本明細書中生成器９０８と呼ぶ）をさらに含む。
一般的に、システム９０１は、コンピューティングシステム、クラウドシステム、及び／またはセマンティック自動化ビルダー９０３の動作をエンジン９０２を通じて実行するコントローラーであり得る。方法９００は、ユーザーが書かれた自然言語を用いてワークフローを生成することを可能にする、システム９０１による例示的動作（例えば、セマンティック自動化を作成すること）を示す。例えば、エンジン９０２及び／またはセマンティック自動化ビルダー９０３は、ＲＰＡ９０５の生成、管理、自動実行及び作動のためのポリシー及び技術の枠組みを含むシステム９０１内のソフトウェアとして記述され得る。そのため、エンジン９０２及び／またはセマンティック自動化ビルダー９０３は、向上したＲＰＡの開発の１つ以上の技術的効果、利点及び恩恵ならびに自動化設計時間の低減を可能にする動作を提供する（例えば、アクティビティの改良された発見可能性、文字自動化タスクからの全アクティビティを特定する訓練済みモデル、音声テキスト化機能）。
セマンティック自動化ビルダー９０３は、ＲＰＡ９０５のためのセマンティックを用いて自動アクティビティ構成を可能にする。例えば、セマンティック自動化ビルダー９０３は、自然言語で記述されたタスクからのＭＬを用いてＲＰＡ９０５のためのワークフローを生成し、ゼロコードの直感的なＵＩを用いて生成されたワークフローを有効化させる。１つ以上の実施形態によれば、セマンティック自動化ビルダー９０３は、自動化を通じて達成すべきアクションの詳細を規定するステップバイステップアプローチを用いてプロセスが構築されるエンジン９０２の内側にネストされたゼロコードの直感的なＵＩ（例えば、ウィザード）を含み得る。さらに、各ステップにおいて、ユーザーは、データソース９０４をセマンティック自動化ビルダー９０３へ提供し、セマンティック自動化ビルダー９０３は、ＣＶソフトウェア９０６、セマンティックワークフローデータベース９０７及び／または生成器９０８の活用により、自動化を構築する。
データソース９０４は、ワークフローの１つ以上のアクション、アクティビティまたはステップを記述する任意の形態の情報であり得る。データソース９０４の例を非限定的に挙げると、アプリケーションデータ（例えば、Ｅｘｃｅｌ表計算）、自然言語（例えば、テキスト形態のもの）、文字自動化タスク、アプリケーション中に見受けられるデータテーブル、及び音声テキスト化がある。データソース９０４の１つ以上の技術的効果、利点及び恩恵は、生成器９０８の動作の向上と、「アウトオブザボックス」で利用可能な自動化の作成のためのセマンティック自動化ビルダー９０３の支援とのためにセマンティックラベル付きデータのデータベースを活用することを含む。
ＲＰＡ９０５は、ロボット、ワークフローなどのロボット／アシスタントソフトウェアを実行するエージェントソフトウェアであり得る。ジョブは、ＲＰＡによって実行される仕事の単位とみなされ得る。双方について、本明細書中さらに記載する。１つ以上の実施形態によれば、ＲＰＡ９０５は、複数のステップが１つ以上の文字自動化タスクへ付加された複雑なフローであり得る。
ＣＶソフトウェア９０６は、本明細書中に記載のようにデジタル画像またはビデオからのワークフローのアクション、アクティビティまたはステップの理解を得るためのコードを含む。例えば、ＣＶソフトウェア９０６は、自動化が可能なワークフローアクション／アクティビティ／などを決定及び特定するためにニューラルネットワークをカスタム画面ＯＣＲ及びテキストマッチングの組み合わせと共に実行し得る。
セマンティックワークフローデータベース９０７は、過去のワークフロー、ワークフローアクション／アクティビティ／などのリポジトリであり得る。セマンティックワークフローデータベース９０７は、自動化が可能なワークフローアクション／アクティビティ／などを決定及び特定するために用いられ得る。
生成器９０８は、セマンティック自動化ビルダー９０３の代理として自動化されたアクションを作成及び生成するためのコードを含む。生成器９０８は、ＡＩモデル及び自己回帰言語モデルのうち１つ以上を含み得る（例えば、人間のようなテキストを生成するＧＰＴ－３）。一例として、微調整されたＧＰＴ－３モデルは、ワークフロー記述のサンプル及びセマンティックワークフローデータベース９０７中に見受けられる実際のワークフローを用いて訓練され得る。
図９の方法９００は、セマンティック自動化ビルダー９０３が開始するか開く９２０から開始する。例えば、セマンティック自動化ビルダー９０３は、「セマンティック自動化ビルダー」の選択肢が選択されたのに応答してエンジン９０２と共に起動する。図１０は、１つ以上の実施形態による例示的インターフェース１０００を示す。例示的インターフェース１０００は、図示のようにディスプレイ５２５全体にわたって拡張された第１のウィンドウ１００１を少なくとも含む。「セマンティック自動化ビルダー」の選択肢がツールバー上のアイコンであってもよいし、あるいはアイテムがドロップダウンメニューである。「セマンティック自動化ビルダー」の選択肢が選択されると、サブインターフェース１０２０が生成され、第１のウィンドウ１００１にオーバーレイされる。サブインターフェース１０２０は、ポップアップインターフェースであり得る。サブインターフェース１０２０は、動的であり得る。例えば、サブインターフェース１０２０内の１つ以上の要素との相互作用が発生するのと共に、サブインターフェース１０２０が変化し得る。サブインターフェース１０２０は、第１のインターフェース要素１０３０、第２のインターフェース要素１０４０、保存アイコン１０５０（例えば、「ワークフローを保存」アイコン）及び終了アイコン１０６０を含む。
第１のインターフェース要素１０３０は、選択バー及び／または選択されると１つ以上の第１の選択肢を含むメニュー提示を開始し得るアイコンである。同様に、第２のインターフェース要素１０４０は、選択バー及び／または選択されると１つ以上の第２の選択肢を含むメニュー提示を開始し得るアイコンである。１つ以上の第２の選択肢は、特に第１の選択肢が選択された際に対応する１組の第２の選択肢が表示される点において１つ以上の第１の選択肢に直接接続され得る。各最初に開かれたものは、異なる対応する１組の選択肢を有し得る。
一例として、１つ以上の第１の選択肢は、方法９００によって生成されているワークフロー（即ち、ＲＰＡ９０５）のカテゴリーに関連する。これらのカテゴリーを非限定的に挙げると、ユーザーが規定したアクティビティ４２０、ＡＰＩ駆動型アクティビティ４３０、ＡＩ／ＭＬアクティビティ４４０、ＵＩ自動化アクティビティ４５０及びデータアクティビティ（例えば、データソースが必要であることを示す）がある。
保存アイコン１０５０（例えば、「ワークフローを保存」アイコン）は、実際の使用のために保存されるかまたは後で完了されるワークフロー（即ち、ＲＰＡ９０５）のためのサブインターフェース１０２０内における全進捗を選択された際に発生させるインターフェース要素である。終了アイコン１０６０（例えば、「Ｘ」アイコン）は、選択された際にサブインターフェース１０２０を閉じさせるインターフェース要素である。
方法９００は、ブロック９３０において継続する。ブロック９３０において、セマンティック自動化ビルダー９０３は、サブインターフェース１０２０から少なくとも第１の選択肢及び第２の選択肢の選択を可能にする。セマンティック自動化ビルダー９０３は、第１のインターフェース要素１０３０からの第１の選択肢からのデータソース及び第２のインターフェース要素１０４０からの第２の選択肢からの対応するアプリケーションの選択を可能にし得る。セマンティック自動化ビルダー９０３は、自動化タスクも（即ち、当該アプリケーションのために）さらに書き得る。
例えば、得られたＲＰＡ９０５についてデータソースが必要である旨を示すために、「データ」選択肢が第１のインターフェース要素１０３０を通じて選択され得る（例えば、データソースが必要であると指定することが、第１のステップとみなされ得る）。次に、第２のインターフェース要素１０４０が選択されると、サブインターフェース１０２０は、「データの入手元」（例えば、ファイル、アプリケーション、ディレクトリ）について第２の選択肢を提示し得る。
図１１は、１つ以上の実施形態による例示的インターフェース１１００を示す。例示的インターフェース１１００は、図示のようにディスプレイ５２５の全体にわたって広げられた第１のウィンドウ１００１を少なくとも含む。サブインターフェース１０２０が生成され、第１のウィンドウ１００１にオーバーレイされる。サブインターフェース１０２０は、第１のインターフェース要素１０３０、第２のインターフェース要素１０４０、保存アイコン１０５０（例えば、「ワークフローを保存」アイコン）及び終了アイコン１０６０を含む。
サブインターフェース１０２０は、ボックス１１１０（例えば、ダイアログボックス）、第１の選択領域１１２０、複数のアイコン１１２２、入力領域１１４０も含む。ドロップ１１１０は、１つ以上のアイコン、要素、バー及び／または選択肢を提供する動的なインターフェースであり得る。第１の選択領域１１２０は、さらなる選択肢及び／またはより高粒度の選択肢を提供する、ドロップ１１１０のサブインターフェースである。複数のアイコン１１２２は、さらなる選択肢及び／またはより高粒度の選択肢の例であり、１つ以上のアプリケーションを表し得る。入力領域１１４０は、さらなる選択肢及び／またはより高粒度の選択肢を提供する、ボックス１１１０の別のサブインターフェースである。
サブインターフェース１０２０は、作成アイコン１０５０、終了アイコン１０６０及びキャンセルアイコン１１８０も含む。作成アイコン１０５０は、選択された際にボックス１１１０内の全進捗をキャプチャさせ、ＲＰＡ９０５内に生成させるインターフェース要素である。終了アイコン１１６０（例えば、「Ｘ」アイコン）及びキャンセルアイコン１１８０は、選択された際にボックス１１１０を閉じさせるインターフェース要素である。
例を続けて、「データの入手元」を解決するために、ボックス１１１０は、新規のステップまたは第２のステップを付加することを可能にする（例えば、「新規ステップを追加」）。第１の選択領域１１２０は、「ステップを実行する場所」の選択を可能にする複数のアイコン１１２２を提供する。複数のアイコン１１２２は、選択可能なアプリケーション（例えば、Ｅｘｃｅｌ（登録商標）、Ｃｈｒｏｍｅ（登録商標）、ＲＰＡチャレンジウィンドウなど）を示す。入力領域１１４０は、「何をする」（例えば、フォームを完了して提出をする）についての入力を受け取り得る。作成アイコン１０５０が選択されると、セマンティック自動化ビルダー９０３は、「フォームを完了して提出をする」の自動化タスクを選択されたアイコン１１２２について書いて、その結果得られるＲＰＡ９０５を生成する。
方法９００はブロック９４０に進み、ブロック９４０において、セマンティック自動化ビルダー９０３は、アクションを生成する。これらのアクションは、アクティビティの生成に用いられる。アクティビティは、その結果得られるＲＰＡの一部となる。次に、セマンティック自動化ビルダー９０３は、生成されたアクションの視認及び編集を可能にする。
図１２は、１つ以上の実施形態による例示的インターフェース１２００を示す。１つ以上の実施形態によれば、生成されたアクションは、各ステップを拡張し、ステップのアクションの編集（例えば、アクションの変更、新規アクションの追加、アクションの削除）を可能にすることにより、例示的インターフェース１２００内において視認され得る。さらに、複数のステップがＲＰＡ９０５へ付加され得、視認及び編集され得る。
例えば、例示的インターフェース１２００は、図示のようにディスプレイ５２５の全体にわたって広げられた第１のウィンドウ１００１を少なくとも含み、サブインターフェース１０２０が生成され、第１のウィンドウ１００１にオーバーレイされる。サブインターフェース１０２０は、第１のインターフェース要素１０３０、保存アイコン１０５０（例えば、「ワークフローを保存」アイコン）及び終了アイコン１０６０を含む。サブインターフェース１０２０は、ＲＰＡ９５０の特定のステップに対応するステップ選択領域１２１０も含む。
ステップ選択領域１２１０は、アプリケーションアイコン１２１２と、アイコン１２１４と、ドロップダウン領域１２２２及び１２２４をさらに含むサブインターフェース１２２０と、サブインターフェース１２４０とを含む。アプリケーションアイコン１２１２は、ステップ選択領域１２１０内に示されるＲＰＡ９５０の特定のステップが関連付けられているアプリケーション（例えば、当該ステップが実行される、アプリケーション）などを特定するインターフェース要素であり得る。アイコン１２１４は、ステップ選択領域１２１０内の任意の変更を実行することを可能にするインターフェース要素であり得、これにより、結果、エラーなどが決定可能となる。１つ以上の実施形態によれば、アイコン１２１４は、ステップがデータソース９０４中の各データアイテムについて実行されることを示す。サブインターフェース１２２０及び１２４０は、ＲＰＡ９５０の特定のステップのアクション、構成などに対応し、これらの編集を可能にする。ドロップダウン領域１２２２及び１２２３は、サブインターフェース１２２０の構成内のサブアクション、サブ構成などに対応する。
一例として、ステップ選択領域１２１０内に示されるＲＰＡ９５０の特定のステップは、「Ｃｈｒｏｍｅ（登録商標）」ブラウザアプリケーションについて「フォームを完了して提出する」ステップに対応し得る。さらに、サブインターフェース１２２０及び１２４０は、例えば以下のうち１つ以上のような、「フォームを完了して提出する」ステップに関連するアクションを表し得る：
１，１．「名」をタイプすること；
１．２．「姓」をタイプすること；
１．３．「住所」をタイプすること；
１．４．「電話番号」をタイプすること；
１．５．「Ｅメール」をタイプすること；及び
１．６．新規アクティビティを付加すること。
さらに、ドロップダウン領域１２２２及び１２２４は、以下のうちの１つ以上のような、「名」アクションに関連するアクションを表し得る：「名」をタイプする場所、；及び「名」をタイプする際のタイプすべき内容。
方法９００がブロック９５０に進むと、セマンティック自動化ビルダー９０３は、ワークフロー（例えば、ＲＰＡ９０５）をエンジン９０２（例えば、図２のデザイナ２１０）へエクスポートする。ワークフローは、ユーザーがワークフローを実行することができるように、エンジン９０２に保存することができる。
ここで図１３を参照して、１つ以上の実施形態による方法１３００が示される。方法１３００は、システム９０１によって実行され得、システム９０１による例示的動作（例えば、セマンティック自動化の作成）を示す。実施形態によれば、方法１３００は、ユーザーが（ターゲットアプリケーションの選択及び／または当該アプリケーションに対応する文字自動化タスクと共に）１つ以上のステップをＲＰＡ９０５へ付加することを可能にするセマンティック自動化ビルダー９０３の例示的動作を示す。
ブロック１３１０において、セマンティック自動化ビルダー９０３は、ユーザー入力に応答して開始する。１つ以上の実施形態によれば、ユーザー入力は、セマンティック自動化ビルダー９０３をトリガー、開始または開かせるメニューアイテムを選択し得る。例えば、セマンティック自動化ビルダー９０３は、「セマンティック自動化ビルダー」の選択肢が選択されるのに応答してエンジン９０２から起動する。
ブロック１３２０において、セマンティック自動化ビルダー９０３は、ターゲットアプリケーションに対応する１つ以上のユーザー入力を受け取る。ブロック１３２５において、セマンティック自動化ビルダー９０３は、文字自動化タスクに対応する１つ以上のユーザー入力を受け取る。１つ以上の実施形態によれば、ステップが、文字自動化タスクを含むフローに付加され得る。１つ以上の実施形態によれば、セマンティック自動化ビルダー９０３及び生成器９０８は、「クリック及びタイプ」型のアクション以外のより多くのアクションを文字自動化タスクから決定するように訓練することが可能であり、話し言葉または文字自動化タスクとして変換されたものを受信及び処理することができる。ブロック１３３０において、セマンティック自動化ビルダー９０３は、１つ以上のステップに対応する１つ以上のユーザー入力を受け取る。破線ブロック１３３５において、ＣＶソフトウェア９０６は、ターゲットアプリケーションインターフェース上のＵＩ要素を任意選択的にキャプチャし得る。ブロック１３２０、１３２５、１３３０及び１３３５の動作は、ＲＰＡ９０５の１つ以上のステップの構築のために必要に応じて任意の順序及び複数回数行われ得る点に留意されたい。さらに、ブロック１３２０、１３２５、１３３０及び１３３５の動作は、ＲＰＡ９０５のアクティビティに対応するアクションを特定する。
ブロック１３４０において、セマンティック自動化ビルダー９０３は、全情報（例えば、１つ以上のステップ、ターゲットアプリケーションの選択、文字自動化タスク及びＵＩ要素）を生成器９０８へ供給する。１つ以上の実施形態によれば、セマンティック自動化ビルダー９０３は、セマンティックワークフローデータベース９０７を活用する。例えば、セマンティックワークフローデータベース９０７は、アクションと、当該アクションに対して行われた編集とを保存する。セマンティック自動化ビルダー９０３は、上記のアクション及び編集全てをセマンティックワークフローデータベース９０７から生成器９０８へ提供し得る。
ブロック１３５０において、生成器９０８は、アクション（例えば、種類、クリックなど）をターゲットアプリケーションのキャプチャされたＵＩ要素に対して行うことが必要であることを決定する。ブロック１３６０において、生成器９０８は、これらの決定されたアクションを、セマンティックワークフローデータベース９０７のアクティビティに対してマッピングする。１つ以上の実施形態によれば、アクション（及びいくつかの場合において編集）は、アクティビティに対してマッピングされ、セマンティックワークフローデータベース９０７は、ＡＩ／ＭＬモデル１３２の訓練のために上記アクション及び編集を保存し、一例として、アクションは、ＡＩモデル、ＮＬＰモデル、自己回帰言語モデル、ＧＰＴ－３モデルのうち１つ以上を用いて決定され、これらのモデルのうちいずれかは、ワークフロー記述のサンプル及び実際のワークフローを用いて訓練され得る。１つ以上の実施形態によれば、セマンティック自動化ビルダー９０３は、自然言語に基づいた自動化を提供する。さらに、生成器９０８は、セマンティックワークフローデータベース９０７中の保存されたアクション、それらのアクションの編集及びワークフローの活用により（例えば、ワークフロー記述のサンプル及び実際のワークフローを用いて）ＡＩ／ＭＬモデル１３２を（微調整されたＧＰＴ－３モデルを生成するように）訓練する。ＡＩ／ＭＬモデル１３２は、アクティビティに対するアクションのマッピングを決定するために用いられる。
ブロック１３７０において、生成器９０８は、上記マップされたアクティビティを用いて（ブロック１３２０、１３２５、１３３０及び１３３５からの）アクションをアクティビティに変換し、１つ以上のステップのための自動化シーケンスを作成する。１つ以上の実施形態によれば、生成器９０８は、書かれた自然言語を用いて自動化シーケンスを生成し得る。１つ以上の実施形態によれば、自動化シーケンスは、フォーム記入のためにクリック及びタイプ型のアクティビティを単一のインターフェース内に含み得る。１つ以上の実施形態によれば、（セマンティック自動化ビルダー９０３を用いて構築された）自動化シーケンスは、異なるウェブサイト、データベース、ファイルシステム及びアプリケーション間を必要に応じてナビゲートし得る。自動化シーケンス（例えば、セマンティック自動化）は、ＲＰＡ９０５と同等のものであってもよいし、あるいは、ＲＰＡ９０５中に組み込まれる複数の自動化シーケンスであってもよい（例えば、１つ以上のセマンティック自動化）のうちの１つ（例えば、この場合、ＲＰＡ９０５は複雑なフローとみなされ得る）。破線ブロック１３８０において、ＣＶアクションは、ユーザーが自動化を実行し、１組の生成されたアクションを容易に編集することができるように、セマンティック自動化ビルダー９０３のＵＩ内のワークフローとして任意選択的に提供され得る。
ブロック１３９０において、ＲＰＡ９０５は、実行のためにデザイナ９０２へエクスポートされ得る。１つ以上の実施形態によれば、セマンティック自動化ビルダー９０３をデザイナ９０２へ付加することにより、システム９００は、コーディング経験がゼロのユーザーをサポートすることができ、これらのユーザーをシステム９００内に取り込むこともできる。
１つ以上の実施形態によれば、方法が提供される。上記方法は、少なくとも１つのプロセッサ上で実行されるセマンティック自動化ビルダーによって実行される。上記方法は、ロボットプロセス自動化の１つ以上のセマンティック自動化を生成する。上記方法は、ターゲットアプリケーション、文字自動化タスクまたは１つ以上のステップに対応する１つ以上のユーザー入力を受信して、上記ロボットプロセス自動化の１つ以上のアクションを特定することを含む。上記方法は、上記１つ以上のアクションの各アクションをアクティビティにマッピングして、１つ以上のマップされたアクティビティを生成することと、上記１つ以上のマップされたアクティビティに基づいて上記１つ以上のアクションを上記１つ以上のセマンティック自動化に変換することとを含む。上記方法は、上記セマンティック自動化ビルダーのユーザーインターフェースにおいて上記１つ以上のセマンティック自動化を提供して、上記１つ以上のアクションの編集を可能にすることを含む。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、上記セマンティック自動化ビルダーをトリガーするメニューアイテムを選択するユーザー入力に応答して開始し得る。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、１つ以上のさらなるステップを上記文字自動化タスクへ付加することを可能にし得る。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、上記文字自動化タスクから上記１つ以上のアクションを決定するように訓練された生成器を含み得る。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、話し言葉を上記文字自動化タスクとして処理するように訓練された生成器を含み得る。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、コンピュータービジョンソフトウェアは、上記ターゲットアプリケーションのインターフェース上のユーザーインターフェース要素を上記１つ以上のアクションに対応するようにキャプチャし得る。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、上記１つ以上のアクションを自己回帰言語モデルを用いてマッピングする生成器を含み得る。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、上記１つ以上のセマンティック自動化は、異なるウェブサイト、データベース、ファイルシステム及びアプリケーション間をナビゲートし得る。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、上記ロボットプロセス自動化は、実行のためにデザイナへエクスポートされ得る。
１つ以上の実施形態または本明細書中の上記方法の実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、保存されたアクション、これらのアクションの編集、またはセマンティックワークフローデータベース中のワークフローを用いて１つ以上の人工知能及び機械学習モデルを訓練し得、上記１つ以上の人工知能及び機械学習モデルを用いて、アクティビティマッピングに対して上記アクションを決定し得る。
１つ以上の実施形態によれば、システムが提供される。上記システムは、少なくとも１つのプロセッサと、ロボットプロセス自動化の１つ以上のセマンティック自動化を生成するセマンティック自動化ビルダーのソフトウェアを保存する１つ以上のメモリとを含む。上記少なくとも１つのプロセッサは、上記ソフトウェアを実行して、上記システムにターゲットアプリケーション、文字自動化タスクまたは１つ以上のステップに対応する１つ以上のユーザー入力を受信させて、上記ロボットプロセス自動化の１つ以上のアクションを特定する。上記少なくとも１つのプロセッサは、上記ソフトウェアを実行して、上記システムに上記１つ以上のアクションの各アクションをアクティビティに対してマッピングさせて、１つ以上のマップされたアクティビティを生成し、上記１つ以上のマップされたアクティビティに基づいて上記１つ以上のアクションを上記１つ以上のセマンティック自動化に変換する。上記少なくとも１つのプロセッサは、上記ソフトウェアを実行して、上記システムに上記１つ以上のセマンティック自動化を上記セマンティック自動化ビルダーのユーザーインターフェース内に提供させて、上記１つ以上のアクションの編集を可能にする。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、上記セマンティック自動化ビルダーをトリガーするメニューアイテムを選択するユーザー入力に応答して開始し得る。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、１つ以上のさらなるステップを上記文字自動化タスクへ付加することを可能にし得る。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、上記文字自動化タスクから上記１つ以上のアクションを決定するように訓練された生成器を含み得る。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、話し言葉を上記文字自動化タスクとして処理するように訓練された生成器を含み得る。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、コンピュータービジョンソフトウェアは、上記ターゲットアプリケーションのインターフェース上のユーザーインターフェース要素を上記１つ以上のアクションに対応するようにキャプチャする。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、上記１つ以上のアクションを自己回帰言語モデルを用いてマッピングする生成器を含み得る。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、上記１つ以上のセマンティック自動化は、異なるウェブサイト、データベース、ファイルシステム及びアプリケーション間においてナビゲートし得る。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、上記ロボットプロセス自動化は、実行のためにデザイナへエクスポートされ得る。
１つ以上の実施形態または本明細書中の上記システムの実施形態のいずれかによれば、上記セマンティック自動化ビルダーは、保存されたアクション、これらのアクションの編集またはセマンティックワークフローデータベース中のワークフローを用いて１つ以上の人工知能及び機械学習モデルを訓練し得、上記１つ以上の人工知能及び機械学習モデルを用いて、アクティビティマッピングに対して上記アクションを決定し得る。
上記コンピュータープログラムは、ハードウェア、ソフトウェアまたはハイブリッド実行で実行され得る。上記コンピュータープログラムは、相互に動作的に通信しかつ情報または命令をディスプレイへ送るように設計されたモジュールによって構成され得る。上記コンピュータープログラムは、汎用コンピューター、ＡＳＩＣまたは任意の他の適切なデバイスを動作させるように構成され得る。
一般的に記載されかつ本明細書中の図面に例示されるような多様な実施形態のコンポーネントは、広範な多様な異なる構成において配置及び設計され得ることが容易に理解される。よって、添付図面中に示すような実施形態の詳細な記述は、特許請求の範囲に記載のような範囲を制限することを意図しておらず、あくまで選択された実施形態を示すものに過ぎない。
本明細書全体に記載される特徴、構造または特性は、１つ以上の実施形態において任意の適切な様態で組み合わせられ得る。例えば、本明細書全体において「特定の実施形態」、「いくつかの実施形態」または類似の文言に言及される場合、少なくとも１つの実施形態に含まれる実施形態と関連して述べられる特定の特徴、構造または特性を意味する。よって、本明細書全体において「特定の実施形態において」、「いくつかの実施形態において」、「他の実施形態において」などの句または類似の文言が出現した場合、全てが同じグループの実施形態を必ずしも指しているわけではなく、記載の特徴、構造または特性は、１つ以上の実施形態において任意の適切な様態で組み合わせられ得る。
本明細書全体において、特徴、利点または同様の文言への言及は、実現され得る特徴及び利点のすべてが任意の単一の実施形態にあるべきであるかまたは任意の単一の実施形態にあることを意味するものではないことに留意されたい。即ち、上記特徴及び利点について言及する文言は、実施形態に関連して記載される特定の特徴、利点または特性が１つ以上の実施形態に含まれることを意味するものとして理解される。よって、本明細書全体において、上記特徴及び利点及び類似の文言について議論される場合、同じ実施形態を必ずしも指すわけではない。
さらに、本明細書中の上記１つ以上の実施形態の特徴、利点及び特性は、任意の適切な様態で組み合わされ得る。当業者であれば、本開示は特定の実施形態の特定の特徴または利点のうち１つ以上無しに実施され得ることを認識する。他の場合において、さらなる特徴及び利点が、全実施形態中に存在しない場合のある特定の実施形態において認識され得る。
当業者は、本開示は、異なる順序のステップでかつ／または開示のものと異なる構成中のハードウェア要素と共に実施され得ることを容易に理解する。よって、本開示についてこれらの好適な実施形態に基づいて記載してきたが、当業者にとって、構造の特定の変更、改変及び代替が、本開示の意図及び範囲内に収まりつつ明らかであることが明らかである。従って、本開示の範囲を決定するために、添付の特許請求の範囲を参照すべきである。

Claims (20)

  1. 少なくとも１つのプロセッサ上で実行されるセマンティック自動化ビルダーによって実行される方法であって、前記方法は、ロボットプロセス自動化の１つ以上のセマンティック自動化を生成し、前記方法は、
    前記ロボットプロセス自動化の１つ以上のアクションを特定するために、ターゲットアプリケーション、文字自動化タスクまたは１つ以上のステップに対応する１つ以上のユーザー入力を受信すること、
    前記１つ以上のアクションの各アクションをアクティビティにマッピングして、１つ以上のマップされたアクティビティを生成すること、
    前記１つ以上のマップされたアクティビティに基づいて前記１つ以上のアクションを前記１つ以上のセマンティック自動化に変換すること、及び
    前記セマンティック自動化ビルダーのユーザーインターフェースにおいて前記１つ以上のセマンティック自動化を提供して、前記１つ以上のアクションの編集を可能にすること、
    を含む、方法。
  2. 前記セマンティック自動化ビルダーは、前記セマンティック自動化ビルダーをトリガーするメニューアイテムを選択するユーザー入力に応答して開始する、請求項１に記載の方法。
  3. 前記セマンティック自動化ビルダーは、１つ以上のさらなるステップを前記文字自動化タスクへ付加することを可能にする、請求項１に記載の方法。
  4. 前記セマンティック自動化ビルダーは、前記１つ以上のアクションを前記文字自動化タスクから決定するように訓練された生成器を含む、請求項１に記載の方法。
  5. 前記セマンティック自動化ビルダーは、話し言葉を前記文字自動化タスクとして処理するように訓練された生成器を含む、請求項１に記載の方法。
  6. コンピュータービジョンソフトウェアは、前記ターゲットアプリケーションのインターフェース上のユーザーインターフェース要素を前記１つ以上のアクションに対応するようにキャプチャする、請求項１に記載の方法。
  7. 前記セマンティック自動化ビルダーは、前記１つ以上のアクションを自己回帰言語モデルを用いてマップする生成器を含む、請求項１に記載の方法。
  8. 前記１つ以上のセマンティック自動化は、異なるウェブサイト、データベース、ファイルシステム及びアプリケーション間においてナビゲートする、請求項１に記載の方法。
  9. 前記ロボットプロセス自動化は、実行のためにデザイナへエクスポートされる、請求項１に記載の方法。
  10. 前記セマンティック自動化ビルダーは、保存されたアクション、これらのアクションの編集またはセマンティックワークフローデータベース中のワークフローを用いて１つ以上の人工知能及び機械学習モデルを訓練し、アクティビティマッピングに対して前記アクションを決定するために前記１つ以上の人工知能及び機械学習モデルを用いる、請求項１に記載の方法。
  11. システムであって、
    ロボットプロセス自動化の１つ以上のセマンティック自動化を生成するセマンティック自動化ビルダーのソフトウェアを保存する１つ以上のメモリ、及び
    少なくとも１つのプロセッサであって、前記少なくとも１つのプロセッサは、前記ソフトウェアを実行して、
    前記ロボットプロセス自動化の１つ以上のアクションを特定するために、ターゲットアプリケーション、文字自動化タスクまたは１つ以上のステップに対応する１つ以上のユーザー入力を受け取ること、
    前記１つ以上のアクションの各アクションをアクティビティに対してマッピングして、１つ以上のマップされたアクティビティを生成すること、
    前記１つ以上のマップされたアクティビティに基づいて前記１つ以上のアクションを前記１つ以上のセマンティック自動化に変換すること、及び
    前記１つ以上のアクションの編集を可能にするように、前記１つ以上のセマンティック自動化を前記セマンティック自動化ビルダーのユーザーインターフェース内に設けること、
    を前記システムに行わせる、少なくとも１つのプロセッサ、
    を含む、システム。
  12. 前記セマンティック自動化ビルダーは、前記セマンティック自動化ビルダーをトリガーするメニューアイテムを選択するユーザー入力に応答して開始する、請求項１１に記載のシステム。
  13. 前記セマンティック自動化ビルダーは、１つ以上のさらなるステップを前記文字自動化タスクに付加することを可能にする、請求項１１に記載のシステム。
  14. 前記セマンティック自動化ビルダーは、前記文字自動化タスクから前記１つ以上のアクションを決定するように訓練された生成器を含む、請求項１１に記載のシステム。
  15. 前記セマンティック自動化ビルダーは、話し言葉を前記文字自動化タスクとして処理するように訓練された生成器を含む、請求項１１に記載のシステム。
  16. コンピュータービジョンソフトウェアは、前記ターゲットアプリケーションのインターフェース上のユーザーインターフェース要素を前記１つ以上のアクションに対応するようにキャプチャする、請求項１１に記載のシステム。
  17. 前記セマンティック自動化ビルダーは、前記１つ以上のアクションを自己回帰言語モデルを用いてマッピングする生成器を含む、請求項１１に記載のシステム。
  18. 前記１つ以上のセマンティック自動化は、異なるウェブサイト、データベース、ファイルシステム及びアプリケーション間においてナビゲートする、請求項１１に記載のシステム。
  19. 前記ロボットプロセス自動化は、実行のためにデザイナへエクスポートされる、請求項１１に記載のシステム。
  20. 前記セマンティック自動化ビルダーは、保存されたアクション、これらのアクションの編集またはセマンティックワークフローデータベース中のワークフローを用いて１つ以上の人工知能及び機械学習モデルを訓練し、前記１つ以上の人工知能及び機械学習モデルを用いて、アクティビティマッピングに対して前記アクションを決定する、請求項１１に記載のシステム。
JP2023185064A 2022-10-27 2023-10-27 ロボットプロセス自動化のためのセマンティック自動化ビルダー Pending JP2024065102A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/974,669 2022-10-27
US17/974,669 US20240142917A1 (en) 2022-10-27 2022-10-27 Semantic automation builder for robotic process automation

Publications (1)

Publication Number Publication Date
JP2024065102A true JP2024065102A (ja) 2024-05-14

Family

ID=88598935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023185064A Pending JP2024065102A (ja) 2022-10-27 2023-10-27 ロボットプロセス自動化のためのセマンティック自動化ビルダー

Country Status (4)

Country Link
US (1) US20240142917A1 (ja)
EP (1) EP4361921A1 (ja)
JP (1) JP2024065102A (ja)
CN (1) CN117950649A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11440201B2 (en) * 2019-10-15 2022-09-13 UiPath, Inc. Artificial intelligence-based process identification, extraction, and automation for robotic process automation
US10860905B1 (en) 2019-10-16 2020-12-08 UiPath, Inc. Long running workflows for document processing using robotic process automation
US11592804B2 (en) * 2020-10-14 2023-02-28 UiPath, Inc. Task automation by support robots for robotic process automation (RPA)

Also Published As

Publication number Publication date
CN117950649A (zh) 2024-04-30
US20240142917A1 (en) 2024-05-02
EP4361921A1 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
CN114556305A (zh) 针对机器人过程自动化的基于人工智能的过程标识、提取和自动化
JP2023516846A (ja) ロボティックプロセスオートメーション（ｒｐａ）のテスト自動化ワークフローを解析するシステムおよびコンピュータ実装方法
US11836626B2 (en) Artificial intelligence layer-based process extraction for robotic process automation
EP4163784A1 (en) Automatic data transfer between a source and a target using semantic artificial intelligence for robotic process automation
US20230393870A1 (en) Determining sequences of interactions, process extraction, and robot generation using generative artificial intelligence / machine learning models
EP4276709A1 (en) Building and managing artificial intelligence flows using long-running workflows for robotic process automation
US11782733B2 (en) Training an artificial intelligence / machine learning model to recognize applications, screens, and user interface elements using computer vision
JP2023545644A (ja) 人工知能／機械学習モデルを使用したインタラクションのシーケンス決定、プロセス抽出、およびロボット生成
US20230236851A1 (en) Multi-session automation windows for robotic process automation using same credentials
US20230125223A1 (en) Semantic matching between a source screen or source data and a target screen using semantic artificial intelligence
EP4361921A1 (en) Semantic automation builder for robotic process automation
US20240168773A1 (en) Automatic augmentation of a target application within a browser
US20240168724A1 (en) Hypertext transfer protocol recorder of a robotic process automation workflow designer application
US20230360388A1 (en) Training a generative artificial intelligence / machine learning model to recognize applications, screens, and user interface elements using computer vision
US20230415338A1 (en) Target-based schema identification and semantic mapping for robotic process automation
US20240134695A1 (en) Automatic merging of variants of automatable tasks for robotic process automation
US20240070257A1 (en) Assume user identity authentication flow
US20240134685A1 (en) Detection of variants of automatable tasks for robotic process automation
US20240053727A1 (en) Type cache for package management of robotic process automations field
EP4266172A1 (en) System, apparatus, and method for deploying robotic process automations across multiple operating systems
US20240046142A1 (en) Intent-based automation
JP2024074288A (ja) ブラウザ内でのターゲットアプリケーションの自動拡張
US20230236855A1 (en) Automation windows for robotic process automation using multiple desktops