JP2024507961A - インタラクティブアバタトレーニングシステム - Google Patents

Abstract

本技術は、包括的には、インタラクティブアバタトレーニングシステムに関する。このインタラクティブアバタトレーニングシステムは、トレーナ及びトレーニ等の少なくとも２人のユーザがトレーニングプログラムにおいてインタラクティブ通信することを可能にするインタラクティブプラットフォームを利用する。このインタラクティブアバタトレーニングシステムは、トレーニに提示される回答が高い精度レベルを有するように、トレーナからトレーニへの処理された回答又は応答の生成を援助することができる。したがって、トレーニング効率及び精度を向上させ、改善することができる。【選択図】図４

Description

［関連出願の相互参照］
本出願は、２０２１年２月２４日に出願された米国特許出願第１７／１８３，７９７号の継続出願であり、その開示内容は引用することにより本明細書の一部をなすものとする。

多くの会社が、それらの従業員に専門的トレーニングプログラムを提供している。例えば、トレーニングプログラムは、専門的能力の維持及び改善、キャリアアップの促進、総合的な職場環境の改善、並びに専門的規制及びコンプライアンスの遵守を行うために提供される。そのようなトレーニングプログラムは、多くの場合、従業員が仕事を学習し、雇用主の基準及び期待どおりに仕事を有能に行うことができるように様々なポリシ、ルール、又は手続き等のかなりの量の情報を従業員に提供する。

従来、トレーニングプログラムは、トレーナ（trainer）と従業員との間においてライブで又は電話会議を通じて行われてきた。しかしながら、そのような従来のプログラムは、それらの配信及びコンテンツが一貫していないことに起因した有効性に関する問題に直面していた。これらの問題に加えて、従来のトレーニングプログラムは、通常は労働集約的であり、したがって、多くの費用を要する。

本開示は、インタラクティブアバタトレーニングシステムを提供する。このインタラクティブアバタトレーニングシステムは、トレーナ及びトレーニ（trainee）等の少なくとも２人のユーザがトレーニングプログラムにおいてインタラクティブに通信し、トレーニング中にトレーニング効率及び精度を促進することを可能にするインタラクティブ仮想プラットフォームを提供する。１つの例では、インタラクティブアバタトレーニングシステムは、サーバコンピューティングデバイスを含む。このサーバコンピューティングデバイスは、１つ以上のメモリを含む。１つ以上のメモリは、インタラクティブアバタトレーニングシステムの動作を容易にすることができるキーワード及び／又は質問を記憶することができるデータベースを含むことができる。１つ以上のプロセッサが、１つ以上のメモリと通信する。１つ以上のプロセッサは、第１のコンピューティングデバイスの第１のユーザに関連付けられた第１のアバタを作成する第１の入力を受信することと、第２のコンピューティングデバイスの第２のユーザに関連付けられた第２のアバタを作成する第２の入力を受信することと、仮想従業員トレーニング環境において第１のアバタ及び第２のアバタを提示することと、仮想従業員トレーニング環境において第１のコンピューティングデバイスから質問を受信することと、仮想従業員トレーニング環境において質問に応答して回答を出力することとを行うように構成される。

１つの例では、回答を出力する前に、１つ以上のプロセッサは、第２のコンピューティングデバイスから回答を受信するように更に構成される。１つ以上のプロセッサは、受信された回答を処理して、処理された回答を生成するように更に構成され、処理された回答は、出力される回答である。１つの例では、１つ以上のプロセッサは、第２のコンピューティングデバイスからの回答からキーワードを特定し、特定されたキーワードに基づいて処理された回答を生成するように更に構成される。

１つの例では、回答を出力する前に、１つ以上のプロセッサは、事前に記憶された回答のデータベースに１つ以上のメモリからアクセスすることと、事前に記憶されたデータベースから回答を選択することとを行うように更に構成され、選択された回答は出力される回答である。１つ以上のプロセッサは、質問からキーワードを特定するように更に構成される。回答は、機械学習アルゴリズムによって生成される。

１つの例では、１つ以上のプロセッサは、回答とともに推薦スコアを生成するように更に構成される。１つ以上のプロセッサは、仮想従業員トレーニング環境において１つ以上の回答を出力し、回答のそれぞれへの推薦スコアを生成するように更に構成される。１つ以上のプロセッサは、仮想従業員トレーニング環境において生成される質問及び回答を記録するように更に構成される。１つ以上のプロセッサは、仮想従業員トレーニング環境において質問及び回答を再生するように更に構成される。第１のコンピューティングデバイス及び第２のコンピューティングデバイスは、ネットワークを介してサーバコンピューティングデバイスと通信する。回答は、仮想従業員トレーニング環境においてリアルタイムで生成されるか、又は、所定の回答から選択される。

１つの例では、第１のアバタはトレーニを表し、第２のアバタはトレーナを表す。１つ以上のプロセッサは、仮想従業員トレーニング環境においてトレーニングコンテンツを第１のアバタに表示するように更に構成される。１つ以上のプロセッサは、仮想従業員トレーニング環境において第１のアバタに対する複数のテストを生成するように更に構成される。

本開示は、サーバコンピューティングデバイスと、サーバコンピューティングデバイスと通信する第１のコンピューティングデバイスと、サーバコンピューティングデバイスと通信する第２のコンピューティングデバイスとを備え、サーバコンピューティングデバイスは、第１のアバタを作成する第１のプロファイル入力を第１のコンピューティングデバイスから受信することと、第２のアバタを作成する第２のプロファイル入力を第２のコンピューティングデバイスから受信することと、第１のアバタと第２のアバタとの間のインタラクションを可能にする第１のアバタ及び第２のアバタを含むシミュレーションされた学習環境を生成することと、インタラクション中に第１のアバタから質問を受信することと、機械学習アルゴリズムを使用して、質問に応答して回答を生成することと、シミュレーションされた学習環境において回答を出力することとを行うように構成される、インタラクティブアバタトレーニングシステムを更に提供する。

１つの例では、１つ以上のプロセッサは、質問からキーワードを特定して、回答の範囲を精緻化するように構成される。１つ以上のプロセッサは、回答とともに推薦スコアを生成するように構成される。

本開示は、１つ以上のメモリと、１つ以上のメモリと通信する１つ以上のプロセッサとを備えるサーバコンピューティングデバイスを備え、１つ以上のプロセッサは、第１のアバタを作成する第１のプロファイル入力を受信することと、シミュレーションされた環境において第１のアバタの第１の画像を提示することと、第２のアバタを作成する第２のプロファイル入力を受信することと、シミュレーションされた環境において第２のアバタの第２の画像を提示することと、第１のアバタから照会入力を受信することと、シミュレーションされた環境において照会入力を第２のアバタに送信することと、第２のアバタから初期応答入力を生成することと、シミュレーションされた環境において初期応答入力を処理することと、初期応答入力に基づいて処理された応答を生成することと、シミュレーションされた環境において処理された応答を第１のアバタに出力することとを行うように構成される、インタラクティブアバタトレーニングシステムを更に提供する。

本開示の態様によるインタラクティブアバタトレーニングシステムの機能図である。 本開示の態様によるインタラクティブアバタトレーニングシステムの別の機能図である。 本開示の態様によるネットワーク接続されたインタラクティブアバタトレーニングシステムの絵図である。 本開示の態様によるネットワーク接続されたインタラクティブアバタトレーニングシステムの更なる絵図である。 本開示の態様によるネットワーク接続されたインタラクティブアバタトレーニングシステムの更なるブロック図である。 本開示の態様による複数のユーザを有するインタラクティブアバタトレーニングシステムの動作のフロー図である。 本開示の態様によるインタラクティブアバタトレーニングシステムを動作させる方法のフロー図である。

本技術は、包括的には、インタラクティブアバタトレーニングシステムに関する。このインタラクティブアバタトレーニングシステムは、トレーナ及びトレーニ等の少なくとも２人のユーザがトレーニングプログラムにおいてインタラクティブ通信することを可能にするインタラクティブ仮想プラットフォームを利用する。１つの例では、トレーナ等の第１のユーザが、トレーニングプログラム用にインタラクティブアバタトレーニングシステムに定義される仮想環境において自身を表す第１のアバタを作成することができる。トレーニ等の第２のユーザが、インタラクティブアバタトレーニングシステムにおける仮想環境において自身を表す第２のアバタを作成することができる。第１のユーザ及び第２のユーザは、仮想環境における環境シミュレーションにおいてそれらのそれぞれのアバタを通じて通信することができる。この点に関して、第１のユーザ及び第２のユーザは、互いにリモートに位置する場合があるが、仮想環境を利用して互いにリアルタイムで通信することができる。

キーターム特定エンジンが、第１のユーザ及び第２のユーザからの問い合わせ及び／又は応答を分析するのに利用される。例えば、入力及び／又は問い合わせから特定された識別子に基づいて適切なフィードバック、回答又は応答を生成することができるように、ユーザからの入力及び／又は問い合わせを分析して、パラメータ、識別子、又はキー用語（key terminologies）を特定することができる。いくつかの例では、問い合わせから特定されたパラメータ、識別子、又はキー用語に基づいて、インタラクティブアバタトレーニングシステムに実装された回答エンジンが、問い合わせに応答して、更新、変更、処理、及び／又は完成された回答の提供を援助することができる。トレーナによってトレーニに提供される回答は、リアルタイムで作成することもできるし、インタラクティブアバタトレーニングシステムに記憶された事前記録回答から取り出すこともできる。

図１～図５は、例示のインタラクティブアバタトレーニングシステムを示している。図１に示すように、インタラクティブアバタトレーニングシステム１００は、サーバコンピュータ１６０と、本明細書においてコンピューティングデバイス２００と総称されるコンピューティングデバイス２００ａ、２００ｂと、記憶デバイス１８０とを含むことができる。コンピューティングデバイス２００が、ネットワーク１９０を介してサーバコンピュータ１６０及び／又は他のコンピューティングデバイスと通信することができるように、コンピューティングデバイス２００及びサーバコンピュータ１６０は、ネットワーク１９０を介して通信可能に結合される。同様に、サーバコンピュータ１６０は、ネットワーク１９０を介してコンピューティングデバイス２００、他のコンピューティングデバイス、又は他のサーバコンピュータ１６０と通信することができる。

サーバコンピュータ１６０は、通常は汎用コンピュータ内に存在する１つ以上のプロセッサ１１２と、メモリ１１４と、他の構成要素とを含むことができる。メモリ１１４は、プロセッサ１１２によって実行することができる命令１１６を含む、プロセッサ１１２によってアクセス可能な情報を記憶することができる。メモリ１１４は、プロセッサ１１２による取り出し、操作、又は記憶を行うことができるデータ１１８も含むことができる。１つの例では、メモリ１１４内のデータ１１８は、インタラクティブアバタトレーニングシステムを動作させると利用することができるキーワード及び／又は質問を含むことができる。メモリ１１４は、ハードドライブ、ソリッドステートドライブ、テープドライブ、光学記憶装置、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、及びリードオンリメモリ等の、プロセッサ１１２によってアクセス可能な情報を記憶することが可能な非一時的コンピュータ可読媒体のタイプとすることができる。プロセッサ１１２は、任意の従来のプロセッサ及び／又は市販のプロセッサとすることができる。代替又は追加として、プロセッサ１１２は、ＧＰＵ又はＡＳＩＣ等の、特定の機能を実行するように構成される専用コントローラとすることができる。

命令１１６は、プロセッサ１１２によって実行される一組の命令とすることができる。命令１１６は、オブジェクトコード、又はＪａｖａ、Ｐｙｔｈｏｎ、Ｒｕｂｙ等の任意のコンピュータ言語による他のコンピュータコード等の、プロセッサ１１２による処理用の任意のフォーマットで記憶することができる。命令は、上記例及び以下の例示の方法においてより詳細に説明される。命令１１６は、本明細書において説明される例示の特徴のうちの任意のものを含むことができる。

データ１１８は、命令１１６に従ってプロセッサ１１２によって作成、取り出し、記憶、又はそれ以外の変更を行うことができる。例えば、本明細書に記載の主題は、特定のデータ構造の使用に限定されるものではなく、データ１１８は、コンピュータレジスタに記憶することもできるし、複数の異なるフィールド及びレコードを有するテーブルとしてリレーショナルデータベース又は非リレーショナルデータベースに記憶することもできるし、ＪＳＯＮ文書、ＹＡＭＬ、プロト（proto）文書、又はＸＭＬ文書として記憶することもできる。データ１１８は、限定されるものではないが２進値、ＡＳＣＩＩ又はユニコード等のコンピュータ可読フォーマットにフォーマットすることもできる。その上、データ１１８は、番号、説明テキスト、独自コード、ポインタ、他のネットワークロケーションを含む他のメモリに記憶されたデータの参照子、又は関係のあるデータを計算するために関数によって使用される情報等の関係のある情報を特定するのに十分な情報を含むことができる。サーバコンピュータ１１０における命令１１６、データ１１８、及び他のアプリケーションについての詳細は、以下でより詳細に説明される。

図１は、サーバコンピュータ１１０における同じ場所に配置されたプロセッサ１１２及びメモリ１１４を示しているが、プロセッサ１１２及びメモリ１１４は、同じ物理デバイス内に格納される場合もあるし、格納されない場合もある、複数のプロセッサ及びメモリを含むことができる。

コンピューティングデバイス２００のそれぞれは、１つ以上のプロセッサ、メモリ、及び命令を用いて、サーバコンピュータ１１０と同様に構成することができる。コンピューティングデバイス２００は、サーバコンピュータ１６０について説明したように、プロセッサ２１６と、メモリ２１４と、命令２３０と、データ２２８とを含むことができる。コンピューティングデバイス２００は、中央処理ユニット（ＣＰＵ：central processing unit）、メモリ（例えば、ＲＡＭ及び内部ハードドライブ）、入力デバイス及び／又は出力デバイス、センサ、クロック、ネットワークインタフェースコントローラ等の、パーソナルコンピューティングデバイスに関して一般に使用される構成要素の全てを有することができる。

図１に更に示すように、コンピューティングデバイス２００は、入力構成要素及び出力構成要素等のユーザインタフェースデバイス２３２を含むことができる。例えば、ユーザインタフェースデバイス２３２は、キーボード、マウス、機械的アクチュエータ、ソフトアクチュエータ、タッチスクリーン、マイクロホン、センサ、ユーザディスプレイ、タッチスクリーン、１つ以上のスピーカ、トランスデューサ若しくは他のオーディオ出力、非可視且つ非可聴の情報をユーザに提供する触覚インタフェース若しくは他の触知フィードバック、及び／又は他の構成要素のうちの１つ以上を含むことができ、これについては、本明細書において更に説明される。

サーバコンピュータ１６０及びコンピューティングデバイス２００は、直接通信と、ネットワーク１９０等を介した間接通信とに対応することができる。この点に関して、ネットワーク１９０は、コンピューティングデバイス２００の間及び／又はサーバコンピュータ１６０とコンピューティングデバイス２００との間の接続性を提供する。ネットワーク１９０は、インターネット、イーサネット、ＷｉＦｉ、人工衛星通信、ＨＴＴＰ、及び／又は１つ以上の会社の独自開発のプロトコル、並びにこれらの様々な組み合わせ等の通信プロトコル及びシステムを利用することができる。例えば、ネットワーク１９０は、有線若しくは無線のローカルエリアネットワーク（ＬＡＮ：local area network）、ワイドエリアネットワーク（ＷＡＮ：wide area network）、イントラネット、セルラ通信ネットワーク、インターネット、及び／又はプロトコル及びシステムの任意の組み合わせとすることができる。ネットワーク１９０を介した通信は、コンピューティングデバイス２００及びサーバ１９０に接続されるか又はそうでない場合にはそれらに統合されるネットワークインタフェースコントローラ等を通じた他のコンピュータへのデータの送信及び他のコンピュータからのデータの送信が可能なデバイスによって容易にすることができる。

図２は、一例示のコンピューティングデバイス２００ａの詳細なブロック図を示している。コンピューティングデバイス２００ａは、計算動作又は計算分析を行うことができる任意のデバイスとすることができる。

コンピューティングデバイス２００ａには、複数の構成要素が組み込まれている。各構成要素は、互いに直接通信又は間接通信することができる。図２に示す例では、コンピューティングデバイス２００ａは、ユーザインタフェースデバイス２３２、メモリ２１４、送信機回路類２０６、及び受信機回路類２０８と電気通信するように構成される１つ以上のプロセッサ２１６を含む。図２に更に示すように、メモリ２１４は、ソフトウェアアプリケーション２２７、例えば、本明細書において説明されるような仮想トレーニング環境を実行するのに利用することができる仮想シミュレーションアプリケーションを記憶しておくこともできる。

アンテナ２０２は、コンピューティングデバイス２００ａ内に配置することもできるし、それ以外にコンピューティングデバイス２００ａに接続することもできる。このアンテナは、無線周波数（ＲＦ：Radio Frequency）信号、ＷｉＦｉ信号、Ｂｌｕｅｔｏｏｔｈ信号、又は任意の適した電気信号を受信及び送信するように構成することができる。受信／送信（Ｒｘ／Ｔｘ）スイッチ２０４が、アンテナ２０２を送信機回路類２０６及び受信機回路類２０８に選択的に結合することができる。受信機回路類２０８は、ネットワーク１９０から受信された電気信号をプロセッサ２１６による処理のために復調及び復号する。

ユーザインタフェースデバイス２３２は、ユーザがコンピューティングデバイス２００ａにインストールされたソフトウェアアプリケーション２２７及び命令２３０とインタラクトし、それらを制御することを可能にするように構成される入力デバイス２３４、出力デバイス２３６又は他のユーザインタフェース構成要素（図２に図示せず）を含む。入力デバイス２３４は、ユーザがデータをコンピューティングデバイス２００ａに提供する際に利用するデバイスを含むことができ、このデバイスは、非限定的な例として、キーパッド、キーボード、マウス、コントローラ、マイクロホン、カメラ、タッチスクリーン等である。出力デバイス２３６は、ユーザがコンピューティングデバイス２００ａからデータを提供される際に利用するデバイスを含むことができ、これらのデバイスは、非限定的な例として、ディスプレイスクリーン、スピーカ、タッチスクリーン、触覚出力、仮想現実ヘッドセット等である。タッチスクリーン等の或る特定のデバイスは、入力デバイス及び出力デバイスの双方として動作することができる。例えば、タッチスクリーンは、コンテンツを表示することができるだけでなく、ユーザがコマンドの入力及び積極的なインタラクトを行うことを可能にするタッチ起動インタフェースも提供する。入力デバイス２３４及び出力デバイス２３６の更なる例は、方向パッド、方向ノブ、アクセラレータ、プッシュツートーク（「ＰＴＴ」：Push-To-Talk）ボタン、センサ、カメラ、無線周波数識別（「ＲＦＩＤ」：Radio Frequency Identification）／近接場通信（「ＮＦＣ」：Near Field Communication）リーダ、サウンド／オーディオ認識デバイス、モーション検出器、加速度計、アクティビティモニタ等を含むことができる。本明細書において更に説明するように、ユーザは、情報、入力又は問い合わせをコンピューティングデバイス２００ａ上のユーザインタフェースデバイス２３２に直接入力によって直接提供することができる。同様に、コンピューティングデバイス２００ａの動作又は構成を確立する他の方法を用いることができる。

メモリ２１４に記憶されるアプリケーション２２７は、本明細書において説明される様々な方法、特徴、及び機能を実行するように動作するソフトウェアアプリケーションを含むことができるが、これらに限定されるものではない。さらに、命令２３０は、ユーザが、インタラクティブアバタトレーニングシステムを実行するように構成される仮想シミュレーションアプリケーションとインタラクトするときに、これらの命令２３０を、ユーザがカスタマイズした好みに繰り返し使用することを可能にする、メモリ２１４に構成又は記憶することができるアプリケーション及び他のソフトウェアプログラムを含むことができる。

インタラクティブアバタトレーニングシステムの仮想環境にアバタを確立するモジュール、エンジン、要素等は、サーバコンピュータ１６０内に構成することができることに留意されたい。いくつかの場合には、これらのモジュール、エンジン、又は要素等は、コンピューティングデバイス２００ａ内にローカルに構成することができる。

１つの例では、仮想シミュレーションアプリケーションは、メモリ２１４に保存され、プロセッサ２１６によって実行可能なシミュレーション（ＳＩＭ：simulation）エンジン２２４を利用することができる。例えば、ユーザは、シミュレーション（ＳＩＭ）エンジン２２４における設定をカスタマイズするために、自身のプロファイルを設定し、入力プロファイル情報をメモリ２１４に保存することができる。したがって、そのような情報は、必要なときの繰り返し使用のために保存することができる。メモリ２１４内の命令２３０は、プロセッサ２１６によって実行されるとき、命令２３０の動作がプロセッサ２１６によってシミュレーション（ＳＩＭ）エンジン２２４又は他の関連したエンジンにおいて実行されることを可能にするために、シミュレーション（ＳＩＭ）エンジン２２４と通信することができることに留意されたい。例えば、シミュレーション（ＳＩＭ）エンジン２２４、回答エンジン２２６、及び１つ以上の対応するキーワードを含むことができるキーターム特定エンジン２２３をロードし、プロセッサ２１６において実行することができる。他のエンジン又はモジュールもロードし、プロセッサ２１６によって実行することができることに留意されたい。

シミュレーション（ＳＩＭ）エンジン２２４は、コンピューティングデバイス２００ａからのプロセッサ２１６又はサーバコンピュータ１６０からのプロセッサ２６７のいずれによっても実行することができる。シミュレーション（ＳＩＭ）エンジン２２４は、コンピューティングデバイス２００ａからのメモリ２１４又はサーバコンピュータ１６０におけるメモリ２６５及び／又はアプリケーションモジュール２７０において構成することもできるし、シミュレーション（ＳＩＭ）エンジン２２４の実行を可能にすることができるコンピューティングデバイス２００ａ又はサーバコンピュータ１６０と通信することができる他の適したメモリデバイスにおいて構成することもできることに留意されたい。この点に関して、ユーザは、ネットワーク１９０を介してサーバコンピュータ１６０におけるＳＩＭエンジンにアクセスすることができる。シミュレーション（ＳＩＭ）エンジン２２４は、ユーザのアバタを生成することができる。１つの例では、作成される各アバタは、コンピューティングデバイス２００ａ等のコンピューティングデバイスを動作させるユーザを表現したものとすることができる。アバタの外観は、カメラ等の入力デバイス２３４によってキャプチャされたユーザの画像フィード及び／又はビデオフィードに基づいて構築された３Ｄモデルとすることができる。例えば、ユーザ入力に応答して、シミュレーション（ＳＩＭ）エンジン２２４は、コンピューティングデバイス２００ａにおけるカメラを始動し、ユーザの顔及び／又は身体／衣服を含むビデオ又は画像をキャプチャすることができる。シミュレーション（ＳＩＭ）エンジン２２４は、ユーザの画像／ビデオを処理する。この画像／ビデオは、その後、ユーザの顔の表情及び／又は身体表現をアバタの顔の表情及び／又は身体表現として仮想空間にリアルタイムで示すことができるように、ユーザの顔及び／又は身体／衣服をキャプチャして対応するアバタを作成するためにマッピングされる。

シミュレーション（ＳＩＭ）エンジン２２４は、コンピューティングデバイス２００ａ、又は他のリモートデバイス若しくは仮想空間等における表示及び提示用のアバタを確立する入力コマンドを受信することができる。ユーザからの入力コマンドは、コンピューティングデバイス２００ａのユーザインタフェースデバイス２３２によってキャプチャ及び検出することができ、シミュレーション（ＳＩＭ）エンジン２２４によって処理することができる。ユーザからの入力コマンドは、入力デバイス２３４からタッチスクリーンによってキャプチャされたタッチイベントを含むことができる。ジェスチャ、音声、又は他のバイオメトリック特性をカメラによってキャプチャし、ユーザの外観及び個人の振る舞いと高い類似度を有するアバタを作成することができる。例えば、顔の検出、頭の動きの検出、顔の表情／身体表現の検出、又は他の検出若しくはキャプチャを行って、仮想空間におけるアバタのルックアンドフィールを指定することができる。さらに、服装一式の色又はスタイルの変更等のアニメーションコマンドも、ユーザがユーザの好みに基づいてアバタを確立するために入力することができる。これらのアニメーションコマンドは、タップ、ピンチ、ドラッグ又は他のコマンドによって行うことができる。

さらに、オーディオ通信もキャプチャすることができる。シミュレーション（ＳＩＭ）エンジン２２４は、入力デバイス２３４からのマイクロホンを起動して、ユーザからのオーディオ入力（音、音声）、例えばユーザの発話をキャプチャし、キャプチャされた音を対応するオーディオ信号に変換することができる。１つの例では、オーディオ信号は、アバタ発話信号に変換することができ、この信号は、その後、提示のために送信及び出力することができる。受信されたアバタ発話信号は、その後、スピーカ等の出力デバイス２３６によって変換されて音に戻すことができる。受信されたアバタ発話信号は、回答エンジン２２６によって更に処理又は分析することができる。これについては、以下で詳細に説明される。アバタの発話は、ユーザの発話に基づくことができる。例えば、変換は、ピッチシフト、ストレッチ及び／又は再生速度の変更を含むが、これらに限定されるものではない。

上述のように、コンピューティングデバイス２００ａにおけるシミュレーション（ＳＩＭ）エンジン２２４は、ユーザによる入力、又はユーザインタフェースデバイス２３２によってキャプチャされた信号情報に基づいてアバタを作成することができる。オーディオは、変換することができ、ビデオは、検出されたユーザ入力及び特定されたアニメーションコマンドに基づいてアニメーション化することができ、アバタ通信を用いてユーザエクスペリエンスが高められる。

アンリアルエンジン２２９は、シミュレーション（ＳＩＭ）エンジン２２４と通信して、生成されたアバタを仮想環境に投入し提示することができる。アンリアルエンジン２２９は、シミュレーション（ＳＩＭ）エンジン２２４と通信して仮想環境データをコンピューティングデバイス２００ａに提供する仮想現実エンジンとすることができる。仮想環境にはリモートからアクセスすることができ、仮想環境におけるアバタは、仮想環境において通信することができるか又は別の方法でインタラクトすることができる。

回答エンジン２２６は、ユーザからのオーディオ信号を処理するように構成される。回答エンジン２２６は、オーディオ信号を分析用のテキストデータに変換することができる。テキストデータからの識別子、キーワード、キー用語（本明細書では「識別子」と総称する）をキーターム特定エンジン２２３によって特定及び分析することができる。識別子は、コンピューティングデバイス２００ａのデータ２２８、又はサーバコンピュータ１６０の回答データベース２６４等に事前に記憶しておくことができる。

データ２２８又は回答データベース２６４は、回答エンジン２２６においてリンクされた対応する事前記憶された応答／回答を有することができる。したがって、オーディオ信号からの識別子が、キーターム特定エンジン２２３によって特定、検出又は認識されると、検出された識別子をその後利用して、回答又は応答を得るためにデータ２２８又は回答データベース２６４を検索することができる。さらに、検出された識別子は、適切な回答又は応答をデータベースから探すために、ユーザからの入力に合致する適したルール、原理、状況、イベント又はアクティビティを特定することを援助することができる。検出された識別子及び特定されたキーワードは、回答の範囲を精緻化することも援助することができる。

回答及び／又は応答がマッピング及び選択されると、回答エンジン２２６は、回答及び／又は応答を発話信号に更に変換して、シミュレーション（ＳＩＭ）エンジン２２４を通じてアバタ発話信号として出力することができる。回答エンジン２２６は、アバタ発話信号を出力するときに、アバタに紐付けされたリップシンクを援助することができる。

１つの例では、データベースからの対応する回答又は応答が回答エンジン２２６において特定されるとき、回答エンジン２２６は、アバタ発話信号を出力する前に、回答及び／又は応答を更に最適化し、処理し、完成させることができる。例えば、回答エンジン２２６においてプログラミングされたアルゴリズムが、十分に説明されたエリートレベルの回答又は応答等の専門家レベルの回答又は応答の提供を援助することができる。したがって、専門家レベルの回答又は応答は、いくつかの状況において、少数の識別子しかキーターム特定エンジン２２３によって特定されていなくても生成することができる。回答エンジン２２６においてプログラミングされたアルゴリズムは、機械学習技法、人工知能システム、深層学習技法、又は他の同様の技法を利用して、ユーザによって制御されたアバタからの入力に基づいて回答又は応答を生成することを援助することができる。したがって、ユーザからの入力が、シンプルであるがそれほど明瞭でない回答等の十分な詳細又は説明を含まない例では、回答エンジン２２６においてプログラミングされたアルゴリズムは、欠けている情報のギャップを埋めることを援助することができるとともに、専門家レベルの情報及び知識を有する十分な詳細を用いて回答又は応答を生成することができる。回答エンジン２２６においてプログラミングされたアルゴリズムは、アバタからの繰り返し入力によって又は他の適したビッグデータ分析技法によってトレーニングすることができる。１つの例では、回答エンジン２２６は、自然言語の形態でアバタ発話信号を出力することができる。

図２に示すように、サーバコンピュータ１６０は、メモリ２６５からの命令及び設定２６９を実行するように構成される、プロセッサ２１６と同様の少なくとも１つのプロセッサ２６７を含むことができる。ユーザは、コンピューティングデバイス２００ａ等のコンピューティングデバイスのうちの１つ以上を通じてサーバコンピュータ１６０へのアクセス及びサーバコンピュータ１６０とのインタラクトを行うことができる。１つの例では、メモリ２６５は、ユーザプロファイル記憶部２６６、回答データベース２６４、アクティビティデータベース２６８、設定２６９、又はサーバコンピュータ１６０におけるインタラクティブアバタトレーニングシステムの動作を容易にするためにメモリ２６５に記憶される他のデータを含むことができる。ユーザプロファイル記憶部２６６は、ユーザによって認可されると、カスタマイズされた情報をユーザによって設定されたアバタに提供するために、衣服の好み、音声トーン選択、ジェスチャ、癖等のアバタを作成するためのユーザに固有の情報を記憶することができる。任意の個人識別可能情報が、必要なときにユーザの個人情報及びプライバシを保護するために、スクラブ若しくは暗号化又は別の方法で保護される。ユーザに関連付けられたデータへのアクセスにも、ユーザからの認可が必要とされる。

メモリ２６５内の回答データベース２６４及びアクティビティデータベース２６８は、インタラクティブアバタトレーニングシステムの動作を容易にする情報を記憶することができる。例えば、上述したように、回答データベース２６４及び／又はアクティビティデータベース２６８は、トレーニに関するインタラクティブアバタトレーニングシステムの様々な状況に対するアクティビティ、応答又は回答を含むデータを記憶することができる。このデータは、企業に極めて重要であるか又は重要とみなされる企業の専門知識の分野に関する情報も含むことができる。ユーザが、問題を解く自身の能力、又は、状況及び企業等によって所望される他の任意のタイプのトレーニング状況に対処する自身の能力を評価することができるように、記憶されるデータは、話題、状況、一連の実生活又は虚構の例に対する応答又は回答を伝達するテキストベースの情報及び／又はグラフィックベースの情報を含むことができる。一連の実生活又は虚構の例は、状況、アクティビティ、イベントに適用される話題、指定された話題を対象とするインタラクティブなピアツーピア又はトレーナ対トレーニの練習セッションを提供する或る特定のシミュレーション材料を示す。回答データベース２６４及びアクティビティデータベース２６８に記憶されるデータは、インタラクティブアバタトレーニングシステムを利用する企業によって生成することもできるし、他のエンティティから市販されているものとすることもできる。さらに、アクティビティデータベース２６８は、トレーニがいくつかの状況下における正直さ、潔白さ、及び公平さ等のトレーニの挙動を更に定義することを助けるトレーニングコンテンツ等の情報も記憶することができる。さらに、アクティビティデータベース２６８は、トレーニングコンテンツがトレーニに配信された後にトレーナがトレーニの技量にアクセスするために利用することができるように、テスト質問のリストも記憶することができる。プロセッサ２６７は、設定２６９からのコマンドを実行して、インタラクティブアバタトレーニングシステムにおいて動作を実行するように構成することができる。

１つの例では、いくつかのエンジン又はモジュールを含むアプリケーションモジュール２７０をサーバコンピュータ１６０に含めることができる。アプリケーションモジュール２７０は、設定２６９、又はメモリ２６５内の他の適したデータベースに基づくようにプログラミング又は構成することができることに留意されたい。アプリケーションモジュール２７０において構成されるエンジン２７１、２７２、２７３、２７４、２７５、２７６、２７７、２７８は、実行可能な構成要素である。図２に示す例では、アプリケーションモジュール２７０は、ＳＩＭエンジン２７１と、回答エンジン２７２と、オーディオエンジン２７３と、グラフィックエンジン２７４と、キーターム特定エンジン２７５と、記録／再生エンジン２７６と、推薦エンジン２７７と、アンリアルエンジン２７８とを含む。１つの例では、１つ以上のキーターム特定エンジン２７５はそれぞれ、問い合わせからキーワードの特定を容易にするために、キーワード１、キーワード２、キーワード３等の１つ以上の対応するキーワードを含むことができる。これらは単なる例にすぎず、インタラクティブアバタトレーニングシステムは、これよりも少ないエンジン若しくは異なるエンジン又は追加のエンジンを用いて実行することができることを理解すべきである。サーバコンピュータ１６０のプロセッサ２６７が、サーバコンピュータ１６０におけるメモリ２６５若しくは他の構成要素、又はコンピューティングデバイス２００ａにおけるメモリ２１４から情報を直接又はネットワーク１９０を通じて間接的に取り出すことができるように、アプリケーションモジュール２７０は、それらのメモリ等と電気通信することができることに留意されたい。

いくつかの例では、ＳＩＭエンジン２７１は、プロセッサ（複数の場合もある）によって実行されると、ユーザからの入力を処理してアバタを作成することができる。ＳＩＭエンジン２７１は、上述したコンピューティングデバイス２００ａにおけるＳＩＭエンジン２２４と同様に機能する。ＳＩＭエンジン２７１は、ユーザからの設定、入力、及び好みに基づいて仮想空間にアバタを作成することができる。

回答エンジン２７２は、サーバコンピュータ１６０におけるプロセッサ（複数の場合もある）２６７によって又はコンピューティングデバイス２００ａにおけるプロセッサ２１６によって実行されると、ユーザ又はインタラクティブアバタトレーニングシステムにおいて作成されたアバタへの回答又は応答を処理及び生成することができる。回答エンジン２７２は、専門家レベルの応答又は回答をトレーニ、又はアバタトレーニに提供することができる上述したような回答エンジン２２６と同様に機能する。

オーディオエンジン２７３は、サーバコンピュータ１６０におけるプロセッサ（複数の場合もある）２６７によって又はコンピューティングデバイス２００ａにおけるプロセッサ２１６によって実行されると、ユーザからのオーディオ入力を処理することができる。オーディオエンジン２７３は、キャプチャされたオーディオ入力を処理してユーザからの音又は音声をシミュレーションすることができ、シミュレーションされた音又は音声を、アバタ発話信号として出力される対応するオーディオ信号に変換することができる。オーディオエンジン２７３からの生成されたオーディオ信号は、アバタ発話信号を、ＳＩＭエンジン２７１によって作成されたアバタの唇の動き、ジェスチャ、又は身体の動きと同期させるためにＳＩＭエンジン２７１に送信することができる。オーディオエンジン２７３は、所望の音声出力を有するアバタの作成を援助するために、ＳＩＭエンジン２７１と通信して、オーディオエンジン２７３からＳＩＭエンジン２７１への又はその逆方向へのオーディオ信号の送信を容易にすることができる。或いは、オーディオエンジン２７３からの生成されたオーディオ信号は、任意の適した方法で出力することもできる。

グラフィックエンジン２７４は、サーバコンピュータ１６０におけるプロセッサ（複数の場合もある）２６７によって又はコンピューティングデバイス２００ａにおけるプロセッサ２１６によって実行されると、コンピューティングデバイス２００ａにおけるディスプレイスクリーン等の出力デバイス２３６又はユーザがインタラクトするヘッドマウントディスプレイ上に、アバタが登場する仮想環境設定において３次元フォーマット又は２次元フォーマットでアバタに対して出力される身体の動き、ジェスチャ、挙動反応等の関連したグラフィック信号を生成するように、カメラ２４５によってキャプチャされた画像、写真、ビデオ、又は他の情報を処理することができる。グラフィックエンジン２７４からの生成されたグラフィック信号は、ユーザの外観をシミュレーションした所望の画像を有するアバタの作成を援助するために、ＳＩＭエンジン２７１と通信され、グラフィックエンジン２７４からＳＩＭエンジン２７１への又はその逆方向へのグラフィック信号の送信を容易にすることができる。ＳＩＭエンジン２７１は、グラフィックエンジン２７４からのグラフィック信号と、オーディオエンジン２７３からのオーディオ信号とを統合して、所望のリップシンク、フォトリアリスティックな皮膚、顔の表情等を有するアバタを作成し完成させることができる。

キーターム特定エンジン２７５は、サーバコンピュータ１６０におけるプロセッサ（複数の場合もある）２６７によって又はコンピューティングデバイス２００ａにおけるプロセッサ２１６によって実行されると、ユーザからの入力を分析又は処理して、キーセマンティックフレーズ、識別子、キーワード、及び／又はキー用語（本明細書では「識別子」と総称する）をキャプチャし、そのようなキャプチャされた識別子を更に処理及び分析して対応する回答又は応答を生成するために回答エンジン２７２に送信することができる。例えば、プロセッサ（複数の場合もある）２６７、２１６は、ユーザ固有のアクティビティ、イベント、トレーニングプログラム等を参照する識別子を検索することができる。そのような識別子は、例えば、ハラスメント、消防訓練、不公正な行為、差別、義務等を含むことができる。したがって、そのような識別子が検出又は特定されると、これらの識別子に関連した検索を回答エンジン２７２によって行い、適切な回答又は応答を調べることができる。キーターム特定エンジン２７５は、上述したキーターム特定エンジン２２３と同様である。

記録又は再生エンジン２７６は、サーバコンピュータ１６０におけるプロセッサ（複数の場合もある）２６７によって又はコンピューティングデバイス２００ａにおけるプロセッサ２１６によって実行されると、ユーザによってトリガされたときに、生成又は処理された応答及び／又は回答を記録及び再生することを可能にするために、回答エンジン２７２、２２６からの応答及び／又は回答を処理及び保存することができる。したがって、ユーザ、すなわちトレーニは、繰り返し練習のために再生機能を利用してトレーニングプログラムを再訪し、学習経験を向上させるとともにユーザの学習及びニューラル埋め込み（neural embedding）を補強することができる。

推薦エンジン２７７は、サーバコンピュータ１６０におけるプロセッサ（複数の場合もある）２６７又はコンピューティングデバイス２００ａにおけるプロセッサ２１６によって実行されると、回答エンジン２７２から提供される検索結果に基づいて推薦スコアを生成することができる。いくつかの例では、回答エンジン２７２は、ユーザが自身の選択に基づいて自身の意図する問い合わせ／入力に最もよく合致する回答又は応答を決定することができるように、ユーザからの入力に応答して複数の回答又は応答を提供することができる。例えば、回答エンジン２７２によって入力又は生成される検索結果は、各検索結果の推薦スコア又は他の関連した情報とともにディスプレイスクリーン２５０に表示することができる。トレーニング状況及び検出された識別子の相関及びファクタを計算的に分析することによって、回答又は応答に対する検索結果の全体的な高信頼レベルを生成することができる。さらに、推薦スコアは、検出された１つ以上の識別子及び選択されたトレーニングコンテンツの相関を含む全体的な信頼レベルの評価にも基づいて生成される。したがって、比較的高い信頼レベルを有する推薦スコアを得ることができる。したがって、ユーザからの入力に応答して生成される高い精度レベルを有する回答若しくは応答に基づいて、又は、ユーザが自身の意図する問い合わせに最もよく合致する回答若しくは応答を選択することを可能にする複数の可能な回答又は応答に基づいて、快適なユーザエクスペリエンスを得ることができる。

アンリアルエンジン２７８は、サーバコンピュータ１６０におけるプロセッサ（複数の場合もある）２６７又はコンピューティングデバイス２００ａにおけるプロセッサ２１６によって実行されると、アバタを提示することができる仮想空間又は仮想環境を処理及び生成することができる。アンリアルエンジン２７８は、アバタが存在することができる仮想環境を容易にする仮想環境データをＳＩＭエンジン２７１に提供することができる仮想現実エンジンとすることができる。ＳＩＭエンジン２７１は、仮想環境を、ユーザがこの仮想環境においてトレーニングプログラムとインタラクトし、トレーニングプログラムに参加することを可能にする作成されたアバタと統合することを援助することができる。ユーザは、ネットワークを介してリモートで仮想環境にアクセスすることができるとともに、仮想環境において相互通信及びインタラクションを行うようにアバタを作成することができる。

図１及び図２は、２つのコンピューティングデバイス２００ａ、２００ｂしか示していないが、インタラクティブアバタトレーニングシステム１００は、任意の数のコンピューティングデバイスを含むことができる。サーバ又はコンピューティングデバイスのプロセッサ、メモリ、又は他の要素への言及は、連携して動作する場合もあるし、そうでない場合もあるプロセッサ、メモリ、又は要素の集合体への言及を含むと理解される。メモリは、インタラクティブアバタトレーニングシステムの動作を容易にすることができるキーワード及び／又は質問を記憶するデータベースを含むことができる。その上、各サーバ及び各コンピューティングデバイスは、複数のサーバ及び／又はコンピューティングデバイスから構成することができる。例えば、各サーバコンピューティングデバイス１１０は、本明細書において説明されるようなアプリケーション又は他の命令を実行するために連携して動作する複数のサーバコンピューティングデバイスを含むことができる。またさらに、本明細書において説明されるいくつかの機能は、単一のコンピューティングデバイス又はサーバ上で行われるものとして示されているが、本明細書に記載の主題の様々な態様は、本明細書において説明するように、例えば、ネットワーク１６０を介して情報を通信する複数のコンピューティングデバイス又はサーバによって実施することができる。

図３は、ユーザ３０２がインタラクトすることができる図１及び図２に示すようなコンピューティングデバイス２００ａ及び２００ｂと、コンピューティングデバイス２００ｃ、２００ｄとを含む４つのコンピューティングデバイスを有する一例示のアバタトレーニングシステム３００を示している。コンピューティングデバイス２００ａ～２００ｄは、ネットワーク１９０を介してサーバコンピュータ１６０と通信することができるように構成される。これらのコンピューティングデバイスは、ネットワークを介した通信が可能であるとともにインタラクティブアバタトレーニングシステムにおける計算動作の実行が可能なデスクトップコンピュータ２００ａ、ラップトップ２００ｂ、ポータブルデバイス２００ｃ、タブレット２００ｄ、又は他の任意のデバイスとすることができる。例えば、コンピューティングデバイス２００ａ～２００ｄはそれぞれ、ネットワークを介して通信することが可能なデスクトップ、ラップトップコンピュータ、モバイルフォン、若しくはタブレットＰＣ等のデバイス等のフルサイズパーソナルコンピュータ、ゲーミングシステム、ウェアラブルコンピューティングデバイス、ネットブック、又は他の任意のデバイスのうちの任意のものとすることができる。

図４は、図２に示すコンピューティングデバイス２００ａと同様に構成されるそれぞれのコンピューティングデバイス４０２ａ、４０２ｂを利用して、トレーナ４０６及びトレーニ４０４等の少なくとも２人のユーザ４０４、４０６によってインタラクティブアバタトレーニングシステムを動作させる一例を示している。作業環境におけるトレーナ、コーチ又はメンタ（mentor）等の第１のユーザ４０６と、トレーニ、生徒又はメンティ（mentee）等の第２のユーザ４０４とは、それぞれコンピューティングデバイス４０２ａ、４０２ｂを利用して、インタラクティブアバタトレーニングシステムを動作させることができる。インタラクティブアバタトレーニングシステムは、ＳＩＭエンジン２７１（又はコンピューティングデバイス４０２ａ、４０２ｂにプログラミング又は組み込まれたＳＩＭエンジン２２４）を利用して、インタラクティブアバタトレーニングシステムを動作させることができる仮想シミュレーションアプリケーションを起動し、少なくとも２人のユーザ４０６、４０４の間のインタラクションのための仮想空間／環境を作成することができる。動作中、インタラクティブアバタトレーニングシステムの動作を可能にするために、サーバコンピュータ１６０及び／又はコンピューティングデバイス２００ａにおける回答エンジン２７２、２２６、キーターム特定エンジン２７５、２２３等の他のモジュール、並びに他の適したエンジン及びアプリケーションも利用することができる。

１つの例では、第１のユーザ４０６は、インタラクティブアバタトレーニングシステムにトレーナとして登録することができる一方、第２のユーザ４０４は、インタラクティブアバタトレーニングシステムにトレーニとして登録することができる。インタラクティブアバタトレーニングシステムは、第１のユーザ４０６及び第２のユーザ４０４を、トレーナ－トレーニ、メンタ－メンティ、又はコーチ－生徒のインタラクションの関係で登録することを可能にする。インタラクティブアバタトレーニングシステムにおいて作成された仮想空間における第１のユーザ４０６と第２のユーザ４０４との間のインタラクションは、リアルタイムで行われるものとすることもできるし、事前にプログラミング又は事前に記録されたものとすることもできる。第１のユーザ４０６及び第２のユーザ４０４は、ヘッドマウントディスプレイ（ＨＭＤ：head-mounted display）４１０、４０８及び／又はモーション若しくはジェスチャ検出器４２０、４２２及び／又は他の関連した検出器／センサを利用することによって、仮想空間におけるイベント、アクティビティ、トレーニングプログラムに参加及び関与することができる。ヘッドマウントディスプレイ（ＨＭＤ）４１０、４０８、モーション若しくはジェスチャ検出器４２０、４２２、又は他の関連したセンサは、インタラクティブ経験を向上させるために、ユーザが仮想環境におけるアバタ、生物、及び他の要素を視認し、それらとインタラクトすることを可能にして、トレーニング状況のより良好な理解、関与又はシミュレーションを援助することができる。図４に示すモーション又はジェスチャ検出器４２０、４２２は、ハンドヘルド／ハンドグリップデバイスであるが、ウェアラブルデバイス又は他の適したセンサ等の他のタイプのモーション検出器も、ユーザ４０６、４０４の動き、ジェスチャ、及び反応の検出及び検知を援助するのに利用することができることに留意されたい。或いは、ヘッドマウントディスプレイ（ＨＭＤ）４１０、４０８及び／又はモーション若しくはジェスチャ検出器４２０、４２２がユーザ４０６、４０８に利用可能でないときは、ユーザ４０６、４０４は、ディスプレイスクリーン４１６、４１４に投入されたコンテンツを直接視認し、ディスプレイスクリーンに定義されたユーザインタフェースデバイス２３２を使用してコマンドをコンピューティングデバイス４０２ａ、４０２ｂに直接入力することによって、仮想環境におけるイベント、アクティビティ、トレーニングプログラムに参加することができる。

図５は、コンピューティングデバイス４０２ａ、４０２ｂを介してインタラクティブアバタトレーニングシステムを実行しているときの信号処理図を示している。インタラクティブアバタトレーニングシステムは、コンピューティングデバイス４０２ａ、４０２ｂ又はネットワーク１９０を介して電気通信するサーバコンピュータ１６０において構成されるＳＩＭエンジン、回答エンジン、キーターム特定エンジン又は他の関連したエンジン等の複数のエンジンを利用するコンピューティングデバイス４０２ａ、４０２ｂにおいてプログラミングされた仮想シミュレーションアプリケーション等のソフトウェアアプリケーションとすることができる。

図５に示す例では、第１のユーザ４０６は、トレーナ、コーチ、又はメンタとすることができ、第２のユーザ４０４は、トレーニ、生徒又はメンティとすることができる。第１のユーザ４０６及び第２のユーザ４０４の双方が、コンピューティングデバイス４０２ａ、４０２ｂにおいて仮想シミュレーションアプリケーションを実行して、インタラクティブアバタトレーニングシステムを起動することができる。仮想シミュレーションアプリケーションは、ＳＩＭエンジン及び他の関連したエンジンを実行してインタラクティブアバタトレーニングシステムを動作させるように構成される。仮想シミュレーションアプリケーションが起動されると、ユーザを表すアバタのモデルを選択又は作成するようにユーザ４０６、４０４に要求することができる。コンピューティングデバイスにおけるオーディオエンジン、グラフィックエンジン等の他のエンジンをアバタ作成のためにＳＩＭエンジンとともに実行することができることに留意されたい。アバタ作成は、ビデオアバタ選択及びオーディオ変換選択を含むことができる。複数のアバタを表示することができ、これらの複数のアバタから、ユーザは所望のアバタを選択することができる。或いは、ユーザは、自身のアバタを作成する必要に応じて、所望のバイオメトリック詳細、次元、番号又は他の情報を入力することができる。アバタが選択又は作成されると、関連したオーディオ変換も選択することができる。或いは、ユーザは、アバタにマッピングされるオーディオ作成用の自身の音声／音を入力することができる。上述したように、アバタは、コンピューティングデバイス４０２ａ、４０２ｂにそれぞれ作成及び表示されるアバタ５０４、５０６等の２つの次元（２Ｄ）、又は仮想環境に現れる３つの次元（３Ｄ）のいずれかにおけるユーザのグラフィック表現として定義される。選択又は作成されたアバタは、ユーザの容姿に似ていなければならない場合もあるし、似ている必要がない場合もある。アバタは、コンピューティングデバイスにおけるカメラによって撮影された画像又はビデオの形態を取るユーザの表現とすることができる。

アバタ５０４、５０６がユーザ４０４、４０６をそれぞれ表すように作成されると、ユーザ４０４、４０６は、インタラクティブアバタトレーニングシステムを実行して、アバタ５０４、５０６の間の通信を可能にすることができる。アバタ５０４、５０６の間の通信は、コンピューティングデバイス４０２、４０２ｂの双方がネットワーク１９０に接続されて接続を確立すると、起動することができる。通信構成は、インタラクティブアバタトレーニングシステムを起動するか又はこれに参加する少なくとも１つのコンピューティングデバイスの特定を含む。例えば、第１のアバタ５０６によって表される第１のユーザ４０６は、同じくインタラクティブアバタトレーニングシステムに参加するコンピューティングデバイス４０２ａを実行している第２のユーザ４０４を表す第２のアバタ５０４等のアバタをアバタのリストから選択して、トレーニングプログラムの実行を容易にして開始することができる。図５に示す例では、２つのアバタ５０６、５０４を利用する２人のユーザ４０６、４０４しか示されていないが、複数のユーザがインタラクティブアバタトレーニングシステムにおいて複数のアバタを同時に、非同時に、又は他の適した方法で利用することができることに留意されたい。

アバタ５０４、５０６が選択及び作成された後、トレーニ又は生徒等の第２のユーザ４０４は、アクティビティデータベース２６８、又はインタラクティブアバタトレーニングシステムとインタフェースされた他の適したデータベース、モジュール、若しくはエンジンから提供及び生成されるトレーニングコンテンツを含む一連のトレーニングプログラムを受信することができる。トレーニングプログラム又は材料は、トレーニ又は生徒等の第２のユーザ４０４に与えられる適切なトレーニングコンテンツ又はプログラムを決定するトレーナ又はコーチ等の第１のユーザ４０６によって割り当てることもできる。コンピューティングデバイス４０２、４０２ｂからのディスプレイスクリーンは、トレーニングコンテンツを再生することができ、これによって、仮想環境においてトレーニングコンテンツを再生しているときに、第１のユーザ４０６及び第２のユーザ４０４は、アバタ５０４、５０６が互いにインタラクトしているのを観察することが可能になる。

トレーニングプロセスの実行前、実行中、又は実行後に、第１のユーザ４０６及び第２のユーザ４０４は、問い合わせ、質問、状況シミュレーション又は他の関連したアクティビティを得るためにインタラクティブに参加及び通信して、トレーニングプログラムのトレーニングコンテンツがトレーニ又は生徒等の第２のユーザ４０４に適切に正しく配信されることを確保することができる。

１つの例では、第１のユーザ４０６と第２のユーザ４０４との間のインタラクションは、第１のユーザ４０６又は第２のユーザ４０４のいずれかからの照会入力等の問い合わせを入力することによって開始することができる。１つの例では、問い合わせは、トレーニ又は生徒等の第２のユーザ４０４から入力することができる。問い合わせは、第２のユーザ４０４からの問い合わせ入力から識別子を特定する図５に示すトレーニキーターム特定エンジン２７５ａ等のキーターム特定エンジンを通じて処理又は送信することができる。そのような識別子は、その後、更なる処理のためにコーチキーターム特定エンジン２７５ｂに送信することができる。コーチキーターム特定エンジン２７５ｂは、その後、問い合わせを適切な識別子とともにトレーナ又はコーチ等の第１のユーザ４０６に出力することができる。図５に示す例では、コーチキーターム特定エンジン２７５ｂ及びトレーニキーターム特定エンジン２７５ａを含むキーターム特定エンジンが示されているが、いくつかの例では、１つのキーターム特定エンジンのみを利用して、第１のユーザ４０６及び第２のユーザ４０４の双方からの問い合わせ又は入力からキータームを処理、分析、又は検出することができることに留意されたい。

適切な識別子を有する問い合わせが、トレーナ又はコーチ等の第１のユーザ４０６に出力された後、第１のユーザ４０６は、その後、トレーニ又は生徒等の第２のユーザ４０４からの問い合わせに応答する回答又は応答を生成することができる。第１のユーザ４０６から入力された回答又は応答は、その後、回答又は応答から識別子を特定するコーチキーターム特定エンジン２７５ｂを通じて送信することもできる。回答又は応答からの識別子が、コーチキーターム特定エンジン２７５ｂによって特定及び検出されると、そのような識別子は、その後、回答エンジン２７２に送信することができる。上述したように、回答エンジン２７２は、そのような識別子を更に処理して変更し、処理又は最適化されたエリートレベルの回答又は応答を生成することができる。したがって、回答エンジン２７２からの計算分析及び処理を利用することによって、トレーナ又はコーチ等の第１のユーザ４０６は、通常の方法、簡単な方法又はカジュアルな方法で回答又は応答を生成又は提供し、回答エンジン２７２に依拠して、高い精度、高い専門家技術、又は企業によって設定されたより新しいルール、規制若しくはコンプライアンス等の最新情報によって回答又は応答を処理し、完成させ、最適化することができる。

或いは、回答エンジン２７２は、いくつかの事前に記憶された回答又は応答を含むことができる。したがって、適切な識別子が特定された後の状況では、トレーニキーターム特定エンジン２７５ａ及び／又はコーチキーターム特定エンジン２７５ｂは、その後、回答エンジン２７２と最初に通信して、回答エンジン２７２に事前に記憶された利用可能な回答又は応答を調べることができる。回答エンジン２７２が、トレーニ又は生徒等の第２のユーザ４０４からの問い合わせに応答する事前に記憶された回答又は応答を有する状況では、第１のユーザ４０６が問い合わせに回答又は応答する必要なく、回答又は応答をトレーニ又は生徒等の第２のユーザ４０４に出力することができる。したがって、トレーニングプログラムに必要とされるスタッフの動作及び人力を節約することができ、トレーニングプログラムに必要とされるトレーニング時間を短縮し、より効率的に管理することができる。

１つの例では、回答エンジン２７２は、機械学習技法、人工知能システム、深層学習技法、又は他の同様の技法を利用して、トレーニ又は生徒等の第２のユーザ４０４からの問い合わせに対して十分に考え抜いた応答を、トレーナ又はコーチ等の第１のユーザ４０６が頻繁に関与することなく生成することができる。第１のユーザ４０６と第２のユーザ４０４との間のインタラクションは、種々のトレーニング要件及び状況に基づいて、リアルタイムで行うこともできるし、事前にプログラミング又は事前に記憶されたシミュレーションで行うこともできることに留意されたい。

さらに、トレーニ又は生徒等の第２のユーザ４０４に出力される回答又は応答は、推薦スコアを伴うことができる。推薦スコアを有する回答又は応答は、トレーニ又は生徒等の第２のユーザ４０４が、自身の意図する問い合わせに最もよく合致する推薦結果を選択、受理又は拒否することを可能にするために出力することができる。

図６は、トレーナ及びトレーニ等の少なくとも第１のユーザ及び第２のユーザによってインタラクティブアバタトレーニングシステムを利用してトレーニングプログラムを実行する一例示の方法６００を示すフロー図を示している。そのような方法は、少なくとも第１のユーザ及び第２のユーザによって動作される上記に記載のコンピューティングデバイス２００ａ、２００ｂ、２００ｃ、２００ｄ、４０２ａ、４０２ｂのうちの１つ以上、それらの変更形態、又は異なる構成を有する様々な他のコンピューティングデバイスのうちの任意のもの等のコンピューティングデバイスを利用する動作によって実行することができる。トレーニングプログラムに応答した、ユーザに関連付けられたデータへのアクセス又はこのデータの収集には、ユーザからの認可及び入力が必要とされる。

以下の方法に関与する動作は、記載された正確な順序で行われなくてもよい。むしろ、様々な動作を異なる順序で又は同時にハンドリングすることができ、動作を追加することもできるし、省くこともできる。

動作は、ブロック６０２ａ及び６０２ｂにおいて開始する。第１のユーザは、第１のコンピューティングデバイスを利用して、ブロック６０２ａ、６０４ａ、６０６ａ、６０８、６１０、６１２、６１４、６１６を含む方法６００を利用するインタラクティブアバタトレーニングシステムを動作させることができる一方、第２のユーザは、第２のコンピューティングデバイスを利用して、ブロック６０２ｂ、６０４ｂ、６０６ｂ、６０８、６１０、６１２、６１４、６１６を含む方法６００を利用するインタラクティブアバタトレーニングシステムを動作させることができることに留意されたい。第１のユーザと第２のユーザとの間の通信がネットワークを介して起動されると、第１のユーザ及び第２のユーザは、インタラクティブアバタトレーニングシステムを通じてインタラクティブに通信することができる。

ブロック６０２ａにおいて、第１のユーザは、第１のコンピューティングデバイスにおいてインタラクティブアバタトレーニングシステムを動作させるアプリケーションに自身のプロファイルを入力することができる。同様に、ブロック６０２ｂにおいて、第２のユーザは、第２のコンピューティングデバイスにおいてインタラクティブアバタトレーニングシステムを動作させるアプリケーションに自身のプロファイルを入力することができる。

ユーザプロファイルが入力された後、ブロック６０４ａにおいて、第１のコンピューティングデバイスによって第１のユーザの画像及び音をキャプチャ及び収集することができる。同様に、ブロック６０４ｂにおいて、第２のコンピューティングデバイスによって第２のユーザの画像及び音をキャプチャ及び収集することができる。

ブロック６０６ａにおいて、プロファイル及びキャプチャされた情報に基づいて、第１のユーザは、インタラクティブアバタトレーニングシステムにおいて第１のアバタを作成することができる。ブロック６０６ｂにおいて、第２のユーザは、インタラクティブアバタトレーニングシステムにおいて第２のアバタを作成することができる。

アバタが作成されると、ブロック６０８において、これらのアバタ間の通信を第１のユーザ及び／又は第２のユーザによる相互選択によって起動することもできるし、インタラクティブアバタトレーニングシステムによって自動的に開始することもできる。例えば、トレーナ等の第１のユーザが、インタラクティブアバタトレーニングシステムを介してトレーニ等の第２のユーザを選択してトレーニングプログラムを進めることができる。或いは、トレーニ等の第２のユーザが、トレーナ等の第１のユーザを選択してトレーニングプログラムを進めることができる。いくつかの例では、インタラクティブアバタトレーニングシステムは、個々のユーザによって必要とされるトレーニングコンテンツのタイプに基づいて第１のユーザ及び第２のユーザを自動的にペアリングする計算マッチングプロセスを実行することができる。

トレーナ及びトレーニ等のユーザのペアが決定されると、ブロック６１０において、トレーニングプログラムのトレーニングコンテンツを選択して、トレーニ等の第２のユーザをトレーニングするのに必要とされる情報を提供することができる。１つの例では、トレーニングコンテンツは、差別トレーニング材料及びハラスメントトレーニング材料、並びに確立された所定の手続き及び会社ポリシに従って生成されたコンテンツを含むことができる。これらの手続きは、確立された人事ガイドラインに従うことができ、キーターム特定エンジンにおいて適用されるキーワードを確立するのに使用することができる。トレーニングプログラムは、企業における新参又は古参の従業員等のトレーニが、何がハラスメント又は差別であり、何がハラスメント又は差別でないのか、及び組織において設定されたルール、コンプライアンス、規制、又は関連した法に違反することなくその状況にうまく対処する方法について学習することを助けることができる。

トレーニングプログラムの間又はその後、ブロック６１２において、第１のユーザ及び第２のユーザは、インタラクティブに双方向通信して、質問、問い合わせ、又は任意のシミュレーションされた状況がある場合にそれに対する応答、回答又はフィードバックを提供することができる。例えば、第２のユーザによって制御されるトレーニアバタは、インタラクティブアバタトレーニングシステムにおける照会入力の生成等の質問をトレーナアバタに尋ねることができる。第１のユーザによって制御されるトレーナアバタは、システムにおける初期応答入力の生成等の質問に回答することができる。インタラクティブトレーニングシステムにおける回答エンジンは、システムにおける処理又は最適化された応答入力を生成すること等の、トレーナアバタからの回答又は応答を処理し、最適化し、完成させ、回答又は応答の精度を向上させ、通信効率を促進することを援助することができる。別の例では、第１のユーザによって制御されるトレーナアバタは、トレーニングコンテンツが第２のユーザによって制御されるトレーニアバタに誤解も誤伝達もなく正しく且つ適切に配信されることを確保するために、トレーニアバタに質問を尋ねる（又はテストを行う）ことができる。

トレーナアバタ及びトレーニアバタのインタラクション及び通信の間、ブロック６１４において、インタラクティブコンテンツをコンピューティングデバイスにおけるデータベース、又はネットワークを介してサーバコンピュータにおけるデータベースに記憶することができる。上述したように、回答エンジンは、回答エンジンに生成される各回答又は各応答を記憶し、計算分析を経由させることができるように、機械学習技法を利用することができる。これを行うことによって、同様の質問又は問い合わせが、その後のトレーニアバタから再度なされたとき、インタラクティブアバタトレーニングシステムにおける回答エンジンは、第１のユーザである実際の人間が同様の質問に繰り返し対処する必要なく、トレーナアバタの提示下で、質問に対する適切な回答又は応答を自動的に生成することができる。したがって、トレーニング効率を改善することができ、トレーニングプログラムが実行されるときの企業における人力を節約することができる。さらに、保存されたインタラクティブコンテンツは、トレーニアバタが繰り返し見直して再学習して、学習経験の向上又は学習者のニューラル埋め込みの補強を行うことができる。

トレーニングコンテンツが配信され、質問が回答された後、ブロック６１６において、インタラクティブアバタトレーニングシステムは、トレーナアバタ、トレーニアバタ、又はそれらの双方からの確認を探索することができる。双方の側がトレーニングプログラムの完了によって確認されると、ブロック６１８に示すように、トレーニングプログラムは、その後、終了することができる。対照的に、トレーナアバタ又はトレーニアバタのいずれかの側が、追加の説明又は議論を必要とする何らかの未解決の質問又は状況が存在すると考えている場合には、トレーニングプログラムをループしてブロック６１２に戻し、更なるインタラクション及び通信を行うことができる。例えば、トレーナアバタは、テスト質問又は状況シミュレーションのリストを、応答する及び参加するトレーニアバタに提供することができる。トレーニアバタが、質問に正しく回答したとき、又は、適切な正しい方法で状況シミュレーションに対して応答を行ったとき、トレーナアバタは、トレーニングプロセスを完了とマークすることを承認及び承諾することができる。対照的に、トレーニアバタが、実行されたテスト又は状況シミュレーションからの或る正答レベルに合格していないとき、ブロック６１０において選択されたトレーニングコンテンツのやり直し又は再学習を行うようにトレーニアバタに要求することもできるし、トレーナアバタは、トレーニアバタがトレーニングテストを理解し、これに合格することを助ける追加のトレーニングコンテンツを割り当てることもできる。

図７は、インタラクティブアバタトレーニングシステムを利用してトレーニングプログラムを実行する一例示の方法７００を示すフロー図を示している。以下の方法に関与する動作は、記載された正確な順序で行われなくてもよい。むしろ、様々な動作を異なる順序で又は同時にハンドリングすることができ、動作を追加することもできるし、省くこともできる。

動作はブロック７０２において開始する。第１のアバタを作成する第１のプロファイル入力が、インタラクティブアバタトレーニングシステム等のシステムにおける１つ以上のプロセッサによって受信される。

ブロック７０４において、第１のアバタの第１の画像が、システムにおける１つ以上のプロセッサによってシステムにおいて提示される。

ブロック７０６において、第２のアバタを作成する第２のプロファイル入力が、システムにおける１つ以上のプロセッサによって受信される。

ブロック７０８において、第２のアバタの第２の画像が、システムにおける１つ以上のプロセッサによって提示される。

ブロック７１０において、第２のアバタからの照会入力が、システムにおける１つ以上のプロセッサによって受信される。

ブロック７１２において、照会入力が、システムにおける１つ以上のプロセッサによってシステムにおける第１のアバタに送信される。

ブロック７１４において、第１のアバタからの初期応答入力が、システムにおける１つ以上のプロセッサによって生成される。

ブロック７１６において、初期応答入力が、システムにおける１つ以上のプロセッサによって処理される。

ブロック７１８において、処理された応答が、システムにおける１つ以上のプロセッサによって初期応答入力に基づいて生成される。

ブロック７２０において、処理された応答が、システムにおける１つ以上のプロセッサによって第２のアバタに出力される。

本開示は、インタラクティブアバタトレーニングシステムを提供する。このインタラクティブアバタトレーニングシステムは、トレーナが、仮想環境において、トレーニからの質問に対して単純化されたフォーマットで回答／応答を入力することを可能にする。インタラクティブアバタトレーニングシステムにおける回答エンジンは、トレーニングプロセスを簡潔に維持して全体的なトレーニング時間を節約することができるように、その後、回答又は応答を処理し、専門家レベルに最適化することができる。さらに、最適化又は処理された回答は、トレーニに与えられるトレーニング精度も促進することができる。回答又は応答は、トレーニが、自身の意図する問い合わせに最もよく合致する回答を選択することができるように、推薦スコアとともに更に出力することができる。

別段の指示がない限り、上述の代替的な例は、互いに排他的ではなく、固有の利点を達成するために様々な組み合わせで実施することができる。上述したこれらの機能及び他の変形形態並びに組み合わせを、特許請求の範囲によって規定される主題から逸脱することなく利用することができ、上述の実施形態の記載は、特許請求の範囲によって規定される主題を限定するのではなく、例示するものとして解釈されるべきである。加えて、本明細書に記載した例の提供、及び「等」、「を含む」等という言い回しの節は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、こうした例は、多くのあり得る実施形態のうちの１つのみを例示することが意図されている。さらに、様々な図における同じ参照符号は、同じ又は類似の要素を識別することができる。

Claims (20)

1. サーバコンピューティングデバイスを備え、
   前記サーバコンピューティングデバイスは、
   １つ以上のメモリと、
   前記１つ以上のメモリと通信する１つ以上のプロセッサと、
   を備え、
   前記１つ以上のプロセッサは、
   第１のコンピューティングデバイスの第１のユーザに関連付けられた第１のアバタを作成する第１の入力を受信することと、
   第２のコンピューティングデバイスの第２のユーザに関連付けられた第２のアバタを作成する第２の入力を受信することと、
   仮想従業員トレーニング環境において前記第１のアバタ及び前記第２のアバタを提示することと、
   前記仮想従業員トレーニング環境において前記第１のコンピューティングデバイスから質問を受信することと、
   前記仮想従業員トレーニング環境において前記質問に応答して回答を出力することと、
   を行うように構成される、インタラクティブアバタトレーニングシステム。
2. 前記回答を出力する前に、前記１つ以上のプロセッサは、前記第２のコンピューティングデバイスから前記回答を受信するように更に構成される、請求項１に記載のインタラクティブアバタトレーニングシステム。
3. 前記１つ以上のプロセッサは、
   前記受信された回答を処理して、処理された回答を生成することであって、前記処理された回答は、前記出力される回答であること
   を行うように更に構成される、請求項２に記載のインタラクティブアバタトレーニングシステム。
4. 前記回答を処理することは、
   前記第２のコンピューティングデバイスからの前記回答からキーワードを特定することと、
   前記特定されたキーワードに基づいて前記処理された回答を生成することと、
   を更に含む、請求項３に記載のインタラクティブアバタトレーニングシステム。
5. 前記回答を出力する前に、前記１つ以上のプロセッサは、
   事前に記憶された回答のデータベースに前記１つ以上のメモリからアクセスすることと、
   前記事前に記憶されたデータベースから回答を選択することとであって、前記選択された回答は前記出力される回答であることと、
   を行うように更に構成される、請求項１に記載のインタラクティブアバタトレーニングシステム。
6. 前記第１のコンピューティングデバイスから前記質問を受信することは、
   前記質問からキーワードを特定すること
   を更に含む、請求項１に記載のインタラクティブアバタトレーニングシステム。
7. 前記回答は、機械学習アルゴリズムによって生成される、請求項１に記載のインタラクティブアバタトレーニングシステム。
8. 前記１つ以上のプロセッサは、
   前記回答とともに推薦スコアを生成すること
   を行うように更に構成される、請求項１に記載のインタラクティブアバタトレーニングシステム。
9. 前記回答を出力することは、
   前記仮想従業員トレーニング環境において１つ以上の回答を出力することと、
   前記回答のそれぞれへの推薦スコアを生成することと、
   を更に含む、請求項１に記載のインタラクティブアバタトレーニングシステム。
10. 前記１つ以上のプロセッサは、
    前記仮想従業員トレーニング環境において生成される前記質問及び前記回答を記録すること
    を行うように更に構成される、請求項１に記載のインタラクティブアバタトレーニングシステム。
11. 前記１つ以上のプロセッサは、
    前記仮想従業員トレーニング環境において前記質問及び前記回答を再生すること
    を行うように更に構成される、請求項１０に記載のインタラクティブアバタトレーニングシステム。
12. 前記第１のコンピューティングデバイス及び前記第２のコンピューティングデバイスは、ネットワークを介して前記サーバコンピューティングデバイスと通信する、請求項１に記載のインタラクティブアバタトレーニングシステム。
13. 前記回答は、前記仮想従業員トレーニング環境においてリアルタイムで生成されるか、又は、所定の回答から選択される、請求項１に記載のインタラクティブアバタトレーニングシステム。
14. 前記第１のアバタはトレーニを表し、前記第２のアバタはトレーナを表す、請求項１に記載のインタラクティブアバタトレーニングシステム。
15. 前記１つ以上のプロセッサは、
    前記仮想従業員トレーニング環境においてトレーニングコンテンツを前記第１のアバタに表示すること
    を行うように更に構成される、請求項１に記載のインタラクティブアバタトレーニングシステム。
16. 前記１つ以上のプロセッサは、
    前記仮想従業員トレーニング環境において前記第１のアバタに対する複数のテストを生成すること
    を行うように更に構成される、請求項１５に記載のインタラクティブアバタトレーニングシステム。
17. サーバコンピューティングデバイスと、
    前記サーバコンピューティングデバイスと通信する第１のコンピューティングデバイスと、
    前記サーバコンピューティングデバイスと通信する第２のコンピューティングデバイスと、
    を備え、
    前記サーバコンピューティングデバイスは、
    第１のアバタを作成する第１のプロファイル入力を前記第１のコンピューティングデバイスから受信することと、
    第２のアバタを作成する第２のプロファイル入力を前記第２のコンピューティングデバイスから受信することと、
    前記第１のアバタと前記第２のアバタとの間のインタラクションを可能にする前記第１のアバタ及び前記第２のアバタを含むシミュレーションされた学習環境を生成することと、
    前記インタラクション中に前記第１のアバタから質問を受信することと、
    機械学習アルゴリズムを使用して、前記質問に応答して回答を生成することと、
    前記シミュレーションされた学習環境において前記回答を出力することと、
    を行うように構成される、インタラクティブアバタトレーニングシステム。
18. 前記１つ以上のプロセッサは、前記質問からキーワードを特定して、前記回答の範囲を精緻化するように構成される、請求項１７に記載のインタラクティブアバタトレーニングシステム。
19. 前記１つ以上のプロセッサは、前記回答とともに推薦スコアを生成するように構成される、請求項１８に記載のインタラクティブアバタトレーニングシステム。
20. １つ以上のメモリと、
    前記１つ以上のメモリと通信する１つ以上のプロセッサと、
    を備えるサーバコンピューティングデバイスを備え、
    前記１つ以上のプロセッサは、
    第１のアバタを作成する第１のプロファイル入力を受信することと、
    シミュレーションされた環境において前記第１のアバタの第１の画像を提示することと、
    第２のアバタを作成する第２のプロファイル入力を受信することと、
    前記シミュレーションされた環境において前記第２のアバタの第２の画像を提示することと、
    前記第１のアバタから照会入力を受信することと、
    前記シミュレーションされた環境において前記照会入力を前記第２のアバタに送信することと、
    前記第２のアバタから初期応答入力を生成することと、
    前記シミュレーションされた環境において前記初期応答入力を処理することと、
    前記初期応答入力に基づいて処理された応答を生成することと、
    前記シミュレーションされた環境において前記処理された応答を前記第１のアバタに出力することと、
    を行うように構成される、インタラクティブアバタトレーニングシステム。