JP7440223B2 - 拡張現実のバーチャルエージェントとのコミュニケーション - Google Patents
拡張現実のバーチャルエージェントとのコミュニケーション Download PDFInfo
- Publication number
- JP7440223B2 JP7440223B2 JP2019148855A JP2019148855A JP7440223B2 JP 7440223 B2 JP7440223 B2 JP 7440223B2 JP 2019148855 A JP2019148855 A JP 2019148855A JP 2019148855 A JP2019148855 A JP 2019148855A JP 7440223 B2 JP7440223 B2 JP 7440223B2
- Authority
- JP
- Japan
- Prior art keywords
- intention
- user
- virtual agent
- semantic
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 14
- 230000006854 communication Effects 0.000 title description 27
- 238000004891 communication Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims description 58
- 230000006399 behavior Effects 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 42
- 230000014509 gene expression Effects 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 6
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000001755 vocal effect Effects 0.000 description 9
- 238000012512 characterization method Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 239000013078 crystal Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 3
- 239000010902 straw Substances 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000007794 irritation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
これらの観点及び他の観点、更に多様な実施例の特徴は、添付した図面を参照した以下の記述から明らかになる。
見つからなかった場合には、単純化したユーザ意思は、「不知」又は「不全」と見なされる(また、このことは、例えばバーチャルエージェント200が「肩をすくめる」リアクションを引き出すかもしれない-バーチャルエージェント200による、この及び他のリアクションは、以下に述べる)。例えば、図9Cの行910Fを参照。
であり、結果として得られた単純化したユーザ意思が[「検索コマンド」「オブジェクトA」「オブジェクトB」]の場合を考えると、これは両オブジェクトA及びBが検索用の候補であるが、バーチャルエージェント200により検索されるべき唯一のオブジェクトがあることを示している。オブジェクトA及びBがセマンティックオブジェクトタグ「ボール」に関連するが、ここでオブジェクトAは、クリスタルボールであり(セマンティックオブジェクトタグ「クリスタルボール」に関連つけられている)、オブジェクトBはサッカーボールである(セマンティックオブジェクトタグ「サッカーボール」に関連つけられている)(ここでこれらのオブジェクトが実世界オブジェクトであるかバーチャルオブジェクトであるかは重要ではない)。
Claims (26)
- 演算装置のプロセッサにより実行される方法であって、該方法は、
カメラからの画像を受け取り、
少なくとも一つの実世界オブジェクトを前記画像中に認識し、
スクリーン上に、少なくとも一つの実世界オブジェクトとバーチャルエージェントを含んだ拡張現実(AR)場面を表示し、
ユーザ入力を受け取り、
該ユーザ入力から単純化したユーザ意思を引き出し、
該ユーザ入力に反応して、バーチャルエージェントに前記AR場面内でリアクションを起こさせ、該リアクションは、前記単純化したユーザ意思に依存するように構成され、
前記ユーザ入力から単純化したユーザ意思を引き出すことは、
○前記ユーザ入力をユーザフレーズに変換し、
○少なくとも一つのセマンティック素子を前記ユーザフレーズ内で決定し、前記少なくとも一つのセマンティック素子は、少なくとも一つの、意思表現とセマンティックオブジェクトタグを有し、
○前記少なくとも一つのセマンティック素子を前記単純化したユーザ意思に変換する、
ことからなり、この変換は、
*(i)前記意思表現に関連する意思及び(ii)セマンティックオブジェクトタグに関連づけられた固有オブジェクトIDを得る、前記意思は、意思データベース内に格納された意思表現と意思の多対1マッピングから得たものであり、 前記固有オブジェクトIDは、オブジェクトデータベース内に格納されたセマンティックオブジェクトタグと固有オブジェクトIDの多対1マッピングから得たものであり、前記固有オブジェクトIDは、前記画像を撮ったカメラの視野内のオブジェクトに対応するように選択されており、
*前記意思データベースから得た前記意思と前記オブジェクトデータベースから得た固有オブジェクトIDを連結して前記単純化したユーザ意思を生成する、
ことからなる、演算装置のプロセッサにより実行される方法。 - 請求項1記載の方法において、該方法は、更に、オブジェクトデータベースを調べて、前記少なくとも一つの実世界オブジェクトの特性を取得し、前記リアクションは更に、該少なくとも一つの実世界オブジェクトの特性に依存する。
- 請求項1記載の方法において、前記ユーザ入力は、受け取った発話を含み、前記ユーザ入力をユーザフレーズに変換することは、スピーチ-テキストプロセスを前記受け取った発話に適用して、1セットの単語からなる前記ユーザフレーズを得ることを含む。
- 請求項1記載の方法において、前記ユーザ入力はテキストを含み、前記ユーザ入力をユーザフレーズに変換することは、スペルチェック、文法チェック及び翻訳のうち少なくとも一つを実行して、1セットの単語からなる前記ユーザフレーズを得ることを含む。
- 請求項1記載の方法において、前記少なくとも一つのセマンティック素子は、意思表現とセマンティックオブジェクトタグを有する。
- 請求項1記載の方法において、前記少なくとも一つのセマンティック素子を前記ユーザフレーズ内で決定することは、前記ユーザフレーズ内にある少なくとも一つの意思表現を認識するために、意思表現を格納する意思データベースを参照することを含む。
- 請求項6記載の方法において、前記少なくとも一つのセマンティック素子を前記ユーザフレーズ内で決定することは、前記ユーザフレーズ内にある少なくとも一つのセマンティックオブジェクトタグを認識するために、セマンティックオブジェクトタグを格納するオブジェクトデータベースを参照することを含む。
- 請求項7記載の方法において、意思データベースは、意思表現と対応する意思の間の関連を格納しており、前記オブジェクトデータベースはセマンティックオブジェクトタグと対応する固有オブジェクトIDの間の関連を格納している。
- 請求項1記載の方法において、少なくとも一つのセマンティック素子は、複数の意思表現を含む。
- 請求項9記載の方法において、前記複数の意思表現は、コマンドと挨拶を含む。
- 請求項10記載の方法において、該方法は、更に、ユーザフレーズを単純化したユーザ意思に変換する際に、挨拶よりもコマンドを優先させることを含む。
- 請求項1記載の方法において、複数の固有オブジェクトIDはセマンティックオブジェクトタグと関連しており、該固有オブジェクトIDは、前記AR場面の異なるオブジェクトに対応しており、前記意思と前記固有オブジェクトIDを連結して前記単純化したユーザ意思を生成することは、前記意思を前記複数の固有オブジェクトIDと連結して、前記単純化されたユーザ意思を生成することを含む。
- 請求項2記載の方法において、前記少なくとも一つの実世界オブジェクトの特性は、該実世界オブジェクトの形状を含み、前記リアクションは、前記バーチャルエージェントを動かし、その動作中に、前記バーチャルエージェントの形を前記実世界オブジェクトの形状に一致させることを含む。
- 請求項1乃至13記載の方法のうち、いずれか1項記載の方法において、少なくとも一つの実世界オブジェクトを前記画像中に認識することは、マシンビジョン処理を前記画像に適用することを含む。
- 請求項1乃至14記載の方法のうち、いずれか1項記載の方法において、該方法は、更に、前記バーチャルエージェントと前記実世界オブジェクトのバーチャルモデルを有する3Dバーシャル世界を維持することを含む。
- 請求項1乃至15記載の方法のうち、いずれか1項記載の方法において、前記リアクションは、更に該バーチャルエージェントの特別な行動タイプに依存することを含む。
- 請求項16記載の方法において、前記リアクションはバーチャルエージェントをアニメーションさせることを含み、該アニメーションさせることは、データベースにアクセスして前記バーチャルエージェントの特別な行動タイプを取得し、行動ツリーに適用して該バーチャルエージェントをどのようにアニメーションさせるかを決定することを含む。
- 請求項1記載の方法において、前記少なくとも一つのセマンティック素子は、データベース内でコマンドと関連している意思表現を有し、前記リアクションは、前記コマンドの実行を想起させる外見的な動きを見せるように前記バーチャルエージェントをアニメーションさせることを含む。
- 請求項18記載の方法において、前記リアクションは、バーチャルエージェントのアニメーションで、前記外見的な動きを先行させ、前記コマンドを認識したことを示すようにすることを含む。
- 請求項1記載の方法において、記リアクションは、3Dバーチャル空間でのバーチャルエージェントと前記固有オブジェクトIDに関連したオブジェクト間の距離に依存した要素を有する。
- 請求項1記載の方法において、前記リアクションは、3Dバーチャル空間でのバーチャルエージェントと前記固有オブジェクトIDに関連したオブジェクトの特性間の距離に依存した要素を有する。
- 請求項1乃至21記載の方法のうち、いずれか1項記載の方法において、前記リアクションは、単純化したユーザ意思の少なくとも一つの、前の例に依存する成分を有する。
- コンピュータ可読指示を含んだコンピュータ可読媒体であり、ゲーム装置の少なくとも一つのプロセッサにより前記指示が読まれ、実行されると、前記ゲーム装置はビデオゲームにおいて以下の方法を実行するが、該方法は、
カメラからの画像を受け取り、
マシンビジョン処理を用いて、少なくとも一つの実世界オブジェクトを前記画像中に認識し、
スクリーン上に、少なくとも一つの実世界オブジェクトとバーチャルエージェントを含んだ拡張現実(AR)場面を表示し、
ユーザ入力を受け取り、
該ユーザ入力から単純化したユーザ意思を引き出し、
該ユーザ入力に反応して、バーチャルエージェントを前記AR場面内でアニメーションさせ、該アニメーションは、前記単純化したユーザ意思に依存する、ように構成され、
前記ユーザ入力から単純化したユーザ意思を引き出すことは、
○前記ユーザ入力をユーザフレーズに変換し、
○少なくとも一つのセマンティック素子を前記ユーザフレーズ内で決定し、前記少なくとも一つのセマンティック素子は、少なくとも一つの、意思表現とセマンティックオブジェクトタグを有し、
○前記少なくとも一つのセマンティック素子を前記単純化したユーザ意思に変換する、
ことからなり、この変換は、
*(i)前記意思表現に関連する意思及び(ii)セマンティックオブジェクトタグに関連づけられた固有オブジェクトIDを得る、前記意思は、意思データベース内に格納された意思表現と意思の多対1マッピングから得たものであり、前記固有オブジェクトIDは、オブジェクトデータベース内に格納されたセマンティックオブジェクトタグと固有オブジェクトIDの多対1マッピングから得たものであり、前記固有オブジェクトIDは、前記画像を撮ったカメラの視野内のオブジェクトに対応するように選択されており、
*前記意思データベースから得た前記意思と前記オブジェクトデータベースから得た固有オブジェクトIDを連結して前記単純化したユーザ意思を生成する、
ことからなる。 - コンピュータ可読指示を含んだコンピュータ可読媒体であり、ゲーム装置の少なくとも一つのプロセッサにより前記指示が読まれ、実行されると、前記ゲーム装置はビデオゲームにおいて以下の方法を実行するが、該方法は、請求項1乃至22の内、いずれか1項に記載の方法である。
- 少なくとも一つのプロセッサと該プロセッサにより実行される指示を格納したメモリを有するゲーム装置であり、ユーザからの入力を受け取るように構成された少なくとも一つの入力装置、ユーザに出力を提供するように構成された少なくとも一つの出力装置、前記受け取った入力に反応して出力を生成するインタラクティブコンピュータプログラムを実行するために、メモリ内の前記指示を実行するように構成された少なくとも一つのプロセッサを有し、前記インタラクティブコンピュータプログラムは、少なくとも一つのプロセスを有する、
該プロセスは、
カメラからの画像を受け取り、
マシンビジョン処理を用いて、少なくとも一つの実世界オブジェクトを前記画像中に認識し、
スクリーン上に、少なくとも一つの実世界オブジェクトとバーチャルエージェントを含んだ拡張現実(AR)場面を表示し、
ユーザ入力を受け取り、
該ユーザ入力から単純化したユーザ意思を引き出し、
該ユーザ入力に反応して、バーチャルエージェントを前記AR場面内でアニメーションさせることを含み、該アニメーションは、前記単純化したユーザ意思に依存する、ように構成され、
前記ユーザ入力から単純化したユーザ意思を引き出すことは、
○前記ユーザ入力をユーザフレーズに変換し、
○少なくとも一つのセマンティック素子を前記ユーザフレーズ内で決定し、前記少なくとも一つのセマンティック素子は、少なくとも一つの、意思表現とセマンティックオブジェクトタグを有し、
○前記少なくとも一つのセマンティック素子を前記単純化したユーザ意思に変換する、
ことからなり、この変換は、
*(i)前記意思表現に関連する意思及び(ii)セマンティックオブジェクトタグに関連づけられた固有オブジェクトIDを得る、前記意思は、意思データベース内に格納された意思表現と意思の多対1マッピングから得たものであり、前記固有オブジェクトIDは、オブジェクトデータベース内に格納されたセマンティックオブジェクトタグと固有オブジェクトIDの多対1マッピングから得たものであり、前記固有オブジェクトIDは、前記画像を撮ったカメラの視野内のオブジェクトに対応するように選択されており、
*前記意思データベースから得た前記意思と前記オブジェクトデータベースから得た固有オブジェクトIDを連結して前記単純化したユーザ意思を生成する、
ことからなる。 - 少なくとも一つのプロセッサと該プロセッサにより実行される指示を格納したメモリを有するゲーム装置であり、ユーザからの入力を受け取るように構成された少なくとも一つの入力装置、ユーザに出力を提供するように構成された少なくとも一つの出力装置、前記受け取った入力に反応して出力を生成するインタラクティブコンピュータプログラムを実行するために、メモリ内の前記指示を実行するように構成された少なくとも一つのプロセッサを有し、前記インタラクティブコンピュータプログラムは、請求項1乃至22の内、いずれか1項に記載の方法を実行するプログラムである。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CA3045132 | 2019-06-03 | ||
CA3045132A CA3045132C (en) | 2019-06-03 | 2019-06-03 | Communication with augmented reality virtual agents |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020198065A JP2020198065A (ja) | 2020-12-10 |
JP7440223B2 true JP7440223B2 (ja) | 2024-02-28 |
Family
ID=73550560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019148855A Active JP7440223B2 (ja) | 2019-06-03 | 2019-08-14 | 拡張現実のバーチャルエージェントとのコミュニケーション |
Country Status (3)
Country | Link |
---|---|
US (1) | US11554315B2 (ja) |
JP (1) | JP7440223B2 (ja) |
CA (1) | CA3045132C (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023503170A (ja) * | 2019-11-25 | 2023-01-26 | スクウェア エニックス、リミテッド | 拡張現実を用いてプレイヤのインタラクションを向上させるシステム及び方法 |
US11301645B2 (en) * | 2020-03-03 | 2022-04-12 | Aziza Foster | Language translation assembly |
US11822716B2 (en) * | 2021-07-26 | 2023-11-21 | Apple Inc. | Directing a virtual agent based on eye behavior of a user |
US20240045704A1 (en) * | 2022-07-29 | 2024-02-08 | Meta Platforms, Inc. | Dynamically Morphing Virtual Assistant Avatars for Assistant Systems |
JP7441365B1 (ja) | 2023-09-13 | 2024-02-29 | 株式会社あかつき | 情報処理システム、プログラム、情報処理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015148932A (ja) | 2014-02-06 | 2015-08-20 | Psソリューションズ株式会社 | 音声同期処理装置、音声同期処理プログラム、音声同期処理方法及び音声同期システム |
JP2015176099A (ja) | 2014-03-18 | 2015-10-05 | 株式会社東芝 | 対話システム構築支援装置、方法、及びプログラム |
JP2017123050A (ja) | 2016-01-07 | 2017-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及びサーバ |
US20170206095A1 (en) | 2016-01-14 | 2017-07-20 | Samsung Electronics Co., Ltd. | Virtual agent |
WO2017221492A1 (ja) | 2016-06-20 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019503526A (ja) | 2015-10-21 | 2019-02-07 | グーグル エルエルシー | ダイアログ・システムにおけるパラメータ収集および自動ダイアログ生成 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE484029T1 (de) * | 2002-01-29 | 2010-10-15 | Ibm | Übersetzungsverfahren für hervorgehobene wörter |
US10824310B2 (en) * | 2012-12-20 | 2020-11-03 | Sri International | Augmented reality virtual personal assistant for external representation |
US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
US20150286698A1 (en) * | 2014-04-07 | 2015-10-08 | Microsoft Corporation | Reactive digital personal assistant |
US11010972B2 (en) * | 2015-12-11 | 2021-05-18 | Google Llc | Context sensitive user interface activation in an augmented and/or virtual reality environment |
US11417091B2 (en) * | 2017-05-30 | 2022-08-16 | Ptc Inc. | Use of coordinated local user devices during a shared augmented reality session |
WO2019014507A1 (en) * | 2017-07-12 | 2019-01-17 | HelixAI, Inc. | VIRTUAL LABORATORY ASSISTANT PLATFORM |
US10691740B1 (en) * | 2017-11-02 | 2020-06-23 | Google Llc | Interface elements for directed display of content data items |
US20190332400A1 (en) * | 2018-04-30 | 2019-10-31 | Hootsy, Inc. | System and method for cross-platform sharing of virtual assistants |
US10679613B2 (en) * | 2018-06-14 | 2020-06-09 | Accenture Global Solutions Limited | Spoken language understanding system and method using recurrent neural networks |
US10817713B2 (en) * | 2018-11-15 | 2020-10-27 | Adobe Inc. | Generating modified digital images utilizing a multimodal selection model based on verbal and gesture input |
-
2019
- 2019-06-03 CA CA3045132A patent/CA3045132C/en active Active
- 2019-08-14 JP JP2019148855A patent/JP7440223B2/ja active Active
- 2019-08-27 US US16/552,947 patent/US11554315B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015148932A (ja) | 2014-02-06 | 2015-08-20 | Psソリューションズ株式会社 | 音声同期処理装置、音声同期処理プログラム、音声同期処理方法及び音声同期システム |
JP2015176099A (ja) | 2014-03-18 | 2015-10-05 | 株式会社東芝 | 対話システム構築支援装置、方法、及びプログラム |
JP2019503526A (ja) | 2015-10-21 | 2019-02-07 | グーグル エルエルシー | ダイアログ・システムにおけるパラメータ収集および自動ダイアログ生成 |
JP2017123050A (ja) | 2016-01-07 | 2017-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及びサーバ |
US20170206095A1 (en) | 2016-01-14 | 2017-07-20 | Samsung Electronics Co., Ltd. | Virtual agent |
WO2017221492A1 (ja) | 2016-06-20 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020198065A (ja) | 2020-12-10 |
CA3045132C (en) | 2023-07-25 |
US11554315B2 (en) | 2023-01-17 |
US20200376369A1 (en) | 2020-12-03 |
CA3045132A1 (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7440223B2 (ja) | 拡張現実のバーチャルエージェントとのコミュニケーション | |
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
US10586369B1 (en) | Using dialog and contextual data of a virtual reality environment to create metadata to drive avatar animation | |
CN112119454B (zh) | 适应多个年龄组和/或词汇水平的自动助理 | |
US10521946B1 (en) | Processing speech to drive animations on avatars | |
US10732708B1 (en) | Disambiguation of virtual reality information using multi-modal data including speech | |
US9070247B2 (en) | Automated virtual assistant | |
US20200395008A1 (en) | Personality-Based Conversational Agents and Pragmatic Model, and Related Interfaces and Commercial Models | |
US10664741B2 (en) | Selecting a behavior of a virtual agent | |
KR20100121420A (ko) | 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 | |
US20080165194A1 (en) | Scene Modifier Representation Generation Apparatus and Scene Modifier Representation Generation Method | |
JP7227395B2 (ja) | インタラクティブ対象の駆動方法、装置、デバイス、及び記憶媒体 | |
JP7193015B2 (ja) | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム | |
KR20170062089A (ko) | 3d아바타의 표정 구현 방법 및 프로그램 | |
JP2001249945A (ja) | 感情生成方法および感情生成装置 | |
KR20240038941A (ko) | 텍스트 기반 아바타 생성 방법 및 시스템 | |
JPWO2020247590A5 (ja) | ||
JP2001249949A (ja) | 感情生成方法、感情生成装置、記録媒体 | |
JPH11237971A (ja) | 音声応答装置 | |
US20220062773A1 (en) | User input method and apparatus | |
KR102287325B1 (ko) | 외형 이미지를 고려한 음성 합성 장치 및 음성 합성 방법 | |
DeMara et al. | Towards interactive training with an avatar-based human-computer interface | |
Hariprasad et al. | Voice Stimulated Inclusive Multiplayer Game Development with Speaker Recognition | |
US11839817B1 (en) | Gaming system and method including the identification of non-player characters | |
JP7428775B1 (ja) | プログラム、コンピュータ装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220825 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220908 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230720 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7440223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |