JPWO2020247590A5

JPWO2020247590A5 -

Info

Publication number: JPWO2020247590A5
Application number: JP2021569969A
Authority: JP
Publication date: 2023-06-13

Claims

仮想キャラクターを制御するための方法であって、
アプリケーションサーバによって、現実世界の環境を表す環境情報、発話情報、及び、顔面表情情報のいずれかを含むマルチモーダル入力情報をユーザデバイスから受信するステップと、
複数のモデルにおける第１の内部モデルと、前記複数のモデルにおける第２の内部モデルとを実装するステップであって、それによって、前記第１の内部モデルによって前記マルチモーダル入力情報の第１の特性を識別すると共に、前記第２の内部モデルによって前記マルチモーダル入力情報の第２の特性を識別する、ステップと、
前記第１の特性が、前記第２の特性との類似閾値度の範囲内にあるかどうかを決定するステップと、
前記第１の特性が、前記第２の特性との類似閾値度の範囲内にあるかどうかの決定に基づいて、選択された特性を選択するステップと、
前記仮想キャラクターに関連付けられたアクションのライブラリにアクセスするステップであって、それによって、前記選択された特性に整合するアクションを選択し、前記アクションには、前記仮想キャラクターによって実行されることとなるアニメーションと、該アニメーションに関連付けられたオーディオとが含まれる、ステップと、
前記仮想キャラクターを前記ユーザデバイスに表示させるステップであって、前記仮想キャラクターは、前記現実世界の環境の表示内に拡張されて前記ユーザデバイスに表示されて、前記仮想キャラクターが、前記アクションを実行すると共に前記関連付けられたオーディオを出力する、ステップと
を含む、方法。
前記ユーザデバイスのウェブブラウザにリンクを表示させるステップと、
前記ユーザデバイスから、前記リンクが選択されたという通知を受信するステップと、
前記リンクが選択されたことに応答して、前記ユーザデバイスへとデータのストリームを送信するステップであって、前記データのストリームは、前記アニメーションを実行するための、又は、前記関連付けられたオーディオを出力するためのメディアファイルを含む、ステップと
をさらに含み、
前記仮想キャラクターは、前記ユーザデバイスの前記ウェブブラウザ内に表示される、請求項１に記載の方法。
前記データのストリームは、データの第２のバッチであり、
前記方法は、前記リンクが選択されたという前記通知を受信するステップの前に、データの第１のバッチを送信するステップであって、前記第１のバッチは、前記ユーザデバイスに前記仮想キャラクターを最初に生成するための情報を含む、ステップをさらに含み、
前記仮想キャラクターは、前記ユーザデバイスから前記リンクが選択されたという前記通知を受信して１秒以内に、前記ユーザデバイスの前記ウェブブラウザ内に表示される、請求項２に記載の方法。
前記環境情報に基づいて、床に対応する現実世界の環境の部分を識別するステップと、
前記仮想キャラクターを、前記現実世界の環境の表示内における前記床上に配置されたものとして、前記ユーザデバイスに表示させるステップと
をさらに含む、請求項１に記載の方法。
複数のユーザについての一連の選択された特性及びアクションを集約するステップと、
前記複数のユーザについての前記一連の選択された特性及びアクションを処理するステップであって、それによって、前記仮想キャラクターと前記複数のユーザとのエンゲージメントに関連する分析のセットを導出するステップと、
前記仮想キャラクターと前記複数のユーザとのエンゲージメントに関連する分析の前記セットを含む分析ダッシュボードを表示させるステップと
をさらに含む、請求項１に記載の方法。
仮想キャラクターを制御するための方法であって、
ユーザデバイスによって、現実世界の環境を表す環境情報、発話情報、及び、顔面表情情報のいずれかを含むマルチモーダル入力情報を、アプリケーションサーバへと送信するステップであって、前記アプリケーションサーバは、複数のモデルにおける第１の内部モデルと、前記複数のモデルにおける第２の内部モデルとを実装し、それによって、前記第１の内部モデルによって前記マルチモーダル入力情報の第１の特性を識別すると共に、前記第２の内部モデルによって前記マルチモーダル入力情報の第２の特性を識別するように構成される、ステップと、
前記アプリケーションサーバから、アニメーションと、該アニメーションに関連付けられたオーディオが含まれるアクションであって、前記仮想キャラクターに関連付けられたアクションのライブラリ内に含まれるアクションを受信するステップであって、前記アクションは、選択された特性に整合し、該選択された特性は、第１の識別された特性が、第２の識別された特性との閾値類似度の範囲内にあるかどうかの決定に基づいて選択される、ステップと、
前記仮想キャラクターを前記ユーザデバイスに表示するステップであって、前記仮想キャラクターは、前記現実世界の環境の表示内に拡張されて前記ユーザデバイスに表示されて、前記仮想キャラクターが、前記アニメーションを実行すると共に前記関連付けられたオーディオを出力する、ステップと
を含む、方法。
前記ユーザデバイスのウェブブラウザにリンクを表示するステップと、
前記アプリケーションサーバへと、前記リンクが選択されたという通知を前記ユーザデバイスから送信するステップと、
前記ユーザデバイスにてデータのストリームを受信するステップであって、前記データのストリームは、前記アクションを実行するための、かつ、前記関連付けられたオーディオを出力するためのメディアファイルを含む、ステップと
をさらに含み、
前記仮想キャラクターは、前記ユーザデバイスの前記ウェブブラウザ内に表示される、請求項６に記載の方法。
前記データのストリームは、データの第２のバッチであり、
前記方法は、前記リンクが選択されたという前記通知を送信するステップの前に、データの第１のバッチを受信するステップであって、前記第１のバッチは、前記ユーザデバイスに前記仮想キャラクターを最初に生成するための情報を含む、ステップをさらに含み、
前記仮想キャラクターは、前記ユーザデバイスから前記リンクが選択されたという前記通知を受信して１秒以内に、前記ユーザデバイスの前記ウェブブラウザ内に表示される、請求項７に記載の方法。
前記環境情報に基づいて、床に対応する現実世界の環境の部分を識別する情報を受信するステップと、
前記仮想キャラクターを、前記現実世界の環境の表示内における前記床上に配置されたものとして、前記ユーザデバイスに表示するステップと
をさらに含む、請求項６に記載の方法。
前記仮想キャラクターと前記複数のユーザとのエンゲージメントに関連する分析のセットを含む分析ダッシュボードを表示するステップであって、前記分析のセットは、複数のユーザについての集約された一連の選択された特性及びアクションに基づいて導出される、ステップ
をさらに含む、請求項６に記載の方法。
前記第１の内部モデルは、前記発話情報から発話感情を解析するように構成された発話認識モデルであり、前記第２の内部モデルは、前記顔面表情情報に基づいて顔面特徴感情を検出するように構成された顔面特徴認識モデルであり、前記選択された特性は、前記発話感情と前記顔面特徴感情との間で共通の感情であり、前記アクションは、前記共通の感情に基づいて決定される、請求項１又は６に記載の方法。
前記複数のモデルは、聴覚情報からコンテキスト及び意味を導出するように構成された自然言語理解モデル、環境情報を識別するように構成された認識モデル、及び、ユーザ及び他の仮想キャラクターに関連するデータを識別するように構成されたソーシャルシミュレーションモデルを含む、請求項１又は６に記載の方法。
前記選択された特性の選択が、前記仮想キャラクターのペルソナを含む前記仮想キャラクターの知識モデルに基づいてさらに選択される、請求項１又は６に記載の方法。
前記知識モデルは、スクリプト、本又は漫画本からの前記仮想キャラクターに関連する情報、又は、前記ユーザデバイスと前記仮想キャラクターとの間における以前の対話を示す情報のうち少なくとも１つを含む、請求項１３に記載の方法。
プロセッサと、複数の命令を格納するメモリとを含んでいるコンピューティングシステムであって、前記複数の命令が実行されると、前記プロセッサが前記コンピューティングシステムに請求項１～５のいずれか１項に記載の方法を実行させる、コンピューティングシステム。
複数のセンサと、プロセッサと、複数の命令を格納するメモリとを含んでいるコンピューティングデバイスであって、前記複数の命令が実行されると、前記プロセッサが前記コンピューティングデバイスに請求項６～１０のいずれか１項に記載の方法を実行させる、コンピューティングデバイス。
前記複数のセンサには、画像センサ、聴覚センサ及び嗅覚センサが含まれる、請求項１６に記載のコンピューティングデバイス。