JP7070638B2 - 情報処理システムおよび情報処理方法 - Google Patents
情報処理システムおよび情報処理方法 Download PDFInfo
- Publication number
- JP7070638B2 JP7070638B2 JP2020187766A JP2020187766A JP7070638B2 JP 7070638 B2 JP7070638 B2 JP 7070638B2 JP 2020187766 A JP2020187766 A JP 2020187766A JP 2020187766 A JP2020187766 A JP 2020187766A JP 7070638 B2 JP7070638 B2 JP 7070638B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- scenario
- agent
- voice
- client terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 52
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000009471 action Effects 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 42
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 159
- 238000000034 method Methods 0.000 description 84
- 230000008569 process Effects 0.000 description 82
- 238000007726 management method Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 45
- 238000004458 analytical method Methods 0.000 description 40
- 230000001960 triggered effect Effects 0.000 description 20
- 230000006399 behavior Effects 0.000 description 19
- 238000003780 insertion Methods 0.000 description 19
- 230000037431 insertion Effects 0.000 description 19
- 230000004044 response Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 17
- 230000008921 facial expression Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 11
- 238000012546 transfer Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000008451 emotion Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 235000019219 chocolate Nutrition 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000556720 Manga Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001122315 Polites Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Description
1.本開示の一実施形態による情報処理システムの概要
2.構成
2-1.システム構成
2-2.サーバの構成
3.システム動作処理
3-1.会話データ登録処理
3-2.音素DB生成処理
3-3.対話制御処理
3-4.会話DB更新処理
3-5.広告挿入処理
4.音声出力制御処理
4-1.構成
4-2.動作処理
(4-2-1.エージェント購入処理)
(4-2-2.音声変換処理)
(4-2-3.自動発話処理)
(4-2-4.シナリオ取得処理)
(4-2-5.シナリオ実行処理)
5.まとめ
本開示の一実施形態による情報処理システムは、エージェントを通してエージェントのキャラクターをユーザ自身が体験できるようにすることでエージェントシステムの娯楽性をさらに高めることを可能とする。以下、図1を参照して本実施形態による情報処理システムの概要について説明する。
<2-1.システム構成>
続いて、上述した本実施形態による通信制御システムの全体構成について図2を参照して説明する。図2は、本実施形態による通信制御システムの全体構成を示す図である。
図3は、本実施形態によるエージェントサーバ2の構成の一例を示すブロック図である。図3に示すように、エージェントサーバ2は、音声エージェントI/F(インタフェース)20、対話処理部30、音素記憶部40、会話DB生成部50、音素DB生成部60、広告挿入処理部70、広告DB72、およびフィードバック取得処理部80を有する。
<3-1.会話データ登録処理>
図5は、本実施形態による会話DB330の生成処理を示すフローチャートである。図5に示すように、まず、会話DB生成部50は、想定される質問文を保存する(ステップS103)。
ペア1 質問文:おはよう。
回答文:今日の調子はどうですか?
ペア2 質問文:今日の天気は?
回答文:今日の天気は○○です。
図6は、本実施形態による音素DBの生成処理を示すフローチャートである。図6に示すように、まず、音素DB生成部60は、例文の表示を行う(ステップS113)。例文の表示は、例えば図示しない情報処理端末のディスプレイに、音素データ生成のために必要な例文を表示する。
図7は、本実施形態による対話制御処理を示すフローチャートである。図7に示すように、まず、音声エージェントI/F20は、ユーザの質問音声およびエージェントIDを取得したか否かを確認する(ステップS143)。エージェントIDは、キャラクターA、人物B、人物Cといった特定のエージェントを示す識別情報である。ユーザは、エージェント毎の音素データを購入することができ、例えば購入処理時に購入したエージェントのIDがクライアント端末1に保存される。
次に、各対話処理部300の会話DB330の更新処理について説明する。本実施形態では、ユーザとの会話によって会話DB330を成長させることが可能である。
キャラクターA:「おはよう」
ユーザ:「NG。元気で頑張ってと答えて」
キャラクターA:「元気で頑張って」
キャラクターA:「質問がわかりません」(該当する回答が無い場合の回答データ例)
ユーザ:「『元気?』と聞いたら、『今日も元気だよ』と答えて」
キャラクターA:「今日も元気だよ」
続いて、広告挿入処理部70による広告情報の挿入処理について図13~図14を参照して説明する。本実施形態では、広告挿入処理部70により、エージェントの発言に広告DB72に格納されている広告情報の挿入を行うことが可能である。広告DB72には、予め広告情報が登録され得る。図13は、本実施形態による広告DB72に登録されている広告情報の一例を示す図である。
キャラクターA:「おはよう!今日の調子はどうですか?」
ユーザ:「元気だよ。何か美味しい物食べたいな」
キャラクターA:「CC店の焼肉が美味しいらしいよ」
<4-1.構成>
まず、本実施形態による音声出力制御処理を行う対話処理部30aの構成について、図15を参照して説明する。
ユーザ管理部35は、ユーザ情報の管理(登録、変更、更新、削除)を行う。図16に、本実施形態によるユーザ管理部35の構成例を示す。図16に示すように、ユーザ管理部35は、ログイン管理部351、ユーザ情報DB352、顔情報登録部353、およびユーザ位置情報登録部354を有する。
自動発話制御部36は、エージェントによる自動的な発話を制御する機能を有する。図17に、本実施形態による自動発話制御部36の構成例を示す。図17に示すように、自動発話制御部36は、ユーザ音声抽出部361、音素データ取得部362、位置情報取得部363、フレーズ検索部364、フレーズDB365、および情報解析部366を有する。
シナリオ管理部37は、エージェントキャラクターに紐付けられた各シナリオの管理を行う。図18に、本実施形態によるシナリオ管理部37の構成例を示す。図18に示すように、シナリオ管理部37は、データ管理部371、シナリオ実行部372、情報解析部373、およびシナリオDB374を有する。
(4-2-1.エージェント購入処理)
図19は、本実施形態によるエージェントアプリケーションの購入処理を示すシーケンス図である。ここで、エージェントアプリケーションとは、特定のエージェントキャラクターによる自動対話をクライアント端末1で享受するために使用されるソフトウェアであって、エージェントアプリケーションの購入は、「エージェントの購入」とも言える。以下、アプリケーションを「App」とも称する。
続いて、本実施形態による音声変換処理について図23~図24を参照して説明する。図23は、本実施形態による音声変換処理について説明する図である。本実施形態では、図23に示すように、ユーザの発話音声W4をクライアント端末1(またはクライアント端末1と通信接続する周辺に存在するウェアラブル装置)のマイクロホンにより収音すると、これを対話処理部30aの自動発話制御部36により特定のエージェントキャラクターの音声W5に変換してユーザが装着するイヤホン等から再生する。特定のエージェントキャラクターとは、例えばクライアント端末1において起動中のエージェントAppに対応するキャラクターであって、当該エージェントAppを起動する操作が、実質的なユーザによるエージェントキャラクターの選択として認識され、選択信号がエージェントサーバ2へ送信される。このように、ユーザは自分の発話音声がエージェントキャラクターの音声で聞こえることで、エージェントキャラクターに成りきることができる。
続いて、ユーザ状況に応じた特定エージェントキャラクターの自動発話処理について図26A~図26Dを参照して説明する。ユーザ状況とは、例えばユーザの場所、人物属性や表情、行動状態(行動認識)、および心理状態等が想定される。
続いて、本実施形態によるシナリオモードについて説明する。本実施形態による対話処理部30aは、上述したようなユーザ音声のエージェントキャラクター音声への変換、およびユーザ状況に応じたエージェントキャラクターの自動発話の他、さらにユーザがエージェントキャラクターに成りきってシナリオ(物語)へ参加する体験を提供することができる。このような体験を提供する際に用いられるシナリオプログラムの取得について、以下図27~図29を参照して説明する。
・シナリオ音声
ナレーション「2015年10月12日、舞台はXX都市。繰り広げられる激しいバトルに戦士たちは疲弊していた…」
ヒーローキャラ「XX都市が俺を待ってるぜ!」
ナレーション「そのXX都市で8人の敵を倒すことが使命である。」
・自動発話音声
ユーザ状況:位置情報の解析により、ユーザがXX都市に移動したことを認識。
ヒーローキャラ「ここがXX都市か。敵はどこだ!?」
本実施形態によるシナリオ管理部37は、シナリオ実行部372により、ユーザの発話や移動場所、アクション(行動)等をトリガとしてシナリオイベント(本実施形態では「イベント」と称される)を発生させ、イベントクリアのための所定のアクションをユーザに指示する等の処理を行う。以下、図35~図42を参照して具体的に説明する。
図35は、本実施形態によるユーザ音声をトリガとしたイベントの実行処理を示すシーケンス図である。図35に示すように、まず、クライアント端末1は、マイクにより周辺の音データを収音し(ステップS490)、収音した音データをエージェントサーバ2へ送信する(ステップS493)。
図37は、本実施形態によるユーザの位置をトリガとしたイベントの実行処理を示すシーケンス図である。図37に示すように、まず、クライアント端末1は、GPS等により現在位置情報を取得し(ステップS530)、取得した現在位置情報をエージェントサーバ2へ送信する(ステップS533)。
図40は、本実施形態による各センサからの出力結果をトリガとしたイベントの実行処理を示すシーケンス図である。図40に示すように、まず、クライアント端末1は、各センサからの出力結果を取得し(ステップS620)、エージェントサーバ2へ送信する(ステップS623)。各センサとは、例えば加速度センサ、ジャイロセンサ、地磁気センサ、カメラ等であってクライアント端末1や、クライアント端末1と通信接続するウェアラブル端末(例えばスマートバンド、スマートウォッチ、スマートアイグラス)等に設けられ、ユーザの行動を認識する。
1つのシナリオには例えば複数のイベントが含まれ、シナリオ開催期間中に全てのイベントをクリアすることが求められる。以下、図41~図42を参照して本実施形態によるシナリオクリアの一例について説明する。
上述したように、本開示の実施形態による通信制御システムでは、エージェントを通してエージェントのキャラクターをユーザ自身が体験できるようにすることでエージェントシステムの娯楽性をさらに高めることが可能となる。
(1)
複数種類のキャラクターに対応する音素データベースと発話フレーズデータベースを記憶するエージェント記憶部と、
ユーザのクライアント端末を介して特定のキャラクターを選択する選択信号を受信すると共に、当該特定のキャラクターの前記発話フレーズデータベースに応じた発話フレーズを送信する通信部と、
前記通信部を介して受信した前記ユーザのメッセージに基づいて、前記特定のキャラクターに対応する前記音素データベースを用いて前記特定のキャラクターの音声に変換した変換メッセージを生成し;
さらに前記ユーザのメッセージに対応する前記特定のキャラクターの発話フレーズを、前記発話フレーズデータベースを用いて生成し;
前記生成した変換メッセージおよび発話フレーズを前記クライアント端末に返送するよう制御する制御部と、
を備える、情報処理システム。
(2)
前記制御部は、前記通信部を介して受信した前記ユーザのコンテキストと、前記発話フレーズデータベースに基づいて、前記ユーザのメッセージに対応する発話フレーズを生成する、前記(1)に記載の情報処理システム。
(3)
前記ユーザのコンテキストは、前記ユーザの位置、顔認識、加速度情報、または生体センサ情報の少なくともいずれかである、前記(2)に記載の情報処理システム。
(4)
前記ユーザのメッセージは、ユーザの発話音声または当該発話音声をテキスト化したものである、前記(2)または(3)に記載の情報処理システム。
(5)
前記情報処理システムは、前記ユーザがキャラクターとして参加可能な複数のシナリオを記憶するシナリオ記憶部をさらに備え、
前記制御部は;
前記通信部を介して受信した前記ユーザからのシナリオ選択信号に応じて、前記シナリオ記憶部に記憶されるシナリオを選択し;
前記通信部を介して受信した前記ユーザのコンテキストが、前記選択したシナリオに記述されているイベント発生条件に一致すると、所定のイベントの発生を前記ユーザに通知するよう制御する、前記(1)~(4)のいずれか1項に記載の情報処理システム。
(6)
前記所定のイベント発生時に前記ユーザに通知される内容には、特定のアクションを示す情報が含まれ、
前記制御部は、前記通信部を介して新たに受信した前記ユーザのコンテキストに基づいて、前記特定のアクションが実行された否かを判定し、実行されたと判定すると、イベントクリアを示す通知を前記ユーザに送信するよう制御する、前記(5)に記載の情報処理システム。
(7)
前記イベント発生条件の判断に用いられる前記ユーザのコンテキストは、前記ユーザの位置、発話、加速度情報、または生体センサ情報の少なくともいずれかである、前記(5)または(6)に記載の情報処理システム。
(8)
前記制御部は、前記選択されたシナリオに参加している各ユーザのクライアント端末の位置を示す各位置情報を前記通信部により受信し、前記ユーザの周辺に同一の前記シナリオに参加する他のユーザが存在すると判断した場合、前記通信部を介して前記ユーザにイベント発生の通知を行うよう制御する、前記(5)~(7)のいずれか1項に記載の情報処理システム。
(9)
前記制御部は、前記通信部を介して受信した前記クライアント端末の撮像部により撮像された撮像画像に人物の顔を認識すると、当該顔に重畳表示するための前記他のユーザのキャラクターの画像を前記クライアント端末に送信するよう制御する、前記(8)に記載の情報処理システム。
(10)
前記制御部は、前記通信部を介して受信した前記クライアント端末の収音部により収音された音声から他のユーザの発話音声を認識すると、当該発話音声を前記他のユーザのキャラクターの音声に変換した変換メッセージと、前記発話フレーズデータベースに基づく対応するフレーズを生成し、前記クライアント端末に送信するよう制御する、前記(8)または(9)に記載の情報処理システム。
(11)
プロセッサが、
複数種類のキャラクターに対応する音素データベースと発話フレーズデータベースをエージェント記憶部に記憶することと、
ユーザのクライアント端末を介して特定のキャラクターを選択する選択信号を受信すると共に、当該特定のキャラクターの前記発話フレーズデータベースに応じた発話フレーズを通信部により送信することと、
前記通信部を介して受信した前記ユーザのメッセージに基づいて、前記特定のキャラクターに対応する前記音素データベースを用いて前記特定のキャラクターの音声に変換した変換メッセージを生成し;
さらに前記ユーザのメッセージに対応する前記特定のキャラクターの発話フレーズを、前記発話フレーズデータベースを用いて生成し;
前記生成した変換メッセージおよび発話フレーズを前記クライアント端末に返送するよう制御部により制御することと、
を含む、情報処理方法。
2 エージェントサーバ
30 対話処理部
300 対話処理部
310 質問文検索部
320 回答文生成部
330 会話DB
340 音素データ取得部
30a 対話処理部
31 基本対話処理部
32 キャラクターA対話処理部
33 人物B対話処理部
34 人物C対話処理部
35 ユーザ管理部
351 ログイン管理部
352 ユーザ情報DB
353 顔情報登録部
354 ユーザ位置情報登録部
36 自動発話制御部
361 ユーザ音声抽出部
362 音素データ取得部
363 位置情報取得部
364 フレーズ検索部
365 フレーズDB
366 情報解析部
37 シナリオ管理部
371 データ管理部
372 シナリオ実行部
373 情報解析部
374 シナリオDB
40 音素記憶部
41 基本用音素DB
42 キャラクターA音素DB
43 人物B音素DB
44 人物C音素DB
50 会話DB生成部
60 音素DB生成部
70 広告挿入処理部
72 広告DB
80 フィードバック取得処理部
3 ネットワーク
10 エージェント
Claims (11)
- ユーザのクライアント端末を介して特定のキャラクターを選択する選択信号を受信すると共に、当該特定のキャラクターの発話フレーズを送信する通信部と、
前記通信部を介して受信した前記ユーザのメッセージに基づいて、前記特定のキャラクターの音声に変換した変換メッセージを生成し;
さらに前記ユーザのメッセージに含まれるキーワードに対して予め紐付けられた、前記特定のキャラクターの発話フレーズを生成し;
前記生成した変換メッセージおよび発話フレーズを前記クライアント端末に返送するよう制御する制御部と、
を備える、
情報処理システム。 - 前記制御部は、前記通信部を介して受信した前記ユーザのコンテキストに基づいて、前記ユーザのメッセージに対応する発話フレーズを生成する、請求項1に記載の情報処理システム。
- 前記ユーザのコンテキストは、前記ユーザの位置、顔認識、加速度情報、または生体センサ情報の少なくともいずれかである、請求項2に記載の情報処理システム。
- 前記ユーザのメッセージは、ユーザの発話音声または当該発話音声をテキスト化したものである、請求項2または3に記載の情報処理システム。
- 前記情報処理システムは、前記ユーザがキャラクターとして参加可能な複数のシナリオを記憶するシナリオ記憶部をさらに備え、
前記制御部は;
前記通信部を介して受信した前記ユーザからのシナリオ選択信号に応じて、前記シナリオ記憶部に記憶されるシナリオを選択し;
前記通信部を介して受信した前記ユーザのコンテキストが、前記選択したシナリオに記述されているイベント発生条件に一致すると、所定のイベントの発生を前記ユーザに通知するよう制御する、請求項1~4のいずれか1項に記載の情報処理システム。 - 前記所定のイベント発生時に前記ユーザに通知される内容には、特定のアクションを示す情報が含まれ、
前記制御部は、前記通信部を介して新たに受信した前記ユーザのコンテキストに基づいて、前記特定のアクションが実行された否かを判定し、実行されたと判定すると、イベントクリアを示す通知を前記ユーザに送信するよう制御する、請求項5に記載の情報処理システム。 - 前記イベント発生条件の判断に用いられる前記ユーザのコンテキストは、前記ユーザの位置、発話、加速度情報、または生体センサ情報の少なくともいずれかである、請求項5または6に記載の情報処理システム。
- 前記制御部は、前記選択されたシナリオに参加している各ユーザのクライアント端末の位置を示す各位置情報を前記通信部により受信し、前記ユーザの周辺に同一の前記シナリオに参加する他のユーザが存在すると判断した場合、前記通信部を介して前記ユーザにイベント発生の通知を行うよう制御する、請求項5~7のいずれか1項に記載の情報処理システム。
- 前記制御部は、前記通信部を介して受信した前記クライアント端末の撮像部により撮像された撮像画像に人物の顔を認識すると、当該顔に重畳表示するための前記他のユーザのキャラクターの画像を前記クライアント端末に送信するよう制御する、請求項8に記載の情報処理システム。
- 前記制御部は、前記通信部を介して受信した前記クライアント端末の収音部により収音された音声から他のユーザの発話音声を認識すると、当該発話音声を前記他のユーザのキャラクターの音声に変換した変換メッセージと、対応するフレーズを生成し、前記クライアント端末に送信するよう制御する、請求項8または9に記載の情報処理システム。
- プロセッサが、
ユーザのクライアント端末を介して特定のキャラクターを選択する選択信号を受信すると共に、当該特定のキャラクターの発話フレーズを通信部により送信することと、
前記通信部を介して受信した前記ユーザのメッセージに基づいて、前記特定のキャラクターの音声に変換した変換メッセージを生成し;
さらに前記ユーザのメッセージに含まれるキーワードに対して予め紐付けられた、前記特定のキャラクターの発話フレーズを生成し;
前記生成した変換メッセージおよび発話フレーズを前記クライアント端末に返送するよう制御部により制御することと、
を含む、情報処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016057208 | 2016-03-22 | ||
JP2016057208 | 2016-03-22 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018506772A Division JP6795028B2 (ja) | 2016-03-22 | 2016-12-19 | 情報処理システムおよび情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039370A JP2021039370A (ja) | 2021-03-11 |
JP7070638B2 true JP7070638B2 (ja) | 2022-05-18 |
Family
ID=59901035
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018506772A Active JP6795028B2 (ja) | 2016-03-22 | 2016-12-19 | 情報処理システムおよび情報処理方法 |
JP2020187766A Active JP7070638B2 (ja) | 2016-03-22 | 2020-11-11 | 情報処理システムおよび情報処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018506772A Active JP6795028B2 (ja) | 2016-03-22 | 2016-12-19 | 情報処理システムおよび情報処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6795028B2 (ja) |
WO (1) | WO2017163509A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6795028B2 (ja) * | 2016-03-22 | 2020-12-02 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
US11450314B2 (en) * | 2017-10-03 | 2022-09-20 | Google Llc | Voice user interface shortcuts for an assistant application |
JP6583931B2 (ja) * | 2017-12-27 | 2019-10-02 | 株式会社カプコン | ゲームプログラムおよびゲーム装置 |
EP4024853A4 (en) * | 2019-08-27 | 2023-01-18 | Sony Group Corporation | AGENT PROVISION SYSTEM, AGENT PROVISION METHOD, AND REGISTRATION MEDIA |
WO2023195115A1 (ja) * | 2022-04-07 | 2023-10-12 | 日本電気株式会社 | 会話装置、会話方法、及び非一時的なコンピュータ可読媒体 |
CN117354356A (zh) * | 2023-12-04 | 2024-01-05 | 四川才子软件信息网络有限公司 | 一种app区域留存统计方法、系统及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001230801A (ja) | 2000-02-14 | 2001-08-24 | Sony Corp | 通信システムとその方法、通信サービスサーバおよび通信端末装置 |
JP2002351489A (ja) | 2001-05-29 | 2002-12-06 | Namco Ltd | ゲーム情報、情報記憶媒体、及びゲーム装置 |
JP2003140677A (ja) | 2001-11-06 | 2003-05-16 | Matsushita Electric Ind Co Ltd | 読み上げシステム |
JP2003248837A (ja) | 2001-11-12 | 2003-09-05 | Mega Chips Corp | 画像作成装置、画像作成システム、音声生成装置、音声生成システム、画像作成用サーバ、プログラム、および記録媒体 |
JP2005322125A (ja) | 2004-05-11 | 2005-11-17 | Sony Corp | 情報処理システム、情報処理方法、プログラム |
JP2007072511A (ja) | 2005-09-02 | 2007-03-22 | Oki Electric Ind Co Ltd | チャットシステム,チャットサーバ,プログラム,およびメッセージ交換方法 |
JP2014123072A (ja) | 2012-12-21 | 2014-07-03 | Nec Corp | 音声合成システム及び音声合成方法 |
WO2017163509A1 (ja) | 2016-03-22 | 2017-09-28 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6987514B1 (en) * | 2000-11-09 | 2006-01-17 | Nokia Corporation | Voice avatars for wireless multiuser entertainment services |
-
2016
- 2016-12-19 JP JP2018506772A patent/JP6795028B2/ja active Active
- 2016-12-19 WO PCT/JP2016/087855 patent/WO2017163509A1/ja active Application Filing
-
2020
- 2020-11-11 JP JP2020187766A patent/JP7070638B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001230801A (ja) | 2000-02-14 | 2001-08-24 | Sony Corp | 通信システムとその方法、通信サービスサーバおよび通信端末装置 |
JP2002351489A (ja) | 2001-05-29 | 2002-12-06 | Namco Ltd | ゲーム情報、情報記憶媒体、及びゲーム装置 |
JP2003140677A (ja) | 2001-11-06 | 2003-05-16 | Matsushita Electric Ind Co Ltd | 読み上げシステム |
JP2003248837A (ja) | 2001-11-12 | 2003-09-05 | Mega Chips Corp | 画像作成装置、画像作成システム、音声生成装置、音声生成システム、画像作成用サーバ、プログラム、および記録媒体 |
JP2005322125A (ja) | 2004-05-11 | 2005-11-17 | Sony Corp | 情報処理システム、情報処理方法、プログラム |
JP2007072511A (ja) | 2005-09-02 | 2007-03-22 | Oki Electric Ind Co Ltd | チャットシステム,チャットサーバ,プログラム,およびメッセージ交換方法 |
JP2014123072A (ja) | 2012-12-21 | 2014-07-03 | Nec Corp | 音声合成システム及び音声合成方法 |
WO2017163509A1 (ja) | 2016-03-22 | 2017-09-28 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
Non-Patent Citations (1)
Title |
---|
川本真一 他,"来場者の声の特徴を反映する映像エンタテインメントシステムのための台詞音声生成システム",情報処理学会論文誌,2010年02月15日,Vol.51,No.2,pp.250-264 |
Also Published As
Publication number | Publication date |
---|---|
JP2021039370A (ja) | 2021-03-11 |
WO2017163509A1 (ja) | 2017-09-28 |
JP6795028B2 (ja) | 2020-12-02 |
JPWO2017163509A1 (ja) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7070638B2 (ja) | 情報処理システムおよび情報処理方法 | |
US20240168933A1 (en) | Ai story platform with customizable personality for education, entertainment, and therapy | |
US20220254343A1 (en) | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs | |
JP7070652B2 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
US11024294B2 (en) | System and method for dialogue management | |
US11468894B2 (en) | System and method for personalizing dialogue based on user's appearances | |
US11430439B2 (en) | System and method for providing assistance in a live conversation | |
JP4395687B2 (ja) | 情報処理装置 | |
JP6860010B2 (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
JP7099589B2 (ja) | サーバ、通信制御方法、およびプログラム | |
CN109086860B (zh) | 一种基于虚拟人的交互方法及系统 | |
JP6633250B2 (ja) | 対話ロボットおよび対話システム、並びに対話プログラム | |
US11267121B2 (en) | Conversation output system, conversation output method, and non-transitory recording medium | |
KR20160029895A (ko) | 감정 캐릭터 추천 장치 및 감정 캐릭터 추천 방법 | |
KR101791979B1 (ko) | 오버레이 아이템 또는 추가 아이템을 통해 메신저 서비스를 제공하는 방법 및 그를 이용한 서버 | |
US12002470B1 (en) | Multi-source based knowledge data for artificial intelligence characters | |
US11954570B2 (en) | User interface for construction of artificial intelligence based characters | |
US11954794B2 (en) | Retrieval of augmented parameters for artificial intelligence-based characters | |
CN117201826A (zh) | 基于虚拟主播的直播互动方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7070638 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |