JP3920175B2 - 通話活性化システム - Google Patents
通話活性化システム Download PDFInfo
- Publication number
- JP3920175B2 JP3920175B2 JP2002250954A JP2002250954A JP3920175B2 JP 3920175 B2 JP3920175 B2 JP 3920175B2 JP 2002250954 A JP2002250954 A JP 2002250954A JP 2002250954 A JP2002250954 A JP 2002250954A JP 3920175 B2 JP3920175 B2 JP 3920175B2
- Authority
- JP
- Japan
- Prior art keywords
- call
- user
- voice
- information
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ユーザ間の通話を活性化するための通話活性化システムに関するものである。
【０００２】
【従来の技術】
近年、ユーザと音声により対話する知的ヒューマンインターフェイスに関して種々の研究が行われ、例えば、「Social interaction : Multimodal conversation with social agents」（K. Nagao and A.Takeuchi,in Proc. AAAI-94,1994）、「エージェントサロン：パーソナルエージェント同士のおしゃべりを利用した出会いと対話の促進」（角、間瀬、電子情報通信学会論文誌、J84-D-1(8),2001年）等に開示される知的ヒューマンインターフェイスが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者の知的ヒューマンインターフェイスでは、対話に参加するエージェントがユーザに依存しない第三者的な存在であるため、対話しているユーザごとに当該ユーザに適した情報を必ずしも提供することができない。また、後者の知的ヒューマンインターフェイスでは、ユーザ同士の対面による会話を活性化するため、離れた場所にいるユーザ間の会話を活性化することはできず、利用場所が制限される。
【０００４】
本発明の目的は、場所的な制約を軽減することができるとともに、ユーザごとに当該ユーザに適した話題を提供してユーザ間の会話を活性化することができる通話活性化システムを提供することである。
【０００５】
【課題を解決するための手段および発明の効果】
（１）第１の発明
第１の発明に係る通話活性化システムは、相互に通話可能に接続された複数の通話手段と、複数の通話手段間の接続状態を制御する接続手段と、接続手段により接続された通話手段を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声を生成する補助音声生成手段と、補助音声生成手段により生成された補助音声を通話手段によるユーザの通話音声に重畳する音声重畳手段とを備え、前記補助音声生成手段は、前記複数の通話手段を使用するユーザごとにユーザ情報を蓄積して管理するユーザ情報管理手段と、前記通話音声を基にユーザ間の通話状態を判定する判定手段と、前記ユーザ情報管理手段に蓄積されているユーザ情報を参照して、前記判定手段により判定された通話状態に応じた補助音声を作成する補助音声作成手段とを含み、前記ユーザ情報管理手段は、ユーザの個人プロファイル情報及びスケジュール情報をユーザごとに蓄積するものである。
【０００６】
本発明に係る通話活性化システムにおいては、複数の通話手段が相互に通話可能に接続され、接続された通話手段を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声が生成され、生成された補助音声が通話手段によるユーザの通話音声に重畳されるので、ユーザごとに当該ユーザに適した話題を補助音声により提供することができる。また、複数の通話手段の中から任意に選択された通話手段を相互に接続して通話することができるので、ユーザが対面していない時でもユーザ間で会話することができ、場所的な制約を軽減することができる。この結果、場所的な制約を軽減することができるとともに、ユーザごとに当該ユーザに適した話題を提供してユーザ間の会話を活性化することができる。
【０００８】
また、ユーザ情報がユーザごとに蓄積されて管理されるとともに、ユーザ間の通話状態がユーザの通話音声を基に判定され、判定された通話状態に応じた補助音声が蓄積されているユーザ情報を参照して作成されるので、ユーザ間の通話状態に適し且つユーザごとに個人化された話題を提供することができる。さらに、ユーザごとに蓄積されているユーザの個人プロファイル情報及びスケジュール情報を参照して通話状態に応じた補助音声を作成しているので、より個人化した内容を有する補助音声を通話音声に重畳することができる。
【０００９】
（２）第２の発明
第２の発明に係る通話活性化システムは、第１の発明に係る通話活性化システムの構成において、判定手段は、通話音声の韻律情報を検出する韻律情報検出手段と、韻律情報検出手段により検出された韻律情報を用いて通話状態を判定する通話状態判定手段とを含むものである。
【００１０】
この場合、通話音声の意味内容を認識する音声認識に比して正確に検出することができる通話音声の韻律情報を用いて通話状態を判定しているので、通話状態をより正確に判定することができ、通話状態に適したタイミング及び状況で補助音声を重畳することができる。
【００１５】
（３）第３の発明
第３の発明に係る通話活性化システムは、第１又は第２の発明に係る通話活性化システムの構成において、補助音声生成手段は、通話手段を用いて通話しているユーザごとに補助音声を生成するものである。
【００１６】
この場合、通話しているユーザごとに補助音声を生成することができるので、より個人化した補助音声を通話音声に重畳することができ、補助音声に対するユーザの親近感をより向上することができる。
【００１７】
【発明の実施の形態】
以下、本発明による通話活性化システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による通話活性化システムの構成を示すブロック図である。
【００１８】
図１に示す通話活性化システムは、携帯電話装置１、固定電話装置２、電話接続サーバ４、エージェントサーバ５、位置情報提供サーバ６、天候情報提供サーバ７及び端末装置８を備える。
【００１９】
携帯電話装置１及び固定電話装置２は、公知の電話回線網３を介して相互に通話可能に接続され、電話接続サーバ４は、交換機として機能し、電話回線網３の電話装置間の接続状態を制御する。携帯電話装置１は、通常の携帯電話器又はＰＨＳ（Personal Handyphone System）から構成され、ユーザが携帯して使用する。固定電話装置２は、通常の有線式の固定電話機から構成され、他のユーザの家庭又は職場等に設置されている。
【００２０】
なお、図１では、携帯電話装置１及び固定電話装置２をそれぞれ１台づつ図示しているが、本発明に使用される電話装置の数及び種類は、この例に特に限定されず、他の電話装置と相互に通話可能な電話装置であれば、ＰＨＳ機能を有する携帯情報端末（ＰＤＡ）、ＩＰ電話機等の他の電話装置を複数用いてもよく、この場合、電話接続サーバ４は、ユーザが指示した電話装置間を接続する。
【００２１】
電話接続サーバ４及びエージェントサーバ５は、専用線又はＬＡＮ（Local Area Network）等を介して相互に通信可能に接続される。電話接続サーバ４は、通常のサーバ装置等から構成され、携帯電話装置１及び固定電話装置２間の通話音声をエージェントサーバ５へ転送する。
【００２２】
エージェントサーバ５は、通常のサーバ装置等から構成され、ユーザの個人秘書となるエージェントシステムとして機能する。エージェントサーバ５は、携帯電話装置１及び固定電話装置２を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声として、各ユーザの個人秘書となるエージェントの発話を生成して電話接続サーバ４へ送信する。電話接続サーバ４は、生成された補助音声を通話音声に重畳して、携帯電話装置１及び固定電話装置２へ転送する。
【００２３】
なお、図１では、電話接続サーバ４とエージェントサーバ５とを別個のサーバ装置により構成しているが、一つのサーバ装置から電話接続サーバ４及びエージェントサーバ５を構成してもよいし、３台以上のサーバ装置から電話接続サーバ４及びエージェントサーバ５を構成するようにしてもよい。
【００２４】
エージェントサーバ５、位置情報提供サーバ６、天候情報提供サーバ７及び端末装置８は、インターネット等のネットワーク９を介して相互に通信可能なように接続される。なお、ネットワーク９としては、上記の例に特に限定されず、イントラネット等の他のネットワーク、インターネット及びイントラネット等の種々のネットワークを組み合わせたネットワーク、専用線等を用いてもよい。
【００２５】
位置情報提供サーバ６は、ＰＨＳ等を用いて公知の位置検出手法を用いてユーザの現在位置情報を提供するサーバ装置であり、天候情報提供サーバ７は、各地の天気予報等の天候情報を提供するサーバ装置である。例えば、本実施の形態では、携帯電話装置１がＰＨＳの場合に位置情報提供サーバ６により携帯電話装置１を使用するユーザの現在位置が検出され、固定電話装置２を使用するユーザの位置は、エージェントサーバ５にユーザ情報として予め記憶されている。
【００２６】
エージェントサーバ５は、位置情報提供サーバ６及び天候情報提供サーバ７から提供される位置情報及び天候情報を状況情報として取得する。ここで、状況情報は、上記の例に特に限定されず、通話しているユーザの状況に関する情報であれば、他の情報を用いてもよく、エージェントサーバ５内部の計時手段により提供される時刻情報から朝、昼、夜等の時間帯情報を抽出したり、インターネットを介してニュース提供サーバ等から提供されるニュース情報等を用いてもよい。
【００２７】
端末装置８は、通常のパーソナルコンピュータ等から構成され、携帯電話装置１（又は固定電話装置２）を使用するユーザがユーザ固有のユーザ情報等をエージェントサーバ５へ送信するために使用される。なお、図１では図示を容易にするために、１台の端末装置８のみを図示しているが、端末装置８をユーザごとに設け、２台以上用いてもよい。
【００２８】
エージェントサーバ５は、携帯電話装置１、固定電話装置２及び端末装置８等を介して携帯電話装置１及び固定電話装置２を使用するユーザのユーザ情報を取得する。ここで、ユーザ情報には、個人プロファイル情報及びスケジュール情報が含まれ、個人プロファイル情報として、ユーザの氏名、性別、住所、友人関係、家族関係、好み、趣味、興味、過去の会話内容、過去の会話の傾向等が該当し、スケジュール情報としては、ユーザの過去の行動履歴、ユーザの将来の行動予定等が該当する。
【００２９】
次に、電話接続サーバ４及びエージェントサーバ５についてさらに詳細に説明する。電話接続サーバ４は、内部のＣＰＵ（中央演算処理装置）等が所定のプログラムを実行することによりルーティング部４１及び音声信号処理部４２として機能する。
【００３０】
ルーティング部４１は、電話回線網３を介して電話装置間の接続状態を制御し、例えば、ユーザが携帯電話装置１を用いて固定電話装置２の電話番号をダイヤルした場合、ユーザが携帯電話装置１を用いて電話接続サーバ４にアクセスして通話先として固定電話装置２の電話番号を指定した場合等において、携帯電話装置１と固定電話装置２とを接続するように電話回線網３の接続状態を制御する。
【００３１】
音声信号処理部４２は、携帯電話装置１及び固定電話装置２を使用する各ユーザの通話音声をエージェントサーバ５へ送信し、エージェントサーバ５により生成されたエージェントの発話を通話音声に重畳して携帯電話装置１及び固定電話装置２へ送信する。
【００３２】
エージェントサーバ５は、内部のＣＰＵ（中央演算処理装置）等が所定のプログラムを実行することにより、韻律検出部５１、音声認識部５２、通話状態判定部５３、発話作成部５４、ユーザ情報蓄積部５５及び情報取得部５６として機能する。
【００３３】
韻律検出部５１は、音声信号処理部４２から送信されるユーザの通話音声の韻律に関する韻律情報を検出して通話状態判定部５３へ出力する。ここで、韻律情報は、通話音声の韻律及び抑揚等に関する情報であり、通話音声の音声的な形式に関する情報を含み、例えば、音声の長短、子音、母音、抑揚、アクセント等の情報が該当する。
【００３４】
音声認識部５２は、音声信号処理部４２から送信されるユーザの通話音声を認識して会話内容に関連するキーワードを検出し、検出したキーワードを通話状態判定部５３へ出力する。キーワードとしては、例えば、会話に登場する関心事、友人名、今後の予定等が該当する。上記の音声認識の際に、音声認識部５２は、ユーザ情報蓄積部５５に蓄積されているユーザ情報を参照してキーワードを検出するようにしてもよく、この場合、音声認識の精度を向上することができる。また、抽出したキーワードが新たなユーザ情報に該当する場合、音声認識部５２は、当該キーワードをユーザ情報蓄積部５５へ出力してもよく、この場合、新たなユーザ情報をユーザ情報蓄積部５５に蓄積することができる。
【００３５】
情報取得部５６は、位置情報提供サーバ６及び天候情報提供サーバ７からネットワーク９を介して提供される位置情報及び天候情報を状況情報として取得し、必要に応じて発話作成部５４へ出力するとともに、ユーザ情報蓄積部５５へ出力する。また、情報取得部５６は、端末装置８から送信されるユーザの個人プロファイル情報及びスケジュール情報等をユーザ情報蓄積部５５へ出力する。このとき、エージェントサーバ５により提供されるエージェントとユーザが端末装置８を用いてインタラクションを行い、日常的にユーザ情報をユーザ情報蓄積部５５に蓄積するようにしてもよい。
【００３６】
ユーザ情報蓄積部５５は、上記のようにして取得されたユーザ情報をユーザごとにデータベース化して蓄積して管理する。なお、携帯電話装置１等がインターネット接続機能を有し、ネットワーク９を介してエージェントサーバ５にアクセス可能な場合、電話通話時だけでなく、待ち受け状態の時等においてエージェントサーバ５により提供されるエージェントとユーザがインタラクションを行い、その結果をユーザ情報としてユーザ情報蓄積部５５に蓄積するようにしてもよい。
【００３７】
通話状態判定部５３は、韻律検出部５１から出力される韻律情報、音声認識部５２から出力されるキーワード及びユーザ情報蓄積部５５に蓄積されているユーザ情報からユーザの通話状態を判定し、判定結果を発話作成部５４へ出力する。
【００３８】
発話作成部５４は、ユーザ情報蓄積部５５に蓄積されているユーザ情報をユーザごとに参照するとともに、情報取得部５６により取得された状況情報をも必要に応じて参照し、通話状態判定部５３により判定された通話状態に応じた補助音声としてユーザごとにエージェントの発話を生成し、生成した発話を音声信号処理部４２へ送信する。
【００３９】
本実施の形態では、携帯電話装置１及び固定電話装置２が通話手段に相当し、電話接続サーバ４が接続手段に相当し、エージェントサーバ５が補助音声生成手段に相当し、電話接続サーバ４が音声重畳手段に相当する。また、ユーザ情報蓄積部５５がユーザ情報管理手段に相当し、韻律検出部５１及び通話状態判定部５３が判定手段に相当し、発話作成部５４が補助音声作成手段に相当する。また、韻律検出部５１が韻律情報検出手段に相当し、通話状態判定部５３が通話状態判定手段に相当し、情報取得部５６が状況情報取得手段に相当する。
【００４０】
このように、本実施の形態では、ユーザ情報蓄積部５５がユーザの個人プロファイル情報及びスケジュール情報を蓄積し、発話作成部５４が蓄積されているユーザの個人プロファイル情報及びスケジュール情報を参照して通話状態に応じた補助音声を作成しているので、より個人化した内容を有する補助音声を通話音声に重畳することができる。また、通話しているユーザの状況を表す状況情報も参照して補助音声を作成しているので、現在のユーザの状況に適した種々の話題を補助音声として通話音声に重畳することができる。さらに、通話しているユーザごとに補助音声を作成することができるので、より個人化した情報を補助音声として通話音声に重畳することができ、補助音声に対するユーザの親近感を向上することができる。
【００４１】
次に、上記のように構成された通話活性化システムの動作について説明する。図２は、図１に示す通話活性化システムの動作を説明するためのフローチャートである。なお、以下の説明では、ユーザ間の通話の一例として、携帯電話装置１を使用するユーザＡが固定電話装置１を使用するユーザＢに電話する場合について説明する。
【００４２】
まず、ユーザＡが携帯電話装置１を操作してユーザＢに電話をかけようとするとき、携帯電話装置１が電話回線網３を介してユーザＢの電話番号を電話接続サーバ４へ送信して通話要求を行うと、ステップＳ１１において、電話接続サーバ４のルーティング部４１は、携帯電話装置１から通話要求を受け付ける。次に、ステップＳ１２において、ルーティング部４１は、受信した電話番号により特定される電話装置すなわち固定電話装置２と携帯電話装置１とを電話回線網３を介して接続して回線を確立する。
【００４３】
次に、ステップＳ１３において、電話接続サーバ４の音声信号処理部４２は、ユーザＡの音声すなわち携帯電話装置１から送信される音声信号を受信して固定電話装置２へ転送するとともに、エージェントサーバ５へ送信する。また、音声信号処理部４２は、ユーザＢの音声すなわち固定電話装置２から送信される音声信号を受信して携帯電話装置１へ転送するとともに、エージェントサーバ５へ送信する。
【００４４】
次に、ステップＳ２１において、エージェントサーバ５の韻律情報検出部５１は、送信される音声信号からユーザＡ及びＢの通話音声の韻律情報を検出して通話状態判定部５３へ出力する。
【００４５】
次に、ステップＳ２２において、通話状態判定部５３は、検出された韻律情報を用いてユーザＡ及びＢの通話状態を判定する。具体的には、通話状態判定部５３は、対話のリズム、つまり、ユーザＡ及びＢの発話交代のパターンや発話の重なり具合等から会話の盛り上がりを検出したり、発話中の音声の強弱変化や沈黙等からエージェントの発話のタイミングを特定する。
【００４６】
例えば、通話状態判定部５３は、通話状態として、どういう状況であれ、対話に一定以上のブランク（沈黙）を検出した場合に、状況依存なしと判定し、両者が程良く話していたり、各々の発話に抑揚があり、また発言権の受け渡しが適度に行われていたり、一定時間内において話している時間が各々ほぼ同じ場合に、双方が調子よく対話を続けていると判定し、一方が通話時間の大半を占め、声の抑揚及び音量が所定値以上あり、他方の発言が少なく、発話スピードが低下し、抑揚があまり見られず、相槌のタイミングもずれている場合に、一方が一人で盛り上がり、他方は乗り気でないと判定し、一方が通話時間の大半を占めるが、他方がタイミングよく相槌やコメントを入れている場合に、一方による説明が続いていると判定し、何らかの用件を伝え終えたのではなく、話すことがなくなり、飽きてきた、すなわち、話すことがなくなってきたが、何となく対話が続いている場合に、対話が収束に向かっていると判定する。これらの判定は、検出された韻律情報を用いて、ユーザＡ及びＢの音声のトーンの低下、音量の低下、発言権のやり取りの減少、応答タイミングの遅延等を基準に行うことができる。
【００４７】
このように、通話音声の意味内容を認識する音声認識に比して正確に検出することができる通話音声の韻律情報を用いて通話状態を判定しているので、通話状態をより正確に判定することができ、通話状態に適したタイミング及び状況で補助音声を重畳することができる。
【００４８】
次に、ステップＳ２３において、発話作成部５４は、通話しているユーザＡ及びＢのユーザ情報を取得する。具体的には、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのユーザ情報を読み出してユーザごとにユーザ情報を取得する。また、音声認識部５２は、受信したユーザＡ及びＢの音声信号を用いてユーザＡ及びＢの会話におけるキーワードを公知の音声認識手法を用いて抽出して発話作成部５４へ出力し、発話作成部５４は、キーワードから特定した現在の話題をユーザ情報として取得する。なお、抽出したキーワードがユーザ情報に該当し且つユーザ情報蓄積部５５に記憶されていない場合、音声認識部５２が抽出したキーワードをユーザ情報蓄積部５５にユーザごとに記憶させるようにしてもよい。
【００４９】
次に、ステップＳ２４において、情報取得部５６は、ネットワーク９を介して位置情報提供サーバ６及び天候情報サーバ７等からユーザの現在位置及び天候情報等を取得して発話作成部５４へ出力する。
【００５０】
次に、ステップＳ２５において、発話作成部５４は、ステップＳ２２において判定された通話状態に応じ且つステップＳ２３において取得されたユーザ情報に応じて個人化された補助音声を、ステップＳ２４において取得した状況情報を適宜参照しながら、ユーザごとに設定したエージェントの音声により作成し、作成した音声信号を電話接続サーバ４へ出力する。
【００５１】
補助音声を発するエージェントは、ユーザＡとユーザＢごとに異なるキャラクタをエージェントとして設定してもよいし、一つのエージェントをユーザＡ及びＢのエージェントに設定してもよい。また、ステップＳ２１〜Ｓ２４の各処理の順序は、図２に示す例に特に限定されず、適宜変更が可能であり、また、ステップＳ２１〜Ｓ２４の各処理を並列的に処理してもよい。
【００５２】
次に、ステップＳ１４において、電話接続サーバ４の音声信号処理部４２は、作成された各エージェントの音声をユーザＡ及びＢの音声に重畳して携帯電話装置１及び固定電話装置２へ出力し、その後、ステップＳ１３以降の処理を継続する。なお、各エージェントの音声をユーザＡ及びＢの一方のみに重畳して一方のユーザのみに特定のエージェントの音声が聞こえるようにしてもよい。
【００５３】
上記のように、本実施の形態では、携帯電話装置１及び固定電話装置２が相互に通話可能に接続され、接続された携帯電話装置１及び固定電話装置２を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声が生成され、生成された補助音声が通話音声に重畳されるので、ユーザごとに当該ユーザに適した話題を補助音声により提供することができる。また、携帯電話装置１及び固定電話装置２及び他の複数の電話装置（図示省略）の中から任意に選択された電話装置を相互に接続して通話することができるので、ユーザが対面していない時でもユーザ間で会話することができ、場所的な制約を軽減することができる。この結果、場所的な制約を軽減することができるとともに、ユーザごとに当該ユーザに適した話題を提供してユーザ間の会話を活性化することができる。
【００５４】
また、ユーザ情報がユーザごとにユーザ情報蓄積部５５に蓄積されて管理されるとともに、ユーザ間の通話状態がユーザの通話音声を基に判定され、判定された通話状態に応じた補助音声がユーザ情報を参照して作成されるので、ユーザ間の通話状態に適し且つユーザごとに個人化された話題を提供することができる。
【００５５】
次に、図２に示すステップＳ２５において生成されるエージェントの音声について具体例を挙げて詳細に説明する。図３は、通話状態として状況依存なしと判定された場合の発話生成処理を示すフローチャートである。
【００５６】
図２に示すステップＳ２２において通話状態として状況依存なしと判定された場合、ステップＳ３１において、発話作成部５４は、状況情報からユーザＡ又はＢが以前に相手が話していた場所にきているか否か、または音声認識により検出されたキーワードからユーザＡ又はＢがその場所について何かのコメントが発せられたか否かを判断し、いずれの条件も満たさない場合はステップＳ３２へ移行し、少なくとも一方の条件を満たす場合、ステップＳ３８に移行する。
【００５７】
少なくとも一方の条件を満たす場合、ステップＳ３８において、発話作成部５４は、ユーザの追体験を促進するため、ユーザ情報蓄積部５５に記憶されているユーザ情報を参照して、例えば、以前の対話中にその場所に面白いものがあるとか、風景が美しいと聞いていた場合、「この前、○○（ユーザの氏名）さんは、この辺りに○○（例えば、面白いものがある、または、風景が美しい）といったみたいですね。」という補助音声を生成し、その場所に来ていることを知らせる。
【００５８】
一方、上記の条件に該当しない場合、ステップＳ３２において、発話作成部５４は、音声認識により検出されたキーワードからユーザＡ又はＢが特定の何かについてコメントしたか否かを判断し、特定の何かについてコメントしていない場合はステップＳ３３へ移行し、特定の何かについてコメントした場合、ステップＳ３９に移行する。
【００５９】
特定の何かについてコメントした場合、ステップＳ３９において、発話作成部５４は、ユーザの共感を促進するため、ユーザ情報蓄積部５５に記憶されている他のユーザのユーザ情報を参照して、例えば、その場所である人が同じものを見て発言していた場合、「○○と言っていた人もいるみたいですよ。」という補助音声を生成し、他のユーザのコメントを知らせる。
【００６０】
一方、特定の何かについてコメントしていない場合、ステップＳ３３において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのスケジュール情報からユーザＡ又はＢの次の予定が間近になっているか否かを判断し、次の予定が間近になっていない場合はステップＳ３４へ移行し、次の予定が間近になっている場合、ステップＳ４０において、「そろそろ○○の時間ですよ。」という補助音声を生成し、次の予定を知らせる。
【００６１】
一方、次の予定が間近になっていない場合、ステップＳ３４において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのスケジュール情報からユーザＡ及びＢがある予定に関与するが、二人ともその予定を知らないか否かを判断し、その予定を知っている場合はステップＳ３５へ移行し、二人ともその予定を知らない場合、ステップＳ４１において、「○○さんもこれから会議に出るんですか。」等の補助音声を生成し、予定を確認させる。
【００６２】
一方、予定を知っている場合、ステップＳ３５において、発話作成部５４は、状況情報からユーザＡ及びＢが近くにいるが気付いていないか否かを判断し、近くにいない場合はステップＳ３６へ移行し、ユーザＡ及びＢが近くにいるが気付いていない場合、ステップＳ４２において、「二人とも実は近くにいるんですよ。」という補助音声を生成し、ユーザが接近していることを知らせる。
【００６３】
一方、近くに居ない場合、ステップＳ３６において、発話作成部５４は、状況情報等からユーザＡ及びＢがいつもと違う場所にいるか否かを判断し、いつもと違う場所にいない場合はステップＳ３７へ移行し、いつもと違う場所にいる場合、ステップＳ４３において、「えらく変わった所に居るんですね。」又は「今○○ですか。遠いですね。」という補助音声を生成し、ユーザに現在の場所を確認させる。
【００６４】
一方、いつもと違う場所にいない場合、ステップＳ３７において、発話作成部５４は、状況情報等からユーザＡがユーザＢの所すなわち相手の所へ行こうとしているか否かを判断し、相手の所へ行こうとしていない場合はステップＳ２５へ戻って他の発話生成処理を実行し、相手の所へ行こうとしている場合、ステップＳ４４において、相手のいる所への道案内を行うための所定の補助音声を生成し、道案内を行う。
【００６５】
なお、この道案内は、上記のような状況判断だけでなく、エージェントの主人すなわちユーザによる明示的な指示に応じて行うようにしてもよい。また、ステップＳ３１〜Ｓ３７の各判断処理の順序は、図３に示す例に特に限定されず、適宜変更が可能であり、また、Ｓ３１〜Ｓ３７の各判断処理を割り込み処理により実行するようにしてもよい。
【００６６】
図４は、通話状態として双方が調子よく対話を続けていると判定された場合の発話生成処理を示すフローチャートである。図２に示すステップＳ２２において通話状態として双方が調子よく対話を続けていると判定された場合、ステップＳ５１において、発話作成部５４は、音声認識により検出されたキーワードから共通の友人がよく知っている事柄が話題の中心になっているか否かを判断し、当該事柄が話題の中心になっていない場合はステップＳ２５へ戻って他の発話生成処理を実行し、当該事柄が話題の中心になっている場合、ステップＳ５２において、話題の中心が当事者のよく知っていることから離れ、共通の友人が知っている領域に近いと判断して、この友人を呼び出すように電話接続サーバ４に指示し、通話者に問い合わせてから、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００６７】
このとき、電話接続サーバ４のルーティング部４１は、指示された友人の電話装置（図示省略）を電話回線網３を介して接続し、友人が電話に出た場合、エージェントサーバ５は、電話接続サーバ４を用いて上記の状況を説明する補助音声を友人のエージェントの音声により重畳し、友人にユーザＡ及びＢの通話に参加するように促す。このように、３人以上の会話を促進するようにしてもよく、この場合、各ユーザごとに設定されたエージェントによる補助音声が重畳される。
【００６８】
図５は、通話状態として一方が盛り上がり他方が乗り気でないと判定された場合の発話生成処理を示すフローチャートである。図２に示すステップＳ２２において通話状態として一方が盛り上がり他方が乗り気でないと判定された場合、ステップＳ６１において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ又はＢの個人プロファイル情報から過去にも一方的になることが多かったか否かを判断し、過去には一方的になることが少なかった場合はステップＳ６２へ移行し、過去にも一方的になることが多かった場合、ステップＳ６３へ移行する。
【００６９】
過去には一方的になることが少なかった場合、ステップＳ６２において、発話作成部５４は、唐突に関係のない話題を補助音声として生成し、一方的になっていることをユーザに暗に知らせ、過去にも一方的になることが多かった場合、ステップＳ６３において、発話作成部５４は、一方のユーザが言いづらいことを代弁するため、「ちょっと一方的に話しすぎですよ。」という補助音声を生成し、エージェントが一方的になっているユーザを直接たしなめ、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７０】
図６は、通話状態として一方による説明が続いていると判定された場合の発話生成処理を示すフローチャートである。図２に示すステップＳ２２において通話状態として一方による説明が続いていると判定された場合、ステップＳ７１において、発話作成部５４は、音声認識により検出されたキーワードから何かの説明をしているか否かを判断し、何かの説明をしていない場合はステップＳ２５へ戻って他の発話生成処理を実行し、何かの説明をしている場合、ステップＳ７２において、説明に対する相槌を補助音声として生成した後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７１】
図７は、通話状態として対話が収束に向かっていると判定された場合の発話生成処理を示すフローチャートである。図２に示すステップＳ２２において通話状態として対話が収束に向かっていると判定された場合、ステップＳ８１において、発話作成部５４は、音声認識により検出されたキーワードから対話の主題が「予定」、「昔話」及び「趣味」のいずれに該当するかを判断し、対話の主題が「予定」の場合にステップＳ８２へ移行し、「昔話」の場合にステップＳ８７へ移行し、「趣味」の場合にステップＳ９２へ移行する。具体的には、発話作成部５４は、それぞれの発話から切り出されるキーワードからマップを形成してその占める領域から話題を特定する。
【００７２】
対話の主題が「予定」の場合、ステップＳ８２において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢの個人プロファイル情報から、特定した予定に関係し得る共通の友人がいるか否かを判断し、予定に関係し得る共通の友人がいない場合はステップＳ８３へ移行し、予定に関係し得る共通の友人がいる場合、ステップＳ８５において、該当する友人を誘う補助音声を生成した後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７３】
予定に関係し得る共通の友人がいない場合、ステップＳ８３において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのスケジュール情報から、過去のスケジュールに一緒に行動したものがあるか否かを判断する。次に、発話作成部５４は、過去のスケジュールに一緒に行動したものがない場合、ステップＳ８４において、電話を切りやすい状況を提供するための終了イベントとして、状況情報から予定日の天気、その場所の情報、又は「晴れるといいですね。」等のコメントを補助音声として生成し、過去のスケジュールに一緒に行動したものがある場合、ステップＳ８６において、過去のイベントを引き合いに出す補助音声を生成し、その後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７４】
対話の主題が「昔話」の場合、ステップＳ８７において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのスケジュール情報から過去のスケジュールに一緒に行動したものがあるか否かを判断し、過去のスケジュールに一緒に行動したものがない場合はステップＳ８８へ移行し、過去のスケジュールに一緒に行動したものがある場合、ステップＳ９０において、過去のイベントを引き合いに出す補助音声を生成した後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７５】
過去のスケジュールに一緒に行動したものがない場合、ステップＳ８８において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢの個人プロファイル情報から興味に共通性があるか否かを判断する。次に、発話作成部５４は、興味に共通性がない場合、ステップＳ８９において、ステップＳ８４と同様に終了イベントを実行し、興味に共通性がある場合、ステップＳ９１において、情報取得部５６等を用いて所定のウェブから趣味に関する未来のイベント情報を切り出して補助音声として生成し、その後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７６】
対話の主題が「趣味」の場合、発話作成部５４は、ステップＳ９２，Ｓ９５において、上記のステップＳ８８，Ｓ９１と同様の処理を行い、ステップＳ９３，Ｓ９４，Ｓ９６において、上記のステップＳ８７，Ｓ８９，Ｓ９０と同様の処理を行う。
【００７７】
なお、発話生成処理は、上記の例に特に限定されず、ユーザ情報等に応じて種々の変更が可能であり、また、ユーザが使用する電話装置等が画像を表示可能な場合、任意の画像を作成可能な画像生成部をエージェントサーバ５に付加して、補助音声とともに補助画像をユーザごとに表示するようにしてもよい。また、エージェントサーバ５の機能を携帯電話装置１及び固定電話装置２に常駐させてエージェントサーバ５を省略してもよい。
【図面の簡単な説明】
【図１】本発明の一実施の形態による通話活性化システムの構成を示すブロック図である。
【図２】図１に示す通話活性化システムの動作を説明するためのフローチャートである。
【図３】通話状態として状況依存なしと判定された場合の発話生成処理を示すフローチャートである。
【図４】通話状態として双方が調子よく対話を続けていると判定された場合の発話生成処理を示すフローチャートである。
【図５】通話状態として一方が盛り上がり他方が乗り気でないと判定された場合の発話生成処理を示すフローチャートである。
【図６】通話状態として一方による説明が続いていると判定された場合の発話生成処理を示すフローチャートである。
【図７】通話状態として対話が収束に向かっていると判定された場合の発話生成処理を示すフローチャートである。
【符号の説明】
１ 携帯電話装置
２ 固定電話装置
３ 電話回線網
４ 電話接続サーバ
５ エージェントサーバ
６ 位置情報提供サーバ
７ 天候情報提供サーバ
８ 端末装置
９ ネットワーク
４１ ルーティング部
４２ 音声信号処理部
５１ 韻律検出部
５２ 音声認識部
５３ 通話状態判定部
５４ 発話作成部
５５ ユーザ情報蓄積部
５６ 情報取得部
【発明の属する技術分野】
本発明は、ユーザ間の通話を活性化するための通話活性化システムに関するものである。
【０００２】
【従来の技術】
近年、ユーザと音声により対話する知的ヒューマンインターフェイスに関して種々の研究が行われ、例えば、「Social interaction : Multimodal conversation with social agents」（K. Nagao and A.Takeuchi,in Proc. AAAI-94,1994）、「エージェントサロン：パーソナルエージェント同士のおしゃべりを利用した出会いと対話の促進」（角、間瀬、電子情報通信学会論文誌、J84-D-1(8),2001年）等に開示される知的ヒューマンインターフェイスが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者の知的ヒューマンインターフェイスでは、対話に参加するエージェントがユーザに依存しない第三者的な存在であるため、対話しているユーザごとに当該ユーザに適した情報を必ずしも提供することができない。また、後者の知的ヒューマンインターフェイスでは、ユーザ同士の対面による会話を活性化するため、離れた場所にいるユーザ間の会話を活性化することはできず、利用場所が制限される。
【０００４】
本発明の目的は、場所的な制約を軽減することができるとともに、ユーザごとに当該ユーザに適した話題を提供してユーザ間の会話を活性化することができる通話活性化システムを提供することである。
【０００５】
【課題を解決するための手段および発明の効果】
（１）第１の発明
第１の発明に係る通話活性化システムは、相互に通話可能に接続された複数の通話手段と、複数の通話手段間の接続状態を制御する接続手段と、接続手段により接続された通話手段を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声を生成する補助音声生成手段と、補助音声生成手段により生成された補助音声を通話手段によるユーザの通話音声に重畳する音声重畳手段とを備え、前記補助音声生成手段は、前記複数の通話手段を使用するユーザごとにユーザ情報を蓄積して管理するユーザ情報管理手段と、前記通話音声を基にユーザ間の通話状態を判定する判定手段と、前記ユーザ情報管理手段に蓄積されているユーザ情報を参照して、前記判定手段により判定された通話状態に応じた補助音声を作成する補助音声作成手段とを含み、前記ユーザ情報管理手段は、ユーザの個人プロファイル情報及びスケジュール情報をユーザごとに蓄積するものである。
【０００６】
本発明に係る通話活性化システムにおいては、複数の通話手段が相互に通話可能に接続され、接続された通話手段を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声が生成され、生成された補助音声が通話手段によるユーザの通話音声に重畳されるので、ユーザごとに当該ユーザに適した話題を補助音声により提供することができる。また、複数の通話手段の中から任意に選択された通話手段を相互に接続して通話することができるので、ユーザが対面していない時でもユーザ間で会話することができ、場所的な制約を軽減することができる。この結果、場所的な制約を軽減することができるとともに、ユーザごとに当該ユーザに適した話題を提供してユーザ間の会話を活性化することができる。
【０００８】
また、ユーザ情報がユーザごとに蓄積されて管理されるとともに、ユーザ間の通話状態がユーザの通話音声を基に判定され、判定された通話状態に応じた補助音声が蓄積されているユーザ情報を参照して作成されるので、ユーザ間の通話状態に適し且つユーザごとに個人化された話題を提供することができる。さらに、ユーザごとに蓄積されているユーザの個人プロファイル情報及びスケジュール情報を参照して通話状態に応じた補助音声を作成しているので、より個人化した内容を有する補助音声を通話音声に重畳することができる。
【０００９】
（２）第２の発明
第２の発明に係る通話活性化システムは、第１の発明に係る通話活性化システムの構成において、判定手段は、通話音声の韻律情報を検出する韻律情報検出手段と、韻律情報検出手段により検出された韻律情報を用いて通話状態を判定する通話状態判定手段とを含むものである。
【００１０】
この場合、通話音声の意味内容を認識する音声認識に比して正確に検出することができる通話音声の韻律情報を用いて通話状態を判定しているので、通話状態をより正確に判定することができ、通話状態に適したタイミング及び状況で補助音声を重畳することができる。
【００１５】
（３）第３の発明
第３の発明に係る通話活性化システムは、第１又は第２の発明に係る通話活性化システムの構成において、補助音声生成手段は、通話手段を用いて通話しているユーザごとに補助音声を生成するものである。
【００１６】
この場合、通話しているユーザごとに補助音声を生成することができるので、より個人化した補助音声を通話音声に重畳することができ、補助音声に対するユーザの親近感をより向上することができる。
【００１７】
【発明の実施の形態】
以下、本発明による通話活性化システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による通話活性化システムの構成を示すブロック図である。
【００１８】
図１に示す通話活性化システムは、携帯電話装置１、固定電話装置２、電話接続サーバ４、エージェントサーバ５、位置情報提供サーバ６、天候情報提供サーバ７及び端末装置８を備える。
【００１９】
携帯電話装置１及び固定電話装置２は、公知の電話回線網３を介して相互に通話可能に接続され、電話接続サーバ４は、交換機として機能し、電話回線網３の電話装置間の接続状態を制御する。携帯電話装置１は、通常の携帯電話器又はＰＨＳ（Personal Handyphone System）から構成され、ユーザが携帯して使用する。固定電話装置２は、通常の有線式の固定電話機から構成され、他のユーザの家庭又は職場等に設置されている。
【００２０】
なお、図１では、携帯電話装置１及び固定電話装置２をそれぞれ１台づつ図示しているが、本発明に使用される電話装置の数及び種類は、この例に特に限定されず、他の電話装置と相互に通話可能な電話装置であれば、ＰＨＳ機能を有する携帯情報端末（ＰＤＡ）、ＩＰ電話機等の他の電話装置を複数用いてもよく、この場合、電話接続サーバ４は、ユーザが指示した電話装置間を接続する。
【００２１】
電話接続サーバ４及びエージェントサーバ５は、専用線又はＬＡＮ（Local Area Network）等を介して相互に通信可能に接続される。電話接続サーバ４は、通常のサーバ装置等から構成され、携帯電話装置１及び固定電話装置２間の通話音声をエージェントサーバ５へ転送する。
【００２２】
エージェントサーバ５は、通常のサーバ装置等から構成され、ユーザの個人秘書となるエージェントシステムとして機能する。エージェントサーバ５は、携帯電話装置１及び固定電話装置２を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声として、各ユーザの個人秘書となるエージェントの発話を生成して電話接続サーバ４へ送信する。電話接続サーバ４は、生成された補助音声を通話音声に重畳して、携帯電話装置１及び固定電話装置２へ転送する。
【００２３】
なお、図１では、電話接続サーバ４とエージェントサーバ５とを別個のサーバ装置により構成しているが、一つのサーバ装置から電話接続サーバ４及びエージェントサーバ５を構成してもよいし、３台以上のサーバ装置から電話接続サーバ４及びエージェントサーバ５を構成するようにしてもよい。
【００２４】
エージェントサーバ５、位置情報提供サーバ６、天候情報提供サーバ７及び端末装置８は、インターネット等のネットワーク９を介して相互に通信可能なように接続される。なお、ネットワーク９としては、上記の例に特に限定されず、イントラネット等の他のネットワーク、インターネット及びイントラネット等の種々のネットワークを組み合わせたネットワーク、専用線等を用いてもよい。
【００２５】
位置情報提供サーバ６は、ＰＨＳ等を用いて公知の位置検出手法を用いてユーザの現在位置情報を提供するサーバ装置であり、天候情報提供サーバ７は、各地の天気予報等の天候情報を提供するサーバ装置である。例えば、本実施の形態では、携帯電話装置１がＰＨＳの場合に位置情報提供サーバ６により携帯電話装置１を使用するユーザの現在位置が検出され、固定電話装置２を使用するユーザの位置は、エージェントサーバ５にユーザ情報として予め記憶されている。
【００２６】
エージェントサーバ５は、位置情報提供サーバ６及び天候情報提供サーバ７から提供される位置情報及び天候情報を状況情報として取得する。ここで、状況情報は、上記の例に特に限定されず、通話しているユーザの状況に関する情報であれば、他の情報を用いてもよく、エージェントサーバ５内部の計時手段により提供される時刻情報から朝、昼、夜等の時間帯情報を抽出したり、インターネットを介してニュース提供サーバ等から提供されるニュース情報等を用いてもよい。
【００２７】
端末装置８は、通常のパーソナルコンピュータ等から構成され、携帯電話装置１（又は固定電話装置２）を使用するユーザがユーザ固有のユーザ情報等をエージェントサーバ５へ送信するために使用される。なお、図１では図示を容易にするために、１台の端末装置８のみを図示しているが、端末装置８をユーザごとに設け、２台以上用いてもよい。
【００２８】
エージェントサーバ５は、携帯電話装置１、固定電話装置２及び端末装置８等を介して携帯電話装置１及び固定電話装置２を使用するユーザのユーザ情報を取得する。ここで、ユーザ情報には、個人プロファイル情報及びスケジュール情報が含まれ、個人プロファイル情報として、ユーザの氏名、性別、住所、友人関係、家族関係、好み、趣味、興味、過去の会話内容、過去の会話の傾向等が該当し、スケジュール情報としては、ユーザの過去の行動履歴、ユーザの将来の行動予定等が該当する。
【００２９】
次に、電話接続サーバ４及びエージェントサーバ５についてさらに詳細に説明する。電話接続サーバ４は、内部のＣＰＵ（中央演算処理装置）等が所定のプログラムを実行することによりルーティング部４１及び音声信号処理部４２として機能する。
【００３０】
ルーティング部４１は、電話回線網３を介して電話装置間の接続状態を制御し、例えば、ユーザが携帯電話装置１を用いて固定電話装置２の電話番号をダイヤルした場合、ユーザが携帯電話装置１を用いて電話接続サーバ４にアクセスして通話先として固定電話装置２の電話番号を指定した場合等において、携帯電話装置１と固定電話装置２とを接続するように電話回線網３の接続状態を制御する。
【００３１】
音声信号処理部４２は、携帯電話装置１及び固定電話装置２を使用する各ユーザの通話音声をエージェントサーバ５へ送信し、エージェントサーバ５により生成されたエージェントの発話を通話音声に重畳して携帯電話装置１及び固定電話装置２へ送信する。
【００３２】
エージェントサーバ５は、内部のＣＰＵ（中央演算処理装置）等が所定のプログラムを実行することにより、韻律検出部５１、音声認識部５２、通話状態判定部５３、発話作成部５４、ユーザ情報蓄積部５５及び情報取得部５６として機能する。
【００３３】
韻律検出部５１は、音声信号処理部４２から送信されるユーザの通話音声の韻律に関する韻律情報を検出して通話状態判定部５３へ出力する。ここで、韻律情報は、通話音声の韻律及び抑揚等に関する情報であり、通話音声の音声的な形式に関する情報を含み、例えば、音声の長短、子音、母音、抑揚、アクセント等の情報が該当する。
【００３４】
音声認識部５２は、音声信号処理部４２から送信されるユーザの通話音声を認識して会話内容に関連するキーワードを検出し、検出したキーワードを通話状態判定部５３へ出力する。キーワードとしては、例えば、会話に登場する関心事、友人名、今後の予定等が該当する。上記の音声認識の際に、音声認識部５２は、ユーザ情報蓄積部５５に蓄積されているユーザ情報を参照してキーワードを検出するようにしてもよく、この場合、音声認識の精度を向上することができる。また、抽出したキーワードが新たなユーザ情報に該当する場合、音声認識部５２は、当該キーワードをユーザ情報蓄積部５５へ出力してもよく、この場合、新たなユーザ情報をユーザ情報蓄積部５５に蓄積することができる。
【００３５】
情報取得部５６は、位置情報提供サーバ６及び天候情報提供サーバ７からネットワーク９を介して提供される位置情報及び天候情報を状況情報として取得し、必要に応じて発話作成部５４へ出力するとともに、ユーザ情報蓄積部５５へ出力する。また、情報取得部５６は、端末装置８から送信されるユーザの個人プロファイル情報及びスケジュール情報等をユーザ情報蓄積部５５へ出力する。このとき、エージェントサーバ５により提供されるエージェントとユーザが端末装置８を用いてインタラクションを行い、日常的にユーザ情報をユーザ情報蓄積部５５に蓄積するようにしてもよい。
【００３６】
ユーザ情報蓄積部５５は、上記のようにして取得されたユーザ情報をユーザごとにデータベース化して蓄積して管理する。なお、携帯電話装置１等がインターネット接続機能を有し、ネットワーク９を介してエージェントサーバ５にアクセス可能な場合、電話通話時だけでなく、待ち受け状態の時等においてエージェントサーバ５により提供されるエージェントとユーザがインタラクションを行い、その結果をユーザ情報としてユーザ情報蓄積部５５に蓄積するようにしてもよい。
【００３７】
通話状態判定部５３は、韻律検出部５１から出力される韻律情報、音声認識部５２から出力されるキーワード及びユーザ情報蓄積部５５に蓄積されているユーザ情報からユーザの通話状態を判定し、判定結果を発話作成部５４へ出力する。
【００３８】
発話作成部５４は、ユーザ情報蓄積部５５に蓄積されているユーザ情報をユーザごとに参照するとともに、情報取得部５６により取得された状況情報をも必要に応じて参照し、通話状態判定部５３により判定された通話状態に応じた補助音声としてユーザごとにエージェントの発話を生成し、生成した発話を音声信号処理部４２へ送信する。
【００３９】
本実施の形態では、携帯電話装置１及び固定電話装置２が通話手段に相当し、電話接続サーバ４が接続手段に相当し、エージェントサーバ５が補助音声生成手段に相当し、電話接続サーバ４が音声重畳手段に相当する。また、ユーザ情報蓄積部５５がユーザ情報管理手段に相当し、韻律検出部５１及び通話状態判定部５３が判定手段に相当し、発話作成部５４が補助音声作成手段に相当する。また、韻律検出部５１が韻律情報検出手段に相当し、通話状態判定部５３が通話状態判定手段に相当し、情報取得部５６が状況情報取得手段に相当する。
【００４０】
このように、本実施の形態では、ユーザ情報蓄積部５５がユーザの個人プロファイル情報及びスケジュール情報を蓄積し、発話作成部５４が蓄積されているユーザの個人プロファイル情報及びスケジュール情報を参照して通話状態に応じた補助音声を作成しているので、より個人化した内容を有する補助音声を通話音声に重畳することができる。また、通話しているユーザの状況を表す状況情報も参照して補助音声を作成しているので、現在のユーザの状況に適した種々の話題を補助音声として通話音声に重畳することができる。さらに、通話しているユーザごとに補助音声を作成することができるので、より個人化した情報を補助音声として通話音声に重畳することができ、補助音声に対するユーザの親近感を向上することができる。
【００４１】
次に、上記のように構成された通話活性化システムの動作について説明する。図２は、図１に示す通話活性化システムの動作を説明するためのフローチャートである。なお、以下の説明では、ユーザ間の通話の一例として、携帯電話装置１を使用するユーザＡが固定電話装置１を使用するユーザＢに電話する場合について説明する。
【００４２】
まず、ユーザＡが携帯電話装置１を操作してユーザＢに電話をかけようとするとき、携帯電話装置１が電話回線網３を介してユーザＢの電話番号を電話接続サーバ４へ送信して通話要求を行うと、ステップＳ１１において、電話接続サーバ４のルーティング部４１は、携帯電話装置１から通話要求を受け付ける。次に、ステップＳ１２において、ルーティング部４１は、受信した電話番号により特定される電話装置すなわち固定電話装置２と携帯電話装置１とを電話回線網３を介して接続して回線を確立する。
【００４３】
次に、ステップＳ１３において、電話接続サーバ４の音声信号処理部４２は、ユーザＡの音声すなわち携帯電話装置１から送信される音声信号を受信して固定電話装置２へ転送するとともに、エージェントサーバ５へ送信する。また、音声信号処理部４２は、ユーザＢの音声すなわち固定電話装置２から送信される音声信号を受信して携帯電話装置１へ転送するとともに、エージェントサーバ５へ送信する。
【００４４】
次に、ステップＳ２１において、エージェントサーバ５の韻律情報検出部５１は、送信される音声信号からユーザＡ及びＢの通話音声の韻律情報を検出して通話状態判定部５３へ出力する。
【００４５】
次に、ステップＳ２２において、通話状態判定部５３は、検出された韻律情報を用いてユーザＡ及びＢの通話状態を判定する。具体的には、通話状態判定部５３は、対話のリズム、つまり、ユーザＡ及びＢの発話交代のパターンや発話の重なり具合等から会話の盛り上がりを検出したり、発話中の音声の強弱変化や沈黙等からエージェントの発話のタイミングを特定する。
【００４６】
例えば、通話状態判定部５３は、通話状態として、どういう状況であれ、対話に一定以上のブランク（沈黙）を検出した場合に、状況依存なしと判定し、両者が程良く話していたり、各々の発話に抑揚があり、また発言権の受け渡しが適度に行われていたり、一定時間内において話している時間が各々ほぼ同じ場合に、双方が調子よく対話を続けていると判定し、一方が通話時間の大半を占め、声の抑揚及び音量が所定値以上あり、他方の発言が少なく、発話スピードが低下し、抑揚があまり見られず、相槌のタイミングもずれている場合に、一方が一人で盛り上がり、他方は乗り気でないと判定し、一方が通話時間の大半を占めるが、他方がタイミングよく相槌やコメントを入れている場合に、一方による説明が続いていると判定し、何らかの用件を伝え終えたのではなく、話すことがなくなり、飽きてきた、すなわち、話すことがなくなってきたが、何となく対話が続いている場合に、対話が収束に向かっていると判定する。これらの判定は、検出された韻律情報を用いて、ユーザＡ及びＢの音声のトーンの低下、音量の低下、発言権のやり取りの減少、応答タイミングの遅延等を基準に行うことができる。
【００４７】
このように、通話音声の意味内容を認識する音声認識に比して正確に検出することができる通話音声の韻律情報を用いて通話状態を判定しているので、通話状態をより正確に判定することができ、通話状態に適したタイミング及び状況で補助音声を重畳することができる。
【００４８】
次に、ステップＳ２３において、発話作成部５４は、通話しているユーザＡ及びＢのユーザ情報を取得する。具体的には、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのユーザ情報を読み出してユーザごとにユーザ情報を取得する。また、音声認識部５２は、受信したユーザＡ及びＢの音声信号を用いてユーザＡ及びＢの会話におけるキーワードを公知の音声認識手法を用いて抽出して発話作成部５４へ出力し、発話作成部５４は、キーワードから特定した現在の話題をユーザ情報として取得する。なお、抽出したキーワードがユーザ情報に該当し且つユーザ情報蓄積部５５に記憶されていない場合、音声認識部５２が抽出したキーワードをユーザ情報蓄積部５５にユーザごとに記憶させるようにしてもよい。
【００４９】
次に、ステップＳ２４において、情報取得部５６は、ネットワーク９を介して位置情報提供サーバ６及び天候情報サーバ７等からユーザの現在位置及び天候情報等を取得して発話作成部５４へ出力する。
【００５０】
次に、ステップＳ２５において、発話作成部５４は、ステップＳ２２において判定された通話状態に応じ且つステップＳ２３において取得されたユーザ情報に応じて個人化された補助音声を、ステップＳ２４において取得した状況情報を適宜参照しながら、ユーザごとに設定したエージェントの音声により作成し、作成した音声信号を電話接続サーバ４へ出力する。
【００５１】
補助音声を発するエージェントは、ユーザＡとユーザＢごとに異なるキャラクタをエージェントとして設定してもよいし、一つのエージェントをユーザＡ及びＢのエージェントに設定してもよい。また、ステップＳ２１〜Ｓ２４の各処理の順序は、図２に示す例に特に限定されず、適宜変更が可能であり、また、ステップＳ２１〜Ｓ２４の各処理を並列的に処理してもよい。
【００５２】
次に、ステップＳ１４において、電話接続サーバ４の音声信号処理部４２は、作成された各エージェントの音声をユーザＡ及びＢの音声に重畳して携帯電話装置１及び固定電話装置２へ出力し、その後、ステップＳ１３以降の処理を継続する。なお、各エージェントの音声をユーザＡ及びＢの一方のみに重畳して一方のユーザのみに特定のエージェントの音声が聞こえるようにしてもよい。
【００５３】
上記のように、本実施の形態では、携帯電話装置１及び固定電話装置２が相互に通話可能に接続され、接続された携帯電話装置１及び固定電話装置２を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声が生成され、生成された補助音声が通話音声に重畳されるので、ユーザごとに当該ユーザに適した話題を補助音声により提供することができる。また、携帯電話装置１及び固定電話装置２及び他の複数の電話装置（図示省略）の中から任意に選択された電話装置を相互に接続して通話することができるので、ユーザが対面していない時でもユーザ間で会話することができ、場所的な制約を軽減することができる。この結果、場所的な制約を軽減することができるとともに、ユーザごとに当該ユーザに適した話題を提供してユーザ間の会話を活性化することができる。
【００５４】
また、ユーザ情報がユーザごとにユーザ情報蓄積部５５に蓄積されて管理されるとともに、ユーザ間の通話状態がユーザの通話音声を基に判定され、判定された通話状態に応じた補助音声がユーザ情報を参照して作成されるので、ユーザ間の通話状態に適し且つユーザごとに個人化された話題を提供することができる。
【００５５】
次に、図２に示すステップＳ２５において生成されるエージェントの音声について具体例を挙げて詳細に説明する。図３は、通話状態として状況依存なしと判定された場合の発話生成処理を示すフローチャートである。
【００５６】
図２に示すステップＳ２２において通話状態として状況依存なしと判定された場合、ステップＳ３１において、発話作成部５４は、状況情報からユーザＡ又はＢが以前に相手が話していた場所にきているか否か、または音声認識により検出されたキーワードからユーザＡ又はＢがその場所について何かのコメントが発せられたか否かを判断し、いずれの条件も満たさない場合はステップＳ３２へ移行し、少なくとも一方の条件を満たす場合、ステップＳ３８に移行する。
【００５７】
少なくとも一方の条件を満たす場合、ステップＳ３８において、発話作成部５４は、ユーザの追体験を促進するため、ユーザ情報蓄積部５５に記憶されているユーザ情報を参照して、例えば、以前の対話中にその場所に面白いものがあるとか、風景が美しいと聞いていた場合、「この前、○○（ユーザの氏名）さんは、この辺りに○○（例えば、面白いものがある、または、風景が美しい）といったみたいですね。」という補助音声を生成し、その場所に来ていることを知らせる。
【００５８】
一方、上記の条件に該当しない場合、ステップＳ３２において、発話作成部５４は、音声認識により検出されたキーワードからユーザＡ又はＢが特定の何かについてコメントしたか否かを判断し、特定の何かについてコメントしていない場合はステップＳ３３へ移行し、特定の何かについてコメントした場合、ステップＳ３９に移行する。
【００５９】
特定の何かについてコメントした場合、ステップＳ３９において、発話作成部５４は、ユーザの共感を促進するため、ユーザ情報蓄積部５５に記憶されている他のユーザのユーザ情報を参照して、例えば、その場所である人が同じものを見て発言していた場合、「○○と言っていた人もいるみたいですよ。」という補助音声を生成し、他のユーザのコメントを知らせる。
【００６０】
一方、特定の何かについてコメントしていない場合、ステップＳ３３において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのスケジュール情報からユーザＡ又はＢの次の予定が間近になっているか否かを判断し、次の予定が間近になっていない場合はステップＳ３４へ移行し、次の予定が間近になっている場合、ステップＳ４０において、「そろそろ○○の時間ですよ。」という補助音声を生成し、次の予定を知らせる。
【００６１】
一方、次の予定が間近になっていない場合、ステップＳ３４において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのスケジュール情報からユーザＡ及びＢがある予定に関与するが、二人ともその予定を知らないか否かを判断し、その予定を知っている場合はステップＳ３５へ移行し、二人ともその予定を知らない場合、ステップＳ４１において、「○○さんもこれから会議に出るんですか。」等の補助音声を生成し、予定を確認させる。
【００６２】
一方、予定を知っている場合、ステップＳ３５において、発話作成部５４は、状況情報からユーザＡ及びＢが近くにいるが気付いていないか否かを判断し、近くにいない場合はステップＳ３６へ移行し、ユーザＡ及びＢが近くにいるが気付いていない場合、ステップＳ４２において、「二人とも実は近くにいるんですよ。」という補助音声を生成し、ユーザが接近していることを知らせる。
【００６３】
一方、近くに居ない場合、ステップＳ３６において、発話作成部５４は、状況情報等からユーザＡ及びＢがいつもと違う場所にいるか否かを判断し、いつもと違う場所にいない場合はステップＳ３７へ移行し、いつもと違う場所にいる場合、ステップＳ４３において、「えらく変わった所に居るんですね。」又は「今○○ですか。遠いですね。」という補助音声を生成し、ユーザに現在の場所を確認させる。
【００６４】
一方、いつもと違う場所にいない場合、ステップＳ３７において、発話作成部５４は、状況情報等からユーザＡがユーザＢの所すなわち相手の所へ行こうとしているか否かを判断し、相手の所へ行こうとしていない場合はステップＳ２５へ戻って他の発話生成処理を実行し、相手の所へ行こうとしている場合、ステップＳ４４において、相手のいる所への道案内を行うための所定の補助音声を生成し、道案内を行う。
【００６５】
なお、この道案内は、上記のような状況判断だけでなく、エージェントの主人すなわちユーザによる明示的な指示に応じて行うようにしてもよい。また、ステップＳ３１〜Ｓ３７の各判断処理の順序は、図３に示す例に特に限定されず、適宜変更が可能であり、また、Ｓ３１〜Ｓ３７の各判断処理を割り込み処理により実行するようにしてもよい。
【００６６】
図４は、通話状態として双方が調子よく対話を続けていると判定された場合の発話生成処理を示すフローチャートである。図２に示すステップＳ２２において通話状態として双方が調子よく対話を続けていると判定された場合、ステップＳ５１において、発話作成部５４は、音声認識により検出されたキーワードから共通の友人がよく知っている事柄が話題の中心になっているか否かを判断し、当該事柄が話題の中心になっていない場合はステップＳ２５へ戻って他の発話生成処理を実行し、当該事柄が話題の中心になっている場合、ステップＳ５２において、話題の中心が当事者のよく知っていることから離れ、共通の友人が知っている領域に近いと判断して、この友人を呼び出すように電話接続サーバ４に指示し、通話者に問い合わせてから、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００６７】
このとき、電話接続サーバ４のルーティング部４１は、指示された友人の電話装置（図示省略）を電話回線網３を介して接続し、友人が電話に出た場合、エージェントサーバ５は、電話接続サーバ４を用いて上記の状況を説明する補助音声を友人のエージェントの音声により重畳し、友人にユーザＡ及びＢの通話に参加するように促す。このように、３人以上の会話を促進するようにしてもよく、この場合、各ユーザごとに設定されたエージェントによる補助音声が重畳される。
【００６８】
図５は、通話状態として一方が盛り上がり他方が乗り気でないと判定された場合の発話生成処理を示すフローチャートである。図２に示すステップＳ２２において通話状態として一方が盛り上がり他方が乗り気でないと判定された場合、ステップＳ６１において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ又はＢの個人プロファイル情報から過去にも一方的になることが多かったか否かを判断し、過去には一方的になることが少なかった場合はステップＳ６２へ移行し、過去にも一方的になることが多かった場合、ステップＳ６３へ移行する。
【００６９】
過去には一方的になることが少なかった場合、ステップＳ６２において、発話作成部５４は、唐突に関係のない話題を補助音声として生成し、一方的になっていることをユーザに暗に知らせ、過去にも一方的になることが多かった場合、ステップＳ６３において、発話作成部５４は、一方のユーザが言いづらいことを代弁するため、「ちょっと一方的に話しすぎですよ。」という補助音声を生成し、エージェントが一方的になっているユーザを直接たしなめ、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７０】
図６は、通話状態として一方による説明が続いていると判定された場合の発話生成処理を示すフローチャートである。図２に示すステップＳ２２において通話状態として一方による説明が続いていると判定された場合、ステップＳ７１において、発話作成部５４は、音声認識により検出されたキーワードから何かの説明をしているか否かを判断し、何かの説明をしていない場合はステップＳ２５へ戻って他の発話生成処理を実行し、何かの説明をしている場合、ステップＳ７２において、説明に対する相槌を補助音声として生成した後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７１】
図７は、通話状態として対話が収束に向かっていると判定された場合の発話生成処理を示すフローチャートである。図２に示すステップＳ２２において通話状態として対話が収束に向かっていると判定された場合、ステップＳ８１において、発話作成部５４は、音声認識により検出されたキーワードから対話の主題が「予定」、「昔話」及び「趣味」のいずれに該当するかを判断し、対話の主題が「予定」の場合にステップＳ８２へ移行し、「昔話」の場合にステップＳ８７へ移行し、「趣味」の場合にステップＳ９２へ移行する。具体的には、発話作成部５４は、それぞれの発話から切り出されるキーワードからマップを形成してその占める領域から話題を特定する。
【００７２】
対話の主題が「予定」の場合、ステップＳ８２において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢの個人プロファイル情報から、特定した予定に関係し得る共通の友人がいるか否かを判断し、予定に関係し得る共通の友人がいない場合はステップＳ８３へ移行し、予定に関係し得る共通の友人がいる場合、ステップＳ８５において、該当する友人を誘う補助音声を生成した後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７３】
予定に関係し得る共通の友人がいない場合、ステップＳ８３において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのスケジュール情報から、過去のスケジュールに一緒に行動したものがあるか否かを判断する。次に、発話作成部５４は、過去のスケジュールに一緒に行動したものがない場合、ステップＳ８４において、電話を切りやすい状況を提供するための終了イベントとして、状況情報から予定日の天気、その場所の情報、又は「晴れるといいですね。」等のコメントを補助音声として生成し、過去のスケジュールに一緒に行動したものがある場合、ステップＳ８６において、過去のイベントを引き合いに出す補助音声を生成し、その後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７４】
対話の主題が「昔話」の場合、ステップＳ８７において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢのスケジュール情報から過去のスケジュールに一緒に行動したものがあるか否かを判断し、過去のスケジュールに一緒に行動したものがない場合はステップＳ８８へ移行し、過去のスケジュールに一緒に行動したものがある場合、ステップＳ９０において、過去のイベントを引き合いに出す補助音声を生成した後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７５】
過去のスケジュールに一緒に行動したものがない場合、ステップＳ８８において、発話作成部５４は、ユーザ情報蓄積部５５に記憶されているユーザＡ及びＢの個人プロファイル情報から興味に共通性があるか否かを判断する。次に、発話作成部５４は、興味に共通性がない場合、ステップＳ８９において、ステップＳ８４と同様に終了イベントを実行し、興味に共通性がある場合、ステップＳ９１において、情報取得部５６等を用いて所定のウェブから趣味に関する未来のイベント情報を切り出して補助音声として生成し、その後、ステップＳ２５へ戻って他の発話生成処理を実行する。
【００７６】
対話の主題が「趣味」の場合、発話作成部５４は、ステップＳ９２，Ｓ９５において、上記のステップＳ８８，Ｓ９１と同様の処理を行い、ステップＳ９３，Ｓ９４，Ｓ９６において、上記のステップＳ８７，Ｓ８９，Ｓ９０と同様の処理を行う。
【００７７】
なお、発話生成処理は、上記の例に特に限定されず、ユーザ情報等に応じて種々の変更が可能であり、また、ユーザが使用する電話装置等が画像を表示可能な場合、任意の画像を作成可能な画像生成部をエージェントサーバ５に付加して、補助音声とともに補助画像をユーザごとに表示するようにしてもよい。また、エージェントサーバ５の機能を携帯電話装置１及び固定電話装置２に常駐させてエージェントサーバ５を省略してもよい。
【図面の簡単な説明】
【図１】本発明の一実施の形態による通話活性化システムの構成を示すブロック図である。
【図２】図１に示す通話活性化システムの動作を説明するためのフローチャートである。
【図３】通話状態として状況依存なしと判定された場合の発話生成処理を示すフローチャートである。
【図４】通話状態として双方が調子よく対話を続けていると判定された場合の発話生成処理を示すフローチャートである。
【図５】通話状態として一方が盛り上がり他方が乗り気でないと判定された場合の発話生成処理を示すフローチャートである。
【図６】通話状態として一方による説明が続いていると判定された場合の発話生成処理を示すフローチャートである。
【図７】通話状態として対話が収束に向かっていると判定された場合の発話生成処理を示すフローチャートである。
【符号の説明】
１ 携帯電話装置
２ 固定電話装置
３ 電話回線網
４ 電話接続サーバ
５ エージェントサーバ
６ 位置情報提供サーバ
７ 天候情報提供サーバ
８ 端末装置
９ ネットワーク
４１ ルーティング部
４２ 音声信号処理部
５１ 韻律検出部
５２ 音声認識部
５３ 通話状態判定部
５４ 発話作成部
５５ ユーザ情報蓄積部
５６ 情報取得部
Claims (3)
- 相互に通話可能に接続された複数の通話手段と、
前記複数の通話手段間の接続状態を制御する接続手段と、
前記接続手段により接続された通話手段を用いて通話しているユーザ固有のユーザ情報に基づいて当該ユーザ間の通話状態に応じた補助音声を生成する補助音声生成手段と、
前記補助音声生成手段により生成された補助音声を前記通話手段によるユーザの通話音声に重畳する音声重畳手段とを備え、
前記補助音声生成手段は、
前記複数の通話手段を使用するユーザごとにユーザ情報を蓄積して管理するユーザ情報管理手段と、
前記通話音声を基にユーザ間の通話状態を判定する判定手段と、
前記ユーザ情報管理手段に蓄積されているユーザ情報を参照して、前記判定手段により判定された通話状態に応じた補助音声を作成する補助音声作成手段とを含み、
前記ユーザ情報管理手段は、ユーザの個人プロファイル情報及びスケジュール情報をユーザごとに蓄積することを特徴とする通話活性化システム。 - 前記判定手段は、
前記通話音声の韻律情報を検出する韻律情報検出手段と、
前記韻律情報検出手段により検出された韻律情報を用いて通話状態を判定する通話状態判定手段とを含むことを特徴とする請求項１記載の通話活性化システム。 - 前記補助音声生成手段は、前記通話手段を用いて通話しているユーザごとに補助音声を生成することを特徴とする請求項１又は２記載の通話活性化システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002250954A JP3920175B2 (ja) | 2002-08-29 | 2002-08-29 | 通話活性化システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002250954A JP3920175B2 (ja) | 2002-08-29 | 2002-08-29 | 通話活性化システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004096171A JP2004096171A (ja) | 2004-03-25 |
| JP3920175B2 true JP3920175B2 (ja) | 2007-05-30 |
Family
ID=32057655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002250954A Expired - Fee Related JP3920175B2 (ja) | 2002-08-29 | 2002-08-29 | 通話活性化システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3920175B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10468052B2 (en) | 2015-02-16 | 2019-11-05 | Samsung Electronics Co., Ltd. | Method and device for providing information |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005283972A (ja) * | 2004-03-30 | 2005-10-13 | Advanced Media Inc | 音声認識方法及びこの音声認識方法を利用した情報提示方法と情報提示装置 |
| JP2006139134A (ja) * | 2004-11-12 | 2006-06-01 | Pioneer Electronic Corp | 音声出力制御装置、音声出力制御システム、それらの方法、それらのプログラム、および、それらのプログラムを記録した記録媒体 |
| JP2008217370A (ja) * | 2007-03-02 | 2008-09-18 | Nec Corp | プロファイル登録システム、プロファイル登録方法およびプロファイル登録プログラム |
| US8060563B2 (en) * | 2008-12-29 | 2011-11-15 | Nortel Networks Limited | Collaboration agent |
| JP2010206717A (ja) * | 2009-03-05 | 2010-09-16 | Nec Corp | 音声応答システム、音声応答装置および音声応答方法 |
| JP5705274B2 (ja) * | 2013-07-12 | 2015-04-22 | ヤフー株式会社 | 情報処理装置及び方法 |
| JP6280342B2 (ja) * | 2013-10-22 | 2018-02-14 | 株式会社Ｎｔｔドコモ | 機能実行指示システム及び機能実行指示方法 |
| CN105141506B (zh) | 2015-08-26 | 2018-06-29 | 小米科技有限责任公司 | 通信消息处理方法和装置 |
| US11302317B2 (en) | 2017-03-24 | 2022-04-12 | Sony Corporation | Information processing apparatus and information processing method to attract interest of targets using voice utterance |
| JP6697172B1 (ja) * | 2019-02-19 | 2020-05-20 | 富士通クライアントコンピューティング株式会社 | 情報処理装置および情報処理プログラム |
| WO2020189340A1 (ja) * | 2019-03-20 | 2020-09-24 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
| JPWO2021200307A1 (ja) * | 2020-03-30 | 2021-10-07 |
-
2002
- 2002-08-29 JP JP2002250954A patent/JP3920175B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10468052B2 (en) | 2015-02-16 | 2019-11-05 | Samsung Electronics Co., Ltd. | Method and device for providing information |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004096171A (ja) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102418511B1 (ko) | 서드 파티 에이전트를 사용하기 위한 호출 요청 생성 및 전송 | |
| US9614969B2 (en) | In-call translation | |
| EP2761860B1 (en) | Automatically adapting user interfaces for hands-free interaction | |
| US10496753B2 (en) | Automatically adapting user interfaces for hands-free interaction | |
| US11809686B1 (en) | Voice communication targeting user interface | |
| KR101816375B1 (ko) | 제한된 주의 산만 및 비제한된 주의 산만 컨텍스트에 대해 상이한 사용자 인터페이스를 제공하는 애플리케이션 게이트웨이 | |
| JP3920175B2 (ja) | 通話活性化システム | |
| US10705794B2 (en) | Automatically adapting user interfaces for hands-free interaction | |
| KR101834624B1 (ko) | 핸즈 프리 상호작용을 위한 사용자 인터페이스 자동 적응 | |
| KR20190042918A (ko) | 전자 장치 및 그의 동작 방법 | |
| KR102574593B1 (ko) | 챗봇을 이용한 서비스 제공 방법 및 그 장치 | |
| US9089772B2 (en) | Methods and systems for establishing games with automation using verbal communication | |
| US20150347399A1 (en) | In-Call Translation | |
| CN117221452A (zh) | 使用话音和文本的同步通信 | |
| US20140195252A1 (en) | Systems and methods for hands-free notification summaries | |
| US20130275138A1 (en) | Hands-Free List-Reading by Intelligent Automated Assistant | |
| CN107481719A (zh) | 个人助理模块的非确定性任务发起 | |
| US10403272B1 (en) | Facilitating participation in a virtual meeting using an intelligent assistant | |
| CN112313930B (zh) | 管理保持的方法和装置 | |
| KR20220140599A (ko) | 대화의 사람 참가자를 대신하여 생성된 합성 스피치 오디오 데이터 | |
| JP2007049657A (ja) | 留守番電話装置 | |
| CN111557001A (zh) | 通过提供即时应答性语言应答以提供自然语言对话的方法、计算机装置及计算机可读存储介质 | |
| CN111556999A (zh) | 通过即时提供实质性回答以提供自然语言对话的方法、计算机装置及计算机可读存储介质 | |
| JP2005283972A (ja) | 音声認識方法及びこの音声認識方法を利用した情報提示方法と情報提示装置 | |
| KR20190083884A (ko) | 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070214 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |