JP7173049B2 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話の音声認識を行い、音声認識結果に基づく処理や応答を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。

昨今、ユーザ発話の音声認識を行い、認識結果に基づく様々な処理や応答を行う音声認識システムの利用が増大している。
この音声認識システムにおいては、マイクを介して入力するユーザ発話を認識理解して、それに応じた処理を行う。
例えばユーザが、「明日の天気を教えて」と発話した場合、天気情報提供サーバから天気情報を取得して、取得情報に基づくシステム応答を生成して、生成した応答をスピーカーから出力する。例えば、
システム発話＝「明日の天気は晴れです。ただし、夕方、雷雨があるかもしれません」
このようなシステム発話を出力する。

しかし、このような対話システムにおいて、システム発話中にユーザが話し始めることがある。
システム発話中に割り込むユーザ発話を「バージイン発話」と呼ぶ。

このような場合、システムは、システム発話をすぐに止めるべきかについてユーザ発話の意図を解釈するまで判断できない。
システムがユーザ発話を検出した時点で、即時、システム発話を停止してしまうと、以下のような問題が発生する。

例えば、ユーザ発話がシステム以外の第三者に対する発話であり、ユーザがシステム発話を聞いている場合、システム発話の中断は、ユーザに違和感を与え、またシステム発話の再開までユーザを待たせてしまうという問題が発生する。

さらに、ユーザ発話がシステムに対するシステム発話内容の表示処理依頼等、システム発話に関する依頼等の場合もある。このような場合、システム発話の中断の必要はない。このような場合までシステム発話を中断すると、その後のシステム発話再開までユーザを待たせてしまうという問題が発生する。

一方で、システムがユーザ発話意図を解釈するまでシステム発話を継続すると、システム発話とユーザ発話の重複期間が発生し、システムはユーザ発話を聞き取りにくくなり、ユーザも話しづらい状態にさせるという問題を発生させる。

バージイン発話、すなわち発話中のユーザ発話の割り込み発生時におけるシステム発話の停止タイミングの設定は、以下の２つの例が考えられる。
（ａ）ユーザ発話の開始時点でシステム発話を停止する。
（ｂ）システム側でユーザ発話の意図の解釈が完了した時点で、システム発話を停止する。
しかし、上記（ａ），（ｂ）いずれの処理においても、以下のような問題点が発生する。
システム発話音声が突然無音になることで、ユーザの聴感に違和感を発生させる。
また、システム発話音のレベルの大きな状態から無音になる際にシステムからノイズを発生しやすくなる、
このような問題が発生する。

なお、バージイン発話に対する処理を開示した従来技術として、例えば、特許文献１（特許第６０６６４７１号公報）、特許文献２（特許第５０７４７５９号公報）がある。
特許文献１（特許第６０６６４７１号公報）は、ユーザ発話の長さやタイミング、さらに、システム状態等の情報を取得して、これらの取得情報に基づいて、ユーザ発話がシステムに向けた発話であるか否かを判定して判定結果に基づいてシステム発話の停止制御を行う構成を開示している。

また、特許文献２（特許第５０７４７５９号公報）は、システム発話とユーザのバージイン発話との文脈の矛盾判定を行い、矛盾情報を提示してユーザに矛盾した内容を知らせる構成を開示している。

しかし、これらの従来技術に開示された構成は、ユーザ発話の終了後にシステム側で処理を行う構成であり、システム発話の実行中のユーザ発話、すなわちバージイン発話の開始時点や発話中にシステム側で処理を行う構成については開示していない。
従って、システム発話とユーザ発話の重複期間が発生する。
この結果、これらの従来技術に開示された構成ではバージイン発話によって生じる根本的な問題、すなわち、システム側はユーザ発話を聞き取りにく、ユーザ側は話しづらい状態になるという問題を解決することはできない。

特許第６０６６４７１号公報 特許第５０７４７５９号公報

上述したように、システム発話の実行中に行われるユーザ発話、すなわちバージイン発話が発生すると、システム側はユーザ発話を聞き取りにく、ユーザ側は話しづらい状態になるという問題を生じさせる。
本開示は、例えば、上記問題点に鑑みてなされたものであり、バージイン発話に対する迅速、かつ最適な処理を実現する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御部を有する情報処理装置にある。

さらに、本開示の第２の側面は、
ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御部を有し、
前記データ処理サーバは、
前記ユーザ端末から受信する前記バージイン発話の意図を解析する発話意図解析部を有し、
前記ユーザ端末の出力制御部は、
前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、前記システム発話を停止し、
停止不要と判定した場合、前記フェード処理後のシステム発話中の重要語の有無に応じて、
（ａ）フェード処理前の状態に戻して出力継続するか、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
上記（ａ），（ｂ）のいずれを実行するかの判定処理を行う情報処理システムにある。

さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
出力制御部が、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行する情報処理方法にある。

さらに、本開示の第４の側面は、
ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行し、
前記データ処理サーバが、
前記ユーザ端末から受信する前記バージイン発話の意図を解析する発話意図解析を実行し、
前記ユーザ端末の出力制御部は、
前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、前記システム発話を停止し、
停止不要と判定した場合、前記フェード処理後のシステム発話中の重要語の有無に応じて、
（ａ）フェード処理前の状態に戻して出力継続するか、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
上記（ａ），（ｂ）のいずれを実行するかの判定処理を行う情報処理方法にある。

さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
出力制御部に、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、バージイン発話の発生時にシステム発話の出力制御を行い、ユーザとシステム間のスムーズな対話を可能とした装置、方法が実現される。
具体的には、例えば、ステム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点からシステム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する。フェード処理完了後もフェード処理完了時点の出力状態を維持する。フェード処理中にシステム発話レベルが規定しきい値以下になった場合、システム発話を表示部に表示する。さらに、バージイン発話の意図や、システム発話内の重要語の有無に基づいて、システム発話の停止、継続、言い直しのいずれかを実行する。
本構成により、バージイン発話の発生時にシステム発話の出力制御を行い、ユーザとシステム間のスムーズな対話を可能とした装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ユーザ発話を認識して応答を行う情報処理装置の具体的な処理例について説明する図である。 情報処理装置の構成例と利用例について説明する図である。 バージイン発話に対する処理態様とメリット、デメリットについて説明する図である。 本開示の情報処理装置の実行する処理の概要について説明する図である。 情報処理装置の具体的な構成例について説明する図である。 情報処理装置の実行する処理について説明するフローチャートを示す図である。 情報処理装置の実行する処理について説明するフローチャートを示す図である。 システム発話実行中のユーザ発話（バージイン発話）検出時に実行する処理の具体例について説明する図である。 システム発話実行中のユーザ発話（バージイン発話）検出時に実行する処理の具体例について説明する図である。 システム発話実行中のユーザ発話（バージイン発話）検出時に実行する処理の具体例について説明する図である。 システム発話実行中のユーザ発話（バージイン発話）検出時に実行する処理の具体例について説明する図である。 システム発話実行中のユーザ発話（バージイン発話）検出時に実行する処理の具体例について説明する図である。 情報処理システムの構成例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．情報処理装置の構成例について
２．本開示の情報処理装置の実行するユーザの割り込み発話（ハージイン発話）に対する処理の概要について
３．情報処理装置の構成例について
４．情報処理装置の実行する処理のシーケンスについて
５．出力（音声、画像）制御部の実行する具体的な処理例について
６．その他の構成例について
７．本開示の情報処理装置の実行する処理の効果について
８．情報処理装置、および情報処理システムの構成例について
９．情報処理装置のハードウェア構成例について
１０．本開示の構成のまとめ

［１．情報処理装置の構成例について］
まず、図１以下を参照して、本開示の一実施例の情報処理装置の構成例について説明する。

図１は、ユーザ１の発するユーザ発話を認識して応答を行う情報処理装置１０の一処理例を示す図である。
情報処理装置１０は、ユーザの発話、例えば、
ユーザ発話＝「大阪の明日、午後の天気を教えて」
このユーザ発話の音声認識処理を実行する。

さらに、情報処理装置１０は、ユーザ発話の音声認識結果に基づく処理を実行する。
図１に示す例では、ユーザ発話＝「大阪の明日、午後の天気を教えて」に応答するためのデータを取得し、取得データに基づいて応答を生成して生成した応答を、スピーカー１４を介して出力する。
図１に示す例では、情報処理装置１０は、以下のシステム応答を行っている。
システム応答＝「大阪の明日、午後の天気は晴れですが、夕方、にわか雨がある可能性があります。」
情報処理装置１０は、音声合成処理（ＴＴＳ：Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）を実行して上記のシステム応答を生成して出力する。

情報処理装置１０は、装置内の記憶部から取得した知識データ、またはネットワークを介して取得した知識データを利用して応答を生成して出力する。
図１に示す情報処理装置１０は、カメラ１１、マイク１２、表示部１３、スピーカー１４を有しており、音声入出力と画像入出力が可能な構成を有する。

図１に示す情報処理装置１０は、例えばスマートスピーカーあるいはエージェント機器と呼ばれる。
本開示の情報処理装置１０は、図２に示すように、エージェント機器１０ａに限らず、スマホ１０ｂやＰＣ１０ｃ等のような様々な装置形態とすることが可能である。

情報処理装置１０は、ユーザ１の発話を認識して、ユーザ発話に基づく応答を行う他、例えば、ユーザ発話に応じて図２に示すテレビ、エアコン等の外部機器３０の制御も実行する。
例えばユーザ発話が「テレビのチャンネルを１に変えて」、あるいは「エアコンの設定温度を２０度にして」といった要求である場合、情報処理装置１０は、このユーザ発話の音声認識結果に基づいて、外部機器３０に対して制御信号（Ｗｉ－Ｆｉ、赤外光など）を出力して、ユーザ発話に従った制御を実行する。

なお、情報処理装置１０は、ネットワークを介してサーバ２０と接続され、サーバ２０から、ユーザ発話に対する応答を生成するために必要となる情報を取得することが可能である。また、音声認識処理や意味解析処理をサーバに行わせる構成としてもよい。

［２．本開示の情報処理装置の実行するユーザの割り込み発話（ハージイン発話）に対する処理の概要について］
次に、本開示の情報処理装置の実行するユーザの割り込み発話（ハージイン発話）に対する処理の概要について説明する。

音声対話システムにおいて、情報処理装置が音声合成処理（ＴＴＳ）によるシステム発話実行中にユーザが割り込み発話（バージイン発話）を行うと、システム側はユーザ発話を聞き取りにく、ユーザ側は話しづらい状態になるという問題を生じさせる。

このようなバージイン発話が発生した場合のシステム発話の停止タイミングの設定としては、以下の２つの設定例が考えられる。
（１）ユーザ発話の開始時点でシステム発話を停止する
（２）システム側でユーザ発話の意図の解釈が完了した時点で、システム発話を停止する

上記（１），（２）の処理を行った場合のメリットと、デメリットを図３に示す。
図３に示すように、
（１）ユーザ発話の開始時点でシステム発話を停止する場合のメリットとデメリットは以下の通りである。
メリット
システム発話音声が即時停止し、ユーザは話しやすい。
デメリット
ユーザ発話がシステムに向けられたものではない場合や、ユーザからのシステムに対する情報表示依頼のためのユーザ発話時にも、システム発話が中断することになり、不要なシステム発話中断が発生する。
突然、システム発話が停止すると、ユーザに違和感を生じさせる。

一方、（２）システム側でユーザ発話の意図の解釈が完了した時点で、システム発話を停止する場合のメリットとデメリットは以下の通りである。
メリット
ユーザ発話の意図が、停止不要な意図であると理解した場合に、システム発話の継続が可能
デメリット
突然、システム発話が停止すると、ユーザに違和感を生じさせる。
システム発話音声が、ユーザ発話を邪魔して話しにくい。

このように、システム発話の以下の２つの停止態様、すなわち、
（１）ユーザ発話の開始時点でシステム発話を停止する
（２）システム側でユーザ発話の意図の解釈が完了した時点で、システム発話を停止する
これらのいずれの場合も、デメリットがある。

以下において説明する本開示の構成は、これらのデメリットを低減する構成を有する。
図４を参照して、本開示の情報処理装置の実行するユーザの割り込み発話（ハージイン発話）に対する処理の概要について説明する。

図４に示すステップＳ１１において、情報処理装置１０がシステム発話を開始する。
図４に示すグラフは、横軸に時間（Ｔ）、縦軸にシステム発話の特性指標値（Ｓｖ）を設定したグラフである。
システム発話の特性指標値（Ｓｖ）とは、システム発話の音量、話速、ピッチの少なくともいずれかの値に基づく指標値であり、以下の特性を持つ指標値である。
システム発話の音量が大きいほど、指標値が大、
システム発話の話速が速いほど、指標値が大、
システム発話のピッチ（声の高さ）が高いほど、指標値が大、
これらの特性を持つ指標値である。

例えば、図４に示すグラフにおいて、
時間ｔ０～ｔ１の期間のシステム発話は、
システム発話の音量が大きい、
システム発話の話速が速い、
システム発話のピッチ（声の高さ）が高い、
これらの特性の少なくともいずれかを有するシステム発話である。

一方、時間ｔ２以降のシステム発話は、
システム発話の音量が小さい、
システム発話の話速が遅い、
システム発話のピッチ（声の高さ）が低い、
これらの特性の少なくともいずれかを有するシステム発話である。

情報処理装置１０は、時間ｔ０から、ステップＳ１１において、音声合成処理（ＴＴＳ）により以下のシステム発話を開始する。
システム発話＝山田さんからメッセージです。今日、オンラインゲームしない？ 少し仕事が遅くなるかもしれないんで・・・
このシステム発話を開始する。

このシステム発話の実行中に、ステップＳ１２において、ユーザ１は時間ｔ１から、以下のユーザ発話（バージイン発話）を開始する。
ユーザ発話（バージイン発話）＝もう出るから、今日の天気を教えて

本開示の情報処理装置１０は、ユーザ発話（バージイン発話）が開始された時間ｔ１から、システム発話の出力の制御を開始する。具体的には、少なくと以下のいずれかの処理を実行する。
システム発話の音量を徐々に小さくする。
システム発話の話速を徐々に遅くする。
システム発話のピッチ（声の高さ）を徐々に低くする。
少なくともこれらのいずれかの処理を実行する。なお、上記３つの処理、またはいずれか２つの処理を組み合わせて実行してもよい。
なお、以下では、この処理をフェード処理と呼ぶ。

この処理は、図４に示すステップＳ２１の処理である。
情報処理装置１０は、一般的なユーザ発話の１～２文節＋αの発話時間（例えば約１秒強～２秒程度）かけてフェード処理を実行する。
図に示す例では、時間ｔ１～ｔ２にかけてフェード処理を実行する。
情報処理装置１０は、このフェード処理期間（ｔ１～ｔ２）において、例えば、システム発話の音量を徐々に小さくする制御を行う。

このフェード処理期間内において、システム発話の特性指標値（Ｓｖ）が、予め規定したしきい値（システム発話表示しきい値（Ｔｈ１））以下になると、情報処理装置１０は、その後のシステム発話を情報処理装置１０の表示部に表示する処理を実行する。
この処理は、図４に示すステップＳ２２の処理である。
これは、ユーザが聞き取りにくいレベルになったシステム発話の内容をユーザに対して、表示データとして通知するための処理である。

情報処理装置１０は、時間ｔ２においてフェード処理を終了する。情報処理装置１０は、フェード処理の終了後もシステム発話を継続して実行する。
ただし、フェード処理の終了後のシステム発話は、フェード処理完了時点の特性を維持した状態（Ｄｕｃｋｉｎｇ状態）で実行される。
すなわち、
システム発話の音量が小さい。
システム発話の話速が遅い。
システム発話のピッチ（声の高さ）が低い。
少なくとも上記のいずれかの特性、すなわちフェード処理完了時点の特性を維持（Ｄｕｃｋｉｎｇ状態）してシステム発話が実行される。
この処理は、図４に示すステップＳ２３の処理である。

その後、時間ｔ３において、情報処理装置１０は、ステップＳ１２において実行されたユーザ発話（バージイン発話）、すなわち、
ユーザ発話（バージイン発話）＝もう出るから、今日の天気を教えて
このユーザ発話（バージイン発話）の意図解釈処理を完了すると、図４に示すステップＳ２４の処理を実行する。すなわち、
ユーザ発話（バージイン発話）の意図理解後、必要に応じてシステム発話を停止して、ユーザ発話に対する応答処理を実行する。

例えば、
ユーザ発話（バージイン発話）＝もう出るから、今日の天気を教えて
このユーザ発話に対するシステム応答、例えば、
システム応答＝今日の天気は晴れです。ただし夕方には雷雨があるかもしれません
このようなシステム応答の生成、出力処理を実行する。

このように、本開示の情報処理装置１０は、システム発話の実行中にユーザ発話（バージイン発話）を検出した場合、フェード処理を実行する。すなわち、
システム発話の音量を徐々に小さくする。
システム発話の話速を徐々に遅くする。
システム発話のピッチ（声の高さ）を徐々に低くする。
少なくともこれらのいずれかの処理を実行する。

なお、フェード処理の時間（図４に示す時間ｔ１～ｔ２）は、一般的なユーザ発話、すなわち１～２文節の発話を行う時間＋α（例えば約１秒強～２秒程度）とする。
ユーザからの１～２文節程度で終わる短い依頼やシステムへ向けたものではない発話の場合は、システム発話のフェードが完了する前にユーザ発話意図の解釈が可能となる。
このフェード処理の継続時間（図４に示す時間ｔ１～ｔ２）は、ユーザによって設定可能な構成としてもよい。
ユーザ調整可能な構成とすることで、例えばゆっくり話すことの多いユーザは、フェード処理の継続時間を長め（２～４秒）に設定するといった処理が可能となる。

フェード開始後、例えば、システム発話の音量、発話速度、ピッチ（声の高さ）が、ユーザが聞き取り困難なレベルになると、情報処理装置１０の表示部１３の画面に、後続するシステム発話の内容が表示される。
さらに、フェード処理完了後に、システム発話の音量、ピッチ（声の高さ）、発話速度が、ユーザが聞き取り困難なレベルになった後も、ユーザ発話の意図の解釈ができていない場合は、フェード完了後の状態でシステム発話を継続する。
従って、ユーザ発話が長い（１～２文節をこえる）発話である場合は、フェード完了後の状態でシステム発話が継続されることになる。

情報処理装置１０が、ユーザ発話の意図を取得できた場合は、取得したユーザ意図に応じてシステム発話の停止処理を行い、ユーザ発話に対応する処理を実行する。

ただし、例えば、ユーザ発話がシステム以外の第三者に対する発話であり、ユーザはシステム発話を聞いている状態であると推定される場合は、システム発話は継続する。
また、ユーザ発話がシステムに対するシステム発話内容の表示処理依頼等、システム発話に関する依頼等の場合にも、システム発話の中断の必要がないと判断し、システム発話は継続する。
このユーザ発話の意図解釈後のシステム発話は、元の標準の出力特性に戻して実行する。

本開示の情報処理装置１０は、このような処理を行う。バージイン発話の開始時点から、フェード処理を行うことで、システム側はユーザ発話を聞き取りやすくなり、ユーザ側も話しづらい状態になることなく、ユーザもユーザ発話を問題なく継続して実行することが可能となる。

［３．情報処理装置の構成例について］
次に、図５を参照して、情報処理装置の具体的な構成例について説明する。
図５は、ユーザ発話を認識して応答を行う情報処理装置１００の一構成例を示す図である。

図５に示すように、情報処理装置１００は、音声入力部１０１、音声発話区間検出部１０２、音声認識部１０３、発話意味解析部１０４、画像入力部１０５、画像認識部１０６、センサー１０７、センサー情報解析部１０８、出力（音声、画像）制御部部１１０、応答生成部１２１、音声合成部１２２、音声出力部１２３、表示画像生成部１２４、画像出力部１２５を有する。
なお、これらの構成要素は、全てを１つの情報処理装置１００内部に構成することも可能であるが、一部の構成や機能を他の情報処理装置や外部サーバに備える構成としてもよい。

ユーザの発話音声はマイクなどの音声入力部１０１に入力される。
音声入力部（マイク）１０１は、入力したユーザ発話音声を、音声発話区間検出部１０２に入力する。
音声発話区間検出部１０２は、入力したユーザ発話音声に対する音声発話区間検出処理を実行する。音声発話区間検出部１０２は、例えば、ＶＡＤ（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）機能を有し、ユーザが音声発話を行っているか否かの検出処理を高レスポンスで実行し、ユーザ発話の開始と終了のタイミングを低遅延で特定する。

ＶＡＤ（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）は、入力音信号から、ユーザ発話音声と環境雑音を判別して、ユーザ音声が発話されている期間を特定することを可能とした技術である。
音声発話区間検出部１０２の検出した音声発話区間情報は、音声データと共に音声認識部１０３に入力される。さらに、音声発話区間情報は、出力（音声、画像）出力制御部１１０にも入力される。

音声認識部１０３は、例えばＡＳＲ（Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
音声認識部１０３において生成されたテキストデータは、発話意味解析部１０４に入力される。

発話意味解析部１０４は、テキストに含まれるユーザの意図候補を選択して出力する。
発話意味解析部１０４は、例えば、ＮＬＵ（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語理解機能を有し、テキストデータから、ユーザ発話の意図（インテント：Ｉｎｔｅｎｔ）や、発話に含まれる意味のある要素（有意要素）である実体情報（エンティティ：Ｅｎｔｉｔｙ）を推定する。

具体例について説明する。例えば以下のユーザ発話が入力されたとする。
ユーザ発話＝明日の大阪の午後の天気を教えて
このユーザ発話の、
意図（インテント）は、天気を知りたいであり、
実体情報（エンティティ）は、大阪、明日、午後、これらのワードである。

ユーザ発話から、意図（エンティティ）と、実体情報（エンティティ）を正確に推定、取得することができれば、情報処理装置１００は、ユーザ発話に対する正確な処理を行うことができる。
例えば、上記の例では、明日の大阪の午後の天気を取得して、応答として出力することができる。

なお、発話意味解析部１０４におけるユーザ発話の意図推定処理は、ユーザ発話の音声発話区間が終了した後、すなわちユーザ発話が完了した後に行われるため、ユーザが発話をしている期間、すなわちユーザ発話の検出実行中の期間は、ユーザ発話の意図は、取得できない状態となる。

ユーザ発話の音声発話区間が終了し、発話意味解析部１０４におけるユーザ発話の意図推定、すなわちユーザ発話に対する意図（インテント）と実体情報（エンティティ）の推定が完了すると、この推定結果が、応答生成部１２１に入力される。

応答生成部１２１は、発話意味解析部１０４において推定されたユーザ発話の意図（インテント）と実体情報（エンティティ）に基づいて、ユーザに対する応答を生成する。応答は、音声、または画像の少なくともいずれかによって構成される。
応答音声を出力する場合は、音声合成部１２２が音声合成処理（ＴＴＳ：Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）により生成した音声情報を、スピーカー等の音声出力部１２３を介して出力する。
応答画像を出力する場合は、表示画像合成部１２４において生成した表示画像情報を、ディスプレイ等の画像出力部１２５を介して出力する。
画像出力部１２５は、例えばＬＣＤ、有機ＥＬディスプレイ等のディスプレイ、あるいはプロジェクション表示を行うプロジェクタ等によって構成される。
なお、情報処理装置１００は、外部接続機器、例えばテレビ、スマートフォン、ＰＣ、タブレット、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）機器、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）機器、その他の家電製品に画像を出力して表示することも可能である。

出力（音声、画像）制御部１１０には、以下の各データが入力される。
（１）音声発話区間検出部１０２が、ユーザ発話に基づいて検出したユーザ音声発話区間情報、
（２）発話意味解析部１０４が、テキストデータに対する自然言語理解（ＮＬＵ）を実行して生成したユーザ発話の意図（インテント）と実体情報（エンティティ）、

また、出力（音声、画像）制御部１１０には、以下の各情報も入力される。
（３）カメラなどの画像入力部１０５が取得した発話ユーザおよびその周囲の画像に対する画像認識部１０６の画像認識結果情報、
（４）センサー１０７が取得した発話ユーザおよびその周囲の状態の検出情報に基づいて、センサー情報解析部１０８が解析したセンサー解析情報、

出力（音声、画像）制御部１１０は、上記（１）～（４）の情報を入力して、システム発話の制御を実行する。すなわち、
音声合成部１２２において生成されスピーカー等の音声出力部１２３を介して出力する音声情報、
表示画像合成部１２４において生成され、ディスプレイ等の画像出力部１２５を介して出力される画像情報、
これらの出力情報の制御を行う。

具体的には、例えば、先に図４を参照して説明した処理を行う。
すなわち、システム発話途中にユーザの割り込み発話、すなわちバージイン発話を検出した場合、システム発話のフェード処理を実行する。具体的には、
システム発話の音量を徐々に小さくする。
システム発話の話速を徐々に遅くする。
システム発話のピッチ（声の高さ）を徐々に低くする。
少なくともこれらのいずれかの処理を実行する。
さらに、システム発話の画像表示制御も実行する。

バージイン発話に対する制御を行う場合、出力（音声、画像）制御部１１０には、まず、音声発話区間検出部１０２から、ユーザ発話の音声発話区間情報が入力される。
最初に、ユーザ発話の開始タイミング情報が入力される。
その後、ユーザ発話期間の完了後に、発話意味解析部１０４において推定されたユーザ発話意図が入力される。
また、カメラなどの画像入力部１０５が取得した発話ユーザおよびその周囲の画像に対する画像認識部１０６の画像認識結果情報、センサー１０７が取得した発話ユーザおよびその周囲の状態の検出情報に基づいて、センサー情報解析部１０８が解析したセンサー解析情報が入力される。
出力（音声、画像）制御部１１０は、ユーザ発話期間に入力するこれらの情報に基づいて、例えば、先に図４を参照して説明した処理を行う。
具体的な処理例については、後段で説明する。

［４．情報処理装置の実行する処理のシーケンスについて］
次に、図６、図７に示すフローチャートを参照して、情報処理装置１００の実行する処理のシーケンスについて説明する。
図６、図７に示すフローチャートに従った処理は、例えば情報処理装置１００の記憶部に格納されたプログラムに従って実行することが可能である。
情報処理装置１００における処理は、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
以下、図６、図７に示すフローの各ステップの処理について説明する。

なお、図６、図７に示すフローは情報処理装置１００が、ユーザ発話を入力したことを検知したことをトリガとして開始される。
（ステップＳ１０１）
まず、ステップＳ１０１において、情報処理装置１００が検出したユーザ発話が、システム発話の実行中に行われたユーザ発話、すなわちバージイン発話であるか否かを判定する。
ユーザ発話がバージイン発話である場合は、ステップＳ１２１に進む。
一方、ユーザ発話がバージイン発話でない場合、すなわちユーザ発話が、システム発話の実行中でない期間の発話である場合は、ステップＳ１１１に進む。

（ステップＳ１１１～Ｓ１１３）
まず、ステップＳ１０１において、ユーザ発話がバージイン発話でない場合、すなわちユーザ発話が、システム発話の実行中でない期間の発話である場合の処理について説明する。

ユーザ発話がバージイン発話でない場合は、ステップＳ１１１～Ｓ１１２において、ユーザ発話の完了を待機し、その後、ステップＳ１１３において、発話意味解析部１０４が、音声認識部１０３の生成したユーザ発話対応のテキストを解析して、ユーザ発話の意図を取得する。
前述したように、発話意味解析部１０４は、例えば、ＮＬＵ（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語理解機能を有し、テキストデータから、ユーザ発話の意図（インテント：Ｉｎｔｅｎｔ）や、発話に含まれる意味のある要素（有意要素）である実体情報（エンティティ：Ｅｎｔｉｔｙ）を推定する。

その後、ステップＳ１７２に進み、ユーザ発話意図に応じたシステム応答を行う。
システム応答は、音声出力、画像出力の少なくともいずれかの出力処理によって実行する。音声を出力する場合は、音声合成部１２２が音声合成処理（ＴＴＳ：Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）により生成した音声情報を、スピーカー等の音声出力部１２３を介して出力する。
応答画像を出力する場合は、表示画像合成部１２４において生成した表示画像情報が、ディスプレイ等の画像出力部１２５を介して出力する。

（ステップＳ１２１）
次に、ステップＳ１０１において、ユーザ発話がバージイン発話であると判定した場合、すなわちユーザ発話が、システム発話の実行中に行われた発話であると判定した場合の処理について説明する。

ユーザ発話がバージイン発話であると判定した場合、出力（音声、画像）制御部１１０は、システム発話のフェード処理を開始する。具体的には、
（ａ）システム発話の音量を徐々に小さくする。
（ｂ）システム発話の話速を徐々に遅くする。
（ｃ）システム発話のピッチ（声の高さ）を徐々に低くする。
少なくともこれら（ａ）～（ｃ）のいずれかの処理を開始する。

音量とピッチ（声の高さ）を下げる方向にフェードすることで、ユーザは徐々にシステム発話が耳に入りにくくなる。これによりユーザは話すのを続けるほどに（発話が長いほど）発話がしやすくなる。
人は話をする時に、最初の意味の塊となる１～２文節程度は発話をする前に何を話すかを決めているが、長めの発話をする際には話しながら次の意味の塊となる１～２文節程度に何と言うかを考えながら発話を継続していると考えられる。この考えに基づくと、最初の１～２文節程度のユーザ発話時間において、フェード処理を行い、システム発話をユーザの耳に入りにくくすることで、ユーザは長めの発話を行いやすくなる。

また、システム発話の速度を下げる（遅くする）方向に変化させていくことで、フェード実行期間およびフェード処理完了後のシステム発話の進行を遅らせることができる。これにより、ユーザが聞き取りにくい、または聞き取れない期間のシステム発話に重要語が含まれる確率が下がる。

この結果、後段のステップＳ１５３で実行するシステム発話の継続、または言い直しの判定処理において、システム発話の継続が選択されやすくなる。
なお、システム発話の継続処理や、言い直し処理の詳細については後述する。
システム発話の言い直しを実行すると、ユーザに冗長性を感じさせ情報提示の時間もかかってしまうため極力避け、システム発話をそのまま継続することが望ましいが、システム発話の速度を低下させて、システム発話の進行を遅らせることにより言い直しが発生しにくくなる効果がある。

（ステップＳ１２２～Ｓ１２５）
ステップＳ１２２～Ｓ１２５では、一定時間、フェード処理を継続する。
先に図４を参照して説明したように、一般的なユーザ発話の１～２文節＋αの発話時間（例えば約１秒強～２秒程度）かけてフェード処理を継続的に実行する。

フェード完了後にはシステム発話音声の音量とピッチがユーザ発話を阻害しない程度のレベル、すなわち聞いても言葉として認知する事が出来ないレベルになるような傾きでフェードを行う。
フェード時間を１～２文節の発話を行う時間＋αとすることで、ユーザ発話が短い場合にはシステム発話のレベルが下がりきらずに継続できる。なお、この処理によって、後述するステップＳ１５３における判定処理において、システム発話言い直し不要の判定がなされる可能性を高める効果が発生する。

ユーザ発話が長い場合には、ユーザ発話の開始後１～２文節以降でシステム発話が聞こえにくくなり、ユーザは、ユーザ発話を継続しやすくなるという効果を持つ。
なお、フェード処理は、先に図４を参照して説明したようにシステム発話の特性（音量、話速、ピッチ）をリニアに下降させる設定としても良いし、人の聴覚特性に基づいてｌｏｇ曲線を使用して下降してもよい。

なお、フェード処理の実行中にユーザ発話が完了せずに、規定のフェード処理時間（例えば約１秒強～２秒程度）が経過了すると、システム発話は、フェード完了状態を維持した状態（Ｄｕｃｋｉｎｇ状態）に設定される。

このフェード完了状態の維持状態（Ｄｕｃｋｉｎｇ状態）では、システム発話音声の音量とピッチ（声の高さ）はユーザ発話を阻害しないレベル、例えばシステム発話音が存在していることは分かるが、聞いても言葉として認知する事が出来ないレベルであり、速度は聴感上不自然にならない限界の遅さとなる。
この音量、ピッチ（声の高さ）、速度の状態が維持されたままシステム発話は少なくともユーザ発話の完了を検知するまで継続される。
このフェード完了状態（Ｄｕｃｋｉｎｇ状態）を維持することにより、ユーザは自分の発話を邪魔されないレベルでシステム発話にどの程度の後続発話があったのかを知ることができる。

ステップＳ１２３では、フェード処理の実行期間内にシステム発話の特性指標値（Ｓｖ）（＝音量、話速、ピッチ（声の高さ）に基づく算出指標値）が、予め規定したしきい値（システム発話表示しきい値（Ｔｈ１））以下になると、その後のシステム発話を情報処理装置の表示部に表示する処理を実行する。

例えば、図８に示すように、フェード中（フェード完了待ち状態の間）に、フェードレベルが予め規定したしきい値（システム発話表示しきい値（Ｔｈ１））以下になると、システム発話内容を情報処理装置１００の画像出力部１２５（表示部）にテキストで表示する処理を行う。

なお、しきい値（システム発話表示しきい値（Ｔｈ１））は可変パラメータとし、フェード開始レベルより小さく、フェード完了状態（Ｄｕｃｋｉｎｇ状態）レベル以上の範囲で設定可能とする。しきい値はシステム発話の音声を言葉として認知する事が困難になり始めるレベルが望ましい。

画像出力部１２５（表示部）におけるシステム発話の表示位置は、出力（音声、画像）制御部１１０が、カメラなどの画像入力部１０５の入力情報に基づいて画像認識部１０６が生成した画像認識結果情報や、センサー１０７からの情報に基づいて、センサー情報解析部１０８が解析したセンサー解析情報を適用して決定する。

例えば、ユーザが情報処理装置１００の画像出力部１２５（表示部）、あるいはプロジェクション画面を見ている、または情報処理装置１００の方向を向いている場合は、情報処理装置１００の本体の表示デバイスにシステム発話のテキスト表示を行う。
テレビ・スマートフォン・ＰＣ・タブレット・その他家電製品のモニター画面など、連携機器の画面をユーザが見ている時は、ユーザが見ている連携機器の画面にテキスト表示する。
また、ユーザがＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）機器や、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）機器を装着している場合は、それらの機器のユーザ視野内にシステム発話のテキスト表示を行う。

なお、システム発話内容の全体をテキストで表示してもよいし、システムがまだ発話していないテキストのみを表示してもよい。
また、図８に示す例のように、どこまでシステム発話完了部分で、どこからがシステム発話が完了していない部分であるかを明示して表示してもよい。
また、表示場所の領域がどれだけあるかに応じて、全体表示か、システム未発話部分のみの表示とするかを切り替える制御を行ってもよい。

このように、システムがまだ発話していないテキストを視覚情報としてユーザに提示することにより、システム発話の後半に重要な情報があり、その前にユーザが割り込み発話（バージイン発話）を開始してしまった場合にも、ユーザに重要情報を提示することが可能となる。

図８に示す例の場合、１０時スタートという情報をシステム発話から聞く前にユーザが割り込み発話（バージイン発話）を開始しているが、ユーザは、表示部の表示テキストを見ることで１０時スタートであることを知ることができるようになる。

フェード処理の実行期間内に、ユーザ発話（バージイン発話）が完了した場合（ステップＳ１２４の判定がＹｅｓ）には、ステップＳ１５１に進む。
また、ユーザ発話（バージイン発話）が完了する前に規定のフェード処理実行期間（例えば約１秒強～２秒程度）が終了すると、ステップＳ１２６に進む。

（ステップＳ１２６）
ステップＳ１２６において、出力（音声、画像）制御部１１０は、システム発話のフェード処理を終了する。ただし、システム発話は、フェード処理終了時点の特性を維持して継続する。

すなわち、
システム発話の音量が小さい。
システム発話の話速が遅い。
システム発話のピッチ（声の高さ）が低い。
少なくとも上記のいずれかの特性、すなわちフェード処理完了時点の特性を維持してシステム発話を継続して実行する。

（ステップＳ１２７）
ステップＳ１２７において、ユーザ発話（ハージイン発話）の完了判定がなされる。
これは、音声発話区間検出部１０２の検出する音声発話区間情報に基づいて判定される。
ユーザ発話（ハージイン発話）が完了したと判定すると、ステップＳ１５１に進む。

（ステップＳ１５１）
ステップＳ１５１では、発話意味解析部１０４が、音声認識部１０３の生成したユーザ発話対応のテキストを解析して、ユーザ発話の意図を取得する。
前述したように、発話意味解析部１０４は、例えば、ＮＬＵ（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語理解機能を有し、テキストデータから、ユーザ発話の意図（インテント：Ｉｎｔｅｎｔ）や、発話に含まれる意味のある要素（有意要素）である実体情報（エンティティ：Ｅｎｔｉｔｙ）を推定する。

（ステップＳ１５２）
ステップＳ１５２において、出力（音声、画像）制御部１１０は、システム発話の停止判定を行う。
出力（音声、画像）制御部１１０は、例えば、発話意味解析部１０４から入力するユーザ発話の意図（インテント）に基づいて、システム発話の停止判定を行う。

具体的には、以下の処理を実行する。
ユーザ発話意図に応じたシステム機能のアクション実行時に、ユーザへの応答に音声出力が伴う場合は、現在出力中のシステム発話の停止が必要と判定する。
ユーザへの応答に音声出力が伴わない場合は現在出力中のシステム発話の停止は不要と判定する。

以下に具体的なシステム発話停止判定処理の例を示す。
（システム発話停止不要と判定する例１）
（１ａ）ユーザ発話がシステム（情報処理装置１００）以外の第三者に実行されている場合、
（１ｂ）ユーザ意図の解釈ができなかった場合、
（１ｃ）ユーザ発話意図に沿ったアクション機能をシステム（情報処理装置１００）が持っていない（実行できない）場合、
このような場合は、ユーザ発話（バージイン発話）に対して、システム（情報処理装置１００）からの音声応答ができないのでシステム発話の停止は不要と判定する。

（システム発話停止不要と判定する例２）
ユーザ発話が、例えば、
「添付の写真見せて」、「電気付けて」、「エアコン／テレビつけて」、「写真撮って」、「次の曲にして」、「音量上げて／下げて」、
これらのように、ユーザ発話意図が理解でき、かつ、ユーザ発話意図に沿ったアクションをシステム（情報処理装置１００）が、応答音声を出力することなく実行できる場合、
このような場合は、システム（情報処理装置１００）がユーザ発話意図に基づくアクションを実行すればよく、音声応答は不要であるので、システム発話の停止は不要と判定する。

（システム発話停止必要と判定する例１）
ユーザ発話が、例えば、
「天気教えて」「このメールに～～～って返信しておいて」、「いま何時」、「次のニュース／メッセージを読み上げて」、「～～について検索して」、
これらのように、ユーザ発話意図が理解でき、かつ、ユーザ発話意図に沿ったアクションをシステム（情報処理装置１００）が、応答音声を出力しなければ実行できない場合、
このような場合は、システム（情報処理装置１００）がユーザ発話意図に基づくアクションとして音声応答が必要となるので、システム発話の停止を必要と判定する。

このように、出力（音声、画像）制御部１１０は、ステップＳ１５２において、例えば、発話意味解析部１０４から入力するユーザ発話の意図（インテント）情報を入力してシステム発話の停止判定を行う。
システム発話の停止不要と判定した場合は、ステップＳ１５３に進む。
一方、システム発話の停止必要と判定した場合は、ステップＳ１７１に進む。

まず、システム発話の停止が必要であると判定した場合のステップＳ１７１以下の処理について説明する。
（ステップＳ１７１～Ｓ１７２）
ステップＳ１５２において、システム発話の停止必要と判定した場合、出力（音声、画像）制御部１１０は、ステップＳ１７１において、現在出力中のシステム発話音声を即時停止する処理を行う。

さらに、ステップＳ１７２において、ユーザ発話意図に応じたシステム応答を行う。
システム応答は、音声出力、画像出力の少なくともいずれかの出力処理によって実行する。音声を出力する場合は、音声合成部１２２が音声合成処理（ＴＴＳ：Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）により生成した音声情報を、スピーカー等の音声出力部１２３を介して出力する。
応答画像を出力する場合は、表示画像合成部１２４において生成した表示画像情報が、ディスプレイ等の画像出力部１２５を介して出力する。

次に、ステップＳ１５２において、システム発話の停止が不要であると判定した場合のステップＳ１５３以下の処理について説明する。

（ステップＳ１５３）
ステップＳ１５２において、現在出力中のシステム発話の停止が不要と判定されると、次に、出力（音声、画像）制御部１１０は、ステップＳ１５３において、
（ａ）現在出力中のシステム発話を継続するか、または、
（ｂ）現在出力中のシステム発話の発話済みの特定位置まで戻って、システム発話のいい直しを実行するか、
上記（ａ）システム発話継続，（ｂ）システム発話言い直し、これらのいずれを実行するかを判定する。

この判定処理は、ユーザ発話（バージイン発話）の開始（フェード開始）から、ユーザ発話（バージイン発話）の終了までの期間（＝システム発話のフェード処理開始～フェード完了状態維持継続期間（Ｄｕｃｋｉｎｇ）内）に実行されたシステム発話中に重要語が含まれているか否かの判断に基づいて行われる。
重要語が含まれている場合は、（ｂ）システム発話言い直しと判定し、
重要語が含まれていない場合は、（ａ）システム発話継続と判定する。

以下、具体的な判定処理例について説明する。
まず、出力（音声、画像）制御部１１０は、ユーザ発話（バージイン発話）の開始（フェード開始）から、ユーザ発話（バージイン発話）の終了までの期間（＝システム発話のフェード処理開始～フェード完了状態維持継続期間（Ｄｕｃｋｉｎｇ）内）に実行されたシステム発話のテキストを自然言語解析し、発話の中で聞き逃すとユーザにシステム発話に基づく情報が正しく伝わらなくなる重要語を抽出する。

重要語とは、例えば、以下の語である。
固有名詞、日にち、時間、場所、金額の情報、数字、目的語、対象格等の語を重要語として判定する。
なお、上記例以外にも、システム（情報処理装置１００）側で、予めユーザに伝えるべき文言を重要語として発話テキスト内にタグで定義しておいてもよい。

ユーザ発話（バージイン発話）の開始（フェード開始）から、ユーザ発話（バージイン発話）の終了までの期間（＝システム発話のフェード処理開始～フェード完了状態維持継続期間（Ｄｕｃｋｉｎｇ）内）に実行されたシステム発話に、
重要語が発話されていない場合には、（ａ）システム発話継続と判定する。
一方、重要語が発話されている場合には、（ｂ）システム発話言い直しと判定する。

（ａ）システム発話継続と判定した場合には、ステップＳ１５４に進む。
一方、（ｂ）システム発話言い直しと判定した場合には、ステップＳ１５５に進む。

（ステップＳ１５４）
ステップＳ１５３において、システム発話継続と判定した場合には、ステップＳ１５４に進む。
出力（音声、画像）制御部１１０は、ステップＳ１５４において、現在出力中のシステム発話の音量、ピッチ、話速をフェード前のレベルに戻してそのまま発話を継続する。

（ステップＳ１５４）
一方、ステップＳ１５３において、システム発話言い直しと判定した場合には、ステップＳ１５５に進む。
出力（音声、画像）制御部１１０は、ステップＳ１５５において、現在出力中のシステム発話の音量、ピッチ、話速をフェード前のレベルに戻し、上述した重要語検索期間、すなわち、フェード処理開始後の重要語検索期間の最初の重要語を含む文節の発話位置まで戻ってシステム発話を再開する。

ステップＳ１５３において実行するシステム発話の継続、言い直し判定では、フェード処理開始後の重要語検索期間をユーザ発話の開始から終了までの期間に限定している。
例えば、ユーザ発話が短い場合は、システム発話のフェード実行期間が短くなり、その中に重要語が含まれる確率も小さくなる。
従って、例えばユーザ発話（バージイン発話）が、システム（情報処理装置１００）からの音声応答を伴わない機器操作依頼系の短いユーザ発話である場合は、システム発話のフェード実行期間が短くなり、その中に重要語が含まれる確率も小さく、システム発話は継続されやすくなる。
また、その中に重要語が含まれ、言い直しが必要となった場合でも、言い直し区間は最低限の短い区間を言い直し区間に設定してシステム発話を再開することが可能であり、ユーザによる重要語の聞き逃しを防止することが可能となる。

（ステップＳ１５６）
ステップＳ１５４におけるシステム発話の継続、またはステップＳ１５５のシステム発話の言い直しの実行後は、ステップＳ１５６に進む。
ステップＳ１５６において、情報処理装置１００は、ユーザ発話（バージイン発話）に応じた処理を実行する。

この処理は、例えば、ユーザの発話（バージイン発話）が、例えば、
ユーザ発話＝「電気つけて」
この発話であった場合、例えば、情報処理装置１００は制御信号（Ｗｉ－ｆｉ，赤外線等）を外部機器（照明機器）に出力して電気をつける処理を実行する。

［５．出力（音声、画像）制御部の実行する具体的な処理例について］
次に、図９以下を参照して、出力（音声、画像）制御部１１０の実行する具体的な処理例について説明する。
以下の具体的処理例について、順次、説明する。
（処理例１）長いユーザ発話（バージイン発話）により、システム発話の停止が必要となる処理例
（処理例２）短いユーザ発話（バージイン発話）により、システム発話の継続が可能となる処理例
（処理例３）ユーザ発話（バージイン発話）により、システム発話の言い直しが必要となる処理例

（処理例１）長いユーザ発話（バージイン発話）により、システム発話の停止が必要となる処理例
まず、図９を参照して処理例１、すなわち、長いユーザ発話（バージイン発話）により、システム発話の停止が必要となる処理例について説明する。

図９に示す例において、
まず、ステップＳ２０１において、時間ｔ０から、情報処理装置１００が、以下のシステム発話を開始する。
システム発話＝山田さんからメッセージです。今日、オンラインゲームしない？ 少し仕事が遅くなるかもしれないんで、・・
次に、ステップＳ２０２において、時間ｔ１から、ユーザが以下のユーザ発話（バージイン発話）を開始する。
ユーザ発話（バージイン発話）＝いいね、やろう。１０時でＯＫって返信して

情報処理装置１００の出力（音声、画像）制御部１１０は、
ユーザ発話（バージイン発話）を開始された時間ｔ１から、システム発話のフェード処理を開始する。

その後、フェード処理実行期間中の時間ｔ２において、システム発話の特性指標値（Ｓｖ）（＝音量、話速、ピッチ（声の高さ）に基づく算出指標値）が、予め規定したしきい値（システム発話表示しきい値（Ｔｈ１））以下になったため、システム発話を情報処理装置の表示部に表示する処理を実行する。
図９に示すステップＳ２０３の処理である。

その後、時間ｔ３において、出力（音声、画像）制御部１１０は、システム発話のフェード処理を終了する。ただし、システム発話は、フェード処理終了時点の特性を維持して継続する。

その後、時間ｔ４において、システム（情報処理装置１００）は、ユーザ発話（バージイン発話）の意図取得を完了する。
出力（音声、画像）制御部１１０は、ユーザ発話意図に沿ったアクションは、システム（情報処理装置１００）が、応答音声を出力しなければ実行できないと判定し、この判定に応じて、実行中のシステム発話を停止する。
図９に示すステップＳ２０４の処理である。

その後、ステップＳ２０５において、システム（情報処理装置１００）は、ユーザ発話（バージイン発話）の意図に沿ったアクションを実行する。
すなわち、以下のシステム応答を出力する。
システム応答＝返信内容は・・・
このシステム応答は、フェード処理の無い標準の出力レベルで実行する。

この図９に示す処理は、長いユーザ発話（バージイン発話）により、システム発話の停止が必要となる処理例である。
この処理例におけるメリットには以下のものがある。
（１）ユーザはメッセージ内容のシステム発話を最後まで聞く前に返信を話し始めたが、画面表示から１０時スタート提案であることを知ることができたので、ユーザ発話として「１０時でＯＫ」とするシステム発話に応じた時間情報を含めたユーザ発話を行うことができる。
（２）ユーザ発話の後半期間にシステム発話音声はフェード完了状態（出力低下等）が維持されているため、ユーザはシステム発話を気にすることなく長めの発話を邪魔されずに話しやすくなる。

（処理例２）短いユーザ発話（バージイン発話）により、システム発話の継続が可能となる処理例
次に、図１０を参照して処理例２、すなわち、短いユーザ発話（バージイン発話）により、システム発話の継続が可能となる処理例について説明する。

図１０に示す例において、
まず、ステップＳ２２１において、時間ｔ０から、情報処理装置１００が、以下のシステム発話を開始する。
システム発話＝佐藤さんからメールです。先日の旅行の写真を添付します。とてもたのしかったので、またみんなで・・・
次に、ステップＳ２２２において、時間ｔ１から、ユーザが以下のユーザ発話（バージイン発話）を開始する。
ユーザ発話（バージイン発話）＝写真見せて

情報処理装置１００の出力（音声、画像）制御部１１０は、
ユーザ発話（バージイン発話）を開始された時間ｔ１から、システム発話のフェード処理を開始する。

その後、フェード処理実行期間中の時間ｔ２において、システム（情報処理装置１００）は、ユーザ発話（バージイン発話）の意図取得を完了する。
ステップＳ２２３において、出力（音声、画像）制御部１１０は、ユーザ発話意図に沿ったアクションが、システム（情報処理装置１００）による応答音声を出力することなく実行可能であると判定し、この判定に応じて、ユーザ発話意図に沿ったアクションを実行し、さらに、実行中のシステム発話を継続する。
継続処理に際して、出力（音声、画像）制御部１１０は、実行中のシステム発話をフェード処理前のレベルに戻す処理を行う。
すなわち、フェード処理前のシステム発話の音量、話速、ピッチ（声の高さ）に戻して、システム発話を継続する。

なお、ステップＳ２２３において情報処理装置１００が実行するユーザ発話意図に沿ったアクションは、情報処理装置１００の画像出力部（表示部）１２５に写真を表示する処理である。

この図１０に示す処理は、短いユーザ発話（バージイン発話）により、システム発話の継続が可能となる処理例である。
この処理例におけるメリットには以下のものがある。
（１）システム発話の不要な中断や言い直しが発生しないためユーザはメッセージ内容を聞くのに余計な時間がかからず、システム発話の言い直しによる冗長性も感じにくくなる。
（２）ユーザは目では添付の写真を見ながら、同時に耳ではメッセージの内容を継続して聞くことができる。

（処理例３）ユーザ発話（バージイン発話）により、システム発話の言い直しが必要となる処理例
次に、図１１を参照して処理例３、すなわち、ユーザ発話（バージイン発話）により、システム発話の言い直しが必要となる処理例について説明する。

図１１に示す例において、
まず、ステップＳ２４１において、時間ｔ０から、情報処理装置１００が、以下のシステム発話を開始する。
システム発話＝鈴木さんからメールです。昨日の飲み会の写真を添付します。会費は４０００円・・・・・・
次に、ステップＳ２４２において、時間ｔ１から、ユーザが以下のユーザ発話（バージイン発話）を開始する。
ユーザ発話（バージイン発話）＝写真見せて

情報処理装置１００の出力（音声、画像）制御部１１０は、
ユーザ発話（バージイン発話）を開始された時間ｔ１から、システム発話のフェード処理を開始する。

その後、フェード処理実行期間中の時間ｔ２において、システム（情報処理装置１００）は、ユーザ発話（バージイン発話）の意図取得を完了する。
ステップＳ２４３ａにおいて、出力（音声、画像）制御部１１０は、ユーザ発話意図に沿ったアクションは、システム（情報処理装置１００）が、応答音声を出力することなく実行可能であると判定し、この判定に応じて、ユーザ発話意図に沿ったアクションを実行する。
情報処理装置１００が実行するユーザ発話意図に沿ったアクションは、情報処理装置１００の画像出力部（表示部）１２５に写真を表示する処理である。

さらに、出力（音声、画像）制御部１１０は、ステップＳ２４３ｂにおいて、フェード処理実行中のシステム発話の言い直し処理を開始する。
この言い直し処理は、フェード処理開始後の重要語＝４０００円を含む文節から開始する。
また、このシステム発話の言い直し処理に際して、出力（音声、画像）制御部１１０は、システム発話をフェード処理前のレベルに戻す処理を行う。
すなわち、フェード処理前のシステム発話の音量、話速、ピッチ（声の高さ）に戻して、システム発話の言い直しを行う。

この図１１に示す処理は、ユーザ発話（バージイン発話）により、システム発話の言い直しが必要となる処理例である。
この処理例におけるメリットには以下のものがある。
（１）ユーザは言い直しにより会費が４，０００円である事を知ることができ、かつ添付の写真を見ながらメッセージの内容を最低限の言い直しで聞くことができる。

［６．その他の構成例について］
次に上述した実施例とは異なるその他の構成例について説明する。
以下、（１）～（６）の６つの構成例について、順次、説明する。
（１）ユーザのシステム発話に対する割り込み発話であるバージイン発話を邪魔せずに、システム発話の続きを、情報処理装置の表示部に表示する構成
例えば、情報処理装置の表示部の表示領域が狭い場合などには、システム発話のテキストを、表示部にすべて表示するのではなく、抽出した重要語のみをキーワードとして表示してもよい。

（２）システム発話のフェード開始条件として、ユーザ発話音声の検出（ユーザ発話開始の検出）以外の検出情報を利用する構成
システム発話のフェード開始条件として、ユーザ発話音声の検出（ユーザ発話開始の検出）に加えて、発話ユーザの視線や顔がシステム（情報処理装置１００）を見ているかどうかを画像入力部１０５の入力画像や、センサー１０７による検出情報を利用して検出する。

出力（音声、画像）制御部１１０は、これらの検出情報に基づいて、ユーザ発話（バージイン発話）が開始されたことを検出し、システム発話のフェード処理を開始してもよい。
さらに、システム（情報処理装置１００）と通信可能な外部機器の使用状況に基づくユーザ発話（バージイン発話）の開始判定を行ってもよい。

例えば、ユーザ発話音声が検出され、かつユーザがシステム（情報処理装置１００）を見ている時のみフェード処理を開始する。
一方、ユーザ発話音声が検出されたが、ユーザがシステム（情報処理装置１００）方向ではなく、他の人に向いている時はフェード処理を開始しない。
また、ユーザ発話音声が検出されたが、ユーザがシステム（情報処理装置１００）ではなく、他の対話機器と会話中や電話中の場合はフェード処理を開始しない。
さらに、フェード処理完了後のフェード完了状態維持状態（Ｄｕｃｋｉｎｇ状態）において、ユーザ発話が継続していてもシステム発話を文の終端やイントネーション句の終端で停止してもよい。

（３）システム発話の音声出力部１２３を、ヘッドホンなどユーザの耳に装着する機器とした場合のバージイン時の処理について
情報処理装置１００の音声出力部１２３は、ユーザの耳に装着するヘッドホンやイヤホンとする構成も可能である。

この場合、ユーザ発話（バージイン発話）が発生した場合、上述したフェード処理、すなわち音量、話速、ピッチの制御処理に併せて、あるいはこれらの制御処理の代わりに、ノイズキャンセルの制御を行う構成としてもよい。
例えば、ユーザ発話（バージイン発話）が発生した場合、ノイズキャンセルの機能を徐々に弱める処理を行う。

この処理により、ユーザ発話中に周囲の環境音が徐々に聞こえるようになり、ユーザは自分の声の大きさが周囲の環境に対して適切であるか（大きな声を出しすぎていないか）を認知しながら話すことができる。

さらに、ヘッドホンやイヤホンを介して入力するシステム発話音声の位置を、ユーザ発話（バージイン発話）が発生した場合に、標準位置である正面位置から、徐々に正面から横～後ろに移動させる音源方向制御を行う設定としてもよい
この制御を行うと、システム発話の音像が正面ではなくなるためユーザは発話をしやすくなる。

（４）ユーザ発話検出時に、システム発話のフェード処理開始をシステム発話内容の意味の塊となる文節の区切りまで遅らせて行ってもよい。

（５）システム発話がユーザ発話（バージイン発話）により中断された場合は、システム発話の内容をメールやメッセージでスマートフォンやＰＣに転送して、ユーザが後から確認できるようにしてもよい。
なお、転送する発話内容は、先に８を参照して説明したしように、システム発話の音声出力完了部分と、未完了部分が判別可能な設定とすることが好ましい。
例えば、リッチテキストのタグによる色分けなどで識別可能とすることが可能である。

（６）システム発話が停止された後のユーザ発話に対して、システムが応答発話を行う際、確認のためにユーザの発話内容を情報処理装置１００の表示部に表示してもよい。

この具体例を図１２に示す。図１２に示す例は、先に図９を参照して説明した実施例、すなわち、（処理例１）長いユーザ発話（バージイン発話）により、システム発話の停止が必要となる処理例の変形例である。

図１２に示すステップＳ２６１～Ｓ２６４ａの処理は、図９に示すステップＳ２０１～Ｓ２０４の処理とほぼ同様である。
すなわち、図１２に示すステップＳ２６１～Ｓ２６４ａの処理は、以下の処理である。
まず、ステップＳ２６１において、時間ｔ０から、情報処理装置１００が、以下のシステム発話を開始する。
システム発話＝山田さんからメッセージです。今日、オンラインゲームしない？ 少し仕事が遅くなるかもしれないんで、１０時スタートでどうでしょう？
次に、ステップＳ２６２において、時間ｔ１から、ユーザが以下のユーザ発話（バージイン発話）を開始する。
ユーザ発話（バージイン発話）＝いいね、やろう。９時になったら始めよう

情報処理装置１００の出力（音声、画像）制御部１１０は、
ユーザ発話（バージイン発話）を開始された時間ｔ１から、システム発話のフェード処理を開始する。

その後、フェード処理実行期間中の時間ｔ２において、システム発話の特性指標値（Ｓｖ）（＝音量、話速、ピッチ（声の高さ）に基づく算出指標値）が、予め規定したしきい値（システム発話表示しきい値（Ｔｈ１））以下になったため、システム発話を情報処理装置の表示部に表示する処理を実行する。
図１２に示すステップＳ２６３の処理である。

その後、時間ｔ３において、出力（音声、画像）制御部１１０は、システム発話のフェード処理を終了する。ただし、システム発話は、フェード処理終了時点の特性を維持して継続する。

その後、時間ｔ４において、システム（情報処理装置１００）は、ユーザ発話（バージイン発話）の意図取得を完了する。
出力（音声、画像）制御部１１０は、ユーザ発話意図に沿ったアクションは、システム（情報処理装置１００）が、応答音声を出力しなければ実行できないと判定し、この判定に応じて、実行中のシステム発話を停止する。
図１２に示すステップＳ２６４ａの処理である。

さらに、図１２に示すステップＳ２６４ｂにおいて、出力（音声、画像）制御部１１０は、ユーザ発話内容を情報処理装置１００の表示部に表示する。

この表示処理に際して、システム発話とユーザ発話（バージイン発話）の不一致部分（矛盾部分）を強調表示する。
図１２に示す例では、
システム発話中の「１０時」、
ユーザ発話（バージイン発話）中の「９時」、
これらが、システム発話とユーザ発話（バージイン発話）の不一致部分（矛盾部分）に相当し、これらを強調表示する。

ユーザは画面に出ているシステム発話の内容と自分のユーザ発話内容の両方を見て、システム発話に対する自分の発話の不一致部分を確認することが可能となる。
この結果、必要に応じて言い直しをしやすくなる。

なお、情報処理装置１００は、言語解析によりシステム発話の未発話部分を含む全内容とユーザ発話の内容に矛盾が無いかを判定し、矛盾があった場合はシステムから指摘を行ってもよい。
例えば、１０時のお誘いのメッセージ（未発話部分）に対して、ユーザが９時に行くと回答している場合は、以下のシステム発話を出力する。
システム発話＝「１０時のお誘いですが９時の回答でよいですか？」
このようなシステム発話を行って、ユーザの再確認を求める構成としてもよい。

［７．本開示の情報処理装置の実行する処理の効果について］
次に、本開示の情報処理装置の実行する処理の効果について説明する。
本開示の情報処理装置１００の実行する処理による効果には、例えば以下の効果がある。
（１）ユーザ発話が開始されると、即時システム発話に対するフェード処理、すなわち、
システム発話の音量を徐々に小さくする。
システム発話の話速を徐々に遅くする。
システム発話のピッチ（声の高さ）を徐々に低くする。
少なくともこれらのいずれかの処理が開始されるため、ユーザはシステム（情報処理装置１００）が、ユーザの発話を受け付けていることを早期に知ることができる。

（２）ユーザが長めのユーザ発話（バージイン発話）を行う場合、システム（情報処理装置１００）のシステム発話は、フェード処理後にフェード完了状態を維持する状態（Ｄｕｃｋｉｎｇ状態）に設定されるため、ユーザ発話の邪魔にならない。

（３）ユーザ発話（バージイン発話）が、ユーザからの短い依頼発話やシステム（情報処理装置１００）へ向けたものではない短い発話の場合は、システム発話は中断することなく継続するため不要な中断や言い直しが発生せず、時間ロスを生じない。

（４）ユーザ発話（バージイン発話）の発生時に、システム発話が、ユーザによる聞き取り困難レベルまでフェードされた場合、システム（情報処理装置１００）の表示部にシステム発話内容が表示されるため、重要な内容がシステム発話のフェード後の部分にあった場合でも、ユーザは確認することができる。

（５）システム発話はフェード処理、あるいはその後のフェード処理完了状態（Ｄｕｃｋｉｎｇ状態）を経て停止される（無音になる）ため、ユーザに違和感を発生することなく、無音になることによるノイズも発生しにくくなる。

［８．情報処理装置、および情報処理システムの構成例について］
複数の実施例について説明したが、これらの実施例において説明した様々な処理機能、例えば、図５に示す情報処理装置１００の各構成要素の処理機能は、すべて一つの装置、例えばユーザの所有するエージェント機器、あるいはスマホやＰＣ等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。

図１３にシステム構成例を示す。
図１３（１）情報処理システム構成例１は、図５に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやＰＣ、あるいは音声入出力と画像入出力機能を持つエージェント機器等のユーザ端末である情報処理装置４１０内に構成した例である。
ユーザ端末に相当する情報処理装置４１０は、例えば応答文生成時に外部アプリを利用する場合にのみ、アプリ実行サーバ４２０と通信を実行する。

アプリ実行サーバ４２０は、例えば天気情報提供サーバ、交通情報提供サーバ、医療情報提供サーバ、観光情報提供サーバ等であり、ユーザ発話に対する応答を生成するための情報を提供可能なサーバ群によって構成される。

一方、図１３（２）情報処理システム構成例２は、図５に示す情報処理装置の機能の一部をユーザの所有するスマホやＰＣ、エージェント機器等のユーザ端末である情報処理装置４１０内に構成し、一部を情報処理装置と通信可能なデータ処理サーバ４６０において実行する構成としたシステム例である。

例えば、図５に示す装置中の音声入力部１０１、画像入力部１０５、センサー１０７、音声出力部１２３、画像出力部１２５のみをユーザ端末側の情報処理装置４１０側に設け、その他の機能をすべてサーバ側で実行するといった構成等が可能である。

具体的には、例えば以下のようなシステム構成が構築可能である。
ユーザ端末に、システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御部を構成する。
一方、データ処理サーバは、ユーザ端末から受信するバージイン発話の意図を解析する発話意図解析部を有する。

ユーザ端末の出力制御部は、サーバから受信するバージイン発話の意図に基づいて、システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、システム発話を停止する。一方、停止不要と判定した場合は、フェード処理後のシステム発話中の重要語の有無に応じて、
（ａ）フェード処理前の状態に戻して出力継続するか、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
上記（ａ），（ｂ）のいずれを実行するかの判定を行い、判定結果に基づく処理を実行する。
例えば、このような構成が可能である。

なお、ユーザ端末側の機能と、サーバ側の機能の機能分轄態様は、様々な異なる設定が可能であり、また、１つの機能を双方で実行する構成も可能である。

［９．情報処理装置のハードウェア構成例について］
次に、図１４を参照して、情報処理装置のハードウェア構成例について説明する。
図１４を参照して説明するハードウェアは、先に図５を参照して説明した情報処理装置のハードウェア構成例であり、また、図１３を参照して説明したデータ処理サーバ４６０を構成する情報処理装置のハードウェア構成の一例である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサーなどよりなる入力部５０６、ディスプレイ、スピーカーなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［１０．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御部を有する情報処理装置。

（２） 前記情報処理装置は、
ＶＡＤ（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）機能を有する音声発話区間検出部を有し、
前記出力制御部は、
音声発話区間検出部の検出情報に基づいて決定されるバージイン発話の開始時点から、前記フェード処理を開始する（１）に記載の情報処理装置。

（３） 前記出力制御部は、
前記フェード処理を所定の規定時間、継続し、前記規定時間後はフェード処理完了時点の前記システム発話の出力状態を維持する（１）または（２）に記載の情報処理装置。

（４） 前記出力制御部は、
前記フェード処理の実行中に、前記システム発話の特性指標値が、予め規定したしきい値以下になった場合、システム発話を表示部に表示する（１）～（３）いずれかに記載の情報処理装置。

（５） 前記しきい値は、前記システム発話がユーザによる聞き取り困難なレベルに相当する（４）に記載の情報処理装置。

（６） 前記出力制御部は、
表示部に表示するシステム発話を、システム発話完了部分と、未完了部分を識別可能とした態様で表示する（４）または（５）に記載の情報処理装置。

（７） 前記出力制御部は、
前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、前記システム発話を停止する（１）～（６）いずれかに記載の情報処理装置。

（８） 前記出力制御部は、
前記バージイン発話の意図に対応したシステムアクションとしてシステム応答音声出力が必要であると判定した場合、
前記システム発話を停止する（１）～（７）いずれかに記載の情報処理装置。

（９） 前記出力制御部は、
前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止不要と判定した場合、前記システム発話を、
（ａ）フェード処理前の状態に戻して出力継続するか、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
上記（ａ），（ｂ）のいずれを実行するかの判定処理を行う（１）～（８）いずれかに記載の情報処理装置。

（１０） 前記出力制御部は、
前記バージイン発話の開始から終了までの期間内のフェード処理開始後のシステム発話中に重要語が含まれるか否かを判定し、
重要語が含まれない場合は、
（ａ）フェード処理前の状態に戻して出力継続し、
重要語が含まれる場合は、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行する、
（９）に記載の情報処理装置。

（１１） 前記出力制御部は、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行する場合、
前記言い直し処理を、フェード処理開始後のシステム発話の最初の重要語を含む文節の発話位置から開始する（１０）に記載の情報処理装置。

（１２） 前記重要語は、固有名詞、日にち、時間、場所、金額情報、数字、目的語、対象格を示す語のいずれかである（１０）または（１１）に記載の情報処理装置。

（１３） 前記出力制御部は、
前記フェード処理の実行中に、前記システム発話の特性指標値が、予め規定したしきい値以下になった場合、システム発話を表示部に表示するとともに、
前記バージイン発話を併せて前記表示部に表示する（１）～（１２）いずれかに記載の情報処理装置。

（１４） 前記出力制御部は、
前記システム発話と、バージイン発話の矛盾点の強調表示処理を実行する（１３）に記載の情報処理装置。

（１５） ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御部を有し、
前記データ処理サーバは、
前記ユーザ端末から受信する前記バージイン発話の意図を解析する発話意図解析部を有し、
前記ユーザ端末の出力制御部は、
前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、前記システム発話を停止し、
停止不要と判定した場合、前記フェード処理後のシステム発話中の重要語の有無に応じて、
（ａ）フェード処理前の状態に戻して出力継続するか、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
上記（ａ），（ｂ）のいずれを実行するかの判定処理を行う情報処理システム。

（１６） 前記ユーザ端末の出力制御部は、
前記バージイン発話の開始から終了までの期間内のフェード処理開始後のシステム発話中に重要語が含まれるか否かを判定し、
重要語が含まれない場合は、
（ａ）フェード処理前の状態に戻して出力継続し、
重要語が含まれる場合は、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行する、
（１５）に記載の情報処理システム。

（１７） 情報処理装置において実行する情報処理方法であり、
出力制御部が、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行する情報処理方法。

（１８） ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行し、
前記データ処理サーバが、
前記ユーザ端末から受信する前記バージイン発話の意図を解析する発話意図解析を実行し、
前記ユーザ端末の出力制御部は、
前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、前記システム発話を停止し、
停止不要と判定した場合、前記フェード処理後のシステム発話中の重要語の有無に応じて、
（ａ）フェード処理前の状態に戻して出力継続するか、
（ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
上記（ａ），（ｂ）のいずれを実行するかの判定処理を行う情報処理方法。

（１９） 情報処理装置において情報処理を実行させるプログラムであり、
出力制御部に、
システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、バージイン発話の発生時にシステム発話の出力制御を行い、ユーザとシステム間のスムーズな対話を可能とした装置、方法が実現される。
具体的には、例えば、ステム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点からシステム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する。フェード処理完了後もフェード処理完了時点の出力状態を維持する。フェード処理中にシステム発話レベルが規定しきい値以下になった場合、システム発話を表示部に表示する。さらに、バージイン発話の意図や、システム発話内の重要語の有無に基づいて、システム発話の停止、継続、言い直しのいずれかを実行する。
本構成により、バージイン発話の発生時にシステム発話の出力制御を行い、ユーザとシステム間のスムーズな対話を可能とした装置、方法が実現される。

１０ 情報処理装置
１１ カメラ
１２ マイク
１３ 表示部
１４ スピーカー
２０ サーバ
３０ 外部機器
１００ 情報処理装置
１０１ 音声入力部
１０２ 音声発話区間検出部
１０３ 音声認識部
１０４ 発話意味解析部
１０５ 画像入力部
１０６ 画像認識部
１０７ センサー
１０８ センサー情報解析部
１１０ 出力（音声、画像）制御部
１２１ 応答生成部
１２２ 音声合成部
１２３ 音声出力部
１２４ 表示画像生成部
１２５ 画像出力部
４１０ 情報処理装置
４２０ アプリ実行サーサーバ
４６０ データ処理サーバ
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア

Claims (18)

1. システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御部を有し、
   前記出力制御部は、
   前記フェード処理の実行中に、前記システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかの値に基づく算出指標値が、予め規定したしきい値以下になった場合、システム発話を表示部に表示する請求項１に記載の情報処理装置。
2. 前記情報処理装置は、
   ＶＡＤ（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）機能を有する音声発話区間検出部を有し、
   前記出力制御部は、
   音声発話区間検出部の検出情報に基づいて決定されるバージイン発話の開始時点から、前記フェード処理を開始する請求項１に記載の情報処理装置。
3. 前記出力制御部は、
   前記フェード処理を所定の規定時間、継続し、前記規定時間後はフェード処理完了時点の前記システム発話の出力状態を維持する請求項１に記載の情報処理装置。
4. 前記しきい値は、前記システム発話がユーザによる聞き取り困難なレベルに相当する請求項１に記載の情報処理装置。
5. 前記出力制御部は、
   表示部に表示するシステム発話を、システム発話完了部分と、未完了部分を識別可能とした態様で表示する請求項１に記載の情報処理装置。
6. 前記出力制御部は、
   前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、前記システム発話を停止する請求項１に記載の情報処理装置。
7. 前記出力制御部は、
   前記バージイン発話の意図に対応したシステムアクションとしてシステム応答音声出力が必要であると判定した場合、
   前記システム発話を停止する請求項１に記載の情報処理装置。
8. 前記出力制御部は、
   前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止不要と判定した場合、前記システム発話を、
   （ａ）フェード処理前の状態に戻して出力継続するか、
   （ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
   上記（ａ），（ｂ）のいずれを実行するかの判定処理を行う請求項１に記載の情報処理装置。
9. 前記出力制御部は、
   前記バージイン発話の開始から終了までの期間内のフェード処理開始後のシステム発話中に重要語が含まれるか否かを判定し、
   重要語が含まれない場合は、
   （ａ）フェード処理前の状態に戻して出力継続し、
   重要語が含まれる場合は、
   （ｂ）フェード処理前の状態に戻して言い直し処理を実行する、
   請求項８に記載の情報処理装置。
10. 前記出力制御部は、
    （ｂ）フェード処理前の状態に戻して言い直し処理を実行する場合、
    前記言い直し処理を、フェード処理開始後のシステム発話の最初の重要語を含む文節の発話位置から開始する請求項９に記載の情報処理装置。
11. 前記重要語は、固有名詞、日にち、時間、場所、金額情報、数字、目的語、対象格を示す語のいずれかである請求項９に記載の情報処理装置。
12. 前記出力制御部は、
    前記フェード処理の実行中に、前記システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかの値に基づく算出指標値が、予め規定したしきい値以下になった場合、システム発話を表示部に表示するとともに、
    前記バージイン発話を併せて前記表示部に表示する請求項１に記載の情報処理装置。
13. 前記出力制御部は、
    前記システム発話と、バージイン発話の矛盾点の強調表示処理を実行する請求項１２に記載の情報処理装置。
14. ユーザ端末と、データ処理サーバを有する情報処理システムであり、
    前記ユーザ端末は、
    システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御部を有し、
    前記データ処理サーバは、
    前記ユーザ端末から受信する前記バージイン発話の意図を解析する発話意図解析部を有し、
    前記ユーザ端末の出力制御部は、
    前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、前記システム発話を停止し、
    停止不要と判定した場合、前記フェード処理後のシステム発話中の重要語の有無に応じて、
    （ａ）フェード処理前の状態に戻して出力継続するか、
    （ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
    上記（ａ），（ｂ）のいずれを実行するかの判定処理を行う情報処理システム。
15. 前記ユーザ端末の出力制御部は、
    前記バージイン発話の開始から終了までの期間内のフェード処理開始後のシステム発話中に重要語が含まれるか否かを判定し、
    重要語が含まれない場合は、
    （ａ）フェード処理前の状態に戻して出力継続し、
    重要語が含まれる場合は、
    （ｂ）フェード処理前の状態に戻して言い直し処理を実行する、
    請求項１４に記載の情報処理システム。
16. 情報処理装置において実行する情報処理方法であり、
    出力制御部が、
    システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行し、さらに、
    前記フェード処理の実行中に、前記システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかの値に基づく算出指標値が、予め規定したしきい値以下になった場合、システム発話を表示部に表示する出力制御を実行する情報処理方法。
17. ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
    前記ユーザ端末が、
    システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行し、
    前記データ処理サーバが、
    前記ユーザ端末から受信する前記バージイン発話の意図を解析する発話意図解析を実行し、
    前記ユーザ端末の出力制御部は、
    前記バージイン発話の意図に基づいて、前記システム発話の停止が必要か否かを判定し、停止が必要であると判定した場合に、前記システム発話を停止し、
    停止不要と判定した場合、前記フェード処理後のシステム発話中の重要語の有無に応じて、
    （ａ）フェード処理前の状態に戻して出力継続するか、
    （ｂ）フェード処理前の状態に戻して言い直し処理を実行するか、
    上記（ａ），（ｂ）のいずれを実行するかの判定処理を行う情報処理方法。
18. 情報処理装置において情報処理を実行させるプログラムであり、
    出力制御部に、
    システム発話実行中の割り込みユーザ発話であるバージイン発話の開始時点から、システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかを低下させるフェード処理を開始する出力制御を実行させ、さらに、
    前記フェード処理の実行中に、前記システム発話の音量、または話速、またはピッチ（声の高さ）の少なくともいずれかの値に基づく算出指標値が、予め規定したしきい値以下になった場合、システム発話を表示部に表示する出力制御を実行させるプログラム。

Images