JP7379965B2 - 会話支援装置、及び会話支援システム - Google Patents

Description

本開示は、会話支援装置、及び会話支援システムに関する。

車両の走行中に、運転者と後部座席に座っている搭乗者とが会話する場合、ロードノイズの影響で、相手の声を聴き取り難くいことがある。そこで、会話の音声をマイクロフォンで収音し、収音した音を増幅してドアスピーカから放音することによって、会話を支援する会話支援装置が知られている（例えば、特許文献１参照）。

特開２０１８－１５７５３７号公報

しかし、スピーカから音声が出力されても、会話が始まったことを相手が認識していないと、相手は会話の始まりの部分を聴き漏らしてしまう。

本開示は、このような事情に鑑みてなされたものであり、会話の始まりの部分の聴き漏らしを低減することを解決課題の一つとする。

本開示に係る会話支援装置の一態様は、音声を収音し、収音された音声に応じた第１音信号を出力する収音部と、前記第１音信号に基づいて、発話の開始を検知する検知部と、前記発話の開始を通知する通知部と、を有する。

本開示に係る会話支援システムの一態様は、第１座席と、第２座席と、上記会話支援装置と、を有し、前記収音部は前記第２座席に対応して設けられ、前記通知部は前記第１座席に対応して設けられ、前記通知部は前記第１座席を振動させる。

本開示の実施形態に係る会話支援装置１０Ａの構成例を示す図である。 会話支援装置１０Ａに含まれる信号処理装置３００の構成例を示す図である。 信号処理装置３００の機能構成例を示す機能ブロック図である。 バッファ部１７０に対する音信号Ｓ１ｃの書き込みの動作を模式的に示す説明図である。 信号処理装置３００のプロセッサ３１０がプログラムＰに従って実行する検知処理の流れを示すフローチャートである。 信号処理装置３００のプロセッサ３１０がプログラムＰに従って実行する話速変換処理の流れを示すフローチャートである。 会話支援装置１０Ａの動作を説明するためのタイミングチャートである。 変形例２の会話支援装置１０Ｂの構成例を示す図である。

以下、図面を参照しながら本開示に係る実施形態を説明する。なお、図面において各部の寸法及び縮尺は実際のものと適宜異なる。また、以下に記載する実施形態は、本開示の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかし、本開示の範囲は、以下の説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られない。

＜１．実施形態＞
図１は、実施形態に係る会話支援装置１０Ａの構成例を示す図である。会話支援装置１０Ａは、車両に搭載され、当該車両の車室において行われる会話を支援する装置である。図１において符号ＣＲは、会話支援装置１０Ａを搭載する車両の車室を指す。車室ＣＲには、４つの座席５１～５４が配置される。座席５１は運転席であり、座席５２は助手席である。座席５１と座席５２のいずれが運転席であってもよい。座席５３は後部右座席であり、座席５４は後部左座席である。座席５１～５４の各々は、布又は革を素材とする材質であり吸音性を有する。座席５１～５４は、共通の方向を向いている。本実施形態における座席５３及び座席５４は本開示における第１座席の一例であり、座席５１及び座席５２は本開示における第２座席の一例である。

図１に示すように、会話支援装置１０Ａは、収音部１００と、アンプ１１０と、ＡＤＣ１２０と、信号処理装置３００と、通知部１４０Ａと、通知部１４０Ｂと、ＤＡＣ１９０と、アンプ２００と、スピーカ２１０と、を備える。図１では詳細な図示を省略したが、アンプ１１０、ＡＤＣ１２０、信号処理装置３００、ＤＡＣ１９０、及びアンプ２００は、会話支援装置１０Ａを搭載する車両のダッシュボード等に配置される。

収音部１００は、例えばマイクロフォンである。マイクロフォンは収音した音を電気信号に変換する。このマイクロフォンは単一指向性を有してもよい。収音部１００は、収音した音の波形を表す音信号Ｓ１ａを出力する。収音部１００は、座席５１及び座席５２に対応して設けられる。より具体的には、収音部１００は、会話支援装置１０Ａを搭載する車両のダッシュボード等に、その指向軸を車室ＣＲ内に向けた姿勢で配置される。座席５１に座っている搭乗者又は座席５２に座っている搭乗者が会話のために発話すると、当該搭乗者の音声は収音部１００によって収音され、当該音声の波形を表す音信号Ｓ１ａが収音部１００から出力される。

収音部１００から出力される音信号Ｓ１ａは、アンプ１１０による増幅を経てＡＤＣ１２０に与えられる。アンプ１１０は、音信号Ｓ１ａを、後段の信号処理に適した振幅となるように増幅し、増幅済の音信号Ｓ１ｂを出力する。ＡＤＣ１２０は、音信号Ｓ１ｂにアナログ／デジタル変換を施し、変換結果である音信号Ｓ１ｃを信号処理装置３００に出力する。なお、後段の信号処理に適した振幅を有する音信号Ｓ１ａが収音部１００から出力される場合には、アンプ１１０は不要である。また、収音部１００からデジタル形式の音信号Ｓ１ａが出力される場合には、ＡＤＣ１２０も不要である。音信号Ｓ１ａ、音信号Ｓ１ｂ及び音信号Ｓ１ｃは本実施形態における第１音信号の一例である。

図２は、信号処理装置３００のハードウェアの構成例を示すブロック図である。信号処理装置３００は、プロセッサ３１０と記憶装置３２０とを備える。プロセッサ３１０は、ＤＳＰ（Digital Signal Processor）又はＣＰＵ（Central Processing Unit）などで構成され得る。記憶装置３２０は、プログラムＰを記憶するともとに、プロセッサ３１０の作業領域として機能する。プロセッサ３１０は、記憶装置３２０からプログラムＰを読み出し、読み出したプログラムＰを実行することにより各種の機能を実現する。

図３は、信号処理装置３００の機能についての構成例を示す機能ブロック図である。信号処理装置３００は、検知部１３０、遅延部１５０、ノイズ除去部１６０、バッファ部１７０、及び話速変換部１８０を有する。図３に示す検知部１３０、遅延部１５０、ノイズ除去部１６０、及び話速変換部１８０はプロセッサ３１０をプログラムＰに従って作動させることにより実現されるソフトウェアモジュールである。バッファ部１７０は、記憶装置３２０に対するデータの書き込み及びデータの読み出しにより実現される機能である。検知部１３０、遅延部１５０、ノイズ除去部１６０、バッファ部１７０、及び話速変換部１８０の機能は次の通りである。

検知部１３０は、音信号Ｓ１ｃに基づいて、座席５１の搭乗者又は座席５２の搭乗者の発話の開始を検知する。より詳細に説明すると、検知部１３０は、音信号Ｓ１ｃを基に音声が発話された音声区間を特定し、特定された音声区間の開始を発話の開始として検知する。図３に示すように、検知部１３０は、音声区間を特定する特定部１３２と、特定部１３２により特定済みの音声区間の開始を示す制御信号ＳＢを生成する生成部１３４とを有する。

特定部１３２において音信号Ｓ１ｃを基に音声区間を特定するためのアルゴリズムの具体例としては、音信号Ｓ１ｃに含まれる周期性成分の振幅と非周期性成分の振幅との比に基づいて音声区間を特定するＶＡＤ（Voice Activity Detection）が挙げられる。ＶＡＤを用いることにより、音声以外の音により発話の開始が誤検知されることを低減できる。また、特定部１３２は、音信号Ｓ１ｃに含まれる周波数成分のうち音声帯域（例えば、０．２～４ｋＨｚの周波数帯域）に属する周波数成分の信号強度に基づいて、音声区間を特定してもよい。この態様によっても、音声以外の音により発話の開始が誤検知されることを回避できる。

特定部１３２は、特定した音声区間の開始においてＬｏｗレベルからＨｉｇｈレベルに立ち上がり、特定した音声区間の終了においてＨｉｇｈレベルからＬｏｗレベルに立ち下がる制御信号ＳＡを出力する。つまり、制御信号ＳＡは特定部１３２により特定された音声区間ではＨｉｇｈレベルとなり、当該音声区間以外ではＬｏｗレベルとなる。なお、制御信号ＳＡの立ち上がりタイミングは、特定部１３２において音声区間の開始を検知する処理の処理時間ΔＴＡ分だけ、実際の発話開始のタイミングから遅れる。制御信号ＳＡの立ち下がりタイミングについても同様に、特定部１３２において音声区間の終了を検知する処理の処理時間ΔＴＡ分だけ、実際の発話終了のタイミングから遅れる。

生成部１３４は、制御信号ＳＡの立ち上がりにおいて所定時間（例えば、Δｔ）だけＨｉｇｈレベルとなる制御信号ＳＢを制御信号ＳＡに基づいて生成する。生成部１３４は、制御信号ＳＡと、当該制御信号ＳＡを上記所定時間だけ遅延させた信号との排他的論理和を演算し、さらに、その演算結果と制御信号ＳＡとの論理積を演算し、その演算結果を制御信号ＳＢとして出力する。生成部１３４から出力される制御信号ＳＢは話速変換部１８０に与えられる。また、図１に示すように、制御信号ＳＢは、通知部１４０Ａと通知部１４０Ｂとに与えられる。

通知部１４０Ａと通知部１４０Ｂとは、制御信号ＳＢがＨｉｇｈレベルである場合に振動を発生させるアクチュエータである。図１に示すように、通知部１４０Ａは座席５３の背もたれに設けられており、通知部１４０Ｂは座席５４の背もたれに設けられている。座席５１の搭乗者又は座席５２の搭乗者が発話を開始すると、通知部１４０Ａの振動によって座席５３に座っている搭乗者に発話の開始が通知され、通知部１４０Ｂの振動によって座席５４に座っている搭乗者に発話の開始が通知される。以下では、通知部１４０Ａと通知部１４０Ｂとを区別する必要が無い場合には、通知部１４０と表記する。

遅延部１５０は、記憶装置３２０に対するデータの書き込み及び読み出しを制御する。遅延部１５０は、ＡＤＣ１２０から音信号Ｓ１ｃを受け取る毎に、受け取った音信号Ｓ１ｃを記憶装置３２０に書き込み、音信号Ｓ１ｃを書き込んだ時刻から時間ΔＴＢ（ΔＴＢ＜ΔＴＡ）が経過した時刻において当該音信号Ｓ１ｃを読み出し、読み出した音信号Ｓ１ｃをノイズ除去部１６０に出力する。これにより、ＡＤＣ１２０から与えられる音信号Ｓ１ｃにΔＴＢの遅延が付与される。ノイズ除去部１６０は、遅延部１５０から出力される音信号Ｓ１ｃに対して、ロードノイズ等の音声帯域には属さない信号成分を除去又は抑圧するノイズ除去処理を施し、当該信号成分を除去又は抑圧済みの音信号Ｓ１ｃをバッファ部１７０へ出力する。

バッファ部１７０には、ノイズ除去部１６０により処理済の音信号Ｓ１ｃが蓄積される。バッファ部１７０は、記憶装置３２０に対するデータの書き込み及び記憶装置３２０からのデータの読み出しにより実現されるリングバッファである。リングバッファとは、複数の記憶領域を概念的に環状に配列したバッファのことをいう。リングバッファへのデータの書き込み、及びリングバッファからのデータの読み出しは、書込ポインタ、及び読出ポインタを用いて実現される。書込ポインタは、次にデータを書き込む記憶領域を指し、読出ポインタはデータが読み出されていない記憶領域のうち、最も古いデータを格納した記憶領域を指す。書込ポインタはリングバッファへのデータの書き込みが行われる毎に更新され、読出ポインタはリングバッファからのデータ読み出しが行われる毎に更新される。ただし、読出ポインタが書込ポインタを追い越すことは禁止される。

話速変換部１８０は、検知部１３０により発話の開始が検知された第１時刻、すなわち制御信号ＳＢが立ち上がった時刻から所定時間Ｔｚ（例えば、Ｔｚ＝ΔＴＡ－ΔＴＢ）だけ遡った第２時刻以降にバッファ部１７０に書き込まれた音信号Ｓ１ｃを、書込速度よりも速い読出速度でバッファ部１７０から読み出す。より詳細に説明すると、話速変換部１８０は、制御信号ＳＢの立ち上りを契機として、読出ポインタを書込ポインタから所定時間Ｔｚ時間分だけ遅れた状態に設定する。以下では、書込ポインタに対して読出ポインタが所定時間Ｔｚ時間分だけ遅れた状態のことを、定常状態と呼ぶ。以降、話速変換部１８０は、読出ポインタの指し示す記憶領域の音信号Ｓ１ｃを書込速度よりも速い読出速度で読み出して読出ポインタを書込ポインタに近づけ、且つ読み出された音信号Ｓ１ｃを音信号Ｓ２ａとして出力する。図４は、バッファ部１７０に対する音信号Ｓ１ｃの書き込みの動作を模式的に示す説明図である。図４において、第１時刻Ｔｉにおける書込ポインタＷＰｉは、記憶領域Ｍｉを指し示す。一方、第１時刻Ｔｉより所定時間Ｔｚだけ遡った第２時刻Ｔｊにおいて音信号Ｓ１ｃが書き込まれたのは記憶領域Ｍｊであったとする。この場合、話速変換部１８０は、記憶領域Ｍｊを指し示すように読出ポインタＷＰｊを設定し、バッファ部１７０の記憶領域Ｍｊに対する書き込みが実行された以降の記憶領域Ｍｊ、Ｍｊ＋１、Ｍｊ＋２、…から、音信号Ｓ１ｃを書込速度よりも速い読出速度で読み出す。書込速度に対して読出速度を速めるということは、早送り再生と同様に話者の発話音声の音高（キー）が上がってしまうことになるが、周知の技術を適用することでキーが不変となるようにしてもよい。

遅延部１５０により遅延を付与した音信号Ｓ１ｃに基づいて話速変換により音信号Ｓ２ａを生成するのは、音信号Ｓ２ａに基づいてスピーカ２１０から出力される音声について、実際の発話の開始時刻から検知部１３０による処理に要した時間分の音声が欠落することを回避するためである。また、話速変換部１８０は、例えば、読出ポインタが書込ポインタに近づくほど読出速度を書込速度に向かって単調に減少させてもよい。音信号Ｓ２ａの示す音声の発話のタイミングを実際の発話のタイミングに近づけつつ、自然に聴こえる発話にするためである。なお、発話終了時に、書込ポインタに対する読出ポインタの状態を定常状態に戻して次の発話開始に備えるようにすればよい。

話速変換部１８０から出力される音信号Ｓ２ａは、ＤＡＣ１９０に与えられる。ＤＡＣ１９０は、音信号Ｓ２ａにデジタル／アナログ変換を施し、変換結果である音信号Ｓ２ｂをアンプ２００へ出力する。アンプ２００は、音信号Ｓ２ｂを、スピーカ２１０の駆動に適した振幅となるように増幅し、増幅済の音信号Ｓ２ｃをスピーカ２１０に出力する。話速変換部１８０から出力される音信号Ｓ２ａがアナログ信号である場合にはＤＡＣ１９０は不要である。また、スピーカ２１０の駆動に適した振幅を有する音信号Ｓ２ａが話速変換部１８０から出力される場合には、アンプ２００も不要である。音信号Ｓ２ａ、音信号Ｓ２ｂ及び音信号Ｓ２ｃは本実施形態における第２音信号の一例である。

スピーカ２１０は、座席５３及び座席５４に対応して設けられている。具体的には、スピーカ２１０は、例えばドアスピーカであり、座席５３の近傍のドア（すなわち、リアライトドア）に配置される。スピーカ２１０には音信号Ｓ２ｃが与えられる。スピーカ２１０は、音信号Ｓ２ｃを音に変換し、変換した音を車室ＣＲ内へ出力する。

また、プログラムＰに従って作動しているプロセッサ３１０は、図５に示す検知処理と図６に示す話速変換処理とを実行する。図５に示す検知処理では、プロセッサ３１０は検知部１３０として機能し、音信号Ｓ１ｃに基づいて発話の開始が検知されたことを契機としてステップＳＡ１００からステップＳＡ１３０までの各処理を実行する。ステップＳＡ１００、ステップＳＡ１２０、及びステップＳＡ１３０ではプロセッサ３１０は特定部１３２として機能し、ステップＳＡ１１０ではプロセッサ３１０は生成部１３４として機能する。

ステップＳＡ１００では、プロセッサ３１０は、制御信号ＳＡをＬｏｗレベルからＨｉｇｈレベルに切り替える。ステップＳＡ１１０では、プロセッサ３１０は、制御信号ＳＢを所定時間だけＨｉｇｈレベルにする。前述したように、制御信号ＳＢがＨｉｇｈレベルである間、通知部１４０Ａ及び通知部１４０Ｂは振動を発生させ、制御信号ＳＢがＨｉｇｈレベルとなったことを契機として話速変換部１８０は音信号Ｓ２ａの出力を開始する。

ステップＳＡ１２０では、プロセッサ３１０は、発話が終了したか否かを音信号Ｓ１ｃに基づいて判定する。ステップＳＡ１２０の判定結果が“Ｙｅｓである場合、プロセッサ３１０はステップＳＡ１３０の処理を実行し、その後、検知処理を終了する。ステップＳＡ１３０では、プロセッサ３１０は、制御信号ＳＡをＨｉｇｈレベルからＬｏｗレベルに切り替える。これに対して、ステップＳＡ１２０の判定結果が“Ｎｏである場合には、プロセッサ３１０はステップＳＡ１２０の処理を再度実行する。つまり、ステップＳＡ１２０の判定結果が”Ｙｅｓ“になるまで、プロセッサ３１０は、ステップＳＡ１２０の処理を繰り返し実行する。以上が検知処理の処理内容である。

図６に示す話速変換処理では、プロセッサ３１０は話速変換部１８０として機能し、制御信号ＳＢがＬｏｗレベルからＨｉｇｈレベルに切り換わったことを契機としてステップＳＢ１００からステップＳＢ１５０までの各処理を実行する。

ステップＳＢ１００では、プロセッサ３１０は、書込ポインタに対する読出ポインタの状態を定常状態に設定する。ステップＳＢ１１０では、プロセッサ３１０は、バッファ部１７０からの音信号Ｓ１ｃの読出速度に、書込速度よりも速い速度を表す初期値（例えば、書込速度の１．５倍の値）を設定する。ステップＳＢ１２０では、プロセッサ３１０は、読出ポインタの指し示す記憶領域に記憶されている音信号Ｓ１ｃを、設定済の読出速度で読み出し、読み出した音信号Ｓ１ｃを音信号Ｓ２ａとして出力する。また、ステップＳＢ１２０では、プロセッサ３１０は、次の記憶領域を指し示すように読出ポインタを更新する。

ステップＳＢ１３０では、プロセッサ３１０は、第２時刻以降にバッファ部１７０に蓄積された音信号Ｓ１ｃを全て読み出したか否かを判定する。より詳細に説明すると、ステップＳＢ１３０では、プロセッサ３１０は、読出ポインタが書込ポインタに追いついたか否か、すなわち読出ポインタが書込ポインタに一致したか否かを判定する。読出ポインタが書込ポインタに一致した場合に、プロセッサ３１０は、第２時刻以降にバッファ部１７０に蓄積された音信号Ｓ１ｃを全て読み出したと判定する。ステップＳＢ１３０の判定結果が“Ｎｏ”である場合には、プロセッサ３１０は、ステップＳＢ１４０の処理を実行し、その後、ステップＳＢ１２０の処理を再度実行する。ステップＳＢ１４０では、プロセッサ３１０は、読出速度を書込速度に向けて所定量だけ減速させる。これに対して、ステップＳＢ１３０の判定結果が“Ｙｅｓ”である場合には、プロセッサ３１０は、書込ポインタに対する読出ポインタの状態を定常状態に戻し（ステップＳＢ１５０）、話速変換処理を終了する。以上が話速変換処理の処理内容である。

以下、座席５１に座っている搭乗者が時刻Ｔ１から時刻Ｔ２に亙って発話する場合を例に取って、図７を参照しつつ会話支援装置１０Ａの動作を説明する。

座席５１に座っている搭乗者が、時刻Ｔ１において発話を開始すると、図７に示すように音信号Ｓ１ａの振幅が変化し、時刻Ｔ１からΔＴＡだけ遅れた時刻Ｔｘにおいて特定部１３２は制御信号ＳＡをＬｏｗレベルからＨｉｇｈレベルに切り替える。前述したように、特定部１３２は、音信号Ｓ１ｃを基に音声が発話された音声区間を特定し、特定された音声区間の開始を発話の開始として検知する。このため、本実施形態の会話支援装置１０Ａによれば、音声以外の音により発話の開始が誤検知されることが回避される。

生成部１３４は、制御信号ＳＡの立ち上がりエッジにおいて制御信号ＳＢを立ち上げ、以降、所定時間に亙って制御信号ＳＢをＨｉｇｈレベルに維持する。つまり、制御信号ＳＢは時刻Ｔｘから所定時間の期間に亙ってＨｉｇｈレベルとなる。この期間では、通知部１４０が振動を発生させる。この振動によって発話の開始が座席５３に座っている搭乗者と座席５４に座っている搭乗者とに通知される。これにより、座席５３に座っている搭乗者と座席５４に座っている搭乗者とは、会話の開始を認識するので、会話の始まり部分の聴き漏らしが低減する。また、振動による通知であるため、ロードノイズ等のノイズがある状況下でも会話の開始を確実に通知できる。

また、本実施形態の会話支援装置１０Ａでは、遅延部１５０によりΔＴＢの遅延を付与され、且つノイズ除去部１６０によりノイズを除去された音信号Ｓ１ｃがバッファ部１７０に蓄積される。検知部１３０により発話の開始が検知され、時刻Ｔｘにおいて制御信号ＳＢがＬｏｗレベルからＨｉｇｈレベルに切り換わると、話速変換部１８０は、第１時刻（本動作例では、時刻Ｔｘ）から所定時間Ｔｚだけ遡った第２時刻以降にバッファ部１７０に書き込まれた音信号Ｓ１ｃを、書込速度よりも速い読出速度で読み出して音信号Ｓ２ａを生成する。この音信号Ｓ２ａに応じた音がスピーカ２１０から出力される。

このように、本実施形態の会話支援装置１０Ａによれば、音信号Ｓ１ｃに基づく音信号Ｓ２ａに応じた音がスピーカ２１０から出力されるので、ノイズがある状況下でも会話音声がノイズに埋もれて聴き取り難くなることが回避される。また、本実施形態の会話支援装置１０Ａによれば、上記第２時刻まで遡って音声が再生されるため、発話の開始時刻Ｔ１から検知部１３０による処理に要した時間ΔＴＡ分の音声の欠落が回避される。さらに、本実施形態の会話支援装置１０Ａでは、話速変換部１８０は、読出速度を書込速度に向かって単調に減少させるので、音信号Ｓ２ａの表す音の発話のタイミングを実際の発話のタイミングに近づけつつ、自然に聴こえる発話にすることができる。

以上説明したように、本実施形態の会話支援装置１０Ａによれば、会話の始まりの部分の聴き漏らしが発生し難くなる。なお、上記所定時間ＴｚをΔＴＡと等しくすれば、遅延部１５０に付与する遅延ΔＴＢの分だけ、スピーカ２１０からの音声の出力が通知部１４０による通知から遅れる。この態様によれば、スピーカ２１０からの音声の出力に先立って発話の開始が通知部１４０によって通知されるので、座席５３に座っている搭乗者及び座席５４に座っている搭乗者は、発話の開始部分をさらに聴き漏らし難くなる。

＜２．変形例＞
以上の実施態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は相矛盾しない限り適宜に併合され得る。

＜２－１．変形例１＞
上記実施形態において信号処理装置３００のプロセッサ３１０を、検知部１３０、遅延部１５０、ノイズ除去部１６０、及び話速変換部１８０として機能させるプログラムＰを単体で製造し、販売してもよい。既存の会話支援装置に含まれるプロセッサを当該プログラムＰに従って作動させることによって、当該既存の会話支援装置を本開示の会話支援装置として機能させることができるからである。なお、上記プログラムＰの具体的な提供態様としては、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより上記プログラムを配布する態様が考えられる。また、上記実施形態における検知部１３０、遅延部１５０、ノイズ除去部１６０、及び話速変換部１８０はソフトウェアモジュールであったが、これら各部をＡＳＩＣ等のハードウェアで実現してもよい。

＜２－２．変形例２＞
上記実施形態では、座席５１又は座席５２に座っている搭乗者の会話の始まりを、座席５３又は座席５４に座っている搭乗者に通知した。しかし、図８に示す会話支援装置１０Ｂのように、収音部１００を座席５３又は座席５４に対応させて配置し、通知部１４０Ａを座席５１に対応させて配置し、且つ通知部１４０Ｂを座席５２に対応させて配置し、座席５３の搭乗者又は座席５４の搭乗者の会話の始まりを、座席５１の搭乗者及び座席５２の搭乗者に通知してもよい。図８に示す例では、座席５１及び座席５２が本開示の第１座席に対応し、座席５３及び座席５４が本開示の第２座席に対応する。また、図１に示す会話支援装置１０Ａと図８に示す会話支援装置１０Ｂの両者を車室ＣＲに設置してもよい。

＜２－３．変形例３＞
上記実施形態では、会話の始まりを振動により通知したが、発光により通知してもよく、またビープ音等の発音により通知してもよい。会話の始まりを発音により通知する場合には、発音された音がノイズに埋もれないようにするために十分に大きな音量で発音することが考えられる。また、会話の始まりを発光により通知する態様の具体例としては、制御信号ＳＢがＨｉｇｈレベルの期間に発光する発光素子（例えば、ＬＥＤ）を通知部１４０として用い、座席５３及び座席５４に座る各搭乗者から見やすい位置に当該発光素子を配置する態様が考えられる。例えば、通知部１４０Ａについては座席５１の背もたれの裏側に配置し、通知部１４０Ｂについては座席５２の背もたれの裏側に配置することが考えられる。

＜２－４．変形例４＞
上記実施形態においては会話支援装置１０Ａを車両に搭載したが、車両以外に、会議スペースなどに本装置を設置してもよい。その場合、会議スペースにある２以上の座席のそれぞれに対応して収音部と通知部を設けた会話支援システムとすることができる。

＜２－５．変形例５＞
遅延部１５０及びノイズ除去部１６０は必ずしも必須ではなく省略可能である。遅延部１５０及びノイズ除去部１６０を省略しても、会話の始まりを通知部１４０により通知できることに変わりはなく、会話の始まりの部分の聴き漏らしが発生し難くなるからである。また、バッファ部１７０及び話速変換部１８０も省略可能であり、さらにスピーカ２１０も省略可能である。少なくとも、収音部１００と、検知部１３０と、通知部１４０とを有する会話支援装置であれば、会話の始まりを通知部１４０により通知することができ、会話の始まりの部分の聴き漏らしが発生し難くなるからである。

＜３．実施形態及び各変形例の少なくとも１つから把握される態様＞
上述した会話支援装置の一態様として、音声を収音し、収音された音声に応じた第１音信号を出力する収音部と、前記第１音信号に基づいて、発話の開始を検知する検知部と、前記発話の開始を通知する通知部と、を有する。この態様によれば、発話の開始が通知部によって通知されるため、会話の開始部分の聴き漏らしが発生し難くなる。

上述した会話支援装置の一態様として、前記検知部は、前記第１音信号を基に音声が発話された区間を特定し、特定された区間の開始を発話の開始として検知してもよい。この態様によれば、音声以外の音により発話の開始が検知されることはないため、音声以外のノイズに起因して誤った通知が為されることを回避できる。

上述した会話支援装置の一態様として、前記検知部は、前記第１音信号に含まれる周波数成分のうち音声帯域に属する周波数成分の信号強度に基づいて、音声が発話された区間を特定してもよい。この態様によれば、第１音信号に含まれる周波数成分のうち音声帯域に属する周波数成分の信号強度に基づいて、発話の開始が検知される。

上述した会話支援装置の一態様として、前記通知部は、発話の開始を振動により通知してもよい。この態様によれば、ノイズがある状況下でも会話の開始を確実に通知することができる。

上述した会話支援装置の一態様として、前記第１音信号に基づく第２音信号に応じた音を出力するスピーカを有してもよい。この態様によれば、第１音信号に基づく第２音信号に応じた音がスピーカから出力されるので、ノイズがある状況下でも会話音声がノイズに埋もれて聴き取り難くなることを回避することができる。

上述した会話支援装置の一態様として、前記第１音信号を蓄積するバッファ部と、前記検知部により発話の開始が検知された第１時刻から所定時間だけ遡った第２時刻以降に前記バッファ部に書き込まれた前記第１音信号を、書込速度よりも速い読出速度で読み出すことによって、前記第２音信号を生成する話速変換部と、を有してもよい。この態様によれば、スピーカから出力される音声について、発話の開始時刻から検知部による処理に要した時間分の音声が欠落することを回避できる。

上述した会話支援装置の一態様として、前記話速変換部は、前記読出速度を前記書込速度に向かって単調に減少させてもよい。この態様によれば、読出速度が単調に減少して書込速度に近づくので、第２音信号の示す音の発話のタイミングを実際の発話のタイミングに近づけつつ、自然に聴こえる発話にすることができる。

上述した会話支援装置の一態様として、前記第１音信号を遅延させる遅延部と、前記遅延部から出力される前記第１音信号にノイズ除去処理を施して前記バッファ部へ出力するノイズ除去部と、を有してもよい。この態様によれば、遅延部により遅延させる分だけスピーカからの音声出力が遅れ、通知部による通知が先行する。加えて、収音部により収音された音からノイズを除去した音をスピーカに出力させることができる。

上述した会話支援システムの一態様として、第１座席と、第２座席と、上記いずれかの態様の会話支援装置と、を有し、前記収音部は前記第２座席に対応して設けられ、前記通知部は前記第１座席に対応して設けられ、前記通知部は前記第１座席を振動させてもよい。この態様によれば、例えば会議スペースの第１座席に座る第１ユーザと、この会議スペースの第２座席に座る第２ユーザとが会話する場合における第２ユーザの発話の開始部分について、第１ユーザによる聴き漏らしが発生することを回避できる。

上述した会話支援システムの一態様として、車両に設置されてもよい。この態様によれば、車両の第１座席に座る第１ユーザと、この車両の第２座席に座る第２ユーザとが会話する場合における第２ユーザの発話の開始部分について、第１ユーザによる聴き漏らしが発生することを回避できる。

１０Ａ，１０Ｂ…会話支援装置、１００…収音部、１１０，２００…アンプ、１２０…ＡＤＣ、１３０…検知部、１３２…特定部、１３４…生成部、１４０Ａ，１４０Ｂ…通知部、１５０…遅延部、１６０…ノイズ除去部、１７０…バッファ部、１８０…話速変換部、１９０…ＤＡＣ、２１０…スピーカ、３００…信号処理装置、３１０…プロセッサ、３２０…記憶装置、Ｐ…プログラム。

Claims (9)

1. 車両に設置され車室内の会話を支援する会話支援装置であって、
   音声を収音し、収音された音声に応じた第１音信号を出力する収音部と、
   前記第１音信号に基づいて、発話の開始を検知する検知部と、
   前記発話の開始を通知する通知部と、
   前記第１音信号を遅延させる遅延部と、
   前記遅延部で遅延された第１音信号に基づく第２音信号に応じた音を出力するスピーカと、
   を有する会話支援装置。
2. 前記検知部は、前記第１音信号を基に音声が発話された区間を特定し、特定された区間の開始を発話の開始として検知する、
   請求項１に記載の会話支援装置。
3. 前記検知部は、前記第１音信号に含まれる周波数成分のうち音声帯域に属する周波数成分の信号強度に基づいて、音声が発話された区間を特定する、請求項２に記載の会話支援装置。
4. 前記通知部は、発話の開始を振動により通知する、
   請求項１から３のうちのいずれか１項に記載の会話支援装置。
5. 前記第１音信号を蓄積するバッファ部と、
   前記検知部により発話の開始が検知された第１時刻から所定時間だけ遡った第２時刻以降に前記バッファ部に書き込まれた前記第１音信号を、書込速度よりも速い読出速度で読み出すことによって、前記第２音信号を生成する話速変換部と、
   を有する請求項１から４に記載の会話支援装置。
6. 前記話速変換部は、前記読出速度を前記書込速度に向かって単調に減少させる、
   請求項５に記載の会話支援装置。
7. 前記遅延部から出力される前記第１音信号にノイズ除去処理を施して前記バッファ部へ出力するノイズ除去部と、
   を有する請求項６に記載の会話支援装置。
8. 第１座席と、
   第２座席と、
   請求項１から７のうちのいずれか１項に記載の会話支援装置と、を有し、
   前記収音部は前記第２座席に対応して設けられ、
   前記通知部は前記第１座席に対応して設けられ、前記通知部は前記第１座席を振動させる、
   会話支援システム。
9. 車両に設置される請求項８に記載の会話支援システム。

Images