JP7065964B2 - 音場制御装置および音場制御方法 - Google Patents

音場制御装置および音場制御方法 Download PDF

Info

Publication number
JP7065964B2
JP7065964B2 JP2020530758A JP2020530758A JP7065964B2 JP 7065964 B2 JP7065964 B2 JP 7065964B2 JP 2020530758 A JP2020530758 A JP 2020530758A JP 2020530758 A JP2020530758 A JP 2020530758A JP 7065964 B2 JP7065964 B2 JP 7065964B2
Authority
JP
Japan
Prior art keywords
participant
sound field
speaker
occupant
field control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020530758A
Other languages
English (en)
Other versions
JPWO2020016927A1 (ja
Inventor
禎 三橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020016927A1 publication Critical patent/JPWO2020016927A1/ja
Application granted granted Critical
Publication of JP7065964B2 publication Critical patent/JP7065964B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Description

この発明は、車室内の音場制御に関する。
特許文献1には、車両の乗員の会話を検出し、検出結果に応じてスピーカの音量を調整する技術が開示されている。この技術では、車室内の撮影映像から乗員の口の動きを認識することにより発話者の座席を特定する。そして、オーディオの音量を下げると共に、発話者の座席の近傍のスピーカの音量を下げる制御が行われる。これにより、車両全体において発話者の発話が聞き取りやすくなる。
特開2010-23639号公報
しかし、特許文献1の技術は、会話に参加していない乗員を考慮しないため、会話に参加せずオーディオコンテンツ等を楽しんでいる乗員にとっても、オーディオコンテンツ等の音量が小さくなってしまい、コンテンツ聴収の利便性が損なわれてしまうという問題がある。
本発明は、上記の問題点を解決するためになされたものであり、会話の非参加者に配慮しつつ、会話者が会話しやすいよう車室内のスピーカによる音場を制御することを目的とする。
本発明の音場制御装置は、車両の乗員の着座位置を検出する乗員検出部と、乗員の中から車両の車室内で行われた会話の発話者と受話者を参加者として検出する参加者検出部と、車室内で会話が行われると、参加者の着座位置と参加者ではない乗員である非参加者の着座位置とに基づき、車室内に設けられた複数のスピーカによる音場を制御する音場制御部と、を備え、参加者検出部は、身体の動きが特定の条件を満たす乗員を、受話者である参加者として検出する
本発明の音場制御方法は、車両の乗員の着座位置を検出し、乗員の中から車両の車室内で行われた会話の発話者と受話者を参加者として検出し、車室内で会話が行われると、参加者の着座位置と参加者ではない乗員である非参加者の着座位置とに基づき、車室内に設けられた複数のスピーカによる音場を制御し、体の動きが特定の条件を満たす乗員を、受話者である参加者として検出する
本発明によれば、会話の参加者の着座位置と非参加者の着座位置とに基づき車室内の音場が制御されるため、非参加者に配慮しつつ、参加者が会話をしやすいよう車室内の音場を制御することができる。本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1の音場制御装置の構成を示すブロック図である。 実施の形態1の音場制御装置の構成図である。 実施の形態1の音場制御装置の動作を示すフローチャートである。 実施の形態2の音場制御装置の構成を示すブロック図である。 実施の形態2の音場制御装置の動作を示すフローチャートである。 実施の形態3の音場制御装置の構成を示すブロック図である。 実施の形態4の音場制御装置の構成を示すブロック図である。 実施の形態4の音場制御装置の発話者検出部の構成を示すブロック図である。 音場制御装置のハードウェア構成を示す図である。 音場制御装置のハードウェア構成を示す図である。 車両とサーバによる実施の形態2の音場制御装置の構成を示すブロック図である。
<A.実施の形態1>
<A-1.構成>
図1は、実施の形態1の音場制御装置101の構成を示すブロック図である。音場制御装置101は、乗員検出部11、発話者検出部12A、受話者検出部13、参加者検出部14および音場制御部15を備えている。
音場制御装置101は、音響装置21と接続され、これを利用可能に構成されている。音響装置21は、例えばラジオ放送などのオーディオコンテンツを再生または受信する装置であり、スピーカ22からこれらのオーディオコンテンツの音声を出力する。音響装置21とスピーカ22は車両に搭載されており、音場制御装置101はスピーカ22による車両の室内の音場を制御するものである。
なお、本明細書で「車両に搭載された装置」とは、恒常的に搭載されるもののほか、取り外し可能であり必要に応じて車両に持ち込まれて使用されるものを含む。
図2は、車両の構成を示している。音場制御装置101が音場を制御する車両には、複数のスピーカ22が設置されている。図2では、運転席、助手席、および後部左座席に乗員30A,30B,30Cが着座しており、車両の前方右側にスピーカ22FR、前方左側にスピーカ22FL、後方右側にスピーカ22BR、後方左側にスピーカ22BLが設置されている様子を示している。しかし、スピーカ22の数と設置場所はこれに限らない。スピーカ22は、車室内の音場を制御するため少なくとも複数設置されていれば良い。また、車両にはマイクロフォン23、カメラ24および外部センサ25が搭載されており、これらは参加者を検出するための装置である。
乗員検出部11は、乗員の着座位置を検出するために、カメラ24および外部センサ25を用いる。具体的には、乗員検出部11は、カメラ24による車室内の撮影画像を解析することにより、乗員の着座位置を検出する。
外部センサ25は、乗員の着座位置を検出するためのセンサであり、例えば車両の座席の座面または背もたれに設置された圧力センサである。あるいは、外部センサ25は距離センサである。これらのセンサの検出情報を用いて、乗員検出部11は乗員の着座位置を把握することができる。
発話者検出部12Aは、マイクロフォン23とカメラ24を用いて、発話者の着座位置を検出する。具体的には、発話者検出部12Aは、車室内の異なる2か所に設置されたマイクロフォン23が発話音声を検知するタイミングのずれから、マイクロフォン23に対する発話方向を取得し、当該発話方向と乗員の着座位置とを照合して、発話者の着座位置を検出する。あるいは、発話者検出部12Aは、カメラ24による車室内の撮影画像から、乗員の口の動きを検出し、マイクロフォン23で取得した発話音声に同期した口の動きをしている乗員を発話者と特定する。
受話者検出部13は、マイクロフォン23とカメラ24を用いて、受話者の着座位置を検出する。具体的には、カメラ24による車室内の撮影画像から、乗員の顔の動きを検出し、マイクロフォン23で取得した発話音声に同期して頷いている乗員を受話者と特定する。このように、受話者検出部13は、乗員の身体の動きに基づき、受話者の検出を行っても良い。あるいは、受話者検出部13は発話者検出部12Aから発話者の着座位置を取得し、カメラ24の撮影画像から発話者の視線を識別する。そして、発話者の視線方向に着座している乗員を受話者と特定しても良い。このとき、受話者検出部13は、発話者がミラーに視線を向けている場合には、ミラー越しに発話者の視線の先に着座している乗員を受話者と特定することも可能である。
参加者検出部14は、発話者検出部12Aから発話者の着座位置の情報を取得し、受話者検出部13から受話者の着座位置の情報を取得し、発話者と受話者の両方を参加者とする。また、参加者検出部14は乗員検出部11から各乗員の着座位置の情報を取得し、受話者以外の乗員を非参加者とする。そして、参加者検出部14は参加者の着座位置と非参加者の着座位置を音場制御部15に出力する。
なお、上記では、参加者を検出する方法として、マイクロフォン23、カメラ24および外部センサ25を用いる方法を説明したが、必ずしもこれらの全てを用いなければならないわけではない。例えば、発話者検出部12Aはカメラ24の撮影映像のみから発話者を検出しても良いし、受話者検出部13も同様にカメラ24の撮影映像のみから受話者を検出しても良い。
音場制御部15は、参加者検出部14から会話の参加者の着座位置の情報を取得し、これに基づきスピーカ22による車室内の音場を制御する。音場制御部15は、制御前に比べて、音場による非参加者の着座位置における可聴域の音量が小さくなることなく、音場による前記参加者の着座位置における可聴域の音量が小さくなるように、音場を制御する。この音場制御により、非参加者にとってはスピーカ22から出力されるコンテンツの音量が小さくならないため、コンテンツの聴収が妨げられない一方で、参加者にとってはスピーカ22から出力されるコンテンツの音量が小さくなるため、会話相手の音声が聞き取りやすくなり、会話がしやすくなる。
<A-2.動作>
図3は、音場制御装置101の動作を示すフローチャートである。図3のフローは、例えば音響装置21がスピーカ22からの音声出力を行うと同時に開始する。まず、乗員検出部11は、図1に図示しない車両のドアセンサ等から、ドアの開閉情報を取得し、ドアが開閉したか否かを判断する(ステップS101)。ドアの開閉とは、ドアが開いた後に閉じることである。ドアの開閉がなければ乗員検出部11はステップS101を繰り返す。ドアの開閉があれば、乗員検出部11は乗員の着座位置を検出する(ステップS102)。次に、発話者検出部12Aがマイクロフォン23の検出信号を基に、車室内で発話が行われているかを判断する(ステップS103)。
ステップS103で発話がある場合、参加者検出部14は参加者の着座位置を検出する(ステップS104)。本ステップでは具体的には、発話者検出部12Aが発話者の着座位置を検出し、受話者検出部13が受話者の着座位置を検出し、それぞれ着座位置の情報を参加者検出部14に出力する。そして、参加者検出部14が発話者と受話者を会話の参加者として、その着座位置の情報を把握すると共に、参加者でない乗員の着座位置を非参加者の着座位置として把握する。
ステップS104で参加者を検出した後、あるいはステップS103で発話がない場合、音場制御装置101の処理はステップS105に移る。ステップS105では、音場制御部15が参加者の着座位置に応じた音声出力制御を行う。具体的には、発話が行われておらず参加者が存在しない場合には、音場制御部15は音場制御を行わない。従って、スピーカ22はデフォルトの音場を車室内に形成する。一方、発話が行われている場合には、音場制御部15は参加者検出部14から参加者の着座位置の情報と非参加者の着座位置の情報を取得し、これらに基づき音場制御を行う。
この音場制御により、車室内の音場が各着座位置に与える音量は、制御前に比べて、非参加者の着座位置においては小さくなることなく、参加者の着座位置においては小さくなる。図2の例で、会話が行われていない場合、音場制御部15は特段の音場制御を行わないため、スピーカ22FL,22FR,22BL,22BRは均等な音量でコンテンツを出力する。そのため、乗員30A,30B,30Cはそれぞれ等しい音量でコンテンツを聴収する。一方、乗員30A,30Cが会話の参加者で、乗員30Bが非参加者である場合、音場制御部15は、スピーカ22FLの音量をそのままに保ちつつ、スピーカ22FR,22BLの音量を小さくする。このように、スピーカ22が車両の各着座位置に対応して設けられている場合には、参加者の着座位置に対応するスピーカ22の音量を、非参加者の着座位置に対応するスピーカ22の音量より小さくすることが可能である。これにより、会話に参加していない乗員30Bは、音場制御前と同じ音量でコンテンツを聴収することができる。また、会話に参加している乗員30A,30Cがスピーカ22FR,22BLから徴収するコンテンツの音量は小さくなるため、乗員30A,30Cは互いの発話音声を聞き取りやすく、会話を円滑に行うことができる。
上記では音場制御の一例を示したが、他の音場制御を行っても良い。音場制御部15は、非参加者の着座位置における音量を小さくすることなく、参加者の着座位置における音量が大きくなるように、音場制御を行えばよい。なお、上記で述べている音量とは、可聴域の音量である。
<A-3.変形例>
上記では、参加者の検出結果に基づき音場制御部15が音場制御を行うことについて説明した。参加者検出部14は、音場制御部15が音場制御を行った後、乗員の反応を基に参加者の検出結果を更新しても良い。具体的には、参加者検出部14は、カメラ24の撮影画像から音場制御後の乗員の表情を解析し、乗員が不快な表情をしている場合には、参加者の検出結果を逆にして更新する。例えば、音場制御装置101は、図2の乗員30Bを参加者と検出して音場制御を行ったところ、乗員30Bは実際には非参加者であり、スピーカ22FLの音量が小さくなったため不快な表情をしたとする。この場合、参加者検出部14は、乗員30Bを非参加者に更新し、音場制御部15はスピーカ22FLの音量がデフォルトの音量まで大きくなるように、音場制御を更新する。
<A-4.効果>
実施の形態1の音場制御装置101は、車両の乗員の着座位置を検出する乗員検出部11と、乗員の中から車両の車室内で行われた会話の発話者と受話者を参加者として検出する参加者検出部14と、車室内で会話が行われると、参加者の着座位置と参加者ではない乗員である非参加者の着座位置とに基づき、車室内に設けられた複数のスピーカ22による音場を制御する音場制御部15と、を備える。従って、音場制御装置101によれば、非参加者のコンテンツ等の聴収を妨げることなく、会話がしやすいように車室内の音場を制御することができる。
また、音場制御部15は、制御前に比べて、音場による非参加者の着座位置における音量が小さくなることなく、音場による参加者の着座位置における音量が小さくなるように、音場を制御する。従って、音場制御装置101によれば、非参加者のコンテンツ等の聴収を妨げることなく、会話がしやすいように車室内の音場を制御することができる。
また、複数のスピーカ22は車両の着座位置に対応して設けられている場合には、音場制御部15は、参加者の着座位置に対応するスピーカの音量を非参加者の着座位置に対応するスピーカ22の音量より小さくすることにより、非参加者のコンテンツ等の聴収を妨げることなく、会話がしやすいように車室内の音場を制御することができる。
また、参加者検出部14は、音場制御部15による音場制御後の乗員の表情に基づき、参加者の検出結果を更新する。この検出結果の更新に応じて音場制御を更新することにより、参加者の検出に誤りがある場合には修正が行われる。
<B.実施の形態2>
<B-1.構成>
図4は、実施の形態2の音場制御装置102の構成を示すブロック図である。音場制御装置102は、実施の形態1の音場制御装置101の構成に加えて発話者等登録部16を備えている。発話者等登録部16以外の音場制御装置102の構成は、音場制御装置101と同様である。音場制御装置102は、現在の会話の発話者と受話者だけでなく、過去の会話の発話者と受話者も参加者として認識することを特徴とする。
発話者検出部12Aは発話者の着座位置を検出すると、その情報を参加者検出部14に出力する他、検出時刻の情報と共に発話者等登録部16に登録する。また、受話者検出部13は受話者の着座位置を検出すると、その情報を参加者検出部14に出力する他、検出時刻の情報と共に発話者等登録部16に登録する。参加者検出部14は、発話者検出部12Aと受話者検出部13から取得した現在の会話の発話者と受話者を参加者に設定すると共に、発話者等登録部16に登録された過去の所定期間内、例えば過去1分以内の会話における発話者と受話者を参加者に設定する。
<B-2.動作>
図5は、音場制御装置102の動作を示すフローチャートである。図5のフローは、例えば音響装置21がスピーカ22からの音声出力を行うと同時に開始する。ステップS201からステップS204は、図3に示す実施の形態1のフローのステップS101からステップS104と同様であるため、それらの説明を省略する。ステップS203でNoの場合、またはステップS204の後、参加者検出部14は発話者等登録部16の登録情報を参照し、過去所定期間内、例えば過去1分以内に他の発話が有るか否かを判断する(ステップS205)。過去1分以内の発話について、発話者と受話者の着座位置の情報が発話者等登録部16に登録されている場合には、ステップS205でYesとなり、参加者検出部14は過去1分以内の発話の発話者と受話者を参加者に含める(ステップS206)。
過去1分以内の発話について、発話者と受話者の着座位置の情報が発話者等登録部16に登録されていなければ、ステップS206は省略される。
次に、音場制御部15が参加者の着座位置に応じた音場制御を行う(ステップS207)。ステップS207は、図3に示した実施の形態1のフローのステップS105と同様であるため、詳細な説明は省略する。
<B-3.効果>
実施の形態2の音場制御装置102では、参加者検出部14は、現在または過去の所定期間内に車室内で行われた会話の発話者と受話者を参加者として検出する。従って、そのため、会話をやめた乗員に対しても、所定期間、例えば1分程度の間は、会話がしやすい音場制御が行われるため、会話を再開しやすくなる。
<C.実施の形態3>
<C-1.構成>
図6は、実施の形態3の音場制御装置103の構成を示すブロック図である。音場制御装置103は、実施の形態2の音場制御装置102の構成に加えて乗員登録部17を備えている。乗員登録部17以外の音場制御装置103の構成は、音場制御装置102と同様である。音場制御装置103は、予め乗員登録部17に登録された乗員のキーワードを基に受話者を特定することを特徴とする。
乗員登録部17には、乗員を個別に識別するためのキーワードが登録されている。このキーワードは、例えば乗員の氏名またはニックネームなどである。これらのキーワードは、図6に図示しないキーボードまたはタッチパネル等の入力装置を用いて乗員自身が予め入力し、乗員登録部17に登録される。
受話者検出部13は、マイクロフォン23が検出した発話者の発話音声中に、乗員登録部17に登録されたキーワードが含まれるか否かを判断する。発話音声中にキーワードが含まれる場合、受話者検出部13は当該キーワードに対応する乗員を受話者として特定する。従って、参加者検出部14は、発話者が発話したキーワードに対応する乗員を受話者である参加者として検出する。
<C-2.効果>
実施の形態3の音場制御装置103では、参加者検出部は、乗員とキーワードが対応付けられた個人情報を参照し、発話者が発話したキーワードに対応する乗員を受話者である参加者として検出する。従って、音場制御装置103によれば、発話者の視線の動きから受話者を特定できない場合、または受話者の挙動が明確でない場合でも、発話音声に含まれるキーワードから受話者を特定することが可能である。
<D.実施の形態4>
<D-1.構成>
図7は、実施の形態4の音場制御装置104の構成を示すブロック図である。音場制御装置104は、実施の形態3の音場制御装置103の構成において、発話者検出部12Aに代えて発話者検出部12Bを備えている。音場制御装置104は、乗員が音響装置21の再生コンテンツにあわせて歌唱している場合に、当該歌唱を会話の発話と区別することを特徴とする。
図8は、発話者検出部12Bの構成を示すブロック図である。発話者検出部12Bは、音程検出部121、顔認識部122および相関判断部123を備えている。発話者検出部12Bは、発話者検出部12Aと同様に音声を発している乗員の着座位置を検出するが、当該乗員を発話者と決定する前に当該乗員に対して以下の処理を行う。
音程検出部121は、マイクロフォン23から乗員の音声を取得し、当該音声の音程を検出して、相関判断部123に出力する。相関判断部123は、音響装置21から再生コンテンツの音声信号を取得し、再生コンテンツと乗員の音声の音程の相関を判断する。音程の相関とは、周波数帯域の相関である。顔認識部122は、カメラ24の撮影画像から乗員の顔の表情または口の動きを解析し、解析結果を相関判断部123に出力する。相関判断部123は、再生コンテンツと発話者の顔の表情または口の動きの相関を判断する。例えば、発話者が一定のテンポで顔を上下している場合、そのテンポが再生コンテンツのテンポと一致していれば、両者の相関は高い。また、口の動きが再生コンテンツの間奏パートで乗員の口が動いている場合、両者の相関は低い。相関判断部123は、乗員の音声の音程と顔の表情等が再生コンテンツと相関があると判断すると、当該乗員は再生コンテンツに合わせて歌唱していると判断し、発話者とは判断しない。このように、相関判断部123は乗員が歌唱していることを検出する歌唱検出部として機能する。一方、相関判断部123は、乗員の音声の音程と顔の表情等が再生コンテンツと相関がないと判断すると、当該乗員は再生コンテンツに合わせた歌唱ではなく会話の発話を行っていると判断し、発話者と判断する。
<D-2.効果>
音場制御装置104の発話者検出部12Bは、乗員が歌唱していることを検出する歌唱検出部である相関判断部123を備え、参加者検出部14は、歌唱している乗員を参加者として検出しない。従って、音場制御装置104によれば、スピーカ22から再生されるコンテンツに合わせて歌唱している乗員を発話者と誤検出し、当該乗員に対してスピーカ22から聞こえる音量を小さくする音場制御が行うことを、防ぐことができる。
<E.ハードウェア構成>
上述した音場制御装置101-104における、乗員検出部11、発話者検出部12A,12B、受話者検出部13、参加者検出部14、音場制御部15、発話者等登録部16、および乗員登録部17(以下、「乗員検出部11等」)は、図9に示す処理回路81により実現される。すなわち、処理回路81は、乗員検出部11等を備える。処理回路81には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。
乗員検出部11、発話者検出部12A,12B、受話者検出部13、参加者検出部14は、マイクロフォン23、カメラ24、および外部センサ25から情報を取得し、乗員登録部17には入力装置等からキーワードが入力される。また、音場制御部15は音場の制御指示を音響装置21に行う。これらの情報の入出力は、図9に示す入出力インタフェース84により実現される。すなわち、音場制御装置101-104は、処理回路81と入出力インタフェース84により実現する。
処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。乗員検出部11等の各部の機能それぞれは、複数の処理回路81で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
処理回路81がプロセッサである場合、乗員検出部11等の機能は、ソフトウェア等(ソフトウェア、ファームウェアまたはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図10に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、音場制御装置101-104は、処理回路81により実行されるときに、車両の乗員の着座位置を検出するステップと、乗員の中から車両の車室内で行われた会話の発話者と受話者を参加者として検出するステップと、車室内で会話が行われると、参加者の着座位置と参加者ではない乗員である非参加者の着座位置とに基づき、車室内に設けられた複数のスピーカ22による音場を制御するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、乗員検出部11等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
以上、乗員検出部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、乗員検出部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、乗員検出部11については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。なお、発話者等登録部16と乗員登録部17は、メモリ83から構成されるが、それらは単一のメモリ83から構成されてもよいし、それぞれが個別のメモリから構成されてもよい。
また、上記では音場制御装置101-104は車載装置として構成される他、車載装置、PND(Portable Navigation Device)、通信端末(例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末)、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムにも適用することができる。この場合、以上で説明した音場制御装置101-104の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図11には、音場制御装置102が車両VとサーバSにより構成される例を示している。図11の例では、乗員検出部11、発話者検出部12A,受話者検出部13、音場制御部15、音響装置21およびスピーカ22が車両Vに配置され、参加者検出部14と発話者等登録部16がサーバSに配置されている。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
11 乗員検出部、12A,12B 発話者検出部、13 受話者検出部、14 参加者検出部、15 音場制御部、16 発話者等登録部、17 乗員登録部、21 音響装置、22,22BL,22BR,22FL,22FR スピーカ、23 マイクロフォン、24 カメラ、25 外部センサ、30A,30B,30C 乗員、81 処理回路、82 プロセッサ、83 メモリ、84 入出力インタフェース、101,102,103,104 音場制御装置、121 音程検出部、122 顔認識部、123 相関判断部。

Claims (14)

  1. 車両の乗員の着座位置を検出する乗員検出部と、
    前記乗員の中から前記車両の車室内で行われた会話の発話者と受話者を参加者として検出する参加者検出部と、
    前記車室内で会話が行われると、前記参加者の着座位置と前記参加者ではない前記乗員である非参加者の着座位置とに基づき、前記車室内に設けられた複数のスピーカによる音場を制御する音場制御部と、を備え、
    前記参加者検出部は、身体の動きが特定の条件を満たす前記乗員を、前記受話者である前記参加者として検出する
    音場制御装置。
  2. 前記音場制御部は、制御前に比べて、前記音場による前記非参加者の着座位置における音量が小さくなることなく、前記音場による前記参加者の着座位置における音量が小さくなるように、前記音場を制御する、
    請求項1に記載の音場制御装置。
  3. 複数の前記スピーカは前記車両の着座位置に対応して設けられており、
    前記音場制御部は、前記参加者の着座位置に対応する前記スピーカの音量を前記非参加者の着座位置に対応する前記スピーカの音量より小さくする、
    請求項1に記載の音場制御装置。
  4. 前記参加者検出部は、現在または過去の所定期間内に前記車室内で行われた会話の発話者と受話者を前記参加者として検出する、
    請求項1に記載の音場制御装置。
  5. 前記参加者検出部は、前記発話者の視線の先に着座する乗員を、前記受話者である前記参加者として検出する、
    請求項4に記載の音場制御装置。
  6. 前記参加者検出部は、前記乗員とキーワードが対応付けられた個人情報を参照し、前記発話者が発話したキーワードに対応する前記乗員を前記受話者である前記参加者として検出する、
    請求項1に記載の音場制御装置。
  7. 前記乗員が歌唱していることを検出する歌唱検出部をさらに備え、
    前記参加者検出部は、歌唱している前記乗員を前記参加者として検出しない、
    請求項1に記載の音場制御装置。
  8. 前記参加者検出部は、前記音場制御部による音場制御後の前記乗員の表情に基づき、前記参加者の検出結果を更新する、
    請求項1に記載の音場制御装置。
  9. 前記参加者検出部は、過去の所定期間内に前記車室内で行われた会話の発話者と受話者を前記参加者として検出する、
    請求項4に記載の音場制御装置。
  10. 前記参加者検出部は、前記音場制御部による音場制御後の前記乗員の表情を解析し、不快な表情をしている前記乗員を検出した場合に、不快な表情をしている前記乗員についての前記参加者の検出結果を逆にして更新する、
    請求項8に記載の音場制御装置。
  11. 前記参加者検出部は、前記発話者の発話音声に同期した前記身体の動作を行う前記乗員を前記受話者である前記参加者として検出する、
    請求項1から請求項10のいずれか1項に記載の音場制御装置。
  12. 前記参加者検出部は、ミラー越しに前記発話者の視線の先に着座する乗員を、前記受話者である前記参加者として検出する、
    請求項5に記載の音場制御装置。
  13. 車両の乗員の着座位置を検出し、
    前記乗員の中から前記車両の車室内で行われた会話の発話者と受話者を参加者として検出し、
    前記車室内で会話が行われると、前記参加者の着座位置と前記参加者ではない前記乗員である非参加者の着座位置とに基づき、前記車室内に設けられた複数のスピーカによる音場を制御し、
    体の動きが特定の条件を満たす前記乗員を、前記受話者である前記参加者として検出する
    音場制御方法。
  14. 前記参加者検出部は、前記会話の発話音声に同期して頷いている前記乗員を、前記受話者である前記参加者として検出する、
    請求項1から請求項12のいずれか1項に記載の音場制御装置。
JP2020530758A 2018-07-17 2018-07-17 音場制御装置および音場制御方法 Active JP7065964B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026704 WO2020016927A1 (ja) 2018-07-17 2018-07-17 音場制御装置および音場制御方法

Publications (2)

Publication Number Publication Date
JPWO2020016927A1 JPWO2020016927A1 (ja) 2021-03-11
JP7065964B2 true JP7065964B2 (ja) 2022-05-12

Family

ID=69165046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530758A Active JP7065964B2 (ja) 2018-07-17 2018-07-17 音場制御装置および音場制御方法

Country Status (2)

Country Link
JP (1) JP7065964B2 (ja)
WO (1) WO2020016927A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7337965B2 (ja) * 2020-02-10 2023-09-04 三菱電機株式会社 発話者推定装置
JPWO2022196429A1 (ja) * 2021-03-15 2022-09-22

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156826A (ja) 2008-12-26 2010-07-15 Fujitsu Ten Ltd 音響制御装置
JP2012025270A (ja) 2010-07-23 2012-02-09 Denso Corp 車両用の音量制御装置および音量制御装置用のプログラム
JP2016157084A (ja) 2015-02-26 2016-09-01 パイオニア株式会社 再生装置、再生方法、及び、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04284790A (ja) * 1991-03-14 1992-10-09 Murata Mach Ltd テレビ電話装置
JPH0983277A (ja) * 1995-09-18 1997-03-28 Fujitsu Ten Ltd 音量調整装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156826A (ja) 2008-12-26 2010-07-15 Fujitsu Ten Ltd 音響制御装置
JP2012025270A (ja) 2010-07-23 2012-02-09 Denso Corp 車両用の音量制御装置および音量制御装置用のプログラム
JP2016157084A (ja) 2015-02-26 2016-09-01 パイオニア株式会社 再生装置、再生方法、及び、プログラム

Also Published As

Publication number Publication date
JPWO2020016927A1 (ja) 2021-03-11
WO2020016927A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
US20230317094A1 (en) Personalized, real-time audio processing
JP6466385B2 (ja) サービス提供装置、サービス提供方法およびサービス提供プログラム
JP5018773B2 (ja) 音声入力システム、対話型ロボット、音声入力方法、および、音声入力プログラム
JP2007290691A (ja) 車両通信システム
JP6284331B2 (ja) 会話支援装置、会話支援方法及び会話支援プログラム
JP7049803B2 (ja) 車載装置および音声出力方法
US20160127827A1 (en) Systems and methods for selecting audio filtering schemes
JP2017090612A (ja) 音声認識制御システム
JP2010156825A (ja) 音声出力装置
JP7065964B2 (ja) 音場制御装置および音場制御方法
JPWO2018167949A1 (ja) 車内通話制御装置、車内通話システムおよび車内通話制御方法
US11455980B2 (en) Vehicle and controlling method of vehicle
JPH1152976A (ja) 音声認識装置
US20240127844A1 (en) Processing and utilizing audio signals based on speech separation
JP3838159B2 (ja) 音声認識対話装置およびプログラム
JP2017219746A (ja) 音声出力制御装置および音声出力制御プログラム
JP2008250236A (ja) 音声認識装置および音声認識方法
JP6995254B2 (ja) 音場制御装置及び音場制御方法
WO2022181013A1 (ja) 会議システム
JP2019053785A (ja) サービス提供装置
JP7407665B2 (ja) 音声出力制御装置および音声出力制御プログラム
WO2021161377A1 (ja) 発話者推定装置および発話者推定方法
KR102394510B1 (ko) 차량용 음성 인식 장치 및 방법
WO2022239142A1 (ja) 音声認識装置及び音声認識方法
JP2019137167A (ja) 音声出力制御装置、及び音声出力制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220426

R150 Certificate of patent or registration of utility model

Ref document number: 7065964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150