JP7023131B2

JP7023131B2 - 音声出力制御装置、及び音声出力制御プログラム

Info

Publication number: JP7023131B2
Application number: JP2018021071A
Authority: JP
Inventors: 瑞貴川瀬
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-02-08
Filing date: 2018-02-08
Publication date: 2022-02-21
Anticipated expiration: 2038-02-08
Also published as: JP2019137167A

Description

この発明は、音声出力制御装置、及び音声出力制御プログラムに関するものである。

車両に乗車している乗員同士の会話の障害とならないよう、車載音響装置の音量を自動的に調整する技術が知られている。
例えば、特許文献１には、音響装置が出力する音声信号と車内用マイクロフォンから受けた音声信号を逐次モニタリングし、両者の比較に基づいて乗員の発話の有無を判定し、発話されていると判定されると、車載カメラの撮影画像を用いて発話の行われている発話位置を特定し、音声出力部の各増幅率を制御することで、スピーカのうち発話位置に近いスピーカのみの音量を低下させる技術が開示されている。

特開２０１２－２５２７０号公報

特許文献１に開示された技術は、車内用マイクロフォンから受けた音声信号により発話されていると判定されると、車載カメラの撮影画像を用いて発話の行われている発話位置を特定し、スピーカの音量を低下させるものである。したがって、当該技術は、乗員が発話を開始した時点では、まだスピーカの音量を低下させておらず、発話を開始した時点の会話が話し相手の乗員に聞こえづらいという課題があった。

この発明は、上述の課題を解決するためのもので、乗員が発話を開始する時点において、音声発生装置から出力される音量を制御可能にする音声出力制御装置を提供することを目的としている。

この発明に係る音声出力制御装置は、車両に乗車している乗員の顔を撮影する撮像装置で撮影された画像を取得する画像取得部と、前記画像取得部で取得した前記画像に基づいて、前記乗員の口の大きさに対して開いた口の大きさの割合が予め設定した値より大きくなったとき、前記乗員により会話が開始されたと推定する会話開始推定部と、前記画像取得部で取得した前記画像に基づいて、会話の開始が推定された前記乗員の顔の方向又は視線の方向から会話対象の位置を推定する対象位置推定部と、前記会話開始推定部が前記乗員による会話の開始を推定した際、前記対象位置推定部が推定した前記会話対象の位置に最も近い音声発生装置から出力される音声の音量を制御する制御情報を生成する出力制御部とを備えたことを特徴とするものである。

この発明によれば、乗員が発話を開始する時点において、音声発生装置から出力される音量を制御できる。

実施の形態１に係る音声出力制御装置が適用された音響システムの構成を示すブロック図である。図２Ａは、実施の形態１に係る音声出力制御装置のハードウェア構成の一例を示す図である。図２Ｂは、実施の形態１に係る音声出力制御装置のハードウェア構成の一例を示す図である。実施の形態１に係る音声出力制御装置が適用された音響システムを搭載した車両の内部を上方から見た構成例を示す図ある。実施の形態１に係る音声出力制御装置１の動作を説明するフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．

実施の形態１に係る音声出力制御装置１は、一例として、車両に搭載された音響システム３に適用されるものとして、以下説明する。

図１は、実施の形態１に係る音声出力制御装置１が適用された音響システム３の構成を示すブロック図である。
音響システム３は、撮像装置３１，３２，３３，３４、複数の音声発生装置３６，３７，３８，３９、音声出力制御装置１、及び音響装置２を備える。
撮像装置３１，３２，３３，３４は、車載用カメラであり、車両に乗車している乗員を撮影するものである。撮像装置３１，３２，３３，３４は、少なくとも各乗員の顔部を撮影できるものであればよい。
音声発生装置３６，３７，３８，３９は、音声を出力するスピーカである。

音響装置２は、いわゆるオーディオ装置であり、音源取得部２１、音源再生部２２、音量制御部２３、音声出力部２４、及び操作部２５を備える。
音源取得部２１は、音楽データ、放送データ、音声データ等の音源データ、又は映像データに含まれる音源データを取得する。
音源再生部２２は、音源取得部２１で取得した音源データを再生し、音声信号を生成する、いわゆる音声デコーダである。
音量制御部２３は、音源再生部２２で生成された音声信号に対して、音声発生装置３６，３７，３８，３９それぞれに出力する音声信号の増幅幅の制御を行うことができる、いわゆるコントロールアンプである。増幅幅は、操作部２５又は音声出力制御装置１からの入力により決定される。操作部２５及び音声出力制御装置１については後述する。
音声出力部２４は、音量制御部２３で増幅された音声信号を音声発生装置３６，３７，３８，３９にそれぞれ出力する。
操作部２５は、再生する音源データの選択、音源データの再生方法の選択、音声を出力する音量の変更等、車両の乗員であるユーザが所望の操作をするための操作入力手段である。

音声出力制御装置１は、画像取得部１１、会話開始推定部１２、対象位置推定部１３、出力制御部１４、及び制御情報送信部１５を備える。
画像取得部１１は、撮像装置３１，３２，３３，３４それぞれから画像を取得する。
会話開始推定部１２は、画像取得部１１で取得した画像を基に、周知の画像解析技術を用いて、それぞれの乗員の口の開き具合を判定し、判定した口の開き具合から、乗員により会話が開始されるか否か推定する。例えば、会話開始推定部１２は、乗員の口の大きさに対して開いた口の大きさの割合が予め設定した値より大きくなった等の条件を満たした際に、乗員により会話が開始されると推定する。
対象位置推定部１３は、画像取得部１１で取得した画像を基に、周知の画像解析技術を用いて、会話の開始が推定された乗員（以下、「話者」という）の顔の方向又は視線の方向を判定し、判定した話者の顔の方向又は視線の方向から会話対象の位置を推定する。会話対象の位置は、例えば、話者の顔の方向又は視線の方向にある座席である。
出力制御部１４は、会話開始推定部１２が乗員による会話の開始を推定した際、対象位置推定部１３が推定した会話対象の位置に最も近い音声発生装置から出力される音声の音量を小さくするよう、音響装置２が出力する音声信号の増幅幅の制御を行うための制御情報を生成する。
制御情報送信部１５は、出力制御部１４が生成した制御情報を音響装置２に送信する。

図２は、実施の形態１に係る音声出力制御装置１のハードウェア構成の一例を示す図である。
実施の形態１において、画像取得部１１、会話開始推定部１２、対象位置推定部１３、出力制御部１４、及び制御情報送信部１５の各機能は、処理回路２０１により実現される。すなわち、音声出力制御装置１は、画像取得部１１で取得した画像に基づいて生成された制御情報を、制御情報送信部１５で送信するための処理回路２０１を備える。
処理回路２０１は、図２Ａに示すように専用のハードウェアであっても、図２Ｂに示すようにメモリ２０５に格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０６であってもよい。

処理回路２０１が専用のハードウェアである場合、処理回路２０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はこれらを組み合わせたものが該当する。

処理回路２０１がＣＰＵ２０６の場合、画像取得部１１、会話開始推定部１２、対象位置推定部１３、出力制御部１４、及び制御情報送信部１５の各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、画像取得部１１、会話開始推定部１２、対象位置推定部１３、出力制御部１４、及び制御情報送信部１５は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）２０２、メモリ２０５等に記憶されたプログラムを実行するＣＰＵ２０６、又はシステムＬＳＩ（Ｌａｒｇｅ－ＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ２０２、又はメモリ２０５等に記憶されたプログラムは、画像取得部１１、会話開始推定部１２、対象位置推定部１３、出力制御部１４、及び制御情報送信部１５における各手順、すなわち、画像取得手順、会話開始推定手順、対象位置推定手順、出力制御手順、及び制御情報送信手順をコンピュータに実行させるものであるとも言える。ここで、メモリ２０５とは、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等が該当する。

なお、画像取得部１１、会話開始推定部１２、対象位置推定部１３、出力制御部１４、及び制御情報送信部１５の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、画像取得部１１、会話開始推定部１２、及び対象位置推定部１３については、専用のハードウェアとしての処理回路２０１でその機能を実現し、出力制御部１４、及び制御情報送信部１５については、処理回路がメモリ２０５に格納されたプログラムを読み出して実行することによってその機能を実現することができる。
また、音声出力制御装置１は、撮像装置３１，３２，３３，３４、及び音響装置２との通信を行うための、入力インタフェース装置２０３及び出力インタフェース装置２０４を有する。
なお、以上の説明では、音声出力制御装置１のハードウェア構成について、図２Ｂに示すように、ＨＤＤ２０２を使用するものとして説明したが、ＨＤＤ２０２に代えて、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）を使用するものであってもよい。

図３は、実施の形態１に係る音声出力制御装置１が適用された音響システム３を搭載した車両３００の内部を上方から見た構成例を示す図ある。
図３に示すように、撮像装置３１，３２，３３，３４は、乗員３０１，３０２，３０３，３０４がそれぞれ座る座席３１１，３１２，３１３，３１４に対応して設置されている。撮像装置３１，３２，３３，３４は、乗員３０１，３０２，３０３，３０４、特に乗員３０１，３０２，３０３，３０４の顔部をそれぞれ撮影している。
音声発生装置３６，３７，３８，３９は、座席３１１，３１２，３１３，３１４にそれぞれ対応して設置されている。

動作について説明する。
図４は、実施の形態１に係る音声出力制御装置１の動作を説明するフローチャートである。以下、実施の形態１に係る音声出力制御装置１の動作を、当該フローチャートを用いて説明すると共に、図３に示すように、話者が乗員３０４であり、会話対象の位置が座席３１１である場合を例にとって説明する。
音声出力制御装置１がこのフローチャートに示した処理を繰り返し実行することで、音声出力制御装置１の動作中、音響装置２は、音声出力制御装置１から受信した制御情報に基づいて音声発生装置３６，３７，３８，３９に出力する音声信号の増幅幅の制御を行う。

音声出力制御装置１の動作が開始されると、画像取得部１１は、撮像装置３１，３２，３３，３４それぞれから画像を取得する（ステップＳＴ１）。
会話開始推定部１２は、画像取得部１１で取得した画像を基に、乗員により会話が開始されるか否か推定する（ステップＳＴ２）。
ステップＳＴ２において、会話開始推定部１２が乗員により会話が開始されると推定した場合（ステップＳＴ２“ＹＥＳ”）、対象位置推定部１３は、画像取得部１１で取得した画像を基に、話者の顔の方向又は視線の方向から会話対象の位置を推定する（ステップＳＴ３）。画像取得部１１が取得した撮像装置３４で撮影された画像を基に、会話開始推定部１２が乗員３０４により会話が開始されると推定した場合、対象位置推定部１３は、画像取得部１１が取得した撮像装置３４で撮影された画像を基に、乗員３０４の顔の方向又は視線の方向から会話対象の位置が前方右側の座席３１１であると推定する。
出力制御部１４は、対象位置推定部１３が推定した会話対象の位置に基づき、当該会話対象の位置に最も近い音声発生装置から出力される音声の音量を小さくするよう、音響装置２が出力する音声信号の増幅幅の制御を行うための制御情報を生成する（ステップＳＴ４）。出力制御部１４は、対象位置推定部１３が推定した会話対象の位置である座席３１１に最も近い音声発生装置３６の音量を小さくするよう、音響装置２が出力する音声信号の増幅幅の制御を行うための制御情報を生成する。
制御情報送信部１５は、出力制御部１４が生成した制御情報を音響装置２に送信し（ステップＳＴ５）、音声出力制御装置１は、動作を終了する。
ステップＳＴ２において、会話開始推定部１２が乗員により会話が開始されないと推定した場合（ステップＳＴ２“ＮＯ”）、音声出力制御装置１は、動作を終了する。

以上のように、音声出力制御装置１は、車両３００に乗車している乗員３０１，３０２，３０３，３０４の顔を撮影する撮像装置３１，３２，３３，３４で撮影された画像を取得する画像取得部１１と、画像取得部１１で取得した画像に基づいて、乗員の口の開き具合から乗員による会話の開始を推定する会話開始推定部１２と、画像取得部１１で取得した画像に基づいて、会話の開始が推定された乗員の顔の方向又は視線の方向から会話対象の位置を推定する対象位置推定部１３と、会話開始推定部１２が乗員による会話の開始を推定した際、対象位置推定部１３が推定した会話対象の位置に最も近い音声発生装置から出力される音声の音量を制御する制御情報を生成する出力制御部１４とを備える。このように構成することで、乗員が発話を開始する時点において、音声発生装置３６，３７，３８，３９から出力される音量を制御できる。

これまで説明した実施の形態１において、話者の顔の方向又は視線の方向にある座席である例を示したが、この限りではない。例えば、話者が座席３１１に座る乗員３０１である場合、当該話者がルームミラー３０５の方向に顔の方向又は視線の方向を向けていれば、会話対象が座席３１３又は座席３１４であると推定することができる。すなわち、会話開始推定部１２が会話の開始を推定した話者が前席の乗員であり、対象位置推定部１３が当該話者の顔の方向又は視線の方向がルームミラー３０５の方向であると判定した場合、会話対象の位置を後席と推定してもよい。このように構成することで、音声出力制御装置１は、会話対象の位置の推定の精度を向上できる。

また、これまで説明した実施の形態１において、図３に示すように、座席３１１，３１２，３１３，３１４それぞれに対応した４台の撮像装置３１，３２，３３，３４を例に示したが、撮像装置は、車両３００内の複数の乗員の顔部が撮影できれば良い。すなわち、撮像装置の台数及び設置位置は、これに限るものではなく、例えば、複数の乗員の顔部が撮影できる位置に撮像装置が１台だけ設置されていても良い。複数の乗員の顔部が撮影できる位置に撮像装置が１台だけ設置されている場合、当該撮像装置で撮影された画像に基づいて、画像解析により画像内の顔の位置等から当該顔が車両３００内のどの座席に座る乗員のものであるかを判定することができる。

また、これまで説明した実施の形態１において、図３に示すように、座席３１１，３１２，３１３，３１４それぞれに対応した４台の音声発生装置３６，３７，３８，３９を例に示したが、音声発生装置の台数及び設置位置は、これに限るものではない。例えば、音声発生装置は、必ずしもそれぞれの座席に対応している必要はなく、車両３００内の前後、又は左右に１つずつ設置された音声発生装置等、座席の数より少ない台数であっても良いし、逆に座席の数より多くの台数であっても良い。

また、これまで説明した実施の形態１において、出力制御部１４は、会話対象の位置に最も近い音声発生装置から出力される音声の音量を制御するよう、音響装置２が出力する音声信号の増幅幅の制御を行うための制御情報を生成する例を示したが、この限りではない。例えば、話者が座る座席の最も近くにある音声発生装置から出力される音声の音量も小さくするよう、音響装置２が出力する音声信号の増幅幅の制御を行うための制御情報を生成しても良い。また、出力制御部１４が生成する制御情報は、音響装置２において、音声発生装置３６，３７，３８，３９から出力される音声の音量を制御できる情報であれば良く、音声信号の増幅幅の制御を行うための情報に限定されるものではない。

また、これまで説明した実施の形態１において、会話開始推定部１２が会話の終了も推定し、出力制御部１４は、会話開始推定部１２が会話の終了を推定した際、これまで小さくするよう制御していた音声発生装置から出力される音声の音量を、元に戻すよう、音響装置２が出力する音声信号の増幅幅の制御を行う制御情報を生成するようにしてもよい。このように構成することで、会話をしている期間だけ音声発生装置３６，３７，３８，３９から出力される音声の音量を小さくすることができる。

また、これまで説明した実施の形態１において、音声出力制御装置１は、車両３００内で機能する装置を例に示したが、必ずしも各機能の一部又は全部が車両３００内で機能する必要はない。例えば、音声出力制御装置１は、車両３００の外部に設置され、撮像装置３１，３２，３３，３４で撮影された画像をインターネット等のネットワークを介して画像取得部１１で取得し、生成した制御情報をインターネット等のネットワークを介して制御情報送信部１５から音響装置２に送信するようにしてもよい。また例えば、音声出力制御装置１は、各機能の一部が車両３００内で機能し、残りの一部が車両３００の外部で機能するようにしてもよい。

なお、この発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略ができる。

この発明に係る音声出力制御装置は音響システムをはじめとした音声出力機器に適用することができる。

１音声出力制御装置、２音響装置、３音響システム、１１画像取得部、１２会話開始推定部、１３対象位置推定部、１４出力制御部、１５制御情報送信部、２１音源取得部、２２音源再生部、２３音量制御部、２４音声出力部、２５操作部、３１，３２，３３，３４撮像装置、３６，３７，３８，３９音声発生装置、２０１処理回路、２０２ＨＤＤ、２０３入力インタフェース装置、２０４出力インタフェース装置、２０５メモリ、２０６ＣＰＵ、３００車両、３０１，３０２，３０３，３０４乗員、３０５ルームミラー、３１１，３１２，３１３，３１４座席。

Claims

車両に乗車している乗員の顔を撮影する撮像装置で撮影された画像を取得する画像取得部と、
前記画像取得部で取得した前記画像に基づいて、前記乗員の口の大きさに対して開いた口の大きさの割合が予め設定した値より大きくなったとき、前記乗員により会話が開始されたと推定する会話開始推定部と、
前記画像取得部で取得した前記画像に基づいて、会話の開始が推定された前記乗員の顔の方向又は視線の方向から会話対象の位置を推定する対象位置推定部と、
前記会話開始推定部が前記乗員による会話の開始を推定した際、前記対象位置推定部が推定した前記会話対象の位置に最も近い音声発生装置から出力される音声の音量を制御する制御情報を生成する出力制御部とを備えた
ことを特徴とする音声出力制御装置。
前記対象位置推定部は、会話の開始が推定された前席の前記乗員の顔の方向又は視線の方向がルームミラーの方向であった場合、前記会話対象の位置を後席と推定すること
を特徴とする請求項１記載の音声出力制御装置。
前記会話開始推定部は、前記乗員による会話の開始を推定した後、前記画像取得部で取得した前記画像に基づいて、会話の開始を推定した前記乗員の口の開き具合から前記乗員による会話の終了を推定し、
前記会話開始推定部が前記乗員による会話の終了を推定した際、前記出力制御部は、前記対象位置推定部が推定した前記会話対象の位置に最も近い前記音声発生装置から出力される音声の音量を元に戻すように制御する前記制御情報を生成すること
を特徴とする請求項１記載の音声出力制御装置。
コンピュータに、
車両に乗車している乗員の顔を撮影する撮像装置で撮影された画像を取得する画像取得手順と、
前記画像取得手順において取得した前記画像に基づいて、前記乗員の口の大きさに対して開いた口の大きさの割合が予め設定した値より大きくなったとき、前記乗員により会話が開始されたと推定する会話開始推定手順と、
前記画像取得手順において取得した前記画像に基づいて、会話の開始が推定された前記乗員の顔の方向又は視線の方向から会話対象の位置を推定する対象位置推定手順と、
前記会話開始推定手順において前記乗員による会話の開始を推定した際、前記対象位置推定手順において推定した前記会話対象の位置に最も近い音声発生装置から出力される音声の音量を制御する制御情報を生成する出力制御手順と
を実行させるための音声出力制御プログラム。