JP6425790B1 - 車載オーディオ装置 - Google Patents

Abstract

【課題】車載オーディオ装置の超指向性スピーカーの指向性により荷物や聴講者の動きによって音の伝達経路が妨げられ継続した聴講ができない。【解決手段】乗員の特徴・動作を検出する乗員検出手段２１０と、座席位置を取得する座席情報取得手段６００と、車両内の奥行を推定する奥行推定手段２４０と、超音波の反射位置を選択する反射位置選択手段３１０と、音源信号を記録する音源記録手段５２０と、音源信号を超音波に変換して照射するスピーカー部８００と、乗員検出手段によって検出した乗員の特徴と座席情報取得手段または奥行推定手段から得られる情報を基に乗員が存在する車両内位置情報を算出する手段２５０と、車両内位置情報と反射位置とスピーカー部の位置から、音を照射する音波伝達経路を算出する音波伝達経路計算手段３２０を備え、音波伝達経路に従って音源信号を超音波に変換して乗員へ照射する。【選択図】図３

Description

この発明は、画像認識処理と超指向性スピーカーの反射波を用いた車載オーディオ装置に関するものである。

超指向性スピーカーを車両に用いると、従来のランドスピーカーではできない座席毎に別々の音楽等を楽しむことが可能になる。しかし、車両内空間において従来の直進波を照射するだけの超指向性スピーカーの用い方では、音楽等を聴講する場合、限られたスペース、座席位置によって超指向性スピーカーの設置スペースが限定される場合や、その超指向性により荷物や聴講者の動きによって音の伝達経路が妨げられたり、可聴範囲から外れたりして継続した聴講ができない場合がある。

従来の指向性スピーカーを使用した制御装置としては、例えば特許文献１や特許文献２に記載されたものが知られている。特許文献１は、大形な指向性スピーカーを使用せず、かつ過大なエネルギーも要しない可聴音指向性制御装置を提供するという課題に対し、照射する音波の到達目標位置を検出し、直進波を発生する音波発生装置を個別に制御するという解決方法を提案している。特許文献２は、目標出力対象が複数ある場合でも、簡易な構成で指向性音を目標出力対象に向け照射する課題に対し、駆動機構を用いずカメラとディレイタイムを使用するという解決方法を提案している。

特開２００８−１１３１９０号公報 特開２０１２−１７５１６２号公報

このような従来方法では、頭部（耳）に向けて超音波などの音波を照射し、個別に可聴者である乗員は音声や音楽を楽しむことができたが、頭部（耳）を検出し、その方向に向けて超音波などの音波を照射しているのみで、必ずしも適切に音が聞こえるように超音波を復調しない場合や乗員が聞こえない領域に音が発生する場合があった。

従来方法では、車両内の状況や可聴者である乗員の状況を把握できておらず、荷物等の車両内配置状況や乗員の動きにあった超音波などの音波の照射ができていなかった。さらに従来方法では、頭部（耳）に向け超音波などの音波を照射しているので、例えば超音波などの音波を伝達する経路に荷物が置かれた場合や、超音波をさえぎるような行動をとられた場合に、音を聴くことができない可能性もあった。加えて、頭部（耳）に向け直進する超音波などの音波を照射することが可能な位置にのみに、スピーカーを配置する必要があるため、スピーカーの車内での配置スペースに制限があった。

この発明は、上記のような課題を解決するためになされたものであり、画像認識処理によって、頭部または耳の位置や車両内状況、乗員の動作状況を把握しながら超指向性スピーカーから照射される直進性の超音波の反射波を適切に制御するようにした車載オーディオ装置を提供することを目的とするものである。

この発明の車載オーディオ装置は、車両内における乗員の特徴及び動作を検出する乗員検出手段と、車両内における物体の特徴及び挙動を検出する物体検出手段と、車両内の座席位置を取得する座席情報取得手段と、車両内の奥行を推定する奥行推定手段と、車両内の超音波を反射する位置を選択する反射位置選択手段と、音源信号を記録する音源記録手段と、音源信号を超音波に変換して照射するスピーカー部と、乗員検出手段によって検出した乗員の特徴と座席情報取得手段または奥行推定手段から得られる情報を基に乗員が存在すると推定される車両内位置情報を算出する手段と、車両内位置情報と反射位置選択手段で選択した反射位置とスピーカー部の位置から、音を照射する音波伝達経路を算出する音波伝達経路計算手段と、物体検出手段で検出された物体または乗員検出手段で検出された乗員の動作による音波伝達経路の遮断を判定する経路遮断判定手段と、物体もしくは乗員の動作位置が音波伝達経路と接触するまでの接触時間を算出する接触時間算出手段を備え、経路遮断判定手段は、物体もしくは乗員の動作が音波伝達経路を遮蔽すると判定した場合、反射位置選択手段で選択可能な別の反射位置を用いて新たな音波伝達経路と音波到達時間を算出し、新たな音波伝達経路の音波到達時間と接触時間算出手段で算出されている接触時間が
音波到達時間 ＜ 接触時間
となる場合、新たな音波伝達経路に従って超音波を乗員へ照射するようにしたものである。

この発明の車載オーディオ装置は、乗員検出手段や座席情報取得手段による画像認識処理によって乗員の位置や車両内状況、聴講者である乗員の動作状況を把握できるようになるため、例えば音波の伝搬経路に荷物や乗員の体の一部が侵入して超音波などの音波を遮るようなことになっても、同じスピーカー部から反射位置等を変更した経路で、変更した経路の情報を含んだ反射波を発生させて遮断された経路を回避しながら継続的に音を鳴らし続けたり、直進波しか使用しないときに限られていたスピーカー部の配置スペースも反射波を使用することで配置スペースに自由度を与えたりすることもできる。
さらに、スピーカー部から発生するキャリア波と信号波を、複数のスピーカー部に分割し、直進波と反射波を混合した音場で音を鳴らせることでよりスピーカー部の配置スペースに自由度を与えることができる。

この発明の実施の形態１における車載オーディオ装置の構成図である。 この発明の実施の形態１における車載オーディオ装置の画像取得装置で取得した画像イメージ図と超指向性スピーカーの配置例を示した説明図である。 この発明の実施の形態１における車載オーディオ装置に使用される車載オーディオ制御装置の内部の構成図である。 この発明の実施の形態１における車載オーディオ装置に使用される超音波スピーカーの内部構成図である。 この発明の実施の形態１における車載オーディオ装置による制御のフローチャート図である。 この発明の実施の形態２における車載オーディオ装置による制御のフローチャート図である。 この発明の実施の形態３における車載オーディオ装置による制御のフローチャート図である。 この発明の実施の形態４における車載オーディオ装置による制御のフローチャート図である。

実施の形態１．
以下、この発明の実施の形態１における車載オーディオ装置を図１から図５に基づいて説明する。
図１はこの発明の実施の形態１における車載オーディオ装置の全体構成図であり、画像認識処理と超指向性スピーカーの反射波を用いた車載オーディオ装置の構成図となっている。
図１において、車載オーディオ装置は、車両内の乗員や座席、荷物などを撮影してその画像を得る画像取得装置２０と、車載オーディオ制御装置３０と、超指向性スピーカー４０で構成されている。乗員１０は音楽等の聴講者であり、また乗員１０が座る座席５０もある方がよい。

図２は、画像認識処理と超指向性スピーカーの反射波を用いた車載オーディオ装置において、画像取得装置２０で取得した画像イメージ図と、そのイメージ図に対し超指向性スピーカー４０を配置した一例の説明図である。図２においては、乗員１０、座席５０、超指向性スピーカー４０、乗員の手または腕１００、荷物等の遮蔽物１１０、反射位置１２０を示している。

図３は画像認識処理と超指向性スピーカーの反射波を用いた車載オーディオ制御装置３０の内部の構成の説明図であり、画像処理部２００、経路計算部３００、照射処理部４００、音源処理部５００、座席位置を取得する座席情報取得手段６００、回避要請部７００で構成される。
また、画像処理部２００は、特徴抽出・検索処理部２１０、乗員追従処理部２２０、物体追従処理部２３０、奥行推定処理部２４０、画像位置―車両内位置変換処理部２５０で構成される。

経路計算部３００は、反射位置選択部３１０、音波伝達経路計算部３２０、遅延時間算出部３３０、音波到達時間計算部３４０で構成される。
照射処理部４００は、キャリア波生成部４１０、信号波生成部４２０、キャリア波補正部４３０、信号波補正部４４０、機能分担処理部４５０、照射処理通信部４６０で構成される。
音源処理部５００は、音源通信部５１０、音源記録部５２０で構成される。回避要請部７００は、経路遮断判定部７１０、接触時間算出部７２０で構成される。

図４は車載オーディオ装置に使用される超音波スピーカー４０の内部構成を説明した図である。超指向性スピーカー４０は、素子（圧電素子等）８１０を有したスピーカー部８００と駆動回路部８２０と制御回路部８３０で構成される。
図５は、画像取得装置２０で取得した画像から反射位置１２０を介して乗員１０へ超音波スピーカー４０より照射した音を伝える制御のフローチャートである。

乗員１０は、車両に搭乗している乗員のことである。また乗員１０は車両内で音声や音楽等を聴講する対象者でもある。乗員１０は画像取得装置２０によって２次元画像データとして形状を取得され、その２次元画像データは車載オーディオ制御装置３０にて処理される。
乗員１０には個人差があり、画像取得装置２０によって正確に頭部や耳の位置を計測しなければ、場合によっては超指向性スピーカー４０から照射される音波の可聴範囲から外れることもある。

たとえば乗員１０として考えられる大人と子供では、座高差が非常に大きく差異があり、また子供の可聴領域は大人に比べれば広く、固定した照射方向のまま超指向性スピーカー４０を車載用オーディオ装置に使用することは難しい。そのため、超指向性スピーカー４０には照射方法に関して制御が必要になり、乗員１０は車載オーディオ制御装置３０内で超指向性スピーカー４０から超音波を照射する目標となるように処理される。

画像取得装置２０は、各座席の乗員１０の画像や荷物等の遮蔽物１１０の画像を取得する装置である。取得した画像は、車載オーディオ制御装置３０内の画像処理部２００に送られる。画像取得装置２０は、専用の可視聴カメラであっても良いし、ドライブレコーダに付加された機能であっても良いし、車内赤外線カメラでも良いし、白黒カメラであっても良い。

車載オーディオ制御装置３０は、画像取得装置２０で超音波の照射目標である乗員１０や遮蔽物１１０を検出し、超指向性スピーカー４０の照射方法を制御して乗員１０に適切な音を伝搬する制御装置である。車載オーディオ制御装置３０の中では、画像処理部２００、経路計算部３００、照射処理部４００、音源処理部５００、座席情報取得手段６００、回避要請部７００の処理が協調し、画像認識処理と超指向性スピーカー４０の照射、反射等の制御を行う。車載オーディオ制御装置３０内の各処理はハードウェア・ソフトウェアが混在して構成される。

超指向性スピーカー４０は、単数もしくは複数の圧電素子等の素子８１０によって構成されたスピーカー部８００と、圧電素子等の素子８１０を振動させるための駆動回路部８２０と、駆動回路部８２０を動かすための制御回路部８３０から構成されている。圧電素子等の素子８１０は、駆動回路部８２０によって電流、電圧を与えられ、超音波を発生する装置である。駆動回路部８２０は、制御回路部８３０からの指示を受け、可聴音として聴けるようにキャリア波、信号波を回路として実現する部分である。制御回路部８３０は、車載オーディオ制御装置３０から通信等で指示を受け、実際に駆動回路部８２０を制御する部分である。

車載オーディオ制御装置３０の照射処理通信部４６０は超指向性スピーカー４０の制御回路部８３０と通信し、乗員１０の頭部または耳の位置情報が反映されたキャリア波・信号波の情報や、機能分担（直進波・反射波・キャリア波・信号波の組み合わせ）情報を相互にやりとりする。機能分担情報は、この情報を使用して照射方法を変更するために用いる。
車載オーディオ制御装置３０から上記の各情報を受信した制御回路部８３０は、得られた情報に従ってスピーカー部８００の圧電素子等の素子８１０を振動させるように、駆動回路部８２０を駆動してスピーカー部８００に電圧と電流を与える。

駆動回路部８２０は、乗員１０に向けて、直進波、反射波、キャリア波、信号波を加味し、算出した音波伝達経路情報等を含んだキャリア波と信号波をそれぞれ照射する。ここで、乗員１０に向けての照射方向を変更する方法は音波の位相情報を操作しても良いし、機構部品によって実現してもよい。ここで照射した超音波のキャリア波と信号波は空間上でうなりによって復号し、乗員１０の耳に可聴音が聞こえるようになる。

画像取得装置２０で得た座席５０の位置は、車載オーディオ制御装置３０内で画像位置から車両内位置情報を算出するために用いる。画像取得装置２０で得られる情報は２次元データであるため、３次元の車両内位置情報にするにはもう一次元情報が必要となり、座席５０の位置は車両情報から予め知ることができ、車両によって大きく変更されることはないので、もう一次元の情報として使いやすく用いる。

乗員の手または腕１００は、乗員１０が音を聴いているときに、乗員１０の動作によっては乗員１０の耳と超指向性スピーカー４０の間の、超音波の音波伝達経路を遮るように入ることがある。乗員の手または腕１００が遮るように超音波の伝達経路に入ると、直進性の高い超指向性スピーカー４０から照射される音波では継続的に音の可聴が不可能になることがある。そのため、画像取得装置２０で監視し、反射位置１２０で回避することが必要になる。

荷物等の遮蔽物１１０も、乗員１０が音を聴いているときに、乗員１０の耳と超指向性スピーカー４０の間に、超音波の音波伝達経路に落下や転倒によって遮るように入ることがある。そのため、荷物等の遮蔽物１１０の場合も画像取得装置２０で監視し、反射位置１２０で回避することが必要になる。

反射位置１２０は、超指向性スピーカー４０から照射された超音波を反射する位置のことである。反射位置１２０は、車両に使われる材質の超音波の反射率が高い点を選択する。できる限り多くの反射位置１２０を車載オーディオ制御装置３０は保持し、また新規に検索する機能や登録する機能を有していても良い。
反射位置１２０は、乗員１０の音波伝達経路を遮蔽するような動作や荷物等の遮蔽物１１０があると、使用できなくなる可能性もあり、画像取得装置２０は随時、その使用可否を監視しておく。

以下では、図１の車載オーディオ制御装置３０内の各処理について説明する（図３を参照）。
画像処理部２００は、特徴抽出・検索処理部２１０、乗員追従処理部２２０、物体追従処理部２３０、奥行推定処理部２４０、及び画像位置―車両内位置変換処理部２５０によって構成されている。

画像処理部２００の画像位置―車両内位置変換処理部２５０は、車両内の座席位置を記録している座席情報取得手段６００から座席位置情報を受取り、画像取得装置２０からの画像位置情報から得られる２次元情報に付加して車両内位置情報に変換する。この車両内位置情報は、経路計算部３００へ乗員１０の頭部または耳の可聴位置目標情報を与え、回避要請部７００へは荷物等の遮蔽物１１０等の回避物体位置情報を与える。

特徴抽出・検索処理部２１０は、乗員１０や荷物等の遮蔽物１１０を検出するための処理で、乗員の特徴及び動作を検出する乗員検出手段と、荷物等の遮蔽物１１０等の物体の特徴及び挙動を検出する物体検出手段を構成している。乗員追従処理部２２０は、特徴抽出・検索処理部２１０によって乗員１０の頭部または耳が検出されているとき、同特徴に対して画像位置―車両内位置変換処理部２５０を用いて、乗員１０の頭部（耳）の位置を経路計算部３００へ提供し続ける処理である。物体追従処理部２３０は、特徴抽出・検索処理２１０によって乗員の手または腕１００や荷物等の遮蔽物１１０が検出されているとき、同特徴に対して画像位置―車両内位置変換処理２５０を用いて、乗員の手または腕１００や荷物等の遮蔽物１１０の位置を経路計算部３００と回避要請部７００へ提供し続ける処理である。

奥行推定処理部２４０は、画像取得装置２０によって得られた２次元情報だけでは乗員１０の頭部または耳の位置を正確に把握することができない。そのため、もう１次元、奥行情報が必要となり、その奥行情報を推定する処理である。
たとえば、画像取得装置２０を複数使用することで推定しても良いし、画像取得装置２０としてステレオカメラを使用して推定してもよい。または、画像取得装置２０が取得する画像内に基準となる物体やマークを配置し、基準の物体・マークと比較して推定してもよい。

奥行推定処理部２４０で推定した奥行情報は、画像位置―車両内位置変換処理部２５０で画像取得装置２０によって取得された乗員１０の頭部または耳の画像位置、もしくは乗員の手または腕１１０や荷物等の遮蔽物１１０の画像位置の２次元情報を車両内スケールに変換し、３次元情報化するために付け加えられる。
画像位置―車両内位置変換処理部２５０は、画像取得装置２０によって取得された画像位置情報を車両内位置情報に変換する処理部であり、特徴抽出・検索処理部２１０によって検出した乗員の特徴と座席情報取得手段６００または奥行推定処理部２４０から得られる情報を基に乗員が存在すると推定される車両内位置情報を算出する手段でもある。

画像取得装置２０によって取得された画像位置情報は、そのままでは２次元情報のため、音の伝達経路を計算する際に使用できない。そのため、画像位置情報は画像のままのスケールから車両内スケールへ変換する。
加えて、音の伝達経路を計算するためには３次元情報が必要なため、座席情報取得手段６００から得た座席位置を車両のスケールに変換された２次元情報に追加する。本処理によって生成された車両内位置情報を経路計算部３００や回避要請部７００へ提供する。

経路計算部３００は、乗員１０の頭部（耳）と適切な選択によって選ばれた反射位置１２０、超指向性スピーカー４０の位置から音波伝達経路や補正用遅延時間、音波到達時間を算出する処理部である。
経路計算部３００は、その処理のため画像処理部２００から乗員１０の頭部または耳等の情報を受けながら、超音波の伝達経路を算出する。
経路計算部３００としては、反射位置選択部３１０、音波伝達経路計算部３２０、遅延時間算出部３３０、音波到達時間計算部３４０がある。

反射位置選択部３１０は、超指向性スピーカー４０から照射させる超音波の反射位置１２０を選択する処理である。反射位置１２０の選択としては、音波の減衰量が少なく、目標への到達までの時間が短い音波伝達経路計算部３２０により得られた経路距離が短いものを基本的には選択する。上記を満たすものの内、反射位置１２０の材料の反射率が既知の場合、超音波の反射率が高い位置を選定する。

音波伝達経路計算部３２０は、画像位置―車両内位置変換処理部２５０から得た目標となる乗員１０の頭部または耳の車両内位置情報と、反射位置選択部３１０が選んだ反射位置１２０の位置情報と、予め記録していたり登録されていたりする超指向性スピーカー４０の位置情報と音速から、速度の公式を用いて音波伝達経路の計算を行う処理である。

遅延時間算出部３３０は、音波伝達経路計算部３２０で算出された音波伝達経路に合わせて遅延時間を速度の公式を補正して用いて算出する。このときに算出される遅延時間には、経路差に起因するものと反射によるもの、方向変更によるものがある。
音波到達時間計算部３４０は、音波伝達経路計算部３２０で算出された経路と音速から音波到達時間を算出する。

経路計算部３００は、車内に遮蔽物１１０等があれば回避要請部７００と回避可否判定と経路計算情報を相互にやり取りしながら、経路変更や照射目標、スピーカー部８００もしくは素子８１０の機能分担（直進波でキャリア波等）を決定し、照射処理部４００にそれらの情報を提供して超指向性スピーカー４０から超音波を照射させる。
音波伝達時間計算部３４０で算出された音波伝達時間は回避要請部７００にて接触時間算出部７２０で用いられる。

照射処理部４００は、経路計算部３００から音波伝達経路情報や遅延時間等を取得する一方で経路計算部３００へ機能分担内容を与え、音源処理部５００から音源を取得し、照射処理部４００内で処理を進め、超指向性スピーカー４０の制御回路部８３０へ通信等で超音波の照射に必要なキャリア波、信号波、直進波、反射波の情報を送信する。
ちなみに、画像取得装置２０で対象となる乗員１０の頭部または耳が検出できない場合は、音波を照射しない。

キャリア波生成部４１０は、超指向性スピーカー４０の制御回路部８３０へキャリア生成のための情報を与える処理である。超指向性スピーカー４０から超音波を照射するため、人の可聴音を越えた周波数が２０ｋＨｚ以上の波形を生成するように超指向性スピーカー４０の制御回路部８３０へ照射処理通信部４６０より指示を与える。

信号波生成部４２０は、音源処理部５００から音源を取得し、キャリア波生成部４１０の波形と合成することで信号波を作成する処理である。作成した信号波は、信号波補正部４４０にて補正をかけられた後、照射処理通信部４６０から通信等で、超指向性スピーカー４０の制御回路部８３０に送信される。

キャリア波補正部４３０は、経路計算部３００で計算された音波伝達経路や反射位置、遅延時間等の情報から乗員１０の耳で聞こえるように振幅、位相を調整する処理である。たとえば音波伝達経路に応じて振幅は減衰するため、照射処理通信部４６０を介して超指向性スピーカー４０の制御回路部８３０から電圧や電流の大きさの指示を与え、調整する。また、乗員１０の耳でキャリア波と信号波が精度よく、うなりを起こさせるために位相の調整指示を行う。位相の調整は特に経路差に起因するものと反射によるもの、方向変更によるものがある。

信号波補正部４４０は、経路計算部３００で計算された音波伝達経路や反射位置、遅延時間等の情報から乗員１０の耳で聞こえるように振幅、位相を調整する処理である。振幅は減衰するため調整し、位相は乗員１０の耳でキャリア波と信号波に精度よく、うなりを起こさせるため、調整する。位相の調整にはこちらも経路差に起因するものと反射によるもの、方向変更によるものがある。

機能分担処理部４５０は、超指向性スピーカー４０のスピーカー部８００や内蔵されている素子８１０に対して、乗員１０の頭部または耳への音波伝達経路の有無を確認しながら、それぞれに直進波のキャリア波用、直進波の信号波用、反射波のキャリア波用、直進波の信号波用というように機能分担を実施し、実際に超音波を照射した場合の複合時ペアリングを行う。また、行ったペアリングに応じて、照射時の補正処理をする処理部でもある。本処理の結果は、経路計算部３００や超指向性スピーカー４０の制御回路部８３０と共有する。
照射処理通信部４６０は、照射処理部４００の各処理の結果を超指向性スピーカー４０の制御回路部８３０へ通信等で伝える処理をする。

音源処理部５００は、内部に音源通信部５１０や音源を記録する音源記録部５２０を保有し、信号波に載せる音源を音源記録部５２０から読出して音源通信部５１０から照射処理部４００に与え、照射処理部４００は、さらに信号波生成部４２０においてその音源を用いて信号波を生成している。

音源通信部５１０は、他の音源を所有するユニット（カーナビゲーションシステムや携帯端末機器のインターフェースを持つシステム）と音源を必要とする要求があったときに音源情報を通信等で交換し、取得して、音源記録部５２０へ乗員１０が可聴したい音源（音楽や音声等）を記録することもできる。
たとえば、音源処理部５００は通信相手からストリーミング通信で音源処理部５００を介して照射処理部４００へ情報を伝え、音源処理部５００内の音源記録部５２０へ音源を保持する。

座席情報取得手段６００は、画像位置―車両内位置変換処理部２５０で使用する座席位置情報を取得する処理である。座席位置情報は、予め記録させておいても良いし、複数の画像取得装置２０から取得してもよいし、座席自体から通信等でその位置を取得してもよい。

回避要請部７００は、画像処理部２００から乗員の手または腕１００や荷物等の遮蔽物１１０が検出されたときに、回避が必要であるのか、音波伝達経路を変更するのかを経路遮断判定部７１０と接触時間算出部７２０から、また音の伝達時間が満たされるのか等を判定する。判断するための音波伝達経路情報を経路計算部３００と相互に通信等でやり取りし、回避が必要で、音の伝達時間が満たされる等の判定結果を経路計算部３００へ伝える処理である。

経路遮断判定部７１０は、画像処理部２００から得た乗員の手または腕１００や荷物等の遮蔽物１１０の位置情報と経路計算部３００から得た音波伝達経路から経路遮断判定を行う。画像処理部２００から得られる２つ以上の画像フレーム情報から進行方向ベクトルを算出し、進行方向ベクトルを延長した場合に音波伝達経路があるかを判定する。音波伝達経路があると判定した場合、接触時間算出部７２０を実施する。

接触時間算出部７２０は、反射位置１２０を変更し、回避できる経路で乗員１０の頭部または耳へ照射した音が継続的に聴こえるのかを判定する。その結果、新規に反射位置１２０を選択した聴こえる音波伝達経路として採用し、補正量を用いる。
接触時間算出部７２０は、検出した乗員の手または腕１００や荷物等の遮蔽物１１０の位置と音波伝達経路と音速から、音波伝達経路上で検出物体と接触するまでの接触時間を算出する。

乗員１０の頭部または耳の基準時間後の位置を推定し、その位置に対して照射できる反射位置１２０を選択する。ここで、基準時間とは予め車載オーディオ制御装置３０で設定し、記録されている推定算出で最大算出できる推定間隔時間である。選択した反射位置１２０を元に新音波伝達経路を算出し、算出した内、
（新音波到達時間 ＋ 演算時間）＜ 接触時間
を満たす新音波伝達経路を用いる。算出した新音波伝達経路は経路計算部３００から照射処理部４００、超指向性スピーカー４０へと伝えられ、乗員１０へ音が伝達される。

以上のような構成で、図５、図６、図７、図８のフローチャートに示す処理を行い、従来手法では不可能であった超指向性スピーカー４０より照射される直進性の高い超音波の反射波を用いて、超指向性スピーカー４０の設置スペースの自由度を高め、さらに画像認識処理によって車両内の状況を把握し、音波伝達経路を障害物が遮っても同じ超指向性スピーカー４０から経路を変更することで継続的に音楽等を聴講できる車載オーディオ装置を提供する。

図５は、画像取得装置２０で取得した画像から反射位置１２０を介して乗員１０へ超音波スピーカー４０より照射した音を伝える制御のフローチャート図である。
図５において、ステップＳ１００は、画像取得装置２０で取得した画像を画像処理部２００の特徴抽出・検索処理部２１０を使用して乗員１０の頭部または耳を検出する。もしくは、乗員１０の頭部または耳を検出中であるかを確認する。

ステップＳ１１０は、乗員１０の頭部または耳を検出、もしくは追従中であれば、ステップＳ１２０へ処理を進める。検出中でも追従中でもなければ処理を終了する。
ステップＳ１２０は、画像処理部２００に座席情報取得手段６００から座席位置情報を提供する。または、奥行推定処理部２４０を動かし、奥行情報を取得する。
ステップＳ１３０は、画像位置―車両内位置変換処理部２５０を実行し、特徴抽出・検索処理部２１０によって検出した乗員の特徴と座席情報取得手段６００または奥行推定処理部２４０から得られる情報を基に乗員１０の頭部または耳が存在すると推定される車両内位置情報を取得する。

ステップＳ１４０は、画像位置―車両内位置変換処理部２５０から得られた乗員１０の頭部または耳の車両内位置が変化しているのかを確認する。変化している場合、経路計算等を行うため、ステップＳ１５０へ処理を移行する。変化していない場合は、そのまま目標位置が変わらないため、ステップＳ１８０の照射処理に移行する。
ステップＳ１５０は、乗員１０の頭部または耳の車両内位置が変化している場合、音波伝達経路を計算するために反射位置１２０を選択する。反射位置１２０の選択には反射位置選択部３１０の処理を使用する。

ステップＳ１６０は、音波伝達経路計算部３２０で音波伝達経路計算を行う。経路計算は、乗員１０の頭部または耳の車両内位置情報と、反射位置選択部３１０が選んだ反射位置１２０の位置情報と、超指向性スピーカー４０の位置情報と音速から計算する。処理が終わったら、ステップＳ１７０へ処理を進める。
ステップＳ１７０は、ステップＳ１６０で計算した音波伝達経路から超指向性スピーカー４０の制御回路部８３０に与える遅延時間を遅延時間算出部３３０で算出し、結果を照射処理部４００に伝える。

ステップＳ１８０は、ステップＳ１７０で算出した遅延時間を照射処理部４００のキャリア波補正部４３０、もしくは信号波補正部４４０に与え、キャリア波補正部４３０や信号波補正部４４０にて処理し、照射処理通信部４６０から超指向性スピーカー４０の制御回路部８３０に指示を通信等で与える。超指向性スピーカー４０は指示を受け、車載オーディオ制御装置３０の処理に従い、乗員１０の耳に向けて、超音波を選択した反射位置１２０に照射し、乗員１０は音を聴くことができるようになる。

上記の処理によって、超指向性スピーカー４０より照射される直進性の高い超音波を反射させて用いることで、従来方法の直進波として乗員に向けて音を伝達したときのスピーカー設置可能範囲より車両内に多くのスピーカー設置可能範囲を考えられるので、超指向性スピーカー４０の設置スペースの自由度を高めることができる。

実施の形態２．
次に、この発明の実施の形態２における車載オーディオ装置を図６に基づいて説明する。
図６は、画像取得装置２０で取得した画像から乗員の手または腕１００、もしくは荷物等の遮蔽物１１０を検出し、反射波を使用して遮蔽物などを回避しながら、乗員１０へ音を継続的に伝える制御を行うようにしたフローチャートである。
図６において、ステップＳ２００は、画像取得装置２０で取得した画像を画像処理部２００の特徴抽出・検索処理部２１０を使用して、１つ以上の乗員の手または腕１００、もしくは１つ以上の荷物等の遮蔽物１１０を検出する。もしくは、乗員の手または腕１００、もしくは荷物等の遮蔽物１１０を検出中であるかを確認する。

ステップＳ２１０は、乗員の手または腕１００、もしくは荷物等の遮蔽物１１０を検出、もしくは追従中であれば、ステップＳ２２０へ処理を進める。検出中でも追従中でもなければ処理を終了する。
ステップＳ２２０は、ステップＳ１２０と同様の処理をする。ステップＳ２３０は、ステップＳ１３０と同様の処理をして、乗員の手または腕１００、もしくは荷物等の遮蔽物１１０の車両内位置情報を取得する。

ステップＳ２４０は、画像位置―車両内位置変換処理部２５０から得られた乗員の手または腕１００、もしくは荷物等の遮蔽物１１０の車両内位置が変化しているのかを確認する。変化している場合、音波伝達経路の遮断判定を行うため、ステップＳ２５０へ処理を移行する。変化していない場合は、そのまま目標位置が変わらないため、ステップＳ２８０の照射処理に移行する。

ステップＳ２５０は、現時点の音波伝達経路の遮断判定を行う。この判定処理のために経路遮断判定部７１０を用いる。経路遮断判定で音波伝達経路が遮断される場合はステップＳ２６０へ処理を移行し、遮断しない場合はステップＳ２８０へ処理を移行する。
ステップＳ２６０は、音波伝達経路が遮断されてしまうため、新音波伝達経路を選出する。新しい伝達経路選出は反射位置選択部３１０で反射位置を選択し、再度、音波伝達経路計算部３２０を用いて実施する。さらにステップＳ２７０で使用する音波到達時間を算出するため、音波到達時間計算部３４０の処理を行ってステップＳ２７０へ移行する。

ステップＳ２７０は、接触時間判定を行い、新音波伝達経路を選出する。そのために、接触時間算出部７２０の処理を実行する。接触時間算出部７２０の処理は新音波伝達経路が決まるまで繰り返し実行するため、
（新音波到達時間 ＋ 演算時間）＜ 接触時間
が満たされない場合、ステップＳ２６０へ処理を戻す。接触時間算出部７２０によって新音波伝達経路が決定すると処理はステップＳ２８０へ移行する。演算時間は予め車載オーディオ制御装置３０の中に基準値を記憶させておく。

ステップＳ２８０は、ステップＳ１８０と同様の処理を実施し、超音波を照射する。即ち、ステップＳ２６０及びＳ２７０の処理による新音波伝達経路を照射処理部４００のキャリア波補正部４３０、もしくは信号波補正部４４０に与え、キャリア波補正部４３０や信号波補正部４４０にて処理し、照射処理通信部４６０から超指向性スピーカー４０の制御回路部８３０に指示を通信等で与える。超指向性スピーカー４０は指示を受け、車載オーディオ制御装置３０の処理に従い、乗員１０の耳に向けて、超音波を選択した反射位置１２０に照射し、乗員１０は音を聴くことができるようになる。

従来方法ではその指向性より乗員１０の動作による乗員の手または腕１００の遮蔽、もしくは荷物等の遮蔽物１１０によって音の伝達経路が妨げられたり、可聴範囲から外れたりして、音を継続して聴けない場面もあったが、本発明により同じ超指向性スピーカー４０から経路を変更することで継続的に音楽等を聴くことができる。

実施の形態３．
次に、この発明の実施の形態３における車載オーディオ装置を図７に基づいて説明する。
図７は、超音波スピーカー４０のスピーカー部８００もしくは素子８１０に直進波、反射波、キャリア波、信号波の組合せを作成し、組合せ条件のもと経路計算した補正量を与える機能分担をし、超音波スピーカー４０から照射した後、乗員１０の耳でキャリア波と信号波を重ねあわせ、うなりを発生させて可聴音として復号したときに、正確に可聴音になるように制御するフローチャートである。

図７において、ステップＳ３００は、機能分担要求を受信したか確認する。起動時や遮蔽物が発生したときに機能分担要求は発生する。
ステップＳ３０５は、機能分担を検討するスピーカー部数または素子数を確認する。予め車載オーディオ制御装置３０に記録しておいてもよいし、スピーカー部８００の群、または素子８１０の群から使用可否情報を通信等で受信し、数量を確認してもよい。確認したスピーカー数、または素子数にはインデックスをつけ、機能分担との対応をテーブルデータで管理できるようにする。

ステップＳ３１０は、経路遮蔽判定部７１０を用いて各スピーカー部８００や各素子８１０の使用可否を確認する。確認した結果は経路計算部３００を介して、機能分担処理部４５０に送信する。
ステップＳ３１５は、ステップＳ３１０の結果を各スピーカー部８００や各素子８１０を管理するインデックスと関連づける。

ステップＳ３２０は、機能分担を管理するテーブルデータを用いて各スピーカー部８００や各素子８１０へ直進波、反射波、キャリア波、信号波による役割分担を行う。
ステップＳ３２５は、乗員１０の耳ではキャリア波と信号波がうなりによって可聴音に復号するので、各スピーカー部８００や各素子８１０でキャリア波と信号波のペアリングを行う。

ステップＳ３３０は、ステップＳ３２５で行われたペアリングの内、「キャリア波が直進波で、信号波が反射波」のペアと、「キャリア波が反射波で、信号波が直進波」のペアは位相の補正が必要なため、ステップＳ３３７へ処理を移行する。「キャリア波が直進波で、信号波も直進波」、「キャリア波が反射波で、信号波も反射波」のものは、ステップＳ３３５へ処理を進める。
ステップＳ３３５は、キャリア波と信号波で各スピーカー部８００からの音伝達経路の距離が違う場合、位相差の補正を行う。反射波を用いる場合は反射回数を奇数か偶数かで統一する。その位相差補正量が算出できたら、ステップＳ３５５へ処理を移行する。

ステップＳ３３７は、音波伝達経路計算部３２０を用いて直進波の音波伝達経路の距離を算出する。直進波は反射位置１２０を選択しないで計算する。計算が完了したら、ステップＳ３４０へ処理を移行する。
ステップＳ３４０は、音波伝達経路計算部３２０を用いて反射波の音波伝達経路の距離を算出する。計算が完了したら、ステップＳ３４５へ処理を移行する。

ステップＳ３４５は、ステップＳ３３７とステップＳ３４０で算出した音波伝達経路と音速から位相差を算出する。計算が完了したら、ステップＳ３５０へ処理を移行する。
ステップＳ３５０は、反射位置１２０をいくつ使用するかで、反射時の位相逆転の補正を実施する。反射波に関しては、直進波に位相を合わせるため、反射回数が奇数回であれば位相を反転して、偶数回であれば位相をそのままにする。処理が完了したら、ステップＳ３５５へ処理を移行する。

ステップＳ３５５は、照射処理部４００の機能分担処理部４５０にステップＳ３００〜ステップＳ３５０で算出した補正量を記録し、キャリア波補正部４３０や信号波補正部４４０を実施するときに使用できるようにする。キャリア波補正部４３０や信号波補正部４４０にて処理した結果は、照射処理通信部４６０から超指向性スピーカー４０の制御回路部８３０に指示を通信等で与える。超指向性スピーカー４０は指示を受け、車載オーディオ制御装置３０の処理に従い、乗員１０の頭部（耳）に向けて、超音波を選択した反射位置１２０に照射し、乗員１０は音を聴くことができるようになる。

上記の処理によって、超指向性スピーカー４０から発生するキャリア波と信号波を複数のスピーカー部８００もしくは素子８１０に分担し、直進波と反射波を混合した音場で音を鳴らせることができ、より超指向性スピーカー４０の配置スペースに自由度を与えることができる。

実施の形態４．
次に、この発明の実施の形態４における車載オーディオ装置を図８に基づいて説明する。
図８は、超音波スピーカー４０のスピーカー部８００、もしくは素子８１０に直進波、反射波、キャリア波、信号波の組合せで機能分担をし、乗員の手または腕１００、もしくは遮蔽物（荷物等）１１０を検出したときに、音波の伝達経路が妨げられる場合、それを回避して継続的に音を伝える制御のためのフローチャートである。
図８のフローチャートは、図６のフローチャートにステップＳ４５０とステップＳ４９０を追加したものである。以下では追加したステップＳ４５０とステップＳ４９０を説明する。

ステップＳ４５０では、音の伝達経路を乗員の手または腕１００、もしくは遮蔽物（荷物等）１１０が遮っているかを調べるため、機能分担処理部４５０に記録されている各スピーカー部８００、もしくは各素子８１０と、直進波でキャリア波、直進波で信号波、反射波でキャリア波、反射波で信号波の役割づけを確認する。その結果をステップＳ４６０では取得し、音の伝達経路を算出する。

ステップＳ４９０では、ステップＳ４８０で新音波伝達経路が算出されたので、乗員１０の耳へ音を伝えるため、位相補正をする。ステップＳ４５０の役割分担結果を用いて、直進波がキャリア波で、反射波が信号波として音を継続して供給するとき、または、直進波が信号波で、反射波がキャリア波として音を継続して供給するとき、使用する直進波と反射波の音伝達経路の差と音速から位相差を算出し、使用できない音波伝達経路を補おうとした直進波もしくは反射波に位相差に対応する遅延時間を与える。本処理が完了したら、ステップＳ５００の照射処理へ移行し、超音波を乗員１０の耳へ継続的に照射する。

上記の処理によって、超指向性スピーカー４０から発生するキャリア波と信号波を複数のスピーカー部８００もしくは素子８１０に分担し、直進波と反射波を混合した音場で音を鳴らせることができ、かつ突如発生した遮蔽物１１０により音が途切れることがなく、超指向性スピーカー４０の配置スペースに一層自由度を与えることができる。

以上説明したこの発明は、画像取得装置２０と車載オーディオ制御装置３０と超指向性スピーカー４０の構成を用いて、画像取得装置２０で取得した２次元画像に車両内情報を加え、可聴者である乗員の耳を可聴音再生（復号）範囲として算出し、車両内の反射率の高い反射位置１２０を選択し、可聴音再生（復号）範囲と反射位置１２０と超指向性スピーカー４０から音波が伝達される経路を算出し、超指向性スピーカー４０から経路算出結果に基づいた補正を反映したキャリア波と信号波を照射し、耳のある可聴音再生（復号）範囲で超音波から可聴波にうなりによって可聴音にすることで解決することを提案するものである。

加えて、この発明は、画像取得装置２０で頭部または耳位置以外の荷物や車両内状況、可聴者である乗員の動作状況を把握し、音波を伝達する経路を遮断するような場合に超指向性スピーカー４０から照射される直進性の超音波の反射波を適切に制御することで解決することを提案するものである。
なお、構成要件として説明した処理部、算出部、判定部などの「部」は全て手段として置き換えられるものである。

以上、この発明の実施の形態を記述したが、この発明は実施の形態に限定されるものではなく、種々の設計変更を行うことが可能であり、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１０：乗員、２０：画像取得装置、３０：車載オーディオ制御装置、
４０：超指向性スピーカー、５０：座席、１００：乗員の手または腕、
１１０：荷物等の遮蔽物、１２０：反射位置、２００：画像処理部、
２１０：特徴抽出・検索処理部（乗員検出手段及び物体検出手段）、
２２０：乗員追従処理部、２３０：物体追従処理部、２４０：奥行推定処理部、
２５０：画像位置―車両内位置変換処理部（車両内位置情報算出手段）、
３００：経路計算部、 ３１０：反射位置選択部、３２０：音波伝達経路計算部、
３３０：遅延時間算出部、 ３４０：音波到達時間計算部、４００：照射処理部、
４１０：キャリア波生成部、 ４２０：信号波生成部、４３０：キャリア波補正部、
４４０：信号波補正部、 ４５０：機能分担処理部、４６０：照射処理通信部、
５００：音源処理部、 ５１０：音源通信部、５２０：音源記録部、
６００：座席情報取得手段、 ７００：回避要請部、７１０：経路遮断判定部、
７２０：接触時間算出部、 ８００：スピーカー部、８１０：素子、
８２０：駆動回路部、 ８３０：制御回路部。

Claims (5)

1. 車両内における乗員の特徴及び動作を検出する乗員検出手段と、車両内における物体の特徴及び挙動を検出する物体検出手段と、前記車両内の座席位置を取得する座席情報取得手段と、前記車両内の奥行を推定する奥行推定手段と、前記車両内の超音波を反射する位置を選択する反射位置選択手段と、音源信号を記録する音源記録手段と、前記音源信号を超音波に変換して照射するスピーカー部と、前記乗員検出手段によって検出した乗員の特徴と前記座席情報取得手段または前記奥行推定手段から得られる情報を基に前記乗員が存在すると推定される車両内位置情報を算出する手段と、前記車両内位置情報と前記反射位置選択手段で選択した反射位置と前記スピーカー部の位置から、音を照射する音波伝達経路を算出する音波伝達経路計算手段と、前記物体検出手段で検出された物体または前記乗員検出手段で検出された乗員の動作による前記音波伝達経路の遮断を判定する経路遮断判定手段と、前記物体もしくは乗員の動作位置が前記音波伝達経路と接触するまでの接触時間を算出する接触時間算出手段を備え、
   前記経路遮断判定手段は、前記物体もしくは乗員の動作が前記音波伝達経路を遮蔽すると判定した場合、前記反射位置選択手段で選択可能な別の反射位置を用いて新たな音波伝達経路と音波到達時間を算出し、前記新たな音波伝達経路の音波到達時間と前記接触時間算出手段で算出されている接触時間が
   音波到達時間 ＜ 接触時間
   となる場合、前記新たな音波伝達経路に従って前記超音波を前記乗員へ照射することを特徴とする車載オーディオ装置。
2. 前記乗員検出手段は、乗員の頭部を検出するようにしたことを特徴とする請求項１に記載の車載オーディオ装置。
3. 前記スピーカー部と前記反射位置は、前記車両内に複数個設けられたことを特徴とする請求項１または請求項２に記載の車載オーディオ装置。
4. 前記スピーカー部は、
   直進波によるキャリア波を照射する素子、
   直進波による信号波を照射する素子、
   反射波によるキャリア波を照射する素子、
   反射波による信号波を照射する素子
   の複数の素子を有し、前記スピーカー部の役割を分担できる機能分担処理部を備え、
   前記機能分担処理部は、前記キャリア波と前記信号波で２つ以上組み合わせる組合処理を有し、前記組合処理によって直進波によるキャリア波と反射波による信号波が組み合された場合、もしくは直進波による信号波と反射波によるキャリア波が組み合された場合、前記音波伝達経路計算手段は、前記直進波と前記反射波の音波伝達経路をそれぞれ算出し、算出したそれぞれの音波伝達経路の差と音速から位相差を算出してキャリア波と信号波のどちらか一方に算出した位相差を補正量として加え、さらに、反射波の反射回数が奇数回であれば位相を反転するように補正量を加え、反射波の反射回数が偶数回であれば位相の補正量を加えない超音波を照射することを特徴とする請求項１から請求項３のいずれか１項に記載の車載オーディオ装置。
5. 前記物体検出手段によって物体が検出された時、または前記乗員検出手段によって乗員の動作が検出された時に、前記組合処理によって直進波よるキャリア波と反射波による信号波が組み合された場合、または直進波による信号波と反射波によるキャリア波が組み合された場合、前記経路遮断判定手段と前記接触時間算出手段によっていずれかの音波伝達経路が遮断されることを判定し、補正量を算出するときに、遮断されると判定された元の音波伝達経路の差と音速から補正位相差を算出し、新規に算出された音波伝達経路の直進波もしくは反射波に補正位相差から求められた遅延時間を前記スピーカー部に与え、照射することを特徴とする請求項４に記載の車載オーディオ装置。

Images