JP7252785B2 - 音像予測装置および音像予測方法 - Google Patents

Description

本発明は、音像予測装置および音像予測方法に関する。

従来、所定の空間に出力される音響信号の音像位置を予測する音像予測装置が知られている。音像予測装置では、両疑似耳で受信した信号に基づいて、スピーカ等の音源の位置を予測する技術がある（例えば、特許文献１参照）。

特開２００７－０８５７３４号公報

しかしながら、従来技術では、車両の室内における音像位置を高精度に予測する点で改善の余地があった。具体的には、スピーカから出力された音響信号が車内で反射した反射音の影響で、音源とは異なる位置に音像が定位する場合に、音像位置を高精度に予測できないおそれがあった。

本発明は、上記に鑑みてなされたものであって、音像位置を高精度に予測することができる音像予測装置および音像予測方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る音像予測装置は、取得部と、算出部と、予測部とを備える。前記取得部は、車内に出力された音響信号を、聴覚者の両耳を模した左右センサによって取得する。前記算出部は、前記取得部によって取得された左右センサそれぞれの前記音響信号に基づいて前記音響信号における両耳間レベル差および両耳間位相差を含む差分情報を算出する。前記予測部は、試験信号に基づく差分情報および前記試験信号における音像位置の関係性を示す定位関係情報を予め生成しておき、当該定位関係情報と、前記算出部によって算出された前記差分情報との照合結果に基づいて前記音響信号における前記音像位置を予測する。

本発明によれば、音像位置を高精度に予測することができる。

図１は、実施形態に係る音像予測方法の概要を示す図である。 図２は、実施形態に係る音像予測装置の構成を示すブロック図である。 図３は、音像位置の予測処理を示す図である。 図４は、音像位置の予測処理を示す図である。 図５は、音像位置の予測処理を示す図である。 図６は、音像位置の予測処理を示す図である。 図７は、実施形態に係る音像予測装置が実行する処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する音像予測装置および音像予測方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る音像予測方法の概要について説明する。図１は、実施形態に係る音像予測方法の概要を示す図である。なお、図１では、車両Ｃの室内（以下、車内と記載する）において、音楽や音声といった音源の音響信号を出力した場合に、かかる音響信号の音像位置を予測する音像予測方法について説明する。実施形態に係る音像予測方法は、例えば、車内の音響システムの開発段階において、所望の位置に音響信号の音像を定位するために用いられ、具体的には、車内に出力された音響信号の音像がどの位置に定位しているかを予測する。

図１に示すように、実施形態に係る音像予測方法では、まず、車内に出力された音響信号を、聴覚者の両耳を模した左右センサによって取得する（Ｓ１）。具体的には、例えば、人の頭部を模した人形（ダミーヘッドＤＨ）の両耳の位置に左センサ１０ａおよび右センサ１０ｂを取り付けて、車内に設置し、かかるセンサによって音響信号を取得する。

つづいて、実施形態に係る音像予測方法では、左センサ１０ａおよび右センサ１０ｂそれぞれで取得された音響信号に基づいて音響信号における両耳間レベル差（Interaural Level Difference）および両耳間位相差（Interaural Phase Difference）を含む差分情報を算出する（Ｓ２）。

なお、実施形態に係る音像予測方法では、取得した音響信号を、聴覚者（人）の聴覚特性に合わせた信号に変換するフィルタを適用した後の音響信号を用いて差分情報を算出するが、かかる点については後述する。

つづいて、実施形態に係る音像予測方法では、差分情報および音像位置の関係を示す定位関係情報と、算出した差分情報との照合結果に基づいて音響信号における音像位置を予測する（Ｓ３）。

定位関係情報とは、被験者（聴覚者）による心理実験等によって予め生成される情報である。具体的には、定位関係情報は、被験者がヘッドホンを装着した状態で、様々な両耳間レベル差および両耳間位相差の試験信号をヘッドホンから流した場合に、かかる試験信号の音像位置を被験者に回答させることで生成される情報である。つまり、定位関係情報とは、試験信号に基づく差分情報および試験信号における音像位置の対応関係を示す情報である。

このように、実施形態に係る音像予測方法では、定位関係情報との照合結果によって音像位置を予測することで、聴覚者が感じる音像位置と一致させることができるため、高精度に音像位置を予測することができる。

なお、実施形態に係る音像予測方法では、定位関係情報における被験者のバラつき等を考慮して、一の音響信号を所定の周波数帯域毎および経過時間毎に区分けした区分領域毎に音像位置を予測するとともに、音像位置のヒストグラムを生成する。そして、かかるヒストグラムにより最終的な音像位置を予測するが、かかる点については後述する。

次に、図２を用いて、実施形態に係る音像予測装置１の構成について説明する。図２は、実施形態に係る音像予測装置１の構成を示すブロック図である。図２に示すように、実施形態に係る音像予測装置１は、左センサ１０ａと、右センサ１０ｂと、音源装置１００とに接続される。

左センサ１０ａおよび右センサ１０ｂは、例えば、人の頭部を模した人形の両耳に取り付けられ、周囲の音を収集するマイクである。左センサ１０ａおよび右センサ１０ｂは、収集した音を音響信号して音像予測装置１へ出力する。

音源装置１００は、音響信号の基となる音信号を、例えば、スピーカを介して車内に出力する。音信号は、車内に反射することで間接的に、あるいは、直接的に、左センサ１０ａおよび右センサ１０ｂによって音響信号として取得される。

また、音源装置１００は、音響システムの開発後においては、音像予測装置１によって更新された制御フィルタによって、所望の位置に定位した音像の音響信号を出力可能となる。

図２に示すように、実施形態に係る音像予測装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、フィルタ部２２と、算出部２３と、予測部２４と、出力部２５とを備える。記憶部３は、定位関係情報３１を記憶する。

ここで、音像予測装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、フィルタ部２２、算出部２３、予測部２４および出力部２５として機能する。

また、制御部２の取得部２１、フィルタ部２２、算出部２３、予測部２４および出力部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、定位関係情報３１や、各種プログラムの情報等を記憶することができる。なお、音像予測装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

記憶部３に記憶された定位関係情報３１は、聴覚者である被験者による心理実験等によって予め生成される情報である。具体的には、定位関係情報３１は、被験者がヘッドホンを装着した状態で、様々な両耳間レベル差および両耳間位相差となる試験信号をヘッドホンから流した場合に、かかる試験信号の音像位置を被験者に回答させることで生成される情報である。つまり、定位関係情報３１とは、試験信号に基づく差分情報および試験信号における音像位置の対応関係を示す情報である。より具体的には、定位関係情報３１は、後述する両耳間レベル差および両耳間位相差と、音像位置とが対応付けられた情報である。

取得部２１は、車内に出力された音響信号を、聴覚者の両耳を模した左右センサ１０ａ，１０ｂによって取得する。音響信号は、楽器および音声（ボーカル）が混成した信号や、ナビゲーション装置等の案内音、単音等、任意の音信号であってよい。

フィルタ部２２は、取得部２１が取得した音響信号を聴覚者の聴覚特性に合わせた信号に変換するフィルタを適用する。具体的には、フィルタ部２２は、動的（静的）圧縮型ガンマチャープフィルタバンク等を含むフィルタバンクで構成される聴覚モデルを音響信号に適用する。

これにより、音響信号は、聴覚反応後の信号に変換されるため、後段の予測部２４による予測結果である音像位置を聴覚者の聴感に合わせることができるため、音像位置を高精度に予測することができる。

算出部２３は、取得部２１によって取得された左右センサ１０ａ，１０ｂそれぞれの音響信号に基づいて音響信号における両耳間レベル差（Interaural Level Difference）および両耳間位相差（Interaural Phase Difference）を含む差分情報を算出する。具体的には、算出部２３は、フィルタ部２２によるフィルタが適用された音響信号に基づいて差分情報を算出する。

また、算出部２３は、音響信号を所定の周波数帯毎および経過時間毎に区分けした区分領域毎に差分情報を算出するが、かかる点については、図３で後述する。

予測部２４は、定位関係情報３１と、算出部２３によって算出された差分情報との照合結果に基づいて音響信号における音像位置を予測する。具体的には、予測部２４は、算出部２３によって算出された両耳間レベル差および両耳間位相差と一致する音像位置を定位関係情報３１から特定する。

また、予測部２４は、算出部２３によって区分領域毎に差分情報が算出された場合には、差分情報毎に音像位置を予測するとともに、音像位置のヒストグラムを生成し、かかるヒストグラムに基づいて最終的な音像位置を予測する。かかる点について、図３～図６を用いて説明する。

図３～図６は、音像位置の予測処理を示す図である。図３に示すように、算出部２３は、まず、音響信号を所定の周波数帯域毎および経過時間毎の区分領域Ｒに区分けする。なお、高周波数ほど周波数分解能が低く、時間分解能が高くなる時間周波数特性により、区分領域Ｒの周波数幅および時間幅は、高周波数ほど周波数幅を広く、かつ、時間幅を短くすることが好ましい。

そして、算出部２３は、区分領域Ｒ毎の両耳間レベル差および両耳間位相差を算出する。そして、予測部２４は、区分領域の差分情報毎に、定位関係情報３１と照合し、音像位置を予測する。

つづいて、図４に示すように、予測部２４は、差分情報毎の音像位置を用いてヒストグラムを生成し、ヒストグラムに基づいて音像位置を予測する。例えば、予測部２４は、生成したヒストグラムが正規分布（単峰性の形状）である場合、ヒストグラムの重心を音像位置とし、重心からの所定の分散範囲（所定の標準偏差）を音像幅として予測する。

このように、予測部２４は、音響信号を区分領域Ｒ毎の音像位置をヒストグラムにすることで、音響信号の周波数帯域毎および経過時間毎の音像の違いを表現できるため、音像位置を高精度に予測することができる。

なお、予測部２４は、ヒストグラムの重心を音像位置としたが、例えば、ヒストグラムの中央値を音像位置としてもよい。

なお、図４では、ヒストグラムが正規分布に従う場合を示したが、生成されるヒストグラムは、正規分布に従わない場合もある。かかる点について、図５を用いて説明する。

図５には、第１ピークおよび第２ピークを有する２峰性のヒストグラムを示している。図５に示すヒストグラムの場合、予測部２４は、例えば、まず、ヒストグラム全体を重心（あるいは、中央値でもよい）を音像位置として決定する。

そして、予測部２４は、音像幅を予測する場合に、全体重心によって分割された第１ピーク側の分割領域の重心（部分重心）と、第２ピーク側の分割領域の部分重心とを算出し、かかる２つの部分重心の間の距離を音像幅として予測する。

つまり、予測部２４は、ヒストグラムに複数のピークが存在する場合、ヒストグラム全体の重心を音像位置として予測するとともに、ヒストグラム全体をピーク毎の領域で分割した分割領域の重心間の距離を音像幅として予測する。

これにより、ヒストグラムが正規分布に従わない場合であっても、音像位置および音像幅を高精度に予測することができる。

また、予測部２４は、ヒストグラムを生成する場合に、音響信号の立ち上がりの成分を重視したヒストグラムを生成することが好ましい。かかる点について、図６を用いて説明する。

音響信号の立ち上がりの成分とは、図６に示す例では、区分領域Ｒ１等の経過時間が０に近い領域の成分である。そして、音像定位は、この立ち上がり成分の影響を強く受け、経過時間が長くなるほど、音像定位に与える影響は小さくなる。

このため、予測部２４は、経過時間が少ない差分情報の音像位置ほど重みを大きくしたヒストグラムを生成する。具体的には、予測部２４は、経過時間が少ない区分領域Ｒ１に基づく音像位置の重みを大きくし、経過時間が長い区分領域Ｒ２に基づく音像位置の重みを小さくする。

これにより、生成されるヒストグラムは、区分領域Ｒ１に基づく音像位置の頻度が高くなり、区分領域Ｒ２に基づく音像位置の頻度が低くなる。これにより、このヒストグラムにより予測される音像位置について、音響信号の立ち上がり成分を強く反映できるため、高精度に音像位置を予測することができる。

出力部２５は、予測部２４によって予測された音像位置および音像幅に基づく音響情報を音源装置１００へ出力する。例えば、出力部２５は、予測された音像位置および音像幅と、音響信号とを対応付けた音響情報を出力する。これにより、音源装置１００による音像定位の制御を容易化、かつ、高精度化させることができる。

また、出力部２５は、音響信号における音源のパート（ボーカル、楽器）毎や、経過時間毎、周波数毎に音響情報を生成してもよい。これにより、音源装置１００は、例えば、ボーカルや複数の楽器によるグループ演奏の音響信号を出力する場合に、ボーカルや複数の楽器それぞれの配置に合わせた音像定位にカスタマイズできるため、リアリティのある音響信号を出力することができる。あるいは、カーオーディオや、カーナビ、ラジオ、テレビ、ハンズフリー通話、車載機の音（起動音、操作音、警告音、ウインカ音）等を好ましい位置に音像定位できる。

具体的には、カーナビにおいて、案内する方向に定位させたり、音声割り込み時に定位を分けたりできる。また、ハンズフリー通話において、話者に応じて定位を分けることもできる。

なお、出力部２５は、例えば、機械学習等によって、パート毎（経過時間毎、周波数毎）に音像位置および音像幅の重み付けを行うとより好ましい。これにより、よりリアリティのある音響信号を出力することができる。

次に、図７を用いて、実施形態に係る音像予測装置１が実行する処理の処理手順について説明する。図７は、実施形態に係る音像予測装置１が実行する処理の処理手順を示すフローチャートである。

図７に示すように、まず、取得部２１は、車内に出力された音響信号を、聴覚者の両耳を模した左右センサ１０ａ，１０ｂによって取得する（Ｓ１０１）。

つづいて、フィルタ部２２は、取得部２１によって取得された音響信号を聴覚者の聴覚特性に合わせた信号に変換するフィルタである聴覚モデルを適用する（Ｓ１０２）。

つづいて、算出部２３は、音響信号を所定の周波数帯域毎および経過時間毎に区分けした区分領域Ｒ毎に差分情報を算出する（Ｓ１０３）。

つづいて、予測部２４は、算出部２３によって算出された差分情報毎に音像位置を予測する（Ｓ１０４）。

つづいて、予測部２４は、区分領域Ｒにおける経過時間が少ない差分情報の音像位置ほど重みが大きくなるように重み付けを行う（Ｓ１０５）。

つづいて、予測部２４は、音像位置のヒストグラムを生成する（Ｓ１０６）。

つづいて、予測部２４は、ヒストグラムに基づいて最終的な音像位置および音像幅を予測し（Ｓ１０７）、処理を終了する。

上述してきたように、実施形態に係る音像予測装置１は、取得部２１と、算出部２３と、予測部２４とを備える。取得部２１は、車内に出力された音響信号を、聴覚者の両耳を模した左右センサ１０ａ，１０ｂによって取得する。算出部２３は、取得部２１によって取得された左右センサ１０ａ，１０ｂそれぞれの音響信号に基づいて音響信号における両耳間レベル差および両耳間位相差を含む差分情報を算出する。予測部２４は、試験信号に基づく差分情報および試験信号における音像位置の関係性を示す定位関係情報３１を予め生成しておき、当該定位関係情報３１と、算出部２３によって算出された差分情報との照合結果に基づいて音響信号における音像位置を予測する。これにより、音像位置を高精度に予測することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 音像予測装置
２ 制御部
３ 記憶部
１０ａ 左センサ
１０ｂ 右センサ
２１ 取得部
２２ フィルタ部
２３ 算出部
２４ 予測部
２５ 出力部
３１ 定位関係情報
１００ 音源装置
Ｃ 車両

Claims (7)

1. 車内に出力された音響信号に基づいて音像位置を予測する制御部を備え、
   前記制御部は、
   前記車内の聴覚者の両耳を模した位置で取得した前記音響信号に対して前記聴覚者の聴覚特性に合わせた信号に変換するフィルタを適用し、前記フィルタを適用した前記音響信号における両耳間レベル差および両耳間位相差を含む差分情報を算出し、算出した前記差分情報と、予め生成された定位関係情報であって、差分情報および前記音像位置の関係性を示す定位関係情報との照合結果に基づいて前記音響信号における前記音像位置を予測すること
   を特徴とする音像予測装置。
2. 車内に出力された音響信号に基づいて音像位置を予測する制御部を備え、
   前記制御部は、
   前記車内の聴覚者の両耳を模した位置で取得した前記音響信号に基づいて前記音響信号を所定の周波数帯域毎および経過時間毎に区分けした区分領域毎に、前記音響信号における両耳間レベル差および両耳間位相差を含む差分情報を算出し、算出した前記差分情報と、予め生成された定位関係情報であって、差分情報および前記音像位置の関係性を示す定位関係情報との照合結果に基づいて、前記区分領域の前記差分情報毎に予測した前記音像位置に基づくヒストグラムを生成し、当該ヒストグラムに基づいて前記音像位置を予測すること
   を特徴とする音像予測装置。
3. 前記制御部は、
   前記音響信号を所定の周波数帯域毎および経過時間毎に区分けした区分領域毎に前記差分情報を算出し、前記区分領域の前記差分情報毎に予測した前記音像位置に基づくヒストグラムを生成し、当該ヒストグラムに基づいて前記音像位置を予測すること
   を特徴とする請求項１に記載の音像予測装置。
4. 前記制御部は、
   前記経過時間が少ない前記差分情報の前記音像位置ほど重みを大きくした前記ヒストグラムを生成すること
   を特徴とする請求項２または３に記載の音像予測装置。
5. 前記制御部は、
   前記ヒストグラムの重心に基づいて前記音像位置を予測すること
   を特徴とする請求項４に記載の音像予測装置。
6. 前記制御部は、
   前記ヒストグラムに複数のピークが存在する場合、前記ヒストグラム全体の重心を前記音像位置として予測するとともに、前記ヒストグラム全体をピーク毎の領域で分割した分割領域の重心間の距離を音像幅として予測すること
   を特徴とする請求項３～５のいずれか１つに記載の音像予測装置。
7. 車内に出力された音響信号に基づいて音像位置を予測する制御工程を含み、
   前記制御工程は、
   前記車内の聴覚者の両耳を模した位置で取得した前記音響信号に対して前記聴覚者の聴覚特性に合わせた信号に変換するフィルタを適用し、前記フィルタを適用した前記音響信号における両耳間レベル差および両耳間位相差を含む差分情報を算出し、算出した前記差分情報と、予め生成された定位関係情報であって、差分情報および前記音像位置の関係性を示す定位関係情報との照合結果に基づいて前記音響信号における前記音像位置を予測すること
   を特徴とする音像予測方法。

Images