JP6732464B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、情報処理装置および情報処理方法に関する。

従来、頭部伝達関数（Head Related Transfer Function：ＨＲＴＦ）を用いて立体音響を再現する技術において、ＨＲＴＦの個人化が課題となっている。ここで、ＨＲＴＦは、音源から視聴者の耳までの伝達特性を表す関数である。ＨＲＴＦという言葉は、１方向の音源に対する伝達関数にも、複数方向の音源それぞれに対する伝達関数のデータセットにも使われる。本明細書では、以降の説明において、後者の複数方向の音源それぞれに対する伝達関数のデータセットを、「頭部伝達関数セット（ＨＲＴＦセット）」と呼ぶ。
ＨＲＴＦセットの個人化の一手法として、非特許文献１には、複数のＨＲＴＦセットを接合してユーザにとって定位感が得られやすい１つのＨＲＴＦセットを生成する方法が開示されている。この方法では、頭部伝達関数セット同士（ＨＲＴＦセット同士）を滑らかに接合するために、接合境界の±２０度の範囲において、接合する２つのＨＲＴＦセットをそれぞれ重み付け加算している。

森勢将雅、外５名、「視覚・聴覚を併用した複合現実感システムのための頭部伝達関数の個人化」、電気学会論文誌Ｃ、２０１０年８月、Ｖｏｌ．１３０、Ｎｏ．８、ｐｐ．１４６６−１４６７

しかしながら、上記非特許文献１に記載の技術では、接合するＨＲＴＦセットの特性にかかわらず、ＨＲＴＦセットの境界を固定としている。そのため、接合するＨＲＴＦセットの特性によっては境界部分が不自然に接合され、境界部分が不連続に感じられてしまう場合がある。
そこで、本発明は、複数のＨＲＴＦセットを方向に応じて切り替える際の、ＨＲＴＦセットの境界部分での違和感を低減することを目的としている。

本発明に係る情報処理装置の一態様は、第１の範囲に含まれる複数の音源方向それぞれに応じた音の伝達特性を表す第１頭部伝達関数セットを取得する第１取得手段と、前記第１の範囲と一部が重なる第２の範囲に含まれる複数の音源方向それぞれに応じた音の伝達特性を表す第２頭部伝達関数セットを取得する第２取得手段と、音響信号の生成に用いるべき頭部伝達関数セットの決定に関わる基準方向であって、前記第１の範囲と前記第２の範囲とが重なる重複範囲に含まれる基準方向を、前記第１取得手段により取得された前記第１頭部伝達関数セットと前記第２取得手段により取得された前記第２頭部伝達関数セットの特性に基づいて設定する設定手段と、前記第１頭部伝達関数セットと前記第２頭部伝達関数セットとのうち、前記重複範囲に含まれる特定の音源方向に対応する音を再生するための音響信号の生成に用いるべき頭部伝達関数セットを、前記設定手段により設定された前記基準方向と前記特定の音源方向との関係に基づいて決定する決定手段と、を有する。

本発明によれば、複数のＨＲＴＦセットを方向に応じて切り替える際の、ＨＲＴＦセットの境界部分での違和感を低減することができる。

ＨＲＴＦセット接合装置の構成を示すブロック図である。 音源定位評価テストに関する方向の説明図である。 重複領域を示す図である。 ＨＲＴＦセット接合装置のハードウェア構成図である。 第一の実施形態における動作を説明するためのフローチャートである。 立体音響再生装置の構成を示すブロック図である。 第二の実施形態における動作を説明するためのフローチャートである。 境界設定処理手順を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態におけるＨＲＴＦセット接合装置１００の構成を示すブロック図である。ＨＲＴＦセット接合装置１００は、頭部伝達関数セット（ＨＲＴＦセット）を個人化するための装置であり、情報処理装置として動作する。ここで、ＨＲＴＦセットとは、複数方向夫々に対応する頭部伝達関数（ＨＲＴＦ）のデータセットである。
本実施形態では、ＨＲＴＦセット接合装置１００は、データベースに蓄積された複数のＨＲＴＦセットからユーザに良好な定位を与えるＨＲＴＦセットを複数方向について選択し、選択された複数のＨＲＴＦセットから１つのＨＲＴＦセットを生成する。このとき、ＨＲＴＦセット接合装置１００は、選択された複数のＨＲＴＦセットの特性に応じて、ＨＲＴＦセットを切り替える境界を設定し、設定された境界において複数のＨＲＴＦセットを接合する。つまり、上記境界は可変である。

ＨＲＴＦセット接合装置１００は、ＨＲＴＦデータベース（ＨＲＴＦ−ＤＢ）１１０と、境界変更部１２０と、ＨＲＴＦ接合部１３０と、出力部１４０とを備える。境界変更部１２０は、ＨＲＴＦ選択部１２１と、重複領域検出部１２２と、境界設定部１２３とを備える。
ＨＲＴＦ−ＤＢ１１０は、予め複数のＨＲＴＦセットが記録されたデータベースである。ＨＲＴＦセットは、個人の測定データや、ダミーヘッドを用いて測定したデータ、シミュレーションにより作成したデータを含む。ＨＲＴＦ選択部１２１は、ＨＲＴＦ−ＤＢ１１０からＨＲＴＦセットの読み出しが可能であり、出力部１４０は、ＨＲＴＦ−ＤＢ１１０へのＨＲＴＦセットの書き込みが可能である。
ＨＲＴＦ選択部１２１は、ＨＲＴＦ−ＤＢ１１０に記録された複数のＨＲＴＦセットから、ユーザに適したＨＲＴＦセットを方向ごとに選択する。本実施形態では、ＨＲＴＦ選択部１２１は、ユーザによる音源定位評価テストの結果に応じて、ユーザに適したＨＲＴＦセットを方向ごとに選択する。

具体的には、ＨＲＴＦ選択部１２１は、複数のＨＲＴＦセットに対して、予め設定された指定方向ごとに音源定位精度を評価し、指定方向ごとに最も評価の高いＨＲＴＦセットを選択する。本実施形態では、図２に示す８方向（Ｄ１からＤ８）を上記指定方向とする。ＨＲＴＦ選択部１２１は、複数のＨＲＴＦセットから指定方向に対応するＨＲＴＦをそれぞれ抽出し、抽出したＨＲＴＦを用いて生成した音源を、ユーザに１回ずつ提示する。ＨＲＴＦ選択部１２１は、上記の音源の提示を、方向Ｄ１から方向Ｄ８のそれぞれについて実施する。
このときユーザは、提示された音源を聴き、音がどちらの方向から聴こえるかをその都度回答する。ここで、回答は自由回答形式とし、任意の方向を回答できるものとする。ＨＲＴＦ選択部１２１は、ユーザの回答を入力し、指定方向（提示方向）と回答方向との差が最も小さいＨＲＴＦを、音源定位精度が最も高いＨＲＴＦとして選択する。ＨＲＴＦ選択部１２１は、上記の音源定位評価テストを方向Ｄ１から方向Ｄ８のそれぞれについて実施し、方向ごとに音源定位精度が最も高いＨＲＴＦを含むＨＲＴＦセットを選択する。このようにして、ＨＲＴＦ選択部１２１は、指定方向の音源に対応するＨＲＴＦを含むＨＲＴＦセットのうち、ユーザに適したＨＲＴＦセットを選択する。ＨＲＴＦ選択部１２１は、選択したＨＲＴＦセットを重複領域検出部１２２へ出力する。

重複領域検出部１２２は、ＨＲＴＦ選択部１２１により選択されたＨＲＴＦセットにそれぞれ対応する領域が重複する重複領域を検出する。図３は、ＨＲＴＦセットの重複領域を示す図である。この図３（ａ）に示すように、方向Ｄ１に対して選択されたＨＲＴＦセットがカバーしている領域が領域Ａであり、図３（ｂ）に示すように、方向Ｄ２に対して選択されたＨＲＴＦセットがカバーしている範囲が領域Ｂであるとする。この場合、重複領域検出部１２２は、図３（ｃ）に示すように、領域Ａ∧領域Ｂの範囲である領域Ｃを重複領域として検出する。また、重複領域検出部１２２は、領域が重複するＨＲＴＦセット（接合するＨＲＴＦセット）のレベルを、重複領域Ｃ内の任意の方向のＨＲＴＦを用いてそれぞれ正規化し、正規化したＨＲＴＦセットと重複領域Ｃとを境界設定部１２３へ出力する。

境界設定部１２３は、接合するＨＲＴＦセットの特性に基づいて、重複領域検出部１２２により検出された重複領域Ｃ内で、ＨＲＴＦセットを切り替える境界を可変に設定する。本実施形態では、境界設定部１２３は、接合する２つのＨＲＴＦセット同士の両耳間レベル差（Interaural Level Difference：ＩＬＤ）の差分値が、最小あるいは所定の閾値以下となる方向を境界の方向とする。なお、ＩＬＤの差分値が最小あるいは所定の閾値以下となる方向が複数存在し、境界の候補が複数存在する場合、後述する他の評価値を複合的に用いてもよい。また、境界の候補が複数存在する場合、音源定位評価テストを行った方向Ｄ１と方向Ｄ２との中間により近い方向を選択するようにしてもよい。つまり、指定方向から離れる方向であるほど、境界の方向として選択されやすくしてもよい。

領域Ａに対応するＨＲＴＦセットをＨＲＴＦ＿Ａ、領域Ｂに対応するＨＲＴＦセットをＨＲＴＦ＿Ｂとすると、境界設定部１２３は、はじめにＨＲＴＦ＿ＡのＩＬＤとＨＲＴＦ＿ＢのＩＬＤとを算出する。次に、境界設定部１２３は、ＨＲＴＦ＿ＡのＩＬＤとＨＲＴＦ＿ＢのＩＬＤとの差Ｄｉｆｆ＿ＩＬＤを算出する。ＨＲＴＦ＿ＡのＩＬＤをＩＬＤ＿Ａ、ＨＲＴＦ＿ＢのＩＬＤをＩＬＤ＿Ｂとすると、ＩＬＤの差Ｄｉｆｆ＿ＩＬＤは、次式により表すことができる。
Ｄｉｆｆ＿ＩＬＤ（ａｚ）＝Σ_ev（ＩＬＤ＿Ａ（ｅｖ，ａｚ）−ＩＬＤ＿Ｂ（ｅｖ，ａｚ）） ………（１）
ここで、ｅｖはＨＲＴＦの仰角、ａｚはＨＲＴＦの水平角である。
本実施形態では、境界は天頂から真下を結ぶ経線とする。したがって、境界設定部１２３は、経線方向（仰角ｅｖ）についてＩＬＤ（ｅｖ，ａｚ）の差の和をとることで、各水平方向におけるＩＬＤの差Ｄｉｆｆ＿ＩＬＤ（ａｚ）を算出する。そして、境界設定部１２３は、Ｄｉｆｆ＿ＩＬＤが最小となる水平角ａｚを境界方向として設定し、設定した境界方向をＨＲＴＦ接合部１３０へ出力する。

ＨＲＴＦ接合部１３０は、境界設定部１２３によって設定された境界で、領域が重複するＨＲＴＦセットを切り替えて接合することで、１つのＨＲＴＦセットを生成する。具体的には、ＨＲＴＦ接合部１３０は、境界方向におけるＨＲＴＦセットのレベル差および境界方向におけるＨＲＴＦセットの遅延時間差が最小となるように、ＨＲＴＦセットのレベル調整および遅延時間の調整を行い、ＨＲＴＦ同士を接合する。本実施形態では、ＨＲＴＦ接合部１３０は、境界上において、隣接するデータとの差異がより小さい側のＨＲＴＦデータを選択するようにする。つまり、境界方向をａｚ＿ｂとした場合、ＨＲＴＦ接合部１３０は、境界方向ａｚ＿ｂ上では、ＨＲＴＦ＿Ａ（ｅｖ，ａｚ＿ｂ−１）とＨＲＴＦ＿Ｂ（ｅｖ，ａｚ＿ｂ＋１）との平均値により近いＨＲＴＦ（ＨＲＴＦ＿ＡまたはＨＲＴＦ＿Ｂ）のデータを採用する。ＨＲＴＦ接合部１３０は、このようにして接合したＨＲＴＦセットを出力部１４０へ出力する。

出力部１４０は、接合されたＨＲＴＦセットに対してユーザ情報を関連付け、ＨＲＴＦ−ＤＢ１１０へ新たなＨＲＴＦセットとして記録する。なお、出力部１４０は、新たなＨＲＴＦセットを、ＨＲＴＦ−ＤＢ１１０以外の装置へ出力してもよい。
図４は、ＨＲＴＦセット接合装置１００のハードウェア構成を示す図である。ＨＲＴＦセット接合装置１００は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、入力部１５と、通信Ｉ／Ｆ１６と、システムバス１７とを備える。ＣＰＵ１１は、ＨＲＴＦセット接合装置１００における動作を統括的に制御するものであり、システムバス１７を介して、各構成部（１２〜１６）を制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリアとして機能する。つまり、ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラムをＲＡＭ１３にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。

外部メモリ１４は、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。例えば、外部メモリ１４は、図１のＨＲＴＦ−ＤＢ１１０である。また、外部メモリ１４には、ＣＰＵ１１がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶されてもよい。入力部１５は、キーボードや操作ボタンなどにより構成され、ユーザは入力部１５を操作して上記音源定位評価テストの回答を入力できるようになっている。通信Ｉ／Ｆ１６は、外部装置と通信するためのインターフェースである。システムバス１７は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部メモリ１４、入力部１５および通信Ｉ／Ｆ１６を通信可能に接続する。
図１に示すＨＲＴＦセット接合装置１００の各部の機能は、ＣＰＵ１１がプログラムを実行することで実現することができる。ただし、図１に示すＨＲＴＦセット接合装置１００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。

次に、ＨＲＴＦセット接合装置１００の動作について、図５を参照しながら説明する。この図５の処理は、ＣＰＵ１１がプログラムを実行することによって実現することができる。ただし、図１で示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで、図５の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。
まずＳ１において、ＨＲＴＦ選択部１２１は、ユーザに適したＨＲＴＦセットを選択するための音源定位評価テスト用の音源を生成する。Ｓ２では、ＨＲＴＦ選択部１２１は、Ｓ１において生成した音源を、ユーザが装着するヘッドフォンやイヤーフォンへ出力することでユーザに提示する。Ｓ３では、ＨＲＴＦ選択部１２１は、ユーザが音源の提示を受けて回答した音源の定位方向を入力する。そしてＳ４では、ＨＲＴＦ選択部１２１は、ＨＲＴＦセットの選択に必要なテストが終了したか否かを判定し、テストが終了していないと判定した場合にはＳ１に戻り、テストが終了したと判定した場合にはＳ５に移行する。

Ｓ５では、ＨＲＴＦ選択部１２１は、Ｓ３において入力したユーザの回答（評価結果）に基づいて、方向ごとに（例えば、図２の方向Ｄ１〜方向Ｄ８のそれぞれについて）、ユーザに適したＨＲＴＦセットを選択する。次にＳ６では、重複領域検出部１２２は、Ｓ５において選択されたＨＲＴＦセットのうち、隣接するＨＲＴＦセット同士について重複領域を検出する。また、このＳ６では、重複領域検出部１２２は、検出した重複領域内の任意の方向のＨＲＴＦを用いて、接合するＨＲＴＦセットのレベルをそれぞれ正規化する。次にＳ７では、境界設定部１２３は、ＨＲＴＦセットの接合のための境界を設定する。
Ｓ８では、境界設定部１２３は、隣接するすべてのＨＲＴＦセット同士について境界を設定したか否かを判定する。そして、境界設定部１２３は、すべての境界が設定されていないと判定するとＳ６に戻り、すべての境界が設定されたと判定するとＳ９に移行する。Ｓ９では、ＨＲＴＦ接合部１３０は、Ｓ５において選択されたＨＲＴＦセットをＳ７において設定された境界方向に基づき接合する。最後にＳ１０では、出力部１４０は、Ｓ９において接合されたＨＲＴＦセットをユーザと関連付けてＨＲＴＦ−ＤＢ１１０に記録する（書き出す）。

以上のように、ＨＲＴＦセット接合装置１００は、複数方向の音源にそれぞれ対応する頭部伝達関数（ＨＲＴＦ）のデータセットであるＨＲＴＦセットを複数選択し、選択された複数のＨＲＴＦセットにそれぞれ対応する領域が重複する重複領域を検出する。また、ＨＲＴＦセット接合装置１００は、上記領域が重複するＨＲＴＦセットの特性に基づいて、重複領域内で、ＨＲＴＦセットを切り替える境界を可変に設定する。そして、ＨＲＴＦ接合装置１００は、設定された境界で、上記領域が重複するＨＲＴＦセットを切り替えて接合することで、１つのＨＲＴＦセットを生成する。
つまり、ＨＲＴＦセット接合装置１００は、複数のＨＲＴＦセットを接合して１つのＨＲＴＦセットを生成する際、それぞれのＨＲＴＦセットの特性に応じて境界を変化させることができる。従来装置のように境界を固定とした場合、境界位置がＨＲＴＦセット間のギャップが大きい位置に設定される場合がある。この場合、たとえ重み付き加算を行ってＨＲＴＦセット同士を滑らかに接合しようとしたとしても、接合部分のデータが不連続となり接合部分において違和感を与えてしまう。

これに対して、本実施形態におけるＨＲＴＦセット接合装置１００は、境界を可変とするので、上記ギャップが大きい位置で無理やりＨＲＴＦセット同士を接合することを回避することができる。そのため、ＨＲＴＦ接合装置１００は、境界部分での音の変化による違和感を低減し、各方向（角度）において良好な定位を与えることができるＨＲＴＦセットを生成することができる。
具体的には、ＨＲＴＦセット接合装置１００は、上記領域が重複するＨＲＴＦセット同士の両耳間レベル差（ＩＬＤ）の差分値が最小または所定の閾値以下となる方向を、境界の方向として設定する。このように、ＨＲＴＦセット接合装置１００は、ＩＬＤの差が小さい場所でＨＲＴＦセットを接合するので、適切に音の変化を知覚しにくくすることができる。

また、ＨＲＴＦ接合装置１００は、接合するＨＲＴＦセットのレベルを、重複領域内の任意のＨＲＴＦを用いてそれぞれ正規化し接合するので、ＨＲＴＦセット間のレベル合わせをすることができ、接合部分での違和感を与えにくくすることができる。
さらに、ＨＲＴＦ接合装置１００は、境界設定部１２３によって設定された境界で、接合するＨＲＴＦセットのレベル差や遅延時間差が最小となるようにレベル調整を行い、ＨＲＴＦセットを接合する。このように、境界上では、隣接するＨＲＴＦデータとの差異がより小さくなるようにＨＲＴＦデータを選択することができる。したがって、接合部分での違和感をより適切に低減することができる。なお、本実施形態においては、ＨＲＴＦ接合部１３０は、ＨＲＴＦセットのレベル調整と遅延時間の調整とを両方実施し、ＨＲＴＦ同士を接合する場合について説明したが、いずれか一方のみを実施するようにしてもよい。

なお、本実施形態においては、音源定位評価テストを行ってユーザに適したＨＲＴＦセットをＨＲＴＦ−ＤＢ１１０から選択する場合について説明したが、音源定位評価テストの方法は上述した方法に限定されない。上述した例では、各音源を１回ずつユーザに提示し、ユーザの回答を受け付けるようにしたが、各音源を複数回ずつユーザに提示し、回答の平均値を最終的なユーザの回答として採用してもよい。また、方向Ｄ１の評価であれば、Ｄ１周辺の複数方向について評価を行い、その評価結果の合計評価値を採用してもよい。

さらに、本実施形態においては、評価テストとして音源定位評価テストを行う場合について説明したが、その他の評価項目を用いてもよい。例えば、頭内定位のしにくさといった評価項目を持っていてもよい。
また、本実施形態においては、ＨＲＴＦ選択部１２１は、音源定位評価テストの評価結果に基づいてユーザに適したＨＲＴＦセットを選択したが、ＨＲＴＦセットの選択方法は上記に限定されない。例えば、ＨＲＴＦ選択部１２１は、ユーザの頭部や耳部の形状などの特徴量をもとに、方向ごとにユーザに適したＨＲＴＦセットを選択してもよい。
さらに、本実施形態において、音源定位評価テストの音源はヘッドフォンまたはイヤーフォンから再生するものとしたが、トランスオーラル再生を用いてもよい。
また、本実施形態においては、図３に示すように、ＨＲＴＦ選択部１２１により選択されたＨＲＴＦセットによってカバーされる領域が、一部のみ重なっている場合について説明した。しかしながら、ＨＲＴＦ選択部１２１により選択されたＨＲＴＦセットによってカバーする領域がそれぞれ全周囲に亘る場合、重複領域検出部１２２は、すべての領域を重複領域Ｃとして検出してもよい。

さらに、本実施形態においては、境界設定部１２３は、接合するＨＲＴＦセット同士のＩＬＤを用いて境界設定を行ったが、その他の評価値を用いてもよい。例えば、接合するＨＲＴＦセット同士のレベル差が最小となる方向であれば、ＨＲＴＦセットの切替わりによる音の変化を知覚しにくいと考えられるため、その方向を境界の方向として設定してもよい。また、接合するＨＲＴＦセットのレベル変化量がそれぞれ所定値よりも大きい方向についても、同様に音の変化を知覚しにくいと考えられるため、その方向を境界の方向として設定してもよい。さらに、他の方向に比べてレベルが低い領域は、音量が小さく音の変化を知覚しにくいと考えられるため、その領域内で境界を設定してもよい。例えば、接合するＨＲＴＦセットのレベルがそれぞれ重複領域内における他の方向と比較して低い方向を、境界の方向として設定してもよい。上記の場合にも、音の変化を知覚しにくい位置に境界を設定することができるので、適切に接合部分での違和感を抑制することができる。

また、接合するＨＲＴＦセット同士のレベル差、レベル変化量、レベルによって境界を設定する場合、両耳のＨＲＴＦセットに基づいて境界を設定してもよいし、片耳のＨＲＴＦセットだけで境界を設定してもよい。例えばＩＬＤの絶対値の大きな方向では、レベルの大きな方向の耳のＨＲＴＦセットだけを用いて境界を設定するようにしてもよい。レベルの大きさは音の知覚のしやすさに比例する。そのため、レベルの大きな方向の耳のＨＲＴＦセットをもとに音の変化を知覚しにくいと考えられる方向を検出し、その方向を境界の方向として設定すれば、違和感を発生させない適切な境界を設定することができる。

また、境界設定部１２３は、接合するＨＲＴＦセットの計測に用いた人物の頭部あるいはダミーヘッドの形状データの差に基づいて、境界を設定するようにしてもよい。頭部の大きさ（耳間の距離）が大きく異なるほど、角度が正面に対して±９０度（耳介方向）に近づくにつれてＩＬＤの差は大きくなる。そのため、頭部の大きさが大きく異なる人物あるいはダミーヘッドにより計測されたＨＲＴＦセット同士を耳介方向において接合すると、ギャップが大きくなってしまう。したがって、上記形状データの差が大きいほど、重複領域内で、ユーザの正面方向に近い方向を境界の方向として設定することが好ましい。これにより、できるだけギャップが小さい位置でＨＲＴＦセットを接合することができ、適切に接合部分での違和感を抑制することができる。

さらに、境界設定部１２３は、ＩＬＤを用いる代わりに、接合するＨＲＴＦセット同士の両耳間時間差（Interaural Time Difference：ＩＴＤ）の差分値を用いて境界を設定してもよい。この場合、境界設定部１２３は、ＩＴＤの差分値が、最小あるいは所定の閾値以下となる方向を境界の方向として設定してもよい。また、境界設定部１２３は、ＩＬＤとＩＴＤとを複合的に用いて境界を設定してもよい。この場合にも、ＩＬＤを単体で用いた場合と同様に、違和感を発生させない適切な境界を設定することができる。
また、本実施形態においては、境界設定部１２３は、全周波数について同じ境界を設定したが、ＨＲＴＦは周波数ごとに特性が異なるため、周波数帯域ごとに異なる境界を設定してもよい。つまり、ＨＲＴＦ接合部１３０は、周波数帯域ごとに異なる境界でＨＲＴＦセットを接合し、周波数帯域ごとのＨＲＴＦセットを生成してもよい。これにより、ＨＲＴＦの特性に応じた、より適切な境界を設定することができる。

さらにまた、本実施形態においては、境界は経線、つまり、天頂方向と真下方向を結ぶ球面上の最短ルート（直線）としたが、境界は曲線であってもよい。
また、本実施形態においては、重複領域Ｃの中からＩＬＤの差が最小となる方向を境界として設定したが、境界は、音源定位評価テストを行った方向付近以外で設定することが好ましい。そこで、境界設定部１２３は、上記の境界設定基準に加え、指定方向（音源定位評価テストを行った方向）から角度が離れる方向であるほど、境界の方向として設定されやすくなるような重み関数を用いるようにしてもよい。あるいは、重複領域検出部１２２が、音源定位評価テストを行った方向から所定の角度以内を重複領域から除外して出力するようにしてもよい。これにより、音源定位精度が良好な方向が境界の方向として設定されるのを抑制することができる。

さらに、本実施形態においては、ＨＲＴＦ接合部１３０は、境界上（経線上）においてＨＲＴＦセットを接合する場合について説明したが、境界を含む所定領域内で接合を行ってもよい。例えば、ＨＲＴＦ接合部１３０は、境界設定部１２３において設定された境界方向に対して一定の角度幅を持った境界の周辺の領域（境界領域）を設定し、その境界領域内においてＨＲＴＦセット同士を混合するようにしてもよい。その際、ＨＲＴＦ接合部１３０は、上記境界領域のＨＲＴＦセットを重み付け加算してもよい。
また、本実施形態においては、境界上において、ＨＲＴＦセットのレベル調整や遅延時間の調整を行う場合について説明したが、上記調整は行わなくてもよい。境界設定部１２３は、音の変化が知覚しにくい方向に境界を設定するため、上記調整を行わずに、単純にＨＲＴＦセットを境界で切り替えて接合しても、境界部分での違和感は抑制することができる。

また、本実施形態においては、ＨＲＴＦ接合部１３０は、接合したＨＲＴＦセットにおいて、ＨＲＴＦデータの無い方向が存在する場合、接合後のＨＲＴＦセットに対してＨＲＴＦの補間を行ってもよい。さらに、ＨＲＴＦ接合部１３０は、ＨＲＴＦ選択部１２１によって選択されたＨＲＴＦセットにおいて、ＨＲＴＦデータの無い方向が存在する場合、接合前のＨＲＴＦセットに対してＨＲＴＦの補間を行ってもよい。例えばデータ間隔の異なるＨＲＴＦセットを接合する場合、一方のＨＲＴＦセットを補間することにより２つのＨＲＴＦセットのデータ間隔をそろえてからＨＲＴＦの接合処理を行うようになっていてもよい。ここで補間は方向空間のリサンプルも含む。
さらにまた、本実施形態においては、ＨＲＴＦ選択部１２１により選択されたＨＲＴＦセットに対して境界設定部１２３において境界を設定した。しかしながら、ある方向のＨＲＴＦセットの候補が複数ある場合、境界設定部１２３の結果に応じて接合に用いるＨＲＴＦセットを絞り込むような構成であってもよい。

また、本実施形態においては、ＨＲＴＦ選択部１２１は、既存のＨＲＴＦセットに対して音源定位評価テストを行い、音源定位精度が所定値よりも低い方向については、ユーザ自身のＨＲＴＦを測定して接合するようにしてもよい。具体的には、ＨＲＴＦ選択部１２１は、音源定位精度が所定値よりも低い方向から角度範囲を広げ、境界のレベル差やＩＬＤなどの上述した評価値が所定の範囲内に収まるところまで測定を行うようにしてもよい。
さらに、本実施形態においては、境界設定部１２３は、２つの領域に対応するＨＲＴＦセット（ＨＲＴＦ＿ＡとＨＲＴＦ＿Ｂ）を接合するための境界を設定した。しかしながら、境界での２つのＨＲＴＦセットの差異が大きい場合、ＨＲＴＦセット同士をより滑らかに接合するために、さらに別のＨＲＴＦセットを用いて接合するようにしてもよい。例えば、別のＨＲＴＦセットをＨＲＴＦ＿Ｃとすると、ＨＲＴＦ＿ＡとＨＲＴＦ＿Ｃ、ＨＲＴＦ＿ＢとＨＲＴＦ＿Ｃをそれぞれ接合するようにしてもよい。

（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、複数のＨＲＴＦセットを接合し、新しいＨＲＴＦセットを生成するＨＲＴＦセット接合装置について説明した。第二の実施形態では、ＨＲＴＦセットを用いて立体音響信号を生成し再生することで、立体音響を再現する立体音響再生装置について説明する。
図６は、第二の実施形態における立体音響再生装置の構成を示すブロック図である。本実施形態における立体音響再生装置は、立体音響生成装置２００と出力装置３００とを備える。立体音響生成装置２００は、ＨＲＴＦ−ＤＢ１１０と、境界変更部１２０ａと、音響信号入力部２１０と、音源情報取得部２２０と、ＨＲＴＦ抽出部２３０と、フィルタ演算部２４０と、音響信号出力部２５０とを備える。境界変更部１２０ａは、ＨＲＴＦ選択部１２１と、重複領域検出部１２２と、境界設定部１２４とを備える。なお、ＨＲＴＦ−ＤＢ１１０、ＨＲＴＦ選択部１２１および重複領域検出部１２２については、上述した第一の実施形態と同様であるため説明を省略する。

音響信号入力部２１０は、音源ごとに入力音響信号（音声信号）および音源の軌跡に関する軌跡情報を入力する。音響信号入力部２１０は、入力音響信号および軌跡情報を音源情報取得部２２０およびフィルタ演算部２４０へ出力する。
音源情報取得部２２０は、音量取得部２２１と、帯域取得部２２２と、軌跡取得部２２３とを備え、入力音響信号の音源の特性を示す音源情報を取得する。音量取得部２２１は、音響信号入力部２１０から入力された入力音響信号をもとに、音源情報として、時間ごとの音量に関する音量情報を取得する。帯域取得部２２２は、音響信号入力部２１０から入力された入力音響信号をもとに、時間ごとの主要成分の周波数帯域を取得する。軌跡取得部２２３は、音響信号入力部２１０から入力された軌跡情報をＨＲＴＦセットの座標系に合わせて変換し、音源情報として取得する。例えば、軌跡取得部２２３は、ＨＲＴＦセットの座標系が球座標系であり音源の軌跡情報が直交座標系で入力された場合、軌跡情報を直交座標系から球座標系に変換する。音源情報取得部２２０は、音量取得部２２１において取得された音量情報と、帯域取得部２２２において取得された周波数帯域と、軌跡取得部２２３において取得された軌跡情報とを境界設定部１２４へ出力する。

境界設定部１２４は、音源情報取得部２２０から入力された音源情報と、重複領域検出部１２２から入力された重複領域とに基づいて、境界を設定する。境界設定の手順については後述する。
ＨＲＴＦ抽出部２３０は、境界設定部１２４において設定された境界に基づいて、ＨＲＴＦ選択部１２１によって選択された複数のＨＲＴＦセットを接合して生成される１つのＨＲＴＦセットの中から、音源方向に対応する１つのＨＲＴＦを抽出する。ＨＲＴＦ抽出部２３０は、抽出したＨＲＴＦをフィルタ演算部２４０へ出力する。フィルタ演算部２４０は、音響信号入力部２１０から入力された入力音響信号に、ＨＲＴＦ抽出部２３０から入力されたＨＲＴＦを畳み込んで出力音響信号を音響信号出力部２５０へ出力する。

音響信号出力部２５０は、フィルタ演算部２４０から入力された音源ごとにフィルタリングされた出力音響信号をチャンネルごとに加算し、Ｄ／Ａ変換を行い、出力装置３００に出力する。ここで、出力装置３００は、例えばヘッドフォンやイヤーフォンである。出力装置３００がヘッドフォンである場合、音響信号出力部２５０は、音源ごとにＨＲＴＦを畳み込んだＬｃｈ信号とＲｃｈ信号とをそれぞれミキシングして２チャンネルの信号とし、ヘッドフォンに出力する。
立体音響生成装置２００は、図４に示すＨＲＴＦセット接合装置１００と同様のハードウェア構成を有する。図６に示す各部の機能は、立体音響生成装置２００のＣＰＵがプログラムを実行することで実現することができる。ただし、図６に示す立体音響生成装置２００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、上記ＣＰＵの制御に基づいて動作する。

次に、立体音響生成装置２００の動作について、図７を参照しながら説明する。
この図７の処理は、ＣＰＵがプログラムを実行することによって実現することができる。ただし、図６で示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで、図７の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵの制御に基づいて動作する。なお、図７のＳ１からＳ６については、上述した第一の実施形態と同様であるため、説明を省略する。
Ｓ１１では、音響信号入力部２１０は、入力音響信号（音声信号）とその軌跡情報とを入力する。Ｓ１２では、軌跡取得部２２３は、Ｓ１１において入力された軌跡情報をＨＲＴＦセットの座標系に変換した軌跡情報を取得する。Ｓ１３では、音量取得部２２１は、音源の音量情報を取得する。Ｓ１４では、帯域取得部２２２は、入力音響信号の主要成分の周波数帯域を取得する。

次にＳ１５において、境界設定部１２４は、Ｓ６において検出された重複領域と、Ｓ１２〜Ｓ１４において取得された音源情報とに基づき、境界を設定する。このＳ１５では、境界設定部１２４は、図８に示す境界設定処理を実行する。
Ｓ１５１では、境界設定部１２４は、重複領域と軌跡情報とに基づいて、音源の軌跡が重複領域を通過するか否かを判定する。そして、境界設定部１２４は、軌跡が重複領域を通過しないと判定した場合には、ＨＲＴＦセットの切り替え位置（境界位置）を考慮する必要がないと判断してそのまま図８の処理を終了する。つまり、境界設定部１２４は、境界を予め定めた所定位置に設定する。一方、境界設定部１２４は、軌跡が重複領域を通過すると判定するとＳ１５２に移行する。
Ｓ１５２では、境界設定部１２４は、音量情報に基づき、重複領域内に無音区間があるか否かを判定する。ここで、無音区間とは、音量が所定期間以上所定レベル以下である区間である。そして、境界設定部１２４は、重複領域内に無音区間が存在すると判定した場合には、Ｓ１５３に移行し、無音区間に対応する音源の方向を境界の方向として設定する。このように、無音区間においてＨＲＴＦセットを切り替えるようにすることで、接合部分での違和感を確実に低減することができる。

一方、境界設定部１２４は、重複領域内に無音区間がないと判定すると、Ｓ１５４に移行する。Ｓ１５４では、境界設定部１２４は、時間ごとの音源の主要成分の周波数帯域の情報に基づいて、ＨＲＴＦセット切替方向（境界の方向）を設定する。例えば、境界設定部１２４は、軌跡上において、第一の実施形態と同様に、接合するＨＲＴＦセット同士のレベル差が最小となるような方向を境界の方向として設定する。なお、境界の設定方法は、上述した第一の実施形態と同様の方法であれば、適宜設定可能である。また、ＨＲＴＦセットの接合方法についても、上述した第一の実施形態と同様の方法を採用することができる。
図７に戻って、Ｓ１６では、ＨＲＴＦ抽出部２３０は、Ｓ１５において設定された境界情報に基づき、複数のＨＲＴＦセットから１つのＨＲＴＦセットを選択し、音源軌跡をもとに音源方向に対応するＨＲＴＦを抽出する。Ｓ１７では、フィルタ演算部２４０は、音響信号入力部２１０から入力された入力音響信号に対して音源ごとにＨＲＴＦ抽出部２３０から入力されたＨＲＴＦを用いてフィルタリングを行う。最後にＳ１８では、音響信号出力部２５０は、音源ごとにフィルタリングされた信号をチャンネルごとにミキシングし、Ｄ／Ａ変換したのち出力装置３００へ出力する。

以上のように、本実施形態において、立体音響再生装置は、複数のＨＲＴＦセットを接合して生成された１つのＨＲＴＦセットを用いて立体音響を再現する。ここで、立体音響生成装置２００は、入力音響信号を取得し、上記の生成された１つのＨＲＴＦセットから、入力音響信号の音源方向に対応するＨＲＴＦを抽出する。そして、立体音響生成装置２００は、入力音響信号に抽出されたＨＲＴＦを畳み込み、出力音響信号を出力装置３００へ出力し、出力装置３００は、その出力された出力音響信号を再生する。
このとき、立体音響生成装置２００は、入力音響信号の音源情報（音源の特性）を取得し、取得された音源情報とＨＲＴＦセットの特性とに基づいて境界を設定する。具体的には、立体音響生成装置２００は、音源情報として、音源の周波数帯域、音源の軌跡、および音源の音量の少なくとも１つを取得する。そして、立体音響生成装置２００は、音源の軌跡情報と音量情報とに基づいて、重複領域内に音量が所定期間以上所定レベル以下となる無音区間が存在すると判断した場合、無音区間に対応する音源の方向を境界の方向として設定する。一方、立体音響生成装置２００は、重複領域内に無音区間が存在しないと判断した場合、接合するＨＲＴＦセットの特性に応じて境界を設定する。その際、立体音響生成装置２００は、音源の主要成分の周波数帯域を考慮しつつ、音の変化を知覚しにくい場所に境界を設定する。

このように、本実施形態における立体音響再生装置は、再生する音源の特性に応じてＨＲＴＦセットの境界を変更する。したがって、本実施形態における立体音響再生装置は、複数のＨＲＴＦセットを接合して生成された１つのＨＲＴＦセットを用いて立体音響を再現した際の、ＨＲＴＦセットの境界部分での切り替わりによる違和感を低減することができる。
なお、本実施形態においては、音響信号出力部２５０は、Ｄ／Ａ変換した信号を出力装置３００に出力する場合について説明したが、出力音響信号をＤ／Ａ変換せずに記録装置などに出力するような構成であってもよい。
また、本実施形態においては、境界設定部１２４は、接合するＨＲＴＦセットの特性と音源情報とを用いて境界を設定する場合について説明したが、接合するＨＲＴＦセットの特性のみを用いて境界を設定してもよい。つまり、上述した第一の実施形態のＨＲＴＦセット接合装置１００によって生成されたＨＲＴＦセットを用いて立体音響を再現する立体音響再生装置としてもよい。この場合にも、接合部分における違和感が抑制された立体音響の再現が可能である。

さらに、本実施形態においては、境界設定部１２４は、接合するＨＲＴＦセットの特性と音源情報とを用いて境界を設定する場合について説明したが、音源情報のみを用いて境界を設定してもよい。例えば、境界設定部１２４は、音源情報（軌跡情報、音量情報）に基づいて重複領域内に無音区間が存在すると判定した場合には、上述したように無音区間に対応する方向を境界の方向として設定する。そして、境界設定部１２４は、無音区間が存在しないと判定した場合には、境界を音源情報（周波数帯域）に応じて予め設定された固定値としてもよい。この場合にも、接合部分における違和感が抑制された立体音響の再現が可能である。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…ＨＲＴＦセット接合装置、１２１…ＨＲＴＦ選択部、１２２…重複領域検出部、１２３…境界設定部、１２４…境界設定部、１３０…ＨＲＴＦ接合部、２００…立体音響生成装置、２２０…音源情報取得部、２３０…ＨＲＴＦ抽出部

Claims (20)

1. 第１の範囲に含まれる複数の音源方向それぞれに応じた音の伝達特性を表す第１頭部伝達関数セットを取得する第１取得手段と、
   前記第１の範囲と一部が重なる第２の範囲に含まれる複数の音源方向それぞれに応じた音の伝達特性を表す第２頭部伝達関数セットを取得する第２取得手段と、
   音響信号の生成に用いるべき頭部伝達関数セットの決定に関わる基準方向であって、前記第１の範囲と前記第２の範囲とが重なる重複範囲に含まれる基準方向を、前記第１取得手段により取得された前記第１頭部伝達関数セットと前記第２取得手段により取得された前記第２頭部伝達関数セットの特性に基づいて設定する設定手段と、
   前記第１頭部伝達関数セットと前記第２頭部伝達関数セットとのうち、前記重複範囲に含まれる特定の音源方向に対応する音を再生するための音響信号の生成に用いるべき頭部伝達関数セットを、前記設定手段により設定された前記基準方向と前記特定の音源方向との関係に基づいて決定する決定手段と、を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記設定手段により設定された前記基準方向から所定の範囲内に前記特定の音源方向が含まれる場合に、前記第１頭部伝達関数セットと前記第２頭部伝達関数セットの両方を、前記特定の音源方向に対応する音を再生するための音響信号の生成に用いるべき頭部伝達関数セットとして決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記設定手段は、前記第１頭部伝達関数セットが表す前記重複範囲内の所定の音源方向に応じた音の伝達特性と、前記第２頭部伝達関数セットが表す前記所定の音源方向に応じた音の伝達特性とに基づいて、前記基準方向を設定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記設定手段は、
   前記所定の音源方向に対応する前記第１頭部伝達関数セットと前記第２頭部伝達関数セットのレベル差に基づいて、前記基準方向を設定することを特徴とする請求項３に記載の情報処理装置。
5. 前記設定手段は、
   前記第１頭部伝達関数セットおよび前記第２頭部伝達関数セットのレベル変化量がそれぞれ所定値よりも大きい方向を、前記基準方向として設定することを特徴とする請求項１又は２に記載の情報処理装置。
6. 前記設定手段は、
   前記第１頭部伝達関数セットおよび前記第２頭部伝達関数セットのレベルが他の方向と比較して低い方向を、前記基準方向として設定することを特徴とする請求項１又は２に記載の情報処理装置。
7. 前記設定手段は、
   前記第１頭部伝達関数セットおよび前記第２頭部伝達関数セットの両耳間レベル差の差分値が最小または所定の閾値以下となる方向を、前記基準方向として設定することを特徴とする請求項１又は２に記載の情報処理装置。
8. 前記設定手段は、
   前記第１頭部伝達関数セットおよび前記第２頭部伝達関数セットの両耳間時間差の差分値が最小または所定の閾値以下となる方向を、前記基準方向として設定することを特徴とする請求項１又は２に記載の情報処理装置。
9. 前記設定手段は、
   複数の周波数帯域に対して異なる基準方向を設定することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記特定の音源方向に対応する音を再生するための音響信号の生成に用いるべき頭部伝達関数セットとして前記第１頭部伝達関数セットと前記第２頭部伝達関数セットの両方が前記決定手段により決定された場合に、前記第１頭部伝達関数セットと前記第２頭部伝達関数セットを正規化する正規化手段を有することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記設定手段により設定された前記基準方向において、前記第１頭部伝達関数セットと前記第２頭部伝達関数セットのレベル差が最小となるように、頭部伝達関数セットに係るレベル調整を行うレベル調整手段を有することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記設定手段により設定された前記基準方向において、前記第１頭部伝達関数セットと前記第２頭部伝達関数セットの遅延時間差が最小となるように、頭部伝達関数セットに係る遅延時間の調整を行う遅延調整手段を有することを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 前記決定手段により決定された頭部伝達関数セットを用いて入力音響信号を処理することにより出力音響信号を生成する生成手段を有することを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 前記設定手段は、前記入力音響信号に関する音源の特性を示す音源情報に基づいて、前記基準方向を設定することを特徴とする請求項１３に記載の情報処理装置。
15. 前記音源情報は、周波数帯域、音源の軌跡、および音量の少なくとも１つを示す情報であることを特徴とする請求項１４に記載の情報処理装置。
16. 前記第１頭部伝達関数セットと前記第２頭部伝達関数セットを、前記決定手段による決定の結果に基づいて合成する合成手段を有することを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。
17. 前記第１頭部伝達関数セットと前記第２頭部伝達関数セットはそれぞれ、複数の音源方向に応じた音の伝達特性を表す複数の頭部伝達関数を含み、
    前記決定手段は、前記特定の音源方向に対応する音を再生するための音響信号の生成に用いるべき頭部伝達関数を、前記第１頭部伝達関数セットに含まれる前記特定の音源方向に対応する頭部伝達関数と前記第２頭部伝達関数セットに含まれる前記特定の音源方向に対応する頭部伝達関数とのうちから、前記基準方向と前記特定の音源方向とに基づいて決定することを特徴とする請求項１乃至１６の何れか１項に記載の情報処理装置。
18. 第１の範囲に含まれる複数の音源方向それぞれに応じた音の伝達特性を表す第１頭部伝達関数セットを取得する第１取得工程と、
    前記第１の範囲と一部が重なる第２の範囲に含まれる複数の音源方向それぞれに応じた音の伝達特性を表す第２頭部伝達関数セットを取得する第２取得工程と、
    音響信号の生成に用いるべき頭部伝達関数セットの決定に関わる基準方向であって、前記第１の範囲と前記第２の範囲とが重なる重複範囲に含まれる基準方向を、前記第１取得工程において取得された前記第１頭部伝達関数セットと前記第２取得工程において取得された前記第２頭部伝達関数セットの特性に基づいて設定する設定工程と、
    前記第１頭部伝達関数セットと前記第２頭部伝達関数セットとのうち、前記重複範囲に含まれる特定の音源方向に対応する音を再生するための音響信号の生成に用いるべき頭部伝達関数セットを、前記設定工程において設定された前記基準方向と前記特定の音源方向との関係に基づいて決定する決定工程と、を有することを特徴とする情報処理方法。
19. 前記設定工程は、前記第１頭部伝達関数セットが表す前記重複範囲内の所定の音源方向に応じた音の伝達特性と、前記第２頭部伝達関数セットが表す前記所定の音源方向に応じた音の伝達特性とに基づいて、前記基準方向を設定することを特徴とする請求項１８に記載の情報処理方法。
20. コンピュータを、請求項１乃至１７の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images