JP2024015980A - 頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法、及び頭部伝達関数調整装置 - Google Patents

頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法、及び頭部伝達関数調整装置 Download PDF

Info

Publication number
JP2024015980A
JP2024015980A JP2023110068A JP2023110068A JP2024015980A JP 2024015980 A JP2024015980 A JP 2024015980A JP 2023110068 A JP2023110068 A JP 2023110068A JP 2023110068 A JP2023110068 A JP 2023110068A JP 2024015980 A JP2024015980 A JP 2024015980A
Authority
JP
Japan
Prior art keywords
head
related transfer
transfer function
listener
hrtf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023110068A
Other languages
English (en)
Inventor
一博 飯田
Kazuhiro Iida
風香 中村
Fuka Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chiba Institute of Technology
Original Assignee
Chiba Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chiba Institute of Technology filed Critical Chiba Institute of Technology
Publication of JP2024015980A publication Critical patent/JP2024015980A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

Figure 2024015980000001
【課題】全天空三次元空間の任意の方向の頭部伝達関数を簡便な手順で生成する。
【解決手段】頭部伝達関数生成装置は、受聴者の正中面内の受聴者を中心とする1方向の頭部伝達関数を取得する頭部伝達関数取得部と、頭部伝達関数取得部が取得した1方向の頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、受聴者の正中面内の他の2方向の頭部伝達関数を推定するとともに、取得した1方向の頭部伝達関数および推定した2方向の頭部伝達関数に基づいて、受聴者の正中面内の角度ごとの頭部伝達関数のノッチ及びピークを推定する推定部と、両耳間差情報取得部と、推定部が推定した正中面内の角度ごとのノッチ及びピークの推定結果と、両耳間差情報とに基づいて、受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する頭部インパルス応答生成部と、受聴者の三次元頭部伝達関数を生成する三次元頭部伝達関数生成部と、を備える。
【選択図】図6

Description

本発明は、頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法、及び頭部伝達関数調整装置に関する。
従来から三次元音響システム、音のバーチャルリアリティ(VR:Virtual Reality)等の実用化を目指した研究開発が進められている。これらの技術の実用化を実現する上では、受聴者ごとに頭部伝達関数を再現することが必要である。受聴者ごとに頭部伝達関数を再現する技術の一例として、特許文献1に開示されている頭部伝達関数選択装置が挙げられる。
この頭部伝達関数選択装置は、測定部と、特徴量抽出部と、特性選択部とを備える。測定部は、スピーカから測定信号としての所定の音声を発生させた状態で、ユーザの耳に装着したマイクロホンによって収音した音声信号に基づいて、ユーザの頭部インパルス応答を取得する。特徴量抽出部は、頭部インパルス応答に対応する周波数特性の特徴量を抽出する。特性選択部は、抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する。
特開2016-201723号公報
しかしながら、上述した頭部伝達関数選択装置によると、全天空三次元空間の任意の方向の頭部伝達関数までは生成することができない。
本発明は、上述した問題点に鑑み、全天空三次元空間の任意の方向の頭部伝達関数を簡便な手順で生成することができる頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法を提供することを目的とする。
本発明の一実施形態は、受聴者の正中面内の前記受聴者を中心とする1方向の頭部伝達関数を取得する頭部伝達関数取得部と、前記頭部伝達関数取得部が取得した前記1方向の頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、前記受聴者の正中面内の他の2方向の頭部伝達関数を推定するとともに、取得した前記1方向の頭部伝達関数および推定した前記2方向の頭部伝達関数に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定する推定部と、前記受聴者の両耳間差情報を取得する両耳間差情報取得部と、前記推定部が推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、前記両耳間差情報取得部が取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する頭部インパルス応答生成部と、前記頭部インパルス応答生成部が生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成する三次元頭部伝達関数生成部と、を備える頭部伝達関数生成装置である。
また、本発明の一実施形態は、上述の頭部伝達関数生成装置において、前記1方向とは、前記受聴者の天頂方向であり、前記2方向とは、前記受聴者の正面方向および真後ろ方向である。
また、本発明の一実施形態は、上述いずれかの頭部伝達関数生成装置において、前記推定部は、 前記受聴者の正中面内の上昇角を独立変数とする前記ノッチ及びピークのパラメータの回帰式を求め、上昇角ごとの前記ノッチ及びピークのパラメータを前記回帰式に基づいて算出することにより、前記受聴者の正中面内の前記ノッチ及びピークを推定し、前記頭部インパルス応答生成部は、前記推定部が算出した前記受聴者の正中面内の前記ノッチ及びピークのパラメータに基づいて、前記受聴者の正中面内の頭部インパルス応答を算出し、算出した前記受聴者の正中面内の頭部インパルス応答と、前記両耳間差情報と、に基づいて、前記受聴者の側方角ごとの両耳間時間差及び両耳間レベル差の少なくとも一方を付加することにより、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する。
また、本発明の一実施形態は、上述いずれかの頭部伝達関数生成装置において、前記頭部インパルス応答生成部が生成した前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答に、前記受聴者が利用する受聴装置の逆伝達関数の畳み込み演算を行う受聴装置逆伝達関数畳込部をさらに備える。
また、本発明の一実施形態は、上述の頭部伝達関数生成装置において、前記受聴装置逆伝達関数畳込部による畳み込み演算結果に、音源信号の畳み込み演算を行う音源信号畳込部をさらに備える。
また、本発明の一実施形態は、コンピュータに、受聴者の正中面内の前記受聴者を中心とする1方向の頭部伝達関数を取得することと、前記1方向の頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、前記受聴者の正中面内の他の2方向の頭部伝達関数を推定するとともに、取得した前記1方向の頭部伝達関数および推定した前記2方向の頭部伝達関数に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定することと、前記受聴者の両耳間差情報を取得することと、推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成することと、生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成することと、を実行させるためのプログラムである。
また、本発明の一実施形態は、受聴者の正中面内の前記受聴者を中心とする1方向の頭部伝達関数を取得することと、取得した前記1方向の頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、前記受聴者の正中面内の他の2方向の頭部伝達関数を推定するとともに、取得した前記1方向の頭部伝達関数および推定した前記2方向の頭部伝達関数に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定することと、前記受聴者の両耳間差情報を取得することと、推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成することと、生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成することと、を有する頭部伝達関数生成方法である。
また、本発明の一実施形態は、頭部伝達関数を用いて予め生成された複数の音源信号であって、ノッチ及びピークのパラメータ情報が互いに所定の値異なる複数の前記音源信号に基づいた音情報を出力する音情報出力部と、
前記音情報出力部により出力された音情報を受聴者が聴いたことに基づき、前記受聴者から操作を受け付ける操作受付部と、
前記操作受付部により取得された前記受聴者の操作情報に基づいて、前記受聴者に合わせて頭部伝達関数を調整する頭部伝達関数調整部と、
前記頭部伝達関数調整部により調整された前記頭部伝達関数を出力する頭部伝達関数出力部と、
を備える頭部伝達関数調整装置。
また、本発明の一実施形態は、上述の頭部伝達関数調整装置において、前記頭部伝達関数は、前記受聴者を中心とする方向ごとに存在し、前記音情報出力部は、前記受聴者の正中面内の前記受聴者を中心とする3方向以上の所定の方向の頭部伝達関数を用いて生成された複数の音源信号に基づいた音情報をさらに出力し、前記頭部伝達関数調整部は、前記操作受付部から取得した前記受聴者の操作情報に基づいて、前記受聴者の所定方向の頭部伝達関数を調整する。
また、本発明の一実施形態は、上述の頭部伝達関数生成装置において、前記推定部により推定される前記頭部伝達関数のノッチ及びピークは、少なくとも周波数が4000[Hz]以上の帯域における4点と、周波数が1500[Hz]以下の帯域における1点を含む。
また、本発明の一実施形態は、上述の頭部伝達関数調整装置において、前記頭部伝達関数調整部により調整される前記頭部伝達関数のノッチ及びピークは、少なくとも周波数が4000[Hz]以上の帯域における4点と、周波数が1500[Hz]以下の帯域における1点を含む。
本発明によれば、全天空三次元空間の任意の方向の頭部伝達関数を簡便な手順で生成することができる。
本実施形態に係る受聴者と、受聴者を基準とした水平面、正中面、矢状面、耳軸、側方角及び上昇角を示す図である。 パラメトリック・ノッチ・ピークHRTFモデルの生成アルゴリズムの一例を示す図である。 HRTF個人適応ソフトウエアのユーザインタフェイスの一例を示す図である。 HRTF個人適応ソフトウエアの処理の流れの一例を示す図である。 実施形態に係る頭部伝達関数生成装置を構成しているハードウエアの一例を示す図である。 実施形態に係る頭部伝達関数生成装置の機能的な構成の一例を示す図である。 PNPモデルを用いて受聴者自身が試聴しながらHRTFの個人化を行えるソフトウエアの画面の一例を示す図である。 正中面のN1周波数の分布の一例を示す図である。 ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(N/Pの周波数)の一例を示す図である。 ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(レベル)の一例を示す図である。 ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(Q)の一例を示す図である。 実際の頭部形状によるITDの分布の一例を示す図である。 本実施形態の個人化頭部インパルス応答の生成処理の手順の一例を示す図である。 本実施形態の3Dレンダリングツールキットの設定画面の一例を示す図である。 本実施形態の頭部伝達関数生成装置による音像定位の結果の一例を示す図である。 実施形態に係る頭部伝達関数調整装置を構成しているハードウエアの一例を示す図である。 実施形態に係る頭部伝達関数調整装置の機能的な構成の一例を示す図である。 個人化HRTF調整第1ソフトウエアの画面の一例を示す図である。 個人化HRTF調整第1ソフトウエアの処理の流れの一例を示す図である。 個人化HRTF調整第2ソフトウエアの画面の一例を示す図である。 個人化HRTF調整第2ソフトウエアの処理の流れの一例を示す図である。 個人化HRTF調整第3ソフトウエアの画面の一例を示す図である。 個人化HRTF出力ソフトウエアの画面の一例を示す図である。 複数の被検者の正中面における前方と後方との周波数の平均レベル差の結果の一例を示す図である。 複数の被検者の音像定位精度の結果の一例を示す図である。
[実施形態]
以下、図面を参照して、本発明の実施形態を説明する。
[頭部伝達関数生成装置の概要]
まず、図1を参照しながら実施形態に係る頭部伝達関数生成装置1を説明する上で使用する耳軸座標系について説明する。
図1は、本実施形態に係る受聴者と、受聴者を基準とした水平面、正中面、矢状面、耳軸、側方角及び上昇角を示す図である。
図1に示した耳軸座標系は、次のように定義される。耳軸Aは、受聴者Pの左右の外耳道入口を結ぶ直線である。原点は、受聴者Pの左右の外耳道入口を結んでおり、耳軸A上に位置する線分の中点である。水平面Hは、右眼窩点と左右の耳珠を結ぶ平面である。正中面Mは、水平面と直交し、受聴者Pを左右に二等分する面である。矢状面Sは、正中面Mと平行な任意の平面である。また、耳軸座標系は、音源が位置する方向を側方角α及び上昇角βにより表す。側方角αは、音源が位置する点と原点とを結ぶ直線が耳軸Aとなす角の余角である。また、側方角αは、水平面H内において受聴者Pの正面となる方向で0°となり、水平面H内において受聴者Pの後方となる方向で180°となる。上昇角βは、音源が位置する点を通る矢状面S内における仰角である。
本実施形態の頭部伝達関数生成装置1は、個人化された頭部伝達関数(:Head-Related Transfer Function)を生成する。HRTFとは、音源から受聴者の外耳道入口に到達する音波が受聴者の頭部及びその周辺の影響を受けることによる物理特性の変化を周波数領域で表現したものであり、ピーク及びノッチを含む。ピークは、頭部伝達関数のうち上に凸となっている部分を指す。ノッチは、頭部伝達関数のうち下に凸となっている部分を指す。また、実測頭部伝達関数は、実際に音波を測定することにより生成された頭部伝達関数である。また、上述した所定の方向は、例えば、各受聴者の正面である。
図2は、パラメトリック・ノッチ・ピークHRTFモデルの生成アルゴリズムの一例を示す図である。
各ノッチ・ピークを、1)周波数、2)レベル、3)先鋭度、の3つのパラメータで表現し、図2に示すアルゴリズムによって、パラメトリック・ノッチ・ピークHRTFモデルを生成する。以下の説明において、あるノッチ又はピークを表現する周波数(Freqency)、レベル(Level)、先鋭度(Q)の3つのパラメータのことを、ノッチ・ピークのFLQパラメータ(又は、単にノッチ・ピークのパラメータ)とも記載する。
(ステップS1~S3)多数のHRTFを用いてノッチ・ピークのパラメータを得る。 (ステップS4)得られたパラメータを用いて、各ノッチ・ピークの周波数について、特定のノッチもしくはピーク(例えば、第1ノッチ)の周波数における回帰式を求める。 (ステップS5~S6)特定のノッチもしくはピーク(例えば、第1ノッチ)の周波数をパラメータとしたパラメトリック・ノッチ・ピークHRTFモデルを得る。
三次元音像定位を実現するには、受聴者本人の、もしくは受聴者に適合するHRTFを提供する必要がある。このようなプロセスをHRTFの個人化という。また、このようなプロセスによって個人化されたHRTFを個人化HRTFという。
図3は、HRTF個人適応ソフトウエアのユーザインタフェイスの一例を示す図である。
図4は、HRTF個人適応ソフトウエアの処理の流れの一例を示す図である。
HRTF個人適応ソフトウエアは、頭部伝達関数生成装置1によって提供される。
HRTF個人適応ソフトウエアは、パラメトリック・ノッチ・ピークHRTFモデルと音源信号とから、HRTFを畳み込んだ音を生成して、生成した音をヘッドホン(不図示)を介して受聴者に提示する。
受聴者は、パラメトリック・ノッチ・ピークHRTFモデルのパラメータ(例えば、第1ノッチ周波数)を、図3に示すユーザインタフェイスのスライダSLを用いて変化させ、目標方向に聞こえるパラメータ設定を探索する。受聴者は、ヘッドホンが提示する音が目標方向に聞こえたら、保存ボタンSVを操作する。HRTF個人適応ソフトウエアは、保存ボタンSVが操作されると、設定されたパラメータを用いて個人化HRTFを生成し、生成した個人化HRTFを記憶部(不図示)に記憶させる。
本実施形態の頭部伝達関数生成装置1は、正中面内の1方向(例えば、上方(天頂)方向)のHRTFから、正中面内の他の2方向(例えば、前方(正面)と後方(真後ろ))のHRTFとを推定する。この3方向で生成したHRTFのノッチとピークのパラメータ情報から、正中面内の任意の方向のHRTFのノッチとピークのパラメータ情報を推定し、それらに両耳間差情報を付加することにより、全天空の三次元空間の任意の方向の頭部インパルス応答を生成する。頭部伝達関数生成装置1は、生成した頭部インパルス応答をフーリエ変換することにより、頭部伝達関数に変換する。
つまり、本実施形態の頭部伝達関数生成装置1は、正中面内の1方向の個人化HRTFを与えれば、正中面内の任意の方向の個人化HRTFを生成することができる。
[頭部伝達関数生成装置のハードウエア構成]
次に図5を参照しながら実施形態に係る頭部伝達関数生成装置1を構成しているハードウエアについて説明する。
図5は、実施形態に係る頭部伝達関数生成装置1を構成しているハードウエアの一例を示す図である。図5に示すように、頭部伝達関数生成装置1は、プロセッサ11と、主記憶装置12と、通信インターフェース13と、補助記憶装置14と、入出力装置15と、バス16とを備える。
プロセッサ11は、例えば、CPU(Central Processing Unit)であり、HRTF個人適応ソフトウエア(以下の説明においてプログラムともいう。)を読み出して実行し、頭部伝達関数生成装置1が有する各機能を実現させる。
主記憶装置12は、例えば、RAM(Random Access Memory)であり、プロセッサ11により読み出されて実行されるプログラムを予め記憶している。
通信インターフェース13は、ネットワークを介して他の機器と通信を実行するためのインターフェース回路である。ネットワークは、例えば、インターネット、イントラネット、WAN(Wide Area Network)、LAN(Local Area Network)である。
補助記憶装置14は、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)、ソリッドステートドライブ(SSD:Solid State Drive)、フラッシュメモリ(Flash Memory)、ROM(Read Only Memory)である。
入出力装置15は、例えば、入出力ポート(Input/Output Port)である。入出力装置15は、例えば、図5に示したマウス151、キーボード152及びディスプレイ153が接続される。マウス151及びキーボード152は、例えば、頭部伝達関数生成装置1を操作するために必要なデータを入力する作業に使用される。ディスプレイ153は、例えば、液晶ディスプレイである。ディスプレイ153は、例えば、頭部伝達関数生成装置1のユーザにより使用されるグラフィカルユーザインターフェース(GUI:Graphical User Interface)を表示する。グラフィカルユーザインターフェースの詳細は、後述する。
バス16は、プロセッサ11、主記憶装置12、通信インターフェース13、補助記憶装置14及び入出力装置15を互いにデータの送受信が可能なように接続している。
[頭部伝達関数生成装置の機能構成]
次に、図6を参照しながら実施形態に係る頭部伝達関数生成装置1の機能的な構成について説明する。
図6は、実施形態に係る頭部伝達関数生成装置1の機能的な構成の一例を示す図である。
頭部伝達関数生成装置1は、頭部伝達関数取得部111と、推定部112と、両耳間差情報取得部113と、頭部インパルス応答生成部114と、三次元頭部伝達関数生成部115と、受聴装置逆伝達関数取得部116と、受聴装置逆伝達関数畳込部117と、音源信号取得部118と、音源信号畳込部119とを、プロセッサ11のソフトウエア機能部またはハードウエア機能部として備える。
頭部伝達関数取得部111は、受聴者の個人化HRTFを取得する。このHRTFには、受聴者の正中面内における、受聴者を中心とする1方向のHRTFが含まれる。ここで、1方向とは、例えば、天頂方向(図1の方向D3。単に天頂ともいう。)である。すなわち、頭部伝達関数取得部111が取得する頭部伝達関数には、受聴者の正中面内における、受聴者を中心とする一方向(例えば、天頂方向)の頭部伝達関数が含まれる。
なお、この一例では頭部伝達関数取得部111が取得するHRTFが、受聴者の天頂方向のHRTFであるとして説明するが、これに限られない。頭部伝達関数取得部111が取得するHRTFは、受聴者の正中面内の、受聴者を中心とするおおむね天頂方向のHRTFであればよい。例えば、受聴者の天頂方向(図1の方向D3)のHRTFとは、上昇角が90°付近であればよい。
推定部112は、頭部伝達関数取得部111が取得した天頂方向のHRTFに基づいて、受聴者の正中面内の他の2方向のHRTFを推定する。
ここで、他の2方向とは、例えば、受聴者の正面方向(図1の方向D1。単に正面ともいう。)および受聴者の真後ろ方向(図1の方向D2。単に後方ともいう。)である。 推定部112は、頭部伝達関数取得部111が取得した天頂方向のHRTF、推定した正面方向のHRTFおよび後方のHRTFの、ノッチ及びピークのパラメータ情報に基づいて、受聴者の正中面内の角度ごとの頭部伝達関数のノッチ及びピークを推定する。
両耳間差情報取得部113は、受聴者の両耳間差情報を取得する。
頭部インパルス応答生成部114は、推定部112が推定した正中面内の角度ごとのノッチ及びピークの推定結果と、両耳間差情報取得部113が取得した両耳間差情報とに基づいて、受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する。
より具体的には、推定部112は、受聴者の正中面内の上昇角を独立変数とするノッチ及びピークのパラメータの回帰式を求め、上昇角ごとのノッチ及びピークのパラメータを回帰式に基づいて算出することにより、受聴者の正中面内のノッチ及びピークを推定する。
頭部インパルス応答生成部114は、推定部112が算出した受聴者の正中面内のノッチ及びピークのパラメータに基づいて、受聴者の正中面内の頭部インパルス応答を算出する。頭部インパルス応答生成部114は、算出した受聴者の正中面内の頭部インパルス応答と、両耳間差情報と、に基づいて、受聴者の側方角ごとの両耳間時間差及び両耳間レベル差の少なくとも一方を付加することにより、受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する。
三次元頭部伝達関数生成部115は、頭部インパルス応答生成部114が生成した頭部インパルス応答に対して時間周波数変換を施すことにより、受聴者の三次元頭部伝達関数を生成する。
受聴装置逆伝達関数取得部116は、受聴者が利用する受聴装置の逆伝達関数を取得する。
受聴装置逆伝達関数畳込部117は、頭部インパルス応答生成部114が生成した受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答に、受聴装置逆伝達関数取得部116が取得した、受聴者が利用する受聴装置の逆伝達関数の畳み込み演算を行う。
音源信号取得部118は、音源信号を取得する。
音源信号畳込部119は、受聴装置逆伝達関数畳込部117による畳み込み演算結果に、音源信号取得部118が取得した音源信号の畳み込み演算を行う。
音源信号畳込部119は、音源信号の畳み込み演算後の信号(すなわち、音像定位後音源信号)を出力する。
[全天空の任意方向の個人化HRTFの生成]
上述した頭部伝達関数生成装置1のプロセッサ11が行う、全天空の任意方向の個人化HRTFの生成手順の詳細について、図7から図13を参照して説明する。
(アルゴリズムの概要)
前述のように正中面においては、HRTFに含まれるN(ノッチ。以下の説明において同じ。)/P(ピーク。以下の説明において同じ。)のうち、N1、N2、P1、P2のみを再現することで実測HRTFと同等の音像定位精度が得られる.また、正中面のHRTFに両耳間差情報(ITD、ILD)を加えることで任意の3次元方向に音像を制御できる。以下のアルゴリズムで全天空の任意の方向の個人化HRTFの生成を試みた。
1)正中面の90°(天頂)の個人化HRTFをPNPモデルにより生成する。
2)90°(天頂)の個人化HRTFから、正中面の上昇角0°(正面)、180°(後方)の個人化HRTFを推定する。
3)正中面の任意の方向のHRTFのN/Pパラメータを正面、天頂、後方の個人化HRTFのパラメータの線形回帰により推定する。
4)3)の推定値を用いて生成したHRTFに側方角に応じたITD、ILDを付加して、全天空の任意の方向の個人化HRTFを生成する。
以下にアルゴリズムの詳細を述べる。
(正面・天頂・後方の個人化HRTFの生成)
PNPモデルはN2周波数を独立変数として他のN/Pパラメータを従属的に表現するHRTFモデルである。N/Pパラメータのうち、周波数は回帰式で求め、レベルとQは定数として扱う。
PNPモデルを用いて受聴者自身が試聴しながらHRTFの個人化を行えるソフトウエアを開発した(図7)。
図7は、PNPモデルを用いて受聴者自身が試聴しながらHRTFの個人化を行えるソフトウエアの画面の一例を示す図である。
(正中面の任意方向の個人化HRTFの生成)
図8は、正中面のN1周波数の分布の一例を示す図である。
正面、天頂、後方の個人化HRTFを用いて、上半球正中面の任意の方向の個人化HRTFを生成する。正中面のN1周波数は音源が前方から上方に向かうにつれて高くなり、上方から後方に向かって低くなる。一方、N2周波数は音源が前方から上方に向かうにつれて高くなるが、上方から後方の間の変化は小さい(図8)。
これらの関係より、上半球正中面の前半分(すなわち、上昇角0°から90°の間)の任意の方向のHRTFのN/Pパラメータは、正面と天頂の個人化HRTFのN/Pパラメータを用いて、上昇角を説明変数とした線形回帰により求める。正中面の後半分(すなわち、上昇角90°から180°の間)については、天頂と後方の個人化HRTFのN/Pパラメータを用いて同様に求めた。ある被験者の上半球正中面の任意の上昇角におけるN/Pの周波数、レベル、Qを求めた例を図9から図11に示す。
図9は、ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(N/Pの周波数)の一例を示す図である。
図10は、ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(レベル)の一例を示す図である。
図11は、ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(Q)の一例を示す図である。
(全天空の任意方向の個人化HRTFの生成)
上半球正中面の個人化HRTFに両耳間差情報を加えることによって全天空の任意の方向の個人化HRTFを生成する。
ITDについては頭部を球体とみなすと幾何学的に式(1)で表される。
Figure 2024015980000002
ここで、φは方位角[rad]、Dは両耳間距離[m]である。
実際の頭部形状によるITDを反映させるため、18人の日本人成人の被験者の実測HRIRから前半分の水平面4方向(側方角α:0、30、60、90°)のITDを求めた(図12)。
図12は、実際の頭部形状によるITDの分布の一例を示す図である。
ITDは側方角に対してほぼ線形に増加した。そこで式(2)によりITDを付加する。
Figure 2024015980000003
ILDは側方角が同一でも周波数によって異なる。音源が広帯域白色雑音の場合の音像方向は、ILDが0dBで正面、±10dBで側方となり、その間はほぼ線形な関係で推移する。式(3)によりILDを付加する。ただし、予備実験によりILDの最大値は9dBとする。
Figure 2024015980000004
[3Dレンダリングツールキット]
図13は、本実施形態の個人化頭部インパルス応答の生成処理の手順の一例を示す図である。以下の説明において、本実施形態のプロセッサ11が実行するHRTF個人適応ソフトウエアのことを、3Dレンダリングツールキットとも記載する。
3Dレンダリングツールキットは、全天空の任意の方向の個人化頭部インパルス応答(HRIR)を生成し、最大48個の音源信号との畳み込み処理を行う。処理の手順を以下に示す。
(ステップS101) PNPモデルを用いて正中面内の1方向(例えば、天頂方向)の個人化HRTFを生成する。プロセッサ11は、天頂方向の個人化HRTFの各パラメータを取得する。
(ステップS102~ステップS103) プロセッサ11は、1方向(例えば、天頂方向)の個人化HRTFに基づいて、正中面内の他の2方向(例えば、前方・後方)の個人化HRTFを生成する。
より具体的には、プロセッサ11は、取得した天頂方向の個人化HRTFの第2ノッチ(N2)周波数に対して、回帰式を適用して、前方の個人化HRTFのN2周波数と、後方の個人化HRTFのN2周波数とを推定する。
プロセッサ11は、推定した前方の個人化HRTFの第1ピーク(P1)レベルと、後方の個人化HRTFのP1レベルとを、必要に応じて調整する。
(ステップS104~ステップS106) プロセッサ11は、生成した3方向の個人化HRTFのN/Pパラメータ情報から、正中面の上昇角を説明変数としたN/Pパラメータの回帰式を生成する。
(ステップS107) プロセッサ11は、各音源の目標方向(方位角φ、仰角θ)、相対レベルを取得する。プロセッサ11は、方位角φ、仰角θを式(4)、(5)により側方角α、上昇角βに変換する。
Figure 2024015980000005
Figure 2024015980000006
プロセッサ11は、ステップS104及びステップS105で求めた回帰式を用いて目標上昇角におけるN/Pパラメータを算出する。
(ステップS108) プロセッサ11は、算出した目標上昇角におけるN/Pパラメータをピーキングフィルタに設定して目標上昇角のHRIRを生成する。
(ステップS109) プロセッサ11は、目標側方角に対応したITD、ILDを付加して、受聴者を中心とする三次元空間の任意の方向の個人化HRIRを生成する。
(ステップS110) プロセッサ11は、受聴者が利用する受聴装置(例えば、ヘッドホン)の逆伝達関数を取得する。プロセッサ11は、ステップS108で生成した頭部インパルス応答に受聴装置の逆伝達関数の逆フィルタ畳み込み演算を行って、個人化HRIRを生成する。
(ステップS111) プロセッサ11は、音源信号を取得する。プロセッサ11は、取得した音源信号と、ステップS109で生成した個人化HRIRとを畳み込んで、プロセッサ11は、生成した音像定位後音源信号を(例えば、ヘッドホンに)出力して、音像定位後音源信号を再生する。
図14は、本実施形態の3Dレンダリングツールキットの設定画面の一例を示す図である。上述した機能の他に、3Dレンダリングツールキットは以下の機能を有する。
・音源信号と個人化HRIRが畳み込まれた信号のファイル出力。
・各音源方向の個人化HRIRのファイル出力。
・正面、天頂、後方の個人化HRTFのN/Pパラメータや音源情報などのプロジェクト情報のファイル出力。
・音源位置のグラフィック表示。
[個人化HRTFの音像定位精度の検証]
3Dレンダリングツールキットにより生成した個人化HRTFの音像定位精度を検証した。
図15は、方位角についての各被験者の回答の一例を示す図である。
実験は防音室で実施した。PNPモデルで被験者自身が個人化したHRTFと被験者本人のHRTFを用いた。目標方向は右半分の水平面内(方位角:0-180°、30°間隔)の7方向である。音源信号は広帯域白色雑音(200Hz-17kHz)で、提示時間は1.2s(立上り、立下り各0.1sを含む)である。
音源信号にHRIRを畳み込んだ刺激をFEC(Free air Equivalent Coupling to the ear)ヘッドホンにより被験者に提示した。ヘッドホン伝達関数は補正していない。提示音圧は63dBで、各刺激はランダムな順に10回提示した。被験者は正常な聴力をもつ20代男性2名で、音像の方位角と仰角をマッピング法で回答した。
同図に示すように、方位角について、被験者1は本人HRTFでは概ね目標方向付近に回答している。
以上説明したように、本実施形態の頭部伝達関数生成装置1は、天頂方向の個人化HRTFに基づいて、全天空の任意の方向の個人化HRTFを生成する。
一般に、音響の専門家でない一般消費者にとって、複数の方向(例えば、前方および後方)の個人化HRTFを用意することは困難である。したがって、全天空の任意の方向の個人化HRTFを生成する際に、複数の方向の個人化HRTFを与える必要がある場合には、音響の専門家でない一般消費者にとっては、簡便な手順で作業を行えない状況であった。
一方、本実施形態の頭部伝達関数生成装置1によれば、調整や生成が比較的容易な1方向(例えば、天頂方向)の個人化HRTFを用意すれば、全天空の任意の方向の個人化HRTFを生成することができる。すなわち、本実施形態の頭部伝達関数生成装置1によれば、全天空三次元空間の任意の方向の頭部伝達関数を簡便な手順で生成することができる。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した実施形態に記載の構成を組み合わせてもよい。
なお、上記の実施形態における頭部伝達関数生成装置1が備える各部は、専用のハードウエアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、頭部伝達関数生成装置1が備える各部は、メモリおよびCPU(中央演算装置)により構成され、頭部伝達関数生成装置1が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、頭部伝達関数生成装置1が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウエアを含むものとする。
[頭部伝達関数調整装置のハードウエア構成]
次に、図16を参照しながら実施形態に係る頭部伝達関数調整装置2を構成しているハードウエアについて説明する。
図16は、実施形態に係る頭部伝達関数調整装置を構成しているハードウエアの一例を示す図である。同図を参照しながら頭部伝達関数調整装置2を構成するハードウエアの一例について説明する。図16に示すように、頭部伝達関数調整装置2は、プロセッサ21と、主記憶装置22と、通信インターフェース23と、補助記憶装置24と、入出力装置25と、バス26とを備える。
プロセッサ21は、例えば、CPUであり、HRTF調整ソフトウエア(以下の説明においてプログラムともいう。)を読み出して実行し、頭部伝達関数調整装置2が有する各機能を実現させる。
主記憶装置22は、例えば、RAMであり、プロセッサ21により読み出されて実行されるプログラムを予め記憶している。
通信インターフェース23は、ネットワークを介して他の機器と通信を実行するためのインターフェース回路である。ネットワークは、例えば、インターネット、イントラネット、WAN、LANである。
補助記憶装置24は、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリである。
入出力装置25は、例えば、入出力ポートである。入出力装置25は、例えば、図16に示した音情報出力装置251、マウス252、キーボード253及びディスプレイ254が接続される。音情報出力装置251は、例えば、イヤホン、ヘッドホン、スピーカ等である。音情報出力装置251は、受聴者に対し、頭部伝達関数調整装置2による音情報を出力する。マウス252及びキーボード253は、例えば、頭部伝達関数調整装置2を操作するために必要なデータを入力する作業に使用される。ディスプレイ254は、例えば、液晶ディスプレイである。ディスプレイ254は、例えば、頭部伝達関数調整装置2のユーザにより使用されるグラフィカルユーザインターフェースを表示する。グラフィカルユーザインターフェースは、以下単に画面と記載する場合がある。
バス26は、プロセッサ21、主記憶装置22、通信インターフェース23、補助記憶装置24及び入出力装置25を互いにデータの送受信が可能なように接続している。
[頭部伝達関数調整装置の機能構成]
次に、図17を参照しながら実施形態に係る頭部伝達関数調整装置2の機能的な構成について説明する。
図17は、実施形態に係る頭部伝達関数調整装置の機能的な構成の一例を示す図である。同図を参照しながら頭部伝達関数調整装置2の機能的な構成について説明する。頭部伝達関数調整装置2は、操作受付部211と、頭部伝達関数調整部212と、音情報出力部213と、頭部伝達関数出力部214とを、プロセッサ21のソフトウエア機能部またはハードウエア機能部として備える。頭部伝達関数調整装置2は、受聴者に合わせて頭部伝達関数の選択又は調整を行う。以下の説明において単に頭部伝達関数と記載する場合、頭部伝達関数は、例えば、所定方向の頭部伝達関数であってもよいし、三次元頭部伝達関数であってもよい。以下の説明において、頭部伝達関数は、HRTFと記載する場合がある。以下の説明において、三次元頭部伝達関数は、三次元HRTFと記載する場合がある。
頭部伝達関数調整装置2は、受聴者自身により操作されてもよいし、受聴者以外のユーザ等により操作されてもよい。操作受付部211は、ユーザ又は受聴者(以下、単にユーザ等と記載する場合がある。)からの操作を受け付ける。操作受付部211は、バス26を介して入出力装置25から操作情報OIを取得する。操作情報OIには、例えば、マウス252やキーボード253を用いたユーザ等の操作に関する情報が含まれる。操作受付部211は、操作情報OIを頭部伝達関数調整部212に送信する。操作情報OIには、例えば、予め生成された三次元HRTFを選択する操作や、HRTFのノッチ・ピークのパラメータを調整する操作が含まれてもよい。
頭部伝達関数調整部212は、予め生成されたHRTFを受聴者に合わせて調整する。頭部伝達関数調整部212は、操作受付部211から操作情報OIを取得する。頭部伝達関数調整部212は、バス26を介して補助記憶装置24に制御情報CIを送信する。制御情報CIには、頭部伝達関数調整部212が補助記憶装置24を制御するための情報が広く含まれる。制御情報CIには、例えば、補助記憶装置24に対して、予め生成されたHRTFや音源信号を頭部伝達関数調整部212に送信するように制御する情報が含まれてもよい。
補助記憶装置24には、例えば、HRTFや音源信号に関する情報が予め格納されていてもよい。補助記憶装置24は、頭部伝達関数調整部212から制御情報CIを取得する。補助記憶装置24は、制御情報CIに応じて、頭部伝達関数調整部212にHRTF情報HRTFIを送信する。HRTF情報HRTFIには、HRTFや音源信号に関する情報が含まれる。HRTF情報HRTFIには、例えば、予め生成されたHRTFに関する情報が含まれてもよいし、頭部伝達関数調整部212が調整したHRTFに関する情報が含まれていてもよい。HRTF情報HRTFIには、例えば、HRTFと畳み込む音源信号が含まれてもよい。
なお、補助記憶装置24の中に所望のHRTFや音源信号に関する情報が存在しない場合、補助記憶装置24は、必要に応じて、主記憶装置22と情報をやり取りしてもよい。また、頭部伝達関数調整部212は、補助記憶装置24を介さずに主記憶装置22と情報をやり取りしてもよい。
頭部伝達関数調整部212は、制御情報CIに応じて送信されたHRTF情報HRTFIを補助記憶装置24から取得する。頭部伝達関数調整部212は、取得したHRTF情報HRTFIに含まれる頭部伝達関数を、操作情報OIに基づいて調整する。ここで、調整する処理には、操作情報OIに応じて、予め生成されたHRTFの中から、特定のHRTFを選択する処理が含まれてもよい。頭部伝達関数調整部212は、取得したHRTF情報HRTFIに含まれる音源信号と、調整したHRTFとを畳み込むことにより、音像定位後音源信号を含む音情報SIを生成する。音情報SIには、受聴者に聴かせる音に関する情報が広く含まれる。頭部伝達関数調整部212は、生成した音情報SIを音情報出力部213に送信する。なお、受聴者に合わせてHRTFを調整することを、以下単に個人化HRTFの調整と記載することがある。
音情報出力部213は、頭部伝達関数調整部212から音情報SIを取得する。音情報出力部213は、入出力装置25を介して、取得した音情報SIを音情報出力装置251に送信する。
音情報出力装置251は、音情報出力部213から音情報SIを取得する。音情報出力装置251は、取得した音情報SIに含まれる音を再生する。受聴者は、音情報出力装置251が再生した音を聴き、HRTFの調整又は選択、HRTFを出力する操作をしてもよい。
操作受付部211が頭部伝達関数を出力する操作に関する操作情報OIを取得した場合、操作受付部211は、頭部伝達関数調整部212に操作情報OIを送信する。頭部伝達関数調整部212は、操作情報OIに応じて、個人化HRTF情報PHRTFIを頭部伝達関数出力部214に送信する。個人化HRTF情報PHRTFIには、例えば、ユーザ等が調整又は選択したHRTFに関する情報が含まれる。
頭部伝達関数出力部214は、頭部伝達関数調整部212から個人化HRTF情報PHRTFIを取得する。頭部伝達関数出力部214は、バス26を介して、取得した個人化HRTF情報PHRTFIを入出力装置25に送信する。ユーザ等は、受聴者に合わせた個人化HRTF情報PHRTFIを取得し、使用してもよい。頭部伝達関数出力部214は、必要に応じて個人化HRTF情報PHRTFIを、補助記憶装置24又は主記憶装置22に送信してもよい。なお、操作受付部211がHRTFの調整又は選択する操作に関する操作情報OIを取得した場合、頭部伝達関数調整装置2は、操作情報OIに応じて、上述した処理を再度行っても良い。
[個人化HRTFの調整]
上述した頭部伝達関数調整装置2のプロセッサ21が行う、個人化HRTFの調整手順の詳細について図18から図22を用いて説明する。
[個人化HRTF調整第1ソフトウエア]
図18は、個人化HRTF調整第1ソフトウエアの画面の一例を示す図である。同図を参照しながら、個人化HRTF調整第1ソフトウエアの画面の一例である第1画面表示SD1について説明する。第1画面表示SD1は、HRTF表示部31と、冠状面イメージ表示部32と、水平面イメージ表示部33と、音像軌跡選択ボタン34と、複数の音像軌跡再生ボタン35と、HRTF保存ボタン36とを画面の構成要素として有する。図18に示されている音像軌跡再生ボタン35a乃至音像軌跡再生ボタン35iを区別しない場合には、以下単に音像軌跡再生ボタン35と記載する場合がある。なお、第1画面表示SD1と、後述する第2画面表示SD2及び第3画面表示SD3及び第4画面表示SD4とは、ディスプレイ254の一つの画面にまとめて表示されていてもよい。
HRTF表示部31は、ユーザ等に選択または調整するHRTFを表示するものである。HRTF表示部31は、縦軸がRelative amplitude[dB]、横軸がFrequency[Hz]を表している。なお、HRTF表示部31は、ユーザ等が行う頭部伝達関数の調整を、視覚的にイメージすることができる図を表示するものである。したがって、HRTF表示部31は、必ずしも表示されなくてもよい。
受聴者に合わせた個人化HRTFを畳み込んだ音像定位後音源信号に基づく音を聴いた場合、受聴者は、音源が移動しているように聴こえる。音像軌跡選択ボタン34は、受聴者が感じる音源の移動する軌跡を選択するボタンである。図示する一例において、音像軌跡選択ボタン34には、「冠状面」と「水平面」というボタンが選択肢として表示されている。冠状面と水平面とは互いに直交する面である。冠状面は、例えば、左右の外耳道入口を基準に受聴者を前後に二分する面である。水平面は、例えば右眼窩点と左右の耳珠を結ぶ平面である。音像軌跡選択ボタン34の「冠状面」が選択された場合、受聴者が感じる音源の移動する軌跡は、冠状面内を通る。音像軌跡選択ボタン34の「水平面」が選択された場合、受聴者が感じる音源の移動する軌跡は、水平面内を通る。
冠状面イメージ表示部32及び水平面イメージ表示部33は、受聴者が感じる音源の移動する軌跡を、ユーザ等がイメージすることを助ける図である。図示する一例において、冠状面イメージ表示部32と水平面イメージ表示部33は、同時に表示されている。しかしながら、本実施形態はこの一例に限定されない。例えば、ユーザ等が音像軌跡選択ボタン34により軌跡を選択した場合、イメージ図には、冠状面イメージ表示部32及び水平面イメージ表示部33のいずれか選択された方が表示されてもよい。
音像軌跡再生ボタン35は、音像軌跡選択ボタン34で選択した軌跡の音像定位後音源信号に基づいた音を再生するボタンである。音像定位後音源信号に基づく音は、HRTFに含まれるN/Pのうち、N1、N2、P1、P2のみを再現することで実測HRTFと同等の音像定位精度が得られる。音像軌跡再生ボタン35a乃至音像軌跡再生ボタン35iは、それぞれ異なる音源信号に基づいた音を再生するボタンである。音像軌跡再生ボタン35a乃至音像軌跡再生ボタン35iにより再生される音は、音源信号に、それぞれ異なるHRTFが畳み込まれた音像定位後音源信号に基づく音である。それぞれ異なるHRTFとは、具体的に、それぞれのHRTFのN2が所定の値ずつ異なっているHRTFである。所定の値とは、例えば、音像軌跡再生ボタン35fにより再生される音に畳み込まれたHRTFを基準として、当該HRTFのN2周波数の12分の1[オクターブ]である。音像軌跡再生ボタン35により再生される音に畳み込まれたHRTF(以下、カテゴリHRTFと記載する場合がある。)は、例えば、予め複数人から取得した個人化HRTFのN2周波数の値を網羅することができるように複数作成される。
なお、上述した例において、所定の値は、あるHRTFのN2周波数の12分の1[オクターブ]である例が示されている。しかしながら本実施形態はこの一例に限定されない。HRTFのN2周波数が変化することにより音像方向が変化することを受聴者が認識できる弁別閾は、約0.1から0.2[オクターブ]である。そのため、所定の値は、約0.1から0.2[オクターブ]より小さいことが好ましい。また、所定の値が約0.1から0.2[オクターブ]より小さいことが好ましいことから、音像軌跡再生ボタン35の数は、例えば、1[オクターブ]を音像軌跡再生ボタン35の数で割った時に、約0.1から0.2[オクターブ]であることが好ましい。具体的には、音像軌跡再生ボタン35は、4から12種類であることが好ましい。なお、音像軌跡再生ボタン35は、所定の値を約0.1から0.2[オクターブ]より小さくするため、8から12種類であることがより好ましい。
なお、図示する一例において、音像軌跡再生ボタン35fには、「Average」という言葉が表示されている。これは、予め複数人から取得した個人化HRTFのN2周波数の平均の値である。音像軌跡再生ボタン35fは、複数の音像軌跡再生ボタン35の中心に表示されておらず、複数の音像軌跡再生ボタン35内において、右寄りに表示されている。すなわち、「Average」という言葉が表示される音像軌跡再生ボタン35fを基準として、左側の音像軌跡再生ボタン35(N2周波数が平均より低い)の数は、右側の音像軌跡再生ボタン35(N2周波数が平均より高い)の数よりも多い。なぜなら、オクターブという単位は、1[オクターブ]上昇するために、周波数が2倍となる必要がある。つまり、オクターブという単位を用いた場合、音像軌跡再生ボタン35fを基準として、左側の音像軌跡再生ボタン35は、周波数が低いため、右側の音像軌跡再生ボタン35よりも多くの数が必要となる。
ユーザ等は、受聴者に合う音像軌跡再生ボタン35を選択することにより、カテゴリHRTFを選択する。HRTF保存ボタン36は、ユーザ等が選択したカテゴリHRTFを、個人化HRTFとして保存するボタンである。ユーザ等は、受聴者に合わせてHRTFのパラメータを1から調整する必要がなく、予め生成されたカテゴリHRTFから選択するという、より簡易な方法により、個人化HRTFを生成することができる。
図19は、個人化HRTF調整第1ソフトウエアの処理の流れの一例を示す図である。同図を参照しながら、個人化HRTF調整第1ソフトウエアの処理の流れの一例について説明する。なお、同図を参照しながら行う説明においては、図18と対応させて説明するため、図18に示された符号を用いることがある。
プロセッサ21は、受聴者によるカテゴリHRTFの選択結果を取得する(ステップS301)。すなわち、プロセッサ21は、受聴者がどの音像軌跡再生ボタン35を選択したかに関する情報を取得する。
プロセッサ21は、受聴者により選択されたカテゴリHRTFをパラメトリック・ノッチ・ピークHRTFモデル306から取得し、音源信号を音源信号DB307から取得する。プロセッサ21は、取得されたカテゴリHRTFと音源信号とが畳み込まれた音を受聴者に提示する(ステップS302)。受聴者は、音像が目標方向を通るかに基づき、判断を行う。具体的には、音像が目標方向に近い位置を通る場合、受聴者は、カテゴリHRTFが受聴者に合っていると判断する。音像軌跡選択ボタン34の「冠状面」を選択した場合、目標方向は、例えば天頂方向であってもよい。なお、音像軌跡選択ボタン34の「水平面」を選択した場合、目標方向ではなく、音像の移動する軌跡が例えば円となるかで判断してもよい。
受聴者は、自分に合ったカテゴリHRTFを探すために、必要に応じて他のカテゴリHRTFを選択する。具体的に、受聴者は、他の音像軌跡再生ボタン35を選択し、現在選択されている音像軌跡再生ボタン35と、その他の音像軌跡再生ボタン35とにより再生された音による音像の軌跡を比較する。比較した後、受聴者は、より自分に合ったカテゴリHRTFを最終的に選択する。受聴者が他の音像軌跡再生ボタン35を選択した場合(ステップS303;Yes)、プロセッサ21は、ステップS301及びステップS302の処理を再度行う。
受聴者が他の音像軌跡再生ボタン35を選択しない場合(ステップS303;No)、プロセッサ21は、受聴者が最終的に選択したカテゴリHRTFを受聴者に合わせた個人化HRTFとする(ステップS304)。プロセッサ21は、受聴者の個人化HRTFを出力する(ステップS305)。
[個人化HRTF調整第2ソフトウエア]
図20は、個人化HRTF調整第2ソフトウエアの画面の一例を示す図である。同図を参照しながら、個人化HRTF調整第2ソフトウエアの画面の一例である第2画面表示SD2について説明する。第2画面表示SD2は、音像方向調整ダイヤル41a乃至音像方向調整ダイヤル41gと音像方向再生ボタン42a乃至音像方向再生ボタン42gとの表示(以下、第2画面表示SD2-2と記載する場合がある。)と、方向感調整ダイヤル43a乃至方向感調整ダイヤル43gと方向感再生ボタン44a乃至方向感再生ボタン44gとの表示(以下、第2画面表示SD2-2と記載する場合がある。)とを画面の構成要素として有する。図20に示されている音像方向調整ダイヤル41a乃至音像方向調整ダイヤル41gを区別しない場合には、以下単に音像方向調整ダイヤル41と記載する場合がある。音像方向再生ボタン42、方向感調整ダイヤル43、方向感再生ボタン44についても、同様に記載する場合がある。
音像方向調整ダイヤル41は、所定の方向の個人化HRTFの調整に用いられる。具体的に、個人化HRTF調整第2ソフトウエアは、個人化HRTF調整第1ソフトウエアにおいて選択した個人化HRTFについて、音像方向調整ダイヤル41を操作することにより所定方向の個人化HRTFのパラメータのうち、N2を調整する。すなわち、音像軌跡再生ボタン35a乃至音像軌跡再生ボタン35iのいずれかが選択された場合、各音像軌跡再生ボタン35により再生される音の音源信号について、第2画面表示SD2に示されたような調整ダイヤルやボタンを用いて調整が行われることとなる。音像方向調整ダイヤル41は、時計方向(CW)又は反時計方向(CCW)に回された場合、受聴者の感じる音像の聞こえる方向の角度が変化する。音像方向調整ダイヤル41における角度とは、例えば、正中面における水平面からの上昇角0°(正面)から180°(後方)であり、天頂を通ってもよい。図示する例において、音像方向調整ダイヤル41は、反時計方向に回されると、N2が小さくなることにより音像の聞こえる角度が小さくなる。音像方向調整ダイヤル41は、時計方向に回されると、N2が大きくなることにより音像の聞こえる角度が大きくなる。音像方向調整ダイヤル41は、音像方向調整ダイヤル41の中央にあるボタンを押すことにより、音像方向調整ダイヤル41による調整を初期状態に戻すことができる。なお、音像方向調整ダイヤル41は、必ずしも連続的に数値を調整可能なダイヤルであることを要しない。音像方向調整ダイヤル41は、例えば、連続的に数値を調整可能なスライダや、非連続的に数値を調整可能なボタン等であってもよい。
音像方向調整ダイヤル41を構成する各構成要素について詳細に説明する。音像方向調整ダイヤル41a乃至音像方向調整ダイヤル41gは、互いに同様の構成を有するため、一例として音像方向調整ダイヤル41aの構成について説明する。音像方向調整ダイヤル41aは、つまみ部41a-1と、指針部41a-2と、目盛り部41a-3と、初期化ボタン41a-4とを構成要素として有する。つまみ部41a-1は、ユーザ等の操作に応じて回転する部分である。HRTFのパラメータは、つまみ部41a-1の回転量に基づいて変動する。目盛り部41a-3には、音像方向調整ダイヤル41aの目盛りが表示される。目盛り部41a-3には、音像方向調整ダイヤル41aにて基準となる所定方向の角度が表示されてもよいし、更に、変更できる上限の角度と、変更できる下限の角度とが表示されてもよい。図示する例において、目盛り部41a-3には、基準となる所定方向の角度として0°、変更できる上限の角度として30°、変更できる下限の角度として-30°とがそれぞれ表示され、それらの数字の間に目盛り線が表示されている。なお、目盛り部41a-3は、数字ではなく、「+」「-」という記号が表示されもよい。指針部41a-2は、つまみ部41a-1の回転に連動して回転し、目盛り部41a-3の目盛りを指し示す。初期化ボタン41a-4は、音像方向調整ダイヤル41aによる調整を初期状態に戻す。なお、方向感調整ダイヤル43a乃至方向感調整ダイヤル43gは、音像方向調整ダイヤル41aと同様の構成を有してもよい。
なお、図示する一例において、複数の音像方向調整ダイヤル41は、30°間隔に7種類設けられる例が示されている。しかしながら、本実施形態はこの一例に限定されない。複数の音像方向調整ダイヤル41は、個人化HRTFの調整を行うことができれば何種類でもよく、例えば90°間隔に3種類でもよい。なお、音像方向調整ダイヤル41は、等間隔の角度ごとに設けることを要せず、例えば、天頂方向付近の角度の間隔は、前方及び後方付近の角度の間隔よりも大きくてもよい。
音像方向再生ボタン42は、音像方向調整ダイヤル41により調整した所定方向の個人化HRTFが畳み込まれた音を聴くことができる。音像方向再生ボタン42は、例えば、音像方向調整ダイヤル41に対応した位置に設けられる。
方向感調整ダイヤル43は、所定の方向の個人化HRTFの調整に用いられる。具体的には、個人化HRTF調整第2ソフトウエアは、個人化HRTF調整第1ソフトウエアにおいて選択した個人化HRTFについて、方向感調整ダイヤル43を操作することにより所定方向の個人化HRTFのPパラメータを調整する。すなわち、音像軌跡再生ボタン35a乃至音像軌跡再生ボタン35iのいずれかが選択された場合、各音像軌跡再生ボタン35により再生される音の音源信号について、第2画面表示SD2に示されたような調整ダイヤルやボタンを用いて調整が行われることとなる。方向感調整ダイヤル43は、反時計方向に回すと方向感が弱くなり、時計方向に回すと方向感が強くなる。方向感は、強いほど受聴者が感じる音像の方向や距離がわかりやすくなる。方向感が変化する場合、方向感の変化に伴って、音質が変化する。方向感調整ダイヤル43は、方向感調整ダイヤル43の中央にあるボタンを押すことにより、方向感調整ダイヤル43による調整を初期状態に戻すことができる。なお、方向感調整ダイヤル43は、必ずしも連続的に数値を調整可能なダイヤルであることを要しない。方向感調整ダイヤル43は、例えば、連続的に数値を調整可能なスライダや、非連続的に数値を調整可能なボタン等であってもよい。
なお、図示する一例において、複数の方向感調整ダイヤル43は、30°間隔に7種類設けられる例が示されている。しかしながら、本実施形態はこの一例に限定されない。複数の方向感調整ダイヤル43は、個人化HRTFの調整を行うことができれば何種類でもよく、例えば90°間隔に3種類でもよい。なお、方向感調整ダイヤル43は、等間隔の角度ごとに設けることを要せず、例えば、天頂方向付近の角度の間隔は、前方及び後方付近の角度の間隔よりも大きくてもよい。
方向感再生ボタン44は、方向感調整ダイヤル43により調整した所定方向の個人化HRTFが畳み込まれた音を聴くことができる。方向感調整ダイヤル43は、例えば、音像方向調整ダイヤル41に対応した位置に設けられる。
なお、図示する一例において、第2画面表示SD2-1に含まれる音像方向調整ダイヤル41と、第2画面表示SD2-2に含まれる方向感調整ダイヤル43とは、同じ角度のダイヤルが互いに対応する位置に表示される。互いに対応する位置に表示されることにより、ユーザ等は、特定の角度の音像方向を調整する際に、同一角度の方向感を合わせて調整することができる。特定の角度の音像方向を調整する際に、同一角度の方向感を合わせて調整する場合、音像方向再生ボタン42と方向感調整ダイヤル43とがそれぞれ表示されることを要せず、例えば、音像方向再生ボタン42は表示されなくてもよい。
図21は、個人化HRTF調整第2ソフトウエアの処理の流れの一例を示す図である。同図を参照しながら、個人化HRTF調整第2ソフトウエアの処理の流れの一例について説明する。なお、図20と対応させて説明するため、図20に示された符号を用いることがある。
プロセッサ21は、受聴者による操作に基づいて、所定方向のHRTFを調整する(ステップS401)。ここで、受聴者による操作とは、例えば、所定方向の音像方向調整ダイヤル41又は方向感調整ダイヤル43を回すことにより、個人化HRTFのノッチ及びピークのパラメータを調整する操作である。
プロセッサ21は、受聴者により調整された所定方向のHRTFをパラメトリック・ノッチ・ピークHRTFモデル306から取得し、音源信号を音源信号DB307から取得する。プロセッサ21は、受聴者により調整された所定方向のHRTFが畳み込まれた音を受聴者に提示する(ステップS402)。受聴者は、畳み込まれた音が目標方向から聞こえるかを判断する(ステップS403)。音が目標方向から聞こえない場合(ステップS403;No)、プロセッサ21は、再度受聴者による操作に基づいて、所定方向のHRTFを調整し(ステップS401)、調整された所定方向のHRTFが畳み込まれた音を受聴者に提示する(ステップS402)。
音が目標方向から聞こえる場合(ステップS403;Yes)、当該方向のHRTFの調整を終了する。受聴者が他の方向のHRTFを調整する場合(ステップS404;Yes)、プロセッサ21は、ステップS401からステップS403の処理を再度行う。受聴者が他の方向のHRTFを調整しない場合(ステップS404;No)、プロセッサ21は、受聴者の個人化HRTFを出力する(ステップS405)。
[個人化HRTF調整第3ソフトウエア]
図22は、個人化HRTF調整第3ソフトウエアの画面の一例を示す図である。同図を参照しながら、個人化HRTF調整第3ソフトウエアの画面の一例である第3画面表示SD3について説明する。第3画面表示SD3は、軌跡イメージ表示部51と、水平面移動ボタン52と、正中面移動ボタン53と、冠状面移動ボタン54と、所定角度再生ボタン55a乃所定角度再生ボタン55gとを画面の構成要素として有する。具体的に、第3画面表示SD3は、個人化HRTFの調整を行うことができたかについてのユーザ等による確認等に用いられる。なお、図22に示されている所定角度再生ボタン55a乃所定角度再生ボタン55gを区別しない場合には、以下単に所定角度再生ボタン55と記載する場合がある。
軌跡イメージ表示部51は、受聴者が感じる音源の移動する軌跡を、ユーザ等がイメージすることを助ける図である。図示する一例において、受聴者の正中面内を音像が移動する場合の図が表示される例が示されている。本実施形態はこの一例に限定されず、軌跡イメージ表示部51には、例えば、受聴者の水平面内を音像が移動する場合の図と、受聴者の冠状面内を音像が移動する場合の図とが更に表示されてもよい。軌跡イメージ表示部51は、後述する水平面移動ボタン52、正中面移動ボタン53、冠状面移動ボタン54のいずれかを選択した場合に、選択した平面内を音像が移動する場合の図が表示されてもよい。
水平面移動ボタン52は、受聴者が調整した個人化HRTFについて、受聴者の水平面内を音像が移動すると感じるように、当該個人化HRTFと音源信号とを畳み込んだ音像定位後音源信号に基づいた音を再生するボタンである。
正中面移動ボタン53は、受聴者が調整した個人化HRTFについて、受聴者の正中面内を音像が移動すると感じるように、当該個人化HRTFと音源信号とを畳み込んだ音像定位後音源信号に基づいた音を再生するボタンである。
冠状面移動ボタン54は、受聴者が調整した個人化HRTFについて、受聴者の冠状面内を音像が移動すると感じるように、当該個人化HRTFと音源信号とを畳み込んだ音像定位後音源信号に基づいた音を再生するボタンである。
なお、図示する一例において、第3画面表示SD3には、左から順に水平面移動ボタン52、正中面移動ボタン53、冠状面移動ボタン54と表示される例が示されている。しかしながら、本実施形態はこの一例に限定されず、水平面移動ボタン52と、正中面移動ボタン53と、冠状面移動ボタン54とは、どのような順で表示されていてもよい。
所定角度再生ボタン55は、受聴者が調整した個人化HRTFについて、所定の方向から音が聞こえると感じるように、当該個人化HRTFと音源信号とを畳み込んだ音像定位後音源信号に基づいた音を再生するボタンである。例えば、受聴者は、60°と記載された所定角度再生ボタン55bと120°と記載された所定角度再生ボタン55cとにより再生された音を交互に聴くことによって、前後方向の音像が対応した位置から聞こえるかを確認してもよい。受聴者は、90°と記載された所定角度再生ボタン55により再生された音を聴いて、天頂から聞こえるか確認してもよい。
なお、上述した説明によれば、プロセッサ21は、個人化HRTF調整第1ソフトウエアを用いてカテゴリHRTFを選択した後、個人化HRTF調整第2ソフトウエア及び個人化HRTF調整第3ソフトウエアを用いて個人化HRTFの調整を行う例が示されている。しかしながら、本実施形態はこの一例に限定されない。プロセッサ21は、例えば個人化HRTF調整第1ソフトウエアを用いてカテゴリHRTFを選択した後、調整せずに個人化HRTFとして出力してもよい。
[頭部伝達関数調整装置のまとめ]
以上説明した実施形態によれば、頭部伝達関数調整装置2は、頭部伝達関数を用いて予め生成された複数の音源信号であって、ノッチ及びピークのパラメータ情報が互いに所定の値異なる複数の源信号に基づいた音情報SIを出力する音情報出力部213と、音情報出力部213により出力された音情報SIを受聴者が聴いたことに基づき、受聴者から操作を受け付ける操作受付部211と、操作受付部211により取得された受聴者の操作情報OIに基づいて、受聴者に合わせて頭部伝達関数を調整する頭部伝達関数調整部212と、頭部伝達関数調整部212により調整された前記頭部伝達関数を出力する頭部伝達関数出力部214と、を備える。本実施形態によれば、頭部伝達関数調整装置2は、受聴者からの操作に基づいて、予め生成された頭部伝達関数を選択し、選択した頭部伝達関数を調整することにより、個人化HRTFの生成を行うことができる。すなわち、本実施形態によれば、頭部伝達関数調整装置2は、より容易に個人化HRTFの生成を行うことができる。
また、上述した実施形態によれば、頭部伝達関数は、受聴者を中心とする方向ごとに存在し、音情報出力部213は、受聴者の正中面内の受聴者を中心とする3方向以上の所定の方向の頭部伝達関数を用いて生成された複数の音源信号に基づいた音情報SIをさらに出力し、頭部伝達関数調整部212は、操作受付部211から取得した受聴者の操作情報OIに基づいて、受聴者の所定方向の頭部伝達関数を調整する。本実施形態によれば、頭部伝達関数調整装置2は、受聴者からの操作に基づいて、所定の方向の頭部伝達関数を調整することにより、個人化HRTFの生成を行うことができる。すなわち、本実施形態によれば、頭部伝達関数調整装置2は、より容易に個人化HRTFの生成を行うことができる。
[個人化HRTF出力ソフトウエア]
頭部伝達関数生成装置1のプロセッサ11及び頭部伝達関数調整装置2のプロセッサ21が行う、任意方向の個人化HRTFのファイル出力手順の詳細について図23を用いて説明する。
図23は、個人化HRTF出力ソフトウエアの画面の一例を示す図である。同図を参照しながら、個人化HRTF出力ソフトウエアの画面の一例である第4画面表示SD4について説明する。第4画面表示SD4は、所定方向イメージ表示部61と、所定方向HRTFイメージ表示部62と、方位角設定部63と、仰角設定部64と、所定方向再生ボタン65と、所定方向HRTF保存ボタン66と、間隔設定部67と、所定間隔HRTF保存ボタン68とを画面の構成要素として有する。ユーザ等は、第4画面表示SD4を用いて、所定方向の個人化HRTFを出力することができる。
所定方向イメージ表示部61は、出力したい所定方向の個人化HRTFについて、当該方向をユーザ等に表示するものである。所定方向イメージ表示部61-1は、方位角設定部63と仰角設定部64とを用いて設定した方向のイメージを俯瞰的に示した図を表示する。所定方向イメージ表示部61-2は、仰角設定部64を用いて設定した角度を表示することにより、出力したい所定方向をユーザ等がイメージすることを助ける図である。所定方向イメージ表示部61-3は、天頂方向から見下ろした図を表示することにより、出力したい所定方向をユーザ等がイメージすることを助けるものである。所定方向イメージ表示部61-1乃至所定方向イメージ表示部61-3の各軸は、長さを表している。なお、所定方向HRTFイメージ表示部62-2は、方位角による方向の変化がイメージしやすいように正中面から見た場合の図を表示してもよい。なお、所定方向イメージ表示部61は、ユーザ等が出力したい方向を、視覚的にイメージすることができる図を表示するものである。したがって、所定方向イメージ表示部61は、必ずしも表示されなくてもよい。
所定方向HRTFイメージ表示部62は、縦軸がRelative amplitude[dB]、横軸がFrequency[Hz]を表している。なお、所定方向HRTFイメージ表示部62は、ユーザ等が出力したい方向を、視覚的にイメージすることができる図を表示するものである。したがって、所定方向HRTFイメージ表示部62は、必ずしも表示されなくてもよい。
方位角設定部63は、ユーザ等の操作に基づいて、ユーザ等が出力したい個人化HRTFの方向のうち方位角の設定に用いられる。方位角設定部63-1は、非連続的に数値を設定可能である数値入力部が表示されている。方位角設定部63-1は、例えば、予め設定された数値の中からボタン等を用いて設定してもよい。方位角設定部63-2は、連続的に数値を設定可能なスライダが表示されている。方位角設定部63-2は、例えば、連続的に数値を設定可能なダイヤル等が表示されていてもよい。なお、図示する一例において、第4画面表示SD4には、方位角設定部63が2種類表示される例が示されている。しかしながら、本実施形態はこの一例に限定されない。方位角設定部63は、任意の方向ついて、ユーザ等が方位角の設定を好適に行うことができればよく、例えば、1種類でもよいし、3種類以上であってもよい。
仰角設定部64は、ユーザ等の操作に基づいて、ユーザ等が出力したい個人化HRTFの方向のうち仰角の設定に用いられる。仰角設定部64は、方位角設定部63と同様に、非連続的に数値を設定可能である数値入力部やボタン等であってもよいし、連続的に数値を設定可能であるスライダやダイヤル等であってもよい。仰角設定部64は、方位角設定部63と同様に、ユーザ等が仰角の設定を好適に行うことができればよく、例えば、1種類でもよいし、2種類以上であってもよい。
所定方向再生ボタン65は、方位角設定部63及び仰角設定部64を用いて設定された方向の個人化HRTFが畳み込まれた音を聴くことができる。なお、個人化HRTF調整第1ソフトウエア乃至個人化HRTF調整第3ソフトウエアにより、所定方向のHRTFが畳み込まれた音を聴くことができるため、所定方向再生ボタン65は、必ずしも表示されなくてもよい。
所定方向HRTF保存ボタン66は、ユーザ等が設定した所定の方向の個人化HRTFを保存するボタンである。具体的には、HRTF個人適応ソフトウエア及び個人化HRTF調整第1ソフトウエア乃至個人化HRTF調整第3ソフトウエアは、所定方向HRTF保存ボタン66が操作されると、設定されたパラメータを用いて所定方向の個人化HRTFを生成し、生成した個人化HRTFを記憶部(不図示)に記憶、又はファイルに出力させる。これにより、個人化HRTF出力ソフトウエアは、所定方向の個人化HRTFを容易に生成し、記憶又は出力させることができる。
間隔設定部67及び所定間隔HRTF保存ボタン68は、全天空三次元空間内又は平面内において、個人化HRTFを所定の角度毎に記憶、又は出力する場合に用いられる。間隔設定部67は、複数方向の個人化HRTFを保存するために、ユーザ等の操作に基づいて、角度の間隔を設定する。具体的には、間隔設定部67-1は、全天空三次元空間内における方位角及び仰角の間隔を設定する。間隔設定部67-2は、正中面内における仰角の間隔を設定する。間隔設定部67-3は、水平面内における方位角の間隔を設定する。間隔設定部67-4は、横断面内における仰角の間隔を設定する。なお、図示する一例において、間隔設定部67-1は、仰角及び方位角の間隔を合わせて設定する例が示されている。しかしながら、本実施形態はこの一例に限定されず、仰角の間隔と方位角の間隔とを別個独立に設定してもよい。
所定間隔HRTF保存ボタン68は、間隔設定部67により設定した間隔ごとに複数方向の個人化HRTFを保存するボタンである。具体的には、HRTF個人適応ソフトウエア及び個人化HRTF調整第1ソフトウエア乃至個人化HRTF調整第3ソフトウエアは、所定間隔HRTF保存ボタン68が操作されると、設定されたパラメータを用いて複数方向の個人化HRTFを生成し、生成した個人化HRTFを記憶部(不図示)に記憶、又はファイルに出力させる。これにより、個人化HRTF出力ソフトウエアは、複数方向の個人化HRTFを容易に生成し、記憶又は出力させることができる。
なお、図示する一例において、個人化HRTF出力ソフトウエアは、1方向の個人化HRTFを出力させる例と、全天空三次元空間内又は平面内の複数方向の個人化HRTFを等間隔で出力させる例とが示されている。しかしながら、本実施形態はこの一例に限定されない。個人化HRTF出力ソフトウエアは、全天空三次元空間内又は平面内の複数方向の個人化HRTFを一定でない間隔で出力させてもよい。個人化HRTF出力ソフトウエアは、例えば、予め角度の間隔を設定することにより、仰角が大きいほど角度の間隔が大きくなる個人化HRTFや、前方の角度の間隔が後方の角度の間隔よりも小さい個人化HRTFを出力させてもよい。また、個人化HRTF出力ソフトウエアは、複数の角度の値を入力することにより、任意の複数方向の個人化HRTFを出力させてもよい。これにより、個人化HRTF出力ソフトウエアは、任意の複数方向の個人化HRTFを容易に生成し、記憶又は出力させることができる。
[HRTFについて新たなパラメータの追加による音像定位精度の向上]
次に、図24及び図25を参照しながら、HRTFに新たなパラメータを追加することにより、音像定位精度が向上することについて説明する。
図24は、複数の被検者の正中面における前方と後方との周波数の平均レベル差の結果の一例を示す図である。図24は、縦軸がMean level difference[dB]、横軸がFrequency[Hz]を表している。複数人に対して正中面内のHRTFを測定した際、後方のHRTFの1±0.2「kHz」付近の周波数は、前方のHRTFの周波数よりも5.5[dB]程度高かった。
図25は、複数の被検者の音像定位精度の結果の一例を示す図である。同図を参照しながら、P0を加えた場合の音像定位精度の結果を説明する。図25は、縦軸がResponded vertical angle[deg.]、横軸がTarget azimuth angle[deg.]を表している。実験は防音室で実施した。PNPモデルで被験者自身が個人化したHRTFと被験者本人のHRTFを用いた。目標方向は上半分の正中面内(方位角:0°、水平面からの上昇角:0から180°、30°間隔)の7方向である。音源信号は広帯域白色雑音(200Hz-17kHz)で、提示時間は1.2s(立上り、立下り各0.1sを含む)である。音源信号にHRIRを畳み込んだ刺激をFECヘッドホンにより被験者に提示した。ヘッドホン伝達関数は補正していない。提示音圧は63dBで、各刺激はランダムな順に10回提示した。同図に示すように、N1、N2、P1、P2にP0を加えた個人化HRTFは、N1、N2、P1、P2のみによる個人化HRTFよりも、後方である180°の音像定位精度が向上している。
図24には、後方のHRTFの1±0.2「kHz」付近の周波数は、前方のHRTFの周波数よりも5.5[dB]程度高い結果が示されている。図25において、後方のHRTFのパラメータに、さらにP0を追加することにより、後方の音像定位精度が向上する例が示されている。そこで、本実施形態は、さらに前方のHRTFのパラメータに、P0と同程度の小さなノッチ(以下N0と記載することがある。)を加える試みを行うことにより、前方の音像定位精度を向上させた。
[HRTFについて新たなパラメータの追加のまとめ]
以上説明した実施形態によれば、頭部伝達関数生成装置は、推定部112により推定される頭部伝達関数のノッチ及びピークは、少なくとも周波数が4000[Hz]以上の帯域における4点と、周波数が1500[Hz]以下の帯域における1点を含む。本実施形態によれば、HRTFに含まれるN/Pのうち、N1、N2、P1、P2に加えて、N0又はP0を再現することにより、前方又は後方の音像定位精度させることができる。本実施形態によれば、頭部伝達関数生成装置は、より精度の高い個人化HRTFを容易に生成することができる。
また、上述した実施形態によれば、頭部伝達関数調整装置は、頭部伝達関数調整部212により調整される頭部伝達関数のノッチ及びピークは、少なくとも周波数が4000[Hz]以上の帯域における4点と、周波数が1500[Hz]以下の帯域における1点を含む。本実施形態によれば、HRTFに含まれるN/Pのうち、N1、N2、P1、P2に加えて、N0又はP0を再現することにより、前方又は後方の音像定位精度させることができる。本実施形態によれば、頭部伝達関数生成装置は、より精度の高い個人化HRTFを容易に生成することができる。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…頭部伝達関数生成装置、111…頭部伝達関数取得部、112…推定部、113…両耳間差情報取得部、114…頭部インパルス応答生成部、115…三次元頭部伝達関数生成部、116…受聴装置逆伝達関数取得部、117…受聴装置逆伝達関数畳込部、118…音源信号取得部、119…音源信号畳込部、2…頭部伝達関数調整装置、251…音情報出力装置、211…操作受付部、212…頭部伝達関数調整部、213…音情報出力部、214…頭部伝達関数出力部

Claims (11)

  1. 受聴者の正中面内の前記受聴者を中心とする1方向の頭部伝達関数を取得する頭部伝達関数取得部と、
    前記頭部伝達関数取得部が取得した前記1方向の頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、前記受聴者の正中面内の他の2方向の頭部伝達関数を推定するとともに、取得した前記1方向の頭部伝達関数および推定した前記2方向の頭部伝達関数に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定する推定部と、
    前記受聴者の両耳間差情報を取得する両耳間差情報取得部と、
    前記推定部が推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、前記両耳間差情報取得部が取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する頭部インパルス応答生成部と、
    前記頭部インパルス応答生成部が生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成する三次元頭部伝達関数生成部と、
    を備える頭部伝達関数生成装置。
  2. 前記1方向とは、前記受聴者の天頂方向であり、
    前記2方向とは、前記受聴者の正面方向および真後ろ方向である
    請求項1に記載の頭部伝達関数生成装置。
  3. 前記推定部は、
    前記受聴者の正中面内の上昇角を独立変数とする前記ノッチ及びピークのパラメータの回帰式を求め、
    上昇角ごとの前記ノッチ及びピークのパラメータを前記回帰式に基づいて算出することにより、前記受聴者の正中面内の前記ノッチ及びピークを推定し、
    前記頭部インパルス応答生成部は、
    前記推定部が算出した前記受聴者の正中面内の前記ノッチ及びピークのパラメータに基づいて、前記受聴者の正中面内の頭部インパルス応答を算出し、
    算出した前記受聴者の正中面内の頭部インパルス応答と、前記両耳間差情報と、に基づいて、前記受聴者の側方角ごとの両耳間時間差及び両耳間レベル差の少なくとも一方を付加することにより、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する
    請求項1に記載の頭部伝達関数生成装置。
  4. 前記頭部インパルス応答生成部が生成した前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答に、前記受聴者が利用する受聴装置の逆伝達関数の畳み込み演算を行う受聴装置逆伝達関数畳込部
    をさらに備える請求項1に記載の頭部伝達関数生成装置。
  5. 前記受聴装置逆伝達関数畳込部による畳み込み演算結果に、音源信号の畳み込み演算を行う音源信号畳込部
    をさらに備える請求項4に記載の頭部伝達関数生成装置。
  6. コンピュータに、
    受聴者の正中面内の前記受聴者を中心とする1方向の頭部伝達関数を取得することと、 前記1方向の頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、前記受聴者の正中面内の他の2方向の頭部伝達関数を推定するとともに、取得した前記1方向の頭部伝達関数および推定した前記2方向の頭部伝達関数に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定することと、
    前記受聴者の両耳間差情報を取得することと、
    推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成することと、
    生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成することと、
    を実行させるためのプログラム。
  7. 受聴者の正中面内の前記受聴者を中心とする1方向の頭部伝達関数を取得することと、 取得した前記1方向の頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、前記受聴者の正中面内の他の2方向の頭部伝達関数を推定するとともに、取得した前記1方向の頭部伝達関数および推定した前記2方向の頭部伝達関数に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定することと、
    前記受聴者の両耳間差情報を取得することと、
    推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成することと、
    生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成することと、
    を有する頭部伝達関数生成方法。
  8. 頭部伝達関数を用いて予め生成された複数の音源信号であって、ノッチ及びピークのパラメータ情報が互いに所定の値異なる複数の前記音源信号に基づいた音情報を出力する音情報出力部と、
    前記音情報出力部により出力された音情報を受聴者が聴いたことに基づき、前記受聴者から操作を受け付ける操作受付部と、
    前記操作受付部により取得された前記受聴者の操作情報に基づいて、前記受聴者に合わせて頭部伝達関数を調整する頭部伝達関数調整部と、
    前記頭部伝達関数調整部により調整された前記頭部伝達関数を出力する頭部伝達関数出力部と、
    を備える頭部伝達関数調整装置。
  9. 前記頭部伝達関数は、前記受聴者を中心とする方向ごとに存在し、
    前記音情報出力部は、前記受聴者の正中面内の前記受聴者を中心とする3方向以上の所定の方向の頭部伝達関数を用いて生成された複数の音源信号に基づいた音情報をさらに出力し、
    前記頭部伝達関数調整部は、前記操作受付部から取得した前記受聴者の操作情報に基づいて、前記受聴者の所定方向の頭部伝達関数を調整する
    請求項8に記載の頭部伝達関数調整装置。
  10. 前記推定部により推定される前記頭部伝達関数のノッチ及びピークは、少なくとも周波数が4000[Hz]以上の帯域における4点と、周波数が1500[Hz]以下の帯域における1点を含む
    請求項1に記載の頭部伝達関数生成装置。
  11. 前記頭部伝達関数調整部により調整される前記頭部伝達関数のノッチ及びピークは、少なくとも周波数が4000[Hz]以上の帯域における4点と、周波数が1500[Hz]以下の帯域における1点を含む
    請求項8に記載の頭部伝達関数調整装置。
JP2023110068A 2022-07-25 2023-07-04 頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法、及び頭部伝達関数調整装置 Pending JP2024015980A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022117912 2022-07-25
JP2022117912 2022-07-25

Publications (1)

Publication Number Publication Date
JP2024015980A true JP2024015980A (ja) 2024-02-06

Family

ID=89772674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023110068A Pending JP2024015980A (ja) 2022-07-25 2023-07-04 頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法、及び頭部伝達関数調整装置

Country Status (1)

Country Link
JP (1) JP2024015980A (ja)

Similar Documents

Publication Publication Date Title
US7664272B2 (en) Sound image control device and design tool therefor
US9961474B2 (en) Audio signal processing apparatus
US20190364378A1 (en) Calibrating listening devices
Zotkin et al. Rendering localized spatial audio in a virtual auditory space
Langendijk et al. Fidelity of three-dimensional-sound reproduction using a virtual auditory display
EP3103269B1 (en) Audio signal processing device and method for reproducing a binaural signal
US6574339B1 (en) Three-dimensional sound reproducing apparatus for multiple listeners and method thereof
JP4509450B2 (ja) 一体化されたマイクロホンを有するヘッドホン
US20120201405A1 (en) Virtual surround for headphones and earbuds headphone externalization system
US20080137870A1 (en) Method And Device For Individualizing Hrtfs By Modeling
EP3664477B1 (en) Spatial repositioning of multiple audio streams
Zhong et al. Head-related transfer functions and virtual auditory display
US20090041254A1 (en) Spatial audio simulation
US10419871B2 (en) Method and device for generating an elevated sound impression
EP3595337A1 (en) Audio apparatus and method of audio processing
EP2822301B1 (en) Determination of individual HRTFs
Wenzel What perception implies about implementation of interactive virtual acoustic environments
JP2024015980A (ja) 頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法、及び頭部伝達関数調整装置
JP7303485B2 (ja) 頭部伝達関数を生成する方法、装置およびプログラム
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
Nowak et al. 3D virtual audio with headphones: A literature review of the last ten years
Takane et al. Elementary real-time implementation of a virtual acoustic display based on ADVISE
Alonso-Martınez Improving Binaural Audio Techniques for Augmented Reality
JP2023121015A (ja) 頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法
WO2024150544A1 (ja) 音響装置、音響処理方法及び音響処理プログラム