JP4718559B2 - モデル化によってｈｒｔｆを個別化するための方法および装置 - Google Patents

モデル化によってｈｒｔｆを個別化するための方法および装置 Download PDF

Info

Publication number
JP4718559B2
JP4718559B2 JP2007549938A JP2007549938A JP4718559B2 JP 4718559 B2 JP4718559 B2 JP 4718559B2 JP 2007549938 A JP2007549938 A JP 2007549938A JP 2007549938 A JP2007549938 A JP 2007549938A JP 4718559 B2 JP4718559 B2 JP 4718559B2
Authority
JP
Japan
Prior art keywords
hrtf
model
directions
individual
hrtfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007549938A
Other languages
English (en)
Other versions
JP2008527821A (ja
Inventor
ローゼン・ニコル
シルヴァン・ビュソン
ヴァンサン・ルメール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2008527821A publication Critical patent/JP2008527821A/ja
Application granted granted Critical
Publication of JP4718559B2 publication Critical patent/JP4718559B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Description

本発明は、3次元空間における個人の聴取に関して、個人の頭部伝達関数HRTFをモデル化することに関する。
本発明は、具体的には、空間音響ブロードキャスト(たとえば複数の聴取者間の音声会議、映画予告編ブロードキャスト)を提供する通信サービスのコンテキストで適用可能である。通信端末、具体的にはモバイル端末上で、ステレオヘッドセットを用いた音声表現(sound rendition)が想定される。したがって、空間内に音源を置くのに最も有効な技術は、両耳合成である。
両耳合成は、音源と聴取者の耳の間の音波の伝達関数を再生する、「バイノーラルフィルタ」と呼ばれるフィルタの使用に基づく。これらのフィルタは、聴覚の位置決めの指標、すなわち実際の聴く状況において聴取者が音源を突き止めることを可能にする指標をシミュレートする働きをする。これらのフィルタは、源と聴取者の耳との間のその経路内で音波を変化させる1組の音響現象(具体的には、頭による回折、耳介および胴上部での反射)を考慮に入れる。これらの現象は、音源の位置(主にその方向)によって大きく変化し、これらの変化によって聴取者は、空間内の源を突き止めることができる。実際、これらの変化によって、源の位置の一種の音響符号化が決まる。個人の聴覚系は、学習を通じて、音源を突き止めるためにこの符号化をどのように解釈すべきか知っている。しかし、音波回折/残響現象はすべて、個人の形態にも強く依存する。したがって、高品質の両耳合成はバイノーラルフィルタに依存し、このバイノーラルフィルタは、聴取者の身体が自然に生成する音響符号化を、その形態の個々の特性(specific)を考慮することによって最もうまく再生する。これらの条件が守られない場合、両耳の表現性能レベルの低下が観察され、それは、具体的には、頭蓋内で源および前方/後方の混乱を知覚することに反映される。前方に位置する源が後方で知覚され、その逆も同様に起こる。
特に音響および心理音響現象のシミュレーションに適用されるオーディオ信号の処理における、3D音または音空間化の技術の中には、特に聴取者の周りの各位置に置かれた音源について聴覚の錯覚を聴取者に与えるために、拡声器またはイヤホンにブロードキャストされる信号を生成することを目的とするものがある。したがって、仮想音源およびイメージの生成についての概念が生じる。
上述のバイノーラル技術は、左右の2つのイヤホンを備えたヘッドホンにブロードキャストするための3D音の処理に適用される。これらの技術は、3D空間内の実際の源によって引き起こされたものに事実上同一の音場を鼓膜が知覚するように、聴取者の耳で音場を再構築することを目的とする。したがって、バイノーラル技術は、ヘッドセットの2つのイヤホンにそれぞれ供給する1対のバイノーラル信号に基づく。これらのバイノーラル信号は、2つのやり方、すなわち
個人の耳道、または標準の形態を有するモデル(「人工頭」)の入力に挿入された2つのマイクを用いた直接音声ピックアップによって、または
所与の位置に置かれた源と、聴取者の2つの耳との間の音波伝搬の特性を再生する2つのバイノーラルフィルタを用いた形態信号のフィルタリングによって信号を処理することから得ることができる。
バイノーラルフィルタを使用するバイノーラル技術は、本発明の有利なコンテキストでバイノーラル合成の領域を定義している。両耳合成は、源と聴取者の2つの耳との間の音波伝搬をモデル化するバイノーラルフィルタに依存する。これらのフィルタは、HRTFと呼ばれる音響伝達関数を表すものであり、このHRTFは、音源から生じる信号に対して聴取者の胴、頭および耳介によって引き起こされる変形をモデル化する。それぞれの音源位置は、関連する1対のHRTF(右耳用の1つのHRTF、左耳用の1つのHRTF)を有する。さらに、HRTFは、それが測定された個人の形態についての音響痕跡(acoustic imprint)を運ぶ。
したがって、HRTFは、音の方向だけでなく、個人にも依存する。したがって、それらは、周波数f、音源の位置(θ,φ)(ただし、角度θはアジマスを表し、角度φは仰角を表す)、および個人の耳(左右)の関数である。
従来、HRTFは、測定によって得られる。最初、聴取者を囲むすべての空間を多かれ少なかれうまくカバーしている方向の選択が固定される。それぞれの方向について、左および右のHRTFが、対象者の耳道の入力に挿入されたマイクによって測定される。その測定は、無響室(または「デッドルーム」)で実施されなければならない。最終的に、M個の方向が測定される場合、所与の対象者について、各耳についての空間の各位置を表す2M個の音響伝達関数のデータベースが得られる。
両耳合成の有利なコンテキストでは、空間化効果はHRTFの使用に依存し、このHRTFの使用は、最適性能のために、源と耳の間の音波伝搬現象を考慮に入れなければならないが、聴取者の形態の個々の特性をも考慮に入れなければならない。個人に対して直接行われるHRTFの実験測定は現在、(個人の形態の個々の特性を考慮に入れる)高品質の真に個別化されたバイノーラルフィルタを取得するための最も信頼性の高い解決策である。それは、対象者の耳道の入力に置かれたマイクによって、所定位置(θ1,φ1)に位置する源と対象者の2つの耳との間の伝達関数を測定することの問題であることに留意されたい。
しかし、これらの伝達関数HRTFの測定では、いくつかの問題が提示されている。それは、専用の高価な設備(一般に、無響室、マイク、機械的な源の位置決め機構)を必要とする。その操作は、具体的には、聴取者を包む3D球体の全体を一様にカバーするために多数の方向について伝達関数を測定するので非常に長くかかる。
一般大衆向けの両耳合成の応用例のコンテキストにおいて、HRTFのこの測定は、非常に難しく、不可能にさえなる。HRTFの測定は実際に、以下の少なくとも3つの主要な問題を提起する。
・HRTFをそれ自体で測定することは、専用の設備を必要とするので、実施するのが難しい。測定は、無響室で実施されなければならない。それは、聴取者の周りのアジマスおよび仰角の一様に分散された多数の方向について測定を実施するために、測定用拡声器を移動し制御するための機械装置をも必要とする。また、測定手順は全体として、測定システムによって対象者に課される制約、および関与する測定時間のために、対象者に不快感を与える。
・第2の問題は、聴取者を囲む3D球体の適切で一様な空間サンプリングを提供するために多数の方向でHRTFを測定する必要性にある。測定される方向の数が大きいほど、テストに要する時間は長くなり、それによって、対象者の不快感が増す。
・第3の問題は、具体的には、個人の測定に関係がある。任意の個人に強力な両耳合成を提供することは、その個人自身のHRTFを使用することが前提であり、それは事前に測定されている必要があり、それは通常不可能である。
したがって、最小限のHRTF測定を必要とし、より多くのモデル化技術を実施する解決策が求められてきた。具体的には、Y=F(X)となるように、前もって与えられた1組のパラメータ(X)に基づいてHRTF(Y)を表現するための関数FからなるHRTFの数学的モデルが求められてきた。しばしば、以下の2つの重要な要素が関与する。
数学的モデル(関数F)の開発、
モデルのための入力として適用される1組のパラメータの指定。
現在実施されているHRTFモデル化に関して本発明者に知られている最新技術について、モデル入力パラメータの選択に特別の注意を払いながら以下に述べる。
米国特許公開第2003/138107号の文献では、形態データに基づくHRTFの統計モデルについて記載されている。この手法は、HRTFと形態データとを含むデータベースに適用される統計的解析から開始する。主要構成要素の解析はまず、一方ではHRTFに、もう一方では形態データに適用され、それによって、少数の構成要素を用いてすべてのデータを表すことが可能になる。次いで、線形回帰が、HRTFの主要構成要素の解析から導出された構成要素と、形態データのそれから導出された構成要素との間で実施される。形態データをHRTFに結び付ける統計モデルが、このようにして作成される。次いで、取得された統計モデルに基づいて個人のHRTFを予測するために、いずれかの個人の形態パラメータを測定することが求められる。
この文献中の一実施形態は、具体的には、モデル入力段で個人の形態データを、その個人について、また特定の各方向で測定されたいくつかのHRTFで補完することを提供する。したがって、空間内のすべての方向で個人のHRTFを取得するために、少数の測定方向だけが有用である。
しかし、この文献では測定の数が少ないにも拘らず、HRTF測定プロトコルを観察し、具体的には測定用の無響室を提供し、個人の耳に付けられたマイクからの非常に正確な距離に源を厳密に配置することがやはり必要である。
米国特許公開第2003/138107号
本発明の実施は、こうした制約を取り除くものである。
このため、本発明は、個人に特有の頭部伝達関数HRTFをモデル化する方法を目的とする。この方法では、
a)空間内の多数の方向の、複数の個人についての複数のHRTFを含むデータベースが構築され、
b)前記データベースから学習することによって、特定のモデルが、前記多数の方向から選択されたそれぞれの方向のHRTFを表す一連の測定に基づいて前記多数の方向についてのHRTFを提供するように構築され、
c)任意の個人について、
c1)前記選択された方向だけの個人のHRTFを表す一連の関数が測定され、
c2)モデルが、選択された方向の前記測定に適用され、
c3)前記多数の方向のすべてで、個人のHRTFが得られる。
また、本発明によるこの方法では、
前記一連の測定を得るための測定条件および方向が、学習ステップb)の間、任意に固定され、
ステップc)で、ステップb)の測定条件を用いておおよそ再生可能な測定条件が適用される。
したがって、本発明の一態様によれば、学習ステップから、HRTFを表す関数が測定される条件および方向を任意に固定することが可能である。用語、「任意で」は、これらの測定が、モデルがより良い結果を与えるのに必ずしも好ましい方向ではないという事実を伝えるものと理解されたい。したがって、これらの測定条件および/または方向が、モデルの操作とは独立した理由から選択され得ることが理解されよう。さらに、測定条件は、必ずしも最適ではない。このために、「HRTFの測定」ではなく、表現「HRTFを表す測定」が使用されている。
しかし、任意の個人についてのステップc1)の測定条件は好ましくは、ステップb)でモデルを構築するために使用されるものを用いて再生可能であるべきである。したがって、これらの測定条件は、モデルの操作から完全に独立した基準に従って選択されることができ、考慮すべき主なことは、それらが、ステップb)のモデルが構築されるときと、ステップc)の任意の個人について測定が実施されるときとの間で再生可能であることである。
したがって、本発明によってもたらされる利点のうちの1つによれば、いずれかの個人の完全なHRTFが、それほど面倒でない測定手順(すなわち、少数の測定方向および/または簡略化された測定装置しか伴わない)を用いて、いくつかの方向だけで、そのHRTFを大まかに測定することにより得られることができる。
好ましい実施形態では、モデルは、人工ニューラルネットワークを設定することによって構築される。強力な数学的モデルのこのカテゴリは、自明な解に限定されずに、入出力変数間の高レベルの依存性を識別し再生することができる。次いで、モデルのための入力としてパラメータを適用することが可能であり、このパラメータのHRTFとの関係は必ずしも明らかでないが、しかしそれに基づいてモデルは、任意の個人の完全なHRTFの計算を可能にする情報を抽出することができる。
本発明は、上記の方法を実施し、より具体的には、個人に特有の頭部伝達関数HRTFを推定するための設備(installation)をも目的とする。この設備は、
1組の選択された方向のHRTFを表す伝達関数を測定するためのブースと、
前記選択された方向で個人についての一連の測定を回復し、多数の方向についてのHRTFを提供することができるモデルに基づき、前記多数の方向のうちの任意に固定された、いくつかの方向だけのHRTFを表す一連の測定に基づいて、前記選択された方向を含む空間内の多数の方向で個人のHRTFを評価するための処理装置とを含む。
本発明によれば、モデルの学習ステップとその後の使用との間で測定条件を守るために、上述のブース内の測定方向は、したがって、前記任意に固定された方向に対応する。
本発明は、このモデルを構築するためのコンピュータプログラム製品をも目的とする。このプログラムは、処理装置のメモリ内に、具体的にはその処理装置のドライブと共に働くための取外し可能媒体上に格納され、あるいは具体的には広域ネットワークを介してサーバから処理装置に送信されることもできる。次いで、このプログラムは、多数の方向について個人の伝達関数HRTFを、前記多数の方向うちの任意に固定されたいくつかの方向だけのHRTFを表す、その個人に対して実施される一連の測定に基づいて提供することができるモデルを構築するためのコンピュータコードの形の命令を含み、このプログラムは、少なくとも1つの学習段階の実施するために空間内の多数の方向の複数のHRTFを含んでおり、複数の個人のためのデータベースを使用する。
本発明は、処理装置のメモリ内に、または具体的には前記処理装置のドライブと共に働くための取外し可能媒体上に格納されるよう設計され、あるいはサーバから前記処理装置に転送されることが意図された第2のコンピュータプログラム製品をも目的とする。この第2のプログラムに関して、それは、人工ニューラルネットワークに基づいており、また多数の方向についての個人の伝達関数HRTFを、前記多数の方向のうちの任意に固定されたいくつかの方向だけのHRTFを表す、その個人に対して実施される一連の測定に基づいて提供することができるモデルを実装するためのコンピュータコードの形の命令を含む。
したがって、上述の第1のプログラムは、モデルの構築を可能にし、第2のプログラムは、モデル自体を表すコンピュータ命令からなる。
本発明の他の特徴および利点は、以下の詳細な説明、および添付の図面をよく読むことから明らかになろう。
本発明は、複数の入力パラメータに基づいて伝達関数を表現するために使用され得る関数Fに基づく数学的モデルによって伝達関数を計算することを提供することが思い出されよう。より具体的には、求められた伝達関数がベクトルY
Figure 0004718559
の形で表される場合、および入力パラメータが、ベクトルX
Figure 0004718559
の形で表される場合、関数Fは、以下の関係、Y=F(X)を定義する。換言すると、関数Fは、所与の1組のプリオリに知られているパラメータの伝達関数を推定するために使用することができる。数学的モデルの利益は、任意の個人について容易に取得され得る入力パラメータを、伝達関数とのその関係が必ずしも直接的または明白ではないことに依然として留意しながら使用することにある。数学的モデルは、具体的には、入力パラメータ内に多かれ少なかれ隠されている情報を、求められる伝達関数をそこから推定するために抽出することができなければならない。本発明の方法は本質的に、2つの点、
関数Fの定義、
入力パラメータXの決定に依存する。
HRTFの数学的モデルは、所与の数の入力パラメータに基づいてHRTFを表現するために使用することができる関数Fに依存する。入力パラメータは、ベクトルX
Figure 0004718559
で組み合わされ、したがって、このベクトルXは、関数Fの入力ベクトルを構成する。関数の出力ベクトルは、ベクトルY
Figure 0004718559
によって表されるHRTFである。たとえば、このベクトルYは、HRTFによって定義された伝達関数のスペクトルの係数を表す周波数係数からなり得る。同様に、Yは、
HRTFによって定義された伝達関数に関連したインパルス応答を表す時間係数、または
HRTFによって定義された伝達関数の複素スペクトラムについて表す周波数係数からなり得る。
したがって、関数Fは、
Figure 0004718559
中の
Figure 0004718559
の関数である。
モデル化の問題は、いずれのHRTF(Y)もがY=F(X)の解となるように適切な1組のパラメータ(X)に関連して関数Fを決定することにある。
具体的には、個人のHRTFの推定のために、モデルの入力ベクトルXは、
HRTFが、好ましくはアジマス角(θ)および仰角(φ)の形で計算される方向、および
HRTFが計算される個人の特性に関するモデル情報に加えられることが意図された、「個人」パラメータ(以下で見られるように、空間内のいくつかの方向だけで測定されたHRTFなど)に関する情報を主に含む。
モデルの出力ベクトルYは、HRTFの所与の表現に関連した係数からなる。上記に示されるように、ベクトルYは、HRTFのスペクトルの係数を表す周波数係数に対応し得るが、他の表現が考慮され得る(主要構成要素、IIRフィルタまたはその他に関する解析)。
ここで、このモデルは、補間のために適用される。少数のHRTFが、個人について測定される。次いで、このモデルを使用して、3D球体をカバーするすべての方向でその個人のHRTFを計算する。次いで、以前に測定されたHRTFは、モデルのための入力パラメータとして使用される。モデル化は主として、
XとYの関係に最も近づく関数Fの決定、
具体的にはパラメータによって追加され、また使用されるモデルによって解析することができる情報の品質および量に関して関数Fに関連する入力パラメータの最も適切なセットXを決定することからなる。
FおよびベクトルXの決定はもちろん、互いに独立ではない。
これらの2つのエンティティFおよびXを決定するための様々な数学的方法がある。本発明の方法は好ましくは、統計学習アルゴリズムに基づき、また好ましい一実施形態では、人工ニューラルネットワークを備えたタイプのアルゴリズムに基づく。これらのアルゴリズムについて、以下に簡潔に述べる。
統計的学習アルゴリズムは、統計プロセス予測ツールである。それは、複数の説明変数が識別され得るプロセスを予測するためにうまく使用されてきた。人工ニューラルネットワークは、これらアルゴリズムの特定のカテゴリを定義する。ニューラルネットワークの利益は、高レベルの依存性(すなわち、一度に複数の変数を伴う依存性)を捉えるその能力にある。プロセスの予測は、高レベルの依存性の知識および解析を活用する。具体的には、市場変動を予測するための金融技術、製薬、クレジットカード詐欺の検出用のバンキング領域、消費者行動予測のためのマーケティングおよび他の領域において、ニューラルネットワークの様々な適用領域がある。ニューラルネットワークはしばしば、隠れユニットの数が十分であれば、それが任意の説明変数からの任意のデータを予測することができるという意味で、汎用の予測変数と見なされる。換言すると、それは、隠れユニットmの数が十分である場合、
Figure 0004718559
中の
Figure 0004718559
のいずれの数学的関数をもモデル化するために使用することができる。
図1を参照すると、ニューラルネットワークが、3つの層、すなわち入力層10、隠れ層11および出力層12で構成されている。入力層11は、説明変数、すなわち入力変数(上述のベクトルX)に対応し、この変数から予測が行われ、またそれについては、以下で詳細に述べられる。出力層12は、予測された値(上述のベクトルY)を定義する。
隠れ層では、第1のステップ111は、複数の変数から潜在的に生じる情報を組み合わせるために、説明変数の一次結合を計算することにある。第2のステップ112は、隠れ層を構成する隠れユニットまたはニューロンの値を得るために、一次結合のそれぞれに非線形の変換(たとえば「双曲線正接」タイプの関数)を適用することにある。この非線形の変換は、ニューロンの活性化関数を定義する。最後に、ステップ113で、ニューラルネットワークによって予測された値を計算するために、隠れユニットが直線的に再結合される。
最初に、ニューラルネットワークの開発は、以下の3つの操作を伴う。
一連の訓練例に基づいて隠れ層のパラメータを最適化することにある学習。ニューラルネットワークは、この学習から、その予測誤差を最小限に抑えようとする(学習セットを形成する)。
学習と平行に実施され、ニューラルネットワークが学習セットを過剰学習しないようにネットワークの隠れ層の数を最適化するための検証手順。このネットワークは、基礎的な依存関係だけをモデル化し、学習セットの統計変動だけに起因する関係は再生しようとしない。したがって、学習誤差に加えて、予測誤差が、学習セットとは別個の検証セットから得られた例について評価される。この誤差によって、検証誤差が定義される。それは、隠れ層の数が増加されるときに減少させることから開始し、最小値に達し、次いで、隠れ層の数があまりにも大きくなるときに増加させる。したがって、この最小値によって、ネットワークの隠れ層の最適な数が定義される。
上記の2つのセットと別個の第3のテストセットについて、最終予測誤差を計算する。
そのアーキテクチャ(ニューロン間の相互接続のタイプ、活性化関数の選択、および他の要因)、および使用される学習方法によって区別されるニューラルネットワークの様々なカテゴリがある。
ニューラルネットワークは、予測のためだけには使用されない。それは、情報を減少させる目的でデータを分類しかつ/またはクラスタ化するためにも使用される。実際、ニューラルネットワークは、データセット内で、そのセットの要素間の共通の特性を識別し、次いでその類似点に従ってそれをクラスタ化することができる。次いで、正しく構成された各クラスタは、「代表」と呼ばれる、クラスタ内に含まれる情報を表す要素をそれに関連付けている。次いで、この代表は、クラスタの全体に取って代わることができる。したがって、データセットは、データ削減を構成する少数の要素によって表されることができる。コホネンマップ、すなわち自己組織化マップ(SOM: self-organizing map)は、このクラスタ化のタスク専用のニューラルネットワークであり得る。
上述のステップc)を実施するために測定されるHRTFの方向の選択に関して、問題が提起されていた。
最も直接的に見える方法は、3D球体の全体をできるだけ一様に等しくカバーしようと努めて方向のサブセットが選択される、一様の選択にあった。この方法は、3D球体の一定のサンプリングに依存していた。現在では、HRTFは、方向に従って一様には変化しなかったことが分かっている。この視点から、HRTFの一様の選択は、本当に有効ではなかった。
より有望な方法は、HRTFの最も「適切な」方向、すなわち3D球体の全体に関して観察されたHRTFの特性を最もよく表すものを識別するために上述のクラスタ化技術を適用することにあった。個人のHRTFの決定に適用されるとき、このクラスタ化技術は、
第1のステップで、隣接した方向のHRTFの間の冗長を識別し、
第2のステップで、類似の基準に従ってHRTFをクラスタ化し、
第3のステップで、聴取者を囲む3D球体全体がしたがって、以前に識別されたHRTFの様々なクラスタに対応する少数の領域にさらに分割され、かつ
第4のステップで、それぞれのクラスタに、クラスタの代表と見なされるHRTFが関連付けられる。
この「代表」HRTFは、クラスタのHRTFのうちの1つであり、それは、クラスタの他のすべてのHRTFとの距離の基準を最小にするHRTFとして選択される。代表のHRTFは、クラスタのHRTFの情報のほとんどを含む。最終的には、正しく取得された1組の代表HRTFは、3D球体全体のHRTFの特性についての簡潔な描写をなしている。
この技術によって、モデルに関して良い結果がもたらされている。第1の結果は、データ削減である。クラスタ化手順は、代表HRTFに関連する方向としての追加の情報をも提供し、この情報によって、HRTF計算モデルの入力を供給するためのHRTFの選択を定義することが可能となる。この選択は、アプリオリの非均一のものであるが、より有効であり、3D球体全体のより良い「代表性」を保証する。
しかし、このクラスタ化ステップは必要ではなく、また実際に、モデルが変造され、またはその性能レベルがいずれかのやり方で下げられることなく、いくつかのHRTF測定方向が最初に、任意に選択され得ることが発明者には明らかになっている。次いで、重要な1つの利点は、これらの方向が、以下でより詳細に述べられる好ましい測定条件に従って自由に選択され得ることである。
したがって、本発明は、いずれかの方向に対応する選択されたHRTFを、(上記で説明されたクラスタ化技術の意味で)これらの方向が必ずしも「代表」でない限り、入力パラメータとして使用することを提案する。しかし、これらの方向は、このモデルが各個人に関する特定の情報を抽出することができる限り使用可能なままである。
好ましくは、本発明は、(たとえば「多層パーセプトロン」、すなわちMLPタイプのニューラルネットワークを用いて)HRTFを計算するためのモデル化ツールとして、「人工ニューラルネットワーク」タイプの統計学習アルゴリズムを使用する。ニューラルネットワークの入力パラメータは、計算されるHRTFの方向を指定する少なくともアジマス角(θ1)および仰角(φ1)である。必要ならば、これらのパラメータは、HRTFが計算される個人に関連する「個人」とパラメータで補完される。これらの個人パラメータは、以前に測定された個人のHRTFの選択を含む。しかし、モデルに供給される情報を増加させるために、個人の形態パラメータをモデルのための入力として追加することは除外されない。
次いで、モデルの出力パラメータは、入力として指定された方向(θ1,φ1)および個人についてのHRTFを表すベクトルの係数である。
図1を再び参照すると、(たとえばMLPタイプの)人工ニューラルネットワークの生成によるHRTF計算の原理は、
・空間内のいくつかの方向についてだけ既に測定されており、1とnの間のiを伴うHRTF(φi mes,θi mes)で示されたHRTFと、
・Nをnより遥かに大きいものとして1とNの間のjを伴う仰角(φj cal)およびアジマス角(θj cal)の形で好ましくは指定された、HRTFが計算される方向と、
を含む入力パラメータからなる入力層10と、
入力として指定された方向(φj cal,θj cal)の個人のHRTFを提供する出力層12と、
入力層と出力層の関係を最良にモデル化するために、ニューロンの重みおよび活性化関数を調整することによって求める1つまたは複数の隠れ層11とを含む。
次に、図2を参照すると、ニューラルネットワークの生成が、3つのステップ、すなわち
学習段階21と、
検証段階22と、
テスト段階23と含んでいる。
これらの3つの段階をうまく完了させるために、最初に、1人または複数の個人から集められたHRTFのデータベース20がある。したがって、空間内のすべての方向で複数の個人についてのHRTF測定を収集するための予備ステップが実施されることが理解されよう。これは、データベース20が構築されるやり方である。
このデータベース20は、3つの別個のセット、すなわち
学習セット(APPR)と、
検証セット(VALID)と、
テストセット(TEST)とにさらに分割される。
学習段階21では、
入力ベクトルX(計算されるHRTFの方向、およびいくつかの方向のHRTFの測定値などの個人パラメータを表す)と、
出力ベクトルY(ニューラルネットワークが最もよく評価しなければならないHRTFに対応する)とを組み合わせた対がある。
学習は、学習セットから得られた正しく形成された各対について、
(ニューロンの重みおよび活性化関数に関して)ニューラルネットワークを最適化すること、および
与えられた誤差基準を最小にするために、ニューラルネットワークによって得られた結果を、予想される結果(個人について測定されたHRTF)と比較することを伴う。
学習段階の1つのリスクは、以下のように表され得る過剰学習である。ニューラルネットワークは、学習セットを「暗記し」、学習セットに特有の変形体を、それがグローバルには存在しないにも拘らず、再生しようとつとめる。過剰学習を回避するために、検証段階22は、学習段階21と併せて実施される。図3を参照すると、それは、検証誤差を定義する、(学習セットとは別個の)検証セットについてニューラルネットワークの予測誤差を評価することにある。学習段階の間、検証誤差Err_validは、減少させることから開始し、次いで、過剰学習が明らかになるときに再び増加し始める。したがって、検証誤差の最小値MINによって、学習段階の終わりが決定される。
実際、この観察は、学習段階の後、すなわち上述のステップc)でモデルのための入力として供給するために測定されるHRTFの数に直接影響を及ぼす。実際、測定の数が小さいほど、またHRTFの計算のためにモデルが有する情報が少ないほど、検証誤差は大きくなる。しかし、測定が多くなるほど、過剰学習のリスクは大きくなる。したがって、本発明の方法の任意選択の有利な特徴は、学習ステップb)で、ステップc)を実施するためにモデルのための入力として供給される、測定されたHRTF(Nb_HRTFmes)の最適数Nopt(図3)を決定することを提供することが思い出されよう。
テスト段階は、学習段階が終了されると実施され、テストセットについての予測誤差を評価することにある。「テスト誤差」と呼ばれるこの誤差は最終的に、ニューラルネットワークの最終の性能特性を表すものである。
これらの3つの段階の終わりには、操作可能なニューラルネットワークがあり、このニューラルネットワークに単に入力パラメータを提出すると、ある方向の個人のHRTFが得られる。
よって、図4aを参照すると、本発明の一般的な意味の方法はしたがって、ステップa)を含み、このステップでは、データベース20が、複数の個人について空間の多数の方向の複数のHRTFを測定することによって構築される。図4aの40で参照されるこの測定ステップは、個人の特性に従って網羅的なデータベースを得るために、好ましくは異なる形態(または形態型)の複数の個人について、空間のN個の方向でHRTFの測定を収集することにある。より一般には、学習ステップで考慮に入れられる個人の数が増えると、ニューラルネットワークの性能特性は、特に「普遍性」の面でより向上する。
次のステップb)は、データベース20を使用してモデルを学習することにある。ステップ41で、HRTFを表す少数n(n<N)の測定が任意に選択される。このステップ41について、図4cを参照して、以下でより詳細に述べる。次いで、3つの段階、学習21、検証22およびテスト23が、ステップ44で、モデルを構築するために実施される。上述の過剰学習の現象を回避するために、少数の測定の数nを調整することが可能であることに留意されたい。したがって、モデルの正確な操作に必要な測定の最適数Noptを決定し(ステップ42)、モデルの定義のためにこの最適数を採用すること(ステップ43)が可能である。最終的に、HRTFを計算するためのニューラルネットワーク44が得られる。次いで、ニューラルネットワーク44は、所定の方向φi mes、θi mesの個人のいくつかのHRTFがあれば、任意の方向で、任意の個人のHRTFを計算することができる。
モデルが構築されると(ステップ44)、後続のステップcで、空間内のすべての方向で任意の個人のHRTFを決定することが可能である。したがって、図4bを参照すると、
c1)個人のHRTFは、測定方向i(HRTF(φi mes,θi mes))で測定され、ステップ45で、HRTF(φj cal,θj cal)の計算が必要とされる方向がモデルに示され、
c2)次いで、モデル44が、これらのHRTF測定に適用され、
c3)個人のHRTFが取得され、必要な方向φj cal、θj calで計算されている(ステップ46)。
しかし、ステップc1)の測定条件は、方向iのHRTFについての測定条件(図4aのステップ41)を用いて事実上再生可能でなければならないことが思い出されよう。
図4cを参照すると、モデル学習ステップの好ましい一実施形態のための本発明の任意選択の態様がここに指定されている。実際、データベース20は、モデル出力として満足な聞き易さを提供する再生装置に適用され得る上品質のHRTFを提供するために、最も従来型の、最も標準の条件で構築されなければならない。しかし、第2のタイプの測定は好ましくは、データベース20の構築と平行して、別の「低下」することもある条件で、また少数の方向について実施される。この第2のタイプの測定は、データベース20を構成する測定が実施された人々と同じ個人に対して実施される。これらの「低下」した測定は、HRTF(φi mes,θi mes)と示され、図4cのステップ48で実施される。
次いで、ステップ49の間、モデルによってHRTFが計算されなければならない方向(φj cal,θj cal)が、モデルのための入力として指定される。これは好ましくは、もちろん、3D空間内のできるだけ大きい数の方向に関係する。モデル44bの1つのバージョンは、学習状態において、後続のステップ46bで、一連の「低下」した測定値(φi mes,θi mes)に基づいて、これらの方向(φj cal,θj cal)のHRTFを計算する。モデルは、計算されたこれらのHRTFの方向を、同じ方向(φj cal,θj cal)のデータベース20内のHRTFと比較する。偏差が大きすぎると考えられる場合(矢印n)、学習状態のモデル44bは、この偏差が許容可能な誤差(矢印o)になるまで改良され、次いで、このモデルは、最終的なものになる(最終ステップ44)。
したがって、ステップa)で、複数の個人についてのデータベース20の構築と平行して、HRTF(HRTF(φi mes,θi mes)と示される)一連の各関数もまた、同じ複数の個人に対して、任意に固定された測定条件および方向で測定されることに留意されたい。ステップb)のモデルの構築では、
次いで、これらの一連の各測定値HRTF(φi mes,θi mes)は、モデルのための入力として適用され、
データベース20は、計算されたHRTFをデータベース内のHRTFと比較するためのモデルの出力に適用される。
もちろん、図4cの任意選択のこの実装形態は、具体的には、測定値HRTF(φi mes,θi mes)がデータベース20の構築のために使用されるものと比べて実際に低下される場合に有利である。これらの測定条件HRTF(φi mes,θi mes)は、任意の個人について実施されたステップc1)の条件と実質上同じでなければならないことも思い出されよう。
図5を参照して、これらの測定条件の例示的な一実装形態について、次に述べられる。個人INDは、必ずしも無響でないブースCABに置かれる。彼は、彼の耳のうちの1つに付けられた少なくとも1つのマイクMICを備えたヘッドセットCASを有する。ヘッドセットCASは好ましくは、(y軸に沿って)高さが伸縮可能な硬い棒によって保持される。さらに、この棒は、ブースCABの基準点REP1に固定される。この実装形態は、個人INDを(他のXおよびZ軸に対して)不動に維持し、基準点REP1に対して、したがってブースCABの音源S1、S2、…、Snに対して彼を正確に置くことを可能にする。さらに、鏡上の視覚的な基準点など、別の基準点REP2によって、個人が高さについて(y軸に沿って)自分の位置を決めることが可能となる。一般に、個人は、高さ調整可能な座席に座り、彼の耳が鏡上の基準点REP2と一致するまでこの高さを調節することができる。
本発明のこの実装形態の一利点は、クラスタ化技術を回避し、音源S1〜Snの配置に関して自由選択を可能にすることであることは既に理解されていよう。たとえば、基準点REP2を有する鏡のレベルとは別のどこかに、さらには棒のベースREP1のレベルとは別のどこかにこれらの源を置くことが可能である。一般に、図5の例では、源S2は、基準点REP1に対してわずかにオフセットされる。
設けられる源S1〜Snの数は原則として、モデルから計算されるHRTFの数に依存する。一般に、3D空間全体のHRTFを計算するために、ブースCAB内で25と30の間の予備測定方向が推奨される。しかし、満足な聞き易さのためには、約15の測定で十分である。
最後に、絶対的には、推定された単一のHRTFを得るには単一の測定で十分である。次いで、計算されるHRTF方向に最も近い測定方向が選択される。
より一般には、測定方向の最適数、したがって測定数Nopt(図3)は、約20であることに留意されたい。
従来技術によれば、個人のHRTFの良好なデータベースを得るのには、(各耳について)700と1000の間の測定方向が通常必要であることも述べておく。次いで、本発明によれば、有用な測定の数の削減が評価され得る。
図5で、源S1からSnは、球体部分の必ずしも同一の場所に置かれないことも観察される。実際、図5の測定プロトコルの目的は、その言葉の厳密な意味ではHRTFを得ることではないが、より厳密には、個人の伝達関数を得ることであり、これらの伝達関数は、その個人のHRTFを部分的に表するものである。これらの伝達関数は、モデル44のための入力パラメータとして使用するためのものである。発明者は実際には、このモデルが、この情報が部分的であり、またはスクランブルされている場合でも、これらの伝達関数内に含まれる個人の情報を抽出し解析することができたと観察している。重要なことは、このプロトコルに従って測定されたHRTFの品質ではなく、その再生性である。主としてこの再現性に、HRTFのモデルは基づいている。この測定プロトコルによって提供される1つの利点は、モデルの満足な操作に影響を決して及ぼさずに、測定手順の制約を緩和することである。
したがって、図5に表されるような設備では、ブースCAB内の設けられた音源S1〜Snは、別個の球体面に属するそれぞれの位置にあり得ること留意されたい。
モデルのための入力として適用された測定は、必ずしも実際のHRTFではないが、HRTFを表す伝達関数であることも理解されよう。さらに、モデルの入力で提示されたこれらの伝達関数は、(HRTFのそれぞれ異なる表現に対応する)様々な形、具体的には、
伝達関数の複素スペクトラム、
伝達関数のスペクトルの係数、
伝達関数のスペクトルのフェーズ、
伝達関数に関連したインパルス応答、または
これらの諸要素の結合の形をとることができる。
モデルのための入力として供給され得る少なくとも1つの追加のパラメータは、形態タイプのものであり、個人の2つの耳間の距離など、個人INDに特有であり得ることも述べておく。この場合、ニューラルネットワークの学習、検証およびテスト段階は、HRTFに加えて、
上述の耳間の距離、
および/または個人の耳の位置、および/または耳介の形状
および/または彼の頭および/または胴を表す楕円寸法、
および/または彼の首を表すシリンダの寸法など、個人の形態パラメータを含むデータベースに基づいて実施される。
図5を再び参照すると、マイクMICによって測定された信号は、中央処理装置CPU(たとえばオーディオ取得カード)のインターフェース51によって収集され、この中央処理装置CPUは、それをデジタルデータに変換する。次いで、個人の形態パラメータの測定によって恐らく補完されたこのデータは、本発明に従ってモデル44によって処理される。モデル44は、中央処理装置CPUのメモリ内のコンピュータプログラム製品の形で格納することができる。次いで、モデルが提供する、空間内のすべての方向について計算されたHRTFは、メモリ52内に格納され、または(ディスケット上、またはCD-ROM上にエッチングされた)取外し可能媒体内に保存され、さらにはインターネットや等価物などのネットワークを介して通信されることができる。
したがって、この有利な実装では、ニューラルネットワークの入力層は、アプリオリに固定され、非理想的な条件で取得されているが、任意の方向に対応する、個人の選択されたHRTFを含む。これらの「近似の」HRTFは、個人INDについての直接的な測定によって得られるが、それらは、非理想的な状態で、特に必ずしも無響ではない環境で取得される。しかし、測定プロトコルは、前もって(一般には学習ステップb)で)定義されなければならず、また任意の個人にモデルを適用するステップc)で、それに厳密に従わなければならない。このように得られたニューラルネットワークは、これらの事前定義された条件において選択されて取得された方向φi mesおよびθi mesの測定が使用可能であることを前提として、任意の個人のHRTFを任意の方向で計算することができる。
もちろん、本発明は、例示するために上記で述べた実施形態に限定されず、他の変形形態を包含することができる。
たとえば、図5を参照して述べられたブース内に複数の音源S1〜Snを設けるのではなく、変形形態として、位置S1からSnの間で移動される単一の源を設けることが可能である。
人工ニューラルネットワークを実装するモデルの操作ステップを概略的に示しており、したがって、上述の第2のコンピュータプログラムの進行を概略的に表すフローチャートに対応し得る図である。 モデルを構築する諸ステップを概略的に示しており、したがって、上述の第1のコンピュータプログラムの進行を概略的に表すフローチャートに対応し得る図である。 モデルを使用するために行われる測定の総数に従ってモデルを構築するためのステップにおける検証誤差の変化を表す図である。 本発明による方法のステップa)およびb)を概略的に示す図である。 本発明による方法のステップc)を概略的に示す図である。 本発明による方法のステップa)およびb)のモデル構築のための有利な一実施形態を概略的に示す図である。 本発明を実施するための設備を概略的に表す図である。
符号の説明
10 入力層
11 隠れ層
12 出力層
20 データベース
21 学習段階
22 検証段階
23 テスト段階
40 ステップ
41 ステップ
43 ステップ
44 ステップ、モデル、ニューラルネットワーク
44b モデル
45 ステップ
46 ステップ
46b ステップ
48 ステップ
49 ステップ
51 インターフェース
52 メモリ
111 ステップ
112 ステップ
113 ステップ
CAB ブース
CAS ヘッドセット
IND 個人
MIC マイク
REP1 基準点
REP2 基準点
S1 音源
S2 音源
Sn 音源

Claims (13)

  1. 個人に特有の頭部伝達関数HRTFをモデル化する方法であって、
    a)空間内の多数の方向の、複数の個人についての複数のHRTFを含むデータベースが構築され、
    b)前記データベースから学習することによって、前記多数の方向から選択された各方向のHRTFを表す一連の測定に基づいて、前記多数の方向についてのHRTFを提供するための特定のモデルが構築され、
    c)任意の個人について、
    c1)前記選択された方向だけの前記個人の前記HRTFを表す一連の関数が測定され、
    c2)前記モデルが、前記選択された方向の前記測定に適用され、
    c3)前記個人の前記HRTFが、前記多数の方向のすべてにおいて得られ、
    前記一連の測定を得るための測定条件および方向が、前記学習ステップb)の間に任意に固定され、
    ステップb)の測定条件を用いておおよそ再生可能な測定条件が、前記ステップc)で適用される方法。
  2. 前記ステップa)で、前記複数の個人についての前記データベースの前記構築と平行して、前記複数の個人について、前記任意に固定された測定条件および方向で、前記HRTFを表すそれぞれの関数セットも測定され、前記ステップb)での前記モデルの前記構築のために、
    前記それぞれのセットが、前記モデルのための入力として適用され、
    前記データベースが、前記モデルのための出力として適用される請求項1に記載の方法。
  3. 前記モデルが、人工ニューラルネットワークを設定することによって構築される請求項1または2に記載の方法。
  4. 前記ステップb)が、
    学習段階と、
    前記学習段階と平行して実施される検証段階と、
    テスト段階とを含み、
    前記検証段階の間、前記モデルのための入力として供給される測定の最適数(Nopt)が、前記モデルの過剰学習効果を制限するために前記ステップc)の実施について決定される請求項3に記載の方法。
  5. 前記最適数(Nopt)が約20である請求項4に記載の方法。
  6. 前記モデルが、個人を特徴付ける少なくとも1つの形態パラメータをも使用し、前記ステップc2)で、前記形態パラメータの測定も前記モデルに供給される請求項1から5のうちのいずれか一項に記載の方法。
  7. 前記ステップc2)で、前記モデルに入力として、
    前記選択された方向の前記一連の測定、および
    HRTFの推定が望まれる前記多数の方向のうちの少なくとも1つの方向(φj cal,θj cal)が供給される請求項1から6のうちのいずれか一項に記載の方法。
  8. 個人に特有の頭部伝達関数HRTFを推定するための設備であって、
    1組の選択された方向のHRTFを表す伝達関数を測定するためのブースと、
    前記選ばれた方向の個人についての一連の測定を回復し、多数の方向についてHRTFを提供することができるモデルに基づいて、前記多数の方向の任意に固定されたいくつかの方向だけのHRTFを表す一連の測定値に基づいて、前記選択された方向を含む空間内の前記多数の方向の前記個人の前記HRTFを評価するための処理装置(CPU)とを含み、
    前記ブース内の前記測定方向が、前記任意に固定された方向に対応する設備。
  9. 前記ブース(CAB)内に設けられた前記音源(S1〜Sn)が、個別の球体表面に属するそれぞれの位置にある請求項8に記載の設備。
  10. 処理装置のメモリ内に、または特に前記処理装置のドライブと共に働くための取外し可能媒体上に格納されるように設計され、あるいはサーバから前記処理装置に送信されることが意図されたコンピュータプログラム製品であって、人工ニューラルネットワークに基づいてモデルを構築するためのコンピュータコードの形であり、多数の方向のうちの任意に固定されたいくつかの方向だけの伝達関数HRTFを表す、個人に対して実施される一連の測定に基づいて、前記多数の方向について前記個人のHRTFを提供することができる命令を含み、前記プログラムが、少なくとも1つの学習段階を実施するために、空間内の多数の方向の、複数の個人についての複数のHRTFを含むデータベースを使用するコンピュータプログラム製品。
  11. 処理装置のメモリ内に、または特に前記処理装置のドライブと共に働くための取外し可能媒体上に格納されるように設計され、あるいはサーバから前記処理装置に送信されることが意図されたコンピュータプログラム製品であって、人工ニューラルネットワークに基づいてモデルを実装するためのコンピュータコードの形であり、多数の方向のうちの任意に固定されたいくつかの方向だけの伝達関数HRTFを表す、個人に対して実施される一連の測定に基づいて、前記多数の方向について前記個人のHRTFを提供することができる命令を含むコンピュータプログラム製品。
  12. 空間内の多数の方向について個人に特有の頭部伝達関数HRTFを提供するためのモデルを構築する方法であって、
    空間内の多数の方向の、複数の個人についての複数のHRTFを含むデータベースが構築され、
    前記データベースから学習することによって、前記モデルが、前記多数の方向から選択された各方向のHRTFを表す一連の測定に基づいて構築される方法。
  13. 請求項12に記載の方法を使用することによって構築されたモデルを実装する方法であって、個人に特有の頭部伝達関数HRTFが、空間内の多数の方向について、前記個人の前記HRTFを表しており、前記多数の方向のうちの選択され、任意に固定されたいくつかの方向だけで前記個人に対して実施される一連の測定に基づいて、提供される方法。
JP2007549938A 2005-01-10 2006-01-09 モデル化によってｈｒｔｆを個別化するための方法および装置 Active JP4718559B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0500218 2005-01-10
FR0500218A FR2880755A1 (fr) 2005-01-10 2005-01-10 Procede et dispositif d'individualisation de hrtfs par modelisation
PCT/FR2006/000037 WO2006075077A2 (fr) 2005-01-10 2006-01-09 Procede et dispositif d’individualisation de hrtfs par modelisation

Publications (2)

Publication Number Publication Date
JP2008527821A JP2008527821A (ja) 2008-07-24
JP4718559B2 true JP4718559B2 (ja) 2011-07-06

Family

ID=34953232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007549938A Active JP4718559B2 (ja) 2005-01-10 2006-01-09 モデル化によってｈｒｔｆを個別化するための方法および装置

Country Status (5)

Country Link
US (1) US20080137870A1 (ja)
EP (1) EP1836876B1 (ja)
JP (1) JP4718559B2 (ja)
FR (1) FR2880755A1 (ja)
WO (1) WO2006075077A2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007048900A1 (fr) * 2005-10-27 2007-05-03 France Telecom Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif
WO2007101958A2 (fr) * 2006-03-09 2007-09-13 France Telecom Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
JP4866301B2 (ja) * 2007-06-18 2012-02-01 日本放送協会 頭部伝達関数補間装置
DE102007051308B4 (de) * 2007-10-26 2013-05-16 Siemens Medical Instruments Pte. Ltd. Verfahren zum Verarbeiten eines Mehrkanalaudiosignals für ein binaurales Hörgerätesystem und entsprechendes Hörgerätesystem
WO2009106783A1 (fr) * 2008-02-29 2009-09-03 France Telecom Procede et dispositif pour la determination de fonctions de transfert de type hrtf
JP5346187B2 (ja) * 2008-08-11 2013-11-20 日本放送協会 頭部音響伝達関数補間装置、そのプログラムおよび方法
US8428269B1 (en) * 2009-05-20 2013-04-23 The United States Of America As Represented By The Secretary Of The Air Force Head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
FR2958825B1 (fr) * 2010-04-12 2016-04-01 Arkamys Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques
CN102802111B (zh) * 2012-07-19 2017-06-09 新奥特（北京）视频技术有限公司 一种输出环绕声的方法和系统
AU2012394979B2 (en) 2012-11-22 2016-07-14 Razer (Asia-Pacific) Pte. Ltd. Method for outputting a modified audio signal and graphical user interfaces produced by an application program
US20140355769A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Energy preservation for decomposed representations of a sound field
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US9426589B2 (en) 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
US9584942B2 (en) * 2014-11-17 2017-02-28 Microsoft Technology Licensing, Llc Determination of head-related transfer function data from user vocalization perception
US9544706B1 (en) 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
JP6596896B2 (ja) * 2015-04-13 2019-10-30 株式会社Ｊｖｃケンウッド 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
FR3040253B1 (fr) * 2015-08-21 2019-07-12 Immersive Presonalized Sound Procede de mesure de filtres phrtf d'un auditeur, cabine pour la mise en oeuvre du procede, et procedes permettant d'aboutir a la restitution d'une bande sonore multicanal personnalisee
US9967693B1 (en) * 2016-05-17 2018-05-08 Randy Seamans Advanced binaural sound imaging
US10306396B2 (en) 2017-04-19 2019-05-28 United States Of America As Represented By The Secretary Of The Air Force Collaborative personalization of head-related transfer function
US11615339B2 (en) 2018-06-06 2023-03-28 EmbodyVR, Inc. Automated versioning and evaluation of machine learning workflows
WO2020008655A1 (ja) * 2018-07-03 2020-01-09 学校法人千葉工業大学 頭部伝達関数生成装置、頭部伝達関数生成方法およびプログラム
US10798513B2 (en) * 2018-11-30 2020-10-06 Qualcomm Incorporated Head-related transfer function generation
US10798515B2 (en) * 2019-01-30 2020-10-06 Facebook Technologies, Llc Compensating for effects of headset on head related transfer functions
JP7206027B2 (ja) * 2019-04-03 2023-01-17 アルパイン株式会社 頭部伝達関数学習装置および頭部伝達関数推論装置
GB2584152B (en) * 2019-05-24 2024-02-21 Sony Interactive Entertainment Inc Method and system for generating an HRTF for a user
KR20210008788A (ko) 2019-07-15 2021-01-25 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2021010562A1 (en) * 2019-07-15 2021-01-21 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
EP4085660A4 (en) 2019-12-30 2024-05-22 Comhear Inc METHOD FOR PROVIDING A SPATIAL SOUND FIELD
WO2022147208A1 (en) * 2020-12-31 2022-07-07 Harman International Industries, Incorporated Method and system for generating a personalized free field audio signal transfer function based on near-field audio signal transfer function data
JP2024502537A (ja) * 2020-12-31 2024-01-22 ハーマン インターナショナル インダストリーズ インコーポレイテッド 自由場オーディオ信号伝達関数データに基づいてパーソナライズされた自由場オーディオ信号伝達関数を生成する方法及びシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19910372A1 (de) * 1998-04-20 1999-11-04 Florian M Koenig Individuelle Außenrohr-Übertragungsfunktions-Bestimmung ohne zugehörige, übliche, akustische Probanden-Vermessung
JP2000324590A (ja) * 1999-05-13 2000-11-24 Mitsubishi Electric Corp 音響再生装置
US20030138107A1 (en) * 2000-01-17 2003-07-24 Graig Jin Generation of customised three dimensional sound effects for individuals

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09191500A (ja) * 1995-09-26 1997-07-22 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用伝達関数表作成方法、その伝達関数表を記録した記憶媒体及びそれを用いた音響信号編集方法
WO1997025834A2 (en) * 1996-01-04 1997-07-17 Virtual Listening Systems, Inc. Method and device for processing a multi-channel signal for use with a headphone
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
JP3521900B2 (ja) * 2002-02-04 2004-04-26 ヤマハ株式会社 バーチャルスピーカアンプ
CN1685762A (zh) * 2002-09-23 2005-10-19 皇家飞利浦电子股份有限公司 声音重现系统、程序和数据载体
US7430300B2 (en) * 2002-11-18 2008-09-30 Digisenz Llc Sound production systems and methods for providing sound inside a headgear unit
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
WO2005025270A1 (ja) * 2003-09-08 2005-03-17 Matsushita Electric Industrial Co., Ltd. 音像制御装置の設計ツールおよび音像制御装置
WO2007048900A1 (fr) * 2005-10-27 2007-05-03 France Telecom Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19910372A1 (de) * 1998-04-20 1999-11-04 Florian M Koenig Individuelle Außenrohr-Übertragungsfunktions-Bestimmung ohne zugehörige, übliche, akustische Probanden-Vermessung
JP2000324590A (ja) * 1999-05-13 2000-11-24 Mitsubishi Electric Corp 音響再生装置
US20030138107A1 (en) * 2000-01-17 2003-07-24 Graig Jin Generation of customised three dimensional sound effects for individuals

Also Published As

Publication number Publication date
EP1836876A2 (fr) 2007-09-26
WO2006075077A2 (fr) 2006-07-20
FR2880755A1 (fr) 2006-07-14
EP1836876B1 (fr) 2018-07-18
JP2008527821A (ja) 2008-07-24
WO2006075077A3 (fr) 2006-10-05
US20080137870A1 (en) 2008-06-12

Similar Documents

Publication Publication Date Title
JP4718559B2 (ja) モデル化によってｈｒｔｆを個別化するための方法および装置
US20080306720A1 (en) Hrtf Individualization by Finite Element Modeling Coupled with a Corrective Model
US10440494B2 (en) Method and system for developing a head-related transfer function adapted to an individual
US20190364378A1 (en) Calibrating listening devices
Jin et al. Creating the Sydney York morphological and acoustic recordings of ears database
US7664272B2 (en) Sound image control device and design tool therefor
Kulkarni et al. Infinite-impulse-response models of the head-related transfer function
Geronazzo et al. Do we need individual head-related transfer functions for vertical localization? The case study of a spectral notch distance metric
Birnie et al. Mixed source sound field translation for virtual binaural application with perceptual validation
CN115412808B (zh) 基于个性化头相关传递函数的虚拟听觉重放方法及系统
Stitt et al. Sensitivity analysis of pinna morphology on head-related transfer functions simulated via a parametric pinna model
Durin et al. Acoustic analysis of the directional information captured by five different hearing aid styles
Wang et al. Global HRTF personalization using anthropometric measures
Barumerli et al. Round Robin Comparison of Inter-Laboratory HRTF Measurements–Assessment with an auditory model for elevation
Zotkin et al. Virtual audio system customization using visual matching of ear parameters
Zandi et al. Individualizing head-related transfer functions for binaural acoustic applications
Geronazzo et al. Evaluating vertical localization performance of 3d sound rendering models with a perceptual metric
Pausch et al. Hybrid multi-harmonic model for the prediction of interaural time differences in individual behind-the-ear hearing-aid-related transfer functions
US10555105B2 (en) Successive decompositions of audio filters
Katz et al. Advances in Fundamental and Applied Research on Spatial Audio
Brožová et al. Examining the interrelation behavior of distance metrics for head-related transfer function evaluation: a case study
Duraiswami et al. Capturing and recreating auditory virtual reality
COMB 12/HRTF (q) cal cal j" 91'l
Pirard Spatial Audio and Individualized HRTFs using a Convolutional Neural Network (CNN)
Carlile et al. Performance measures of the spatial fidelity of virtual auditory space: Effects of filter compression and spatial sampling

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110331

R150 Certificate of patent or registration of utility model

Ref document number: 4718559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250