JP5857071B2 - オーディオ・システムおよびその動作方法 - Google Patents

オーディオ・システムおよびその動作方法 Download PDF

Info

Publication number
JP5857071B2
JP5857071B2 JP2013547946A JP2013547946A JP5857071B2 JP 5857071 B2 JP5857071 B2 JP 5857071B2 JP 2013547946 A JP2013547946 A JP 2013547946A JP 2013547946 A JP2013547946 A JP 2013547946A JP 5857071 B2 JP5857071 B2 JP 5857071B2
Authority
JP
Japan
Prior art keywords
transfer function
binaural
signal
binaural transfer
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013547946A
Other languages
English (en)
Other versions
JP2014505420A (ja
Inventor
ウェルネル ヨハネス オーメン，アルノルデュス
ウェルネル ヨハネス オーメン，アルノルデュス
イェルーン ブレーバールト，ディルク
イェルーン ブレーバールト，ディルク
ヘラルデュス ヘンリキュス コッペンス，イェルーン
ヘラルデュス ヘンリキュス コッペンス，イェルーン
ゴサイニュス ペトリュス スハイエルス，エリク
ゴサイニュス ペトリュス スハイエルス，エリク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2014505420A publication Critical patent/JP2014505420A/ja
Application granted granted Critical
Publication of JP5857071B2 publication Critical patent/JP5857071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

本発明は、オーディオ・システムおよびその動作方法に、詳細にはオーディオ信号の仮想的な空間レンダリングに関する。
単純なステレオを超えた空間的音再生は家庭シネマ・システムのようなアプリケーションを通じて一般的なものとなっている。典型的には、そのようなシステムは特定の空間位置に配置されたスピーカーを使う。加えて、ヘッドホンからの空間的な音知覚を提供するシステムが開発されている。従来のステレオ再生はユーザーの頭の内部に発しているように知覚される音を与える傾向があった。しかしながら、イヤホン／ヘッドホンによってユーザーの耳に直接与えられるバイノーラル信号に基づいて完全な空間的音知覚を提供するシステムが開発されている。そのようなシステムは、本物の音源が存在しない位置に仮想音源の知覚を提供するので、しばしば仮想音システムと称される。
仮想サラウンド・サウンドは、物理的には存在しない、聴取者を囲む音源があるという知覚を創り出そうとする技術である。そのようなシステムでは、音は、従来のヘッドホン再生システムから知られているようにユーザーの頭の内部から発するようには思われない。むしろ、音は、ヘッドホンなしでの自然な聴取の場合と同様に、ユーザーの頭の外から発していると知覚されうる。仮想サラウンド・オーディオは、より現実的な経験に加えて、聴取者の疲労および発話了解性に対してポジティブな効果をもつ傾向もある。
この知覚を達成するためには、人間の聴覚系をだまして音が所望される諸位置から来ていると思わせる何らかの手段を用いることが必要である。仮想サラウンド・サウンドの経験を提供するよく知られたアプローチは、バイノーラル録音の使用である。そのようなアプローチでは、録音は専用のマイクロホン配置を使い、ヘッドホンを使った再生のために意図される。録音は、マイクロホンを被験者またはダミーヘッドの外耳道に置くことによってなされる。ダミーヘッドというのは耳介（外耳）を含む胸像である。そのような耳介を含むダミーヘッドの使用は、その録音を聞く人が録音の現場にいたとしたらもつであろう印象に非常に近い空間的印象を提供する。しかしながら、各人の耳介は独特であり、該耳介が音に対して課すフィルタリングははいってくる音波の方向性入射に依存し、よってやはり独特なので、音の定位は被験者に依存する。実際、源を定位するのに使われる特定の特徴は各人によって、幼少のころから学習される。したがって、録音の際に使われる耳介と聴取者の耳介の間に何らかのミスマッチがあれば、それは劣化した知覚および誤った空間的印象につながりうる。
三次元空間における特定の位置にある音源から各個人のためのダミーヘッドの耳にあるマイクロホンまでのインパルス応答を測定することによって、いわゆる頭部インパルス応答（HRIF: Head Related Impulse Response）が決定できる。HRIRは、さまざまな位置にある複数の源をシミュレートするバイノーラル録音を生成するために使用できる。これは、各音源を、その音源の位置に対応する一対のHRIRと畳み込みすることによって実現できる。HRIRは頭部伝達関数（HRTF: Head Related Transfer Function）とも称されうる。このように、HRTFとHRIRは等価である。HRIRが部屋の効果をも含む場合、これらは両耳室内インパルス応答（BRIR: Binaural Room Impulse Responses）と称される。BRIRは被験者の人体測定属性（頭のサイズ、耳の形など）にのみ依存する無響部分に、部屋と人体測定属性の組み合わせを特徴付ける反響部分が続いたものからなる。
反響部分は、通例重なり合う二つの時間的領域を含む。第一の領域はいわゆる早期反射を含む。これは、鼓膜（または測定マイクロホン）に到達する前に部屋内部の壁または障害物での、音源の孤立した反射である。時間ラグが増すにつれて、固定した時間期間内に存在する反射の数が増し、高次反射も含むようになる。
反響部分の第二の領域はこれらの反射がもはや孤立していない部分である。この領域は、散乱または後期反響尾部と呼ばれる。反響部分は、源の距離ならびに部屋のサイズおよび音響属性についての情報を聴覚系に与える手がかりを含んでいる。さらに、それはHRIRによる反射のフィルタリングのため、被験者に依存する。無響部分のエネルギーに対する反響部分のエネルギーが、音源の知覚される距離をほぼ決定する。（早期）反射の密度は部屋の知覚されるサイズに寄与する。T60残響時間は反射がエネルギー・レベルにおいて60dB低下するのにかかる時間として定義される。残響時間は部屋の音響属性、その壁が反射性が高いか（たとえば浴室）どうか、あるいは音の吸収が大きい（たとえば家具、カーベットおよびカーテンのある寝室）かどうかならびに部屋の容積（サイズ）についての情報を与える。
所定の音響環境を組み込む測定されたインパルス応答の使用のほか、合成反響アルゴリズムがしばしば用いられる。音響シミュレーションのある種の属性を修正できるためと、計算量が比較的少ないためである。
仮想サラウンド技法を使うシステムの一例は、MPEGサラウンドである。これは、近年MPEGによって標準化された（ISO/IEC 23003-1:2007、MPEGサラウンド）多チャンネル・オーディオ符号化における主要な進展の一つである。
MPEGサラウンドは、既存のモノまたはステレオ・ベースの符号化器が多チャンネルに拡張されることを許容する多チャンネル符号化ツールである。図１は、MPEGサラウンドで拡張されたステレオ・コア符号化器のブロック図である。まず、MPEGサラウンド・エンコーダは複数チャンネル入力信号からステレオ減数混合〔ダウンミックス〕を生成する。ステレオ減数混合はコア・エンコーダ、たとえばHE-AACを使ってビットストリームに符号化される。次に、空間パラメータが多チャンネル入力信号から推定される。これらのパラメータは空間的ビットストリーム中にエンコードされる。結果として得られるコア符号化器ビットストリームおよび空間的ビットストリームは併合されて全体的なMPEGサラウンド・ビットストリームを創り出す。典型的には、空間的ビットストリームはコア符号化器ビットストリームの補助データ部分に含まれる。デコーダ側では、コアおよび空間的ビットストリームがまず分離される。ステレオ・コア・ビットストリームはデコードされてステレオ減数混合を再生成する。この減数混合が空間的ビットストリームと一緒になってMPEGサラウンド・デコーダに入力される。空間的ビットストリームはデコードされ、結果として空間的パラメータを与える。それらの空間的パラメータは次いで、ステレオ減数混合を増数混合するために使われ、もとの多チャンネル入力信号の近似である多チャンネル出力信号が得られる。
多チャンネル入力信号の空間的イメージはパラメータ化されるので、MPEGサラウンドは同じ多チャンネル・ビットストリームを、多チャンネル・スピーカー・セットアップ以外のレンダリング装置にデコードすることも許容する。一例は、ヘッドホンでの仮想再生である。これはMPEGサラウンド・バイノーラル・デコード・プロセスと称される。このモードでは、現実的なサラウンド経験が、通常のヘッドホンを使って提供できる。
図２は、MPEGサラウンドで拡張されたステレオ・コア・コーデックのブロック図である。ここで、出力はデコードされてバイノーラルにされる。エンコーダ・プロセスは図１と同一である。ステレオ・ビットストリームをデコードしたのち、空間的パラメータがHRTF/HRIRデータと組み合わされていわゆるバイノーラル出力を生じる。
MPEGサラウンドの概念を基礎として、MPEGは「空間的オーディオ・オブジェクト符号化（SAOC: Spatial Audio Object Coding）」を標準化した（ISO/IEC 23003-2:2010）。
高レベルの視点からは、SAOCでは、チャンネルの代わりに、サウンド・オブジェクトが効率的に符号化される。MPEGサラウンドでは各スピーカー・チャンネルが諸サウンド・オブジェクトの異なる混合から発していると考えることができるのに対し、SAOCでは、これらの個々のサウンド・オブジェクトはある程度、対話的操作のためにデコーダにおいて利用可能である。MPEGサラウンドと同様に、SAOCでもモノまたはステレオ減数混合が生成され、この減数混合がHE-AACのような標準的な減数混合符号化器を使って符号化される。オブジェクト・パラメータがエンコードされ、減数混合符号化ビットストリームの補助データ部分に埋め込まれる。デコーダ側では、これらのパラメータの操作によって、ユーザーは、位置、増幅／減衰、等化といった個々のオブジェクトのさまざまな特徴を制御でき、さらには歪みおよび反響といった効果を適用することさえできる。
ステレオまたは多チャンネル・コンテンツの仮想サラウンド・レンダリングの品質は、非特許文献１に記載されるいわゆるファントム具現（phantom materialization）によって著しく改善できる。
仮想スピーカー位置から発する二つの音源を想定することによって仮想ステレオ信号を構築する代わりに、ファントム具現アプローチはサウンド信号を方向性（directional）信号成分および間接／脱相関信号成分に分解する。直接（direct）成分は、ファントム位置における仮想スピーカーをシミュレートすることによって合成される。間接成分は拡散音場の仮想方向（単数または複数）における仮想スピーカーをシミュレートすることによって合成される。ファントム具現プロセスは、スピーカー・セットアップの制限を仮想レンダリング・シーンに課さないという利点がある。
仮想空間音再生は、多くのシナリオにおいて非常に魅力的な空間的経験を提供することが見出されている。しかしながら、このアプローチはいくつかのシナリオでは、三次元空間中のシミュレートされる位置に実際の音源がある現実世界のシナリオで帰結するであろう空間的経験に完全には対応しない経験を与えることも見出されている。
仮想オーディオ・レンダリングの空間的知覚は、オーディオによって与えられる位置手がかりとユーザーの視覚によって与えられる位置手がかりとの間の脳内での干渉によって影響されうることが示唆されている。
日常生活では、視覚的手がかりは（典型的には無意識のうちに）可聴手がかりと組み合わされて空間的知覚を高める。一つの例として、唇の動きも観察できれば人の了解されやすさが高まる。もう一つの例では、仮想音源を裏付けとなる視覚的手がかりを与えることによって、たとえば仮想音源が生成される位置にダミー・スピーカーを置くことによって、人はだまされることがあることが見出されている。このように、視覚的手がかりは仮想化を高めるまたは修正する。視覚的手がかりはある程度まで、腹話術師の場合のように音源の知覚される位置を変えることさえできる。逆に、人間の脳は、（たとえば波面合成において）裏付けとなる視覚的手がかりがない音源を定位するのに難儀する。それは実際、人間の性質と相容れないものである。
もう一つの例は、ヘッドホン・ベースのオーディオ・システムによって生成される仮想音源と混合される、聴取者のいる環境からの外部音源の漏れである。オーディオ内容およびユーザー位置に依存して、物理的および仮想的な環境の音響属性は大きく異なることがあり、その結果、聴取環境に関する曖昧さが生じる。音響環境のそのような混合は、不自然で、非現実的な音再生を引き起こしうる。
視覚的手がかりとの相互作用に関しては、いまだよく理解されていない多くの側面がある。実際、仮想空間音再生との関係での視覚的手がかりの効果は完全には理解されていない。
よって、改善されたオーディオ・システムが有利であろう。特に、柔軟性を増す、実装を容易にする、動作を容易にする、空間的なユーザー経験を改善する、仮想空間音生成を改善するおよび／またはパフォーマンスを改善することを許容するアプローチが有利であろう。
Breebaart, J., Schijers, E. (2008), "Phantom materialization: A novel method to enhance stereo audio reproduction on headphones", IEEE Trans. On Audio, Speech and Language processing 16, 1503-1511 J.-M. Jot〔ジョー〕 and A. Chaigne, "Digital delay networks for designing artificial reverberators", 90th AES (Audio Engineering Society) Convention, Feb. 1991 Vesa, S., Harma, A. (2005), "Automatic estimation of reverberation time from binaural signals", ICASSP 2005, pp.iii/281-iii/284, March 18-23 Fritz Menzer and Christof Faller (2009), "Binaural reverberation using a modified Jot reverberator with frequency-dependent interarual coherence matching", proc. 126th AES convention
よって、本発明は、上述した欠点の一つまたは複数を、単独でまたは任意の組み合わせにおいて、好ましくは緩和、軽減または解消しようとするものである。
本発明のある側面によれば、請求項１記載のオーディオ・システムが提供される。
本発明は、改善された空間的経験を提供しうる。多くの実施形態において、より自然な空間的経験が知覚されることができ、音再生はそれほど人工的に感じられなくなりうる。実際、仮想音特性は、視覚的手がかりのような他の位置手がかりとより揃うよう適応されうる。こうして、より自然に感じられる仮想音再生および改善された頭外定位（externalization）がユーザーに提供されることで、より現実的な空間音知覚が達成されうる。
前記オーディオ信号は単一の音源に対応してもよく、前記オーディオ信号の前記処理は、オーディオ信号によって表されるオーディオが前記音源についての所望される仮想位置からレンダリングされるようなものであってもよい。オーディオ信号はたとえば、単一のオーディオ・チャンネル（サラウンド・サウンド・システムのサラウンド・チャンネルなど）に対応してもよく、あるいはたとえば単一のオーディオ・オブジェクトに対応してもよい。オーディオ信号は特に、空間的な多チャンネル信号からの単一チャンネル・オーディオ信号であってもよい。各空間的信号は、所与の仮想位置から発するよう知覚されるようにレンダリングされるよう処理されてもよい。
前記オーディオ信号は時間領域信号、周波数領域信号および／またはパラメータ化された信号（エンコードされた信号など）によって表現されてもよい。個別的な例として、オーディオ信号は、時間周波数タイル形式におけるデータ値によって表現されてもよい。いくつかの実施形態では、オーディオ・オブジェクトが、オーディオ信号についての意図される音源位置を示す位置情報を与えられてもよい。いくつかのシナリオでは、位置情報は空間的な増数混合〔アップミックス〕パラメータとして提供されてもよい。本システムは、オーディオ信号についての位置情報に応答して両耳伝達関数をさらに適応させるよう構成されていてもよい。たとえば、本システムは、指示された位置に対応する音位置手がかりを与えるよう両耳伝達関数を選択してもよい。
バイノーラル出力信号は、複数のオーディオ信号からの信号成分を含んでいてもよく、そのそれぞれはある両耳伝達関数に基づいて処理されたものであってもよい。ここで、各オーディオ信号についての両耳伝達関数は、そのオーディオ信号についての所望される位置に対応してもよい。各両耳伝達関数は、多くの実施形態では、音響環境パラメータに応答して適応されてもよい。
前記処理は具体的には、両耳伝達関数を前記オーディオ信号またはそれから（たとえば増幅、処理などによって）導出される信号に適用してもよい。バイノーラル出力信号とオーディオ信号の間の関係は両耳伝達関数に依存する／両耳伝達関数に反映される。オーディオ信号は特に、前記バイノーラル出力信号についての、前記オーディオ信号に両耳伝達関数を適用することに対応する信号成分を生成してもよい。このように、両耳伝達関数は、所望される位置におけるオーディオ源の知覚を提供するバイノーラル出力信号を生成するよう前記オーディオ信号に適用される伝達関数に対応してもよい。両耳伝達関数はHRTF、HRIRもしくはBRIRからの寄与を含んでいてもよく、またはHRTF、HRIRもしくはBRIRに対応してもよい。
両耳伝達関数は、該両耳伝達関数を時間領域で、周波数領域でまたは両者の組み合わせとして適用することによってオーディオ信号（またはそれから導出される信号）に適用されてもよい。たとえば、両耳伝達関数は、たとえば各時間周波数タイルに複素両耳伝達関数値を適用することによって、時間周波数タイルに適用されてもよい。他の例では、オーディオ信号は両耳伝達関数を実装するフィルタによってフィルタリングされてもよい。
本発明の任意的な特徴によれば、前記音響環境パラメータは、前記音響環境についての反響パラメータを含む。
これは、仮想音源位置付けを使うサウンド・システムから、改善された、典型的にはより自然なユーザー経験を提供するための、仮想音の特に有利な適応を許容しうる。
本発明の任意的な特徴によれば、前記音響環境パラメータは：残響時間；直接経路エネルギーに対する反響エネルギー；室内インパルス応答の少なくとも一部の周波数スペクトル；室内インパルス応答の少なくとも一部のモード密度；室内インパルス応答の少なくとも一部のエコー密度；両耳間のコヒーレンスまたは相関；早期反射のレベル；および部屋サイズ推定値のうちの少なくとも一つを含む。
これらのパラメータは、仮想音源位置付けを使うサウンド・システムから、改善された、典型的にはより自然なユーザー経験を提供するための、仮想音の特に有利な適応を許容しうる。さらに、上記パラメータは実装および／または動作を容易にしうる。
本発明の任意的な特徴によれば、前記適応回路は、前記両耳伝達関数の反響特性を適応させるよう構成される。
これは、仮想音源位置付けを使うサウンド・システムから、改善された、典型的にはより自然なユーザー経験を提供するために、仮想音の特に有利な適応を許容しうる。反響特性は特に適応に好適なので、このアプローチは動作および／または実装を容易にすることを許容しうる。前記修正は、前記処理が、異なる反響特性をもつ両耳伝達関数に対応するよう修正されるようなものであってもよい。
本発明の任意的な特徴によれば、前記適応回路は、両耳伝達関数の次の特性のうちの少なくとも一つを適応させるよう構成される：残響時間；直接音エネルギーに対する反響エネルギー；両耳伝達関数の少なくとも一部の周波数スペクトル；両耳伝達関数の少なくとも一部のモード密度；両耳伝達関数の少なくとも一部のエコー密度；両耳間のコヒーレンスまたは相関；および両耳伝達関数の少なくとも一部の早期反射のレベル。
これらのパラメータは、仮想音源位置付けを使うサウンド・システムから、改善された、典型的にはより自然なユーザー経験を提供するための、仮想音の特に有利な適応を許容しうる。さらに、上記パラメータは実装および／または動作を容易にしうる。
本発明の任意的な特徴によれば、前記処理は、所定の両耳伝達関数と、前記音響環境パラメータに応答して適応された可変な両耳伝達関数との組み合わせを含む。
これは、多くのシナリオにおいて、容易にされたおよび／または改善された実装および／または動作を提供しうる。所定の両耳伝達関数および可変な両耳伝達関数は組み合わされてもよい。たとえば、これらの伝達関数は直列にオーディオ信号に適用されてもよいし、あるいは並列にオーディオ信号に適用されて結果として得られる信号が組み合わされるのでもよい。
所定の両耳伝達関数は固定であってもよく、音響環境パラメータとは独立であってもよい。可変な両耳伝達関数は音響環境シミュレーション伝達関数であってもよい。
本発明の任意的な特徴によれば、前記適応回路は両耳伝達関数を動的に更新するよう構成される。
動的更新はリアルタイムであってもよい。本発明は、音提供を自動的かつ連続的に、システムが使われている環境に適応させるシステムを許容しうる。たとえば、本オーディオ・システムを携行するユーザーが動くにつれて、サウンドは、特定の音響環境にマッチするよう、たとえば特定の部屋にマッチするよう、レンダリングされるオーディオを自動的に適応させてもよい。前記測定回路は、環境特性を連続的に測定していてもよく、前記処理はそれに応答して連続的に更新されてもよい。
本発明の任意的な特徴によれば、前記適応回路は、環境特性がある基準を満たすときにのみ、両耳伝達関数を修正するよう構成される。
これは、多くのシナリオにおいて改善されたユーザー経験を提供しうる。特に、多くの実施形態において、より安定な経験を提供しうる。前記適応回路はたとえば、オーディオ環境パラメータがある基準を満たすときに両耳伝達関数の特性を修正するのみであってもよい。前記基準はたとえば、音響環境パラメータの値と、両耳伝達関数を適応させるために使われた以前の値との間の差が閾値を超えることであってもよい。
本発明の任意的な特徴によれば、前記適応回路は、両耳伝達関数についての遷移速度を制約するよう構成される。
これは、改善されたユーザー経験を提供することがあり、特定の環境条件への適応を気づかれにくくする。両耳伝達関数への修正は、しばしば有利には1Hzより上の変化を減衰させる低域通過フィルタ処理効果にかけられてもよい。たとえば、両耳伝達関数へのステップ変化は、約1ないし5秒の継続時間をもつ漸次の遷移に制約されてもよい。
本発明の任意的な特徴によれば、本オーディオ・システムはさらに：両耳伝達関数データを記憶するデータ記憶部と；音響環境パラメータに応答してデータ記憶部から両耳伝達関数データを取得する回路とを有し、前記適応回路は取得された両耳伝達関数データに応答して両耳伝達関数を適応させるよう構成されている。
これは、多くのシナリオにおいて特に効率的な実装を提供しうる。このアプローチは、特に、計算資源要求を軽減しうる。
いくつかの実施形態では、本オーディオ・システムはさらに、データ記憶部のどの両耳伝達関数データも音響環境パラメータに対応する音響環境特性に関連付けられていないことを検出し、応答して、両耳伝達関数を生成し、これを関連付けられた音響環境特徴付けデータと一緒にデータ記憶部に記憶する回路を有していてもよい。
本発明の任意的な特徴によれば、本オーディオ・システムはさらに：音響環境中に音試験信号を放射するよう構成された試験信号回路を有し、前記測定回路は前記環境中の受領された音信号を捕捉するよう構成されており、受領された音信号は、放射された音試験信号から生じる信号成分を含み、前記決定回路は、音試験信号に応答して音響環境パラメータを決定するよう構成される。
これは、低計算量だが正確かつ実際的な音響環境パラメータの決定法を提供しうる。音響環境パラメータの決定は、具体的には、受領された試験信号とオーディオ試験信号との間の相関に応答していてもよい。たとえば、周波数または時間特性が比較され、音響環境パラメータを決定するために使われてもよい。
本発明の任意的な特徴によれば、前記決定回路は、受領された音信号に応答して環境インパルス応答を決定し、該環境インパルス応答に応答して音響環境パラメータを決定するよう構成される。
これは、音響環境パラメータを決定するための特に堅牢な、低計算量の、および／または正確なアプローチを提供しうる。
本発明の任意的な特徴によれば、前記適応回路はさらに、ユーザー位置に応答して両耳伝達関数を更新するようさらに構成されていてもよい。
これは、特に魅力的なユーザー経験を提供しうる。たとえば、ユーザーが動くにつれて仮想音レンダリングが連続的に更新されてもよく、それによりたとえば部屋だけではなく、部屋の中でのユーザーの位置に対しても連続的な適応が提供される。
いくつかの実施形態では、音響環境パラメータはユーザー位置に依存する。
これは、特に魅力的なユーザー経験を提供しうる。たとえば、ユーザーが動くにつれて仮想音レンダリングが連続的に更新されてもよく、それによりたとえば部屋だけではなく、部屋の中でのユーザーの位置に対しても連続的な適応が提供される。例として、音響環境パラメータは測定されたインパルス応答から決定されてもよい。測定されたインパルス応答は、環境内でユーザーが動くにつれて動的に変化しうる。ユーザー位置は、ユーザー配向または位置でありうる。
本発明の任意的な特徴によれば、前記バイノーラル回路は反響器（reverberator）を有し、前記適応回路は、音響環境パラメータに応答して前記反響器の反響処理を適応させるよう構成される。
これは、修正された両耳伝達関数を反映するよう前記処理を修正するための特に実際的なアプローチを提供しうる。前記反響器は、特性を適応させるための特に効率的な、それでいて制御するのが十分単純なアプローチを提供しうる。反響器はたとえば非特許文献２に記載されている。
本発明のある側面によれば、請求項１４記載のオーディオ・システムの動作方法が提供される。
本発明のこれらおよびその他の側面、特徴および利点は、以下に記載される実施形態を参照することから明白となり、明快にされるであろう。
本発明の実施形態について単に例として、付属の図面を参照しつつ述べる。
MPEGサラウンドで拡張されたステレオ・コア・コーデックのブロック図である。 MPEGサラウンドで拡張され、バイノーラル出力信号を与えるステレオ・コア・コーデックのブロック図である。 本発明のいくつかの実施形態に基づくオーディオ・システムの諸要素の例を示す図である。 本発明のいくつかの実施形態に基づくバイノーラル・プロセッサの諸要素の例を示す図である。 本発明のいくつかの実施形態に基づくバイノーラル信号プロセッサの諸要素の例を示す図である。 本発明のいくつかの実施形態に基づくバイノーラル信号プロセッサの諸要素の例を示す図である。 ジョー反響器の諸要素の例を示す図である。
図３は、本発明のいくつかの実施形態に基づくオーディオ・システムの例を示している。本オーディオ・システムは、ユーザーの各耳のための信号を含むバイノーラル信号を生成することによって空間的音源位置をエミュレートする仮想音システムである。典型的には、バイノーラル・オーディオは一対のヘッドホン、イヤホンなどを介してユーザーに与えられる。
本オーディオ・システムは、本オーディオ・システムによってレンダリングされるべきオーディオ信号を受領する受領器３０１を有する。オーディオ信号は、所望される仮想位置をもつ音源としてレンダリングされることが意図されている。よって、本オーディオ・システムは、ユーザーが（少なくとも近似的に）、信号が所望される位置または少なくとも方向から発していると知覚するよう、オーディオ信号をレンダリングする。
今の例では、このように、オーディオ信号は単一のオーディオ源に対応すると考えられる。よって、オーディオ信号は一つの所望される位置に関連付けられている。オーディオ信号はたとえばある空間的チャンネル信号に対応していてもよく、特に、オーディオ信号は空間的な多チャンネル信号の単一の信号であってもよい。そのような信号は暗黙的に、所望される関連付けられた位置を有しうる。たとえば、中央チャンネル信号は、聴取者の正面の位置に関連付けられ、前右チャンネルは聴取者の前方右の位置に関連付けられ、後左信号は聴取者の背後の左の位置に関連付けられる、などである。このように、本オーディオ・システムは、この信号を、この位置から到着するように感じられるようレンダリングしてもよい。
もう一つの例として、オーディオ信号はオーディオ・オブジェクトであってもよく、たとえば、ユーザーが（仮想）空間中で自由に位置付けできるオーディオ・オブジェクトであってもよい。よって、いくつかの例では、所望される位置は、たとえばユーザーによってローカルに生成または選択されてもよい。
オーディオ信号はたとえば、時間領域信号として表現、提供および／または処理されてもよい。代替的または追加的に、オーディオ信号は周波数領域信号として提供および／または処理されてもよい。実際、多くのシステムにおいて、オーディオ・システムはそのような表現間で切り換えることができ、前記処理を、その特定の動作のために最も効率的な領域で適用することができてもよい。
いくつかの実施形態では、オーディオ信号は時間周波数タイル信号として表現されてもよい。このように、信号は、タイルに分割されてもよい。ここで、各タイルはある時間区間および周波数区間に対応する。これらの各タイルについて、信号は一組の値によって表現されてもよい。典型的には、単一の複素信号値が各時間周波数タイルについて与えられる。
本記述では、単一のオーディオ信号が記述され、仮想位置からレンダリングされるべく処理される。しかしながら、たいていの例において、聴取者に対してレンダリングされる音は、多くの異なる音源からの音を含む。よって、典型的な諸実施形態では、複数のオーディオ信号が、典型的には異なる仮想位置から受領され、レンダリングされる。たとえば、仮想サラウンド・サウンド・システムについては、典型的には空間的な多チャンネル信号が受信される。そのようなシナリオでは、各信号は典型的には個々に、以下で単一のオーディオ信号について述べるように処理され、その後組み合わされる。もちろん、異なる信号は典型的には異なる位置からレンダリングされ、よって異なる両耳伝達位置が適用されうる。
同様に、多くの実施形態において、いくつかのオーディオ・オブジェクトが受領されてもよく、これらのそれぞれ（またはこれらの組み合わせ）が、述べるように、個々に処理されてもよい。
たとえば、オブジェクトまたは信号の組み合わせを、両耳伝達関数の組み合わせをもってレンダリングして、オブジェクトの組み合わせ中の各オブジェクトが異なる仕方で、たとえば異なる位置にレンダリングされるようにすることが可能である。いくつかのシナリオでは、オーディオ・オブジェクトまたは信号の組み合わせは、組み合わされたエンティティとして処理されてもよい。たとえば、前左およびサラウンド左チャンネルの減数混合が、二つの対応する両耳伝達関数の重み付けされた混合からなる両耳伝達関数をもってレンダリングされることができる。
次いで、出力信号は、異なるオーディオ信号のそれぞれについて生成されたバイノーラル信号を組み合わせる（たとえば足し合わせる）ことによって生成されてもよい。
このように、以下の記述は単一のオーディオ信号に焦点を当てるが、これは単に、複数のオーディオ信号のうちの一つの音源に対応するオーディオ信号の単一成分と考えられてもよい。
受領器３０１は、バイノーラル・プロセッサ３０３に結合されている。バイノーラル・プロセッサ３０３はオーディオ信号を受領し、該オーディオ信号を処理することによってバイノーラル出力信号を生成する。バイノーラル・プロセッサ３０３は一対のヘッドホン３０５に結合されており、これにバイノーラル信号が入力される。このように、バイノーラル信号は左耳のための信号および右耳のための信号を含む。
ヘッドホンの使用は多くの用途にとって典型的でありうるものの、記述される発明および原理はそれに限定されないことは理解されるであろう。たとえば、いくつかの状況では、音はユーザーの前方または（たとえば肩に取り付ける装置を使う）ユーザーの側方のスピーカーを通じてレンダリングされてもよい。いくつかのシナリオでは、両耳処理は、そのような場合、二つのスピーカー間の漏話を補償する（たとえば、右耳に聞こえてしまう左スピーカーからの音成分について右スピーカー信号を補償することができる）追加的な処理により向上させられてもよい。
バイノーラル・プロセッサ３０３はオーディオ信号処理を、該処理が、バイノーラル出力信号において前記オーディオ信号についての仮想音源位置を与える両耳伝達関数を表すよう処理するよう構成されている。図３のシステムでは、両耳伝達関数は、オーディオ信号に適用されてバイノーラル出力信号を生成する伝達関数である。よって、バイノーラル・プロセッサ３０３の処理の組み合わされた効果を反映しており、いくつかの実施形態では非線形効果、フィードバック効果などを含んでいてもよい。
前記処理の一部として、バイノーラル・プロセッサ３０３は、処理される信号に対して、仮想位置付け両耳伝達関数（virtual positioning binaural transfer function）を適用してもよい。具体的には、オーディオ信号からバイノーラル出力信号への信号経路の一部として、仮想位置付け両耳伝達関数が信号に対して適用される。
両耳伝達関数は具体的には、頭部伝達関数（HRTF）、頭部インパルス応答（IRIR）および／または両耳室内インパルス応答（BRIR）を含む。インパルス応答および伝達関数という用語は等価と考えられる。よって、バイノーラル出力信号は、聴取者頭部および典型的には部屋によって導入されるオーディオ整形（conditioning）を反映するよう生成され、それによりオーディオ信号は所望される位置で発しているように感じられる。
図４は、バイノーラル・プロセッサ３０３の例をより詳細に示している。この個別的な例では、オーディオ信号はバイノーラル信号プロセッサ４０１に入力され、バイノーラル信号プロセッサ４０１は両耳伝達関数に従ってオーディオ信号をフィルタリングすることに進む。バイノーラル信号プロセッサ４０１は二つのサブフィルタを有する。つまり、左耳チャンネルのための信号を生成するためのサブフィルタと、右耳チャンネルのための信号を生成するためのサブフィルタである。図４の例では、生成されたバイノーラル信号は増幅器４０３に入力され、増幅器４０３が左および右信号を独立に増幅し、次いでそれらをそれぞれヘッドホン３０５の左スピーカーおよび右スピーカーに入力する。
バイノーラル信号プロセッサ４０１についてのフィルタ特性は、オーディオ信号についての所望される仮想位置に依存する。今の例では、バイノーラル・プロセッサ３０３は、フィルタ特性を決定してそれをバイノーラル信号プロセッサ４０１に入力する係数プロセッサ４０５を有する。係数プロセッサ４０５は特に、位置指標を受領し、しかるべく適切なフィルタ・コンポーネントを選択してもよい。
いくつかの実施形態では、オーディオ信号はたとえば時間領域信号であってもよく、両耳信号プロセッサ４０１はIIRまたはFIRフィルタのような時間領域フィルタであってもよい。そのようなシナリオでは、係数プロセッサ４０５はたとえばフィルタ係数を与えてもよい。もう一つの例として、オーディオ信号は周波数領域に変換されてもよく、フィルタ処理は周波数領域で、たとえば各周波数成分にフィルタの周波数伝達関数に対応する複素数値を乗算することによって、適用されてもよい。いくつかの実施形態では、処理は完全に時間周波数タイル上で実行されてもよい。
いくつかの実施形態では、オーディオ信号に対して他の処理も適用されてもよい。たとえば、高域通過フィルタ処理または低域通過フィルタ処理が適用されてもよい。仮想音位置付け両耳処理（virtual sound positioning binaural processing）が他の処理と組み合わされてもよいことも理解されるであろう。たとえば、空間的パラメータに応答してのオーディオ信号の増数混合動作が両耳処理〔バイノーラル処理〕と組み合わされてもよい。たとえば、MPEGサラウンド信号について、時間周波数タイルによって表現される入力信号が、種々の空間的パラメータを適用することによって、種々の空間的信号に増数変換されてもよい。このように、所与の増数混合された信号について、各時間周波数タイルは空間的パラメータ／増数混合に対応する複素数値の乗算をされもよい。結果として得られる信号は次いで、各時間周波数タイルに両耳伝達関数に対応する複素数値を乗算することによる両耳処理にかけられてもよい。もちろん、いくつかの実施形態では、これらの動作は組み合わされて、各時間周波数タイルが増数混合および両耳処理の両方を表す単一の複素数値（これは特に、二つの別個の複素数値の乗算に対応してもよい）を乗算されるようにしてもよい。
従来のバイノーラル仮想空間的オーディオでは、両耳処理は、測定によって導出された所定の両耳伝達関数に基づいていた。該測定は典型的にはダミーの耳内に位置されたマイクロホンを使う。HRTFおよびHRIRについては、ユーザーの影響だけが考慮に入れられ、環境は考慮に入れられない。しかしながら、BRIRが使われるときは、測定が行われた部屋の部屋特性も含められる。これは、多くのシナリオにおいて改善されたユーザー経験を提供しうる。実際、ヘッドホンを通じた仮想サラウンド・オーディオが、測定がなされた部屋で再生されるときに、説得力のある頭外定位が得られることが見出されている。しかしながら、他の環境では、特に音響特性が非常に異なる環境では（すなわち、再生と測定した部屋の間に明瞭なミスマッチがある場合には）、知覚される頭外定位は著しく劣化しうる。
図３のシステムでは、そのような劣化は、両耳処理を適応させることによって有意に緩和および軽減される。
具体的には、図３のオーディオ・システムはさらに、システムが使われる音響環境に依存するまたはこれを反映する現実世界の測定を実行する測定回路３０７を有している。こうして、測定回路３０７は、音響環境の特性を示す測定データを生成する。
今の例では、システムは、オーディオ信号を捕捉するマイクロホン３０９に結合されている。だが、他の実施形態では、他のセンサーおよび他のモダリティが追加的または代替的に使われてもよいことは理解されるであろう。
測定回路３０７は、測定データを受領し、それに応答して音響環境パラメータを生成することに進むパラメータ・プロセッサ３１１に結合されている。このように、仮想音がレンダリングされる個別的な音響環境を示すパラメータが生成される。たとえば、パラメータは、部屋がどの程度エコーがあるまたは反響するかを示してもよい。
パラメータ・プロセッサ３１１は、決定された音響環境パラメータに依存してバイノーラル・プロセッサ３０３によって使われる両耳伝達関数を適応させるよう構成された適応プロセッサ３１３に結合されている。たとえば、パラメータが非常に反響のある部屋を示す場合、BRIRによって測定されるより高い度合いの反響を反映するよう両耳伝達関数が修正されてもよい。
このように、図３のシステムは、使われているオーディオ環境をよりよく反映するようレンダリングされる仮想音を適応させることができる。これは、より一貫するかつ自然に思える仮想音提供を提供しうる。特に、視覚的な位置手がかりが、提供されるオーディオ位置手がかりとよりよく整合することを許容しうる。
本システムは両耳伝達関数を動的に更新してもよく、この動的な更新はいくつかの実施形態ではリアルタイムで実行されてもよい。たとえば、測定プロセッサ３０７は連続的に測定を実行して現在測定データを生成してもよい。これは、連続的に更新される音響環境パラメータおよび両耳伝達関数の連続的に更新される適応に反映されてもよい。このように、両耳伝達関数は現在のオーディオ環境を反映するよう連続的に修正されてもよい。
これは、非常に魅力的なユーザー経験を提供しうる。個別的な例として、浴室は、非常に硬く、音響的に非常に反射性が高く、ほとんど減衰のない表面が支配的である傾向がある。対照的に、寝室は、軟らかく、特に高めの周波数について減衰させる表面が支配的である傾向がある。このように、仮想サラウンド・サウンドを提供する一対のヘッドホンを着用している人物は、図３のシステムにより、ユーザーが浴室から寝室へ、またはその逆に行くときに自動的に調整される仮想音を提供されることができる。よって、ユーザーが浴室を出て寝室にはいるとき、音は自動的に、新しい音響環境を反映して反響やエコーが少なくなる。
使用される厳密な音響環境パラメータは個々の実施形態の選好および要求に依存しうることは理解されるであろう。しかしながら、多くの実施形態において、音響環境パラメータが、音響環境についての反響パラメータを含むことは、特に有利でありうる。
実際、反響は、比較的低計算量のアプローチを使って比較的正確に測定できる特性であるだけでなく、ユーザーのオーディオ知覚に、特にユーザーの空間的知覚にとりわけ著しい影響をもつ特性でもある。
特定の測定および測定されるパラメータが個々の実施形態の個別的な要求および選好にも依存することは理解されるであろう。以下では、音響環境パラメータおよびこれを生成する方法のさまざまな有利な例について述べる。
いくつかの実施形態では、音響環境パラメータは、音響環境についての残響時間を示すパラメータを含んでいてもよい。残響時間は、反射が特定のレベルにまで低下するのにかかる時間として定義されてもよい。たとえば、残響時間は、反射のエネルギー・レベルが60dB低下するのにかかる時間として決定されてもよい。この値は典型的にはT60によって表される。
残響時間T60はたとえば
Figure 0005857071
 によって決定されてもよい。ここで、Vは部屋の容積であり、aは等価吸音面積の推定値である。
いくつかの実施形態では、部屋の所定の特性（Vおよびaなど）がいくつかの異なる部屋について知られていてもよい（たとえばユーザーが手動で値を入力することにより）。すると、システムは、単にユーザーが現在どの部屋にいるかを決定する測定を実行することに進む。次いで、対応するデータが取得され、残響時間を計算するために使われてもよい。部屋の決定は、オーディオ特性を、各部屋内の測定され記憶されているオーディオ特性と比較することによってでもよい。もう一つの例として、カメラが部屋の画像を撮影し、これをどのデータが取得されるべきかを選択するために使ってもよい。さらにもう一つの例として、測定は位置推定を含んでいてもよく、その位置に対応する部屋についての適切なデータが取得されてもよい。さらにもう一つの例では、ユーザーが好む音響レンダリング・パラメータが、GPSセルから導出される位置情報、特定のWiFiアクセス・ポイントの近さまたは人工光と自然光を弁別してユーザーが屋内にいるか屋外にいるかを判定する光センサーに関連付けられる。
もう一つの例として、残響時間は非特許文献３により詳細に記載される、二つのマイクロホン信号の具体的な処理によって決定されてもよい。
いくつかの実施形態では、本システムは音響環境についてインパルス応答を決定してもよい。次いで、インパルス応答は音響環境パラメータを決定するために使われてもよい。たとえば、インパルスを評価して、インパルス応答のレベルが所定のレベルに低下するまでの時間の長さを決定してもよい。たとえば、T60値は、応答が60dB下がるまでのインパルス応答の継続時間として決定される。
インパルス応答を決定するための任意の好適なアプローチが使用されうることは理解されるであろう。
たとえば、本システムは、音響環境中に放射される音試験信号を生成する回路を含んでいてもよい。たとえば、ヘッドホンが外部スピーカーを含んでいてもよく、あるいは別のスピーカー・ユニットが使用されてもよい。
次いでマイクロホン３０９はオーディオ環境をモニタリングし、捕捉されたマイクロホン信号からインパルス応答が生成される。たとえば、非常に短いパルスが放射されてもよい。この信号はエコーおよび反響を生成するよう反射される。このように、試験信号はディラック・インパルスを近似してもよく、よって、マイクロホンによって捕捉される信号はいくつかのシナリオではインパルス応答を直接反映してもよい。そのようなアプローチは、他のオーディオ源からの干渉が存在しない非常に静穏な環境に特に好適でありうる。他のシナリオでは、試験信号は既知の信号（擬似ノイズ信号など）であってもよく、マイクロホン信号は試験信号と相関付けされてインパルス応答を生成してもよい。
いくつかの実施形態では、音響環境パラメータは、直接経路エネルギーに対する反響エネルギーの指標を含んでいてもよい。たとえば、測定された（直接サンプリングされた）BRIR h[n]について、直接音エネルギー対反響エネルギー比Rは次のように決定できる。
Figure 0005857071
 ここで、Tは直接音と反響音を弁別するための好適な閾値である（典型的には5〜50ms）。
いくつかの実施形態では、音響環境パラメータは、室内インパルス応答の少なくとも一部の周波数スペクトルを反映してもよい。たとえば、インパルス応答は、たとえばFFTを使って周波数領域に変換されてもよく、結果として得られる周波数スペクトルが解析されてもよい。
たとえば、モード密度（modal density）が決定されてもよい。モードは、室内のオーディオについての共振または定常波効果に対応する。よって、モード密度は、周波数領域におけるピークから検出されうる。そのようなモード密度の存在は、室内での音に影響することがあり、よってモード密度の検出は、レンダリングされる仮想音に対する対応する影響を与えるために使用されてもよい。
他のシナリオでは、モード密度はたとえば部屋の特性から、よく知られた公式を使って計算されてもよいことは理解されるであろう。たとえば、モード密度は部屋の大きさの知識から計算できる。具体的には、モード密度は次のように計算できる。
Figure 0005857071
 ここで、cは音速、fは周波数である。
いくつかの実施形態では、エコー密度（echo density）が計算されてもよい。エコー密度は、室内でいくつのエコーがどのくらい密集しているかを反映する。たとえば、小さな寝室では、比較的近接したエコーが比較的多数存在する傾向があり、一方、大きな寝室では、それほど密集していない（かつそれほど強力でない）より少数のエコーが存在する傾向がある。よって、そのようなエコー密度パラメータは、仮想音レンダリングを適応させるために有利に使用されることができ、測定されたインパルス応答から計算されてもよい。
エコー密度はインパルス応答から決定されてもよく、あるいはよく知られた公式を使って部屋の特性から計算されてもよい。たとえば、時間的なエコー密度は次のように計算されてもよい。
Figure 0005857071
 ここで、tは時間ラグである。
いくつかの実施形態では、単に早期反射のレベルを評価することが有利であることがある。たとえば、短いインパルス試験信号が放射されてもよく、本システムは所与の時間区間、たとえばインパルス送出後の50msecにおいてマイクロホン信号の組み合わされた信号レベルを決定してもよい。その時間区間内に受領されるエネルギーは、早期エコーの有意性の、低計算量だが非常に有用な尺度を提供する。
いくつかの実施形態では、音響環境パラメータは、両耳間のコヒーレンス／相関を反映するよう決定されてもよい。二つの耳の間の相関／コヒーレンスは、たとえば、それぞれ左および右のイヤピース内に位置された二つのマイクロホンからの信号から決定されてもよい。両耳間の相関は拡散性（diffuseness）を反映してもよく、レンダリングされる仮想音を補正するための特に有利な基礎を提供しうる。拡散性は、部屋がどのくらい反響するかの指標を与えるからである。反響のある部屋は、ほとんどまたは全く反響のない部屋よりも拡散性があることになろう。
いくつかの実施形態では、音響環境パラメータは単に部屋サイズ推定値であるまたは部屋サイズ推定値を含んでいてもよい。実際、これまでの例から明らかに見て取れるように、部屋サイズは部屋の音特性に対して有意な効果をもつ。特に、エコーおよび反響はそれに強く依存する。したがって、いくつかのシナリオでは、レンダリングされる音の適応は、単に、測定に基づく部屋サイズの決定に基づいていてもよい。
室内インパルス応答を決定する以外のアプローチが使われることができることは理解されるであろう。たとえば、測定システムは代替的または追加的に、視覚、光、レーダー、超音波、レーザー、カメラまたは他の感覚測定（sensory measurement）といった他のモダリティを使ってもよい。そのようなモダリティは、反響特性を決定できるもとになる部屋サイズを推定するために特に好適でありうる。もう一つの例として、そのようなモダリティは、反射特性（たとえば壁面反射の周波数応答）を推定するために好適であることがある。たとえば、カメラは部屋が浴室に対応することを判別してもよく、よって典型的なタイル張りの表面に対応する反射特性を想定してもよい。もう一つの例として、絶対的または相対的な位置情報が使われてもよい。
さらにもう一つの例として、超音波センサーおよび超音波試験信号の放射に基づく超音波レンジ決定が部屋のサイズを推定するために使用されてもよい。他の実施形態では、光スペクトルに基づく推定を得るために光センサーが使用されてもよい（たとえば、自然光を検出するか人工光を検出するかを評価して、それにより内部環境または外部環境の間の弁別を許容する）。また、GPSに基づく位置情報も有用でありうる。もう一つの例として、ある種のWiFiアクセス・ポイントまたはGSM（登録商標）セル識別子の検出および認識が、どの両耳伝達関数を使うべきかを特定するために使用されることができる。
オーディオ測定は多くの実施形態では有利にはオーディオ試験信号の放射に基づくが、実施形態によっては試験信号を使わなくてもよいことも理解されるであろう。たとえば、いくつかの実施形態では、反響、周波数応答またはインパルス応答のようなオーディオ特性の決定は、現在の物理的な部屋内の他の源によって生成される音（たとえば足音、ラジオなど）を解析することにより受動的になされてもよい。
図３のシステムでは、バイノーラル・プロセッサ３０３の処理は次いで、音響環境パラメータに応答して修正される。具体的には、バイノーラル信号プロセッサ４０１はオーディオ信号を両耳伝達関数に従って処理する。ここで、両耳伝達関数は音響環境パラメータに依存する。
いくつかの実施形態では、両耳信号プロセッサ４０１は、複数の異なる音響環境に対応する両耳伝達関数データを記憶するデータ記憶部を有していてもよい。たとえば、典型的な浴室、寝室、居間、キッチン、ホール、自動車、列車などといったいくつかの異なる部屋種別について一つまたは複数のBRIRが記憶されていてもよい。各種別について、異なる部屋サイズに対応する複数のBRIRが記憶されていてもよい。各BRIRについて、BRIRが測定された部屋の特性がさらに記憶される。
バイノーラル信号プロセッサ４０１はさらに、音響環境パラメータを受領し、応答して前記記憶部から適切な両耳伝達関数データを取得するよう構成されたプロセッサを有していてもよい。たとえば、音響環境パラメータは、部屋サイズ指標、早期エネルギーと後期エネルギーの比の指標および残響時間を含む複合パラメータであってもよい。すると、プロセッサは、記憶されているデータを探索して、記憶されている部屋特性が測定された部屋特性に最もよく似るBRIRを見出してもよい。
次いでプロセッサは、最もよくマッチするBRIRを取得し、それをオーディオ信号に適用してバイノーラル信号を生成する。該バイノーラル信号が、増幅後、ヘッドホンに入力される。
いくつかの実施形態では、前記データ記憶部は、動的に更新および／または発展されてもよい。たとえば、ユーザーが新しい部屋にいるとき、音響環境パラメータが決定され、その部屋にマッチするBRIRを生成するために使われてもよい。次いでそのBRIRがバイノーラル出力信号を生成するために使われてもよい。しかしながら、さらに、BRIRは前記データ記憶部に、その部屋の、音響環境パラメータ、可能性としては位置などといった適切な決定された特性と一緒に記憶されてもよい。このようにして、データ記憶部は、新しいデータが生成されるにつれてその時々に該新しいデータをもって、動的に構築され向上させられてもよい。すると、BRIRはその後、第一原理から決定する必要なしに使うことができる。たとえば、ユーザーが以前に当該装置を使ったことがある部屋に戻るとき、そのことが自動的に検出され、記憶されているBRIRが取得され、バイノーラル出力信号を生成するために使われる。好適なBRIRが入手可能でない場合にのみ、新しいBRIRを生成することが必要になる（その新しいBRIRはその後記憶される）。そのようなアプローチは、複雑さおよび処理資源を軽減しうる。
いくつかの実施形態では、バイノーラル信号プロセッサ４０１は二つの信号処理ブロックを有する。第一のブロックは、所定の／固定した仮想位置両耳伝達関数に対応する処理を実行してもよい。このように、このブロックは、参照測定に基づいて、たとえばシステムの設計の際に生成されうる参照BRIR、HRIRまたはHRTFに従って入力信号を処理してもよい。第二の信号処理ブロックは、音響環境パラメータに応答して部屋シミュレーションを実行するよう構成されていてもよい。このように、この例では、全体的な両耳伝達関数は、固定した所定のBRIR、HRIRまたはHRTFからの、および適応的な部屋シミュレーション・プロセスのための寄与を含む。このアプローチは、複雑さを減らし、設計を容易にしうる。たとえば、多くの実施形態において、特定の所望される仮想位置付けを考慮する部屋シミュレーション処理なしに正確な部屋適応を生成することが可能である。このように、仮想位置付けおよび部屋適応が分離されることができ、それぞれがこれらの側面の一方のみを考慮すればよい個別的な信号処理ブロックをもつ。
たとえば、BRIR、HRIRまたはHRTFは所望される仮想位置に対応するよう選択されてもよい。結果として得られるバイノーラル信号は次いで修正されて、部屋の反響特性にマッチする反響特性をもつようにされる。しかしながら、この修正は、オーディオ源の特定の位置とは独立と考えられてもよく、そのため音響環境パラメータだけを考えればよい。このアプローチは、部屋シミュレーションおよび適応を著しく容易にしうる。
個々の処理は並列にまたは直列に実行されうる。図５は、固定したHRTF処理５０１および可変な適応的部屋シミュレーション処理５０３が並列にオーディオ信号に適用される例を示している。結果として得られる信号は次いで単純な加算５０５によって組み合わされる。図６は、固定したHRTF処理６０１および可変な適応的部屋シミュレーション処理６０３が直列に実行されて、HRTF処理によって生成されたバイノーラル信号に対して適応的部屋シミュレーション処理が適用される例を示している。他の実施形態では処理の順序は逆にされてもよいことは理解されるであろう。
いくつかの実施形態では、固定したHRTF処理を個々に各チャンネルに適用し、可変な適応的な部屋シミュレーション処理を並列な全チャンネルの混合に対して一度に適用することが有利であることがある。
バイノーラル信号プロセッサ４０１は特に、本オーディオ・システムからの出力バイノーラル信号が音響環境パラメータに反映される特性（単数または複数）によりよく似る特性をもつよう両耳伝達関数を修正しようとしてもよい。たとえば、長い残響時間を示す音響環境パラメータについては、生成される出力バイノーラル信号の残響時間が増大させられる。たいていの実施形態では、残響特性は、生成された仮想音と音響環境との間のより緊密な相関を与えるよう適応させるのに特に好適なパラメータである。
これは、バイノーラル信号プロセッサ４０１の部屋シミュレーション信号処理５０３、６０３を修正することによって達成されてもよい。
特に、部屋シミュレーション信号処理５０３、６０３は多くの実施形態において、音響環境パラメータに応答して適応される反響器を有していてもよい。
早期反射のレベルは、HRIR、HRTFまたはBRIRのレベルに対する早期反射を含む反響部分のインパルス応答の少なくとも一部のレベルを調整することによって制御できる。
このように、合成反響アルゴリズムは、推定された部屋パラメータに基づいて制御されてもよい。
さまざまな合成反響器が知られており、任意の好適なそのような反響器を使用できることは理解されるであろう。
図７は、一体の（unitary）フィードバック・ネットワーク反響器として、特にジョー（Jot）反響器として実装される部屋シミュレーション信号処理の個別的な例を示している。
部屋シミュレーション信号処理５０３、６０３はバイノーラル出力信号の特性を修正するようジョー反響器のパラメータを適応させることに進んでもよい。具体的には、音響環境パラメータについて先述した特性の一つまたは複数を修正することができる。
実際、図７のジョー反響器の例では、モードおよびエコー密度は、遅延（mi）の相対値および絶対値を変えることによって修正できる。フィードバック・ループ内の利得の値を適応させることによって、残響時間が制御できる。さらに、周波数依存のT60は、利得を適切なフィルタ（h(z)）で置き換えることによって制御できる。
バイノーラル反響については、N個の分枝の出力が種々の仕方（αi、βi）で組み合わされることができる。これにより相関0をもつ二つの反響尾部を生成することができる。二つの反響出力のICCを制御するために、一対の合同設計された（jointly designed）フィルタ（c1(z)、c2(z)）が結果的に用いられることができる。
ネットワーク中のもう一つのフィルタ（tL(z)、tR(z)）は反響のスペクトル等化を制御するために使用できる。また、反響の全体的な利得はこのフィルタに組み込まれることができる。それにより、直接部分と反響部分の比、すなわち直接音エネルギーに対する反響エネルギーの比に対する制御が許容される。
ジョー反響器の使用について、特に時間および周波数密度と反響器パラメータとの間の関係ならびに所望される周波数依存T60から反響器パラメータへの変換についてのさらなる詳細は、非特許文献２に見出すことができる。
バイノーラル・ジョー反響器の使用について、特に所望される両耳間コヒーレンス／相関および音色（coloration）をいかにして反響器パラメータに変換するかについてのさらなる詳細は、非特許文献４に見出すことができる。
いくつかの実施形態では、音響環境パラメータおよび両耳伝達関数は、レンダリングされる音を音響環境に対して連続的に適応させるよう動的に修正されてもよい。しかしながら、他の実施形態では、両耳伝達関数は、音響環境パラメータがある基準を満たすときに修正されるだけでもよい。具体的には、要件は、音響環境パラメータが、現在の処理パラメータを設定するときに使われた音響環境パラメータから、所定の閾値より大きく違っていなければならないというものであってもよい。よって、いくつかの実施形態では、両耳伝達関数は、部屋特性（単数または複数）の変化が所定のレベルを超える場合に更新されるだけである。これは、多くのシナリオにおいて、音のより安定したレンダリングをもつ改善された聴取経験を提供しうる。
いくつかの実施形態では、両耳伝達関数の修正は瞬間的であってもよい。たとえば、異なる残響時間が突然測定される場合（たとえばユーザーが異なる部屋に移ったため）、システムは音レンダリングがそれに対応するよう、残響時間をすぐに変えてもよい。しかしながら、他の実施形態では、システムは、変化の速度を制約する、よって両耳伝達関数を徐々に修正するよう構成されていてもよい。たとえば、遷移は1〜5秒などの時間期間にわたって徐々に実施されてもよい。遷移はたとえば、両耳伝達関数についての目標値の補間によって達成されてもよいし、あるいはたとえば前記処理を適応させるために使われる音響環境パラメータ値の徐々の遷移によって達成されてもよい。
いくつかの実施形態では、測定された音響環境パラメータおよび／または対応する処理パラメータはのちのユーザーのために記憶されてもよい。たとえば、ユーザーはのちに、以前に決定された値から選択してもよい。そのような選択は、たとえばシステムが現在の環境の特性が以前に測定された特性をよく反映していることを検出することによって、自動的に実行されてもよい。そのようなアプローチは、ユーザーが頻繁に部屋に出入りするシナリオについて実際的でありうる。
いくつかの実施形態では、両耳伝達関数は、部屋毎に適応されてもよい。実際、音響環境パラメータは全体としての部屋の特性を反映してもよい。このように、両耳伝達関数は部屋をシミュレートし、部屋特性を考慮に入れるときに仮想空間的レンダリングを提供するために更新される。
いくつかの実施形態では、しかしながら、音響環境パラメータは部屋についての音響特性を反映するのみならず、部屋の中でのユーザーの位置をも反映してもよい。たとえば、ユーザーが壁に近い場合、早期反射と後期反響との比は変わることがあり、音響環境パラメータはこれを反映してもよい。これは、早期反射と後期反響の同様の比を与えるよう、両耳伝達関数を修正させてもよい。このように、ユーザーが壁に向かって動くにつれ、直接的な早期エコーはレンダリングされる音においてより有意になり、反響尾部は低下する。ユーザーが壁から遠ざかると、逆のことが起こる。
いくつかの実施形態では、本システムは、ユーザー位置に応答して両耳伝達関数を更新するよう構成されていてもよい。これは、上記の例において述べられるようにして間接的になされてもよい。具体的には、適応は、ユーザーの位置に依存する、特に部屋の中でのユーザーの位置に依存する音響環境パラメータを決定することによって間接的に行われてもよい。
いくつかの実施形態では、ユーザー位置を示す位置パラメータが生成され、両耳伝達関数を適応させるために使われてもよい。たとえば、カメラが設置され、視覚的検出技法を使って部屋の中でユーザーを位置特定してもよい。対応する位置推定値は次いでオーディオ・システムに（たとえば無線通信を使って）伝送されてもよく、両耳伝達関数を適応させるために使われてもよい。
上記の記述は明確のため本発明の実施形態を、種々の機能的な回路、ユニットおよびプロセッサに言及しつつ記述していることが理解されるであろう。しかしながら、本発明を損なうことなく、異なる機能的な回路、ユニットまたはプロセッサの間での任意の好適な機能の分配が使用されうることは明白であろう。たとえば、別個のプロセッサまたはコントローラによって実行されるよう示されている機能が同じプロセッサまたはコントローラによって実行されてもよい。よって、特定の機能ユニットまたは回路への言及は、厳密な論理的または物理的な構造または編成を示すというよりは、記載される機能を提供する好適な手段に言及したものとしてのみ見るべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されることもできる。本発明は任意的に、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で走るコンピュータ・ソフトウェアとして実装されてもよい。本発明のある実施形態の要素およびコンポーネントは、物理的、機能的および論理的に、任意の好適な仕方で実装されてもよい。実際、機能は単一のユニットに、複数のユニットに、または他の機能ユニットの一部として実装されてもよい。よって、本発明は、単一のユニットで実装されてもよいし、あるいは物理的および機能的に異なるユニット、回路およびプロセッサの間で分散されていてもよい。
本発明はいくつかの実施形態との関連で述べてきたが、本稿に記載される特定の形に限定されることは意図されていない。むしろ、本発明の範囲は付属の請求項によってのみ限定される。さらに、ある特徴が特定の実施形態との関連で記載されているように見えることがありうるが、当業者は、記載される諸実施形態のさまざまな特徴が本発明に基づいて組み合わされてもよいことを認識するであろう。請求項において、有する／含むの語は他の要素またはステップの存在を排除するものではない。
さらに、個別に挙げられてはいても、複数の手段、要素、回路または方法ステップが、たとえば単一の回路、ユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含まれていたとしても、それらは可能性としては有利に組み合わされうるのであって、異なる請求項に含まれていることが、特徴の組み合わせが実現可能でないおよび／または有利でないことを含意するものではない。また、ある特徴があるカテゴリーの請求項に含まれていることは、このカテゴリーへの限定を含意するのではなく、むしろ、その特徴が適宜他のカテゴリーの請求項にも等しく適用可能であることを示す。さらに、請求項における特徴の順序は、それらの特徴が作用しなければならないいかなる特定の順序をも含意しない。特に、方法請求項における個々のステップの順序はそれらのステップがその順序で実行されなければならないことを含意するものではない。むしろ、ステップは任意の好適な順序で実行されうる。さらに、単数形での言及は複数を排除するものではない。「ある」「第一の」「第二の」などの言及は複数を排除するものではない。請求項における参照符号は、単に明快にするための例として与えられているのであって、いかなる仕方であれ特許請求の範囲を限定するものと解釈してはならない。

Claims (14)

  1. オーディオ信号を受領する受領器と；
    前記オーディオ信号を処理することによってヘッドホン出力用のバイノーラル出力信号を生成するバイノーラル回路であって、前記処理は前記オーディオ信号について仮想音源位置を与える両耳伝達関数を表す、回路と；
    前記ヘッドホンにより意図された音場の外部の音響環境の特性を示す測定データを生成する測定回路と；
    前記測定データに応答して音響環境パラメータを決定する決定回路と；
    前記音響環境パラメータに応答して前記両耳伝達関数を適応させる適応回路とを有するオーディオ・システムであって、
    前記適応回路は前記音響環境の変化と同様な音響効果をもたらすよう前記両耳伝達関数を動的に更新するよう構成されている、
    オーディオ・システム。
  2. 前記音響環境パラメータが、前記音響環境についての反響パラメータを含む、請求項１記載のオーディオ・システム。
  3. 前記音響環境パラメータが：
    ・残響時間；
    ・直接経路エネルギーに対する反響エネルギー；
    ・室内インパルス応答の少なくとも一部の周波数スペクトル；
    ・室内インパルス応答の少なくとも一部のモード密度；
    ・室内インパルス応答の少なくとも一部のエコー密度；
    ・両耳間のコヒーレンスまたは相関；
    ・早期反射のレベル；および
    ・部屋サイズ推定値
    のうちの少なくとも一つを含む、請求項１記載のオーディオ・システム。
  4. 前記適応回路が、前記両耳伝達関数の反響特性を適応させるよう構成されている、請求項１記載のオーディオ・システム。
  5. 前記適応回路は、前記両耳伝達関数の次の特性、すなわち：
    ・残響時間；
    ・直接音エネルギーに対する反響エネルギー；
    ・前記両耳伝達関数の少なくとも一部の周波数スペクトル；
    ・前記両耳伝達関数の少なくとも一部のモード密度；
    ・前記両耳伝達関数の少なくとも一部のエコー密度；
    ・両耳間のコヒーレンスまたは相関；および
    ・前記両耳伝達関数の少なくとも一部の早期反射のレベル
    のうちの少なくとも一つを適応させるよう構成されている、請求項１記載のオーディオ・システム。
  6. 前記処理は、所定の両耳伝達関数と、前記音響環境パラメータに応答して適応された可変な両耳伝達関数との組み合わせを含む、請求項１記載のオーディオ・システム。
  7. 前記適応回路は、前記環境特性がある基準を満たすときにのみ、前記両耳伝達関数を修正するよう構成されている、請求項１記載のオーディオ・システム。
  8. 前記適応回路は、前記両耳伝達関数をある時間期間にわたって徐々に修正するよう構成されている、請求項１記載のオーディオ・システム。
  9. 両耳伝達関数データを記憶するデータ記憶部と；
    前記音響環境パラメータに応答して前記データ記憶部から両耳伝達関数データを取得する回路とを有しており、
    前記適応回路は取得された両耳伝達関数データに応答して前記両耳伝達関数を適応させるよう構成されている、
    請求項１記載のオーディオ・システム。
  10. 前記音響環境中に音試験信号を放射するよう構成された試験信号回路をさらに有しており、
    前記測定回路は前記環境中の受領された音信号を捕捉するよう構成されており、受領されたオーディオ信号は、放射された音試験信号から生じる信号成分を含み、
    前記決定回路は、音試験信号に応答して音響環境パラメータを決定するよう構成されている、
    請求項１記載のオーディオ・システム。
  11. 前記決定回路は、受領された音信号に応答して環境インパルス応答を決定し、該環境インパルス応答に応答して前記音響環境パラメータを決定するよう構成されている、請求項１０記載のオーディオ・システム。
  12. 前記適応回路はさらに、ユーザー位置に応答して前記両耳伝達関数を更新するようさらに構成されている、請求項１記載のオーディオ・システム。
  13. 前記バイノーラル回路は反響器を有し、前記適応回路は、前記音響環境パラメータに応答して前記反響器の反響処理を適応させるよう構成されている、請求項１記載のオーディオ・システム。
  14. オーディオ・システムの動作方法であって：
    オーディオ信号を受領する段階と；
    前記オーディオ信号を処理することによってヘッドホン出力用のバイノーラル出力信号を生成する段階であって、前記処理は前記オーディオ信号について仮想音源位置を与える両耳伝達関数を表す、段階と；
    前記ヘッドホンにより意図された音場の外部の音響環境の特性を示す測定データを生成する段階と；
    前記測定データに応答して音響環境パラメータを決定する段階と；
    前記音響環境パラメータに応答して前記両耳伝達関数を適応させる段階とを含み、
    前記適応は前記音響環境の変化と同様な音響効果をもたらすよう前記両耳伝達関数を動的に更新するよう構成されている、
    方法。
JP2013547946A 2011-01-05 2012-01-03 オーディオ・システムおよびその動作方法 Active JP5857071B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11150155.7 2011-01-05
EP11150155 2011-01-05
PCT/IB2012/050023 WO2012093352A1 (en) 2011-01-05 2012-01-03 An audio system and method of operation therefor

Publications (2)

Publication Number Publication Date
JP2014505420A JP2014505420A (ja) 2014-02-27
JP5857071B2 true JP5857071B2 (ja) 2016-02-10

Family

ID=45470627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013547946A Active JP5857071B2 (ja) 2011-01-05 2012-01-03 オーディオ・システムおよびその動作方法

Country Status (8)

Country Link
US (1) US9462387B2 (ja)
EP (1) EP2661912B1 (ja)
JP (1) JP5857071B2 (ja)
CN (1) CN103329576B (ja)
BR (1) BR112013017070B1 (ja)
RU (1) RU2595943C2 (ja)
TR (1) TR201815799T4 (ja)
WO (1) WO2012093352A1 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2637427A1 (en) 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
TWI481892B (zh) * 2012-12-13 2015-04-21 Ind Tech Res Inst 脈波雷達測距裝置及其測距演算法
US20160109284A1 (en) * 2013-03-18 2016-04-21 Aalborg Universitet Method and device for modelling room acoustic based on measured geometrical data
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
US10075795B2 (en) 2013-04-19 2018-09-11 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
JP5998306B2 (ja) * 2013-05-16 2016-09-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 部屋寸法推定の決定
EP2830043A3 (en) 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
CN110890101B (zh) 2013-08-28 2024-01-12 杜比实验室特许公司 用于基于语音增强元数据进行解码的方法和设备
US10469969B2 (en) 2013-09-17 2019-11-05 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
CN103607669B (zh) * 2013-10-12 2016-07-13 公安部第三研究所 一种楼宇对讲系统音频传输特性检测方法及检测系统
CN105900455B (zh) 2013-10-22 2018-04-06 延世大学工业学术合作社 用于处理音频信号的方法和设备
CN104661169B (zh) * 2013-11-25 2018-11-06 深圳中电长城信息安全系统有限公司 一种音频测试方法和装置
EP3934283B1 (en) 2013-12-23 2023-08-23 Wilus Institute of Standards and Technology Inc. Audio signal processing method and parameterization device for same
US10382880B2 (en) 2014-01-03 2019-08-13 Dolby Laboratories Licensing Corporation Methods and systems for designing and applying numerically optimized binaural room impulse responses
CN104768121A (zh) * 2014-01-03 2015-07-08 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
WO2015102920A1 (en) * 2014-01-03 2015-07-09 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
CN105874820B (zh) * 2014-01-03 2017-12-12 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
KR102149216B1 (ko) 2014-03-19 2020-08-28 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
CN108307272B (zh) 2014-04-02 2021-02-02 韦勒斯标准与技术协会公司 音频信号处理方法和设备
DE102014210215A1 (de) * 2014-05-28 2015-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ermittlung und Nutzung hörraumoptimierter Übertragungsfunktionen
US20150382122A1 (en) * 2014-06-30 2015-12-31 Uri El Zur Systems and methods for adaptive management of spaces and/or openings of the spaces
WO2016002358A1 (ja) * 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2016009863A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 サーバ装置、およびサーバ装置の情報処理方法、並びにプログラム
KR20160020377A (ko) 2014-08-13 2016-02-23 삼성전자주식회사 음향 신호를 생성하고 재생하는 방법 및 장치
EP3550859B1 (en) 2015-02-12 2021-09-15 Dolby Laboratories Licensing Corporation Headphone virtualization
CN112492501B (zh) 2015-08-25 2022-10-14 杜比国际公司 使用呈现变换参数的音频编码和解码
US9734686B2 (en) * 2015-11-06 2017-08-15 Blackberry Limited System and method for enhancing a proximity warning sound
WO2017132082A1 (en) 2016-01-27 2017-08-03 Dolby Laboratories Licensing Corporation Acoustic environment simulation
EP3412039B1 (en) * 2016-02-02 2020-12-09 DTS, Inc. Augmented reality headphone environment rendering
US9826332B2 (en) * 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9924291B2 (en) 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9881619B2 (en) 2016-03-25 2018-01-30 Qualcomm Incorporated Audio processing for an acoustical environment
US9906851B2 (en) 2016-05-20 2018-02-27 Evolved Audio LLC Wireless earbud charging and communication systems and methods
GB201609089D0 (en) 2016-05-24 2016-07-06 Smyth Stephen M F Improving the sound quality of virtualisation
US9584946B1 (en) * 2016-06-10 2017-02-28 Philip Scott Lyren Audio diarization system that segments audio input
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US10278003B2 (en) * 2016-09-23 2019-04-30 Apple Inc. Coordinated tracking for binaural audio rendering
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US10242449B2 (en) * 2017-01-04 2019-03-26 Cisco Technology, Inc. Automated generation of pre-labeled training data
EP3569000B1 (en) 2017-01-13 2023-03-29 Dolby Laboratories Licensing Corporation Dynamic equalization for cross-talk cancellation
JP6791001B2 (ja) * 2017-05-10 2020-11-25 株式会社Ｊｖｃケンウッド 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム
EP3410747B1 (en) * 2017-06-02 2023-12-27 Nokia Technologies Oy Switching rendering mode based on location data
CN109286889A (zh) * 2017-07-21 2019-01-29 华为技术有限公司 一种音频处理方法及装置、终端设备
WO2019031652A1 (ko) * 2017-08-10 2019-02-14 엘지전자 주식회사 3차원 오디오 재생 방법 및 재생 장치
IL297445B2 (en) * 2017-10-17 2024-03-01 Magic Leap Inc Spatial audio for mixed reality
CN108269578B (zh) * 2018-02-05 2019-10-18 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
IL276510B2 (en) 2018-02-15 2024-02-01 Magic Leap Inc Virtual reverberation in mixed reality
EP3808107A4 (en) * 2018-06-18 2022-03-16 Magic Leap, Inc. SPATIAL AUDIO FOR INTERACTIVE AUDIO ENVIRONMENTS
CN110677802B (zh) * 2018-07-03 2022-05-13 百度在线网络技术（北京）有限公司 用于处理音频的方法和装置
CN113115175B (zh) * 2018-09-25 2022-05-10 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
TW202041053A (zh) 2018-12-28 2020-11-01 日商索尼股份有限公司 資訊處理裝置、資訊處理方法及資訊處理程式
CN114402631B (zh) * 2019-05-15 2024-05-31 苹果公司 用于回放捕获的声音的方法和电子设备
US10645520B1 (en) * 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
WO2021002862A1 (en) 2019-07-03 2021-01-07 Hewlett-Packard Development Company, L.P. Acoustic echo cancellation
JP7362320B2 (ja) * 2019-07-04 2023-10-17 フォルシアクラリオン・エレクトロニクス株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
JP7536083B2 (ja) 2019-08-06 2024-08-19 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 選択的受聴を補助するためのシステムおよび方法
GB2593419A (en) * 2019-10-11 2021-09-29 Nokia Technologies Oy Spatial audio representation and rendering
GB2588171A (en) * 2019-10-11 2021-04-21 Nokia Technologies Oy Spatial audio representation and rendering
WO2021081435A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Reverberation fingerprint estimation
US11443737B2 (en) 2020-01-14 2022-09-13 Sony Corporation Audio video translation into multiple languages for respective listeners
JP7409121B2 (ja) * 2020-01-31 2024-01-09 ヤマハ株式会社 管理サーバー、音響チェック方法、プログラム、音響クライアントおよび音響チェックシステム
JP2021131434A (ja) * 2020-02-19 2021-09-09 ヤマハ株式会社 音信号処理方法および音信号処理装置
JP7447533B2 (ja) * 2020-02-19 2024-03-12 ヤマハ株式会社 音信号処理方法および音信号処理装置
US11456006B2 (en) * 2020-05-14 2022-09-27 Apple Inc. System and method for determining audio output device type

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4188504A (en) * 1977-04-25 1980-02-12 Victor Company Of Japan, Limited Signal processing circuit for binaural signals
DE4328620C1 (de) 1993-08-26 1995-01-19 Akg Akustische Kino Geraete Verfahren zur Simulation eines Raum- und/oder Klangeindrucks
JPH0787599A (ja) 1993-09-10 1995-03-31 Matsushita Electric Ind Co Ltd 音像移動装置
US5485514A (en) * 1994-03-31 1996-01-16 Northern Telecom Limited Telephone instrument and method for altering audible characteristics
JPH07288900A (ja) * 1994-04-19 1995-10-31 Matsushita Electric Ind Co Ltd 音場再生装置
US6222927B1 (en) * 1996-06-19 2001-04-24 The University Of Illinois Binaural signal processing system and method
JP2000330597A (ja) * 1999-05-20 2000-11-30 Matsushita Electric Ind Co Ltd 雑音抑圧装置
AUPQ941600A0 (en) * 2000-08-14 2000-09-07 Lake Technology Limited Audio frequency response processing sytem
JP2003009296A (ja) * 2001-06-22 2003-01-10 Matsushita Electric Ind Co Ltd 音響処理装置および音響処理方法
JP4171675B2 (ja) * 2003-07-15 2008-10-22 パイオニア株式会社 音場制御システム、および音場制御方法
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
CN100421152C (zh) * 2004-07-30 2008-09-24 英业达股份有限公司 声音控制系统以及方法
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
KR20060022968A (ko) * 2004-09-08 2006-03-13 삼성전자주식회사 음향재생장치 및 음향재생방법
CN101065795A (zh) * 2004-09-23 2007-10-31 皇家飞利浦电子股份有限公司 处理音频数据的系统和方法、程序单元和计算机可读介质
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
EP1900252B1 (en) 2005-05-26 2013-07-17 Bang & Olufsen A/S Recording, synthesis and reproduction of sound fields in an enclosure
DK1974587T3 (da) * 2006-01-03 2010-09-27 Sl Audio As Fremgangsmåde og system til udligning af en højttaler i et lokale
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
DE602006016017D1 (de) * 2006-01-09 2010-09-16 Nokia Corp Steuerung der dekodierung binauraler audiosignale
FR2899424A1 (fr) 2006-03-28 2007-10-05 France Telecom Procede de synthese binaurale prenant en compte un effet de salle
US7957548B2 (en) * 2006-05-16 2011-06-07 Phonak Ag Hearing device with transfer function adjusted according to predetermined acoustic environments
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US20080147411A1 (en) * 2006-12-19 2008-06-19 International Business Machines Corporation Adaptation of a speech processing system from external input that is not directly related to sounds in an operational acoustic environment
EP2198632B1 (en) 2007-10-09 2014-03-19 Koninklijke Philips N.V. Method and apparatus for generating a binaural audio signal
CN101184349A (zh) * 2007-10-10 2008-05-21 昊迪移通(北京)技术有限公司 针对双声道耳机设备的三维环响音效技术
JP2009206691A (ja) * 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
US8885834B2 (en) 2008-03-07 2014-11-11 Sennheiser Electronic Gmbh & Co. Kg Methods and devices for reproducing surround audio signals
JP2008233920A (ja) * 2008-03-28 2008-10-02 Sony Corp 音響再生装置及び音響再生方法
JP5092974B2 (ja) 2008-07-30 2012-12-05 富士通株式会社 伝達特性推定装置、雑音抑圧装置、伝達特性推定方法及びコンピュータプログラム
CN103634733B (zh) * 2008-07-31 2016-05-25 弗劳恩霍夫应用研究促进协会 双耳信号的信号生成
EP2337375B1 (en) * 2009-12-17 2013-09-11 Nxp B.V. Automatic environmental acoustics identification

Also Published As

Publication number Publication date
RU2013136390A (ru) 2015-02-10
BR112013017070B1 (pt) 2021-03-09
TR201815799T4 (tr) 2018-11-21
EP2661912B1 (en) 2018-08-22
CN103329576A (zh) 2013-09-25
RU2595943C2 (ru) 2016-08-27
BR112013017070A2 (pt) 2019-04-30
JP2014505420A (ja) 2014-02-27
CN103329576B (zh) 2016-12-07
WO2012093352A1 (en) 2012-07-12
US20130272527A1 (en) 2013-10-17
US9462387B2 (en) 2016-10-04
EP2661912A1 (en) 2013-11-13

Similar Documents

Publication Publication Date Title
JP5857071B2 (ja) オーディオ・システムおよびその動作方法
KR101471798B1 (ko) 다운믹스기를 이용한 입력 신호 분해 장치 및 방법
KR101354430B1 (ko) 바이노럴 신호를 위한 신호생성
US9107021B2 (en) Audio spatialization using reflective room model
KR20180108766A (ko) 증강 현실 헤드폰 환경 렌더링
JP7208365B2 (ja) 仮想３ｄオーディオを現実の室内に適応させる装置及び方法
KR101646540B1 (ko) 오디오 신호를 변환하는 컨버터 및 방법
WO2014091375A1 (en) Reverberation processing in an audio signal
Lee et al. A real-time audio system for adjusting the sweet spot to the listener's position
US20160044432A1 (en) Audio signal processing apparatus
KR20160136716A (ko) 오디오 신호 처리 방법 및 장치
Laitinen Binaural reproduction for directional audio coding
Schäfer Multi-channel audio-processing: enhancement, compression and evaluation of quality
WO2024089038A1 (en) Audio signal processor and related method and computer program for generating a two-channel audio signal using a specular part and a diffuse part
AU2015255287B2 (en) Apparatus and method for generating an output signal employing a decomposer
Laitinen Techniques for versatile spatial-audio reproduction in time-frequency domain
Audiosignalverarbeitung Multi Channel Audio Processing: Enhancement, Compression and Evaluation of Quality
Avendano Virtual spatial sound
Laitinen Binauraalinen toisto Directional Audio Coding-tekniikassa
van Dorp Schuitman AUDITORY MODELLING

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R150 Certificate of patent or registration of utility model

Ref document number: 5857071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250