JP4921470B2 - 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置 - Google Patents

頭部伝達関数を表すパラメータを生成及び処理する方法及び装置 Download PDF

Info

Publication number
JP4921470B2
JP4921470B2 JP2008529746A JP2008529746A JP4921470B2 JP 4921470 B2 JP4921470 B2 JP 4921470B2 JP 2008529746 A JP2008529746 A JP 2008529746A JP 2008529746 A JP2008529746 A JP 2008529746A JP 4921470 B2 JP4921470 B2 JP 4921470B2
Authority
JP
Japan
Prior art keywords
signal
frequency domain
parameter
impulse response
subband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008529746A
Other languages
English (en)
Other versions
JP2009508158A (ja
Inventor
イェルン ブレーバールト
ローン マヒール ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009508158A publication Critical patent/JP2009508158A/ja
Application granted granted Critical
Publication of JP4921470B2 publication Critical patent/JP4921470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、頭部伝達関数を表すパラメータを生成する方法に関する。
本発明はまた、頭部伝達関数を表すパラメータを生成するための装置に関する。
本発明は更に、頭部伝達関数を表すパラメータを処理する方法に関する。
更に本発明は、プログラム要素に関する。
更に本発明は、コンピュータ読み取り可能な媒体に関する。
仮想空間における音声の操作が人々の興味を引き始めるにつれて、オーディオ音声、特に3次元音声が、例えば画像と組み合わせた種々のゲームソフトウェア及びマルチメディアアプリケーションにおいて人工的な現実感を提供することにおいて、一層重要となっている。音楽において大いに利用されている多くの効果のなかでも、音場効果(sound field effect)が、特定の空間において聴取される音声を再現するための試みとして考えられている。
これに関連して、3次元音声(しばしば空間音響と呼ばれる)は、3次元環境内の特定の位置において(仮想的な)音源の印象を聴取者に対して与えるように処理された音声として理解される。
聴取者に対して特定の方向から来る音響信号は、該信号が該聴取者の両耳の鼓膜に到達する前に、該聴取者の身体の一部と相互作用する。斯かる相互作用の結果、鼓膜に到達する音声は、該聴取者の肩からの反響によって、頭部との相互作用によって、耳介応答によって、及び外耳道における共鳴によって、変化させられる。身体は、到来する音声に対するフィルタリング効果を持つと言うことができる。特定のフィルタリング特性は、(頭部に対する)音源位置に依存する。更に、空気中の音声の有限の速度のため、音源の位置に依存して、両耳間のかなりの時間遅延が知覚され得る。ここで、頭部伝達関数(Head-Related Transfer Functions、HRTF)が役に立つ。斯かる頭部伝達関数(更に最近では解剖学的伝達関数(anatomical transfer function、ATF)と呼ばれる)は、音源位置の方位角及び仰角の関数であり、特定の音源方向から聴取者の鼓膜までのフィルタリング効果を記述する。
HRTFデータベースは、音源に対して、位置の大量のセットから両耳までの伝達関数を測定することにより構築される。斯かるデータベースは、種々の音響条件に対して得られる。例えば、無響環境においては、反響が存在しないため、HRTFは或る位置から鼓膜までの直接の伝達のみを捕捉する。HRTFは、反響性の条件においても測定され得る。反響もが捕捉される場合、斯かるHRTFデータベースは部屋に特有なものとなる。
HRTFデータベースは、しばしば「仮想的な」音源の位置決めのために利用される。音声信号をHRTFの対により畳み込み、その結果の音声をヘッドフォンにより再生することにより、聴取者は該音声を、前記HRTFの対に対応する方向から来るかのように知覚することができる。このことは、処理されていない音声がヘッドフォンにより再生される場合に起こるような、「頭部内に」音源を知覚することと、対照的である。この点において、HRTFデータベースは、仮想的な音源の位置決めのための一般的な手段である。
本発明の目的は、頭部伝達関数の表現及び処理を改善することにある。
以上に定義された目的を達成するため、独立請求項において定義された頭部伝達関数を表すパラメータを生成する方法、頭部伝達関数を表すパラメータを生成するための装置、頭部伝達関数を表すパラメータを処理する方法、プログラム要素及びコンピュータ読み取り可能な媒体が提供される。
本発明の一実施例によれば、頭部伝達関数を表すパラメータを生成する方法であって、第1の頭部インパルス応答信号を表す第1の周波数ドメイン信号を、少なくとも2つのサブバンドに分割するステップと、前記サブバンドの値の統計的尺度に基づいて、少なくとも1つの前記サブバンドの少なくとも1つの第1のパラメータを生成するステップと、を有する方法が提供される。
更に、本発明の他の実施例によれば、頭部伝達関数を表すパラメータを生成するための装置であって、第1の頭部インパルス応答信号を表す第1の周波数ドメイン信号を、少なくとも2つのサブバンドに分割するように構成された分割ユニットと、前記サブバンドの値の統計的尺度に基づいて、少なくとも1つの前記サブバンドの少なくとも1つの第1のパラメータを生成するように構成されたパラメータ生成ユニットと、を有する装置が提供される。
本発明の他の実施例によれば、頭部伝達関数を表すパラメータを生成するためのコンピュータプログラムが保存されたコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムは、プロセッサにより実行されるときに、上述した方法ステップを制御又は実行するように構成された、コンピュータ読み取り可能な媒体が提供される。
更に、本発明の更に他の実施例によれば、プロセッサにより実行されるときに、上述した方法ステップを制御又は実行するように構成された、オーディオデータを処理するためのプログラム要素が提供される。
本発明の更なる実施例によれば、頭部伝達関数を表すパラメータを処理するための装置であって、音源のオーディオ信号を受信するように構成された入力段と、頭部伝達関数を表す基準パラメータを受信するように構成され、前記音源の位置及び/又は方向を表す位置情報を前記オーディオ信号から決定するように構成された決定手段と、前記オーディオ信号を処理するための処理手段と、前記位置情報に基づいて前記オーディオ信号の処理に影響を与え、影響を受けた出力オーディオ信号を導出するように構成された影響手段と、を有する装置が提供される。
本発明による頭部伝達関数を表すパラメータを生成するためのオーディオデータの処理は、コンピュータプログラムによって即ちソフトウェアによって、1以上の特別な電子最適化回路を利用することによって即ちハードウェアによって、又はハイブリッドな形態で即ちソフトウェアコンポーネントとハードウェアコンポーネントとによって、実現され得る。ソフトウェア又はソフトウェアコンポーネントは、データ担体に前もって保存されていても良いし、又は信号伝送システムによって伝送されても良い。
本発明による特徴はとりわけ、頭部伝達関数(HRTF)が単純なパラメータにより表現され、オーディオ信号に適用された場合に計算の複雑さの低減に導くという利点を持つ。
従来のHRTFデータベースはしばしば、情報量の点で極めて大きい。各時間ドメインのインパルス応答は、約64サンプル(低複雑度の無響条件について)から数千サンプル(反響室において)の長さまで有し得る。HRTF対が垂直及び水平方向において10度の解像度で測定される場合、保存されるべき係数の量は少なくとも360/10*180/10*64=41472個(64サンプルのインパルス応答を仮定)となるが、より大きなオーダに容易になり得る。対称的な頭部は、(180/10)*(180/10)*64個の係数を必要とする(41472個の係数の半分である)。
本発明の有利な態様によれば、複数の同時音源が単一の音源のものと凡そ等しい処理の複雑度で合成され得る。低減された処理の複雑度により、大量の音源に対しても、リアルタイムの処理が有利にも可能となる。
更なる態様においては、上述のパラメータが周波数範囲の固定されたセットについて決定されるという事実を考えると、このことはサンプリングレートとは独立したパラメータ化に帰着する。異なるサンプリングレートは、パラメータ周波数帯域をどのように信号表現にリンクさせるかについての異なるテーブルのみを必要とする。
更に、HRTFを表現するためのデータの量が著しく低減され、低減された記憶要件に帰着し、このことは実際にモバイルアプリケーションにおいては重要な結果である。
本発明の更なる実施例は、従属請求項に関連して、以下に説明されるであろう。
頭部伝達関数を表すパラメータを生成する方法の実施例が、以下に説明される。これら実施例は、頭部伝達関数を表すパラメータを生成するための装置、コンピュータ読み取り可能な媒体、及びプログラム要素についても適用され得る。
本発明の更なる態様によれば、第2の頭部インパルス応答信号を表す第2の周波数ドメイン信号を、第2の頭部インパルス応答信号の少なくとも2つのサブバンドに分割するステップと、前記サブバンドの値の統計的尺度に基づいて、前記第2の頭部インパルス応答信号の少なくとも1つの前記サブバンドの少なくとも1つの第2のパラメータを生成するステップと、サブバンド毎に前記第1の周波数ドメイン信号と前記第2の周波数ドメイン信号との間の位相角を表す第3のパラメータを生成するステップと、が実行される。
換言すれば、本発明によれば、頭部インパルス応答信号の対、即ち第1の頭部インパルス応答信号と第2の頭部インパルス応答信号とが、該インパルス応答の対の対応する頭部インパルス応答信号の間の遅延パラメータ又は位相差パラメータにより、及び周波数サブバンドのセットにおける各インパルス応答の二乗平均平方根(rms)により、記述される。遅延パラメータ又は位相差パラメータは、単一の(周波数非依存の)値であっても良いし、又は周波数依存であっても良い。
この点に関して、知覚的な観点から、頭部インパルス応答信号の対、即ち第1の頭部インパルス応答信号と第2の頭部インパルス応答信号とが、同一の空間位置に属する場合、有利である。
例えば最適化の目的のためのカスタマイズのような特定の場合においては、前記第1の周波数ドメイン信号が、サンプリングレートを利用して第1の時間ドメイン頭部インパルス応答信号をサンプリング長でサンプリングして第1の時間離散信号を導出し、前記第1の時間離散信号を周波数ドメインへと変換して前記第1の周波数ドメイン信号を導出することにより得られる場合、有利であり得る。
前記時間離散信号の周波数ドメインへの変換は有利にも高速フーリエ変換に基づき、前記周波数ドメイン信号の少なくとも2つのサブバンドへの分割は高速フーリエ変換ビンのグループ化に基づく。換言すれば、スケール係数及び/又は時間/位相差を決定するための周波数帯域は好ましくは、所謂等価矩形帯域幅(Equivalent Rectangular Bandwidth、ERB)の帯域において(これに限定されるものではないが)組織化される。
HRTFデータベースは通常、仮想的な音源位置の有限のセット(典型的には一定の距離及び5乃至10度の空間解像度で)を有する。多くの状況において、音源は、測定位置間の位置について生成される必要がある(とりわけ仮想的な音源が時間によって移動する場合)。斯かる生成は、利用可能なインパルス応答の補間を必要とする。HRTFデータベースが垂直及び水平方向についての応答を有する場合、各出力信号について補間が実行される必要がある。それ故、各ヘッドフォン出力信号について4個のインパルス応答の組み合わせが、各音源について必要とされる。必要とされるインパルス応答の数は、より多くの音源が同時に「仮想化」される必要がある場合に、更に重要となる。
本発明の一態様においては、典型的に10個から40個の周波数帯域が利用される。本発明の手法によれば、有利にもパラメータドメインにおいて補間が直接に実行されることができ、それ故、時間ドメインにおける完全な長さのHRTFインパルス応答の代わりに、10乃至40個のパラメータの補間が必要とされる。更に、チャネル間の位相(又は時間)及び大きさが別個に補間されるという事実のため、有利にも位相相殺アーティファクトがかなり低減されるか又は生じない。
本発明の更なる態様においては、前記第1のパラメータ及び前記第2のパラメータは主周波数範囲において処理され、位相角を表す前記第3のパラメータは前記主周波数範囲のサブ周波数範囲において処理される。実験結果及び科学的な証拠が共に、特定の周波数限界を超える周波数について、知覚的な観点から位相情報が実際には冗長であることを示している。
この点において、サブ周波数範囲の周波数上限が、有利にも2kHz乃至3kHzの範囲内にある。それ故、該周波数限界を超えるいずれの時間又は位相情報をも無視することにより、更なる情報の低減及び複雑さの低減が得られる。
本発明による手法の主な用途の分野は、オーディオデータの処理の分野である。しかしながら本手法は、オーディオデータに加え、例えば視覚的なコンテンツに関連する付加的なデータが処理される状況において実施化され得る。かくして、本発明は、ビデオデータ処理システムの枠組みにおいても実現され得る。
本発明によるアプリケーションは、携帯型オーディオプレイヤ、携帯型ビデオプレイヤ、頭部装着型ディスプレイ、モバイル電話、DVDプレイヤ、CDプレイヤ、ハードディスクベースのメディアプレイヤ、インターネットラジオ装置、車載オーディオシステム、一般向け娯楽装置及びMP3プレイヤから成る装置の群のうちの1つとして実現され得る。本装置のアプリケーションは好ましくは、ゲーム、仮想現実システム又はシンセサイザのために設計され得る。上述の装置は本発明の主な用途の分野に関連するが、例えば電話会議及びテレプレゼンス、視覚障害者のためのオーディオディスプレイ、遠隔学習システム、テレビジョン及び映画用のプロフェッショナル向け音声及び画像編集、並びにジェット戦闘機(3次元オーディオはパイロットを支援し得る)及びPCベースのオーディオプレイヤにおいてのような、他の用途も可能である。
本発明の更に他の態様においては、上述のパラメータが装置間で伝送されても良い。このことは、全てのオーディオ再生装置(PC、ラップトップ、モバイル型プレイヤ等)がパーソナライズされ得るという利点を持つ。換言すれば、自身の耳に合致するパラメトリックデータが、従来のHRTFの場合におけるように大量のデータを送信する必要なく得られる。モバイル電話網によってパラメータのセットをダウンロードすることさえ想定され得る。当該分野において、大量のデータの伝送は依然として比較的高価であり、パラメータ化された方法が、非常に適したタイプの(不可逆)圧縮であり得る。
更に他の実施例においては、ユーザ及び聴取者が、望む場合には、交換インタフェースを介してそれぞれのHRTFパラメータのセットを交換することもできる。この方法により、他の誰かの耳を通した聴取が、容易に可能とされ得る。
本発明の以上に定義された態様及び更なる態様は、以下に記載される実施例から明らかであり、これら実施例を参照しながら説明される。
本発明は、実施例を参照しながら以下に更に詳細に説明される。本発明はこれら実施例に限定されるものではない。
図面における説明図は模式的なものである。異なる図面において、類似の又は同一の要素は、同一の参照記号により示される。
頭部伝達関数(HRTF)を表すパラメータを生成するための装置600が、ここで図6を参照しながら説明される。
装置600は、HRTFテーブル601、サンプリングユニット602、変換ユニット603、分割ユニット604及びパラメータ生成ユニット605を有する。
HRTFテーブル601は、共に同一の空間位置に属する、少なくとも第1の時間ドメインHRTFインパルス応答信号l(α,ε,t)及び第2の時間ドメインHRTFインパルス応答信号r(α,ε,t)を保存している。換言すれば、HRTFテーブルは、仮想的な音源位置について、少なくとも1つの時間ドメインHRTFインパルス応答信号の対(l(α,ε,t),r(α,ε,t))を保存している。各インパルス応答信号は、方位角α及び仰角εにより表現される。代替として、HRTFテーブル601はリモートのサーバに保存されても良く、HRTFインパルス応答対は適切なネットワーク接続を介して提供されても良い。
サンプリングユニット602において、これら時間ドメインの信号はサンプル長nによりサンプリングされ、サンプリングレートfを利用したディジタル的な(離散的な)表現が導出される。即ち、本例においては、第1の時間離散信号l(α,ε)[n]と第2の時間離散信号r(α,ε)[n]とを導出する:
Figure 0004921470
Figure 0004921470
本例においては、サンプリングレートf=44.1kHzが利用される。代替として、例えば16kHz、22.05kHz、32kHz又は48kHzのような、他のサンプリングレートが利用されても良い。
続いて、変換ユニット603において、これらの離散時間表現がフーリエ変換を利用して周波数ドメインへと変換され、複素値の周波数ドメイン表現、即ち第1の周波数ドメイン信号L(α,ε)[k]及び第2の周波数ドメイン信号R(α,ε)[k]に帰着する(k=0…K−1):
Figure 0004921470
Figure 0004921470
次いで、分割ユニット604において、それぞれの周波数ドメイン信号のFFTビンkをグループ化することにより、周波数ドメイン信号がサブバンドbに分割される。従って、サブバンドbはFFTビンk∈kを有する。該グループ化処理は好ましくは、結果の周波数帯域が、心理音響原理に従う非線形周波数解像度を持つように実行され、又は換言すれば、周波数解像度が好ましくは、人間の聴覚システムの不均一な周波数解像度に合致させられる。本例においては、20個の周波数帯域が利用される。例えば40個のような、より多くの周波数帯域、又は例えば10個のような、より少ない周波数帯域が利用されても良いことは言及され得る。
更に、パラメータ生成ユニット605において、サブバンドの値の統計的尺度に基づくサブバンドのパラメータが、生成され算出される。本例においては、該統計的尺度として、二乗平均平方根演算が利用される。また代替として、本発明によれば、該統計的尺度として、サブバンドにおけるパワースペクトル値の最頻値若しくは中央値、又はサブバンドにおける(平均)信号レベルと共に単調に増大する他のいずれの測定基準(ノルム)もが、有利に利用されても良い。
本例においては、信号L(α,ε)[k]についてのサブバンドbにおける二乗平均平方根信号パラメータPl,b(α,ε)は、以下により与えられる:
Figure 0004921470
同様に、信号R(α,ε)[k]についてのサブバンドbにおける二乗平均平方根信号パラメータPr,b(α,ε)は、以下により与えられる:
Figure 0004921470
ここで、(*)は複素共役演算を示し、|k|はサブバンドbに対応するFFTビンkの数を示す。
最後に、パラメータ生成ユニット605において、サブバンドbについての信号L(α,ε)[k]とR(α,ε)[k]との間の平均位相角パラメータφ(α,ε)が生成され、本例においては以下により与えられる:
Figure 0004921470
図6に基づく本発明の更なる実施例によれば、HRTFテーブル601'が提供される。図6のHRTFテーブル601とは異なり、該HRTFテーブル601'は、既に周波数ドメインにあるHRTFインパルス応答を供給する。例えば、HRTFのFFTが該テーブルに保存される。前記周波数ドメイン表現は分割ユニット604'に直接に供給され、それぞれの周波数ドメイン信号のFFTビンkをグループ化することにより、周波数ドメイン信号がサブバンドbへと分割される。次いで、パラメータ生成ユニット605'が備えられ、上述したパラメータ生成ユニット605と同様の方法で構成される。
本発明の実施例による、入力オーディオデータX及び頭部伝達関数を表すパラメータを処理するための装置100が、ここで図1を参照しながら説明される。
装置100は、幾つかのオーディオ入力信号X…Xを受信し、オーディオ入力信号X…Xを合計することにより合計信号SUMを生成する、合計ユニット102を有する。合計信号SUMは、フィルタユニット103に供給される。フィルタユニット103は、フィルタ係数に基づいて、即ち本例においては第1のフィルタ係数SF1及び第2のフィルタ係数SF2に基づいて、合計信号SUMをフィルタリングし、第1のオーディオ出力信号OS1及び第2のオーディオ出力信号OS2に帰着させる。フィルタユニット103の詳細な説明は、以下に与えられる。
更に、図1に示されるように、装置100は、オーディオ入力信号Xの音源の空間的な位置を表す位置情報Vを一方で受信し、オーディオ入力信号Xのスペクトルパワーを表すスペクトルパワー情報Sを他方で受信するパラメータ変換ユニット104を有する。パラメータ変換ユニット104は、入力信号iに対応する位置情報V及びスペクトルパワー情報Sに基づいてフィルタ係数SF1及びSF2を生成する。パラメータ変換ユニット104は更に、伝達関数パラメータを受信し、前記伝達関数パラメータに依存してフィルタ係数を追加的に生成する。
図2は、本発明の更なる実施例における装置200を示す。装置200は、図1に示された実施例による装置100を有し、更に、利得係数gに基づいてオーディオ入力信号Xをスケーリングするスケーリングユニット201を有する。本実施例においては、パラメータ変換ユニット104は更に、オーディオ入力信号の音源の距離を表す距離情報を受信し、前記距離情報に基づいて利得係数gを生成し、これらの利得係数gをスケーリングユニット201に供給する。それ故、距離の効果が、単純な手段によって信頼性高く実現される。
本発明によるシステム又は装置の実施例が、ここで図3を参照しながら、より詳細に説明される。
図3の実施例においてシステム300が示され、システム300は、図2に示された実施例による装置200を有し、更に記憶ユニット301、オーディオデータインタフェース302、位置データインタフェース303、スペクトルパワーデータインタフェース304及びHRTFパラメータインタフェース305を有する。
記憶ユニット301は、オーディオ波形データを保存し、オーディオデータインタフェース302は、保存されたオーディオ波形データに基づいて幾つかのオーディオ入力信号Xを供給する。
本例においては、オーディオ波形データは、各音源について、パルス符号変調(PCM)された波形テーブルの形で保存される。しかしながら波形データは、更に又は別途、例えばMPEG−1レイヤ3(MP3)、AAC(Advanced Audio Coding)、AAC−Plus等の規格に従う圧縮フォーマットのような、他の形態で保存されても良い。
記憶ユニット301において、各音源についての位置情報Vも保存され、位置データインタフェース303が、保存される位置情報Vを供給する。
本例においては、好適な実施例は、コンピュータゲームアプリケーションに向けたものである。斯かるコンピュータゲームアプリケーションにおいては、位置情報Vは時間によって変化し、空間におけるプログラムされた絶対位置(即ちコンピュータゲームの場面における仮想的な空間位置)に依存するが、例えばゲーム場面中の仮想的な人物即ちユーザが該ユーザの仮想的な位置を回転又は移動させたときなどのようにユーザの動作にも依存し、ユーザに対する音源位置もまた変化する又は変化すべきである。
斯かるコンピュータゲームにおいては、コンピュータゲームの場面において、単一の音源(例えば背後からの銃声)から、全ての楽器が異なる空間位置にあるような多声音楽まで、あらゆるものが想定され得る。同時の音源の数は、例えば64までであっても良く、その場合は従ってオーディオ入力信号XはXからX64にまで亘る。
インタフェースユニット302は、サイズnのフレームで、保存されたオーディオ波形データに基づく幾つかのオーディオ入力信号Xを供給する。本例においては、各オーディオ入力信号Xは、11kHzのサンプリングレートで供給される。例えば各オーディオ入力信号Xについて44kHzのような、他のサンプリングレートも可能である。
スケーリングユニット201において、式(8)に従って、チャネル毎の利得係数即ち重みgを利用して、サイズnの入力信号X即ちX[n]が、合計信号SUM即ちモノラル信号m[n]へと組み合わせられる:
Figure 0004921470
利得係数gは、上述したように位置情報Vにより付随される保存された位置情報に基づいて、パラメータ変換ユニット104により供給される。位置情報V及びスペクトルパワー情報Sパラメータは典型的に、例えば11ミリ秒毎の更新のような、かなり低い更新レートを持つ。本例においては、音源毎の位置情報Vは、方位角、仰角及び距離情報のトリプレットから成る。代替として、カーテシアン座標(x,y,z)又は代替の座標が利用されても良い。任意に、位置情報は組み合わせ又はサブセットで、即ち仰角情報及び/又は方位角情報及び/又は距離情報の情報を有しても良い。
原則的に、利得係数g[n]は時間に依存する。しかしながら、これら利得係数の必要とされる更新レートが、入力オーディオ信号Xのオーディオサンプリングレートよりもかなり低いという事実を考えると、利得係数g[n]は、短い時間(上述したように、約11乃至23ミリ秒)の間は一定であるとみなされる。この特性は、利得係数gが一定であり、合計信号m[n]が以下の式(9)により表現される、フレームベースの処理を可能とする:
Figure 0004921470
フィルタユニット103が、ここで図4及び5を参照しながら説明される。
図4に示されたフィルタユニット103は、セグメント化ユニット401、高速フーリエ変換(FFT)ユニット402、第1のサブバンドグループ化ユニット403、第1の混合器404、第1の組み合わせユニット405、第1の逆FFTユニット406、第1のオーバラップ加算ユニット407、第2のサブバンドグループ化ユニット408、第2の混合器409、第2の組み合わせユニット410、第2の逆FFTユニット411及び第2のオーバラップ加算ユニット412を有する。第1のサブバンドグループ化ユニット403、第1の混合器404及び第1の組み合わせユニット405は、第1の混合ユニット413を構成する。同様に、第2のサブバンドグループ化ユニット408、第2の混合器409及び第2の組み合わせユニット410は、第2の混合ユニット414を構成する。
セグメント化ユニット401は、入力される信号、即ち本例においては合計信号SUM及び信号m[n]を、オーバラップするフレームへとセグメント化し、各フレームにウィンドウ処理をする。本例においては、ウィンドウ処理のためハニング(Hanning)ウィンドウが利用される。例えばWelch又は三角ウィンドウのような他の方法が利用されても良い。
続いて、FFTユニット402が、FFTを利用して、各ウィンドウ処理された信号を周波数ドメインへと変換する。
所与の例において、長さNの各フレームm[n](n=0…N−1)が、FFTを利用して、周波数ドメインへと変換される:
Figure 0004921470
該周波数ドメイン表現M[k]は、第1のチャネル(以下、左チャネルLとも呼ばれる)及び第2のチャネル(以下、右チャネルRとも呼ばれる)へとコピーされる。続いて、周波数ドメイン信号M[k]は、各チャネルについてFFTビンをグループ化することによりサブバンドb(b=0…B−1)へと分割される。即ち、該グループ化は、左チャネルLについては第1のサブバンドグループ化ユニット403によって、右チャネルRについては第2のサブバンドグループ化ユニット408によって、実行される。左出力フレームL[k]及び右出力フレームR[k](FFTドメインにおける)が次いで、バンド毎に生成される。
実際の処理は、現在のFFTビンが対応する周波数範囲について保存されたそれぞれのスケール係数に従う各FFTビンの変更(スケーリング)と、保存された時間又は位相の差に従う位相の変更と、から成る。位相差に関して、該差は任意の態様で適用され得る(例えば、両方のチャネルに対して(2で割る)又は一方のチャネルのみに対して)。各FFTビンのそれぞれのスケール係数は、フィルタ係数ベクトル、即ち本例においては第1の混合器404に供給される第1のフィルタ係数SF1及び第2の混合器409に供給される第2のフィルタ係数SF2により、供給される。
本例においては、フィルタ係数ベクトルは、各出力信号についての周波数サブバンドに対して、複素値のスケール係数を供給する。
次いで、スケーリングの後、変更された左出力フレームL[k]が逆FFTユニット406により時間ドメインへと変換されて左時間ドメイン信号が得られ、右出力フレームR[k]が逆FFTユニット411により変換されて右時間ドメイン信号が得られる。最後に、得られた時間ドメイン信号に対するオーバラップ加算演算が、各出力チャネルについての最終的な時間ドメインに帰着する。即ち、第1のオーバラップ加算ユニット407により第1の出力チャネル信号OS1が得られ、第2のオーバラップ加算ユニット412により第2の出力チャネル信号OS2が得られる。
図5に示されたフィルタユニット103'は、非相関ユニット501が備えられる点において、図4に示されたフィルタユニット103から逸脱している。非相関ユニット501は、FFTユニット402から得られた周波数ドメイン信号から導出される非相関信号を、各出力チャネルに供給する。図5に示されたフィルタユニット103'においては、図4に示された第1の混合ユニット413に類似するが加えて非相関信号を処理するように構成された、第1の混合ユニット413'が備えられる。同様に、図4に示された第2の混合ユニット414に類似する第2の混合ユニット414'が備えられ、図5の第2の混合ユニット414'もまた加えて、非相関信号を処理するように構成される。
本例においては次いで、バンド毎に、2つの出力信号L[k]及びR[k](FFTドメインにおける)が、以下のように生成される:
Figure 0004921470
ここでD[k]は、以下の特性により周波数ドメイン表現M[k]から得られる非相関信号を示す:
Figure 0004921470
ここで、<..>は、期待値演算子を示す:
Figure 0004921470
ここで、(*)は複素共役を示す。
非相関ユニット501は、FIFOバッファを利用して達成される、10乃至20msのオーダー(典型的に1フレーム)の遅延時間を持つ単純な遅延から成る。更なる実施例においては、非相関ユニットは、ランダム化された大きさ又は位相応答に基づいても良く、又はFFT、サブバンド若しくは時間ドメインにおけるIIR若しくは全通過構造から成っても良い。斯かる非相関方法の例は、Engdegard、Heiko Purnhagen、Jonas Roden及びLars Liljerydによる「Synthetic ambiance in parametric stereo coding」(Proc. 116th AES Convention, Berlin, 2004)において示されており、本開示は参照によって本明細に組み込まれたものとする。
非相関フィルタは、特定の周波数帯において、「拡散した」感覚を生成することを目的とする。人間の聴取者の2つの耳に到達する出力信号が、時間又はレベルの差を除いて同一である場合、人間の聴取者は、音声を特定の方向(前記時間及びレベルの差に依存する)から来たものとして知覚する。この場合、方向は非常に明確であり、即ち該信号は空間的に「コンパクト」である。
しかしながら、複数の音源が異なる方向から同時に到着する場合、各耳は音源の異なる混合を受信する。それ故、耳の間の差は、単純な(周波数依存の)時間及び/又はレベル差としてモデリングされることができない。本例においては、異なる音源が既に単一の音源へと混合されているため、異なる混合物の再現が可能ではない。しかしながら、斯かる再現は基本的には必要ではない。なぜなら、人間の聴覚システムは、空間的な特性に基づいて個々の音源を分離することが困難であることが知られているからである。本例において支配的な知覚の側面は、時間及びレベル差についての波形が補償される場合に、両耳における波形がどれだけ異なるかである。チャネル間コヒーレンス(又は正規化された相互相関関数の最大値)の数学的な概念が、空間的な「コンパクトさ」の感覚によく合致する尺度であることが分かっている。
主な側面は、両耳における混合が誤っている場合であっても、仮想的な音源の類似する知覚を呼び起こすために、正しいチャネル間コヒーレンスが再現される必要がある点である。該知覚は、「空間的な拡散」、又は「コンパクトさ」の欠如として記述され得る。これが、混合ユニットと組み合わせて非相関フィルタが再現するものである。
パラメータ変換ユニット104は、波形が単一音源処理に基づくものであった場合に、これら波形が通常のHRTFシステムの場合にどれだけ異なるかを決定する。次いで、2つの出力信号において、直接信号と非相関信号とを異なる態様で混合することにより、単純なスケーリング及び時間遅延に帰することができない、信号中の該差を再現することが可能である。有利にも、斯かる拡散度パラメータを再現することにより、現実的な音響ステージが得られる。
既に述べたように、パラメータ変換ユニット104は、各オーディオ入力信号Xについて、位置ベクトルV及びスペクトルパワー情報Sから、フィルタ係数SF1及びSF2を生成する。本例においては、フィルタ係数は、複素値の混合係数hxx,bにより表される。斯かる複素値の混合係数は、とりわけ低周波数領域において有利である。とりわけ高周波数を処理する場合に、実数値の混合係数が利用されても良いことは言及され得る。
複素値の混合係数hxx,bの値は、本例においては、特に、頭部伝達関数(HRTF)モデルパラメータPl,b(α,ε)、Pr,b(α,ε)及びφ(α,ε)を表す伝達関数パラメータに依存する。ここで、HRTFモデルパラメータPl,b(α,ε)は、左耳についての各サブバンドbにおける二乗平均平方根(rms)パワーを表し、HRTFモデルパラメータPr,b(α,ε)は、右耳についての各サブバンドbにおけるrmsパワーを表し、HRTFモデルパラメータφ(α,ε)は、左耳及び右耳のHRTF間の平均の複素値位相角を表す。全てのHRTFモデルパラメータは、方位角(α)及び仰角(ε)の関数として提供される。それ故、該アプリケーションにおいてはHRTFパラメータPl,b(α,ε)、Pr,b(α,ε)及びφ(α,ε)のみが必要とされ、実際のHRTF(多くの異なる方位角及び仰角値によりインデクシングされた有限のインパルス応答テーブルとして保存された)は必要とされない。
HRTFモデルパラメータは、本例においては水平方向及び垂直方向に共に20度の空間解像度に対して、仮想的な音源位置の有限のセットについて保存される。例えば10又は30度の空間解像度のような、他の解像度も可能である又は好適である。
一実施例においては、保存された空間解像度間のHRTFモデルパラメータを補間する、補間ユニットが備えられても良い。双一次の補間が好ましくは適用されるが、他の(非線形の)補間方式が好適であり得る。
従来のHRTFテーブルに対して本発明によるHRTFモデルパラメータを提供することにより、有利で高速な処理が実行されることができる。特にコンピュータゲームアプリケーションにおいては、頭部の動きが考慮に入れられる場合、オーディオ音源の再生は、保存されたHRTFデータ間の高速な補間を必要とする。
更なる実施例においては、パラメータ変換ユニットに供給される伝達関数パラメータは、球形頭部モデルに基づき、該モデルを表すものであっても良い。
本例においては、スペクトルパワー情報Sは、入力信号Xの現在のフレームに対応する周波数サブバンド毎に、線形ドメインにおけるパワー値を表す。従って、Sをサブバンド毎のパワー又はエネルギー値σを持つベクトルとして解釈することができる:
=[σ 0,i,σ 1,i,…,σ b,i
本例における周波数サブバンドの数(b)は、10である。スペクトルパワー情報Sはパワー又は対数ドメインにおけるパワー値により表され得、周波数サブバンドの数は30又は40個の周波数サブバンドという値に達し得ることは、ここで言及されるべきである。
パワー情報Sは基本的に、特定の周波数バンド及びサブバンドにおいて、特定の音源がどれだけのエネルギーを持つかを記述する。特定の周波数バンドにおいて特定の音源が(エネルギーの点で)他の全ての音源に対して支配的である場合、該支配的な音源の空間パラメータは、フィルタ演算により適用される「合成」空間パラメータにおいて、より大きな重みを得る。換言すれば、空間パラメータの平均化されたセットを計算するために、各音源の空間パラメータは、周波数バンドにおける各音源のエネルギーを利用して重み付けされる。これらパラメータの重要な拡張は、位相差及びチャネル毎のレベルが生成されるのみならず、コヒーレンス値もが生成される点である。該値は、2つのフィルタ演算により生成された波形が、どれだけ類似すべきかを記述する。
フィルタ係数又は複素値混合係数hxx,bのための基準を説明するため、出力信号の代替の対即ちL'及びR'が導入される。出力信号L'及びR'は、HRTFパラメータPl,b(α,ε)、Pr,b(α,ε)及びφ(α,ε)に従った各入力信号Xの独立した変更に起因し、出力の合計により後続される:
Figure 0004921470
次いで混合係数hxx,bが、以下の基準に従って得られる:
1.入力信号Xが、各周波数バンドbにおいて相互に独立であると仮定される:
Figure 0004921470
2.各サブバンドbにおける出力信号L[k]のパワーは、信号L'[k]の同一のサブバンドにおけるパワーと等しいべきである:
Figure 0004921470
3.各サブバンドbにおける出力信号R[k]のパワーは、信号R'[k]の同一のサブバンドにおけるパワーと等しいべきである:
Figure 0004921470
4.信号L[k]とM[k]との間の平均の複素角は、各周波数バンドbについて、信号L'[k]とM[k]との間の平均の複素位相角に等しいべきである:
Figure 0004921470
5.信号R[k]とM[k]との間の平均の複素角は、各周波数バンドbについて、信号R'[k]とM[k]との間の平均の複素位相角に等しいべきである:
Figure 0004921470
6.信号L[k]とR[k]との間のコヒーレンスは、各周波数バンドbについて、信号L'[k]とR'[k]との間のコヒーレンスに等しいべきである:
Figure 0004921470
以下の(一意でない)解が、上述の基準を満たすことが分かる:
Figure 0004921470
ここで、
Figure 0004921470
Figure 0004921470
Figure 0004921470
Figure 0004921470
Figure 0004921470
Figure 0004921470
ここで、σb,iは信号Xのサブバンドbにおけるエネルギー又はパワーを示し、δは音源iの距離を表す。
本発明の更なる実施例においては、フィルタユニット103は代替として、実数値又は複素値のフィルタバンク、即ちhxy,bの周波数依存性を模倣するIIRフィルタ又はFIRフィルタに基づき、そのためFFT方式がもはや必要とされない。
聴覚ディスプレイにおいては、オーディオ出力は、ラウドスピーカ又は聴取者によって装着されたヘッドフォンによって、聴取者へと伝達される。ヘッドフォン及びラウドスピーカは共にそれぞれ利点と欠点とを持ち、どちらかが、用途に応じてより好ましい結果を生み出し得る。更なる実施例に関して、例えば耳毎に1つよりも多いスピーカを用いるヘッドフォン又はラウドスピーカ再生設定のため、更なる出力チャネルが備えられても良い。
本発明の好適な実施例による、頭部伝達関数(HRTF)を表すパラメータを処理するための装置700aが、ここで図7を参照しながら説明される。装置700aは、音源のオーディオ信号を受信する入力段700bと、頭部伝達関数を表す基準パラメータを受信し、更に前記オーディオ信号から、音源の位置及び/又は方向を表す位置情報を決定する決定手段700cと、前記オーディオ信号を処理するための処理手段と、前記位置情報に基づいて前記オーディオ信号の処理に影響を与え、影響を受けた出力オーディオ信号を導出する影響手段700dと、を有する。
本例においては、HRTFを表すパラメータを処理するための装置700aは、補聴器700として適合される。
補聴器700は更に、音源の音声信号又はオーディオデータを入力段700bに供給する、少なくとも1つの音声センサを有する。本例においては、第1のマイクロフォン701及び第2のマイクロフォン703としてそれぞれ構成された、2つの音声センサが備えられる。第1のマイクロフォン701は、本例においては人間702の左耳に近い位置における環境からの音声信号を検出する。更に、第2のマイクロフォン703は、人間702の右耳に近い位置における環境からの音声信号を検出する。第1のマイクロフォン701は、第1の増幅ユニット704及び位置推定ユニット705に結合される。同様に、第2のマイクロフォン703は、第2の増幅ユニット706及び位置推定ユニット705に結合される。第1の増幅ユニット704は、第1の再生手段即ち本例においては第1のラウドスピーカ707に、増幅されたオーディオ信号を供給する。同様に、第2の増幅ユニット706は、第2の再生手段即ち本例においては第2のラウドスピーカ708に、増幅されたオーディオ信号を供給する。ここで、例えばDSP処理ユニット及び記憶ユニット等のような、種々の既知のオーディオ処理方法のための更なるオーディオ信号処理手段が、増幅ユニット704及び706に先行していても良いことは、言及されるべきである。
本例においては、位置推定ユニット705は、頭部伝達関数を表す基準パラメータを受信するように構成され、更に音源の位置及び/又は方向を表す位置情報を前記オーディオ信号から決定するように構成された、決定手段700cを表す。
位置情報ユニット705の下流において、補聴器700は更に、利得情報を第1の増幅ユニット704及び第2の増幅ユニット706に供給する利得算出ユニット710を有する。本例においては、利得算出ユニット710は、増幅ユニット704及び706と合わせて、前記位置情報に基づいて前記オーディオ信号の処理に影響を与え、影響を受けた出力オーディオ信号を導出する、影響手段700dを構成する。
位置情報ユニット705は、第1のマイクロフォン701から供給された第1のオーディオ信号及び第2のマイクロフォン703から供給された第2のオーディオ信号の位置情報を決定する。本例においては、HRTFを表すパラメータは、図6及びHRTFを表すパラメータを生成するための装置600に関連して上述した位置情報として決定される。換言すれば、HRTFインパルス応答から通常測定されるように、入力される信号フレームから同一のパラメータを測定し得る。続いて、HRTFインパルス応答を装置600のパラメータ推定段への入力とする代わりに、左及び右入力マイクロフォン信号のための特定の長さのオーディオフレーム(例えば44.1kHzにおいて1024個のオーディオサンプル)が解析される。
位置情報ユニット705は更に、HRTFを表す基準パラメータを受信する。本例においては、基準パラメータは、好ましくは補聴器700において適合された、パラメータテーブル709に保存される。代替として、パラメータテーブル709は、有線又は無線の態様でインタフェース手段を介して接続される、リモートのデータベースであっても良い。
換言すれば、補聴器700のマイクロフォン701及び703に入る音声信号の測定パラメータは、音源の方向又は位置の解析を実行することができる。続いて、これらのパラメータは、パラメータテーブル709に保存されたパラメータと比較される。特定の基準位置についての、パラメータテーブル709の基準パラメータの保存されたセットからのパラメータと、音源の到来した信号からのパラメータとの間に、合致がある場合には、該音源は当該同一の位置から来たものである見込みが非常に高い。後続するステップにおいて、現在のフレームから決定されたパラメータが、パラメータテーブル709に保存された(且つ実際のHRTFに基づくものである)パラメータと比較される。例えば、特定の入力フレームがパラメータP_フレームに帰着すると仮定する。パラメータテーブル709において、方位角(α)及び仰角(ε)の関数として、パラメータP_HRTF(α,ε)がある。次いで照合処理が、方位角(α)及び仰角(ε)の関数としての誤差関数E(α,ε)即ちE(α,ε)=|P_frame−P_HRTF(α,ε)|を最小化することにより、音源位置を推定する。Eについての最小値を与える方位角(α)及び仰角(ε)の値は、音源位置の推定値に対応する。
次のステップにおいて、照合処理の結果が利得算出ユニット710に供給され、次いで第1の増幅ユニット704及び第2の増幅ユニット706に供給される利得情報を算出するために用いられる。
換言すれば、HRTFを表すパラメータに基づいて、到来する音源の音声信号の方向及び位置が推定され、次いで、該推定された位置情報に基づいて音声が減衰又は増幅される。例えば、人間702の前方から来る全ての音声が増幅され、他の方向から来る全ての音声及びオーディオ信号が減衰されても良い。
例えば、パラメータ毎の重みを利用する重み付け手法のような、拡張された照合アルゴリズムが利用されても良いことに留意されたい。このとき、或るパラメータは他のパラメータとは異なる「重み」を、誤差関数E(α,ε)において与えられる。
動詞「有する(comprise)」及びその語形変化の使用は、他の要素又はステップの存在を除外するものではなく、冠詞「1つの(a又はan)」の使用は、複数の要素又はステップの存在を除外するものではないことは、留意されるべきである。また、異なる実施例に関連して説明された要素が組み合わせられても良い。
請求項における参照記号は、請求の範囲を限定するものとして解釈されるべきではないことも、留意されるべきである。
本発明の好適な実施例による、オーディオデータを処理するための装置を示す。 本発明の更なる実施例による、オーディオデータを処理するための装置を示す。 本発明の実施例による、記憶ユニットを有する、オーディオデータを処理するための装置を示す。 図1又は図2に示されたオーディオデータを処理するための装置において実装されるフィルタユニットを詳細に示す。 本発明の実施例による更なるフィルタユニットを示す。 本発明の好適な実施例による、頭部伝達関数(HRTF)を表すパラメータを生成するための装置を示す。 本発明の好適な実施例による、頭部伝達関数(HRTF)を表すパラメータを処理するための装置を示す。

Claims (14)

  1. 頭部伝達関数を表すパラメータを生成する方法であって、
    第1の頭部インパルス応答信号を表す第1の周波数ドメイン信号を、少なくとも2つのサブバンドに分割するステップと、
    前記サブバンドの値の統計的尺度に基づいて、少なくとも1つの前記サブバンドの少なくとも1つの第1のパラメータを生成するステップと、
    第2の頭部インパルス応答信号を表す第2の周波数ドメイン信号を、該第2の頭部インパルス応答信号の少なくとも2つのサブバンドに分割するステップと、
    前記サブバンドの値の統計的尺度に基づいて、前記第2の頭部インパルス応答信号の少なくとも1つの前記サブバンドの少なくとも1つの第2のパラメータを生成するステップと、
    サブバンド毎に前記第1の周波数ドメイン信号と前記第2の周波数ドメイン信号との間の位相角を表す第3のパラメータを生成するステップと、
    を有する方法。
  2. 前記第1の周波数ドメイン信号は、サンプリングレートを利用して第1の時間ドメイン頭部インパルス応答信号をサンプリング長でサンプリングして第1の時間離散信号を導出し、前記第1の時間離散信号を周波数ドメインへと変換して前記第1の周波数ドメイン信号を導出することにより得られる、請求項1に記載の方法。
  3. 前記第2の周波数ドメイン信号は、サンプリングレートを利用して第2の時間ドメイン頭部インパルス応答信号をサンプリング長でサンプリングして第2の時間離散信号を導出し、前記第2の時間離散信号を周波数ドメインへと変換して前記第2の周波数ドメイン信号を導出することにより得られる、請求項1または2に記載の方法。
  4. 前記統計的尺度は、前記周波数ドメイン信号の前記サブバンドの信号レベルの二乗平均平方根表現である、請求項1乃至3のいずれか一項に記載の方法。
  5. 前記時間離散信号の周波数ドメインへの変換は高速フーリエ変換に基づき、前記周波数ドメイン信号の少なくとも2つのサブバンドへの分割は高速フーリエ変換ビンのグループ化に基づく、請求項2又は3に記載の方法。
  6. 前記第1のパラメータ及び前記第2のパラメータは主周波数範囲において処理され、位相角を表す前記第3のパラメータは前記主周波数範囲のサブ周波数範囲において処理される、請求項1乃至5のいずれか一項に記載の方法。
  7. 前記サブ周波数範囲の上限周波数は、2kHzと3kHzとの間の範囲にある、請求項6に記載の方法。
  8. 前記第1の頭部インパルス応答信号と前記第2の頭部インパルス応答信号とは同一の空間位置に属する、請求項1乃至7のいずれか一項に記載の方法。
  9. 前記少なくとも2つのサブバンドの生成は、前記サブバンドが心理音響原理に従う非線形周波数解像度を持つように実行される、請求項1乃至8のいずれか一項に記載の方法。
  10. 頭部伝達関数を表すパラメータを生成するための装置であって、
    第1の頭部インパルス応答信号を表す第1の周波数ドメイン信号を、少なくとも2つのサブバンドに分割するように構成された分割ユニットと、
    前記サブバンドの値の統計的尺度に基づいて、少なくとも1つの前記サブバンドの少なくとも1つの第1のパラメータを生成するように構成されたパラメータ生成ユニットと、
    を有し、
    前記分割ユニットは更に、第2の頭部インパルス応答信号を表す第2の周波数ドメイン信号を、該第2の頭部インパルス応答信号の少なくとも2つのサブバンドに分割するように構成され、
    前記パラメータ生成ユニットは更に、前記サブバンドの値の統計的尺度に基づいて、前記第2の頭部インパルス応答信号の少なくとも1つの前記サブバンドの少なくとも1つの第2のパラメータを生成し、サブバンド毎に前記第1の周波数ドメイン信号と前記第2の周波数ドメイン信号との間の位相角を表す第3のパラメータを生成するように構成されている装置。
  11. サンプリングレートを利用して第1の時間ドメイン頭部インパルス応答信号をサンプリング長でサンプリングして第1の時間離散信号を導出するように構成されたサンプリングユニットと、
    前記第1の時間離散信号を周波数ドメインへと変換して前記第1の周波数ドメイン信号を導出するように構成された変換ユニットと、
    を有する、請求項10に記載の装置。
  12. 前記サンプリングユニットは更に、サンプリングレートを利用して第2の時間ドメイン頭部インパルス応答信号をサンプリング長でサンプリングして第2の時間離散信号を導出することにより、前記第2の周波数ドメイン信号を生成するように構成され、前記変換ユニットは更に、前記第2の時間離散信号を周波数ドメインへと変換して前記第2の周波数ドメイン信号を導出するように構成された、請求項11に記載の装置。
  13. オーディオデータを処理するためのコンピュータプログラムが保存されたコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムは、プロセッサにより実行されるときに、請求項1乃至9のいずれか一項に記載の方法のステップを制御又は実行するように構成された、コンピュータ読み取り可能な媒体。
  14. オーディオデータを処理するためのプログラム要素であって、プロセッサにより実行されるときに、請求項1乃至9のいずれか一項に記載の方法のステップを制御又は実行するように構成されたプログラム要素。
JP2008529746A 2005-09-13 2006-09-06 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置 Active JP4921470B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05108404.4 2005-09-13
EP05108404 2005-09-13
PCT/IB2006/053125 WO2007031905A1 (en) 2005-09-13 2006-09-06 Method of and device for generating and processing parameters representing hrtfs

Publications (2)

Publication Number Publication Date
JP2009508158A JP2009508158A (ja) 2009-02-26
JP4921470B2 true JP4921470B2 (ja) 2012-04-25

Family

ID=37671087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008529746A Active JP4921470B2 (ja) 2005-09-13 2006-09-06 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置

Country Status (6)

Country Link
US (2) US8243969B2 (ja)
EP (1) EP1927264B1 (ja)
JP (1) JP4921470B2 (ja)
KR (1) KR101333031B1 (ja)
CN (1) CN101263741B (ja)
WO (1) WO2007031905A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1927264B1 (en) * 2005-09-13 2016-07-20 Koninklijke Philips N.V. Method of and device for generating and processing parameters representing hrtfs
CN101390443B (zh) 2006-02-21 2010-12-01 皇家飞利浦电子股份有限公司 音频编码和解码
KR101431253B1 (ko) * 2007-06-26 2014-08-21 코닌클리케 필립스 엔.브이. 바이노럴 오브젝트―지향 오디오 디코더
CN101483797B (zh) * 2008-01-07 2010-12-08 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
KR100932791B1 (ko) 2008-02-21 2009-12-21 한국전자통신연구원 음상 외재화를 위한 머리전달함수 생성 방법과, 그를이용한 3차원 오디오 신호 처리 장치 및 그 방법
US8705751B2 (en) * 2008-06-02 2014-04-22 Starkey Laboratories, Inc. Compression and mixing for hearing assistance devices
US9485589B2 (en) 2008-06-02 2016-11-01 Starkey Laboratories, Inc. Enhanced dynamics processing of streaming audio by source separation and remixing
EP2377123B1 (en) * 2008-12-19 2014-10-29 Dolby International AB Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
US20130208909A1 (en) * 2010-09-14 2013-08-15 Phonak Ag Dynamic hearing protection method and device
US8855322B2 (en) * 2011-01-12 2014-10-07 Qualcomm Incorporated Loudness maximization with constrained loudspeaker excursion
WO2012168765A1 (en) * 2011-06-09 2012-12-13 Sony Ericsson Mobile Communications Ab Reducing head-related transfer function data volume
FR2976759B1 (fr) * 2011-06-16 2013-08-09 Jean Luc Haurais Procede de traitement d'un signal audio pour une restitution amelioree.
JP5704013B2 (ja) 2011-08-02 2015-04-22 ソニー株式会社 ユーザ認証方法、ユーザ認証装置、およびプログラム
JP6007474B2 (ja) * 2011-10-07 2016-10-12 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体
JP5960851B2 (ja) * 2012-03-23 2016-08-02 ドルビー ラボラトリーズ ライセンシング コーポレイション 頭部伝達関数の線形混合による頭部伝達関数の生成のための方法およびシステム
JP5954147B2 (ja) * 2012-12-07 2016-07-20 ソニー株式会社 機能制御装置およびプログラム
DK2822301T3 (da) * 2013-07-04 2019-07-01 Gn Hearing As Bestemmelse af individuelle HRTF
US9426589B2 (en) 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
WO2015041477A1 (ko) 2013-09-17 2015-03-26 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
BR112016014892B1 (pt) 2013-12-23 2022-05-03 Gcoa Co., Ltd. Método e aparelho para processamento de sinal de áudio
EP4294055A1 (en) 2014-03-19 2023-12-20 Wilus Institute of Standards and Technology Inc. Audio signal processing method and apparatus
CN108966111B (zh) 2014-04-02 2021-10-26 韦勒斯标准与技术协会公司 音频信号处理方法和装置
US9551161B2 (en) 2014-11-30 2017-01-24 Dolby Laboratories Licensing Corporation Theater entrance
KR20170089862A (ko) 2014-11-30 2017-08-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 소셜 미디어 링크형 대형 극장 설계
EP3304927A4 (en) 2015-06-03 2018-07-18 Razer (Asia-Pacific) Pte. Ltd. Headset devices and methods for controlling a headset device
CN105959877B (zh) * 2016-07-08 2020-09-01 北京时代拓灵科技有限公司 一种虚拟现实设备中声场的处理方法及装置
CN106231528B (zh) * 2016-08-04 2017-11-10 武汉大学 基于分段式多元线性回归的个性化头相关传递函数生成系统及方法
CN110462731B (zh) * 2017-04-07 2023-07-04 迪拉克研究公司 一种用于音频应用的新颖的参数均衡
US10149089B1 (en) * 2017-05-31 2018-12-04 Microsoft Technology Licensing, Llc Remote personalization of audio
CN107480100B (zh) * 2017-07-04 2020-02-28 中国科学院自动化研究所 基于深层神经网络中间层特征的头相关传输函数建模系统
CN110012384A (zh) * 2018-01-04 2019-07-12 音科有限公司 一种便携式测量头相关变换函数(hrtf)参数的方法、系统和设备
CN109618274B (zh) * 2018-11-23 2021-02-19 华南理工大学 一种基于角度映射表的虚拟声重放方法、电子设备及介质
CN112566008A (zh) * 2020-12-28 2021-03-26 科大讯飞(苏州)科技有限公司 音频上混方法、装置、电子设备和存储介质
CN113806679B (zh) * 2021-09-13 2024-05-28 中国政法大学 一种基于预训练模型的头相关传输函数的个性化方法
KR102661374B1 (ko) 2023-06-01 2024-04-25 김형준 사운드 소스의 선택적 콘트롤을 통한 입체 음향 출력 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181600A (ja) * 1992-12-11 1994-06-28 Victor Co Of Japan Ltd 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置
JPH0738985A (ja) * 1993-07-16 1995-02-07 Yamaha Corp 音響特性補正装置
JP2002044798A (ja) * 2000-07-31 2002-02-08 Sony Corp 音声再生装置
JP2004361573A (ja) * 2003-06-03 2004-12-24 Mitsubishi Electric Corp 音響信号処理装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659A (en) 1848-07-05 Machine foe
EP0593228B1 (en) * 1992-10-13 2000-01-05 Matsushita Electric Industrial Co., Ltd. Sound environment simulator and a method of analyzing a sound space
US5440639A (en) * 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
US6118875A (en) * 1994-02-25 2000-09-12 Moeller; Henrik Binaural synthesis, head-related transfer functions, and uses thereof
EP0760197B1 (en) 1994-05-11 2009-01-28 Aureal Semiconductor Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
US5659619A (en) * 1994-05-11 1997-08-19 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
AU1527197A (en) 1996-01-04 1997-08-01 Virtual Listening Systems, Inc. Method and device for processing a multi-channel signal for use with a headphone
GB9603236D0 (en) * 1996-02-16 1996-04-17 Adaptive Audio Ltd Sound recording and reproduction systems
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
WO1999034527A1 (en) * 1997-12-27 1999-07-08 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Method and apparatus for estimation of coupling parameters in a transform coder for high quality audio
GB2351213B (en) * 1999-05-29 2003-08-27 Central Research Lab Ltd A method of modifying one or more original head related transfer functions
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
US20040105550A1 (en) * 2002-12-03 2004-06-03 Aylward J. Richard Directional electroacoustical transducing
KR101049751B1 (ko) * 2003-02-11 2011-07-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
KR100608024B1 (ko) * 2004-11-26 2006-08-02 삼성전자주식회사 다중 채널 오디오 입력 신호를 2채널 출력으로 재생하기위한 장치 및 방법과 이를 수행하기 위한 프로그램이기록된 기록매체
EP1927264B1 (en) * 2005-09-13 2016-07-20 Koninklijke Philips N.V. Method of and device for generating and processing parameters representing hrtfs
KR101370365B1 (ko) * 2005-09-13 2014-03-05 코닌클리케 필립스 엔.브이. 3d 사운드를 발생시키기 위한 방법 및 디바이스
KR100739776B1 (ko) * 2005-09-22 2007-07-13 삼성전자주식회사 입체 음향 생성 방법 및 장치
PL1999999T3 (pl) * 2006-03-24 2012-07-31 Dolby Int Ab Generowanie downmixów przestrzennych na podstawie parametrycznych reprezentacji sygnałów wielokanałowych
US20110026745A1 (en) * 2009-07-31 2011-02-03 Amir Said Distributed signal processing of immersive three-dimensional sound for audio conferences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181600A (ja) * 1992-12-11 1994-06-28 Victor Co Of Japan Ltd 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置
JPH0738985A (ja) * 1993-07-16 1995-02-07 Yamaha Corp 音響特性補正装置
JP2002044798A (ja) * 2000-07-31 2002-02-08 Sony Corp 音声再生装置
JP2004361573A (ja) * 2003-06-03 2004-12-24 Mitsubishi Electric Corp 音響信号処理装置

Also Published As

Publication number Publication date
WO2007031905A1 (en) 2007-03-22
KR20080045281A (ko) 2008-05-22
US20120275606A1 (en) 2012-11-01
CN101263741B (zh) 2013-10-30
JP2009508158A (ja) 2009-02-26
US20080253578A1 (en) 2008-10-16
CN101263741A (zh) 2008-09-10
EP1927264A1 (en) 2008-06-04
EP1927264B1 (en) 2016-07-20
KR101333031B1 (ko) 2013-11-26
US8520871B2 (en) 2013-08-27
US8243969B2 (en) 2012-08-14

Similar Documents

Publication Publication Date Title
JP4921470B2 (ja) 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置
JP4938015B2 (ja) 3次元音声を生成する方法及び装置
JP4944902B2 (ja) バイノーラルオーディオ信号の復号制御
CN113170271B (zh) 用于处理立体声信号的方法和装置
EP2613564A2 (en) Focusing on a portion of an audio scene for an audio signal
JP5227946B2 (ja) フィルタ適応周波数分解能
Laitinen et al. Binaural reproduction for directional audio coding
JP2009522894A (ja) バイノーラルオーディオ信号の復号
Rafaely et al. Spatial audio signal processing for binaural reproduction of recorded acoustic scenes–review and challenges
Lee et al. A real-time audio system for adjusting the sweet spot to the listener's position
WO2019239011A1 (en) Spatial audio capture, transmission and reproduction
Kim et al. 3D Sound Techniques for Sound Source Elevation in a Loudspeaker Listening Environment
Kan et al. Psychoacoustic evaluation of different methods for creating individualized, headphone-presented virtual auditory space from B-format room impulse responses
KAN et al. PSYCHOACOUSTIC EVALUATION OF DIFFERENT METHODS FOR CREATING INDIVIDUALIZED, HEADPHONE-PRESENTED VAS FROM B-FORMAT RIRS
MX2008008424A (es) Decodificacion de señales de audio binaurales

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120202

R150 Certificate of patent or registration of utility model

Ref document number: 4921470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250