JP6023796B2 - 多チャンネルオーディオのための室内特徴付け及び補正 - Google Patents

多チャンネルオーディオのための室内特徴付け及び補正 Download PDF

Info

Publication number
JP6023796B2
JP6023796B2 JP2014510431A JP2014510431A JP6023796B2 JP 6023796 B2 JP6023796 B2 JP 6023796B2 JP 2014510431 A JP2014510431 A JP 2014510431A JP 2014510431 A JP2014510431 A JP 2014510431A JP 6023796 B2 JP6023796 B2 JP 6023796B2
Authority
JP
Japan
Prior art keywords
channel
signal
response
room
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014510431A
Other languages
English (en)
Other versions
JP2014517596A (ja
JP2014517596A5 (ja
Inventor
ゾラン フェイゾ
ゾラン フェイゾ
ジェームズ ディー ジョンストン
ジェームズ ディー ジョンストン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Inc
Original Assignee
DTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Inc filed Critical DTS Inc
Publication of JP2014517596A publication Critical patent/JP2014517596A/ja
Publication of JP2014517596A5 publication Critical patent/JP2014517596A5/ja
Application granted granted Critical
Publication of JP6023796B2 publication Critical patent/JP6023796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、多チャンネルオーディオ再生デバイス及び方法に関し、より具体的には、多チャンネルラウドスピーカ構成を特徴付け、かつラウドスピーカ/室内の遅延、利得、及び周波数応答を補正するようになったデバイス及び方法に関する。
ホームエンターテインメントシステムは、単純なステレオシステムからサラウンドサウンドシステム及び最近では3Dサウンドシステムのような多チャンネルオーディオシステム、及びビデオディスプレイを有するシステムに移行してきた。これらのホームエンターテインメントシステムは改善されたが、室内音響は、室内の面からの反響によってもたらされるサウンド歪み、及び/又はリスナーに対するラウドスピーカの不均一配置のような欠陥に依然として悩まされている。ホームエンターテインメントシステムは、広く家庭内に使用されているので、室内音響の改善は、自分達の好みのリスニング環境をより良く楽しむホームエンターテインメントシステムユーザに対する関心事である。
「サラウンドサウンド」は、スピーカの間に位置決めされたリスナーに模擬音源配置を与えるために複数のチャンネル及びスピーカを使用するサウンド再生システムを指すためにオーディオ工学において使用される用語である。リスナーを音源で「取り囲み」、それによってより面白い又は現実的なリスニング体験を発生させるために、サウンドは、スピーカのうちの1つ又はそれよりも多くを通じて異なる遅延を伴って異なる強度で再生することができる。従来のサラウンドサウンドシステムは、2次元スピーカ構成、例えば、前部、中央、背後、及び可能な場合は側部を含む。より最近の3Dサウンドシステムは、3次元スピーカ構成を含む。例えば、この構成は、高及び低前部、中央、背後、又は側部のスピーカを含むことができる。本明細書に使用する時に、多チャンネルスピーカ構成は、ステレオ、サラウンドサウンド、及び3Dサウンドシステムを含む。
多チャンネルサラウンドサウンドは、映画館及びホームシアターの用途に使用される。1つの一般的な構成では、ホームシアター内のリスナーは、従来のホームステレオシステムに使用される2つのスピーカの代わりに、5つのスピーカによって囲まれる。5つのスピーカのうちの3つは、室内の前部に配置され、残りの2つのサラウンドスピーカは、リスニング/ビューイング位置の後部又は側部(THX(登録商標)二重極)に位置付けられる。新しい構成は、サラウンドサウンド体験を模擬することができる複数のスピーカを含む「サウンドバー」を使用することである。現在使用されている様々なサラウンドサウンドフォーマットの中で、「Dolby Surround(登録商標)」は、映画館に向けて1970年代最初に開発されたオリジナルフォーマットである。1996年には「Dolby Digital(登録商標)」が登場した。「Dolby Digital(登録商標)」は、6つの離散オーディオチャンネルを有するデジタルフォーマットであり、4つのオーディオチャンネルを記録媒体上に格納される2つのチャンネルに組み合わせるマトリックスシステムを拠り所とする「Dolby Surround(登録商標)」のある一定の制約を解消する。「Dolby Digital(登録商標)」は、5.1チャンネルフォーマットとも呼ばれ、映画サウンド記録に向けて数年前に世界的に採用された。現在使用されている別のフォーマットは、「Dolby Digital(登録商標)」よりも高いオーディオ品質を提供する「DTS Digital Surround(登録商標)」(1,411,200ビット対384,000ビット毎秒)、並びに多くの異なるスピーカ構成、例えば、5.1、6.1、7.1、11.2など、及びその変形、例えば、「フロント・ワイド」、「フロント・ハイト」、「センター・オーバーヘッド」、「サイド・ハイト」、又は「センター・ハイト」である。例えば、DTS−HD(登録商標)は、Blu−Ray(登録商標)ディスク上で7つの異なる7.1チャンネル構成をサポートする。
オーディオ/ビデオプリアンプ(又はA/Vコントローラ又はA/Vレシーバ)は、2チャンネルの「Dolby Surround(登録商標)」、「Dolby Digital(登録商標)」、又は「DTS Digital Surround(登録商標)」、又はDTS−HD(登録商標)の信号をそれぞれの別々のチャンネルに復号するジョブを処理する。A/Vプリアンプ出力は、それぞれ左、中央、右、左サラウンド、右サラウンド、及びサブウーファのチャンネルに対して6つのラインレベル信号を供給する。これらの別々の出力は、ホームシアターラウドスピーカシステムを駆動するために多チャンネル電力増幅器に供給されるか、又は一体型レシーバの場合と同じく内部で増幅される。
最良性能に関してA/Vプリアンプを手動で設定及び微調整するのは困難である可能性がある。ホームシアターシステムを製品マニュアルに従って接続した後に、ラウドスピーカ設定のためのプリアンプ又はレシーバを構成しなければならない。例えば、A/Vプリアンプは、使用中の特定のサラウンドサウンドスピーカ構成を認識しなければならない。多くの場合に、A/Vプリアンプは、デフォルト出力構成のみをサポートし、ユーザが、5.1又は7.1スピーカをそれらの場所に配置することができない場合には、ユーザは、単に運が無かったことになる。少数のハイエンドA/Vプリアンプは、複数の7.1構成をサポートし、ユーザに、室内のための適切な構成をメニューから選択させる。更に、オーディオチャンネルの各々(チャンネルの実際の数は、使用中の特定のサラウンドサウンドフォーマットによって決定される)のラウドネスは、ラウドスピーカからの音量に全体的な均衡を与えるために個々に設定しなければならない。この処理は、各スピーカからノイズの形態の「試験信号」を順次生成し、リスニング/ビューイング位置での各スピーカの音量を独立して調節することによって始まる。このタスクに推奨されるツールは、「音圧レベル(SPL)」メーターである。これは、異なるラウドスピーカ感度、リスニング室内音響、及びラウドスピーカ配置に対する補償を与える。非対称リスニング空間及び/又は傾斜ビューイング区域、窓、アーチ通路、並びに傾斜天井のような他のファクタは、較正をより複雑にする可能性がある。
米国特許第7,158,643号明細書 米国特許公開第2007,0121955号明細書
Thomas,D.C.(2008年)著「音響強度及びエネルギ密度の理論及び推定(Theory and Estimation of Acoustic Intensity and Energy Density)」、科学修士論文、ブリガムヤング大学 Fahy,F.J.(1995年)著「サウンド強度(Sound Intensity)」、第2版、ロンドン、E&FN Spon Cobos,M.、Lopez,J.J.、及びMarti,A.(2010年)著「四面体マイクロフォンアレイを用いた3D DOA推定における室内残響の効果に関して(On the Effects of Room Reverberation in 3D DOA Estimation Using Tetrahedral Microphone Array)」、第128回AES会議、ロンドン、UK、2010年5月22〜25日
従って、各オーディオチャンネルの周波数応答、振幅応答、及び時間応答を調節することによって多チャンネルサウンドシステムを自動的に較正するシステム及び処理を提供することが望ましいと考えられる。この処理は、リスナーを煩わすことなくサラウンドサウンドシステムの通常作動中に実施することができることがより望ましい。
「自動較正サラウンドシステム(Auto−Calibrating Surround System)」という名称の米国特許第7,158,643号明細書は、サラウンドサウンドシステムの各チャンネルの周波数応答、振幅応答、及び時間応答の独立した自動較正及び自動調節を可能にする1つの手法を記載している。システムは、スピーカを通じて再生されてマイクロフォンによって記録される試験信号を生成する。システムプロセッサは、受信したサウンド信号を試験信号と相関付け、相関付けられた信号から白色応答を決定する。「室内音響補正デバイス(Room Acoustics Correction Device)」という名称の米国特許公開第2007,0121955号明細書は、類似の手法を記載している。
以下は、本発明の一部の態様の基本的な理解をもたらすための本発明の要約である。この要約は、本発明の重要又は決定的な要素を明らかにすること、又は本発明の範囲を線引きするように意図したものではない。その唯一の目的は、後に提供するより詳細な説明及び決定的な特許請求の範囲の導入部として本発明のいくつかの概念を簡易形態で提供することである。
本発明は、多チャンネルラウドスピーカ構成を特徴付け、ラウドスピーカ/室内の遅延、利得、及び周波数応答を補正し、又はサブバンド領域補正フィルタを構成するようになったデバイス及び方法を提供する。
多チャンネルラウドスピーカ構成を特徴付けるための実施形態において、ブロードバンドプローブ信号は、複数のものがリスニング環境内で多チャンネル構成のラウドスピーカに結合されたA/Vプリアンプの各オーディオ出力に供給される。ラウドスピーカは、プローブ信号を無音期間によって分離された非重ね合わせ時間スロットで音波としてリスニング環境内に送信される音響応答に変換する。探査される各オーディオ出力に対して、音波が、音響応答をブロードバンド電気応答信号に変換する多マイクロフォンアレイによって受信される。次のプローブ信号の送信の前の無音期間において、プロセッサは、ブロードバンドプローブ信号を用いてブロードバンド電気応答信号に逆畳み込みを行ってラウドスピーカに対する各マイクロフォンでのブロードバンド室内応答を決定し、ラウドスピーカに対する各マイクロフォンでの遅延を計算してメモリに記録し、ラウドスピーカに対する遅延によってオフセットされた指定期間にわたって各マイクロフォンでのブロードバンド応答をメモリに記録し、オーディオ出力がラウドスピーカに結合されているか否かを決定する。オーディオ出力が結合されているか否かの決定は、各チャンネルに対する室内応答が処理されるまで延期することができる。プロセッサは、ブロードバンド電気応答信号をそれを受信した時に区分化し、区分化された信号を例えば分割FFTを用いて処理してブロードバンド室内応答を形成することができる。プロセッサは、区分化された信号から「ヒルベルト包絡線(HE)」を計算し、かつ継続的に更新することができる。HE内の顕著なピークを使用して遅延を計算し、かつオーディオ出力がラウドスピーカに結合されているか否かを決定することができる。
計算された遅延に基づいて、プロセッサは、各接続チャンネルに対してラウドスピーカに対する距離及び少なくとも第1の角度(例えば、方位角)を決定する。多マイクロフォンアレイが2つのマイクロフォンを含む場合には、プロセッサは、半平面において前部、いずれかの側部、又は後部に位置決めされたラウドスピーカに対する角度を分解することができる。多マイクロフォンアレイが3つのマイクロフォンを含む場合には、プロセッサは、3つのマイクロフォンによって定められる平面において前部、側部、及び後部に位置決めされたラウドスピーカに対する角度を分解することができる。多マイクロフォンアレイが4つ又はそれよりも多くのマイクロフォンを3D配置で含む場合には、プロセッサは、3次元空間に位置決めされたラウドスピーカに対する方位角と仰角の両方を分解することができる。結合されたラウドスピーカに対するこれらの距離及び角度を用いて、プロセッサは、特定の多チャンネル構成を自動的に選択し、かつリスニング環境内の各ラウドスピーカの位置を計算する。
ラウドスピーカ/室内周波数応答を補正するための実施形態において、ブロードバンドプローブ信号及び可能な場合はプリ−エンファシスプローブ信号は、少なくとも複数のものがリスニング環境内で多チャンネル構成のラウドスピーカに結合されたA/Vプリアンプの各オーディオ出力に供給される。ラウドスピーカは、プローブ信号を無音期間によって分離された非重ね合わせ時間スロットで音波としてリスニング環境内に送信される音響応答に変換する。探査される各オーディオ出力に対して、音波が、音響応答を電気応答信号に変換する多マイクロフォンアレイによって受信される。プロセッサは、ブロードバンドプローブ信号を用いて電気応答信号に逆畳み込みを行い、ラウドスピーカに対する各マイクロフォンでの室内応答を決定する。
プロセッサは、室内応答から室内エネルギ測度を計算する。プロセッサは、遮断周波数よりも高い周波数に対して、室内エネルギ測度の第1の部分を音圧の関数として計算し、遮断周波数よりも低い周波数に対して、室内エネルギ測度の第2の部分を音圧及び音速の関数として計算する。音速は、マイクロフォンアレイにわたる音圧の勾配から得られる。ブロードバンド及びプリ−エンファシスプローブ信号の両方を含む二重プローブ信号が利用される場合には、音圧だけに基づくエネルギ測度の高周波部分は、ブロードバンド室内応答から抽出され、音圧と音速の両方に基づくエネルギ測度の低周波部分は、プリ−エンファシス室内応答から抽出される。二重プローブ信号を使用して、音速成分なしで室内エネルギ測度を計算することができ、この場合に、プリ−エンファシスプローブ信号は、ノイズ整形に使用される。プロセッサは、エネルギ測度の第1及び第2の部分を混合して指定音響バンドにわたる室内エネルギ測度を与える。
知覚的により適切な測定値を得るために、室内応答又は室内エネルギ測度は、最も低い周波数で実質的に時間応答全体を取り込み、かつ最も高い周波数で基本的に時間応答の直接経路プラス数ミリ秒のみを取り込むように漸進的に平滑化することができる。プロセッサは、プロセッサ内のデジタル補正フィルタを構成するのに使用されるフィルタ係数を室内エネルギ測度から計算する。プロセッサは、ユーザ定義のものか又はチャンネルエネルギ測度の平滑化バージョンであるチャンネルターゲット曲線のためのフィルタ係数を計算することができ、次に、ユーザ定義のものか又はチャンネルターゲット曲線の平均とすることができる共通ターゲット曲線に対してフィルタ係数を調節することができる。プロセッサは、オーディオ信号をリスニング環境内への再生に向けてラウドスピーカまで対応するデジタル補正フィルタを通過させる。
多チャンネルオーディオシステムのためのサブバンド補正フィルタを発生させるための実施形態において、Pが整数である時に、オーディオ信号をP個のサブバンドに対してベースバンドまでダウンサンプリングするPバンドオーバーサンプリング解析フィルタバンク、及びオーディオ信号を再構成するためにP個のサブバンドをアップサンプリングするPバンドオーバーサンプリング合成フィルタバンクが、A/Vプリアンプ内のプロセッサに与えられる。スペクトル測度が、各チャンネルに対して与えられる。プロセッサは、各スペクトル測度をチャンネルターゲット曲線と組み合わせてチャンネル毎の集合スペクトル測度を与える。各チャンネルに対して、プロセッサは、集合スペクトル測度のうちで異なるサブバンドに対応する部分を抽出し、スペクトル測度の抽出部分をベースバンドに再マップして解析フィルタバンクのダウンサンプリングを模擬する。プロセッサは、各サブバンドに対する再マップしたスペクトル測度に対する自己回帰(AR)モデルを計算し、かつ各ARモデルの係数を最小位相全ゼロサブバンド補正フィルタの係数にマップする。プロセッサは、再マップしたスペクトル測度の逆FFTとして自己相関シーケンスを計算し、かつARモデルを計算するために自己相関シーケンスにレビンソン−ダービンアルゴリズムを適用することにより、ARモデルを計算することができる。レビンソン−ダービンアルゴリズムは、補正フィルタの次数を選択するのに使用することができるサブバンドに対する残存電力推定値を生成する。プロセッサは、解析及び合成フィルタバンク間でP個のベースバンドオーディオ信号を周波数補正するP個のデジタル全ゼロサブバンド補正フィルタを対応する係数から構成する。プロセッサは、ユーザ定義のものであるか又はチャンネルエネルギ測度の平滑化バージョンであるチャンネルターゲット曲線のためのフィルタ係数を計算することができ、次に、チャンネルターゲット曲線の平均とすることができる共通ターゲット曲線に対してフィルタ係数を調節することができる。
以下に続く好ましい実施形態の詳細説明を添付図面と合わせて理解することにより、本発明のこれら及び他の特徴及び利点は当業者に明らかであろう。
多チャンネルオーディオ再生システム及びリスニング環境の解析モードにおける実施形態のブロック図である。 四面体マイクロフォンの実施形態の図である。 多チャンネルオーディオ再生システム及びリスニング環境の再生モードにおける実施形態のブロック図である。 解析モードにおいて決定されたラウドスピーカ/室内周波数応答のずれを補正するようになったサブバンド通過フィルタバンクの再生モードにおける実施形態のブロック図である。 解析モードの実施形態の流れ図である。 全域通過プローブ信号に対する時間シーケンスを示す図である。 全域通過プローブ信号に対する周波数シーケンスを示す図である。 全域通過プローブ信号に対する自己相関シーケンスを示す図である。 全域通過プローブ信号に対する自己相関シーケンスを示す図である。 プリ−エンファシスプローブ信号の時間シーケンスを示す図である。 プリ−エンファシスプローブ信号のマグニチュードスペクトルを示す図である。 同じ周波数領域信号から全域通過プローブ信号とプリ−エンファシスプローブ信号とを生成するための実施形態の流れ図である。 取得のためのプローブ信号の送信をスケジューリングするための実施形態の図である。 室内応答及び遅延を与えるためのプローブ信号の実時間取得処理における実施形態のブロック図である。 補正フィルタを与えるための室内応答の後処理に対する実施形態の流れ図である。 ブロードバンドプローブ信号のスペクトル測度とプリ−エンファシスプローブ信号のスペクトル測度とで混合された室内スペクトル測度の実施形態の図である。 異なるプローブ信号及びマイクロフォン組合せに対してエネルギ測度を計算するための実施形態の流れ図である。 周波数補正フィルタを計算するためにエネルギ測度を処理するための実施形態の流れ図である。 解析フィルタバンクのダウンサンプリングを模擬するためのエネルギ測度の抽出及びベースバンドへの再マッピングにおける実施形態を示す図である。 解析フィルタバンクのダウンサンプリングを模擬するためのエネルギ測度の抽出及びベースバンドへの再マッピングにおける実施形態を示す図である。 解析フィルタバンクのダウンサンプリングを模擬するためのエネルギ測度の抽出及びベースバンドへの再マッピングにおける実施形態を示す図である。
本発明は、多チャンネルラウドスピーカ構成を特徴付け、ラウドスピーカ/室内の遅延、利得、及び周波数応答を補正し、又はサブバンド領域補正フィルタを構成するようになったデバイス及び方法を提供する。様々なデバイス及び方法は、空間内でラウドスピーカを自動的に位置付けて、オーディオチャンネルが接続されているか否かを決定し、特定の多チャンネルラウドスピーカ構成を選択し、かつリスニング環境内で各ラウドスピーカを位置決めするようになっている。様々なデバイス及び方法は、低周波数で音圧と音速の両方を取り込み、かつ広いリスニング区域にわたって正確である知覚的に適切なエネルギ測度を抽出するようになっている。エネルギ測度は、リスニング環境内の単一の場所に配置されてデジタル補正フィルタを構成するのに使用される密に離間された非共在多マイクロフォンアレイを使用することによって収集された室内応答から導出される。様々なデバイス及び方法は、入力多チャンネルオーディオ信号の周波数応答を例えば室内応答及びラウドスピーカ応答によってもたらされるターゲット応答からのずれに対して補正するためのサブバンド補正フィルタを構成するようになっている。解析フィルタバンクのダウンサンプリングを模擬するために、スペクトル測度(室内スペクトル/エネルギ測度のような)が区分化され、ベースバンドに再マップされる。各サブバンドに対してARモデルが独立して計算され、これらのモデルの係数は、全ゼロ最小位相フィルタにマップされる。注意点として、解析フィルタの形状は、再マッピングには含まれない。サブバンド通過フィルタの実施は、MIPS要件と、メモリ要件と、処理遅延とを均衡調整するように構成することができ、他のオーディオ処理に向けて解析/合成フィルタバンクアーキテクチャが既に存在する場合にはその上に搭載することができる。
多チャンネルオーディオ解析及び再生システム
ここで図面を参照すると、図1a〜図1b、図2、及び図3は、リスニング環境14内の多チャンネルスピーカ構成12を探査及び解析して多チャンネルスピーカ構成を自動的に選択して室内でスピーカを位置決めし、広いリスニング区域にわたって知覚的に適切なスペクトル(例えば、エネルギ)測度を抽出し、かつ周波数補正フィルタを構成するためのかつ室内補正(遅延、利得、及び周波数)を用いた多チャンネルオーディオ信号16の再生のための多チャンネルオーディオシステム10の実施形態を示している。多チャンネルオーディオ信号16は、ケーブル給送又は衛星給送によって供給することができ、又はDVD又はBlu−Ray(登録商標)ディスクのようなストレージ媒体から読み取ることができる。オーディオ信号16は、テレビジョン18に供給されるビデオ信号と対にすることができる。代替的に、オーディオ信号16は、ビデオ信号を伴わない音楽信号とすることができる。
多チャンネルオーディオシステム10は、多チャンネルオーディオ信号16を供給するためのケーブルレシーバ又は衛星レシーバ又はDVDプレーヤ又はBlu−Ray(登録商標)プレーヤのようなオーディオソース20と、多チャンネルオーディオ信号をオーディオ出力24における個別オーディオチャンネルに復号するA/Vプリアンプ22と、それぞれのオーディオ出力24に結合され、A/Vプリアンプによって供給される電気信号をリスニング環境14内に音波28として送信される音響応答に変換する複数のラウドスピーカ26(電気−音響変換器)とを含む。オーディオ出力24は、ラウドスピーカに有線接続した端子、又はラウドスピーカに無線結合された無線出力とすることができる。オーディオ出力がラウドスピーカに結合される場合に、対応するオーディオチャンネルが接続されると言われる。ラウドスピーカは、サラウンドサウンド体験を模倣するようになった複数のスピーカを各々が含む離散2Dレイアウト又は離散3Dレイアウト又はサウンドバーで配置された個別スピーカとすることができる。システムは、1つ又はそれよりも多くのマイクロフォン30とマイクロフォン送信ボックス32とを含むマイクロフォンアセンブリも含む。マイクロフォン(音響−電気変換器)は、ラウドスピーカに供給されるプローブ信号に対する音波を受信し、かつ音響応答を電気信号に変換する。送信ボックス32は、電気信号をA/Vプリアンプのオーディオ入力34のうちの1つ又はそれよりも多くに有線又は無線の接続を通じて供給する。
A/Vプリアンプ22は、典型的に独自のプロセッサメモリが備えられた汎用「コンピュータ処理ユニット(CPU)」又は専用「デジタル信号プロセッサ(DSP)」チップのような1つ又はそれよりも多くのプロセッサ36と、システムメモリ38と、オーディオ出力24に接続したデジタル/アナログコンバータ及び増幅器40とを含む。一部のシステム構成では、D/Aコンバータ及び/又は増幅器は、別々のデバイスとすることができる。例えば、A/Vプリアンプは、補正されたデジタル信号をD/Aコンバータに出力することができ、D/Aコンバータは、アナログ信号を電力増幅器に出力する。解析及び再生の作動モードを実施するために、メモリ、プロセッサ、又はシステム内にコンピュータプログラム命令の様々な「モジュール」が格納され、1つ又はそれよりも多くのプロセッサ36によって実行される。
A/Vプリアンプ22は、入力マイクロフォン信号を受信するために1つ又はそれよりも多くのオーディオ入力34に接続されてプロセッサ36に別々のマイクロフォンチャンネルを供給する入力レシーバ42も含む。マイクロフォン送信ボックス32と入力レシーバ42とは対応する対である。例えば、送信ボックス32は、マイクロフォンアナログプリアンプと、A/Dコンバータ及びTDM(時間領域マルチプレクサ)又はA/Dコンバータと、圧縮器と、USBトランスミッタとを含むことができ、対応する入力レシーバ42は、アナログプリアンプ及びA/Dコンバータと、SPDIFレシーバ及びTDMデマルチプレクサ又はUSBレシーバと、解凍器とを含むことができる。A/Vプリアンプは、各マイクロフォン信号に対するオーディオ入力34を含むことができる。代替的に、複数のマイクロフォン信号を単一の信号に多重化して、単一のオーディオ入力34に供給することができる。
作動の解析モード(図4に提供している)をサポートするために、A/Vプリアンプには、プローブ発生及び送信スケジューリングモジュール44と室内解析モジュール46とが備えられる。図5a〜図5d、図6a〜図6b、図7、及び図8に詳描するように、モジュール44は、ブロードバンドプローブ信号、及び可能な場合はそれと対になったプリ−エンファシスプローブ信号を発生し、これらのプローブ信号をA/Dコンバータ及び増幅器40を通じて各オーディオ出力24にスケジュールに従って無音期間によって分離された非重ね合わせ時間スロットで送信する。各オーディオ出力24は、出力がラウドスピーカに結合されているか否かに関して探査される。モジュール44は、1つ又は複数のプローブ信号及び送信スケジュールを室内解析モジュール46に供給する。図9から図14に詳描するように、モジュール46は、送信スケジュールに従って多チャンネルスピーカ構成を自動的に選択し、室内にスピーカを位置決めし、広いリスニング区域にわたって知覚的に適切なスペクトル(エネルギ)測度を抽出し、周波数補正フィルタ(サブバンド周波数補正フィルタなど)を構成するようにマイクロフォン信号及びプローブ信号を処理する。モジュール46は、ラウドスピーカ構成及びスピーカ位置とフィルタ係数とをシステムメモリ38に格納する。
マイクロフォン30の個数及びレイアウトは、多チャンネルラウドスピーカ構成を選択してラウドスピーカを位置決めし、広いリスニング区域にわたって有効である知覚的に適切なエネルギ測度を抽出する解析モジュールの機能に影響を及ぼす。これらの機能をサポートするために、マイクロフォンレイアウトは、ラウドスピーカを2次元又は3次元で「局在化」させ、かつ音速を計算するためのある一定量の多様性を与える。一般的に、これらのマイクロフォンは非共在のものであり、固定の間隔を有する。例えば、単一のマイクロフォンは、ラウドスピーカまでの距離のみを推定する段階をサポートする。1対のマイクロフォンは、ラウドスピーカまでの距離及び平面の半域(前部、後部、又はいずれかの側部)内での方位角のような角度を推定する段階と、単一の方向の音速を推定する段階とをサポートする。3つのマイクロフォンは、ラウドスピーカまでの距離及び平面全域(前部、後部、及び両側部)内での方位角を推定する段階と、3次元空間における音速を推定する段階とをサポートする。3次元ボール上に位置決めされた4つ又はそれよりも多くのマイクロフォンは、ラウドスピーカまでの距離、並びに完全な3次元空間内での方位角及び仰角を推定する段階と、3次元空間における音速を推定する段階とをサポートする。
四面体マイクロフォンアレイの場合の特定的に選択された座標系における多マイクロフォンアレイ48の実施形態を図1bに示している。4つのマイクロフォン30は、四面体物体(「ボール」)49の頂点に配置される。全てのマイクロフォンは全方位性のものであり、すなわち、マイクロフォン信号は、様々な場所における圧力測定値を表すと仮定する。マイクロフォン1、2、及び3は、x,y平面に位置し、マイクロフォン1は、座標系の原点、及びマイクロフォン2及び3は、x軸から等距離に位置する。マイクロフォン4は、x,y平面から外れて位置する。マイクロフォンの各々の間の距離は等しく、dで表している。到来方向(DOA)は、音波到来方向(補記Aの位置処理に使用されることになる)を示している。マイクロフォンの間隔「d」は、最大で500Hzから1kHzまでの音速を正確に計算するために小さい間隔を必要とすること、及びラウドスピーカを正確に位置決めするために大きい間隔を必要とすることの兼ね合いを表している。約8.5cmから9cmの間隔が、両方の要件を満たす。
作動の再生モードをサポートするために、A/Vプリアンプには、入力レシーバ/復号器モジュール52とオーディオ再生モジュール54とが備えられる。入力レシーバ/復号器モジュール52は、多チャンネルオーディオ信号16を別々のオーディオチャンネルに復号する。例えば、多チャンネルオーディオ信号16は、標準の2チャンネルフォーマットで配信することができる。モジュール52は、2チャンネルの「Dolby Surround」信号、「Dolby Digital」信号、又は「DTS Digital Surround(登録商標)」信号又はDTS−HDR(登録商標)信号をそれぞれの別々のオーディオチャンネルに復号するジョブを処理する。モジュール54は、汎用フォーマット変換、並びにラウドスピーカ/室内の較正及び補正を実施するように各オーディオチャンネルを処理する。例えば、モジュール54は、アップミキシング又はダウンミキシング、スピーカの再マッピング又は仮想化を実施し、遅延、利得、又は極性の補償を適用し、バス管理を実施し、かつ室内周波数補正を実施することができる。モジュール54は、1つ又はそれよりも多くのデジタル周波数補正フィルタを各オーディオチャンネルに向けて構成するのに、解析モードによって生成され、システムメモリ38に格納された周波数補正パラメータ(例えば、遅延及び利得の調節値及びフィルタ係数)を使用することができる。周波数補正フィルタは、時間領域、周波数領域、又はサブバンド領域に実施することができる。各オーディオチャンネルは、各々の周波数補正フィルタを通過し、リスニング環境内に音波として送信される音響応答を生成するようにラウドスピーカを駆動するアナログオーディオ信号に変換される。
サブバンド領域に実施されたデジタル周波数補正フィルタ56の実施形態を図3に示している。フィルタ56は、Pバンド複素非臨界サンプリング解析フィルタバンク58と、P個のサブバンドに対するP個の最小位相FIR(有限インパルス応答)フィルタ62と、Pバンド複素非臨界サンプリング合成フィルタバンク64とを含み、ここでPは整数である。図示のように、室内周波数補正フィルタ60は、汎用アップミキシング/ダウンミキシング/スピーカ再マッピング/仮想化の機能66をサブバンド領域に実施する「DTS NEO−XTM」のような既存のフィルタアーキテクチャに追加される。サブバンド単位の室内周波数補正における計算の大部分は、解析フィルタバンク及び合成フィルタバンクの実施にある。室内補正の追加によってNEO−XTMのような既存のサブバンドアーキテクチャに課せられる処理要件の増分は最小である。
周波数補正は、サブバンド領域で、最初にオーディオ信号(例えば、入力PCMサンプル)をオーバーサンプリング解析フィルタバンク58に通し、次に、適宜異なる長さの最小位相FIR補正フィルタ62を各バンド内で独立して適用し、最後に合成フィルタバンク64を適用して、周波数補正された出力PCMオーディオ信号を作成することによって実施される。周波数補正フィルタは、最小位相のものであるように設計されるので、サブバンド信号は、異なる長さのフィルタを通過した後でさえも、依然としてバンド間で時間整合されている。その結果、この周波数補正手法によって導入される遅延は、解析フィルタバンク及び合成フィルタバンクのチェーン内の遅延だけによって決定される。64バンドオーバーサンプリング複素フィルタバンクを用いた特定の実施では、この遅延は20ミリ秒よりも小さい。
取得、室内応答処理、及びフィルタ構成
作動の解析モードの実施形態に対する高レベルの流れ図を図4に示している。一般的に、解析モジュールは、ブロードバンドプローブ信号、及び可能な場合はプリ−エンファシスプローブ信号を発生し、これらのプローブ信号をスケジュールに従ってラウドスピーカを通じてリスニング環境内に音波として送信し、マイクロフォンアレイにおいて検出される音響応答を記録する。これらのモジュールは、各マイクロフォンでの各ラウドスピーカに対する遅延及び室内応答、並びに各プローブ信号を計算する。この処理は、次のプローブ信号の送信の前に「実時間」で行うか、又は全てのプローブ信号を送信し終わり、マイクロフォン信号を記録し終わった後にオフラインで行うことができる。モジュールは、各ラウドスピーカに対してスペクトル(例えば、エネルギ)測度を計算し、このスペクトル測度を用いて周波数補正フィルタ及び利得調節値を計算するように室内応答を処理する。ここでもまた、この処理は、次のプローブ信号の送信の前の無音期間中に行うか、又はオフラインで行うことができる。取得及び室内応答処理が実時間又はオフラインのいずれで行われるかは、100万命令毎秒(MIPS)で測定される計算と、メモリと、全体の取得時間との兼ね合いであり、特定のA/Vプリアンプのリソース及び要件に依存する。モジュールは、計算された各ラウドスピーカまでの遅延を用いて、接続した各チャンネルにおけるラウドスピーカに対する距離及び少なくとも方位角を決定し、これらの情報を用いて特定の多チャンネル構成を自動的に選択し、リスニング環境内の各ラウドスピーカに対する位置を計算する。
解析モードは、システムパラメータ及び解析モジュールパラメータを初期化する段階で始まる(段階70)。システムパラメータは、利用可能なチャンネルの個数(NumCh)と、マイクロフォンの個数(NumMics)と、マイクロフォン感度、出力レベルなどに基づく出力音量設定とを含むことができる。解析モジュールパラメータは、1つ又は複数のプローブ信号S(ブロードバンド)及びPeS(プリ−エンファシス処理されたもの)と、利用可能チャンネルの各々に信号を送信するためのスケジュールとを含む。プローブ信号は、システムメモリに格納するか又は解析が開始される時に発生させることができる。スケジュールは、システムメモリに格納するか又は解析が開始される時に発生させることができる。スケジュールは、1つ又はそれよりも多くのプローブ信号を各プローブ信号が無音期間によって分離された非重ね合わせ時間スロットでスピーカによってリスニング環境内に音波として送信されるようにオーディオ出力に供給する。無音期間の幅は、処理のうちのいずれかが、次のプローブ信号の送信の前に実施されているか否かに少なくとも部分的に依存することになる。
第1のプローブ信号Sは、指定された音響バンドにわたって実質的に一定のマグニチュードスペクトルによって特徴付けられるブロードバンドシーケンスである。音響バンド内での一定のマグニチュードスペクトルからのずれは、SN比(SNR)を犠牲にし、それによって室内及び補正フィルタの特徴付けが影響を受ける。システム仕様は、音響バンドにわたる一定量からの最大dBずれを指定することができる。第2のプローブ信号PeSは、指定された音響バンドの一部分にわたって増幅されたマグニチュードスペクトルを与えるベースバンドシーケンスに適用されるプリ−エンファシス関数によって特徴付けられるプリ−エンファシスシーケンスである。プリ−エンファシスシーケンスは、ブロードバンドシーケンスから導出することができる。一般的に、第2のプローブ信号は、指定された音響バンドと部分的又は完全に重なる可能性がある一定のターゲットバンド内でのノイズの整形又は減衰に有利であるとすることができる。特定の用途では、プリ−エンファシス関数のマグニチュードは、指定された音響バンドの低周波数領域と重なるターゲットバンド内の周波数に反比例する。多マイクロフォンアレイとの組合せに使用される場合には、この二重プローブ信号は、ノイズの存在下でよりロバストな音速計算を与える。
プリアンプのプローブ発生及び送信スケジューリングモジュールは、スケジュールに従ってプローブ信号の送信及びマイクロフォン信号P及びPePの取り込みを開始する(段階72)。プローブ信号(S及びPeS)及び取り込みマイクロフォン信号(P及びPeP)は、室内解析モジュールに供給され、室内応答の取得が実施される(段階74)。この取得は、室内応答を時間領域室内インパルス応答(RIR)又は周波数領域室内周波数応答(RFR)のいずれかで出力し、更に各ラウドスピーカに対する各取り込みマイクロフォン信号における遅延を出力する。
一般的に、取得処理は、室内応答を抽出するためのプローブ信号を用いたマイクロフォン信号の逆畳み込みを含む。逆畳み込みは、ブロードバンドプローブ信号を用いてブロードバンドマイクロフォン信号に施される。プリ−エンファシスマイクロフォン信号には、プリ−エンファシスマイクロフォン信号を使用するか、又はブロードバンドプローブ信号とすることができるそのベースバンドシーケンスを用いた逆畳み込みを行うことができる。プリ−エンファシスマイクロフォン信号に、そのベースバンドシーケンスを用いて逆畳み込みを行うことにより、プリ−エンファシス関数が室内応答の上に重ね合わせられる。
逆畳み込みは、マイクロフォン信号のFFT(高速フーリエ変換)を計算し、プローブ信号のFFTを計算し、マイクロフォン周波数応答をプローブ周波数応答で割算して室内周波数応答(RFR)を形成することによって実施することができる。RIRは、RFRの逆FFTを計算することによって与えられる。逆畳み込みは、全体のマイクロフォン信号を記録し、全体のマイクロフォン信号及びプローブ信号に対して単一のFFTを計算することによって「オフライン」に実施することができる。この逆畳み込みは、プローブ信号の間の無音期間内に行うことができるが、この計算に対応するために、無音期間の持続時間を増大する必要がある場合がある。代替的に、いずれかの処理が始まる前に、全てのチャンネルにおけるマイクロフォン信号を記録してメモリに格納することができる。逆畳み込みは、マイクロフォン信号が取り込まれる時に、それをブロックに区分化し、この区分化に基づいてマイクロフォン信号及びプローブ信号に対してFFTを計算することによって「実時間」に実施することができる(図9を参照されたい)。「実時間」手法は、メモリ要件を軽減するが、取得時間を延長させる傾向を有する。
取得は、各ラウドスピーカに対する取り込みマイクロフォン信号の各々に対する遅延を計算する段階を有する。遅延は、プローブ信号とマイクロフォン信号とで信号の相互相関、相互スペクトル位相、又はヒルベルト包絡線(HE)のような解析包絡線を用いて計算することができる。遅延は、例えば、HE内の顕著なピーク(例えば、定められた閾値よりも大きい最大ピーク)の位置に対応する場合がある。時間領域シーケンスを発生させるHEのような技術は、サンプリング期間精度の数分の1のより細かい時間尺度でピークの新しい場所を計算するために、ピークの前後で内挿することができる。サンプリング期間は、受信マイクロフォン信号がサンプリングされる間隔であり、当業技術で一般に知られているように、サンプリングされる最大周波数の逆数の2分の1よりも小さいか又はそれに等しいように選ばなければならない。
取得は、オーディオ出力が実際にラウドスピーカに結合されるか否かを決定する段階も伴う。端子が結合されていない場合には、マイクロフォンは、いずれかの環境信号を依然として拾って記録することになるが、相互相関/相互スペクトル位相/解析包絡線は、ラウドスピーカ接続を示す顕著なピークを示すことにはならない。取得モジュールは、最大ピークを記録し、それを閾値と比較する。ピークがそのピークよりも大きい場合には、SpeakerActivityMask[nch]が真値に設定され、オーディオチャンネルが接続されていると見なされる。この決定は、無音期間中又はオフラインで行うことができる。
接続した各オーディオチャンネルに対して、解析モジュールは、各マイクロフォンでの各ラウドスピーカからの室内応答(RIR又はRFRのいずれか)及び遅延を処理し、各ラウドスピーカに対する室内スペクトル測度を出力する(段階76)。この室内応答処理は、次のプローブ信号の送信の前の無音期間中に、又は全ての探査及び取得が終了した後にオフラインに実施することができる。最も単純な場合には、室内スペクトル測度は、可能な場合は複数のマイクロフォンにわたって平均化され、更に可能な場合は高周波数でブロードバンドRFRを用い、低周波数でプリ−エンファシスRFRを使用するように混合された単一のマイクロフォンに対するRFRを含むことができる。室内応答の更に別の処理は、知覚的により適切なスペクトル応答及びより広いリスニング区域にわたって有効なものをもたらすことができる。
標準の室内(リスニング環境)には、通常の利得/距離の問題以外に、室内補正を如何に測定し、計算し、適用することができるかに影響を及ぼすいくつかの音響的な問題が存在する。これらの問題を理解するためには、知覚問題を考慮すべきである。特に、人間の聴覚において「先行音効果」としても公知の「最初の到来音」は、画像及び音質の実際の知覚にある一定の役割を果たす。無響室を除くあらゆるリスニング環境では、「直接」音質、すなわち、音源の実際の知覚音質は、最初の到来(スピーカ/機器から直接の)サウンドと、最初のいくつかの反響音とによって影響を受ける。この直接音質を聴き取った後に、リスナーは、この音質を室内で反響された後のサウンドのものと比較する。耳の全空間電力応答に対する直接音への頭部伝達関数(HRTF)の影響の比較は、人間が把握しており、使用することを学習するものであるので、上述の比較は、取りわけ、前部/後部曖昧性除去のような問題において役立つ。注意する点は、直接信号が重み付き間接信号よりも多い高周波数を有する場合には、この信号は、一般的に「前方」のものとして聞こえ、それに対して高周波数を欠く直接信号は、リスナーの背後に位置することになる点である。この効果は、約2kHzから上で最も強い。聴覚システムの性質に起因して、下側遮断周波数から約500Hzまでの信号が1つの方法によって位置し、それよりも大きい信号が別の方法によって位置する。
最初の到来音に起因する高周波数知覚効果に加えて、物理的な音響が室内補償において大きい効果を有する。殆どのラウドスピーカは、最初の到来音に関して理想的なものに確実に近づく場合であっても、全体として平坦な電力放射曲線を持たない。これは、高周波数では、リスニング環境が、低周波数で駆動されることになる場合よりも少ないエネルギで駆動されることになることを意味する。これだけを取ると、それは、補償の計算において長期のエネルギ平均を用いた場合に、直接信号に望ましくないプリ−エンファシスを適用してしまうことを意味することになる。一般的に、より高い周波数では、壁、家具、人間などがより多くのエネルギを吸収することになり、それによって室内のエネルギ累積量(すなわち、T60)が減少し、長期測定値が、直接音質に対するより一層高い誤認関係を有することがもたらされるので、残念ながら、一般的な室内音響によって状況は悪化する。
その結果、本出願人の手法は、実際の蝸牛機構によって決定される直接音に関する測定を低周波数で長い測定期間を有し(蝸牛フィルタの長いインパルス応答に起因して)、高周波数で短い測定期間を有するものにする。低周波数から高周波数への遷移は滑らかに変更される。この期間は、t=2/ERBバンド幅という規則によって近似することができ、この場合ERBは、聴覚システム内の他のファクタが、時間を更に短縮すべきではないことを示す時間である数ミリ秒の下側の限界に「t」が達するまでの同一矩形バンド幅である。この「段階的平滑化」は、室内インパルス応答又は室内スペクトル測度に対して実施することができる。
低い周波数、すなわち、長い波長では、サウンドエネルギは、様々な場所にわたって、音圧だけ又は速度のいずれかの軸だけと比較して僅かしか変化しない。非共在多マイクロフォンアレイからの測定値を用いて、モジュールは、低周波数で、音圧だけでなく、好ましくは、全方向の音速も考慮する全体エネルギ測度を計算する。それを行うことにより、モジュールは、室内の1つの点から低周波数における実際の累積エネルギを取り込む。それによってゼロ圧力が体積速度の最大値と一致することになることで測定点における圧力が過剰累積量を指定しない場合であっても、A/Vプリアンプが、過剰累積量が存在する周波数におけるエネルギを室内に放射することを回避することが好都合に可能になる。多マイクロフォンアレイとの組合せに使用される場合には、二重プローブ信号は、ノイズの存在下でよりロバストな室内応答をもたらす。
解析モジュールは、室内スペクトル(例えば、エネルギ)測度を用いて、接続した各オーディオチャンネルに対して周波数補正フィルタ及び利得調節値を計算し、これらのパラメータをシステムメモリに格納する(段階78)。ラウドスピーカ/室内周波数補正を適用するのに、時間領域フィルタ(例えば、FIR又はIIR)、周波数領域フィルタ(例えば、重ね合わせ加算、重ね合わせ保留によって実施されたFIR)、及びサブバンド領域フィルタを使用することができる。非常に低い周波数における室内補正は、数百ミリ秒の持続時間に容易に達することができるインパルス応答を有する補正フィルタを必要とする。サイクル毎に必要とされる作動に関して、これらのフィルタを実施する最も効率的な手法は、重ね合わせ保留法又は重ね合わせ加算法を用いた周波数領域におけるものになる。必要とされるFFTの大きいサイズに起因して、いくつかの庭用電化製品用途では、固有遅延及びメモリ要件が法外のものである可能性がある。分割FFT手法が使用される場合には、遅延は、サイクル毎の作動回数の増加の代償として短縮することができる。しかし、本方法は、依然として高いメモリ要件を有する。処理がサブバンド領域に実施される場合には、サイクル毎に必要とされる作動回数と、メモリ要件と、処理遅延との間の妥協点を微調整することができる。サブバンド領域での周波数補正は、特に、非常に少ないサブバンド(非常に少ない低周波数バンドのみを有する室内補正の場合のような)内のフィルタが、全ての他のサブバンド内のフィルタよりもかなり高い次数を有する場合に、異なる周波数領域内で異なる次数のフィルタを効率良く利用することができる。取り込み室内応答が、低周波数で長い測定期間を用い、高周波数に向けて漸進的に短い測定期間を用いて処理される場合には、室内補正フィルタリングは、低周波数から高周波数にフィルタリングを行う時に更に低い次数のフィルタを必要とする。この場合に、サブバンド単位の室内周波数補正フィルタリング手法は、重ね合わせ保留法又は重ね合わせ加算法を用いた高速畳み込みと類似の計算の複雑さを与えるが、サブバンド領域手法は、この計算をかなり低いメモリ要件、並びにかなり低い処理遅延しか伴わずに与える。
オーディオチャンネルの全てを処理した状態で、解析モジュールは、ラウドスピーカに対して特定の多チャンネル構成を自動的に選択し、リスニング環境内で各ラウドスピーカに対する位置を計算する(段階80)。モジュールは、各ラウドスピーカからマイクロフォンの各々までの遅延を用いて、距離及び少なくとも方位角、好ましくは、定められた3D座標系内でのラウドスピーカに対する仰角を決定する。方位角及び仰角を分解するモジュールの機能は、マイクロフォンの個数及び受信信号の多様性に依存する。モジュールは、これらの遅延をラウドスピーカから座標系の原点までの遅延に一致するように再調節する。所定のシステム電子機器の伝播遅延に基づいて、モジュールは、ラウドスピーカから原点までの空気伝播に一致する絶対遅延を計算する。この遅延とサウンドの一定の速度とに基づいて、モジュールは、各ラウドスピーカまでの絶対距離を計算する。
各ラウドスピーカの距離及び角度を用いて、モジュールは、最も近い多チャンネルラウドスピーカ構成を選択する。室内の物理特性、ユーザの誤操作、又はユーザプリファレンスのいずれかに起因して、ラウドスピーカ位置は、サポートされた構成と正確に対応しない可能性がある。工業規格に従って適宜指定された所定のラウドスピーカの場所のテーブルが、メモリに格納される。標準のサラウンドサウンドスピーカは、例えば、大まかにゼロの仰角の水平平面にほぼ位置し、方位角を指定する。いずれかの高さのラウドスピーカは、例えば、30度と60度の間の仰角を有することができる。以下は、そのようなテーブルの例である。
(表)
現在の工業規格は、モノラルから5.1までの約9つの異なるレイアウトを指定している。DTS−HD(登録商標)は、現在、以下の4つの6.1構成:
−C+LR+Lss+Cs
−C+LR+Lss+Oh
−LR+Lss+Lhh
−LR+Lss+Lcc
及び7つの7.1構成:
−C+LR+LFE1+Lsrsr+Lssss
−C+LR+Lss+LFE1+Lhshs
−C+LR+Lss+LFE1+Lhh
−C+LR+Lss+LFE1+Lsrsr
−C+LR+Lss+LFE1+Cs+Ch
−C+LR+Lss+LFE1+Cs+Oh
−C+LR+Lss+LFE1+Lww
を指定している。
産業が3Dに向けて動く時に、更に多くの工業規格及びDTS−HD(登録商標)レイアウトが定められることになる。接続したチャンネルの個数と、これらのチャンネルにおける距離及び角度とが与えられると、モジュールは、テーブルから個々のスピーカの場所を決定し、指定された多チャンネル構成に最も近い適合を選択する。「最も近い適合」は、誤差計量処理又は論理処理によって決定することができる。誤差計量処理は、例えば、特定の構成に対する正しい適合の個数を計数するか又は特定の構成におけるスピーカの全てのものまでの距離(例えば、誤差の二乗和)を計算することができる。論理処理は、最多のスピーカ適合個数を有する1つ又はそれよりも多くの構成候補を決定し、次に、いずれかの不適合に基づいて、どの構成候補が最も有望であるかを決定することができる。
解析モジュールは、各オーディオチャンネルに対する遅延及び利得の調節値、並びにフィルタ係数をシステムメモリに格納する(段階82)。
プローブ信号は、室内応答の効率的で正確な測定、及び広いリスニング区域にわたって有効なエネルギ測度の計算を可能にするように設計することができる。第1のプローブ信号は、指定された音響バンドにわたって実質的に一定のマグニチュードスペクトルによって特徴付けられるブロードバンドシーケンスである。指定された音響バンドにわたり「一定」からのずれは、これらの周波数でSNRの失損をもたらす。一般的に、設計仕様が、指定された音響バンドにわたるマグニチュードスペクトルにおける最大ずれを指定することになる。
プローブ信号及び取得
第1のプローブ信号Sの1つのバージョンは、図5aに示す全域通過シーケンス100である。図5bに示すように、全域通過シーケンスAPPのマグニチュードスペクトル102は、全ての周波数にわたってほぼ一定(すなわち、0dB)である。このプローブ信号は、図5c及び図5dに示すように非常に狭いピークの自己相関シーケンス104を有する。ピークの狭さは、マグニチュードスペクトルが一定であるバンド幅に反比例する。自己相関シーケンスのゼロ遅延値は、あらゆる非ゼロ遅延値を遥かに上回り、繰り返さない。どれ程超えるかは、シーケンスの長さに依存する。1,024(210)個のサンプルのシーケンスは、あらゆる非ゼロ遅延値を少なくとも30dB超えるゼロ遅延値を有することになり、それに対して65,536(216)個のサンプルのシーケンスは、あらゆる非ゼロ遅延値を少なくとも60dB超えるゼロ遅延値を有することになる。非ゼロ遅延値が低い程、ノイズ除去は大幅であり、遅延はより正確である。全域通過シーケンスは、室内応答取得処理中に、室内のエネルギが、全ての周波数で同時に累積されることになるようなものである。それによって正弦波プローブを掃引するのと比較した場合に短いプローブ長が可能になる。更に、全域通過励振は、ラウドスピーカをその公称作動モードの近くで作動させる。同時に、このプローブは、ラウドスピーカ/室内応答の正確な全バンド幅測定を可能にし、非常に迅速な全体の測定処理を可能にする。216個のサンプルのプローブ長は、0.73Hzの周波数分解能を可能にする。
第2のプローブ信号は、第1のプローブ信号の指定された音響バンドに部分的又は完全に重なるとすることができる特定のターゲットバンド内でのノイズの整形又は減衰に向けて設計することができる。第2のプローブ信号は、指定された音響バンドの一部分にわたって増幅されたマグニチュードスペクトルを与えるベースバンドシーケンスに適用されるプリ−エンファシス関数によって特徴付けられるプリ−エンファシスシーケンスである。このシーケンスは、音響バンドの一部分にわたって増幅されたマグニチュードスペクトル(>0dB)を有するので、エネルギ保存の理由で音響バンドの他の部分にわたって減衰されたマグニチュードスペクトル(<0dB)を示すことになり、従って、第1又は1次のプローブ信号としての使用には適さない。
図6aに示す第2のプローブ信号PeSの1つのバージョンは、ベースバンドシーケンスに適用されるプリ−エンファシス関数が周波数(c/ωd)に反比例するプリ−エンファシス処理が施されたシーケンス110であり、ここで、cは、音速であり、dは、指定された音響バンドの低周波数領域にわたるマイクロフォンの間隔である。fがHzである時に、半径方向周波数ω=2πfであることに注意されたい。これらの2つは、一定のスケール係数によって表されるので、交換可能に使用される。更に、簡略化のために、周波数への関数依存性を省くことができる。図6bに示すように、マグニチュードスペクトル112は、周波数に反比例する。500Hzよりも低い周波数では、マグニチュードスペクトルは>0dBである。増幅は、20dBの位置で最低周波数として制限される。低周波数における室内スペクトル測度を計算する際の第2のプローブ信号の使用は、単一のマイクロフォンの場合に低周波数ノイズを減衰させ、多マイクロフォンアレイの場合に圧力成分中の低周波数ノイズを減衰させ、速度成分の計算を改善するという利点を有する。
第1のブロードバンドプローブ信号及び第2のプリ−エンファシスプローブ信号を構成するのに、多くの異なる手法が存在する。第2のプリ−エンファシスプローブ信号は、第1のプローブ信号のブロードバンドシーケンスであってもなくてもよいベースバンドシーケンスから生成される。全域通過プローブ信号及びプリ−エンファシスプローブ信号を構成する方法の実施形態を図7に示している。
本発明の一実施形態により、プローブ信号は、好ましくは、2nというべき乗の長さを有する−π,+πの間の乱数シーケンスを発生させることによって周波数領域で構成される(段階120)。乱数シーケンスを発生させる多くの公知の技術が存在し、本発明では、メルセンヌ・ツイスタアルゴリズムに基づくMATLAB(Matrix Laboratory)の「rand」関数を一様に分散された擬似ランダムシーケンスを発生させるのに適宜使用することができる。乱数シーケンスには、平滑化フィルタ(例えば、重なるハイパスフィルタとローパスフィルタの組合せ)が適用される(段階121)。ランダムシーケンスが、全域通過振幅を仮定した周波数応答の位相(φ)として使用され、周波数領域で全域通過プローブシーケンスS(f)が生成される(段階122)。全域通過振幅は、S(f)=1*(j2πφ(f))であり、ここでS(f)は共役対称である(すなわち、負の周波部分は、正の部分の複素共役であるものとして設定される)。S(f)の逆FFTが計算され(段階124)、時間領域で第1の全域通過プローブ信号S(n)を生成するように正規化され(段階126)、ここでnは、サンプルの時間桁である。周波数依存(c/ωd)のプリ−エンファシス関数Pe(f)が定められ(段階128)、全域通過周波数領域信号S(f)に付加されてPeS(f)がもたらされる(段階130)。最低周波数でPeP(f)の限界を定めるか、又はPeP(f)を制限することができる(段階132)。PeS(f)の逆数FFTが計算され(段階134)、深刻なエッジ効果が存在しないことを確実にするために精査され、制限を回避しながら高レベルを有するように正規化され(段階136)、時間領域で第2のプリ−エンファシスプローブ信号PeS(n)が生成される。プローブ信号は、オフラインで計算し、メモリに格納することができる。
図8に示すように、実施形態において、A/Vプリアンプは、各プローブ信号が、ラウドスピーカによって音波としてリスニング環境内に無音期間によって分離された非重ね合わせ時間スロットで送信されるように、持続時間(長さ)「P」を有する1つ又はそれよりも多くのプローブ信号、全域通過プローブ(APP)、及びプリ−エンファシスプローブ(PES)を送信スケジュール140に従ってオーディオ出力に供給する。プリアンプは、1つのプローブ信号を1つのラウドスピーカに一度に1つずつ送る。二重探査の場合には、最初に全域通過プローブAPPが単一のラウドスピーカに送られ、所定の無音期間の後に、プリ−エンファシスプローブ信号PESが同じラウドスピーカに送られる。
同じスピーカへの1回目のプローブ信号の送信と2回目のプローブ信号の送信の間に、無音期間「S」が挿入される。ロバストであるが、依然として高速な取得を可能にするために、1番目のラウドスピーカと2番目のラウドスピーカの間、及びk番目のラウドスピーカとk番目+1のラウドスピーカの間の1回目の送信と2回目の送信の間には、無音期間S1,2及びSk,k+1がそれぞれ挿入される。無音期間Sの最小持続時間は、取得される最大RIR長である。無音期間S1,2の最小持続時間は、最大RIR長とシステムを通じて仮定される最大遅延との和である。無音期間Sk,k+1の最小持続時間は、(a)取得される最大RIR長と、(b)ラウドスピーカ間で仮定される最大相対遅延の2倍と、(c)室内応答処理ブロック長の2倍との和によって加えられる。プロセッサが、無音期間内に取得処理又は室内応答処理を実施し、計算を完了するのにより長い時間を必要とする場合には、異なるラウドスピーカへのプローブの間の無音を延長することができる。第1のチャンネルは、開始時点に一度、更に全ての他のラウドスピーカの後に遅延における整合性を検査するために一度の2回適宜探査される。合計システム取得長は、Sys_Acq_Len=2*P+S+S1,2+N_LoudSpkrs*(2*P+S+Sk,k+1)である。65,536個というプローブ長及び6つのラウドスピーカの二重プローブ試験では、合計取得時間は、31秒未満とすることができる。
上述したように、非常に長いFFTに基づく取り込みマイクロフォン信号の逆畳み込みの手法は、オフライン処理の状況に適している。この場合に、プリアンプは、全ての取り込みマイクロフォン信号を格納して、取り込み処理が終了した後に初めて伝播遅延及び室内応答の推定を始めるのに十分なメモリを有すると仮定する。
室内応答取得のDSP実施では、取得処理の必要メモリ及び必要持続時間を最小にするために、A/Vプリアンプは、マイクロフォン信号を取り込みながら、逆畳み込み及び遅延推定を適宜実施する。遅延及び室内応答の実時間推定の手法は、メモリ要件と、MIPS要件と、取得時間要件との間の兼ね合いに関して、異なるシステム要件に合わせることができる。
・取り込みマイクロフォン信号の逆畳み込みは、インパルス応答が時間反転プローブシーケンスである(すなわち、65536個のサンプルプローブに対して65536個のタップFIRフィルタを有する)対応フィルタによって実施される。複雑さの軽減のために、適合フィルタリングは周波数領域で行われ、メモリ要件及び処理遅延の軽減のために、分割FFT重ね合わせ及び保存法が、50%重なるように使用される。
・各ブロックにおいて、この手法は、室内インパルス応答候補の特定の時間部分に対応する周波数応答候補をもたらす。各ブロックに対して逆FFTが実施され、室内インパルス応答(RIR)候補の新しいサンプルブロックが得られる。
・更に同じ周波数応答候補から、負の周波数に対する値をゼロにし、結果にIFFTを適用し、IFFTの絶対値を取ることにより、室内インパルス応答候補の解析包絡線(AE)の新しいサンプルブロックが得られる。一部の実施形態において、AEはヒルベルト包絡線(HE)である。
・AEの広域ピーク(全てのブロックにわたる)が追跡され、その場所が記録される。
・AE広域ピークの場所の前の所定数のサンプルで始めてRIR及びAEが記録され、それによって室内応答処理中の伝播遅延の微調整が可能になる。
・全ての新しいブロックにおいて、AEの新しい広域ピークが見つかった場合には、それまでに記録されたRIR及びAE候補がリセットされ、新しいRIR及びAE候補の記録が始められる。
・不正検出を低減するために、AE広域ピーク検索空間が予想領域に限定され、各ラウドスピーカに対するこれらの予想領域は、システムを通じて仮定される最大遅延と、ラウドスピーカ間で仮定される最大相対遅延とに依存する。
次に、図9を参照すると、特定の実施形態において、N/2個のサンプルの各連続ブロック(50%重ね合わせた)が処理されてRIRが更新される。各マイクロフォンに対する各ブロックに対してN点FFTが実施され、長さN×1の周波数応答が出力される(段階150)。各マイクロフォン信号(非負の周波数のみ)に対する現在のFFT区分が、長さ(N/2+1)×1のベクトルで格納される(段階152)。これらのベクトルは、先入れ先出し(FIFO)に基づいて累積され、(N/2+1)×K次元のK個のFFT区分の行列Input_FFT_Matrixが作成される(段階154)。長さK*N/2のサンプルの時間反転ブロードバンドプローブ信号の1組の分割FFT(非負の周波数のみ)が事前計算され、(N/2+1)×K次元の行列Filt_FFTとして格納される。Input_FFT_Matrixに対して、重ね合わせ及び保存法を用いたFilt_FFT行列との高速畳み込みが実施され、現在のブロックに対してN/2+1個の点の周波数応答候補が与えられる。重ね合わせ及び保存法は、Filt_FFT_matrixの各周波数ビン内の値に、Input_FFT_Matrix内の対応する値を乗算し、行列のK個の列にわたる値を平均化する。各ブロックに対して、N点逆FFTが、負の周波数に対して共役対称拡張を用いて実施され、室内インパルス応答(RIR)候補のN/2×1個のサンプルの新しいブロックが得られる(段階160)、RIR候補の連続ブロックが付加され、指定されたRIR長(RIR_Length)に達するまで格納される(段階162)。
更に同じ周波数応答候補から、負の周波数に対する値をゼロにし、結果にIFFTを適用し、IFFTの絶対値を取ることにより、室内インパルス応答候補のHEのN/2×1個のサンプルの新しいブロックが得られる(段階164)。到着するN/2個のサンプルのブロックにわたってHEの最大値(ピーク)が追跡され、全てのブロックにわたる広域ピークを追跡するために更新される(段階166)。HEの広域ピーク付近のM個のサンプルが格納される(段階168)。新しい広域ピークが検出された場合には、格納されているRIR候補をフラッシュして再開する制御信号が発せられる。DSPは、RIRと、HEピークの場所と、HEのピーク付近のM個のサンプルとを出力する。
二重プローブ手法が使用される実施形態において、プリ−エンファシスプローブ信号が同じく処理され、RIR_Lengthに達するまで格納されるRIR候補が生成される。全域通過プローブ信号におけるHEの広域ピークの場所は、RIR候補の累積を始めるために使用される。DSPは、プリ−エンファシスプローブ信号に対するRIRを出力する。
室内応答処理
取得処理が完了した状態で、室内応答のうちの長い部分が低い周波数の位置にあると考えられ、室内応答のうちの漸進的に短くなる部分が、周波数で次第に高くなる位置にあると考えられる蝸牛機構にヒントを得た時間−周波数処理によって室内応答が処理される。この可変分解能時間−周波数処理は、時間領域RIR又は周波数領域スペクトル測度のいずれに対しても実施することができる。
室内応答処理の方法の実施形態を図10に例示している。オーディオチャンネルインジケータnchがゼロに設定される(段階200)。SpeakerAvtivityMask[nch]が真値ではない(すなわち、それ以上ラウドスピーカが結合されていない)場合は(段階202)、ループ処理は終了し、全ての補正フィルタを共通のターゲット曲線に調節する最終段階までにスキップする。真値ではない場合に、処理は、任意的にRIRに可変分解能時間−周波数処理を適用する(段階204)。RIRには、時変フィルタが適用される。時変フィルタは、RIRの開始点は全くフィルタリングを受けないが、フィルタが時間と共にRIRを通じて進む時に、時間と共に漸進的に小さくなるバンド幅を有するローパスフィルタが適用されるように構成される。
時変フィルタを構成してRIRに適用する例示的な処理は、以下の通りである。
・RIRの最初の数ミリ秒を変更しないままに残す(全ての周波数が存在する)。
・RIRの開始時点から数ミリ秒後に、RIRに時変ローパスフィルタを適用し始める。
・ローパスフィルタの時間変更は、各段によって行うことができる。
○各段は、RIR内の特定の期間に対応する。
○この期間は、前の段における期間と比較した場合に2倍に増大することができる。
○2つの連続する段中の期間は、50%(先行する段に対応する期間の)だけ重なることができる。
○各新しい段では、ローパスフィルタは、そのバンド幅を50%だけ減幅することができる。
・初期段における期間は、数ミリ秒前後になる。
・時変フィルタの実施は、重ね合わせ加算の手法を用いてFFT領域で行うことができ、取りわけ、以下のように行うことができる。
○RIRのうちで現在のブロックに対応する部分を抽出する。
○抽出したRIRブロックに窓関数を適用する。
○現在のブロックにFFTを適用する。
○現在の段のローパスフィルタのFFTと同じサイズの対応する周波数ビンで乗算する。
○結果の逆FFTを計算して出力を生成する。
○現在のブロックの出力を抽出して、保存されている前のブロックからの出力を加算する。
○次のブロックとの組合せに向けて出力の残りの部分を保存する。
○これらの段階は、RIRの「現在のブロック」が時間と共にRIRを通じて前のブロックに対して50%重ねて摺動しながら繰り返される。
○ブロックの長さは、各段において増大することができ(各段に関連付けられた期間の持続時間をマッチングながら)、ある一定の段で増大を止めることができ、又は全体を通じて一様なものとすることができる。
異なるマイクロフォンでの室内応答が再整合される(段階206)。単一のマイクロフォンの場合は再整合を必要としない。室内応答は、時間領域でRIRとして与えられる場合には、各マイクロフォンでのRIRの間の相対遅延が回復され、FFTが計算され、整合されたRFRが得られるように再整合される。室内応答が周波数領域でRFRとして与えられる場合には、再整合は、マイクロフォン信号の間の相対遅延に対応する位相シフトによって達成される。全域通過プローブ信号に対する各周波数ビンkにおける周波数応答をHkとし、プリ−エンファシスプローブ信号に対するものをHk,peとし、周波数への関数依存性を割愛した。
現在のオーディオチャンネルに対する再整合RFRから、スペクトル測度が構成される(段階208)。一般的に、スペクトル測度は、マグニチュードスペクトル及びエネルギ測度を含むが、これらに限定されない幾つもの手法でRFRから計算することができる。図11に示すように、スペクトル測度210は、遮断周波数ビンktよりも低い周波数におけるプリ−エンファシスプローブ信号に対する周波数応答Hk,peから計算されたスペクトル測度212と、遮断周波数ビンktよりも高い周波数におけるブロードバンドプローブ信号に対する周波数応答Hkからのスペクトル測度214とを混合することができる。最も単純な場合には、スペクトル測度は、遮断周波数よりも大きいHkを遮断周波数よりも小さいHk,peに付加することによって混合される。代替的に、必要に応じて、異なるスペクトル測度を遮断周波数ビン付近の遷移領域216内の重み付き平均として組み合わせることができる。
段階204において室内応答に可変分解能時間−周波数処理が適用されなかった場合には、可変分解能時間−周波数処理をスペクトル測度に適用することができる(段階220)。スペクトル測度には、平滑化フィルタが適用される。平滑化フィルタは、平滑化の量が周波数と共に増加するように構成される。
平滑化フィルタを構成してスペクトル測度に適用するための例示的な処理は、単極ローパスフィルタ差分方程式を用いて、それを周波数ビンに適用する段階を含む。平滑化は、バンド1:0〜93.8、バンド2:93.8〜187.5、バンド3:187.5〜375、バンド4:375〜750、バンド5:750〜500、バンド6:1500〜3000、バンド7:3000〜6000、バンド8:6000〜12000、及びバンド9:12000〜24000という9つの周波数バンド(Hzで表した)内に実施される。平滑化は、可変指数関数忘却因子を用いた前方及び後方の周波数領域平均化を使用する。指数関数忘却因子の変動性は、周波数バンドのバンド幅(Band_BW)によって決定され、すなわち、Cがスケール定数である時にλ=1−C/Band_BWである。1つのバンドから次のものに遷移する場合には、λ値は、これらの2つのバンド内のλ値の間の線形内挿によって得られる。
最終のスペクトル測度が生成され終わると、周波数補正フィルタを計算することができる。この計算を行うには、システムに、望ましい補正された周波数応答又は「ターゲット曲線」を設けなければならない。このターゲット曲線は、あらゆる室内補正システムの特徴的なサウンドへの主な寄与ファクタのうちの1つである。1つの手法は、いずれかのユーザプリファレンスを反映する単一の共通ターゲット曲線を全てのオーディオチャンネルに対して使用することである。図10に反映されている別の手法は、各オーディオチャンネルに対して独特なチャンネルターゲット曲線を生成して保存し(段階222)、全てのチャンネルに対して共通ターゲット曲線を生成する(段階224)ことである。
ステレオ又は多チャンネルの画像を補正するために、室内補正処理は、室内のラウドスピーカの各々からのサウンドのうちで最初の到来音のマッチング(時間、振幅、及び音質における)を最初に提供しなければならない。室内スペクトル測度は、測度の傾向のみが保持されるように、非常に粗いローパスフィルタを用いて平滑化される。言い換えれば、全ての室内寄与が除外又は平滑化されるので、ラウドスピーカ応答の直接経路の傾向が保持される。これらの平滑化された直接経路ラウドスピーカ応答は、各ラウドスピーカに対する別々の周波数補正フィルタの計算中にチャンネルターゲット曲線として使用される(段階226)。その結果、ターゲット付近のピーク及びディップしか補正しなくてもよいので、比較的小さい次数の補正濾過しか必要とされない。オーディオチャンネルインジケータnchが1だけ増分され(段階228)、チャンネルの合計個数NumChに対して探査され、見込まれる全てのオーディオチャンネルを処理し終えたか否かが決定される(段階230)。決定が偽であった場合には、次のオーディオチャンネルに対して全処理が繰り返される。決定が真であった場合には、処理は、補正フィルタに共通ターゲット曲線に対する最終調節を加える段階に進む。
段階224では、共通ターゲット曲線は、全てのラウドスピーカにわたるチャンネルターゲット曲線の平均として生成される。チャンネルターゲット曲線上には、いずれかのユーザプリファレンス又はユーザ選択可能なターゲット曲線を重なることができる。補正フィルタへのいずれかの調節は、チャンネルターゲット曲線と共通ターゲット曲線との差を補償するように加えられる(段階229)。チャンネル毎のターゲット曲線と共通のターゲット曲線の間の比較的小さい変化、及び大幅に平滑化された曲線に起因して、共通ターゲット曲線によって課せられる要件は、非常に単純なフィルタを用いて実施することができる。
上述したように、段階208で計算されるスペクトル測度は、エネルギ測度とすることができる。単一のマイクロフォンの様々な組合せ又は四面体マイクロフォン及び単一のプローブ又は二重プローブにおけるエネルギ測度を計算するための実施形態を図12に例示している。
解析モジュールは、1つのマイクロフォン又は4つのマイクロフォンのいずれが存在するかを決定し(段階230)、次に、単一プローブ室内応答又は二重プローブ室内応答のいずれが存在するかを決定する(単一のマイクロフォンの場合は段階232、四面体マイクロフォンの場合は段階234)。この実施形態を4つのマイクロフォンに対して記載し、より一般的には、方法は、あらゆる多マイクロフォンアレイに適用することができる。
単一のマイクロフォン及び単一プローブ室内応答Hkの場合には、解析モジュールは、各周波数ビンk内のエネルギ測度Ek(割愛された周波数に関数依存する)をEk=Hk *conj(Hk)として構成し、ここでconj(*)は、共役演算子である(段階236)。エネルギ測度Ekは、音圧に対応する。
単一のマイクロフォンと二重プローブ室内応答Hk及びHk,peとの場合には、解析モジュールは、低周波数ビンk<ktにおいてエネルギ測度EkをEk=De*k,peconj(De*k,pe)として構成し、ここでDeは、プリ−エンファシス関数Peに対する相補的なデ−エンファシス関数である(すなわち、全ての周波数ビンkにおいてDe*Pe=1である)(段階238)。例えば、プリ−エンファシス関数は、Pe=c/ωdであり、デ−エンファシス関数は、De=ωd/cである。高周波数ビンk>ktでは、Ek=Hk *conj(Hk)である(段階240)。二重プローブを使用する効果は、エネルギ測度での低周波数ノイズを減衰することである。
四面体マイクロフォンの場合には、解析モジュールは、マイクロフォンアレイにわたる圧力勾配を計算し、そこから音速成分を抽出することができる。詳述するように、低周波数における音圧と音速の両方に基づくエネルギ測度は、より広いリスニング区域にわたってよりロバストである。
四面体マイクロフォン及び単一プローブ応答Hkの場合には、各低周波数ビンk<ktにおいて、エネルギ測度の第1の部分は、音圧成分と音速成分とを含む(段階242)。音圧成分P_Ekは、全てのマイクロフォンにわたって周波数応答を平均化し、AvHk=0.25*(Hk(m1)+Hk(m2)+Hk(m3)+Hk(m4))、P_Ek=AvHkconj(AvHk)を計算することによって計算することができる(段階244)。この「平均」は、重み付き平均のいずれかの変形として計算することができる。音速成分V_Hkは、4つ全てのマイクロフォンでのHkから圧力勾配
を推定し、
に周波数依存の重み付け(c/ωd)を適用してx、y、及びzの座標軸に沿った速度成分Vk_x、Vk_y、及びVk_zを取得し、更にV_Ek=Vk_xconj(Vk_x)+Vk_yconj(Vk_y)+Vk_zconj(Vk_z)を計算することによって計算される(段階246)。周波数依存の重み付けの適用は、低周波数におけるノイズを増幅する効果を有することになる。エネルギ測度の低周波部分はEK=0.5(P_Ek+V_Ek)であるが(段階248)、重み付き平均のいずれかの変形を使用することができる。各高周波数ビンk>ktにおけるエネルギ測度の第2の部分は、例えば、和の二乗EK=|0.25(Hk(m1)+Hk(m2)+Hk(m3)+Hk(m4))|2、又は二乗の和EK=0.25(|Hk(m1)|2+|Hk(m2)|2+|Hk(m3)|2+|Hk(m4)|2)として計算される(段階250)
四面体マイクロフォンと二重プローブ応答Hk及びHk,peとの場合には、各低周波数ビンk<ktにおいて、エネルギ測度の第1の部分は、音圧成分と音速成分とを含む(段階262)。音圧成分P_Ekは、全てのマイクロフォンにわたる周波数応答を平均化し、AvHk,pe=0.25*(Hk,pe(m1)+Hk,pe(m2)+Hk,pe(m3)+Hk,pe(m4))、デ−エンファシススケーリングを適用し、P_Ek=De*AvHk,peconj(De*AvHk,pe)を計算することによって計算することができる(段階264)。この「平均」は、重み付き平均のいずれかの変形として計算することができる。音速成分V_Hk,peは、4つ全てのマイクロフォンでのHk,peから圧力勾配
を推定し、
からx、y、及びzの座標軸に沿った速度成分Vk_x、Vk_y、及びVk_zを推定し、V_Ek=Vk_xconj(Vk_x)+Vk_yconj(Vk_y)+Vk_zconj(Vk_z)を計算することによって計算される(段階266)。プリ−エンファシスプローブ信号の使用は、周波数依存の重み付けを適用する段階を排除する。エネルギ測度の低周波部分は、EK=0.5(P_Ek+V_Ek)である(段階268)(あるいは、他の重み付き組合せ)。各高周波数ビンk>ktにおけるエネルギ測度の第2の部分は、例えば、和の二乗EK=|0.25(Hk(m1)+Hk(m2)+Hk(m3)+Hk(m4))|2、又は二乗の和EK=0.25(|Hk(m1)|2+|Hk(m2)|2+|Hk(m3)|2+|Hk(m4)|2)として計算される(段階270)。二重プローブ、多マイクロフォンの場合は、音圧及び音速からエネルギ測度を形成する段階と、音速成分を抽出するのに周波数依存のスケーリングを回避するためにプリ−エンファシスプローブ信号を使用する段階との両方を組合せて、従って、ノイズの存在下でよりロバストな音速を与える。
四面体マイクロフォンアレイにおいて単一プローブ技術又は二重プローブ技術を用いてエネルギ測度、取りわけ、エネルギ測度の低周波成分を構成する手法のより精密な発展形態が続行される。この発展は、多マイクロフォンアレイの利点と、二重プローブ信号の使用との両方を示している。
実施形態において、低周波数で室内のサウンドエネルギ密度のスペクトル密度が推定される。この点において、瞬間的なサウンドエネルギ密度は次式で与えられる(式1)。

ここで、太線で記した全ての変数はベクトル変数を表し、p(r,t)及びu(r,t)は、それぞれ位置ベクトルrで決定される瞬間的な音圧及び音速ベクトルであり、cは音速であり、ρは平均空気密度である。

は、ベクトルUのl2ノルムを示している。解析がフーリエ変換を通じて周波数領域で行われる場合には、次式が適用される(式2)。


ここで、以下の通りである。

場所r(rx,ry,rz)における音速は、線形オイラー方程式を用いて圧力に関連付けられる(式3)。


かつ周波数領域では次式になる(式4)。


∇p(r,w)項は、x、y、及びzに沿った圧力勾配の周波数wにおけるフーリエ変換である。以下では、全ての解析を周波数領域で行うことにし、フーリエ変換を示すwへの関数依存性は、前と同じく割愛する。同様に、場所ベクトルrへの関数依存性も、表記から割愛する。
それによって望ましい低周波数領域内の各周波数における望ましいエネルギ測度に対する表現は、次式のように書くことができる(式5)。


圧力勾配を計算するのに、複数のマイクロフォンの場所における圧力の間の差を使用する技術は、Thomas,D.C.(2008年)著「音響強度及びエネルギ密度の理論及び推定(Theory and Estimation of Acoustic Intensity and Energy Density)」、科学修士論文、ブリガムヤング大学に記載されている。四面体マイクロフォンアレイの場合及び図1bに示す特定的に選択した座標系におけるこの圧力勾配推定技術を提供する。全てのマイクロフォンは全方位性のものであり、すなわち、マイクロフォン信号は、様々な場所における圧力測定値を表すと仮定する。
圧力勾配は、マイクロフォンアレイによって占有される空間領域にわたって圧力場における空間変動が小さいようにマイクロフォンが位置決めされるという仮定から得ることができる。この仮定は、周波数範囲でこの仮定を使用することができる上限を設ける。この場合に、圧力勾配は、


によっていずれかのマイクロフォン対の間の圧力差に近似的に関連付けることができ、ここでPkは、マイクロフォンkにおいて測定される圧力成分であり、rklは、マイクロフォンkからマイクロフォンlに向くベクトルであり、すなわち、


であり、Tは、行列転置演算子であり、・は、ベクトルドット積である。特定のマイクロフォンアレイ及び特定の座標系の選択では、マイクロフォン位置ベクトルは、


及び
である。四面体アレイ内の6つ全ての可能なマイクロフォン対に着目して、過剰決定の連立方程式を最小二乗解を用いて圧力勾配の未知の成分(x、y、及びzの座標に沿った)に関して解くことができる。特に全ての式が行列形式でまとめられる場合には、次の行列方程式が得られる(式6)。


ここで、


であり、Δは推定誤差である。最小二乗的に推定誤差を最小にする圧力勾配

は、次式の通りに得られる(式7)。


ここで、(RTR)-1TPは、行列Rの左側擬似逆行列である。行列Rは、選択されたマイクロフォンアレイ幾何学構成及び選択された座標系原点にしか依存しない。行列Rの擬似逆行列の存在は、マイクロフォンの個数が次元数よりも大きい限り確実にされる。3D空間(3つの次元)内の圧力勾配の推定では、少なくとも4つのマイクロフォンが必要である。
圧力勾配の実際の測定、更に最終的には音速の実際の測定への上述の方法の適用性に関しては、考察しなければならないいくつかの問題が存在する。
・本方法は、位相整合マイクロフォンを使用するが、マイクロフォンの間の距離が拡大するときに、一定の周波数における僅かな位相不整合の効果は減少する。
・マイクロフォンの間の最大距離は、圧力場における空間変動がマイクロフォンアレイによって占有される空間領域にわたって小さいという仮定によって制限を受け、すなわち、マイクロフォンの間の距離は、関連の最も高い周波数の波長λよりもかなり小さくなる。Fahy,F.J.(1995年)著「サウンド強度(Sound Intensity)」、第2版、ロンドン、E&FN Sponにより、圧力勾配の推定において有限差近似を使用する方法において、圧力勾配における5%よりも大きい誤差を回避するために、マイクロフォン間隔が0.13λよりも小さくなければならないことが示されている。
・実際の測定では、特に低周波数でマイクロフォン信号内にノイズが常に存在することを考えると、勾配は非常にノイズの多いものになる。ラウドスピーカから異なるマイクロフォンの場所に到着する音波に起因する圧力差は、同じマイクロフォン間隔において低周波数で非常に小さくなる。速度推定において、関連の信号が低周波数における2つのマイクロフォンの間の差であることを考えると、有効SN比は、マイクロフォン信号内の元のSNRと比較すると低い。事態を更に悪化させることに、速度信号の計算中に、これらのマイクロフォン差信号は、周波数に反比例する関数によって重み付けされ、実質的にノイズ増幅がもたらされる。それによって速度推定において、離間されたマイクロフォンの間の圧力差に基づく手法を適用することができる周波数領域に下限が課せられる。
・室内補正は、マイクロフォンアレイ内の異なるマイクロフォンの間の高い位相整合を仮定することができない様々な消費者AV機器において実施しなければならない。その結果、マイクロフォン間隔は、可能な限り大きくなければならない。
室内補正では、室内モードが優勢な効果を有する20Hzと500Hzの間の周波数領域内で、圧力及び速度に基づくエネルギ測度を得ることに関心がある。その結果、マイクロフォンカプセルの間で、約9cm(0.13*340/500m)を超えない間隔が適切である。
音圧マイクロフォンkにおいて受信される信号と、そのフーリエ変換Pk(w)とを考える。ラウドスピーカ供給信号S(w)(すなわち、プローブ信号)に着目し、ラウドスピーカからマイクロフォンkまでのプローブ信号の送信を室内周波数応答Hk(w)によって特徴付ける。この場合に、Pk(w)=S(w)Hk(w)+Nk(w)であり、ここでNk(w)は、マイクロフォンkにおけるノイズ成分である。以下に続く式における表記の簡略化のために、wへの依存性、すなわち、Pk(w)をPkなどで表している。
室内補正の目的では、目指す位置は、周波数補正フィルタの計算に対して使用することができる代表的な室内エネルギスペクトルを求めることである。理想的には、システム内にノイズが存在しない場合には、代表的な室内エネルギスペクトル(RmES)は、次式のように表すことができる(式8)。


実際には、システム内にはノイズが常に存在することになり、RmESの推定値を次式のように表すことができる(式9)。


非常に低い周波数では、ラウドスピーカから密に離間されたマイクロフォンカプセルへの周波数応答の間の差の二乗、すなわち、|Hk−Hl2は非常に小さい。それに対して、異なるマイクロフォン内のノイズは無相関のものであり、従って、|Nk−Nl2〜|Nk2+|Nl2である。それによって見出されるSN比が実質的に低下し、低周波数で圧力勾配がノイズの多いものになる。マイクロフォンの間の距離を拡大することにより、見出される信号の振幅(Hk−Hl)は大きくなり、従って、有効SNRが改善される。
関連の全ての周波数に対する周波数重み係数


は>1であり、周波数に反比例するスケールでノイズを実質的に増幅する。それによって、

内により低い周波数に向う時に上方傾斜が導入される。推定エネルギ測度

におけるこの低周波数傾斜を阻止するために、低周波数における室内探査には、プリ−エンファシスプローブ信号が使用される。特に、プリ−エンファシスプローブ信号は

である。更に、マイクロフォン信号から室内応答を抽出する際に、送信されたプローブ信号Speではなく、元のプローブ信号Sを用いて逆畳み込みが実施される。この手法で抽出された室内応答は、以下のフォーマット:

を有することになる。結果的に、エネルギ測度の推定演算子の修正形態は次式になる(式10)。


ノイズ増幅に関する上(式11)。


この推定演算子を用いて、速度推定に入り込むノイズ成分は

に基づいて増幅されず、更に、音圧推定に入り込むノイズ成分は

によって減衰され、従って、音圧マイクロフォンのSNRが改善される。上述したように、この低周波数処理は、20Hzから500Hz前後までの周波数領域内で適用される。その目指す位置は、室内の広いリスニング区域を表すエネルギ測度を得ることである。高い周波数で目指すのは、ラウドスピーカからリスニング区域までにおける直接経路及び少数の早期の反響を特徴付けることである。これらの特性は、主にラウドスピーカの構造及び室内でのその位置に依存し、従って、リスニング区域内の異なる場所の間で大幅に変化することはない。従って、高周波数では、四面体マイクロフォン信号の単純な平均(又はより複雑な重み付き平均)が使用される。得られる全体の室内エネルギ測度は、式(12)のように書かれる(式12)。

これらの式は、単一プローブマイクロフォン構成及び二重プローブ四面体マイクロフォン構成におけるエネルギ測度Ekを構成する場合に直接関連する。特に式8は、Ekの低周波成分を計算するための段階242に対応する。式8の1番目の項は、平均周波数応答の振幅の二乗であり(段階244)、2番目の項は、圧力勾配に周波数依存の重み付けを適用して速度成分を推定し、振幅の二乗を計算する(段階246)。式12は、段階260(低周波数)及び270(高周波数)に対応する。式12における1番目の項は、デ−エンファシス平均周波数応答である(段階264)。2番目の項は、圧力勾配から推定された速度成分の振幅の二乗である。単一プローブと二重プローブの両方の場合に、低周波数測度の音速成分は、測定された室内応答Hk又はHk,peから直接計算され、圧力勾配を推定する段階と、速度成分を取得する段階とは一体的に実施される。
サブバンド周波数補正フィルタ
最小位相FIR補正フィルタの構造は、上述の室内スペクトル(エネルギ)測度を独立して用いた各バンドにおけるARモデル推定に基づいている。解析/合成フィルタバンクは非臨界的にサンプリングされるので、各バンドは、独立して構成することができる。
ここで図13及び図14a〜図14cを参照すると、各オーディオチャンネル及びラウドスピーカに対してターゲット曲線が与えられる(段階300)。上述したように、チャンネルターゲット曲線は、室内スペクトル測度に周波数平滑化を適用し、ユーザ定義のターゲット曲線を選択することにより、又はユーザ定義のターゲット曲線を周波数平滑化された室内スペクトル測度上に重なることによって計算することができる。更に、補正フィルタに対する極度に厳しい要件を防ぐために、室内スペクトル測度の限界を定めることができる。チャンネル毎の中間バンドの利得を中間バンド周波数領域にわたる室内スペクトル測度の平均として推定することができる。中間バンド利得の最大値に上限(例えば、20dB)を加えたものと、中間バンド利得の最小値から下限(例えば、10dB)を差し引いたものとの間で室内スペクトル測度の範囲が限定される。室内スペクトル測度が深いヌル点を有する周波数バンド内に過度のエネルギを注入するのを回避するために、上限は、典型的には下限よりも大きい値である。チャンネル毎のターゲット曲線は、限界が定められたチャンネル毎の室内スペクトル測度と組み合わされ、集合室内スペクトル測度303が得られる(段階304)。各周波数ビンにおいて、室内スペクトル測度は、対応するターゲット曲線ビンによって区分化され、集合室内スペクトル測度が与えられる。サブバンドカウンタsbがゼロに初期化される(段階306)。
解析フィルタバンクのダウンサンプリングを模擬するために、集合スペクトル測度のうちで異なるサブバンドに対応する部分が抽出され、ベースバンドに再マップされる(段階308)。集合室内スペクトル測度303は、オーバーサンプリングフィルタバンク内の各バンドに応答して、重なる周波数領域310a、310b、以降同じく続く領域に区分化される。各区分は、図14c及び図14bにそれぞれ示す偶数及び奇数のフィルタバンクバンドに適用される間引き規則に従ってベースバンドまでマップされる。マッピングに解析フィルタの形状が含まれないことに注意されたい。可能な限り低い次数を有する補正フィルタを得ることが望ましいので、これは重要である。解析フィルタバンクのフィルタが含まれない場合には、マップされたスペクトルは、急勾配の立ち下がりエッジを有することになる。従って、補正フィルタは、解析フィルタの形状を不要に補正するために高い次数を必要とすることになる。
ベースバンドへのマッピングの後に、奇数又は偶数に対応する区分は、シフトされたスペクトル部分だけでなく、急転したいくつかの他の部分も有することになる。それによって高次の周波数補正フィルタを必要とすることになるスペクトル不連続部がもたらされる可能性がある。補正フィルタ次数の不要な増加を防ぐために、急転スペクトル領域が平滑化される。それと引き換えに、平滑化された領域内のスペクトルの詳細部が変化する。しかし、急転区画は、合成フィルタが既に減衰高い減衰を有しており、その結果、区分のうちのこの部分の最終スペクトルへの寄与を無視することができる領域内に常に存在することに注意されたい。
再マップされた集合室内スペクトル測度に対して自己回帰(AR)モデルが推定される。室内スペクトル測度の各区分は、ベースバンドまでマップされて間引き効果を模擬した後に、何らかの同等スペクトルとして解釈される。従って、その逆フーリエ変換は、対応する自己相関シーケンスになる。この自己相関シーケンスは、所定のエネルギスペクトルに最小二乗的に最適に適合する望ましい次数のARモデルを計算するレビンソン−ダービンアルゴリズムへの入力として使用される。このARモデル(全極)フィルタの分母は、最小位相多項式である。各サブバンドに対する周波数補正フィルタの長さは、全体の室内エネルギ測度の作成中に着目した対応する周波数領域内で室内応答の長さによって大まかに決定される(長さは、低周波数から高周波数に移行するときに比例して短くなる)。しかし、最終的な長さは、経験的に微調整するか、又は残存電力を観察し、望ましい分解能に達した時に停止するAR次数選択アルゴリズムの使用によって自動的に微調整するかのいずれかとすることができる。
ARの係数は、最小位相全ゼロサブバンド補正フィルタの係数にマップされる。このFIRフィルタは、ARモデルによって得られるスペクトルの反転スペクトルに従って周波数補正を実施することになる。異なるバンドの間でフィルタを適合させるために、補正フィルタの全ては適宜正規化される。
サブバンドカウンタsbが増分され(段階316)、サブバンドの個数NSBと比較されて(段階318)、次のオーディオチャンネルに対する処理が繰り返されるか、又は補正フィルタのチャンネル毎の構成が終了する。この時点で、チャンネルFIRフィルタ係数を共通ターゲット曲線に対して調節することができる(段階320)。調節されたフィルタ係数は、システムメモリに格納され、図3に示す各オーディオチャンネルに対するP個のデジタルFIRサブバンド補正フィルタを実施するように、1つ又はそれよりも多くのプロセッサを構成するのに使用される。
補記A:ラウドスピーカの局在化
完全に自動化されたシステム較正及び設定に関して、室に存在するラウドスピーカの場所及び個数の把握情報を有することが望ましい。距離は、ラウドスピーカからマイクロフォンアレイまでの推定伝播遅延に基づいて計算することができる。ラウドスピーカとマイクロフォンアレイの間の直接経路に沿って伝播する音波を平面波によって近似することができると仮定すると、マイクロフォンアレイによって定められる座標系の原点に対する到来角(AOA)、仰角をアレイ内の異なるマイクロフォン信号の間の関係を観察することによって推定することができる。推定されたAOAから、ラウドスピーカの方位角及び仰角が計算される。
AOAを決定するのに、原理的にはラウドスピーカからマイクロフォンカプセルの各々までの周波数応答の各ビンにおける位相の間の比を拠り所とする周波数領域に基づくAOAアルゴリズムを使用することができる。しかし、Cobos,M.、Lopez,J.J.、及びMarti,A.(2010年)著「四面体マイクロフォンアレイを用いた3D DOA推定における室内残響の効果に関して(On the Effects of Room Reverberation in 3D DOA Estimation Using Tetrahedral Microphone Array)」、第128回AES会議、ロンドン、UK、2010年5月22〜25日に示すように、室内反響の存在は、推定AOAの精度に対してかなりの影響を有する。周波数領域に基づくAOAアルゴリズムの代わりに、プローブ信号と対になった解析包絡線手法を使用することによってもたらすことができる本出願人の直接経路遅延推定の精度を拠り所とする時間領域手法がAOA推定に向けて使用される。四面体マイクロフォンアレイを用いてラウドスピーカ/室内応答を測定することにより、各ラウドスピーカから各マイクロフォンカプセルまでの直接経路を推定することが可能になる。これらの遅延を比較することにより、ラウドスピーカを3D空間内に局在化させることができる。
図1bを参照すると、方位角θ及び仰角φは、ラウドスピーカから四面体マイクロフォンアレイまで伝播する音波の推定到来角(AOA)から決定される。AOAの推定のためのアルゴリズムは、2つのベクトルの間の角度を特徴付けるベクトルドット積に基づいている。特に、特定的に選択された座標系原点を用いて、ドット積式を以下のように書くことができる(式13)。


ここで、rlkは、マイクロフォンkをマイクロフォンlに接続するベクトルを示し、Tは、行列/アレイ転置演算を示し、

は、平面音波の到来方向に位置合わせした単項ベクトルを表し、cは、音速を示し、Fsは、サンプリング周波数を示し、tkは、マイクロフォンkへの音波の到来時間を示し、tlは、マイクロフォンlへの音波の到来時間を示している。
図1bに示す特定のマイクロフォンアレイに対して、


が成り立ち、この場合、


及び
である。全てのマイクロフォン対に対する式を集計すると、以下の行列方程式が得られる(式14)。


この行列方程式は、最小二乗法によって解くことができる過剰決定の線形連立方程式を表し、到来方向ベクトルに対して以下の表現がもたらされる(式15)。


方位角及び仰角は、正規化ベクトル

の推定座標から
及び
として得られ、arctan()は、第4象限逆正接関数であり、arcsin()は、逆正弦関数である。
時間遅延推定値を用いて最終的に達成可能なAOAアルゴリズムの角精度は、遅延推定値の精度と、マイクロフォンカプセルの間の間隔とによって制限される。カプセル間の小さい間隔は、低い達成可能精度を意味する。マイクロフォンカプセルの間の間隔は、速度推定の要件、並びに最終製品の審美性によって上側から制限される。従って、望ましい角精度は、遅延推定精度を調節することによって達成される。必要とされる遅延推定精度が、サンプリング間隔の数分の1になる場合には、室内応答の解析包絡線は、室内応答の対応するピークの前後で内挿される。新しいピークの場所は、AOAアルゴリズムによって使用される新しい遅延推定値をサンプル精度の数分の1の精度で表している。
本発明のいくつかの例示的な実施形態を図示して説明したが、当業者には、多くの変形及び代替実施形態が想起されるであろう。そのような変形及び代替実施形態は考えられており、かつ添付の特許請求の範囲に定める本発明の精神及び範囲から逸脱することなく作ることができる。
10 多チャンネルオーディオシステム
12 多チャンネルスピーカ構成
14 リスニング環境
22 A/Vプリアンプ
32 マイクロフォン送信ボックス

Claims (6)

  1. 多チャンネルオーディオシステムにおいて、多チャンネルラウドスピーカ構成を特徴付ける方法であって、
    第1のプローブ信号を生成する段階と、
    前記第1のプローブ信号を第1の音響応答に変換し、かつ該音響応答を無音期間によって分離された非重ね合わせ時間スロットで音波としてリスニング環境内に順次送信するために、該リスニング環境に多チャンネル構成で位置決めされたそれぞれの電気−音響変換器に結合された複数のオーディオ出力に該第1のプローブ信号を供給する段階と、
    を含み、
    更に、各前記オーディオ出力に対して、
    各々が前記音響応答を第1の電気応答信号に変換する少なくとも2つの非共在音響−電気変換器を含む多マイクロフォンアレイにおいて音波を受信する段階と、
    各前記音響−電気変換器における前記電気−音響変換器に対する第1の室内応答を決定するよう、前記第1の電気応答信号に前記第1のプローブ信号を用いて逆畳み込みを行う段階と、
    各前記音響−電気変換器における前記電気−音響変換器に対する遅延を計算してメモリに記録する段階と、
    各前記音響−電気変換器における前記電気−音響変換器に対する前記遅延によってオフセットされた指定期間にわたって前記第1の室内応答をメモリに記録する段階と、
    を含み、
    方法が、更に、
    各前記音響−電気変換器までの前記遅延に基づいて、各前記電気−音響変換器に対する距離及び少なくとも第1の角度を決定する段階と、
    前記電気−音響変換器に対する前記距離及び少なくとも前記第1の角度を使用して、特定の多チャンネル構成を自動的に選択し、かつ前記リスニング環境内のその多チャンネル構成における各電気−音響変換器に対する位置を計算する段階と、
    前記多チャンネルオーディオシステムのための室内補正フィルタを発生させる段階とを含み、
    前記室内補正フィルタを発生させる段階は、
    Pが整数である時に、オーディオ信号をP個のサブバンドに対するベースバンドまでダウンサンプリングするPバンドオーバーサンプリング解析フィルタバンクと、該オーディオ信号を再構成するよう該P個のサブバンドをアップサンプリングするPバンドオーバーサンプリング合成フィルタバンクとを与える段階と、
    各チャンネルに対してスペクトル測度を与える段階と、
    各前記スペクトル測度をチャンネルターゲット曲線と組み合わせてチャンネル毎の集合スペクトル測度を与える段階と、
    少なくとも1つのチャンネルについて、前記集合スペクトル測度のうちで異なるサブバンドに対応する部分を抽出する段階と、
    前記少なくとも1つのチャンネルについて、前記解析フィルタバンクの前記ダウンサンプリングを模擬するよう前記集合スペクトル測度の前記抽出部分をベースバンドに再マップする段階であって、偶数及び奇数のサブバンドに対応する前記抽出部分を再マップする前記段階は、前記抽出部分をベースバンドに周波数シフトし、該シフトされた周波数部分をマイナス及びプラス90度でそれぞれ転換し、これにより、転換された該スペクトルの一部を急転させ、各サブバンドに対する再マップされた前記スペクトル測度における不連続部を生成する段階を含む、段階と、
    前記少なくとも1つのチャンネルについて、各サブバンドに対して前記再マップされたスペクトル測度に対する自己回帰(AR)モデルを推定する段階と、
    前記少なくとも1つのチャンネルについて、各前記ARモデルの係数を最小位相全ゼロサブバンド補正フィルタの係数にマップする段階と、
    前記解析及び合成フィルタバンクの間でP個のベースバンドオーディオ信号を周波数補正するP個のデジタル全ゼロサブバンド補正フィルタを対応する係数から構成する段階と
    によって行われることを特徴とする方法。
  2. 前記遅延を計算する前記段階は、
    各前記第1の電気応答信号及び前記第1のプローブ信号を処理して時間シーケンスを発生させる段階と、
    前記オーディオ出力が前記電気−音響変換器に結合されているか否かを示すものとして前記時間シーケンスにおける顕著なピークの存在又は不在を検出する段階と、
    前記ピークの位置を前記遅延として計算する段階と、
    を含む、
    ことを特徴とする請求項1に記載の方法。
  3. 前記第1の電気応答信号は、該第1の電気応答が前記音響−電気変換器で受信された時にブロックに区分化され、かつ前記第1のプローブ信号の区分を用いて逆畳み込みが施され、
    前記遅延及び第1の室内応答は、次のプローブ信号の送信の前の前記無音期間に計算され、かつメモリに記録される、
    ことを特徴とする請求項1に記載の方法。
  4. 前記第1のプローブ信号の後に前記複数のオーディオ出力の各々に第2のプリ−エンファシスプローブ信号を供給し、第2の電気応答信号を記録する段階と、
    前記第1のプローブ信号の前記区分を用いて前記第2の応答信号の重ね合わせブロックに逆畳み込みを行い、第2の候補室内応答のシーケンスを発生させる段階と、
    前記第1のプローブ信号に対する前記遅延を使用して連続する第2の候補室内応答を付加し、第2の室内応答を形成する段階と、
    を更に含むことを特徴とする請求項1に記載の方法。
  5. 多チャンネルオーディオを処理するためのデバイスであって、
    リスニング環境に多チャンネル構成で位置決めされてオーディオ出力に結合されたそれぞれの電気−音響変換器を駆動するための複数のオーディオ出力と、
    オーディオ入力に結合された複数の音響−電気変換器から第1の電気応答信号を受信するための1つ又はそれよりも多くのオーディオ入力と、
    前記複数の第1の電気応答信号を受信するよう前記1つ又はそれよりも多くのオーディオ入力に結合された入力レシーバと、
    デバイスメモリと、
    第1のプローブ信号を生成し、かつ
    前記第1のプローブ信号を無音期間によって分離された非重ね合わせ時間スロットで前記複数のオーディオ出力の各々に供給する、
    ようになったプローブ発生及び送信スケジューリングモジュール、及び
    各前記オーディオ出力に対して、前記第1の電気応答信号に前記第1のプローブ信号を用いて逆畳み込みを行って各前記音響−電気変換器での第1の室内応答を決定し、各該音響−電気変換器での遅延を計算して前記デバイスメモリに記録し、かつ各該音響−電気変換器での該遅延によってオフセットされた指定期間にわたって該第1の室内応答を該デバイスメモリに記録し、
    各前記電気−音響変換器に対する各前記音響−電気変換器での前記遅延に基づいて、該電気−音響変換器に対する距離及び少なくとも第1の角度を決定し、かつ
    前記電気−音響変換器に対する距離及び少なくとも前記第1の角度を使用して特定の多チャンネル構成を自動的に選択し、かつ前記リスニング環境内のその多チャンネル構成における各電気−音響変換器に対する位置を計算
    前記多チャンネルオーディオシステムのための室内補正フィルタを発生させ、
    前記室内補正フィルタの発生は、
    Pが整数である時に、オーディオ信号をP個のサブバンドに対するベースバンドまでダウンサンプリングするPバンドオーバーサンプリング解析フィルタバンクと、該オーディオ信号を再構成するよう該P個のサブバンドをアップサンプリングするPバンドオーバーサンプリング合成フィルタバンクとを与えること、
    各チャンネルに対してスペクトル測度を与えること、
    各前記スペクトル測度をチャンネルターゲット曲線と組み合わせてチャンネル毎の集合スペクトル測度を与えること、
    少なくとも1つのチャンネルについて、前記集合スペクトル測度のうちで異なるサブバンドに対応する部分を抽出すること、
    前記少なくとも1つのチャンネルについて、前記解析フィルタバンクの前記ダウンサンプリングを模擬するよう前記集合スペクトル測度の前記抽出部分をベースバンドに再マップすることであって、偶数及び奇数のサブバンドに対応する前記抽出部分を再マップすることは、前記抽出部分をベースバンドに周波数シフトし、該シフトされた周波数部分をマイナス及びプラス90度でそれぞれ転換し、これにより、転換された該スペクトルの一部を急転させ、各サブバンドに対する再マップされた前記スペクトル測度における不連続部を生成することを含むこと、
    前記少なくとも1つのチャンネルについて、各サブバンドに対して前記再マップされたスペクトル測度に対する自己回帰(AR)モデルを推定すること、
    前記少なくとも1つのチャンネルについて各前記ARモデルの係数を最小位相全ゼロサブバンド補正フィルタの係数にマップすること、
    前記解析及び合成フィルタバンクの間でP個のベースバンドオーディオ信号を周波数補正するP個のデジタル全ゼロサブバンド補正フィルタを対応する係数から構成すること
    によって行われることを特徴とするデバイス。
  6. 前記室内解析モジュールは、前記第1の電気応答信号を該第1の電気応答が受信された時に重なるブロックに区分化して前記第1のプローブ信号の区分を用いて各ブロックに逆畳み込みを行い、かつ次のプローブ信号の送信の前の前記無音期間に前記遅延及び第1の室内応答を計算して記録するようになっていることを特徴とする請求項に記載のデバイス。
JP2014510431A 2011-05-09 2012-05-09 多チャンネルオーディオのための室内特徴付け及び補正 Active JP6023796B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/103,809 2011-05-09
US13/103,809 US9031268B2 (en) 2011-05-09 2011-05-09 Room characterization and correction for multi-channel audio
PCT/US2012/037081 WO2012154823A1 (en) 2011-05-09 2012-05-09 Room characterization and correction for multi-channel audio

Publications (3)

Publication Number Publication Date
JP2014517596A JP2014517596A (ja) 2014-07-17
JP2014517596A5 JP2014517596A5 (ja) 2015-07-02
JP6023796B2 true JP6023796B2 (ja) 2016-11-09

Family

ID=47139621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014510431A Active JP6023796B2 (ja) 2011-05-09 2012-05-09 多チャンネルオーディオのための室内特徴付け及び補正

Country Status (8)

Country Link
US (2) US9031268B2 (ja)
EP (1) EP2708039B1 (ja)
JP (1) JP6023796B2 (ja)
KR (1) KR102036359B1 (ja)
CN (1) CN103621110B (ja)
HK (1) HK1195431A1 (ja)
TW (3) TWI625975B (ja)
WO (1) WO2012154823A1 (ja)

Families Citing this family (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431312B2 (en) 2004-08-10 2022-08-30 Bongiovi Acoustics Llc System and method for digital signal processing
US10848867B2 (en) 2006-02-07 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US11202161B2 (en) 2006-02-07 2021-12-14 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function
US8385557B2 (en) * 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8759661B2 (en) 2010-08-31 2014-06-24 Sonivox, L.P. System and method for audio synthesizer utilizing frequency aperture arrays
US9549251B2 (en) * 2011-03-25 2017-01-17 Invensense, Inc. Distributed automatic level control for a microphone array
US9094771B2 (en) * 2011-04-18 2015-07-28 Dolby Laboratories Licensing Corporation Method and system for upmixing audio to generate 3D audio
US8653354B1 (en) * 2011-08-02 2014-02-18 Sonivoz, L.P. Audio synthesizing systems and methods
JP6051505B2 (ja) * 2011-10-07 2016-12-27 ソニー株式会社 音声処理装置および音声処理方法、記録媒体、並びにプログラム
US20130166052A1 (en) * 2011-12-27 2013-06-27 Vamshi Kadiyala Techniques for improving playback of an audio stream
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9615171B1 (en) * 2012-07-02 2017-04-04 Amazon Technologies, Inc. Transformation inversion to reduce the effect of room acoustics
TWI498014B (zh) * 2012-07-11 2015-08-21 Univ Nat Cheng Kung 建立最佳化揚聲器聲場之方法
US10175335B1 (en) * 2012-09-26 2019-01-08 Foundation For Research And Technology-Hellas (Forth) Direction of arrival (DOA) estimation apparatuses, methods, and systems
CN104823070B (zh) * 2012-10-02 2017-12-26 诺基亚技术有限公司 配置音响系统
CN104956689B (zh) 2012-11-30 2017-07-04 Dts(英属维尔京群岛)有限公司 用于个性化音频虚拟化的方法和装置
US9137619B2 (en) * 2012-12-11 2015-09-15 Amx Llc Audio signal correction and calibration for a room environment
US9036825B2 (en) * 2012-12-11 2015-05-19 Amx Llc Audio signal correction and calibration for a room environment
US9344828B2 (en) * 2012-12-21 2016-05-17 Bongiovi Acoustics Llc. System and method for digital signal processing
CN103064061B (zh) * 2013-01-05 2014-06-11 河北工业大学 三维空间声源定位方法
EP2946468B1 (en) * 2013-01-16 2016-12-21 Thomson Licensing Method for measuring hoa loudness level and device for measuring hoa loudness level
CN104937955B (zh) * 2013-01-24 2018-06-12 杜比实验室特许公司 自动的扬声器极性检测
WO2014164361A1 (en) 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
EP2974386A1 (en) 2013-03-14 2016-01-20 Apple Inc. Adaptive room equalization using a speaker and a handheld listening device
JP6162320B2 (ja) * 2013-03-14 2017-07-12 アップル インコーポレイテッド 機器の方向をブロードキャストするための音波ビーコン
US11140502B2 (en) 2013-03-15 2021-10-05 Jawbone Innovations, Llc Filter selection for delivering spatial audio
JP6114587B2 (ja) * 2013-03-19 2017-04-12 株式会社東芝 音響装置、記憶媒体、音響補正方法
TWI508576B (zh) * 2013-05-15 2015-11-11 Lite On Opto Technology Changzhou Co Ltd 揚聲器異音檢測方法及裝置
CN105229414B (zh) * 2013-05-16 2018-11-23 皇家飞利浦有限公司 房间尺寸估计的确定
TW201445983A (zh) * 2013-05-28 2014-12-01 Aim Inc 播放系統之訊號輸入源自動選擇方法
US9883318B2 (en) 2013-06-12 2018-01-30 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
WO2014202286A1 (en) * 2013-06-21 2014-12-24 Brüel & Kjær Sound & Vibration Measurement A/S Method of determining noise sound contributions of noise sources of a motorized vehicle
US9426598B2 (en) * 2013-07-15 2016-08-23 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US20150020615A1 (en) * 2013-07-16 2015-01-22 Leeo, Inc. Electronic device with environmental monitoring
US9116137B1 (en) 2014-07-15 2015-08-25 Leeo, Inc. Selective electrical coupling based on environmental conditions
EP2830335A3 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
KR20160072131A (ko) * 2013-10-02 2016-06-22 슈트로밍스위스 게엠베하 다채널 신호의 다운믹스 및 다운믹스 신호의 업믹스 방법 및 장치
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
WO2015105788A1 (en) 2014-01-10 2015-07-16 Dolby Laboratories Licensing Corporation Calibration of virtual height speakers using programmable portable devices
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
JP6439261B2 (ja) * 2014-03-19 2018-12-19 ヤマハ株式会社 オーディオ信号処理装置
EP2925024A1 (en) * 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
EP2963646A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
US9372477B2 (en) 2014-07-15 2016-06-21 Leeo, Inc. Selective electrical coupling based on environmental conditions
AU2014204540B1 (en) * 2014-07-21 2015-08-20 Matthew Brown Audio Signal Processing Methods and Systems
US9092060B1 (en) 2014-08-27 2015-07-28 Leeo, Inc. Intuitive thermal user interface
US20160071219A1 (en) 2014-09-08 2016-03-10 Leeo, Inc. Dynamic insurance based on environmental monitoring
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
EP3192282A1 (en) * 2014-09-12 2017-07-19 Dolby Laboratories Licensing Corp. Rendering audio objects in a reproduction environment that includes surround and/or height speakers
TWI628454B (zh) 2014-09-30 2018-07-01 財團法人工業技術研究院 基於聲波的空間狀態偵測裝置、系統與方法
KR102197230B1 (ko) * 2014-10-06 2020-12-31 한국전자통신연구원 음향 특성을 예측하는 오디오 시스템 및 방법
US9445451B2 (en) 2014-10-20 2016-09-13 Leeo, Inc. Communicating arbitrary attributes using a predefined characteristic
US10026304B2 (en) 2014-10-20 2018-07-17 Leeo, Inc. Calibrating an environmental monitoring device
EP3259927A1 (en) * 2015-02-19 2017-12-27 Dolby Laboratories Licensing Corporation Loudspeaker-room equalization with perceptual correction of spectral dips
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
EP3271918B1 (en) * 2015-04-30 2019-03-13 Huawei Technologies Co., Ltd. Audio signal processing apparatuses and methods
EP3826324A1 (en) * 2015-05-15 2021-05-26 Nureva Inc. System and method for embedding additional information in a sound mask noise signal
JP6519336B2 (ja) * 2015-06-16 2019-05-29 ヤマハ株式会社 オーディオ機器および同期再生方法
KR102340202B1 (ko) 2015-06-25 2021-12-17 한국전자통신연구원 실내의 반사 특성을 추출하는 오디오 시스템 및 방법
KR102393798B1 (ko) 2015-07-17 2022-05-04 삼성전자주식회사 오디오 신호 처리 방법 및 장치
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US10091581B2 (en) 2015-07-30 2018-10-02 Roku, Inc. Audio preferences for media content players
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
US9607603B1 (en) * 2015-09-30 2017-03-28 Cirrus Logic, Inc. Adaptive block matrix using pre-whitening for adaptive beam forming
US9877137B2 (en) 2015-10-06 2018-01-23 Disney Enterprises, Inc. Systems and methods for playing a venue-specific object-based audio
CN108432271B (zh) * 2015-10-08 2021-03-16 班安欧股份公司 扬声器系统中的主动式房间补偿
US9838783B2 (en) * 2015-10-22 2017-12-05 Cirrus Logic, Inc. Adaptive phase-distortionless magnitude response equalization (MRE) for beamforming applications
US10708701B2 (en) * 2015-10-28 2020-07-07 Music Tribe Global Brands Ltd. Sound level estimation
CN105407443B (zh) 2015-10-29 2018-02-13 小米科技有限责任公司 录音方法及装置
US10805775B2 (en) 2015-11-06 2020-10-13 Jon Castor Electronic-device detection and activity association
US9801013B2 (en) 2015-11-06 2017-10-24 Leeo, Inc. Electronic-device association based on location duration
WO2017082974A1 (en) 2015-11-13 2017-05-18 Doppler Labs, Inc. Annoyance noise suppression
US9589574B1 (en) 2015-11-13 2017-03-07 Doppler Labs, Inc. Annoyance noise suppression
US10293259B2 (en) 2015-12-09 2019-05-21 Microsoft Technology Licensing, Llc Control of audio effects using volumetric data
US10045144B2 (en) 2015-12-09 2018-08-07 Microsoft Technology Licensing, Llc Redirecting audio output
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
WO2017165837A1 (en) * 2016-03-24 2017-09-28 Dolby Laboratories Licensing Corporation Near-field rendering of immersive audio content in portable computers and devices
US9991862B2 (en) * 2016-03-31 2018-06-05 Bose Corporation Audio system equalizing
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
CN107370695B (zh) * 2016-05-11 2023-10-03 浙江诺尔康神经电子科技股份有限公司 基于延时抑制的人工耳蜗射频探测方法和系统
JP2017216614A (ja) * 2016-06-01 2017-12-07 ヤマハ株式会社 信号処理装置および信号処理方法
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
EP4235207A3 (en) 2016-09-29 2023-10-11 Dolby Laboratories Licensing Corporation Automatic discovery and localization of speaker locations in surround sound systems
US10375498B2 (en) * 2016-11-16 2019-08-06 Dts, Inc. Graphical user interface for calibrating a surround sound system
FR3065136B1 (fr) 2017-04-10 2024-03-22 Pascal Luquet Procede et systeme d'acquisition sans fil de reponse impulsionnelle par methode de sinus glissant
EP3402220A1 (en) * 2017-05-11 2018-11-14 Tap Sound System Obtention of latency information in a wireless audio system
JP6814957B2 (ja) * 2017-05-17 2021-01-20 パナソニックIpマネジメント株式会社 再生システム、制御装置、制御方法、およびプログラム
US11172320B1 (en) 2017-05-31 2021-11-09 Apple Inc. Spatial impulse response synthesis
CN107484069B (zh) * 2017-06-30 2019-09-17 歌尔智能科技有限公司 扬声器所处位置的确定方法及装置、扬声器
US11375390B2 (en) 2017-07-21 2022-06-28 Htc Corporation Device and method of handling a measurement configuration and a reporting
US10341794B2 (en) 2017-07-24 2019-07-02 Bose Corporation Acoustical method for detecting speaker movement
US10231046B1 (en) 2017-08-18 2019-03-12 Facebook Technologies, Llc Cartilage conduction audio system for eyewear devices
CN107864444B (zh) * 2017-11-01 2019-10-29 大连理工大学 一种麦克风阵列频响校准方法
CN109753847B (zh) * 2017-11-02 2021-03-30 华为技术有限公司 一种数据的处理方法以及ar设备
US10458840B2 (en) 2017-11-08 2019-10-29 Harman International Industries, Incorporated Location classification for intelligent personal assistant
US10748533B2 (en) * 2017-11-08 2020-08-18 Harman International Industries, Incorporated Proximity aware voice agent
EP3518562A1 (en) * 2018-01-29 2019-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels
US10523171B2 (en) * 2018-02-06 2019-12-31 Sony Interactive Entertainment Inc. Method for dynamic sound equalization
US10186247B1 (en) * 2018-03-13 2019-01-22 The Nielsen Company (Us), Llc Methods and apparatus to extract a pitch-independent timbre attribute from a media signal
CA3096877A1 (en) 2018-04-11 2019-10-17 Bongiovi Acoustics Llc Audio enhanced hearing protection system
EP3557887B1 (en) * 2018-04-12 2021-03-03 Dolby Laboratories Licensing Corporation Self-calibrating multiple low-frequency speaker system
GB2573537A (en) 2018-05-09 2019-11-13 Nokia Technologies Oy An apparatus, method and computer program for audio signal processing
WO2019217808A1 (en) * 2018-05-11 2019-11-14 Dts, Inc. Determining sound locations in multi-channel audio
WO2019229746A1 (en) * 2018-05-28 2019-12-05 B. G. Negev Technologies & Applications Ltd., At Ben-Gurion University Perceptually-transparent estimation of two-channel room transfer function for sound calibration
WO2020028833A1 (en) 2018-08-02 2020-02-06 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function
CN109166592B (zh) * 2018-08-08 2023-04-18 西北工业大学 基于生理参数的hrtf分频段线性回归方法
JP2020036113A (ja) * 2018-08-28 2020-03-05 シャープ株式会社 音響システム
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
FR3085572A1 (fr) * 2018-08-29 2020-03-06 Orange Procede pour une restitution sonore spatialisee d'un champ sonore audible en une position d'un auditeur se deplacant et systeme mettant en oeuvre un tel procede
EP3844976A1 (en) * 2018-08-31 2021-07-07 Harman International Industries, Incorporated Sound quality enhancement and personalization
GB2577905A (en) * 2018-10-10 2020-04-15 Nokia Technologies Oy Processing audio signals
US11961522B2 (en) * 2018-11-28 2024-04-16 Samsung Electronics Co., Ltd. Voice recognition device and method
US20220091244A1 (en) * 2019-01-18 2022-03-24 University Of Washington Systems, apparatuses, and methods for acoustic motion tracking
WO2020153736A1 (en) 2019-01-23 2020-07-30 Samsung Electronics Co., Ltd. Method and device for speech recognition
CN111698629B (zh) * 2019-03-15 2021-10-15 北京小鸟听听科技有限公司 音频重放设备的校准方法、装置及计算机存储介质
EP3755009A1 (en) * 2019-06-19 2020-12-23 Tap Sound System Method and bluetooth device for calibrating multimedia devices
WO2021021460A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Adaptable spatial audio playback
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
FI20195726A1 (en) * 2019-09-02 2021-03-03 Genelec Oy A system and method for producing complementary sound
CN112530450A (zh) 2019-09-17 2021-03-19 杜比实验室特许公司 频域中的样本精度延迟识别
TWI725567B (zh) * 2019-10-04 2021-04-21 友達光電股份有限公司 揚聲系統、顯示裝置以及音場重建方法
US11032644B2 (en) * 2019-10-10 2021-06-08 Boomcloud 360, Inc. Subband spatial and crosstalk processing using spectrally orthogonal audio components
FR3106030B1 (fr) * 2020-01-06 2022-05-20 Innovation Electro Acoustique Procédé et dispositif associé pour transformer des caractéristiques d’un signal audio
US11170752B1 (en) * 2020-04-29 2021-11-09 Gulfstream Aerospace Corporation Phased array speaker and microphone system for cockpit communication
KR20210142393A (ko) 2020-05-18 2021-11-25 엘지전자 주식회사 영상표시장치 및 그의 동작방법
CN111526455A (zh) * 2020-05-21 2020-08-11 菁音电子科技(上海)有限公司 车载音响的校正增强方法及系统
CN111551180B (zh) * 2020-05-22 2022-08-26 桂林电子科技大学 一种可辨识los/nlos声信号的智能手机室内定位系统和方法
JP7552089B2 (ja) * 2020-06-18 2024-09-18 ヤマハ株式会社 音響特性の補正方法および音響特性補正装置
CN111818223A (zh) * 2020-06-24 2020-10-23 瑞声科技(新加坡)有限公司 声音外放的模式切换方法、装置、设备、介质及发声系统
US11678111B1 (en) * 2020-07-22 2023-06-13 Apple Inc. Deep-learning based beam forming synthesis for spatial audio
US11830471B1 (en) * 2020-08-31 2023-11-28 Amazon Technologies, Inc. Surface augmented ray-based acoustic modeling
KR102484145B1 (ko) * 2020-10-29 2023-01-04 한림대학교 산학협력단 소리방향성 분별능 훈련시스템 및 방법
EP4243015A4 (en) * 2021-01-27 2024-04-17 Samsung Electronics Co., Ltd. AUDIO PROCESSING APPARATUS AND METHOD
US12070280B2 (en) 2021-02-05 2024-08-27 Alcon Inc. Voice-controlled surgical system
US11553298B2 (en) 2021-02-08 2023-01-10 Samsung Electronics Co., Ltd. Automatic loudspeaker room equalization based on sound field estimation with artificial intelligence models
US20220329960A1 (en) * 2021-04-13 2022-10-13 Microsoft Technology Licensing, Llc Audio capture using room impulse responses
US11581862B2 (en) 2021-04-30 2023-02-14 That Corporation Passive sub-audible room path learning with noise modeling
US11792594B2 (en) * 2021-07-29 2023-10-17 Samsung Electronics Co., Ltd. Simultaneous deconvolution of loudspeaker-room impulse responses with linearly-optimal techniques
CN114286278B (zh) * 2021-12-27 2024-03-15 北京百度网讯科技有限公司 音频数据处理方法、装置、电子设备及存储介质
US11653164B1 (en) * 2021-12-28 2023-05-16 Samsung Electronics Co., Ltd. Automatic delay settings for loudspeakers
US20230224667A1 (en) * 2022-01-10 2023-07-13 Sound United Llc Virtual and mixed reality audio system environment correction
KR102649882B1 (ko) * 2022-05-30 2024-03-22 엘지전자 주식회사 사운드 시스템 및 음향 최적화를 위한 그 사운드 시스템의 제어 방법
EP4329337A1 (en) 2022-08-22 2024-02-28 Bang & Olufsen A/S Method and system for surround sound setup using microphone and speaker localization
CN118136042B (zh) * 2024-05-10 2024-07-23 四川湖山电器股份有限公司 基于iir频谱拟合的频谱优化方法、系统、终端及介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9026906D0 (en) * 1990-12-11 1991-01-30 B & W Loudspeakers Compensating filters
JPH04295727A (ja) * 1991-03-25 1992-10-20 Sony Corp インパルス応答測定方法
US5757927A (en) 1992-03-02 1998-05-26 Trifield Productions Ltd. Surround sound apparatus
JP3191512B2 (ja) * 1993-07-22 2001-07-23 ヤマハ株式会社 音響特性補正装置
US6760451B1 (en) 1993-08-03 2004-07-06 Peter Graham Craven Compensating filters
JPH08182100A (ja) * 1994-10-28 1996-07-12 Matsushita Electric Ind Co Ltd 音像定位方法および音像定位装置
JP2870440B2 (ja) * 1995-02-14 1999-03-17 日本電気株式会社 立体音場再生方式
GB9911737D0 (en) 1999-05-21 1999-07-21 Philips Electronics Nv Audio signal time scale modification
JP2000354300A (ja) * 1999-06-11 2000-12-19 Accuphase Laboratory Inc マルチチャンネルオーディオ再生装置
JP2001025085A (ja) * 1999-07-08 2001-01-26 Toshiba Corp チャネル配置装置
US7158643B2 (en) 2000-04-21 2007-01-02 Keyhold Engineering, Inc. Auto-calibrating surround system
IL141822A (en) 2001-03-05 2007-02-11 Haim Levy A method and system for imitating a 3D audio environment
CN1659927A (zh) * 2002-06-12 2005-08-24 伊科泰克公司 房间内扬声器声音的数字均衡方法及其使用
FR2850183B1 (fr) 2003-01-20 2005-06-24 Remy Henri Denis Bruno Procede et dispositif de pilotage d'un ensemble de restitution a partir d'un signal multicanal.
JP2005072676A (ja) 2003-08-27 2005-03-17 Pioneer Electronic Corp 自動音場補正装置及びそのためのコンピュータプログラム
JP4568536B2 (ja) * 2004-03-17 2010-10-27 ソニー株式会社 測定装置、測定方法、プログラム
US7630501B2 (en) 2004-05-14 2009-12-08 Microsoft Corporation System and method for calibration of an acoustic system
WO2006004099A1 (ja) 2004-07-05 2006-01-12 Pioneer Corporation 残響調整装置、残響補正方法、および、音響再生システム
JP2006031875A (ja) 2004-07-20 2006-02-02 Fujitsu Ltd 記録媒体基板および記録媒体
JP4705349B2 (ja) 2004-08-20 2011-06-22 株式会社タムラ製作所 ワイヤレスマイクシステム、音声伝送再生方法、ワイヤレスマイク送信機、音声送信方法及びプログラム
EP1638083B1 (en) * 2004-09-17 2009-04-22 Harman Becker Automotive Systems GmbH Bandwidth extension of bandlimited audio signals
US7826624B2 (en) 2004-10-15 2010-11-02 Lifesize Communications, Inc. Speakerphone self calibration and beam forming
KR100636213B1 (ko) * 2004-12-28 2006-10-19 삼성전자주식회사 실시간 주파수 특성 보정 방법 및 그를 적용한 사운드재생 장치
TWI458365B (zh) * 2005-04-12 2014-10-21 Dolby Int Ab 用以產生電平參數之裝置及方法、用以產生多聲道表示之裝置及方法以及儲存參數表示之儲存媒體
EP1722360B1 (en) * 2005-05-13 2014-03-19 Harman Becker Automotive Systems GmbH Audio enhancement system and method
JP4435232B2 (ja) * 2005-07-11 2010-03-17 パイオニア株式会社 オーディオシステム
CA2568916C (en) * 2005-07-29 2010-02-09 Harman International Industries, Incorporated Audio tuning system
US20070121955A1 (en) 2005-11-30 2007-05-31 Microsoft Corporation Room acoustics correction device
US8094826B2 (en) 2006-01-03 2012-01-10 Sl Audio A/S Method and system for equalizing a loudspeaker in a room
EP1986466B1 (en) * 2007-04-25 2018-08-08 Harman Becker Automotive Systems GmbH Sound tuning method and apparatus
US20090304192A1 (en) 2008-06-05 2009-12-10 Fortemedia, Inc. Method and system for phase difference measurement for microphones
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器

Also Published As

Publication number Publication date
HK1195431A1 (zh) 2014-11-07
KR20140034817A (ko) 2014-03-20
JP2014517596A (ja) 2014-07-17
TWI700937B (zh) 2020-08-01
US20120288124A1 (en) 2012-11-15
WO2012154823A1 (en) 2012-11-15
US20150230041A1 (en) 2015-08-13
EP2708039A4 (en) 2015-06-17
US9641952B2 (en) 2017-05-02
CN103621110B (zh) 2016-03-23
EP2708039B1 (en) 2016-08-10
US9031268B2 (en) 2015-05-12
TW201820899A (zh) 2018-06-01
TWI677248B (zh) 2019-11-11
CN103621110A (zh) 2014-03-05
EP2708039A1 (en) 2014-03-19
TW202005421A (zh) 2020-01-16
TW201301912A (zh) 2013-01-01
TWI625975B (zh) 2018-06-01
KR102036359B1 (ko) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6023796B2 (ja) 多チャンネルオーディオのための室内特徴付け及び補正
AU2016213897B2 (en) Adaptive room equalization using a speaker and a handheld listening device
KR102235413B1 (ko) 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
US7822496B2 (en) Audio signal processing method and apparatus
JP5985108B2 (ja) マイクロフォンの位置を決定するための方法及び機器
US9237398B1 (en) Motion tracked binaural sound conversion of legacy recordings
US10667071B2 (en) Low complexity multi-channel smart loudspeaker with voice control
KR20210037748A (ko) 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
JP2012004668A (ja) 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
JP2009194682A (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2003255955A5 (ja)
EP2368375A1 (en) Converter and method for converting an audio signal
WO2014203496A1 (ja) 音声信号処理装置、および音声信号処理方法
Merimaa et al. Concert hall impulse responses pori, finland: Reference
JP5163685B2 (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
Frey et al. Experimental Method for the Derivation of an AIRF of a Music Performance Hall

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161007

R150 Certificate of patent or registration of utility model

Ref document number: 6023796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250