JP7206211B2 - 分散オーディオ仮想化システム - Google Patents

分散オーディオ仮想化システム Download PDF

Info

Publication number
JP7206211B2
JP7206211B2 JP2019548894A JP2019548894A JP7206211B2 JP 7206211 B2 JP7206211 B2 JP 7206211B2 JP 2019548894 A JP2019548894 A JP 2019548894A JP 2019548894 A JP2019548894 A JP 2019548894A JP 7206211 B2 JP7206211 B2 JP 7206211B2
Authority
JP
Japan
Prior art keywords
audio
virtualization
signals
virtualized
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019548894A
Other languages
English (en)
Other versions
JP2020510341A (ja
Inventor
テギョン ノー
ジャン-マルク ジョット
トワフィーク モハメッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Inc
Original Assignee
DTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Inc filed Critical DTS Inc
Publication of JP2020510341A publication Critical patent/JP2020510341A/ja
Application granted granted Critical
Publication of JP7206211B2 publication Critical patent/JP7206211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Multimedia (AREA)

Description

[優先権の主張]
本特許出願は2017年3月8日に出願された米国仮特許出願第62/468,677号および2017年12月15日に出願された米国特許出願第15/844,096号に基づく優先権の利益を主張するものであり、いずれの出願もその全体が参照により本明細書に組み入れられる。
オーディオは家庭用電化製品においてコンテンツリッチなマルチメディア体験を提供する上で重要な役割を果たす。ワイヤレス接続の拡大に伴う家電デバイスのスケーラビリティおよびモビリティによりユーザはコンテンツに即座にアクセスできるようになる。ヘッドフォンまたはスピーカーを介して再生するために様々なオーディオ再生システムを使用することができる。いくつかの例では、オーディオプログラムコンテンツはオーディオ信号のステレオペアよりも多くの、例えばサラウンド音響または他のマルチチャネル構成を含むことができる。
従来のオーディオ再生システムはCDプレイヤー、TVチューナ、手持ち式メディアプレイヤー等の様々なオーディオまたはオーディオ/映像源からデジタルまたはアナログオーディオ音源信号情報を受信することができる。オーディオ再生システムは放送オーディオおよび/または映像信号の選択、処理、およびルーティング専用のホームシアター受信機または自動オーディオシステムを含むことができる。スピーカーシステムを介して再生するためにオーディオ出力信号を処理し、出力することができる。このような出力信号はヘッドフォンもしくは一対の正面スピーカーに送信される2チャネル信号、またはサラウンド音響再生のためのマルチチャネル信号とすることができる。サラウンド音響再生のために、オーディオ再生システムはマルチチャネルデコーダを含み得る。
オーディオ再生システムはアナログオーディオ音源を接続するためのアナログ-デジタルコンバータ、またはデジタルオーディオ入力インタフェースのような処理装置をさらに含むことができる。オーディオ再生システムはオーディオ信号を処理するためのデジタル信号プロセッサ、ならびに処理された出力信号をトランスデューサに送信される電気信号に変換するためのデジタル-アナログコンバータおよび信号増幅器を含み得る。スピーカーは様々な用途により決定される様々な構成で配置することができる。スピーカーは、例えば、スタンドアロンユニットとすることができるか、またはテレビジョンセット、ラップトップコンピュータ、手持ち式ステレオ等の家庭用電化製品の場合のようにデバイスに組み込むことができる。技術的および物理的な制約のために、オーディオ再生はこのようなデバイスでは妥協または制限される可能性がある。このような制限はラップトップや他の小型モバイルデバイスのようにスピーカーの間隔が狭く、物理的な制約を有する電子デバイスでは特に顕著である。このようなオーディオの制約に対処するために、一対のヘッドフォンまたは一対のスピーカーを介して2チャネルまたはマルチチャネルのオーディオ信号を再生するための様々なオーディオ処理の方法が使用される。このような方法はリスナーの体験を向上させるための強制的な空間強調効果を含む。
頭部伝達関数(HRTF)に基づいてオーディオ信号処理、例えばヘッドフォンまたはスピーカーを使用した3次元オーディオ再生を実施するための様々な技術が提案されている。いくつかの例では、これらの技術はリスナーに対して水平面内に定位させるか、またはリスナーに対して高い位置に設置される仮想スピーカーで再生するために使用される。スピーカーをベースとするシステムにおいて「スイートスポット(sweet spot)」から離れたリスナー位置での水平定位アーティファクトを低減するために、低周波への影響を制限するための様々なフィルタを適用することができる。
オーディオ信号処理は、例えばスケーラブルなシステムまたはシステムの制約により複数のプロセッサ回路またはソフトウェアモジュールに分散させることができる。例えば、TVオーディオシステムソリューションは、デジタルオーディオデコーダとバーチャライザ後処理モジュールとの組合せを含むことができるため、全体的な計算量が単一の集積回路(IC)またはシステムオンチップ(SOC)の容量を超えない。このような制限に適応するため、デコーダおよびバーチャライザブロックを別々のカスケード接続されたハードウェアまたはソフトウェアモジュールで実施することができる。
一例では、例えばTVオーディオシステムアーキテクチャ内の内部I/Oデータバスは(例えば、5.1または7.1サラウンド音響システムに対応して)6または8チャネルに限定することができる。しかしながら、強制的な没入型のオーディオ体験を提供するためにより多くのデコーダ出力オーディオ信号をバーチャライザ入力部に伝送することが望ましいかまたは必要とされる可能性がある。本発明者らはしたがって、スピーカー、またはいくつかの例ではヘッドフォンを介したマルチチャネルオーディオ信号の多次元オーディオ再生を可能にするために、解決すべき課題が複数のプロセッサ回路および/またはデバイスに分散するオーディオ信号処理を含むことを認識している。一例では、この課題は多次元オーディオ情報を分散または処理するためのチャネル数に制限のあるレガシーハードウェアアーキテクチャの使用を含む可能性がある。
上記の課題に対する解決策は、例えば音響バースピーカー、ホームシアターシステム、TV、ラップトップコンピュータ、モバイルまたはウェアラブルデバイス、または他のシステムまたはデバイスを介した没入型のオーディオコンテンツの再生のために使用することができる、スピーカーまたはヘッドフォンを使用した多次元オーディオ再生のための
様々な方法を含む。本明細書に記載の方法およびシステムにより、中間の伝送させるオーディオチャネル数を低減させながらも二以上のプロセッサ回路またはモジュールに仮想化の後処理を分散させることが可能になる。
一例では、解決策は少なくともN個の個別のオーディオ信号を備えるオーディオプログラム情報の受信を含む仮想化されたオーディオ信号の供給、および第一の仮想化プロセッサ回路を使用した、受信したオーディオプログラム情報の少なくとも一部を使用する中間の仮想化されたオーディオ情報の生成のための方法を含むかまたは使用することができる。中間の仮想化されたオーディオ情報の生成は第一の仮想化フィルタ出力を供給するために第一の仮想化フィルタをN個のオーディオ信号のうちM個に適用することおよび第一の仮想化フィルタ出力を使用して中間の仮想化されたオーディオ情報を供給することを含むことができ、この中間の仮想化されたオーディオ情報はJ個の個別のオーディオ信号を備える。この例は中間の仮想化されたオーディオ情報を第二の仮想化プロセッサ回路に伝送することをさらに含むことができ、第二の仮想化プロセッサ回路は異なる第二の仮想化フィルタをJ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成するように構成され、ここでN、M、およびJは整数である。この例はJ個のオーディオ信号に基づいてK個の出力信号をレンダリングすることをさらに含むことができる。一例では、MはN未満であり、またKはJ未満である。一例では、第一の仮想化フィルタは第二の仮想化フィルタとは異なる。例えば、第一の仮想化フィルタは第一の平面(例えば、垂直面)での仮想化に対応し、第二の仮想化フィルタは異なる第二の平面(例えば、水平面)での仮想化に対応する。一例では、この解決策は非相関化処理を含むかまたは使用する。例えば、中間の仮想化されたオーディオ情報の生成は第一の仮想化フィルタを適用する前にM個のオーディオ信号のうち少なくとも一つを非相関化するかまたはそれに非相関化処理を実行することを含むことができる。
この発明の概要は本特許出願の主題の要約を提供することを意図している。本発明の排他的な(exclusive)、または網羅的な(exhaustive)例を提供することは意図していない。この詳細な説明には本特許出願に関するさらなる情報を提供することが含まれる。
図面中では必ずしも正しい縮尺で描かれておらず、同様の数字は異なる図において類似の構成要素を表し得る。異なる接尾辞を有する同様の数字は類似の構成要素の異なる例を表し得る。図面は一般に例とする目的で、しかし限定する目的ではなく、本書面で論じられる様々な実施形態を例示する。
オーディオ信号仮想化処理の一例を一般に例示する。 4チャネル3次元オーディオ再生システムの一例を一般に例示する。 複数段階の仮想化処理の一例を一般に例示する。 第一および第二の2チャネルバーチャライザモジュールによる独立した仮想化処理を含む一例を一般に例示する。 第一および第二の2チャネルバーチャライザモジュールを使用した仮想化処理を含む一例を一般に例示する。 複数のオーディオ信号の仮想化処理を示すブロックダイアグラムの一例を一般に例示する。 分散されたオーディオ仮想化システムを含む一例を一般に例示する。 様々なオーディオ信号に分散された仮想化処理を実行するように構成された第一のシステムの一例を一般に例示する。 様々なオーディオ信号に分散された仮想化処理を実行するように構成された第二のシステムの一例を一般に例示する。 本明細書で論じられる方法論のうち任意の一または二以上を実行するように構成可能なマシンの構成要素を例示するするブロックダイアグラムである。
ヘッドフォンまたは他のスピーカー等を介した再生のための仮想環境レンダリングおよびオーディオ信号処理の例を含む以下の説明では、添付図面が参照され、詳細な説明の一部を形成する。図面は、例示として本明細書で開示される発明を実施することのできる固有の実施形態を示す。これらの実施形態は本明細書において「例(examples)」とも呼ばれる。このような例はこれら示されるかまたは説明されるものに加え、要素を含むことができる。しかしながら、本発明者らは図示または説明されたこれらの要素のみが提供される例も想定している。本発明者らは本明細書に示されるかまたは説明される特定の例(またはそれらの一または二以上の態様)に関連するかまたは他の例(またはそれらの一または二以上の態様)に関連する、示されるかまたは説明されるそれらの要素(またはそれらの一または二以上の態様)の任意の組合せまたは置換えを使用する例を想定している。
本明細書で使用されるように、「オーディオ信号(audio signal)」という句は物理的な音響を表す信号である。本明細書に記載のオーディオ処理システムおよび方法は様々なフィルタを使用してオーディオ信号を使用または処理するように構成されたハードウェア回路および/またはソフトウェアを含むことができる。いくつかの例では、システムおよび方法は複数のオーディオチャネルからの信号、または複数のオーディオチャネルに対応する信号を使用することができる。一例では、オーディオ信号は複数のオーディオチャネルに対応する情報を含むデジタル信号を含むことができる。
様々なオーディオ処理システムおよび方法は様々なスピーカー構成を介して2チャネルまたはマルチチャネルオーディオ信号を再生するために使用することができる。例えば、オーディオ信号は、例えばリスナーに対して様々な場所に位置するスピーカーを使用することにより、ヘッドフォンを介して、一対のブックシェルフスピーカーを介して、またはサラウンド音響もしくは没入型オーディオシステムを介して再生することができる。いくつかの例は、例えば物理的なスピーカーの数または向きが限定されている場合に、リスニング体験を強調するための強制的な空間強調効果を含むかまたは使用することができる。
Walshらによる「Virtual Audio Processing for Loudspeaker or Headphone Playback」と題する米国特許第8,000,485号は、その全体が参照により本明細書に組み入れられ、仮想化された信号および修正されたステレオイメージを生成するためにバーチャライザプロセッサ回路を用いてオーディオ信号を処理することができる。本発明者らは、485号特許の技術に加えて、または代えて、最小限の数のスピーカーを使用して様々な空間的な方向性のある構成要素を含む正確な音場表現を届けるために仮想化処理を使用することができることを認識している。
一例では、リスナーの体験をさらに強調するためのリスナーよりも上または下の様々な明示された高度、またはエレベーションで音響情報を含むとリスナーが知覚する仮想オーディオ情報をレンダリングするために、頭部伝達関数から導出することのできる相対仮想化フィルタを適用することができる。一例では、このような仮想オーディオ情報は水平面で提供されるスピーカーを使用して再生され、仮想オーディオ情報は知覚される発信場所に物理的または実際のスピーカーが存在しない場合であっても水平面に対して高い位置のスピーカーまたは他の音源から生じるように知覚される。一例では、仮想オーディオ情報は水平面内のオーディオ情報から延在し、それを任意選択的に含む音響エレベーションの印象、または聴覚の錯覚を提供する。同様に、水平面内および水平面の様々な場所、例えば音場内のスピーカーの物理的な位置に対応しない場所に音響情報を含むとリスナーが知覚する仮想オーディオ情報をレンダリングするために仮想化フィルタを適用することができる。
図1はオーディオ信号仮想化処理の一例100を一般に例示する。例100では、L1およびR1と表される入力信号のペアが2チャネルバーチャライザモジュール110に供給される。2チャネルバーチャライザモジュール110は入力信号のペアを処理し、LOおよびROと表される出力信号のペアを供給するように構成された第一のプロセッサ回路を含むことができる。一例では、出力信号のペアはステレオスピーカーのペアまたはヘッドフォンを使用して再生するために構成される。
一例では、入力および出力信号のペアがリスナーの解剖学的な正中面に関して対称に設置されるスピーカーの情報を表す場合等にトランスオーラルシャッフラートポロジーを使用してバーチャライザモジュール110を実現することができる。この例では、加算および差分仮想化フィルタは等式(1)および(2)に示されるように表すことができ、2チャネルバーチャライザモジュール110内の第一のプロセッサ回路により適用することができる。
Figure 0007206211000001
Figure 0007206211000002
等式(1)および(2)の例では、周波数依存は簡潔にするために省略され、以下の記号が使用される。
0i:左または右の物理的なスピーカーの場所に対する同側HRTF(例えば、出力信号のペアLO、ROの再生のために構成される)
0c:左または右の物理的なスピーカーの場所に対する対側HRTF(例えば、出力信号のペアLO、ROの再生のために構成される)
1i:左または右の仮想スピーカーの場所に対する同側HRTF(例えば、出力信号のペアL1、R1の再生のために構成される)
1c:左または右の仮想スピーカーの場所に対する対側HRTF(L1、R1
ヘッドフォン再生の場合、H0cは実質的にゼロであり、H0iはヘッドフォンから耳への伝達関数に対応する。
図2は4チャネル3次元オーディオ再生システムの一例200を一般に例示する。例200はリスナー202に対する再生のための仮想化されたオーディオ信号情報を供給するために仮想化処理を含むかまたは使用することができる。例200では、仮想化プロセッサ回路201は入力信号L1、R1、L2およびR2を受信し、仮想化処理を入力信号に適用し、入力信号よりも少ない数の出力信号をレンダリングまたは供給する。デジタルIIRフィルタの近似だけでなく、チャネルレイアウトの左右対称性、頭部伝達関数(HRTF)の最小位相モデル、およびスペクトル等化法等の特性をレバレッジする加算および差分「シャッフラー(shuffler)」ベーストポロジーを含む、様々な入力信号を処理するために、バイノーラルおよびトランスオーラル3Dオーディオ仮想化アルゴリズムを使用することができる。一例では、仮想化プロセッサ回路201はオーディオデコーダ回路、例えばサラウンド音響デコーダ回路から複数の入力信号L1、R1、L2およびR2を受信し、一対のスピーカーを使用して実質的に同じ情報をレンダリングする。
図2では、3次元オーディオ再生システムまたはプロセッサ回路201はLOおよびROと表される出力信号を供給する。仮想化処理に基づいて、LOおよびRO信号が(図2の例におけるLおよびRに対応するスピーカーのような)一対のスピーカーを使用して再生される場合、リスナー202はオーディオ情報がスピーカー環境に関して分散された複数の音源からの情報を含むと知覚する。例えば、図中でLおよびRとして表されるスピーカーを使用してLOおよびRO信号が再生される場合、リスナー202は左または右正面のスピーカーL1およびR1から、左または右後方のスピーカーL2およびR2から、またはスピーカー間の中間の場所またはどこか見かけ上の音源から生じるオーディオ情報を知覚することができる。
図3は複数段階の仮想化処理の一例300を一般に例示する。一例では、図2からの3次元オーディオ再生システムまたはプロセッサ回路201は図3の例300における仮想化処理を使用して実施または適用することができる。図3の例は第一の2チャネルバーチャライザモジュール310および第二の2チャネルバーチャライザモジュール320を含む。第一の2チャネルバーチャライザモジュール310はL1およびR1と表される第一の入力信号のペアを受信するように構成され、第二の2チャネルバーチャライザモジュール320はL2およびR2と表される第二の入力信号のペアを受信するように構成される。一例では、L1およびR1は正面のステレオペアを表し、L2およびR2は後方のステレオペアを表す(例えば、図2を参照)。他の例では、L1、R1、L2およびR2は特定のスピーカー配置等を使用した再生のために構成または設計される、側方、後方、または高い位置の音響信号等の他のオーディオ情報を表すことができる。一例では、第一の2チャネルバーチャライザモジュール310は等式(1)に示されるような、加算および差分仮想化フィルタを適用または使用するように構成される。
第二の2チャネルバーチャライザモジュール320は第二の入力信号のペアL2およびR2を受信し、L2,OおよびR2,Oと表される出力信号として中間の仮想化されたオーディオ情報を生成するように構成された第二のプロセッサ回路を含むことができる。一例では、第二の2チャネルバーチャライザモジュール320は中間の仮想化された出力信号L2,OおよびR2,Oを生成するために、等式(2)に示されるような、加算および差分仮想化フィルタを適用または使用するように構成される。一例では、第二の2チャネルバーチャライザモジュール320はしたがって部分的に仮想化された一つの信号、または部分的に仮想化された複数の信号を供給または生成するように構成される。第二の2チャネルバーチャライザモジュール320を制限された方法で仮想化処理を提供するように構成することができるため、信号(複数可)は部分的に仮想化されているとみなされる。例えば、第二の2チャネルバーチャライザモジュール320は水平面仮想化処理のために構成することができ、一方垂直面仮想化処理を他の場所で、または異なるデバイスを使用して実行することができるように構成することができる。部分的に仮想化された信号はリスナーに対して再生する前に他の一または二以上の仮想化されたか、または仮想化されていない信号と組み合わせることができる。一例では、第二の2チャネルバーチャライザモジュール320は中間の仮想化された出力信号を供給するために等式3および4に示される関数を適用または使用することができる。
Figure 0007206211000003
Figure 0007206211000004
等式(3)および(4)の例では、周波数依存は簡潔にするために省略され、以下の記号が使用される。
2i:左または右の仮想スピーカーの場所に対する対側HRTF(L2、R2
2c:左または右の仮想スピーカーの場所に対する対側HRTF(L2、R2
図3の例では、中間の仮想化された出力信号L2,OおよびR2,OはL1およびR1と表される第一の入力信号のペアを仮想化する前に、L1およびR1と表される第一の入力信号のペアと組み合わせられる。組み合わせられた信号は次に第一の2チャネルバーチャライザモジュール310を使用してさらに処理または仮想化される。第一および第二の2チャネルバーチャライザモジュール310および320は、例えば異なる仮想化効果を達成するために、異なる仮想化処理を適用するように構成することができる。例えば、第一の2チャネルバーチャライザモジュール310は水平面仮想化処理を提供するように構成することができ、第二の2チャネルバーチャライザモジュール320は垂直面仮想化処理を提供するように構成することができる。異なるモジュールを使用して、他のタイプの仮想化処理を同様に使用または適用することができる。
本発明者らはモジュール310および320による仮想化処理および図3の例による中間信号の組合せの結果が、両方のモジュールにより独立に仮想化処理と実質的に等価であることを認識している。図4は、例えば、第一および第二の2チャネルバーチャライザモジュール410および420による独立した仮想化処理を含む一例400を一般に例示する。図4の例では、第一の2チャネルバーチャライザモジュール410はL1およびR1と表される入力信号のペアを受信してL1,OおよびR1,Oと表される部分的に仮想化された出力信号のペアを生成し、第二の2チャネルバーチャライザモジュール420はL2およびR2と表される入力信号のペアを受信してL3,OおよびR3,Oと表される部分的に仮想化された出力信号のペアを生成する。図4の例400はさらに仮想化された出力信号LOおよびROを供給するために部分的に仮想化された出力信号のペアL1,OおよびR1,OならびにL3,OおよびR3,Oを加算するように構成された回路を含む加算モジュール430を含む。
図4の例では、第一の2チャネルバーチャライザモジュール410は等式(1)および(2)に示されるように、また図1からの2チャネルバーチャライザモジュール110の例において上記で説明されたのと同様に、加算および差分仮想化フィルタを適用するように構成される。第二の2チャネルバーチャライザモジュール420は等式(5)および(6)に示されるように加算および差分仮想化フィルタを適用するように構成される。
Figure 0007206211000005
Figure 0007206211000006
等式(1)および(2)と等式(3)および(4)とを比較すると、図3および図4の4チャネルのペアになったバーチャライザの例が実質的に同じであることがわかる。
図5は第一および第二の2チャネルバーチャライザモジュール510および520による仮想化処理を含む一例500を一般に例示する。図5の例では、第二の2チャネルバーチャライザモジュール520はL2およびR2と表される入力信号のペアを受信し、L4,OおよびR4,Oと表される部分的に仮想化された出力信号のペアを生成する。図5の例500は部分的に仮想化された出力信号のペアL4,OおよびR4,Oと入力信号のペアL1およびR1とを加算し、加算された信号を第一の2チャネルバーチャライザモジュール510に供給するように構成された回路を含む加算モジュール530をさらに含む。第一の2チャネルバーチャライザモジュール510は加算された信号のペアを受信し、仮想化された出力信号LOおよびROを生成する。
図5の例では、第一の2チャネルバーチャライザモジュール510は等式(1)および(2)に示されるように、また図1からの2チャネルバーチャライザモジュール110の例において上記で説明されたのと同様に、加算および差分仮想化フィルタを適用するように構成される。第二の2チャネルバーチャライザモジュール520は等式(7)に示されるように、加算および差分仮想化フィルタを適用するように構成される。
Figure 0007206211000007
図5の例はしたがって図3の4チャネルバーチャライザの簡素化されたバージョンを一般に示し、第二の2チャネルバーチャライザモジュール520は伝達関数H2/1,SUMおよびH2/1,DIFFがほぼ等しい場合、すなわち、同側および対側HRTFの比率がほぼ等しい場合、同じフィルタを両方の入力信号に適用する。
本明細書に記載の仮想化処理の例のうち任意の一または二以上は非相関化処理を含むかまたは使用することができる。例えば、図1、3、4、および/または5からのバーチャライザモジュールのうち任意の一または二以上は、オーディオ入力信号のうち一または二以上を非相関化するように構成されたデコリレータ回路を含むかまたは使用することができる。一例では、バーチャライザモジュールが互いに非相関である信号のペアを処理するように、デコリレータ回路がバーチャライザモジュールの少なくとも一つの入力に先行する。非相関化処理に関するさらなる例および議論が以下で提供される。
図6は複数のオーディオ信号の仮想化処理を示すブロックダイアグラムの一例600を一般に例示する。例600はデータバス回路602を使用して第二のオーディオ信号処理デバイス620と結合する第一のオーディオ信号処理デバイス610を含む。
第一のオーディオ信号処理デバイス610はデコーダ回路611を含むことができる。一例では、デコーダ回路611はデジタルまたはアナログ信号情報を含むマルチチャネル入力信号601を受信する。一例では、マルチチャネル入力信号601は複数のオーディオ信号に関する情報を含むデジタルビットストリームを含む。一例では、マルチチャネル入力信号601はサラウンド音響または没入型オーディオプログラムのためのオーディオ信号を含む。一例では、没入型オーディオプログラムは例えばDTS:X 11.1chフォーマットに9以上のチャネルを含むことができる。一例では、没入型オーディオプログラムは左および右正面のチャネル(L1およびR1)、中央チャネル(C)、低周波チャネル(Lfe)、左および右後方のチャネル(L2およびR2)、ならびに左および右の高い位置のチャネル(L3およびR3)を含む、8個のチャネルを含む。追加の、またはより少ないチャネルまたは信号を同様に使用することができる。
デコーダ回路611はマルチチャネル入力信号601をデコードし、デコーダ出力612を供給するように構成することができる。デコーダ出力612は情報の複数の個別のチャネルを含むことができる。例えば、マルチチャネル入力信号601が11.1没入型オーディオプログラムに関する情報を含む場合、次にデコーダ出力612は12個の個別のオーディオチャネルのためのオーディオ信号を含むことができる。一例では、バス回路602は少なくとも12個のチャネルを含み、各チャネルを使用してオーディオ信号の全てを第一のオーディオ信号処理デバイス610から第二のオーディオ信号処理デバイス620に伝送する。第二のオーディオ信号処理デバイス620はバス回路602からの信号のうち一または二以上を受信するように構成された仮想化プロセッサ回路621を含むことができる。仮想化プロセッサ回路621は仮想化されたオーディオ情報を含むオーディオ出力信号603を生成するために、例えば一または二以上のHRTFまたは他のフィルタを使用することにより、受信した信号を処理することができる。一例では、オーディオ出力信号603はリスニング環境内の一対のスピーカーを使用して、またはヘッドフォンを使用して再生するために構成されたオーディオ信号のステレオ出力のペア(例えば、LOおよびRO)を含む。一例では、第一または第二のオーディオ信号処理デバイス610または620はリスナーの体験またはオーディオ出力信号603内の仮想化された構成要素の知覚をさらに強調するためのリスニング環境に関連するアーティファクトに適応するために一または二以上のフィルタまたは関数を適用することができる。
いくつかのオーディオ信号処理デバイスにおいて、特に家庭用製品のレベル(consumer-grade level)では、バス回路602は個別のチャネルに固有の、または所定の数に制限される可能性がある。例えば、いくつかのデバイスは(例えば、5.1サラウンドシステムに対応して)6チャネルまで適応するが、それを超えないように構成することができる。オーディオプログラム情報が例えば6チャネルよりも大きい情報を含む場合、バス回路602を使用してプログラム情報が伝送されるとするとオーディオプログラムの少なくとも一部が失われる可能性がある。いくつかの例では、失われる情報はプログラム全体またはリスナー体験にとって重大である可能性がある。本発明者らはこのチャネル数の問題は分散された仮想化処理を使用することで解決することができると認識している。
図7は分散されたオーディオ仮想化システムを含む一例700を一般的に例示する。例700は例えば物理的なスピーカーまたはヘッドフォンを使用することによりマルチチャネルの没入型オーディオレンダリングを提供するために使用することができる。例700は第二のデータバス回路702を使用して第二のオーディオ信号処理デバイス720と結合する第一のオーディオ信号処理デバイス710を含む。一例では、第二のデータバス回路702は図6の例におけるデータバス回路602により提供されるのと同じ帯域幅を含む。すなわち、第二のデータバス回路702はマルチチャネル入力信号601に関する情報の全てを搬送するために必要とされ得るよりも低い帯域幅を含むことができる。
図7の例では、第一のオーディオ信号処理デバイス710はデコーダ回路611および第一の仮想化プロセッサ回路711を含むことができる。一例では、デコーダ回路611はデジタルまたはアナログ信号情報等を含むことのできる、マルチチャネル入力信号601を受信する。図6の例において上記で説明されたのと同様に、マルチチャネル入力信号601は複数のオーディオ信号に関する情報を含み、一例では、没入型オーディオプログラムのためのオーディオ信号を含むことのできる、デジタルビットストリームを含む。
デコーダ回路611はマルチチャネル入力信号601をデコードし、デコーダ出力612を供給するように構成することができる。デコーダ出力612は情報の複数の個別のチャネルを含むことができる。例えば、マルチチャネル入力信号601が没入型オーディオプログラム(例えば、11.1フォーマット)に関する情報を含む場合、次にデコーダ出力612は例えば12個の個別のオーディオチャネルのためのオーディオ信号を含むことができる。一例では、バス回路702が含むのは12チャネルよりも少なく、したがってオーディオ信号の各々を第一のオーディオ信号処理デバイス710から第二のオーディオ信号処理デバイス720に伝送することができない。
一例では、デコーダ出力612は例えば第一の仮想化プロセッサ回路711を使用することにより、第一のオーディオ信号処理デバイス710により部分的に仮想化することができる。例えば、第一の仮想化プロセッサ回路711は複数の入力信号を受信するために図3の例300、図4の例400、または図5の例500を含むかまたは使用し、中間の仮想化されたオーディオ情報をレンダリングまたは供給するために第一の仮想化処理を受信した入力信号の少なくとも一部に適用し、そして次に中間の仮想化されたオーディオ情報と入力信号の他の一または二以上とを組み合わせることができる。
ここで代表的かつ非限定的な例として図7および図5を参照すると、マルチチャネル入力信号601(図7を参照)はL1、R1、L2およびR2と表される入力信号のペア(図5を参照)を含むことができる。第一の仮想化プロセッサ回路711はL2およびR2と表される入力信号のペアを少なくとも受信することができ、その信号のペアに第一の仮想化処理を実行することができる。一例では、第一の仮想化プロセッサ回路711はL4,OおよびR4,Oと表される部分的に仮想化された出力信号のペアをレンダリングまたは生成するために第一のHRTFフィルタをL2およびR2信号のうち一または二以上に適用する。第一の仮想化プロセッサ回路または指定された加算モジュールは部分的に仮想化された出力信号のペアL4,OおよびR4,Oを受信し、部分的に仮想化された出力信号のペアL4,OおよびR4,Oと他の入力信号のペアL1およびR1とを加算することができる。信号の加算に続き、4よりも少ないオーディオ信号チャネルが第一のオーディオ信号処理デバイス710により第二のデータバス回路702に提供される。したがって、マルチチャネル入力信号601が4つのオーディオ信号を含む例では、第二のデータバス回路702は部分的に仮想化された情報を第一のオーディオ信号処理デバイス710から別のデバイスに情報等を失うことなく伝送するために使用することができる。
図7の例では、第二のデータバス回路702は部分的に仮想化された情報を第二のオーディオ信号処理デバイス720に供給する。第二のオーディオ信号処理デバイス720はさらに第二の仮想化プロセッサ回路721を使用して受信した信号を処理し、さらに仮想化された出力信号(例えば、図5の例における出力信号LOおよびRO)を生成することができる。
第二の仮想化プロセッサ回路721は第二のデータバス回路702からの信号のうち一または二以上を受信するように構成することができる。第二の仮想化プロセッサ回路721は仮想化されたオーディオ情報を含むオーディオ出力信号703を生成するために例えば一または二以上のHRTFまたは他のフィルタを使用することにより受信した信号を処理することができる。一例では、オーディオ出力信号703はリスニング環境内の一対のスピーカーを使用して、またはヘッドフォンを使用して再生するために構成されたオーディオ信号のステレオ出力のペア(例えば、図5の例からのLOおよびRO)を含む。一例では、第一または第二のオーディオ信号処理デバイス710または720はリスナーの体験またはオーディオ出力信号703内の仮想化された構成要素の知覚をさらに強調するために、リスニング環境に関連するアーティファクトに適応するための一または二以上のフィルタまたは関数を適用することができる。
換言すると、図7の例は一または二以上の対応する中間の仮想化された信号を供給するためにマルチチャネル入力信号601内の一または二以上のチャネルからの情報を処理または「仮想化(virtualize)」するように構成された第一の仮想化プロセッサ回路711を含む第一のオーディオ信号処理デバイス710を一般に例示する。中間の仮想化された信号は次にマルチチャネル入力信号601に含まれるよりも少ないチャネルを含む部分的に仮想化されたオーディオプログラムを提供するためにマルチチャネル入力信号601内の他の一または二以上のチャネルと組み合わせることができる。すなわち、第一の仮想化プロセッサ回路711は第一の数のチャネルを含むオーディオプログラムを受信することができ、次に他のチャネルにより供給された情報またはフィデリティ等を失うことなく仮想化処理を適用してオーディオプログラムを用いて最初に受信されたよりも少ない数のチャネルをレンダリングする。部分的に仮想化されたオーディオプログラムは情報を失うことなく第二のデータバス回路702を使用して伝送することができ、伝送された情報は物理的なスピーカーまたはヘッドフォン等の音響再生システムに出力する前に、別の仮想化プロセッサを使用して(例えば、第二のオーディオ信号処理デバイス710および/または第二の仮想化プロセッサ回路721を使用して)さらに処理するかまたはさらに仮想化することができる。
一例では、図7のシステムを使用して仮想化されたオーディオ情報を供給するための方法はマルチチャネル入力信号601に対応する、少なくともN個の個別のオーディオ信号を含むオーディオプログラム情報を受信することを含む。この方法は受信したオーディオプログラム情報の少なくとも一部を使用し、第一の仮想化プロセッサ回路711を使用して中間の仮想化されたオーディオ情報を生成することを含むことができる。例えば、中間の仮想化されたオーディオ情報を生成することは、第一の仮想化フィルタ出力を供給するためにN個のオーディオ信号のうちM個に(例えば、HRTFに基づいて)第一の仮想化フィルタを適用することおよび第一の仮想化フィルタ出力を使用して中間の仮想化されたオーディオ情報を供給することを含むことができる。一例では、中間の仮想化されたオーディオ情報はJ個の個別のオーディオ信号を備え、JはN未満である。一例では、MはN以下である。この方法は第二のデータバス回路702を使用して中間の仮想化されたオーディオ情報を第二の仮想化プロセッサ回路721に伝送することをさらに含むことができ、第二のデータバス回路702はN個よりも少ないチャネルを有することができる。一例では、第二の仮想化プロセッサ回路721は異なる第二の仮想化フィルタをJ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成するように構成することができる。例えば、第一の仮想化プロセッサ回路711は仮想化された信号L4,OおよびR4,Oをレンダリングまたは供給するために水平面仮想化を少なくともL2およびR2信号に適用するように構成することができ、これにより他の入力信号L1およびR1と組み合わせ、第二のデータバス回路702を使用して伝送することができる。第二の仮想化プロセッサ回路721はスピーカーまたはヘッドフォンを介して再生するための仮想化された出力信号を供給するために、第二のデータバス回路702から受信した組み合わせられた信号に他の仮想化処理(例えば、垂直面仮想化)を適用するように構成することができる。
図8は様々なオーディオ信号に分散された仮想化処理を実行するように構成された第一のシステムの一例800を一般に例示する。例800は第三のデータバス回路803を使用して第二のオーディオ処理モジュール821と結合する第一のオーディオ処理モジュール811を含む。第一のオーディオ処理モジュール811は様々なペアの入力信号801を受信し、第一の仮想化処理を適用し、第一の仮想化処理に続き一または二以上の信号またはチャネルを組み合わせることによりオーディオ信号またはチャネルの総数を低減するように構成される。第一のオーディオ処理モジュール811は第三のデータバス回路803を使用して数が低減された信号またはチャネルを第二のオーディオ処理モジュール821に供給する。第二のオーディオ処理モジュール821は第二の仮想化処理を適用し、図8の例におけるペアの出力信号804をレンダリングする。一例では、複数のペアの入力信号801は(例えば、正面のステレオペアに対応する)信号チャネルL1およびR1、(例えば、後方のステレオペアに対応する)L2およびR2、(例えば、高さまたは高い位置のステレオペアに対応する)L3およびR3、中央チャネルC、ならびに低周波チャネルLfeを含む、没入型オーディオプログラム情報を受信することのできる様々なチャネルを含む。ペアの出力信号804はLOおよびROと表される信号のステレオ出力のペアを含むことができる。他のチャネルタイプまたは指定を同様に使用することができる。
例800では、第一のオーディオ処理モジュール811は、オーディオ信号の高さに対応する入力信号L3およびR3を受信する第一のプロセッサ回路812による第一段階の仮想化処理を含む。第一のプロセッサ回路812は空間化処理を強調し、処理された信号でのオーディオアーティファクトの発生を低減するために、入力信号L3およびR3のうち少なくとも一つに非相関化処理を適用するように構成されたデコリレータ回路を含む。デコリレータ回路に続き、非相関化された入力信号は例えば2チャネルバーチャライザモジュールを使用することにより処理または仮想化される(例えば、図5の例からの第二の2チャネルバーチャライザモジュール520および等式(7)を参照)。第一のプロセッサ回路812に続き、第一のプロセッサ回路812からの出力信号と入力信号801のうち他の一または二以上とを組み合わせることができる。例えば、図8に示されるように、第一のプロセッサ回路812からの出力信号は信号L1,3およびR1,3をレンダリングするために、例えば加算回路813を使用することにより、L1およびR1信号と組み合わせるかまたは加算することができる。入力信号801のうち他の一または二以上は第一のオーディオ処理モジュール811を使用して処理することができるが、このような他の処理の議論は本例示を簡潔および簡単にするために省略される。信号L1,3およびR1,3を供給するために入力信号L1およびR1と組み合わせられた部分的に仮想化されたL3およびR3信号により、第一のオーディオ処理モジュール811はしたがって第三のデータバス回路803に(例えば、図8の例においてL1,3、R1,3、L2、R2、CおよびLfeと表される)6個の出力信号を供給することができる。
第三のデータバス回路803は6個の信号を第二のオーディオ処理モジュール821に伝送することができる。この例では、第二のオーディオ処理モジュール821は第二のプロセッサ回路822、第三のプロセッサ回路823、および第四のプロセッサ回路824を含む、複数の第二段階の仮想化処理回路を含む。例示では、第二から第四のプロセッサ回路822-824は個別のプロセッサとして示されているが、一または二以上の回路のための処理動作は一または二以上の物理的な処理回路を使用して組み合わせるかまたは実行することができる。第二のプロセッサ回路822は信号L1,3、およびR1,3を受信するように構成され、第三のプロセッサ回路823は信号L2、およびR2を受信するように構成され、第四のプロセッサ回路824は信号C、およびLfeを受信するように構成される。第二から第四のプロセッサ回路822-824の出力はLOおよびROと表されるペアの出力信号804をレンダリングするために、様々なプロセッサ回路からの出力信号を加算するように構成された第二の加算回路825に供給される。
図8の例では、第二のプロセッサ回路822は第一のプロセッサ回路812からの仮想化された高さオーディオ信号と第一のオーディオ処理モジュール811により受信されるL1およびR1信号との組合せに対応する入力信号L1,3、およびR1,3を受信する。第二のプロセッサ回路822は空間化処理を強調し、処理された信号でのオーディオアーティファクトの発生を低減するために、入力信号L1,3およびR1,3のうち少なくとも一つに非相関化処理を適用するように構成されたデコリレータ回路を含む。デコリレータ回路に続き、非相関化された信号は例えば2チャネルバーチャライザモジュールを使用することにより処理または仮想化される(例えば、図4の例からの第一の2チャネルバーチャライザモジュール410および等式(1および2)を参照)。
第四のプロセッサ回路824は空間化処理を強調し、処理された信号でのオーディオアーティファクトの発生を低減するために、入力信号L2およびR2のうち少なくとも一つに非相関化処理を適用するように構成されたデコリレータ回路(図示されていない)を任意選択的に含むことができる。入力信号L2およびR2は例えば2チャネルバーチャライザモジュールを使用することにより処理または仮想化される(例えば、図4の例からの第二の2チャネルバーチャライザモジュール420および等式(5および6)を参照)。図8の例では、第三のプロセッサ回路823は例えば全域透過フィルタおよび/または非相関化処理任意を選択的に使用することによりCおよびLfe信号を受信し、処理するように構成される。
図8の例はしたがって図1および図3-5に例示されるように、例えばペアの仮想化処理を使用する正面のスピーカーのペアを介した(例えば、図2を参照)2チャネル出力のためペアのマルチチャネルバーチャライザを例示する。この例では、高さチャネルのペア(L3、R3)はデコリレータを含む第一段階のバーチャライザを使用して処理される。第一のプロセッサ回路812により実施される指定された仮想高さフィルタの使用を含むこのバーチャライザトポロジーは、水平面仮想化処理を正面の入力信号のペアと共有することを可能にするため計算上有利である可能性がある。加えて、例示されたトポロジーにより水平面または他の仮想化処理とは無関係に仮想高さ効果の有効性または程度を最適化または調整することができる。
図9は様々なオーディオ信号に分散された仮想化処理を実行するように構成された第二のシステムの一例900を一般に例示する。例900は第三のデータバス回路803を使用して第四のオーディオ処理モジュール921と結合する第三のオーディオ処理モジュール911を含む。図9の例は図8の例800において上記で説明されたのと同じ回路および処理のうちいくつかを含むかまたは使用する。
例えば、第三のオーディオ処理モジュール911は様々なペアの入力信号801を受信し、仮想化処理を適用し、仮想化処理に続き一または二以上の信号またはチャネルを組み合わせることによりオーディオ信号またはチャネルの総数を低減するように構成される。第三のオーディオ処理モジュール911は数が低減された信号またはチャネルを6チャネルの第三のデータバス回路803を使用して第四のオーディオ処理モジュール921に供給する。第四のオーディオ処理モジュール921は他の仮想化処理を適用し、図9の例においてペアの出力信号904をレンダリングする。一例では、様々なモジュールおよびプロセッサが異なる順序で、異なるベース信号または信号の組合せで動作するとしても実質的に同じ仮想化処理を提供するように構成される場合、図8および図9の例からのペアの出力信号804および904は実質的に同じであると言える。
例900では、第三のオーディオ処理モジュール911は第四のプロセッサ回路824による第一段階の仮想化処理を含む。すなわち、第四のプロセッサ回路824は後方のステレオオーディオ信号に対応する入力信号L2およびR2を受信する。第四のプロセッサ回路824に続き、第四のプロセッサ回路824からの出力信号は入力信号801のうち他の一または二以上と組み合わせることができる。例えば、図9に示されるように、第四のプロセッサ回路824からの出力信号は信号L1,2およびR1,2をレンダリングするために例えば第一の加算回路913を使用することにより、L1およびR1信号と組み合わせるか、または加算することができる。入力信号801のうち他の一または二以上は第三のオーディオ処理モジュール911を使用して処理することができるが、このような他の処理の議論は本例示を簡潔および簡単にするために省略される。信号L1,2およびR1,2を供給するために入力信号L1およびR1に組み合わせられた部分的に仮想化されたL2およびR2信号により、第四のオーディオ処理モジュール911はしたがって(例えば、図9の例においてL1,2、R1,2、L2、R2、CおよびLfeと表される)6個の出力信号を第三のデータバス回路803に供給することができる。
第三のデータバス回路803は6個の信号を第四のオーディオ処理モジュール921に伝送することができる。この例では、第四のオーディオ処理モジュール921は第一のプロセッサ回路812、第二のプロセッサ回路822、および第三のプロセッサ回路823を含む、複数の第二段階の仮想化処理回路を含む。例示では、第一、第二、および第三のプロセッサ回路812、822、および823は個別のプロセッサとして示されているが、一または二以上の回路のための処理動作は第四のオーディオ処理モジュール921内の一または二以上の物理的な処理回路を使用して組み合わせるかまたは実行することができる。第二のプロセッサ回路822は信号L1,2、およびR1,2を受信するように構成され、第一のプロセッサ回路823は信号L3、およびR3を受信するように構成され、第三のプロセッサ回路824は信号C、およびLfeを受信するように構成される。第一のプロセッサ回路812からの仮想化された出力は第二の加算回路924に供給され、この出力は第三のデータバス回路803から受信した信号L1,2、およびR1,2に加算され、次に第二のプロセッサ回路822に供給される。この例では、第二のプロセッサ回路822はL2、R2、ならびにL3およびR3の組合せに仮想化処理を適用し、このような信号の後の信号は第一および第四のプロセッサ回路812および824により他の仮想化処理を受信している。第四のオーディオ処理モジュール921での処理に続き、第一、第二、および第三のプロセッサ回路812、822、および823の出力はLOおよびROと表されるペアの出力信号904をレンダリングするために様々なプロセッサ回路からの出力信号を加算するように構成された第三の加算回路925に供給される。
図8および図9はしたがって、正面のスピーカーのペア等を介した(例えば、図2を参照)ペアの2チャネル出力用のマルチチャネル仮想化処理システムの例を例示する。この例は図1および図3-5に例示されるようなペアの仮想化処理を含む。図8の例では、高さチャネルのペア(L3、R3)はデコリレータを含む第一段階のバーチャライザを使用して処理される。第一のプロセッサ回路812により実施される指定された仮想高さフィルタの使用を含むこのバーチャライザトポロジーは、水平面仮想化処理を正面の入力信号のペアと共有することを可能にするため計算上有利である可能性がある。例示されたトポロジーにより、水平面または他の仮想化処理とは無関係に有効な仮想高さ効果およびその程度を最適化または調整することが可能になる。図9の例では、後方のステレオチャネルのペア(L2、R2)が第一段階のバーチャライザを使用して処理される。第四のプロセッサ回路824により実施される指定された仮想水平面フィルタの使用を含むこのバーチャライザトポロジーは、高さまたは他の仮想化処理を正面の入力信号のペアと共有することを可能にするため、計算上有利である可能性がある。図8の例と同様に、例示された図9のトポロジーにより複数の異なる平面での仮想化処理の調整の柔軟性が最適化される。例えば、ヘッドフォンオーディオのための2チャネル出力をレンダリングするために図9の例が適用される場合、このバーチャライザトポロジーにより個々のリスナーのためのヘッドフォンを介して仮想正面または仮想後方効果の独立した調整が提供され、これらは前後の混同の発生、偽のエレベーション誤差を最小化するため、および知覚された外面化を最大化するために有用である可能性がある。
本明細書で論じられるいくつかのモジュールまたはプロセッサは仮想化処理の前に、信号非相関化処理を適用または使用するように構成される。非相関化は二以上のオーディオ信号またはチャネル間の相関を低減するオーディオ処理技術である。いくつかの例では、非相関化はリスナーが知覚するオーディオ信号の空間的なイメージを修正するために使用することができる。空間的なイメージまたは知覚を調整または修正するために非相関化処理を使用する他の例には、一対のオーディオチャネル間の知覚される「見かけ上の(phantom)」音源効果を減少させること、一対のオーディオチャネル間の知覚される距離を広くすること、ヘッドフォンを介して再生する場合にオーディオ信号の知覚される外面化を向上させること、および/または再生される音場内の知覚される散漫性を増加させることを含むことができる。
例えば、仮想化の前に非相関化処理を左/右信号のペアに適用することにより、左右の入力チャネル間でパンされる音源信号はリスナー位置を中心とした最短の円弧に実質的に設置され、仮想スピーカーの相応の位置に加わる仮想位置でリスナーに聴かれるであろう。本発明者らはこのような非相関化処理が頭部内での局在化、前後の混同、およびエレベーション誤差等の、様々な仮想局在化アーティファクトを回避することに効果的である可能性があることを理解している。
一例では、非相関化処理は他のものとの間で全域透過フィルタを使用して実行することができる。このフィルタは入力信号のうち少なくとも一つに適用することができ、一例では、入れ子になった全域透過フィルタにより実現することができる。チャネル間の非相関化はフィルタの異なる構成要素の異なる設定または値を選択することにより提供することができる。非相関化フィルタのための様々な他の設計を同様に使用することができる。
一例では、二(またはそれよりも多くの)オーディオ信号間の相関を低減するための方法は各オーディオ信号の位相を無作為化することを含む。例えば、各々が周波数領域において異なる無作為の位相計算に基づいて、各オーディオ信号をフィルタリングするために各全域透過フィルタを使用することができる。いくつかの例では、非相関化によりオーディオ信号に音色の変更または他の意図しないアーティファクトを導入することができ、これらは別々に扱うことができる。
様々なシステムおよびマシンを、本明細書に記載の信号処理タスクのうち一または二以上を実行または実施するように構成することができる。例えば、仮想化処理モジュールもしくは仮想化プロセッサ回路、非相関化回路、仮想化または空間化フィルタ、または他のモジュールもしくはプロセスのうち任意の一または二以上は、有形で非一過性のプロセッサ読み取り可能な媒体から取得した命令を使用し、汎用マシンを使用して、または様々な処理タスクを実行する特殊目的のマシンを使用して、実施することができる。
図10はマシン読取り可能な媒体(例えば、マシン読取り可能なストレージ媒体)からの命令1016を読取り、本明細書に記載の方法論のうち一または二以上を実行することのできるいくつかの例示の実施形態によるマシン1000の構成要素を例示するブロックダイアグラムである。具体的には、図10は本明細書に記載の方法論のうち任意の一または二以上をマシン1000に実行させるための命令1016(例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、または他の実行可能なコード)が実行され得るコンピュータシステムの例示の形態におけるマシン1000のダイアグラムによる表現を示す。例えば、命令1016は図5-7等のモジュールまたは回路または構成要素を実施することができる。命令1016は一般的な、プログラムされていないマシン1000を、(例えば、オーディオプロセッサ回路として)説明された方法で説明され例示された機能を実行するようにプログラムされた特定のマシンに変えることができる。別の実施形態では、マシン1000はスタンドアロンデバイスとして動作するか、または他のマシンと結合(例えば、ネットワーク接続)することができる。ネットワーク接続された配置では、マシン1000はサーバ-クライアントネットワーク環境においてサーバマシンまたはクライアントマシンの容量で、またはピアツーピア(または分散された)ネットワーク環境においてピアマシンとして動作することができる。
マシン1000は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ(PC)、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セットトップボックス(STB)、パーソナルデジタルアシスタント(PDA)、エンターテイメントメディアシステムまたはシステム構成要素、携帯電話、スマートフォン、モバイルデバイス、ウェアラブルデバイス(例えば、スマートウォッチ)、スマートホームデバイス(例えば、スマート家電)、他のスマートデバイス、ウェブ家電、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、ヘッドフォンドライバ、またはマシン1000がとるアクションを順次、または他の方法で明示する、命令1016を実行することのできる任意のマシンを備えることができるが、これらに限定されない。さらに、単一のマシン1000のみが示されているが、「マシン(machine)」という用語は、本明細書に記載の方法論のうち任意の一または二以上を実行するために命令1016を個々に、または共同で実行するマシン1000の集合も含むものとする。
マシン1000はオーディオプロセッサ回路、非一過性のメモリ/ストレージ1030、およびI/O構成要素1050等を含むプロセッサ1010を含むかまたは使用することができ、これらはバス1002を介して互いに通信するように構成することができる。一つの例示の実施形態では、プロセッサ1010(例えば、セントラルプロセッシングユニット(CPU)、縮小命令セットコンピューティング(RISC)プロセッサ、複合命令セットコンピューティング(CISC)プロセッサ、グラフィックプロセッシングユニット(GPU)、デジタル信号プロセッサ(DSP)、ASIC、低周波集積回路(RFIC)、別のプロセッサ、またはそれらの任意の好適な組合せ)は、例えば、命令1016を実行し得るプロセッサ1012およびプロセッサ1014等の回路を含むことができる。「プロセッサ(processor)」という用語は、命令1016を同時に実行し得る(「コア(cores)」と呼ばれることもある)二以上の独立したプロセッサ1012、1014を備えることのできるマルチコアプロセッサ1012、1014を含むことが意図されている。図10は複数のプロセッサ1010を示しているが、マシン1000はシングルコアの単一のプロセッサ1012、1014、マルチコアの単一のプロセッサ1012、1014(例えば、マルチコアプロセッサ1012、1014)、シングルコアの複数のプロセッサ1012、1014、マルチコアの複数のプロセッサ1012、1014、またはそれらの任意の組合せを含んでもよく、プロセッサのうち任意の一または二以上は処理または仮想化されるオーディオ信号をレンダリングするために高さフィルタをオーディオ信号に適用するように構成された回路を含むことができる。
メモリ/ストレージ1030は、いずれもバス1002を介してプロセッサ1010にアクセス可能である、メインメモリ回路または他のメモリストレージ回路等のメモリ1032、およびストレージユニット1036を含むことができる。ストレージユニット1036およびメモリ1032は本明細書に記載の方法論または機能のうち任意の一または二以上を実施する命令1016を格納する。命令1016は、マシン1000によりそれらが実行される間、メモリ1032内部、ストレージユニット1036内部、プロセッサ1010のうちの少なくとも一つの内部(例えば、プロセッサ1012、1014のキャッシュメモリ内部)、またはそれらの任意の好適な組合せに完全に、または部分的に常駐し得る。したがって、メモリ1032、ストレージユニット1036、およびプロセッサ1010のメモリはマシン読取り可能な媒体の一例である。
本明細書で使用されるように、「マシン読取り可能な媒体(machine-readable medium)」は命令1016およびデータを一時的に、または永久に格納することのできるデバイスを意味し、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、バッファメモリ、フラッシュメモリ、光学媒体、磁気媒体キャッシュメモリ、他のタイプのストレージ(例えば、消去可能なプログラム可能な読取り専用メモリ(EEPROM))、および/またはそれらの任意の好適な組合せを含み得るが、これらに限定されない。「マシン読取り可能な媒体(machine-readable medium)」という用語は、命令1016を格納することのできる単一の媒体または複数の媒体(例えば、集中型または分散型のデータベース、または関連するキャッシュおよびサーバ)を含むものとされるべきである。「マシン読取り可能な媒体(machine-readable medium)」という用語は、マシン1000の一または二以上のプロセッサ(例えば、プロセッサ1010)により実行される場合に命令1016が本明細書に記載の方法論のうち任意の一または二以上をマシン1000に実行させるように、マシン(例えば、マシン1000)による実行のための命令(例えば、命令1016)を格納することのできる任意の媒体、または複数の媒体の組合せも含むものとされるべきである。したがって、「マシン読取り可能な媒体(machine-readable medium)」は、単一のストレージ装置またはデバイスだけでなく複数のストレージ装置またはデバイスを含む「クラウドベースの(cloud-based)」ストレージシステムまたはストレージネットワークを指す。「マシン読取り可能な媒体(machine-readable medium)」という用語は、信号そのものを除外する。
I/O構成要素1050は入力の受信、出力の供給、出力の生成、情報の伝送、情報の交換、測定値のキャプチャ等をするための様々な構成要素を含み得る。特定のマシン1000に含まれる固有のI/O構成要素1050はマシン1000のタイプ次第である。例えば、携帯電話等のポータブルマシンはタッチ入力デバイスまたは他のこのような入力メカニズムを含むものが多く、一方ヘッドレスサーバマシンはこのようなタッチ入力デバイスを含まないものが多い。I/O構成要素1050は図10には示されていない多くの他の構成要素を含み得ることを理解されたい。I/O構成要素1050は議論に従い単に簡単にするために機能性によりグループ分けされるが、このグループ分けは決して制限するものではない。様々な例示の実施形態では、I/O構成要素1050は出力構成要素1052および入力構成要素1054を含み得る。出力構成要素1052は視覚構成要素(例えば、プラズマディスプレイパネル(PDP)、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクタ、またはカソードレイチューブ(CRT)等のディスプレイ)、音響構成要素(例えば、スピーカー)、触覚構成要素(例えば、振動モータ、抵抗メカニズム)、他の信号発生器等を含むことができる。入力構成要素1054は英数字入力構成要素(例えば、キーボード、英数字入力を受信するように構成されたタッチスクリーン、光学キーボード、または他の英数字入力構成要素)、ポイントベースの入力構成要素(例えば、マウス、タッチパッド、トラックボール、ジョイスティック、動作センサ、または他のポインティング装置)、触覚入力構成要素(例えば、物理的なボタン、タッチまたはタッチジェスチャの場所および/または力を提供するタッチスクリーン、または他の触覚入力構成要素)、オーディオ入力構成要素(例えば、マイクロフォン)等を含むことができる。
さらなる例示の実施形態では、I/O構成要素1050は他の幅広い構成要素の中で、生体認証構成要素1056、動作構成要素1058、環境構成要素1060、または位置構成要素1062を含むことができる。例えば、生体認証構成要素1056は、表情(例えば、手の表情、顔の表情、声の表情、体のジェスチャ、または視線追跡)の検出、生体信号(例えば、血圧、心拍数、体温、発汗、または脳波)の測定、人物の識別(例えば、音声識別、網膜識別、顔識別、指紋識別、または脳波に基づく識別)等のための構成要素を含むことができ、これらは例えば、リスナーに固有の、または環境に固有のインパルス応答またはHRTFの包含、使用、または選択に影響を及ぼす可能性がある。一例では、生体認証構成要素1056は環境内のリスナー110の検出された場所に関する情報を検知または供給するように構成された一または二以上のセンサを含むことができる。動作構成要素1058は加速センサ構成要素(例えば、加速度計)、重力センサ構成要素、回転センサ構成要素(例えば、ジャイロスコープ)、等を含むことができ、これらはリスナー110の場所の変化を追跡するために使用することができる。環境構成要素1060は、例えば、照度センサ構成要素(例えば、フォトメータ)、温度センサ構成要素(例えば、周囲温度を検出する一または二以上のサーモメータ)、湿度センサ構成要素、圧力センサ構成要素(例えば、バロメータ)、音響センサ構成要素(例えば、一または二以上の周波数または周波数帯の残響減衰時間を検出する一または二以上のマイクロフォン)、近接センサまたは室内容積センシング構成要素(例えば、付近のオブジェクトを検出する赤外線センサ)、ガスセンサ(例えば、安全のためまたは大気中の汚染物質を測定するための危険なガスの濃度を検出するためのガス検出センサ)、または周辺の物理的な環境に対応する表示、測定値、または信号を供給し得る他の構成要素を含むことができる。位置構成要素1062は、場所センサ構成要素(例えば、全地球測位システム(GPS)受信機構成要素)、高度センサ構成要素(例えば、高度が生じ得る気圧を検出する高度計またはバロメータ)、方位センサ構成要素(例えば、磁力計)等を含むことができる。
通信は幅広い様々な技術を使用して実施することができる。I/O構成要素1050は合1082または結合1072をそれぞれ介してネットワーク1080またはデバイス1070にマシン1000を動作可能に結合する通信構成要素1064を含むことができる。例えば、通信構成要素1064はネットワーク1080とインタフェースをとるためのネットワークインタフェース構成要素または他の好適なデバイスを含むことができる。さらなる例では、通信構成要素1064は有線通信構成要素、無線通信構成要素、セルラー通信構成要素、近距離無線通信(NFC)構成要素、ブルートゥース(登録商標)構成要素(例えば、ブルートゥース(登録商標)ローエナジー)、Wi-Fi(登録商標)構成要素、および他のモダリティを介して通信を提供するための他の通信構成要素を含むことができる。デバイス1070は別のマシンまたは幅広い様々な周辺デバイス(例えば、USBを介して結合された周辺デバイス)のいずれかとすることができる。
その上、通信構成要素1064は識別子を検出するかまたは識別子を検出するために動作可能な構成要素を含むことができる。例えば、通信構成要素1064は無線周波数識別(RFID)タグ読取り構成要素、NFCスマートタグ検出構成要素、光学読取り構成要素(例えば、ユニバーサル製品コード(UPC)バーコード等の一次元バーコード、クイックレスポンス(QR)コード(登録商標)等の多次元バーコード、アステカコード、データマトリクス、データグリフ、マキシコード、PDF49、ウルトラコード、UCC RSS-2Dバーコード、および他の光学コードを検出するための光学センサ)、または音響検出構成要素(例えば、タグ付けされたオーディオ信号を識別するためのマイクロフォン)を含むことができる。加えて、様々な情報、例えばインターネットプロトコル(IP)ジオロケーションによる場所、Wi-Fi(登録商標)信号三角測量による場所、特定の場所を表示し得るNFCビーコン信号の検出による場所等を通信構成要素1064を介して取得することができる。このような識別子は基準または局所的なインパルス応答、基準または局所的な環境の特徴、またはリスナー固有の特徴のうち一または二以上に関する情報を検出するために使用することができる。
様々な例示の実施形態において、ネットワーク1080のうち一または二以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク(VPN)、ローカルエリアネットワーク(LAN)、無線LAN(WLAN)、広域ネットワーク(WAN)、無線WAN(WWAN)、メトロポリタンエリアネットワーク(MAN)、インターネット、インターネットの一部、公衆交換電話網(PSTN)の一部、基本電話サービス(POTS)ネットワーク、携帯電話ネットワーク、無線ネットワーク、Wi-Fi(登録商標)ネットワーク、別のタイプのネットワーク、または二以上のこのようなネットワークの組合せとすることができる。例えば、ネットワーク1080またはネットワーク1080の一部は無線またはセルラーネットワークを含むことができ、結合1082は符号分割多元接続(CDMA)接続、移動体通信用グローバルシステム(GSM(登録商標))接続、または他のタイプのセルラーまたは無線結合であり得る。この例では、結合1082はシングルキャリア無線伝送技術(1xRTT)、エボリューションデータオプティマイズ(EVDO)技術、一般パケット無線サービス(GPRS)技術、GSM(登録商標)エボリューション用エンハンスデータレート(EDGE)技術、3Gを含む第三世代パートナーシッププロジェクト(3GPP)、第四世代無線(4G)ネットワーク、ユニバーサルモバイルテレコミュニケーションシステム(UMTS)、高速パケットアクセス(HSPA)、マイクロ波アクセスの世界的相互運用(WiMAX)、ロングタームエボリューション(LTE)標準、様々な標準設定機関により定義される他のもの、他のロングレンジプロトコル、または他のデータ伝送技術等の、様々なタイプのデータ伝送技術のいずれかを実施することができる。一例では、このような無線通信プロトコルまたはネットワークはリスナーの使用中に中央に位置するプロセッサまたはマシンからヘッドフォンデバイスにヘッドフォンオーディオ信号を伝送するように構成することができる。
命令1016はネットワークインタフェースデバイス(例えば、通信構成要素1064に含まれるネットワークインタフェース構成要素)を介した伝送媒体を使用して、またいくつかの周知の伝送プロトコル(例えば、ハイパーテキストトランスファープロトコル(HTTP))のいずれか一つを使用して、ネットワーク1080を介して伝送または受信することができる。同様に、命令1016は結合1072(例えば、ピアツーピア結合)を介した伝送媒体を使用して、デバイス1070に伝送するかまたは受信することができる。「伝送媒体(transmission medium)」という用語は、マシン1000による実行のために命令1016を格納、エンコード、または搬送することのできる任意の無形の媒体を含み、またデジタルもしくはアナログ通信信号またはこのようなソフトウェアの通信を容易にするための他の無形の媒体を含むものとされなければならない。
本明細書で論じられる概念および例の多くのバリエーションが関連技術における当業者には明らかになるであろう。例えば、本明細書に記載の方法、プロセス、またはアルゴリズムのいずれかの所定の行為、事象、または機能は、(全ての説明された行為または事象が様々な方法、プロセス、またはアルゴリズムを実行するために必要というわけではないため)実施形態に応じて異なる順序で実行することができ、加え、併合し、または省略することができる。その上、いくつかの実施形態では、行為または事象は、順次というよりはむしろ、例えばマルチスレッド処理、インタラプト処理、または複数のプロセッサまたはプロセッサコアを通して、または他の並列アーキテクチャで、同時に実行することができる。加えて、異なるタスクまたはプロセスは同時に機能することのできる異なるマシンおよびコンピューティングシステムにより実行することができる。
本明細書で開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、方法、およびアルゴリズムプロセスおよび順序は電気的なハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実施することができる。ハードウェアとソフトウェアとのこの互換性を例示するために、いくつかの例において、様々な構成要素、ブロック、モジュール、およびプロセスアクションは一般にそれらの機能性の観点から説明される。このような機能性がハードウェアまたはソフトウェアのどちらとして実装されるかはシステム全体に課される特定の用途または設計上の制約次第である。説明される機能性はしたがって特定の用途のために様々な方法で実装することができるが、このような実装の決定は本書面の範囲からの逸脱を生じさせるものとして解釈されるべきではない。本明細書に記載の没入型空間オーディオ処理および再生システムおよび方法および技術は図10の議論において上記で説明されたような、様々なタイプの汎用または特殊目的のコンピューティングシステム環境または構成の内部において操作可能である。
本発明の様々な態様は独立に、または同時に使用することができる。例えば、態様1は(行為を実行するための装置、システム、デバイス、方法、手段、またはデバイスにより実行される場合にデバイスに行為を実行させることのできる命令を含むデバイス読取り可能な媒体等の)主題を含むかまたは使用することができ、これは仮想化されたオーディオ情報を供給するための方法を含むかまたは使用することができ、この方法は少なくともN個の個別のオーディオ信号を備えるオーディオプログラム情報を受信することおよび第一の仮想化プロセッサ回路を使用して受信したオーディオプログラム情報の少なくとも一部を使用した中間の仮想化されたオーディオ情報を生成することを含む。態様1では、生成することには第一の仮想化フィルタ出力を供給するために第一の仮想化フィルタを他のものとの間でN個のオーディオ信号のうちM個に適用すること、および第一の仮想化フィルタ出力を使用して中間の仮想化されたオーディオ情報を供給することを含むことができ、中間の仮想化されたオーディオ情報はJ個の個別のオーディオ信号を備える。態様1は中間の仮想化されたオーディオ情報を第二の仮想化プロセッサ回路に伝送することをさらに含むことができ、第二の仮想化プロセッサ回路は異なる第二の仮想化フィルタをJ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成するように構成される。一例では、N、M、およびJは整数である。
態様2はさらに仮想化されたオーディオ情報に基づいてK個の出力信号をレンダリングすることを任意選択的に含むために態様1の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、K個の出力信号はヘッドフォンを使用した再生のために構成される。
態様3はさらに仮想化されたオーディオ情報に基づいてK個の出力信号をレンダリングすることを任意選択的に含むために態様1の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、K個の出力信号は一対のスピーカーを使用した再生のために構成される。
態様4は少なくとも一つの高い位置のスピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも一つの高さオーディオ信号を備えるオーディオプログラム情報を任意選択的に含むために態様1から3の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化フィルタを適用することは高さ仮想化フィルタを少なくとも一つの高さオーディオ信号に適用することを含む。
態様5は高さ仮想化フィルタ以外の仮想化フィルタをJ個のオーディオ信号のうち一または二以上に適用することを含む、第二の仮想化プロセッサ回路を使用してさらに仮想化されたオーディオ情報を生成することを任意選択的に含むために態様4の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様6は複数の各スピーカーを使用した再生のためのオーディオ情報を含むサラウンド音響オーディオ信号を備えるオーディオプログラム情報を任意選択的に含むために態様1から5の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化フィルタを適用することは水平面仮想化フィルタをサラウンド音響信号のうち一または二以上に適用することを含み、異なる第二の仮想化フィルタをJ個のオーディオ信号のうち一または二以上に適用することは水平面仮想化フィルタ以外を適用することを含む。
態様7は正面左および正面右の各スピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも左および右正面のオーディオ信号を備えるオーディオプログラム情報を任意選択的に含むために態様1から5の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化フィルタを適用することは水平面仮想化フィルタを少なくとも左および右正面のオーディオ信号に適用することを含む。
態様8はNよりも少ないMを任意選択的に含むために態様1から7の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様9は第一の仮想化フィルタ出力とM個のオーディオ信号以外のN個のオーディオ信号のうち一または二以上とを組合せることを含む、第一の仮想化フィルタ出力を使用した中間の仮想化されたオーディオ情報を供給することを任意選択的に含むために態様8の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様10はNに等しいMを任意選択的に含むために態様1から9の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様11はN未満のJを任意選択的に含むために態様1から10の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様12は第二の仮想化されたプロセッサ回路において中間の仮想化されたオーディオ情報を受信すること、および第二の仮想化プロセッサ回路を使用して異なる第二の仮想化フィルタをJ個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成することを任意選択的に含むために態様1から11の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様13は少なくともK個のスピーカーを使用した再生のためにK個の出力信号をレンダリングすることを含むさらに仮想化されたオーディオ情報を生成することを任意選択的に含むために態様12の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、KはJ未満の整数である。
態様14はヘッドフォンまたはスピーカーを使用した再生のために構成された一対の出力信号をレンダリングすることを含むK個の出力信号をレンダリングすることを任意選択的に含むために態様13の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様15は第一の空間平面に配置された少なくともK個のスピーカーを任意選択的に含むために態様13の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、さらに仮想化されたオーディオ情報を生成することはK個のスピーカーを使用して再生される場合に第一の空間平面以外にオーディブル情報を含むと
リスナーが知覚するように構成された出力信号をレンダリングすることを含む。
態様16はさらに仮想化されたオーディオ情報を生成することが、少なくともK個のスピーカーを使用してさらに仮想化されたオーディオ情報が再生される場合にはさらに仮想化されたオーディオ情報がスピーカーの平面に対して高いかまたは低い位置の音源から生じるとリスナーが知覚するように情報を生成することを任意選択的に含むために態様13の主題を含むかもしくは使用することができ、またはそれを任意選択的に組合わせることができる。
態様17はN個よりも少ないチャネルを備えるデータバスを使用することを含む中間の仮想化されたオーディオ情報を伝送することを任意選択的に含むために態様1から16の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様18は第一の仮想化フィルタを適用する前にM個のオーディオ信号のうち少なくとも二つを非相関化することを含む中間の仮想化されたオーディオ情報を生成することを任意選択的に含むために態様1から17の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様19は(行為を実行するための装置、方法、手段、またはマシンにより実行される場合にマシンに行為を実行させる命令を含むマシン読取り可能な媒体等の)主題を含むかまたは使用するために態様1から18の一つまたは任意の組合せの主題を含むことができ、またはそれと任意選択的に組み合わせることができ、これらは複数のオーディオ入力信号を受信するための手段、中間の仮想化された信号を生成するために第一の仮想化処理を複数のオーディオ入力信号のうち一または二以上に適用するための手段、部分的に仮想化された信号を供給するために中間の仮想化された信号と複数のオーディオ入力信号のうち他の少なくとも一つとを組み合わせるための手段、および仮想化されたオーディオ出力信号を生成するために第二の仮想化処理を部分的に仮想化されたオーディオ信号に適用するための手段を備えるシステムを含むかまたは使用することができる。
態様20は部分的に仮想化された信号を第一のデバイスから第二の仮想化処理を適用するための手段を備えるリモートの第二のデバイスに伝送するための手段を任意選択的に含むために態様19の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、複数のオーディオ入力信号は少なくともN個の個別の信号を備え、部分的に仮想化された信号を伝送するための手段はN個よりも少ない信号を伝送するための手段を備える。
態様21は水平面仮想化および垂直面仮想化のうち一つを適用するための手段を備える第一の仮想化処理を適用するための手段を任意選択的に含むために態様19または20の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第二の仮想化処理を適用するための手段は水平面仮想化および垂直面仮想化のうち他の一つを適用するための手段を備える。
態様22は第一の頭部伝達関数を複数のオーディオ入力信号のうち少なくとも一つに適用するための手段を備える第一の仮想化処理を適用するための手段を任意選択的に含むために態様19から21の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様23は複数の非相関化された信号を供給するために複数のオーディオ入力信号のうち少なくとも二つを非相関化するための手段を任意選択的に含むために態様19から22の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化処理を適用するための手段は第一の仮想化処理を非相関化された信号のうち最初の一つに適用するための手段を含む。
態様24は複数のオーディオ入力信号を表す仮想化されたオーディオ出力信号のステレオペアを生成するための手段をさらに含む第二の仮想化処理を適用するための手段を任意選択的に含むために態様19から23の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様25はN個の個別のオーディオ入力信号を受信するための手段を含む複数のオーディオ入力信号を受信するための手段を任意選択的に含むために態様19から24の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、中間の仮想化された信号と複数のオーディオ入力信号のうち他の少なくとも一つとを組み合わせるための手段は複数の部分的に仮想化された信号を供給するための手段を含み、部分的に仮想化された信号の数はN個よりも少ない。
態様26は(行為を実行するための装置、方法、手段、またはマシンにより実行される場合にマシンに行為を実行させることのできる命令を含むマシン読取り可能な媒体等の)主題を含むかまたは使用するために態様1から25の一つまたは任意の組合せの主題を含むことができ、またはそれと任意選択的に組み合わせることができ、これらは少なくとも一対のスピーカーまたはヘッドフォンを使用して3次元音場で仮想化されたオーディオ情報を供給するように構成されたオーディオ信号処理システムを含むかまたは使用することができ、ここでリスナーはリスナーの第一の解剖学的平面以外で仮想化されたオーディオ情報がオーディブル情報を含むと知覚し、このシステムは少なくともN個の個別のオーディオ信号を含むオーディオプログラム情報を受信するように構成されたオーディオ入力部、第一の仮想化フィルタをN個のオーディオ信号のうちM個に適用することにより中間の仮想化されたオーディオ情報を生成するように構成された第一の仮想化プロセッサ回路、および異なる第二の仮想化フィルタをN個のオーディオ信号のうちK個に適用することによりさらに仮想化されたオーディオ情報を生成するように構成された第二の仮想化プロセッサ回路を備え、K、M、およびNは整数である。
態様27はN個よりも少ないオーディオ信号を含む部分的に仮想化されたオーディオプログラム情報を供給するために中間の仮想化されたオーディオ情報とM個のオーディオ信号以外のN個のオーディオ信号のうち少なくとも一つとを組み合わせるように構成されたオーディオ信号組合せ回路を任意選択的に含むために態様26の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第二の仮想化プロセッサ回路は部分的に仮想化されたオーディオプログラム情報を使用してさらに仮想化されたオーディオ情報を生成するように構成される。
態様28はN個よりも少ないチャネルを備えるデータバス回路を任意選択的に含むために態様26または27の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、データバス回路は第一および第二の仮想化プロセッサ回路と結合し、データバス回路は部分的に仮想化されたオーディオプログラム情報を第一の仮想化プロセッサ回路から第二の仮想化プロセッサ回路に伝送するように構成される。
態様29はサラウンド音響源信号を受信し、受信したサラウンド音響源信号に基づいてオーディオプログラム情報をオーディオ入力部に供給するように構成されたオーディオデコーダ回路を任意選択的に含むために態様26から28の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様30は少なくとも一つの高い位置のスピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも一つの高さオーディオ信号を備える受信したオーディオプログラム情報を任意選択的に含むために態様26から29の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができ、第一の仮想化プロセッサ回路は高さ仮想化フィルタとして第一の仮想化フィルタを少なくとも一つの高さオーディオ信号に適用するように構成される。
態様31は高さ仮想化フィルタ以外の第二の仮想化フィルタを任意選択的に含むために態様30の主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様32は対応する一または二以上の非相関化された信号を第一および/または第二の仮想化プロセッサ回路に供給するために非相関化フィルタをN個の個別のオーディオ信号のうち一または二以上に適用するように構成された非相関化回路を任意選択的に含むために態様26から30の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様33はリスナーに対応する同側および対側の頭部伝達関数情報に基づいて第一の仮想化フィルタを発生させるように構成された頭部伝達関数発生回路を含む第一および/または第二の仮想化プロセッサ回路を任意選択的に含むために態様26から32の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
態様34はヘッドフォンまたはスピーカーを使用した再生のために構成された信号のステレオペアとしてさらに仮想化されたオーディオ情報を生成するように構成された第二の仮想化プロセッサ回路を任意選択的に含むために態様26から33の一つまたは任意の組合せの主題を含むかもしくは使用することができ、またはそれと任意選択的に組み合わせることができる。
これらの非限定的な態様の各々は独立して用いることができ、または様々な置換えで組み合わせるかもしくは本明細書で提供される他の態様もしくは例のうち一または二以上との組合せとすることができる。
本書面において、「a」または「an」という用語は「少なくとも一つ(at least one)」または「一または二以上(one or more)」の任意の他の例または使用とは無関係に、一または一よりも多くを含むために、特許書面に共通に使用される。本書面において、特に断りのない限り、「または(or)」という用語は非排他的であることを指すため、または「AまたはB(A or B)」が「AであるがBではない(A but not B)」、「BであるがAではない(B but not A)」、ならびに「AおよびB(A and B)」を含むように使用される。本書面において、「含んでいる(including)」および「そこに(in which)」という用語は各用語「備えている(comprising)」および「ここで(wherein)」の平易な英語への言い換え(equivalents)として使用される。
本明細書で使用される条件付き言語、中でも「できる(can)」、「してもよい(might)」、「し得る(may)」、「例えば、(e.g.,)」等は、特に明記しない限り、または使用される文脈において他に理解されない限り、一般に所定の実施形態には所定の特徴、要素および/または状態を含まれる一方で他の実施形態には含まれないことを伝えることを意図している。したがって、このような条件付き言語は一般に、特徴、要素および/または状態が一または二以上の実施形態に何らかの形で必要であること、または、一または二以上の実施形態が著者の入力またはプロンプトの有無によらずこれらの特徴、要素および/または状態が任意の特定の実施形態で含まれるかまたは実行されるかを決定するための論理を必ず含むことを意味することを意図していない。
上記の詳細な説明で様々な実施形態に適用される新規の特徴を示し、説明し、指摘したが、例示されたデバイスまたはアルゴリズムの形態および詳細における様々な省略、代替、および変更が本開示から逸脱することなくなされ得ることを理解されるであろう。認識されるように、本明細書に記載の本発明の所定の実施形態は、いくつかの特徴を他の特徴とは別に使用または実行することができるため、本明細書に挙げられる特徴および利点の全てを提供しない形態で実施することができる。
その上、主題は構造上の特徴または方法または行為に固有の言語で説明されているが、添付の特許請求の範囲で定義される主題は必ずしも上記の固有の特徴または行為に限定されないことを理解されたい。むしろ、上記の固有の特徴および行為は特許請求の範囲を実施する例示の形態として開示されている。

Claims (34)

  1. 仮想化されたオーディオ情報を供給するための方法であって、
    少なくともN個の個別のオーディオ信号を備えるサラウンド音響オーディオプログラム情報を受信することであって前記N個の個別のオーディオ信号がリスナーに対して異なるサラウンド音響スピーカーの場所にあるN個の異なるスピーカーの各々を使用した再生のために構成される、受信することと、
    第一の仮想化プロセッサ回路を使用して、前記受信したサラウンド音響オーディオプログラム情報の一部を使用した中間の仮想化されたオーディオ情報を生成することであって、
    第一の仮想化フィルタ出力を供給するために第一の仮想化フィルタを前記N個のオーディオ信号のうちM個に適用することであって前記第一の仮想化フィルタが第一の伝達関数の特徴に部分的に基づく、適用することと、
    前記第一の仮想化フィルタ出力を使用して前記中間の仮想化されたオーディオ情報を供給することであって、前記中間の仮想化されたオーディオ情報がJ個の個別のオーディオ信号を備える、供給することと、
    を含む、生成することと、
    前記中間の仮想化されたオーディオ情報を第二の仮想化プロセッサ回路に伝送することであって、前記第二の仮想化プロセッサ回路が第二の仮想化フィルタを前記J個のオーディオ信号のうち一または二以上に適用することによりさらに仮想化されたオーディオ情報を生成するように構成される、伝送することであって前記第二の仮想化フィルタが同じ第一の伝達関数の特徴に部分的に基づき、前記第一および第二の仮想化フィルタが異なるフィルタである、伝送することと、
    を含み、
    N、M、およびJが整数であ
    前記第一の伝達関数の特徴が仮想音源のための同側の頭部伝達関数と対側の頭部伝達関数との組合せを含む、
    方法。
  2. 前記さらに仮想化されたオーディオ情報に基づいてK個の出力信号をレンダリングすることをさらに含み、前記K個の出力信号がヘッドフォンを使用した再生のために構成される、請求項1に記載の方法。
  3. 前記さらに仮想化されたオーディオ情報に基づいてK個の出力信号をレンダリングすることをさらに含み、前記K個の出力信号が一対のスピーカーを使用した再生のために構成される、請求項1に記載の方法。
  4. 前記サラウンド音響オーディオプログラム情報が少なくとも一つの高い位置のスピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも一つの高さオーディオ信号を備え、
    前記第一の仮想化フィルタを前記適用することが高さ仮想化フィルタを前記少なくとも一つの高さオーディオ信号に適用することを含む、
    請求項1に記載の方法。
  5. 高さ仮想化フィルタ以外の仮想化フィルタを前記J個のオーディオ信号のうち一または二以上に適用することを含む、前記第二の仮想化プロセッサ回路を使用して前記さらに仮想化されたオーディオ情報を生成することをさらに含む、請求項4に記載の方法。
  6. 前記サラウンド音響オーディオプログラム情報が複数の各スピーカーを使用した再生のためのオーディオ情報を含むサラウンド音響オーディオ信号を備え、
    前記第一の仮想化フィルタを前記適用することが水平面仮想化フィルタを前記サラウンド音響オーディオプログラムからの前記オーディオ信号のうち一または二以上に適用することを含み、
    前記第二の仮想化フィルタを前記J個のオーディオ信号のうち前記一または二以上に前記適用することが水平面仮想化フィルタ以外を適用することを含む、
    請求項1に記載の方法。
  7. 前記サラウンド音響オーディオプログラム情報が正面左および正面右の各スピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも左および右正面のオーディオ信号を備え、
    前記第一の仮想化フィルタを前記適用することが水平面仮想化フィルタを少なくとも前記左および右正面のオーディオ信号に適用することを含む、
    請求項1に記載の方法。
  8. MがN未満である、請求項1に記載の方法。
  9. 前記第一の仮想化フィルタ出力を使用して前記中間の仮想化されたオーディオ情報を前記供給することが前記第一の仮想化フィルタ出力と前記M個のオーディオ信号以外の前記N個のオーディオ信号のうち一または二以上とを組み合わせることを含む、請求項8に記載の方法。
  10. MがNに等しい、請求項1に記載の方法。
  11. JがN未満である、請求項1に記載の方法。
  12. 前記第二の仮想化プロセッサ回路において、前記中間の仮想化されたオーディオ情報を受信することと、
    前記第二の仮想化プロセッサ回路を使用して、前記第二の仮想化フィルタを前記J個のオーディオ信号のうち前記一または二以上に適用することにより前記さらに仮想化されたオーディオ情報を生成することと、
    をさらに含
    前記さらに仮想化されたオーディオ情報を前記生成することが少なくともK個のスピーカーを使用した再生のためのK個の出力信号をレンダリングすることを含み、KはJ未満の整数である、
    請求項1に記載の方法。
  13. 前記仮想音源が仮想スピーカーを含む、請求項に記載の方法。
  14. K個の出力信号を前記レンダリングすることがヘッドフォンまたはスピーカーを使用した再生のために構成された一対の出力信号をレンダリングすることを含む、請求項12に記載の方法。
  15. 前記少なくともK個のスピーカーが第一の空間平面に配置され、前記さらに仮想化されたオーディオ情報を前記生成することが前記K個のスピーカーを使用して再生される場合に前記第一の空間平面以外にオーディブル情報を含むとリスナーが知覚するように構成された出力信号をレンダリングすることを含む、請求項12に記載の方法。
  16. 前記さらに仮想化されたオーディオ情報を前記生成することが、前記少なくともK個のスピーカーを使用して前記さらに仮想化されたオーディオ情報が再生される場合には前記さらに仮想化されたオーディオ情報が前記スピーカーの平面に対して高いかまたは低い位置の音源から生じるとリスナーが知覚するように前記情報を生成することを含む、請求項12に記載の方法。
  17. 前記中間の仮想化されたオーディオ情報を前記伝送することがN個よりも少ないチャネルを備えるデータバスを使用することを含む、請求項1に記載の方法。
  18. 前記中間の仮想化されたオーディオ情報を前記生成することが前記第一の仮想化フィルタを適用する前に前記M個のオーディオ信号のうち少なくとも二つを非相関化することを含む、請求項1に記載の方法。
  19. システムであって、
    没入型オーディオプログラムフォーマットのオーディオ信号を含むマルチチャネルオーディオ入力を受信するための手段であって前記没入型オーディオプログラムフォーマットの前記オーディオ信号がリスナーに対して異なる場所にある異なるスピーカーの各々を使用した再生を目的とする、受信するための手段と、
    中間の仮想化された信号を生成するために第一の仮想化処理を前記没入型オーディオプログラムフォーマットの前記オーディオ信号のうち一または二以上に適用するための手段と、
    部分的に仮想化された信号を供給するために前記中間の仮想化された信号と前記没入型オーディオプログラムフォーマットの前記オーディオ信号のうち他の少なくとも一つとを組み合わせるための手段と、
    仮想化されたオーディオ出力信号を生成するために第二の仮想化処理を前記部分的に仮想化されたオーディオ信号に適用するための手段であって前記第一および第二の仮想化処理が仮想音源のための同じ伝達関数フィルタ情報の少なくとも一部を含むかまたは使用し、前記伝達関数フィルタ情報が同側の頭部伝達関数と対側の頭部伝達関数との組合せに関する情報を含む、適用するための手段と、
    を備える、システム。
  20. 前記部分的に仮想化された信号を第一のデバイスから前記第二の仮想化処理を適用するための前記手段を備えるリモートの第二のデバイスに伝送するための手段をさらに備え、
    前記没入型オーディオプログラムフォーマットの前記オーディオ信号が少なくともN個の個別の信号を備え、
    前記部分的に仮想化された信号を伝送するための前記手段がN個よりも少ない信号を伝送するための手段を備える、
    請求項19に記載のシステム。
  21. 前記第一の仮想化処理を適用するための前記手段が水平面仮想化および垂直面仮想化のうち一つを適用するための手段を備え、前記第二の仮想化処理を適用するための前記手段が前記水平面仮想化および垂直面仮想化のうち他の一つを適用するための手段を備える、請求項19に記載のシステム。
  22. 前記第一の仮想化処理を適用するための前記手段が第一の頭部伝達関数を前記複数のオーディオ入力信号のうち少なくとも一つに適用するための手段を備える、請求項19に記載のシステム。
  23. 複数の非相関化された信号を供給するために前記オーディオ信号のうち少なくとも二つを非相関化するための手段をさらに備え、前記第一の仮想化処理を適用するための前記手段が前記第一の仮想化処理を前記非相関化された信号のうち最初の一つに適用するための手段を含む、請求項19に記載のシステム。
  24. 前記第二の仮想化処理を適用するための前記手段が前記複数のオーディオ入力信号を表す仮想化されたオーディオ出力信号のステレオペアを生成するための手段をさらに含む、請求項19に記載のシステム。
  25. 没入型オーディオプログラムフォーマットのオーディオ信号を含む前記入力を受信するための前記手段がN個の個別のオーディオ入力信号を受信するための手段を含み、
    前記中間の仮想化された信号と前記没入型オーディオプログラムフォーマットの前記オーディオ信号のうち他の少なくとも一つとを組み合わせるための前記手段が複数の部分的に仮想化された信号を供給するための手段を含み、
    部分的に仮想化された信号の前記数がN個よりも少ない、
    請求項19に記載のシステム。
  26. 少なくとも一対のスピーカーまたはヘッドフォンを使用して3次元音場で仮想化されたオーディオ情報を供給するように構成されたオーディオ信号処理システムであって、リスナーが前記リスナーの第一の解剖学的平面以外で前記仮想化されたオーディオ情報がオーディブル情報を含むと知覚し、
    前記システムが
    少なくともN個の個別のオーディオ信号を含むサラウンド音響オーディオプログラム情報を受信するように構成されたオーディオ入力部であって前記N個の個別のオーディオ信号が前記リスナーに対して異なるサラウンド音響スピーカーの場所にあるN個の異なるスピーカーの各々を使用した再生のために構成される、オーディオ入力部と、
    第一の仮想化フィルタを前記N個のオーディオ信号のうちM個に適用することにより中間の仮想化されたオーディオ情報を生成するように構成された第一の仮想化プロセッサ回路であって前記第一の仮想化フィルタが第一の伝達関数の特徴に部分的に基づく、第一の仮想化プロセッサ回路と、
    異なる第二の仮想化フィルタを前記N個のオーディオ信号のうちK個に適用することによりさらに仮想化されたオーディオ情報を生成するように構成された第二の仮想化プロセッサ回路であって前記第二の仮想化フィルタが同じ第一の伝達関数の特徴に部分的に基づき、前記第二の仮想化フィルタが前記第一の仮想化フィルタとは異なる、第二の仮想化プロセッサ回路と、
    対応する一または二以上の非相関化された信号を前記第一および/または第二の仮想化プロセッサ回路に供給するために非相関化フィルタを前記N個の個別のオーディオ信号のうち一または二以上に適用するように構成された非相関化回路と、
    を備え、
    K、M、およびNが整数であ
    前記第一の伝達関数の特徴が仮想音源のための同側の頭部伝達関数と対側の頭部伝達関数との組合せを含む、
    システム。
  27. N個よりも少ないオーディオ信号を含む部分的に仮想化されたサラウンド音響オーディオプログラム情報を供給するための、前記中間の仮想化されたオーディオ情報と前記M個のオーディオ信号以外の前記N個のオーディオ信号のうち少なくとも一つとを組み合わせるように構成されたオーディオ信号組合せ回路をさらに備え、
    前記第二の仮想化プロセッサ回路が前記部分的に仮想化されたサラウンド音響オーディオプログラム情報を使用して前記さらに仮想化されたオーディオ情報を生成するように構成される、
    請求項26に記載のシステム。
  28. N個よりも少ないチャネルを備えるデータバス回路をさらに備え、前記データバス回路が前記第一および第二の仮想化プロセッサ回路と結合し、前記データバス回路が前記部分的に仮想化されたサラウンド音響オーディオプログラム情報を前記第一の仮想化プロセッサ回路から前記第二の仮想化プロセッサ回路に伝送するように構成される、請求項27に記載のシステム。
  29. サラウンド音響源信号を受信し、前記受信したサラウンド音響源信号に基づいて前記サラウンド音響オーディオプログラム情報を前記オーディオ入力部に供給するように構成されたオーディオデコーダ回路をさらに備える、請求項26に記載のシステム。
  30. 前記受信したサラウンド音響オーディオプログラム情報が少なくとも一つの高い位置のスピーカーを使用した再生のために構成されたオーディオ情報を含む少なくとも一つの高さオーディオ信号を備え、
    前記第一の仮想化プロセッサ回路が高さ仮想化フィルタとして前記第一の仮想化フィルタを前記少なくとも一つの高さオーディオ信号に適用するように構成される、
    請求項26に記載のシステム。
  31. 前記第二の仮想化フィルタが高さ仮想化フィルタ以外である、請求項30に記載のシステム。
  32. 対応する一または二以上の非相関化された信号を前記第一および/または第二の仮想化プロセッサ回路に供給するために非相関化フィルタを前記N個の個別のオーディオ信号のうち一または二以上に適用するように構成された非相関化回路をさらに備える、請求項26に記載のシステム。
  33. 前記第一および/または第二の仮想化プロセッサ回路がリスナーに対応する同側および対側の頭部伝達関数情報に基づいて前記第一の仮想化フィルタを発生させるように構成された頭部伝達関数発生回路を含む、請求項26に記載のシステム。
  34. 前記第二の仮想化プロセッサ回路がヘッドフォンまたはスピーカーを使用した再生のために構成された信号のステレオペアとして前記さらに仮想化されたサラウンド音響オーディオ情報を生成するように構成される、請求項26に記載のシステム。
JP2019548894A 2017-03-08 2017-12-18 分散オーディオ仮想化システム Active JP7206211B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762468677P 2017-03-08 2017-03-08
US62/468,677 2017-03-08
US15/844,096 2017-12-15
US15/844,096 US10979844B2 (en) 2017-03-08 2017-12-15 Distributed audio virtualization systems
PCT/US2017/067026 WO2018164750A1 (en) 2017-03-08 2017-12-18 Distributed audio virtualization systems

Publications (2)

Publication Number Publication Date
JP2020510341A JP2020510341A (ja) 2020-04-02
JP7206211B2 true JP7206211B2 (ja) 2023-01-17

Family

ID=63445671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548894A Active JP7206211B2 (ja) 2017-03-08 2017-12-18 分散オーディオ仮想化システム

Country Status (6)

Country Link
US (1) US10979844B2 (ja)
EP (1) EP3593545A4 (ja)
JP (1) JP7206211B2 (ja)
KR (1) KR102510726B1 (ja)
CN (1) CN110651487B (ja)
WO (1) WO2018164750A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7345373B2 (ja) 2019-11-29 2023-09-15 川崎重工業株式会社 保持装置、制御方法、制御装置及びロボットシステム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019518373A (ja) 2016-05-06 2019-06-27 ディーティーエス・インコーポレイテッドDTS,Inc. 没入型オーディオ再生システム
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US10397724B2 (en) * 2017-03-27 2019-08-27 Samsung Electronics Co., Ltd. Modifying an apparent elevation of a sound source utilizing second-order filter sections
GB2569214B (en) * 2017-10-13 2021-11-24 Dolby Laboratories Licensing Corp Systems and methods for providing an immersive listening experience in a limited area using a rear sound bar
EP3949446A1 (en) * 2019-03-29 2022-02-09 Sony Group Corporation Apparatus, method, sound system
US10735885B1 (en) * 2019-10-11 2020-08-04 Bose Corporation Managing image audio sources in a virtual acoustic environment
US11246001B2 (en) 2020-04-23 2022-02-08 Thx Ltd. Acoustic crosstalk cancellation and virtual speakers techniques
CN112019994B (zh) * 2020-08-12 2022-02-08 武汉理工大学 一种基于虚拟扬声器构建车内扩散声场环境的方法及装置
WO2023122547A1 (en) * 2021-12-20 2023-06-29 Dolby Laboratories Licensing Corporation A method of processing audio for playback of immersive audio

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011018060A (ja) 2004-04-16 2011-01-27 Dolby Internatl Ab マルチチャネルオーディオ信号を表示するための装置と方法
JP2012529228A (ja) 2009-06-01 2012-11-15 ディーティーエス・インコーポレイテッド スピーカ又はヘッドホン再生のための仮想オーディオ処理
JP2014526065A (ja) 2011-08-17 2014-10-02 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 空間オーディオ処理における最適な混合マトリックスとデコリレータの使用法
JP2016503635A (ja) 2012-12-04 2016-02-04 サムスン エレクトロニクス カンパニー リミテッド オーディオ提供装置及びオーディオ提供方法
JP2016513931A (ja) 2013-03-29 2016-05-16 サムスン エレクトロニクス カンパニー リミテッド オーディオ装置及びそのオーディオ提供方法

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817149A (en) 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5943427A (en) 1995-04-21 1999-08-24 Creative Technology Ltd. Method and apparatus for three dimensional audio spatialization
US5809150A (en) 1995-06-28 1998-09-15 Eberbach; Steven J. Surround sound loudspeaker system
US5742689A (en) 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6421446B1 (en) 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
JP3266020B2 (ja) 1996-12-12 2002-03-18 ヤマハ株式会社 音像定位方法及び装置
US6078669A (en) 1997-07-14 2000-06-20 Euphonics, Incorporated Audio spatial localization apparatus and methods
AUPP271598A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
GB2343347B (en) 1998-06-20 2002-12-31 Central Research Lab Ltd A method of synthesising an audio signal
CN1281098C (zh) 1998-10-19 2006-10-18 安桥株式会社 环绕处理系统、环绕处理装置和环绕处理方法
US6175631B1 (en) 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
AU2002244269A1 (en) 2001-03-07 2002-09-24 Harman International Industries, Inc. Sound direction system
US7415123B2 (en) 2001-09-26 2008-08-19 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
US6961439B2 (en) 2001-09-26 2005-11-01 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
CN1886780A (zh) 2003-12-15 2006-12-27 法国电信 声音合成和空间化方法
US8638946B1 (en) 2004-03-16 2014-01-28 Genaudio, Inc. Method and apparatus for creating spatialized sound
GB2414369B (en) 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
JP4629388B2 (ja) 2004-08-27 2011-02-09 ソニー株式会社 音響生成方法、音響生成装置、音響再生方法及び音響再生装置
AU2005282680A1 (en) 2004-09-03 2006-03-16 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
DE102005043641A1 (de) 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US7702116B2 (en) 2005-08-22 2010-04-20 Stone Christopher L Microphone bleed simulator
CN101263739B (zh) 2005-09-13 2012-06-20 Srs实验室有限公司 用于音频处理的系统和方法
ES2339888T3 (es) 2006-02-21 2010-05-26 Koninklijke Philips Electronics N.V. Codificacion y decodificacion de audio.
US7606377B2 (en) 2006-05-12 2009-10-20 Cirrus Logic, Inc. Method and system for surround sound beam-forming using vertically displaced drivers
US9697844B2 (en) 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US8712061B2 (en) 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US8374365B2 (en) 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US20080004729A1 (en) 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
KR101368859B1 (ko) 2006-12-27 2014-02-27 삼성전자주식회사 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
US8270616B2 (en) 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
CN101960866B (zh) 2007-03-01 2013-09-25 杰里·马哈布比 音频空间化及环境模拟
EP3712888B1 (en) 2007-03-30 2024-05-08 Electronics and Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
US20080273708A1 (en) 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
US8126172B2 (en) 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
WO2009111798A2 (en) 2008-03-07 2009-09-11 Sennheiser Electronic Gmbh & Co. Kg Methods and devices for reproducing surround audio signals
US8023660B2 (en) 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
KR101646540B1 (ko) 2008-11-21 2016-08-08 아우로 테크놀로지스 오디오 신호를 변환하는 컨버터 및 방법
UA101542C2 (ru) 2008-12-15 2013-04-10 Долби Лабораторис Лайсензин Корпорейшн Виртуализатор окружающего звука с динамическим сжатием диапазона и способ
US9173032B2 (en) 2009-05-20 2015-10-27 The United States Of America As Represented By The Secretary Of The Air Force Methods of using head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
US20100303245A1 (en) 2009-05-29 2010-12-02 Stmicroelectronics, Inc. Diffusing acoustical crosstalk
US8442244B1 (en) 2009-08-22 2013-05-14 Marshall Long, Jr. Surround sound system
KR101387195B1 (ko) 2009-10-05 2014-04-21 하만인터내셔날인더스트리스인코포레이티드 오디오 신호의 공간 추출 시스템
EP2489206A1 (fr) 2009-10-12 2012-08-22 France Telecom Traitement de donnees sonores encodees dans un domaine de sous-bandes
KR101673232B1 (ko) 2010-03-11 2016-11-07 삼성전자주식회사 수직 방향 가상 채널을 생성하는 장치 및 그 방법
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
CN103329571B (zh) 2011-01-04 2016-08-10 Dts有限责任公司 沉浸式音频呈现系统
BR112013029850B1 (pt) 2011-05-26 2021-02-09 Koninklijke Philips N.V. sistema de áudio e método de operação de um sistema de áudio
JP5640911B2 (ja) 2011-06-30 2014-12-17 ヤマハ株式会社 スピーカアレイ装置
US9179237B2 (en) 2011-12-16 2015-11-03 Bose Corporation Virtual audio system tuning
KR102160248B1 (ko) 2012-01-05 2020-09-25 삼성전자주식회사 다채널 음향 신호의 정위 방법 및 장치
US20150131824A1 (en) 2012-04-02 2015-05-14 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
US20130308800A1 (en) 2012-05-18 2013-11-21 Todd Bacon 3-D Audio Data Manipulation System and Method
EP2862370B1 (en) 2012-06-19 2017-08-30 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
EP2891338B1 (en) 2012-08-31 2017-10-25 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
EP2939443B1 (en) 2012-12-27 2018-02-14 DTS, Inc. System and method for variable decorrelation of audio signals
TWI635753B (zh) 2013-01-07 2018-09-11 美商杜比實驗室特許公司 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器
JP2014168228A (ja) 2013-01-30 2014-09-11 Yamaha Corp 放音装置
CN104010265A (zh) 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
WO2014164361A1 (en) 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
MX2015014065A (es) 2013-04-05 2016-11-25 Thomson Licensing Metodo para manejar campo reverberante para audio inmersivo.
US9905231B2 (en) 2013-04-27 2018-02-27 Intellectual Discovery Co., Ltd. Audio signal processing method
EP2830335A3 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
WO2015147533A2 (ko) * 2014-03-24 2015-10-01 삼성전자 주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
US10149086B2 (en) 2014-03-28 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
EP2930957B1 (en) * 2014-04-07 2021-02-17 Harman Becker Automotive Systems GmbH Sound wave field generation
KR102302672B1 (ko) * 2014-04-11 2021-09-15 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN105376691B (zh) 2014-08-29 2019-10-08 杜比实验室特许公司 感知方向的环绕声播放
CN105992119A (zh) * 2015-02-12 2016-10-05 杜比实验室特许公司 用于耳机虚拟化的混响生成
EP4447494A2 (en) 2015-02-12 2024-10-16 Dolby Laboratories Licensing Corporation Headphone virtualization
CN108370485B (zh) 2015-12-07 2020-08-25 华为技术有限公司 音频信号处理装置和方法
JP2019518373A (ja) 2016-05-06 2019-06-27 ディーティーエス・インコーポレイテッドDTS,Inc. 没入型オーディオ再生システム
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011018060A (ja) 2004-04-16 2011-01-27 Dolby Internatl Ab マルチチャネルオーディオ信号を表示するための装置と方法
JP2012529228A (ja) 2009-06-01 2012-11-15 ディーティーエス・インコーポレイテッド スピーカ又はヘッドホン再生のための仮想オーディオ処理
JP2014526065A (ja) 2011-08-17 2014-10-02 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 空間オーディオ処理における最適な混合マトリックスとデコリレータの使用法
JP2016503635A (ja) 2012-12-04 2016-02-04 サムスン エレクトロニクス カンパニー リミテッド オーディオ提供装置及びオーディオ提供方法
JP2016513931A (ja) 2013-03-29 2016-05-16 サムスン エレクトロニクス カンパニー リミテッド オーディオ装置及びそのオーディオ提供方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7345373B2 (ja) 2019-11-29 2023-09-15 川崎重工業株式会社 保持装置、制御方法、制御装置及びロボットシステム

Also Published As

Publication number Publication date
WO2018164750A1 (en) 2018-09-13
US20180262858A1 (en) 2018-09-13
KR102510726B1 (ko) 2023-03-15
EP3593545A1 (en) 2020-01-15
CN110651487A (zh) 2020-01-03
CN110651487B (zh) 2022-03-22
JP2020510341A (ja) 2020-04-02
EP3593545A4 (en) 2020-12-09
KR20190134655A (ko) 2019-12-04
US10979844B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
JP7206211B2 (ja) 分散オーディオ仮想化システム
US11304020B2 (en) Immersive audio reproduction systems
CN107980225B (zh) 使用驱动信号驱动扬声器阵列的装置和方法
US20190349705A9 (en) Graphical user interface to adapt virtualizer sweet spot
JP2020532914A (ja) 仮想オーディオのスイートスポット適応法
WO2022021898A1 (zh) 音频处理方法、装置、系统以及存储介质
CN108293165A (zh) 增强音场的装置和方法
US20170195817A1 (en) Simultaneous Binaural Presentation of Multiple Audio Streams
CN107017000B (zh) 用于编码和解码音频信号的装置、方法和计算机程序
CN114008707A (zh) 适配音频流以进行渲染
KR102656969B1 (ko) 불일치 오디오 비주얼 캡쳐 시스템
CN111492342A (zh) 音频场景处理
US11937069B2 (en) Audio system, audio reproduction apparatus, server apparatus, audio reproduction method, and audio reproduction program
JP6364130B2 (ja) レコーディング方法、装置、プログラム及び記録媒体
EP3977447A1 (en) Omni-directional encoding and decoding for ambisonics
KR20210133924A (ko) 사운드 생성 방법 및 이를 수행하는 장치들

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220502

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230104

R150 Certificate of patent or registration of utility model

Ref document number: 7206211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150