JP7389081B2 - 三次元拡張オーディオを提供するシステム及び方法 - Google Patents

三次元拡張オーディオを提供するシステム及び方法 Download PDF

Info

Publication number
JP7389081B2
JP7389081B2 JP2021078281A JP2021078281A JP7389081B2 JP 7389081 B2 JP7389081 B2 JP 7389081B2 JP 2021078281 A JP2021078281 A JP 2021078281A JP 2021078281 A JP2021078281 A JP 2021078281A JP 7389081 B2 JP7389081 B2 JP 7389081B2
Authority
JP
Japan
Prior art keywords
audio
present disclosure
input
spatial data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021078281A
Other languages
English (en)
Other versions
JP2021131882A (ja
Inventor
ストラブ,タイナー,ブレンツ
Original Assignee
ストラブワークス エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ストラブワークス エルエルシー filed Critical ストラブワークス エルエルシー
Publication of JP2021131882A publication Critical patent/JP2021131882A/ja
Application granted granted Critical
Publication of JP7389081B2 publication Critical patent/JP7389081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334Foot operated pointing devices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

関連出願の相互参照
本願は、2012年12月20日に出願された「Systems, Methods, and Apparatus for Assigning Three-Dimensional Spatial Data to Sounds and Audio Files」という名称の米国特許出願第61/740,035号の利益を主張するとともに、2013年3月15日に出願された「Systems and Methods for Providing Three Dimensional Enhanced Audio」という名称の米国特許出願第61/801,278号の利益を更に主張するものであり、これら両方の内容を参照により本明細書に援用する。
開示の分野
本開示は、一般的には音響オーディオ処理に関し、より詳細には、三次元オーディオデータ及び関連データを記録するシステム、方法、及び装置に関する。
背景
「マルチチャネルオーディオ」又は「サラウンド音響」という用語は一般に、聴き手の周囲の複数の方向から発せられるように聞こえる音響を生成することができるシステムを指す。Microsoft(登録商標)X-Box(登録商標)、PlayStation(登録商標)3、及び様々なNintendo(登録商標)型システム等のコンピュータゲーム及びゲームコンソールの近年の普及に伴い、ゲーム設計者によっては、ゲーム内のプレーヤの「完全な没入感」を達成したいことがある。Dolby(登録商標)Digital、DTS(登録商標)、及びSony(登録商標)Dynamic Digital Sound(SDDS)を含む従来の市販されているシステム及び技法を使用して、水平面(方位角)において音響を再現することができるが、そのような従来のシステムは、頭上又は足元から来る音響経験を再生成するために、仰角での音響効果を適宜再現することができないことがある。
特定の従来のサラウンド音響システムは、「フラフープ」手法を利用して、音響効果を提供する。しかし、この従来の手法では、人間の真の音響知覚を反映することができず、また、正確な頭上音響配置も可能ではない。別の従来のサラウンド音響システムは、シアターリスニング環境で最高で64個のスピーカを利用する。しかし、この従来のシステムは、ホームシアターリスニング環境等の特定のユーザ又は聴き手にとっては費用効率的ではないことがある。
開示の概要
本開示の実施形態は、上述したニーズの幾つか又は全てに対処することができる。本開示の実施形態によれば、三次元オーディオデータ及び関連データを記録するシステム、方法、及び装置が開示される。
一実施形態では、システムを提供することができる。本システムは、少なくとも1つのメモリと通信する少なくとも1つのプロセッサを含むことができ、少なくとも1つのプロセッサは、コンピュータ実行可能命令を実行するように動作可能である。本システムは、予め定義されるリスニング環境での音響空間データに対応するユーザ入力を受け取り、ユーザ入力を少なくとも1つのプロセッサに送信するように動作可能な入力装置を含むこともできる。コンピュータ実行可能命令は、ユーザ入力を受け取り、ユーザ入力を音響空間データに変換し、音響空間データに時間コードを関連付け、音響空間データ、オーディオ信号、及び時間コードを記憶するように使用可能であることができる。
本実施形態の少なくとも1つの態様では、コンピュータ実行可能命令は、音響空間データ、オーディオ信号、及び時間コードを、記憶のために、3D-EAオーディオ出力ファイルにフォーマットするように更に使用可能であることができる。
本実施形態の少なくとも1つの態様では、入力装置は、以下:フットペダル、ジョイスティック装置、手制御装置、光センサ、ジェスチャ制御装置、又は音声入力装置のうちの少なくとも1つを含むことができる。
本実施形態の少なくとも1つの態様では、ユーザ入力は、X軸座標データ、Y軸座標データ、及びZ軸座標データを含むことができる。
本実施形態の少なくとも1つの態様では、コンピュータ実行可能命令は、ユーザ入力を音響空間データに変換するように使用可能であることができ、オーディオ信号の音量又は遅延に対する少なくとも1つの調整を決定するように使用可能なコンピュータ実行可能命令を含む。
別の実施形態では、装置を提供することができる。本装置は、ベースと、ベースに対してX軸方向又はY軸方向のいずれかで移動するように動作可能なスティックと、スティックの部分に取り付けられ、X軸方向又はY軸方向のいずれかでのユーザ入力を受け取るように動作可能なペダルと、ベースに対するペダルのスライドを促進するように動作可能なスライド機構とを含むことができ、ペダルは、Z軸方向に対応する別のユーザ入力を受け取るように更に動作可能である。
本実施形態の少なくとも1つの態様では、本装置は、ベースに対するペダルのスライドを制限するユーザ入力を受け取るように動作可能なロック機構を含むことができる。
本実施形態の少なくとも1つの態様では、ロック機構は、押下されて、ベースに対するペダルのスライドを制限するように更に動作可能であるとともに、再び押下されて、ベースに対するペダルのスライドを許可するように更に動作可能であることができる。
本実施形態の少なくとも1つの態様では、本装置は、無線通信インタフェースと、表示装置と、開始/停止スイッチと、ミリ秒遅延要素と、デシベル単位カウンタ又はセレクタとを更に含むことができる。
更に別の実施形態では、方法を提供することができる。本方法は、入力装置を介してユーザ入力を受け取ることであって、ユーザ入力は、オーディオ信号に関連付けられた音響空間データに対応するX軸方向又はY軸方向を示す、ユーザ入力を受け取ることと、入力装置を介して追加のユーザ入力を受け取ることであって、追加のユーザ入力は、オーディオ信号に関連付けられた音響空間データに対応するZ軸方向を示す、追加のユーザデータを受け取ることとを含むことができる。
本実施形態の少なくとも1つの態様では、本方法は、受け取ったユーザ入力を音響空間データに変換することと、音響空間データをオーディオ信号及び時間コードと共に3D-EAオーディオ出力ファイルに記憶することとを含むことができる。
本実施形態の少なくとも1つの態様では、本方法は、受け取ったユーザ入力を音響空間データに変換することと、音響空間データをオーディオ信号及び時間コードと共に、記憶のために、3D-EAオーディオ出力ファイルにフォーマットすることとを含むことができる。
本実施形態の少なくとも1つの態様では、入力装置は、支持ベースによって支持されるスティックに取り付けられるペダルを含むことができ、更に、入力装置は、支持ベースに対してペダルをスライドさせるように動作可能なスライド機構を含む。
本実施形態の少なくとも1つの態様では、入力装置は、支持ベースに対するペダルのスライドを制限するように動作可能なロック機構を含むことができる。
本実施形態の少なくとも1つの態様では、入力装置は、以下:フットペダル、ジョイスティック装置、手制御装置、光センサ、ジェスチャ制御装置、又は音声入力装置のうちの少なくとも1つを含むことができる。
本開示の他の実施形態、特徴、及び態様が、本明細書において詳細に説明され、特許請求される開示の一部であるとみなされる。他の実施形態及び態様は、以下の詳細な説明、添付図面、及び提案される特許請求の範囲を参照して理解することができる。
これより、必ずしも一定の縮尺で描かれているわけではない添付の表及び図面を参照する。
開示の一実施形態による、3Dオーディオを再生する3D-EAシステム例のブロック図を示す。 本開示の一実施形態例による、3D-EAシステムの再生構成要素装置例のハードウェア概略を示す。 本開示の一実施形態例による、3D-EAシステムの再生構成要素装置例のハードウェア及びユーザインタフェース概略を示す。 本開示の一実施形態による3D-EAシステムのスピーカ視点配置例を示す。 本開示の一実施形態による3D-EAシステムの上から下を見たスピーカ配置図例を示す。 本開示の一実施形態例による3Dオーディオを記録する3D-EAシステム例のブロック図を示す。 本開示の一実施形態による3D-EAシステムのコントローラインタフェース構成要素装置例を示す。 本開示の一実施形態による入力制御装置例を示す。 本開示の一実施形態による入力制御装置例を示す。 本開示の一実施形態による入力制御装置例を示す。 本開示の一実施形態による入力制御装置例を示す。 本開示の一実施形態による入力制御装置例を示す。 本開示の一実施形態による入力制御装置例を示す。 本開示の一実施形態による入力制御装置例を示す。 本開示の一実施形態例による3D-EA音響ローカリゼーションマップを示す。 本開示の一実施形態例による図6の3D-EAローカリゼーション領域に音響を配置する相対スピーカ音量レベルのルックアップテーブル例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。 本開示の実施形態による3D-EAシステム例に関連付けられた方法例を示す。
詳細な説明
これより、本開示の実施形態について、添付図面を参照してより十分に以下に説明する。しかし、本開示は多くの異なる形態で実施することができ、本明細書に記載される実施形態に限定されるものとして解釈されるべきではなく、むしろ、実施形態は、本開示が完全で完成されたものとなり、本開示の範囲を伝えることになるように提供されている。
本開示の一実施形態では、3D又は仮想リスニング環境をシミュレート又は生成するシステム、方法、及び装置が提供される。本開示の別の実施形態例によれば、3Dオーディオ再生及びコンテンツ作成のシステム、方法、及び装置が提供される。少なくとも1つの実施形態では、3D拡張オーディオ(3D-EA)システムを提供することができる。
3D-EAシステムは、少なくとも1つの実施形態では、3D-EA再生構成要素装置を含むことができ、この装置は、2D(ステレオ)出力から3Dリスニング環境をシミュレートするか、又は他の様式でマルチチャネル3Dオーディオコンテンツを受け入れることができる。別の実施形態では、3D-EAシステムは、フットペダルコントローラ装置と、関連付けられたコントローラインタフェース構成要素装置とを含むことができ、これらは両方とも、3D-EAコンテンツ作成に役立つことができる。更に別の実施形態では、3D-EAシステムは、独自の構成に特に位置決めされるか、又は他の様式で配置される少なくとも6個の出力スピーカを含むことができ、リアルなドーム形3Dリスニング環境又はユーザ若しくは聴き手を囲む音響場を生成する。
特定の実施形態では、3D-EAシステムは、音響空間マップ(SSM)アルゴリズムに従って音響圧レベル(音量)及び遅延を調整することにより、少なくとも6個のスピーカによって生成されるドーム形音響場内の様々な音響要素を操作することができる。従来の音響システムは、左又は右から発せられるように聞こえ得るか、又は場合によっては後方から制限されて発せられるように聞こえ得る音響を生成し出力することができる。3D-EAシステムを使用して、ユーザ又は聴き手の左、右、前、後ろ、上、及び下から聞こえるような音響を生成し出力することができる。3D-EAシステムによって生成される音響が、例えば、ビデオソースからのビデオ要素と対になると、生成される音響は、ビデオ要素又は表示画面で起こっているものをより正確にトラックすることができる。
特定の実施形態では、3D-EAシステムは、フットペダルコントローラ装置及び関連付けられたコントローラインタフェース構成要素装置等のユーザフレンドリなインタフェースを3D-EAコンテンツ作成に提供することができる。例えば、ライブパフォーマンス及び/又はサウンドトラックの設計中、ユーザは、3D-EAシステムのフットペダルコントローラ装置を利用して、ソニック空間データ(SSD)を生成することができる。SSDは、関連付けられたコントローラインタフェース構成要素装置に送信することができ、これは、SSDを処理し、ソニックデータファイル(SDF)又はソニックデータフォーマット等の3D-EAファイル、3D-EAオーディオ出力ファイル、符号化オーディオファイル、及び/又は3D-EAフォーマットで記憶することができる。
したがって、本開示の特定の実施形態により、ホームシアターユーザ、ビデオゲームプレーヤ、ミュージシャン、又はDJ等のユーザ又は聴き手へのより没入感が強いリスニング経験の提供を含むが、これに限定されない1つ又は複数の技術的解決策を達成することができる。
3D-EA再生構成要素装置例
図1は、開示の一実施形態による一例としてのシステム100を示す。3Dオーディオコンバータ/アンプ102は、3D-EA再生構成要素装置としても知られ、外部オーディオソース106からオーディオを受け入れ、処理することができ、外部オーディオソース106は、例えば、ゲームコンソールからのステレオオーディオ出力、標準CDプレーヤからのステレオオーディオ、テープデック、又はDVDプレーヤからの他のハイファイステレオソース等を含み得る。オーディオソース106及びビデオソース104は、3Dオーディオコンバータ/アンプの別個の入力ポートに接続してもよく、又はオーディオソース106及びビデオソース104は、HDMI(登録商標)等の1本のケーブルを通して結合し、オーディオ及びビデオを3Dオーディオコンバータ/アンプ102内で分離して、更に処理してもよい。
本開示の一実施形態例によれば、3Dコンバータ/アンプ102は、入力ジャック及び出力ジャックの両方を提供して、例えば、表示画面に都合良く中継するようにビデオを通せるようにし得る。3Dオーディオコンバータ/アンプ102の詳細な実施形態については、図2を参照して以下に説明するが、一般に、3Dオーディオコンバータ/アンプ102は、処理、ルーティング、スプリット、フィルタリング、変換、圧縮、リミット、増幅、減衰、遅延、パン、フェージング、ミキシング、送信、バイパス等を提供して、ユーザ又は聴き手の周囲の水平面(方位角)及び垂直面(高さ)の両方で、リスニング環境内で3D-EA音響を生成又は再現し得る。
一実施形態例によれば、3Dオーディオコンバータ/アンプ102は、ビデオソース104の入力を含み得る。本開示の一実施形態例では、3D-EA音響ローカリゼーション又はソニック情報の装置方向性は、ビデオ画像の二次元平面内の物体の位置に関連して符号化し、且つ/又は生成し得る。本開示の他の実施形態によれば、オーディオに符号化される物体位置状態は、3Dオーディオコンバータ/アンプ102によって処理して、リスニング環境122内に複数の3D-EA音響を動的に位置決めし、且つ/又は配置し、任意選択的に、関連付けられたビデオ内の複数の物体の位置決め及び/又は配置に相関付け得る。
本開示の一実施形態例によれば、例えば、スピーカ110~120を含むスピーカアレイは、3Dオーディオコンバータ/アンプ102と通信し得、3Dオーディオコンバータ/アンプ102によって生成される信号に応答し得る。図1の実施形態では、6個のスピーカ110~120が含まれるが、7個以上のスピーカを他の実施形態と併用し得る。一実施形態では、システム100は、図1に示されるように、部屋較正マイクロホン108を含むこともできる。一実施形態例によれば、部屋較正マイクロホン108は、1つ又は複数のダイアフラムを含んでもよく、又は全方向性であり、1つ若しくは複数の方向から同時に音響を検出してもよい。部屋較正マイクロホン108は、スピーカ110~120によって生成される時変音響圧レベル信号に応答し得、較正入力を3Dオーディオコンバータ/アンプ102に提供して、3Dオーディオコンバータ/アンプ102内の様々なパラメータ(例えば、処理、ルーティング、スプリット、イコライズ、フィルタリング、変換、圧縮、リミット、増幅、減衰、遅延、パン、ミキシング、送信、バイパス)を適宜セットアップして、特定の部屋に向けてシステム100を較正し得る。部屋較正マイクロホン108は、3Dオーディオコンバータ/アンプ102内の較正トーン生成器及びリスニング環境内に適宜配置されたスピーカ110~120と組み合わせて利用して、システム100を自動的に較正することもできる。本開示の実施形態例によるこの較正手順の詳細について、特定の図に関連して以下に考察する。
図2は、本開示の一実施形態例による、図1の102と同様の、一例としての3Dオーディオコンバータ/アンプ200のブロック図表現を示す。入力端子204~210は、事前処理された3D-EAを含む1つ又は複数の入力オーディオ及び/又はビデオ信号ソースの受信に利用することができる。入力端子204~210は、RCA、XLR、S/PDIF、デジタルオーディオ、同軸、光学、1/4インチステレオ又はモノ、1/8インチミニステレオ又はモノ、DIN、HDMI、及び他のタイプの標準接続を含むが、これらに限定されない様々なソース接続に役立つ複数の入力端子を含み得る。一実施形態例によれば、オーディオ入力端子204、206、208は、212等の少なくとも1つのオーディオマイクロプロセッサと通信し得る。212等のマイクロプロセッサのうちの少なくとも1つは、メモリ装置250と通信し得、同じ又は異なる集積回路に存在し得る。
本開示の一実施形態例によれば、212等のオーディオマイクロプロセッサの少なくとも1つは、端子選択デコーダA/Dモジュール214を含み得、これは、入力端子204~208から信号を受信し得る。デコーダ214は入力スプリッタ/ルータ216と通信し得、入力スプリッタ/ルータ216はマルチチャネルレベリングアンプ218と通信し得る。マルチチャネルレベリングアンプ218はマルチチャネルフィルタ/クロスオーバ220と通信し得、これはマルチチャネル遅延モジュール222と通信し得る。マルチチャネル遅延モジュール222はマルチチャネルプリアンプ224と通信し得、このプリアンプはマルチチャネルミキサ224と通信し得、このミキサは出力D/Aコンバータ228と通信し得る。オーディオマイクロプロセッサ212の出力は、複数の選択可能なプリアンプ246と通信し得る。D/Aコンバータ228、プリアンプ246、又はこれら両方からの出力は、マルチチャネル出力アンプ230及び無線スピーカへの送信器250と通信し得る。出力段248及び/又はマルチチャネル出力アンプ230、又はそれら両方の出力は、出力端子222と通信し得、この端子222は更にスピーカと通信する。一実施形態例によれば、無線スピーカへの送信器250は、無線スピーカ(図示せず)に関連付けられた受信器と通信し得る。一実施形態例によれば、ルーティングバス242及びサミング/ミキシング/ルーティングノード244を利用して、オーディオマイクロプロセッサ212内の上述した任意のモジュールに、且つそれらの任意のモジュールから全てのデジタル信号をルーティングし接続し得る。
3Dオーディオコンバータ/アンプ200は、様々なシステム設定を制御し表示する、少なくとも1つのオーディオマイクロプロセッサ212と通信するタッチスクリーンディスプレイ及びコントローラ234を含むこともできる。一実施形態例によれば、3Dオーディオコンバータ/アンプ200は、図1に示される部屋較正マイクロホン108と通信する無線システムと、無線リモート制御装置とを含み得る。電源202は、3Dオーディオコンバータ/アンプ200の全ての回路に電力を提供し得る。
一実施形態例によれば、3Dオーディオコンバータ/アンプ200は、ビデオ情報の1つ又は複数の入力端子210を含み得る。例えば、1つの端子はビデオ情報専用であり得、一方、別の端子はビデオ時間コード専用である。任意選択的に、ビデオ入力端子210はビデオマイクロプロセッサ(図示せず)と通信し得る。任意選択的なビデオマイクロプロセッサ238は更に、少なくとも1つのオーディオマイクロプロセッサ212と通信し得る。
ここでも図2を参照すると、3Dオーディオコンバータ/アンプ200内の少なくとも1つのオーディオマイクロプロセッサ212のブロックについて、本開示の実施形態例に従ってこれより説明する。入力端子選択デコーダ及びA/Dモジュール214は、必要に応じて、1つ又は複数の入力オーディオ信号を入力端子204~208から(又は他の入力端子から)選択的に受信し変換し得る。一実施形態例によれば、情報が、デジタル光学信号の形態で光学/SPDIF端子204に存在する場合、デコーダ214は、光学信号の存在を検出し得、適切な切り換え及び光学/電気変換を実行し得る。本開示の実施形態例によれば、デコーダ214は、信号検出プロセスを介して入力端子を自動的に選択し得るか、又は特に複数の入力信号が存在し得、1つの特定の入力が望ましい場合、ユーザによる手動入力を必要とし得る。本開示の実施形態例によれば、端子選択デコーダ及びA/Dモジュール214は、端子検知、端子切り換え、光学信号-電気信号変換を実行し、デジタル信号又はアナログ信号のフォーマットを検知し、アナログ信号からデジタル信号への変換を実行する追加のサブモジュールを含み得る。一実施形態例によれば、アナログオーディオ信号は、端子選択デコーダA/Dモジュール214内のA/Dコンバータを介してデジタル信号に変換し得、したがって、増幅されスピーカに送信される前に、D/Aモジュール228において元のアナログに変換されるまでデジタルフォーマットのままであり得る。逆に、入力端子に存在するデジタル信号は、既にデジタルフォーマットであるため、A/Dサブモジュール処理をバイパスし得る。図2での信号フローは、本開示の一実施形態例により、デジタル信号を破線として示すが、本開示の他の実施形態例によれば、入力信号(アナログ又はデジタル)を、モジュール216~228のうちの1つ又は複数をバイパスするようにルーティングし得、更に本開示の他の実施形態では、モジュール214~228のうちの1つ又は複数は、デジタル情報又はアナログ情報のいずれかを処理する能力を含み得る。
図2を引き続き参照すると、本開示の一実施形態例によれば、複数のサミング/ミキシング/ルーティングノード244を有するマルチ信号バス242を、任意のモジュール214~228及び/又は較正トーン生成器240への、及びそれ(ら)からの信号のルーティング、ダイレクティング、サミング、ミキシングに利用し得る。一実施形態例によれば、入力スプリッタ/ルータモジュール216は、デジタル信号をデコーダ214から受信し得、単独で、又はバス242及びサミング/ミキシング/ルーティングノード244と組み合わせて、オーディオ信号の入力ミキサ/ルータとして機能し得る。入力スプリッタ/ルータモジュール216はまた、システムの残りの部分を通して適宜ルーティングするために、較正トーン生成器240から信号を受信することもできる。本開示の一実施形態例によれば、入力スプリッタ/ルータモジュール216は、オーディオマイクロプロセッサ212に対して初期オーディオバス242入力ルーティングを実行し得、したがって、次に概説するように、下流モジュールと並列通信し得る。
本開示の一実施形態例によれば、少なくとも1つのオーディオマイクロプロセッサ212はマルチチャネルレベリングアンプ218を含み得、このアンプを利用して、入力オーディオチャネルを正規化するか、又は特定のバス242信号を他の様式で選択的にブースト若しくは減衰させ得る。一実施形態例によれば、レベリングアンプ218は、入力スプリッタ/ルータ216に先行し得る。一実施形態例によれば、レベリングアンプ218は、並列オーディオバス242及びサミング/ミキシング/ルーティングノード244を介して任意のモジュール220~228及び240と並列通信し得る。一実施形態例によれば、少なくとも1つのオーディオマイクロプロセッサ212はマルチチャネルフィルタ/クロスオーバモジュール220を含むこともでき、このモジュールは、オーディオ信号の選択的イコライズに利用し得る。一実施形態例によれば、マルチチャネルフィルタ/クロスオーバモジュール220の一機能は、例えば、比較的中間及び高い周波情報のみが、例えば、図1に示される上中心前方スピーカ118及び上中心後方スピーカ120に向けられるか、又は全てのチャネルからの低周波内容のみがサブウーファースピーカに向けられるように、特定のオーディオチャネルの周波数内容を選択的に変更することであり得る。
引き続き図2を参照すると、一実施形態例によれば、少なくとも1つのオーディオマイクロプロセッサ212はマルチチャネル遅延モジュール222を含み得、このモジュールは、並列オーディオバス242及びサミング/ミキシング/ルーティングノード244を介して任意の組み合わせで、又は入力スプリッタルータ216により、上流モジュール214~220、240から信号を受信し得る。マルチチャネル遅延モジュール222は、可変遅延を、最終的にスピーカに送信し得るオーディオの個々のチャネルに付与するように動作可能であり得る。マルチチャネル遅延モジュール222は、位相遅延を付与して、例えば、3D-EAリスニングスフィア若しくはドーム等のリスニング環境122内に建設的干渉若しくは相殺的干渉を選択的に追加するか、又はリスニング環境122、3D-EAリスニングスフィア、若しくは3D-EAリスニングドームのサイズ及び位置を調整し得るサブモジュールを含むこともできる。
本開示の一実施形態例によれば、少なくとも1つのオーディオマイクロプロセッサ212は、高速レベル制御を用いるマルチチャネルプリアンプ224を更に含み得る。このモジュール224は、並列オーディオバス242及びサミング/ミキシング/ルーティングノード244を介して、少なくとも1つのオーディオマイクロプロセッサ212内の他の全てのモジュールと並列通信し得、少なくとも部分的に、オーディオ信号内に存在する符号化3D情報によって制御し得る。高速レベル制御を用いるマルチチャネルプリアンプ224によって提供される機能の一例は、3D-EA音響が特定の方向から向けられているように聞こえるように、1つ又は複数のチャネルの音量を選択的に調整することであり得る。特定の実施形態では、これは、本開示の特定の実施形態により、3D-EAコンテンツ作成プロセス中、1つ又は複数の空間データファイルによって達成することもできる。本開示の一実施形態例によれば、ミキサ226は、上流信号の最終的な結合を実行し得、特定のチャネルを向けるのに適切な出力ルーティングを実行し得る。ミキサ226の後にマルチチャネルD/Aコンバータ228が続き得、全てのデジタル信号をアナログに再変換してから、信号を更にルーティングする。一実施形態例によれば、D/A228からの出力信号は、任意選択的に、プリアンプ246によって増幅して、送信器250にルーティングし無線スピーカに送信し得る。別の実施形態例によれば、D/A228からの出力は、(a)プリアンプ246、(b)マルチチャネル出力アンプ230、又は(c)スピーカに接続する出力端子232に向けられる前のうちの1つ又は複数の組み合わせによって増幅し得る。本開示の一実施形態例によれば、マルチチャネル出力アンプ230は、出力端子232に接続されたスピーカへの任意の破損を最小に抑えるか、又は破損若しくは短絡したスピーカ若しくは短絡した端子232からアンプ230を保護する保護装置を含み得る。
一実施形態例によれば、特定の3D-EA出力オーディオ信号は、出力端子232にルーティングして、更に処理し、且つ/又はコンピュータインタフェースすることができる。特定の場合、出力端子232は、XLR、AESI、光学、USB、ファイアワイヤ、RCA、HDMI、クイックリリース又は端子ロックスピーカケーブルコネクタ、Neutrik Speakonコネクタ等を含むが、これらに限定されない様々なタイプの家庭用及び/又はプロ用品質出力を含み得る。
本開示の一実施形態例によれば、3Dオーディオ再生システムで使用されるスピーカは、セットアップ手順の一環として、特定のリスニング環境に向けて較正又は初期化し得る。セットアップ手順は、1つ又は複数の較正マイクロホン236の使用を含み得る。本開示の一実施形態例では、1つ又は複数の較正マイクロホン236は、聴き手位置の約10cm以内に配置し得る。一実施形態例では、較正トーンを生成し、スピーカを通して向けることができ、1つ又は複数の較正マイクロホン236で検出し得る。本開示の特定の実施形態では、較正トーンを生成し、スピーカを通して選択的に方向付け、検出し得る。特定の実施形態では、較正トーンは、インパルス、チャープ、ホワイトノイズ、ピンクノイズ、震音、変調トーン、位相シフトトーン、マルチトーン、又は可聴プロンプトのうちの1つ又は複数を含むことができる。
実施形態例によれば、較正トーンは、個々に、又は組み合わせて複数のスピーカに選択的にルーティングし得る。実施形態例によれば、較正トーンは、スピーカを駆動するように増幅し得る。本開示の実施形態例によれば、複数のスピーカを通して較正トーンを選択的にルーティングし、較正マイクロホン236を用いて較正トーンを検出することにより、1つ又は複数のパラメータを決定し得る。例えば、パラメータは、位相、遅延、周波数応答、インパルス応答、1つ又は複数の較正マイクロホンからの距離、1つ又は複数の較正マイクロホンに相対する位置、スピーカ軸方向角度、音量、スピーカラジアル角、又はスピーカ方位角のうちの1つ又は複数を含み得る。本開示の一実施形態例によれば、音量及び/又は遅延を含む1つ又は複数の設定は、較正又はセットアッププロセスに基づいて3D-EAシステムに関連付けられたスピーカのそれぞれで変更し得る。本開示の実施形態によれば、変更された設定又は較正パラメータは、メモリ252に記憶し得る。本開示の一実施形態例によれば、較正パラメータは、メモリ252から検索し、初期セットアップ後にシステムを続けて使用する際にスピーカを自動的に初期化するのに利用し得る。
図3を参照して、一例としての3D-EA再生構成要素装置300の様々なハードウェア及びユーザインタフェースを示す。この実施形態では、3D-EA再生構成要素装置300は、任意の数のオーディオソース又は信号の記録、再生、及びミキシングを行う様々な機能を有することができる。例えば、コントローラインタフェース構成要素装置300は、ソニック空間データ(SSD)と同時に、又は非同時に少なくとも4つのアナログオーディオチャネルを記録し、再生し、ミキシングすることができる。図3に示される実施形態では、装置300は、フロントパネル空間ディスプレイ及びプリセットセクション又は部分302、トランスポート制御セクション又は部分304、入力制御セクション又は部分306、及びリアセクション又は部分308を含むが、これらに限定されない少なくとも4つのユーザアクセス可能なセクションを有することができる。
図3の装置300のフロント部分302は、図の下部308に示され、装置300のリア部分は図の上部に示される。装置300は、1つ又は複数の信号ソースを受信するように動作可能であることができ、装置300は、図1のシステム100に関して説明した処理と同様の1つ又は複数の信号ソースを処理することができる。信号ソースは、携帯電話、スマートフォン、音楽ファイルプレーヤ、ゲームコンソール、タブレット、コンピュータ、ラップトップコンピュータ、標準CDプレーヤからのストレオオーディオ、テープデック、又は他のハイファイステレオソース、モノオーディオソース(ギターのような楽器、ベース、マイク等)、又はDVDプレーヤからのソース等を含むことができるが、これらに限定されない。装置300は、1つ又は複数の信号ソースを処理し、リスニング環境において、110~120等の1つ又は複数のスピーカを介して3D-EA音響を生成又は再現することができる。1つ又は複数のスピーカは、6.0又は6.1スピーカアレイであることができる。
任意の数の制御入力及び/又は出力を、図3に示される装置300と併用することができる。例えば、制御入力及び/又は出力は、X軸データ、Y軸データ、及びZ軸データを示す3Dディスプレイ310と、プリセットボタン312と、開始及び停止ボタンと、オーディオデータファイル(ADF)再生及び録音ボタンと、空間データファイル(SDF)再生及び記録ボタンと、タッチスクリーンインタフェース及び/又はメニューと、時間コードインジケータ又はカウンタと、トランスポート制御機能と、チャネルアクティブ/ソロと、入力利得メータと、入力利得レベルと、チャネル出力メータと、ライン/マイクと、ファンタム電源と、送信/リターンと、チューナーつまみと、1/4インチジャック等のヘッドフォンジャックと、ヘッドフォンレベルと、出力メータと、出力レベル/ミックスと、マスタ出力レベルメータと、マスタ出力レベルとを含むことができるが、これらに限定されない。他の実施形態は、同様及び/又は他の制御入力及び/又は出力を含むことができる。
図3に示される実施形態では、3Dディスプレイ310は、幾つか又は4つ全てのチャネルの3D同時表現を提供することができる。特定の場合、チャネル1~4等の特定の入力を識別する代表的なマーカは、マーカの各番号によって3Dディスプレイ310上で指定することができる。例えば、マーカは、各チャネルの3D位置を3Dディスプレイ310上で示すことができ、各マーカは、相対信号強度を示すように脈動することができる。幾つかの場合、マーカは、赤への変更のように色を変更して、クリップを示すことができる。幾つかの場合、マーカは、空間データファイル(SDF)に従ってリアルタイムで移動することができる。
さらに、図3に示される実施形態では、プリセットボタン312は、1~5のボタン等のプログラマブルプリセットボタンを含むことができる。これらのプリセットボタン312は、ユーザが装置300のフロントパネルを操作することにより、又はユーザが入力制御装置若しくは図8~図14に示される800と同様の他のフットペダル制御装置を操作することにより、最高で5つまでのデータセット等のソニック空間データセットを記憶することができる。特定の場合、各プリセットボタン312は、ユーザが各プリセットボタンに、チャネル1~4等の特定のチャネルを割り当てられるようにするクイック割り当て特徴を含むことができる。幾つかの場合、1~100ADF又はSDF等のメモリバンクの幾つか又は全てを、各プリセットボタン312に割り当てられたチャネルの記憶に割り当てることができる。使用に際して、ユーザが、所望のチャネルボタンを押下することによって特定のチャネルボタンを選択すると、ユーザは、所望のプリセットボタンを押下することにより、対応するプリセットボタン312を素早く割り当てることができる。メモリバンクは、チャネルボタンのユーザ選択及びプリセットボタン312を記憶して、ユーザが特定のプリセットボタンを選択した場合、前に記録されたチャネルを続けて呼び出すことができる。
さらに、図3に示される実施形態では、開始及び停止ボタン、並びにADF及びSDF再生及び記録ボタン又は制御機構を使用して、チャネル1~4等の特定のチャネルのソニック空間データ(SSD)及び/又は空間データファイル(SDF)の記録及び/又は再生をそれぞれ行うことができる。例えば、割り当てられたチャネルへのSDFを記録するためには、ユーザは、各SDF記録ボタンを選択し、次に、開始ボタンを選択することができる。更なる例として、割り当てられたチャネルのADFを再生するためには、ユーザは各ADF再生ボタンを選択し、次に、開始ボタンを選択することができる。
特定の場合、特定のチャネルについて再生ボタンも記録ボタンも選択されない場合、そのチャネルは、オーディオ及びソニック空間データをプレイスルーとして受け入れる。
図3に示される実施形態では、タッチスクリーンインタフェース及び/又はメニューは、アクティブチャネルについての情報を表示し、データ入力用のポップアップキーボードを提供し、プリセットボタン割り当てに役立ち、保存動作、削除動作、及び割り当て動作等のファイル管理に役立つことができる。
図3に示される実施形態では、トランスポート制御機能は、停止、再生、一時停止、早送り、高速又はクイック先送り、巻き戻し、及び高速又はクイック巻き戻しのタッチスクリーンディスプレイ又は各コマンドボタン及び/又は制御機構を含むことができる。4つのオーディオチャネルのそれぞれは、前に定義したような各制御機構を有することができる。特定の場合、各トラックは、オーディオトラックをサーチして再生するトランスポート制御機構を有することができる。
さらに、図3に示される実施形態では、チューナーつまみは、比較的細かいチューニング及び/又は制御を提供する押下可能な機能選択特徴を有するフライホィールチューナーつまみを含むことができる。
さらに、図3に示される実施形態では、1つ又は複数のオーディオ入力制御機構を提供することができる。入力制御機構は、利得制御、レベルメータ、及びファンタム電源用のボタン、送信/リターン用のインサート、出力レベル制御及びインジケータ、各チャネルの出力イネーブルボタン、マスタ音量制御、並びにマスタレベルメータを提供することができる。
装置300のリア部分を参照すると、任意の数の制御入力及び/又は出力を使用することができる。図3に示される実施形態では、制御入力及び/又は出力は、電源オン/オフスイッチ、電源コネクタインタフェース、第2のインタフェースコントローラ(IC)へのチェーンリンク、マルチチャネル(1~6+サブアウト)出力コネクタ(D-25)、ファイアワイヤ入/出力、ヘッドフォン出力ジャック、少なくとも4つのモノオーディオチャネル入力、一連の送信入力、一連のリターン入力、1組のフロントXLR又は1/4インチTRS入力、及びUSB入/出力を含むことができるが、これらに限定されない。4つの入力は、ファンタム電源及び/又は補助オーディオ機器を接続するインサートについてのオプションを有することができる。図8~図14に示される800と同様の、最高で4つまでの入力制御装置又は同様のフットペダルへの接続を提供することができる。これらの接続はそれぞれ、指定された入力チャネルのソニック空間データ(SSD)の提供又は他の様式での制御を行うことができる。装置300のリア部分の入力及び/又は出力のうちの少なくとも幾つかを使用して、複数のユニットが装置300とインタフェースすることができる。他の実施形態は、同様及び/又は他の制御入力及び/又は出力を含むことができる。
一実施形態では、300等のコントローラインタフェース構成要素装置は、任意の出力定格の1つ又は複数の給電スピーカと共に動作することができる。例えば、3Dオーディオ再生ユニットは、20W、40W、100W、200W、1000Wスピーカ等の様々なスピーカと併用することができる。したがって、この実施形態では、3D-EA再生装置300は、給電スピーカがユニットと併用されるため、信号ソースの増幅を提供する必要がない。さらに、3D-EA再生装置300には、任意の数の入力及び/又は出力インタフェースを構成して、1つ又は複数の信号ソースに適宜対応することができる。例えば、3D-EA再生装置300は、XLR、AESI、光学、USB、ファイアワイヤ、RCA、HDMI、クックリリース、端子ロックスピーカケーブルコネクタNeutrik Speakonコネクタ等であるが、これらに限定されないインタフェースを含むことができる。
使用に際して、3D-EA再生装置300を使用して、任意の数の信号ソースでのソニック空間データ(SSD)を受信し、監視し、調整することができる。装置300は、SSD及び従来のオーディオ信号を受信し、監視し、調整する様々な入力及び出力制御機構をユーザに提供することができる。このようにして、他のオーディオ信号と共にSSDの編集、ミキシング、及び記録を、3D-EA再生装置300を使用して実行することができる。
特定の実施形態では、3D-EA再生装置300は、受信した2チャネルオーディオ信号を6チャネルオーディオ信号に変換又は増強する1組のコンピュータ実行可能命令を有する1つ又は複数のモジュールを含むことができる。1つ又は複数のモジュールは、3D-EAスピーカアレイを介して2チャネル信号を再生又は他の様式で出力する1組のコンピュータ実行可能命令を含むこともできる。さらに、1つ又は複数のモジュールは、3D-EAスピーカアレイを介して変換又は増強された6チャネル信号を再生又は他の様式で出力する1組のコンピュータ実行可能命令を含むことができる。
図4は、本開示の一実施形態による3D-EAシステムにおける図1の122と同様の一例としてのリスニング環境400でのスピーカ視点配置又は3D-EAスピーカアレイを示す。一実施形態例によれば、スピーカは、3Dオーディオコンバータ/アンプ102と通信し、左110、右112、左サラウンド114、右サラウンド116、上中心前方118、及び上中心後方120として示すことができる。他の実施形態例によれば、スピーカの数及び物理的レイアウトは、環境400内で可変であり、サブウーファー(図示せず)を含むこともできる。本開示の一実施形態例によれば、左110、右112、左サラウンド114、右サラウンド116のスピーカは、聴き手位置402から予め定義された位置に配置することができる。例えば、左110及び右112は、中心から約35度ずれるなど、中心から約30~40度ずれて概ね耳の高さに位置決めすることができ、左サラウンド114及び右サラウンド116は、中心から約120度ずれるなど、中心から約110~130度ずれて概ね耳の高さに位置決めすることができ、上中心前方118は、聴き手に向かって10~20度傾斜して耳の高さよりも約8~9フィート(約2.4m~2.7m)上に位置決めすることができ、上中心後方120は、聴き手に向かって10~20度傾斜して耳の高さよりも約8~9フィート(約2.4m~2.7m)上に位置決めすることができる。一例では、正三角形に近い三角形を左110スピーカと右112スピーカと聴き手位置402との間に形成することができる。別の例では、左110及び右112スピーカは、スピーカ110、112、及び聴き手位置402との間に形成される二等辺三角形の鋭角が約40度~約60度であるように向けることができる。
図4は、本開示の一実施形態による上中心前方スピーカ118及び上中心後方スピーカ120も示す。これらのスピーカ118、120はそれぞれ、聴き手位置402よりも垂直に高いリスニング環境400の前方及び後方に配置することができ、約10度~約65度だけ下方に傾斜して、音響を聴き手に向かって下方に向けることができる。上中心前方118スピーカは、通常、表示画面(図示せず)よりも上で、環境400又は部屋の前方に配置することができ、上中心後方120スピーカは、聴き手位置402の背後且つ上方に配置することができる。この実施形態では、上中心後方120及び上中心前方118のスピーカは、正確なソニック反射が聴き手の両耳内の軟骨の選択的領域を振動させて、垂直又は方位角方向知覚を保証するように、聴き手位置402にいる聴き手に向かって下方を向くことができる。本開示の一実施形態例によれば、スピーカのうちの1つ又は複数は、2つのスピーカ導電ワイヤを使用して3Dオーディオコンバータ/アンプ102に直接接続し得る。本開示の別の実施形態例によれば、スピーカのうちの1つ又は複数は、3Dオーディオコンバータ/アンプ102に無線で接続し得る。
図4には、部屋較正マイクロホン108も示されている。特定の図に関連して以下に更に考察するように、較正マイクロホン108は、有線であってもよく、又は無線であってもよく、3Dオーディオコンバータ/アンプ102と通信し得る。一実施形態例によれば、較正マイクロホンは、3Dオーディオコンバータ/アンプ102及びスピーカ110~120と協働して、以下のうちの任意に利用し得る:(a)特定の部屋又はリスニング環境400に向けてのスピーカ110~120の較正、(b)最適な3D-EA性能に向けての個々のスピーカのセットアップ及び配置の支援、(c)個々のチャネル及びスピーカへのイコライズパラメータのセットアップ、及び/又は(d)様々なパラメータ、スピーカパラメータ等の設定へのフィードバックの利用等。特定の実施形態では、上記較正プロセスを使用して、PARに向けて全てのスピーカを較正することができる。すなわち、スピーカは、まるでそれらが全て聴き手から等しい距離及び大きさであるかのように聞こえるように較正することができる。これは、同時及び3D-EA再生モードで、左サラウンド114、右サラウンド116、上中心前方118、及び上中心後方120スピーカ等の各スピーカの音量及び遅延を、左110及び右112スピーカに相対して調整することによって促進することができる。
一実施形態例では、図4のスピーカ配置は、スピーカの配置が部屋又は環境400の中心部の着座位置にいる聴き手に使用される場合、頭上スピーカ118、120を、部屋又は環境400の中心部に立っている聴き手に向けて位置決めすることによって較正することができる。すなわち、図4のスピーカ配置は、部屋又は環境400の中心部にいる着座した聴き手の耳の高さよりもわずかに上に向けることができる。
図5は、本開示の一実施形態例による、図1の122及び/又は図4の400と同様の、一例としての3D-EAリスニング環境500又は3D-EAスピーカアレイの上から下を見た図を示す。上中心前方118及び上中心後方120のスピーカを二分する中心線506に相対して測定される場合、左110スピーカは、聴き手の位置から延び、中心線506に対して角度504をなす線508上にセンタリングし得る。部屋の構成及び最適な3D-EA音響に関連して他の要因に応じて、角度404は変化し得る。例えば、左110及び右112は、中心から約35度ずれるなど、中心から約30~40度ずれて概ね耳の高さに位置決めすることができ、左サラウンド114及び右サラウンド116は、中心から約120度ずれるなど、中心から約110~130度ずれて概ね耳の高さに位置決めすることができ、上中心前方118は、聴き手に向けて10度~20度傾斜して地面の高さから約8~9フィート(約2.4m~2.7m)上に位置決めすることができ、上中心後方120は、聴き手に向けて10度~20度傾斜して地面の高さから約8~9フィート(約2.4m~2.7m)上に位置決めすることができる。右112及び右サラウンド116のスピーカは、左110及び左サラウンド114のスピーカに対してそれぞれ、中心線506に関して鏡像に配置し得る。図4及び図5に示されるように、上中心前方118及び上中心後方120スピーカは、概ね中心線上に(それぞれの名称が示唆するように)配置し得、他のスピーカと同様に、3D-EA音響を聴き手に向けるように向け得る。本開示の実施形態例によれば、較正マイクロホン108(図4)の位置で示されるように、聴き手位置402(図4)にいる聴き手と、個々のスピーカ110~120との直線距離は、可変であり、部屋の構成、部屋の物理的制限、最適な3D-EA音響に関連する要因、及び1人又は複数の聴き手に対して3D-EA音響を再生するために必要な3D-EAリスニングスフィア又はドーム512のサイズに依存し得る。通常、3D-EAリスニングスフィア又はドーム512は、最も近いスピーカ110~120までの距離よりも小さな半径を有することになる。しかし、本開示の一実施形態例によれば、3Dリスニングスフィア又はドーム512のサイズは、選択的処理、ルーティング、音量制御、及び/又は各スピーカ110~120のそれぞれに向けられる駆動エネルギーの位相制御によって拡大又は縮小し得る。特定の実施形態では、3Dリスニングスフィア又はドーム512内の聴き手からの幾つか又は全てのスピーカの等距離配置が最適であり得る。
一実施形態例では、聴き手から各スピーカが等距離であり、スピーカを聴き手から約5フィート(約1.5m)、7フィート(約2.1m)、及び10フィート(約3m)に位置決めして、PAR状況及び同様の性能を生み出すことにより、図5のスピーカ配置をテストすることができる。
図6を参照すると、この図には、本開示の一実施形態による、3Dオーディオ情報を記録又は符号化する一例としての3D-EAシステム600が示される。システム600を利用して、ソース環境からの3Dオーディオ情報を記録し、且つ/又は他の様式で符号化し得る。一実施形態例によれば、3D-EA記録システム600は、特定のシーン又は環境内の自然発生する方向性情報を符号化して、撮影後に普通なら行われ得る3D-EA音響の手動処理を最小に抑えることに役立ち得る。一実施形態例によれば、3D-EA記録システム600は、モノ信号(mono signals)を記録し、空間データファイル(SDF)を割り当てることができるか、又は複数のマイクロホンが、配置に従って各チャネルで記録することができる。一実施形態例によれば、バイノーラルマイクロホンシステム(図示せず)をオーディオの記録に利用し得る。典型的なバイノーラル記録ユニットは、ダミーヘッドに取り付けられた2つのハイファイマイクロホンを有し、マイクロホンは耳の形状の型に挿入されて、音響が人間の頭部を包み、外耳及び内耳の形態によって「整形」される際に自然に発生し得るオーディオ周波数調整の幾つか又は全てを完全に捕捉する。別の実施形態例によれば、図1に上述された較正マイクロホン108と同様であり得る3Dマイクロホン610を利用して、複数の方向からの音響を選択的に記録し得る。一実施形態例によれば、3Dマイクロホンは、方向性感度及び符号化の空間次元当たり少なくとも1つのダイアフラム要素を有し得る。3Dマイクロホン610によって生成される信号は、複数の入力と、記憶チャネルとを有する3D音響レコーダモジュール602を介して受信し記録し得る。本開示の一実施形態例によれば、3D音響レコーダモジュール602は、ビデオカメラ606によって提供される時間コード608を同時に記録し得る。本開示の一実施形態例によれば、3D音響レコーダモジュール602は、3D音響レコーダモジュール602内の時間コード生成器によって提供される時間コード608を同時に記録し得る。オーディオ及び時間コードを記録した後、情報は、オンライン及び/又はオフライン音響プロセッサ604にダウンロードするか、又は他の様式で転送して、更に処理又は記憶し得る。本開示の一実施形態例によれば、オーディオ情報及び時間コード情報は、例えば、ビデオ、オーディオ記録、又はコンピュータゲームと併用するために更に編集し処理し得る。
図7を参照して、図3の300等の3D-EAシステムと併用される一例としてのコントローラインタフェース構成要素装置700を示す。図7の例としての装置700では、装置700は、プロセッサ702と、メモリ704と、1つ又は複数の組のコンピュータ実行可能命令又はモジュール706~710と、入力インタフェース712と、出力インタフェース714とを含むことができる。プロセッサ702は、メモリ704に記憶されたコンピュータ実行可能命令又はモジュール706~710にアクセスし、実行し、又は他の様式で読み出すように構成することができる。コンピュータ実行可能命令又はモジュール706~710は、ランダムアクセスメモリ(RAM)、フラッシュRAM、磁気媒体、光学媒体、固体状態媒体等の非一時的な媒体を含むが、これらに限定されない様々なコンピュータ可読媒体に記憶することができる。
入力モジュール706は、図6の3D音響レコーダモジュール602と同様に、図6の3Dマイクロホン610からなど、任意の数のオーディオ又は信号ソースから1つ又は複数のオーディオ信号を受信するように使用可能な1組のコンピュータ実行可能命令を含むことができる。特定の実施形態では、入力モジュール706は、図6の606等のビデオカメラ等から1つ又は複数のビデオ信号を受信するように使用可能な1組のコンピュータ実行可能命令を含むことができる。特定の実施形態では、入力モジュール706は、ビデオカメラ、例えば606等から1つ又は複数のビデオ信号に関連付けられた、図6の608等の時間コードを受信するように使用可能な1組のコンピュータ実行可能命令を含むことができる。特定の実施形態では、入力モジュール706は、図8~図14の800等のフットペダルコントローラ装置から、又はコントローラインタフェース構成要素装置に関連付けられた1つ若しくは複数のボタン若しくはタッチスクリーンディスプレイからなど、1つ又は複数のユーザ入力に対応するソニック空間データ(SSD)を受信するように使用可能な1組のコンピュータ実行可能命令を含むことができる。特定の実施形態では、入力モジュール706は、1つ又は複数の予め定義された音量入力及び/又は遅延入力を1つ又は複数受信するように使用可能な1組のコンピュータ実行可能命令を含むことができ、音量入力及び/又は遅延入力は、図16の1600等のデータ構造又はテーブルに前に記録されたものであってもよく、又は他の様式で、コントローラインタフェース構成要素装置に関連付けられた1つ若しくは複数のボタン若しくはタッチスクリーンディスプレイを介して、対応するユーザ入力を介して受信したものであってもよい。
図8~図14は、本開示の一実施形態による一例としての入力制御装置800を示す。図8~図14に示される入力制御装置800又はフットペダル入力制御装置は、スタジオ内ミキシング、ライブパフォーマンス、及び3Dオーディオ出力信号の記録中等、音楽のミキシング及び/又は録音を行いながら、ソニック空間データ(SSD)に関して1つ又は複数のユーザ入力をリアルタイムで捕捉するのに使用することができる。したがって、図8~図14の入力制御装置800は、リアルタイムでの直接ソニック空間データ(SSD)制御に役立つことができる。例えば、入力制御装置800から受信したユーザ入力は、ソニック空間マップ(SSM)の音量及び遅延値に同時に影響することができ、音量範囲及び遅延範囲を通して比較的平滑な遷移を提供することができる。特定の場合、ユーザが圧力増大を入力制御装置800に加えると、遷移の速度を増大させることができる。特定の場合、入力制御装置800を使用して、予め定義される遅延範囲に対するdBシフトを制御することができる。
一実施形態では、ユーザは、図8~図14の入力制御装置を、関連付けられたフットペダル802に圧力を加えることによって操作することができる。ペダル圧は、音量及び遅延を操作することで、音響配置に影響することができる。例えば、フットペダル802が、標準又は中央位置にあり、ユーザが圧力をフットペダル802に掛けていない場合、音量又は遅延の入力はなされない。すなわち、フットペダル802の位置の相対変化がない場合、音量及び/又は遅延の変更に相関付けることができるいかなるX軸、Y軸、又はZ軸変更も生成されない。音響が聴き手から離れて動いている特定の場合、音量は低減し、遅延は増大する。ユーザは、音響配置に影響する音量及び/又は遅延の適する変化に相関する特定のX軸、Y軸、及び/又はZ軸変更でフットペダル802を操作することができる。同様に、音響が聴き手に向かって動いている特定の場合、音量は増大し、遅延は存在しない。ここでもユーザは、音響配置に影響する音量及び/又は遅延の適する変化に相関する特定のX軸、Y軸、及び/又はZ軸変更でフットペダル802を操作することができる。
図8~図14に示されるように、入力制御装置800は、支持ベース804に枢動可能に取り付けられたフットペダル802を含むことができる。フットペダル802は、比較的軽量の合金フットペダルであり得る。特定の実施形態では、フットペダル802は、ユーザの足又は他の附属器官の形状に概ね合うような輪郭を有し得る。示される入力制御装置800は、3Dオーディオ出力信号の制御又は他の様式での変更に関する少なくとも1つのユーザコマンドを入力するように動作可能であることができる。入力制御装置800は、フットペダル802を、ペダル802を二分する垂直軸に関して左及び/又は右に枢動させることにより、X軸制御を実施することができる。入力制御装置800は、フットペダル802を、ペダルを二分する水平軸に関して前方及び/又は後方に枢動させることにより、Y軸制御を実施することができる。したがって、示される実施形態では、フットペダル802は、X-Y軸ジョイスティック型装置806に取り付けることができる。入力制御装置800は、フットペダル802を支持ベース804に関して前方及び/又は後方にスライドさせることにより、Z軸制御を実施することができる。したがって、フットペダル802は、Z軸スライドベース装置808に取り付けることもできる。ロック装置810は、ユーザがフットペダル802の中央部分を押下することによってアクティブ化することができ、ペダル802を支持ベース804に対してスライドさせるか、又は比較的静止した状態を保てるようにすることができる。すなわち、ロック装置810がアクティブ化されている場合、フットペダル802の位置は、支持ベース804に対して比較的静止した位置に保持することができる。したがって、支持ベース804は、フットペダル802、X-Yジョイスティック型装置806、及びZ軸スライドベース装置808を支持する比較的重い装置であることができる。支持ベース804の、フットペダル802から離れた一部において、追加のユーザ制御機構を提供することができる。追加のユーザ制御機構としては、例えば、表示装置812、開始/停止スイッチ814、ミリ秒遅延要素及び/又はデシベル単位カウンタ又はセレクタ816、及びバイパススイッチ818を含むことができる。
図8~図14に示される実施形態では、表示装置812は、入力制御装置800の1つ又は複数の現在設定を出力することができる。例えば、現在設定は、プリセットチャネル、ロック/アンロックインジケータ、時間コードカウンタ、及びバイパス(ミュート)インジケータを含むことができるが、これらに限定されない。
示される入力制御装置800は、ユーザの足を用いて操作されるように動作可能であることができるが、他の実施形態は、ユーザの手、他の人体部位、音声、光、又はユーザによって提供される他のコマンド若しくはジェスチャによって操作可能である。例えば、入力制御装置800は、ユーザの手が楽器で占有されている場合、足を使用してユーザによって操作可能である。使用に際して、ユーザが演奏し録音する際、ユーザは同時に、足を用いて入力制御装置800を操作して、入力制御装置800のユーザの操作によって影響を受けるソニック空間データ(SSD)を捕捉することができる。ユーザが、いかなる圧力もフットペダル802にかけない場合、ペダル802は標準又は中央位置に戻ることができる。したがって、入力制御装置800は、X軸データ、Y軸データ、及び/又はZ軸データを含むユーザ入力データを出力することができる。
図8~図14に示される入力制御装置800は、幾つかの場合、1つ若しくは複数のリチウム型若しくは充電式電池等の従来の電池によって給電することができ、又は直流電源若しくは交流電源に接続し得る。
さらに、図8~図14に示される入力制御装置800は、直接接続、無線、Bluetooth(登録商標)、無線周波、ネットワーク、インターネット、又は他の従来の通信モードにより、図1の100と同様の3D-EAシステム又は3D-EA再生構成要素装置等の関連付けられたインタフェースコントローラユニット及び/又はオーディオ音響システムと通信することができる。
本開示の実施形態によれば、ジョイスティック、トラックボール、手操作装置、光インタフェース、及びジェスチャ制御型装置等の他のタイプ又は構成の制御装置への入力制御装置800の特徴及び態様の適用可能性が認識されよう。
図15は、本開示の一実施形態例による3D-EA音響ローカリゼーションマップ1500を示す。3D-EA音響ローカリゼーションマップ1500は、空間内で、中心位置に対する3D-EA音響ローカリゼーションの相対配置を空間において記述する助けとして機能し得る。一実施形態例によれば、3D-EA音響ローカリゼーションマップ1500は、3つの垂直レベルを含み得、各レベルは9つのサブ領域を有し、合計で27のサブ領域が、中心サブ領域14の周囲に三次元で配置される。上部レベルはサブ領域1~9からなり得、中間レベルはサブ領域10~18からなり得、下部レベルはサブ領域19~27からなり得る。リスニング環境の向きの一例では、中心サブ領域14を聴き手の頭部には配置し得る。聴き手は、前を向き、前中心サブ領域11をまっすぐ見ることができる。他の実施形態によれば、3D-EA音響ローカリゼーションマップ1500は、より多数又はより少数のサブ領域を含み得るが、ソニック情報の一般的な方向、ベクトル、ローカリゼーション等を定義するために、3D-EA音響ローカリゼーションマップ1500は、本開示に都合のよい3D枠組みを提供し得る。先の段落で、特に図1に関連して考察したように、3Dオーディオコンバータ/アンプ102の一態様は、3D-EA音響の全て又は部分が三次元空間内の特定の領域に動的にローカライズされるように、複数のオーディオチャネルのパラメータをリアルタイム又は準リアルタイムで調整することである。他の実施形態例によれば、3D-EA音響ローカリゼーションマップ1500は、より多数又はより少数のサブ領域を含み得る。別の実施形態例によれば、3D-EA音響ローカリゼーションマップ1500は、図4に示される中心領域に対して垂直の中心ずれを有し得る。3D-EA音響ローカリゼーションマップ1500は、図16を用いてサブ領域1~27のうちのいずれか1つに3D-EAをローカライズするように、各スピーカに送信されるオーディオレベルに関して更に説明し定義し得る。
本開示の一実施形態例によれば、図16は、3D-EA音響を27個のサブ領域のうちの任意のサブ領域付近にローカライズするために設定し得る相対音量レベル(デシベル単位)のルックアップテーブルの一例を示す。記号「+」、「-」、「0」、及び「オフ」は、図15に示されるように、27個のサブ領域のうちの1つに3D-EA音響をローカライズする各スピーカの相対信号レベルを表す。本開示の一実施形態例によれば、「0」記号は、特定のスピーカの音量のデフォルトレベルを表し得、デフォルトレベルはスピーカ毎に異なり得る。本開示の一実施形態例によれば、「+」記号は+6dB、又はデフォルト「0」信号レベルの約2倍の音量を表し得る。「-」記号は、約-6dB、又は信号のデフォルト「0」レベルの約半分の音量を表し得る。記号「オフ」は、その特定のスピーカに送信される信号がないことを示す。他の実施形態例では、「+」記号は、1人又は複数の聴き手に対して3D-EA音響を再生するために必要な3D-EAリスニングスフィア又はドーム312のサイズ等の要因に応じて、約+1dB~約+20dBのレベル範囲を表し得る。同様に、「-」記号は、約-1dB~約-20dBのレベル範囲を表し得る。本開示の一実施形態例によれば、図4の3D-EAリスニングスフィア又はドーム412のサイズは、「+」及び「-」記号に割り当てられる信号レベルの値によって拡大又は圧縮し得る。
特定の実施形態では、20dB範囲が使用される場合、値がソニック空間マップ(SSM)上で0であるとき、開始点は-10dBであることができる。
本開示の実施形態例によれば、信号を調整して、三次元リスニング環境での音響の見掛けのローカリゼーションを制御し得る。一実施形態例では、オーディオ信号は、遅延及び/又は音量のうちの1つ又は複数を調整することによって選択的に処理し得る。一実施形態例では、オーディオ信号は、1つ又は複数のオーディオチャネルに関連付けられた復号化データの受信に基づいて、選択的に処理し得る。一実施形態例によれば、復号化データは、特定の音響を特定のスピーカに向けるため、又は音響をあるスピーカ(又は1組のスピーカ)から別のスピーカに移して、移動をエミュレートするためのルーティングデータを含み得る。実施形態例によれば、1つ又は複数のオーディオチャネルを1つ又は複数のスピーカにルーティングすることは、少なくとも部分的にルーティングデータに基づき得る。特定の実施形態では、ルーティングは、1つ又は複数のオーディオチャネルの増幅、複製、及び/又は分割を含み得る。一実施形態例では、ルーティングは、1つ又は複数のオーディオチャネルを6つ以上の処理チャネルに向けることを含み得る。
3Dオーディオ音響をシミュレートする方法例
図17は、本開示の一実施形態による、三次元オーディオ音響をシミュレートするプロセスを示す。ブロック1710において、モノオーディオ信号を受信することができる。ブロック1710の後に任意選択的なブロック1720が続き、モノオーディオ信号は6チャネル信号に変換される。ブロック1720の後にブロック1730が続き、モノオーディオ信号の再生又は6チャネル信号の再生が、3D-EAスピーカアレイにわたって行われる。特定の実施形態では、モノオーディオ信号の処理及び再生は、3D-EAシミュレーションとして知ることができる。特定の実施形態では、6チャネルオーディオ信号の変換及び再生は、3D-EAピュアプレイとして知ることができる。本方法は、ブロック1730後に終了することができる。
3D-EAオーディオを録音する方法例
本開示の一実施形態例による、3Dオーディオを録音する方法について、図6と、図18及び図20のフローチャートとに関連してこれより説明する。図18では、例としての第1の方法1800がブロック1802において開始され、3Dマイクロホン610がマルチチャネルレコーダ602に接続される。3Dマイクロホン610は複数のダイアフラム又は要素を有し得、各ダイアフラム又は要素は、要素の向きに応じて、特定の方向からのソニック情報を選択的に検出し得る方向性感度を有する。方向性受信要素又はダイアフラムは、コンデンサ要素、動的要素、結晶要素、圧電要素等を含み得る。ダイアフラムは、カージオイド又は超カージオイド感度パターンを有し得、許容度又は感度パターンが部分的に重複するように、最近傍ダイアフラムに対して向け得る。3Dマイクロホン610は、部分3D又は全体スフィアカバレッジのために3つ以上のダイアフラムを有し得る。3Dマイクロホン610は、特定の空間内での適切な指向性向きについてのインジケータ又は印を有し得る。
方法1800は任意選択的なブロック1804に続き、ビデオカメラ606(又は他の時間コード生成機器)からの時間コード608を3Dレコーダ602に入力し、別個のチャネルに記録し、後の再生同期に使用し得る。任意選択的に、3Dレコーダ602は内部時間コード生成器(図示せず)を含み得る。
方法1800は任意選択的なブロック1805に続き、ステレオカメラシステム612からの視差情報を利用して、物体の深度情報を検出し得る。物体に関連付けられた視差情報を更に利用して、物体に関連付けられたオーディオの相対ソニック空間位置、方向、及び/又は移動を符号化し得る。
方法はブロック1806に続き、3Dオーディオ情報(及び時間コード)をマルチチャネルレコーダ602に記録し得る。マルチチャネル3D音響レコーダ602は、マイクロホンプレアンプ、自動利得制御(AGC)、アナログ/デジタルコンバータ、及びハードドライブ又はフラッシュメモリ等のデジタル記憶装置を含み得る。自動利得制御は、マイクロホンダイアフラムのうちの1つからの入力に基づいて、全てのチャネルの利得及び減衰を調整することができるリンクAGCであり得る。この種のリンクAGC又はLAGCは、ソニック空間情報を保存し、最大音響をレコーダのダイナミックレンジ内に制限し、そのままでは聞こえないおそれがある静かな音響をブーストし得る。
方法1800はブロック1808に続き、記録された3Dオーディオ情報が処理される。3Dオーディオ情報の処理は、オンラインで処理してもよく、又は任意選択的に外部コンピュータ若しくは記憶装置604に転送して、オフラインで処理してもよい。本開示の一実施形態例によれば、3Dオーディオ情報の処理は、オーディオ信号を解析して、方向性情報を抽出することを含み得る。説明のための一例として、3Dレコーダは、道路脇で話している2人の人のシーンの記録に使用されており、マイクロホンが道路と人々との間に位置決めされると考える。推定上、全てのマイクロホンチャネルが会話を捕捉するが、話している人々に最も近いダイアフラムに関連付けられたチャネルは、より大きな振幅の信号レベルを有することになる可能性が高く、したがって、マイクロホンの位置に相対する会話の方向性情報を提供し得る。ここで、車が通りを走ると仮定する。車が動くにつれて、音響は、車に向けられたマイクロホンダイアフラムに関連付けられた1つのチャネルで優勢であり得るが、優勢信号は、チャネルからチャネルに移り、ここでも、時間に関する車の位置についての方向性情報を提供し得る。本開示の一実施形態例によれば、複数ダイアフラム情報を上述したように使用して、マルチチャネルオーディオに方向性情報を符号化し得る。方法1800は、ブロック1810後、ブロック1812において終了することができ、ブロック1812において、処理済みの3D情報を複数のオーディオチャネルに符号化し得る。
多次元オーディオを記録する別の方法について、特定の図を参照して以下に考察する。本開示の一実施形態例によれば、3Dマイクロホンを使用して記録された信号は、適切で自然な方向性を有する、それ以上の処理が必要ない十分な品質のものであり得る。しかし、別の実施形態例によれば、3Dマイクロホンは、意図される再生システム内のスピーカの数よりも多数又は少数のダイアフラムを有し得、したがって、オーディオチャネルは、意図されるスピーカレイアウトに対応するチャネルにマッピングし得る。さらに、高品質の専用マイクロホンを使用する従来の録音技法が必要な状況では、3Dマイクロホンは主に、3D-EAソニック方向性情報を抽出するために利用し得る。そのような情報を使用して、方向性情報を、3Dマイクロホンなしで録音された可能性がある他のチャネルに符号化し得る。状況によっては、3D音響情報の処理は、3Dマイクロホン信号だけではソニック方向性を特定することができない場合、手動入力を保証し得る。ビデオフレーム内の物体又は人物の相対位置に基づいて、方向性情報をマルチチャネルオーディオに符号化することが望ましい他の状況も考えられる。したがって、処理及び符号化の方法は、マルチチャネルオーディオを手動又は自動で処理することの提供を含む。
本開示の特定の実施形態によれば、録音環境内の異なる方向から発せられる音響は、複数の受信要素を有する3Dマイクロホンを使用して捕捉して記録し得、各受信要素は、3Dマイクロホンの向きに相対して特定の方向から優勢的にやって来る音響を優先的に捕捉するように向け得る。実施形態例によれば、3Dマイクロホンは、3つ以上の方向性受信要素を含み得、各要素は、所定の空間方向から来る音響を受信するように向け得る。本開示の実施形態によれば、方向受信要素によって選択的に受信される音響は、3D音響レコーダの別個の記録チャネルに記録し得る。
一実施形態例によれば、3Dレコーダは、時間コードを少なくとも1つのチャネルに記録し得る。一実施形態では、時間コードは、SMTPE又は他の業界標準フォーマットを含み得る。別の実施形態では、時間コードは、他の装置との同期を可能にする相対タイムスタンプ情報を含み得る。一実施形態例によれば、時間コードは、3Dレコーダの少なくとも1つのチャネルに記録し得、時間コードは少なくとも1つのビデオカメラに関連付け得る。
本開示の実施形態例によれば、3Dレコーダによって記録されるチャネルは、6.0又は6.1等の所定のスピーカレイアウトに対応する出力パスにマッピングし得るか、又は向け得る。特定の実施形態では、記録されたチャネルは、6つのスピーカに対応する出力パスにマッピングし得るか、又は向け得る。特定の実施形態例では、記録されたチャネルは、ビデオフレーム内の物体の相対位置に対応する出力チャネルに向け得る。
3D-EAシステムを較正する方法例
図19は、本開示の一実施形態例による、3Dオーディオシステム100をセットアップし較正する方法1900を示す。ブロック1902において開始され、無線又は有線で較正マイクロホン108を3Dオーディオコンバータ/アンプに接続し得る。本開示の一実施形態例によれば、較正マイクロホン108は、1つ又は複数の方向性高感度ダイアフラムを含み得、したがって、上述した3Dマイクロホン108、610と同様又は同一であり得る。特定の実施形態では、単一の全方向性マイクロホンを利用することができる。方法はブロック1904に続き、スピーカ110~120は対応する出力端子232に接続される。任意選択的に、スピーカのうちの1つ又は複数が無線である場合、無線スピーカの送信器250と通信することができる。3Dオーディオコンバータ/アンプ電力のセットアップモードは、手動で入力してもよく、又は較正マイクロホンの存在に基づいて自動的に入力してもよい。セットアップ/較正方法はブロック1906に続き、本開示の一実施形態例によれば、較正マイクロホンは、3Dオーディオコンバータアンプ内の較正トーン生成器240によって生成され、スピーカ110~120を通して出力される空間トーンの相対位相及び振幅を測定し得る。較正トーン生成器240によって生成されるトーンは、インパルス、チャープ、ホワイトノイズ、ピンクノイズ、震音、変調トーン、位相シフトトーン、及びマルチトーンを含み得、スピーカの配置又は較正マイクロホンの配置を調整するようにユーザに指示する可聴プロンプトを与え得る自動プログラムで生成し得る。
方法1900はブロック1908に続き、本開示の一実施形態例によれば、較正マイクロホン108、610によって測定される信号は、部屋及びスピーカの音響を正規化するために、フィルタリング、遅延、振幅、及びルーティング等を含むシステム100又は装置300のパラメータを設定するためのフィードバックとして使用し得る。方法はブロック1910に続き、較正プロセスはブロック1906にループバックして、追加のパラメータ、残りのスピーカ、又は較正マイクロホン108、610の配置をセットアップすることができる。較正手順を通してのループは、システムが3D-EAリスニングスフィア又はドーム512を適宜セットアップすることができるように、例えば、「較正マイクロホンを約2フィート(約61cm)左に動かし、次にenterを押す」という可聴又は可視のプロンプトによって達成し得る。その他の場合、全ての較正手順が完了したとき、方法はブロック1912に続き得、較正プロセス中に計算される様々な較正パラメータは、不揮発性メモリ252に記憶して、システムが続けて電源投入される都度、自動的に呼び出されてセットアップし得、それにより、較正が必要なのは、システムが最初に部屋でセットアップされる場合、ユーザが3D-EAリスニングスフィア若しくはドーム512の直径を変更したい場合、他の専用パラメータが、本開示の他の実施形態によりセットアップされる場合のみである。方法1900は、ブロック1914後に終了することができる。
3D-EAシステムに関連付けられたスピーカを初期化し、且つ/又は較正する追加の方法について、以下に更に説明する。
本開示の一実施形態例によれば、3Dオーディオコンバータ/アンプを再生に利用する方法2000を図20に示す。ブロック2002において開始され、入力装置(オーディオソース、ビデオソース)を、3Dオーディオコンバータ/アンプ102の入力端子に接続し得る。次に、ブロック2003において、システムは任意選択的に、図19のフローチャートを参照して上述したように較正することができる。例えば、システムが部屋について前に較正されていた場合、様々な事前計算されたパラメータを不揮発性メモリ252から読み出し得、較正は必要ないことがある。方法2000はブロック2004に続き、入力端子は、手動で、又は端子への入力を検出することによって自動的に選択される。次に、方法200は、判断ブロック2006に続き得、オーディオの復号化について判断することができる。端子選択デコーダA/D214モジュールが、選択された入力オーディオが符号化されていることを検出する場合、ブロック2008に示されるように、オーディオを復号化し得る。一実施形態例によれば、ブロック1008での復号化は、例えば、別個にルーティングし処理するために、シリアルデータストリームを幾つかの並列チャネルに分割することを含み得る。復号化後、端子選択デコーダA/D214モジュールは、ブロック2010においてアナログ信号をデジタル信号に変換するために使用することもできるが、復号化信号が既にデジタルフォーマットである場合、このA/Dブロックは迂回し得る。判断ブロック2006において、オーディオが、符号化がない一般アナログステレオオーディオであると判断される場合、方法はブロック2012に進み得、マルチチャネルA/Dコンバータを介してアナログ信号をデジタルに変換し得る。一実施形態例によれば、方法はブロック2010又はブロック2012からブロック2016に進むことができ、マルチチャネルバス242及びサミング/ミキシング/ルーティングノード244と通信する入力スプリッタ/ルータモジュール216により、ルーティング機能を制御し得る。本開示の複数の実施形態例によれば、ブロック2016後、信号のルーティング及び結合の任意の数の独自の組み合わせをオーディオマイクロプロセッサ212によって提供し得る。ルーティング及び結合は、ブロック2018~2026のうちの任意若しくは全てからのデジタル信号の処理を含んでもよく、又は含まなくてもよい。例えば、オーディオの複数のチャネルは全て、レベリングアンプ518及び高速レベル制御を用いるマルチチャネルプリアンプを通してルーティングし得るが、チャネルの幾つかは、クロスオーバ220及び/又は遅延モジュール222を通してルーティングすることもできる。他の実施形態例では、全てのチャネルは、全てのモジュール218~226を通してルーティングし得る(図20のブロック2018~2026に対応する)が、特定のチャネルのみをモジュールによって処理し得る。
本開示の一実施形態例によれば、ブロック2014は、オーディファイルと対にし得るビデオ情報を示す。
信号処理後、方法2000はD/Aブロック2028に続き、更にルーティングする前に、デジタル信号をアナログに変換し得る。方法はブロック2030に続き得、アナログ信号は、プリアンプ、ソリッドステートプリアンプ、又はソリッドステートとプリアンプとの混合によって事前増幅することができる。一実施形態例によれば、ブロック2030の出力事前増幅を迂回することもできる。次に、事前増幅されるか、又は迂回された信号は、ブロック2032に示されるように、1つ又は複数のパスに続き得る。一実施形態例では、信号は、出力端子に送信する前に、マルチチャネル出力アンプ230によって出力増幅し得る。一実施形態例によれば、マルチチャネル出力アンプは、6以上の電力アンプを含み得る。別の実施形態例によれば、信号は、出力端子にルーティングされる前に、出力段248によって出力増幅し得る。更に別の実施形態例では、信号は、マルチチャネル無線送信器250に送信して、無線スピーカに送信し得る。この実施形態では、ラインレベル信号を無線送信器に送信することができ、プリアンプ246の暖かさをなお、無線スピーカ内の別個のアンプにルーティングされる信号に利用し得る。別の実施形態例によれば、ブロック2032を参照して、無線出力、チューブ出力、ソリッドステート出力、並びに無線出力、チューブ出力、及びソリッドステート出力の組み合わせを含め、上述した出力パスの任意の組み合わせを提供することができる。図20の方法はブロック2034において終了するが、方法が動的なものであり、システムが動作するにつれて、特にブロック2016からブロック2028まで連続して繰り返し得ることを理解されたい。
3次元リスニング環境での音響の見掛けのローカリゼーションを制御する追加の方法について、以下に更に説明する。
本開示の一実施形態例によれば、3D-EA再生で利用されるスピーカ又はトランスデューサは、ヘッドフォン内に搭載し得、1つ又は複数の有線又は無線接続を介して3Dオーディオコンバータ/アンプ102と通信し得る。別の実施形態例によれば、3Dヘッドフォンは、3Dオーディオコンバータ/アンプ102とインタフェースするか、又は他のオーディオソースと他の様式でインタフェースし得る。例えば、3Dヘッドフォンは、1つ又は複数の有線又は無線接続を介して3Dオーディオコンバータ/アンプ102に接続し得る。オーディオ信号を3Dオーディオコンバータ/アンプ102から3Dヘッドフォンに送信する無線情報は、無線スピーカ548の送信器を含み得る。別の実施形態によれば、多導体出力ジャックを出力端子232内に含め、別個のアンプが必要なくてよいように、増幅オーディオをヘッドフォンに提供し得る。
3D音響再生システム内の複数のスピーカを初期化又は較正する別例としての方法2100を図21に示す。本開示の一実施形態例によれば、方法2100はブロック2102において開始され、1つ又は複数の較正マイクロホンを聴き手位置の近傍に位置決めすることを含む。ブロック2104において、方法2100は、較正トーンを生成することを含む。ブロック2106において、方法2100は、複数のスピーカのうちの1つ又は複数に較正トーンを選択的にルーティングすることを含む。方法2100はブロック2108に続き、このブロックは、生成された較正トーンに基づいて、複数のスピーカから可聴トーンを生成することを含む。ブロック2110において、方法2100は、1つ又は複数の較正マイクロホンを用いて、複数のスピーカからの可聴トーンを検知することを含む。ブロック2112において、方法2100は、可聴トーンの検知に基づいて、複数のスピーカに関連付けられた1つ又は複数のパラメータを決定することを含む。ブロック2114において、方法2100は、1つ又は複数の決定されたパラメータに基づいて、3D音響再生システムの設定を変更することを含む。ブロック2114後、方法2100は終了する。
三次元リスニング環境での音響の見掛けのロケーションを制御する、一例としての方法2200を図22に示す。本開示の一実施形態例によれば、方法2200はブロック2202において開始され、1つ又は複数のオーディオチャネルを受信することを含む。ブロック2204において、方法は、1つ又は複数のオーディオチャネルに関連付けられた復号化データを受信することを含む。ブロック2206において、方法は、1つ又は複数のオーディオチャネルを複数の処理チャネルにルーティングすることを含む。ブロック2208において、方法は、少なくとも部分的に、受信した復号化データに基づいて、複数の処理チャネルに関連付けられたオーディオを選択的に処理することを含む。ブロック2210において、方法は、処理されたオーディオを複数のスピーカに出力することを含む。ブロック2210後、方法2200は終了する。
特定の実施形態において、多次元オーディオを記録する、別例としての方法2300を提供することができる。方法2300はブロック2302において開始し得、このブロックは、所定の空間方向に関して三次元(3D)マイクロホンを向けることを含む。方法2300はブロック2304に続き、このブロックは、方向性受信要素に対応する1つ又は複数の方向から音響を選択的に受信することを含む。方法2300はブロック2306に続き、このブロックは、複数の記録チャネルを有する3Dレコーダに、選択的に受信した音響を記録することを含む。方法2300はブロック2308に続き、このブロックは、時間コードを3Dレコーダの少なくとも1つのチャネルに記録することを含む。そして、方法2300はブロック2310に続き、このブロックは、記録されたチャネルを複数の出力チャネルにマッピングすることを含む。次に、方法2300は終了し得る。
本開示の実施形態例によれば、3Dオーディオコンバータ/アンプ102は、1つ又は複数のリモート制御装置、1つ又は複数の無線マイクロホン、並びに1つ又は複数の無線又はリモートスピーカ又はスピーカ受信器及び増幅モジュールと無線で通信するための1つ又は複数のリモート制御受信器、送信器、及び/又は送受信器を含み得る。一実施形態例では、無線又はリモートスピーカ受信器及び増幅モジュールは、3D-EA信号を無線送信器250から受信することができ、無線送信器250は、Bluetooth等の無線周波送信機能を含み得る。別の実施形態例では、無線送信器548は、無線スピーカ又はモジュールと通信する赤外線(光学)送信機能を含み得る。更に別の実施形態例では、電源502は、出力D/Aコンバータ228又はプリアンプ246と通信して、部屋又は施設内の既存の配電線を利用して、オーディオ信号をリモートスピーカに送信する、X10モジュール254等の送信器を含み得、リモートスピーカは、対応するX10受信器及びアンプを有し得る。
一実施形態例では、無線又は有線リモート制御装置は、3Dオーディオコンバータ/アンプ102と通信し得る。一実施形態例では、無線又は有線リモート制御装置は、3Dオーディオコンバータ/アンプ102と通信して、例えば、スピーカ較正のセットアップ、音量の調整、部屋内の3D-EA音響のイコライズのセットアップ、オーディオソースの選択、又は再生モードの選択を行い得る。別の実施形態例では、無線又は有線リモート制御装置は、3Dオーディオコンバータ/アンプ102と通信して、部屋拡張特徴(room expander feature)のセットアップ又は3D-EAリスニングスフィア若しくはドーム512のサイズの調整を行い得る。別の実施形態例では、無線又は有線リモート制御装置は、スピーカ較正を設定する1つ又は複数のマイクロホンを含み得る。
添付図に関して示され説明される方法の構成及び編成は、単なる例として示され、他の構成及び編成のシステムモジュールが、本開示の他の実施形態により存在することができる。
一実施形態例によれば、本開示は、コンピュータゲーム及び家庭用途に向けて特に設計し得る。別の実施形態例によれば、本開示は、映画館及びコンサートホール等の専門的なオーディオ用途に向けて設計し得る。
本開示の実施形態は、聴き手等に有益であり得る様々な技術的効果を提供することができる。本開示の一実施形態の一態様では、システム例及び方法例は、正確に較正される場合、ステレオ及び/又はサラウンド音響として約2倍大きく(+6dB)鳴らすことができ、また約1/6(+1dB)だけ大きくなり得る。
本開示の一実施形態の別の態様では、システム例及び方法例は、従来のステレオ又はサラウンド音響と比較して、音が約1/6大きいことがあり得るにもかかわらず、壁、床、及び天井の音の貫通度を低減し得る。このようにして、改良された音響システムを、リスニング環境外の人々が相対的な静かさを享受したいことがあるアパート、ホテル、マンション、マルチプレックスシアター、及び家庭に提供することができる。
本開示の一実施形態の別の態様では、システム例及び方法例は、標準の従来のステレオ音響フォーマットを用いて動作することができる。
本開示の一実施形態の別の態様では、システム例及び方法例は、ラジオ、テレビ、ケーブル、衛星ラジオ、デジタルラジオ、CD、DVD、DVR、ビデオゲーム、カセット、レコード、ブルーレイを含むが、これらに限定されない様々な従来の音響ソースを用いて動作することができる。
本開示の一実施形態の別の態様では、システム例及び方法例は、3D移動の感覚を生み出すように位相を変更し得る。
データファイルを作成する方法例
700等のコントローラインタフェース構成要素装置を使用する方法の一例を図24に示す。方法2400はブロック2410において開始され、オーディオデータが受信される。
ブロック2410の後にブロック2420が続き、ソニック空間データが受信される。
ブロック2420の後にブロック2430が続き、オーディオデータ及びソニック空間データは、少なくとも1つの時間コードと結合される。
図25は、本開示の一実施形態による、音響ファイルを記録する方法例のフローチャートを示す。ソニック空間データ(SSD)を使用して、ユーザは、他のオーディオ信号を有する音響ファイルを記録することができるか、又は他の様式で3D音響記録フォーマットファイルを生成することができる。方法2500はブロック2510において開始することができ、オーディオ信号が受信される。例えば、オーディオ信号は、モノ信号又はステレオ信号であることができる。特定の場合、オーディオ信号は、データ記憶装置若しくはオーディオファイルに記憶された、予め記録されるモノ又はステレオ信号であってもよく、又はオーディオソースから受信されるライブ若しくは他の様式で遅延されたモノ若しくはステレオ信号であることができる。図25の実施形態では、図3の300と同様の3Dオーディオ再生ユニット又はインタフェースコントローラを使用して、オーディオ信号を受信することができる。特定の実施形態では、ユニット300又はインタフェースコントローラは、オーディオ信号を記憶して、続けて再生又は処理することができる。
ブロック2510の後にブロック2520が続き、ソニック空間データが受信される。例えば、ソニック空間データは、図4のリスニング環境400又は図5のリスニング環境500に示されるスピーカ配置での6つのスピーカそれぞれに1つずつ、6つの音量レベル及び6つの遅延レベルを含むが、これらに限定されない12のデータ点を含むことができる。特定の実施形態では、6.1オーディオ出力の場合、サブチャネルを合算して、ソニック空間データの別のデータ点として使用することができる。図25の実施形態では、図3の300と同様の3Dオーディオ再生ユニット又はインタフェースコントローラを使用して、ソニック空間データを受信することができる。ユニット300又はインタフェースコントローラは、図8~図14の800と同様の1つ又は複数の入力制御装置又はフットペダルと通信し得、入力制御装置又はフットペダルは、ソニック空間データに関する1つ又は複数のユーザ入力を受信し得る。特定の実施形態では、ユニット300又はインタフェースコントローラは、ソニック空間データを記憶し、続けて再生又は処理することができる。
ブロック2520の後にブロック2530が続き、ソニック空間データにオーディオ信号が関連付けられ、ソニック空間データに更に時間コードが関連付けられる。図25の実施形態では、図3の300と同様の3Dオーディオ再生ユニット又はインタフェースコントローラは、ソニック空間データにオーディオ信号に関連付けることができる。さらに、ユニット300又はインタフェースコントローラは、ソニック空間データに時間コードを関連付けることができる。いずれの場合でも、ユニット300又はインタフェースコントローラを使用して、12のデータ点のうちの幾つか又は全てを独立して、リアルタイムで制御し調整することができる。
ブロック2530の後にブロック2540が続き、ファイルが生成されて、ソニック空間データ、オーディオ信号、及び時間コードを記憶する。図25の実施形態では、図15の300と同様の3Dオーディオ再生ユニット又はインタフェースコントローラは、ファイルを生成して、ソニック空間データ、オーディオ信号、及び時間コードを記憶することができる。
一実施形態では、図3の300と同様の3Dオーディオ再生ユニットの1つ若しくは複数のチャネル又はインタフェースコントローラは、オーディオデータファイル、空間データファイル、符号化オーディオファイル、3D-EAオーディオ出力ファイル、又は同様のファイルを、それぞれ予め割り当てられたプリセットボタンを通して再生又は他の様式で記録することができる。
一実施形態では、オーディオデータファイル、空間データファイル、符号化オーディオファイル、又は3D-EAオーディオ出力ファイルは、相互交換可能であり、記録可能であり、再生可能であり、且つ保存可能であることができる。
入力装置を使用する方法例
図26は、本開示の一実施形態による、ソニック空間データを制御し記憶する方法例のフローチャートを示す。方法2600はブロック2610において開始することができ、X軸、Y軸、及び/又はZ軸制御機構を使用する入力制御装置を提供することができる。例えば、図8~図14に示される800等の入力制御装置を提供することができる。
ブロック2610の後にブロック2620が続き、X軸、Y軸、及びZ軸制御機構の入力コマンドを受信することができる。例えば、ユーザは、入力制御装置800を操作して、X軸、Y軸、及び/又はZ軸についてのコマンドを入力することができる。
ブロック2620の後にブロック2630が続き、対応するX軸、Y軸、及び/又はZ軸ソニック空間データを記憶することができる。例えば、入力制御装置800は、ユーザからのX軸入力、Y軸入力、及び/又はZ軸入力を記憶することができ、入力制御装置800及び/又は関連付けられたコンピュータ実行可能命令は、入力を対応するソニック空間データに変換することができる。
本開示の実施形態例によれば、3Dオーディオコンバータ/アンプ300は、1つ又は複数のリモート制御装置、1つ又は複数の無線マイクロホン、並びに1つ又は複数の無線又はリモートスピーカ又はスピーカ受信器及び増幅モジュールと無線で通信するための1つ又は複数のリモート制御受信器、送信器、及び/又は送受信器を含み得る。一実施形態例では、無線又はリモートスピーカ受信器及び増幅モジュールは、3D-EA信号を無線送信器250から受信することができ、無線送信器250は、Bluetooth等の無線周波送信機能を含み得る。別の実施形態例では、無線送信器250は、無線スピーカ又はモジュールと通信する赤外線(光学)送信機能を含み得る。更に別の実施形態例では、電源202は、出力D/Aコンバータ228又はプリアンプ246と通信して、部屋又は施設内の既存の配電線を利用して、オーディオ信号をリモートスピーカに送信する、X10モジュール254等の送信器を含み得、リモートスピーカは、対応するX10受信器及びアンプを有し得る。
一実施形態例では、無線又は有線リモート制御装置は、3Dオーディオコンバータ/アンプ102と通信し得る。一実施形態例では、無線又は有線リモート制御装置は、3Dオーディオコンバータ/アンプ102と通信して、例えば、スピーカ較正のセットアップ、音量の調整、部屋内の3D-EA音響のイコライズのセットアップ、オーディオソースの選択、又は再生モードの選択を行い得る。別の実施形態例では、無線又は有線リモート制御装置は、3Dオーディオコンバータ/アンプ102と通信して、部屋拡張特徴のセットアップ又は3D-EAリスニングスフィア若しくはドーム512のサイズの調整を行い得る。別の実施形態例では、無線又は有線リモート制御装置は、スピーカ較正を設定する1つ又は複数のマイクロホンを含み得る。
開示の他の実施形態
少なくとも1つの実施形態によれば、三次元オーディオ音響を再生する方法は、モノオーディオ信号を受信することと、モノオーディオ信号を6チャネル信号に変換することとを含むことができ、6チャネル信号は、3D-EAスピーカアレイにわたって再生され、3D-EAスピーカアレイは、聴き手を中心としたドーム形リスニング環境に役立つ。
本実施形態の少なくとも1つの態様では、変換することは、3D-EAスピーカアレイ内の6つのスピーカのうちの少なくとも1つに出力される6チャネル信号に関連付けられた音量及び/又は遅延を変更することを含む。
本実施形態の少なくとも1つの態様では、変換することは、ソニック空間データを受信することと、少なくとも部分的にソニック空間データに基づいて、6チャネル信号に関連付けられた音量及び/又は遅延を変更することとを含む。
本実施形態の少なくとも1つの態様では、ソニック空間データはテーブル又は空間データファイルに記憶される。
本実施形態の少なくとも1つの態様では、ソニック空間データは、タッチスクリーン装置又は入力制御装置への1つ又は複数のユーザ入力から受信される。
本実施形態の少なくとも1つの態様では、ソニック空間データは、予め定義されるソニック空間マップを含むリスニング環境への遅延又は音量調整を含む。
本実施形態の少なくとも1つの態様では、3D-EAスピーカアレイは、聴き手に対して前方左位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して前方右位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して後方左位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して後方右位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して前方上位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して後方上位置にある、6つのスピーカのうちの少なくとも1つとを含む。
少なくとも1つの実施形態によれば、三次元オーディオ音響を再生するシステムは、モノオーディオ信号を受信するように動作可能な少なくとも1つの入力モジュールと、モノオーディオ信号を6チャネル信号に変換するように動作可能な少なくとも1つの処理モジュールとを含むことができ、6チャネル信号は、3D-EAスピーカアレイにわたって再生され、3D-EAスピーカアレイは、聴き手の周囲のドーム形リスニング環境に役立つ。
本実施形態の少なくとも1つの態様では、変換することは、3D-EAスピーカアレイ内の6つのスピーカのうちの少なくとも1つに出力する6チャネル信号に関連付けられた音量及び/又は遅延を変更することを含む。
本実施形態の少なくとも1つの態様では、少なくとも1つの処理モジュールは、ソニック空間データを受信することと、少なくとも部分的にソニック空間データに基づいて、6チャネル信号に関連付けられた音量及び/又は遅延を変更するように更に動作可能である。
本実施形態の少なくとも1つの態様では、ソニック空間データは、テーブル又は空間データファイルに記憶される。
本実施形態の少なくとも1つの態様では、ソニック空間データは、タッチスクリーン装置又は入力制御装置への1つ又は複数のユーザ入力から受信される。
本実施形態の少なくとも1つの態様では、ソニック空間データは、予め定義されるソニック空間マップを含むリスニング環境への遅延又は音量調整を含む。
本実施形態の少なくとも1つの態様では、3D-EAスピーカアレイのうちの少なくとも1つは、聴き手に対して前方左位置にあり、3D-EAスピーカアレイのうちの少なくとも1つは、聴き手に対して前方右位置にあり、3D-EAスピーカアレイのうちの少なくとも1つは、聴き手に対して後方左位置にあり、3D-EAスピーカアレイのうちの少なくとも1つは、聴き手に対して後方右位置にあり、3D-EAスピーカアレイのうちの少なくとも1つは、聴き手に対して前方上位置にあり、3D-EAスピーカアレイのうちの少なくとも1つは、聴き手に対して後方上位置にある。
少なくとも1つの実施形態によれば、コンピュータ実行可能命令を記憶した1つ又は複数のコンピュータ可読媒体であって、命令は、少なくとも1つのプロセッサによって実行されると、モノオーディオ信号を受信し、モノオーディオ信号を6チャネル信号に変換するように、少なくとも1つのプロセッサを構成し、6チャネル信号は、3D-EAスピーカアレイにわたって再生され、3D-EAスピーカアレイは、聴き手を中心としたドーム形リスニング環境に役立つ。
本実施形態の少なくとも1つの態様では、コンピュータ実行可能命令は、ソニック空間データを受信し、少なくとも部分的にソニック空間データに基づいて、6チャネル信号に関連付けられた音量及び/又は遅延を変更するように、少なくとも1つのプロセッサを更に構成する。
本実施形態の少なくとも1つの態様では、ソニック空間データはテーブル又は空間データファイルに記憶される。
本実施形態の少なくとも1つの態様では、ソニック空間データは、タッチスクリーン装置又は入力制御装置への1つ又は複数のユーザ入力から受信される。
本実施形態の少なくとも1つの態様では、ソニック空間データは、予め定義されるソニック空間マップを含むリスニング環境への遅延又は音量調整を含む。
本実施形態の少なくとも1つの態様では、3D-EAスピーカアレイは、聴き手に対して前方左位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して前方右位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して後方左位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して後方右位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して前方上位置にある、6つのスピーカのうちの少なくとも1つと、聴き手に対して後方上位置にある、6つのスピーカのうちの少なくとも1つとを含む。
少なくとも1つの実施形態によれば、方法は、少なくとも1つのオーディオ信号を受信することと、ソニック空間データを受信することと、ソニック空間データに少なくとも1つの時間コードを関連付けることと、ソニック空間データ、少なくとも1つのオーディオ信号、及び時間コードを符号化音響ファイルに記憶することとを含むことができる。
本実施形態の少なくとも1つの態様では、ソニック空間データに少なくとも1つのオーディオ信号を関連付けることは、ソニック空間データからX軸データ、Y軸データ、又はZ軸データを復号化することと、少なくとも部分的に、復号化されたX軸データ、Y軸データ、又はZ軸データに基づいて、少なくとも1つのオーディオ信号での遅延又は音量への調整を決定することとを更に含む。
本実施形態の少なくとも1つの態様では、ソニック空間データは、X軸データ、Y軸データ、又はZ軸データを含み、ソニック空間データに少なくとも1つのオーディオ信号を関連付けることは、少なくとも部分的に、復号化されたX軸データ、Y軸データ、又はZ軸データに基づいて、少なくとも1つのオーディオ信号での遅延又は音量への調整を決定することを更に含む。
本実施形態の少なくとも1つの態様では、少なくとも1つのオーディオ信号は複数のオーディオ信号又はチャネルを含み、ソニック空間データは、複数のオーディオ信号又はチャネルでの遅延及び音量への調整を決定するためのX軸データ、Y軸データ、及びZ軸データを含む。
本実施形態の少なくとも1つの態様では、調整は、少なくとも部分的に、予め定義されるソニック空間マップに記憶される遅延又は音量の調整に基づく。
本実施形態の少なくとも1つの態様では、調整は、少なくとも部分的に、予め定義されるソニック空間マップに記憶される遅延又は音量調整に基づく。
少なくとも1つの実施形態によれば、システムは、コンピュータ実行可能命令を記憶するように動作可能なメモリと、コンピュータ実行可能命令を実行するように動作可能なプロセッサとを含むことができ、命令は、オーディオ信号を受信し、ソニック空間データを受信し、ソニック空間データにオーディオ信号を関連付け、オーディオ信号及びソニック空間データに時間コードを関連付け、ソニック空間データ、オーディオ信号、及び時間コードを符号化音響ファイルに記憶するように使用可能である。
本実施形態の少なくとも1つの態様では、プロセッサは、ソニック空間データからX軸データ、Y軸データ、又はZ軸データを復号化し、少なくとも部分的に、復号化されたX軸データ、Y軸データ、又はZ軸データに基づいて、少なくとも1つのオーディオ信号での遅延又は音量への調整を決定するように動作可能なコンピュータ実行可能命令を実行するように更に動作可能である。
本実施形態の少なくとも1つの態様では、ソニック空間データは、X軸データ、Y軸データ、又はZ軸データを含み、プロセッサは、少なくとも部分的に、X軸データ、Y軸データ、又はZ軸データに基づいて、少なくとも1つのオーディオ信号での遅延又は音量への調整を決定するように動作可能なコンピュータ実行可能命令を実行するように更に動作可能である。
本実施形態の少なくとも1つの態様では、少なくとも1つのオーディオ信号は、複数のオーディオ信号又はチャネルを含み、ソニック空間データは、複数のオーディオ信号又はチャネルでの遅延及び音量への調整を決定するためのX軸データ、Y軸データ、及びZ軸データを含む。
本実施形態の少なくとも1つの態様では、調整は、少なくとも部分的に、予め定義されるソニック空間マップに記憶される遅延又は音量調整に基づく。
本実施形態の少なくとも1つの態様では、調整は、少なくとも部分的に、予め定義されるソニック空間マップに記憶される遅延又は音量調整に基づく。
少なくとも1つの実施形態によれば、コンピュータ実行可能命令を記憶した1つ又は複数のコンピュータ可読媒体であって、命令は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのオーディオ信号を受信し、ソニック空間データを受信し、ソニック空間データに少なくとも1つのオーディオ信号を関連付け、少なくとも1つのオーディオ信号及びソニック空間データに時間コードを関連付け、ソニック空間データ、少なくとも1つのオーディオ信号、及び時間コードを符号化音響ファイルに記憶するように、少なくとも1つのプロセッサを構成する。
本実施形態の少なくとも1つの態様では、コンピュータ実行可能命令は、ソニック空間データからX軸データ、Y軸データ、又はZ軸データを復号化し、少なくとも部分的に、復号化されたX軸データ、Y軸データ、又はZ軸データに基づいて、少なくとも1つのオーディオ信号での遅延又は音量への調整を決定するように、少なくとも1つのプロセッサを更に構成する。
本実施形態の少なくとも1つの態様では、ソニック空間データは、X軸データ、Y軸データ、又はZ軸データを含み、コンピュータ実行可能命令は、少なくとも部分的に、復号化されたX軸データ、Y軸データ、又はZ軸データに基づいて、少なくとも1つのオーディオ信号での遅延又は音量への調整を決定するように、少なくとも1つのプロセッサを更に構成する。
本実施形態の少なくとも1つの態様では、少なくとも1つのオーディオ信号は、複数のオーディオ信号又はチャネルを含み、ソニック空間データは、複数のオーディオ信号又はチャネルでの遅延及び音量への調整を決定するためのX軸データ、Y軸データ、及びZ軸データを含む。
本実施形態の少なくとも1つの態様では、調整は、少なくとも部分的に、予め定義されるソニック空間マップに記憶される遅延又は音量調整に基づく。
本実施形態の少なくとも1つの態様では、調整は、少なくとも部分的に、予め定義されるソニック空間マップに記憶される遅延又は音量調整に基づく。
本明細書に開示される方法は、単なる例としてのものであり、本開示の実施形態による他の方法は、本明細書に記載される方法例よりも少数又はより多数の要素又はステップ及びこれら又は他のステップの様々な組み合わせを含め、他の要素又はステップを含むことができる。
上記説明は多くの詳細を含むが、これらの詳細は、本開示の範囲への限定として解釈されるべきではなく、開示される実施形態の単なる例示として解釈されたい。本開示の範囲内で、当業者は多くの他の可能な変形を考案するだろう。
本開示は、本開示の実施形態例によるシステム、方法、装置、及び/又はコンピュータプログラム製品のブロック及び流れ図を参照して上述されている。ブロック図及び流れ図の1つ又は複数のブロック並びにブロック図及び流れ図内のブロックの組み合わせをそれぞれ、コンピュータ実行可能プログラム命令によって実施可能なことが理解されよう。同様に、ブロック図及び流れ図の幾つかのブロックは、必ずしも、提示される順序で実行される必要がないこともあれば、本開示の幾つかの実施形態により、全く実行する必要がないこともある。
これらのコンピュータ実行可能プログラム命令は、汎用コンピュータ、専用コンピュータ、プロセッサ、又は他のプログラマブルデータ処理装置にロードして、コンピュータ、プロセッサ、又は他のプログラマブルデータ処理装置で実行される命令が、フローチャートの1つ又は複数のブロックにおいて指定される1つ又は複数の機能を実施する手段を生成するような特定のマシンを生成し得る。これらのコンピュータプログラム命令は、コンピュータ可読メモリに記憶することもでき、このメモリは、コンピュータ可読メモリに記憶された命令が、流れ図の1つ又は複数のブロックで指定される1つ又は複数の機能を実施する命令手段を含む製品を生成するような特定の様式で機能するように、コンピュータ又は他のプログラマブルデータ処理装置に指示することができる。一例として、本開示の実施形態は、コンピュータ可読プログラムコード又はプログラム命令が埋め込まれたコンピュータ使用可能媒体を含むコンピュータプログラム製品を提供し得、上記コンピュータ可読プログラムコードは、実行されて、流れ図の1つ又は複数のブロックで指定される1つ又は複数の機能を実施するように構成される。コンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置にロードして、一連の動作要素又はステップをコンピュータ又は他のプログラマブル装置で実行させて、コンピュータ又は他のプログラマブル装置で実行される命令が、流れ図の1つ又は複数のブロックで指定される機能を実施する要素又はステップを提供するようなコンピュータ実施プロセスを生成することもできる。
したがって、ブロック図及び流れ図のブロックは、指定される機能を実行する手段の組み合わせ、指定された機能を実行する要素又はステップの組み合わせ、及び指定された機能を実行するプログラム命令手段をサポートする。ブロック図及び流れ図の各ブロック並びにブロック図及び流れ図でのブロックの組み合わせを、指定された機能、要素、若しくはステップを実行する専用ハードウェアベースコンピュータシステム又は専用ハードウェア及びコンピュータ命令の組み合わせによっても実施可能なことが理解されよう。
特定の実施形態では、指定された機能、要素、又はステップの実行は、製品を別の状態又は物に変換することができる。例えば、本開示の実施形態例は、符号化オーディオ電子信号を時変音響圧レベルに変換する特定のシステム及び方法を提供することができる。本開示の実施形態例は、位置情報を方向性オーディオに変換する更なるシステム及び方法を提供することができる。
本明細書に記載される本開示の多くの変更及び他の実施形態が、上記説明及び関連する図面に提示される教示を利用して明らかになろう。したがって、本開示が開示される特定の実施形態に限定されず、変更及び他の実施形態が添付の範囲内に含まれることが意図されることを理解されたい。本明細書では特定の用語が利用されるが、それらは、限定ではなく、一般的で記述的な意味でのみ使用されている。

Claims (1)

  1. 少なくとも1つのメモリと通信する少なくとも1つのプロセッサであって、コンピュータ実行可能命令を実行するように動作可能な、少なくとも1つのプロセッサと、
    め定義されるリスニング環境でのソニック空間データに対応するユーザ入力を受け取り、前記ユーザ入力を少なくとも1つのプロセッサに送信するように動作可能な、入力装置であって、前記ユーザ入力は、オーディオ信号に関連付けられたソニック空間データに対応するX軸方向又はY軸方向と、オーディオ信号に関連付けられたソニック空間データに対応するZ軸方向を示す、入力装置と、
    を含み、
    前記コンピュータ実行可能命令は、
    前記ユーザ入力を受信し、
    ソニック空間データ内の第1および第2のデータ点の少なくとも一方を独立して調整することにより、前記ユーザ入力を前記ソニック空間データに変換し、前記第1のデータ点のセットは複数の独立調整可能な音量レベルに対応し、前記第2のデータ点のセットは複数の独立調整可能な遅延レベルに対応し、
    前記ソニック空間データに時間コードを関連付け、
    前記ソニック空間データ、オーディオ信号、及び時間コードを記憶するように使用可能であり、
    前記入力装置は、支持ベースによって支持されるスティックに取り付けられるペダルを含み、更に、前記入力装置は、前記支持ベースに対して前記ペダルをスライドさせるように動作可能なスライド機構を含む、システム。
JP2021078281A 2012-12-20 2021-05-06 三次元拡張オーディオを提供するシステム及び方法 Active JP7389081B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261740035P 2012-12-20 2012-12-20
US61/740,035 2012-12-20
US201361801278P 2013-03-15 2013-03-15
US61/801,278 2013-03-15
JP2019028303A JP2019097204A (ja) 2012-12-20 2019-02-20 三次元拡張オーディオを提供するシステム及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019028303A Division JP2019097204A (ja) 2012-12-20 2019-02-20 三次元拡張オーディオを提供するシステム及び方法

Publications (2)

Publication Number Publication Date
JP2021131882A JP2021131882A (ja) 2021-09-09
JP7389081B2 true JP7389081B2 (ja) 2023-11-29

Family

ID=50031505

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015549767A Active JP6486833B2 (ja) 2012-12-20 2013-12-20 三次元拡張オーディオを提供するシステム及び方法
JP2019028303A Pending JP2019097204A (ja) 2012-12-20 2019-02-20 三次元拡張オーディオを提供するシステム及び方法
JP2021078281A Active JP7389081B2 (ja) 2012-12-20 2021-05-06 三次元拡張オーディオを提供するシステム及び方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015549767A Active JP6486833B2 (ja) 2012-12-20 2013-12-20 三次元拡張オーディオを提供するシステム及び方法
JP2019028303A Pending JP2019097204A (ja) 2012-12-20 2019-02-20 三次元拡張オーディオを提供するシステム及び方法

Country Status (5)

Country Link
US (4) US10725726B2 (ja)
EP (1) EP2936839B1 (ja)
JP (3) JP6486833B2 (ja)
CN (1) CN105210387B (ja)
WO (1) WO2014100554A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9378747B2 (en) * 2012-05-07 2016-06-28 Dolby International Ab Method and apparatus for layout and format independent 3D audio reproduction
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
JP6216553B2 (ja) * 2013-06-27 2017-10-18 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
WO2016028263A1 (en) * 2014-08-18 2016-02-25 Nunntawi Dynamics Llc Optimizing the performance of an audio playback system with a linked audio/video feed
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9930462B2 (en) * 2014-09-14 2018-03-27 Insoundz Ltd. System and method for on-site microphone calibration
CN107431861B (zh) * 2015-04-02 2021-03-09 杜比实验室特许公司 用于自适应音频渲染系统的分布式放大
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
WO2017045077A1 (en) * 2015-09-16 2017-03-23 Rising Sun Productions Limited System and method for reproducing three-dimensional audio with a selectable perspective
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
US10206040B2 (en) * 2015-10-30 2019-02-12 Essential Products, Inc. Microphone array for generating virtual sound field
US9596544B1 (en) * 2015-12-30 2017-03-14 Gregory Douglas Brotherton Head mounted phased focused speakers
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US9866965B2 (en) * 2016-02-08 2018-01-09 Sony Corporation Auto-configurable speaker system
WO2017156622A1 (en) * 2016-03-13 2017-09-21 Rising Sun Productions Limited Head-mounted audiovisual capture device
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) * 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10255032B2 (en) * 2016-12-13 2019-04-09 EVA Automation, Inc. Wireless coordination of audio sources
JP2018101452A (ja) * 2016-12-20 2018-06-28 カシオ計算機株式会社 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造
US11133036B2 (en) 2017-03-13 2021-09-28 Insoundz Ltd. System and method for associating audio feeds to corresponding video feeds
JP6787486B2 (ja) * 2017-04-12 2020-11-18 ヤマハ株式会社 情報処理装置、情報処理方法、及びプログラム
BR112019023170A2 (pt) 2017-05-03 2020-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Processador de áudio, sistema, método e programa de computador para renderização de áudio
CN107750035A (zh) * 2017-10-31 2018-03-02 北京酷我科技有限公司 一种音频播放动画效果的算法
GB201800920D0 (en) 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback
JP7381483B2 (ja) * 2018-04-04 2023-11-15 ハーマン インターナショナル インダストリーズ インコーポレイテッド 自然な空間多様性をシミュレートするための動的オーディオアップミキサのパラメータ
EP3777244A4 (en) * 2018-04-08 2021-12-08 DTS, Inc. EXTRACTION OF AMBISONIC DEPTHS
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
CN109325052B (zh) * 2018-09-29 2021-06-04 创新先进技术有限公司 一种数据处理方法及装置
US11924625B2 (en) 2019-05-30 2024-03-05 Harman International Industries, Incorporated Method and system for room calibration in a speaker system
US11363382B2 (en) * 2019-05-31 2022-06-14 Apple Inc. Methods and user interfaces for audio synchronization
US11341952B2 (en) 2019-08-06 2022-05-24 Insoundz, Ltd. System and method for generating audio featuring spatial representations of sound sources
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
FI20195726A1 (en) * 2019-09-02 2021-03-03 Genelec Oy A system and method for producing complementary sound
KR102242010B1 (ko) * 2019-10-21 2021-04-19 네이버 주식회사 다중 음원 믹싱 방법 및 시스템
CN111586510B (zh) * 2020-04-10 2021-07-23 深圳市爱图仕影像器材有限公司 一种无线麦克风装置及其使用方法
JP7350698B2 (ja) * 2020-09-09 2023-09-26 株式会社東芝 音響装置及び音響装置のボリューム制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004045902A (ja) 2002-07-15 2004-02-12 Kawai Musical Instr Mfg Co Ltd 電子楽器
JP2008109209A (ja) 2006-10-23 2008-05-08 Sony Corp 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US20100260342A1 (en) 2009-04-14 2010-10-14 Strubwerks Llc Systems, methods, and apparatus for controlling sounds in a three-dimensional listening environment
JP2011143817A (ja) 2010-01-14 2011-07-28 Denso Corp 車両用操作入力装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3710034A (en) * 1970-03-06 1973-01-09 Fibra Sonics Multi-dimensional sonic recording and playback devices and method
JP2682240B2 (ja) * 1991-01-16 1997-11-26 ヤマハ株式会社 電子楽器
JPH054246U (ja) * 1991-06-30 1993-01-22 ミツミ電機株式会社 座標入力装置
JPH07111663B2 (ja) 1993-12-28 1995-11-29 コナミ株式会社 操作用フットペダル
US5920842A (en) * 1994-10-12 1999-07-06 Pixel Instruments Signal synchronization
US5764777A (en) 1995-04-21 1998-06-09 Bsg Laboratories, Inc. Four dimensional acoustical audio system
JPH1078775A (ja) * 1996-09-03 1998-03-24 Roland Corp 音像定位装置
US5912976A (en) * 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
US6689947B2 (en) * 1998-05-15 2004-02-10 Lester Frank Ludwig Real-time floor controller for control of music, signal processing, mixing, video, lighting, and other systems
EP1134724B1 (en) * 2000-03-17 2008-07-23 Sony France S.A. Real time audio spatialisation system with high level control
US6632174B1 (en) * 2000-07-06 2003-10-14 Cognifit Ltd (Naiot) Method and apparatus for testing and training cognitive ability
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US8139797B2 (en) * 2002-12-03 2012-03-20 Bose Corporation Directional electroacoustical transducing
US20070128899A1 (en) * 2003-01-12 2007-06-07 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
US7558393B2 (en) 2003-03-18 2009-07-07 Miller Iii Robert E System and method for compatible 2D/3D (full sphere with height) surround sound reproduction
US20050057502A1 (en) 2003-08-29 2005-03-17 Arneson Theodore R. Joystick controller for cellular telephone
US20050071764A1 (en) * 2003-09-28 2005-03-31 Denny Jaeger Method for creating a collection of multimedia interactive graphic elements using arrow logic
US7653203B2 (en) * 2004-01-13 2010-01-26 Bose Corporation Vehicle audio system surround modes
US7818077B2 (en) * 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
JP4439351B2 (ja) * 2004-07-28 2010-03-24 アルパイン株式会社 振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US7402743B2 (en) * 2005-06-30 2008-07-22 Body Harp Interactive Corporation Free-space human interface for interactive music, full-body musical instrument, and immersive media controller
US8134644B2 (en) * 2005-10-15 2012-03-13 Cooper J Carl Audio synchronizer control and communications method and apparatus
US20110111849A1 (en) 2005-12-06 2011-05-12 Microvision, Inc. Spatially Aware Mobile Projection
US20070282564A1 (en) 2005-12-06 2007-12-06 Microvision, Inc. Spatially aware mobile projection
US8239032B2 (en) * 2006-08-29 2012-08-07 David Charles Dewhurst Audiotactile vision substitution system
US20080129683A1 (en) 2006-12-01 2008-06-05 Tianhou Li Foot-operated electronic device controller
EP1954019A1 (en) * 2007-02-01 2008-08-06 Research In Motion Limited System and method for providing simulated spatial sound in a wireless communication device during group voice communication sessions
JP4372169B2 (ja) * 2007-02-26 2009-11-25 株式会社ソニー・コンピュータエンタテインメント オーディオ再生装置およびオーディオ再生方法
US20080301579A1 (en) * 2007-06-04 2008-12-04 Yahoo! Inc. Interactive interface for navigating, previewing, and accessing multimedia content
US8130207B2 (en) * 2008-06-18 2012-03-06 Nokia Corporation Apparatus, method and computer program product for manipulating a device using dual side input devices
TWI469001B (zh) * 2008-07-31 2015-01-11 Htc Corp 可觸控式電子裝置及其操作方法
US8320588B2 (en) * 2009-02-10 2012-11-27 Mcpherson Jerome Aby Microphone mover
US20130176403A1 (en) * 2011-08-16 2013-07-11 Kenneth Varga Heads up display (HUD) sensor system
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5811597B2 (ja) * 2011-05-31 2015-11-11 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
JP2013013042A (ja) * 2011-06-02 2013-01-17 Denso Corp 立体音響装置
US20140309852A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic vehicle diagnostic detection and communication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004045902A (ja) 2002-07-15 2004-02-12 Kawai Musical Instr Mfg Co Ltd 電子楽器
JP2008109209A (ja) 2006-10-23 2008-05-08 Sony Corp 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US20100260342A1 (en) 2009-04-14 2010-10-14 Strubwerks Llc Systems, methods, and apparatus for controlling sounds in a three-dimensional listening environment
JP2011143817A (ja) 2010-01-14 2011-07-28 Denso Corp 車両用操作入力装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
五十川祐次,"立体音場をステレオ再生環境で生み出すオーサリング・ソフトのMac版",Sound & Recording Magazine,Vol.29,No.7,2010年07月01日,pp.126-127
長嶌寛幸,"リアルな立体音場をステレオ再生環境で生み出すWindows用ソフト",Sound & Recording,Vol.28,No.12,2009年12月01日,p.135

Also Published As

Publication number Publication date
US10725726B2 (en) 2020-07-28
EP2936839A1 (en) 2015-10-28
CN105210387A (zh) 2015-12-30
US20140177846A1 (en) 2014-06-26
WO2014100554A1 (en) 2014-06-26
US20140177847A1 (en) 2014-06-26
JP2016507771A (ja) 2016-03-10
JP6486833B2 (ja) 2019-03-20
US9983846B2 (en) 2018-05-29
US9681248B2 (en) 2017-06-13
US20140180684A1 (en) 2014-06-26
JP2019097204A (ja) 2019-06-20
US20170131968A1 (en) 2017-05-11
JP2021131882A (ja) 2021-09-09
EP2936839B1 (en) 2020-04-29
US9467793B2 (en) 2016-10-11
CN105210387B (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
JP7389081B2 (ja) 三次元拡張オーディオを提供するシステム及び方法
US8699849B2 (en) Systems, methods, and apparatus for recording multi-dimensional audio
US10440492B2 (en) Calibration of virtual height speakers using programmable portable devices
JP5702599B2 (ja) 音声データを処理するデバイス及び方法
CN1233201C (zh) 优化三维音响的系统和方法
KR20110069112A (ko) 보청기 시스템에서 바이노럴 스테레오를 렌더링하는 방법 및 보청기 시스템
JP6246922B2 (ja) 音響信号処理方法
JP2004201194A (ja) ヘッドホン装置
JP6111611B2 (ja) オーディオアンプ
CN1091889A (zh) 用于声象增强的立体声控制装置和方法
JP2021090156A (ja) ヘッドホン
JP2006513656A (ja) サウンドを発生させるための装置および方法
JP2005157278A (ja) 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム
JPH0415693A (ja) 音源情報制御装置
JP5194614B2 (ja) 音場形成装置
JP6716636B2 (ja) 設定可能なゾーンを有するオーディオシステム
WO2007096792A1 (en) Device for and a method of processing audio data
KR101657110B1 (ko) 휴대용 노래반주 셋탑 박스
JP2009194924A (ja) サウンドを発生させるための装置および方法
JP2009189027A (ja) サウンドを発生させるための装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220720

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221020

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231116

R150 Certificate of patent or registration of utility model

Ref document number: 7389081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150