JP6336968B2 - 呼中における三次元サウンド圧縮及びオーバー・ザ・エア送信 - Google Patents

呼中における三次元サウンド圧縮及びオーバー・ザ・エア送信 Download PDF

Info

Publication number
JP6336968B2
JP6336968B2 JP2015514045A JP2015514045A JP6336968B2 JP 6336968 B2 JP6336968 B2 JP 6336968B2 JP 2015514045 A JP2015514045 A JP 2015514045A JP 2015514045 A JP2015514045 A JP 2015514045A JP 6336968 B2 JP6336968 B2 JP 6336968B2
Authority
JP
Japan
Prior art keywords
communication device
wireless communication
audio
band
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015514045A
Other languages
English (en)
Other versions
JP2015523594A (ja
JP2015523594A5 (ja
Inventor
ビッサー、エリック
キム、レ−ホン
シャン、ペイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015523594A publication Critical patent/JP2015523594A/ja
Publication of JP2015523594A5 publication Critical patent/JP2015523594A5/ja
Application granted granted Critical
Publication of JP6336968B2 publication Critical patent/JP6336968B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/16—Circuits
    • H04B1/20—Circuits for coupling gramophone pick-up, recorder output, or microphone to receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H04B7/26—Radio transmission systems, i.e. using radiation field for communication between two or more posts at least one of which is mobile
    • H04B7/2662—Arrangements for Wireless System Synchronisation
    • H04B7/2671—Arrangements for Wireless Time-Division Multiple Access [TDMA] System Synchronisation
    • H04B7/2678—Time synchronisation
    • H04B7/2687—Inter base stations synchronisation
    • H04B7/2696—Over the air autonomous synchronisation, e.g. by monitoring network activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic Arrangements (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

関連出願
［０００１］本出願は、“THREE-DIMENSIONAL SOUND COMPRESSION AND OVER-THE-AIR TRANSMISSION DURING A CALL”（呼中における三次元サウンド圧縮及びオーバー・ザ・エア送信）に関する米国仮特許出願一連番号第６１／６５１，１８５号（出願日：２０１２年５月２４日）に関するものであり、“THREE-DIMENSIONAL SOUND COMPRESSION AND OVER-THE-AIR TRANSMISSION DURING A CALL”（呼中における三次元サウンド圧縮及びオーバー・ザ・エア送信）に関する米国仮特許出願一連番号第６１／６５１，１８５号（出願日：２０１２年５月２４日）からの優先権を主張するものである。
［０００２］本開示は、オーディオ信号処理に関するものである。より具体的には、本開示は、呼中における三次元サウンド圧縮及びオーバー・ザ・エア送信に関するものである。
［０００３］技術が進歩するのに応じて、ネットワーク速度及び記憶が著しい成長を遂げており、既にテキストだけでなくマルチメディアデータもサポートしている。リアルタイムのセルラー通信システムでは、三次元（３Ｄ）オーディオをキャプチャ、圧縮、及び送信する能力は、現在は利用可能でない。難点のうちの１つは、三次元オーディオ信号をキャプチャすることである。従って、個々の聴覚上の経験のより現実的で没入型の（ｉｍｍｅｒｓｉｖｅ）交換のために三次元オーディオをキャプチャ及び再生することによって１つの利益を実現させることができる。
［０００４］三次元オーディオを無線通信デバイスによって符号化するための方法が説明される。方法は、複数のローカライズ可能な（ｌｏｃａｌｉｚａｂｌｅ）音源の空間方向のインディケーション（ｉｎｄｉｃａｔｉｏｎ）を検出することを含む。方法は、複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音することも含む。方法は、複数のオーディオ信号を符号化することをさらに含む。ローカライズ可能な音源の空間方向のインディケーションは、受信された入力に基づくことができる。
［０００５］方法は、幾つかのローカライズ可能な音源を決定することを含むことができる。方法は、各々のローカライズ可能な音源の到着方向を推定することを含むこともできる。方法は、三次元オーディオ符号化方式により多チャネル信号を符号化することを含むことができる。
［０００６］方法は、第１のフィルタリングされた信号を得るために第１のエンドファイア方向にビームを適用する（ａｐｐｌｙ）ことを含むことができる。方法は、第２のフィルタリングされた信号を得るために第２のエンドファイア方向にビームを適用することを含むこともできる。方法は、第１のフィルタリングされた信号を第２のフィルタリングされた信号の遅延されたバージョンと結合することができる。第１及び第２のフィルタリングされた信号の各々は、少なくとも２つのチャネルを有することができる。フィルタリングされた信号のうちの一方は、他方のフィルタリングされた信号に対して遅延させることができる。方法は、第１のフィルタリングされた信号の第１のチャネルを第１のフィルタリングされた信号の第２のチャネルに対して遅延させること及び第２のフィルタリングされた信号の第１のチャネルを第２のフィルタリングされた信号の第２のチャネルに対して遅延させることができる。方法は、結合された信号の第１のチャネルを結合された信号の第２のチャネルに対して遅延させることができる。
［０００７］方法は、第１の空間的にフィルタリングされた信号を得るために第１の方向のビームを有するフィルタを第１の対のマイクロフォンによって生成された信号に適用することができ及び第２の空間的にフィルタリングされた信号を得るために第２の方向のビームを有するフィルタを第２の対のマイクロフォンによって生成された信号に適用することができる。次に、方法は、出力信号を得るために第１及び第２の空間的にフィルタリングされた信号を結合することができる。
［０００８］方法は、アレイ（ａｒｒａｙ）内の複数のマイクロフォンの各々に関して、対応する入力チャネルを録音することを含むことができる。方法は、複数のルック方向（ｌｏｏｋ ｄｉｒｅｃｔｉｏｎ）の各々に関して、対応する出力チャネルを得るために対応する多チャネルフィルタを複数の録音された入力チャネルに適用することを含むこともできる。多チャネルフィルタの各々は、対応するルック方向にビームを及びその他のルック方向にヌルビーム（ｎｕｌｌ ｂｅａｍ）を適用することができる。方法は、バイノーラル録音を生成するために複数の出力チャネルを処理することを含むことができる。方法は、低スレショルドと高スレショルドとの間の周波数にビームを適用することを含むことができる。低スレショルド及び高スレショルドのうちの少なくとも１つは、マイクロフォン間の距離に基づく。
［０００９］無線通信デバイスによってコーデックを選択するための方法が説明される。方法は、複数のオーディオ信号のエネルギープロフィールを決定することを含む。方法は、複数のオーディオ信号の各々のエネルギープロフィールを表示することも含む。方法は、エネルギープロフィールを選択する入力を検出することも含む。方法は、コーデックを入力と関連付けることも含む。方法は、パケットを生成するためにコーデックに基づいて複数のオーディオ信号を圧縮することをさらに含む。方法は、パケットをオーバー・ザ・エアで送信することを含むことができる。方法は、チャネル識別を送信することを含むことができる。
［００１０］無線通信デバイスによるビット割り当てを増大させるための方法が説明される。方法は、複数のオーディオ信号のエネルギープロフィールを決定することを含む。方法は、複数のオーディオ信号の各々のエネルギープロフィールを表示することも含む。方法は、エネルギープロフィールを選択する入力を検出することも含む。方法は、コーデックを入力と関連付けることも含む。方法は、入力に基づいてオーディオ信号を圧縮するために使用されるコーデックへのビット割り当てを増大させることをさらに含む。オーディオ信号の圧縮は、その結果として、４つのパケットをオーバー・ザ・エアで送信することができる。
［００１１］無線通信デバイスによって三次元オーディオを符号化するための無線通信デバイスが説明される。無線通信デバイスは、複数のローカライズ可能な音源の空間方向のインディケーションを検出する空間方向回路を含む。無線通信デバイスは、空間方向回路に結合された録音回路も含む。録音回路は、複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音する。無線通信デバイスは、録音回路に結合された符号器も含む。符号器は、複数のオーディオ信号を符号化する。
［００１２］無線通信デバイスによってコーデックを選択するための無線通信デバイスが説明される。無線通信デバイスは、複数のオーディオ信号のエネルギープロフィールを決定するエネルギープロフィール回路を含む。無線通信デバイスは、エネルギープロフィール回路に結合されたディスプレイを含む。ディスプレイは、複数のオーディオ信号の各々のエネルギープロフィールを表示する。無線通信デバイスは、ディスプレイに結合された入力検出回路を含む。入力検出回路は、エネルギープロフィールを選択する入力を検出する。無線通信デバイスは、入力検出回路に結合された関連付け回路を含む。関連付け回路は、コーデックを入力と関連付ける。無線通信デバイスは、関連付け回路に結合され圧縮回路を含む。圧縮回路は、パケットを生成するためにコーデックに基づいて複数のオーディオ信号を圧縮する。
［００１３］無線通信デバイスによるビット割り当てを増大させるための無線通信デバイスが説明される。無線通信デバイスは、複数のオーディオ信号のエネルギープロフィールを決定するエネルギープロフィール回路を含む。無線通信デバイスは、エネルギープロフィール回路に結合されたディスプレイを含む。ディスプレイは、複数のオーディオ信号の各々のエネルギープロフィールを表示する。無線通信デバイスは、ディスプレイに結合された入力検出回路を含む。入力検出回路は、エネルギープロフィールを選択する入力を検出する。無線通信デバイスは、入力検出回路に結合された関連付け回路を含む。関連付け回路は、コーデックを入力と関連付ける。無線通信デバイスは、関連付け回路に結合されたビット割り当て回路を含む。ビット割り当て回路は、入力に基づいてオーディオ信号を圧縮するために使用されるコーデックへのビット割り当てを増大させる。
［００１４］三次元オーディオを符号化するためのコンピュータプログラム製品が説明される。コンピュータプログラム製品は、命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を含む。命令は、複数のローカライズ可能な音源の空間方向のインディケーションを検出することを無線通信デバイスに行わせるためのコードを含む。命令は、複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音することを無線通信デバイスに行わせるためのコードを含む。命令は、複数のオーディオ信号を符号化することを無線通信デバイスに行わせるためのコードを含む。
［００１５］コーデックを選択するためのコンピュータプログラム製品が説明される。コンピュータプログラム製品は、命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を含む。命令は、複数のオーディオ信号のエネルギープロフィールを決定することを無線通信デバイスに行わせるためのコードを含む。命令は、複数のオーディオ信号の各々のエネルギープロフィールを表示することを無線通信デバイスに行わせるためのコードを含む。命令は、エネルギープロフィールを選択する入力を検出することを無線通信デバイスに行わせるためのコードを含む。方法は、コーデックを入力と関連付けることも含む。命令は、パケットを生成するためにコーデックに基づいて複数のオーディオ信号を圧縮することを無線通信デバイスに行わせるためのコードを含む。
［００１６］ビット割り当てを増大させるためのコンピュータプログラム製品が説明される。コンピュータプログラム製品は、命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を含む。命令は、複数のオーディオ信号のエネルギープロフィールを決定することを無線通信デバイスに行わせるためのコードを含む。命令は、複数のオーディオ信号の各々のエネルギープロフィールを表示することを無線通信デバイスに行わせるためのコードを含む。命令は、エネルギープロフィールを選択する入力を検出することを無線通信デバイスに行わせるためのコードを含む。方法は、コーデックを入力と関連付けることも含む。命令は、入力に基づいてオーディオ信号を圧縮するために使用されるコーデックへのビット割り当てを増大させることを無線通信デバイスに行わせるためのコードを含む。
［００１７］
セルラーテレフォニーのための代表的ハンドセットにおけるマイクロフォンの設置を示した図である。
［００１８］
ユーザインタフェース入力に基づくマイクロフォン／ビームフォーマの選択方法に関するフローチャートを示した図である。
［００１９］
マイクロフォンの対に関する空間的選択性領域を示した図である。
［００２０］
２つの次元における希望される録音方向を選択するためのユーザインタフェースを示した図である。
［００２１］
アクティブノイズキャンセレーション（ＡＮＣ）を行うように構成されるヘッドセットの周囲に画定された可能な空間セクタを示した図である。
［００２２］
３つのマイクロフォンの配置を示した図である。
［００２３］
４つのマイクロフォンのセットアップを用いて空間コーディングに関する無指向性及びファーストオーダーキャプチャリングを示した図である。
［００２４］
ポータブル通信デバイスの一例の前面図及び裏面図を示した図である。
［００２５］
ブロードサイド方向から到着したソース信号を録音する事例を示した図である。
［００２６］
ブロードサイド方向から到着したソース信号を録音する他の事例を示した図である。
［００２７］
エンドファイアビームを結合する事例を示した図である。
［００２８］
前中央方向、前左方向、前右方向、後左方向、及び後右方向におけるビームに関するプロットの例を示した図である。
［００２９］
後右空間方向に関する信号を得るための処理の例を示した図である。
［００３０］
３つのマイクロフォンのアレイを有する２マイクロフォン対ブラインドソース分離を用いたヌルビーム形成アプローチ法を示した図である。
［００３１］
前右方向に関する結果を得るために前方向及び右方向のビームが結合される例を示した図である。
［００３２］
図１３において示されたアプローチ法に関するヌルビームの例を示した図である。
［００３３］
４つのマイクロフォンのアレイを有する４チャネルブラインドソース分離を用いたヌルビーム形成アプローチ法を示した図である。
［００３４］
角方向ＦＬ、ＦＲ、ＢＬ、及びＢＲに関する４つのフィルタの組に関するビームパターン例を示した図である。
［００３５］
モバイルスピーカーデータに関して学習された独立ベクトル解析収束フィルタビームパターンの例を示した図である。
［００３６］
改良されたモバイルスピーカーデータに関して学習された独立ベクトル解析収束フィルタビームパターンの例を示した図である。
［００３７］
エンドファイアビームを結合する方法のフローチャートを示した図である。
［００３８］
一般的なデュアルペア事例に関する方法のフローチャートを示した図である。
［００３９］
３つのマイクロフォンの事例に関する図２１の方法の実装を示した図である。
［００４０］
４つのマイクロフォンのアレイを有する４チャネルブラインドソース分離を使用する方法に関するフローチャートを示した図である。
［００４１］
ブラインドソース分離フィルタバンクに関する部分的ルーティング図である。
［００４２］
２×２フィルタバンクに関するルーティング図である。
［００４３］
一般的構成による多マイクロフォンオーディオセンシングデバイスのブロック図である。
［００４４］
通信デバイスのブロック図である。
［００４５］
マイクロフォンアレイのブロック図である。
［００４６］
マイクロフォンアレイのブロック図である。
［００４７］
異なるスピーチコーデックが動作する異なる周波数範囲及び帯域のチャートである。
［００４８］
圧縮することができる各タイプの信号に関して４つの非狭帯域コーデックを用いて第１の構成に関する可能な方式を示す。すなわち、全帯域（ＦＢ）、超広帯域（ＳＷＢ）及び広帯域（ＷＢ）。
［００４８］
圧縮することができる各タイプの信号に関して４つの非狭帯域コーデックを用いて第１の構成に関する可能な方式を示す。すなわち、全帯域（ＦＢ）、超広帯域（ＳＷＢ）及び広帯域（ＷＢ）。
［００４８］
圧縮することができる各タイプの信号に関して４つの非狭帯域コーデックを用いて第１の構成に関する可能な方式を示す。すなわち、全帯域（ＦＢ）、超広帯域（ＳＷＢ）及び広帯域（ＷＢ）。
［００４９］
２つのコーデックがオーディオ信号を平均化している第２の構成に関する可能な方式を示した図である。
［００５０］
１つ以上のコーデックがオーディオ信号を平均化している第２の構成に関する可能な方式を示した図である。
［００５１］
コーデックのうちの１つ以上が１つ以上のオーディオ信号を平均化することができる第３の構成に関する可能な方式を示した図である。
［００５２］
非狭帯域コーデックのうちの１つ以上がオーディオ信号を平均化している第３の構成に関する可能な方式を示した図である。
［００５３］
４つの狭帯域コーデックを示した図である。
［００５４］
図２９Ａ、図２９Ｂ又は図２９Ｃのいずれかの方式の４つの非狭帯域コーデックを用いた符号器／復号器システムのエンド・ツー・エンドシステムを例示したフローチャートである。
［００５５］
（例えば、図３０Ａ又は図３０Ｂのいずれかからの）４つのコーデックを用いた符号器／復号器システムのエンド・ツー・エンドシステムを例示したフローチャートである。
［００５６］
（例えば、図３１Ａ又は図３１Ｂのいずれかからの）４つのコーデックを用いた符号器／復号器システムのエンド・ツー・エンドシステムを例示したフローチャートである。
［００５７］
符号化するための（例えば、図２９Ａ、図２９Ｂ又は図２９Ｃからの）４つの非狭帯域コーデック及び復号するための４つの広帯域コーデック又は狭帯域コーデックの結合を用いてオーディオ信号パケットを生成及び受信するための他の方法を示したフローチャートである。
［００５８］
符号器／復号器システムのエンド・ツー・エンドシステムを例示したフローチャートであり、サウンドの４つの角のエネルギーのビジュアル化と関連付けられたユーザ選択に基づく１つ又は２つのオーディオ信号の圧縮中に異なるビット割り当て。ただし４つのパケットがエアチャネルで送信される。
［００５９］
符号器／復号器システムのエンド・ツー・エンドシステムを例示したフローチャートであり、サウンドの４つの角のエネルギーのビジュアル化と関連付けられたユーザ選択に基づいて１つオーディオ信号が圧縮及び送信される。
［００６０］
コーデックの組み合わせの４つの構成を備える無線通信デバイスの実装を示したブロック図である。
［００６１］
圧縮するために図２９の４つの広帯域コーデックが使用される構成を例示する無線通信デバイスの実装を示したブロック図である。
［００６２］
コーデックの組み合わせの４つの構成を備える無線通信デバイスの実装を示したブロック図であり、任意選択のコーデックプリフィルタを使用することができる。
［００６３］
コーデックの組み合わせの４つの構成を備える無線通信デバイスの実装を示したブロック図であり、フィルタバンクアレイの一部として任意選択のフィルタリングを行うことができる。
［００６４］
コーデックの組み合わせの４つの構成を備える無線通信デバイスの実装を示したブロック図であり、聴覚シーンからの音源データを、コーデック構成のうちの１つを用いて符号化する前に１つ以上のファイルからのデータとミックスさせることができる。
［００６５］
統合されたコーデックを用いて複数の指向性オーディオ信号を符号化するための方法を示したフローチャートである。
［００６６］
オーディオ信号処理のための方法を示したフローチャートである。
［００６７］
三次元オーディオを符号化するための方法を示したフローチャートである。
［００６８］
コーデックを選択するための方法を示したフローチャートである。
［００６９］
ビット割り当てを増大するための方法を示したフローチャートである。
［００７０］
無線通信デバイス内に含めることができる幾つかのコンポーネントを示した図である。
［００７１］通信デバイスの例は、携帯電話基地局又はノード、アクセスポイント、無線ゲートウェイ及び無線ルータを含む。通信デバイスは、幾つかの工業規格、例えば、第３世代パートナーシッププロジェクト（３ＧＰＰ）ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）（ＬＴＥ）規格に準拠して動作することができる。通信デバイスが準拠することができる規格のその他の例は、米国電気電子学会（ＩＥＥＥ）８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、８０２．１１ｎ及び／又は８０２．１１ａｃ（例えば、ワイヤレスフィデリティ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）又は“Ｗｉ−Ｆｉ”）規格、ＩＥＥＥ８０２．１６（例えば、マイクロ波アクセスのための世界的運用可能性又は“ＷｉＭＡＸ”）規格及びその他を含む。幾つかの規格では、通信デバイスは、ノードＢ、エボルブドノードＢ、等と呼ばれることもある。ここにおいて開示されるシステム及び方法のうちの一部は、１つ以上の規格に関して説明される一方で、これは本開示の適用範囲を制限すべきではなく、これらのシステム及び方法は、数多くのシステム及び／又は規格に適用することができる。
［００７２］幾つかの通信デバイス（例えば、アクセス端末、クライアントデバイス、クライアント局、等）は、その他の通信デバイスと無線通信することができる。幾つかの通信デバイス（例えば、無線通信デバイス）は、モバイルデバイス、移動局、加入者局、クライアント、クライアント局、ユーザ装置（ＵＥ）、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニット、等と呼ぶことができる。通信デバイスの追加例は、ラップトップ又はデスクトップコンピュータ、携帯電話、スマートフォン、無線モデム、電子リーダー、タブレットデバイス、ゲームシステム、等を含む。これらの通信デバイスの一部は、上述される１つ以上の工業規格に準拠して動作することができる。従って、一般的用語“通信デバイス”は、工業規格により様々な呼称で説明される通信デバイスを含むことができる（例えば、アクセス端末、ユーザ装置、遠隔端末、アクセスポイント、基地局、ノードＢ、エボルブドノードＢ、等）。
［００７３］幾つかの通信デバイスは、通信ネットワークへのアクセスを提供することが可能であることができる。通信ネットワークの例は、電話ネットワーク（例えば、“ランドライン”ネットワーク、例えば、公衆交換電話網（ＰＳＴＮ）又は携帯電話ネットワーク）、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、等を含み、ただしこれらに限定されない。
［００７４］文脈上明示で限定されないかぎり、用語“信号”は、ここでは、通常の意味のいずれかを示すために使用され、ワイヤ、バス、又はその他の送信媒体上で表される１つのメモリ記憶場所（又はメモリ記憶場所の組）の状態を含む。文脈上明示で限定されないかぎり、用語“生成する”は、ここでは、通常の意味のうちのいずれかを示すために使用され、例えば、計算する又はその他の方法で生成する。文脈上明示で限定されないかぎり、用語“計算する”は、ここでは、通常の意味のうちのいずれかを示すために使用され、例えば、計算する、導き出す、（例えば、外部デバイスから）受信する、及び／又は（例えば、記憶要素のアレイから）取り出す。文脈上明示で限定されないかぎり、用語“選択する”は、通常の意味のうちのいずれかを示すために使用され、例えば、識別する、指示する、適用する、及び／又は２つ以上から成る組のうちの少なくとも１つ、及びすべてよりも少ないことを使用する。用語“備える”が本説明及び請求項において使用される場合は、その他の要素又は動作を除外しない。用語“〜に基づく”（例えば、“ＡはＢに基づく”）は、通常の意味のうちのいずれかを示すために使用され、事例（ｉ）“〜から導き出された”（例えば、“ＢはＡの先駆である”）、（ｉｉ）“少なくとも〜に基づく”（例えば、“Ａは少なくともＢに基づく”）、及び特定の文脈において該当する場合は、（ｉｉｉ）“〜に等しい”（例えば、“ＡはＢに等しい”）を含む。同様に、用語“〜に応答して”は、通常の意味のうちのいずれかを示すために使用され、“少なくとも〜に応答して”を含む。
［００７５］多マイクロフォンオーディオセンシングデバイスのマイクロフォンの“位置”への言及は、文脈上別記されないかぎり、マイクロフォンの音響上の感度面の中心の位置を示す。用語“チャネル”は、特定の文脈により、あるときには信号経路を示すために及びあるときには該経路によって搬送される信号を示すために使用される。別の記述がないかぎり、“一連の”は、２つ以上の項目のシーケンスを示すために使用される。用語“対数”は、底が１０の対数を示すために使用されるが、その他の底への該演算の拡張は、本開示の適用範囲内である。用語“周波数成分”は、信号の周波数又は周波数帯域の組の中の１つ、例えば、（例えば、高速フーリエ変換によって生成された）信号の周波数領域のサンプル又は信号のサブバンド（例えば、バークスケール（Ｂａｒｋ ｓｃａｌｅ）又はメルスケール（ｍｅｌ ｓｃａｌｅ）サブバンド）を示すために使用される。
［００７６］別に示されないかぎり、特定の特徴を有する装置の動作の開示は、類似の特徴を有する方法を開示することも明示で意図され（逆も同様）、特定の構成による装置の動作の開示は、類似の構成により方法を開示することも明示で意図される（逆も同様）。用語“構成”は、特定の文脈によって示される方法、装置及び／又はシステムを参照して使用することができる。用語“方法”、“プロセス”、“手順”、及び“技法”は、特定の文脈によって別に示されないかぎり一般的に及び互換可能な形で使用される。用語“装置”及び“デバイス”も、特定の文脈によって別に示されないかぎり一般的に及び互換可能な形で使用される。用語“要素”及び“モジュール”は、典型的には、より大きい構成の一部を示すために使用される。文脈によって明示で限定されないかぎり、用語“システム”は、ここでは、普通の意味のうちいずれかを示すために使用され、“共通の目的のために働く要素のグループ”を含む。文書の一部の引用による組み入れは、その部分内で引用される項目又は変形の定義も組み入れると理解されるものとし、該定義は、文書内の別の場所に現れ、図は、組み入れられた部分において引用される。
［００７７］ここにおいて説明される方法は、キャプチャされた信号を一連のセグメントとして処理するように構成することができる。典型的なセグメントの長さは、約５又は１０ミリ秒乃至約４０又は５０ミリ秒の範囲内であり、セグメントは、オーバーラップすること（例えば、隣接するセグメントと２５％又は５０％オーバーラップ）又はオーバーラップしないことができる。１つの特定の例では、信号は、一連のオーバーラップしないセグメントすなわち“フレーム”に分割され、各々は、１０ミリ秒の長さを有する。該方法によって処理されるセグメントは、異なる動作によって処理されるより大きいセグメントのセグメント（すなわち、“サブフレーム”）であることもでき、逆も同様である。今日では、急成長中のソーシャルネットワークサービス、例えば、Ｆａｃｅｂｏｏｋ（登録商標）、Ｔｗｉｔｔｅｒ、等を通じての個人情報の即座の交換を経験中である。同時に、ネットワーク速度及び記憶の著しい成長もみられており、既にテキストだけでなくマルチメディアデータもサポートしている。このような環境において、個人の聴覚に関する経験のより現実的で没入型の交換のために三次元（３Ｄ）オーディオをキャプチャ及び再生する重要な必要性が存在する。リアルタイムのセルラー通信システムでは、３Ｄオーディオをキャプチャ、圧縮及び送信する能力は現在は利用可能でない。難点のうちの１つは、３Ｄオーディオ信号のキャプチャである。３Ｄオーディオ情報がどのようにキャプチャされ、及びそれをどのようにして録音することができるかについて説明するために、米国特許出願番号１３／２８０，３０３、Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．１０２９７８Ｕ２、“THREE-DIMENSIONAL SOUND CAPTURING AND REPRODUCING WITH MULTI-MICROPHONES”（複数のマイクロフォンによる三次元サウンドのキャプチャ及び再生）（出願日：２０１１年１０月２４日）において記述される技法のうちの幾つかをここにおいて使用することもできる。しかしながら、この出願は、リアルタイムセルラー通信システムにおいてみられるスピーチコーデックと３Ｄオーディオをどのようにして結合することができるかを説明することによって、以前に開示された能力を拡張している。
［００７８］最初に、３Ｄオーディオのキャプチャが説明される。幾つかの実装においては、可聴情報を記録することができる。ここおいて説明される可聴情報は、１つ以上の独立したスピーチコーデックによって圧縮して１つ以上のオーバー・ザ・エアチャネルで送信することもできる。
［００７９］図１は、異なる音源方向に関する構成可能なマイクロフォン１０４ａ−ｅアレイ幾何形状を有する無線通信デバイス１０２の３つの異なる図を示す。無線通信デバイス１０２は、イヤピース１０８と、１つ以上の拡声器１１０ａ−ｂとを含むことができる。使用事例に依存して、異なるソース方向における空間選択性オーディオ録音をサポートするためにデバイス１０２のマイクロフォン１０４ａ−ｅの異なる組み合わせ（例えば、対）を選択することができる。例えば、ビデオカメラの状況では（例えば、無線通信デバイス１０２の裏面上にカメラのレンズ１０６を有する）、前方向及び後ろ方向を録音するために（すなわち、カメラのレンズ１０６内にビームを投入する及びカメラのレンズ１０６からビームを遠ざけるために）前−後マイクロフォン１０４ａ−ｅ対（例えば、第１のマイクロフォン１０４ａ及び第４のマイクロフォン１０４ｄ、第１のマイクロフォン１０４ａ及び第５のマイクロフォン１１１０４ｅ又は第３のマイクロフォン１０４ｃ及び第４のマイクロフォン１０４ｄ）を使用することができ、手動又は自動で構成することができる左右方向の選好を有する。前後軸に直交する方向の録音に関しては、マイクロフォン１０４ａ−ｅ対（例えば、第１のマイク１０４ａ及び第２のマイク１０４ｂ）は、他の任意選択肢であることができる。さらに、３Ｄオーディオを圧縮及び送信するために構成可能なマイクロフォン１０４ａ−ｅ配列幾何形状を使用することもできる。
［００８０］ある範囲の設計法（すなわち、最小分散型ビームフォーマ（ＭＶＤＲ）、線形拘束付最小分散型（ＬＣＭＶ）、フェーズドアレイ（ｐｈａｓｅｄ ａｒｒａｙ）、等）が与えられている場合に様々なマイクロフォン１０４ａ−ｅ組み合わせに関して異なるビームフォーマデータバンクをオフラインで計算することができる。使用中は、現在の使用事例の要求に依存してユーザインタフェース内のメニューを通じてこれらのビームフォーマのうちの希望される１つを選択することができる。
［００８１］図２Ａは、該方法２００に関する概念的フローチャートを示す。最初に、無線通信デバイス１０２は、（例えば、自動的に及び／又はユーザインタフェースを介して選択された）１つ以上の好ましいサウンドキャプチャ方向を得る２０１ことができる。次に、無線通信デバイス１０２は、ビームフォーマ及び指定された方向性を提供するマイクロフォンアレイ（例えば、対）の組み合わせを選択することができる２０３。指定された方向性は、１つ以上のスピーチコーデックと組み合わせて使用することもできる。
［００８２］図２Ｂは、一対のマイクロフォン２０４ａ−ｂに関する空間的選択性の領域を示す。例えば、第１の空間２０５ａは、第１のマイクロフォン２０４ａ及び第２のマイクロフォン２０４ｂを用いてエンドファイアビーム形成を適用することによってオーディオを集中することができる空間を表すことができる。同様に、第２の空間２０５ｂは、第２のマイクロフォン２０４ｂ及び第１のマイクロフォン２０４ａを用いてエンドファイアビーム形成を適用することによってオーディオを集中することができる空間を表すことができる。
［００８３］図３は、無線通信デバイス３０２のユーザインタフェース３１２の例を示す。上述されるように、幾つかの実装においては、録音方向は、ユーザインタフェース３１２を介して選択することができる。例えば、ユーザインタフェース３１２は、１つ以上の録音方向を表示することができる。ユーザは、ユーザインタフェース３１２を介して、希望される録音方向を選択することができる。幾つかの例では、ユーザインタフェース３１２は、ユーザがより多くのビットで圧縮することを希望する特定の方向と関連付けられたオーディオ情報を選択するために使用することもできる。幾つかの実装においては、無線通信デバイス３０２は、イヤピース３０８と、１つ以上の拡声器３１０ａ−ｂと、１つ以上のマイクロフォン３０４ａ−ｃと、を含むことができる。
［００８４］図４は、３つのマイクロフォン４０４ａ−ｃを含むことができるステレオヘッドセット４１４ａ−ｂに関する関連する使用事例を示す。例えば、ステレオヘッドセット４１４ａ−ｂは、中央のマイクロフォン４０４ａと、左マイクロフォン４０４ｂと、右マイクロフォン４０４ｃと、を含むことができる。マイクロフォン４０４ａ−ｃは、用途、例えば、ボイスキャプチャ及び／又はアクティブノイズキャンセレーション（ＡＮＣ）、をサポートすることができる。該用途に関しては、この３つのマイクロフォンの構成を用いて（図４，無指向性マイクロフォンを用いて）録音するために頭部周囲の異なるセクタ４１６ａ−ｄ（すなわち、後のセクタ４１６ａ、左のセクタ４１６ｂ、右のセクタ４１６ｃ及び前のセクタ４１６ｄ）を定義することができる。
［００８５］三次元オーディオキャプチャは、特殊化されたマイクロフォンセットアップ、例えば、図５に示される３マイクロフォン５０４ａ−ｃ配置、を用いて行うこともできる。該配置は、コード５１８を介して又は無線で録音デバイス５２０に接続することができる。録音デバイス５２０は、デバイス５２０の方位を検出するための及び選択された録音方向によりマイクロフォン５０４ａ−ｃの間での（すなわち、中央のマイクロフォン５０４ａ、左マイクロフォン５０４ｂ及び右マイクロフォン５０４ｃの中からの）対の選択のためのここにおいて説明される装置を含むことができる。代替配置では、中央のマイクロフォン５０４ａは、録音デバイス５２０上に配置することができる。同様に、この使用事例は、３Ｄオーディオを圧縮及び送信するために使用することができる。
［００８６］一般的には、一番奥のユーザがステレオヘッドセット（例えば、適応型雑音キャンセレーションすなわちＡＮＣヘッドセット）を用いて録音された空間音を聴くと仮定される。しかしながら、その他の用途では、３つ以上の空間方向を再生することが可能なマルチ拡声器アレイを一番奥において利用可能である。該使用事例をサポートするために、３Ｄオーディオ信号の録音、又はキャプチャ中に２つ以上のマイクロフォン／ビームフォーマの組み合わせを３Ｄオーディオの圧縮及び送信のために同時に使用できるようにするのが望ましいであろう。
［００８７］１つ以上のソース方向の各々に関してモノラルサウンドを生成するために多マイクロフォンアレイを空間的選択性フィルタとともに使用することができる。しかしながら、該アレイは、二次元又は三次元での空間オーディオ符号化をサポートするために使用することもできる。ここにおいて説明される多マイクロフォンアレイを用いてサポートすることができる空間オーディオ符号化法の例は、５．１サラウンド、７．１サラウンド、ドルビーサラウンド、ドルビープロロジック（Ｄｏｌｂｙ Ｐｒｏ−Ｌｏｇｉｃ）、又はその他の位相−振幅行列ステレオフォーマット、ドルビーデジタル、ＤＴＳ又はディスクリートマルチチャネルフォーマット、及び波動場合成を含む。５チャネル符号化の一例は、左、右、中央、左サラウンド、及び右サラウンド制御チャネルを含む。
［００８８］図６は、４つのマイクロフォンの６０４ａ−ｄ構成を用いて空間コーディングに関するファーストオーダーキャプチャリング（ｆｉｒｓｔ ｏｒｄｅｒ ｃａｐｔｕｒｉｎｇ）の近似値を求める（ａｐｐｒｏｘｉｍａｔｅ）ための無指向性マイクロフォン６０４ａ−ｄ配置を示す。ここにおいて説明される多マイクロフォン６０４ａ−ｄアレイを用いてサポートすることができる空間オーディオ符号化法の例は、特殊マイクロフォン６０４ａ−ｄ、例えば、Ａｍｂｉｓｏｎｉｃ Ｂフォーマット又はより高いオーダーのＡｍｂｉｓｏｎｉｃフォーマット、とともに使用することが元来は意図される方法を含むこともできる。例えば、Ａｍｂｉｓｏｎｉｃ符号化方式の処理されたマルチチャネル出力は、測定点における三次元テイラー展開を含むことができ、それは、図６において描かれるように、三次元配置されたマイクロフォンアレイを用いて少なくとも第１のオーダーまでの近似値を求めることができる。マイクロフォン数がこれよりも多い場合は、近似値を求めるオーダーを上げることができる。一例により、第２のマイクロフォン７６０４ｂは、ｚ方向に距離Δｚ分だけ第１のマイクロフォン６０４ａから分離させることができる。第３のマイクロフォン６０４ｃは、ｙ方向に距離Δｙ分だけ第１のマイクロフォン６０４ａから分離させることができる。第４のマイクロフォン６０４ｄは、ｘ方向に距離Δｘ分だけ第１のマイクロフォン６０４ａから分離させることができる。
［００８９］没入型の（ｉｍｍｅｒｓｉｖｅ）サウンド経験をユーザに伝えるために、サラウンドサウンド録音は、独立型であること又はビデオテープ録画と関連させることができる。サラウンドサウンド録音は、単一指向性マイクロフォン６０４ａ−ｄを用いた別個のマイクロフォン構成を使用することができる。この例では、１つ以上の単一指向性マイクロフォン６０４ａ−ｄを別々にクリップオン（ｃｌｉｐ ｏｎ）することができる。本開示では、空間フィルタリングと組み合わされた複数の無指向性マイクロフォン６０４ａ−ｄに基づく代替方式が提示される。この構成の例では、スマートフォン又はタブレットに埋め込まれた１つ以上の無指向性マイクロフォン６０４ａ−ｄは、複数の録音用途をサポートすることができる。例えば、ワイドステレオのために２つのマイクロフォン６０４ａ−ｄを使用することができ、及び、該当するマイクロフォン６０４ａ−ｄ軸を有する少なくとも３つの無指向性マイクロフォン６０４ａ−ｄをサラウンドサウンドのために使用することができ、スマートフォン又はタブレットデバイス上で複数のサウンドチャネルを録音するために使用することができる。これらのチャネルは、対で処理すること又は希望されるルック方向に特定の空間的ピックアップパターンを有するように設計されたフィルタで同時にフィルタリングすることができる。空間エイリアシング（ａｌｉａｓｉｎｇ）に起因して、最も適切な周波数帯域においてパターンが有効であるようにマイクロフォン間の距離を選択することができる。生成されたステレオ又は５．１出力チャネルは、没入型サウンド経験を生成するためにサラウンドサウンドセットアップにおいて再生することができる。
［００９０］図７は、無線通信デバイス７０２（例えば、スマートフォン）の一例の前面図及び裏面図を示す。ステレオ録音を行うために前のマイクロフォン７０４ａ及び第１の後のマイクロフォン７０４ｃを使用することができる。その他のマイクロフォン７０４対の例は、第１のマイクロフォン７０４ａ（前部）及び第２のマイクロフォン７０４ｂ（後部）と、第３のマイクロフォン７０４ｃ（後部）及び第４のマイクロフォン７０４ｄ（後部）と、第２のマイクロフォン７０４ｂ（前部）及び第４のマイクロフォン７０４ｄ（後部）とを含む。ソースに対するマイクロフォン７０４ａ−ｄの異なる位置は、デバイス７０２の保持位置に依存し、空間フィルタリングを用いて強調することができるステレオ効果を作り出すことができる。録画中（例えば、ビデオテープに録画中）のコメンテーターとシーンとの間のステレオ画像を生成するために、（図１の側面図において示されるように）デバイスの厚さの距離を有する第１のマイクロフォン７０４ａ（前部）及び第３のマイクロフォン７０４ｃ（後部）を用いてエンドファイアペアリングを使用するのが望ましい。しかしながら、同じマイクロフォン７０４ａ−ｄを異なる保持位置で使用することもでき及び（図１の背面図において示されるように）ｚ軸方向への距離を有するエンドファイアペアリングを生成することができることに注目すること。後者の場合は、シーンに向けてのステレオ画像を生成することができる（例えば、シーン内の左から来る音は、左からの着信音としてキャプチャされる）。幾つかの実装においては、無線通信デバイスは、イヤピース７０８、１つ以上の拡声器７１０ａ−ｂ及び／又はカメラレンズ７０６を含むことができる。
［００９１］図８は、ブロードサイド方向から到着するソース信号を録音するためにデバイス７０２の厚さの距離を有する第１のマイクロフォン７０４ａ（前部）及び第３のマイクロフォン７０４ｃ（後部）のエンドファイアペアリングを使用する事例を示す。この事例では、Ｘ軸８７４は右に行くほど大きくなり、Ｙ軸は、左に行くほど大きくなり、Ｚ軸は、上に行くほど大きくなる。この例では、２つのマイクロフォン７０４ａ、７０４ｃの座標は、（ｘ＝０、ｙ＝０、ｚ＝０）及び（ｘ＝０、ｙ＝０．１０、ｚ＝−０．０１）であることができる。ステレオビーム形成を適用することができ、従って、ｙ＝０面に沿ったエリアは、ブロードサイド方向のビームを示すことができ、（ｘ＝０、ｙ−０．５、ｚ＝０）のエリアは、エンドファイア方向のヌルビーム（ｎｕｌｌｂｅａｍ）を示すことができる。コメンテーターがブロードサイド方向から（例えば、デバイス７０２の裏面内に）話しているときには、マイクロフォン７０４ａ、７０４ｃ対の軸の周囲の回転に関する曖昧さに起因して、コメンテーターの声をデバイス７０２の前面におけるシーンからの音と区別するのは困難である可能性がある。この例では、コメンテーターの声をシーンから分離させるステレオ効果をエンハンスすることができない。
［００９２］図９は、ブロードサイド方向から到着するソース信号を録音するためにデバイス７０２の厚さの距離を有する第１のマイクロフォン７０４ａ（前部）及び第３のマイクロフォン７０４ｃ（後部）のエンドファイアペアリングを使用する他の事例を示し、マイクロフォン７０４ａ（前部）、７０４ｃ（後部）座標は、図８と同じであることができる。この事例では、Ｘ軸９７４は右に行くほど大きくなり、Ｙ軸９７６は、左に行くほど大きくなり、Ｚ軸９７８は、上に行くほど大きくなる。この例では、ビームは、（点（ｘ＝０、ｙ＝−０．５、ｚ＝０）を通じて）エンドファイア方向に方位を向けることができ、従って、ユーザ（例えば、コメンテーター）の声は、１つのチャネルではヌルアウト（ｎｕｌｌ ｏｕｔ）することができる。ビームは、ヌルビームフォーマ又は他のアプローチ法を用いて形成することができる。例えば、ブラインドソース分離（ＢＳＳ）アプローチ法、例えば、独立コンポーネント解析（ＩＣＡ）又は独立ベクトル解析（ＩＶＡ）、は、ヌルビームフォーマよりも広いステレオ効果を提供することができる。テープ録画されたシーン自体に関するより広いステレオ効果を提供するために、（例えば、図１の背面図において示されるように）ｚ軸９７８方向への距離を有する同じマイクロフォン７０４ａ、７０４ｃのエンドファイアペアリングを使用すれば十分である。
［００９３］図１０は、エンドファイアビームを結合する事例を示した図である。この事例では、Ｘ軸１０７４は右に行くほど大きくなり、Ｙ軸１０７６は、左に行くほど大きくなり、Ｚ軸１０７８は、上に行くほど大きくなる。無線通信デバイス７０２がブロードサイド保持位置にある状態では、オリジナルの録音と比較してステレオ効果を高めるために（図９及び１０において示されるように）左側及び右側のエンドファイアビームを結合するのが望ましい。該処理は、（例えば、マイクロフォンのスペースをシミュレーションするために）チャネル間遅延を加えることも含むことができる。該遅延は、空間内の共通の基準点に合わせて両方のビームフォーマの出力遅延を正規化するのに役立つことができる。ステレオチャネルがヘッドフォンで再生されるときに、遅延を操作することは、空間画像を好ましい方向に回転させるのに役立つこともできる。デバイス７０２は、（米国特許出願番号１３／２８０，２１１、Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．１０２９７８Ｕ１“SYSTEMS, METHODS, APPARATUS AND COMPUTER-READABLE MEDIA FOR ORIENTATION-SENSITIVE RECORDING CONTROL”（方位の影響を受けやすい録音制御のためのシステム、方法、装置及びコンピュータによって読み取り可能な媒体）において説明されるように）保持位置を示す加速度計、磁力計及び／又はジャイロスコープを含むことができる。以下において論じられる図２０は、該方法のフローチャートを示す。
［００９４］デバイスがエンドファイア保持位置にあるときには、録音は、ワイドなステレオ効果を提供することができる。この場合は、（例えば、ヌルビームフォーマ又はＢＳＳソリューション、例えば、ＩＣＡ又はＩＶＡを用いた）空間フィルタリングが効果をわずかに高めることができる。
［００９５］デュアルマイクロフォン事例では、上述されるように（例えば、ユーザの声及び録画されたシーンの分離を増大させるために）空間フィルタリングを通じてステレオ録音されたファイルをエンハンスすることができる。例えば、信号を３つ以上のチャネルにアップミックス（ｕｐｍｉｘ）するために、（例えば、サラウンドサウンドに関する）キャプチャされたステレオ信号から幾つかの異なる指向性チャネルを生成することが望ましいであろう。例えば、各チャネルに関する５つのスピーカーのアレイのうちの異なる１つを用いて再生することができるように（例えば、５．１サラウンドサウンド方式に関して）５つのチャネルまで信号をアップミックスするのが望ましいであろう。該アプローチ法は、アップミックスされたチャネルを得るために対応する方向に空間フィルタリングを適用することを含むことができる。該アプローチ法は、アップミックスされたチャネル（例えば、ドルビーサウンドのバージョン）に多チャネル符号化方式を適用することも含むことができる。
［００９６］３つ以上のマイクロフォン７０４ａ−ｄが録音のために使用される事例に関しては、空間フィルタリング及び異なるマイクロフォン７０４ａ−ｄの組み合わせを用いて複数の方向（例えば、５．１規格による５つの方向）に録音し、次に、（例えば、５つの拡声器を用いて）録音された信号を再生することが可能である。該処理は、アップミキシングなしで実施することができる。
［００９７］図１１は、前中央（ＦＣ）１１８０方向、前左（ＦＬ）１１８２方向、前右（ＦＲ）１１８４方向、後左（ＢＬ）１１８７６方向及び後右（ＢＲ）１１８８方向における該ビームに関する図の例を示す。これらの図ではＸ軸、Ｙ軸、及びＺ軸は方位が同様であり（各範囲の中央はゼロであり、両端は±０．５であり、Ｘ軸は右に行くほど大きくなり、Ｙ軸は、左に行くほど大きくなり、Ｚ軸は、上に行くほど大きくなる）、暗いエリアは、記載されようにビーム又はヌルビーム方向を示す。各図に関するビームは、次の点（ｚ＝０）を通じて向けられる。すなわち、前中央（ＦＣ）１１８０の場合は（ｘ＝０、ｙ＝＋０．５）、前右（ＦＲ）１１８４の場合は（ｘ＝＋０．５、ｙ＝＋０．５）、後右（ＢＲ）１１８８の場合は（ｘ＝＋０．５、ｙ＝−０．５）、後左（ＢＬ）１１８６の場合は（ｘ＝−０．５、ｙ＝−０．５）、前左（ＦＬ）１１８２の場合は（ｘ＝−０．５、ｙ＝＋０．５）。
［００９８］４つの異なる方向（ＦＲ１１８４、ＢＲ１１８８、ＢＬ１１８６、ＦＬ１１８２）と関連付けられたオーディオ信号は、無線通信デバイス７０２のスピーチコーデックを用いて圧縮することができる。受信機側では、異なる指向性音と関連付けられた４つの再構築されたオーディオ信号を再生又は復号するユーザに関する中央音をＦＲ１１８４チャネル、ＢＲ１１８８チャネル、ＢＬ１１８６チャネル、ＦＬ１１８２チャネルの組み合わせによって生成することができる。異なる方向と関連付けられたこれらのオーディオ信号は、無線通信デバイス７０２を用いてリアルタイムで圧縮及び送信することができる。４つの独立したソースの各々は、ある低帯域周波数（ＬＢ）からある上方の帯域の周波数（ＵＢ）まで圧縮及び送信することができる。
［００９９］空間フィルタリング技法の有効性は、小さいマイクロフォン間のスペース、空間エイリアシング及び高周波数での散乱、等の要因に依存してバンドパス範囲に限定される可能性がある。一例では、信号は、空間フィルタリング前に（例えば、８ｋＨｚのカットオフ周波数で）ローパスフィルタリングすることができる。
［００１００］単一の点源からの音がキャプチャされる事例に関しては、その他の方向から到着する信号のマスキングによって該ビーム形成を補完することは、希望されるマスキング効果を達成するために必要な積極性のレベルでの非直接経路信号の強力な減衰及び／又は可聴歪みに結び付くことがある。該アーティファクトは、高精細度（ＨＤ）オーディオにとっては望ましくない。一例では、ＨＤオーディオは、４８ｋＨｚのサンプリングレートで録音することができる。該アーティファクトを軽減するために、積極的に空間フィルタリングされた信号を使用する代わりに、各チャネルに関して処理されたエネルギープロフィールのみを使用すること及びマスキング前にオリジナルの入力信号又は空間処理された出力における各チャネルに関するエネルギープロフィールにより利得パンニング規則（ｇａｉｎ ｐａｎｎｉｎｇ ｒｕｌｅ）を適用することが望ましい。時間−周波数マップではサウンドイベントはまばら（ｓｐａｒｓｅ）であるため、複数のソースの事例でさえも該ポストゲインパンニング法を使用可能であることに注目すること。
［００１０１］図１２は、後右空間方向に関する信号を得るための処理例を示す。図Ａ１２９０（振幅対時間）は、オリジナルのマイクロフォン録音を示す。図Ｂ１２９２（振幅対時間）は、（８ｋＨｚのカットオフ周波数で）マイクロフォン信号をローパスフィルタリングし及びマスキングを用いて空間フィルタリングを行う結果を示す。図Ｃ１２９４（大きさ対時間）は、図Ｂ１２９２での信号のエネルギーに基づいた該当する空間エネルギーを示す（例えば、サンプル値の平方の和）。図Ｄ１２９６（状態対時間）は、低周波数空間フィルタリングによって示されるエネルギー差に基づくパンニングプロフィールを示し、図Ｅ１２９８（振幅対時間）は、４８ｋＨｚのパンニングされた出力を示す。
［００１０２］デュアルマイク対の事例に関しては、１つの対に関しては少なくとも１つのビームを、他方の対に関しては異なる方向に少なくとも２つのビームを設計するのが望ましい。これらのビームは、（例えば、ブラインドソース分離アプローチ法、例えば、独立したコンポーネント解析又は独立したベクトル解析、を用いて）設計又は学習することができる。これらのビームの各々は、（例えば、サラウンドサウンド録音に関する）録音の異なるチャネルを得るために使用することができる。
［００１０３］図１３は、３つのマイクロフォン１３０４ａ−ｃのアレイを有する２マイクロフォン対ブラインドソース分離（例えば、独立したコンポーネント解析又は独立したベクトル解析）を用いたヌルビーム形成アプローチ法を示す。前部及び後部のローカライズ可能な音源１３８０ａ、１３８０ｂに関しては、第２のマイク１３０４ｂ及び第３のマイク１３０４ｃを使用することができる。左及び右のローカライズ可能な音源１３８０ｃ、１３８０ｄに関しては、第１のマイク１３０４ａ及び第２のマイク１３０４ｂを使用することができる。２つのマイクロフォン１３０４ａ−ｃ対の軸は、直交であること又は少なくとも実質的に直交であること（直交から５°、１０°、１５°又は２０°以内）ことが望ましい。
［００１０４］チャネルのうちの一部は、ビームのうちの２つ以上を結合することによって生成することができる。図１４は、前右方向に関する結果を得るために前ビーム１４２２ａ及び右ビーム１４２２ｂ（すなわち、前方向及び右方向のビーム）を結合することができる例を示す。ビームは、１つ以上のマイクロフォン１４０４ａ−ｃ（例えば、第１のマイク１４０４ａ、第２のマイク１４０４ｂ及び第３のマイク１４０４ｃ）によって録音することができる。前左、後右、及び／又は後左方向に関する結果も同じ方法で得ることができる。この例では、そのような形でオーバーラップしているビーム１４２２ａ−ｄを結合することは、その他の位置から到着する信号に関してよりも対応する角から到着する信号に関してのほうが６ｄＢ大きい信号を提供することができる。幾つかの実装においては、後ヌルビーム１４２２ｃ及び左ヌルビーム１４２２ｄを形成することができる（すなわち、左方向及び後方向のビームはヌルであることができる）。幾つかの事例では、空間内の共通の基準点に合わせて両方のビームフォーマの出力遅延を正規化するためにチャネル間遅延を適用することができる。“左−右エンドファイア対”及び“前−後エンドファイア対”が結合されるときには、基準点をマイクロフォン１４０４ａ−ｃアレイの重心に設定するのが望ましい。該動作は、２つの対間の調整された遅延によって希望される角位置での最大化されたビーミングをサポートすることができる。
［００１０５］図１５は、図１３において例示されるアプローチ法に関する前１５０１、後１５０３、左１５０５及び右１５０７方向でのヌルビームの例を示す。最小分散歪みなし応答ビームフォーマ又は収束（ｃｏｎｖｅｒｇｅｄ）ブラインドソース分離（例えば、独立したコンポーネント解析又は独立したベクトル解析）を用いて設計することができるビームは、デバイス７０２及び音源（又はソース）の相対位置が固定されているシナリオで学習されたフィルタ。これらの例では、示される周波数ビンの範囲は、０乃至８ｋＨｚの帯域に対応する。空間的ビームパターンは補完的であることがわかる。さらに、これらの例における左−右の対のマイクロフォン１３０４ａ−ｃと前部−後部対のマイクロフォン１３０４ａ−ｃの間のスペースが異なることに起因して、空間エイリアシングはこれらのビームパターンに異なった影響を与えることもわかる。
［００１０６］空間エイリアシングに起因して、マイクロフォン間の距離に依存して、キャプチャされた信号の周波数範囲全体未満に（例えば、上述される０乃至８ｋＨｚの範囲に）ビームを適用することが望ましい。低周波数コンテンツが空間フィルタリングされた後は、高周波数コンテンツを戻すことができ、空間遅延、処理遅延及び／又は利得マッチングに関してある程度の調整が行われる。幾つかの事例では（例えば、ハンドヘルドデバイスフォームファクタ（ｆｏｒｍ ｆａｃｔｏｒ）、いずれにせよマイクロフォンのスペース上の限界に起因して指向性のある程度の損失を予想することができるため、中間範囲の周波数のみ（例えば、２００又は５００Ｈｚのみまで）をフィルタリングすることが同じく望ましいであろう。
［００１０７］何らかの種類の非線形位相歪みが存在する場合は、同じ到着方向（ＤＯＡ）により全周波数に関して同じ遅延に基づいた標準的なビーム／ヌル形成技法は、非線形位相歪みが原因で生じる幾つかの周波数における差動遅延に起因して、性能が不良になることがある。しかしながら、ここにおいて説明される独立したベクトル解析に基づく方法は、ソース分離に基づいて動作し、従って、該方法は、同じ到着方向に関する差動遅延が存在する場合でも良好な結果が得られることを予想することができる。該ロバストネス（ｒｏｂｕｓｔｎｅｓｓ）は、サラウンド処理係数を入手するために独立したベクトル解析を使用するという潜在的な利点であることができる。
［００１０８］あるカットオフ周波数（例えば、８ｋＨｚ）の上方で空間フィルタリングが行われない事例に関しては、最終的な高精細度信号を提供することは、オリジナルの前部／後部チャネルをハイパスフィルタリングすることと、８乃至２４ｋＨｚの帯域を戻すことと、を含むことができる。該動作は、空間及びハイパスフィルタリング遅延に関して調整することを含むことができる。さらに、（例えば、空間分離の効果を混同しないようにするために）８乃至２４ｋＨ帯域の利得を調整することも望ましい。図１２に示される例は、時間領域でフィルタリングすることができるが、ここにおいて説明されるアプローチ法をその他の領域（例えば、周波数領域）におけるフィルタリングに適用することが明示で企図され、ここによって開示される。
［００１０９］図１６は、４つのマイクロフォン１６０４ａ−ｄのアレイを有する４チャネルブラインドソース分離（例えば、独立したコンポーネント解析又は独立したベクトル解析）を用いたヌルビーム形成アプローチ法を示す。４つのマイクロフォン１６０４ａ−ｄの様々な対のうちの少なくとも２つの軸は、直交であること又は実質的に直交であること（例えば、直交から５°、１０°、１５°又は２０°以内）ことが望ましい。該４マイクロフォン１６０４ａ−ｄフィルタは、角方向へのビームパターンを生成するためにデュアルマイクロフォンペアリングに加えて使用することができる。一例では、これらのフィルタは、独立したベクトル解析及びトレーニングデータを用いて学習することができ、その結果得られる収束独立ベクトル解析フィルタは、５．１サラウンドサウンドにおける各々の５つのチャネル方向（ＦＬ、ＦＣ、ＦＲ、ＢＲ、ＢＬ）に関する信号を生成するために４つの録音されたマイクロフォン１６０４ａ−ｄ入力に適用された固定フィルタとして実装される。５つのスピーカーを１００％利用するためには、例えば、次の方程式、すなわち、（ＦＬ＋ＦＲ）／√２、を用いて前−中央チャネルＦＣを得ることができる。以下において説明される図２３は、該方法に関するフローチャートを示す。以下において説明される図２５は、該フィルタバンクに関する部分的なルーティング図を示し、マイクｎは列ｎ内のフィルタへの入力を提供し、１≦ｎ≦４であり、出力チャネルの各々は、対応する行内のフィルタの出力の和である。
［００１１０］該学習プロセスの一例では、４つのマイクロフォン１６０４ａ−ｄのアレイの周囲の４つの各々の指定された位置（例えば、４つの角の位置ＦＬ、ＦＲ、ＢＬ及びＢＲ）の各々に独立した音源が置かれ、アレイは、４チャネル信号をキャプチャするために使用される。キャプチャされた４チャネル出力の各々は、すべての４つのソースの混合であることに注目すること。次に、４つの独立したソースを分離するためにブラインドソース分離技法（独立ベクトル解析）を適用することができる。コンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）後は、分離された４つの独立したソース、及び、基本的にターゲットの角の方にビームが向かい、その他の３つの角の方にヌルする収束（ｃｏｎｖｅｒｇｅｄ）フィルタセットを得ることができる。
［００１１１］図１７は、角方向前左（ＦＬ）１７０９、前右（ＦＲ）１７１１、後左（ＢＬ）１７１３及び後右（ＢＲ）１７１５に関する４つのフィルタの該組に関するビームパターンの例を示す。ランドスケープ（ｌａｎｄｓｃａｐｅ）録音モードに関して、フィルタを入手及び適用することは、２つの前部マイクロフォン及び２つの後部マイクロフォンを使用することと、アレイに対する固定位置のソースに関する４チャネル独立ベクトル解析学習アルゴリズムを実行することと、収束フィルタを適用することと、を含むことができる。
［００１１２］ビームパターンは、取得された混合データに依存して変化することができる。図１８は、後左（ＢＬ）１８１７方向、後右（ＢＲ）１８１９方向、前左（ＦＬ）１８２１方向及び前右方向（ＦＲ）１８２３方向においてモバイルスピーカーデータに関して学習された独立ベクトル解析収束フィルタビームパターンの例を示す。図１９は、後左（ＢＬ）１９１７方向、後右（ＢＲ）１９１９方向、前左（ＦＬ）１９２１方向及び前右方向（ＦＲ）１９２３方向においてリファインされたモバイルスピーカーデータに関して学習された独立ベクトル解析収束フィルタビームパターンの例を示す。これらの例は、図１８に示されるのと同じであるが、前右ビームパターンを除く。
［００１１３］独立ベクトル解析を用いて４マイクロフォンフィルタをトレーニングするプロセスは、希望される方向へのビームだけでなく、干渉方向をヌル化（ｎｕｌｌ）することも含むことができる。例えば、前左（ＦＬ）方向に関するフィルタは、前左（ＦＬ）方向へのビームを含み、前右（ＦＲ）、後左（ＢＬ）及び後右（ＢＲ）方向にヌル化するソリューションに向けて収束される。該トレーニング動作は、正確なマイクアレイ幾何が既に知られている場合は決定論的に行うことができる。代替として、独立ベクトル解析プロセスは、豊富なトレーニングデータを用いて行うことができ、ここで、１つ以上の音源（例えば、話声、楽器、等）は、各角に配置され、４マイクロフォンアレイによってキャプチャされる。この事例では、トレーニングプロセスは、マイクロフォン構成にかかわらず（すなわち、マイクロフォン幾何に関する情報の必要性なしに）１回実施することができ、フィルタは、のちに特定のアレイ構成に関して固定することができる。アレイが投影された二次元（ｘ−ｙ）平面内に４つのマイクロフォンを含むかぎり、この学習処理の結果は、４つのコーナーフィルタの適切な組を生成するために適用することができる。アレイのマイクロフォンが２つの直交軸又はほぼ直交の軸（例えば、直交から１５°以内）内に配置されている場合は、該トレーニングされたフィルタは、特定のマイクロフォンアレイ構成の制約なしにサラウンドサウンド画像を記録するために使用することができる。例えば、２つの軸が直交に非常に近い場合は３マイクロフォンアレイで十分であることができ、各軸上のマイクロフォン間の分離間の比率は重要でない。
［００１１４］上記のように、低周波数を空間処理し、高周波数ターム（ｆｒｅｑｕｅｎｃｙ ｔｅｒｍ）をパスすることによって高精細度信号を得ることができる。しかしながら、計算の複雑化が特定の設計にとって重大な懸念事項でない場合は、周波数領域全体の処理を代わりに行うことができる。４マイクロフォン独立ベクトル解析アプローチ法は、ビーミング（ｂｅａｍｉｎｇ）よりもヌリング（ｎｕｌｌｉｎｇ）により焦点を合わせているため、高周波数タームにおけるエイリアシングの影響を低減させることができる。ヌルエイリアシングは、ビーミング方向では稀な頻度しか発生せず、従って、ビーミング方向における周波数領域のほとんどは、特にマイクロフォン間の距離が小さい場合は、ヌルエイリアシングによる影響を受けないことができる。マイクロフォン間の距離がより大きい場合は、ヌリングは実際にはランダム化し、従って、その影響は、処理されない高周波数タームをパスする事例と同様である。
［００１１５］小さいフォームファクタ（例えば、ハンドヘルドデバイス１０２）に関しては、マイクロフォンのスペースが小さすぎて良い結果をサポートすることができず、高周波数における性能が損なわれるおそれがあるため、低周波数で空間フィルタリングを行うのは避けるのが望ましいであろう。同様に、高周波数は典型的には既に指向性であり、空間エイリアシング周波数を上回る周波数に関してはフィルタリングは有効でないことがあるため、高周波数で空間フィルタリングを行うのは避けるのが望ましいであろう。
［００１１６］３つ以下のマイクロフォンが使用される場合は、（例えば、不十分な自由度に起因して）３つのその他の角においてヌルを形成するのは困難なことがある。この場合は、代替策、例えば、図１４、２１、及び２２に関して説明されるエンドファイアペアリング、を使用するのが望ましいであろう。
［００１１７］図２０は、エンドファイアビームを結合するための方法２０００のフローチャートを示す。一例では、無線通信デバイス１０２は、１つのエンドファイア方向にビームを適用する２００２ことができる。無線通信デバイス１０２は、他方のエンドファイア方向にビームを適用する２００４ことができる。幾つかの例では、マイクロフォン１０４ａ−ｅ対は、エンドファイア方向にビームを適用することができる。次に、無線通信デバイス１０２は、フィルタリングされた信号を結合する２００６ことができる。
［００１１８］図２１は、一般的なデュアルペアマイクロフォン事例においてビームを結合するための方法２１００のフローチャートを示す。一例では、第１のマイクロフォン１０４ａ−ｅ対は、第１の方向にビームを適用する２１０２ことができる。第２のマイクロフォン１０４ａ−ｅ対は、第２の方向にビームを適用する２１０４ことができる。次に、無線通信デバイス１０２は、フィルタリングされた信号を結合する２１０６ことができる。
［００１１９］図２２は、３つのマイクロフォンの事例においてビームを結合する方法２２００のフローチャートを示す。この例では、第１のマイクロフォン１０４ａ及び第２のマイクロフォン１０４ｂは、第１の方向にビームを適用する２２０２ことができる。第２のマイクロフォン１０４ｂ及び第３のマイクロフォン１０４ｃは、第２の方向にビームを適用する２２０４ことができる。次に、無線通信デバイス１０２は、フィルタリングされた信号を結合する無線通信デバイス１０２は、フィルタリングされた信号を結合する２２０６ことができる。エンドファイアビームフォームの各対は、＋９０°及び−９０°の焦点エリアを有することができる。一例として、前（前−後対の＋９０）左（左−右対の＋９０）を有するために、＋９０°焦点エリアを有する２つのエンドファイアビームフォームの組み合わせを使用することができる。
［００１２０］図２３は、４チャネルブラインドソース分離を用いた４つのマイクロフォン２３０４ａ−ｄ（例えば、第１のマイクチャネル２３０４ａ、第2のマイクチャネル２３０４ｂ、第３のマイクチャネル２３０４ｃ及び第４のマイクチャネル２３０４ｄ）のアレイのブロック図である。マイクロフォン２３０４ａ−ｄチャネルは、各々、４つのフィルタ２３２４ａ−ｄの各々に結合することができる。５つのスピーカーを１００％利用するために、前中央チャネル２３０４ｅは、例えば、第１のフィルタ２３２４ａ及び第２のフィルタ２３２４ｂの出力を介して、前右チャネル２３０４ａ及び左チャネル２３０４ｂを結合することによって得ることができる。
［００１２１］図２４は、ブラインドソース分離フィルタバンク２４２６に関する部分的ルーティング図を示す。前左（ＦＬ）方向、前右（ＦＲ）方向、後左（ＢＬ）方向及び後右（ＢＲ）方向においてオーディオ信号を生成するために４つのマイクロフォン２４０４（例えば、第１のマイク２４０４ａ、第2のマイク２４０４ｂ、第３のマイク２４０４ｃ及び第４のマイク２４０４ｄ）をフィルタバンク２４２６に結合することができる。
［００１２２］図２５は、２×２フィルタバンク２５２６に関するルーティング図を示す。前左（ＦＬ）方向、前右（ＦＲ）方向、後左（ＢＬ）方向及び後右（ＢＲ）方向においてオーディオ信号を生成するために４つのマイクロフォン２５０４（例えば、第１のマイク２５０４ａ、第２のマイク２５０４ｂ、第３のマイク２５０４ｃ及び第４のマイク２５０４ｄ）をフィルタバンク２５２６に結合することができる。２×２フィルタバンクの出力部では、３−Ｄオーディオ信号ＦＬ、ＦＲ、ＢＲ及びＢＬが出力されることに注目すること。図２３において示されるように、その他のフィルタのうちの２つ（第１及び第２のフィルタ）の組み合わせから中央チャネルを再生することができる。
［００１２３］本説明は、複数の無指向性マイクロフォン２５０４ａ−ｄを用いて録音された信号から５．１チャネル録音を提供する開示を含む。複数の無指向性マイクロフォン２５０４ａ−ｄを用いてキャプチャされた信号からバイノーラル録音を生成することが望ましい。例えば、ユーザ側からの５．１チャネルサラウンドシステムが存在しない場合は、ユーザがサラウンドサウンドシステムを有する実際の音響空間内に存在する経験を有することができるようにするために５．１チャネルをステレオバイノーラル録音にダウンミックスすることが望ましいであろう。さらに、この能力は、ユーザがその場でシーンを録画しながらサラウンド録音をモニタリングすること及び／又はホームシアターシステムの代わりにステレオヘッドセットを用いて自己のモバイルデバイスにおいて録画された映像及びサラウンドサウンドを再生することができる任意選択肢を提供することができる。
［００１２４］ここにおいて説明されるシステム及び方法は、居間空間内の指定された位置（ＦＬ、ＦＲ、Ｃ、ＢＬ（又はサラウンド左）、及びＢＲ（又はサラウンド右）に配置された拡声器を通じて再生されることが意図される無指向性マイクロフォン２５０ａ−ｄのアレイからの指向性音源を提供することができる。ヘッドフォンを用いてこの状況を再生する１つの方法は、希望される音響空間内の各耳の内部に配置されたマイクロフォン２５０ａ−ｄへの各拡声器からバイノーラルインパルス応答（ＢＩＲ）（例えば、バイノーラル伝達関数）を測定するオフラインプロセスを含むことができる。バイノーラルインパルス応答は、拡声器のアレイ間のすべてのソース受信機対及び２つの耳に関する音響経路情報を符号化することができ、各拡声器からの直接経路及び反射経路を含む。本物の人間の耳の内部に小さいマイクロフォン２５０４ａ−ｄを配置すること、又はシリコン製の耳を有するダミーの頭部、例えば、頭部・胸部シミュレータ（例えば、ＨＡＴＳ、Ｂｒｕｅｌ ａｎｄ Ｋｊａｅｒ、ＤＫ）を使用することができる。
［００１２５］バイノーラル再生に関して、測定されたバイノーラルインパルス応答は、指定された拡声器位置に関する各指向性音源を畳み込むことができる。すべての指向性ソースにバイノーラルインパルス応答を畳み込んだ後は、各耳の録音に関して結果を合計することができる。この事例では、人間の耳によって捕らえられた左右の信号を複製する２つのチャネル（例えば、左右）は、ヘッドフォンを通じて再生することができる。無指向性マイクロフォン２５０４ａ−ｄのアレイからの５．１サラウンド生成は、アレイからバイノーラル再生までの経由点（ｖｉａ−ｐｏｉｎｔ）として使用することができる。従って、この方式は、その経由点がどのように生成されるかに依存して一般化することができる。例えば、アレイによってキャプチャされた信号からさらなる指向性ソースが生成され、それらは、希望される拡声器位置から耳までの適宜測定されたバイノーラルインパルス応答との経由点として使用することができる。
［００１２６］ここにおいて説明される方法は、音響信号を受け取るように構成された２つ以上のマイクロフォン２５０４ａ−ｄのアレイを有するポータブルなオーディオセンシングデバイス（ａｕｄｉｏ ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）内で実行するのが望ましいであろう。該アレイを含むために実装することができ及び録音及び／又は音声通信用途のために使用することができるポータブルなオーディオセンシングデバイスの例は、電話ハンドセット（例えば、携帯電話ハンドセット）、有線又は無線のヘッドセット（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセット）、ハンドヘルドオーディオ及び／又はビデオレコーダ、オーディオ及び／又はビデオコンテンツを記録するように構成されたパーソナルメディアプレーヤー、パーソナルデジタルアシスタント（ＰＤＡ）又はその他のハンドヘルドコンピューティングデバイス、ノートブックコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、又はその他のポータブルなコンピューティングデバイスを含む。ポータブルなコンピューティングデバイスのクラスは、現在は、ラップトップコンピュータ、ノードブックコンピュータ、ネットブックコンピュータ、ウルトラポータブルコンピュータ、タブレットコンピュータ、モバイルインターネットデバイス、スマートブック及びスマートフォン等の名前を有するデバイスを含む。該デバイスは、表示画面を含むトップパネル及びキーボードを含むことができるボトムパネルを有することができ、２つのパネルは、クラムシェル方式で又はその他のヒンジ方式で接続することができる。該デバイスは、表面にタッチ画面式ディスプレイを含むタブレットコンピュータとして同様に実装することができる。該方法を実行するために及びアレイ例を含むために構築することができ及び録音及び／又は音声通信用途のために使用することができるオーディオセンシングデバイスのその他の例は、セットトップボックスと、オーディオ及び／又はビデオ会議装置と、を含む。
［００１２７］図２６Ａは、一般的構成による多マイクロフォンオーディオセンシングデバイス２６２８のブロック図を示す。オーディオセンシングデバイス２６２８は、ここにおいて開示されるマイクロフォンアレイ２６３０の実装の例を含むことができる。オーディオセンシングデバイス２６２８は、ここにおいて開示される方法のうちの１つ以上の実装を行うことによって多チャネルオーディオ信号（ＭＣＳ）を処理するように構成することができる装置２６３２を含むこともできる。装置２６３２は、ハードウェア（例えば、プロセッサ）とソフトウェア及び／又はファームウェアの組み合わせとして実装することができる。
［００１２８］図２６Ｂは、デバイス２６２８の実装であることができる通信デバイス２６０２のブロック図を示す。無線通信デバイスデバイス２６０２は、装置２６３２を含むチップ又はチップセット２６３４（例えば、モバイルステーションモデム（ＭＳＭ）チップセット）を含むことができる。チップ／チップセット２６３４は、１つ以上のプロセッサを含むことができる。チップ／チップセット２６３４は、アレイ２６３０の処理要素（例えば、以下で説明されるオーディオ前処理段階の要素）を含むこともできる。チップ／チップセット２６３４は、無線周波数（ＲＦ）通信信号を受信するように及びＲＦ信号内で符号化されたオーディオ信号を復号及び再生するように構成することができる受信機と、装置２６３２によって生成された処理された信号に基づくことができるオーディオ信号を符号化するように及び符号化されたオーディオ信号を記述するＲＦ通信信号を送信するように構成することができる送信機と、を含むこともできる。例えば、チップ／チップセット２６３４の１つ以上のプロセッサは、符号化されたオーディオ信号が雑音の低減された信号に基づくようにするために多チャネル信号の１つ以上のチャネルに関して上述されるような雑音低減動作を行うように構成することができる。
［００１２９］アレイ２６３０の各マイクロフォンは、無指向性、双指向性、又は単一指向性（例えば、カーディオイド）である応答を有することができる。アレイ２６３０内で使用することができる様々なタイプのマイクロフォンは、（限定することなしに）圧電マイクロフォンと、ダイナミックマイクロフォンと、エレクトレットマイクロフォンと、を含むことができる。ポータブル音声通信用デバイス、例えば、ハンドセット又はヘッドセット、では、アレイ２６３０の隣接するマイクロフォン間の中心間スペースは、約１．５ｃｍから約４．５ｃｍの範囲内であることができるが、ハンドセット又はスマートフォン、等のデバイスではより大きいスペース（えば、最大で１０又は１５ｃｍ）も可能であり、タブレットコンピュータ、等のデバイスではさらに大きいスペース（例えば、最大で２０、２５又は３０ｃｍ）が可能である。アレイ２６３０のマイクロフォンは、（均一の又は非均一のマイクロフォンスペースを有する状態で）線に沿って配置することができ、又は、代替として、それらの中心が二次元（例えば、三角形）又は三次元形状の頂点にくるようにすることができる。
［００１３０］マイクロフォンは、より一般的には、音以外の放射線又は放出線に敏感なトランスデューサとして実装できることが明記される。１つの該例では、マイクロフォン対は、一対の超音波トランスデューサ（例えば、１５、２０、２５、３０、４０又は５０キロヘルツよりも大きい音響周波数に敏感なトランスデューサ）として実装することができる。
［００１３１］多マイクロフォンオーディオセンシングデバイス２６２８の動作中は、アレイ２６３０は、マルチチャネル信号を生成し、各チャネルは、音響環境に対するマイクロフォンの対応する１つの応答に基づく。１つのマイクロフォンは、他のマイクロフォンよりも直接特定の音を受け取ることができ、従って、対応するチャネルは、単一のマイクロフォンを使用してキャプチャすることができるよりも完全な音響環境の表現を総合して提供するために互いに異なる。幾つかの実装においては、チップセット２６３４は、１つ以上のマイクロフォン２６０４ａ−ｂ、拡声器２６１０、１つ以上のアンテナ２６０３ａ−ｂ、ディスプレイ２６０５及び／又はキーパッド２６０７に結合することができる。
「００１３２」図２７Ａは、１つ以上の動作を実行するように構成されたマイクロフォン２７０ａ−ｂのアレイ２７３０のブロック図である。アレイ２７３０は、多チャネル信号を生成するためにマイクロフォン２７０ａ−ｂによって生成された信号に関して１つ以上の処理動作を行うことが望ましい。アレイ２７３０は、（限定することなしに）インピーダンスマッチング、アナログ−デジタル変換、利得制御、及び／又はアナログ及び／又はデジタル領域におけるフィルタリングを含むことができる１つ以上の該動作を行うように構成されたオーディオ前処理段階２７３６を含むことができる。
［００１３３］図２７Ｂは、１つ以上の動作を行うように構成されたマイクロフォンアレイ２７３０の他のブロック図である。アレイ２７３０は、アナログ前処理段階２７３８ａ及び２７３８ｂを含むことができるオーディオ前処理段階２７３６を含むことができる。一例では、段階２７３８ａ及び２７３８ｂは、各々、対応するマイクロフォン信号に関して（例えば、５０、１００、又は２０Ｈｚのカットオフ周波数を用いて）ハイパスフィルタリング動作を行うように構成することができる。
［００１３４］アレイ２７３０は、多チャネル信号をデジタル信号として、すなわち、サンプルのシーケンスとして、生成するのが望ましい。例えば、アレイ２７３０は、対応するアナログチャネルをサンプリングするために各々配置されるアナログ−デジタル変換器（ＡＤＣ）２７４０ａ及び２７４０ｂを含むことができる。音響用途に関する典型的なサンプリングレートは、８ｋＨｚ、１２ｋＨｚ、１６ｋＨｚ、及び約８乃至１６ｋＨｚの範囲のその他の周波数を含むことができるが、約４４ｋＨｚという高いサンプリングレートも使用することができる。この特定の例では、アレイ２７３０は、多チャネル信号ＭＣＳの対応するチャネルＭＣＳ−１、ＭＣＳ−２を生成するために対応するデジタル化されたチャネルに関して１つ以上の前処理動作（例えば、エコーキャンセレーション、雑音低減、及び／又はスペクトル整形）を行うように各々構成されるデジタル前処理段階２７４２ａ及び２７４２ｂを含むこともできる。図２７Ａ及び２７Ｂは、２チャネル実装を示すが、任意の数のマイクロフォン２７０４ａ−ｂ及び多チャネル信号ＭＣＳの対応するチャネルにまで同じ原理を拡張できることが理解される。
［００１３５］埋没型オーディオ再生に関する現在のフォーマットは、（ａ）バイノーラル３Ｄ、（ｂ）トランスオーラル３Ｄと、（ｃ）５．１／７．１サラウンドサウンドと、を含む。バイノーラル及びトランスオーラル３Ｄに関する両方とも、典型的には、ステレオチャネル／信号のみが送信される。サラウンドサウンドに関しては、ステレオのみ以上の信号を送信することができる。本開示は、サラウンドサウンドに関してステレオ以上を送信するためのモバイルデバイスで使用されるコーディング方式を提案する。
［００１３６］現在のシステムは、Journal of Audio Eng. Soci. Vol. 57、No.9, 2009 Septemberからの図１に例示されるように“Ｂフォーマットオーディオ”を送信することができる。Ｂフォーマットオーディオは、４つのチャネルを有する１つの経由点を有し、特別な録音セットアップを要求する。その他のシステムは、音声通信ではなく、放送に焦点が合わせされる。
［００１３７］現在のシステム及び方法は、リアルタイム通信システムで使用される４つの経由点を有し、経由点は、サラウンドサウンドシステムの４つの角（例えば、前左、前右、後左及び後右）の各々において存在することができる。これらの４つの角の音を送信することは、まとめて又は独立して行うことができる。これらの構成では、あらゆる数のスピーチコーデックを用いて４つのオーディオ信号を圧縮することができる。幾つかの事例では、録音セットアップ（例えば、Ｂフォーマットオーディオで使用されるそれ）は必要ないことがある。ｚ軸は省略することができる。そうしても、情報は依然として人間の耳によって識別することができるため信号を劣化させない。
［００１３８］新しいコーディング方式は、主にスピーチコーデックに固有の歪みに限定されるそれを有する圧縮を提供することができる。最終的なオーディオ出力は、可能な拡声器の設置に関して内挿することができる。さらに、それは、その他のフォーマット、例えば、Ｂフォーマット（ｚ軸、及びバイノーラル録音を除く）とコンパチブルであることができる。さらに、新しいコーディング方式は、４つのオーディオ信号が相関関係にないことができるため、ほとんどのモバイルデバイスのオーディオ経路内に配置されたスピーチコーデックとタンデムで機能するエコーキャンセラの使用によって利益を得ることができる。
［００１３９］現在のシステム及び方法は、リアルタイム通信の課題に対処することができる。幾つかの例では、ある下方帯域（ＬＢ）の周波数からある上方帯域（ＵＢ）の周波数（例えば、［ＬＢ、ＵＢ］）までの周波数帯域を個々のチャネルとして送信することができる。ナイキスト周波数までのある上方帯域（ＵＢ）の周波数の上方では（例えば、［ＵＢ，ＮＦ］）、利用可能なチャネル容量に依存して異なるチャネルを送信することができる。例えば、４つのチャネルが利用可能である場合は、４つのオーディオチャネルを送信することができる。２つのチャネルが利用可能である場合は、前部の２つのチャネル及び後部の２つのチャネルを平均化した後に前部及び後部チャネルを送信することができる。１つのチャネルが利用可能である場合は、すべてのマイクロフォン入力の平均を送信することができる。幾つかの構成では、チャネルは送信されず、スペクトル帯域複製に類似する技法を用いて低帯域（例えば、［ＬＢ、ＵＢ］）から高帯域（例えば、［ＵＢ、ＮＦ］）を生成することができる。下方帯域の周波数（ＬＢ）を下回る帯域（例えば、［０、ＬＢ］）に関しては、すべてのマイクロフォン入力の平均を送信することができる。
［００１４０］幾つかの例では、オーディオ信号の符号化は、選択的符号化を含むことができる。例えば、ユーザが１つの特定の指向性ソース（例えば、ユーザの声）を送信することを希望する場合は、無線通信デバイスは、その他のチャネルのダイナミックレンジを最小化し及びその他の方向のエネルギーを低下させることによって、その方向に関してより多くのコーディングビットリソースを割り当てることができる。さらに加えて又は代替として、無線通信デバイスは、ユーザが特定の指向性ソース（例えば、ユーザの声）に関心を有する場合は２つ以上のチャネルを送信することができる。
［００１４１］図２８は、１つ以上のオーディオ信号２８４４ａ−ｄの周波数帯域のチャートを示す。オーディオ信号２８４４ａ−ｄは、異なる方向から受信されたオーディオ信号を表すことができる。例えば、１つのオーディオ信号２８４４ａは、サラウンドサウンドシステムにおいて前左（ＦＬ）方向からのオーディオ信号であることができ、他のオーディオ信号２８４４ｂは、後左（ＢＬ）方向からのオーディオ信号であることができ、他のオーディオ信号２８４４ｃは、前右（ＦＲ）方向からのオーディオ信号であることができ、他のオーディオ信号２８４４ｄは、後右（ＢＲ）方向からのオーディオ信号であることができる。
［００１４２］幾つかの構成により、オーディオ信号２８４４ａ−ｄは、１つ以上の帯域に分割することができる。例えば、前左のオーディオ信号２８４４ａは、帯域１Ａ ２８４６ａ、帯域１Ｂ ２８７６ａ、帯域２Ａ ２８７８ａ、帯域２Ｂ ２８８０ａ、及び帯域２Ｃ ２８８２ａに分割することができる。その他のオーディオ信号２８４４ｂ−ｄも同様に分割することができる。ここで使用される場合において、用語“帯域１Ｂ”は、ある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）との間にある周波数帯域（例えば、［ＬＢ、ＵＢ］）を意味することができる。オーディオ信号２８４４ａ−ｄの帯域は、１つ以上のタイプの帯域を含むことができる。例えば、オーディオ信号２８４４ａは、１つ以上の狭帯域信号を含むことができる。幾つかの実装においては、狭帯域信号は、帯域１Ａ ２８４６ａ−ｄと、帯域１Ｂ ２８７６ａ−ｄの一部分（例えば、帯域１Ｂ ２８７６ａ−ｄのうちの４ｋＨｚ未満の部分）と、を含むことができる。換言すると、ある上方の帯域の周波数（ＵＢ）が４ｋＨｚよりも大きい場合は、帯域１Ｂ ２８７６ａ−ｄは、狭帯域信号よりも大きいことができる。その他の実装においては、狭帯域信号は、帯域１Ａ ２８４６ａ−ｄと、帯域１Ｂ２８７６ａ−ｄと、帯域２Ａ ２８７８ａ−ｄの一部分（例えば、帯域２Ａ ２８７６ａ−ｄのうちの４ｋＨｚ未満の部分）と、を含むことができる。オーディオ信号２８４４ａは、１つ以上の非狭帯域信号（例えば、帯域２Ａ ２８７８ａ−ｄの一部分（４ｋＨｚよりも大きい部分）、帯域２Ｂ ２８８２ａ及び帯域２Ｃ ２８８２ａ）を含むこともできる。ここで使用される場合において、用語“非狭帯域”は、狭帯域でない信号（例えば、広帯域信号、超広帯域信号および全帯域信号）を意味する。
［００１４３］帯域の範囲は、次の通りであることができる。すなわち、帯域１Ａ ２８４６ａ−ｄは、０乃至２００Ｈｚであることができる。幾つかの実装においては、帯域１Ａ ２８４６ａ−ｄの上方範囲は、最大で約５００Ｈｚであることができる。帯域１Ｂ ２８７６ａ−ｄは、帯域１Ａ ２８４６ａ−ｄの最大周波数（例えば、２００Ｈｚ又は５００Ｈｚ）乃至約６．４ｋＨｚであることができる。帯域２Ａ ２８７８ａ−ｄは、帯域１Ｂ ２８７６ａ−ｄの最大範囲（例えば、６．４ｋＨｚ）乃至約８ｋＨｚであることができる。帯域２Ｂ ２８８０ａ−ｄは、帯域２Ａ ２８７８ａ−ｄの最大範囲（例えば、８ｋＨｚ）乃至約１６ｋＨｚであることができる。帯域２Ｃ ２８８０ａ−ｄは、帯域２Ｂ ２８８０ａ−ｄの最大範囲（例えば、約１６ｋＨｚ）乃至約２４ｋＨｚであることができる。
［００１４４］幾つかの実装においては、帯域１Ｂ ２８７６ａ−ｄの上方範囲は、限定されることなしに、マイクロフォンの幾何学的配置と、マイクロフォンの機械的設計（例えば、単一指向性マイクロフォン対無指向性マイクロフォン）と、を含む１つ以上の要因に依存することができる。例えば、帯域１Ｂ ２８７６ａ−ｄの上方範囲は、マイクロフォンが接近させて配置されるときとマイクロフォンが遠く離れて配置されるときとで異なることができる。この実装では、帯域１Ｂ ２８７６ａ−ｄからその他の帯域（例えば、帯域２Ａ−Ｃ２８７８ａ−ｄ、２８８０ａ−ｄ、２８８２ａ−ｄ）を導き出すことができる。
［００１４５］帯域１Ｂ ２８７６ａ−ｄの上方境界までの周波数範囲は、狭帯域信号（例えば、最大で４ｋＨｚ）であること又は狭帯域限度（例えば、６．４ｋＨｚ）よりもわずかに高いことができる。上述されるように、帯域１Ｂ ２８７６ａ−ｄの上方境界が狭帯域信号（例えば、４ｋＨｚ）よりも小さい場合は、帯域２Ａ ２８７８ａ−ｄの一部分は、狭帯域信号を含むことができる。それと比較して、帯域１Ｂ ２８７６ａ−ｄの上方境界が狭帯域信号（例えば、４ｋＨｚ）よりも大きい場合は、帯域２Ａ ２８７８ａ−ｄは、狭帯域信号を含むことができない。帯域２Ａ ２８７８ａ−ｄの上方境界（例えば、８ｋＨｚ）までの周波数範囲の一部分は、広帯域信号（例えば、４ａｋＨｚよりも大きい部分）であることができる。帯域２Ｂ ２８８０ａ−ｄの上方境界（例えば、１６ｋＨｚ）までの周波数範囲は、超広帯域信号であることができる。帯域２Ｃ ２８８２ａ−ｄの上方境界（例えば、２４ｋＨｚ）までの周波数範囲は、全帯域信号であることができる。
［００１４６］ネットワークの利用可能性、及びモバイルデバイス１０２内で利用可能なスピーチコーデックの利用可能性に依存して、コーデックの異なる構成を使用することができる。圧縮が関わっている場合は、オーディオコーデックとスピーチコーデックが時々区別される。スピーチコーデックは、ボイスコーデックと呼ぶことができる。オーディオコーデック及びスピーチコーデックは、異なる圧縮方式を有しており、圧縮量は、２つの間で大きく異なることができる。オーディオコーデックのほうがより良い忠実度を有しているが、オーディオ信号２８４４ａ−ｄを圧縮するときにより多くのビットを要求する。従って、圧縮比（すなわち、コーデック内の入力信号のビット数とコーデックの出力信号のビット数の比）は、スピーチコーデックよりもオーディオコーデックに関してより小さいことができる。従って、セル（複数の基地局によって網羅されたエリア）内のオーバー・ザ・エア帯域幅に関する制約事項に起因して）、スピーチパケットを送信するために要求されたビット数が望ましくなかったため、より古い２Ｇ（第２世代）及び３Ｇ（第３世代）通信システムでは声を送信するために使用されなかった。その結果、２Ｇ及び３Ｇ通信システムでは、１つのモバイルデバイスから他のモバイルデバイスへ声チャネルでオーバー・ザ・エアで圧縮された話声を送信するためにスピーチコーデックが使用されてきている。
［００１４７］モバイルデバイスにはオーディオコーデックが存在しているが、オーディオパケットの送信、すなわち、オーディオコーデックによるオーディオの圧縮に関する記述、は、オーバー・ザ・エアデータチャネルに関して行われている。オーディオコーデックの例は、ＭＰＥＧ−２／ＡＡＣ Ｓｔｅｒｅｏと、ＭＰＥＧ−４ ＢＳＡＣ Ｓｔｅｒｅｏと、Ｒｅａｌ Ａｕｄｉｏと、ＳＢＣ Ｂｌｕｅｔｏｏｔｈと、ＷＭＡと、ＷＭＡ １０ Ｐｒｏと、を含む。これらのオーディオコーデックは、３Ｇシステム内のモバイルデバイスで使われているが、圧縮されたオーディオ信号は、オーバー・ザ・エアで、リアルタイムで、トラフィックチャネル又は声チャネルを通じて送信されなかった。スピーチコーデックは、オーディオ信号を圧縮し、リアルタイムで、オーバー・ザ・エアで送信するために使用される。スピーチコーデックの例は、ＡＭＲ狭帯域スピーチコーデック（５．１５ｋｂｐ）、ＡＭＲ広帯域スピーチコーデック（８．８５Ｋｂｐｓ）、Ｇ．７２９ＡＢスピーチコーデック（８ｋｂｐｓ）、ＧＳＭ（登録商標）−ＥＦＲスピーチコーデック（１２．２ｋｂｐｓ）、ＧＳＭ−ＦＲスピーチコーデック（１３ｋｂｐｓ）、ＧＳＭ−ＨＲスピーチコーデック（５．６ｋｐｂｓ）、ＥＶＲＣ−ＮＢ、ＥＶＲＣ−ＷＢを含む。圧縮された話声（又はオーディオ）は、ボコーダパケット内でパッケージ化され、トラフィックチャネルでオーバー・ザ・エアで送信される。スピーチコーデックは、ボコーダと呼ばれることもある。オーバー・ザ・エアで送信される前に、ボコーダパケットは、より大きいパケット内に挿入される。２Ｇ及び３Ｇ通信では、声は、声チャネルで送信されるが、声は、ＶＯＩＰ（ボイス−オーバーＩＰ）を用いてデータチャネルで送信することもできる。
［００１４８］オーバー・ザ・エア帯域幅に依存して、上方帯域（ＵＢ）周波数とナイキスト周波数（ＮＦ）との間の信号を符号化するために様々なコーデック方式を使用することができる。これらの方式の例は、図２９乃至３３において提示される。
［００１４９］図２９Ａは、４つの全帯域コーデック２９４８ａ−ｄを用いた第１の構成に関する１つの可能な方式を例示する。上述されるように、オーディオ信号２９４４ａ−ｄは、異なる位置から受信されたオーディオ信号２９４４ａ−ｄ（例えば、前左オーディオ信号２９４４ａ、後左オーディオ信号２９４４ｂ、前右オーディオ信号２９４４ｃ及び後右オーディオ信号２９４４ｄ）を代表することができる。同様に、上述されるように、オーディオ信号２９４４ａ−ｄは、１つ以上の帯域に分割することができる。全帯域コーデック２９４８ａ−ｄを使用した場合、オーディオ信号２９４４ａは、帯域１Ａ ２９４６ａと、帯域１Ｂ ２９７６ａと、帯域２Ａ−２Ｃ ２９８４ａとを含むことができる。幾つかの事例では、帯域の周波数範囲は、以前に説明されたそれらであることができる。
［００１５０］この例では、各オーディオ信号２９４４ａ−ｄは、オーディオ信号２９４４ａ−ｄの様々な帯域の圧縮及び送信のために全帯域コーデック２９４８ａ−ｄを使用することができる。例えば、ある低帯域周波数（ＬＢ）及びある上方の帯域の周波数（ＵＢ）によって定義される周波数範囲内にある各オーディオ信号２９４４ａ−ｄの帯域（例えば、帯域１Ｂ ２９７６ａ−ｄを含む）をフィルタリングすることができる。この構成により、ある上方の帯域の周波数（ＵＢ）よりも大きくナイキスト周波数よりも小さい周波数を含む帯域に関しては（例えば、帯域２Ａ−２Ｃ、２９８４ａ−ｄ）、希望される角位置２９４４ａ−ｄに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。同様に、ある低帯域の周波数（ＬＢ）よりも小さい周波数を含む帯域（例えば、帯域１Ａ ２９４６ａ−ｄ）に関しては、希望される角位置２９４４ａ−ｄに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。幾つかの構成では、希望される角位置２９４４ａ−ｄに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することは、マイクロフォンチャネル間での固有の遅延及び利得差をキャプチャするため、帯域２Ａ−２Ｃ ２９８４ａ−ｄに関する指定された方向を表すことができる。幾つかの例では、希望される位置に最も近いマイクロフォンをキャプチャすることとフィルタリングされた範囲との間の相違点は、指向性の影響はフィルタリングされた周波数領域と比較してそれほど大きくないということである。
［００１５１］図２９Ｂは、４つの超広帯域コーデック２９８８ａ−ｄを用いた第１の構成に関する１つの可能な方式を例示する。超広帯域コーデック２９８８ａ−ｄを用いた場合は、オーディオ信号２９４４ａ−ｄは、帯域１Ａ ２９４６ａ−ｄと、帯域１Ｂ ２９７６ａ−ｄと、帯域２Ａ−２Ｂ ２９８６ａ−ｄと、を含むことができる。
［００１５２］この例では、ある低帯域周波数（ＬＢ）及びある上方の帯域の周波数（ＵＢ）によって定義される周波数範囲内にある各オーディオ信号２９４４ａ−ｄの帯域（例えば、帯域１Ｂ ２９７６ａ−ｄを含む）をフィルタリングすることができる。この構成により、ある上方の帯域の周波数（ＵＢ）よりも大きくナイキスト周波数よりも小さい周波数を含む帯域（例えば、帯域２Ａ−２Ｂ、２９８６ａ−ｄ）に関しては、希望される角位置２９４４ａ−ｄに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。同様に、ある低帯域の周波数（ＬＢ）よりも小さい周波数を含む帯域（例えば、帯域１Ａ ２９４６ａ−ｄ）に関しては、希望される角位置２９４４ａ−ｄに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。
［００１５３］図２９Ｃは、４つの広帯域コーデック２９００ａ−ｄを用いた第１の構成に関する１つの可能な方式を例示する。広帯域コーデック２９００ａ−ｄを用いた場合は、オーディオ信号２９４４ａ−ｄは、帯域１Ａ ２９４６ａ−ｄと、帯域１Ｂ ２９７６ａ−ｄと、帯域２Ａ ２９８６ａ−ｄと、を含むことができる。
［００１５４］この例では、ある低帯域周波数（ＬＢ）及びある上方の帯域の周波数（ＵＢ）によって定義される周波数範囲内にある各オーディオ信号２９４４ａ−ｄの帯域（例えば、帯域１Ｂ ２９７６ａ−ｄを含む）をフィルタリングすることができる。この構成により、ある上方の帯域の周波数（ＵＢ）よりも大きくナイキスト周波数よりも小さい周波数を含む帯域（例えば、帯域２Ａ、２９７８ａ−ｄ）に関しては、希望される角位置２９４４ａ−ｄに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。同様に、ある低帯域の周波数（ＬＢ）よりも小さい周波数を含む帯域（例えば、帯域１Ａ ２９４６ａ−ｄ）に関しては、希望される角位置２９４４ａ−ｄに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。
［００１５５］図３０Ａは、２つコーデック３０９４ａ−ｄがオーディオ信号を平均化している第２の構成に関する１つの可能な方式を例示する。幾つかの例では、異なるオーディオ信号３０４４ａ−ｄに関して異なるコーデック３０９４ａ−ｄを使用することができる。例えば、前左オーディオ信号３０４４ａ及び後左オーディオ信号３０４４ｂは、全帯域コーデック３０９４ａ、３０９４ｂ、をそれぞれ使用することができる。さらに、前右オーディオ信号３０４４ｃ及び後右オーディオ信号３０４４ｄは、狭帯域コーデック３０９４ｃ、３０９４ｄを使用することができる。図３０Ａは、２つの全帯域コーデック３０９４ａ、３０９４ｂ、及び２つの狭帯域コーデック３０９４ｃ、３０９４ｄを描いているが、コーデックのあらゆる組み合わせを使用することができ、現在のシステム及び方法は、図３０Ａにおいて描かれる構成によって制限されない。例えば、前右オーディオ信号３０４４ｃｃ及び後右オーディオ信号３０４４ｄは、図３０Ａにおいて描かれる狭帯域コーデック３０９４ｃ−ｄの代わりに広帯域又は超広帯域コーデックを使用することができる。幾つかの例では、上方帯域周波数（ＵＢ）が狭帯域限度（例えば、４ｋＨｚ）よりも大きい場合は、前右オーディオ信号３０４４ｃ及び後右オーディオ信号３０４４ｄは、空間コーディング効果を向上させるために広帯域コーデックを使用することでき又はネットワークリソースが限られている場合は狭帯域コーデックを使用することができる。
［００１５６］この構成では、全帯域コーデック３０９４ａ、３０９４ｂは、前右オーディオ信号３０４４ｃ及び後右オーディオ信号３０４４ｄのある上方境界よりも上の周波数範囲に関して１つ以上のオーディオ信号３０４４ａ−ｄを平均化することができる。例えば、全帯域コーデック３０９４ａ、３０９４ｂは、ある上方の帯域の周波数（ＵＢ）（例えば、帯域２Ａ−２Ｃ３０９２ａ、３０９２ｂ）よりも大きい周波数を含むオーディオ信号帯域を平均化することができる。同じ一般的方向から発生するオーディオ信号３０４４ａ−ｄは、まとめて平均化することができる。例えば、前左オーディオ信号３０４４ａ及び前右オーディオ信号３０４４ｃは、まとめて平均化することができ、後左オーディオ信号３０４４ｂ及び後右オーディオ信号３０４４ｄはまとめて平均化することができる。
［００１５７］オーディオ信号３０４４ａ−ｄを平均化する例は、次のように与えられる。前左オーディオ信号３０４４ａ及び後左オーディオ信号３０４４ｂは、全帯域コーデック３０９４ａ、３０９４ｂを使用することができる。この例では、前右オーディオ信号３０４４ｃ及び後右オーディオ信号３０４４ｄは、狭帯域コーデック３０９４ｃ、３０９４ｄを使用することができる。この例では、全帯域コーデック３０９４ａ、３０９４ｂは、各々のオーディオ信号（例えば、前左オーディオ信号３０４４ａ及び後左オーディオ信号３０４４ｂ）に関するある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（例えば、帯域１Ｂ ３０７６ａ−ｂ）との間のフィルタリングされた帯域を含むことができる。全帯域コーデック３０９４ａ、３０９４ｂは、同様に指向されたオーディオ信号（例えば、前オーディオ信号３０４４ａ、３０４４ｃ、及び後オーディオ信号３０４４ａ、３０４４ｂ）のある上方の帯域の周波数（ＵＢ）（例えば、帯域２Ａ−２Ｃ ３０９２ａ−ｂ）の上方の周波数を含むオーディオ信号帯域を平均化することもできる。同様に、全帯域コーデック３０９４ａ、３０９４ｂは、ある低帯域周波数（ＬＢ）（例えば、帯域１Ａ ３０４６ａ−ｂ）の下方の帯域を含むことができる。
［００１５８］さらに、この例では、狭帯域コーデック３０９４ｃ、３０９４ｄは、各々のオーディオ信号（例えば、前右オーディオ信号３０４４ｃ、後右オーディオ信号３０４４ｄ）に関するある低帯域周波数（ＬＢ）と４ｋＨｚの最大値とある上方の帯域の周波数（ＵＢ）（例えば、帯域１Ｂ ３０７６ｃ、３０７６ｄ）との間の周波数を含むフィルタリングされた帯域を含むことができる。狭帯域コーデック３０９４ｃ、３０９４ｄは、各々のオーディオ信号（例えば、前右オーディオ信号３０４４ｃ、後右オーディオ信号３０４４ｄ）に関するある低帯域周波数（ＬＢ）の下方の帯域を含むこともできる。この例では、ある上方の帯域の周波数（ＵＢ）が４ｋＨｚよりも小さい場合は、希望される角位置３０４４ａ−ｄに最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を符号化することができる。
［００１５９］上述されるように、図３０Ａは２つの全帯域コーデック３０９４ａ、３０９４ｂ及び２つの狭帯域コーデック３０９４ｃ、３０９４ｄを描くが、コーデックのあらゆる組み合わせを使用可能である。例えば、２つの超広帯域コーデックが２つの全帯域コーデック３０９４ａ、３０９４ｂに取って代わることができる。
［００１６０］図３０Ｂは、１つ以上のコーデック３０９４ａ−ｂ、ｅ−ｆがオーディオ信号を平均化している第２の構成に関する１つの可能な方式を例示する。この例では、前左オーディオ信号３０４４ａ及び後左オーディオ信号３０４４ｂは、全帯域コーデック３０９４ａ、３０９４ｂを使用することができる。この例では、前右オーディオ信号３０４４ｃ及び後右オーディオ信号３０４４ｄは、広帯域コーデック３０９４ｅ、３０９４ｆを使用することができる。この構成では、全帯域コーデック３０９４ａ、３０９４ｂは、上方境界より上方の周波数範囲部分に関する１つ以上のオーディオ信号３０４４ａ−ｄを平均化することができる。同じ一般的方向から発生するオーディオ信号３０４４ａ−ｄは、まとめて平均化することができる。例えば、前左オーディオ信号３０４４ａ及び前右オーディオ信号３０４４ｃは、まとめて平均化することができ、後左オーディオ信号３０４４ｂ及び後右オーディオ信号３０４４ｄはまとめて平均化することができる。
［００１６１］この例では、全帯域コーデック３０９４ａ、３０９４ｂは、帯域１Ａ ３０４６ａ−ｂと、帯域１Ｂ ３０７６ａ−ｂと、帯域２Ａ ３０７８ａ−ｂと、平均化された帯域２Ｂ、２Ｃ ３０９２ａ−ｂと、を含むことができる。広帯域コーデック３０９４ｅ、３０９４ｆは、各々のオーディオ信号（例えば、前右オーディオ信号３０４４ｃ及び後右オーディオ信号３０４４ｄ）に関するある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（例えば、帯域１Ｂ ３０７６ｃ−ｄ）との間の周波数を含むフィルタリングされた帯域を含むことができる。広帯域コーデック３０９４ｅ、３０９４ｆは、帯域２Ａ ３０７８ｃ−ｄに関する最も近いマイクロフォン信号でキャプチャされたオリジナルのオーディオ信号を含むこともできる。最も近いマイクロフォン信号を符号化することによって、指向性は、マイクロフォンチャネル間での固有の時間差及びレベル差によって依然として符号化することができる（ただし、ある下方帯域周波数（ＬＢ）とある上方帯域周波数（ＵＢ）との間の周波数の空間処理ほどは劇的でない）。広帯域コーデック３０９４ｅ、３０９４ｆは、各々のオーディオ信号（例えば、前右オーディオ信号３０４４ｃ及び後右オーディオ信号３０４４ｄ）に関するある低帯域周波数（ＬＢ）（例えば、帯域１Ａ ３０４６ｃ−ｄ）の下方の帯域を含むこともできる。
［００１６２］図３１Ａは、コーデックのうちの１つ以上が１つ以上のオーディオ信号を平均化することができる第３の構成に関する１つの可能な方式を例示する。この構成における平均化の例は、次のように与えられる。前左オーディオ信号３１４４ａは、全帯域コーデック３１９８ａを使用することができる。後左オーディオ信号３１４４ｂ、前右オーディオ信号３１４４ｃ及び後右オーディオ信号３１４４ｄは、狭帯域コーデック３１９８ｂ、３１９８ｃ、３１９８ｄを使用することができる。
［００１６３］この例では、全帯域コーデック３１９８ａは、オーディオ信号３１４４ａに関するある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（帯域１Ｂ ３１７６ａ）との間の周波数を含むフィルタリングされた帯域を含むことができる。全帯域コーデック３１９８ａは、オーディオ信号３１４４ａ−ｄのある上方の帯域の周波数（ＵＢ）（例えば、帯域２Ａ−２Ｃ ３１９２ａ）の上方の周波数を含むオーディオ信号帯域を平均化することもできる。同様に、全帯域コーデック３１９８ａは、ある低帯域周波数（ＬＢ）（例えば、帯域１Ａ ３１４６ａ）の下方の帯域を含むことができる。
［００１６４］狭帯域コーデック３１９８ｂ−ｄは、各々のオーディオ信号（例えば、３１４４ｂ−ｄ）に関するある低帯域周波数（ＬＢ）と４ｋＨｚの最大値とある上方の帯域の周波数（ＵＢ）（例えば、１Ｂ ３１７６ｂ−ｄ）との間の周波数を含むフィルタリングされた帯域を含むことができる。狭帯域コーデック３１９８ｂ−ｄは、各々のオーディオ信号（例えば、３１４４ｂ−ｄ）に関するある低帯域周波数（ＬＢ）（例えば、帯域１Ａ ３１６４ｂ−ｄ）の下方の周波数を含む帯域を含むこともできる。
［００１６５］図３１Ｂは、非狭帯域コーデックのうちの１つ以上がオーディオ信号を平均化している第３の構成に関する１つの可能な方式を例示する。この例では、前左オーディオ信号３１４４ａは、全帯域コーデック３１９８ａを使用することができる。後左オーディオ信号３１４４ｂ、前右オーディオ信号３１４４ｃ及び後右オーディオ信号３１４４ｄは、広帯域コーデック３１９４ｅ、３１９４ｆ及び３１９４ｇを使用することができる。この構成では、全帯域コーデック３１９８ａは、オーディオ信号３１４４ａ−ｄの周波数範囲の一部分（例えば、帯域２Ｂ−２Ｃ ３１９２ａ、３１９２ｂ）に関する１つ以上のオーディオ信号３１４４ａ−ｄを平均化することができる。
［００１６６］この例では、全帯域コーデック３１９８ａは、帯域１Ａ ３１４６ａと、帯域１Ｂ ３１７６ａと、帯域２Ａ ３１７８ａと、帯域２Ｂ−２Ｃ ３１９２ａとを含むことができる。広帯域コーデック３１９８ｅ−ｇは、各々のオーディオ信号（例えば、３１４４ｂ−ｄ）に関するある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（帯域１Ｂ ３１７６ｂ−ｄ）との間の周波数を含むフィルタリングされた帯域を含むことができる。広帯域コーデック３１９８ｅ−ｇは、ある上方の帯域の周波数（ＵＢ）（例えば、帯域２Ａ ３１７８ｂ−ｄ）の上方の周波数に関する希望される角位置に最も近いマイクロフォンでキャプチャされたオリジナルのオーディオ信号を含むこともできる。広帯域コーデック３１９８ｅ−ｇは、各々のオーディオ信号（例えば、３１４４ｂ−ｄ）に関するある低帯域周波数（ＬＢ）（例えば、帯域１Ａ ３１４４ｂ−ｄ）の下方の周波数を含む帯域を含むこともできる。
［００１６７］図３２は、４つの狭帯域コーデック３２０１ａ−ｄを示す。この例では、ある低帯域周波数（ＬＢ）と４ｋＨｚの最大値とある上方の帯域の周波数（ＵＢ）との間の周波数を含む帯域を、各オーディオ信号３２４４ａ−ｄに関してフィルタリングすることができる。ある上方の帯域の周波数（ＵＢ）が４ｋＨｚより小さい場合は、最大で４ｋＨｚのある上方の帯域の周波数（ＵＢ）よりも大きい周波数範囲に関して最も近いマイクロフォンからのオリジナルのオーディオ信号を符号化することができる。この例では、各オーディオ信号３２４４ａ−ｄに対応して、４つのチャネルを生成することができる。各チャネルは、そのオーディオ信号３２４４ａ−ｄに関するフィルタリングされた帯域を含むことができる（例えば、帯域１Ｂ ３２７６ａ−ｄの少なくとも一部分を含む）。狭帯域コーデック３２０１ａ−ｄは、各々のオーディオ信号（例えば、３２４４ａ−ｄ）に関するある低帯域周波数（ＬＢ）（例えば、帯域１Ａ ３２４６ａ−ｄ）の下方の周波数を含む帯域を含むこともできる。
［００１６８］図３３は、図２９Ａ、図２９Ｂ又は図２９Ｃの方式の４つの非狭帯域コーデックを用いてオーディオ信号パケット３３７６を生成及び受信するための方法３３００を例示するフローチャートである。方法３３００は、４つのオーディオ信号２９４４ａ−ｄを録音する３３０２ことを含むことができる。この構成では、４つのオーディオ信号２９４４ａ−ｄは、マイクロフォンアレイによって録音又はキャプチャすることができる。一例として、図２６及び図２７において例示されるアレイ２６３０、２７３０を使用することができる。録音されたオーディオ信号２９４４ａ−ｄは、オーディオが受信される方向に対応することができる。例えば、無線通信デバイス１０２は、４つの方向（例えば、前左２９４４ａ、後左２９４４ｂ、前右２９４４ｃ及び後右２９４４ｄ）から来たオーディオ信号を録音することができる。
［００１６９］無線通信デバイス１０２は、オーディオ信号パケット３３７６を生成する３３０４ことができる。幾つかの実装においては、オーディオ信号パケット３３７６を生成する３３０４ことは、１つ以上のオーディオチャネルを生成することを含むことができる。例えば、図２９Ａのコーデック構成が考慮された場合、ある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（例えば、［ＬＢ、ＵＢ］）との間に入るオーディオ信号の帯域をフィルタリングすることができる。幾つかの実装においては、これらの帯域をフィルタリングすることは、ブラインドソース分離（ＢＳＳ）フィルタを適用することを含むことができる。その他の実装においては、低帯域周波数（ＬＢ）及び上方の帯域の周波数（ＵＢ）内に入るオーディオ信号２９４４ａ−ｄのうちの１つ以上は、結合して対にすることができる。ナイキスト周波数までの上方の帯域の周波数（ＵＢ）よりも大きい帯域に関して及び低帯域周波数（ＬＢ）よりも小さい帯域に関して、オリジナルのオーディオ信号２９４４ａ−ｄをフィルタリングされたオーディオ信号と結合してオーディオチャネル内に入れることができる。換言すると、（オーディオ信号２９４４ａ−ｄに対応する）オーディオチャネルは、ある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（例えば、帯域１Ｂ ２９７６ａ−ｄ）との間のフィルタリングされた帯域と、ナイキスト周波数までのある上方の帯域の周波数（ＵＢ）（例えば、２Ａ−２Ｃ ２９８４ａ）上方のオリジナルの帯域と、低帯域周波数（ＬＢ）（例えば、帯域１Ａ ２９４６ａ−ｄ）下方のオリジナルの帯域と、を含むことができる。
［００１７０］オーディオ信号パケット３３７６を生成する３３０４ことは、１つ以上の非狭帯域コーデックをオーディオチャネルに適用することを含むこともできる。幾つかの構成により、無線通信デバイス１０２は、オーディオチャネルを符号化するために図２９Ａ−Ｃにおいて描かれるコーデックの第１の構成の１つ以上を使用することができる。例えば、図２９Ａにおいて描かれるコーデックが考慮された場合、無線通信デバイス１０２は、各オーディオチャネルに関して全帯域コーデック２９４８ａ−ｄを用いて４つのオーディオチャネルを符号化することができる。代替として、図３３の非狭帯域コーデックは、図２９Ｂにおいて例示される超広帯域コーデック２９８８ａ−ｄ、又は図２９Ｃにおいて例示される広帯域コーデック２９９０ａ−ｄであることができる。コーデックのあらゆる組み合わせを使用することができる。
［００１７１］オーディオ信号パケット３３７６が生成された場合は、無線通信デバイス１０２は、オーディオ信号パケット３３７６を復号器に送信する３３０６ことができる。復号器は、オーディオ出力デバイス、例えば、無線通信デバイス１０２、に含めることができる。幾つかの実装においては、オーディオ信号パケット３３７６は、オーバー・ザ・エアで送信することができる。
［００１７２］復号器は、オーディオ信号パケット３３７６を受信する３３０８ことができる。幾つかの実装においては、オーディオ信号パケット３３７６を受信する３３０８ことは、受信されたオーディオ信号パケット３３７６を復号することを含むことができる。復号器は、第１の構成に従ってそうすることができる。上例から、復号器は、各オーディオチャネルに関して全帯域コーデックを用いてオーディオチャネルを復号することができる。代替として、復号器は、送信パケット３３７６がどのように生成されたかに依存して、超広帯域コーデック２９８８ａ−ｄ又は広帯域コーデック２９９０ａ−ｄを使用することができる。
［００１７３］幾つかの構成では、オーディオ信号パケット３３７６を受信する３３０８ことは、前中央チャネルを再構築することを含むことができる。例えば、受信するオーディオ出力デバイスは、前中央オーディオチャネルを生成するために前左オーディオチャネル及び前右オーディオチャネルを結合することができる。
［００１７４］オーディオ信号パケット３３７６を受信する３３０８ことは、サブウーファーチャネルを再構築することを含むこともできる。これは、ローパスフィルタを通じてオーディオ信号２９４４ａ−ｄのうちの１つ以上を通すことを含むことができる。
［００１７５］受信されたオーディオ信号は、オーディオ出力デバイスにおいて再生する３３１０ことができる。幾つかの事例では、これは、サラウンドサウンド形式でオーディオ信号を再生することを含むことができる。その他の事例では、オーディオ信号は、ダウンミキシングし、ステレオ形式で再生することができる。
［００１７６］図３４は、（例えば、図３０Ａ又は図３０Ｂのいずれかからの）４つのコーデックを用いてオーディオ信号パケット３４７６を生成及び受信するための他の方法３４００を示したフローチャートである。方法３４００は、１つ以上のオーディオ信号３０４４ａ−ｄを録音する３４０２ことを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。無線通信デバイス１０２は、オーディオ信号パケット３４７６を生成することができる。幾つかの実装においては、オーディオ信号パケット３４７６を生成する３４０４ことは、１つ以上のオーディオチャネルを生成することを含むことができる。例えば、ある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（例えば、［ＬＢ、ＵＢ］）内に入るオーディオ信号３０４４ａ−ｄの帯域をフィルタリングすることができる。幾つかの実装においては、これは、図３３において説明されるように行うことができる。
「００１７７」幾つかの実装においては、（例えば、図３０Ａ又は３０Ｂにおいて例示される４つのオーディオ信号３０４４ａ−ｄに対応する）４つの低帯域チャネルを生成することができる。低帯域チャネルは、オーディオ信号３０４４ａ−ｄの［０，８］ｋＨｚ間の周波数を含むことができる。これらの４つの低帯域チャネルは、ある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（例えば、帯域１Ｂ ３０７６ａ−ｄ）との間のフィルタリングされた信号、及び、最大８ｋＨｚのある上方の帯域の周波数（ＵＢ）よりも大きいオリジナルのオーディオ信号、及び４つのオーディオ信号３０４４ａ−ｄの低帯域周波数（ＬＢ）（例えば、帯域１Ａ ３０４６ａ−ｄ）の下方のオリジナルのオーディオ信号を含むことができる。同様に、平均化された前／後オーディオ信号に対応する、２つの高帯域チャネルを生成することができる。高帯域チャネルは、ゼロから２４ｋＨｚまでの周波数を含むことができる。高帯域チャネルは、オーディオ信号３０４４ａ−ｄに関するある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（例えば、帯域１Ｂ ３０７６ａ−ｄ）との間のフィルタリングされた信号、及び、最大８ｋＨｚのある上方の帯域の周波数（ＵＢ）よりも大きいオリジナルのオーディオ信号、及び低帯域周波数（ＬＢ）（例えば、４つのオーディオ信号３０４４ａ−ｄの帯域１Ａ ３０４６ａ−ｄ）の下方のオリジナルのオーディオ信号を含むことができる。高帯域チャネルは、８ｋＨｚ超から２４ｋＨｚまでの平均化されたオーディオ信号を含むこともできる。
［００１７８］オーディオ信号パケット３４７６を生成する３４０４ことは、１つ以上のコーデック３０９４ａ−ｆをオーディオチャネルに適用することを含むこともできる。幾つかの構成により、無線通信デバイス１０２は、オーディオチャネルを符号化するために図３０Ａ及び３０Ｂにおいて描かれるコーデック３０９４ａ−ｆの第２の構成のうちの１つ以上を使用することができる。
［００１７９］例えば、図３０Ｂにおいて描かれるコーデックが考慮された場合は、無線通信デバイス１０２は、全帯域コーデック３０９４ａ、３０９４ｂをそれぞれ用いて前左オーディオ信号３０４４ａ及び後左オーディオ信号３０４４ｂを符号化することができ及び広帯域コーデック３０９４ｃ、３０９４ｂをそれぞれ用いて前右オーディオ信号３０４４ｃ及び後右オーディオ信号３０４４ｄを符号化することができる。換言すると、４つのオーディオ信号パケット３４７６を生成することができる。全帯域コーデック３０９４ａ、３０９４ｂを用いるオーディオ信号３０４４ａ−ｄ（例えば、前左オーディオ信号３０４４ａ及び後左オーディオ信号３０４４ｂ）に対応するパケット３４７６に関して、パケット３４７６は、そのオーディオ信号３０４４ａ−ｄ（例えば、オーディオ信号３０４４ａ、３０４４ｂ）の低帯域チャネル（例えば、［０、８］ｋＨｚと、その一般的方向の平均化されたオーディオ信号３０４４ａ−ｄ（例えば、前オーディオ信号３０４４ａ、３０４４ｃ、及び後オーディオ信号３０４４ｂ、３０４４ｄ）の最大２４ｋＨｚ（例えば、全帯域コーデック３０９４ａ、３０９４ｂによって許容される最大周波数）の高帯域チャネルと、を含むことができる。広帯域コーデック３０９４ｅ−ｆを用いるオーディオ信号３０４４ａ−ｄ（例えば、前右オーディオ信号３０４４ｃ及び後左オーディオ信号３０４４ｄ）に対応するオーディオ信号パケット３４７６に関して、オーディオ信号パケット３４７６は、そのオーディオ信号３０４４ａ−ｄ（例えば、オーディオ信号３０４４ｃ、３０４４ｄ）の低帯域チャネル（例えば、［０、８］ｋＨｚ）を含むことができる。
［００１８０］オーディオ信号情報が生成された状態では、無線通信デバイス１０２は、オーディオ信号情報を送信する３４０６ことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００１８１］復号器は、オーディオ信号情報を受信する３４０８ことができる。幾つかの実装においては、オーディオ信号情報を受信する３４０８ことは、受信されたオーディオ信号情報を復号することを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。図３０Ｂのコーデック方式が考慮された場合、復号器は、全帯域コーデック３０９４ａ、３０９４ｂを用いて前左オーディオ信号３０４４ａ及び後左オーディオ信号３０４４ｂを復号することができ及び広帯域コーデック３０９４ｅ、３０９４ｆを用いて前右オーディオ信号３０４４ｂ及び後右オーディオ信号３０４４ｄを復号することができる。オーディオ出力デバイスは、（例えば、前右オーディオチャネルに関しては前左オーディオ信号の平均化された高帯域チャネルを用いて及び後右オーディオチャネルに関しては後左オーディオ信号の平均化された高帯域チャネルを用いて）全帯域ディオチャネルに含まれている平均化された高帯域チャネルの一部分（例えば、［８、２４］ｋＨｚ部分）を用いて高帯域オーディオチャネルの［８、２４］ｋＨｚ範囲を再構築することもできる。
［００１８２］幾つかの構成では、オーディオ信号情報を受信する３４０８ことは、前中央チャネルを再構築することを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００１８３］オーディオ信号情報を受信する３４０８ことは、サブウーファー信号を再構築することを含むこともできる。幾つかの実装においては、図３３に関連して説明されるように行うことができる。
［００１８４］受信されたオーディオ信号は、オーディオ出力デバイスで再生する３４１０ことができる。幾つかの実装においては、図３３に関連して説明されるように行うことができる。
［００１８５］図３５は、（例えば、図３１Ａ又は図３１Ｂのいずれかからの）４つのコーデックを用いてオーディオ信号パケット３５７６を生成及び受信するための他の方法３５００を示したフローチャートである。方法３５００は、１つ以上のオーディオ信号３１４４ａ−ｄを録音する３５０２ことを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００１８６］無線通信デバイス１０２は、オーディオ信号パケット３５７６を生成する３５０４ことができる。幾つかの実装においては、オーディオ信号パケット３５７６を生成する３５０４ことは、１つ以上のオーディオチャネルを生成することを含むことができる。例えば、ある低帯域周波数（ＬＢ）とある上方の帯域の周波数（ＵＢ）（例えば、帯域１Ｂ ３１７６ａ−ｄ）内に入るオーディオ信号３１４４の帯域をフィルタリングすることができる。幾つかの実装においては、これは、図３３において説明されるように行うことができる。
「００１８７」幾つかの実装においては、４つのオーディオ信号３１４４に対応する、４つの低帯域チャネルを生成することができる。幾つかの実装においては、これは、図３４において説明されるように行うことができる。同様に、平均化されたオーディオ信号（例えば、前左オーディオ信号３１４４ａ、後左オーディオ信号３１４４ｂ、前右オーディオ信号３１４４ｃ及び後右オーディオ信号３１４４ｄ）に対応する、高帯域チャネルを生成することができる。幾つかの実装においては、これは、図３４において説明されるように行うことができる。
［００１８８］オーディオ信号パケット３５７６を生成する３５０４ことは、１つ以上のコーデック３１９８ａ−ｇをオーディオチャネルに適用することを含むこともできる。幾つかの構成により、無線通信デバイス１０２は、オーディオチャネルを符号化するために図３１Ａ及び３１Ｂにおいて描かれるコーデック３１９８ａ−ｇの第３の構成のうちの１つ以上を使用することができる。例えば、図３１Ｂにおいて描かれるコーデックが考慮される場合、無線通信デバイス１０２は、全帯域コーデック３１９８ａを用いて前左オーディオ信号３１４４ａを符号化することができ及び広帯域コーデック３１９８ｅ、広帯域コーデック３１９８ｆ及び広帯域コーデック３１９８ｇをそれぞれ用いて後左オーディオ信号３１４４ｂ、前右オーディオ信号３１４４ｃ及び後右オーディオ信号３１４４ｄを符号化することができる。換言すると、４つのオーディオ信号パケット３５７６を生成することができる。
［００１８９］全帯域コーデック３１９８ａを用いるオーディオ信号３１４４ａに対応するパケット３５７６に関して、パケット３５７６は、そのオーディオ信号３１４４ａの低帯域チャネルと、平均化されたオーディオ信号３１４４ａ−ｄの最大２４ｋＨｚ（例えば、全帯域コーデック３１９８ａによって許容される最大周波数）の高帯域チャネルと、を含むことができる。広帯域コーデック３１９８ｅ−ｇを用いるオーディオ信号３１４４ａ−ｄに対応するオーディオ信号パケット３５７６に関して、オーディオ信号パケット３５７６は、そのオーディオ信号３１４４ａ−ｄ（例えば、オーディオ信号３１４４ｂ−ｄ）の低帯域チャネルと、最大８ｋＨｚのある上方の帯域の周波数（ＵＢ）よりも大きいオリジナルのオーディオ信号とを含むことができる。
［００１９０］オーディオ信号情報が生成された状態では、無線通信デバイス１０２は、オーディオ信号情報を送信する３５０６ことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００１９１］復号器は、オーディオ信号情報を受信する３５０８することができる。幾つかの実装においては、オーディオ信号情報を受信する３５０８ことは、受信されたオーディオ信号情報を復号することを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。オーディオ出力デバイスは、全帯域オーディオチャネルにおいて含まれている平均化された高帯域チャネルの一部分（例えば、［８、２４］ｋＨｚ部分）を用いて広帯域オーディオチャネルの［８、２４］ｋＨｚの範囲を再構築することもできる。
［００１９２］幾つかの構成では、オーディオ信号情報を受信する３５０８ことは、前中央チャネルを再構築することを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００１９３］オーディオ信号情報を受信する３５０８ことは、サブウーファー信号を再構築することを含むこともできる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００１９４］受信されたオーディオ信号は、オーディオ出力デバイスで再生する３５１０ことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００１９５］図３６は、符号化すべき（例えば、図２９Ａ、図２９Ｂ又は図２９Ｃからの）４つの狭帯域コーデック及び復号すべき４つの広帯域コーデック又は狭帯域コーデックのいずれかの組み合わせを用いてオーディオ信号パケット３６７６を生成及び受信するための他の方法３６００を示したフローチャートである。方法３６００は、１つ以上のオーディオ信号２９４４を録音する３６０２ことを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００１９６］無線通信デバイス１０２は、オーディオ信号パケット３６７６を生成する３６０４ことができる。オーディオ信号パケット３６７６を生成する３６０４ことは、１つ以上のオーディオチャネルを生成することを含むことができる。幾つかの実装においては、これは、図３３において説明されるように行うことができる。
［００１９７］オーディオ信号パケット３６７６を生成する３６０４ことは、図２９Ａ−Ｃにおいて描かれるように、１つ以上の非狭帯域コーデックをオーディオチャネルに適用することを含むこともできる。例えば、無線通信デバイス１０２は、オーディオチャネルを符号化するために、図２９Ｂにおいて描かれる広帯域コーデック２９８８ａ−ｄを使用することができる。
［００１９８］オーディオ信号パケット３６７６が生成された状態で、無線通信デバイス１０２は、オーディオ信号パケット２６７６を復号器に送信する３６０６ことができる。幾つかの実装においては、これは、図３３において説明されるように行うことができる。
［００１９９］復号器は、オーディオ信号パケット３６７６を受信する３６０８ことができる。幾つかの実装においては、オーディオ信号パケット３６７６を受信する３６０８ことは、受信されたオーディオ信号パケット３６７６を復号することを含むことができる。復号器は、オーディオ信号パケット３６７６を復号するために１つ以上の広帯域コーデック又は１つ以上の狭帯域コーデックを使用することができる。オーディオ出力デバイスは、広帯域チャネルの帯域幅拡張を用いて受信されたオーディオ信号パケット３６７６に基づいてオーディオチャネルの［８、２４］ｋＨｚ範囲を再構築することもできる。この例では、上方帯域周波数（ＵＢ）からナイキスト周波数への送信は必要ない。この範囲は、スペクトル帯域複製（ＳＢＲ）に類似する技法を用いて低帯域周波数から上方帯域周波数（ＵＢ）範囲まで生成することができる。例えば、低帯域周波数（ＬＢ）の下方の帯域は、例えば、マイクロフォン入力を平均化することによって送信することができる。
［００２００］幾つかの構成では、オーディオ信号パケット３６７６を受信する３６０８ことは、前中央チャネルを再構築することを含むことができる。幾つかの実装においては、これは、図３３において説明されるように行うことができる。
［００２０１］オーディオ信号パケット３６７６を受信する３６０８ことは、サブウーファーチャネルを再構築することもできる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。受信されたオーディオ信号は、オーディオ出力デバイスにおいて再生する３３１０ことができる。幾つかの実装においては、これは、図３３において説明されるように行うことができる。
［００２０２］コーディングビットは、特定の方向に基づいて割り当てること、又は分配することができる。この方向は、ユーザによって選択することができる。例えば、ユーザの声が来ている方向は、より多くのビットが割り当てられる、これは、その他のチャネルのダイナミックレンジを最小化し、その他の方向のエネルギーを低下させることによって行うことができる。さらに、異なる構成では、サラウンドサウンドの４つの角のエネルギー分布のビジュアル化を生成することができる。いずれの指向性音がより多くのビットが割り当てられるべきかのユーザ選択、すなわち、より良い音、又はより良い希望される音方向を有する、は、エネルギー分布のビジュアル化に基づいて選択することができる。この構成では、１つ又は２つのチャネルがより多くのビットで符号化されるが、１つ以上のチャネルが送信される。
［００２０３］図３７は、オーディオ信号パケット３７７６を生成及び受信するための他の方法３７００を例示したフローチャートであり、１つ又は２つのオーディオチャネルに関する符号化中の異なるビット割り当ては、ユーザ選択に基づくことができる。幾つかの実装においては、１つ又は２つのオーディオ信号に関する符号化中の異なるビット割り当ては、サラウンドサウンドシステムの４つの方向のエネルギー分布のビジュアル化と関連付けられたユーザ選択に基づくことができる。この実装では、４つの符号化されたソースは、オーバー・ザ・エアで送信される。
［００２０４］方法３７００は、１つ以上のオーディオ信号２９４４を録音する３７０２ことを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。無線通信デバイス１０２は、オーディオ信号パケット３７７６を生成する３７０４ことができる。オーディオ信号パケット３７７６を生成する３７０４ことは、１つ以上のオーディオチャネルを生成することを含むことができる。幾つかの実装においては、これは、図３３−３６において説明されるように行うことができる。
［００２０５］オーディオ信号パケット３７７６を生成する３７０４ことは、４つの角のエネルギー分布のビジュアル化を生成することを含むこともできる（例えば、４つのオーディオ信号２９４４ａ−ｄ）。このビジュアル化から、ユーザは、いずれの指向性音がより多くのビットを割り当てられるべきかを選択することができる（例えば、ユーザの声がどこから来ているか）。ユーザ選択（例えば、空間方向３８７８のインディケーション）に基づき、無線通信デバイス１０２は、コーデック（例えば、図２９Ａ−Ｃにおいて描かれるコーデック）の第１の構成のコーデックのうちの１つ又は２つにより多くのビットを適用することができる。オーディオ信号情報を生成する３７０４ことは、１つ以上の非狭帯域コーデックをオーディオチャネルに適用することを含むこともできる。幾つかの実装においては、これは、ユーザ選択について説明する図３３において説明されるように行うことができる。
［００２０６］オーディオ信号パケット３７７６が生成された状態で、無線通信デバイス１０２は、オーディオ信号パケット３７７６を復号器に送信する３７０６ことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。復号器は、オーディオ信号情報を受信する３７０８ことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００２０７］受信されたオーディオ信号は、オーディオ出力デバイスにおいて再生する３７１０ことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。同様に、ユーザが特定の指向性ソース（例えば、ユーザの声、又はユーザが焦点を合わせることに関心を有するその他の音）に関心を有する場合は１つ又は２つのチャネルの送信を行うことができる。この構成では、１つのチャネルが符号化されて送信される。
［００２０８］図３８は、オーディオ信号パケット３８７６を生成及び受信するための他の方法３８００を例示したフローチャートであり、ユーザ選択に基づいて１つのオーディオ信号が圧縮及び送信される。方法３８００は、１つ以上のオーディオ信号２９４４ａ−ｄを録音する３８０２ことを含むことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００２０９］無線通信デバイス１０２は、オーディオ信号パケット３８７６を生成する３８０４ことができる。オーディオ信号パケット３８７６を生成する３８０４ことは、１つ以上のオーディオチャネルを生成することを含むことができる。幾つかの実装においては、これは、図３３乃至３６において説明されるように行うことができる。オーディオ信号パケット３８７６を生成する３８０４ことは、４つの角のエネルギー分布のビジュアル化を生成することを含むこともできる（例えば、４つのオーディオ信号２９４４ａ−ｄ）。このビジュアル化から、ユーザは、いずれの指向性音（例えば、空間方向３８７８のインディケーション）が符号化及び送信されるべきかを選択することができる（例えば、ユーザの声がどこから来ているか）。オーディオ信号情報を生成する３８０４ことは、（図２９Ａ−Ｃにおいて描かれるように）非狭帯域コーデックを選択されたオーディオチャネルに適用することを含むこともできる。幾つかの実装においては、これは、ユーザ選択について説明する図３３において説明されるように行うことができる。
［００２１０］オーディオ信号情報が生成された状態で、無線通信デバイス１０２は、オーディオ信号パケット３８７６を復号器に送信する３８０６ことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。オーディオ信号パケット３８７６とともに、無線通信デバイスは、チャネル識別を送信する３８０６ことができる。
［００２１１］復号器は、オーディオ信号情報を受信する３８０８ことができる。幾つかの実装においては、これは、図３３に関連して説明されるように行うことができる。
［００２１２］受信されたオーディオ信号は、オーディオ出力デバイスにおいて再生する３８１０ことができる。幾つかの実装においては、受信されたオーディオ信号は、図３３に関連して説明されるように再生する３８１０ことができる。ユーザによって定義されたチャネルを符号化及び復号し、その他のチャネル出力をゼロにすることによって、多チャネル再生及び／又はヘッドフォンレンダリングシステムを用いてエンハンスされて専門化された出力を生成することができる。
［００２１３］図３９は、コーデックの組み合わせの４つの構成３９７４ａ−ｄを備えるオーディオ信号パケット３３７６を生成する際に実装することができる無線通信デバイス３９０２の実装を例示したブロック図である。通信デバイス３９０２は、前述されたアレイ２６３０と同様のアレイ３９３０を含むことができる。アレイ３９３０は、前述されるマイクロフォンと同様の１つ以上のマイクロフォン３９０４ａ−ｄを含むことができる。例えば、アレイ３９３０は、４つの録音方向（例えば、前左、前右、後左及び後右）からオーディオ信号を受信する４つのマイクロフォン３９０４ａ−ｄを含むことができる。
［００２１４］無線通信デバイス３９０２は、マイクロフォンアレイ３９３０に結合されたメモリ３９５０を含むことができる。メモリ３９５０は、マイクロフォンアレイ３９３０によって提供されたオーディオ信号を受信することができる。例えば、メモリ３９５０は、４つの録音方向に関する１つ以上のデータセットを含むことができる。換言すると、メモリ３９５０は、前左マイクロフォン３９０４ａオーディオ信号、前右マイクロフォン３９０４ｂオーディオ信号、後右マイクロフォン３９０４ｃオーディオ信号及び後左マイクロフォン３９０４ｄオーディオ信号に関するデータを含むことができる。
［００２１５］無線通信デバイス３９０２は、処理情報を受信するコントローラ３９５２を含むこともできる。例えば、コントローラ３９５２は、ユーザインタフェース内に入力されたユーザ情報を受信することができる。より具体的には、ユーザは、希望される録音方向を示すことができる。その他の例では、ユーザは、より多くの処理ビットを割り当てる１つ以上のオーディオチャネルを示すことができ、又は、ユーザは、いずれのオーディオチャネルを符号化及び送信すべきかを示すことができる。コントローラ３９５２は、帯域幅情報を受信することもできる。例えば、帯域幅情報は、オーディオ信号情報の送信のために無線通信デバイス３９０２に割り当てられた帯域幅（例えば、全帯域、超広帯域、広帯域及び狭帯域）をコントローラ３９５２に示すことができる。
［００２１６］コントローラ３９５２からの情報（例えば、ユーザ入力及び帯域幅情報）及びメモリ３９５０に格納された情報に基づき、通信デバイス３９０２は、オーディオチャネルに適用すべき特定の構成を、１つ以上のコーデック構成３９７４ａ−ｄから選択することができる。幾つかの実装においては、無線通信デバイスに存在するコーデック構成３９７４ａ−ｄは、図２９Ａ−Ｃの第１の構成と、図３０Ａ−Ｂの第２の構成と、図３１Ａ−Ｂの第３の構成と、図３２の構成と、を含むことができる。例えば、無線通信デバイス３９０２は、オーディオチャネルを符号化するために図２９Ａの第１の構成を使用することができる。
［００２１７］図４０は、オーディオ信号を圧縮するために図２９Ａ−Ｃの非狭帯域コーデックに類似する４つの非狭帯域コーデック４０４８ａ−ｄの構成４０７４を備える無線通信デバイス４００２の実装を示したブロック図である。無線通信デバイス４００２は、前述される要素に対応する、マイクロフォン４００４ａ−ｄのアレイ４０３０、メモリ４０５０、コントローラ４０５２、又はこれらの要素の何らかの組み合わせを含むことができる。この実装においては、無線通信デバイス４００２は、オーディオ信号パケット３３７６を符号化するために使用されるコーデック４０４８ａ−ｄの構成４０７４を含むことができる。例えば、無線通信デバイス４００２は、オーディオ信号情報を符号化するために図２９Ｂにおいて説明される１つ以上の広帯域コーデック２９９０ａ−ｄを含むこと及び実装することができる。代替として、全帯域コーデック２９４８ａ−ｄ又は超広帯域コーデック２９８８ａ−ｄを使用することができる。無線通信デバイス４００２は、オーディオ信号パケット４０７６ａ−ｄ（例えば、ＦＬ、ＦＲ、ＢＬ及びＢＲパケット）を復号器に送信することができる。
［００２１８］図４１は、コーデックの組み合わせの４つの構成４１７４ａ−ｄを備える通信デバイス４１０２の実装を示したブロック図であり、オリジナルのコーデックプリフィルタ４１５４を使用することができる。無線通信デバイス４１０２は、前述される要素に対応する、マイクロフォン４００４ａ−ｄのアレイ４１３０、メモリ４１５０、コントローラ４１５２、又はこれらの要素の何らかの組み合わせを含むことができる。コーデックプリフィルタ４１５４は、何のオーディオ信号データがメモリに格納されているか、従って、いずれのデータが符号化及び送信されるかを制御するためにコントローラ４１５２からの情報を使用することができる。
［００２１９］図４２は、コーデックの組み合わせの４つの構成４２７４ａ−ｄを備える通信デバイス４２０２の実装を示したブロック図であり、フィルタバンクアレイ４２２６の一部として任意選択のフィルタリングを行うことができる。無線通信デバイス４２０２は、前述される要素に対応する、マイクロフォン４２０４ａ−ｄ、メモリ４２５０、コントローラ４２５２、又はこれらの要素の何らかの組み合わせを含むことができる。この実装では、フィルタバンクアレイ４２２６の一部として任意選択のフィルタリングを行うことができ、４２２６は、前述される対応する要素に類似することができる。
［００２２０］図４３は、コーデックの組み合わせの４つの構成４３７４ａ−ｄを備える通信デバイス４３０２の実装を例示したブロック図であり、コーデック構成４３７４ａ−ｄのうちの１つによる符号化前に聴覚シーン（ａｕｄｉｔｏｒｙ ｓｃｅｎｅ）からの音源データを１つ以上のファイルからのデータとミックスすることができる。無線通信デバイス４３０２は、前述される要素に対応する、マイクロフォン４００４ａ−ｄのアレイ４３３０、メモリ４３５０、及び／又はコントローラ４３５２、又はこれらの要素の何らかの組み合わせを含むことができる。幾つかの実装においては、無線通信デバイス４３０２は、１つ以上のミキサ４３５６ａ−ｄを含むことができる。１つ以上のミキサ４３５６ａ−ｄは、コーデック構成のうちの１つによる符号化前にオーディオ信号を１つ以上のファイルからのデータとミックスすることができる。
［００２２１］図４４は、統合されたコーデックを用いて複数の指向性オーディオ信号を符号化するための方法４４００を示したフローチャートである。方法４４００は、無線通信デバイス１０２によって実行することができる。無線通信デバイス１０２は、複数の指向性オーディオ信号を録音する４４０２ことができる。複数の指向性オーディオ信号は、複数のマイクロフォンによって録音することができる。例えば、無線通信デバイス１０２に配置された複数のマイクロフォンは、前左方向、後左方向、前右方向、後右方向、又は何らかの組み合わせから指向性オーディオ信号を録音することができる。幾つの事例では、無線通信デバイス１０２は、例えば、ユーザインタフェース３１２を介して、ユーザ入力に基づいて複数の指向性オーディオ信号を録音する４４０２。
［００２２２］無線通信デバイス１０２は、複数のオーディオ信号パケット３３７６を生成する４４０４ことができる。幾つかの構成では、オーディオ信号パケット３３７６は、複数のオーディオ信号に基づくことができる。複数のオーディオ信号パケット３３７６は、平均化された信号を含むことができる。上述されるように、複数のオーディオ信号パケット３３７６を生成する４４０４ことは、複数のオーディオチャネルを生成することを含むことができる。例えば、複数の指向性オーディオ信号の一部分は、圧縮して複数のオーディオチャネルとしてオーバー・ザ・エアで送信することができる。幾つかの事例では、圧縮される指向性オーディオ信号の数は、送信されるオーディオチャネルの数と等しくないことができる。例えば、４つの指向性オーディオ信号が圧縮される場合、送信されるオーディオチャネルの数は、３に等しいことができる。オーディオチャネルは、１つ以上の指向性オーディオ信号に対応することができる。換言すると、無線通信デバイス１０２は、前左オーディオ信号に対応する前左オーディオチャネルを生成することができる。複数のオーディオチャネルは、フィルタリングされた１つの範囲の周波数（例えば、帯域１Ｂ）及びフィルタリングされない１つの範囲の周波数（例えば、帯域１Ａ、２Ａ、２Ｂ及び／又は２Ｃ）を含むことができる。
［００２２３］複数のオーディオ信号パケット３３７６を生成する４４０４ことは、コーデックをオーディオチャネルに適用することを含むこともできる。例えば、無線通信デバイス１０２は、全帯域コーデック、広帯域コーデック、超広帯域コーデック又は狭帯域コーデックのうちの１つ以上を複数のオーディオ信号に適用することができる。より具体的には、無線通信デバイス１０２は、低帯域の少なくとも１つの指向性オーディオ信号を圧縮することができ、及び高帯域の異なる指向性オーディオ信号を圧縮することができる。
［００２２４］幾つかの実装においては、複数のオーディオ信号パケット３３７６を生成する４４０４ことは、受信された入力に基づくことができる。例えば、無線通信デバイス１０２は、コーデックのビット割り当てを決定するためにユーザからの入力を受け取ることができる。幾つかの事例では、ビット割り当ては、圧縮されるべき方向のエネルギーのビジュアル化に基づくことができる。無線通信デバイス１０２は、指向性オーディオ信号を圧縮することと関連付けられた入力を受け取ることもできる。例えば、無線通信デバイス１０２は、いずれの指向性オーディオ信号を圧縮し（及びオーバー・ザ・エアで送信すべきか）に関するユーザからの入力を受け取ることができる。幾つかの事例では、入力は、いずれの指向性オーディオ信号がより良い音質を有するべきかを示すことができる。これらの例では、入力は、ユーザの手のジェスチャ、例えば、無線通信デバイスのディスプレイにタッチすることに基づくことができる。同様に、入力は、無線通信デバイスの動きに基づくことができる。
［００２２５］オーディオ信号パケット３３７６が生成された状態で、無線通信デバイス１０２は、複数のオーディオ信号パケット３３７６を復号器に送信する４４０６ことができる。無線通信デバイス１０２は、複数のオーディオ信号パケット３３７６をオーバー・ザ・エアで送信する４４０６ことができる。幾つかの構成では、復号器は、無線通信デバイス１０２、例えば、オーディオセンシングデバイス、に含められる。
［００２２６］図４５は、オーディオ信号処理のための方法４５００を例示したフローチャートである。方法４５００は、無線通信デバイス１０２によって実行することができる。無線通信デバイス１０２は、聴覚シーンをキャプチャする４５００ことができる。例えば、複数のマイクロフォンは、複数の指向性ソースからオーディオ信号をキャプチャすることができる。無線通信デバイス１０２は、各オーディオ信号の到着方向を推定することができる。幾つかの実装においては、無線通信デバイス１０２は、録音方向を選択することができる。録音方向を選択することは、ポータブルオーディオセンシングデバイス（例えば、無線通信デバイスのマイクロフォン）の方位に基づくことができる。さらに加えて又は代替で、録音方向を選択することは、入力に基づくことができる。例えば、ユーザは、より良い音質を有するべき方向を選択することができる。無線通信デバイス１０２は、聴覚シーンを少なくとも４つのオーディオ信号に分解する４５０４ことができる。幾つかの実装においては、オーディオ信号は、４つの独立した方向に対応する。例えば、第１のオーディオ信号は、前左方向に対応することができ、第２のオーディオ信号は、後左方向に対応することができ、第３のオーディオ信号は、前右方向に対応することができ、第４のオーディオ信号は、後右方向に対応することができる。無線通信デバイス１０２は、少なくとも４つのオーディオ信号を圧縮する４５０６こともできる。
［００２２７］幾つかの実装においては、聴覚シーンを分解する４５０４ことは、オーディオ信号を１つ以上の周波数範囲に分割することを含むことができる。例えば、無線通信デバイスは、オーディオ信号を第１の組の狭帯域周波数範囲及び第２の組の広帯域周波数範囲に分割することができる。さらに、無線通信デバイスは、狭帯域周波数範囲の組内にある第１の周波数帯域と関連付けられたオーディオサンプルを圧縮することができる。オーディオサンプルが圧縮された状態では、無線通信デバイスは、圧縮されたオーディオサンプルを送信することができる。
［００２２８］無線通信デバイス１０２は、第１のフィルタリングされた信号を得るために第１のエンドファイア方向にビームを適用することもできる。同様に、第２のエンドファイア方向の第２のビームは、第２のフィルタリングされた信号を生成することができる。幾つかの事例では、ビームは、低スレショルドと高スレショルドとの間の周波数に適用することができる。これらの事例では、スレショルド（低スレショルド又は高スレショルド）のうちの１つは、マイクロフォン間の距離に基づくことができる。
［００２２９］無線通信デバイスは、第１のフィルタリングされた信号を第２のフィルタリングされた信号の遅延バージョンと結合することができる。幾つかの事例では、第１及び第２のフィルタリングされた信号は、各々、２つのチャネルを有することができる。幾つかの事例では、フィルタリングされた信号（例えば、第１のフィルタリングされた信号及び第２のフィルタリングされた信号）の一方のチャネルは、他方のチャネルに対して遅延させることができる。同様に、結合された信号（例えば、第１のフィルタリングされた信号及び第２のフィルタリングされた信号の結合）は、互いに対して遅延させることができる２つのチャネルを有することができる。
［００２３０］無線通信デバイス１０２は、第１の空間フィルタリングされた信号を生成することができる。例えば、無線通信デバイス１０２は、第１の方向のビームを有するフィルタを第１の対のマイクロフォンによって生成された信号に適用することができる。同様に、無線通信デバイス１０２は、第２の空間フィルタリングされた信号を生成することができる。幾つかの事例では、第１の対のマイクロフォン（例えば、第１の空間フィルタリングされた信号を生成するために使用されるそれら）の軸は、第２の対のマイクロフォン（例えば、第２の空間フィルタリングされた信号を生成するために使用されるそれら）の軸と少なくとも実質的に直交であることができる。無線通信デバイス１０２は、出力信号を生成するために第１の空間フィルタリングされた信号及び第２の空間フィルタリングされた信号を結合することができる。出力信号は、第１の空間フィルタリングされた信号及び第２の空間フィルタリングされた信号の方向と異なる方向に対応することができる。
［００２３１］無線通信デバイスは、入力チャネルを録音することもできる。幾つかの実装においては、入力チャネルは、アレイ内の複数のマイクロフォンの各々に対応することができる。例えば、入力チャネルは、４つのマイクロフォンの入力に対応することができる。出力チャネルを得るために複数の多チャネルフィルタを入力チャネルに適用することができる。幾つかの事例では、多チャネルフィルタは、複数のルック方向に対応することができる。例えば、４つの多チャネルフィルタは、４つのルック方向に対応することができる。多チャネルフィルタを１つのルック方向に適用することは、その他のルック方向にヌルビームを適用することを含むことができる。幾つかの実装においては、複数のマイクロフォンのうちの第１の対の軸は、複数のマイクロフォンのうちの第２の対の軸と直交から１５°未満であることができる。
［００２３２］上述されるように、複数の多チャネルフィルタを適用することは、出力チャネルを生成することができる。幾つかの事例では、無線通信デバイス１０２は、バイノーラル信号の合計に基づくバイノーラル録音を生成するために出力チャネルを処理することができる。例えば、無線通信デバイス１０２は、バイノーラルインバルス応答を出力チャネルに適用することができる。この結果、バイノーラル録音を生成するために使用することができるバイノーラル信号を得ることができる。
［００２３３］図４６は、三次元オーディオを符号化するための方法４６００を示したフローチャートである。方法４６００は、無線通信デバイス１０２によって実行することができる。無線通信デバイス１０２は、複数のローカライズ可能な音源の空間方向のインディケーションを検出する４６０２ことができる。ここで使用される場合において、用語“ローカライズ可能な”は、特定の方向からの音源を意味する。例えば、ローカライズ可能な音源は、前左方向からのオーディオ信号であることができる。無線通信デバイス１０２は、ローカライズ可能な音源の数を決定することができる。これは、各ローカライズ可能な音源の到着方向を推定することを含むことができる。幾つかの事例では、無線通信デバイス１０２は、ユーザインタフェース３１２からのインディケーションを検出することができる。例えば、ユーザは、無線通信デバイス３０２のユーザインタフェース３１２からのユーザ入力に基づいて１つ以上の空間方向を選択することができる。ユーザ入力の例は、ユーザの手によるジェスチャを含む（例えば、無線通信デバイスのタッチ画面上、無線通信デバイスの動き）。
［００２３４］無線通信デバイス１０２は、ローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音する４６０４ことができる。例えば、無線通信デバイス１０２に配置された１つ以上のマイクロフォンは、前左、前右、後左及び／又は後右方向から来るオーディオ信号を録音する４６０４ことができる。
［００２３５］無線通信デバイス１０２は、複数のオーディオ信号を符号化する４６０６ことができる。上述されるように、無線通信デバイス１０２は、信号を符号化するためにあらゆる数のコーデックを使用することができる。例えば、無線通信デバイス１０２は、全帯域コーデックを用いて前左及び後左オーディオ信号を符号化する４６０６ことができ及び広帯域コーデックを用いて前右及び後右オーディオ信号を符号化する４６０６ことができる。幾つかの事例では、無線通信デバイス１０２は、三次元オーディオ符号化方式により多チャネル信号を符号化することができる。例えば、無線通信デバイス１０２は、複数のオーディオ信号を符号化する４６０６ために図２９−３２に関連して説明される構成方式のうちのいずれかを使用することができる。
［００２３６］無線通信デバイス１０２は、第１のフィルタリングされた信号を得るために第１のエンドファイア方向にビームを適用することもできる。同様に、第２のエンドファイア方向における第２のビームは、第２のフィルタリングされた信号を生成することができる。幾つかの事例では、ビームは、低スレショルドと高スレショルドとの間の周波数に適用することができる。これらの事例では、スレショルド（低スレショルド又は高スレショルド）のうちの１つは、マイクロフォン間の距離に基づくことができる。
［００２３７］無線通信デバイスは、第１のフィルタリングされた信号を第２のフィルタリングされた信号の遅延バージョンと結合することができる。幾つかの事例では、第１及び第２のフィルタリングされた信号は、各々、２つのチャネルを有することができる。幾つかの事例では、フィルタリングされた信号（例えば、第１のフィルタリングされた信号及び第２のフィルタリングされた信号）の一方のチャネルは、他方のチャネルに対して遅延させることができる。同様に、結合された信号（例えば、第１のフィルタリングされた信号及び第２のフィルタリングされた信号の結合）は、互いに対して遅延させることができる２つのチャネルを有することができる。
［００２３８］無線通信デバイス１０２は、第１の空間フィルタリングされた信号を生成することを含むことができる。例えば、無線通信デバイス１０２は、第１の方向のビームを有するフィルタを第１の対のマイクロフォンによって生成された信号に適用することができる。同様に、無線通信デバイス１０２は、第２の空間フィルタリングされた信号を生成することができる。幾つかの事例では、第１の対のマイクロフォン（例えば、第１の空間フィルタリングされた信号を生成するために使用されるそれら）の軸は、第２の対のマイクロフォン（例えば、第２の空間フィルタリングされた信号を生成するために使用されるそれら）の軸と少なくとも実質的に直交であることができる。無線通信デバイス１０２は、出力信号を生成するために第１の空間フィルタリングされた信号及び第２の空間フィルタリングされた信号を結合することができる。出力信号は、第１の空間フィルタリングされた信号及び第２の空間フィルタリングされた信号の方向と異なる方向に対応することができる。
［００２３９］無線通信デバイスは、入力チャネルを録音することもできる。幾つかの実装においては、入力チャネルは、アレイ内の複数のマイクロフォンの各々に対応することができる。例えば、入力チャネルは、４つのマイクロフォンの入力に対応することができる。出力チャネルを得るために複数の多チャネルフィルタを入力チャネルに適用することができる。幾つかの事例では、多チャネルフィルタは、複数のルック方向に対応することができる。例えば、４つの多チャネルフィルタは、４つのルック方向に対応することができる。多チャネルフィルタを１つのルック方向に適用することは、その他のルック方向にヌルビームを適用することを含むことができる。幾つかの実装においては、複数のマイクロフォンのうちの第１の対の軸は、複数のマイクロフォンのうちの第２の対の軸と直交から１５°未満であることができる。
［００２４０］上述されるように、複数の多チャネルフィルタを適用することは、出力チャネルを生成することができる。幾つかの事例では、無線通信デバイス１０２は、バイノーラル信号の合計に基づくバイノーラル録音を生成するために出力チャネルを処理することができる。例えば、無線通信デバイス１０２は、バイノーラルインバルス応答を出力チャネルに適用することができる。この結果、バイノーラル録音を生成するために使用することができるバイノーラル信号を得ることができる。
［００２４１］図４７は、コーデックを選択するための方法４７００を示したフローチャートである。方法４７００は、無線通信デバイス１０２によって実行することができる。無線通信デバイス１０２は、複数のオーディオ信号のエネルギープロフィールを決定する４７０２ことができる。無線通信デバイス１０２は、複数のオーディオ信号の各々におけるエネルギープロフィールを表示する４７０４ことができる。例えば、無線通信デバイス１０２は、前左、前右、後左及び後右のオーディオ信号のエネルギープロフィールを表示する４７０４ことができる。無線通信デバイス１０２は、エネルギープロフィールを選択する入力を検出する４７０６することができる。幾つかの実装においては、入力は、ユーザ入力に基づくことができる。例えば、ユーザは、図形表現に基づいて圧縮されるべき（例えば、指向性音に対応する）エネルギープロフィールを選択することができる。幾つかの例では、選択は、いずれの指向性オーディオ信号がより良い音質を有するべきかを示すインディケーションを反映させることができ、例えば、選択は、ユーザの声がやって来ている方向を反映させることができる。
［００２４２］無線通信デバイス１０２は、入力と関連付けられたコーデックを関連付ける４７０８ことができる。例えば、無線通信デバイス１０２は、ユーザによって選択された指向性オーディオ信号に関してより良い音質を生成するためにコーデックを関連付ける４７０８ことができる。無線通信デバイス１０２は、オーディオ信号パケットを生成するためにコーデックに基づいて複数のオーディオ信号を圧縮する４７１０ことができる。上述されるように、パケットは、オーバー・ザ・エアで送信することができる。幾つかの実装においては、無線通信デバイスは、チャネル識別を送信することもできる。
［００２４３］図４８は、ビット割り当てを増大させるための方法４８００を示したフローチャートである。方法４８００は、無線通信デバイス１０２によって実行することができる。無線通信デバイス１０２は、複数のオーディオ信号のエネルギープロフィールを決定する４８０２ことができる。無線通信デバイス１０２は、複数のオーディオ信号の各々におけるエネルギープロフィールを表示する４８０４ことができる。例えば、無線通信デバイス１０２は、前左、前右、後左及び後右のオーディオ信号のエネルギープロフィールを表示する４８０４ことができる。無線通信デバイス１０２は、エネルギープロフィールを選択する入力を検出する４８０６することができる。幾つかの実装においては、入力は、ユーザ入力に基づくことができる。例えば、ユーザは、圧縮のためにより多くのビットが割り当てられるべき（例えば、指向性音に対応する）エネルギープロフィールを、図形表示に基づいて、選択することができる。幾つかの例では、選択は、いずれの指向性オーディオ信号がより良い音質を有するべきかを示すインディケーションを反映させることができ、例えば、選択は、ユーザの声がやって来ている方向を反映させることができる。
［００２４４］無線通信デバイス１０２は、入力と関連付けられたコーデックを関連付ける４８０８ことができる。例えば、無線通信デバイス１０２は、ユーザによって選択された指向性オーディオ信号に関してより良い音質を生成するためにコーデックを関連付ける４８０８ことができる。無線通信デバイス１０２は、入力に基づいてオーディオ信号を圧縮するために使用されるコーデックへのビット割り当てを増大させる４８１０をことができる。上述されるように、パケットは、オーバー・ザ・エアで送信することができる。
［００２４５］図４９は、無線通信デバイス４９０２内に含めることができる幾つかのコンポーネントを例示する。上述される無線通信デバイスのうちの１つ以上は、図４９に示される無線通信デバイス４９０２と同様に構成することができる。
［００２４６］無線通信デバイス４９０２は、プロセッサ４９５８を含む。プロセッサ４９５８は、汎用のシングル又はマルチチップマイクロプロセッサ（例えば、ＡＲＭ）、専用マイクロプロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイ、等であることができる。プロセッサ４９５８は、中央処理装置（ＣＰＵ）と呼ぶことができる。図４９の無線通信デバイス４９０２では単一のプロセッサ４９５８のみが示されるが、代替構成では、プロセッサ４９５８の組み合わせ（ＡＲＭ及びＤＳＰ）を使用可能である。
［００２４７］無線通信デバイス４９５８は、プロセッサ４９５８と電子的な通信状態にあるメモリ４９５６も含む（すなわち、プロセッサ４９５８は、メモリ４９５６から情報を読み取ること及び／又はメモリ４９５６に情報を書き込むことができる）。メモリ４９５６は、電子情報を格納することが可能な電子コンポーネントであることができる。メモリ４９５６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光学記憶媒体、ＲＡＭ内のフラッシュメモリデバイス、プロセッサ４９５８とともに含まれる搭載メモリ、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、等であることができ、それらの組み合わせを含む。
［００２４８］データ４９６０及び命令４９６２は、メモリ４９５６に格納することができる。命令４９６２は、１つ以上のプログラム、ルーチン、サブルーチン、関数、プロシージャ、コード、等を含むことができる。命令４９６２は、単一のコンピュータによって読み取り可能な文又は数多くのコンピュータによって読み取り可能な文を含むことができる。命令４９６２は、上述される方法のうちの１つ以上を実装するためにプロセッサ４９５８によって実行可能であることができる。命令４９６２を実行することは、メモリ４９５６に格納されるデータ４９６０の使用を含むことができる。図４９は、プロセッサ４９５８内にローディングされる幾つかの命令４９６２ａ及びデータ４９６０ａを例示し（それらは、メモリ４９５６内の命令４９６２及びデータ４９６０から来ることができる）。
［００２４９］無線通信デバイス４９０２は、無線通信デバイス４９０２と遠隔場所（例えば、通信デバイス、基地局、等）との間での信号の送信及び受信を可能にするための送信機４９６４と受信機４９６６とを含むこともできる。送信機４９６４及び受信機４９６６は、総称してトランシーバ４９６８と呼ぶことができる。アンテナ４９７０は、トランシーバ４９６８に電気的に結合することができる。無線通信デバイス４９０２は、複数の送信機４９６４、複数の受信機４９６６、複数のトランシーバ４９６８及び／又は複数のアンテナ４９７０を含むことができる（示されていない）。
［００２５０］幾つかの構成では、無線通信デバイス４９０２は、音響信号をキャプチャするための１つ以上のマイクロフォンを含むことができる。一構成では、マイクロフォンは、音響信号（例えば、声、話声）を電気又は電子信号に変換するトランスデューサであることができる。さらに加えて又は代替として、無線通信デバイス４９０２は、１つ以上のスピーカーを含むことができる。一構成では、スピーカーは、電気又は電子信号に音響信号に変換するトランスデューサであることができる。
［００２５１］無線通信デバイス４９０２の様々なコンポーネントを１つ以上のバスによってひとつに結合することができ、それらのバスは、電力バスと、制御信号バスと、状態信号バスと、データバスと、等を含むことができる。簡略化を目的として、様々なバスは、図４９においてはバスシステム４９７２として例示される。
［００２５２］ここにおいて開示される方法及び装置は、概して、あらゆるトランシーバ及び／又はオーディオセンシング用途、特に、該用途のモバイル又はその他のポータブル例、において適用することができる。例えば、ここにおいて開示される構成の範囲は、符号分割多元接続（ＣＤＭＡ）オーバー・ザ・エアインタフェースを採用するように構成された無線テレフォニー通信システムに常駐する通信デバイスを含む。しかしながら、ここにおいて説明される特徴を有する方法及び装置は、当業者に知られる広範な技術を採用する様々な通信システム、例えば、有線及び／又は無線（例えば、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、及び／又はＴＤ−ＳＣＤＭＡ）送信チャネルを通じてのＶｏｉｃｅ ｏｖｅｒ ＩＰ（ＶｏＩＰ）を採用するシステム、内に常駐することができることが理解されるであろう。
［００２５３］ここにおいて開示される通信デバイスは、パケット交換型（例えば、ＶｏＩＰ、等のプロトコルによるオーディオ送信を搬送するように配置された有線及び／又は無線ネットワーク）及び／又は回線交換型であるネットワークでの使用のために好適化することができることが明示で企図され及びここによって開示される。さらに、ここにおいて開示される通信デバイスは、狭帯域コーディングシステム（例えば、約４又は５キロヘルツのオーディオ周波数範囲を符号化するシステム）における使用のために及び／又は広帯域コーディングシステム（例えば、５キロヘルツ超のオーディオ周波数を符号化するシステム）における使用のために好適化することができることが明示で企図され及びここによって開示される。
［００２５４］説明される構成に関する上記の提示は、当業者がここにおいて開示される方法及びその他の構造を製造又は使用するのを可能にするために提供される。ここにおいて示されて説明されるフローチャート、ブロック図、及びその他の構造は、例であるにすぎず、これらの構造のその他の変形も本開示の適用範囲内にある。これらの構成の様々な変更が可能であり、ここにおいて提示される一般原理は、その他の構成に対しても同様に適用することができる。以上のように、本開示は、ここにおいて示される構成に限定されることが意図されるものではなく、ここにおいて開示される原理及び斬新な特徴に一致する限りにおいて最も広範な適用範囲が認められるべきであり、オリジナルの開示の一部を成す、出願された添付請求項を含む。
［００２５５］当業者は、情報及び信号は様々な異なる技術及び技法のうちのいずれかを用いて表すことができることを理解するであろう。例えば、上記の説明全体を通じて参照されることがあるデータ、命令、コマンド、情報、信号、ビット及びシンボルは、電圧、電流、電磁波、磁場、磁粒子、光学場、光学粒子、又はそれらのあらゆる組合せによって表すことができる。
［００２５６］ここにおいて開示される構成の実装に関する重要な設計上の要求は、特に計算集約的な用途、例えば、圧縮されたオーディオ又はオーディオビジュアル情報（例えば、圧縮形式により符号化されたファイル又はストリーム、例えば、ここにおいて識別された例のうちの１つ）の再生又は広帯域通信（例えば、８キロヘルツよりも高いサンプリングレート、例えば、１２、１６、又は４４ｋＨｚにおける声通信）に関する用途、に関して、処理遅延及び／又は計算上の複雑さを最小限にすることを含むことができる。
［００２５７］多マイクロフォン処理システムの最終目標は、１０乃至１２ｄＢの全体的な雑音低減を達成すること、希望されるスピーカーの移動中に声のレベル及び色を保持すること、積極的な雑音除去、話声の残響除去の代わりに雑音が背景内に移動していることを知覚すること、及び／又はより攻撃的な雑音低減に関する後処理の任意選択肢を可能にすることと、を含むことができる。
［００２５８］ここにおいて開示される装置の実装の様々な要素は、意図される用途に適するとみなされるハードウェアとソフトウェアのあらゆる組み合わせ、及び／又はファームウェア内において具現化することができる。例えば、該要素は、例えば、同じチップ上またはチップセット内の２つ以上のチップ間に常駐する電子及び／又は光学デバイスとして製作することができる。該デバイスの一例は、論理的要素、例えば、トランジスタ又はロジックゲート、の固定された又はプログラマブルなアレイであり、これらのいずれの要素も、１つ以上の該アレイとして実装することができる。これらの要素のうちの２つ以上、さらには全部さえを同じアレイ又はアレイ（複数）内に実装することができる。該アレイ又はアレイ（複数）は、１つ以上のチップ内に（例えば、２つ以上のチップを含むチップセット内に）実装することができる。
［００２５９］ここにおいて開示される装置の様々な実装の１つ以上の要素は、論理的要素の１つ以上の固定された又はプログラマブルなアレイ、例えば、マイクロプロセッサ、埋め込みプロセッサ、ＩＰコア、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＡＳＳＰ（特定用途向け標準製品）、及びＡＳＩＣ（特定用途向け集積回路）、を実行するように編成された命令の１つ以上の組として全体又は一部を実装することもできる。ここにおいて開示される装置の実装の様々な要素のうちのいずれも、１つ以上のコンピュータ（例えば、命令の１つ以上の組又はシーケンスを実行するようにプログラミングされた１つ以上のアレイを含む機械であり、“プロセッサ”とも呼ばれる）として具現化することもでき、及び、これらの要素のうちの２つ以上、又は全部でさえも、同じ該コンピュータ又はコンピュータ（複数）内に実装することができる。
［００２６０］ここにおいて開示されるプロセッサ又はその他の処理手段は、例えば、同じチップ上またはチップセット内の２つ以上のチップ間に常駐する１つ以上の電子及び／又は光学デバイスとして製作することができる。該デバイスの一例は、論理的要素、例えば、トランジスタ又はロジックゲート、の固定された又はプログラマブルなアレイであり、これらのいずれの要素も、１つ以上の該アレイとして実装することができる。該アレイ又はアレイ（複数）は、１つ以上のチップ内に（例えば、２つ以上のチップを含むチップセット内に）実装することができる。該アレイの例は、論理的要素の固定された又はプログラマブルなアレイ、例えば、マイクロプロセッサ、埋め込みプロセッサ、ＩＰコア、ＤＳＰ、ＦＰＧＡ、ＡＳＳＰ及びＡＳＩＣ、を含む。ここにおいて開示されるプロセッサ又はその他の処理手段は、１つ以上のコンピュータ（例えば、命令の１つ以上の組又はシーケンスを実行するようにプログラミングされた１つ以上のアレイを含む機械）又はその他のプロセッサとして具現化することもできる。ここにおいて説明されるプロセッサは、指向性符号化手順に直接関連しないタスク又は命令のその他の組、例えば、プロセッサが埋め込まれているデバイス又はシステム（例えば、オーディオセンシングデバイス）の他の動作に関連するタスク、を実行するために使用することが可能である。さらに、ここにおいて開示される方法の一部は、オーディオセンシングデバイスのプロセッサによって実行すること及びその方法の他の部分は１つ以上のその他のプロセッサの制御下で実行することも可能である。
［００２６１］ここにおいて開示される構成と関係させて説明される様々な例示的なモジュール、論理的ブロック、回路、及び試験及びその他の動作は、電子ハードウェア、コンピュータソフトウェア又は両方の組み合わせとして実装することができることを当業者は評価するであろう。該モジュール、論理的ブロック、回路、及び動作は、ここにおいて開示される構成を生成するように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ又はＡＳＳＰ、ＦＰＧＡ又はその他のプログラマブルロジックデバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェアコンポーネント、又はそれらのあらゆる組み合わせを用いて実装又は実行することができる。例えば、該構成は、少なくとも部分的には、ハードワイヤド回路として、特定用途向け集積回路内に製作された回路構成として、非揮発性記憶装置内にローディングされたファームウェアプログラム又は機械によって読み取り可能なコードとしてデータ記憶媒体から又はデータ記憶媒体内にローディングされたソフトウェアプログラムとして、実装することができ、該コードは、論理的要素のアレイ、例えば、汎用プロセッサ又はその他のデジタル信号処理装置、によって実行可能な命令である。汎用プロセッサは、マイクロプロセッサであることができるが、代替においては、プロセッサは、どのような従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサは、コンピューティングデバイスの組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサとの組合せ、又はその他のあらゆる適切な構成、として実装することも可能である。ソフトウェアモジュールは、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み取り専用メモリ）、非揮発性ＲＡＭ（ＮＶＲＡＭ）、例えば、フラッシュＲＡＭ、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ又は当業において知られるあらゆるその他の形態の記憶媒体、内に常駐することができる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み出すこと及び記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替においては、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、ＡＳＩＣ内に常駐することができる。ＡＳＩＣは、ユーザ端末内に常駐することができる。代替においては、プロセッサ及び記憶媒体は、ユーザ端末内において個別コンポーネントとして常駐することができる。
［００２６２］ここにおいて開示される様々な方法は、プロセッサ、等の論理的要素のアレイによって実行することができること、及び、ここにおいて説明される装置の様々な要素は、該アレイにおいて実行するように設計されたモジュールとして実装することができることが注記される。ここで使用される場合において、用語“モジュール”又は“サブモジュール”は、ソフトウェア、ハードウェア又はファームウェアの形態のコンピュータ命令（例えば、論理式）を含むあらゆる方法、装置、デバイス、ユニット又はコンピュータによって読み取り可能なデータ記憶媒体を意味することができる。同じ機能を実行するために複数のモジュール又はシステムを結合させて１つのモジュール又はシステムに結合することができ又は１つのモジュール又はシステムを複数のモジュール又はシステムに分離することができることが理解されるべきである。ソフトウェア又はその他のコンピュータによって実行可能な命令において実装されるときには、プロセスの要素は、基本的には、例えば、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を用いて関連するタスクを実行するためのコードセグメントである。用語“ソフトウェア”は、ソースコード、アセンブリ言語コード、機械コード、バイナリコード、ファームウェア、マクロコード、マイクロコード、論理的要素のアレイによって実行可能な命令の１つ以上の組又はシーケンス、及び該例のあらゆる組み合わせを含むと理解されるべきである。プログラム又はコードセグメントは、プロセッサによって読み取り可能な媒体内に格納すること又は送信媒体又は通信リンクを通じて搬送波内において具現化されたコンピュータデータ信号によって送信することができる。
［００２６３］ここにおいて開示される方法、方式、及び技法の実装は、論理的要素のアレイ（例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、又はその他の有限状態マシン）を含む機械によって読み取り可能な及び／又は実行可能な命令の１つ以上の組として（例えば、ここにおいて記載される１つ以上のコンピュータによって読み取り可能な媒体において）有形で具現化することもできる。用語“コンピュータによって読み取り可能な媒体”は、情報を格納又は転送することができるあらゆる媒体を含むことができ、揮発性、非揮発性、取り外し可能又は取り外し不能な媒体を含む。コンピュータによって読み取り可能な媒体の例は、電子回路、半導体メモリデバイス、ＲＯＭ、フラッシュメモリ、消去可能ＲＯＭ（ＥＲＯＭ）、フロッピー（登録商標）ディスケット、その他の磁気記憶装置、ＣＤ−ＲＯＭ／ＤＶＤ又はその他の光学的記憶装置、ハードディスク、光ファイバ媒体、無線周波数（ＲＦ）リンク、又は、希望され情報を格納するために使用することができ及びアクセスすることができるその他のあらゆる媒体を含むことができる。コンピュータデータ信号は、送信媒体、例えば、電子ネットワークチャネル、光ファイバ、空気、電磁、ＲＦリンク、等、を通じて伝搬することができるあらゆる信号を含むことができる。コードセグメントは、コンピュータネットワーク、例えば、インターネット又はイントラネットを介してダウンロードすることができる。いずれの場合も、本開示の適用範囲は、該構成によって限定されると解釈されるべきでない。
［００２６４］ここにおいて説明される方法のタスクの各々は、ハードウェア内において、プロセッサによって実行されるソフトウェアモジュールにおいて、又はそれらの２つの組み合わせにおいて具現化することができる。ここにおいて開示される方法の実装の典型的な適用においては、論理的要素（例えば、論理的ゲート）のアレイは、方法の様々なタスクのうちの１つ、２つ以上さらには全部さえを実行するように構成される。これらのタスクのうちの１つ以上（可能な場合はすべて）は、論理的要素のアレイ（例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、又はその他の有限状態マシン）を含む機械（例えば、コンピュータ）によって読み取り可能な及び／又は実行可能なコンピュータプログラム製品（例えば、ディスク、フラッシュ又はその他の非揮発性メモリカード、半導体メモリチップ、等）において具現化されたコード（例えば、命令の１つ以上の組）として実装することもできる。ここにおいて開示される方法の実装のタスクは、２つ以上の該アレイ又は機械によって実行することもできる。これらの又はその他の実装では、タスクは、無線通信デバイス、例えば、携帯電話又は該通信能力を有するその他のデバイス、内で実行することができる。該デバイスは、（例えば、ＶｏＩＰ、等の１つ以上のプロトコルを用いる）回線交換型及び／又はパケット交換型ネットワークと通信するように構成することができる。例えば、該デバイスは、符号化されたフレームを受信するように構成されたＲＦ回路を含むことができる。
［００２６５］ここにおいて開示される様々な方法は、ポータブル通信デバイス、例えば、ハンドセット、ヘッドセット又はポータブルデジタルアシスタント（ＰＤＡ）、によって実行できること、及び、ここにおいて説明される様々な装置を該デバイス内に含めることができることが明示される。典型的なリアルタイム（例えば、オンライン）用途は、該モバイルデバイスを用いて行われる電話での会話である。
［００２６６］１つ以上の典型的な構成では、ここにおいて説明される動作は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、該動作は、コンピュータによって読み取り可能な媒体において１つ以上の命令又はコードとして格納すること又は送信することができる。用語“コンピュータによって読み取り可能な媒体”は、コンピュータ記憶媒体と通信媒体との両方を含み、１つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む。記憶媒体は、コンピュータによってアクセスすることができるあらゆる利用可能な媒体であることができる。例として、及び限定せずに、該コンピュータによって読み取り可能な媒体は、記憶要素のアレイ、例えば、（制限することなしに、ダイナミック又はスタティックＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、及び／又はフラッシュＲＡＭを含むことができる半導体メモリ、又は、強誘電性、磁気抵抗性、オボニック、ポリメリック、又は相変化メモリ、ＣＤ−ＲＯＭ又はその他の光ディスク記憶装置、磁気ディスク記憶装置又はその他の磁気記憶デバイス、又は、コンピュータによってアクセス可能であることができる有形の構造で、命令又はデータ構造の形態で、希望されるプログラムコードを格納するために使用することができるその他のあらゆる媒体、を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン（ＤＳＬ）、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、ＤＳＬ、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。ここにおいて用いられるときのディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）（ｄｉｓｃ）と、レーザディスク（ｄｉｓｃ）と、光ディスク（ｄｉｓｃ）と、デジタルバーサタイルディスク（ＤＶＤ）（ｄｉｓｃ）と、フロッピーディスク（ｄｉｓｋ）と、Ｂｌｕ−ｒａｙ(登録商標) Ｄｉｓｃ（登録商標）（Ｂｌｕ−ｒａｙ Ｄｉｓｃ Ａｓｓｏｃｉａｔｉｏｎ、Ｕｎｉｖｅｒｓａｌ Ｃｉｔｙ、ＣＡ）と、を含み、ここで、ｄｉｓｋは、通常は磁気的にデータを複製し、ｄｉｓｃは、レーザを用いて光学的にデータを複製する。上記の組合せも、コンピュータによって読み取り可能な媒体の適用範囲に含められるべきである。
［００２６７］ここにおいて説明される音響信号処理装置は、幾つかの動作を制御するために話声入力を受け入れる電子デバイス内に組み入れることができ、又は、背景雑音、例えば、通信デバイス、からの希望される雑音の分離によって利益を得ることができる。多くの用途は、クリアな希望される音をエンハンスするか又は複数の方向から発生する背景雑音から分離することで利益を得ることができる。該用途は、諸能力、例えば、声の認識と検知、話声のエンハンスメントと分離、声によって起動される制御、等、を組み入れる電子デバイス又はコンピューティングデバイスにおいて人間−機械インタフェースを含めることができる。該音響信号処理装置は、限られた処理能力のみを提供するデバイスにおいて適切であるように実装するのが望ましいであろう。
［００２６８］ここにおいて説明されるモジュール、要素及びデバイスの様々な実装の要素は、例えば、同じチップ上に又はチップセット内の１つ以上のチップ間に常駐する電子及び／又は光学デバイスとして製作することができる。該デバイスの一例は、論理的要素、例えば、トランジスタ又はゲート、の固定された又はプログラマブルなアレイである。ここにおいて説明される装置の様々な実装の１つ以上の要素は、論理的要素の１つ以上の固定された又はプログラマブルなアレイ、例えば、マイクロプロセッサ、埋め込みプロセッサ、ＩＰコア、デジタル信号プロセッサ、ＦＰＧＡ、ＡＳＳＰ及びＡＳＩＣ、において実行するように編成された命令の１つ以上の組として全体又は一部を実装することもできる。
［００２６９］ここにおいて説明される装置の実装の１つ以上の要素は、装置と直接関連していないタスク又は命令のその他の組を実行するために使用することが可能である。例えば、装置が埋め込まれているデバイス又はシステムの他の動作に関連するタスク。該装置の実装の１つ以上の要素は、共通の構造を有することも可能である（例えば、異なる時間に異なる要素に対応するコードの一部分を実行するために使用されるプロセッサ、異なる時間に異なる要素に対応するタスクを実行するために実行される命令の組、又は、異なる時間に異なる要素に関する動作を行う電子及び／又は光学デバイスの配置）。
［００２７０］上記の説明において、様々な用語に関連して参照数字が時々使用されている。用語が参照数字と関連して使用される場合は、これは、図のうちの１つ以上において示される特定の要素を指し示すことを意味する。用語が参照数字なしで使用され場合は、これは、特定の図に限定されずに一般的にその用語を指し示すことを意味する。
［００２７１］本開示により、モバイルデバイス内の回路は、複数のタイプの圧縮されたオーディオビットストリームに関連する信号変換コマンド及び添付データを受け取るように好適化することができる。同じ回路、異なる回路、又は同じ又は異なる回路の第２のセクションを、複数のタイプの圧縮されたオーディオビットストリームに関連する信号変換の一部として変換を行うように好適化することができる。第２のセクションは、有利なことに、第１のセクションに結合することができ、又は、それは、第１のセクションと同じ回路において具現化することができる。さらに、同じ回路、異なる回路、又は同じ又は異なる回路の第３のセクションを、複数のタイプの圧縮されたオーディオビットストリームに関連する信号変換の一部として補完的処理を行うように好適化することができる。第３のセクションは、有利なことに、第１及び第２のセクションに結合することができ、又は、それは、第１及び第２のセクションと同じ回路において具現化することができる。さらに、同じ回路、異なる回路、又は同じ又は異なる回路の第４のセクションを、上述される機能を提供する回路又は回路のセクションを制御するように好適化することができる。
［００２７２］表現“決定すること”は、非常に様々な行動を包含し、従って、“決定すること”は、算出すること、計算すること、処理すること、導き出すこと、調査すること、検索すること（例えば、テーブル、データベース又は他のデータ構造において検索すること）、確認すること、等を含むことができる。さらに、“決定すること”は、受信すること（例えば情報を受信すること）、アクセスすること（例えばメモリ内のデータにアクセスすること）、等を含むことができる。さらに、“決定すること”は、解決すること、選択すること、選ぶこと、確立すること、等を含むことができる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ 三次元オーディオを無線通信デバイスによって符号化するための方法であって、
複数のローカライズ可能な音源の空間方向のインディケーションを検出することと、
前記複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音することと、
前記複数のオーディオ信号を符号化することと、を備える、方法。
［Ｃ２］ 前記ローカライズ可能な音源の前記空間方向の前記インディケーションは、受信された入力に基づくＣ１に記載の方法。
［Ｃ３］ ローカライズ可能な音源の数を決定することと、
各ローカライズ可能な音源の到着方向を推定することと、をさらに備えるＣ１に記載の方法。
［Ｃ４］ 三次元オーディオ符号化方式により多チャネル信号を符号化することをさらに備えるＣ１に記載の方法。
［Ｃ５］ 第１のフィルタリングされた信号を得るために第１のエンドファイア方向にビームを適用することと、
第２のフィルタリングされた信号を得るために第２のエンドファイア方向にビームを適用することと、
前記第１のフィルタリングされた信号を前記第２のフィルタリングされた信号の遅延されたバージョンと結合することと、をさらに備えるＣ１に記載の方法。
［Ｃ６］ 前記第１及び第２のフィルタリングされた信号の各々は、少なくとも２つのチャネルを有しており、前記フィルタリングされた信号のうちの一方は、前記他方のフィルタリングされた信号に対して遅延されるＣ５に記載の方法。
［Ｃ７］ 前記第１のフィルタリングされた信号の第１のチャネルを前記第１のフィルタリングされた信号の第２のチャネルに対して遅延させることと、
前記第２のフィルタリングされた信号の第１のチャネルを前記第２のフィルタリングされた信号の第２のチャネルに対して遅延させることと、をさらに備えるＣ６に記載の方法。
［Ｃ８］ 前記結合された信号の第１のチャネルを前記結合された信号の第２のチャネルに対して遅延させることをさらに備えるＣ６に記載の方法。
［Ｃ９］ 第１の空間フィルタリングされた信号を得るためにマイクロフォンの第１の対によって生成された信号に第１の方向のビームを有するフィルタを適用することと、
第２の空間フィルタリングされた信号を得るためにマイクロフォンの第２の対によって生成された信号に第２の方向のビームを有するフィルタを適用することと、
出力信号を得るために前記第１及び第２の空間フィルタリングされた信号を結合することと、をさらに備えるＣ１に記載の方法。
［Ｃ１０］ アレイ内の複数のマイクロフォンの各々に関して、対応する入力チャネルを録音することと、
複数のルック方向の各々に関して、対応する出力チャネルを得るために複数の前記録音された入力チャネルに対応する多チャネルフィルタを適用することと、をさらに備え、
前記多チャネルフィルタの各々は、前記対応するルック方向にビームを及び他方のルック方向にヌルビームを適用するＣ１に記載の方法。
［Ｃ１１］ バイノーラル録音を生成するために前記複数の出力チャネルを処理することをさらに備えるＣ１０に記載の方法。
［Ｃ１２］ 前記ビームをエンドファイア方向に適用することは、低スレショルドと高スレショルドとの間の周波数にビームを適用することを備え、前記低及び高スレショルドのうちの少なくとも１つは、マイクロフォン間の距離に基づくＣ５に記載の方法。
［Ｃ１３］ 無線通信デバイスによってコーデックを選択するための方法であって、
複数のオーディオ信号のエネルギープロフィールを決定することと、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示することと、
エネルギープロフィールを選択する入力を検出することと、
コーデックを前記入力と関連付けることと、
パケットを生成するために前記コーデックに基づいて前記複数のオーディオ信号を圧縮することと、を備える、方法。
［Ｃ１４］ 前記パケットをオーバー・ザ・エアで送信することをさらに備えるＣ１３に記載の方法。
［Ｃ１５］ チャネル識別を送信することをさらに備えるＣ１３に記載の方法。
［Ｃ１６］ 無線通信デバイスによってビット割り当てを増大させるための方法であって、
複数のオーディオ信号のエネルギープロフィールを決定することと、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示することと、
エネルギープロフィールを選択する入力を検出することと、
コーデックを前記入力と関連付けることと、
前記入力に基づいてオーディオ信号を圧縮するために使用される前記コーデックへのビット割り当てを増大させることと、を備える、方法。
［Ｃ１７］ 前記オーディオ信号の圧縮は、その結果として、４つのパケットがオーバー・ザ・エアで送信されるＣ１６に記載の方法。
［Ｃ１８］ 三次元オーディオを符号化するための無線通信デバイスであって、
複数のローカライズ可能な音源の空間方向のインディケーションを検出する空間方向回路と、
前記空間方向回路に結合された録音回路と、
前記録音回路に結合された符号器と、を備え、前記録音回路は、前記複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音し、前記符号器は、前記複数のオーディオ信号を符号化する、無線通信デバイス。
［Ｃ１９］ 前記ローカライズ可能な音源の前記空間方向の前記インディケーションは、受信された入力に基づくＣ１８に記載の無線通信デバイス。
［Ｃ２０］ ローカライズ可能な音源の数を決定する音源決定回路と、
前記音源決定回路に結合された推定回路と、をさらに備え、前記推定回路は、各ローカライズ可能な音源の到着方向を推定するＣ１８に記載の無線通信デバイス。
［Ｃ２１］ 前記推定回路に結合された符号化回路をさらに備え、前記符号化回路は、三次元オーディオ符号化方式により多チャネル信号を符号化するＣ１８に記載の無線通信デバイス。
［Ｃ２２］ 前記分解回路に結合された第１のビーム適用回路と、
前記第１のビーム適用回路に結合された第２のビーム適用回路と、
前記第２のビーム適用回路及び前記第１のビーム適用回路に結合された結合回路と、をさらに備え、
前記第１のビーム適用回路は、第１のフィルタリングされた信号を得るために第１のエンドファィア方向にビームを適用し、
前記第２のビーム適用回路は、第２のフィルタリングされた信号を得るために第２のエンドファィア方向にビームを適用し、
前記結合回路は、前記第１のフィルタリングされた信号を前記第２のフィルタリングされた信号の遅延されたバージョンと結合する、Ｃ１８に記載の無線通信デバイス。
［Ｃ２３］ 前記第１及び第２のフィルタリングされた信号の各々は、少なくとも２つのチャネルを有しており、前記フィルタリングされた信号のうちの一方は、前記他方のフィルタリングされた信号に対して遅延されるＣ２２に記載の無線通信デバイス。
［Ｃ２４］ 前記分解回路に結合された遅延回路をさらに備え、前記遅延回路は、前記第１のフィルタリングされた信号の第２のチャネルに対して前記第１のフィルタリングされた信号の第１のチャネルを遅延させ及び前記第２のフィルタリングされた信号の第２のチャネルに対して前記第２のフィルタリングされた信号の第１のチャネルを遅延させるＣ２３に記載の無線通信デバイス。
［Ｃ２５］ 前記遅延回路は、前記結合された信号の第２のチャネルに対して前記結合された信号の第１のチャネルを遅延させるＣ２４に記載の無線通信デバイス。
［Ｃ２６］ 前記分解回路に結合されたフィルタ回路と、
前記フィルタ回路に結合された結合回路と、をさらに備え、前記フィルタ回路は、第１の空間フィルタリングされた信号を得るためにマイクロフォンの第１の対によって生成された信号に第１の方向へのビームを有するフィルタを適用し及び第２の空間フィルタリングされた信号を得るためにマイクロフォンの第２の対によって生成された信号に第２の方向へのビームを有するフィルタを適用し、
前記結合回路は、出力信号を得るために前記第１及び第２の空間フィルタリングされた信号を結合するＣ１８に記載の無線通信デバイス。
［Ｃ２７］ 前記分解回路に結合された録音回路と、
前記録音回路に結合された多チャネルフィルタ回路と、をさらに備え、
前記録音回路は、アレイ内の複数のマイクロフォンの各々に関して、対応する入力チャネルを録音し、
前記多チャネルフィルタ回路は、複数のルック方向の各々に関して、対応する出力チャネルを得るために複数の前記録音されたチャネルに対応する多チャネルフィルタを適用し、
前記多チャネルフィルタの各々は、前記対応するルック方向にビームを及び前記他方のルック方向にヌルビームを適用するＣ１８に記載の無線通信デバイス。
［Ｃ２８］ 前記多チャネルフィルタ回路に結合されたバイノーラル録音回路をさらに備え、前記バイノーラル録音回路は、バイノーラル録音を生成するために前記複数の出力チャネルを処理するＣ２７に記載の無線通信デバイス。
［Ｃ２９］ 前記ビームをエンドファイア方向に適用することは、低スレショルドと高スレショルドとの間の周波数に前記ビームを適用することを備え、前記低及び高スレショルドのうちの少なくとも１つは、マイクロフォン間の距離に基づくＣ２２に記載の無線通信デバイス。
［Ｃ３０］ コーデックを選択するための無線通信デバイスであって、
複数のオーディオ信号のエネルギープロフィールを決定するエネルギープロフィール回路と、
前記エネルギープロフィール回路に結合されたディスプレイと、
前記ディスプレイに結合された入力検出回路と、
前記入力検出回路に結合された関連付け回路と、
前記関連付け回路に結合された圧縮回路と、を備え、
前記ディスプレイは、前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示し、
前記入力検出回路は、エネルギープロフィールを選択する入力を検出し、
前記関連付け回路は、コーデックを前記入力と関連付け、
前記圧縮回路は、パケットを生成するために前記コーデックに基づいて前記複数のオーディオ信号を圧縮する、無線通信デバイス。
［Ｃ３１］ 前記圧縮回路に結合された送信機をさらに備え、前記送信機は、前記パケットをオーバー・ザ・エアで送信するＣ３０に記載の無線通信デバイス。
［Ｃ３２］ 前記送信機は、チャネル識別を送信するＣ３０に記載の無線通信デバイス。
［Ｃ３３］ ビット割り当てを増大させるための無線通信デバイスであって、
複数のオーディオ信号のエネルギープロフィールを決定するエネルギープロフィール回路と、
前記エネルギープロフィール回路に結合されたディスプレイと、
前記ディスプレイに結合された入力検出回路と、
前記入力検出回路に結合された関連付け回路と、
前記関連付け回路に結合されたビット割り当て回路と、を備え、
前記ディスプレイは、前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示し、
前記入力検出回路は、エネルギープロフィールを選択する入力を検出し、
前記関連付け回路は、コーデックを前記入力と関連付け、
前記ビット割り当て回路は、前記入力に基づいてオーディオ信号を圧縮するために使用される前記コーデックへのビット割り当てを増大させる、無線通信デバイス。
［Ｃ３４］ 前記オーディオ信号の圧縮は、その結果として、４つのパケットがオーバー・ザ・エアで送信されるＣ３３に記載の無線通信デバイス。
［Ｃ３５］ 三次元オーディオを符号化するためのコンピュータプログラム製品であって、
命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を備え、前記命令は、
複数のローカライズ可能な音源の空間方向のインディケーションを検出することを無線通信デバイスに行わせるためのコードと、
前記複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音することを前記無線通信デバイスに行わせるためのコードと、
前記複数のオーディオ信号を符号化することを前記無線通信デバイスに行わせるためのコードと、を備える、コンピュータプログラム製品。
［Ｃ３６］ 前記ローカライズ可能な音源の前記空間方向の前記インディケーションは、受信された入力に基づくＣ３５に記載のコンピュータプログラム製品。
［Ｃ３７］ 前記命令は、三次元オーディオ符号化方式により多チャネル信号を符号化することを前記無線通信デバイスに行わせるためのコードをさらに備えるＣ３５に記載のコンピュータプログラム製品。
［Ｃ３８］ コーデックを選択するためのコンピュータプログラム製品であって、命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を備え、前記命令は、
複数のオーディオ信号のエネルギープロフィールを決定することを無線通信デバイスに行わせるためのコードと、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示することを前記無線通信デバイスに行わせるためのコードと、
エネルギープロフィールを選択する入力を検出することを前記無線通信デバイスに行わせるためのコードと、
コーデックを前記入力と関連付けることを前記無線通信デバイスに行わせるためのコードと、
パケットを生成するために前記コーデックに基づいて前記複数のオーディオ信号を圧縮することを前記無線通信デバイスに行わせるためのコードと、を備える、コンピュータプログラム製品。
［Ｃ３９］ 前記命令は、前記パケットをオーバー・ザ・エアで送信することを前記無線通信デバイスに行わせるためのコードをさらに備えるＣ３８に記載のコンピュータプログラム製品。
［Ｃ４０］ 前記命令は、チャネル識別を送信することを前記無線通信デバイスに行わせるためのコードをさらに備えるＣ３８に記載のコンピュータプログラム製品。
［Ｃ４１］ ビットを増大させるためのコンピュータプログラム製品であって、
命令を有する非一時的な有形のコンピュータによって読み取り可能な媒体を備え、前記命令は、
複数のオーディオ信号のエネルギープロフィールを決定することを無線通信デバイスに行わせるコードと、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示することを前記無線通信デバイスに行わせるためのコードと、
エネルギープロフィールを選択する入力を検出することを前記無線通信デバイスに行わせるためのコードと、
コーデックを前記入力と関連付けることを前記無線通信デバイスに行わせるためのコードと、
前記入力に基づいてオーディオ信号を圧縮するために使用される前記コーデックへのビット割り当てを増大することを前記無線通信デバイスに行わせるためのコードと、を備える、コンピュータプログラム製品。
［Ｃ４２］ 前記オーディオ信号の圧縮は、その結果として、４つのパケットがオーバー・ザ・エアで送信されるＣ４１に記載のコンピュータプログラム製品。
［Ｃ４３］ 三次元オーディオを符号化するための装置であって、
複数のローカライズ可能な音源の空間方向のインディケーションを検出するための手段と、
前記複数のローカライズ可能な音源と関連付けられた複数のオーディオ信号を録音するための手段と、
前記複数のオーディオ信号を符号化するための手段と、を備える、装置。
［Ｃ４４］ 前記ローカライズ可能な音源の前記空間方向の前記インディケーションは、受信された入力に基づくＣ４３に記載の装置。
［Ｃ４５］ 三次元オーディオ符号化方式により多チャネル信号を符号化するための手段をさらに備えるＣ４３に記載の装置。
［Ｃ４６］ 無線通信デバイスによってコーデックを選択するための装置であって、
複数のオーディオ信号のエネルギープロフィールを決定するための手段と、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示するための手段と、
エネルギープロフィールを選択する入力を検出するための手段と、
コーデックを前記入力と関連付けるための手段と、
パケットを生成するため前記コーデックに基づいて前記複数のオーディオ信号を圧縮するための手段と、を備える、装置。
［Ｃ４７］ 前記パケットをオーバー・ザ・エアで送信するための手段をさらに備えるＣ４６に記載の装置。
［Ｃ４８］ チャネル識別を送信するための手段をさらに備えるＣ１３に記載の装置。
［Ｃ４９］ ビット割り当てを増大させるための装置であって、
複数のオーディオ信号のエネルギープロフィールを決定するための手段と、
前記複数のオーディオ信号の各々の前記エネルギープロフィールを表示するための手段と、
エネルギープロフィールを選択する入力を検出するための手段と、
コーデックを前記入力と関連付けるための手段と、
前記入力に基づいてオーディオ信号を圧縮するために使用される前記コーデックへのビット割り当てを増大させるための手段と、を備える、装置。
［Ｃ５０］ 前記オーディオ信号の圧縮は、その結果として、４つのパケットがオーバー・ザ・エアで送信されるＣ４９に記載の装置。

Claims (32)

  1. 無線通信デバイスによって三次元オーディオを送信する方法であって、
    聴覚シーンをキャプチャすることと、
    前記無線通信デバイスに配置された少なくとも２つのマイクロフォンの対を使用することに基づいて、前記聴覚シーンを、前記無線通信デバイスの異なる角に対応する異なる方向を表す複数のオーディオ信号に分解することと、ここにおいて、前記聴覚シーンを前記複数のオーディオ信号に分解することは、前記複数のオーディオ信号の各々を、周波数帯域の第１の組および周波数帯域の第２の組を含む複数の周波数帯域に分割することを含み、ここにおいて、前記複数の周波数帯域は、全帯域、狭帯域、広帯域、超広帯域のいずれか１つのタイプの帯域を含み、周波数帯域の前記第１の組は、前記複数のオーディオ信号において異なるタイプの帯域の組み合わせであり、周波数帯域の前記第２の組は、前記複数のオーディオ信号において同じタイプの帯域の組み合わせであり、
    オーディオ信号パケットを生成するために、複数のコーデックを使用して、前記複数のオーディオ信号を圧縮することと、ここにおいて、前記複数のオーディオ信号を圧縮することは、複数のオーディオチャネルを生成すること、前記複数のオーディオチャネルの各々について異なるコーデックを使用して周波数帯域の前記第１の組を圧縮すること、および同じコーデックを使用して周波数帯域の前記第２の組を圧縮することを備え、
    リアルタイムでオーバー・ザ・エアで前記オーディオ信号パケットを送信することと、
    を備える、方法。
  2. 前記無線通信デバイスの前記異なる角は、前左方向、後左方向、前右方向、および後右方向を含む、請求項１に記載の方法。
  3. 前記無線通信デバイスの前記異なる角は、標準的なチャネルフォーマットのサラウンドサウンドシステムと関連付けられる、請求項２に記載の方法。
  4. 前記オーディオ信号パケットは、呼中にトラフィックチャネルを通じてオーバー・ザ・エアで送信される、請求項１に記載の方法。
  5. 前記複数のコーデックは、スピーチコーデックを備える、請求項１に記載の方法。
  6. 前記聴覚シーンを前記分解することは、前記少なくとも２つのマイクロフォンの対における１つのマイクロフォンの対から第１のビームを形成することと、前記少なくとも２つのマイクロフォンの対における第２のマイクロフォンの対から第２のビームを形成することとを含む、請求項１に記載の方法。
  7. 前記第１のビームおよび第２のビームは、前記無線通信デバイスの前記異なる角のうちの少なくとも１つの角を表す方向と関連付けられたオーディオ信号を増幅するために組み合される、請求項６に記載の方法。
  8. 前記第１のビームおよび第２のビームは、前記無線通信デバイスの前記異なる角のうちの少なくとも１つの角を表す方向と関連付けられたオーディオ信号を減衰するために組み合されたヌルビームである、請求項６に記載の方法。
  9. 三次元オーディオを送信するように構成された無線通信デバイスであって、
    聴覚シーンをキャプチャすることと、
    前記無線通信デバイスに配置された少なくとも２つのマイクロフォンの対を使用することに基づいて、前記聴覚シーンを、前記無線通信デバイスの異なる角に対応する異なる方向を表す複数のオーディオ信号に分解することと、ここにおいて、前記聴覚シーンを前記複数のオーディオ信号に分解することは、前記複数のオーディオ信号の各々を、周波数帯域の第１の組および周波数帯域の第２の組を含む複数の周波数帯域に分割することを含み、ここにおいて、前記複数の周波数帯域は、全帯域、狭帯域、広帯域、超広帯域のいずれか１つのタイプの帯域を含み、周波数帯域の前記第１の組は、前記複数のオーディオ信号において異なるタイプの帯域の組み合わせであり、周波数帯域の前記第２の組は、前記複数のオーディオ信号において同じタイプの帯域の組み合わせであり、
    オーディオ信号パケットを生成するために、複数のコーデックを使用して、前記複数のオーディオ信号を圧縮することと、ここにおいて、前記複数のオーディオ信号を圧縮することは、複数のオーディオチャネルを生成すること、前記複数のオーディオチャネルの各々について異なるコーデックを使用して周波数帯域の前記第１の組を圧縮すること、および同じコーデックを使用して周波数帯域の前記第２の組を圧縮することを備え、
    リアルタイムでオーバー・ザ・エアで前記オーディオ信号パケットを送信することと、
    を行うように構成された１つ以上のプロセッサを備える、無線通信デバイス。
  10. 前記無線通信デバイスの前記異なる角は、前左方向、後左方向、前右方向、および後右方向を含む、請求項９に記載の無線通信デバイス。
  11. 前記無線通信デバイスの前記異なる角は、標準的なチャネルフォーマットのサラウンドサウンドシステムと関連付けられる、請求項１０に記載の無線通信デバイス。
  12. 前記オーディオ信号パケットは、呼中にトラフィックチャネルを通じてオーバー・ザ・エアで送信される、請求項９に記載の無線通信デバイス。
  13. 前記複数のコーデックは、スピーチコーデックを備える、請求項９に記載の無線通信デバイス。
  14. 前記聴覚シーンを前記分解することは、前記少なくとも２つのマイクロフォンの対における１つのマイクロフォンの対から第１のビームを形成することと、前記少なくとも２つのマイクロフォンの対における第２のマイクロフォンの対から第２のビームを形成することとを含む、請求項９に記載の無線通信デバイス。
  15. 前記第１のビームおよび第２のビームは、前記無線通信デバイスの前記異なる角のうちの少なくとも１つの角を表す方向と関連付けられたオーディオ信号を増幅するために組み合される、請求項１４に記載の無線通信デバイス。
  16. 前記第１のビームおよび第２のビームは、前記無線通信デバイスの前記異なる角のうちの少なくとも１つの角を表す方向と関連付けられたオーディオ信号を減衰するために組み合されたヌルビームである、請求項１４に記載の無線通信デバイス。
  17. 三次元オーディオを送信するように構成された装置であって、
    聴覚シーンをキャプチャするための手段と、
    無線通信デバイスに配置された少なくとも２つのマイクロフォンの対を使用することに基づいて、前記聴覚シーンを、前記無線通信デバイスの異なる角に対応する異なる方向を表す複数のオーディオ信号に分解するための手段と、ここにおいて、前記聴覚シーンを前記複数のオーディオ信号に分解することは、前記複数のオーディオ信号の各々を、周波数帯域の第１の組および周波数帯域の第２の組を含む複数の周波数帯域に分割することを含み、ここにおいて、前記複数の周波数帯域は、全帯域、狭帯域、広帯域、超広帯域のいずれか１つのタイプの帯域を含み、周波数帯域の前記第１の組は、前記複数のオーディオ信号において異なるタイプの帯域の組み合わせであり、周波数帯域の前記第２の組は、前記複数のオーディオ信号において同じタイプの帯域の組み合わせであり、
    オーディオ信号パケットを生成するために、複数のコーデックを使用して、前記複数のオーディオ信号を圧縮するための手段と、ここにおいて、前記複数のオーディオ信号を圧縮することは、複数のオーディオチャネルを生成すること、前記複数のオーディオチャネルの各々について異なるコーデックを使用して周波数帯域の前記第１の組を圧縮すること、および同じコーデックを使用して周波数帯域の前記第２の組を圧縮することを備え、
    リアルタイムでオーバー・ザ・エアで前記オーディオ信号パケットを送信するための手段と、
    を備える、装置。
  18. 前記無線通信デバイスの前記異なる角は、前左方向、後左方向、前右方向、および後右方向を含む、請求項１７に記載の装置。
  19. 前記無線通信デバイスの前記異なる角は、標準的なチャネルフォーマットのサラウンドサウンドシステムと関連付けられる、請求項１８に記載の装置。
  20. 前記オーディオ信号パケットは、呼中にトラフィックチャネルを通じてオーバー・ザ・エアで送信される、請求項１７に記載の装置。
  21. 前記複数のコーデックは、スピーチコーデックを備える、請求項１７に記載の装置。
  22. 前記聴覚シーンを前記分解することは、前記少なくとも２つのマイクロフォンの対における１つのマイクロフォンの対から第１のビームを形成することと、前記少なくとも２つのマイクロフォンの対における第２のマイクロフォンの対から第２のビームを形成することと、を含む、請求項１７に記載の装置。
  23. 前記第１のビームおよび第２のビームは、前記無線通信デバイスの前記異なる角のうちの少なくとも１つの角を表す方向と関連付けられたオーディオ信号を増幅するために組み合される、請求項２２に記載の装置。
  24. 前記第１のビームおよび第２のビームは、前記無線通信デバイスの前記異なる角のうちの少なくとも１つの角を表す方向と関連付けられたオーディオ信号を減衰するために組み合されたヌルビームである、請求項２２に記載の装置。
  25. 無線通信デバイスによる三次元オーディオの送信を容易にするように構成された非一時的な有形のコンピュータによって読み取り可能な記憶媒体であって、前記コンピュータによって読み取り可能な記憶媒体は、命令を有し、前記命令は、
    前記無線通信デバイスに、聴覚シーンをキャプチャさせるためのコードと、
    前記無線通信デバイスに、前記無線通信デバイスに配置された少なくとも２つのマイクロフォンの対を使用することに基づいて、前記聴覚シーンを、前記無線通信デバイスの異なる角に対応する異なる方向を表す複数のオーディオ信号に分解させるためのコードと、ここにおいて、前記聴覚シーンを前記複数のオーディオ信号に分解することは、前記複数のオーディオ信号の各々を、周波数帯域の第１の組および周波数帯域の第２の組を含む複数の周波数帯域に分割することを含み、ここにおいて、前記複数の周波数帯域は、全帯域、狭帯域、広帯域、超広帯域のいずれか１つのタイプの帯域を含み、周波数帯域の前記第１の組は、前記複数のオーディオ信号において異なるタイプの帯域の組み合わせであり、周波数帯域の前記第２の組は、前記複数のオーディオ信号において同じタイプの帯域の組み合わせであり、
    前記無線通信デバイスに、オーディオ信号パケットを生成するために、複数のコーデックを使用して、前記複数のオーディオ信号を圧縮させるためのコードと、ここにおいて、前記複数のオーディオ信号を圧縮することは、複数のオーディオチャネルを生成すること、前記複数のオーディオチャネルの各々について異なるコーデックを使用して周波数帯域の前記第１の組を圧縮すること、および同じコーデックを使用して周波数帯域の前記第２の組を圧縮することを備え、
    前記無線通信デバイスに、リアルタイムでオーバー・ザ・エアで前記オーディオ信号パケットを送信させるためのコードと、
    を備える、コンピュータによって読み取り可能な記憶媒体。
  26. 前記無線通信デバイスの前記異なる角は、前左方向、後左方向、前右方向、および後右方向を含む、請求項２５に記載のコンピュータによって読み取り可能な記憶媒体。
  27. 前記無線通信デバイスの前記異なる角は、標準的なチャネルフォーマットのサラウンドサウンドシステムと関連付けられる、請求項２６に記載のコンピュータによって読み取り可能な記憶媒体。
  28. 前記オーディオ信号パケットは、呼中にトラフィックチャネルを通じてオーバー・ザ・エアで送信される、請求項２５に記載のコンピュータによって読み取り可能な記憶媒体。
  29. 前記複数のコーデックは、スピーチコーデックを備える、請求項２５に記載のコンピュータによって読み取り可能な記憶媒体。
  30. 前記聴覚シーンを前記分解することは、前記少なくとも２つのマイクロフォンの対における１つのマイクロフォンの対から第１のビームを形成することと、前記少なくとも２つのマイクロフォンの対における第２のマイクロフォンの対から第２のビームを形成することとを含む、請求項２５に記載のコンピュータによって読み取り可能な記憶媒体。
  31. 前記第１のビームおよび第２のビームは、前記無線通信デバイスの前記異なる角のうちの少なくとも１つの角を表す方向と関連付けられたオーディオ信号を増幅するために組み合される、請求項３０に記載のコンピュータによって読み取り可能な記憶媒体。
  32. 前記第１のビームおよび第２のビームは、前記無線通信デバイスの前記異なる角のうちの少なくとも１つの角を表す方向と関連付けられたオーディオ信号を減衰するために組み合されたヌルビームである、請求項３０に記載のコンピュータによって読み取り可能な記憶媒体。
JP2015514045A 2012-05-24 2013-05-08 呼中における三次元サウンド圧縮及びオーバー・ザ・エア送信 Expired - Fee Related JP6336968B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261651185P 2012-05-24 2012-05-24
US61/651,185 2012-05-24
US13/664,701 US9161149B2 (en) 2012-05-24 2012-10-31 Three-dimensional sound compression and over-the-air transmission during a call
US13/664,701 2012-10-31
PCT/US2013/040137 WO2013176890A2 (en) 2012-05-24 2013-05-08 Three-dimensional sound compression and over-the-air-transmission during a call

Publications (3)

Publication Number Publication Date
JP2015523594A JP2015523594A (ja) 2015-08-13
JP2015523594A5 JP2015523594A5 (ja) 2016-02-04
JP6336968B2 true JP6336968B2 (ja) 2018-06-06

Family

ID=49621612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015514045A Expired - Fee Related JP6336968B2 (ja) 2012-05-24 2013-05-08 呼中における三次元サウンド圧縮及びオーバー・ザ・エア送信

Country Status (6)

Country Link
US (3) US20130315402A1 (ja)
EP (1) EP2856464B1 (ja)
JP (1) JP6336968B2 (ja)
KR (1) KR101705960B1 (ja)
CN (1) CN104321812B (ja)
WO (2) WO2013176890A2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11665482B2 (en) 2011-12-23 2023-05-30 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
WO2020051786A1 (en) * 2018-09-12 2020-03-19 Shenzhen Voxtech Co., Ltd. Signal processing device having multiple acoustic-electric transducers
US20130315402A1 (en) 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
US9264524B2 (en) 2012-08-03 2016-02-16 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
US8884150B2 (en) * 2012-08-03 2014-11-11 The Penn State Research Foundation Microphone array transducer for acoustical musical instrument
US9460729B2 (en) * 2012-09-21 2016-10-04 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
US10194239B2 (en) * 2012-11-06 2019-01-29 Nokia Technologies Oy Multi-resolution audio signals
KR20140070766A (ko) * 2012-11-27 2014-06-11 삼성전자주식회사 보청 장치의 무선 통신 방법 및 시스템
WO2014087195A1 (en) 2012-12-05 2014-06-12 Nokia Corporation Orientation Based Microphone Selection Apparatus
US9521486B1 (en) * 2013-02-04 2016-12-13 Amazon Technologies, Inc. Frequency based beamforming
US10750132B2 (en) * 2013-03-14 2020-08-18 Pelco, Inc. System and method for audio source localization using multiple audio sensors
CN105284129A (zh) * 2013-04-10 2016-01-27 诺基亚技术有限公司 音频记录和回放装置
EP2992687B1 (en) * 2013-04-29 2018-06-06 University Of Surrey Microphone array for acoustic source separation
CN103699260B (zh) * 2013-12-13 2017-03-08 华为技术有限公司 一种启动终端功能模块的方法及终端设备
GB2521649B (en) * 2013-12-27 2018-12-12 Nokia Technologies Oy Method, apparatus, computer program code and storage medium for processing audio signals
KR102201027B1 (ko) 2014-03-24 2021-01-11 돌비 인터네셔널 에이비 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스
KR102216048B1 (ko) * 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
WO2015181727A2 (en) * 2014-05-26 2015-12-03 Vladimir Sherman Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
EP2960903A1 (en) 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values
US10073607B2 (en) 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
CN105451151B (zh) * 2014-08-29 2018-09-21 华为技术有限公司 一种处理声音信号的方法及装置
US9875745B2 (en) * 2014-10-07 2018-01-23 Qualcomm Incorporated Normalization of ambient higher order ambisonic audio data
KR102008745B1 (ko) * 2014-12-18 2019-08-09 후아웨이 테크놀러지 컴퍼니 리미티드 이동 디바이스들을 위한 서라운드 사운드 레코딩
CN104637494A (zh) * 2015-02-02 2015-05-20 哈尔滨工程大学 基于盲源分离的双话筒移动设备语音信号增强方法
US9712936B2 (en) * 2015-02-03 2017-07-18 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization
USD768596S1 (en) * 2015-04-20 2016-10-11 Pietro V. Covello Media player
US10187738B2 (en) * 2015-04-29 2019-01-22 International Business Machines Corporation System and method for cognitive filtering of audio in noisy environments
US10327067B2 (en) * 2015-05-08 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional sound reproduction method and device
GB2540175A (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
US20170018282A1 (en) * 2015-07-16 2017-01-19 Chunghwa Picture Tubes, Ltd. Audio processing system and audio processing method thereof
US9788109B2 (en) 2015-09-09 2017-10-10 Microsoft Technology Licensing, Llc Microphone placement for sound source direction estimation
WO2017143067A1 (en) * 2016-02-19 2017-08-24 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
US11722821B2 (en) 2016-02-19 2023-08-08 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
GB201607455D0 (en) * 2016-04-29 2016-06-15 Nokia Technologies Oy An apparatus, electronic device, system, method and computer program for capturing audio signals
US9858944B1 (en) * 2016-07-08 2018-01-02 Apple Inc. Apparatus and method for linear and nonlinear acoustic echo control using additional microphones collocated with a loudspeaker
KR102277438B1 (ko) 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US10362393B2 (en) 2017-02-08 2019-07-23 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10366700B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Device for acquiring and processing audible input
US10366702B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10229667B2 (en) 2017-02-08 2019-03-12 Logitech Europe S.A. Multi-directional beamforming device for acquiring and processing audible input
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10129648B1 (en) 2017-05-11 2018-11-13 Microsoft Technology Licensing, Llc Hinged computing device for binaural recording
US10789949B2 (en) * 2017-06-20 2020-09-29 Bose Corporation Audio device with wakeup word detection
US10665234B2 (en) * 2017-10-18 2020-05-26 Motorola Mobility Llc Detecting audio trigger phrases for a voice recognition session
TWI690921B (zh) * 2018-08-24 2020-04-11 緯創資通股份有限公司 收音處理裝置及其收音處理方法
WO2020051836A1 (en) * 2018-09-13 2020-03-19 Alibaba Group Holding Limited Methods and devices for processing audio input using unidirectional audio input devices
IL307415B1 (en) 2018-10-08 2024-07-01 Dolby Laboratories Licensing Corp Converting audio signals captured in different formats to a reduced number of formats for simplifying encoding and decoding operations
US11049509B2 (en) * 2019-03-06 2021-06-29 Plantronics, Inc. Voice signal enhancement for head-worn audio devices
CN111986695B (zh) * 2019-05-24 2023-07-25 中国科学院声学研究所 一种无重叠子带划分快速独立向量分析语音盲分离方法及系统
US11380312B1 (en) * 2019-06-20 2022-07-05 Amazon Technologies, Inc. Residual echo suppression for keyword detection
US11638111B2 (en) * 2019-11-01 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for classifying beamformed signals for binaural audio playback
TWI740339B (zh) * 2019-12-31 2021-09-21 宏碁股份有限公司 自動調整特定聲源的方法及應用其之電子裝置
US11277689B2 (en) 2020-02-24 2022-03-15 Logitech Europe S.A. Apparatus and method for optimizing sound quality of a generated audible signal
CN111246285A (zh) * 2020-03-24 2020-06-05 北京奇艺世纪科技有限公司 一种解说视频中声音的分离方法、音量调节方法及装置
US11200908B2 (en) * 2020-03-27 2021-12-14 Fortemedia, Inc. Method and device for improving voice quality
CN112259110B (zh) * 2020-11-17 2022-07-01 北京声智科技有限公司 音频编码方法及装置、音频解码方法及装置
CN113329138A (zh) * 2021-06-03 2021-08-31 维沃移动通信有限公司 视频拍摄方法、视频播放方法和电子设备
WO2024082181A1 (zh) * 2022-10-19 2024-04-25 北京小米移动软件有限公司 空间音频采集方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289308B1 (en) * 1990-06-01 2001-09-11 U.S. Philips Corporation Encoded wideband digital transmission signal and record carrier recorded with such a signal
US6072878A (en) 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
US7184559B2 (en) 2001-02-23 2007-02-27 Hewlett-Packard Development Company, L.P. System and method for audio telepresence
AUPR647501A0 (en) * 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
US6813360B2 (en) * 2002-01-22 2004-11-02 Avaya, Inc. Audio conferencing with three-dimensional audio encoding
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US7756713B2 (en) * 2004-07-02 2010-07-13 Panasonic Corporation Audio signal decoding device which decodes a downmix channel signal and audio signal encoding device which encodes audio channel signals together with spatial audio information
US7826624B2 (en) * 2004-10-15 2010-11-02 Lifesize Communications, Inc. Speakerphone self calibration and beam forming
BRPI0607303A2 (pt) 2005-01-26 2009-08-25 Matsushita Electric Ind Co Ltd dispositivo de codificação de voz e método de codificar voz
US20080004729A1 (en) 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
TW200849219A (en) * 2007-02-26 2008-12-16 Qualcomm Inc Systems, methods, and apparatus for signal separation
US20080232601A1 (en) 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
US8098842B2 (en) * 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
US8005237B2 (en) * 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
KR101415026B1 (ko) 2007-11-19 2014-07-04 삼성전자주식회사 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US8582783B2 (en) 2008-04-07 2013-11-12 Dolby Laboratories Licensing Corporation Surround sound generation from a microphone array
US8396226B2 (en) * 2008-06-30 2013-03-12 Costellation Productions, Inc. Methods and systems for improved acoustic environment characterization
US9025775B2 (en) 2008-07-01 2015-05-05 Nokia Corporation Apparatus and method for adjusting spatial cue information of a multichannel audio signal
US8279357B2 (en) 2008-09-02 2012-10-02 Mitsubishi Electric Visual Solutions America, Inc. System and methods for television with integrated sound projection system
EP2517486A1 (en) 2009-12-23 2012-10-31 Nokia Corp. An apparatus
KR101423737B1 (ko) * 2010-01-21 2014-07-24 한국전자통신연구원 오디오 신호의 디코딩 방법 및 장치
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
US8638951B2 (en) 2010-07-15 2014-01-28 Motorola Mobility Llc Electronic apparatus for generating modified wideband audio signals based on two or more wideband microphone signals
US8433076B2 (en) * 2010-07-26 2013-04-30 Motorola Mobility Llc Electronic apparatus for generating beamformed audio signals with steerable nulls
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
US9456289B2 (en) * 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US8819523B2 (en) * 2011-05-19 2014-08-26 Cambridge Silicon Radio Limited Adaptive controller for a configurable audio coding system
RU2618383C2 (ru) * 2011-11-01 2017-05-03 Конинклейке Филипс Н.В. Кодирование и декодирование аудиообъектов
US20130315402A1 (en) 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call

Also Published As

Publication number Publication date
US20160005408A1 (en) 2016-01-07
US9161149B2 (en) 2015-10-13
US20130315402A1 (en) 2013-11-28
JP2015523594A (ja) 2015-08-13
WO2013176959A1 (en) 2013-11-28
US9361898B2 (en) 2016-06-07
EP2856464A2 (en) 2015-04-08
WO2013176890A2 (en) 2013-11-28
KR101705960B1 (ko) 2017-02-10
WO2013176890A3 (en) 2014-02-27
CN104321812B (zh) 2016-10-05
US20130317830A1 (en) 2013-11-28
EP2856464B1 (en) 2019-06-19
CN104321812A (zh) 2015-01-28
KR20150021052A (ko) 2015-02-27

Similar Documents

Publication Publication Date Title
JP6336968B2 (ja) 呼中における三次元サウンド圧縮及びオーバー・ザ・エア送信
JP6121481B2 (ja) マルチマイクロフォンを用いた３次元サウンド獲得及び再生
CN107925815B (zh) 空间音频处理装置
TWI700687B (zh) 用於編碼、解碼、場景處理及與以指向性音訊編碼為基礎之空間音訊編碼有關的其他程序之裝置、方法及電腦程式
US9854378B2 (en) Audio spatial rendering apparatus and method
US8855341B2 (en) Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
JP5705980B2 (ja) 空間における、音響イメージのエンハンスされた生成のための、システム、方法および装置
CN112567763B (zh) 用于音频信号处理的装置和方法
CN110537221A (zh) 用于空间音频处理的两阶段音频聚焦
JP2020500480A (ja) デバイス内の非対称配列の複数のマイクからの空間メタデータの分析
WO2015035785A1 (zh) 语音信号处理方法与装置
US10854214B2 (en) Noise suppression wearable device
CN113597776A (zh) 参数化音频中的风噪声降低
GB2587335A (en) Direction estimation enhancement for parametric spatial audio capture using broadband estimates

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151208

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20151208

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161110

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20161209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R150 Certificate of patent or registration of utility model

Ref document number: 6336968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees