JP6279569B2 - マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置 - Google Patents

マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置 Download PDF

Info

Publication number
JP6279569B2
JP6279569B2 JP2015522115A JP2015522115A JP6279569B2 JP 6279569 B2 JP6279569 B2 JP 6279569B2 JP 2015522115 A JP2015522115 A JP 2015522115A JP 2015522115 A JP2015522115 A JP 2015522115A JP 6279569 B2 JP6279569 B2 JP 6279569B2
Authority
JP
Japan
Prior art keywords
audio data
audio
hoa
dsht
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015522115A
Other languages
English (en)
Other versions
JP2015527610A (ja
JP2015527610A5 (ja
Inventor
ウーボルト，オリヴァー
ベーム，ヨーハネス
ジャックス，ピーター
Original Assignee
ドルビー・インターナショナル・アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー・インターナショナル・アーベー filed Critical ドルビー・インターナショナル・アーベー
Publication of JP2015527610A publication Critical patent/JP2015527610A/ja
Publication of JP2015527610A5 publication Critical patent/JP2015527610A5/ja
Application granted granted Critical
Publication of JP6279569B2 publication Critical patent/JP6279569B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Description

本発明は、オーディオ圧縮の技術分野に属し、具体的には、マルチチャンネルオーディオ信号及び音場指向（ｓｏｕｎｄ−ｆｉｅｌｄ ｏｒｉｅｎｔｅｄ）オーディオシーン（例えば、Ｈｉｇｈｅｒ Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ（ＨＯＡ））の圧縮に属する。
現在、マルチチャンネルオーディオ信号の圧縮方式は、入力録音資料（ａｕｄｉｏ ｍａｔｅｒｉａｌ）がどのように生成されたりミックスされたりしたか、明示的には考慮していない。既知のオーディオ圧縮技術では、圧縮するコンテンツの音源やミキシングタイプを考慮していない。既知のアプローチでは、「ブラインド（ｂｌｉｎｄ）」信号変換を行い、それによりマルチチャンネル信号をその信号成分に分解し、それを量子化及び符号化する。このようなアプローチの欠点は、上記の信号分解の計算が多く、オーディオシーンの一シーンに対し、最適かつ最高効率の信号分解を見いだすことは困難であり間違いやすい。
本発明は、マルチチャンネルオーディオレンダリングを改善する方法と装置とに関する。
上記の少なくとも幾つかの欠点は、シーン合成の特性に関する事前情報が無いことによることが分かっている。特に、空間的オーディオコンテンツ、例えばマルチチャンネルオーディオまたはＨｉｇｈｅｒ−Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ（ＨＯＡ）コンテンツの場合、圧縮方式を適合させるために、この事前情報は有用である。例えば、圧縮アルゴリズムにおける共通の前処理は、オーディオシーン分析であり、これはオリジナルコンテンツやオリジナルコンテンツミックスから有向音源やオーディオオブジェクトを抽出することを目的としている。このような有向音源またはオーディオオブジェクトは、残差空間的オーディオコンテンツとは別に符号化できる。
一実施形態において、前処理されたオーディオデータをエンコードする方法は、前処理されたオーディオデータをエンコードするステップと、オーディオ前処理を示す補助データをエンコードするステップとを有する。
一実施形態において、本発明は、エンコードされたオーディオデータをデコードする方法に関し、該方法は、エンコードされたオーディオデータがエンコード前に前処理されていると判断するステップと、前記オーディオデータをデコードするステップと、受信したデータから前処理に関する情報を抽出するステップと、抽出された前処理情報に応じて、デコードされたオーディオデータを後処理するステップとを有する。エンコードされたオーディオデータがエンコード前に前処理されていると判断するステップは、オーディオデータを分析するステップ、または付属するメタデータを分析するステップにより実現できる。
本発明の一実施形態において、前処理されたオーディオデータをエンコードするエンコーダは、前処理されたオーディオデータをエンコードする第１のエンコーダと、オーディオ前処理を示す補助データをエンコードする第２のエンコーダとを有する。
本発明の一実施形態において、エンコードされたオーディオデータをデコードするデコーダは、エンコードされたオーディオデータがエンコード前に前処理されていると判断するアナライザと、前記オーディオデータをデコードする第１のデコーダと、受信データから、前処理に関する情報を抽出するデータストリームパーサユニットまたはデータストリーム抽出ユニットと、抽出された前処理情報に応じて、デコードされたオーディオデータを後処理するステップとを有する。
本発明の一実施形態において、コンピュータ読み取り可能媒体は、コンピュータに、上記の方法のうちの少なくとも一つによる方法を実行させる実行可能命令を記憶している。
本発明の一般的アイデアは、マルチチャンネルオーディオ圧縮システムの次の拡張のうちの少なくとも一つに基づく：
一実施形態では、マルチチャンネルオーディオ圧縮及び／またはレンダリングシステムは、マルチチャンネルオーディオ信号ストリーム（例えば、ＰＣＭストリーム）と、チャンネルまたは対応スピーカの関連する空間的位置と、マルチチャンネルオーディオ信号ストリームに適用されたミキシングのタイプを示すメタデータとを含むインタフェースを有する。ミキシングタイプは、例えば、ＨＯＡまたはＶＢＡＰパンニング（ｐａｎｎｉｎｇ）の（以前の）利用または構成及び／または任意の詳細、具体的な録音手法、または同等の情報を示す。インタフェースは信号送信チェーンへの入力インタフェースであり得る。ＨＯＡコンテンツの場合、スピーカの空間的位置は、仮想的スピーカの位置であってもよい。
一実施形態では、マルチチャンネル圧縮コーデックのビットストリームは、仮想的または実際のスピーカ位置に関する上記のメタデータとオリジナルのミキシング情報とをデコーダとその後のレンダリングアルゴリズムに送信するためのシグナリング情報を含む。それにより、デコーディング側において適用されるレンダリング手法を、送信されたコンテンツのエンコーディング側における具体的なミキシング特性に適合できる。
一実施形態において、メタデータの利用は任意的であって、オンとオフを切り替えることができる。すなわち、オーディオコンテンツは、メタデータを使わない単純モードでデコード及びレンダリングできるが、単純モードではデコーディング及び／またはレンダリングは最適化されない。強化モードにおいては、メタデータを用いることにより、最適化されたデコーディング及び／またはレンダリングを実現できる。この実施形態では、デコーダ／レンダラーは２つのモードの間で切り替えられる。
添付した図面を参照して、本発明の有利な実施形態例を説明する。
既知のマルチチャンネル伝送システムの構成を示す図である。 本発明の一実施形態による、マルチチャンネル伝送システムの構成を示す図である。 本発明の一態様によるスマートデコーダを示す図である。 ＨＯＡ信号のマルチチャンネル伝送システムの構成を示す図である。 ＤＳＨＴの空間サンプリングポイントを示す図である。 エンコーダとデコーダの組み立てブロックで用いられるコードブックの球面サンプリング位置の例を示す図である。 改善されたマルチチャンネルオーディオエンコーダの一実施形態を示す図である。
図１は、マルチチャンネルオーディオ符号化の既知のアプローチを示す図である。オーディオプロダクション段階１０からのオーディオデータは、マルチチャンネルオーディオエンコーダ２０でエンコードされ、伝送され、マルチチャンネルオーディオデコーダ３０でデコードされる。メタデータが明示的に伝送され（またはその情報が黙示的に含められ）、空間的オーディオ成分に関係する。このような従来のメタデータは、スピーカの空間的位置に関する情報に限定され、例えばあるフォーマット（例えば、ステレオや「５．１サラウンドサウンド」としても知られるＩＴＵ−Ｒ ＢＳ．７７５−１）の形式のもの、またはスピーカ位置を示すテーブルによるものに限定されている。空間的オーディオミックス／レコーディングがどのように生成されたかに関する情報は、マルチチャンネルオーディオエンコーダ２０には送信されず、そのためこのような情報をマルチチャンネルオーディオエンコーダ２０において信号の圧縮に利用することはできない。
しかし、マルチチャンネル空間的オーディオ符号化器が、Ｈｉｇｈｅｒ−Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ（ＨＯＡ）フォーマットから得られたコンテンツと、固定マイクロホンセットアップでのレコーディングと、任意のパンニングアルゴリズム（ｐａｎｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ）でのマルチチャンネルミックスとのうち少なくとも一つを処理する場合、これらの場合には圧縮方式によりミキシングの特徴が利用できるので、コンテンツの音源やミキシングタイプのうち少なくとも一方についての知識は、特に重要であることが分かっている。また、オリジナルのマルチチャンネルオーディオコンテンツは、付加的なミキシング情報の表示（ｉｎｄｉｃａｔｉｏｎ）の恩恵を受け得る。エンコーディング効率をよくするために、用いるパンニング方法（例えば、Ｖｅｃｔｏｒ−Ｂａｓｅｄ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ（ＶＢＡＰ）やその詳細など）を示すことは有利である。有利にも、オーディオシーン分析及びその後のエンコーディングステップの信号モデルをこの情報に基づいて適応させることができる。これにより、圧縮システムが、レート歪み性能及び計算量の点でより効率的になる。
具体的にＨＯＡコンテンツの場合には、球面調和関数が複素数値であるか実数値であるか、規格化方式に複数の異なるものがある等、多くの異なる協定があるという問題がある。生成方式が異なるＨＯＡ間の非互換性を避けるため、共通フォーマットを規定することが有用である。これは、Ｄｉｓｃｒｅｔｅ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｔｒａｎｓｆｏｒｍ（ＤＳＨＴ）などの変換を用いて、ＨＯＡ時間領域係数のその等価空間表現（これはマルチチャンネル表現である）への変換を介して、実現できる。ＤＳＨＴが、空間サンプリング位置（これは仮想的スピーカ位置と等価であると考え得る）の規則的な球状分布から生成される。ＤＳＨＴに関する定義と詳細は後で説明する。ＨＯＡの他の定義を用いた任意のシステムは、空間領域で確定されたこの共通フォーマットから、自分自信のＨＯＡ係数表現を導き出すことができる。後でより詳しく説明するように、上記共通フォーマットの信号の圧縮は、仮想スピーカ信号がオリジナルのＨＯＡ信号を表すという事前の知識から大きな利益を受ける。
さらに、このミキシング情報等はデコーダやレンダラーにも有用である。一実施形態では、ミキシング情報等はビットストリームに含まれる。用いられるレンダリングアルゴリズムを、ＨＯＡやＶＢＡＰなどのオリジナルミキシングに適応させて、柔軟なスピーカ位置に対するダウンミックスやレンダリングをよくすることができる。
図２は、本発明の一実施形態によるマルチチャンネルオーディオ伝送システムの拡張を示す。この拡張は、オーディオコンテンツのプロダクション段階１０に適用されたミキシングタイプ、録音タイプ、編集タイプ、合成タイプなどのうち少なくとも一つを記述するメタデータを付加することにより実現される。この情報は、デコーダ出力まで存続（ｃａｒｒｉｅｄ ｔｈｒｏｕｇｈ）し、効率を上げるためにマルチチャンネル圧縮コーデック４０、５０内で用いられる。空間的オーディオミックス／レコーディングがどのように生成されたかに関する情報は、マルチチャンネルオーディオエンコーダ４０には送信され、そのため信号の圧縮に利用することができる。
このメタデータ情報をどのように使えるかに関する一例として、入力資料のミキシングタイプに応じて、マルチチャンネルコーデックにより、異なる符号化モードを起動できる。例えば、一実施形態では、エンコーダ入力においてＨＯＡミキシングが指示（ｉｎｄｉｃａｔｅ）されているとき、（式（３）ないし（１６）を参照して）後で説明するように、符号化モードをＨＯＡ用エンコーディング／デコーディング原理（ＨＯＡモード）に切り替え、一方入力信号のミキシングタイプがＨＯＡではない、または未知のものであるときには、異なる（例えば、従来の）マルチチャンネル符号化技術を用いる。ＨＯＡモードでは、エンコーディングは、一実施形態では、ＤＳＨＴブロックから始まり、ＤＳＨＴがオリジナルのＨＯＡ係数を回復し、その後にＨＯＡ用エンコーディングプロセスが始まる。他の一実施形態では、比較のため、ＤＳＨＴとは異なる離散変換を用いる。
図３は、本発明の一実施形態による「スマート」レンダリングシステムを示す。これは、デコーダ端末にあるＭ台のスピーカに対して、デコードされたＮチャンネルの柔軟なダウンミックス、アップミックス、またはリミックスをするために、本発明のメタデータを用いる。ミキシング、録音などのタイプに関するメタデータは、効率的かつ高品質なレンダリングを実現するように、複数のモードのうちの一つを選択するのに利用できる。マルチチャンネルエンコーダ５０は、入力オーディオデータにおけるミックスタイプに関するメタデータに応じて、最適なエンコーディングを行い、エンコードされたＮオーディオチャンネルとスピーカ位置に関する情報だけでなく、例えば「ミックスタイプ（ｔｙｐｅ ｏｆ ｍｉｘ）」情報も、デコーダ６０にエンコード／提供する。（受信側において）デコーダ６０は、Ｍオーディオチャンネルのための出力信号を生成するため、受信側で利用できるスピーカの実際のスピーカ位置（これは送信側（すなわち、エンコーダ）には未知である）を用いる。一実施形態では、ＮはＭとは異なる。一実施形態では、ＮはＭと等しいか、またはＭと異なるが、受信側における実際のスピーカ位置は、エンコーダ５０及びオーディオプロダクション１０において仮定されたスピーカ位置とは異なる。エンコーダ５０またはオーディオプロダクション１０は、例えば、標準的なスピーカ位置を仮定しているかも知れない。
図４は、ＨＯＡコンテンツの効率的な伝送に本発明をどのように使えるかを示す。入力ＨＯＡ係数を、逆ＤＳＨＴ（ｉＤＳＨＴ）４１０を介して、空間領域に変換する。結果として得られたＮオーディオチャンネル、その（仮想的）空間位置、及びインジケーション（ｉｎｄｉｃａｔｉｏｎ）（例えば、「ＨＯＡ ｍｉｘｅｄ」フラグなどのフラグ）が、圧縮エンコーダであるマルチチャンネルオーディオエンコーダ４２０に提供される。圧縮エンコーダは、その入力信号がＨＯＡにより得られたもの（ＨＯＡ−ｄｅｒｉｖｅｄ）であるとの事前情報を利用できる。オーディオエンコーダ４２０と、オーディオデコーダ４３０またはオーディオレンダラーとの間のインタフェースは、Ｎ個のオーディオチャンネルとその（仮想的）空間位置と上記のインジケーションを含む。デコーディング側において逆プロセスを行う。すなわち、デコーディング４３０の後に、コンテンツをエンコードする前に適用された関連動作の情報を用いるＯＳＨＴ４４０を適用することにより、ＨＯＡ表現を回復できる。この情報（ｋｎｏｗｌｅｄｇｅ）は、インタフェースを通して、本発明によるメタデータの形式で受信される。
この発明の範囲内にある幾つかの種類の（しかし必ずしもすべてではない）メタデータは、例えば、少なくとも次のもののうちの一つである：
−オリジナルコンテンツがＨＯＡコンテンツから求められたことのインジケーション、及び少なくとも次のものの一つ：
・ＨＯＡ表現の次数（ｏｒｄｅｒ）；
・２Ｄ、３Ｄまたは半球形表現のインジケーション；及び
・空間サンプリングポイントの位置（適応的または固定）
−オリジナルコンテンツがＶＢＡＰを用いて合成的にミックスされた（ｍｉｘｅｄ ｓｙｎｔｈｅｔｉｃａｌｌｙ）とのインジケーション（ｉｎｄｉｃａｔｉｏｎ）及びスピーカのＶＢＡＰタプル（ペア）または３個の組の割り当て；及び
−オリジナルコンテンツが固定された離散的なマイクロホンで録音されたことのインジケーション、及び少なくとも次のものの一つ：
・録音セット上の一以上のマイクロホンの一以上の位置及び方向；及び
・例えば、カージオイド（ｃａｒｄｏｉｄ）、無指向性、スーパーカージオイド（ｓｕｐｅｒ−ｃａｒｄｏｉｄ）などの、一以上の種類のマイクロホン。
本発明の主な利点は少なくとも次の通りである。
入力資料の信号特性に関するより良い情報（ｋｎｏｗｌｅｄｇｅ）により、より効率的な圧縮方式が得られる。エンコーダは、この事前情報を利用して、オーディオシーン分析を改善する（例えば、ミクストコンテンツの音源モデルを適合させる）ことができる。ミクストコンテンツの音源モデル（ｓｏｕｒｃｅ ｍｏｄｅｌ）の一例は、オーディオプロダクション段階１０において信号源が修正、編集または合成された場合である。このようなオーディオプロダクション段階１０は、通常、マルチチャンネルオーディオ信号を生成するために用いられ、マルチチャンネルオーディオエンコーダブロック２０の前に位置される。このようなオーディオプロダクション段階１０は、（図示していないが）図２においても、新しいエンコーディングブロック４０の前にあると仮定する。従来、編集情報は失われ、エンコーダには送られず、そのため利用できない。本発明により、この情報を保存することが可能となる。オーディオプロダクション段階１０の例には、録音と編集、合成サウンド、またはスピーカ位置に合成的にマッピングされた複数の音源などのマルチマイクロホン情報が含まれる。
本発明の他の一利点は、送信及びデコードされたコンテンツのレンダリングを大幅に改善できることであり、特に、利用できるスピーカ数が利用できるチャンネル数と異なる（いわゆる、ダウンミックス及びアップミックスのシナリオ）など条件が悪いシナリオ、及びスピーカ位置がフレキシブルである場合に改善できる。後者の場合、スピーカ位置に応じた再マッピングが必要となる。
他のもう一つの利点は、ＨＯＡなど音場関連フォーマットのオーディオデータを、高音質レンダリングに必要な重要なデータを喪失することなく、チャンネルベースのオーディオ伝送システムで送信できることである。
本発明によるメタデータの送信により、デコーディング側において、最適なデコーディング及び／またはレンダリングが可能となり、特に、空間的分解が行われるときはそうである。一般的な空間的分解はＫａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換（ＫＬ Ｔ）など様々な手段により得られ、（本発明によるメタデータを用いて）最適な分解も少ない計算量で可能であり、同時に、音質のよいマルチチャンネル出力信号を提供する（例えば、レンダリング中に、より容易に、一つひとつのチャンネルをスピーカ位置に適合またはマッピングでき、マッピングがより正確になる）。これは特に都合がよいのは、チャンネル数がレンダリング中のミキシング（マトリックス化）段階で修正（増大または減少）されたとき、または一以上のスピーカ位置が修正されたとき（特に、マルチチャンネルの各チャンネルが、あるスピーカ位置に適合された場合）である。
次に、Ｈｉｇｈｅｒ Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ（ＨＯＡ）とＤｉｓｃｒｅｔｅ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｔｒａｎｓｆｏｒｍ（ＤＳＨＴ）とを説明する。
ＨＯＡ信号は、知覚的符号化器（ｐｅｒｃｅｐｔｕａｌ ｃｏｄｅｒｓ）による圧縮の前に、例えばＤｉｓｃｒｅｔｅ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｔｒａｎｓｆｏｒｍ（ＤＳＨＴ）により、空間領域に変換できる。このようなマルチチャンネルオーディオ信号表現の伝送または記憶には、通常は、適当なマルチチャンネル圧縮手法を必要とする。通常、チャンネル独立した知覚的復号を行ってから、復号されたＩ個の信号
［外１］
Figure 0006279569
を新しいＪ個の信号
［外２］
Figure 0006279569
にマトリクス化（ｍａｔｒｉｘｉｎｇ）する。マトリクス化との用語は、復号された信号
［外３］
Figure 0006279569
を重み付けして付加またはミキシングすることを意味する。すべての信号
［外４］
Figure 0006279569
及びすべての新しい信号
［外５］
Figure 0006279569
を、
Figure 0006279569
 によりベクトルとして構成する。「マトリクス化（ｍａｔｒｉｘｉｎｇ）」との用語は、
［外６］
Figure 0006279569
がマトリクス演算
Figure 0006279569
 により
［外７］
Figure 0006279569
から数学的に得られることによる。ここで、Ａはミキシング加重により構成されたミキシングマトリクスを示す。「ミキシング」及び「マトリクス化」との用語は、ここでは同義語的に用いられる。ミキシング／マトリクス化は、任意のスピーカセットアップに対するオーディオ信号のレンダリングを目的として用いられる。マトリクスが依存し、それゆえレンダリング時のマトリクス化に用いられるマトリクスが依存する個々のスピーカセットアップは、通常、知覚的符号化段階においては知られていない。
次のセクションでは、Ｈｉｇｈｅｒ Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ（ＨＯＡ）を簡単に紹介し、処理（データレート圧縮）される信号を定義する。
Ｈｉｇｈｅｒ Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ（ＨＯＡ）は、コンパクトな関心エリア内の音場の記述に基づく。関心エリアには音源が無いものと仮定する。その場合、時間ｔにおける、関心エリア内の点ｘ＝［ｒ，θ，φ］Ｔにおける音圧ｐ（ｔ，ｘ）の時空間的振る舞いは、同次波動方程式により物理的に完全に決定される。時間に関する音圧のフーリエ変換、すなわち、
Figure 0006279569
 （ここで、ωは角振動数を表す（
［外８］
Figure 0006279569
は
［外９］
Figure 0006279569
に対応する））は、
Figure 0006279569
 により球面調和関数（ＳＨｓ）の級数に展開できることを示せる。
式（４）において、ｃｓは音速を示し、ｋ＝ω／ｃｓは角波数を示す。さらに、ｊｎ（）は第１種の次数ｎの球面ベッセル関数を示し、Ｙｎ ｍ（）は次数（ｏｒｄｅｒ）ｎであり度数（ｄｅｇｒｅｅ）ｍである球面調和関数（ＳＨ）を示す。音場に関する完全な情報は、実際に、音場係数Ａｎ ｍ（ｋ）中に含まれている。留意点として、ＳＨは一般的に複素数値関数である。しかし、その適当な線形結合をとることにより、実数値関数を求め、これらの関数に関する展開をすることも可能である。
式（４）の圧力音場記述に関して、音源場（ｓｏｕｒｃｅ ｆｉｅｌｄ）は
Figure 0006279569
 として定義できる。音源場または振幅密度［９］Ｄ（ｋｃｓ，Ω）は角波数と角方向Ω＝［θ，φ］Ｔに依存する。音源場（ｓｏｕｒｃｅ ｆｉｅｌｄ）は、ファーフィールド／ニアフィールドの離散／連続な音源を含み得る［１］。音源場係数Ｂｎ ｍは、［１］によれば、音源場係数Ａｎ ｍ
Figure 0006279569
 に関連する。ここで、ｈｎ （２）は第２種球面ハンケル関数であり、ｒｓは原点からの音源距離である。ニアフィールドに関して、留意すべき点として、（ｅ−ｉｋｒに関する）入来波に対して、正の振動数と第２種の球面ハンケル関数ｈｎ （２）を用いている。
ＨＯＡ領域の信号は、音源場または音場の係数の逆フーリエ変換として、周波数領域または時間領域で表すことができる。次の説明では、有限数の音源場係数
Figure 0006279569
 の時間領域表現の利用を仮定する。式（５）の無限級数はｎ＝Ｎで断ち切られる。断ち切りは空間的帯域幅制限に対応している。係数（またはＨＯＡチャンネル）の数は、
Figure 0006279569
 で与えられ、または２次元のみの記述の場合には、Ｏ２Ｄ＝２Ｎ＋１により与えられる。係数ｂｎ ｍは、スピーカにより後で再生するための一つの時間サンプルｍのオーディオ情報を含む。これらの係数は記憶または送信され、データレート圧縮にかけられる。係数の単一の時間サンプル（ｓｉｎｇｌｅ ｔｉｍｅ ｓａｍｐｌｅ）ｍは、Ｏ３Ｄ個の要素を有するベクトルｂ（ｍ）
Figure 0006279569
 により表すことができ、Ｍ個の時間サンプルのブロックはマトリクスＢ
Figure 0006279569
 により表すことができる。
音場の２次元表現は、円形調和関数（ｃｉｒｃｕｌａｒ ｈａｒｍｏｎｉｃｓ）を用いた展開により求めることができる。これは、θ＝π／２、係数の異なる加重、及びＯ２Ｄ係数（ｍ＝±ｎ）に減宿したセットを用いた、上述の一般的記述の特殊な場合と見ることができる。よって、次の検討はすべて２次元表現にも当てはまり、球面との用語は円との用語に置き換えればよい。
次に、ＨＯＡ係数領域からチャンネルベースの空間領域への変換及びその逆について説明する。式（５）は、単位球上のｌ個の離散的空間的サンプル位置Ωｌ＝［θｌ，φｌ］Ｔの時間領域ＨＯＡ係数を用いて、
Figure 0006279569
 と書き換えられる。
Ｌｓｄ＝（Ｎ＋１）２球面サンプル位置Ωｌを仮定すると、これはＨＯＡデータブロックＢのベクトル表示で
Figure 0006279569
 と書き換えられる。ここで、
［外１０］
Figure 0006279569
であり、
［外１１］
Figure 0006279569
はＬｓｄマルチチャンネル信号の単一の時間サンプルを表し、行列
［外１２］
Figure 0006279569
であり、ベクトル
［外１３］
Figure 0006279569
である。球面サンプル位置を非常に均一（ｒｅｇｕｌａｒ）に選択すると、
Figure 0006279569
 となるマトリクスΨｆが存在する。ここで、ＩはＯ３Ｄ行Ｏ３Ｄ列の単位行列である。式（１２）に対応する変換は
Figure 0006279569
 で定義できる。式（１４）は、Ｌｓｄ球面信号を係数領域に変換し、前方変換
Figure 0006279569
 として書き換えることができる。ここで、ＤＳＨＴ｛ ｝はＤｉｓｃｒｅｔｅ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｔｒａｎｓｆｏｒｍを示す。対応する逆変換は、Ｏ３Ｄ係数信号を空間領域に変換し、Ｌｓｄチャンネルベースの信号を構成する。式（１２）は
Figure 0006279569
 となる。
球面位置の数ＬｓｄがＨＯＡ係数の数Ｏ３Ｄ（式（８）参照）に一致するＤＳＨＴを次に説明する。最初に、デフォルトの球面サンプルグリッドを選択する。Ｍ個の時間サンプルのブロックについて、球面サンプルグリッドを回転して、
Figure 0006279569
 の対数が最小化されるようにする。ここで、
［外１４］
Figure 0006279569
は、ΣＷｓｄ（マトリクスの行インデックスがｌであり列インデックスがｊである）の要素の絶対値であり、
［外１５］
Figure 0006279569
は、ΣＷｓｄの対角要素である。可視化すると、これは図５に示したＤＳＨＴの球面サンプリンググリッドに対応する。
ＤＳＨＴの好適な球面サンプル位置と、そのような位置を求める手順は周知である。サンプリンググリッドの例を図６に示す。具体的に、図６は、エンコーダとデコーダの構成ブロックｐＥとｐＤで用いられるコードブックの球面サンプリング位置の例を示しており、図６（ａ）はＬｓｄ＝４の場合であり、図６（ｂ）はＬｓｄ＝９の場合であり、図６（ｃ）はＬｓｄ＝１６の場合であり、図６（ｄ）はＬｓｄ＝２５の場合である。このようなコードブックは、なかんずく、予め決められた空間的スピーカ構成に応じたレンダリングに用いることができる。
図７は、図４に示した改善されたマルチチャンネルオーディオエンコーダ４２０の一実施形態を示す図である。これはＤＳＨＴブロック４２１を含む。このブロックは、（ブロック４１０を反転するため）ブロック４１０の逆ＤＳＨＴの逆であるＤＳＨＴを計算する。ブロック４２１の目的は、その出力７０において、逆ＤＳＨＴブロック４１０の入力と実質的に同じ信号を出力することである。この信号７０の処理はさらに最適化できる。信号７０は、ＭＤＣＴブロック４２２に提供されるオーディオ成分だけでなく、一以上の支配的オーディオ信号成分や支配的オーディオ信号成分の一以上のロケーションを示す信号部分７１も含む。これらは、少なくとも１つの最強な音源の方向の検出（４２４）と、ｉＤＳＨＴの適応的回転の回転パラメータの計算４２５とに用いられる。一実施形態では、これは時間的に可変である。すなわち、検出４２４と計算４２５は、確定された離散的時間ステップにおいて継続的に再適応される。ｉＤＳＨＴの適応的回転マトリクスを計算し、その適応的ｉＤＳＨＴをｉＤＳＨＴブロック４２３で実行する。回転の効果は、ｉＤＳＨＴ４２３のサンプリンググリッドが回転して、面の一つ（すなわち、単一の空間的サンプル位置）が最強の音源方向（これは時間的に可変である）に一致するようになることである。これにより、ｉＤＳＨＴブロック４２３におけるオーディオ信号のエンコードがより効率的になり、そのためより良いものになる。ＭＤＣＴブロック４２２は、オーディオフレームセグメントの時間的重なりの補償に有利である。ｉＤＳＨＴブロック４２３はエンコードされたオーディオ信号７４を提供し、回転パラメータ計算ブロック４２５は前処理情報７５（の少なくとも一部）として、回転パラメータを提供する。また、前処理情報７５はその他の情報を含んでいてもよい。
さらに、本発明は次の実施形態にも関連する。
一実施形態において、
本発明は、チャンネルベースの３次元オーディオ表現を送信及び／または記憶し、処理する方法に関する。該方法は、前記チャンネルベースのオーディオ情報とともにサイド情報を送信／記憶するステップを有する。前記サイド情報は、チャンネルベースオーディオ情報のミキシングタイプと意図されたスピーカ位置を示し、前記ミキシングタイプは前の処理段階において（ミキシングスタジオなどにおいて）オーディオコンテンツミックスされたアルゴリズムを示し、前記スピーカ位置は前の処理段階におけるスピーカの位置（ミキシングスタジオなどにおける理想的位置）または仮想的位置を示す。前記データ構造とチャンネルベースオーディオ情報を受け取った後のさらに別の処理ステップにおいて、ミキシング及びスピーカ位置情報を利用する。
一実施形態において、本発明は、チャンネルベース３次元オーディオ表現を送信及び／または記憶し、処理する装置は、チャンネルベースオーディオ情報とともにサイド情報（ＳＩ）を送信する手段（または記憶する手段）を有する。前記サイド情報は、チャンネルベースオーディオ情報のミキシングタイプと意図されたスピーカ位置を示し、前記ミキシングタイプは前の処理段階において（ミキシングスタジオなどにおいて）オーディオコンテンツミックスされたアルゴリズムをシグナリングし、前記スピーカ位置は前の処理段階におけるスピーカの位置（ミキシングスタジオなどにおける理想的位置）または仮想的位置を示す。前記装置は、さらに、前記データ構造とチャンネルベースオーディオ情報を受け取った後に、ミキシング及びスピーカ位置情報を利用するプロセッサを有する。
一実施形態において、本発明は、ミキシング情報が、ＨＯＡコンテンツ、ＨＯＡ次数（ｏｒｄｅｒ）、及び以前ＨＯＡ３次元オーディオをチャンネルベース表現に変換するのに用いた理想的球面サンプリンググリッドに関する仮想的スピーカ位置情報をシグナリングする３次元オーディオシステムに関する。送信されたチャンネルベースオーディオ情報とそれに伴うサイド情報（ＳＩ）を受信／読み出しした後、ＳＩを用いてチャンネルベースオーディオをＨＯＡフォーマットに再エンコードする。前記再エンコーディングは、前記球面サンプリング位置とそれをチャンネルベースコンテンツ（ＤＳＨＴ）とかけるマトリクスからモードマトリクスΨを計算することにより行われる。
一実施形態において、上記システム／方法は、異なるＨＯＡフォーマットの不明確性を避けるために用いられる。プロダクション側における第１のＨＯＡフォーマットのＨＯＡ３次元オーディオコンテンツは、第１のフォーマットに関連しＳＩで配信されたｉＤＳＨＴを用いて、関連チャンネルベースの３次元オーディオ表現に変換される。受信されたチャンネルベースオーディオ情報は、ＳＩと第２のフォーマットに関連するＤＳＨＴとを用いて、第２のＨＯＡフォーマットに変換される。システムの一実施形態では、第１のＨＯＡフォーマットは複素数値のＨＯＡ表現を用い、第２のＨＯＡフォーマットは実数値のＨＯＡ表現を用いる。システムの一実施形態では、第１のＨＯＡフォーマットは複素数値のＨＯＡ表現を用い、第２のＨＯＡフォーマットは実数値のＨＯＡ表現を用いる。
一実施形態において、本発明は、ミキシング情報を用いて、レート圧縮、信号エンハンスメントまたはレンダリングにおいて用いた信号から有向３次元オーディオ成分を分離（オーディオオブジェクト抽出）する３次元オーディオシステムに関する。一実施形態では、さらに別のステップは、ＨＯＡ、ＨＯＡ次数（ｏｒｄｅｒ）、及びＨＯＡ３Ｄオーディオをチャンネルベース表現に変換するのに用いられた、関連する理想的球面サンプリンググリッドをシグナリングするステップと、ＨＯＡ表現を回復するステップと、ブロックベース共分散法の利用により主信号方向を決定することにより有向成分を抽出するステップとである。前記方向は、ＨＯＡが有向信号をこれらの方向にデコードする。一実施形態では、さらに別のステップは、Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ（ＶＢＡＰ）と関連スピーカ位置情報とをシグナリングする、スピーカ位置情報を用いてスピーカトリプレット（ｓｐｅａｋｅｒ ｔｒｉｐｌｅｔｓ）を決定し、共分散法を用いて前記トリプレットチャンネルから相関した信号を抽出する。３Ｄオーディオシステムの一実施形態では、有向信号と、信号抽出に関して記憶された信号（ＨＯＡ信号、ＶＢＡＰトリプレット（ペア））とから、残差信号を生成する。
一実施形態において、本発明は、ＨＯＡ残差信号の次数（ｏｒｄｅｒ）を低減して低減された次数の信号と有向信号を圧縮するステップと、残差のトリプレットチャンネルをモノストリームにミキシングして関連する相関情報を提供するステップと、前記情報と圧縮されたモノ信号とを、圧縮された有向信号とともに送信するステップとにより、残差信号のデータレート圧縮を実行するシステムに関する。
データレート圧縮を実行するシステムの一実施形態において、主信号方向とチャンネル領域の無相関残差信号とを用いて、抽出された有向信号をスピーカにパンニング（ｐａｎ）する、オーディオをスピーカにレンダリングするのに用いられる。
本発明により、概して、オーディオコンテンツミキシング特性のシグナル化が可能となる。本発明は、オーディオ装置で、具体的にはオーディオエンコーディング装置、オーディオミキシング装置、及びオーディオデコーディング装置で用いることができる。
留意点として、単純にＤＳＨＴとして示したが、当業者には言うまでもなく、ＤＳＨＴ以外の他のタイプの変換を構成または適用することもできる。これらはすべて本発明の精神と範囲内で想定されている。さらに、上記の説明において例としてＨＯＡフォーマットについて説明したが、本発明は、当業者には言うまでもなく、Ａｍｂｉｓｏｎｉｃｓ以外の他のタイプの音場関連フォーマットで用いることもでる。これらはすべて本発明の精神と範囲内で想定されている。
本発明の基本的かつ新規な特徴を好ましい実施形態に適用して図示し、説明し、指摘したが、言うまでもなく、本発明の精神から離れることなく、当業者は、説明した装置と方法における、開示した装置の形体や詳細事項、及びその動作の様々な省略、代替、変更を行うことができる。いうまでもなく、本発明を例示によって説明した。本発明の範囲から逸脱することなく細かい点で修正を加えることは可能である。同じ結果を達成する実質的に同じ方法で実質的に同じ機能を実行するこれらの要素のすべての組み合わせは、本発明の範囲内にある。説明した一実施形態から他の実施形態への要素の置き換えも、完全に想定の範囲内である。
参照文献
T. D. Abhayapala著「Generalized framework for spherical microphone arrays: Spatial and frequency decomposition」(In Proc. IEEE International Conference on Acoustics, Speech, 25 and Signal Processing (ICASSP), (accepted) Vol. X, pp., April 2008, Las Vegas, USA. James R. Driscoll及びDennis M. Healy Jr.著「Computing Fourier transforms and convolutions on the 2-sphere」(Advances in Applied Mathematics, 15:202-250, 1994)

Claims (15)

  1. オーディオデータをエンコードする方法であって、
    オーディオデータについて、少なくとも３つの異なるタイプのうちのタイプを検出するステップであって、前記少なくとも３つの異なるタイプは、第１のＨｉｇｈｅｒ−Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ（ＨＯＡ）フォーマットと、複数のマイクロホンの一セットアップを用いたマイクロホン録音と、パンニングによりミックスされたマルチチャンネルオーディオストリームとを含む、ステップと、
    前記オーディオデータが第１のＨＯＡフォーマットを有するとの判定に基づいて、逆Ｄｉｓｃｒｅｔｅ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｔｒａｎｓｆｏｒｍ（ｉＤＳＨＴ）に基づいて、第１のＨＯＡフォーマットのオーディオデータの係数を、第２のＨＯＡフォーマットの係数に変換するステップと、
    前記第２のＨＯＡフォーマットの前記係数と、少なくとも仮想的または実際のスピーカ位置に関するメタデータを示す補助データと、前記オーディオデータに関する情報とをエンコードするステップであって、前記情報は第１のＨＯＡフォーマットの詳細、複数のマイクロホンのセットアップ、及び前記パンニングの詳細のうち少なくとも一つの詳細を含む、ステップとを有する、
    方法。
  2. 前記オーディオデータと前記補助データの少なくとも一部とは、前記オーディオデータのオーディオプロダクション段階から得られ、得られた前記補助データの少なくとも一部は修正情報、編集情報及び合成情報のうち少なくとも一つを含む、請求項１に記載の方法。
  3. 前記オーディオプロダクション段階は録音、ミキシング、及びサウンド合成のうち少なくとも一つを実行するように構成されている、請求項２に記載の方法。
  4. 前記補助データは、オーディオコンテンツが、ＨＯＡコンテンツと、ＨＯＡコンテンツ表現のオーダー、２次元、３次元、または半球表現、及び空間的サンプリングポイントの位置のうち少なくとも一つとから得られたことを示す、
    請求項１ないし３いずれか一項に記載の方法。
  5. 前記補助データは、オーディオコンテンツが、ベクトルベースの振幅パンニング（ＶＢＡＰ）と、ラウドスピーカのＶＢＡＰタプルまたはトリプレットの割り当てとを用いて、合成的にミックスされたことを示す、
    請求項１ないし４いずれか一項に記載の方法。
  6. 前記補助データは、オーディオコンテンツが、固定された離散的マイクロホンで録音されたことと、録音セットの一以上のマイクロホンの一以上の位置と方向及び一以上のマイクロホンの種類のうち少なくとも一方とを示す、
    請求項１ないし５いずれか一項に記載の方法。
  7. エンコードされたオーディオデータをデコードする方法であって、
    エンコードされたオーディオデータを受け取るステップと、
    前記オーディオデータをデコードするステップであって、少なくとも仮想的または実際のラウドスピーカ位置に関するメタデータを決定するステップと、前記オーディオデータに関する情報と、複数のマイクロホンのセットアップに関する詳細を含むミキシング情報と、パンニングの詳細とをミキシングするステップとを含み、前記オーディオデータの係数は、前記オーディオデータが第１のＨＯＡフォーマットを有するとのインディケータに基づき、Ｄｉｓｃｒｅｔｅ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｔｒａｎｓｆｏｒｍ（ＤＳＨＴ）に基づき、第２のＨＯＡフォーマットから第１のＨＯＡフォーマットに変換される、ステップとを有する、
    方法。
  8. 前記メタデータは、ＨＯＡコンテンツ表現のオーダーと、２次元、３次元、または半球表現と、空間サンプリングポイントの位置とのうちの少なくとも一つに関する、請求項７に記載の方法。
  9. 前記メタデータは、オーディオコンテンツがＶＢＡＰと、スピーカのＶＢＡＰタプルまたはトリプレットの割り当てとに基づいてミックスされたことを示す、
    請求項７に記載の方法。
  10. 前記メタデータは、オーディオコンテンツが固定された離散的マイクロホンで録音されたことと、一以上のマイクロホンの一以上の少なくとも位置と方向、及びマイクロホンのタイプのうち少なくとも１つとを示す、
    請求項７に記載の方法。
  11. メタデータは任意的である、
    請求項１に記載の方法。
  12. オーディオデータをエンコードする装置であって、
    オーディオデータは少なくとも３つの異なるタイプのうちのタイプを有し、前記少なくとも３つの異なるタイプは、第１のＨｉｇｈｅｒ−Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ（ＨＯＡ）フォーマットと、複数のマイクロホンの一セットアップを用いたマイクロホン録音と、パンニングによりミックスされたマルチチャンネルオーディオストリームとを含み、
    前記装置は、
    オーディオデータが第１のＨＯＡフォーマットを有するとの判定に基づき、前記オーディオデータの係数を、第１のＨＯＡフォーマットから共通のＨＯＡフォーマットの係数に変換する逆Ｄｉｓｃｒｅｔｅ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｔｒａｎｓｆｏｒｍ（ｉＤＳＨＴ）ブロックと、
    前記オーディオデータが第１のＨＯＡフォーマットを有するとき、前記共通のＨＯＡフォーマットの前記係数をエンコードし、少なくとも仮想的または実際のスピーカ位置に関するメタデータと、オーディオデータに関するミキシング情報とを示す補助データをエンコードするエンコーダであって、前記ミキシング情報は第１のＨＯＡフォーマットの詳細、複数のマイクロホンのセットアップ、及び前記パンニングの詳細のうち少なくとも一つの詳細を含む、エンコーダとを有する、
    装置。
  13. エンコーダは、ＤＳＨＴブロックと、ＭＤＣＴブロックと、逆ＤＳＨＴを実行する第２の逆ＤＳＨＴブロックと、音源方向検出ブロックと、パラメータ計算ブロックとを有し、
    ＤＳＨＴブロックは、前記逆ＤＳＨＴブロックにより実行されるｉＤＳＨＴの逆であるＤＳＨＴを決定するように構成され、ＭＤＣＴブロックと、音源方向検出ブロックと、パラメータ計算ブロックとに出力を提供し、
    ＭＤＣＴブロックは、オーディオフレームセグメントの時間的オーバーラップを補償するように構成され、第２の逆ＤＳＨＴブロックに出力を提供し、
    音源方向検出ブロックは、ＤＳＨＴブロックの出力中の一以上の最強音源方向を検出するように構成され、パラメータ計算ブロックに出力を提供し、
    パラメータ計算ブロックは、回転パラメータを計算し、第２の逆ＤＳＨＴブロックに回転パラメータを提供するように構成され、回転パラメータは、第２の逆ＤＳＨＴブロックの逆ＤＳＨＴのサンプリンググリッドの空間的サンプル位置を、検出された一以上の最強音源方向の一つにマッピングする回転を確定し、
    第２の逆ＤＳＨＴブロックは、パラメータ計算ブロックから受け取った回転パラメータから適応的回転マトリクスを決定し、適応的逆ＤＳＨＴを決定するように構成され、適応的逆ＤＳＨＴは適応的回転マトリクスによる回転と逆ＤＳＨＴとを含む、
    請求項１２に記載の装置。
  14. エンコードされたオーディオデータをデコードする装置であって、
    エンコードされたオーディオデータがエンコード前に前処理されていると判断するアナライザと、
    前記オーディオデータをデコードする第１のデコーダであって、少なくとも仮想的または実際のラウドスピーカ位置に関するメタデータを決定し、前記オーディオデータに関する情報と、複数のマイクロホンのセットアップに関する詳細を含むミキシング情報と、パンニングの詳細とをミキシングし、前記オーディオデータの係数は、前記オーディオデータが第１のＨＯＡフォーマットを有するとのインディケータに基づき、Ｄｉｓｃｒｅｔｅ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ Ｔｒａｎｓｆｏｒｍ（ＤＳＨＴ）に基づき、第２のＨＯＡフォーマットから第１のＨＯＡフォーマットに変換される、第１のデコーダとを有する、
    装置。
  15. プロセッサに請求項１ないし１１いずれか一項に記載の方法を実行させるコンピュータプログラム。
JP2015522115A 2012-07-19 2013-07-19 マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置 Active JP6279569B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12290239 2012-07-19
EP12290239.8 2012-07-19
PCT/EP2013/065343 WO2014013070A1 (en) 2012-07-19 2013-07-19 Method and device for improving the rendering of multi-channel audio signals

Publications (3)

Publication Number Publication Date
JP2015527610A JP2015527610A (ja) 2015-09-17
JP2015527610A5 JP2015527610A5 (ja) 2016-08-18
JP6279569B2 true JP6279569B2 (ja) 2018-02-14

Family

ID=48874273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015522115A Active JP6279569B2 (ja) 2012-07-19 2013-07-19 マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置

Country Status (7)

Country Link
US (7) US9589571B2 (ja)
EP (1) EP2875511B1 (ja)
JP (1) JP6279569B2 (ja)
KR (5) KR20230137492A (ja)
CN (1) CN104471641B (ja)
TW (1) TWI590234B (ja)
WO (1) WO2014013070A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
KR20230137492A (ko) 2012-07-19 2023-10-04 돌비 인터네셔널 에이비 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US20140358565A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Compression of decomposed representations of a sound field
US20150127354A1 (en) * 2013-10-03 2015-05-07 Qualcomm Incorporated Near field compensation for decomposed representations of a sound field
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
EP3591649B8 (en) 2014-03-21 2022-06-08 Dolby International AB Method and apparatus for decompressing a compressed hoa signal
US10412522B2 (en) 2014-03-21 2019-09-10 Qualcomm Incorporated Inserting audio channels into descriptions of soundfields
CN117198304A (zh) 2014-03-21 2023-12-08 杜比国际公司 用于对压缩的hoa信号进行解码的方法、装置和存储介质
EP2922057A1 (en) * 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
CN109036441B (zh) * 2014-03-24 2023-06-06 杜比国际公司 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN106463124B (zh) * 2014-03-24 2021-03-30 三星电子株式会社 用于渲染声信号的方法和设备，以及计算机可读记录介质
US10674299B2 (en) 2014-04-11 2020-06-02 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium
US9847087B2 (en) * 2014-05-16 2017-12-19 Qualcomm Incorporated Higher order ambisonics signal compression
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
EP3162087B1 (en) * 2014-06-27 2021-03-17 Dolby International AB Coded hoa data frame representation that includes non-differential gain values associated with channel signals of specific ones of the data frames of an hoa data frame representation
WO2016018787A1 (en) 2014-07-31 2016-02-04 Dolby Laboratories Licensing Corporation Audio processing systems and methods
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
KR102105395B1 (ko) * 2015-01-19 2020-04-28 삼성전기주식회사 칩 전자부품 및 칩 전자부품의 실장 기판
US20160294484A1 (en) * 2015-03-31 2016-10-06 Qualcomm Technologies International, Ltd. Embedding codes in an audio signal
WO2017017262A1 (en) * 2015-07-30 2017-02-02 Dolby International Ab Method and apparatus for generating from an hoa signal representation a mezzanine hoa signal representation
EA034936B1 (ru) * 2015-08-25 2020-04-08 Долби Интернешнл Аб Кодирование и декодирование звука с использованием параметров преобразования представления
US9961475B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from object-based audio to HOA
US9961467B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from channel-based audio to HOA
CA3000905C (en) 2015-10-08 2024-01-09 Dolby International Ab Layered coding for compressed sound or sound field representations
US10249312B2 (en) 2015-10-08 2019-04-02 Qualcomm Incorporated Quantization of spatial vectors
US10070094B2 (en) * 2015-10-14 2018-09-04 Qualcomm Incorporated Screen related adaptation of higher order ambisonic (HOA) content
EP3378065B1 (en) 2015-11-17 2019-10-16 Dolby International AB Method and apparatus for converting a channel-based 3d audio signal to an hoa audio signal
EP3174316B1 (en) * 2015-11-27 2020-02-26 Nokia Technologies Oy Intelligent audio rendering
US9881628B2 (en) * 2016-01-05 2018-01-30 Qualcomm Incorporated Mixed domain coding of audio
CN106973073A (zh) * 2016-01-13 2017-07-21 杭州海康威视系统技术有限公司 多媒体数据的传输方法及设备
WO2017126895A1 (ko) * 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법
KR102640940B1 (ko) 2016-01-27 2024-02-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 음향 환경 시뮬레이션
WO2018001500A1 (en) * 2016-06-30 2018-01-04 Huawei Technologies Duesseldorf Gmbh Apparatuses and methods for encoding and decoding a multichannel audio signal
US10332530B2 (en) 2017-01-27 2019-06-25 Google Llc Coding of a soundfield representation
CN113242508B (zh) 2017-03-06 2022-12-06 杜比国际公司 基于音频数据流渲染音频输出的方法、解码器系统和介质
US10354667B2 (en) 2017-03-22 2019-07-16 Immersion Networks, Inc. System and method for processing audio data
JP7224302B2 (ja) 2017-05-09 2023-02-17 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル空間的オーディオ・フォーマット入力信号の処理
US20180338212A1 (en) * 2017-05-18 2018-11-22 Qualcomm Incorporated Layered intermediate compression for higher order ambisonic audio data
GB2563635A (en) * 2017-06-21 2018-12-26 Nokia Technologies Oy Recording and rendering audio signals
GB2566992A (en) 2017-09-29 2019-04-03 Nokia Technologies Oy Recording and rendering spatial audio signals
CN111316353B (zh) * 2017-11-10 2023-11-17 诺基亚技术有限公司 确定空间音频参数编码和相关联的解码
WO2019129350A1 (en) * 2017-12-28 2019-07-04 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
EP4336497A3 (en) * 2018-07-04 2024-03-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multisignal encoder, multisignal decoder, and related methods using signal whitening or signal post processing
WO2020115311A1 (en) * 2018-12-07 2020-06-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using low-order, mid-order and high-order components generators
CN113490980A (zh) * 2019-01-21 2021-10-08 弗劳恩霍夫应用研究促进协会 用于编码空间音频表示的装置和方法以及用于使用传输元数据来解码经编码的音频信号的装置和方法，以及相关的计算机程序
TWI719429B (zh) * 2019-03-19 2021-02-21 瑞昱半導體股份有限公司 音訊處理方法與音訊處理系統
GB2582748A (en) * 2019-03-27 2020-10-07 Nokia Technologies Oy Sound field related rendering
US20200402521A1 (en) * 2019-06-24 2020-12-24 Qualcomm Incorporated Performing psychoacoustic audio coding based on operating conditions
CN110751956B (zh) * 2019-09-17 2022-04-26 北京时代拓灵科技有限公司 一种沉浸式音频渲染方法及系统
KR102300177B1 (ko) * 2019-09-17 2021-09-08 난징 트월링 테크놀로지 컴퍼니 리미티드 몰입형 오디오 렌더링 방법 및 시스템
US11430451B2 (en) * 2019-09-26 2022-08-30 Apple Inc. Layered coding of audio with discrete objects
WO2022096376A2 (en) * 2020-11-03 2022-05-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio signal transformation
US11659330B2 (en) * 2021-04-13 2023-05-23 Spatialx Inc. Adaptive structured rendering of audio channels
EP4310839A4 (en) * 2021-05-21 2024-07-17 Samsung Electronics Co Ltd DEVICE AND METHOD FOR PROCESSING A MULTI-CHANNEL AUDIO SIGNAL
CN116830193A (zh) * 2023-04-11 2023-09-29 北京小米移动软件有限公司 音频码流信号处理方法、装置、电子设备和存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5131060Y2 (ja) 1971-10-27 1976-08-04
JPS5131246B2 (ja) 1971-11-15 1976-09-06
KR20010009258A (ko) 1999-07-08 2001-02-05 허진호 가상 멀티 채널 레코딩 시스템
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
FR2844894B1 (fr) * 2002-09-23 2004-12-17 Remy Henri Denis Bruno Procede et systeme de traitement d'une representation d'un champ acoustique
GB0306820D0 (en) 2003-03-25 2003-04-30 Ici Plc Polymerisation of ethylenically unsaturated monomers
MXPA06011396A (es) * 2004-04-05 2006-12-20 Koninkl Philips Electronics Nv Metodos de codificacion y decodificacion de senales estereofonicas y aparatos que utilizan los mismos.
US7624021B2 (en) * 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
KR100682904B1 (ko) * 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
WO2007027051A1 (en) 2005-08-30 2007-03-08 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8577483B2 (en) 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
US7788107B2 (en) 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
DE102006047197B3 (de) 2006-07-31 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten
ES2401487T3 (es) 2008-07-11 2013-04-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para la codificación/decodificación de una señal de audio utilizando un esquema de conmutación de generación de señal ajena
ES2425814T3 (es) * 2008-08-13 2013-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para determinar una señal de audio espacial convertida
EP2205007B1 (en) * 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
GB2478834B (en) * 2009-02-04 2012-03-07 Richard Furse Sound system
US9351070B2 (en) 2009-06-30 2016-05-24 Nokia Technologies Oy Positional disambiguation in spatial audio
EP2346028A1 (en) * 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
US9271081B2 (en) * 2010-08-27 2016-02-23 Sonicemotion Ag Method and device for enhanced sound field reproduction of spatially encoded audio input signals
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
FR2969804A1 (fr) 2010-12-23 2012-06-29 France Telecom Filtrage perfectionne dans le domaine transforme.
WO2012125855A1 (en) * 2011-03-16 2012-09-20 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
TWI543642B (zh) * 2011-07-01 2016-07-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
EP2848009B1 (en) * 2012-05-07 2020-12-02 Dolby International AB Method and apparatus for layout and format independent 3d audio reproduction
US9288603B2 (en) * 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9190065B2 (en) * 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
EP2688066A1 (en) 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
KR20230137492A (ko) 2012-07-19 2023-10-04 돌비 인터네셔널 에이비 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스

Also Published As

Publication number Publication date
CN104471641B (zh) 2017-09-12
KR102131810B1 (ko) 2020-07-08
KR20220113842A (ko) 2022-08-16
KR20230137492A (ko) 2023-10-04
US20240127831A1 (en) 2024-04-18
JP2015527610A (ja) 2015-09-17
KR20200084918A (ko) 2020-07-13
US20220020382A1 (en) 2022-01-20
US11798568B2 (en) 2023-10-24
KR20150032718A (ko) 2015-03-27
KR20210006011A (ko) 2021-01-15
US9984694B2 (en) 2018-05-29
KR102429953B1 (ko) 2022-08-08
CN104471641A (zh) 2015-03-25
US11081117B2 (en) 2021-08-03
KR102581878B1 (ko) 2023-09-25
TWI590234B (zh) 2017-07-01
US9589571B2 (en) 2017-03-07
US10460737B2 (en) 2019-10-29
US20180247656A1 (en) 2018-08-30
TW201411604A (zh) 2014-03-16
WO2014013070A1 (en) 2014-01-23
US20200020344A1 (en) 2020-01-16
US20170140764A1 (en) 2017-05-18
EP2875511B1 (en) 2018-02-21
US20150154965A1 (en) 2015-06-04
KR102201713B1 (ko) 2021-01-12
US20190259396A1 (en) 2019-08-22
EP2875511A1 (en) 2015-05-27
US10381013B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
JP6279569B2 (ja) マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置
US9516446B2 (en) Scalable downmix design for object-based surround codec with cluster analysis by synthesis
EP1989920B1 (en) Audio encoding and decoding
US8817991B2 (en) Advanced encoding of multi-channel digital audio signals
JP2022509440A (ja) 空間オーディオパラメータの符号化及び対応する復号の決定
WO2019029724A1 (zh) 时域立体声编解码方法和相关产品
JP7453997B2 (ja) ＤｉｒＡＣベースの空間オーディオ符号化のためのパケット損失隠蔽
TW202230334A (zh) 使用參數轉換處理編碼音頻場景的裝置、方法或電腦程式
RU2807473C2 (ru) Маскировка потерь пакетов для пространственного кодирования аудиоданных на основе dirac
WO2024132968A1 (en) Method and decoder for stereo decoding with a neural network model
TW202219942A (zh) 使用頻寬擴展處理編碼音頻場景的裝置、方法或電腦程式
TW202230335A (zh) 使用參數平滑處理編碼音頻場景的裝置、方法或電腦程式
CN116508098A (zh) 量化空间音频参数
CN113678199A (zh) 空间音频参数的重要性的确定及相关联的编码

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160629

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180117

R150 Certificate of patent or registration of utility model

Ref document number: 6279569

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250