JP5232789B2 - オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法並びにその装置 - Google Patents

オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法並びにその装置 Download PDF

Info

Publication number
JP5232789B2
JP5232789B2 JP2009530278A JP2009530278A JP5232789B2 JP 5232789 B2 JP5232789 B2 JP 5232789B2 JP 2009530278 A JP2009530278 A JP 2009530278A JP 2009530278 A JP2009530278 A JP 2009530278A JP 5232789 B2 JP5232789 B2 JP 5232789B2
Authority
JP
Japan
Prior art keywords
signal
information
channel
downmix
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009530278A
Other languages
English (en)
Other versions
JP2010505140A (ja
Inventor
ヨン ユーン，スン
スク パン，ヒー
クーク リー，ヒュン
スー キム，ドン
ヒュン リム，ジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2010505140A publication Critical patent/JP2010505140A/ja
Application granted granted Critical
Publication of JP5232789B2 publication Critical patent/JP5232789B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、各オブジェクトオーディオ信号に対して所定の位置に音像（ｓｏｕｎｄ ｉｍａｇｅ）が位置できるようにしたオーディオエンコーディング方法及び装置並びにオーディオデコーディング方法及び装置に関する。
一般に、マルチチャネルオーディオエンコーディング（ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｅｎｃｏｄｉｎｇ）及びデコーディング（ｄｅｃｏｄｉｎｇ）技術において、マルチチャネル信号の多チャネル信号は、より少ない数のチャネル信号にダウンミックス（ｄｏｗｎｍｉｘ）され、元のチャネル信号（ｏｒｉｇｉｎａｌ ｃｈａｎｎｅｌ ｓｉｇｎａｌ）に関する付加情報（ｓｉｄｅ ｉｎｆｏｒｍａｔｉｏｎ）が転送され、元のマルチチャネル信号と同じ程度の多チャネルを持つマルチチャネル信号に復元される。
オブジェクトベースオーディオエンコーディング及びデコーディング技術は、数個の音源（ｓｏｕｎｄ ｓｏｕｒｃｅ）をより少ない数の音源信号にダウンミックスし、元の音源に関する付加情報を転送する点で、マルチチャネルオーディオエンコーディング及びデコーディング技術と基本的に同様である。しかし、オブジェクトベースオーディオエンコーディング及びデコーディング技術において、チャネル信号の基本的な成分（例えば、楽器または人の声）であるオブジェクト信号は、マルチチャネルオーディオエンコーディング及びデコーディング技術のチャネル信号と同一に取り扱われてコーディングされることができる。
すなわち、オブジェクトベースオーディオエンコーディング及びデコーディング技術では、各オブジェクト信号はコーディングされる個体と見なされる。これと関連して、マルチチャネルオーディオコーディング動作が、コーディングされるチャネル信号の成分の数によらずチャネル間情報（ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｉｎｆｏｒｍａｔｉｏｎ）に基づいて簡単に実行されるという点で、オブジェクトベースオーディオエンコーディング及びデコーディング技術はマルチチャネルオーディオエンコーディング及びデコーディング技術と異なる。
本発明の目的は、各オブジェクトオーディオ信号に対して所定の位置に音像が位置することができるようにオーディオ信号がエンコーディングされたりデコーディングされるオーディオエンコーディング方法及び装置並びにオーディオデコーディング方法及び装置を提供することにある。
本発明の一態様によれば、第１オーディオ信号から抽出された第１ダウンミックス信号と第２オーディオ信号から抽出された第２ダウンミックス信号とを結合することによって第３ダウンミックス信号を生成する段階と、第１オーディオ信号から抽出された第１オブジェクトベース付加情報と第２オーディオ信号から抽出された第２オブジェクトベース付加情報とを結合することによって第３オブジェクトベース付加情報を生成する段階と、前記第３オブジェクトベース付加情報をチャネルベース付加情報に変換する段階と、前記第３ダウンミックス信号及び前記チャネルベース付加情報を用いてマルチチャネルオーディオ信号を生成する段階と、を含むオーディオデコーディング方法が提供される。
本発明の他の態様によれば、第１オーディオ信号から抽出された第１ダウンミックス信号と第２オーディオ信号から抽出された第２ダウンミックス信号とを結合することによって第３ダウンミックス信号を生成し、第１オーディオ信号から抽出された第１オブジェクトベース付加情報と第２オーディオ信号から抽出された第２オブジェクトベース付加情報とを結合することによって第３オブジェクトベース付加情報を生成する多点制御部コンバイナ（ｍｕｌｔｉ−ｐｏｉｎｔ ｃｏｎｔｒｏｌ ｕｎｉｔ ｃｏｍｂｉｎｅｒ）と、前記第３オブジェクトベース付加情報をチャネルベース付加情報に変換するトランスコーディング部（ｔｒａｎｓｃｏｄｅｒ）と、前記第３ダウンミックス信号及び前記チャネルベース付加情報を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部（ｄｅｃｏｄｅｒ）と、を含むオーディオデコーディング装置が提供される。
本発明のさらに他の態様によれば、第１オーディオ信号から抽出された第１ダウンミックス信号と第２オーディオ信号から抽出された第２ダウンミックス信号とを結合することによって第３ダウンミックス信号を生成する段階と、前記第１オーディオ信号から抽出された第１オブジェクトベース付加情報と前記第２オーディオ信号から抽出された第２オブジェクトベース付加情報とを結合することによって第３オブジェクトベース付加情報を生成する段階と、前記第３オブジェクトベース付加情報をチャネルベース付加情報に変換する段階と、前記第３ダウンミックス信号及び前記チャネルベース付加情報を用いてマルチチャネルオーディオ信号を生成する段階と、を含むオーディオデコーディング方法を記録した、コンピュータが読取りできる記録媒体（ｒｅｃｏｒｄｉｎｇ ｍｅｄｉｕｍ）が提供される。
各オブジェクトオーディオ信号に対して所定の位置に音像が位置できるようにオーディオ信号がエンコーディングされたりデコーディングされることができるオーディオエンコーディング方法及び装置並びにオーディオデコーディング方法及び装置を提供することが可能になる。
一般的なオブジェクトベースオーディオエンコーディング／デコーディングシステムを示すブロック図である。 本発明の第１実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第２実施例によるオーディオデコーディング装置を示すブロック図である。 互いに独立した振幅差及び時間差の音像の定位（ｌｏｃａｌｉｚａｔｉｏｎ）への影響を説明する図である。 あらかじめ定められた位置に音像を位置させるのに要求される振幅差及び時間差間の対応（ｃｏｒｒｅｓｐｏｎｄａｎｃｅ）に関する関数を示す図である。 調和情報を含む制御情報のフォーマットを示す図である。 本発明の第３実施例によるオーディオデコーディング装置を示すブロック図である。 図７に示すオーディオデコーディング装置に用いられうるアーティスティックダウンミックスゲイン（ＡＤＧ：ａｒｔｉｓｔｉｃ ｄｏｗｎｍｉｘ ｇａｉｎ）を示すブロック図である。 本発明の第４実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第５実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第６実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第７実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第８実施例によるオーディオデコーディング装置を示すブロック図である。 図１３に示すオーディオデコーディング装置によるフレームへの３次元（３Ｄ）情報の適用を説明するための図である。 本発明の第９実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第１０実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の一実施例によるオーディオデコーディング方法を説明する図である。 本発明の一実施例によるオーディオデコーディング方法を説明する図である。 本発明の一実施例によるオーディオデコーディング方法を説明する図である。 本発明の一実施例によるオーディオエンコーディング装置を示すブロック図である。
以下、添付の図面を参照しつつ本発明の例示的な実施例を用いて本発明を詳細に開示する。
本発明によるオーディオエンコーディング方法及び装置並びにオーディオデコーディング方法及び装置は、オブジェクトベースオーディオ処理動作に適用することができるが、本発明がこれに限定されるわけではない。言い換えると、本発明によるオーディオエンコーディング方法及び装置及びオーディオデコーディング方法及び装置は、オブジェクトベースオーディオ処理動作の他、数多くの信号処理動作に適用することもできる。
図１は、一般のオブジェクトベースオーディオエンコーディング／デコーディングシステムを示すブロック図である。一般に、オブジェクトベースオーディオエンコーディング装置に入力されたオーディオ信号は、マルチチャネル信号のチャネルと一致しないが、独立したオブジェクト信号である。この点で、オブジェクトベースオーディオエンコーディング装置は、マルチチャネル信号のチャネル信号が入力されるマルチチャネルオーディオエンコーディング装置と区別される。
例えば、５．１チャネル信号のフロントレフト（ｆｒｏｎｔ ｌｅｆｔ）チャネル信号及びフロントライト（ｆｒｏｎｔ ｒｉｇｈｔ）チャネル信号のようなチャネル信号はマルチチャネルオーディオ信号に入力されることができるのに対し、チャネル信号よりも小さい個体（ｅｎｔｉｔｙ）である人の声または楽器の音（バイオリンまたはピアノの音）のようなオブジェクトオーディオ信号は、オブジェクトベースオーディオエンコーディング装置に入力されることができる。
図１を参照すると、オブジェクトベースオーディオエンコーディング／デコーディングシステムは、オブジェクトベースオーディオエンコーディング装置及びオブジェクトベースオーディオデコーディング装置を含む。オブジェクトベースオーディオエンコーディング装置は、オブジェクトエンコーディング部１００を含み、オブジェクトベースオーディオデコーディング装置は、オブジェクトデコーディング部１１１及びレンダリング部（ｒｅｎｄｅｒｅｒ）１１３を含む。
オブジェクトエンコーディング部１００は、Ｎ個のオブジェクトオーディオ信号を受信し、エネルギー差、位相差及び相関値（ｃｏｒｒｅｌａｔｉｏｎ ｖａｌｕｅ）のようなＮ個のオブジェクトオーディオ信号から抽出された多数の情報を含む付加情報及び一つ以上のチャネルを持つオブジェクトベースダウンミックス信号を生成する。付加情報及びオブジェクトベースダウンミックス信号は一つのビットストリームに統合され、このビットストリームはオブジェクトベースデコーディング装置に転送される。
付加情報は、チャネルベースオーディオコーディングを実行するか或いはオブジェクトベースオーディオコーディングを実行するかを表すフラッグを含むことができ、この付加情報のフラッグに基づいてオブジェクトベースオーディオコーディングを実行するかチャネルベースオーディオコーディングを実行するかが決定されることができる。この付加情報は、オブジェクト信号に関するエンベロープ情報（ｅｎｖｅｌｏｐｅ ｉｎｆｏｒｍａｔｉｏｎ）、グルーピング情報（ｇｒｏｕｐｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）、無音期間情報（ｓｉｌｅｎｔ ｐｅｒｉｏｄ ｉｎｆｏｒｍａｔｉｏｎ）及び遅延情報（ｄｅｌａｙ ｉｎｆｏｒｍａｔｉｏｎ）も含むことができる。付加情報は、オブジェクトレベル差情報（ｏｂｊｅｃｔ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅｓ ｉｎｆｏｒｍａｔｉｏｎ）、オブジェクト間相互相関情報（ｉｎｔｅｒ−ｏｂｊｅｃｔ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）、ダウンミックス利得情報、ダウンミックスチャネルレベル差情報及び絶対的オブジェクトエネルギー情報を含むことができる。
オブジェクトデコーディング部１１１は、オブジェクトベースオーディオエンコーディング装置から付加情報及びオブジェクトベースダウンミックス信号を受信し、オブジェクトベースダウンミックス信号及び付加情報に基づいてＮ個のオブジェクトオーディオ信号の特性と同一の特性を持つオブジェクト信号を復元する。オブジェクトデコーディング部１１１により生成されたオブジェクト信号は、マルチチャネル空間内の所定の位置にまだ割り当てられていない。したがって、レンダリング部１１３は、オブジェクトデコーディング部１１１により生成されたオブジェクト信号のそれぞれを、マルチチャネル空間内のあらかじめ定められた位置に割り当て、オブジェクト信号のレベルを決定し、これにより、レンダリング部１１３により指定されたそれぞれの対応する位置からオブジェクト信号がレンダリング部１１３により決定されたそれぞれの対応するレベルで再生されるようにする。オブジェクトデコーディング部１１１により生成されたオブジェクト信号のそれぞれに関する制御情報は、オーバータイム（ｏｖｅｒ ｔｉｍｅ）を変えることができるので、オブジェクトデコーディング部１１１により生成されたオブジェクト信号のレベル及び空間位置は制御情報によって変わることができる。
図２は、本発明の第１実施例によるオーディオデコーディング装置１２０を示すブロック図である。図２を参照すると、オーディオデコーディング装置１２０は、オブジェクトデコーディング部１２１、レンダリング部１２３及びパラメータコンバーティング部１２５を含む。オーディオデコーディング装置１２０は、入力されたビットストリームからの付加情報及びダウンミックス信号を抽出するデマルチプレクサ（ｄｅｍｕｌｔｉｐｌｅｘｅｒ）（図示せず）を含んでも良く、これは、本発明の他の実施例によるオーディオデコーディング装置のいずれにも適用されることができる。
オブジェクトデコーディング部１２１は、パラメータコンバーティング部１２５により提供された修正された（ｍｏｄｉｆｉｅｄ）付加情報及びダウンミックス信号に基づいて多くのオブジェクト信号を生成する。レンダリング部１２３は、マルチチャネル空間内のあらかじめ定められた位置に、オブジェクトデコーディング部１２１により生成されたオブジェクト信号のそれぞれを割り当て、制御情報によってオブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルを決定する。パラメータコンバーティング部１２５は、付加情報と制御情報とを結合させることによって修正された付加情報を生成する。続いて、パラメータコンバーティング部１２５は、修正された付加情報をオブジェクトデコーディング部１２１に転送する。
オブジェクトデコーディング部１２１は、修正された付加情報中の制御情報を分析することによって適切なデコーディングを実行することができる。
例えば、第１オブジェクト信号及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ且つ同一レベルを持つということを制御情報が示すと、一般のオーディオデコーディング装置は、第１及び第２オブジェクト信号を個別にデコーディングでき、続いてミキシング／レンダリング動作を通じてマルチチャネル空間内にそれらを配置することができる。
これに対し、オーディオデコーディング装置１２０のオブジェクトデコーディング部１２１は、修正された付加情報中の制御情報から、第１及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ、これらが一つの音源のように同一レベルを持つということがわかる。したがって、オブジェクトデコーディング部１２１は、第１及び第２オブジェクト信号を個別にデコーディングせずに、一つの音源として取扱ってデコーディングする。その結果、デコーディングの複雑度は減少する。しかも、処理されるべき音源数の減少によって、ミキシング／レンダリングの複雑度も減少する。
複数のオブジェクト信号が同一空間位置に割り当てられることは殆どないので、オーディオデコーディング装置１２０は、オブジェクト信号の数が出力チャネルの数よりも多い状況で有効に用いられることができる。
また、オーディオデコーディング装置１２０は、第１オブジェクト信号及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられるが、異なるレベルを持つ状況で用いられることができる。この場合、オーディオデコーディング装置１２０は、第１及び第２オブジェクト信号を個別にデコーディングし、デコーディングされた第１及び第２オブジェクト信号をレンダリング部１２３に転送する代わりに、第１及び第２オブジェクト信号を一つとして取扱って第１及び第２オブジェクト信号をデコーディングする。より詳細には、オブジェクトデコーディング部１２１は、修正された付加情報中の制御情報から第１及び第２オブジェクト信号のレベル間の差に関する情報を獲得でき、獲得された情報に基づいて第１及び第２オブジェクト信号をデコーディングすることができる。その結果、第１及び第２オブジェクト信号が異なるレベルを持つ場合であっても、第１及び第２オブジェクト信号は一つの音源のようにデコーディングされることができる。
また、オブジェクトデコーディング部１２１は、制御情報によってオブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルを調節できる。続いて、オブジェクトデコーディング部１２１は、レベルの調節されたオブジェクト信号をデコーディングすることができる。したがって、レンダリング部１２３は、オブジェクトデコーディング部１２１から供給されたデコーディングされたオブジェクト信号のレベルを調節する必要はなく、単に、オブジェクトデコーディング部１２１から供給されたデコーディングされたオブジェクト信号をマルチチャネル空間内に配置する。要するに、オブジェクトデコーディング部１２１が制御情報によってオブジェクトデコーディング部１２１で生成されたオブジェクト信号のレベルを調節するので、オブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルをさらに調節する必要無しに、レンダリング部１２３は、オブジェクトデコーディング部１２１により生成されたオブジェクト信号をマルチチャネル空間内に容易に配置することができる。したがって、ミキシング／レンダリングの複雑度を減少させることが可能になる。
図２の実施例によれば、オーディオデコーディング装置１２０のオブジェクトデコーディング部は、制御情報の分析を通じてデコーディング動作を適切に実行することによって、デコーディングの複雑度及びミキシング／レンダリングの複雑度を減少させることができる。オーディオデコーディング装置１２０により実行された上記の方法の組合せが用いられることができる。
図３は、本発明の第２実施例によるオーディオデコーディング装置１３０を示すブロック図である。図３を参照すると、オーディオデコーディング装置１３０は、オブジェクトデコーディング部１３１及びレンダリング部１３３を含む。オーディオデコーディング装置１３０は、付加情報をオブジェクトデコーディング部１３１だけでなくレンダリング部１３３にも供給するという特徴を有する。
オーディオデコーディング装置１３０は、無音期間に相応するオブジェクト信号がある場合にもデコーディング動作を效果的に実行することができる。例えば、第２から第４オブジェクト信号は、楽器が演奏される間の音楽演奏期間に対応することができ、第１オブジェクト信号は伴奏が演奏される間の無音期間に対応することができる。この場合、複数のオブジェクト信号のいずれかが無音期間に対応するかを表す情報が付加情報に含まれることができ、この付加情報は、オブジェクトデコーディング部１３１だけでなくレンダリング部１３３にも供給されることができる。
オブジェクトデコーディング部１３１は、無音期間に対応するオブジェクト信号をデコーディングしないことによってデコーディングの複雑度を最小化することができる。オブジェクトデコーディング部１３１は、０値に対応するオブジェクト信号を設定し、このオブジェクト信号のレベルをレンダリング部１３３に転送する。通常、０値を持つオブジェクト信号は０でない値を持つオブジェクト信号と同一に取り扱われてミキシング／レンダリング動作が行なわれることがある。
これに対し、オーディオデコーディング装置１３０は、複数のオブジェクト信号のいずれかが無音期間に相応するかを表す情報を含む付加情報をレンダリング部１３３に転送するから、無音期間に対応するオブジェクト信号がレンダリング部１３３でミキシング／レンダリングされるのを防ぐことができる。したがって、オーディオデコーディング装置１３０は、ミキシング／レンダリングの余分な複雑度の増加を防止することができる。
レンダリング部１３３は、ステレオ場面（ｓｔｅｒｅｏ ｓｃｅｎｅ）に各オブジェクト信号の音像を位置させる目的で、制御情報中に含まれたミキシングパラメータ情報を用いることができる。ミキシングパラメータ情報は、振幅情報のみを含んだり、振幅情報と時間情報を両方とも含むことができる。ミキシングパラメータ情報は、ステレオ音像の定位の他に、利用者による空間音質の心理音響認知にも影響を及ぼすことができる。
例えば、時間パンニング方法（ｔｉｍｅ ｐａｎｎｉｎｇ ｍｅｔｈｏｄ）及び振幅パンニング方法（ａｍｐｌｉｔｕｄｅ ｐａｎｎｉｎｇ ｍｅｔｈｏｄ）のそれぞれを用いて生成され、２−チャネルステレオスピーカーを用いて同一位置に再生された二つの音像を比較すると、振幅パンニング方法が音像の正確な定位に寄与し、時間パンニング方法が空間の深い感じを持つ自然的な音を提供することが見分けられる。したがって、マルチチャネル空間にオブジェクト信号を配置する上でレンダリング部１３３が振幅パンニング方法のみを利用するとすれば、レンダリング部１３３は、各音像を正確に配置することはできるが、時間パンニング方法を利用する場合のように音の奥深い感じを提供することはできない。利用者は、音源の種類によって音像の正確な定位よりも音の奥深い感じを好む場合もあり、その反対の場合もある。
図４（ａ）及び図４（ｂ）では、２−チャネルステレオスピーカーで信号の再生を実行する際に、音像の定位上の時間差及び強度（振幅差）の影響を説明する。図４（ａ）及び図４（ｂ）を参照すると、音像は互いに独立した振幅差及び時間差によってあらかじめ定められた角度に位置することができる。例えば、約８ｄＢの振幅差、または約８ｄＢの振幅差と等価である約０.５ｍｓの時間差は、２０゜の角度に音像を位置させるために用いられることができる。したがって、振幅差のみがミキシングパラメータ情報として提供される場合であっても、音像の定位の間に、振幅差を該振幅差と等価である時間差に変換することによって、異なる特性を持つ様々な音を得ることが可能である。
図５は、１０゜、２０゜及び３０゜の角度に音像を位置させるのに必要な振幅差と時間差間の対応に関する関数を示す。図５に示す関数は、図４（ａ）及び図４（ｂ）に基づいて得られることができる。図５を参照すると、様々な振幅差−時間差の組合せが、あらかじめ定められた位置に音像を位置させるために提供されることができる。例えば、２０゜の角度に音像を位置させるために８ｄＢの振幅差がミキシングパラメータ情報として提供されると仮定する。図５に示す関数によって、また３ｄＢの振幅差と０．３ｍｓの時間差の組合せを用いて音像は２０゜の角度に位置することができる。この場合、振幅差情報だけでなく時間差情報がミキシングパラメータ情報として提供されることができ、これによって空間の感じ（ｆｅｅｌｉｎｇ ｏｆ ｓｐａｃｅ）を向上させることができる。
したがって、ミキシング／レンダリング動作の間に利用者の所望する特性を持つ音を生成すべく、ミキシングパラメータ情報は、振幅パンニングと時間パンニングのうち、利用者に適しているいずれかが実行されうるように適切に変換されることができる。すなわち、ミキシングパラメータ情報が振幅差情報のみを含み、利用者が空間の奥深い感じを持つ音を希望する場合では、振幅差情報は心理音響的データを参照して振幅差情報と等価である時間差情報に変換されることができる。また、利用者が空間の奥深い感じを持つ音及び音像の正確な定位を希望する場合では、振幅差情報を、元来の振幅情報と等価である時間差情報と振幅差情報の組合せに変換することができる。
また、ミキシングパラメータ情報が時間差情報のみを含み、利用者が音像の正確な定位を好む場合では、時間差情報を、時間差情報と等価である振幅差情報に変換したり、音像定位の正確性及び空間の感じを両方とも向上させることによって利用者の好みを満足させることのできる振幅差情報と時間差情報との組合せに変換することができる。
また、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が音像の正確な定位を好む場合では、振幅差情報と時間差情報との組合せを、元来の振幅差情報と時間差情報との組合せと等価である振幅差情報に変換することができる。一方、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が空間感の向上を好む場合では、振幅差情報と時間差情報との組合せを、振幅差情報と元来の時間差情報との組合せと等価である時間差情報に変換することができる。
図６において、制御情報は、一つ以上のオブジェクト信号に関する調和情報及びミキシング／レンダリング情報を含むことができる。調和情報は、ピッチ（ｐｉｔｃｈ）情報、基本周波数情報、一つ以上のオブジェクト信号に関する優勢周波数バンド情報、及びオブジェクト信号のそれぞれの各サブバンドのエネルギー及びスペクトラムの説明のうち少なくとも一つを含むことができる。
サブバンド部でのレンダリング動作を実行するレンダリング部の解像度が充分でないから、調和情報をレンダリング動作中にオブジェクト信号を処理するのに用いることができる。
調和情報が一つ以上のオブジェクト信号に関するピッチ情報を含む場合では、オブジェクト信号のそれぞれの利得は、コムフィルター（ｃｏｍｂ ｆｉｌｔｅｒ）または逆コムフィルター（ｉｎｖｅｒｓｅ ｃｏｍｂ ｆｉｌｔｅｒ）を用いてあらかじめ定められた周波数ドメインを弱化させたり強化させたりすることによって調節されることができる。例えば、複数のオブジェクト信号の一つが音声信号（ｖｏｃａｌ ｓｉｇｎａｌ）であれば、オブジェクト信号を、音声信号のみを弱化させることによってカラオケとして用いることができる。また、調和情報が一つ以上のオブジェクト信号に関する優勢周波数ドメイン情報を含む場合では、優勢周波数ドメインを弱化させたり強化させる処理を実行することができる。また、調和情報が一つ以上のオブジェクト信号に関するスペクトラム情報を含む場合では、オブジェクト信号のそれぞれの利得をサブバンド境界によって制限されずに弱化または強化を実行することによって制御することができる。
図７は、本発明の第３実施例によるオーディオデコーディング装置１４０を示すブロック図である。図７を参照すると、オーディオデコーディング装置１４０は、オブジェクトデコーディング部及びレンダリング部の代わりに、マルチチャネルデコーディング部１４１を採用し、オブジェクト信号がマルチチャネル空間内に適当に配置された後に複数のオブジェクト信号をデコーディングする。
より詳細には、オーディオデコーディング装置１４０は、マルチチャネルデコーディング部１４１及びパラメータコンバーティング部１４５を含む。マルチチャネルデコーディング部１４１は、パラメータコンバーティング部１４５より提供されたチャネルベース付加情報である空間パラメータ情報及びダウンミックス信号に基づいて、マルチチャネル空間内にそのオブジェクト信号が既に配置されたマルチチャネル信号を生成する。パラメータコンバーティング部１４５は、オーディオエンコーディング装置（図示せず）より転送された制御情報及び付加情報を分析し、分析結果に基づく空間パラメータ情報を生成する。より詳細には、パラメータコンバーティング部１４５は、プレイバック構成情報（ｐｌａｙｂａｃｋ ｓｅｔｕｐ ｉｎｆｏｒｍａｔｉｏｎ）及びミキシング情報を含む制御情報と付加情報とを結合させることによって空間パラメータ情報を生成する。すなわち、パラメータコンバーティング部１４５は、付加情報と制御情報との組合せをＯＴＴ（Ｏｎｅ−Ｔｏ−Ｔｗｏ ｂｏｘ）またはＴＴＴ（Ｔｗｏ−Ｔｏ−Ｔｈｒｅｅ ｂｏｘ）に対応する空間データへの変換を実行する。
オーディオデコーディング装置１４０は、オブジェクトベースデコーディング動作及びミキシング／レンダリング動作が統合されるようにマルチチャネルデコーディングを実行でき、各オブジェクト信号のデコーディングをスキップ（ｓｋｉｐ）することができる。したがって、デコーディング及び／またはミキシング／レンダリングの複雑度を減少させることが可能になる。
例えば、１０個のオブジェクト信号が存在し、１０個のオブジェクト信号に基づいて獲得されたマルチチャネル信号が５．１チャネルスピーカー再生システムにより再生される場合、一般のオブジェクトベースオーディオデコーディング装置は、ダウンミックス信号及び付加情報に基づく１０個のオブジェクト信号に対応してデコーディングされた信号を個別に生成し、続いて、それらオブジェクト信号が５．１チャネルスピーカー環境に適合するようにマルチチャネル空間内に１０個のオブジェクト信号を適切に配置することによって５．１チャネル信号を生成する。しかし、５．１チャネル信号の生成の際に１０個のオブジェクト信号を生成するということは非効率的であり、この問題は、生成されたマルチチャネル信号のチャネル数とオブジェクト信号数との差が増加するほどより深刻化する。
これに対し、図７の実施例によれば、オーディオデコーディング装置１４０は、付加情報及び制御情報に基づいて５．１チャネル信号に適合した空間パラメータ情報を生成し、空間パラメータ情報及びダウンミックス信号をマルチチャネルデコーディング部１４１に供給する。続いて、マルチチャネルデコーディング部１４１は、空間パラメータ情報及びダウンミックス信号に基づいて５．１チャネル信号を生成する。言い換えると、出力されるチャネルの数が５．１チャネルである場合、オーディオデコーディング装置１４０は、１０個のオブジェクト信号を生成せずに、ダウンミックス信号に基づいて５．１チャネル信号を迅速に生成でき、よって、複雑度において一般のオーディオデコーディング装置に比べてより効果的となる。
オーディオエンコーディング装置より転送された制御情報及び付加情報の分析を通じて、ＯＴＴ ｂｏｘ及びＴＴＴ ｂｏｘそれぞれに対応する空間パラメータ情報を計算するのに必要な計算量が、各オブジェクト信号のデコーディング後にミキシング／レンダリング動作を実行するのに必要な計算量よりも少ない場合に、オーディオデコーディング装置１４０は効率的なものと見なされる。
オーディオデコーディング装置１４０は、付加情報及び制御情報の分析を通じて空間パラメータ情報を生成するためのモジュールを、一般のマルチチャネルオーディオデコーディング装置に加えることによって簡単に得られることができ、したがって、一般のマルチチャネルオーディオデコーディング装置と互換性を維持することができる。また、エンベロープシェイパ（ｅｎｖｅｌｏｐｅ ｓｈａｐｅｒ）、サブバンド時間処理（ＳＴＰ；ｓｕｂ−ｂａｎｄ ｔｅｍｐｏｒａｌ ｐｒｏｃｅｓｓｉｎｇ）ツール及びデコリレータ（ｄｅｃｏｒｒｅｌａｔｏｒ）のような一般のマルチチャネルオーディオデコーディング装置の現存するツールを用いて、オーディオデコーディング装置１４０は音質を向上させることができる。与えられたこれら全てから、一般のマルチチャネルオーディオデコーディング方法の全て利点は、オブジェクトオーディオデコーディング方法に容易に適用されることができるという結論に導かれる。
パラメータコンバーティング部１４５よりマルチチャネルデコーディング部１４１に転送された空間パラメータ情報は、転送されるのに適合するように圧縮されることができる。また、空間パラメータ情報は、一般のマルチチャネルエンコーディング装置より転送されたデータのフォーマットと同一のフォーマットを持つことができる。すなわち、空間パラメータ情報は、ハフマンデコーディング動作（Ｈｕｆｆｍａｎ ｄｅｃｏｄｉｎｇ ｏｐｅｒａｔｉｏｎ）またはパイロットデコーディング動作（ｐｉｌｏｔ ｄｅｃｏｄｉｎｇ ｏｐｅｒａｔｉｏｎ）が行なわれることができ、よって、圧縮されていない空間キューデータ（ｃｕｅ ｄａｔａ）として各モジュールに転送されることができる。ハフマンデコーディング動作は、空間パラメータ情報を遠隔位置のマルチチャネルオーディオデコーディング装置に転送するのに適合し、パイロットデコーディング動作は、マルチチャネルオーディオデコーディング装置が、圧縮された空間キューデータを、デコーディング動作に容易に用いられうる圧縮されていない空間キューデータに変換する必要がないという点で便利である。
付加情報及び制御情報の分析に基づく空間パラメータ情報の構成は、ダウンミックス信号と空間パラメータ情報間の遅延を引き起こすことができる。これをアドレスするために、ダウンミックス信号及び空間パラメータ情報が互いに同期化するように追加的なバッファがダウンミックス信号または空間パラメータ情報のために提供されることができる。しかし、これらの方法は、追加的なバッファの提供が要求されるという点で不便である。また、付加情報は、ダウンミックス信号と空間パラメータ情報間の遅延発生の可能性を考慮し、ダウンミックス信号に先立って転送されることができる。この場合に、付加情報と制御情報を結合することによって得られた空間パラメータ情報は調節されることなく容易に用いられることができる。
ダウンミックス信号の複数のオブジェクト信号が、異なるレベルを持つ場合、ダウンミックス信号を直接補償できるＡＤＧモジュールが、オブジェクト信号の相対的なレベルを決定することができ、よって、オブジェクト信号のそれぞれは、チャネルレベル差情報、チャネル間相関（ＩＣＣ；ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｃｏｒｒｅｌａｔｉｏｎ）情報及びチャネル予測係数（ＣＰＣ；ｃｈａｎｎｅｌ ｐｒｅｄｉｃｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）のような空間キューデータを用いてマルチチャネル空間内のあらかじめ定められた位置に割り当てられることができる。
例えば、あらかじめ定められたオブジェクト信号がマルチチャネル空間内のあらかじめ定められた位置に割り当てられ、他のオブジェクト信号よりも高いレベルを持つということを制御情報が示す場合では、一般のマルチチャネルデコーディング部はダウンミックス信号のチャネルエネルギー間の差を計算し、このダウンミックス信号を計算の結果に基づいて多くの出力チャネルに分割することができる。しかし、一般のマルチチャネルデコーディング部は、ダウンミックス信号中の特定の音のボリュームを上げたり下げたりすることはできない。言い換えると、一般のマルチチャネルデコーディング部は、ダウンミックス信号を多くの出力チャネルに簡単に分配し、よって、ダウンミックス信号中の音のボリュームを上げたり下げたりすることができない。
オブジェクトエンコーディング部により生成されたダウンミックス信号の複数のオブジェクト信号のそれぞれを制御情報によってマルチチャネル空間内のあらかじめ定められた位置に割り当てることは比較的易しい。しかし、あらかじめ定められたオブジェクト信号の振幅を増やしたり減らしたりするには特別な技術が要求される。言い換えると、オブジェクトエンコーディング部により生成されたダウンミックス信号をそのまま利用するとしたらダウンミックス信号のそれぞれのオブジェクト信号の振幅は減らし難い。
したがって、本発明の実施例によって、オブジェクト信号の相対的な振幅が、図８に示すＡＤＧモジュールを用いて制御情報によって変わることができる。より詳細には、オブジェクトエンコーディング部より転送されたダウンミックス信号の複数のオブジェクト信号のいずれか一つの振幅を、ＡＤＧモジュール１４７によって増加させたり減少させたりすることができる。ＡＤＧモジュール１４７により実行された補償によって得られたダウンミックス信号はマルチチャネルデコーディングされることができる。
ダウンミックス信号のオブジェクト信号の相対的な振幅が、ＡＤＧモジュール１４７を用いて適切に調節される場合では、一般のマルチチャネルデコーディング部を用いてオブジェクトデコーディングを実行することができる。オブジェクトエンコーディング部により生成されたダウンミックス信号がモノまたはステレオ信号または３以上のチャネルを持つマルチチャネル信号であると、ダウンミックス信号は、ＡＤＧモジュール１４７により処理されることができる。オブジェクトエンコーディング部により生成されたダウンミックス信号が２以上のチャネルを有し、ＡＤＧモジュール１４７により調節されるべきあらかじめ定められたオブジェクト信号がダウンミックス信号の一つのチャネルでのみ存在する場合では、ＡＤＧモジュール１４７は、ダウンミックス信号の全てのチャネルに適用される代わりに、あらかじめ定められたオブジェクト信号を含むチャネルにのみ適用されることができる。上記の方法でＡＤＧモジュール１４７により処理されたダウンミックス信号を、マルチチャネルデコーディング部の構造を修正することなく一般のマルチチャネルデコーディング部を用いて容易に処理することができる。
最終出力信号が、マルチチャネルスピーカーにより再生されうるマルチチャネル信号ではなくバイノーラル（ｂｉｎａｕｒａｌ）信号である場合でっても、ＡＤＧモジュール１４７は、最終出力信号のオブジェクト信号の相対的な振幅を調節するのに用いられることができる。
ＡＤＧモジュール１４７を用いる代わりに、複数のオブジェクト信号の生成の間に各オブジェクト信号に適用される利得値を特定する利得情報が制御情報中に含まれることができる。このため、一般のマルチチャネルデコーディング部の構造は修正されることができる。存在するマルチチャネルデコーディング部の構造の修正を必要とするとはいえ、この方法は、ＡＤＧを計算して各オブジェクト信号を補償することなく、デコーディング動作の間に各オブジェクト信号に利得値を適用するから、デコーディングの複雑度を低減する上で便利である。
図９は、本発明の第４実施例によるオーディオデコーディング装置１５０を示すブロック図である。図９を参照すると、オーディオデコーディング装置１５０は、バイノーラル信号を生成することに特徴がある。
より詳細には、オーディオデコーディング装置１５０は、マルチチャネルバイノーラルデコーディング部１５１、第１パラメータコンバーティング部１５７及び第２パラメータコンバーティング部１５９を含む。
第２パラメータコンバーティング部１５９は、オーディオエンコーディング装置より供給された制御情報及び付加情報を分析し、分析の結果に基づいて空間パラメータ情報を構成する。第１パラメータコンバーティング部１５７は、頭部伝達関数（ＨＲＴＦ；ｈｅａｄ−ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）パラメータのような３次元（３Ｄ）情報を空間パラメータ情報に追加することによって、マルチチャネルバイノーラルデコーディング部１５１で使用できるようなバイノーラルパラメータ情報を構成する。マルチチャネルバイノーラルデコーディング部１５１は、仮想３Ｄパラメータ情報をダウンミックス信号に適用することによって仮想３Ｄ信号を生成する。
第１パラメータコンバーティング部１５７及び第２パラメータコンバーティング部１５９は、付加情報、制御情報及びＨＲＴＦパラメータを受信し、これら付加情報、制御情報及びＨＲＴＦパラメータに基づいてバイノーラルパラメータ情報を構成する単一モジュール、すなわち、パラメータ変換モジュール１５５に取って代わっても良い。
一般に、ヘッドホンで１０個のオブジェクト信号を含むダウンミックス信号の再生のためのバイノーラル信号を生成するために、オブジェクト信号は、ダウンミックス信号及び付加情報に基づく１０個のオブジェクト信号に対応するそれぞれの１０個のデコーディングされた信号を生成しなければならない。その後、レンダリング部は、５−チャネルスピーカ環境に適合するように制御情報を参照してマルチチャネル空間内のあらかじめ定められた位置に１０個のオブジェクト信号のそれぞれを割り当てる。その後に、レンダリング部は、５−チャネルスピーカを用いて再生できる５−チャネル信号を生成する。その後、レンダリング部は、ＨＲＴＦパラメータを５−チャネル信号に適用して２−チャネル信号を生成する。要するに、上記の一般的なオーディオデコーディング方法は、１０個のオブジェクト信号を再生する段階、１０個のオブジェクト信号を５−チャネル信号に変換する段階、及び５−チャネル信号に基づく２−チャネル信号を生成する段階を含み、効果的でない。
これに対し、オーディオデコーディング装置１５０は、オブジェクトオーディオ信号に基づいてヘッドホンを用いて再生できるバイノーラル信号を容易に生成できる。しかも、オーディオデコーディング装置１５０は、付加情報及び制御情報の分析を通じて空間パラメータ情報を構成し、よって、一般的なマルチチャネルバイノーラルデコーディング部を用いてバイノーラル信号を生成できる。さらに、付加情報、制御情報及びＨＲＴＦパラメータを受信する統合されたパラメータコンバーティング部が組み込まれる場合においても、オーディオデコーディング装置１５０は一般的なマルチチャネルバイノーラルデコーディング部を依然として利用でき、付加情報、制御情報及びＨＲＴＦパラメータに基づくバイノーラルパラメータ情報を構成できる。
図１０は、本発明の第５実施例によるオーディオデコーディング装置１６０を示すブロック図である。図１０を参照すると、オーディオデコーディング装置１６０は、ダウンミックスプロセシング部１６１、マルチチャネルデコーディング部１６３及びパラメータコンバーティング部１６５を含む。ダウンミックスプロセシング部１６１及びパラメータコンバーティング部１６３は、単一モジュール１６７としても良い。
パラメータコンバーティング部１６５は、マルチチャネルデコーディング部１６３で用いられうるような空間パラメータ情報及びダウンミックスプロセシング部１６１で用いられうるようなパラメータ情報を生成する。ダウンミックスプロセシング部１６１は、ダウンミックス信号に前処理動作を実行し、前処理動作により生成されたダウンミックス信号をマルチチャネルデコーディング部１６３に転送する。マルチチャネルデコーディング部１６３は、ダウンミックスプロセシング部１６１より転送されたダウンミックス信号にデコーディング動作を実行し、ステレオ信号、バイノーラルステレオ信号またはマルチチャネル信号を出力する。ダウンミックスプロセシング部１６１により実行された前処理動作の例には、フィルタリングを用いた時間ドメインまたは周波数ドメインへのダウンミックス信号の変換または修正が含まれる。
オーディオデコーディング装置１６０に入力されたダウンミックス信号がステレオ信号であれば、マルチチャネルデコーディング部１６３は、複数のチャネルの一つであるレフトチャネルに対応するダウンミックス信号の成分を複数のチャネルの他の一つであるライトチャネルにマッピングできないから、ダウンミックス信号は、マルチチャネルデコーディング部１６３に入力される前にダウンミックスプロセシング部１６１で実行されたダウンミックス前処理されることができる。したがって、レフトチャネルに分類されたオブジェクト信号の位置をライトチャネルの方向に移動させるために、オーディオデコーディング装置１６０に入力されたダウンミックス信号は、ダウンミックスプロセシング部１６１により前処理されることができ、前処理されたダウンミックス信号は、マルチチャネルデコーディング部１６３に入力されることができる。
ステレオダウンミックス信号の前処理は、付加情報から及び制御情報から獲得された前処理した情報に基づいて実行されることができる。
図１１は、本発明の第６実施例によるオーディオデコーディング装置１７０のブロック図である。図１１を参照すると、オーディオデコーディング装置１７０は、マルチチャネルデコーディング部１７１、チャネルプロセシング部１７３及びパラメータコンバーティング部１７５を含む。
パラメータコンバーティング部１７５は、マルチチャネルデコーディング部１７３で用いられうるような空間パラメータ情報及びチャネルプロセシング部１７３で用いられうるようなパラメータ情報を生成する。チャネルプロセシング部１７３は、マルチチャネルデコーディング部１７３より出力された信号に後処理動作を実行する。マルチチャネルデコーディング部１７３より出力された信号の例には、ステレオ信号、バイノーラルステレオ信号及びマルチチャネル信号を含む。
ポストプロセシング部１７３により実行された後処理（ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）動作には、出力信号の各チャネルまたは全てのチャネルの修正及び変換が含まれる。例えば、付加情報があらかじめ定められたオブジェクト信号に関する基本周波数情報を含む場合では、チャネルプロセシング部１７３は、基本周波数情報を参照してあらかじめ定められたオブジェクト信号から調和成分を除去することができる。マルチチャネルオーディオデコーディング方法は、カラオケシステムに用いられるには充分に効果的でない場合もあり得る。しかし、音声オブジェクト信号に関する基本周波数情報が付加情報内に含まれ、音声オブジェクト信号の調和成分が後処理動作中に除去される場合では、図１１の実施例を用いる高性能カラオケシステムを実現することができる。図１１の実施例は、音声オブジェクト信号を除くオブジェクト信号に適用されることができる。例えば、図１１の実施例を用いてあらかじめ定められた楽器の音を除去することが可能である。また、図１１の実施例を用いてオブジェクト信号に関する基本周波数情報によってあらかじめ定められた調和成分を増幅することができる。
チャネルプロセシング部１７３は、ダウンミックス信号に追加的な効果処理（ｅｆｆｅｃｔ ｐｒｏｃｅｓｓｉｎｇ）を実行することができる。また、チャネルプロセシング部１７３は、追加的な効果処理によって得た信号を、マルチチャネルデコーディング部１７１より出力された信号に付加することができる。チャネルプロセシング部１７３は、必要時にオブジェクトのスペクトラムを変化させたりダウンミックス信号を修正したりすることができる。ダウンミックス信号への反射のような効果処理動作を直接実行し、エフェクト処理動作によって得られた信号をマルチチャネルデコーディング部１７１に転送することが適切でない場合では、ダウンミックスプロセシング部１７３は、ダウンミックス信号へのエフェクトプロセシングを実行する代わりに、エフェクトプロセシング動作によって得た信号をマルチチャネルデコーディング部１７１の出力に付加することができる。
オーディオデコーディング装置１７０は、チャネルプロセシング部１７３の他、ダウンミックスプロセシング部を含むように製作されることができる。この場合に、ダウンミックスプロセシング部は、マルチチャネルデコーディング部１７３の前に配置されることができ、チャネルプロセシング部１７３はマルチチャネルデコーディング部１７３の後に配置されることができる。
図１２は、本発明による第７実施例によるオーディオデコーディング装置２１０を示すブロック図である。図１２を参照すると、オーディオデコーディング装置２１０は、オブジェクトデコーディング部の代わりに、マルチチャネルデコーディング部２１３を用いる。
より詳細には、オーディオデコーディング装置２１０は、マルチチャネルデコーディング部２１３、トランスコーディング部２１５、レンダリング部２１７及び３Ｄ情報データベース２１９を含む。
レンダリング部２１７は、制御情報に含まれたインデックスデータに対応する３Ｄ情報に基づいて複数のオブジェクト信号の３Ｄ位置を決定する。トランスコーディング部２１５は、レンダリング部２１７により適用された３Ｄ情報に複数のオブジェクトオーディオ信号に関する位置情報を合成することによってチャネルベース付加情報を生成する。マルチチャネルデコーディング部２１３は、チャネルベース付加情報をダウンミックス信号に適用することによって３Ｄ信号を出力する。
ＨＲＴＦは３Ｄ情報として用いられることができる。ＨＲＴＦは、任意位置における音源と鼓膜との間の音波の転送を説明し、音源の高度及び方向によって変わる値を返す伝達関数である。方向性を持たない信号がＨＲＴＦを用いてフィルタリングされると、信号は、特定の方向から再生されるかのように聞こえることができる。
入力ビットストリームを受信する場合、オーディオデコーディング装置２１０は、デマルチプレクサ（図示せず）を用いて入力ビットストリームからオブジェクトベースパラメータ情報及びオブジェクトベースダウンミックス信号を抽出する。その後、レンダリング部２１７は、複数のオブジェクトオーディオ信号の位置を決定するのに用いられる制御情報からインデックスデータを抽出し、３Ｄ情報データベース２１９から抽出されたインデックスデータに対応する３Ｄ情報を回収する。
より詳細には、オーディオデコーディング装置２１０で用いられる制御情報に含まれたミキシングパラメータ情報は、３Ｄ情報を検索するのに必要なレベル情報だけでなく、インデックスデータも含むことができる。このミキシングパラメータ情報は、レベル情報及び時間情報を適切に結合することによって得られた一つ以上のパラメータ、位置情報及びチャネル間の時間差に関する時間情報を含むことができる。
オブジェクトオーディオ信号の位置は、デフォルト（ｄｅｆａｕｌｔ）ミキシングパラメータ情報によって初期に決定されることができ、利用者が希望する位置に対応する３Ｄ情報をオブジェクトオーディオ信号に適用することによって後ほど変更されることができる。また、利用者が３Ｄ効果をいくつかのオブジェクトオーディオ信号に適用することを希望する場合では、利用者が３Ｄ効果を適用することを希望しない他のオブジェクトオーディオ信号に関する時間情報及びレベル情報は、ミキシングパラメータ情報として用いられることができる。
レンダリング部２１７によってＨＲＴＦのような３Ｄ情報が適用される複数のオブジェクト信号の位置情報とオーディオエンコーディング装置より転送されたＮ個のオブジェクト信号に関するオブジェクトベースパラメータ情報とを合成することによって、トランスコーディング部２１５はＭ個のチャネルに関するチャネルベース付加情報を生成する。
マルチチャネルデコーディング部２１３は、トランスコーディング部２１５より供給されたチャネルベース付加情報及びダウンミックス信号に基づくオーディオ信号を生成し、チャネルベース付加情報に含まれた３Ｄ情報を用いて３Ｄレンダリング動作を実行することによって３Ｄマルチチャネル信号を生成する。
図１３は、本発明の第８実施例によるオーディオデコーディング装置２２０を示すブロック図である。図１３を参照すると、オーディオデコーディング装置２２０は、トランスコーディング部２２５がチャネルベース付加情報と３Ｄ情報を個別にマルチチャネルデコーディング部２２３に転送するという点で、図１２に示すオーディオデコーディング装置２１０と異なる。言い換えると、オーディオデコーディング装置２１０のトランスコーディング部２１５は、３Ｄ情報を含むチャネルベース付加情報をマルチチャネルデコーディング部２１３に転送する一方、オーディオデコーディング装置２２０のトランスコーディング部２２５はＮ個のオブジェクト信号に関するオブジェクトベースパラメータ情報からＭ個のチャネルに関するチャネルベース付加情報を得、Ｎ個のオブジェクト信号のそれぞれに適用された３Ｄ情報をマルチチャネルデコーディング部２２３に転送する。
図１４を参照すると、チャネルベース付加情報及び３Ｄ情報は、複数のフレームインデックスなどを含むことができる。したがって、マルチチャネルデコーディング部２２３は、３Ｄ情報及びチャネルベース付加情報のそれぞれのフレームインデックスを参照した３Ｄ情報及びチャネルベース付加情報を同期化することができ、よって、３Ｄ情報を、Ｄ情報に対応するビットストリームのフレームに適用することができる。例えば、インデックス２を持つ３Ｄ情報を、インデックス２を持つフレーム２の始部に適用することができる。
チャネルベース付加情報及び３Ｄ情報はいずれもフレームインデックスを含むので、３Ｄ情報が時間を超過して更新されても、３Ｄ情報の適用されるチャネルベース付加情報の時間的位置を效果的に決定することができる。言い換えると、トランスコーディング部２２５は、チャネルベース付加情報中に複数のフレームインデックス及び３Ｄ情報を含み、よって、マルチチャネルデコーディング部２２３はチャネルベース付加情報と３Ｄ情報を容易に同期化することができる。
ダウンミックスプロセシング部２３１、トランスコーディング部２３５、レンダリング部２３７及び３Ｄ情報データベースは、単一モジュール２３９にしても良い。
図１５は、本発明の第９実施例によるオーディオデコーディング装置２３０を示すブロック図である。図１５を参照すると、オーディオデコーディング装置２３０は、ダウンミックスプロセシング部２３１をさらに含むという点で、図１４に示すオーディオデコーディング装置２２０と区別される。
より詳細には、オーディオデコーディング装置２３０は、トランスコーディング部２３５、レンダリング部２３７、３Ｄ情報データベース２３９、マルチチャネルデコーディング部２３３及びダウンミックスプロセシング部２３１を含む。トランスコーディング部２３５、レンダリング部２３７、３Ｄ情報データベース２３９及びマルチチャネルデコーディング部２３３は、図１４におけるそれらとそれぞれ同一である。ダウンミックスプロセシング部２３１は、位置調節のためにステレオダウンミックス信号に前処理動作を実行する。３Ｄ情報データベース２３９はレンダリング部２３７と統合されることができる。あらかじめ定められた効果をダウンミックス信号に適用するためのモジュールもこのオーディオデコーディング装置２３０内に組み込まれることができる。
図１６は、本発明の第１０実施例によるオーディオデコーディング装置２４０を示すブロック図である。図１６を参照すると、オーディオデコーディング装置２４０は、多点制御部コンバイナ２４１を含むという点で、図１５に示すオーディオデコーディング装置２３０と区別される。
すなわち、オーディオデコーディング装置２３０と同様に、オーディオデコーディング装置２４０は、ダウンミックスプロセシング部２４３、マルチチャネルデコーディング部２４４、トランスコーディング部２４５、レンダリング部２４７及び３Ｄ情報データベース２４９を含む。多点制御部コンバイナ２４１は、オブジェクトベースエンコーディングによって得た複数のビットストリームを結合して単一のビットストリームを得る。例えば、第１オーディオ信号のための第１ビットストリームと第２オーディオ信号のための第２ビットストリームが入力される場合、多点制御部コンバイナ２４１は、第１ビットストリームから第１ダウンミックス信号を抽出し、第２ビットストリームから第２ダウンミックス信号を抽出した後、第１及び第２ダウンミックス信号を結合させることによって第３ダウンミックス信号を生成する。なお、多点制御部コンバイナ２４１は、第１ビットストリームから第１オブジェクトベース付加情報を抽出し、第２ビットストリームから第２オブジェクトベース付加情報を抽出した後、第１オブジェクトベース付加情報と第２オブジェクトベース付加情報とを結合させることによって第３オブジェクトベース付加情報を生成する。その後、多点制御部コンバイナ２４１は、第３ダウンミックス信号と第３オブジェクトベース付加情報とを結合させることによってビットストリームを生成し、生成されたビットストリームを出力する。
したがって、各オブジェクト信号をエンコーディングまたはデコーディングする場合に比べて、本発明の第１０実施例によると、２以上の通信相手より転送された信号まで效果的に処理することが可能になる。
多点制御部コンバイナ２４１が、複数のビットストリームから個別に抽出され、他の圧縮コーデックで結合された複数のダウンミックス信号を単一のダウンミックス信号内に統合するようにするために、これらのダウンミックス信号は、ダウンミックス信号の圧縮コーデックの種類によってあらかじめ定められた周波数ドメインの信号またはパルスコード変調（ＰＣＭ；ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）信号に変換される必要があり、この変換によって得た信号またはＰＣＭ信号は共に結合される必要があり、この結合によって得られた信号は、あらかじめ定められた圧縮コーデックを用いて変換される必要があり得る。この場合に、ダウンミックス信号があらかじめ定められた周波数ドメインの信号またはＰＣＭ信号に統合されるかによって遅延が発生することができる。しかし、遅延はデコーディング部によって正確に推定されることができない。したがって、遅延はビットストリームに含まれ、ビットストリームと共に転送される必要があり得る。遅延は、ＰＣＭ信号内の遅延サンプルの数またはあらかじめ定められた周波数ドメイン内の遅延サンプルの数を表すことができる。
一般的なマルチチャネルコーディング動作（例えば、５．１チャネルまたは７．１チャネルコーディング動作）中に一般的に処理された入力信号の数に比べてオブジェクトベースオーディオコーディング動作中に多くの入力信号が時々処理されるべき場合があり得る。したがって、オブジェクトベースオーディオコーディング方法は、一般的なチャネルベースマルチチャネルオーディオコーディング方法に比べてより高いビットレートを必要とする。しかし、オブジェクトベースオーディオコーディング方法は、チャネル信号よりも少ない数のオブジェクト信号の処理を含むから、オブジェクトベースオーディオコーディング方法を用いて動的な出力信号を生成することが可能である。
以下、本発明の一実施例によるオーディオエンコーディング方法を、図１７〜図２０を参照して詳細に説明する。
オブジェクトベースオーディオエンコーディング方法において、オブジェクト信号は、人の声または楽器の音のような個別の音を表すように定義されることができる。また、弦楽器（例えば、バイオリン、ヴィオラ及びチェロ）の音のような類似な特性を持つ音、同一周波数バンドを持つ音またはこれら音源の方向及び角によって同一カテゴリーに分類される音は一緒にグルーピングすることができ、同一オブジェクト信号によって定義することができる。また、オブジェクト信号を上記の方法の組合せを用いて定義することができる。
複数のオブジェクト信号を、ダウンミックス信号及び付加情報として転送することができる。転送される情報が生成される間に、ダウンミックス信号またはダウンミックス信号の複数のオブジェクト信号のそれぞれのエネルギーまたはパワーは、ダウンミックス信号のエンベロープを検出する目的で最初から計算される。この計算の結果は、オブジェクト信号またはダウンミックス信号を転送するのに用いられたり、オブジェクト信号のレベルの比を計算するのに用いられることができる。
線形予測コーディング（ＬＰＣ；ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇ）アルゴリズムが、ビットレートをより下げるのに用いられることができる。より詳細には、信号のエンベロープを表す多くのＬＰＣ係数は信号の分析を通じて生成され、信号に関するエンベロープ情報を転送する代わりにＬＰＣ係数が転送される。この方法は、ビットレートにおいて効果的である。しかし、これらＬＰＣ係数は信号の実際エンベロープから非常にずれやすいため、この方法は誤り訂正（ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｏｎ）のような追加プロセスを必要とする。要するに、信号のエンベロープ情報を転送することを含む方法は、高音質を保障することはできるが、転送されるべき情報量が相当増加してしまう。一方、ＬＰＣ係数の利用を含む方法は、転送されるへぎ情報量を低減することはできるが、誤り訂正のような追加的なプロセスが必要とされ、音質低下を招く。
本発明の一実施例によって、これらの方法の組合せが用いられることができる。言い換えると、信号のエンベロープは、信号のパワーまたはエネルギーまたはインデックス値または信号のパワーまたはエネルギーに対応するＬＰＣ係数のような他の値で表現されることができる。
信号に関するエンベロープ情報は、時間セクションまたは周波数セクションのユニットで得ることができる。より詳細には、図１７を参照すると、信号に関するエンベロープ情報は、フレームユニットで得ることができる。また、信号がＱＭＦ（ｑｕａｄｒａｔｕｒｅ ｍｉｒｒｏｒ ｆｉｌｔｅｒ）バンクのようなフィルタバンクを用いて周波数バンド構造で表現されるとしたら、信号に関するエンベロープ情報は、周波数サブバンド、周波数サブバンドよりも小さい個体である周波数サブバンドパーティション、周波数サブバンドのグループまたは周波数サブバンドパーティションのグループのユニットで得ることができる。また、フレームベースの方法、周波数サブバンドベースの方法及び周波数サブバンドパーティションベースの方法の組合せが本発明の範囲内で用いられることができる。
また、信号の低周波成分が信号の高周波成分よりも一般的により多くの情報を持つとすれば、信号の低周波成分と関連したエンベロープ情報はそれ自体のまま転送されることができるが、信号の高周波成分に関するエンベロープ情報はＬＰＣ係数または他の値で表現されることができ、信号の高周波成分に関するエンベロープ情報の代わりにＬＰＣ係数または他の値が転送されることができる。しかし、信号の低周波成分が必ずしも信号の高周波成分よりも多い情報を持つというわけにはいかない。したがって、上記の方法は、環境によって柔軟に適用すれば良い。
本発明の実施例によって、時間／周波数軸上にドミナントとして現れる信号の一部（以下、主要部という。）対応するインデックスデータまたはエンベロープ情報は転送されることができ、信号のドミナントでない部分に対応するインデックスデータ及びエンベロープ情報はいずれも転送されなくても良い。また、信号のドミナント部分のエネルギー及びパワーを表す値（例えば、ＬＰＣ係数）が転送されることができ、信号のドミナントでない部分に対応するかかる値は転送されなくても良い。また、信号のドミナント部分に対応するインデックスデータまたはエンベロープ情報は転送されることができ、信号のドミナントでない部分のエネルギーまたはパワーを表す値も転送されても良い。また、信号のドミナントでない部分が信号のドミナント部分に関する情報に基づいて推定されるように、信号のドミナント部分にのみ関連した情報が転送されても良い。また、上記の方法の組合せが用いられても良い。
例えば、図１８を参照すると、信号がドミナント期間とドミナントでない期間とに分けられるとしたら、信号に関する情報は図１８（ａ）〜（ｄ）で表わされた通り、４つの異なる方法で転送されることができる。
ダウンミックス信号及び付加情報の組合せとして複数のオブジェクト信号を転送するために、デコーディング動作の一部として、例えば、オブジェクト信号のレベルの比を考慮し、ダウンミックス信号は複数の成分に分けられるように要求される。ダウンミックス信号の成分間の独立性を保障するために、デコリリーション動作がさらに実行される必要がある。
オブジェクトベースコーディング方法においてコーディングユニットであるオブジェクト信号は、マルチチャネルコーディング方法においてコーディングユニットであるチャネル信号よりも大きい独立性を持つ。言い換えると、チャネル信号は、オブジェクト信号を含むから、デコリレートされる必要がある。これに対し、オブジェクト信号は互いに独立しており、よって、チャネル分離が、デコリリーション動作を要求することなく、単純にオブジェクト信号の特性を用いて容易に実行されることができる。
より詳細には、図１９を参照すると、オブジェクト信号Ａ、Ｂ及びＣは、周波数軸上にドミナントとして順に現れる。この場合に、オブジェクト信号Ａ、Ｂ及びＣのレベルの比によってダウンミックス信号を多くの信号に分け、デコリリーションを行う必要がない。その代わりに、オブジェクト信号Ａ、Ｂ及びＣのドミナント期間に関する情報が転送されたり、利得値がオブジェクト信号Ａ、Ｂ及びＣのそれぞれの各周波数成分に適用され、デコリリーションをスキップすることができる。これにより、計算量の低減が可能となり、さもなければデコリリーションに必要な付加情報によって要求されるかもしれない量だけのビットレートを減らすことが可能となる。
要するに、ダウンミックス信号のオブジェクト信号の比の比率によってダウンミックス信号を分けて得られた複数の信号間の独立性を保障すべく実行されるデコリリーションをスキップする目的で、各オブジェクト信号を含む周波数ドメインに関する情報を付加情報として転送することができる。また、相異なる利得値が、各オブジェクト信号がドミナントとして現れる期間であるドミナント期間、及び各オブジェクト信号がより少なくドミナントとして現れる期間であるドミナントでない期間に適用されることができ、したがって、ドミナント期間に関する情報は付加情報として主に提供されることができる。また、このドミナント期間に関する情報を、付加情報として転送することができ、ドミナントでない期間に関する情報は転送しなくても良い。なお、デコリリーション方法の代案として上述された方法の組合せが用いられても良い。
デコリリーション方法の代案である上記の方法は、全てのオブジェクト信号または容易に区別可能なドミナント期間を持つ一部のオブジェクト信号にのみ適用されることができる。また、デコリリーション方法の代案である上記の方法は、フレームのユニットに可変的に適用されることができる。
以下、残余信号を用いたオブジェクトオーディオ信号のエンコーディングが詳細に説明される。
一般に、オブジェクトベースオーディオコーディング方法において、複数のオブジェクト信号がエンコーディングされ、これらエンコーディングの結果がダウンミックス信号と付加情報との組合せとして転送される。続いて、複数のオブジェクト信号が付加情報によってデコーディングを通じてダウンミックス信号から復元され、これら復元されたオブジェクト信号が、例えば、制御情報によって利用者の要請に応じて適切に混合され、最終チャネル信号が生成される。オブジェクトベースオーディオコーディング方法は、ミキサ（ｍｉｘｅｒ）を用いて制御情報によって出力チャネル信号を自由に変えるのを一般的な目標としている。しかし、オブジェクトベースオーディオコーディング方法は、制御情報によらず、あらかじめ定義された方法でチャネル出力を生成するのに用いられても良い。
このため、付加情報は、ダウンミックス信号から複数のオブジェクト信号を得るのに必要な情報だけでなく、チャネル信号を生成するのに必要なミキシングパラメータ情報を含むことができる。したがって、ミキサを用いずにも最終チャネル出力信号を生成することが可能である。この場合、残余コーディングのようなアルゴリズムが音質を向上させるために用いられることができる。
一般的な残余コーディング方法は、信号をコーディングし、コーディングされた信号と元の信号間の誤り、すなわち残余信号をコーディングすることを含む。デコーディング動作の間に、コーディングされた信号は、このコーディングされた信号と元の信号との間の誤りを補償すると同時にデコーディングされ、これにより、可能な限り元の信号と類似な信号を復元する。コーディングされた信号と元の信号との間の誤りは通常少ないので、残余コーディングを実行するのに追加的に必要な情報の量を減らすことが可能である。
デコーディング部の最終チャネル出力が固定される場合では、最終チャネル信号を生成するのに必要なミキシングパラメータ情報だけでなく残余コーディング情報が付加情報として提供されることができる。この場合、音質を向上させることが可能である。
図２０は、本発明の一実施例によるオーディオエンコーディング装置３１０を示すブロック図である。図２０を参照すると、オーディオエンコーディング装置３１０は、残余信号を用いることに特徴がある。
より詳細には、オーディオエンコーディング装置３１０は、エンコーディング部３１１、デコーディング部３１３、第１ミキサ３１５、第２ミキサ３１９、加算器３１７及びビットストリーム生成器３２１を含む。
第１ミキサ３１５は、元の信号にミキシング動作を実行し、第２ミキサ３１９は、エンコーディング動作を実行することによって得られた信号にミキシング動作を実行し、続いて元の信号にデコーディング動作を実行する。加算器３１７は、第１ミキサ３１５より出力された信号と第２ミキサ３１９より出力された信号との間の残余信号を計算する。ビットストリーム生成器３２１は、付加情報に残余信号を加え、その結果を転送する。この方法で、音質を向上させることができる。
残余信号の計算は、信号の全ての部分にまたは信号の低周波数部分にのみ適用されることができる。また、残余信号の計算は、フレーム対フレームに基づくドミナント信号を含む周波数ドメインにのみ可変的に適用されても良い。また、上記の方法の組合せが用いられても良い。
残余信号情報を含む付加情報の量が、残余信号情報を含まない付加情報の量よりも多いため、残余信号の計算は、音質に直接影響を与える信号の一部分にのみ適用されることができ、これにより、ビットレートの過度な増加を抑止することができる。
本発明は、コンピュータが読取りできる記録媒体上に書き込まれた、コンピュータが読取りできるコードとして実現されることができる。コンピュータが読取りできる記録媒体は、コンピュータが読取りできる方法でデータが記憶される記録装置の一つでありうる。コンピュータが読取りできる記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）、光学データ記憶装置及びキャリアウェーブ（ｃａｒｒｉｅｒ ｗａｖｅ）（例えば、インターネットを通じたデータ転送）が含まれる。コンピュータが読取りできる記録媒体は、コンピュータが読取りできるコードがそこに書き込まれ、分散された方法でそこから実行されるように、ネットワークに連結された複数のコンピュータシステムで分配されることができる。本発明を実現するのに必要な機能的プログラム、コード、コード断片は、この分野における通常の知識を持つ者によって容易に解析されることができる。
本発明によると、オブジェクトベースオーディオエンコーディング及びデコーディング方法の利点からの利得によって、音像が各オブジェクトオーディオ信号に対して定位する。その結果、オブジェクトオーディオ信号の再生を通じてより実際的な音を提供することが可能になる。なお、本発明は双方向ゲームに適用されることができ、利用者にとってはより現実的な仮想現実経験が可能になる。
以上では好適な実施例に挙げて本発明を説明してきたが、説明及び形態における様々な変化が、添付の請求項によって定義された本発明の範囲及び思想を逸脱しない限度内でできるということは、当該分野における通常の知識を持つ者にとっては自明である。

Claims (17)

  1. 第１オーディオ信号から抽出された第１ダウンミックス信号と第２オーディオ信号から抽出された第２ダウンミックス信号とを結合することによって第３ダウンミックス信号を生成する段階であって、前記第１ダウンミックス信号及び前記第２のダウンミックス信号はそれぞれ少なくとも１つのオブジェクト信号を含む、段階と、
    前記第１オーディオ信号から抽出された第１オブジェクトベース付加情報と前記第２オーディオ信号から抽出された第２オブジェクトベース付加情報とを結合することによって第３オブジェクトベース付加情報を生成する段階と、
    マルチチャネル空間内における前記少なくとも１つのオブジェクト信号の位置及びレベルを制御する制御情報を受信する段階と、
    前記制御情報及び前記第３オブジェクトベース付加情報に基づいて空間パラメータ情報を生成する段階と、
    前記第３ダウンミックス信号及び前記空間パラメータ情報を用いてマルチチャネルオーディオ信号を生成する段階と、
    を含むことを特徴とする、オーディオデコーディング方法。
  2. 前記第３オブジェクトベース付加情報及び前記制御情報に基づいて、前記ダウンミックス信号を修正するためにパラメータ情報を生成する段階と、
    前記パラメータ情報を前記第３ダウンミックス信号に適用することによって、処理された第３ダウンミックス信号を生成する段階と、
    をさらに含み、
    前記マルチチャネルオーディオ信号を生成する段階は、前記処理された第３ダウンミックス信号及び前記空間パラメータ情報を使って前記マルチチャネルオーディオ信号を生成することを特徴とする、請求項１に記載のオーディオデコーディング方法。
  3. 前記第１オブジェクトベース付加情報は、少なくとも１つのオブジェクト信号が前記第１ダウンミックス信号にダウンミックスされるときに得られ、
    前記第２オブジェクトベース付加情報は、少なくとも１つのオブジェクト信号が前記第２ダウンミックス信号にダウンミックスされるときに得られることを特徴とする、請求項１に記載のオーディオデコーディング方法。
  4. 前記第１オブジェクトベース付加情報及び前記第２オブジェクトベース付加情報はともに、オブジェクトレベル差情報、オブジェクト間相互相関情報、ダウンミックス利得情報、ダウンミックスチャネルレベル差情報及び絶対的オブジェクトエネルギー情報のうちの少なくとも１つを含むことを特徴とする、請求項２に記載のオーディオデコーディング方法。
  5. 前記第３ダウンミックス信号がステレオダウンミックス信号である場合、前記第３ダウンミックス信号のチャネル信号を修正する段階をさらに含むことを特徴とする、請求項１に記載のオーディオデコーディング方法。
  6. 前記マルチチャネルオーディオ信号にあらかじめ定められた効果を適用する段階をさらに含むことを特徴とする、請求項１に記載のオーディオデコーディング方法。
  7. 第１オーディオ信号から抽出された、少なくとも１つのオブジェクト信号を含む第１ダウンミックス信号と第２オーディオ信号から抽出された、少なくとも１つのオブジェクト信号を含む第２ダウンミックス信号とを結合することによって第３ダウンミックス信号を生成し、前記第１オーディオ信号から抽出された第１オブジェクトベース付加情報と前記第２オーディオ信号から抽出された第２オブジェクトベース付加情報とを結合することによって第３オブジェクトベース付加情報を生成する多点制御部コンバイナと、
    マルチチャネル空間内における前記少なくとも１つのオブジェクト信号の位置及びレベルを制御する制御情報を受信し、前記制御情報及び前記第３オブジェクトベース付加情報に基づいて空間パラメータ情報を生成するトランスコーディング部と、
    前記第３ダウンミックス信号及び前記空間パラメータ情報を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、
    を含むことを特徴とする、オーディオデコーディング装置。
  8. 前記トランスコーディング部は、前記第３オブジェクトベース付加情報及び前記制御情報に基づいて、前記ダウンミックス信号を修正するためにパラメータ情報を生成することを特徴とする、請求項７に記載のオーディオデコーディング装置。
  9. 前記パラメータ情報を前記第３ダウンミックス信号に適用することによって、処理された第３ダウンミックス信号を生成するダウンミックスプロセシング部をさらに含み、
    前記マルチチャネルデコーディング部は、前記処理された第３ダウンミックス信号及び前記空間パラメータ情報を使って前記マルチチャネルオーディオ信号を生成することを特徴とする、請求項８に記載のオーディオデコーディング装置。
  10. 前記第１オブジェクトベース付加情報は、少なくとも１つのオブジェクト信号が前記第１ダウンミックス信号にダウンミックスされるときに得られ、
    前記第２オブジェクトベース付加情報は、少なくとも１つのオブジェクト信号が前記第２ダウンミックス信号にダウンミックスされるときに得られることを特徴とする、請求項９に記載のオーディオデコーディング装置。
  11. 前記第１オブジェクトベース付加情報及び前記第２オブジェクトベース付加情報はともに、オブジェクトレベル差情報、オブジェクト間相互相関情報、ダウンミックス利得情報、ダウンミックスチャネルレベル差情報及び絶対的オブジェクトエネルギー情報のうちの少なくとも１つを含むことを特徴とする、請求項１０に記載のオーディオデコーディング装置。
  12. 前記第３ダウンミックス信号がステレオダウンミックス信号である場合、デコリレートされた信号によって前記第３ダウンミックス信号のチャネル信号を修正するダウンミックスプロセシング部をさらに含むことを特徴とする、請求項７に記載のオーディオデコーディング装置。
  13. あらかじめ定められた効果を前記マルチチャネルオーディオ信号に適用するチャネルプロセシング部をさらに含むことを特徴とする、請求項７に記載のオーディオデコーディング装置。
  14. 第１オーディオ信号から抽出された第１ダウンミックス信号と第２オーディオ信号から抽出された第２ダウンミックス信号とを結合することによって第３ダウンミックス信号を生成する段階であって、前記第１ダウンミックス信号及び前記第２のダウンミックス信号はそれぞれ少なくとも１つのオブジェクト信号を含む、段階と、
    前記第１オーディオ信号から抽出された第１オブジェクトベース付加情報と前記第２オーディオ信号から抽出された第２オブジェクトベース付加情報とを結合することによって第３オブジェクトベース付加情報を生成する段階と、
    マルチチャネル空間内における前記少なくとも１つのオブジェクト信号の位置及びレベルを制御する制御情報を受信する段階と、
    前記制御情報及び前記第３オブジェクトベース付加情報に基づいて空間パラメータ情報を生成する段階と、
    前記第３ダウンミックス信号及び前記空間パラメータ情報を用いてマルチチャネルオーディオ信号を生成する段階と、を含むオーディオデコーディング方法をコンピュータで実行するためのコンピュータプログラムに記録した、コンピュータが読取りできる記録媒体。
  15. 前記第３オブジェクトベース付加情報及び前記制御情報に基づいて、前記ダウンミックス信号を修正するためにパラメータ情報を生成する段階と、
    前記パラメータ情報を前記第３ダウンミックス信号に適用することによって、処理された第３ダウンミックス信号を生成する段階と、
    をさらに含み、
    前記マルチチャネルオーディオ信号を生成する段階は、前記処理された第３ダウンミックス信号及び前記空間パラメータ情報を使って前記マルチチャネルオーディオ信号を生成することを特徴とする、請求項１４に記載のコンピュータが読取りできる記録媒体。
  16. 前記第１オブジェクトベース付加情報は、少なくとも１つのオブジェクト信号が前記第１ダウンミックス信号にダウンミックスされるときに得られ、
    前記第２オブジェクトベース付加情報は、少なくとも１つのオブジェクト信号が前記第２ダウンミックス信号にダウンミックスされるときに得られることを特徴とする、請求項１５に記載のコンピュータが読取りできる記録媒体。
  17. 前記第１オブジェクトベース付加情報及び前記第２オブジェクトベース付加情報はともに、オブジェクトレベル差情報、オブジェクト間相互相関情報、ダウンミックス利得情報、ダウンミックスチャネルレベル差情報及び絶対的オブジェクトエネルギー情報のうちの少なくとも１つを含むことを特徴とする、請求項１６に記載のコンピュータが読取りできる記録媒体。
JP2009530278A 2006-09-29 2007-10-01 オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法並びにその装置 Active JP5232789B2 (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US84829306P 2006-09-29 2006-09-29
US60/848,293 2006-09-29
US82980006P 2006-10-17 2006-10-17
US60/829,800 2006-10-17
US86330306P 2006-10-27 2006-10-27
US60/863,303 2006-10-27
US86082306P 2006-11-24 2006-11-24
US60/860,823 2006-11-24
US88071407P 2007-01-17 2007-01-17
US60/880,714 2007-01-17
US88094207P 2007-01-18 2007-01-18
US60/880,942 2007-01-18
US94837307P 2007-07-06 2007-07-06
US60/948,373 2007-07-06
PCT/KR2007/004797 WO2008039039A1 (en) 2006-09-29 2007-10-01 Methods and apparatuses for encoding and decoding object-based audio signals

Publications (2)

Publication Number Publication Date
JP2010505140A JP2010505140A (ja) 2010-02-18
JP5232789B2 true JP5232789B2 (ja) 2013-07-10

Family

ID=39230400

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2009530281A Active JP5238707B2 (ja) 2006-09-29 2007-10-01 オブジェクトベースオーディオ信号のエンコーディング／デコーディング方法及びその装置
JP2009530278A Active JP5232789B2 (ja) 2006-09-29 2007-10-01 オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法並びにその装置
JP2009530279A Active JP5238706B2 (ja) 2006-09-29 2007-10-01 オブジェクトベースオーディオ信号のエンコーディング／デコーディング方法及びその装置
JP2009530280A Expired - Fee Related JP4787362B2 (ja) 2006-09-29 2007-10-01 オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009530281A Active JP5238707B2 (ja) 2006-09-29 2007-10-01 オブジェクトベースオーディオ信号のエンコーディング／デコーディング方法及びその装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2009530279A Active JP5238706B2 (ja) 2006-09-29 2007-10-01 オブジェクトベースオーディオ信号のエンコーディング／デコーディング方法及びその装置
JP2009530280A Expired - Fee Related JP4787362B2 (ja) 2006-09-29 2007-10-01 オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法及び装置

Country Status (10)

Country Link
US (7) US7979282B2 (ja)
EP (4) EP2070081A4 (ja)
JP (4) JP5238707B2 (ja)
KR (4) KR100987457B1 (ja)
AU (4) AU2007300810B2 (ja)
BR (4) BRPI0710923A2 (ja)
CA (4) CA2645909C (ja)
MX (4) MX2008012315A (ja)
RU (1) RU2551797C2 (ja)
WO (4) WO2008039041A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8787792B2 (en) 2009-07-30 2014-07-22 Samsung Electronics Co., Ltd Process cartridge and image forming apparatus having the same

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577686B2 (en) * 2005-05-26 2013-11-05 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
EP1974347B1 (en) * 2006-01-19 2014-08-06 LG Electronics Inc. Method and apparatus for processing a media signal
KR100921453B1 (ko) * 2006-02-07 2009-10-13 엘지전자 주식회사 부호화/복호화 장치 및 방법
AU2007300810B2 (en) * 2006-09-29 2010-06-17 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
CA2874454C (en) * 2006-10-16 2017-05-02 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
AU2007312597B2 (en) * 2006-10-16 2011-04-14 Dolby International Ab Apparatus and method for multi -channel parameter transformation
JP5023662B2 (ja) * 2006-11-06 2012-09-12 ソニー株式会社 信号処理システム、信号送信装置、信号受信装置およびプログラム
EP2092516A4 (en) * 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING
CA2645863C (en) * 2006-11-24 2013-01-08 Lg Electronics Inc. Method for encoding and decoding object-based audio signal and apparatus thereof
WO2008069594A1 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for processing an audio signal
JP5463143B2 (ja) * 2006-12-07 2014-04-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及びその装置
EP2595150A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for coding multi-object audio signals
US8200351B2 (en) * 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
WO2008084427A2 (en) * 2007-01-10 2008-07-17 Koninklijke Philips Electronics N.V. Audio decoder
CN101689368B (zh) * 2007-03-30 2012-08-22 韩国电子通信研究院 对具有多声道的多对象音频信号进行编码和解码的设备和方法
KR100942142B1 (ko) * 2007-10-11 2010-02-16 한국전자통신연구원 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치
RU2452043C2 (ru) * 2007-10-17 2012-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Аудиокодирование с использованием понижающего микширования
US8219409B2 (en) * 2008-03-31 2012-07-10 Ecole Polytechnique Federale De Lausanne Audio wave field encoding
KR101062351B1 (ko) 2008-04-16 2011-09-05 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
EP2111060B1 (en) 2008-04-16 2014-12-03 LG Electronics Inc. A method and an apparatus for processing an audio signal
WO2009128662A2 (en) * 2008-04-16 2009-10-22 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
JP5174527B2 (ja) * 2008-05-14 2013-04-03 日本放送協会 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
CN102099854B (zh) 2008-07-15 2012-11-28 Lg电子株式会社 处理音频信号的方法和装置
EP2146342A1 (en) * 2008-07-15 2010-01-20 LG Electronics Inc. A method and an apparatus for processing an audio signal
KR101614160B1 (ko) 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
JP5243527B2 (ja) * 2008-07-29 2013-07-24 パナソニック株式会社 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム
US8233629B2 (en) * 2008-09-04 2012-07-31 Dts, Inc. Interaural time delay restoration system and method
CN102177542B (zh) * 2008-10-10 2013-01-09 艾利森电话股份有限公司 能量保留多通道音频编码
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
GB2466671B (en) * 2009-01-06 2013-03-27 Skype Speech encoding
GB2466672B (en) * 2009-01-06 2013-03-13 Skype Speech coding
GB2466669B (en) * 2009-01-06 2013-03-06 Skype Speech coding
GB2466674B (en) 2009-01-06 2013-11-13 Skype Speech coding
GB2466670B (en) * 2009-01-06 2012-11-14 Skype Speech encoding
GB2466675B (en) * 2009-01-06 2013-03-06 Skype Speech coding
US20100191534A1 (en) * 2009-01-23 2010-07-29 Qualcomm Incorporated Method and apparatus for compression or decompression of digital signals
US8139773B2 (en) * 2009-01-28 2012-03-20 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
KR101137360B1 (ko) * 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
CN102016982B (zh) * 2009-02-04 2014-08-27 松下电器产业株式会社 结合装置、远程通信系统以及结合方法
EP2395504B1 (en) * 2009-02-13 2013-09-18 Huawei Technologies Co., Ltd. Stereo encoding method and apparatus
US8666752B2 (en) * 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
KR101387808B1 (ko) * 2009-04-15 2014-04-21 한국전자통신연구원 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
CN102549655B (zh) * 2009-08-14 2014-09-24 Dts有限责任公司 自适应成流音频对象的系统
KR101599884B1 (ko) * 2009-08-18 2016-03-04 삼성전자주식회사 멀티 채널 오디오 디코딩 방법 및 장치
US8452606B2 (en) * 2009-09-29 2013-05-28 Skype Speech encoding using multiple bit rates
ES2644520T3 (es) * 2009-09-29 2017-11-29 Dolby International Ab Decodificador de señal de audio MPEG-SAOC, método para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC y programa informático usando un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
WO2011071928A2 (en) * 2009-12-07 2011-06-16 Pixel Instruments Corporation Dialogue detector and correction
US9042559B2 (en) 2010-01-06 2015-05-26 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
CN103119846B (zh) * 2010-09-22 2016-03-30 杜比实验室特许公司 利用对白水平归一化对音频流进行混合
EP2609589B1 (en) * 2010-09-28 2016-05-04 Huawei Technologies Co., Ltd. Device and method for postprocessing decoded multi-channel audio signal or decoded stereo signal
GB2485979A (en) * 2010-11-26 2012-06-06 Univ Surrey Spatial audio coding
KR20120071072A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
US9026450B2 (en) 2011-03-09 2015-05-05 Dts Llc System for dynamically creating and rendering audio objects
KR20120132342A (ko) * 2011-05-25 2012-12-05 삼성전자주식회사 보컬 신호 제거 장치 및 방법
US9754595B2 (en) 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
KR101783962B1 (ko) * 2011-06-09 2017-10-10 삼성전자주식회사 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치
US8838262B2 (en) 2011-07-01 2014-09-16 Dolby Laboratories Licensing Corporation Synchronization and switch over methods and systems for an adaptive audio system
AU2012279349B2 (en) 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
HUE054452T2 (hu) * 2011-07-01 2021-09-28 Dolby Laboratories Licensing Corp Rendszer és eljárás adaptív hangjel elõállítására, kódolására és renderelésére
WO2013192111A1 (en) 2012-06-19 2013-12-27 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
EP2741285B1 (en) 2012-07-02 2019-04-10 Sony Corporation Decoding device and method, encoding device and method, and program
WO2014007097A1 (ja) 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
JP6045696B2 (ja) * 2012-07-31 2016-12-14 インテレクチュアル ディスカバリー シーオー エルティディＩｎｔｅｌｌｅｃｔｕａｌ Ｄｉｓｃｏｖｅｒｙ Ｃｏ．，Ｌｔｄ． オーディオ信号処理方法および装置
WO2014020181A1 (en) * 2012-08-03 2014-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
AU2013301864B2 (en) 2012-08-10 2016-04-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and methods for adapting audio information in spatial audio object coding
US20140114456A1 (en) * 2012-10-22 2014-04-24 Arbitron Inc. Methods and Systems for Clock Correction and/or Synchronization for Audio Media Measurement Systems
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
EP2959479B1 (en) 2013-02-21 2019-07-03 Dolby International AB Methods for parametric multi-channel encoding
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
US9558785B2 (en) 2013-04-05 2017-01-31 Dts, Inc. Layered audio coding and transmission
KR20140123015A (ko) 2013-04-10 2014-10-21 한국전자통신연구원 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
KR102058619B1 (ko) * 2013-04-27 2019-12-23 인텔렉추얼디스커버리 주식회사 예외 채널 신호의 렌더링 방법
ES2640815T3 (es) 2013-05-24 2017-11-06 Dolby International Ab Codificación eficiente de escenas de audio que comprenden objetos de audio
EP3312835B1 (en) 2013-05-24 2020-05-13 Dolby International AB Efficient coding of audio scenes comprising audio objects
EP3005352B1 (en) 2013-05-24 2017-03-29 Dolby International AB Audio object encoding and decoding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
WO2015012594A1 (ko) * 2013-07-23 2015-01-29 한국전자통신연구원 잔향 신호를 이용한 다채널 오디오 신호의 디코딩 방법 및 디코더
US10178398B2 (en) * 2013-10-11 2019-01-08 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
JP6299202B2 (ja) * 2013-12-16 2018-03-28 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置
US9756448B2 (en) 2014-04-01 2017-09-05 Dolby International Ab Efficient coding of audio scenes comprising audio objects
US10754925B2 (en) 2014-06-04 2020-08-25 Nuance Communications, Inc. NLU training with user corrections to engine annotations
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
KR101641645B1 (ko) * 2014-06-11 2016-07-22 전자부품연구원 오디오 소스 분리 방법 및 이를 적용한 오디오 시스템
JP6306958B2 (ja) * 2014-07-04 2018-04-04 日本放送協会 音響信号変換装置、音響信号変換方法、音響信号変換プログラム
WO2016069809A1 (en) * 2014-10-30 2016-05-06 Dolby Laboratories Licensing Corporation Impedance matching filters and equalization for headphone surround rendering
US10057707B2 (en) 2015-02-03 2018-08-21 Dolby Laboratories Licensing Corporation Optimized virtual scene layout for spatial meeting playback
US10567185B2 (en) 2015-02-03 2020-02-18 Dolby Laboratories Licensing Corporation Post-conference playback system having higher perceived quality than originally heard in the conference
US10366687B2 (en) * 2015-12-10 2019-07-30 Nuance Communications, Inc. System and methods for adapting neural network acoustic models
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US10863297B2 (en) 2016-06-01 2020-12-08 Dolby International Ab Method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position
WO2018057639A1 (en) 2016-09-20 2018-03-29 Nuance Communications, Inc. Method and system for sequencing medical billing codes
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
GB201808897D0 (en) * 2018-05-31 2018-07-18 Nokia Technologies Oy Spatial audio parameters
WO2020080099A1 (ja) * 2018-10-16 2020-04-23 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP7326824B2 (ja) 2019-04-05 2023-08-16 ヤマハ株式会社 信号処理装置、及び信号処理方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3882280A (en) * 1973-12-19 1975-05-06 Magnavox Co Method and apparatus for combining digitized information
US5109417A (en) * 1989-01-27 1992-04-28 Dolby Laboratories Licensing Corporation Low bit rate transform coder, decoder, and encoder/decoder for high-quality audio
EP0520068B1 (en) 1991-01-08 1996-05-15 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
US6505160B1 (en) 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
RU2121718C1 (ru) 1998-02-19 1998-11-10 Яков Шоел-Берович Ровнер Портативная музыкальная система для караоке и картридж для нее
US20050120870A1 (en) 1998-05-15 2005-06-09 Ludwig Lester F. Envelope-controlled dynamic layering of audio signal processing and synthesis for music applications
JP3173482B2 (ja) 1998-11-16 2001-06-04 日本ビクター株式会社 記録媒体、及びそれに記録された音声データの音声復号化装置
KR100416757B1 (ko) 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US7020618B1 (en) * 1999-10-25 2006-03-28 Ward Richard E Method and system for customer service process management
US6845163B1 (en) * 1999-12-21 2005-01-18 At&T Corp Microphone array for preserving soundfield perceptual cues
US6351733B1 (en) 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US6849794B1 (en) 2001-05-14 2005-02-01 Ronnie C. Lau Multiple channel system
US6658383B2 (en) 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
JP2003186500A (ja) 2001-12-17 2003-07-04 Sony Corp 情報伝達システム、情報符号化装置および情報復号装置
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
KR101016251B1 (ko) 2002-04-10 2011-02-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오 신호의 코딩
EP1500083B1 (en) 2002-04-22 2006-06-28 Koninklijke Philips Electronics N.V. Parametric multi-channel audio representation
JP4714416B2 (ja) * 2002-04-22 2011-06-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的オーディオのパラメータ表示
EP1502361B1 (en) * 2002-05-03 2015-01-14 Harman International Industries Incorporated Multi-channel downmixing device
KR20050021484A (ko) 2002-07-16 2005-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
JP2004064363A (ja) 2002-07-29 2004-02-26 Sony Corp デジタルオーディオ処理方法、デジタルオーディオ処理装置およびデジタルオーディオ記録媒体
EP1554716A1 (en) 2002-10-14 2005-07-20 Koninklijke Philips Electronics N.V. Signal filtering
US7395210B2 (en) 2002-11-21 2008-07-01 Microsoft Corporation Progressive to lossless embedded audio coder (PLEAC) with multiple factorization reversible transform
US9002716B2 (en) 2002-12-02 2015-04-07 Thomson Licensing Method for describing the composition of audio signals
ES2282860T3 (es) 2003-04-17 2007-10-16 Koninklijke Philips Electronics N.V. Generacion de señal de audio.
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
JPWO2005081229A1 (ja) 2004-02-25 2007-10-25 松下電器産業株式会社 オーディオエンコーダ及びオーディオデコーダ
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US7756713B2 (en) 2004-07-02 2010-07-13 Panasonic Corporation Audio signal decoding device which decodes a downmix channel signal and audio signal encoding device which encodes audio channel signals together with spatial audio information
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
JP4466242B2 (ja) 2004-07-13 2010-05-26 株式会社サタケ ペレット選別機
KR100658222B1 (ko) 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
EP1817767B1 (en) 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
DE102005008342A1 (de) 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Speichern von Audiodateien
US8577686B2 (en) 2005-05-26 2013-11-05 Lg Electronics Inc. Method and apparatus for decoding an audio signal
WO2007004829A2 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8359341B2 (en) 2005-12-10 2013-01-22 International Business Machines Corporation Importing content into a content management system using an e-mail application
ATE476732T1 (de) * 2006-01-09 2010-08-15 Nokia Corp Steuerung der dekodierung binauraler audiosignale
EP1989704B1 (en) * 2006-02-03 2013-10-16 Electronics and Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
CN101390443B (zh) * 2006-02-21 2010-12-01 皇家飞利浦电子股份有限公司 音频编码和解码
DE102007003374A1 (de) 2006-02-22 2007-09-20 Pepperl + Fuchs Gmbh Induktiver Näherungsschalter sowie Verfahren zum Betreiben eines solchen
BRPI0621499B1 (pt) * 2006-03-28 2022-04-12 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Método melhorado para formatação de sinal em reconstrução de áudio de canais múltiplos
ATE542216T1 (de) * 2006-07-07 2012-02-15 Fraunhofer Ges Forschung Vorrichtung und verfahren zum kombinieren mehrerer parametrisch kodierter audioquellen
MX2009002795A (es) * 2006-09-18 2009-04-01 Koninkl Philips Electronics Nv Codificacion y decodificacion de objetos de audio.
AU2007300810B2 (en) * 2006-09-29 2010-06-17 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US8295494B2 (en) 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
TW200930042A (en) * 2007-12-26 2009-07-01 Altek Corp Method for capturing image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8787792B2 (en) 2009-07-30 2014-07-22 Samsung Electronics Co., Ltd Process cartridge and image forming apparatus having the same

Also Published As

Publication number Publication date
JP2010505141A (ja) 2010-02-18
CA2645909A1 (en) 2008-04-03
JP2010505142A (ja) 2010-02-18
EP2071564A1 (en) 2009-06-17
BRPI0711102A2 (pt) 2011-08-23
CA2645910C (en) 2015-04-07
CA2645908C (en) 2013-11-26
AU2007300814B2 (en) 2010-05-13
US7987096B2 (en) 2011-07-26
AU2007300814A1 (en) 2008-04-03
AU2007300812A1 (en) 2008-04-03
EP2070080A4 (en) 2009-10-14
JP4787362B2 (ja) 2011-10-05
KR20090013177A (ko) 2009-02-04
EP2071563A4 (en) 2009-09-02
WO2008039043A1 (en) 2008-04-03
US20090157411A1 (en) 2009-06-18
KR20090026121A (ko) 2009-03-11
AU2007300810A1 (en) 2008-04-03
US9384742B2 (en) 2016-07-05
JP5238706B2 (ja) 2013-07-17
US20160314793A1 (en) 2016-10-27
WO2008039039A1 (en) 2008-04-03
EP2071564A4 (en) 2009-09-02
EP2070080A1 (en) 2009-06-17
US9792918B2 (en) 2017-10-17
CA2645910A1 (en) 2008-04-03
KR101069266B1 (ko) 2011-10-04
WO2008039042A1 (en) 2008-04-03
US8504376B2 (en) 2013-08-06
RU2010141970A (ru) 2012-04-20
CA2645908A1 (en) 2008-04-03
MX2008012250A (es) 2008-10-07
US8762157B2 (en) 2014-06-24
KR100987457B1 (ko) 2010-10-13
EP2070081A1 (en) 2009-06-17
US20110196685A1 (en) 2011-08-11
AU2007300810B2 (en) 2010-06-17
BRPI0711104A2 (pt) 2011-08-23
MX2008012246A (es) 2008-10-07
AU2007300812B2 (en) 2010-06-10
CA2646045A1 (en) 2008-04-03
WO2008039041A1 (en) 2008-04-03
KR20090013178A (ko) 2009-02-04
US20090164221A1 (en) 2009-06-25
US8625808B2 (en) 2014-01-07
KR20090009842A (ko) 2009-01-23
JP2010505140A (ja) 2010-02-18
EP2070081A4 (en) 2009-09-30
KR101065704B1 (ko) 2011-09-19
AU2007300813B2 (en) 2010-10-14
CA2646045C (en) 2012-12-11
US20140303985A1 (en) 2014-10-09
EP2071563A1 (en) 2009-06-17
RU2551797C2 (ru) 2015-05-27
BRPI0711185A2 (pt) 2011-08-23
US20080140426A1 (en) 2008-06-12
US7979282B2 (en) 2011-07-12
BRPI0710923A2 (pt) 2011-05-31
AU2007300813A1 (en) 2008-04-03
JP5238707B2 (ja) 2013-07-17
CA2645909C (en) 2012-12-11
JP2010505328A (ja) 2010-02-18
MX2008012251A (es) 2008-10-07
MX2008012315A (es) 2008-10-10
US20090164222A1 (en) 2009-06-25

Similar Documents

Publication Publication Date Title
JP5232789B2 (ja) オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法並びにその装置
RU2455708C2 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130325

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5232789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250