JP6121052B2 - マルチメディア信号処理方法および装置 - Google Patents

マルチメディア信号処理方法および装置 Download PDF

Info

Publication number
JP6121052B2
JP6121052B2 JP2016515421A JP2016515421A JP6121052B2 JP 6121052 B2 JP6121052 B2 JP 6121052B2 JP 2016515421 A JP2016515421 A JP 2016515421A JP 2016515421 A JP2016515421 A JP 2016515421A JP 6121052 B2 JP6121052 B2 JP 6121052B2
Authority
JP
Japan
Prior art keywords
subband
signal
filter
channel
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016515421A
Other languages
English (en)
Other versions
JP2016534586A (ja
Inventor
ヒョンオ オ
ヒョンオ オ
テキョ リ
テキョ リ
Original Assignee
ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド
ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド, ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド filed Critical ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド
Publication of JP2016534586A publication Critical patent/JP2016534586A/ja
Application granted granted Critical
Publication of JP6121052B2 publication Critical patent/JP6121052B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0223—Computation saving measures; Accelerating measures
    • H03H17/0227—Measures concerning the coefficients
    • H03H17/0229—Measures concerning the coefficients reducing the number of taps
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H03H17/0264—Filter sets with mutual related characteristics
    • H03H17/0266—Filter banks
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H03H17/0264—Filter sets with mutual related characteristics
    • H03H17/0272—Quadrature mirror filters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00—Adaptive networks
    • H03H21/0012—Digital adaptive filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Description

本発明は、マルチメディア信号を効果的に再生するための信号処理方法および装置に関し、より詳しくは、複数のサブバンドを有するマルチメディア信号のフィルタリングを低演算量で実現するためのマルチメディア信号処理方法および装置に関する。
マルチチャネル信号をステレオで聴取するためのバイノーラルレンダリング（ｂｉｎａｕｒａｌ ｒｅｎｄｅｒｉｎｇ）は、ターゲットフィルタの長さが増加するほど多くの演算量が求められるという問題がある。特に、録音室の特性を反映したＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いる場合、その長さは４８，０００〜９６，０００サンプルに達したりもする。ここで、２２．２チャネルフォーマットのように入力チャネル数が増加すれば、その演算量は莫大である。
ｉ番目のチャネルの入力信号をｘi(ｎ)、該チャネルの左、右ＢＲＩＲフィルタを各々ｂi L(ｎ)、ｂi R(ｎ)、出力信号をｙL(ｎ)、ｙR(ｎ)とすれば、バイノーラルフィルタリング（ｂｉｎａｕｒａｌ ｆｉｌｔｅｒｉｎｇ）は次のような式で表すことができる。
（数式１）
ここで、＊はコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）を意味する。上記の時間−ドメインコンボリューションは一般的に高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ、ＦＦＴ）に基づいた高速コンボリューション（ｆａｓｔ ｃｏｎｖｏｌｕｔｉｏｎ）を用いて行われる。高速コンボリューションを用いてバイノーラルレンダリングを行う場合、入力チャネル数に該当する回数のＦＦＴと出力チャネル数に該当する回数の逆高速フーリエ変換（Ｉｎｖｅｒｓｅ ＦＦＴ）を実行しなければならない。その上、マルチチャネルオーディオコーデックのようにリアルタイム再生環境の場合にディレイを考慮しなければならないため、ブロック単位（ｂｌｏｃｋ−ｗｉｓｅ）の高速コンボリューションを実行しなければならず、これは全体長さに対して単に高速コンボリューションを実行した時よりさらに多くの演算量を消耗する。
しかし、大半のコード体系（ｃｏｄｉｎｇ ｓｃｈｅｍｅ）は周波数ドメインで行われ、一部のコード体系（例えば、ＨＥ−ＡＡＣ、ＵＳＡＣなど）の場合、復号化過程の最後の段階がＱＭＦドメインで行われる。よって、上記の数式１のようにバイノーラルフィルタリングが時間ドメインで行われる場合、チャネル数だけのＱＭＦ合成（ＱＭＦ ｓｙｎｔｈｅｓｉｓ）のための演算がさらに必要であるために非常に非効率的である。よって、バイノーラルレンダリングをＱＭＦドメインにおいて直接実行する場合に利得がある。
本発明は、マルチチャネルあるいはマルチオブジェクト信号をステレオで再生するにおいて、原信号のような立体感を保存するためのバイノーラルレンダリングにおいて多くの演算量を必要とするフィルタリング過程を音質損失を最小化し、且つ、非常に低い演算量で実現することを目的とする。
また、本発明は、入力信号そのものに歪みがある場合、高品質フィルタを介して歪みの拡散が発生することを最小化することを目的とする。
また、本発明は、非常に長い長さを有するＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタをさらに小さい長さのフィルタに実現することを目的とする。
さらに、本発明は、縮約されたＦＩＲフィルタを用いたフィルタリングの実行時、抜け落ちたフィルタ係数によって損傷した部分の歪みを最小化することを目的とする。
前記のような課題を解決するために、本発明は、次のようなオーディオ信号処理方法およびオーディオ信号処理装置を提供する。
先ず、本発明は、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号を受信するステップ；前記マルチオーディオ信号のフィルタリングのための切断されたサブバンドフィルタ係数を受信するステップ、前記切断されたサブバンドフィルタ係数は前記マルチオーディオ信号のバイノーラルフィルタリングのためのＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ係数から得られたサブバンドフィルタ係数の少なくとも一部分であり、前記切断されたサブバンドフィルタ係数の長さは該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて決められ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる；および前記マルチオーディオ信号の各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記サブバンド信号をフィルタリングするステップ；を含むことを特徴とするオーディオ信号処理方法を提供する。
また、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号に対するバイノーラルレンダリングを行うためのオーディオ信号処理装置であって、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記各サブバンド信号に対する直接音および初期反射音パートのレンダリングを行うための高速コンボリューション部；および前記各サブバンド信号に対する後期残響パートのレンダリングを行うための後期残響生成部を含み、前記高速コンボリューション部は前記マルチオーディオ信号のフィルタリングのための切断されたサブバンドフィルタ係数を受信し、前記切断されたサブバンドフィルタ係数は前記マルチオーディオ信号のバイノーラルフィルタリングのためのＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ係数から得られたサブバンドフィルタ係数の少なくとも一部分であり、前記切断されたサブバンドフィルタ係数の長さは該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて決められ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる、前記マルチオーディオ信号の各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記サブバンド信号をフィルタリングすることを特徴とするオーディオ信号処理装置を提供する。
この時、前記特性情報は該サブバンドフィルタ係数の第１残響時間情報を含み、前記フィルタ次数情報は各サブバンド別に一つの値を有することを特徴とする。
また、前記切断されたサブバンドフィルタの長さは２の累乗の倍数値を有することを特徴とする。
本発明の実施形態によれば、前記複数のサブバンドフィルタ係数および複数のサブバンド信号は各々既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループと高周波数の第２サブバンドグループとを含み、前記フィルタリングするステップは前記第１サブバンドグループの切断されたサブバンドフィルタ係数およびサブバンド信号に対して行われることを特徴とする。
また、本発明の実施形態によれば、前記フィルタリングするステップは該サブバンドフィルタ係数の第１残響時間情報に少なくとも部分的に基づいて切断されたフロントサブバンドフィルタ係数を用いて行われ、前記サブバンドフィルタ係数のうちの前記フロントサブバンドフィルタ係数以後の区間に対応する前記サブバンド信号の残響処理ステップをさらに含むことを特徴とする。
この時、前記残響処理ステップは、各サブバンドに対するダウンミックスサブバンドフィルタ係数を受信するステップ、前記ダウンミックスサブバンドフィルタ係数は該サブバンドの各チャネル別または各オブジェクト別のリヤサブバンドフィルタ係数を組み合わせて生成され、前記リヤサブバンドフィルタ係数は該サブバンドフィルタ係数のうちの前記フロントサブバンドフィルタ係数以後の区間から得られる；前記各サブバンドに対するダウンミックスサブバンド信号を生成するステップ、前記ダウンミックスサブバンド信号は該サブバンドの各チャネル別または各オブジェクト別のサブバンド信号をダウンミックスして生成される；および前記ダウンミックスサブバンド信号とそれに対応する前記ダウンミックスサブバンドフィルタ係数を用いて２チャネルの左、右サブバンド残響信号を生成するステップを含むことを特徴とする。
本発明の一実施形態によれば、前記ダウンミックスサブバンド信号はモノサブバンド信号であり、前記ダウンミックスサブバンドフィルタ係数は該サブバンド信号に対する残響部のエネルギー減少特性を反映し、前記フィルタリングされたモノサブバンド信号に対する非相関（ｄｅｃｏｒｒｅｌａｔｉｏｎ）信号を生成するステップ；および前記フィルタリングされたモノサブバンド信号と前記非相関信号間の加重和を行って２チャネルの左、右信号を生成するステップをさらに含むことを特徴とする。
本発明の他の実施形態によれば、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号を受信するステップ、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記複数のサブバンド信号は既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループの信号と高周波数の第２サブバンドグループの信号を含む；前記第２サブバンドグループの各サブバンド信号に対応する少なくとも一つのパラメータを受信するステップ、前記少なくとも一つのパラメータは前記第２サブバンドグループの各サブバンド信号に対応するＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）サブバンドフィルタ係数から抽出される；前記受信されたパラメータを用いて前記第２サブバンドグループのサブバンド信号に対してタップ−ディレイラインフィルタリングを行うステップ；を含むことを特徴とするオーディオ信号処理方法を提供する。
また、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号に対するバイノーラルレンダリングを行うためのオーディオ信号処理装置であって、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記複数のサブバンド信号は既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループの信号と高周波数の第２サブバンドグループの信号とを含み、前記第１サブバンドグループの各サブバンド信号に対するレンダリングを行うための高速コンボリューション部；および前記第２サブバンドグループの各サブバンド信号に対するレンダリングを行うためのタップ−ディレイラインプロセッシング部を含み、前記タップ−ディレイラインプロセッシング部は前記第２サブバンドグループの各サブバンド信号に対応する少なくとも一つのパラメータを受信し、前記少なくとも一つのパラメータは前記第２サブバンドグループの各サブバンド信号に対応するＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）サブバンドフィルタ係数から抽出され、前記受信されたパラメータを用いて前記第２サブバンドグループのサブバンド信号に対してタップ−ディレイラインフィルタリングを行うことを特徴とするオーディオ信号処理装置を提供する。
この時、前記パラメータは該ＢＲＩＲサブバンドフィルタ係数に対する一つのディレイ情報および前記ディレイ情報に対応する一つのゲイン情報を含むことを特徴とする。
本発明の実施形態によれば、前記タップ−ディレイラインフィルタリングは前記パラメータを用いたワン−タップ−ディレイラインフィルタリングであることを特徴とする。
また、前記ディレイ情報は前記ＢＲＩＲサブバンドフィルタ係数のうち最大ピークに対する位置情報を示すことを特徴とする。
また、前記ディレイ情報はＱＭＦドメインにおいてサンプル単位の整数値を有することを特徴とする。
また、前記ゲイン情報は複素数値を有することを特徴とする。
本発明の一実施形態によれば、前記フィルタリングされたマルチオーディオ信号を各サブバンド別に２チャネルの左、右サブバンド信号に合算するステップ；前記合算された左、右サブバンド信号を前記第１サブバンドグループのマルチオーディオ信号から生成された左、右サブバンド信号と結合するステップ；および前記結合された左、右サブバンド信号を各々ＱＭＦ合成するステップ；をさらに含むことを特徴とする。
本発明のまた他の実施形態によれば、複数のサブバンドを有するマルチメディア信号を受信するステップ；前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）フィルタ係数を受信するステップ；前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換するステップ；前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断するステップ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる；および前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするステップ；を含むことを特徴とするマルチメディア信号処理方法を提供する。
また、複数のサブバンドを有するマルチメディア信号処理装置であって、前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）レンダリングフィルタ係数を受信し、前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換し、前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断し、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる、パラメータ化部；および前記マルチメディア信号を受信し、前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするレンダリングユニット；を含むことを特徴とするマルチメディア信号処理装置を提供する。
この時、前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、前記原型フィルタ係数は時間ドメインのＢＲＩＲフィルタ係数であることを特徴とする。
また、前記特性情報は該サブバンドフィルタ係数のエネルギー減衰時間情報を含み、前記フィルタ次数情報は各サブバンド別に一つの値を有することを特徴とする。
本発明のまた他の実施形態によれば、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号を受信するステップ、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記複数のサブバンド信号は既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループの信号と高周波数の第２サブバンドグループの信号とを含む；前記第１サブバンドグループの前記マルチオーディオ信号のフィルタリングのための切断されたサブバンドフィルタ係数を受信するステップ、前記切断されたサブバンドフィルタ係数は前記マルチオーディオ信号のバイノーラルフィルタリングのためのＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ係数から得られた第１サブバンドグループのサブバンドフィルタ係数の少なくとも一部分であり、前記切断されたサブバンドフィルタ係数の長さは該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて決められる；および前記切断されたサブバンドフィルタ係数を用いて前記第１サブバンドグループのサブバンド信号をフィルタリングするステップ；前記第２サブバンドグループの各サブバンド信号に対応する少なくとも一つのパラメータを受信するステップ、前記少なくとも一つのパラメータは前記第２サブバンドグループの各サブバンド信号に対応するサブバンドフィルタ係数から抽出される；および前記受信されたパラメータを用いて前記第２サブバンドグループのサブバンド信号に対してタップ−ディレイラインフィルタリングを行うステップ；を含むことを特徴とするオーディオ信号処理方法を提供する。
また、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号に対するバイノーラルレンダリングを行うためのオーディオ信号処理装置であって、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記複数のサブバンド信号は既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループの信号と高周波数の第２サブバンドグループの信号とを含み、前記第１サブバンドグループの各サブバンド信号に対するレンダリングを行うための高速コンボリューション部；および前記第２サブバンドグループの各サブバンド信号に対するレンダリングを行うためのタップ−ディレイラインプロセッシング部を含み、前記高速コンボリューション部は前記第１サブバンドグループの前記マルチオーディオ信号のフィルタリングのための切断されたサブバンドフィルタ係数を受信し、前記切断されたサブバンドフィルタ係数は前記マルチオーディオ信号のバイノーラルフィルタリングのためのＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ係数から得られた第１サブバンドグループのサブバンドフィルタ係数の少なくとも一部分であり、前記切断されたサブバンドフィルタ係数の長さは該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて決められ、前記切断されたサブバンドフィルタ係数を用いて前記第１サブバンドグループのサブバンド信号をフィルタリングし、前記タップ−ディレイラインプロセッシング部は前記第２サブバンドグループの各サブバンド信号に対応する少なくとも一つのパラメータを受信し、前記少なくとも一つのパラメータは前記第２サブバンドグループの各サブバンド信号に対応するＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）サブバンドフィルタ係数から抽出され、前記受信されたパラメータを用いて前記第２サブバンドグループのサブバンド信号に対してタップ−ディレイラインフィルタリングを行うことを特徴とするオーディオ信号処理装置を提供する。
この時、前記第１サブバンドグループのサブバンド信号をフィルタリングして生成された２チャネルの左、右サブバンド信号と前記第２サブバンドグループのサブバンド信号をタップ−ディレイラインフィルタリングして生成された２チャネルの左、右サブバンド信号を結合するステップ；および前記結合された左、右サブバンド信号を各々ＱＭＦ合成するステップ；をさらに含むことを特徴とする。
本発明の実施形態によれば、マルチチャネルあるいはマルチオブジェクト信号に対するバイノーラルレンダリングの実行時に音質の損失を最小化し、且つ、演算量を画期的に減らすことができる。
本発明の実施形態によれば、従来の低電力装置においてリアルタイム処理が不可能であったマルチチャネルあるいはマルチオブジェクトオーディオ信号に対する高音質のバイノーラルレンダリングが可能となるようにする。
本発明の実施形態によるオーディオ信号デコーダを示すブロック図である。 本発明の一実施形態によるバイノーラルレンダラーの各構成を示すブロック図である。 本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。 本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。 本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。 本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。 本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。 本発明の実施形態によるバイノーラルレンダリングのためのＦＩＲフィルタ生成方法を示す図である。 本発明の実施形態によるバイノーラルレンダリングのためのＦＩＲフィルタ生成方法を示す図である。 本発明の実施形態によるバイノーラルレンダリングのためのＦＩＲフィルタ生成方法を示す図である。 本発明のＰ−パートレンダリング部の様々な実施形態を示す図である。 本発明のＰ−パートレンダリング部の様々な実施形態を示す図である。 本発明のＰ−パートレンダリング部の様々な実施形態を示す図である。 本発明のＰ−パートレンダリング部の様々な実施形態を示す図である。 本発明のＱＴＤＬプロセッシングの様々な実施形態を示す図である。 本発明のＱＴＤＬプロセッシングの様々な実施形態を示す図である。
本明細書で用いられる用語は本発明における機能を考慮して可能な限り現在広く用いられる一般的な用語を選択しているが、これは当分野における技術者の意図、慣例または新しい技術の出現などによって異なりうる。また、特定の場合には出願人が任意に選定した用語もあり、この場合には該発明の説明の部分でその意味を記載することにする。よって、本明細書で用いられる用語は、単純な用語の名称でなく、その用語が有した実質的な意味と本明細書の全般にわたった内容に基づいて解釈しなければならないということを明らかにしておく。
図１は、本発明の実施形態によるオーディオ信号デコーダを示すブロック図である。本発明のオーディオ信号デコーダは、コアデコーダ１０、レンダリングユニット２０、ミキサー３０、およびポストプロセッシングユニット４０を含む。
先ず、コアデコーダ１０は、スピーカ（ｌｏｕｄｓｐｅａｋｅｒ）チャネル信号、個別（ｄｉｓｃｒｅｔｅ）オブジェクト信号、オブジェクトダウンミックス信号および事前−レンダリングされた（ｐｒｅ−ｒｅｎｄｅｒｅｄ）信号などを復号化する。一実施形態によれば、前記コアデコーダ１０においては、ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）ベースのコーデックが用いられることができる。コアデコーダ１０は、受信されたビットストリームを復号化してレンダリングユニット２０に伝達する。
レンダリングユニット２０は、コアデコーダ１０によって復号化された信号を再生レイアウト（ｒｅｐｒｏｄｕｃｔｉｏｎ ｌａｙｏｕｔ）情報を用いてレンダリングする。レンダリングユニット２０は、フォーマットコンバータ２２、オブジェクトレンダラー２４、ＯＡＭデコーダ２５、ＳＡＯＣデコーダ２６およびＨＯＡデコーダ２８を含むことができる。レンダリングユニット２０は、復号化された信号のタイプに応じて前記構成のうちいずれか一つを用いてレンダリングを行う。
フォーマットコンバータ２２は、送信されたチャネル信号を出力スピーカチャネル信号に変換する。すなわち、フォーマットコンバータ２２は、送信されたチャネル構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）と再生しようとするスピーカチャネル構成間の変換を行う。仮に、出力スピーカチャネルの個数（例えば、５．１チャネル）が送信されたチャネルの個数（例えば、２２．２チャネル）より少ないかまたは送信されたチャネル構成と再生しようとするチャネル構成が異なる場合、フォーマットコンバータ２２は送信されたチャネル信号に対するダウンミックスを行う。本発明のオーディオ信号デコーダは、入力チャネル信号と出力スピーカチャネル信号間の組み合わせを用いて最適のダウンミックスマトリックスを生成し、前記マトリックスを用いてダウンミックスを行うことができる。本発明の実施形態によれば、フォーマットコンバータ２２が処理するチャネル信号には事前−レンダリングされたオブジェクト信号が含まれることができる。一実施形態によれば、オーディオ信号の符号化前に少なくとも一つのオブジェクト信号が事前−レンダリングされてチャネル信号にミックス（ｍｉｘ）できる。このようにミックスされたオブジェクト信号は、チャネル信号と共にフォーマットコンバータ２２によって出力スピーカチャネル信号に変換されることができる。
オブジェクトレンダラー２４およびＳＡＯＣデコーダ２６は、オブジェクトベースのオーディオ信号に対するレンダリングを行う。オブジェクトベースのオーディオ信号には、個別オブジェクトウェーブフォームとパラメトリックオブジェクトウェーブフォームが含まれることができる。個別オブジェクトウェーブフォームの場合、各オブジェクト信号はモノフォニック（ｍｏｎｏｐｈｏｎｉｃ）ウェーブフォームでエンコーダに提供され、エンコーダは単一チャネルエレメント（Ｓｉｎｇｌｅ Ｃｈａｎｎｅｌ Ｅｌｅｍｅｎｔｓ、ＳＣＥｓ）を用いて各オブジェクト信号を送信する。パラメトリックオブジェクトウェーブフォームの場合、複数のオブジェクト信号が少なくとも一つのチャネル信号にダウンミックスされ、各オブジェクトの特徴とこれら間の関係がＳＡＯＣ（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ）パラメータで表現される。オブジェクト信号はダウンミックスされてコアコーデックで符号化され、この時に生成されるパラメトリック情報が共にデコーダに送信される。
一方、個別オブジェクトウェーブフォームまたはパラメトリックオブジェクトウェーブフォームがオーディオ信号デコーダに送信される時、それに対応する圧縮されたオブジェクトメタデータが共に送信されることができる。オブジェクトメタデータは、オブジェクト属性を時間と空間単位で量子化して３次元空間における各オブジェクトの位置およびゲイン値を指定する。レンダリングユニット２０のＯＡＭデコーダ２５は圧縮されたオブジェクトメタデータを受信し、それを復号化してオブジェクトレンダラー２４および／またはＳＡＯＣデコーダ２６に伝達する。
オブジェクトレンダラー２４は、オブジェクトメタデータを用いて各オブジェクト信号を与えられた再生フォーマットに応じてレンダリングする。この時、各オブジェクト信号は、オブジェクトメタデータに基づいて特定の出力チャネルにレンダリングされることができる。ＳＡＯＣデコーダ２６は、復号化されたＳＡＯＣ送信チャネルとパラメトリック情報からオブジェクト／チャネル信号を復元する。前記ＳＡＯＣデコーダ２６は、再生レイアウト情報とオブジェクトメタデータに基づいて出力オーディオ信号を生成することができる。このように、オブジェクトレンダラー２４およびＳＡＯＣデコーダ２６はオブジェクト信号をチャネル信号にレンダリングすることができる。
ＨＯＡデコーダ２８は、ＨＯＡ（Ｈｉｇｈｅｒ Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ）信号およびＨＯＡ付加情報を受信し、それを復号化する。ＨＯＡデコーダ２８は、チャネル信号やオブジェクト信号を別途の数式でモデリングしてサウンドシーン（ｓｏｕｎｄ ｓｃｅｎｅ）を生成する。生成されたサウンドシーンにおいてスピーカがある空間上の位置を選択すれば、スピーカチャネル信号にレンダリングが行われることができる。
一方、図１には示されていないが、レンダリングユニット２０の各構成要素にオーディオ信号が伝達される時、前処理過程としてダイナミックレンジ制御（Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｎｔｒｏｌ、ＤＲＣ）が行われることができる。ＤＲＣは再生するオーディオ信号の動的範囲を一定レベルに制限することであり、既に設定された閾値（ｔｈｒｅｓｈｏｌｄ）より小さい音はより大きく、既に設定された閾値より大きい音はより小さく調整する。
レンダリングユニット２０によって処理されたチャネルベースのオーディオ信号およびオブジェクトベースのオーディオ信号はミキサー３０に伝達される。ミキサー３０は、チャネルベースのウェーブフォームとレンダリングされたオブジェクトウェーブフォームのディレイ（ｄｅｌａｙ）を調整し、それをサンプル単位で合算する。ミキサー３０によって合算されたオーディオ信号はポストプロセッシングユニット４０に伝達される。
ポストプロセッシングユニット４０は、スピーカレンダラー１００とバイノーラルレンダラー２００とを含む。スピーカレンダラー１００は、ミキサー３０から伝達されたマルチチャネルおよび／またはマルチオブジェクトオーディオ信号を出力するためのポストプロセッシングを行う。このようなポストプロセッシングには、ダイナミックレンジ制御（ＤＲＣ）、音量正規化（Ｌｏｕｄｎｅｓｓ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＬＮ）およびピークリミッタ（Ｐｅａｋ Ｌｉｍｉｔｅｒ、ＰＬ）などが含まれることができる。
バイノーラルレンダラー２００は、マルチチャネルおよび／またはマルチオブジェクトオーディオ信号のバイノーラルダウンミックス信号を生成する。バイノーラルダウンミックス信号は、各入力チャネル／オブジェクト信号が３次元上に位置した仮想の音源によって表現されるようにする２チャネルのオーディオ信号である。バイノーラルレンダラー２００は、スピーカレンダラー１００に供給されるオーディオ信号を入力信号として受信することができる。バイノーラルレンダリングはＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタに基づいて行われ、時間ドメインまたはＱＭＦドメイン上で行われることができる。実施形態によれば、バイノーラルレンダリングの後処理過程として、前述したダイナミックレンジ制御（ＤＲＣ）、音量正規化（ＬＮ）およびピークリミッタ（ＰＬ）などがさらに行われることができる。
図２は、本発明の一実施形態によるバイノーラルレンダラーの各構成を示すブロック図である。図示したように、本発明の実施形態によるバイノーラルレンダラー２００は、ＢＲＩＲパラメータ化部２１０、高速コンボリューション部２３０、後期残響生成部２４０、ＱＴＤＬプロセッシング部２５０、およびミキサー＆コンバイナ２６０を含むことができる。
バイノーラルレンダラー２００は、様々なタイプの入力信号に対するバイノーラルレンダリングを行って、３Ｄオーディオヘッドホン信号（すなわち、３Ｄオーディオ２チャネル信号）を生成する。この時、入力信号は、チャネル信号（すなわち、スピーカチャネル信号）、オブジェクト信号およびＨＯＡ信号のうち少なくとも一つを含むオーディオ信号であってもよい。本発明の他の実施形態によれば、バイノーラルレンダラー２００が別途のデコーダを含む場合、前記入力信号は、前述したオーディオ信号の符号化されたビットストリームであってもよい。バイノーラルレンダリングは、復号化された入力信号をバイノーラルダウンミックス信号に変換して、ヘッドホンで聴取時にサラウンド音響を体験することができるようにする。
本発明の実施形態によれば、バイノーラルレンダラー２００は、入力信号に対するバイノーラルレンダリングをＱＭＦドメイン上で行うことができる。例えば、バイノーラルレンダラー２００は、ＱＭＦドメインのマルチチャネル（Ｎ ｃｈａｎｎｅｌｓ）信号を受信し、ＱＭＦドメインのＢＲＩＲサブバンドフィルタを用いて前記マルチチャネル信号に対するバイノーラルレンダリングを行うことができる。ＱＭＦ分析フィルタバンクを通過したｉ番目のチャネルのｋ番目のサブバンド（ｓｕｂｂａｎｄ）信号をｘk,i(ｌ)、サブバンドドメインにおける時間インデックスをｌとすれば、ＱＭＦドメインにおけるバイノーラルレンダリングは次のような式で表すことができる。
（数式２）
ここで、ｍ∈{L,R}であり、ｂk,i m(ｌ)は時間ドメインＢＲＩＲフィルタをＱＭＦドメインのサブバンドフィルタに変換したものである。
すなわち、バイノーラルレンダリングは、ＱＭＦドメインのチャネル信号またはオブジェクト信号を複数のサブバンド信号に分け、各サブバンド信号をそれに対応するＢＲＩＲサブバンドフィルタとコンボリューションした後に合算する方法により行われることができる。
ＢＲＩＲパラメータ化部２１０は、ＱＭＦドメインにおけるバイノーラルレンダリングのためにＢＲＩＲフィルタ係数を変換および編集し、各種パラメータを生成する。先ず、ＢＲＩＲパラメータ化部２１０は、マルチチャネルまたはマルチオブジェクトに対する時間ドメインＢＲＩＲフィルタ係数を受信し、それをＱＭＦドメインＢＲＩＲフィルタ係数に変換する。この時、ＱＭＦドメインＢＲＩＲフィルタ係数は、複数の周波数バンドに各々対応する複数のサブバンドフィルタ係数を含む。本発明において、サブバンドフィルタ係数は、ＱＭＦ変換されたサブバンドドメインの各ＢＲＩＲフィルタ係数を示す。本明細書において、サブバンドフィルタ係数はＢＲＩＲサブバンドフィルタ係数と称することもできる。ＢＲＩＲパラメータ化部２１０は、ＱＭＦドメインの複数のＢＲＩＲサブバンドフィルタ係数を各々編集し、編集されたサブバンドフィルタ係数を高速コンボリューション部２３０などに伝達することができる。本発明の実施形態によれば、ＢＲＩＲパラメータ化部２１０はバイノーラルレンダラー２００の一構成要素として含まれてもよく、別途の装置として備えられてもよい。一実施形態によれば、ＢＲＩＲパラメータ化部２１０を除いた高速コンボリューション部２３０、後期残響生成部２４０、ＱＴＤＬプロセッシング部２５０、およびミキサー＆コンバイナ２６０を含む構成がバイノーラルレンダリングユニット２２０に分類されることができる。
一実施形態によれば、ＢＲＩＲパラメータ化部２１０は、仮想再生空間の少なくとも一つの位置に対応するＢＲＩＲフィルタ係数を入力として受信することができる。前記仮想再生空間の各位置はマルチチャネルシステムの各スピーカ位置に対応する。一実施形態によれば、ＢＲＩＲパラメータ化部２１０が受信した各ＢＲＩＲフィルタ係数は、バイノーラルレンダラー２００の入力信号の各チャネルまたは各オブジェクトに直接マッチングされることができる。その反面、本発明の他の実施形態によれば、前記受信された各ＢＲＩＲフィルタ係数は、バイノーラルレンダラー２００の入力信号に独立した構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）を有することができる。すなわち、ＢＲＩＲパラメータ化部２１０が受信したＢＲＩＲフィルタ係数のうち少なくとも一部はバイノーラルレンダラー２００の入力信号に直接マッチングされなくてもよく、受信されたＢＲＩＲフィルタ係数の個数は入力信号のチャネルおよび／またはオブジェクトの総数より小さいか大きくてもよい。
本発明の実施形態によれば、ＢＲＩＲパラメータ化部２１０は、バイノーラルレンダラー２００の入力信号の各チャネルまたは各オブジェクトに対応するＢＲＩＲフィルタ係数を変換および編集してバイノーラルレンダリングユニット２２０に伝達することができる。前記対応するＢＲＩＲフィルタ係数は、各チャネルまたは各オブジェクトに対するマッチングＢＲＩＲまたはフォールバック（ｆａｌｌｂａｃｋ）ＢＲＩＲであってもよい。ＢＲＩＲマッチングは、仮想再生空間上で各チャネルまたは各オブジェクトの位置をターゲットとするＢＲＩＲフィルタ係数が存在するか否かによって決定される。仮に、入力信号の各チャネルまたは各オブジェクトの位置のうち少なくとも一つをターゲットとするＢＲＩＲフィルタ係数が存在する場合、該ＢＲＩＲフィルタ係数は入力信号のマッチングＢＲＩＲであってもよい。しかし、特定チャネルまたはオブジェクトの位置をターゲットとするＢＲＩＲフィルタ係数が存在しない場合、バイノーラルレンダリングユニット２２０は該チャネルまたはオブジェクトと最も類似する位置をターゲットとするＢＲＩＲフィルタ係数を該チャネルまたはオブジェクトに対するフォールバックＢＲＩＲとして提供することができる。
一方、本発明の他の実施形態によれば、ＢＲＩＲパラメータ化部２１０は、受信されたＢＲＩＲフィルタ係数の全体を変換および編集してバイノーラルレンダリングユニット２２０に伝達することができる。この時、入力信号の各チャネルまたは各オブジェクトに対応するＢＲＩＲフィルタ係数（または、編集されたＢＲＩＲフィルタ係数）の選別作業は、バイノーラルレンダリングユニット２２０で行われることができる。
バイノーラルレンダリングユニット２２０は高速コンボリューション部２３０、後期残響生成部２４０およびＱＴＤＬプロセッシング部２５０を含み、マルチチャネルおよび／またはマルチオブジェクト信号を含むマルチオーディオ信号を受信する。本明細書では、マルチチャネルおよび／またはマルチオブジェクト信号を含む入力信号をマルチオーディオ信号と称することにする。図２では一実施形態によりバイノーラルレンダリングユニット２２０がＱＭＦドメインのマルチチャネル信号を受信するものとして示されているが、バイノーラルレンダリングユニット２２０の入力信号には時間ドメインマルチチャネル信号およびマルチオブジェクト信号などが含まれることができる。また、バイノーラルレンダリングユニット２２０が別途のデコーダをさらに含む場合、前記入力信号は前記マルチオーディオ信号の符号化されたビットストリームであってもよい。それに加え、本明細書ではマルチオーディオ信号に対するＢＲＩＲレンダリングを行うケースを基準に本発明を説明するが、本発明はこれに限定されるものではない。すなわち、本発明で提供する特徴はＢＲＩＲでない他種類のレンダリングフィルタに適用されてもよく、マルチオーディオ信号でない単一チャネルまたは単一オブジェクトのオーディオ信号に対して適用されてもよい。
高速コンボリューション部２３０は、入力信号とＢＲＩＲフィルタ間の高速コンボリューションを行って、入力信号に対する直接音（ｄｉｒｅｃｔ ｓｏｕｎｄ）と初期反射音（ｅａｒｌｙ ｒｅｆｌｅｃｔｉｏｎ）を処理する。このために、高速コンボリューション部２３０は、切断された（ｔｒｕｎｃａｔｅｄ）ＢＲＩＲを用いて高速コンボリューションを行うことができる。切断されたＢＲＩＲは各サブバンド周波数に従属的に切断された複数のサブバンドフィルタ係数を含み、ＢＲＩＲパラメータ化部２１０によって生成される。この時、各切断されたサブバンドフィルタ係数の長さは該サブバンドの周波数に従属的に決定される。高速コンボリューション部２３０は、サブバンドに応じて互いに異なる長さを有する切断されたサブバンドフィルタ係数を用いることによって、周波数ドメインにおける可変次数（ｖａｒｉａｂｌｅ ｏｒｄｅｒ）フィルタリングを行うことができる。すなわち、各周波数バンド別にＱＭＦドメインサブバンドオーディオ信号とそれに対応するＱＭＦドメインの切断されたサブバンドフィルタ間の高速コンボリューションが行われることができる。本明細書において、直接音および初期反射音（Ｄｉｒｅｃｔ ｓｏｕｎｄ ＆ Ｅａｒｌｙ ｒｅｆｌｅｃｔｉｏｎ、Ｄ＆Ｅ）パートはＦ（ｆｒｏｎｔ）−パートと称することができる。
後期残響生成部２４０は、入力信号に対する後期残響（ｌａｔｅ ｒｅｖｅｒｂｅｒａｔｉｏｎ）信号を生成する。後期残響信号は、高速コンボリューション部２３０で生成された直接音および初期反射音以後の出力信号を示す。後期残響生成部２４０は、ＢＲＩＲパラメータ化部２１０から伝達された各サブバンドフィルタ係数から決定された残響時間情報に基づいて入力信号を処理することができる。本発明の実施形態によれば、後期残響生成部２４０は、入力オーディオ信号に対するモノまたはステレオダウンミックス信号を生成し、生成されたダウンミックス信号に対する後期残響処理を行うことができる。本明細書において、後期残響（Ｌａｔｅ Ｒｅｖｅｒｂｅｒａｔｉｏｎ、ＬＲ）パートはＰ（ｐａｒａｍｅｔｒｉｃ）−パートと称することができる。
ＱＴＤＬ（ＱＭＦ ｄｏｍａｉｎ Ｔａｐｐｅｄ Ｄｅｌａｙ Ｌｉｎｅ）プロセッシング部２５０は、入力オーディオ信号のうちの高周波数バンドの信号を処理する。ＱＴＤＬプロセッシング部２５０は、高周波数バンドの各サブバンド信号に対応する少なくとも一つのパラメータをＢＲＩＲパラメータ化部２１０から受信し、受信されたパラメータを用いてＱＭＦドメインにおいてタップ−ディレイラインフィルタリングを行う。本発明の実施形態によれば、バイノーラルレンダラー２００は既に設定された定数または既に設定された周波数バンドに基づいて入力オーディオ信号を低周波数バンド信号と高周波数バンド信号に分離し、低周波数バンド信号は高速コンボリューション部２３０および後期残響生成部２４０において、高周波数バンド信号はＱＴＤＬプロセッシング部２５０において各々処理することができる。
高速コンボリューション部２３０、後期残響生成部２４０およびＱＴＤＬプロセッシング部２５０は、各々２チャネルのＱＭＦドメインサブバンド信号を出力する。ミキサー＆コンバイナ２６０は、高速コンボリューション部２３０の出力信号、後期残響生成部２４０の出力信号、およびＱＴＤＬプロセッシング部２５０の出力信号を結合してミキシングを行う。この時、出力信号の結合は、２チャネルの左、右出力信号に対して各々別途に行われる。バイノーラルレンダラー２００は、結合された出力信号をＱＭＦ合成して時間ドメインの最終出力オーディオ信号を生成する。
以下、各図面を参照して図２の高速コンボリューション部２３０、後期残響生成部２４０、ＱＴＤＬプロセッシング部２５０、およびこれらの組み合わせに対する様々な実施形態を具体的に説明する。
図３〜図７は、本発明に係るオーディオ信号処理装置の様々な実施形態を示している。本発明において、オーディオ信号処理装置は、狭義の意味としては、図２に示されたバイノーラルレンダラー２００またはバイノーラルレンダリングユニット２２０を指し示すことができる。しかし、本発明において、オーディオ信号処理装置は、広義の意味としては、バイノーラルレンダラーを含む図１のオーディオ信号デコーダを指し示すことができる。図３〜図７に示された各バイノーラルレンダラーは、説明の便宜のため、図２に示されたバイノーラルレンダラー２００の一部構成だけを示すことができる。また、以下、本明細書ではマルチチャネル入力信号に対する実施形態を主に記述するが、別途の言及がない場合、チャネル、マルチチャネルおよびマルチチャネル入力信号は各々オブジェクト、マルチオブジェクトおよびマルチオブジェクト入力信号を含む概念として用いられることができる。それのみならず、マルチチャネル入力信号は、ＨＯＡ復号およびレンダリングされた信号を含む概念として用いられることもできる。
図３は、本発明の一実施形態によるバイノーラルレンダラー２００Ａを示している。ＢＲＩＲを用いたバイノーラルレンダリングを一般化すれば、Ｍ個のチャネルを有するマルチチャネルの入力信号に対してＯ個の出力信号を得るためのＭ−ｔｏ−Ｏプロセッシングである。バイノーラルフィルタリングは、この過程で各々の入力チャネルと出力チャネルに対応するフィルタ係数を用いたフィルタリングとみなすことができる。図３において、原本フィルタセットＨは、各チャネル信号のスピーカ位置から左、右の耳の位置までの伝達関数を意味する。このような伝達関数中、一般的な聴音空間、すなわち、残響がある空間で測定したものをＢｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ（ＢＲＩＲ）と呼ぶ。その反面、再生空間の影響がないように無響室で測定したものをＨｅａｄ Ｒｅｌａｔｅｄ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ（ＨＲＩＲ）といい、それに対する伝達関数をＨｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ（ＨＲＴＦ）と呼ぶ。よって、ＢＲＩＲは、ＨＲＴＦとは異なり、方向情報だけでなく、再生空間の情報を共に含んでいる。一実施形態によれば、ＨＲＴＦと人工残響器（ａｒｔｉｆｉｃｉａｌ ｒｅｖｅｒｂｅｒａｔｏｒ）を用いてＢＲＩＲを代えることもできる。本明細書ではＢＲＩＲを用いたバイノーラルレンダリングについて説明するが、本発明はこれに限定されず、様々な形態のＦＩＲフィルタを用いたバイノーラルレンダリングにも同様に適用可能である。一方、ＢＲＩＲは前述したように９６Ｋ個のサンプル長さを有することができ、マルチチャネルバイノーラルレンダリングはＭ＊Ｏ個の互いに異なるフィルタを用いて行われるので高演算量の処理過程が要求される。
本発明の実施形態によれば、ＢＲＩＲパラメータ化部２１０は、演算量の最適化のために原本フィルタセットＨから変形されたフィルタ係数を生成することができる。ＢＲＩＲパラメータ化部２１０は、原本フィルタ係数をＦ（ｆｒｏｎｔ）−パート係数とＰ（ｐａｒａｍｅｔｒｉｃ）−パート係数に分離する。ここで、Ｆ−パートは直接音および初期反射音（Ｄ＆Ｅ）パートを示し、Ｐ−パートは後期残響（ＬＲ）パートを示す。例えば、９６Ｋサンプル長さを有する原本フィルタ係数は前の４Ｋサンプルまでだけを切断したＦ−パートと、残りの９２Ｋサンプルに対応する部分であるＰ−パートに各々分離することができる。
バイノーラルレンダリングユニット２２０は、ＢＲＩＲパラメータ化部２１０からＦ−パート係数およびＰ−パート係数を各々受信し、それを用いてマルチチャネル入力信号をレンダリングする。本発明の実施形態によれば、図２に示された高速コンボリューション部２３０はＢＲＩＲパラメータ化部２１０から受信されたＦ−パート係数を用いてマルチオーディオ信号をレンダリングし、後期残響生成部２４０はＢＲＩＲパラメータ化部２１０から受信されたＰ−パート係数を用いてマルチオーディオ信号をレンダリングすることができる。すなわち、高速コンボリューション部２３０と後期残響生成部２４０は、各々、本発明のＦ−パートレンダリング部とＰ−パートレンダリング部に対応する。一実施形態によれば、Ｆ−パートレンダリング（Ｆ−パート係数を用いたバイノーラルレンダリング）は通常のＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタで実現され、Ｐ−パートレンダリング（Ｐ−パート係数を用いたバイノーラルレンダリング）はパラメトリックな方法で実現されることができる。一方、ユーザーまたは制御システムによって提供される複雑度−クォリティー制御入力は、Ｆ−パートおよび／またはＰ−パートに生成される情報を決めるのに用いられることができる。
図４は、本発明の他の実施形態によるバイノーラルレンダラー２００Ｂであり、Ｆ−パートレンダリングを実現するより詳細な方法を示している。説明の便宜のため、図４ではＰ−パートレンダリング部は省略した。また、図４ではＱＭＦドメインで実現されたフィルタを示しているが、本発明はこれに限定されず、他ドメインのサブバンドプロセッシングに全て適用可能である。
図４を参照すれば、Ｆ−パートレンダリングは、ＱＭＦドメイン上で高速コンボリューション部２３０によって行われることができる。ＱＭＦドメイン上におけるレンダリングのために、ＱＭＦ分析部２２２は、時間ドメイン入力信号ｘ０、ｘ１、…ｘ＿Ｍ−１をＱＭＦドメイン信号Ｘ０、Ｘ１、…Ｘ＿Ｍ−１に変換する。この時、入力信号ｘ０、ｘ１、…ｘ＿Ｍ−１はマルチチャネルオーディオ信号、例えば、２２．２チャネルスピーカに対応するチャネル信号であってもよい。ＱＭＦドメインは全６４個のサブバンドを用いることができるが、本発明はこれに限定されるものではない。一方、本発明の一実施形態によれば、ＱＭＦ分析部２２２は、バイノーラルレンダラー２００Ｂにおいて省略されてもよい。ＳＢＲ（Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ）を用いるＨＥ−ＡＡＣやＵＳＡＣの場合、ＱＭＦドメインにおいてプロセッシングを行うため、バイノーラルレンダラー２００Ｂは、ＱＭＦ分析なしで直ちにＱＭＦドメイン信号Ｘ０、Ｘ１、…Ｘ＿Ｍ−１を入力として受信することができる。よって、このようにＱＭＦドメイン信号を直接入力として受信する場合、本発明に係るバイノーラルレンダラーにおいて用いるＱＭＦは、以前処理部（例えば、ＳＢＲ）において用いるＱＭＦと同一であることを特徴とする。ＱＭＦ合成部２４４は、バイノーラルレンダリングが行われた２チャネルの左、右信号Ｙ＿Ｌ、Ｙ＿ＲをＱＭＦ合成して時間ドメインの２チャネル出力オーディオ信号ｙＬ、ｙＲを生成する。
図５〜図７は、各々、Ｆ−パートレンダリングとＰ−パートレンダリングを共に行うバイノーラルレンダラー２００Ｃ，２００Ｄ，２００Ｅの実施形態を示している。図５〜図７の実施形態において、Ｆ−パートレンダリングはＱＭＦドメイン上で高速コンボリューション部２３０によって行われ、Ｐ−パートレンダリングはＱＭＦドメインまたは時間ドメイン上で後期残響生成部２４０によって行われる。図５〜図７の実施形態において、以前の図面の実施形態と重複する部分については具体的な説明は省略する。
図５を参照すれば、バイノーラルレンダラー２００Ｃは、Ｆ−パートレンダリングおよびＰ−パートレンダリングを全てＱＭＦドメインにおいて行うことができる。すなわち、バイノーラルレンダラー２００ＣのＱＭＦ分析部２２２は、時間ドメイン入力信号ｘ０、ｘ１、…ｘ＿Ｍ−１をＱＭＦドメイン信号Ｘ０、Ｘ１、…Ｘ＿Ｍ−１に変換して、各々、高速コンボリューション部２３０および後期残響生成部２４０に伝達する。高速コンボリューション部２３０および後期残響生成部２４０は、ＱＭＦドメイン信号Ｘ０、Ｘ１、…Ｘ＿Ｍ−１をレンダリングして、各々、２チャネルの出力信号Ｙ＿Ｌ、Ｙ＿ＲおよびＹ＿Ｌｐ、Ｙ＿Ｒｐを生成する。この時、高速コンボリューション部２３０および後期残響生成部２４０は、ＢＲＩＲパラメータ化部２１０によって受信したＦ−パートフィルタ係数およびＰ−パートフィルタ係数を各々用いてレンダリングを行うことができる。Ｆ−パートレンダリングの出力信号Ｙ＿Ｌ、Ｙ＿ＲとＰ−パートレンダリングの出力信号Ｙ＿Ｌｐ、Ｙ＿Ｒｐは、ミキサー＆コンバイナ２６０において左、右チャネル別に結合されてＱＭＦ合成部２２４に伝達される。ＱＭＦ合成部２２４は、入力された２チャネルの左、右信号をＱＭＦ合成して時間ドメインの２チャネル出力オーディオ信号ｙＬ、ｙＲを生成する。
図６を参照すれば、バイノーラルレンダラー２００Ｄは、ＱＭＦドメインにおいてＦ−パートレンダリングを、時間ドメインにおいてＰ−パートレンダリングを各々行うことができる。バイノーラルレンダラー２００ＤのＱＭＦ分析部２２２は、時間ドメイン入力信号をＱＭＦ変換して高速コンボリューション部２３０に伝達する。高速コンボリューション部２３０は、ＱＭＦドメイン信号をＦ−パートレンダリングして２チャネルの出力信号Ｙ＿Ｌ、Ｙ＿Ｒを生成する。ＱＭＦ合成部２２４は、Ｆ−パートレンダリングの出力信号を時間ドメイン出力信号に変換してミキサー＆コンバイナ２６０に伝達する。一方、後期残響生成部２４０は、時間ドメイン入力信号を直接受信してＰ−パートレンダリングを行う。Ｐ−パートレンダリングの出力信号ｙＬｐ、ｙＲｐは、ミキサー＆コンバイナ２６０に伝達される。ミキサー＆コンバイナ２６０は、時間ドメイン上でＦ−パートレンダリング出力信号およびＰ−パートレンダリング出力信号を各々結合して時間ドメインの２チャネル出力オーディオ信号ｙＬ、ｙＲを生成する。
図５と図６の実施形態ではＦ−パートレンダリングおよびＰ−パートレンダリングが各々並列（ｐａｒａｌｌｅｌ）に行われる反面、図７の実施形態によれば、バイノーラルレンダラー２００ＥはＦ−パートレンダリングとＰ−パートレンダリングを各々順次（ｓｅｑｕｅｎｔｉａｌ）に行うことができる。すなわち、高速コンボリューション部２３０はＱＭＦ変換された入力信号をＦ−パートレンダリングし、Ｆ−パートレンダリングされた２チャネル信号Ｙ＿Ｌ、Ｙ＿ＲはＱＭＦ合成部２２４において時間ドメイン信号に変換された後、後期残響生成部２４０に伝達される。後期残響生成部２４０は、入力された２チャネル信号に対するＰ−パートレンダリングを行って、時間ドメインの２チャネル出力オーディオ信号ｙＬ、ｙＲを生成する。
図５〜図７は各々Ｆ−パートレンダリングとＰ−パートレンダリングを行う一実施形態を示すものであり、各図面の実施形態を組み合わせまたは変形してバイノーラルレンダリングを行うことができる。例えば、各実施形態において、バイノーラルレンダラーは入力されたマルチオーディオ信号の各々に対して個別的にＰ−パートレンダリングを行うこともできるが、入力信号を２チャネルの左、右信号またはモノ信号にダウンミックスした後にダウンミックス信号に対するＰ−パートレンダリングを行うこともできる。
＜周波数ドメイン可変次数フィルタリング（Ｖａｒｉａｂｌｅ Ｏｒｄｅｒ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｆｒｅｑｕｅｎｃｙ−ｄｏｍａｉｎ、ＶＯＦＦ）＞
図８〜図１０は、本発明の実施形態によるバイノーラルレンダリングのためのＦＩＲフィルタ生成方法を示している。本発明の実施形態によれば、ＱＭＦドメインにおけるバイノーラルレンダリングのために、ＱＭＦドメインの複数のサブバンドフィルタに変換されたＦＩＲフィルタが用いられることができる。この時、Ｆ−パートレンダリングには、各サブバンド周波数に従属的に切断されたサブバンドフィルタが用いられることができる。すなわち、バイノーラルレンダラーの高速コンボリューション部は、サブバンドに応じて互いに異なる長さを有する切断されたサブバンドフィルタを用いることによって、ＱＭＦドメインにおける可変次数フィルタリングを行うことができる。以下で説明する図８〜図１０のフィルタ生成の実施形態は図２のＢＲＩＲパラメータ化部２１０によって行われることができる。
図８は、バイノーラルレンダリングに用いられるＱＭＦドメインフィルタの各ＱＭＦバンドに応じた長さの一実施形態を示している。図８の実施形態において、ＦＩＲフィルタはＩ個のＱＭＦサブバンドフィルタに変換され、ＦｉはＱＭＦサブバンドｉの切断されたサブバンドフィルタを示す。ＱＭＦドメインは全６４個のサブバンドを用いることができるが、本発明はこれに限定されるものではない。また、Ｎは原本サブバンドフィルタの長さ（タップ数）を示し、切断されたサブバンドフィルタの長さは各々Ｎ１、Ｎ２、Ｎ３で示す。この時、長さＮ、Ｎ１、Ｎ２およびＮ３はダウンサンプルされたＱＭＦドメインにおけるタップ数を示す。
本発明の実施形態によれば、各サブバンドに応じて互いに異なる長さ（Ｎ１、Ｎ２、Ｎ３）を有する切断されたサブバンドフィルタがＦ−パートレンダリングに用いられることができる。この時、切断されたサブバンドフィルタは原本サブバンドフィルタにおいて切断された前部（ｆｒｏｎｔ）のフィルタであり、フロントサブバンドフィルタと称することができる。また、原本サブバンドフィルタの切断以後の後部（ｒｅａｒ）はリヤサブバンドフィルタと称することができ、Ｐ−パートレンダリングに用いられることができる。
ＢＲＩＲフィルタを用いたレンダリングの場合、各サブバンド別のフィルタ次数（すなわち、フィルタ長さ）は、原本ＢＲＩＲフィルタから抽出されたパラメータ、例えば、各サブバンドフィルタ別の残響時間（Ｒｅｖｅｒｂｅｒａｔｉｏｎ Ｔｉｍｅ、ＲＴ）情報、ＥＤＣ（Ｅｎｅｒｇｙ Ｄｅｃａｙ Ｃｕｒｖｅ）値、エネルギー減衰時間情報などに基づいて決定されることができる。各周波数別に空気中での減衰、壁および天井の材質に応じた吸音程度が異なる音響的な特性のため、残響時間は周波数に応じて互いに異なりうる。一般的には、低周波数の信号であるほど残響時間が長いという特性を有する。残響時間が長ければ、ＦＩＲフィルタの後部に多くの情報が残っていることを意味するため、該フィルタを長く切断して用いることが残響情報を正しく伝達するのに好ましい。よって、本発明の各切断されたサブバンドフィルタの長さは、該サブバンドフィルタから抽出された特性情報（例えば、残響時間情報）に少なくとも部分的に基づいて決定される。
切断されたサブバンドフィルタの長さは様々な実施形態に応じて決定されることができる。先ず、一実施形態によれば、各サブバンドは複数のグループに分類され、分類されたグループに応じて各切断されたサブバンドフィルタの長さが決定されることができる。図８の例示によれば、各サブバンドは３つの区域（Ｚｏｎｅ １、Ｚｏｎｅ ２、Ｚｏｎｅ ３）に分類されることができ、低周波数に該当するＺｏｎｅ １の切断されたサブバンドフィルタは高周波数に該当するＺｏｎｅ ２およびＺｏｎｅ ３の切断されたサブバンドフィルタより長いフィルタ次数（すなわち、フィルタ長さ）を有することができる。また、高周波数の区域に行くほど、該当区域の切断されたサブバンドフィルタのフィルタ次数は次第に減る。
本発明の他の実施形態によれば、各切断されたサブバンドフィルタの長さは、原本サブバンドフィルタの特性情報に応じて各サブバンド別に独立におよび可変的に決定されることができる。各切断されたサブバンドフィルタの長さは該サブバンドで決定された切断長さに基づいて決定され、隣り合うまたは他サブバンドの切断されたサブバンドフィルタの長さに影響を受けない。例えば、Ｚｏｎｅ ２の一部あるいは全部の切断されたサブバンドフィルタの長さがＺｏｎｅ １の少なくとも一つの切断されたサブバンドフィルタの長さより長くてもよい。
本発明のまた他の実施形態によれば、複数のグループに分類されたサブバンドのうち一部に対してのみ周波数ドメイン可変次数フィルタリングが行われることができる。すなわち、分類された少なくとも２個のグループのうち一部のグループに属したサブバンドに対してのみ互いに異なる長さを有する切断されたサブバンドフィルタが生成されることができる。一実施形態によれば、切断されたサブバンドフィルタが生成されるグループは、既に設定された定数または既に設定された周波数バンドに基づいて低周波数バンドに分類されたサブバンドグループ（例えば、Ｚｏｎｅ １）であってもよい。
切断されたフィルタの長さは、オーディオ信号処理装置が取得した追加的な情報、例えば、デコーダの複雑度（ｃｏｍｐｌｅｘｉｔｙ）、複雑度レベル（プロファイル）、または要求されるクォリティー情報に基づいて決定されることができる。複雑度は、オーディオ信号処理装置のハードウェアリソース（ｒｅｓｏｕｒｃｅ）に応じて決定されるか、またはユーザーが直接入力した値に応じて決定されることができる。クォリティーは、ユーザーの要求に応じて決定されるか、またはビットストリームを通じて送信された値またはビットストリームに含まれた他の情報を参照して決定されることができる。また、クォリティーは送信されるオーディオ信号の品質を推定した値に応じて決定されることもでき、例えば、ビットレートが高いほど、より高いクォリティーとみなすことができる。この時、各切断されたサブバンドフィルタの長さは複雑度およびクォリティーに応じて比例的に増加してもよく、各バンド別に互いに異なる比率で変化してもよい。また、各切断されたサブバンドフィルタの長さは、後述するＦＦＴなどの高速プロセッシングによる追加的な利得を得るために、それに対応する大きさ単位、例えば、２の累乗の倍数に決定されることができる。その反面、切断されたサブバンドフィルタの決定された長さが実際のサブバンドフィルタの全長より長い場合、切断されたサブバンドフィルタの長さは実際のサブバンドフィルタの長さに調整されることができる。
ＢＲＩＲパラメータ化部は、前述した実施形態に応じて決定された各切断されたサブバンドフィルタに対応する切断されたサブバンドフィルタ係数（Ｆ−パート係数）を生成し、それを高速コンボリューション部に伝達する。高速コンボリューション部は、切断されたサブバンドフィルタ係数を用いて、マルチオーディオ信号の各サブバンド信号に対する周波数ドメイン可変次数フィルタリングを行う。
図９は、バイノーラルレンダリングに用いられるＱＭＦドメインフィルタの各ＱＭＦバンド別の長さの他の実施形態を示している。図９の実施形態において、図８の実施形態と同一または相応する部分については重複的な説明は省略する。
図９の実施形態において、Ｆｉ＿Ｌ、Ｆｉ＿Ｒは各々ＱＭＦサブバンドｉのＦ−パートレンダリングに用いられる切断されたサブバンドフィルタ（フロントサブバンドフィルタ）を示し、ＰｉはＱＭＦサブバンドｉのＰ−パートレンダリングに用いられるリヤサブバンドフィルタを示す。Ｎは原本サブバンドフィルタの長さ（タップ数）を示し、ＮｉＦおよびＮｉＰは各々サブバンドｉのフロントサブバンドフィルタおよびリヤサブバンドフィルタの長さを示す。前述したように、ＮｉＦおよびＮｉＰはダウンサンプルされたＱＭＦドメインにおけるタップ数を示す。
図９の実施形態によれば、フロントサブバンドフィルタだけでなくリヤサブバンドフィルタの長さも原本サブバンドフィルタから抽出されたパラメータに基づいて決定されることができる。すなわち、各サブバンドのフロントサブバンドフィルタおよびリヤサブバンドフィルタの長さは、該サブバンドフィルタから抽出された特性情報に少なくとも部分的に基づいて決定される。例えば、フロントサブバンドフィルタの長さは該サブバンドフィルタの第１残響時間情報に基づいて、リヤサブバンドフィルタの長さは第２残響時間情報に基づいて決定されることができる。すなわち、フロントサブバンドフィルタは原本サブバンドフィルタにおいて第１残響時間情報に基づいて切断された前部のフィルタであり、リヤサブバンドフィルタはフロントサブバンドフィルタ以後の区間として第１残響時間と第２残響時間との間の区間に対応する後部のフィルタである。一実施形態によれば、第１残響時間情報はＲＴ２０、第２残響時間情報はＲＴ６０であることができるが、本発明はこれに限定されるものではない。
第２残響時間以内には、初期反射音パートから後期残響パートに転換される部分が存在する。すなわち、決定性（ｄｅｔｅｒｍｉｎｉｓｔｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する区間から推計的特性（ｓｔｏｃｈａｓｔｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する区間に転換される地点が存在し、全体バンドのＢＲＩＲの観点でこの地点をミキシングタイムと呼ぶ。ミキシングタイム以前の区間の場合、各位置別に方向性を提供する情報が主に存在し、これはチャネル別に固有である。その反面、後期残響パートの場合、チャネル別に共通した特徴を有するため、複数のチャネルを一度に処理することが効率的である。よって、サブバンド別のミキシングタイムを推定して、ミキシングタイム以前に対してはＦ−パートレンダリングによって高速コンボリューションを行い、ミキシングタイム以後に対してはＰ−パートレンダリングによって各チャネル別の共通した特性が反映されたプロセッシングを行うことができる。
しかし、ミキシングタイムを推定することは知覚的（ｐｅｒｃｅｐｔｕａｌ）な観点で偏向（ｂｉａｓ）によるエラーが発生しうる。よって、正確なミキシングタイムを推定して該当境界を基準にＦ−パートとＰ−パートに分けて処理することよりは、Ｆ−パートの長さを最大限長くして高速コンボリューションを行うことがクォリティーの観点では優れる。よって、Ｆ−パートの長さ、すなわち、フロントサブバンドフィルタの長さは、複雑度−クォリティー制御に応じてミキシングタイムに該当する長さより長いかまたは短くなってもよい。
それに加え、各サブバンドフィルタの長さを減らすために、前述したように切断する方法の他にも、特定サブバンドの周波数応答が単調な（ｍｏｎｏｔｏｎｉｃ）場合、該サブバンドのフィルタを低い次数に減少させるモデリングが可能である。代表的な方法としては周波数サンプリングを用いたＦＩＲフィルタモデリングがあり、最小二乗の観点で最小化されるフィルタをデザインすることができる。
本発明の実施形態によれば、各サブバンド別のフロントサブバンドフィルタおよび／またはリヤサブバンドフィルタの長さは、該サブバンドの各チャネルに対して同一の値を有することができる。ＢＲＩＲには測定上のエラーが存在し、残響時間を推定するにも偏向などの誤差要素が存在する。よって、このような影響を減らすために、チャネル間またはサブバンド間の相互関係に基づいてフィルタの長さが決定されることができる。一実施形態によれば、ＢＲＩＲパラメータ化部は、同一のサブバンドの各チャネルに対応するサブバンドフィルタから各々第１特性情報（例えば、第１残響時間情報）を抽出し、抽出された第１特性情報を組み合わせて該サブバンドに対する一つのフィルタ次数情報（または、第１切断地点情報）を取得することができる。該サブバンドの各チャネル別のフロントサブバンドフィルタは、前記取得されたフィルタ次数情報（または、第１切断地点情報）に基づいて同一の長さを有するように決定されることができる。同様に、ＢＲＩＲパラメータ化部は、同一のサブバンドの各チャネルに対応するサブバンドフィルタから各々第２特性情報（例えば、第２残響時間情報）を抽出し、抽出された第２特性情報を組み合わせて該サブバンドの各チャネルに対応するリヤサブバンドフィルタに共通に適用される第２切断地点情報を取得することができる。ここで、フロントサブバンドフィルタは原本サブバンドフィルタにおいて第１切断地点情報に基づいて切断された前部のフィルタであり、リヤサブバンドフィルタはフロントサブバンドフィルタ以後の区間として第１切断地点と第２切断地点との間の区間に対応する後部のフィルタである。
一方、本発明の他の実施形態によれば、特定サブバンドグループのサブバンドに対してはＦ−パートプロセッシングのみ行われることができる。この時、該サブバンドに対して第１切断地点までのフィルタだけを用いてプロセッシングが行われれば、全体サブバンドフィルタを用いてプロセッシングが行われる時に比べて、処理されるフィルタのエネルギー差によってユーザが知覚できる水準の歪みが発生しうる。このような歪みを防止するために、該サブバンドフィルタにおいてプロセッシングに用いられない領域、すなわち、第１切断地点以後の領域に対するエネルギー補償が行われることができる。前記エネルギー補償は、Ｆ−パート係数（フロントサブバンドフィルタ係数）に該サブバンドフィルタの第１切断地点までのフィルタパワーを分け、望む領域のエネルギー、例えば、該サブバンドフィルタの全体パワーを乗ずることによって実行可能である。よって、Ｆ−パート係数のエネルギーが全体サブバンドフィルタのエネルギーと同一になるように調整されることができる。また、ＢＲＩＲパラメータ化部からＰ−パート係数が送信されたにもかかわらず、バイノーラルレンダリングユニットでは複雑度−クォリティー制御に基づいてＰ−パートプロセッシング行わなくてもよい。この場合、バイノーラルレンダリングユニットは、Ｐ−パート係数を用いてＦ−パート係数に対する前記エネルギー補償を行うことができる。
前述した方法によるＦ−パートプロセッシングにおいて、各サブバンド別に異なる長さを有する切断されたサブバンドフィルタのフィルタ係数は、一つの時間領域フィルタ（すなわち、ｐｒｏｔｏ−ｔｙｐｅフィルタ）から得られる。すなわち、一つの時間領域フィルタを複数のＱＭＦサブバンドフィルタに変換し、各サブバンドに対応するフィルタの長さを可変させたものであるため、各切断されたサブバンドフィルタは一つの原型フィルタから得られたものである。
ＢＲＩＲパラメータ化部は、前述した実施形態に応じて決定された各フロントサブバンドフィルタに対応するフロントサブバンドフィルタ係数（Ｆ−パート係数）を生成し、それを高速コンボリューション部に伝達する。高速コンボリューション部は、受信されたフロントサブバンドフィルタ係数を用いて、マルチオーディオ信号の各サブバンド信号に対する周波数ドメイン可変次数フィルタリングを行う。また、ＢＲＩＲパラメータ化部は、前述した実施形態によって決定された各リヤサブバンドフィルタに対応するリヤサブバンドフィルタ係数（Ｐ−パート係数）を生成し、それを後期残響生成部に伝達することができる。後期残響生成部は、受信されたリヤサブバンドフィルタ係数を用いて、各サブバンド信号に対する残響処理を行うことができる。本発明の実施形態によれば、ＢＲＩＲパラメータ化部は、各チャネル別のリヤサブバンドフィルタ係数を組み合わせてダウンミックスサブバンドフィルタ係数（ダウンミックスＰ−パート係数）を生成し、それを後期残響生成部に伝達することができる。後述するように、後期残響生成部は、受信されたダウンミックスサブバンドフィルタ係数を用いて２チャネルの左、右サブバンド残響信号を生成することができる。
図１０は、バイノーラルレンダリングに用いられるＦＩＲフィルタ生成方法のまた他の実施形態を示している。図１０の実施形態において、図８および図９の実施形態と同一または相応する部分については重複的な説明は省略する。
図１０を参照すれば、ＱＭＦ変換された複数のサブバンドフィルタは複数のグループに分類され、分類された各グループ別に互いに異なるプロセッシングが適用されることができる。例えば、複数のサブバンドは、既に設定された周波数バンド（ＱＭＦバンドｉ）を基準にした低周波数の第１サブバンドグループ（Ｚｏｎｅ １）と、高周波数の第２サブバンドグループ（Ｚｏｎｅ ２）に分類されることができる。この時、第１サブバンドグループの入力サブバンド信号に対してはＦ−パートレンダリングが、第２サブバンドグループの入力サブバンド信号に対しては後述するＱＴＤＬプロセッシングが行われることができる。
よって、ＢＲＩＲパラメータ化部は、第１サブバンドグループの各サブバンド別にフロントサブバンドフィルタ係数を生成し、それを高速コンボリューション部に伝達する。高速コンボリューション部は、受信されたフロントサブバンドフィルタ係数を用いて第１サブバンドグループのサブバンド信号に対するＦ−パートレンダリングを行う。実施形態により、第１サブバンドグループのサブバンド信号に対するＰ−パートレンダリングが後期残響生成部によってさらに行われることもできる。また、ＢＲＩＲパラメータ化部は、第２サブバンドグループの各サブバンドフィルタ係数から少なくとも一つのパラメータを取得し、それをＱＴＤＬプロセッシング部に伝達する。ＱＴＤＬプロセッシング部は、取得されたパラメータを用いて、後述するように第２サブバンドグループの各サブバンド信号に対するタップ−ディレイラインフィルタリングを行う。本発明の実施形態によれば、第１サブバンドグループと第２サブバンドグループを区分する既に設定された周波数（ＱＭＦバンドｉ）は事前に定められた定数値に基づいて決定されてもよく、送信されたオーディオ入力信号のビット列特性に応じて決定されてもよい。例えば、ＳＢＲを用いるオーディオ信号の場合、第２サブバンドグループがＳＢＲバンドに対応するように設定されることができる。
本発明の他の実施形態によれば、複数のサブバンドは、既に設定された第１周波数バンド（ＱＭＦバンドｉ）および第２周波数バンド（ＱＭＦバンドｊ）に基づいて３個のサブバンドグループに分類されることもできる。すなわち、複数のサブバンドは、第１周波数バンドより小さいかまたは同一な低周波数区域である第１サブバンドグループ（Ｚｏｎｅ １）、第１周波数バンドより大きく第２周波数バンドより小さいかまたは同一な中間周波数区域である第２サブバンドグループ（Ｚｏｎｅ ２）、および第２周波数バンドより大きい高周波数区域である第３サブバンドグループ（Ｚｏｎｅ ３）に分類されることができる。この時、第１サブバンドグループのサブバンド信号および第２サブバンドグループのサブバンド信号に対しては前述したように各々Ｆ−パートレンダリングおよびＱＴＤＬプロセッシングが行われてもよく、第３サブバンドグループのサブバンド信号に対してはレンダリングが行われなくてもよい。
＜後期残響レンダリング＞
次に、図１１〜図１４を参照して本発明のＰ−パートレンダリングの様々な実施形態について説明する。すなわち、ＱＭＦドメインにおいてＰ−パートレンダリングを行う図２の後期残響生成部２４０の様々な実施形態が図１１〜図１４を参照して説明される。図１１〜図１４の実施形態において、マルチチャネル入力信号はＱＭＦドメインのサブバンド信号として受信されると仮定する。よって、図１１〜図１４の各構成、すなわち、デコリレータ２４１、サブバンドフィルタリング部２４２、ＩＣマッチング部２４３、ダウンミックス部２４４およびエネルギー減衰マッチング部２４６のプロセッシングは各ＱＭＦサブバンド別に行われることができる。図１１〜図１４の実施形態において、以前の図面の実施形態と重複する部分については具体的な説明は省略する。
前述した図８〜図１０の実施形態において、Ｐ−パートに対応するＰｉ（Ｐ１、Ｐ２、Ｐ３、…）は周波数可変切断に応じて除去された各サブバンドフィルタの後部分に該当し、通常、後期残響に対する情報を含んでいる。複雑度−クォリティー制御に応じてＰ−パートの長さは各サブバンドフィルタの切断された地点以後の全体フィルタとして定義されてもよく、該サブバンドフィルタの第２残響時間情報を参照してより小さい長さとして定義されてもよい。
Ｐ−パートレンダリングは各チャネル別に独立に行われてもよく、ダウンミックスされたチャネルに対して行われてもよい。また、Ｐ−パートレンダリングは既に設定されたサブバンドグループ別にまたは各サブバンド別に互いに異なるプロセッシングを通じて適用されてもよく、全体サブバンドに対して同一なプロセッシングとして適用されてもよい。この時、Ｐ−パートに適用可能なプロセッシングとしては、入力信号に対するエネルギー減少補償、タップ−ディレイラインフィルタリング、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いたプロセッシング、人工残響器（ａｒｔｉｆｉｃｉａｌ ｒｅｖｅｒｂｅｒａｔｏｒ）を用いたプロセッシング、ＦＩＩＣ（Ｆｒｅｑｕｅｎｃｙ−ｉｎｄｅｐｅｎｄｅｎｔ Ｉｎｔｅｒａｕｒａｌ Ｃｏｈｅｒｅｎｃｅ）補償、ＦＤＩＣ（Ｆｒｅｑｕｅｎｃｙ−ｄｅｐｅｎｄｅｎｔ Ｉｎｔｅｒａｕｒａｌ Ｃｏｈｅｒｅｎｃｅ）補償などが含まれることができる。
一方、Ｐ−パートに対するパラメトリック（ｐａｒａｍｅｔｒｉｃ）プロセッシングのためには、大きく２つの特徴、すなわち、ＥＤＲ（Ｅｎｅｒｇｙ Ｄｅｃａｙ Ｒｅｌｉｅｆ）とＦＤＩＣ（Ｆｒｅｑｕｅｎｃｙ−ｄｅｐｅｎｄｅｎｔ Ｉｎｔｅｒａｕｒａｌ Ｃｏｈｅｒｅｎｃｅ）の特徴を保存することが重要である。先ず、Ｐ−パートをエネルギー観点で観察すれば、各チャネル別にＥＤＲが同一または類似することが分かる。各チャネルが共通したＥＤＲを有しているため、全てのチャネルを一つまたは二つのチャネルにダウンミックスした後、ダウンミックスされたチャネルに対するＰ−パートレンダリングを行うことはエネルギー観点で妥当である。この時、Ｍ個のチャネルに対してＭ回のコンボリューションを実行しなければならないＰ−パートレンダリングの演算を、Ｍ−ｔｏ−Ｏダウンミックスと１回（または、２回）のコンボリューションに減らすことによって相当な演算量の利得を提供することができる。
次に、Ｐ−パートレンダリングにおいてＦＤＩＣを補償する過程が必要である。ＦＤＩＣを推定する方法には色々なものがあるが、次のような数式が用いられることができる。
（数式３）
ここで、Ｈm(i,k)はインパルス応答ｈm(ｎ)のＳＴＦＴ（Ｓｈｏｒｔ Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）係数、ｎは時間インデックス、ｉは周波数インデックス、ｋはフレームインデックス、ｍは出力チャネルインデックス（Ｌ，Ｒ）を示す。また、分子の関数Ｒ(ｘ)は入力ｘの実数値を出力し、ｘ*はｘの複素共役（ｃｏｍｐｌｅｘ ｃｏｎｊｕｇａｔｅ）値を示す。前記数式において、分子の部分は実数値の代わりに絶対値を取る関数に置換されることもできる。
一方、本発明において、バイノーラルレンダリングはＱＭＦドメインで行われるため、ＦＤＩＣは次のような数式で定義されることもできる。
（数式４）
ここで、ｉはサブバンドインデックス、ｋはサブバンドにおける時間インデックス、ｈm(i,k)はＢＲＩＲのサブバンドフィルタを示す。
後期残響パートのＦＤＩＣはＢＲＩＲがレコーディングされる時に二つのマイクロホンの位置に主に影響を受けるパラメータとして、スピーカの位置、すなわち、方向と距離には影響を受けない。聴取者の頭を球（ｓｐｈｅｒｅ）と仮定した時、ＢＲＩＲの理論的なＦＤＩＣ（ＩＣideal）は次のような数式を満たすことができる。
（数式５）
ここで、ｒは聴取者の両耳間の距離、すなわち、二つのマイクロホン間の距離であり、ｋは周波数インデックスである。
複数チャネルのＢＲＩＲを用いたＦＤＩＣを分析すれば、Ｆ−パートに主に含まれた初期反射音は各チャネル別に非常に異なることが分かる。すなわち、Ｆ−パートのＦＤＩＣはチャネル別に非常に異なるように変化する。一方、高周波数帯域の場合、ＦＤＩＣが非常に大きく変化するが、これはエネルギーが速く減殺する高周波数帯域信号の特性上大きな測定誤差が発生するためであり、チャネル別に平均を取る場合、ＦＤＩＣはほぼ０に収斂する。その反面、Ｐ−パートの場合にも測定誤差によってチャネル別ＦＤＩＣの差が発生するが、平均的に数式５のようなシンク関数に収斂することを確認することができる。本発明の実施形態によれば、前述したような特性に基づいてＰ−パートレンダリングのための後期残響生成部を実現することができる。
図１１は、本発明の一実施形態による後期残響生成部２４０Ａを示している。図１１の実施形態によれば、後期残響生成部２４０Ａは、サブバンドフィルタリング部２４２およびダウンミックス部２４４ａ，２４４ｂを含むことができる。
サブバンドフィルタリング部２４２は、Ｐ−パート係数を用いて、マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１を各サブバンド別にフィルタリングする。Ｐ−パート係数は前述したようにＢＲＩＲパラメータ化部（図示せず）から受信され、サブバンド別に互いに異なる長さを有するリヤサブバンドフィルタの係数を含むことができる。サブバンドフィルタリング部２４２は、各周波数別にＱＭＦドメインサブバンド信号とそれに対応するＱＭＦドメインのリヤサブバンドフィルタ間の高速コンボリューションを行う。この時、リヤサブバンドフィルタの長さは前述したようにＲＴ６０に基づいて決定されるが、複雑度−クォリティー制御に応じてＲＴ６０より大きいかまたは小さい値に設定されることもできる。
マルチチャネル入力信号は、サブバンドフィルタリング部２４２によって、各々、左チャネル信号のＸ＿Ｌ０、Ｘ＿Ｌ１、…、Ｘ＿Ｌ＿Ｍ−１と右チャネル信号のＸ＿Ｒ０、Ｘ＿Ｒ１、…、Ｘ＿Ｒ＿Ｍ−１にレンダリングされる。ダウンミックス部２４４ａ，２４４ｂは、レンダリングされた複数の左チャネル信号と複数の右チャネル信号を各々左、右チャネル別にダウンミックスして２チャネルの左、右出力信号Ｙ＿Ｌｐ、Ｙ＿Ｒｐを生成する。
図１２は、本発明の他の実施形態による後期残響生成部２４０Ｂを示している。図１２の実施形態によれば、後期残響生成部２４０Ｂは、デコリレータ２４１、ＩＣマッチング部２４３、ダウンミックス部２４４ａ，２４４ｂおよびエネルギー減衰マッチング部２４６ａ，２４６ｂを含むことができる。また、後期残響生成部２４０Ｂのプロセッシングのために、ＢＲＩＲパラメータ化部（図示せず）は、ＩＣ推定部２１３およびダウンミックスサブバンドフィルタ生成部２１６を含むことができる。
図１２の実施形態によれば、後期残響生成部２４０Ｂは、後期残響パートのチャネル別のエネルギー減衰（ｅｎｅｒｇｙ ｄｅｃａｙ）特性が同一であることを利用して演算量を減少させることができる。すなわち、後期残響生成部２４０Ｂは、各マルチチャネル信号に対する非相関およびＩＣ（Ｉｎｔｅｒａｕｒａｌ Ｃｏｈｅｒｅｎｃｅ）調整を行い、調整された各チャネル別の入力信号および非相関信号を左、右チャネル信号にダウンミックスした後、ダウンミックスされた信号のエネルギー減衰を補償して２チャネルの左、右出力信号を生成する。より具体的には、デコリレータ２４１は、各マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１に対する非相関信号Ｄ０、Ｄ１、…、Ｄ＿Ｍ−１を生成する。デコリレータ２４１は両耳間のコヒーレンス（ｃｏｈｅｒｅｎｃｅ）を調整するための一種の前処理器であって、位相ランダマイザ（ｐｈａｓｅ ｒａｎｄｏｍｉｚｅｒ）が用いられてもよく、演算量の効率のために９０度単位で入力信号の位相を変えてもよい。
一方、ＢＲＩＲパラメータ化部（図示せず）のＩＣ推定部２１３は、ＩＣ値を推定してバイノーラルレンダリングユニット（図示せず）に伝達する。バイノーラルレンダリングユニットは受信されたＩＣ値をメモリ２５５に格納することができ、ＩＣマッチング部２４３に伝達する。ＩＣマッチング部２４３はＢＲＩＲパラメータ化部からＩＣ値を直接受信することもでき、メモリ２５５に既に格納されたＩＣ値を取得することもできる。各チャネル別の入力信号および非相関信号は、ＩＣマッチング部２４３において、左チャネル信号のＸ＿Ｌ０、Ｘ＿Ｌ１、…、Ｘ＿Ｌ＿Ｍ−１と右チャネル信号のＸ＿Ｒ０、Ｘ＿Ｒ１、…、Ｘ＿Ｒ＿Ｍ−１にレンダリングされる。ＩＣマッチング部２４３は、ＩＣ値を参照して各チャネル別に非相関信号と本来の入力信号間の加重和を行い、それによって二つのチャネル信号間のコヒーレンスを調整する。この時、各チャネル別の入力信号はサブバンドドメインの信号であるため、前述したＦＤＩＣのマッチングが可能である。本来のチャネル信号をＸ、非相関チャネル信号をＤ、該サブバンドのＩＣをφとした時、ＩＣマッチングが行われた左、右チャネル信号Ｘ＿Ｌ、Ｘ＿Ｒは次の数式のように表すことができる。
（数式６）
（複号同順）
ダウンミックス部２４４ａ，２４４ｂは、ＩＣマッチングによってレンダリングされた複数の左チャネル信号と複数の右チャネル信号を各々左、右チャネル別にダウンミックスして、２チャネルの左、右レンダリング信号を生成する。次に、エネルギー減衰マッチング部２４６ａ，２４６ｂは、２チャネルの左、右レンダリング信号のエネルギー減衰を各々反映して、２チャネルの左、右出力信号Ｙ＿Ｌｐ、Ｙ＿Ｒｐを生成する。エネルギー減衰マッチング部２４６ａ，２４６ｂは、ダウンミックスサブバンドフィルタ生成部２１６から得られたダウンミックスサブバンドフィルタ係数を用いてエネルギー減衰マッチングを行う。ダウンミックスサブバンドフィルタ係数は、該サブバンドの各チャネル別のリヤサブバンドフィルタ係数の組み合わせによって生成される。例えば、ダウンミックスサブバンドフィルタ係数は、該サブバンドに対して各チャネル別のリヤサブバンドフィルタ係数の二乗振幅応答の平均にルートを取ったサブバンドフィルタ係数を含むことができる。よって、ダウンミックスサブバンドフィルタ係数は、該サブバンド信号に対する後期残響パートのエネルギー減少特性を反映する。ダウンミックスサブバンドフィルタ係数は実施形態によってモノまたはステレオにダウンミックスされたダウンミックスサブバンドフィルタ係数を含むことができ、ＦＤＩＣと同様にＢＲＩＲパラメータ化部から直接受信されるか、またはメモリ２２５に既に格納された値から得ることができる。Ｍ個のチャネルのうちｋ番目のチャネルにおけるＦ−パートが切断されたＢＲＩＲをＢＲＩＲk、ｋ番目のチャネルにおけるＮ番目のサンプルまでの切断されたＢＲＩＲをＢＲＩＲT,k、Ｎ番目のサンプル以後の切断された部分のエネルギーを補償したダウンミックスサブバンドフィルタ係数をＢＲＩＲEとすれば、ＢＲＩＲEは次のような数式を用いて求めることができる。
（数式７）
図１３は、本発明のまた他の実施形態による後期残響生成部２４０Ｃを示している。図１３の後期残響生成部２４０Ｃの各構成は図１２の実施形態で説明された後期残響生成部２４０Ｂの各構成と同様であってもよく、各構成間のデータ処理順序が一部異なる。
図１３の実施形態によれば、後期残響生成部２４０Ｃは、後期残響パートの各チャネル別ＦＤＩＣが同一であることを利用して演算量をさらに減少させることができる。すなわち、後期残響生成部２４０Ｃは、各マルチチャネル信号を左、右チャネル信号にダウンミックスし、ダウンミックスされた左、右チャネル信号のＩＣを調整した後、調整された左、右チャネル信号に対するエネルギー減衰を補償して２チャネルの左、右出力信号を生成することができる。
より具体的には、デコリレータ２４１は、各マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１に対する非相関信号Ｄ０、Ｄ１、…、Ｄ＿Ｍ−１を生成する。次に、ダウンミックス部２４４ａ，２４４ｂは、マルチチャネル入力信号および非相関信号を各々ダウンミックスして、２チャネルダウンミックス信号Ｘ＿ＤＭＸ、Ｄ＿ＤＭＸを生成する。ＩＣマッチング部２４３は、ＩＣ値を参照して２チャネルダウンミックス信号を加重和し、それによって二つのチャネル信号間のコヒーレンスを調整する。エネルギー減衰補償部２４６ａ，２４６ｂは、ＩＣマッチング部２４３によってＩＣマッチングが行われた左、右チャネル信号Ｘ＿Ｌ、Ｘ＿Ｒの各々に対するエネルギー補償を行って、２チャネルの左、右出力信号Ｘ＿Ｌｐ、Ｙ＿Ｒｐを生成する。この時、エネルギー補償に用いられるエネルギー補償情報には、各サブバンドに対するダウンミックスサブバンドフィルタ係数が含まれることができる。
図１４は、本発明のまた他の実施形態による後期残響生成部２４０Ｄを示している。図１４の後期残響生成部２４０Ｄの各構成は図１２および図１３の実施形態で説明された後期残響生成部２４０Ｂ，２４０Ｃの各構成と同一であってもよいが、より簡略化された特徴を有する。
先ず、ダウンミックス部２４４は、マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１を各サブバンド別にダウンミックスして、モノダウンミックス信号（すなわち、モノサブバンド信号）Ｘ＿ＤＭＸを生成する。エネルギー減衰マッチング部２４６は、生成されたモノダウンミックス信号に対するエネルギー減衰を反映する。この時、エネルギー減衰を反映するために、各サブバンドに対するダウンミックスサブバンドフィルタ係数が用いられることができる。次に、デコリレータ２４１は、エネルギー減衰が反映されたモノダウンミックス信号の非相関信号Ｄ＿ＤＭＸを生成する。ＩＣマッチング部２４３は、エネルギー減衰が反映されたモノダウンミックス信号と非相関信号をＦＤＩＣ値を参照して加重和し、それによって２チャネルの左、右出力信号Ｙ＿Ｌｐ、Ｙ＿Ｒｐを生成する。図１４の実施形態によれば、エネルギー減衰マッチングをモノダウンミックス信号（Ｘ＿ＤＭＸ）に対して１回のみ実行するので演算量をさらに節約することができる。
＜高周波数バンドのＱＴＤＬプロセッシング＞
次に、図１５および図１６を参照して本発明のＱＴＤＬプロセッシングの様々な実施形態について説明する。すなわち、ＱＭＦドメインにおいてＱＴＤＬプロセッシングを行う図２のＱＴＤＬプロセッシング部２５０の様々な実施形態が図１５および図１６を参照して説明される。図１５および図１６の実施形態において、マルチチャネル入力信号はＱＭＦドメインのサブバンド信号として受信されると仮定する。よって、図１５および図１６の実施形態において、タップ−ディレイラインフィルタおよびワン−タップ−ディレイラインフィルタは各ＱＭＦサブバンド別にプロセッシングを行うことができる。また、ＱＴＤＬプロセッシングは、前述したように既に設定された定数または既に設定された周波数バンドに基づいて分類された高周波数バンドの入力信号に対してのみ行われることができる。仮に、入力オーディオ信号にＳＢＲ（Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ）が適用された場合、前記高周波数バンドはＳＢＲバンドに対応する。図１５および図１６の実施形態において、以前の図面の実施形態と重複する部分については具体的な説明は省略する。
高周波数帯域の効率的な符号化のために用いられるＳＢＲ（Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ）は、低ビット率の符号化時に高周波数帯域の信号を捨てることによって狭くなったバンド幅を再び拡張して、原信号程度のバンド幅を確保するための道具である。この時、高周波数帯域は符号化されて送信される低周波数帯域の情報とエンコーダによって送信した高周波数帯域信号の付加情報を活用して生成される。しかし、ＳＢＲを用いて生成された高周波数成分は不正確な高調波（ｈａｒｍｏｎｉｃ）の生成によって歪みが発生しうる。また、ＳＢＲバンドは高周波数帯域であり、前述したように該周波数帯域の残響時間は非常に短い。すなわち、ＳＢＲバンドのＢＲＩＲサブバンドフィルタは有効情報が少なく、速い減衰率を有する。よって、ＳＢＲ帯域に準ずる高周波数帯域に対するＢＲＩＲレンダリングは、コンボリューションを行うことよりは有効な少数のタップを用いてレンダリングを行うことが音質のクォリティーに対比して演算量の側面で非常に効果的である。
図１５は、本発明の一実施形態によるＱＴＤＬプロセッシング部２５０Ａを示している。図１５の実施形態によれば、ＱＴＤＬプロセッシング部２５０Ａは、タップ−ディレイラインフィルタを用いて、マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１に対するサブバンド別のフィルタリングを行う。タップ−ディレイラインフィルタは、各チャネル信号に対して既に設定された少数のタップだけコンボリューションを行う。この時に用いられる少数のタップは、該サブバンド信号に対応するＢＲＩＲサブバンドフィルタ係数から直接抽出されたパラメータに基づいて決定されることができる。前記パラメータは、タップ−ディレイラインフィルタに用いられる各タップに対するディレイ（ｄｅｌａｙ）情報およびそれに対応するゲイン（ｇａｉｎ）情報を含む。
タップ−ディレイラインフィルタに用いられるタップ数は、複雑度−クォリティー制御に応じて決定されることができる。ＱＴＤＬプロセッシング部２５０Ａは、既に決められたタップ数に基づいて、各チャネルおよびサブバンド別に該タップ数に対応するパラメータ（ゲイン情報、ディレイ情報）セットをＢＲＩＲパラメータ化部から受信する。この時、受信されるパラメータセットは該サブバンド信号に対応するＢＲＩＲサブバンドフィルタ係数から抽出され、様々な実施形態に応じて決定されることができる。例えば、該ＢＲＩＲサブバンドフィルタ係数の複数のピークのうち絶対値の大きさ順、実数値の大きさ順、または虚数値の大きさ順に前記既に決められたタップ数だけ抽出されたピークの各々に対するパラメータのセットが受信されることができる。この時、各パラメータのディレイ情報は該ピークの位置情報を示し、ＱＭＦドメインにおいてサンプル単位の整数値を有する。また、ゲイン情報は、該ディレイ情報に対応するピークの大きさに基づいて決定される。この時、ゲイン情報は、サブバンドフィルタ係数における該ピーク値そのものが用いられてもよいが、全体サブバンドフィルタ係数に対するエネルギー補償が行われた後の該ピークの加重値が用いられてもよい。前記ゲイン情報は、該ピークに対する実数加重値および虚数加重値を共に用いて得られ、よって複素数値を有する。
タップ−ディレイラインフィルタによってフィルタリングされた複数のチャネル信号は、各サブバンド別に２チャネルの左、右出力信号Ｙ＿Ｌ、Ｙ＿Ｒに合算される。一方、ＱＴＤＬプロセッシング部２５０Ａの各タップ−ディレイラインフィルタで用いられるパラメータはバイノーラルレンダリングの初期化過程でメモリに格納されることができ、パラメータの抽出のための追加的な演算なしでＱＴＤＬプロセッシングが行われることができる。
図１６は、本発明の他の実施形態によるＱＴＤＬプロセッシング部２５０Ｂを示している。図１６の実施形態によれば、ＱＴＤＬプロセッシング部２５０Ｂは、ワン−タップ−ディレイラインフィルタを用いて、マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１に対するサブバンド別のフィルタリングを行う。ワン−タップ−ディレイラインフィルタは、各チャネル信号に対して１個のタップにおいてのみコンボリューションを行うものとして理解することができる。この時に用いられるタップは、該サブバンド信号に対応するＢＲＩＲサブバンドフィルタ係数から直接抽出されたパラメータに基づいて決定されることができる。前記パラメータは、前述したようにＢＲＩＲサブバンドフィルタ係数から抽出されたディレイ情報およびそれに対応するゲイン情報を含む。
図１６において、Ｌ＿０、Ｌ＿１、…Ｌ＿Ｍ−１は各々Ｍ個のチャネルから左耳へのＢＲＩＲに対するディレイを示し、Ｒ＿０、Ｒ＿１、…、Ｒ＿Ｍ−１は各々Ｍ個のチャネルから右耳へのＢＲＩＲに対するディレイを示す。この時、ディレイ情報は、該ＢＲＩＲサブバンドフィルタ係数のうちの絶対値の大きさ順、実数値の大きさ順、または虚数値の大きさ順に最大ピークに対する位置情報を示す。また、図１６において、Ｇ＿Ｌ＿０、Ｇ＿Ｌ＿１、…、Ｇ＿Ｌ＿Ｍ−１は左チャネルの各ディレイ情報に対応するゲインを示し、Ｇ＿Ｒ＿０、Ｇ＿Ｒ＿１、…、Ｇ＿Ｒ＿Ｍ−１は各々右チャネルの各ディレイ情報に対応するゲインを示す。前述したように、各ゲイン情報は、該ディレイ情報に対応するピークの大きさに基づいて決定される。この時、ゲイン情報はサブバンドフィルタ係数における該ピーク値そのものが用いられてもよいが、全体サブバンドフィルタ係数に対するエネルギー補償が行われた後の該ピークの加重値が用いられてもよい。前記ゲイン情報は該ピークに対する実数加重値および虚数加重値を共に用いて得られ、よって複素数値を有する。
図１５の実施形態のように、ワン−タップ−ディレイラインフィルタによってフィルタリングされた複数のチャネル信号は、各サブバンド別に２チャネルの左、右出力信号Ｙ＿Ｌ、Ｙ＿Ｒに合算される。また、ＱＴＤＬプロセッシング部２５０Ｂの各ワン−タップ−ディレイラインフィルタで用いられるパラメータはバイノーラルレンダリングの初期化過程でメモリに格納されることができ、パラメータの抽出のための追加的な演算なしでＱＴＤＬプロセッシングが行われることができる。
以上では本発明を具体的な実施形態によって説明したが、当業者であれば、本発明の趣旨および範囲を逸脱することなく修正、変更をすることができる。すなわち、本発明はマルチオーディオ信号に対するバイノーラルレンダリングの実施形態について説明したが、本発明はオーディオ信号だけでなくビデオ信号を含む様々なマルチメディア信号にも同様に適用および拡張することができる。よって、本発明の詳細な説明および実施形態から本発明が属する技術分野に属した者が容易に類推できるものは本発明の権利範囲に属すると解釈される。
前述したように、発明の実施のための最善の形態に関する事項を記述した。
本発明は、様々な形態のオーディオ信号処理装置およびビデオ信号処理装置などを含むマルチメディア信号処理装置に適用されることができる。

Claims (8)

  1. 複数のサブバンドを有するマルチメディア信号を受信するステップ；
    前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）フィルタ係数を受信するステップ；
    前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換するステップ；
    前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断するステップ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる；および
    前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするステップ；
    を含むことを特徴とするマルチメディア信号処理方法。
  2. 前記切断されたサブバンドフィルタの長さは２の累乗の倍数値を有することを特徴とする、請求項１に記載のマルチメディア信号処理方法。
  3. 前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、
    前記原型フィルタ係数は時間ドメインのＢＲＩＲフィルタ係数であることを特徴とする、請求項１に記載のマルチメディア信号処理方法。
  4. 前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、
    前記特性情報は該サブバンドフィルタ係数のエネルギー減衰時間情報を含み、前記フィルタ次数情報は各サブバンド別に一つの値を有することを特徴とする、請求項１に記載のマルチメディア信号処理方法。
  5. 複数のサブバンドを有するマルチメディア信号処理装置であって、
    前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）レンダリングフィルタ係数を受信し、前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換し、前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断し、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる、パラメータ化部；および
    前記マルチメディア信号を受信し、前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするレンダリングユニット；
    を含むことを特徴とするマルチメディア信号処理装置。
  6. 前記切断されたサブバンドフィルタの長さは２の累乗の倍数値を有することを特徴とする、請求項５に記載のマルチメディア信号処理装置。
  7. 前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、
    前記原型フィルタ係数は時間ドメインのＢＲＩＲフィルタ係数であることを特徴とする、請求項５に記載のマルチメディア信号処理装置。
  8. 前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、
    前記特性情報は該サブバンドフィルタ係数のエネルギー減衰時間情報を含み、前記フィルタ次数情報は各サブバンド別に一つの値を有することを特徴とする、請求項５に記載のマルチメディア信号処理装置。
JP2016515421A 2013-09-17 2014-09-17 マルチメディア信号処理方法および装置 Active JP6121052B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361878638P 2013-09-17 2013-09-17
US61/878,638 2013-09-17
KR10-2013-0125936 2013-10-22
KR20130125936 2013-10-22
US201361894442P 2013-10-23 2013-10-23
US61/894,442 2013-10-23
PCT/KR2014/008679 WO2015041478A1 (ko) 2013-09-17 2014-09-17 멀티미디어 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2016534586A JP2016534586A (ja) 2016-11-04
JP6121052B2 true JP6121052B2 (ja) 2017-04-26

Family

ID=52689083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016515421A Active JP6121052B2 (ja) 2013-09-17 2014-09-17 マルチメディア信号処理方法および装置

Country Status (9)

Country Link
US (7) US10469969B2 (ja)
EP (6) EP3048816B1 (ja)
JP (1) JP6121052B2 (ja)
KR (6) KR101815082B1 (ja)
CN (4) CN105659630B (ja)
BR (1) BR112016005956B8 (ja)
CA (3) CA3122726C (ja)
ES (1) ES2932422T3 (ja)
WO (3) WO2015041478A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11665482B2 (en) 2011-12-23 2023-05-30 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
CN109166588B (zh) 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
KR101815082B1 (ko) 2013-09-17 2018-01-04 주식회사 윌러스표준기술연구소 멀티미디어 신호 처리 방법 및 장치
WO2015058818A1 (en) * 2013-10-22 2015-04-30 Huawei Technologies Co., Ltd. Apparatus and method for compressing a set of n binaural room impulse responses
CN108449704B (zh) 2013-10-22 2021-01-01 韩国电子通信研究院 生成用于音频信号的滤波器的方法及其参数化装置
DE102013223201B3 (de) * 2013-11-14 2015-05-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebietes
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
US9832589B2 (en) 2013-12-23 2017-11-28 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
CN108307272B (zh) 2014-04-02 2021-02-02 韦勒斯标准与技术协会公司 音频信号处理方法和设备
CN105448312B (zh) * 2014-06-12 2019-02-19 华为技术有限公司 音频同步播放方法、装置及系统
US9838819B2 (en) * 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
CN108141685B (zh) * 2015-08-25 2021-03-02 杜比国际公司 使用呈现变换参数的音频编码和解码
EP3174316B1 (en) * 2015-11-27 2020-02-26 Nokia Technologies Oy Intelligent audio rendering
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
US10492016B2 (en) * 2016-09-29 2019-11-26 Lg Electronics Inc. Method for outputting audio signal using user position information in audio decoder and apparatus for outputting audio signal using same
US10492018B1 (en) 2016-10-11 2019-11-26 Google Llc Symmetric binaural rendering for high-order ambisonics
CN106454643A (zh) * 2016-12-03 2017-02-22 邯郸学院 一种补偿频率可调的音频播放器
US9992602B1 (en) 2017-01-12 2018-06-05 Google Llc Decoupled binaural rendering
US10158963B2 (en) 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
US10009704B1 (en) 2017-01-30 2018-06-26 Google Llc Symmetric spherical harmonic HRTF rendering
DE102017102988B4 (de) 2017-02-15 2018-12-20 Sennheiser Electronic Gmbh & Co. Kg Verfahren und Vorrichtung zur Verarbeitung eines digitalen Audiosignals für binaurale Wiedergabe
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10939222B2 (en) * 2017-08-10 2021-03-02 Lg Electronics Inc. Three-dimensional audio playing method and playing apparatus
US11200906B2 (en) 2017-09-15 2021-12-14 Lg Electronics, Inc. Audio encoding method, to which BRIR/RIR parameterization is applied, and method and device for reproducing audio by using parameterized BRIR/RIR information
CN117475983A (zh) 2017-10-20 2024-01-30 索尼公司 信号处理装置、方法和存储介质
KR102585667B1 (ko) 2017-10-20 2023-10-06 소니그룹주식회사 신호 처리 장치 및 방법, 그리고 프로그램
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
WO2019199040A1 (ko) * 2018-04-10 2019-10-17 가우디오랩 주식회사 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치
JP7137694B2 (ja) 2018-09-12 2022-09-14 シェンチェン ショックス カンパニー リミテッド 複数の音響電気変換器を有する信号処理装置
CN114303395A (zh) * 2019-09-03 2022-04-08 杜比实验室特许公司 具有解相关分量的音频滤波器组
CN110853658B (zh) * 2019-11-26 2021-12-07 中国电影科学技术研究所 音频信号的下混方法、装置、计算机设备及可读存储介质
CN112336380A (zh) * 2020-10-29 2021-02-09 成都信息工程大学 一种基于Golay码的超声弹性成像应变估计方法
CN112770227B (zh) * 2020-12-30 2022-04-29 中国电影科学技术研究所 音频处理方法、装置、耳机和存储介质
US11568884B2 (en) * 2021-05-24 2023-01-31 Invictumtech, Inc. Analysis filter bank and computing procedure thereof, audio frequency shifting system, and audio frequency shifting procedure
KR102652643B1 (ko) * 2021-06-09 2024-03-29 코클 아이엔씨 오디오 음질 변환 장치 및 그의 제어방법
CN116095595B (zh) * 2022-08-19 2023-11-21 荣耀终端有限公司 音频处理方法和装置

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329587A (en) 1993-03-12 1994-07-12 At&T Bell Laboratories Low-delay subband adaptive filter
US5371799A (en) 1993-06-01 1994-12-06 Qsound Labs, Inc. Stereo headphone sound source localization system
DE4328620C1 (de) * 1993-08-26 1995-01-19 Akg Akustische Kino Geraete Verfahren zur Simulation eines Raum- und/oder Klangeindrucks
US5757931A (en) * 1994-06-15 1998-05-26 Sony Corporation Signal processing apparatus and acoustic reproducing apparatus
JP2985675B2 (ja) * 1994-09-01 1999-12-06 日本電気株式会社 帯域分割適応フィルタによる未知システム同定の方法及び装置
IT1281001B1 (it) * 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
JP4627880B2 (ja) 1997-09-16 2011-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用
US6668061B1 (en) * 1998-11-18 2003-12-23 Jonathan S. Abel Crosstalk canceler
FI118247B (fi) 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
US8311809B2 (en) * 2003-04-17 2012-11-13 Koninklijke Philips Electronics N.V. Converting decoded sub-band signal into a stereo signal
SE0301273D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
US7680289B2 (en) 2003-11-04 2010-03-16 Texas Instruments Incorporated Binaural sound localization using a formant-type cascade of resonators and anti-resonators
US7949141B2 (en) 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
KR100595202B1 (ko) * 2003-12-27 2006-06-30 엘지전자 주식회사 디지털 오디오 워터마크 삽입/검출 장치 및 방법
US7486498B2 (en) * 2004-01-12 2009-02-03 Case Western Reserve University Strong substrate alloy and compressively stressed dielectric film for capacitor with high energy density
WO2005086139A1 (en) 2004-03-01 2005-09-15 Dolby Laboratories Licensing Corporation Multichannel audio coding
KR100634506B1 (ko) 2004-06-25 2006-10-16 삼성전자주식회사 저비트율 부호화/복호화 방법 및 장치
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
KR100617165B1 (ko) * 2004-11-19 2006-08-31 엘지전자 주식회사 워터마크 삽입/검출 기능을 갖는 오디오 부호화/복호화장치 및 방법
US7715575B1 (en) 2005-02-28 2010-05-11 Texas Instruments Incorporated Room impulse response
EP1740016B1 (en) * 2005-06-28 2010-02-24 AKG Acoustics GmbH Method for the simulation of a room impression and/or sound impression
US8027477B2 (en) 2005-09-13 2011-09-27 Srs Labs, Inc. Systems and methods for audio processing
EP1927264B1 (en) 2005-09-13 2016-07-20 Koninklijke Philips N.V. Method of and device for generating and processing parameters representing hrtfs
EP1927266B1 (en) 2005-09-13 2014-05-14 Koninklijke Philips N.V. Audio coding
JP4938015B2 (ja) 2005-09-13 2012-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元音声を生成する方法及び装置
US8443026B2 (en) 2005-09-16 2013-05-14 Dolby International Ab Partially complex modulated filter bank
US7917561B2 (en) 2005-09-16 2011-03-29 Coding Technologies Ab Partially complex modulated filter bank
US8811627B2 (en) 2005-10-26 2014-08-19 Nec Corporation Echo suppressing method and apparatus
JP4637725B2 (ja) * 2005-11-11 2011-02-23 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
CN101361118B (zh) * 2006-01-19 2011-07-27 Lg电子株式会社 处理媒体信号的方法和装置
PL1989920T3 (pl) 2006-02-21 2010-07-30 Koninl Philips Electronics Nv Kodowanie i dekodowanie dźwięku
KR100754220B1 (ko) * 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
WO2007106553A1 (en) 2006-03-15 2007-09-20 Dolby Laboratories Licensing Corporation Binaural rendering using subband filters
FR2899423A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme.
FR2899424A1 (fr) 2006-03-28 2007-10-05 France Telecom Procede de synthese binaurale prenant en compte un effet de salle
KR101244910B1 (ko) * 2006-04-03 2013-03-18 삼성전자주식회사 시분할 입체 영상 디스플레이 장치 및 그 구동 방법
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
EP3236587B1 (en) * 2006-07-04 2018-11-21 Dolby International AB Filter system comprising a filter converter and a filter compressor and method for operating the filter system
US7876903B2 (en) 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
EP1885154B1 (en) * 2006-08-01 2013-07-03 Nuance Communications, Inc. Dereverberation of microphone signals
US9496850B2 (en) 2006-08-04 2016-11-15 Creative Technology Ltd Alias-free subband processing
ES2873254T3 (es) 2006-10-25 2021-11-03 Fraunhofer Ges Forschung Aparato y procedimiento para la generación de valores de subbanda de audio de valor complejo
JP5270566B2 (ja) 2006-12-07 2013-08-21 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
KR20080076691A (ko) * 2007-02-14 2008-08-20 엘지전자 주식회사 멀티채널 오디오신호 복호화방법 및 그 장치, 부호화방법및 그 장치
KR100955328B1 (ko) 2007-05-04 2010-04-29 한국전자통신연구원 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법
US8140331B2 (en) 2007-07-06 2012-03-20 Xia Lou Feature extraction for identification and classification of audio signals
KR100899836B1 (ko) 2007-08-24 2009-05-27 광주과학기술원 실내 충격응답 모델링 방법 및 장치
WO2009046223A2 (en) 2007-10-03 2009-04-09 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
AU2008309951B8 (en) * 2007-10-09 2011-12-22 Dolby International Ab Method and apparatus for generating a binaural audio signal
CN101136197B (zh) * 2007-10-16 2011-07-20 得理微电子（上海）有限公司 基于时变延迟线的数字混响处理器
KR100971700B1 (ko) * 2007-11-07 2010-07-22 한국전자통신연구원 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치
US8125885B2 (en) 2008-07-11 2012-02-28 Texas Instruments Incorporated Frequency offset estimation in orthogonal frequency division multiple access wireless networks
CN103561378B (zh) * 2008-07-31 2015-12-23 弗劳恩霍夫应用研究促进协会 双耳信号的信号生成
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
EP2175670A1 (en) 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
KR20100062784A (ko) 2008-12-02 2010-06-10 한국전자통신연구원 객체 기반 오디오 컨텐츠 생성/재생 장치
WO2010091077A1 (en) 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
EP2237270B1 (en) 2009-03-30 2012-07-04 Nuance Communications, Inc. A method for determining a noise reference signal for noise compensation and/or noise reduction
US20120039477A1 (en) 2009-04-21 2012-02-16 Koninklijke Philips Electronics N.V. Audio signal synthesizing
JP4893789B2 (ja) 2009-08-10 2012-03-07 ヤマハ株式会社 音場制御装置
US9432790B2 (en) * 2009-10-05 2016-08-30 Microsoft Technology Licensing, Llc Real-time sound propagation for dynamic sources
EP2365630B1 (en) 2010-03-02 2016-06-08 Harman Becker Automotive Systems GmbH Efficient sub-band adaptive fir-filtering
MY154204A (en) 2010-03-09 2015-05-15 Fraunhofer Ges Forschung Apparatus and method for processing an imput audio signal using cascaded filterbanks
KR101844511B1 (ko) 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8693677B2 (en) 2010-04-27 2014-04-08 Freescale Semiconductor, Inc. Techniques for updating filter coefficients of an adaptive filter
KR101819027B1 (ko) * 2010-08-06 2018-01-17 삼성전자주식회사 오디오 재생 방법 및 그에 따른 오디오 재생 장치, 및 정보 저장 매체
NZ587483A (en) * 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
RU2551817C2 (ru) * 2010-09-16 2015-05-27 Долби Интернешнл Аб Гармоническое преобразование на основе блока поддиапазонов, усиленное перекрестными произведениями
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
EP2464146A1 (en) 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a pre-calculated reference curve
US9462387B2 (en) 2011-01-05 2016-10-04 Koninklijke Philips N.V. Audio system and method of operation therefor
EP2541542A1 (en) 2011-06-27 2013-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal
EP2503800B1 (en) * 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Spatially constant surround sound
JP5704397B2 (ja) 2011-03-31 2015-04-22 ソニー株式会社 符号化装置および方法、並びにプログラム
CN103548077B (zh) 2011-05-19 2016-02-10 杜比实验室特许公司 参数化音频编译码方案的取证检测
EP2530840B1 (en) * 2011-05-30 2014-09-03 Harman Becker Automotive Systems GmbH Efficient sub-band adaptive FIR-filtering
KR101809272B1 (ko) * 2011-08-03 2017-12-14 삼성전자주식회사 다 채널 오디오 신호의 다운 믹스 방법 및 장치
EP3253079B1 (en) 2012-08-31 2023-04-05 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
US20140270189A1 (en) 2013-03-15 2014-09-18 Beats Electronics, Llc Impulse response approximation methods and related systems
US9674632B2 (en) 2013-05-29 2017-06-06 Qualcomm Incorporated Filtering with binaural room impulse responses
EP2840811A1 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
KR101815082B1 (ko) 2013-09-17 2018-01-04 주식회사 윌러스표준기술연구소 멀티미디어 신호 처리 방법 및 장치
CN108449704B (zh) 2013-10-22 2021-01-01 韩国电子通信研究院 生成用于音频信号的滤波器的方法及其参数化装置
US9832589B2 (en) 2013-12-23 2017-11-28 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
JP6084264B1 (ja) 2015-09-28 2017-02-22 Ｋｙｂ株式会社 スプール弁装置

Also Published As

Publication number Publication date
EP3048815A1 (en) 2016-07-27
WO2015041477A1 (ko) 2015-03-26
KR20170110738A (ko) 2017-10-11
CN108200530B (zh) 2020-06-12
EP3048815B1 (en) 2020-11-11
EP4120699A1 (en) 2023-01-18
EP3048816B1 (en) 2020-09-16
CN105659630B (zh) 2018-01-23
KR102159990B1 (ko) 2020-09-25
BR112016005956B1 (pt) 2022-06-07
US20200021936A1 (en) 2020-01-16
KR20180004317A (ko) 2018-01-10
KR101815082B1 (ko) 2018-01-04
BR112016005956A2 (ja) 2017-09-05
US9584943B2 (en) 2017-02-28
KR102215129B1 (ko) 2021-02-10
KR20160052575A (ko) 2016-05-12
CA3122726C (en) 2023-05-09
JP2016534586A (ja) 2016-11-04
CA3122726A1 (en) 2015-03-26
CN105706467B (zh) 2017-12-19
WO2015041478A1 (ko) 2015-03-26
CN105659630A (zh) 2016-06-08
US10469969B2 (en) 2019-11-05
ES2932422T3 (es) 2023-01-19
WO2015041476A1 (ko) 2015-03-26
EP3048816A1 (en) 2016-07-27
US20180227692A1 (en) 2018-08-09
CN105706468A (zh) 2016-06-22
KR101815079B1 (ko) 2018-01-04
US20160219388A1 (en) 2016-07-28
EP3048814A1 (en) 2016-07-27
KR101782916B1 (ko) 2017-09-28
EP3048814B1 (en) 2019-10-23
US9961469B2 (en) 2018-05-01
KR20160048832A (ko) 2016-05-04
KR20160074458A (ko) 2016-06-28
US9578437B2 (en) 2017-02-21
BR112016005956B8 (pt) 2022-07-12
EP3048816A4 (en) 2017-05-31
US20160198281A1 (en) 2016-07-07
KR102163266B1 (ko) 2020-10-08
KR20180004316A (ko) 2018-01-10
US11622218B2 (en) 2023-04-04
CN105706467A (zh) 2016-06-22
EP3767970B1 (en) 2022-09-28
US20160249149A1 (en) 2016-08-25
CA2924458C (en) 2021-08-31
CN105706468B (zh) 2017-08-11
US10455346B2 (en) 2019-10-22
US20210337335A1 (en) 2021-10-28
CN108200530A (zh) 2018-06-22
EP3048815A4 (en) 2017-05-31
CA3194257A1 (en) 2015-03-26
US20160234620A1 (en) 2016-08-11
EP3806498B1 (en) 2023-08-30
CA2924458A1 (en) 2015-03-26
EP3806498A1 (en) 2021-04-14
EP3767970A1 (en) 2021-01-20
EP3048814A4 (en) 2017-05-31
US11096000B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
JP6121052B2 (ja) マルチメディア信号処理方法および装置
JP6151866B2 (ja) オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置
KR101804744B1 (ko) 오디오 신호 처리 방법 및 장치
KR102216657B1 (ko) 오디오 신호 처리 방법 및 장치
KR102230308B1 (ko) 멀티미디어 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R150 Certificate of patent or registration of utility model

Ref document number: 6121052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316303

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S803 Written request for registration of cancellation of provisional registration

Free format text: JAPANESE INTERMEDIATE CODE: R316805

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R314531

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S804 Written request for registration of cancellation of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314803

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250