JP4307917B2 - オーディオミキシングのための等化技術 - Google Patents

オーディオミキシングのための等化技術 Download PDF

Info

Publication number
JP4307917B2
JP4307917B2 JP2003179073A JP2003179073A JP4307917B2 JP 4307917 B2 JP4307917 B2 JP 4307917B2 JP 2003179073 A JP2003179073 A JP 2003179073A JP 2003179073 A JP2003179073 A JP 2003179073A JP 4307917 B2 JP4307917 B2 JP 4307917B2
Authority
JP
Japan
Prior art keywords
channel
audio signal
loudness
frequency domain
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003179073A
Other languages
English (en)
Other versions
JP2004048741A (ja
JP2004048741A5 (ja
Inventor
バウムガーテ フランク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agere Systems LLC
Original Assignee
Agere Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agere Systems LLC filed Critical Agere Systems LLC
Publication of JP2004048741A publication Critical patent/JP2004048741A/ja
Publication of JP2004048741A5 publication Critical patent/JP2004048741A5/ja
Application granted granted Critical
Publication of JP4307917B2 publication Critical patent/JP4307917B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Amplifiers (AREA)

Description

【0001】
【関連する特許出願】
本出願は、2002年6月24日付けで、attorney docket no.(弁理士事件番号)Baumgarte 3−11として出願された合衆国仮特許出願第60/391,095号の優先権(benefit)を主張する。
【0002】
【発明の属する技術分野】
本発明はオーディオ信号の処理、より詳細には、オーディオ信号のミキシングに係る。
【0003】
【従来の技術】
オーディオの録音、オーディオの再生、及びオーディオの符号化等の多くの分野において、ある数の入力オーディオチャネルをミキシングすることで、異なる数の出力オーディオチャネルを生成するという共通な課題が存在する。このチャネル数の変更は、例えば、録音デバイスのオーディオトラック(チャネル)の数と、再生システムによってサポートされるチャネル数との間の差や、分配媒体(例えば、CD、DVD、ラジオ)のチャネル数と再生システムによってサポートされるチャネル数との間の差を乗り越えるために必要となる。
【0004】
一例としてFMラジオがある。つまり、FMラジオにおいては、オーディオは、通常、2−チャネルステレオ信号として分配されるが、多くの受信機は、たった一つの再生チャネル(一つの拡声器)しか有さない。このような場合、典型的には、これら2つのステレオチャネルをダウンミキシングすることで、再生のための単一のモノのオーディオ信号が形成される。もう一つの例として、サラウンドオーディオフォーマット(surround audio format)、例えば5.1サラウンド、に準拠する入力信号の複数の(例えば5つの)チャネルの場合も、例えば、2−チャネルステレオシステムを用いて再生のためにダウンミキシングが行われる。
【0005】
(出力チャネル数を入力チャネル数より少なくする)ダウンミキシングに加えて、オーディオ信号のミキシングには、(出力チャネル数を入力チャネル数より多くする)アップミキシングもある。アップミキシングの一例としては、2−チャネル(例えば、左右)入力信号からの3−チャネル(例えば、左右と中央)出力信号の生成がある。
【0006】
ダウンミキシング及びアップミキシングの両方とも、空間イメージ品質(spatial image quality)の劣化が可能な限り小さな過程を用いて遂行されるべきである。従来のミキシング過程においては、各出力チャネルは、時間領域における入力チャネルの重み付け総和から導かれ、各出力チャネルに対する各入力チャネルの重みの決定には「パニング規則(panning laws)」或いは「マトリキシングスキーム(matrixing schemes)」が適用される。
【0007】
信号が時間領域において操作されるため、従来のミキシング技術はオーディオチャネルの全帯域幅に適用できる。
【0008】
【発明が解決しようとする課題】
このようなミキシング技術の一つの短所は、ステレオオーディオチャネルのスペクトル成分の幾つかが位相的に整合していない場合、スペクトルエネルギー及び/或いはラウドネスが失われる可能性があることである。このような位相差は、例えば、マルチマイクロホン録音(multiple−microphonerecording)において、各マイクロホンが音響源に対して異なる距離を有するときにしばしが発生する。この結果、異なる位相がマイクロホン信号内に導入されることとなる。同一振幅の二つのチャネル間に180度の位相シフトが存在するような極端なケースにおいては、入力チャネルの和として構成される出力チャネルは、これら入力チャネルが互いに打ち消し合うために零エネルギーとなる。より現実的には、出力チャネル内の幾つかのスペクトル成分について、信号位相の不整合のために信号のエネルギー及び/或いはラウドネスが大幅に低下することがある。
【0009】
色効果(coloration effects)については、1950年から60年台にかけて2−チャネルステレオサウンドが導入された当時に、「モノ互換性問題(mono−compatibility probelem)」のフレームワーク内で幅広く研究された経緯がある。これについては、例えば、F.K. Harvey and E.H.Uecke, 「Compatibility problem in two−channel stereophonic recordings」, 13th AES meeting, preprint 197, Oct.1961、を参照されたい。これら研究の目標は、2つのチャネルがモノに混合されたとき知覚ラウドネス(perceived loudness)が全周波数に渡ってできる限り多く維持されるような2−チャネルステレオ信号を生成する方法を発見することに向けられていた。具体的には、総和の前に、それぞれ、左右のオーディオ信号に+45度と−45度の位相シフトを加えたり、或いは録音のために一致マイクロホンを用いる(両方のマイクロホンが音源から同一距離を有するようにする)ことなどが行われた。これら技法は、特定な状況に対しては色効果を低減する傾向はあるが、ただし、これら技法を適用することができない及び/或いはこれら技法では満足できる結果が得られないような多くのオーディオ処理分野が存在する。
【0010】
【課題を解決するための手段】
本発明の原理によると、この従来の技術のこれら問題は、ミキサ出力信号のエネルギー及び/或いはラウドネスのレベルを、ミキサ入力信号のエネルギー及び/或いはラウドネスのレベルに一致させる等化ミキシング技術(eqalized mixing technique)によってアプローチされ、色効果が、低減され、場合によっては、完全に回避される。一つの実施例においては、N−チャネル入力信号の時間領域チャネル信号が周波数領域に変換され、結果としてのスペクトル成分がミキシングされ、次に、ミキシング過程に伴うスペクトルエネルギー及び/或いはラウドネスの損失を調節するために、これら成分が適応的に増幅される。次に、この結果としての等化された混合チャネルを逆変換することで、M−チャネル出力信号の時間領域チャネル信号が生成される。
【0011】
一つの実現においては、本発明は、N−チャネル入力オーディオ信号を、M−チャネル出力オーディオ信号を生成するためにミキシングする方法に係る。ここでNとMは正の整数を表す。この方法によると、N−チャネル入力オーディオ信号に対して第一のラウドネス推定値が生成される。N−チャネル入力オーディオ信号に対応するN個の入力チャネル信号をミキシングすることで、M個の混合チャネル信号が生成され、これらM個の混合チャネル信号に対して、第二のラウドネス推定値が生成される。これら第一と第二のラウドネス推定値に基づいてこれらM個の混合チャネル信号を等化することで、M−チャネル出力オーディオ信号が生成される。
【0012】
もう一つの実現においては、本発明は、上述の方法にて生成されるM−チャネル出力オーディオ信号に係る。
【0013】
さらにもう一つの実現によると、本発明はN−チャネル入力オーディオ信号を、M−チャネル出力オーディオ信号を生成するためにミキシングする装置に係る。ここでNとMは正の整数を表す。この装置は、ミキサと、一つ或いは複数のラウドネス推定器と、等化器とを備える。ミキサは、N−チャネル入力オーディオ信号に対応するN個の入力チャネル信号をミキシングすることで、M個の混合チャネル信号を生成するように構成される。一つ或いは複数のラウドネス推定器は、N−チャネル入力オーディオ信号に対する第一のラウドネス推定値と、M個の混合チャネル信号に対する第二のラウドネス推定値とを生成するように構成される。等化器は、第一と第二のラウドネス推定値に基づいてM個の混合チャネル信号を等化することで、M−チャネル出力オーディオ信号を生成するように構成される。
【0014】
本発明の他の面、特徴及び長所が、以下の詳細な説明、クレーム、及び添付の図面からより一層明らかになるものである。
【0015】
【発明の実施の形態】
図1は本発明の一つの実施例による等化ミキシング手続き(equalized mixing procedure)の流れ図を示す。より詳細には、図1の処理は、N−チャネル入力信号を混合することで、M−チャネル出力信号を生成することに対応し、ここで、この入力信号は、N個の時間領域におけるチャネル信号x(t),n=1,...,Nを有し、この出力信号は、M個の時間領域におけるチャネル信号y’(t),m=1,...,Mを有する。
【0016】
ダウンミキシング用途(down−mixing applications)に対しては、N>M≧1とされる。例えば、ステレオ入力信号をモノ出力信号にダウンミキシング(混合)するときは、N=2、M=1とされる。アップミキシング用途に対しては、1≦N<Mとされる。例えば、ステレオ入力信号を3‐チャネル出力信号にアップミキシング(混合)するときは、N=2、M=3とされる。入力チャネルの数と出力チャネルの数が同一とされるような(つまり、N=M>2とされる)ミキシング用途も可能である。
【0017】
図1の処理によると、ステップ102において、各時間領域における入力チャネル信号のフレームに短時間フーリエ変換(short−time Fourier transform, STFT)が適用される。ここで、入力チャネル信号xn,k(t)のインデックスkを有する短時間フレームの複素STFT変換(complex STFT transform)は、Xn,k(ω)として表示される。スペクトル解像度を改善させるためには、このSTFT変換(STFT transform)は、好ましくは、連続時間信号から各時間領域における信号を生成する際にウインドウ関数(window function)を適用すべきである。典型的なウインドウ関数によると、連続するウインドウ(窓)は、時間において、例えば、各ウインドウの長さの50%だけ重なり合う。
【0018】
N個の入力チャネル信号の各々に対してフレームkを変換した後に、ステップ104において、このN−チャネル入力信号のフレームkの短時間総スペクトルラウドネス(overall short−time spectral loudness)Γが以下の式(1)に従って計算される:
【数1】
Figure 0004307917
ここで、指数βは1より大きな定数を表す。ラウドネス(loudness)とは、典型的には、モデルによって物理量から近似される知覚量(perceptual quantity)を表し、知覚されるラウドネスを直接に測定できないときに用いられる。ラウドネスに対する一つの可能なモデルは、ラウドネスが信号エネルギーに等しいという想定に基づき、これは、式(2)におけるβ=2に対応する。この値は、様々なオーディオ内容(audio material)及び再生シナリオに適用できる平均を表す。ただし、これは用途に依存し、幾つかの状況においては、より正確なラウドネス近似を得るために、βの選択が変えられる(つまり、2より大きくしたり、小さくしたりされる)。例えば、βの最適な選択は多くの要因に依存し、これには拡声器の位置、再生システム(例えば、モノ、ステレオ、ヘッドホーン)の音響特性、再生レベル等が含まれる。
【0019】
次に、ステップ106において、N−チャネル入力信号のフレームkに対するスペクトル成分Xn,k(ω)を混合することで、M−チャネル出力信号のフレームkに対するM個のセットのスペクトル成分Ym,k(ω)が生成される。これら混合スペクトル成分Ym,k(ω) を生成するためには、特定の用途に応じて任意の適当なミキシングアルゴリズム(mixing algorithm)を適用することができ、これには、発明の背景のセクションにおいて説明された重み付き和技法(weighted summation techniques)も含まれる。一つの可能な重み付き和技法は、以下の式(2)によって表される:
【数2】
Figure 0004307917
【0020】
ここで、Wm,nは、m番目の混合スペクトル成分Ym,k(ω)を生成する際にn番目の入力スペクトル成分Xn,k(ω)に適用される重みを表す。
次に、ステップ108において、これらM個の混合チャネルのフレームkの短時間総スペクトルラウドネスΛが以下の式(3)に従って計算される:
【数3】
Figure 0004307917
【0021】
これら2つのスペクトルラウドネス推定値ΓとΛは、それぞれ、好ましくは、以下の式(4)と式(5)に従って時間に関して平滑化される:
【数4】
Figure 0004307917
重み係数αは、それぞれ、式(1)と(3)から得られるラウドネス推定値の、式(4)と(5)における時間領域における平滑化(time−domain smoothing)を決定する。一つの好ましい実現においては、αは、0から1の範囲から選択される定数とされる。α=0とされた場合は、平滑化は行われない。式(4)と(5)からえられる平滑化されたラウドネス推定値は、αを大きくするほど、時間に関しての変動が小さくなる。リアルタイムオーディオ信号に対してラウドネス推定値が16ミリ秒毎に更新される場合の適当な値は、α=0.9である。
【外1】
Figure 0004307917
【0022】
次に、ステップ110において、これら混合スペクトル成分Ym,k(ω)を、以下の式(7)に従って等化することで、等化された混合スペクトル成分Y’m,k(ω)が生成される:
【数5】
Figure 0004307917
ここで、g(ω)は周波数依存利得係数を表し、これは、好ましくは、平滑化されたラウドネス推定値ΓとΛから以下の式(7)に従って生成される:
【数6】
Figure 0004307917
式(7)の分母は、好ましくは、零による除法を回避するために小さな(例えば、最大信号レベルより100dB小さな)正の定数εを含む。一つの好ましい実現においては、ステップ110の等化は、M−チャネル出力信号が元のN−チャネル入力信号と等しい推定ラウドネスを有するようにされる。
【0023】
次に、ステップ112において、各等化された混合スペクトルy’m、k(ω)に逆STFT変換を適用することで、M−チャネル出力信号の時間領域におけるチャネル信号y’(t)が得られる。重なり合うフレームが採用される場合は、前のフレームとのオーバラップ加算手続(overlap−add procedure)も遂行される。
【0024】
図2は本発明の一つの実施例による等化ミキサ(equalized mixer)200のブロック図を示す。等化ミキサ200は、図1の処理を遂行するように構成される。図2に示すように、等化ミキサ200は、N個の短時間フーリエ変換(short−time Fourier transform, STFT)ブロック202と、周波数領域ミキサ204と、周波数領域等化器206と、M個の短時間逆フーリエ変換(inverse short−time Fourier transform, ISTFT)ブロック208とを備える。加えて、等化ミキサ200は、2つのラウドネス推定ブロック210と212を備える。各変換ブロック202は、N−チャネル入力信号の一つの異なるチャネル信号を周波数領域に変換するために、図1のステップ102の部分を遂行する。ラウドネス推定ブロック210は、N−チャネル入力信号の総推定ラウドネスΓを計算(及び平滑化)するために、図1のステップ104を遂行する。ミキサ204は、M個の混合スペクトルを生成するために、図1のステップ106を遂行する。ラウドネス推定ブロック212は、これらM個の混合スペクトルの総推定ラウドネスΛを計算(及び平滑化)するために、図1のステップ108を遂行する。等化器206は、これらM個の混合スペクトルを等化するために、図1のステップ110を遂行する。各ISTFブロック208は、結果としてのM個の等化混合スペクトルの異なる一つを時間領域に変換し、M−チャネル出力信号の一つの異なるチャネルを生成するために、図1のステップ112の部分を遂行する。
【0025】
上では、等化ミキサ200は、並列に動作するN個の異なる変換ブロックと、並列に動作するM個の異なる逆変換ブロックとを備えるものとして説明されたが、代替の実現として、一つの変換ブロックと一つの逆変換ブロックとを直列に、時分割にて動作させることで、複数の異なる信号を処理することもできる。同様に、本発明の等化ミキサは、N個の入力チャネル信号とM個の混合チャネル信号の両方に対して総スペクトルラウドネス推定値を生成する単一のラウドネス推定器(loudness estimator)を用いて実現することもできる。
【0026】
上では本発明は、連続時間tと連続周波数ωとを用いるものとして説明されたが、本発明は、離散時間と離散周波数とを用い、例えば、離散フーリエ変換(discrete Fourier transform, DFT)を用いて実現することもできる。更に、連続であるか、離散であるかに関係なく、本発明はフーリエ変換を用いることに限定されるものではない。より一般に、本発明は、できれば省エネ型のものが好ましいが、任意の適当な直交変換(器)或いはフィルタを用いて実現できる。更に、理論的には、本発明の等化ミキシングは、適応フルタリングを用いて時間領域にて実現することもできる。
【0027】
本発明のミキシング技術は、オーディオ信号のミキシングが必要とされ、更に、スペクトルの異なる生成された部分がマージングされる問題を回避することが要請される、多くの異なるオーディオ符号化及びサウンドエンジニアリング用途に適用でき、とりわけ、全オーディオ帯域幅の処理が必要とされる分野に効果的である。本発明によると、ミキシング過程が、「スペクトル等化(spectral equalization)」によって、すなわち、全出力チャネルの総スペクトルエネルギー及び/或いはラウドネスを全入力チャネルの総スペクトルエネルギー及び/或いはラウドネスと概ね等しく維持することで改善される。加えて、本発明は全帯域幅の内の一部のみに適用することもできる。すなわち、本発明による等化ミキシングは、オーディオ信号の全帯域幅の内の単に1つ或いは複数の部分についてのみ遂行することもできる。
【0028】
本発明は、これら方法を実現するための方法及び装置の形態にて具現することができる。本発明は、更に、有体の媒体、例えば、フロッピー(登録商標)ディスケット、CD−ROM、ハードドライブ、或いは任意の他のマシンにて読出し可能なメモリ媒体等の内に具現されたプログラムコードであって、コンピュータ等のマシーン内にロードされ、実行されたとき、そのマシーンを、本発明を実施するための装置とならしめるようなプログラムコードの形態として実現することもできる。本発明は、更に、メモリ媒体に格納されたり、マシーン内にロードされ、実行されたり、伝送媒体や搬送波を通じて伝送されたり、電線やケーブルを通じて、光ファイバを通じて、或いは電磁放射を介して伝送されたりするプログラムコードであって、コンピュータ等のマシーン内にロードされ、実行されたとき、そのマシーンを、本発明を実施するための装置とならしめるようなプログラムコードの形態にて実現することもできる。汎用プロセッサ上に実現された場合、このプログラムコードは、そのプロセッサと一体となって、特定論理回路と類似するユニークなデバイスを提供する。
【0029】
更に、当業者においては明白なように、上で、本発明の特徴を説明する目的で示された細部、材料及びパーツの配列に対して、クレーム内に表明される本発明の範囲から逸脱することなく、様々な変更を加えることが可能である。
【図面の簡単な説明】
【図1】本発明の一つの実施例による等化ミキシング手続を示す流れ図である。
【図2】本発明の一つの実施例による等化ミキサを示すブロック図である。
【符号の説明】
200 等化ミキサ
200 短時間フーリエ変換(STET) ブロック
204 周波数領域ミキサ
206 周波数領域等化器
208 短時間逆フーリエ変換(ISTFT)ブロック
210、212 ラウドネス推定ブロック

Claims (9)

  1. NとMは正の整数を表わすものとして、N−チャネル入力オーディオ信号を、ミキシングして、M−チャネルの出力オーディオ信号を生成するための方法であって、
    (a)該N−チャネル入力オーディオ信号を、時間領域から周波数領域に変換するステップと、
    (b)該N−チャネル入力オーディオ信号に対して第一のスペクトルラウドネス推定値を生成するステップと、
    (c)該N−チャネル入力オーディオ信号に対応するN個の周波数領域入力チャネル信号をミキシングして、M個の周波数領域混合チャネル信号を生成するステップと、
    (d)該M個の混合チャネル信号に対して第二のスペクトルラウドネス推定値を生成するステップと、
    (e)該第一と第二のラウドネス推定値に基づく周波数依存利得係数を用いて、該M個の周波数領域混合チャネル信号を等化して、M個の等化された場合チャンネル信号を生成するステップと、
    (f)該M個の等化された混合チャネル信号を、周波数領域から時間領域に変換して、該M−チャネル出力オーディオ信号を生成するステップと、を含むことを特徴とする方法。
  2. 請求項1に記載の方法において、
    該ステップ(e)が、該M個の混合チャネル信号を、該第一および第二のラウドネス推定値に基づく周波数依存利得係数を用いて増幅することで、該M−チャネル出力オーディオ信号の総スペクトルラウドネスを該N−チャネル入力オーディオ信号の総スペクトルラウドネスと実質的に等しくなるように維持するステップから成る方法。
  3. 請求項1に記載の方法において、
    該第1および第2のスペクトルラウドネス推定値が時間に関して平滑化されるようになっている方法。
  4. 請求項1に記載の方法において、
    該ステップ(a)が、短時間フーリエ変換(STFT)を各入力チャネル信号の各フレームに対して適用するステップから成り、
    該ステップ(d)が、逆STFT(ISTFT)を各等化された混合チャネル信号の各フレームに対して適用するステップから成り、および
    各入力チャネル信号の連続するフレームが時間的に重り合っている、方法。
  5. 請求項4に記載の方法において、
    該ステップ(c)が、重みづけされた総和に基づいてミキシングを行うことにより、該N個の周波数領域入力チャネル信号から該M個の周波数領域混合チャネル信号を生成するステップから成り、
    該ステップ(e)が、該第一と第二のスペクトルラウドネス推定値に基づく周波数依存利得係数を用いて該M個の混合チャネル信号を増幅することで、該M−チャネル出力オーディオ信号の総スペクトルラウドネスを該N−チャネル入力オーディオ信号の総スペクトルラウドネスと実質的に等しくなるように維持するステップと、を含み、
    該第一と第二のスペクトルラウドネス推定値が時間に関して平滑化され、
    N>Mとされる場合は、該N−チャネル入力オーディオ信号をダウンミキシングすることにより、該M−チャネル出力オーディオ信号が生成され、および
    N<Mとされる場合は、該N−チャネル入力オーディオ信号をアップミキシングすることにより、該M−チャネル出力オーディオ信号が生成される、ようになっている方法。
  6. 請求項1に記載の方法において、
    N>Mとされる場合は、該N−チャネル入力オーディオ信号をダウンミキシングすることにより、該M−チャネル出力オーディオ信号が生成され、および
    N<Mとされる場合は、該N−チャネル入力オーディオ信号をアップミキシングすることにより、該M−チャネル出力オーディオ信号が生成される、ようになっている方法。
  7. 請求項1に記載の方法において、
    前記ステップ(c)が、重みづけされた総和に基づくミキシングを行って、N個の周波数領域入力チャネル信号から、M個の周波数領域混合チャネル信号を発生するステップから成る方法。
  8. 請求項1に記載の方法において、
    Figure 0004307917
    を、該第1のラウドネス推定値、
    Figure 0004307917
    を該第2のラウドネス推定値、εを正の定数、およびβを1よりも大きな定数として、
    該周波数依存利得係数g(ω)が次式
    Figure 0004307917
    で与えられる方法。
  9. NとMが正の整数を表わすものとして、N−チャネル入力オーディオ信号をミキシングして、M−チャネル出力オーディオ信号を生成するための装置であって、
    該N−チャネル入力オーディオ信号を時間領域から周波数領域に変換するように構成された一つ或いは複数の変換ブロックのセットと、
    該N−チャネル入力オーディオ信号に対応するN個の周波数領域入力チャネル信号をミキシングすることにより、M個の周波数領域混合チャネル信号を生成するように構成されたミキサと、
    該N−チャネル入力オーディオ信号に対する第一のラウドネス推定値および該M個の周波数領域混合チャネル信号に対する第二のラウドネス推定値とを生成するように構成された一つ或いは複数のラウドネス推定値と、
    該第一および第二のラウドネス推定値に基づく周波数依存利得係数を用いて該M個の周波数領域混合チャネル信号を等化することにより、M個の等化された混合チャネル信号を生成するよう構成された等化器と、
    該M個の等化された混合チャネル信号を周波数領域から時間領域に変換することにより、該M−チャネル出力オーディオ信号を生成するように構成された一つ或いは複数の逆変換ブロックのセットと、を備える装置。
JP2003179073A 2002-06-24 2003-06-24 オーディオミキシングのための等化技術 Expired - Fee Related JP4307917B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US39109502P 2002-06-24 2002-06-24
US10/246,165 US7039204B2 (en) 2002-06-24 2002-09-18 Equalization for audio mixing

Publications (3)

Publication Number Publication Date
JP2004048741A JP2004048741A (ja) 2004-02-12
JP2004048741A5 JP2004048741A5 (ja) 2007-03-01
JP4307917B2 true JP4307917B2 (ja) 2009-08-05

Family

ID=29718508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003179073A Expired - Fee Related JP4307917B2 (ja) 2002-06-24 2003-06-24 オーディオミキシングのための等化技術

Country Status (3)

Country Link
US (1) US7039204B2 (ja)
EP (1) EP1377123A1 (ja)
JP (1) JP4307917B2 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767969B1 (en) 1999-09-27 2014-07-01 Creative Technology Ltd Process for removing voice from stereo recordings
US7072477B1 (en) * 2002-07-09 2006-07-04 Apple Computer, Inc. Method and apparatus for automatically normalizing a perceived volume level in a digitally encoded file
US7970144B1 (en) * 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals
CA2555182C (en) * 2004-03-12 2011-01-04 Nokia Corporation Synthesizing a mono audio signal based on an encoded multichannel audio signal
KR100923478B1 (ko) * 2004-03-12 2009-10-27 노키아 코포레이션 부호화된 다중채널 오디오 신호에 기반하여 모노 오디오신호를 합성하는 방법 및 장치
RU2396608C2 (ru) * 2004-04-05 2010-08-10 Конинклейке Филипс Электроникс Н.В. Способ, устройство, кодирующее устройство, декодирующее устройство и аудиосистема
US7756713B2 (en) * 2004-07-02 2010-07-13 Panasonic Corporation Audio signal decoding device which decodes a downmix channel signal and audio signal encoding device which encodes audio channel signals together with spatial audio information
TWI393121B (zh) * 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
JP4936894B2 (ja) * 2004-08-27 2012-05-23 パナソニック株式会社 オーディオデコーダ、方法及びプログラム
KR101158709B1 (ko) * 2004-09-06 2012-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 강화
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
JP2008530958A (ja) * 2005-02-17 2008-08-07 パナソニック オートモーティブ システムズ カンパニー オブ アメリカ ディビジョン オブ パナソニック コーポレイション オブ ノース アメリカ オーディオシステムにおいて、オーディオソース材料の再生を最適化するための方法および装置
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US20060235683A1 (en) * 2005-04-13 2006-10-19 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Lossless encoding of information with guaranteed maximum bitrate
US7991610B2 (en) * 2005-04-13 2011-08-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Adaptive grouping of parameters for enhanced coding efficiency
GB2426168B (en) * 2005-05-09 2008-08-27 Sony Comp Entertainment Europe Audio processing
KR101370365B1 (ko) * 2005-09-13 2014-03-05 코닌클리케 필립스 엔.브이. 3d 사운드를 발생시키기 위한 방법 및 디바이스
US20070135952A1 (en) * 2005-12-06 2007-06-14 Dts, Inc. Audio channel extraction using inter-channel amplitude spectra
JP4944902B2 (ja) * 2006-01-09 2012-06-06 ノキア コーポレイション バイノーラルオーディオ信号の復号制御
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
CA2646961C (en) * 2006-03-28 2013-09-03 Sascha Disch Enhanced method for signal shaping in multi-channel audio reconstruction
JP2008092072A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 音声ミキシング処理装置及び音声ミキシング処理方法
JP5285626B2 (ja) * 2007-03-01 2013-09-11 ジェリー・マハバブ 音声空間化及び環境シミュレーション
US8934640B2 (en) * 2007-05-17 2015-01-13 Creative Technology Ltd Microphone array processor based on spatial analysis
EP2260487B1 (en) * 2008-03-04 2019-08-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mixing of input data streams and generation of an output data stream therefrom
CN104378075B (zh) 2008-12-24 2017-05-31 杜比实验室特许公司 频域中的音频信号响度确定和修改
WO2010138311A1 (en) 2009-05-26 2010-12-02 Dolby Laboratories Licensing Corporation Equalization profiles for dynamic equalization of audio data
WO2010138309A1 (en) 2009-05-26 2010-12-02 Dolby Laboratories Licensing Corporation Audio signal dynamic equalization processing control
US9055374B2 (en) * 2009-06-24 2015-06-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Method and system for determining an auditory pattern of an audio segment
JP5448771B2 (ja) * 2009-12-11 2014-03-19 キヤノン株式会社 音響処理装置及び方法
US9589550B2 (en) * 2011-09-30 2017-03-07 Harman International Industries, Inc. Methods and systems for measuring and reporting an energy level of a sound component within a sound mix
CN103188595B (zh) * 2011-12-31 2015-05-27 展讯通信(上海)有限公司 处理多声道音频信号的方法和系统
US9685921B2 (en) * 2012-07-12 2017-06-20 Dts, Inc. Loudness control with noise detection and loudness drop detection
KR20230020553A (ko) 2013-04-05 2023-02-10 돌비 인터네셔널 에이비 스테레오 오디오 인코더 및 디코더
PL3429233T3 (pl) 2013-07-30 2020-11-16 Dts, Inc. Dekoder matrycowy z panoramowaniem parami o stałej mocy
EP2854133A1 (en) 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
WO2015081293A1 (en) * 2013-11-27 2015-06-04 Dts, Inc. Multiplet-based matrix mixing for high-channel count multichannel audio
JP6313641B2 (ja) * 2014-03-25 2018-04-18 日本放送協会 チャンネル数変換装置
JP6285790B2 (ja) * 2014-03-25 2018-02-28 日本放送協会 チャンネル数変換装置
JP6510870B2 (ja) * 2015-04-20 2019-05-08 日本放送協会 番組音声チャンネル数変換装置、放送番組受信装置及び番組音声チャンネル数変換プログラム
JP6637736B2 (ja) * 2015-11-13 2020-01-29 日本放送協会 ラウドネス調節装置およびプログラム
JP6637735B2 (ja) * 2015-11-13 2020-01-29 日本放送協会 音響特徴量調節装置およびプログラム
JP2018535627A (ja) * 2015-11-16 2018-11-29 ディー−ボックス テクノロジーズ インコーポレイテッド 振動−動力学的効果をバーチャルリアリティセッションに同期させる方法およびシステム
US9947332B2 (en) 2015-12-11 2018-04-17 Ibiquity Digital Corporation Method and apparatus for automatic audio alignment in a hybrid radio system
US9755598B2 (en) 2015-12-18 2017-09-05 Ibiquity Digital Corporation Method and apparatus for level control in blending an audio signal in an in-band on-channel radio system
CN108604454B (zh) * 2016-03-16 2020-12-15 华为技术有限公司 音频信号处理装置和输入音频信号处理方法
JP6703884B2 (ja) * 2016-04-13 2020-06-03 日本放送協会 チャンネル数変換装置、放送受信機およびプログラム
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
JP6854194B2 (ja) * 2017-06-02 2021-04-07 日本放送協会 コンテンツ提供システム、マルチメディア配信装置、端末装置及びプログラム
US10484115B2 (en) 2018-02-09 2019-11-19 Ibiquity Digital Corporation Analog and digital audio alignment in the HD radio exciter engine (exgine)
US10177729B1 (en) 2018-02-19 2019-01-08 Ibiquity Digital Corporation Auto level in digital radio systems
EP3550561A1 (en) 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
CN109121067B (zh) * 2018-10-19 2020-06-09 北京声加科技有限公司 多声道响度均衡方法和设备
CN112750444B (zh) * 2020-06-30 2023-12-12 腾讯科技(深圳)有限公司 混音方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2693893B2 (ja) * 1992-03-30 1997-12-24 松下電器産業株式会社 ステレオ音声符号化方法
US5812969A (en) * 1995-04-06 1998-09-22 Adaptec, Inc. Process for balancing the loudness of digitally sampled audio waveforms
US6111958A (en) * 1997-03-21 2000-08-29 Euphonics, Incorporated Audio spatial enhancement apparatus and methods
WO2003094369A2 (en) * 2002-05-03 2003-11-13 Harman International Industries, Incorporated Multi-channel downmixing device

Also Published As

Publication number Publication date
JP2004048741A (ja) 2004-02-12
US7039204B2 (en) 2006-05-02
US20030235317A1 (en) 2003-12-25
EP1377123A1 (en) 2004-01-02

Similar Documents

Publication Publication Date Title
JP4307917B2 (ja) オーディオミキシングのための等化技術
US8090122B2 (en) Audio mixing using magnitude equalization
KR101984115B1 (ko) 오디오 신호 처리를 위한 다채널 다이렉트-앰비언트 분해를 위한 장치 및 방법
JP5284638B2 (ja) 方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム
US7970144B1 (en) Extracting and modifying a panned source for enhancement and upmix of audio signals
EP2614659B1 (en) Upmixing method and system for multichannel audio reproduction
JP5724044B2 (ja) 多重チャネル・オーディオ信号の符号化のためのパラメトリック型符号化装置
US20170188175A1 (en) Audio signal processing method and device
EP2730103B1 (en) Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral subtractor
US9264838B2 (en) System and method for variable decorrelation of audio signals
JP6843992B2 (ja) 相関分離フィルタの適応制御のための方法および装置
WO2014166863A1 (en) Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio
JP5720897B2 (ja) 下位音声形式を生成する方法及び装置
KR102052314B1 (ko) 멀티­채널 오디오 신호의 다운­믹싱을 위한 방법 및 장치
US9078077B2 (en) Estimation of synthetic audio prototypes with frequency-based input signal decomposition
EP3216234B1 (en) An audio signal processing apparatus and method for modifying a stereo image of a stereo signal
Romoli et al. A novel decorrelation approach for multichannel system identification
EP2630812A1 (en) Estimation of synthetic audio prototypes
US20220400351A1 (en) Systems and Methods for Audio Upmixing
JP6832095B2 (ja) チャンネル数変換装置およびそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090430

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4307917

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees