JP4307917B2 - オーディオミキシングのための等化技術 - Google Patents
オーディオミキシングのための等化技術 Download PDFInfo
- Publication number
- JP4307917B2 JP4307917B2 JP2003179073A JP2003179073A JP4307917B2 JP 4307917 B2 JP4307917 B2 JP 4307917B2 JP 2003179073 A JP2003179073 A JP 2003179073A JP 2003179073 A JP2003179073 A JP 2003179073A JP 4307917 B2 JP4307917 B2 JP 4307917B2
- Authority
- JP
- Japan
- Prior art keywords
- channel
- audio signal
- loudness
- frequency domain
- mixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 36
- 230000003595 spectral effect Effects 0.000 claims description 28
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Amplifiers (AREA)
Description
【関連する特許出願】
本出願は、2002年6月24日付けで、attorney docket no.(弁理士事件番号)Baumgarte 3−11として出願された合衆国仮特許出願第60/391,095号の優先権(benefit)を主張する。
【0002】
【発明の属する技術分野】
本発明はオーディオ信号の処理、より詳細には、オーディオ信号のミキシングに係る。
【0003】
【従来の技術】
オーディオの録音、オーディオの再生、及びオーディオの符号化等の多くの分野において、ある数の入力オーディオチャネルをミキシングすることで、異なる数の出力オーディオチャネルを生成するという共通な課題が存在する。このチャネル数の変更は、例えば、録音デバイスのオーディオトラック(チャネル)の数と、再生システムによってサポートされるチャネル数との間の差や、分配媒体(例えば、CD、DVD、ラジオ)のチャネル数と再生システムによってサポートされるチャネル数との間の差を乗り越えるために必要となる。
【0004】
一例としてFMラジオがある。つまり、FMラジオにおいては、オーディオは、通常、2−チャネルステレオ信号として分配されるが、多くの受信機は、たった一つの再生チャネル(一つの拡声器)しか有さない。このような場合、典型的には、これら2つのステレオチャネルをダウンミキシングすることで、再生のための単一のモノのオーディオ信号が形成される。もう一つの例として、サラウンドオーディオフォーマット(surround audio format)、例えば5.1サラウンド、に準拠する入力信号の複数の(例えば5つの)チャネルの場合も、例えば、2−チャネルステレオシステムを用いて再生のためにダウンミキシングが行われる。
【0005】
(出力チャネル数を入力チャネル数より少なくする)ダウンミキシングに加えて、オーディオ信号のミキシングには、(出力チャネル数を入力チャネル数より多くする)アップミキシングもある。アップミキシングの一例としては、2−チャネル(例えば、左右)入力信号からの3−チャネル(例えば、左右と中央)出力信号の生成がある。
【0006】
ダウンミキシング及びアップミキシングの両方とも、空間イメージ品質(spatial image quality)の劣化が可能な限り小さな過程を用いて遂行されるべきである。従来のミキシング過程においては、各出力チャネルは、時間領域における入力チャネルの重み付け総和から導かれ、各出力チャネルに対する各入力チャネルの重みの決定には「パニング規則(panning laws)」或いは「マトリキシングスキーム(matrixing schemes)」が適用される。
【0007】
信号が時間領域において操作されるため、従来のミキシング技術はオーディオチャネルの全帯域幅に適用できる。
【0008】
【発明が解決しようとする課題】
このようなミキシング技術の一つの短所は、ステレオオーディオチャネルのスペクトル成分の幾つかが位相的に整合していない場合、スペクトルエネルギー及び/或いはラウドネスが失われる可能性があることである。このような位相差は、例えば、マルチマイクロホン録音(multiple−microphonerecording)において、各マイクロホンが音響源に対して異なる距離を有するときにしばしが発生する。この結果、異なる位相がマイクロホン信号内に導入されることとなる。同一振幅の二つのチャネル間に180度の位相シフトが存在するような極端なケースにおいては、入力チャネルの和として構成される出力チャネルは、これら入力チャネルが互いに打ち消し合うために零エネルギーとなる。より現実的には、出力チャネル内の幾つかのスペクトル成分について、信号位相の不整合のために信号のエネルギー及び/或いはラウドネスが大幅に低下することがある。
【0009】
色効果(coloration effects)については、1950年から60年台にかけて2−チャネルステレオサウンドが導入された当時に、「モノ互換性問題(mono−compatibility probelem)」のフレームワーク内で幅広く研究された経緯がある。これについては、例えば、F.K. Harvey and E.H.Uecke, 「Compatibility problem in two−channel stereophonic recordings」, 13th AES meeting, preprint 197, Oct.1961、を参照されたい。これら研究の目標は、2つのチャネルがモノに混合されたとき知覚ラウドネス(perceived loudness)が全周波数に渡ってできる限り多く維持されるような2−チャネルステレオ信号を生成する方法を発見することに向けられていた。具体的には、総和の前に、それぞれ、左右のオーディオ信号に+45度と−45度の位相シフトを加えたり、或いは録音のために一致マイクロホンを用いる(両方のマイクロホンが音源から同一距離を有するようにする)ことなどが行われた。これら技法は、特定な状況に対しては色効果を低減する傾向はあるが、ただし、これら技法を適用することができない及び/或いはこれら技法では満足できる結果が得られないような多くのオーディオ処理分野が存在する。
【0010】
【課題を解決するための手段】
本発明の原理によると、この従来の技術のこれら問題は、ミキサ出力信号のエネルギー及び/或いはラウドネスのレベルを、ミキサ入力信号のエネルギー及び/或いはラウドネスのレベルに一致させる等化ミキシング技術(eqalized mixing technique)によってアプローチされ、色効果が、低減され、場合によっては、完全に回避される。一つの実施例においては、N−チャネル入力信号の時間領域チャネル信号が周波数領域に変換され、結果としてのスペクトル成分がミキシングされ、次に、ミキシング過程に伴うスペクトルエネルギー及び/或いはラウドネスの損失を調節するために、これら成分が適応的に増幅される。次に、この結果としての等化された混合チャネルを逆変換することで、M−チャネル出力信号の時間領域チャネル信号が生成される。
【0011】
一つの実現においては、本発明は、N−チャネル入力オーディオ信号を、M−チャネル出力オーディオ信号を生成するためにミキシングする方法に係る。ここでNとMは正の整数を表す。この方法によると、N−チャネル入力オーディオ信号に対して第一のラウドネス推定値が生成される。N−チャネル入力オーディオ信号に対応するN個の入力チャネル信号をミキシングすることで、M個の混合チャネル信号が生成され、これらM個の混合チャネル信号に対して、第二のラウドネス推定値が生成される。これら第一と第二のラウドネス推定値に基づいてこれらM個の混合チャネル信号を等化することで、M−チャネル出力オーディオ信号が生成される。
【0012】
もう一つの実現においては、本発明は、上述の方法にて生成されるM−チャネル出力オーディオ信号に係る。
【0013】
さらにもう一つの実現によると、本発明はN−チャネル入力オーディオ信号を、M−チャネル出力オーディオ信号を生成するためにミキシングする装置に係る。ここでNとMは正の整数を表す。この装置は、ミキサと、一つ或いは複数のラウドネス推定器と、等化器とを備える。ミキサは、N−チャネル入力オーディオ信号に対応するN個の入力チャネル信号をミキシングすることで、M個の混合チャネル信号を生成するように構成される。一つ或いは複数のラウドネス推定器は、N−チャネル入力オーディオ信号に対する第一のラウドネス推定値と、M個の混合チャネル信号に対する第二のラウドネス推定値とを生成するように構成される。等化器は、第一と第二のラウドネス推定値に基づいてM個の混合チャネル信号を等化することで、M−チャネル出力オーディオ信号を生成するように構成される。
【0014】
本発明の他の面、特徴及び長所が、以下の詳細な説明、クレーム、及び添付の図面からより一層明らかになるものである。
【0015】
【発明の実施の形態】
図1は本発明の一つの実施例による等化ミキシング手続き(equalized mixing procedure)の流れ図を示す。より詳細には、図1の処理は、N−チャネル入力信号を混合することで、M−チャネル出力信号を生成することに対応し、ここで、この入力信号は、N個の時間領域におけるチャネル信号xn(t),n=1,...,Nを有し、この出力信号は、M個の時間領域におけるチャネル信号y’m(t),m=1,...,Mを有する。
【0016】
ダウンミキシング用途(down−mixing applications)に対しては、N>M≧1とされる。例えば、ステレオ入力信号をモノ出力信号にダウンミキシング(混合)するときは、N=2、M=1とされる。アップミキシング用途に対しては、1≦N<Mとされる。例えば、ステレオ入力信号を3‐チャネル出力信号にアップミキシング(混合)するときは、N=2、M=3とされる。入力チャネルの数と出力チャネルの数が同一とされるような(つまり、N=M>2とされる)ミキシング用途も可能である。
【0017】
図1の処理によると、ステップ102において、各時間領域における入力チャネル信号のフレームに短時間フーリエ変換(short−time Fourier transform, STFT)が適用される。ここで、入力チャネル信号xn,k(t)のインデックスkを有する短時間フレームの複素STFT変換(complex STFT transform)は、Xn,k(ω)として表示される。スペクトル解像度を改善させるためには、このSTFT変換(STFT transform)は、好ましくは、連続時間信号から各時間領域における信号を生成する際にウインドウ関数(window function)を適用すべきである。典型的なウインドウ関数によると、連続するウインドウ(窓)は、時間において、例えば、各ウインドウの長さの50%だけ重なり合う。
【0018】
N個の入力チャネル信号の各々に対してフレームkを変換した後に、ステップ104において、このN−チャネル入力信号のフレームkの短時間総スペクトルラウドネス(overall short−time spectral loudness)Γkが以下の式(1)に従って計算される:
【数1】
ここで、指数βは1より大きな定数を表す。ラウドネス(loudness)とは、典型的には、モデルによって物理量から近似される知覚量(perceptual quantity)を表し、知覚されるラウドネスを直接に測定できないときに用いられる。ラウドネスに対する一つの可能なモデルは、ラウドネスが信号エネルギーに等しいという想定に基づき、これは、式(2)におけるβ=2に対応する。この値は、様々なオーディオ内容(audio material)及び再生シナリオに適用できる平均を表す。ただし、これは用途に依存し、幾つかの状況においては、より正確なラウドネス近似を得るために、βの選択が変えられる(つまり、2より大きくしたり、小さくしたりされる)。例えば、βの最適な選択は多くの要因に依存し、これには拡声器の位置、再生システム(例えば、モノ、ステレオ、ヘッドホーン)の音響特性、再生レベル等が含まれる。
【0019】
次に、ステップ106において、N−チャネル入力信号のフレームkに対するスペクトル成分Xn,k(ω)を混合することで、M−チャネル出力信号のフレームkに対するM個のセットのスペクトル成分Ym,k(ω)が生成される。これら混合スペクトル成分Ym,k(ω) を生成するためには、特定の用途に応じて任意の適当なミキシングアルゴリズム(mixing algorithm)を適用することができ、これには、発明の背景のセクションにおいて説明された重み付き和技法(weighted summation techniques)も含まれる。一つの可能な重み付き和技法は、以下の式(2)によって表される:
【数2】
【0020】
ここで、Wm,nは、m番目の混合スペクトル成分Ym,k(ω)を生成する際にn番目の入力スペクトル成分Xn,k(ω)に適用される重みを表す。
次に、ステップ108において、これらM個の混合チャネルのフレームkの短時間総スペクトルラウドネスΛkが以下の式(3)に従って計算される:
【数3】
【0021】
これら2つのスペクトルラウドネス推定値ΓkとΛkは、それぞれ、好ましくは、以下の式(4)と式(5)に従って時間に関して平滑化される:
【数4】
重み係数αは、それぞれ、式(1)と(3)から得られるラウドネス推定値の、式(4)と(5)における時間領域における平滑化(time−domain smoothing)を決定する。一つの好ましい実現においては、αは、0から1の範囲から選択される定数とされる。α=0とされた場合は、平滑化は行われない。式(4)と(5)からえられる平滑化されたラウドネス推定値は、αを大きくするほど、時間に関しての変動が小さくなる。リアルタイムオーディオ信号に対してラウドネス推定値が16ミリ秒毎に更新される場合の適当な値は、α=0.9である。
【外1】
【0022】
次に、ステップ110において、これら混合スペクトル成分Ym,k(ω)を、以下の式(7)に従って等化することで、等化された混合スペクトル成分Y’m,k(ω)が生成される:
【数5】
ここで、gk(ω)は周波数依存利得係数を表し、これは、好ましくは、平滑化されたラウドネス推定値ΓkとΛkから以下の式(7)に従って生成される:
【数6】
式(7)の分母は、好ましくは、零による除法を回避するために小さな(例えば、最大信号レベルより100dB小さな)正の定数εを含む。一つの好ましい実現においては、ステップ110の等化は、M−チャネル出力信号が元のN−チャネル入力信号と等しい推定ラウドネスを有するようにされる。
【0023】
次に、ステップ112において、各等化された混合スペクトルy’m、k(ω)に逆STFT変換を適用することで、M−チャネル出力信号の時間領域におけるチャネル信号y’m(t)が得られる。重なり合うフレームが採用される場合は、前のフレームとのオーバラップ加算手続(overlap−add procedure)も遂行される。
【0024】
図2は本発明の一つの実施例による等化ミキサ(equalized mixer)200のブロック図を示す。等化ミキサ200は、図1の処理を遂行するように構成される。図2に示すように、等化ミキサ200は、N個の短時間フーリエ変換(short−time Fourier transform, STFT)ブロック202と、周波数領域ミキサ204と、周波数領域等化器206と、M個の短時間逆フーリエ変換(inverse short−time Fourier transform, ISTFT)ブロック208とを備える。加えて、等化ミキサ200は、2つのラウドネス推定ブロック210と212を備える。各変換ブロック202は、N−チャネル入力信号の一つの異なるチャネル信号を周波数領域に変換するために、図1のステップ102の部分を遂行する。ラウドネス推定ブロック210は、N−チャネル入力信号の総推定ラウドネスΓを計算(及び平滑化)するために、図1のステップ104を遂行する。ミキサ204は、M個の混合スペクトルを生成するために、図1のステップ106を遂行する。ラウドネス推定ブロック212は、これらM個の混合スペクトルの総推定ラウドネスΛを計算(及び平滑化)するために、図1のステップ108を遂行する。等化器206は、これらM個の混合スペクトルを等化するために、図1のステップ110を遂行する。各ISTFブロック208は、結果としてのM個の等化混合スペクトルの異なる一つを時間領域に変換し、M−チャネル出力信号の一つの異なるチャネルを生成するために、図1のステップ112の部分を遂行する。
【0025】
上では、等化ミキサ200は、並列に動作するN個の異なる変換ブロックと、並列に動作するM個の異なる逆変換ブロックとを備えるものとして説明されたが、代替の実現として、一つの変換ブロックと一つの逆変換ブロックとを直列に、時分割にて動作させることで、複数の異なる信号を処理することもできる。同様に、本発明の等化ミキサは、N個の入力チャネル信号とM個の混合チャネル信号の両方に対して総スペクトルラウドネス推定値を生成する単一のラウドネス推定器(loudness estimator)を用いて実現することもできる。
【0026】
上では本発明は、連続時間tと連続周波数ωとを用いるものとして説明されたが、本発明は、離散時間と離散周波数とを用い、例えば、離散フーリエ変換(discrete Fourier transform, DFT)を用いて実現することもできる。更に、連続であるか、離散であるかに関係なく、本発明はフーリエ変換を用いることに限定されるものではない。より一般に、本発明は、できれば省エネ型のものが好ましいが、任意の適当な直交変換(器)或いはフィルタを用いて実現できる。更に、理論的には、本発明の等化ミキシングは、適応フルタリングを用いて時間領域にて実現することもできる。
【0027】
本発明のミキシング技術は、オーディオ信号のミキシングが必要とされ、更に、スペクトルの異なる生成された部分がマージングされる問題を回避することが要請される、多くの異なるオーディオ符号化及びサウンドエンジニアリング用途に適用でき、とりわけ、全オーディオ帯域幅の処理が必要とされる分野に効果的である。本発明によると、ミキシング過程が、「スペクトル等化(spectral equalization)」によって、すなわち、全出力チャネルの総スペクトルエネルギー及び/或いはラウドネスを全入力チャネルの総スペクトルエネルギー及び/或いはラウドネスと概ね等しく維持することで改善される。加えて、本発明は全帯域幅の内の一部のみに適用することもできる。すなわち、本発明による等化ミキシングは、オーディオ信号の全帯域幅の内の単に1つ或いは複数の部分についてのみ遂行することもできる。
【0028】
本発明は、これら方法を実現するための方法及び装置の形態にて具現することができる。本発明は、更に、有体の媒体、例えば、フロッピー(登録商標)ディスケット、CD−ROM、ハードドライブ、或いは任意の他のマシンにて読出し可能なメモリ媒体等の内に具現されたプログラムコードであって、コンピュータ等のマシーン内にロードされ、実行されたとき、そのマシーンを、本発明を実施するための装置とならしめるようなプログラムコードの形態として実現することもできる。本発明は、更に、メモリ媒体に格納されたり、マシーン内にロードされ、実行されたり、伝送媒体や搬送波を通じて伝送されたり、電線やケーブルを通じて、光ファイバを通じて、或いは電磁放射を介して伝送されたりするプログラムコードであって、コンピュータ等のマシーン内にロードされ、実行されたとき、そのマシーンを、本発明を実施するための装置とならしめるようなプログラムコードの形態にて実現することもできる。汎用プロセッサ上に実現された場合、このプログラムコードは、そのプロセッサと一体となって、特定論理回路と類似するユニークなデバイスを提供する。
【0029】
更に、当業者においては明白なように、上で、本発明の特徴を説明する目的で示された細部、材料及びパーツの配列に対して、クレーム内に表明される本発明の範囲から逸脱することなく、様々な変更を加えることが可能である。
【図面の簡単な説明】
【図1】本発明の一つの実施例による等化ミキシング手続を示す流れ図である。
【図2】本発明の一つの実施例による等化ミキサを示すブロック図である。
【符号の説明】
200 等化ミキサ
200 短時間フーリエ変換(STET) ブロック
204 周波数領域ミキサ
206 周波数領域等化器
208 短時間逆フーリエ変換(ISTFT)ブロック
210、212 ラウドネス推定ブロック
Claims (9)
- NとMは正の整数を表わすものとして、N−チャネル入力オーディオ信号を、ミキシングして、M−チャネルの出力オーディオ信号を生成するための方法であって、
(a)該N−チャネル入力オーディオ信号を、時間領域から周波数領域に変換するステップと、
(b)該N−チャネル入力オーディオ信号に対して第一のスペクトルラウドネス推定値を生成するステップと、
(c)該N−チャネル入力オーディオ信号に対応するN個の周波数領域入力チャネル信号をミキシングして、M個の周波数領域混合チャネル信号を生成するステップと、
(d)該M個の混合チャネル信号に対して第二のスペクトルラウドネス推定値を生成するステップと、
(e)該第一と第二のラウドネス推定値に基づく周波数依存利得係数を用いて、該M個の周波数領域混合チャネル信号を等化して、M個の等化された場合チャンネル信号を生成するステップと、
(f)該M個の等化された混合チャネル信号を、周波数領域から時間領域に変換して、該M−チャネル出力オーディオ信号を生成するステップと、を含むことを特徴とする方法。 - 請求項1に記載の方法において、
該ステップ(e)が、該M個の混合チャネル信号を、該第一および第二のラウドネス推定値に基づく周波数依存利得係数を用いて増幅することで、該M−チャネル出力オーディオ信号の総スペクトルラウドネスを該N−チャネル入力オーディオ信号の総スペクトルラウドネスと実質的に等しくなるように維持するステップから成る方法。 - 請求項1に記載の方法において、
該第1および第2のスペクトルラウドネス推定値が時間に関して平滑化されるようになっている方法。 - 請求項1に記載の方法において、
該ステップ(a)が、短時間フーリエ変換(STFT)を各入力チャネル信号の各フレームに対して適用するステップから成り、
該ステップ(d)が、逆STFT(ISTFT)を各等化された混合チャネル信号の各フレームに対して適用するステップから成り、および
各入力チャネル信号の連続するフレームが時間的に重り合っている、方法。 - 請求項4に記載の方法において、
該ステップ(c)が、重みづけされた総和に基づいてミキシングを行うことにより、該N個の周波数領域入力チャネル信号から該M個の周波数領域混合チャネル信号を生成するステップから成り、
該ステップ(e)が、該第一と第二のスペクトルラウドネス推定値に基づく周波数依存利得係数を用いて該M個の混合チャネル信号を増幅することで、該M−チャネル出力オーディオ信号の総スペクトルラウドネスを該N−チャネル入力オーディオ信号の総スペクトルラウドネスと実質的に等しくなるように維持するステップと、を含み、
該第一と第二のスペクトルラウドネス推定値が時間に関して平滑化され、
N>Mとされる場合は、該N−チャネル入力オーディオ信号をダウンミキシングすることにより、該M−チャネル出力オーディオ信号が生成され、および
N<Mとされる場合は、該N−チャネル入力オーディオ信号をアップミキシングすることにより、該M−チャネル出力オーディオ信号が生成される、ようになっている方法。 - 請求項1に記載の方法において、
N>Mとされる場合は、該N−チャネル入力オーディオ信号をダウンミキシングすることにより、該M−チャネル出力オーディオ信号が生成され、および
N<Mとされる場合は、該N−チャネル入力オーディオ信号をアップミキシングすることにより、該M−チャネル出力オーディオ信号が生成される、ようになっている方法。 - 請求項1に記載の方法において、
前記ステップ(c)が、重みづけされた総和に基づくミキシングを行って、N個の周波数領域入力チャネル信号から、M個の周波数領域混合チャネル信号を発生するステップから成る方法。 - NとMが正の整数を表わすものとして、N−チャネル入力オーディオ信号をミキシングして、M−チャネル出力オーディオ信号を生成するための装置であって、
該N−チャネル入力オーディオ信号を時間領域から周波数領域に変換するように構成された一つ或いは複数の変換ブロックのセットと、
該N−チャネル入力オーディオ信号に対応するN個の周波数領域入力チャネル信号をミキシングすることにより、M個の周波数領域混合チャネル信号を生成するように構成されたミキサと、
該N−チャネル入力オーディオ信号に対する第一のラウドネス推定値および該M個の周波数領域混合チャネル信号に対する第二のラウドネス推定値とを生成するように構成された一つ或いは複数のラウドネス推定値と、
該第一および第二のラウドネス推定値に基づく周波数依存利得係数を用いて該M個の周波数領域混合チャネル信号を等化することにより、M個の等化された混合チャネル信号を生成するよう構成された等化器と、
該M個の等化された混合チャネル信号を周波数領域から時間領域に変換することにより、該M−チャネル出力オーディオ信号を生成するように構成された一つ或いは複数の逆変換ブロックのセットと、を備える装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US39109502P | 2002-06-24 | 2002-06-24 | |
US10/246,165 US7039204B2 (en) | 2002-06-24 | 2002-09-18 | Equalization for audio mixing |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004048741A JP2004048741A (ja) | 2004-02-12 |
JP2004048741A5 JP2004048741A5 (ja) | 2007-03-01 |
JP4307917B2 true JP4307917B2 (ja) | 2009-08-05 |
Family
ID=29718508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003179073A Expired - Fee Related JP4307917B2 (ja) | 2002-06-24 | 2003-06-24 | オーディオミキシングのための等化技術 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7039204B2 (ja) |
EP (1) | EP1377123A1 (ja) |
JP (1) | JP4307917B2 (ja) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8767969B1 (en) | 1999-09-27 | 2014-07-01 | Creative Technology Ltd | Process for removing voice from stereo recordings |
US7072477B1 (en) * | 2002-07-09 | 2006-07-04 | Apple Computer, Inc. | Method and apparatus for automatically normalizing a perceived volume level in a digitally encoded file |
US7970144B1 (en) * | 2003-12-17 | 2011-06-28 | Creative Technology Ltd | Extracting and modifying a panned source for enhancement and upmix of audio signals |
CA2555182C (en) * | 2004-03-12 | 2011-01-04 | Nokia Corporation | Synthesizing a mono audio signal based on an encoded multichannel audio signal |
KR100923478B1 (ko) * | 2004-03-12 | 2009-10-27 | 노키아 코포레이션 | 부호화된 다중채널 오디오 신호에 기반하여 모노 오디오신호를 합성하는 방법 및 장치 |
RU2396608C2 (ru) * | 2004-04-05 | 2010-08-10 | Конинклейке Филипс Электроникс Н.В. | Способ, устройство, кодирующее устройство, декодирующее устройство и аудиосистема |
US7756713B2 (en) * | 2004-07-02 | 2010-07-13 | Panasonic Corporation | Audio signal decoding device which decodes a downmix channel signal and audio signal encoding device which encodes audio channel signals together with spatial audio information |
TWI393121B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
JP4936894B2 (ja) * | 2004-08-27 | 2012-05-23 | パナソニック株式会社 | オーディオデコーダ、方法及びプログラム |
KR101158709B1 (ko) * | 2004-09-06 | 2012-06-22 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 신호 강화 |
SE0402652D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
JP2008530958A (ja) * | 2005-02-17 | 2008-08-07 | パナソニック オートモーティブ システムズ カンパニー オブ アメリカ ディビジョン オブ パナソニック コーポレイション オブ ノース アメリカ | オーディオシステムにおいて、オーディオソース材料の再生を最適化するための方法および装置 |
US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
US20060235683A1 (en) * | 2005-04-13 | 2006-10-19 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Lossless encoding of information with guaranteed maximum bitrate |
US7991610B2 (en) * | 2005-04-13 | 2011-08-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Adaptive grouping of parameters for enhanced coding efficiency |
GB2426168B (en) * | 2005-05-09 | 2008-08-27 | Sony Comp Entertainment Europe | Audio processing |
KR101370365B1 (ko) * | 2005-09-13 | 2014-03-05 | 코닌클리케 필립스 엔.브이. | 3d 사운드를 발생시키기 위한 방법 및 디바이스 |
US20070135952A1 (en) * | 2005-12-06 | 2007-06-14 | Dts, Inc. | Audio channel extraction using inter-channel amplitude spectra |
JP4944902B2 (ja) * | 2006-01-09 | 2012-06-06 | ノキア コーポレイション | バイノーラルオーディオ信号の復号制御 |
WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
CA2646961C (en) * | 2006-03-28 | 2013-09-03 | Sascha Disch | Enhanced method for signal shaping in multi-channel audio reconstruction |
JP2008092072A (ja) * | 2006-09-29 | 2008-04-17 | Toshiba Corp | 音声ミキシング処理装置及び音声ミキシング処理方法 |
JP5285626B2 (ja) * | 2007-03-01 | 2013-09-11 | ジェリー・マハバブ | 音声空間化及び環境シミュレーション |
US8934640B2 (en) * | 2007-05-17 | 2015-01-13 | Creative Technology Ltd | Microphone array processor based on spatial analysis |
EP2260487B1 (en) * | 2008-03-04 | 2019-08-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Mixing of input data streams and generation of an output data stream therefrom |
CN104378075B (zh) | 2008-12-24 | 2017-05-31 | 杜比实验室特许公司 | 频域中的音频信号响度确定和修改 |
WO2010138311A1 (en) | 2009-05-26 | 2010-12-02 | Dolby Laboratories Licensing Corporation | Equalization profiles for dynamic equalization of audio data |
WO2010138309A1 (en) | 2009-05-26 | 2010-12-02 | Dolby Laboratories Licensing Corporation | Audio signal dynamic equalization processing control |
US9055374B2 (en) * | 2009-06-24 | 2015-06-09 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Method and system for determining an auditory pattern of an audio segment |
JP5448771B2 (ja) * | 2009-12-11 | 2014-03-19 | キヤノン株式会社 | 音響処理装置及び方法 |
US9589550B2 (en) * | 2011-09-30 | 2017-03-07 | Harman International Industries, Inc. | Methods and systems for measuring and reporting an energy level of a sound component within a sound mix |
CN103188595B (zh) * | 2011-12-31 | 2015-05-27 | 展讯通信(上海)有限公司 | 处理多声道音频信号的方法和系统 |
US9685921B2 (en) * | 2012-07-12 | 2017-06-20 | Dts, Inc. | Loudness control with noise detection and loudness drop detection |
KR20230020553A (ko) | 2013-04-05 | 2023-02-10 | 돌비 인터네셔널 에이비 | 스테레오 오디오 인코더 및 디코더 |
PL3429233T3 (pl) | 2013-07-30 | 2020-11-16 | Dts, Inc. | Dekoder matrycowy z panoramowaniem parami o stałej mocy |
EP2854133A1 (en) | 2013-09-27 | 2015-04-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation of a downmix signal |
WO2015081293A1 (en) * | 2013-11-27 | 2015-06-04 | Dts, Inc. | Multiplet-based matrix mixing for high-channel count multichannel audio |
JP6313641B2 (ja) * | 2014-03-25 | 2018-04-18 | 日本放送協会 | チャンネル数変換装置 |
JP6285790B2 (ja) * | 2014-03-25 | 2018-02-28 | 日本放送協会 | チャンネル数変換装置 |
JP6510870B2 (ja) * | 2015-04-20 | 2019-05-08 | 日本放送協会 | 番組音声チャンネル数変換装置、放送番組受信装置及び番組音声チャンネル数変換プログラム |
JP6637736B2 (ja) * | 2015-11-13 | 2020-01-29 | 日本放送協会 | ラウドネス調節装置およびプログラム |
JP6637735B2 (ja) * | 2015-11-13 | 2020-01-29 | 日本放送協会 | 音響特徴量調節装置およびプログラム |
JP2018535627A (ja) * | 2015-11-16 | 2018-11-29 | ディー−ボックス テクノロジーズ インコーポレイテッド | 振動−動力学的効果をバーチャルリアリティセッションに同期させる方法およびシステム |
US9947332B2 (en) | 2015-12-11 | 2018-04-17 | Ibiquity Digital Corporation | Method and apparatus for automatic audio alignment in a hybrid radio system |
US9755598B2 (en) | 2015-12-18 | 2017-09-05 | Ibiquity Digital Corporation | Method and apparatus for level control in blending an audio signal in an in-band on-channel radio system |
CN108604454B (zh) * | 2016-03-16 | 2020-12-15 | 华为技术有限公司 | 音频信号处理装置和输入音频信号处理方法 |
JP6703884B2 (ja) * | 2016-04-13 | 2020-06-03 | 日本放送協会 | チャンネル数変換装置、放送受信機およびプログラム |
US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
JP6854194B2 (ja) * | 2017-06-02 | 2021-04-07 | 日本放送協会 | コンテンツ提供システム、マルチメディア配信装置、端末装置及びプログラム |
US10484115B2 (en) | 2018-02-09 | 2019-11-19 | Ibiquity Digital Corporation | Analog and digital audio alignment in the HD radio exciter engine (exgine) |
US10177729B1 (en) | 2018-02-19 | 2019-01-08 | Ibiquity Digital Corporation | Auto level in digital radio systems |
EP3550561A1 (en) | 2018-04-06 | 2019-10-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value |
CN109121067B (zh) * | 2018-10-19 | 2020-06-09 | 北京声加科技有限公司 | 多声道响度均衡方法和设备 |
CN112750444B (zh) * | 2020-06-30 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 混音方法、装置及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2693893B2 (ja) * | 1992-03-30 | 1997-12-24 | 松下電器産業株式会社 | ステレオ音声符号化方法 |
US5812969A (en) * | 1995-04-06 | 1998-09-22 | Adaptec, Inc. | Process for balancing the loudness of digitally sampled audio waveforms |
US6111958A (en) * | 1997-03-21 | 2000-08-29 | Euphonics, Incorporated | Audio spatial enhancement apparatus and methods |
WO2003094369A2 (en) * | 2002-05-03 | 2003-11-13 | Harman International Industries, Incorporated | Multi-channel downmixing device |
-
2002
- 2002-09-18 US US10/246,165 patent/US7039204B2/en not_active Expired - Lifetime
-
2003
- 2003-06-24 JP JP2003179073A patent/JP4307917B2/ja not_active Expired - Fee Related
- 2003-06-24 EP EP03253971A patent/EP1377123A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
JP2004048741A (ja) | 2004-02-12 |
US7039204B2 (en) | 2006-05-02 |
US20030235317A1 (en) | 2003-12-25 |
EP1377123A1 (en) | 2004-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4307917B2 (ja) | オーディオミキシングのための等化技術 | |
US8090122B2 (en) | Audio mixing using magnitude equalization | |
KR101984115B1 (ko) | 오디오 신호 처리를 위한 다채널 다이렉트-앰비언트 분해를 위한 장치 및 방법 | |
JP5284638B2 (ja) | 方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム | |
US7970144B1 (en) | Extracting and modifying a panned source for enhancement and upmix of audio signals | |
EP2614659B1 (en) | Upmixing method and system for multichannel audio reproduction | |
JP5724044B2 (ja) | 多重チャネル・オーディオ信号の符号化のためのパラメトリック型符号化装置 | |
US20170188175A1 (en) | Audio signal processing method and device | |
EP2730103B1 (en) | Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral subtractor | |
US9264838B2 (en) | System and method for variable decorrelation of audio signals | |
JP6843992B2 (ja) | 相関分離フィルタの適応制御のための方法および装置 | |
WO2014166863A1 (en) | Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio | |
JP5720897B2 (ja) | 下位音声形式を生成する方法及び装置 | |
KR102052314B1 (ko) | 멀티채널 오디오 신호의 다운믹싱을 위한 방법 및 장치 | |
US9078077B2 (en) | Estimation of synthetic audio prototypes with frequency-based input signal decomposition | |
EP3216234B1 (en) | An audio signal processing apparatus and method for modifying a stereo image of a stereo signal | |
Romoli et al. | A novel decorrelation approach for multichannel system identification | |
EP2630812A1 (en) | Estimation of synthetic audio prototypes | |
US20220400351A1 (en) | Systems and Methods for Audio Upmixing | |
JP6832095B2 (ja) | チャンネル数変換装置およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090406 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090430 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4307917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |