JP4174859B2

JP4174859B2 - デジタルオーディオ信号のミキシング方法およびミキシング装置

Info

Publication number: JP4174859B2
Application number: JP20093598A
Authority: JP
Inventors: 章十河
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1998-07-15
Filing date: 1998-07-15
Publication date: 2008-11-05
Anticipated expiration: 2018-07-15
Also published as: JP2000029498A

Description

【０００１】
【発明の属する技術分野】
この発明は、圧縮の施された複数のデジタルオーディオ信号のミキシング方法およびミキシング装置に関する。
【０００２】
【従来の技術】
デジタルオーディオの分野においては、ある記録媒体に記録されたデジタルオーディオ信号と別の記録媒体に記録されたデジタルオーディオ信号とをミキシングした、内容の新たなデジタルオーディオ信号を作成し、記録媒体に再記録をすることが必要とされる場合がある。
【０００３】
この場合、各デジタルオーディオ信号はミニディスクなどのように全体の情報量を削減すべく圧縮された状態で記録媒体に記録されている場合、図１１に例示するような方法によりそのミキシングおよび再記録が行われていた。
【０００４】
すなわち、まず、圧縮された各デジタルオーディオ信号が各記録媒体から読み出され、この読み出された各デジタルオーディオ信号が伸長手段１１〜１３によよって各々伸長される。そして、これらの伸長手段１１〜１３から得られる圧縮前の元のＰＣＭ信号に対し、ゲイン調整手段２１〜２３によって各々所望のゲインが付与され、これらのゲインの付与された各ＰＣＭ信号が加算手段３によって加算される。そして、この加算により得られた新たなＰＣＭ信号に対し、圧縮手段４による圧縮処理が施され、この結果得られる圧縮されたデジタルオーディオ信号が記録手段５により記録媒体に記録される。
【０００５】
【発明が解決しようとする課題】
ところで、上述した従来のデジタルオーディオ信号のミキシング方法では、ミキシングすべき信号の全てを伸長する必要があるため、ミキシングを行うための演算処理量が増えてしまうという問題があった。また、従来のミキシング方法では、記録媒体から読み出した各信号を各々伸長し、加算を行った後、再び圧縮するという演算過程を経るが、この演算過程では予め定められた有限の語長で演算が行われるため、丸め処理により情報が失われてしまうという問題が生じる。このような演算過程における情報の消失は特に伸長処理において生じやすい。
【０００６】
この発明は、以上説明した事情に鑑みてなされたものであり、圧縮された複数のデジタルオーディオ信号を少ない演算処理量でミキシングすることができ、かつ、その際の信号劣化が少ないデジタルオーディオ信号のミキシング方法およびミキシング装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
この発明は、各々、オーディオ信号を周波数の異なった信号成分に分割し、各信号成分の指数部および仮数部を量子化することにより得られた複数の圧縮デジタルオーディオ信号のミキシング方法において、ミキシング対象である複数の圧縮デジタルオーディオ信号の各々について、当該圧縮デジタルオーディオ信号における元のオーディオ信号の各信号成分の指数部を量子化したデータに基づき、各信号成分が帰属する周波数帯域毎のエネルギレベルを求め、前記複数の圧縮デジタルオーディオ信号間で同一周波数の信号成分同士を加算し、前記複数の圧縮オーディオ信号から各々求めた前記周波数帯域毎のエネルギレベルを同一の周波数帯域同士で合成することにより、ミキシング後のエネルギレベルを前記周波数帯域毎に求め、前記周波数帯域毎に、前記ミキシング後のエネルギレベルを上限とし、人間の聴覚により聴取可能なエネルギレベルの上限である可聴エネルギレベルを下限とするミキシング後の有効量子化領域を求め、前記周波数帯域毎に、前記ミキシング後の有効量子化領域と量子化に使用可能な総ビット数とから該周波数帯域の信号成分のミキシング後の仮数部を表現するためのビット数を求め、前記周波数帯域毎に求められたビット数に従って、前記周波数帯域毎に加算された各信号成分の仮数部の量子化を行うことを特徴とするものである。
【０００８】
また、この発明は、オーディオ信号を周波数の異なった複数の信号成分に分割して量子化するに際し、オーディオ信号の発生によって生じるであろうマスキング効果に基づいて量子化の際のビット数の割当を決定する圧縮方法により生成されたデジタルオーディオ信号のミキシング方法およびミキシング装置を提供するものである。
【０００９】
かかるミキシング方法およびミキシング装置においては、
Ａ．ミキシング対象である複数のデジタルオーディオ信号の各々について、
ａ．当該デジタルオーディオ信号によって表された元のオーディオ信号の各信号成分を各々の周波数により分類することにより、各々周波数の異なった複数の周波数帯域に帰属させ、
ｂ．前記デジタルオーディオ信号における元のオーディオ信号の各信号成分の指数部を量子化したデータに基づき、前記複数の周波数帯域毎に元のオーディオ信号の信号成分のエネルギレベルを求め、
ｃ．前記複数の周波数帯域毎に求めた元のオーディオ信号の信号成分のエネルギレベルに基づき、元のオーディオ信号の発生により聴取が妨げられる信号成分のエネルギレベルの上限であるマスキングレベルを求め、
ｄ．前記複数の周波数帯域毎に、当該周波数帯域について求めた信号成分のエネルギレベルを上限とし、前記マスキングレベルまたは人間の聴覚により聴取可能なエネルギレベルの上限である可聴エネルギレベルのうち大きい方を下限とする有効量子化領域を求め、
ｅ．前記各周波数帯域に対応した各有効量子化領域と量子化に使用可能な総ビット数とから前記各周波数帯域に属する各信号成分の仮数部を表現するために使用されているビット数を求め、
ｆ．各周波数帯域について求めた仮数部のビット数に従って前記デジタルオーディオ信号に含まれる前記各周波数帯域に属する信号成分の仮数部を取り出し、
Ｂ．前記複数のデジタルオーディオ信号から各々得られた複数の元のオーディオ信号の各信号成分に各々ゲインを付与して加算することにより、ミキシング後のオーディオ信号の各信号成分を求め、
Ｃ．前記複数のデジタルオーディオ信号から各々求めた複数の元のオーディオ信号の前記複数の周波数帯域毎の信号成分のエネルギレベルを合成することにより、前記ミキシング後のオーディオ信号の前記複数の周波数帯域毎の信号成分のエネルギレベルを求め、
Ｄ．前記複数のデジタルオーディオ信号から各々求めた前記マスキングレベルを合成することにより、前記ミキシング後のオーディオ信号に適用されるマスキングレベルを合成し、
Ｅ．前記複数の周波数帯域毎に、前記ミキシング後のオーディオ信号の信号成分のエネルギレベルを上限とし、前記マスキングレベルまたは前記可聴エネルギレベルのうち大きい方を下限とするミキシング後の有効量子化領域を求め、
Ｆ．前記複数の周波数帯域についての前記ミキシング後の有効量子化領域と量子化用に使用可能な総ビット数とから前記複数の周波数帯域に各々に属する信号成分の仮数部を表現するためのビット数を各周波数帯域毎に求め、
Ｇ．前記各周波数帯域について求めた仮数部のビット数に従って、前記ミキシング後のオーディオ信号の各周波数帯域の信号成分の仮数部の量子化を行うことにより、前記複数のオーディオ信号をミキシングしたものに対応したデジタルオーディオ信号を生成する。
【００１０】
【発明の実施の形態】
以下、本発明を更に理解しやすくするため、実施の形態について説明する。
かかる実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。
【００１１】
Ａ．本発明が適用されるデジタルオーディオ信号の圧縮記録方法および再生方法の例
【００１２】
本発明の実施形態の説明に先立ち、その理解を容易にするため、本発明が適用されるデジタルオーディオ信号の圧縮記録方法および再生方法について説明する。
【００１３】
Ａ１．デジタルオーディオ信号の圧縮記録処理
図１は、デジタルオーディオ信号の圧縮記録を行う装置の構成例を示すものである。この装置は、帯域分割手段１０１、有効量子化領域計算手段１０２、ビット割当決定手段１０３、量子化手段１０４および記録手段１０５により構成されている。これらの各手段は、この装置によって行われる処理の内容をハードウェア的に表したものであるが、各々をハードウェアにより構成するかソフトウェアにより構成するかは任意である。以下、これらの各手段の処理内容を順に説明する。
【００１４】
帯域分割手段１０１は、まず、圧縮対象であるオーディオ信号に対してＤＣＴ（離散コサイン変換）処理を施し、オーディオ信号を周波数の異なったＮ個の信号成分に分割する。図２はある音に対しＤＣＴ処理を施すことにより得られた各信号成分を例示したものである。図２において、横軸は周波数を表しており、縦軸に平行に表された多数の実線はＤＣＴ処理により得られたＮ個の信号成分のエネルギレベルを表している。帯域分割手段１０１は、このようにして得られたＮ個の信号成分を各々指数部と仮数部とからなる浮動小数点形式のデータによって表現する。
【００１５】
有効量子化領域計算手段１０２は、上記ＤＣＴ処理により得られたＮ個の信号成分を量子化する際の有効量子化領域の計算を以下の手順により行う。なお、この有効量子化領域の意味するところについては後述する。
【００１６】
まず、上記ＤＣＴ処理により得られたＮ個の信号成分をＭ個のユニットに分けるグルーピングを行う。すなわち、図２に破線で例示するように可聴周波数帯域を複数の周波数帯域に分割し、各信号成分を各々の周波数によりこれらの周波数帯域のいずれか該当するものに帰属させ、同一周波数帯域に属する各信号成分の集合を１つのユニットとするのである。このグルーピングを行うに当って、各周波数帯域（図２における破線）は、同一ユニットに属する各信号成分が相互に臨界帯域幅の範囲内に含まれるように定める。ここで、臨界帯域幅とは、人間の聴覚により弁別可能な音の周波数差をいう。すなわち、周波数の異なった２つの音が同時に鳴る場合において一方の音の周波数を他方の音の周波数に近づけてゆくとある周波数差において異なった２つの音であると認識できなくなるが、このような人間の聴覚によって認識可能な周波数差の下限値を臨界帯域幅と呼ぶものである。この臨界帯域幅は、音の周波数により異なった幅となり、例えば５００Ｈｚの音の臨界帯域幅よりは２０００Ｈｚの音の臨界帯域幅の方が大きい。
【００１７】
次に有効量子化領域計算手段１０２は、各ユニット毎に、各々に属する各信号成分の指数部を調べ、その最大値を当該ユニットに属する各信号成分の指数部の代表値とする。そして、Ｍ個のユニットの指数部の代表値の各々について量子化を行う。
【００１８】
次に量子化された各ユニットの指数部の代表値から各ユニット毎に有効量子化領域を計算する。以下、この処理について図３〜図５を参照して説明する。
【００１９】
まず、人間の聴覚によって聴き取ることができる音のエネルギの閾値（以下、可聴エネルギレベルという。）は、音の周波数に依存する。図３における曲線１１１は、このような可聴エネルギレベルの周波数特性を例示するものである。図３には周波数の異なった音Ａ〜Ｄが示されている。これらの各音が単独で鳴る場合には、音Ａ、ＢおよびＣは可聴エネルギレベル１１１よりも高いエネルギを有しているので聴き取ることができるが、音Ｄは可聴エネルギレベル１１１よりも低いエネルギを有しているので聴き取ることができないということになる。
【００２０】
このように１つの音が鳴る場合には、その音が聞こえるか否かは、そのエネルギと可聴エネルギレベル１１１との関係によることとなる。しかし、ある大きな音が鳴ると、その音の近くの周波数で他の音が鳴っていたとしても、この他の音のエネルギが小さい場合には聞き取れないことがある。すなわち、大きな音が鳴ると、この音と周波数が近く、かつ、エネルギレベルの小さな音の聴取が妨げられるのである。これがマスキング効果である。
【００２１】
図４は図３における４つの音Ａ〜Ｄが同時に鳴った場合に音Ａによって生じるマスキング効果を例示するものである。図４において、折れ線１１２は音Ａの鳴音により聴取が妨げられる音のエネルギレベルの上限を示すものである。以下、便宜上、このエネルギレベルの上限をマスキングレベルという。図４に示す例では、音Ａに周波数が近い音Ｂはマスキングレベル１１２以下のエネルギを有しているので聞こえない可能性が高く、音Ａから周波数が離れた音ＣおよびＤはマスキングレベル１１２を越えるエネルギを有しているので聞こえる可能性が高いということになる。
【００２２】
このマスキング効果は同時に鳴る複数の音の各々によって生じる。そこで、これらの各音について、各々によって生じるマスキング効果のマスキングレベルを求め、各マスキングレベルを合成することにより複数の音が同時に鳴る場合のマスキングレベルを求める。そして、各周波数での可聴エネルギレベルをこのようにして得られたマスキングレベルによって修正する（すなわち、マスキングレベルの方が元々の可聴エネルギレベルよりも大きい場合にはマスキングレベルを可聴エネルギレベルとして採用する）。
【００２３】
図５における曲線１１３は、このようにマスキング効果に基づいて修正された実効的な可聴エネルギレベルを例示するものである。図５において、音ＡおよびＣは、実効的な可聴エネルギレベル１１３を越える高いエネルギを有しているので聞き取り可能であるが、音ＢおよびＤは各々のエネルギが実効的な可聴エネルギレベル１１３以下であるので聞き取れない可能性が高い、ということになる。
【００２４】
ところで、この図５に示す例において、仮に音Ａ〜Ｄをデジタル信号として記録媒体に記録するものとすると、音ＡおよびＣは、再生すれば人間の聴覚によって聞き取れると考えられるので、なるべく多くのビットを用いて量子化し、量子化雑音の少ない状態で記録するのが好ましい。これに対し、音ＢおよびＤは、たとえ量子化雑音の少ない状態で再生されたとしても聞き取れない可能性が高いので、多数のビットを用いて量子化し記録するのは無益である。
【００２５】
有効量子化領域計算手段１０２は、このような考え方に従い、人間の聴覚特性からみて無駄のないビット数でオーディオ信号の信号成分の量子化を行うべく、上述した有効量子化領域を各ユニット毎に求めるものである。以下、図６を参照し、この方法について説明する。
【００２６】
まず、各ユニットの指数部の代表値（Ｍ個）から元のオーディオ信号の信号成分のエネルギ１２１を計算する。次いで、このエネルギ１２１の分布に基づき元のオーディオ信号に含まれる主要な音（エネルギレベルが高い音）によって生じるマスキング効果のマスキングレベル１２２を求める。
【００２７】
次にこのようにして求めた元のオーディオ信号の信号成分のエネルギ１２１と、マスキングレベル１２２と、人間の本来的な可聴エネルギレベル１２３とに基づき、各ユニット毎に有効量子化領域を計算する。すなわち、各ユニット毎に、当該ユニットにおける信号成分のエネルギレベル１２１を上限とし、マスキングレベル１２２または可聴エネルギレベル１２３のうち大きい方を下限とする領域１２４を有効量子化領域として求めるのである。このようにして求めた有効量子化領域内の信号成分が後述する量子化の対象とされ、無駄のない量子化が行われるのである。
【００２８】
次にビット割当決定手段１０３、量子化手段１０４および記録手段１０５について説明する。各ユニットの仮数部の記録に使用可能な総ビット数は予め定まっている。このため、使用可能な総ビット数を各ユニットに分配し、各ユニットに属する信号成分の仮数部を表現するのに使用することとなる。ビット割当決定手段１０３は、この各ユニットの信号成分の仮数部に対して割り当てるビット数を決定する。
【００２９】
この各ユニット毎の仮数部のビット数は、上述のようにして求めた有効量子化領域内の各信号成分を量子化することができ、かつ、量子化を行った場合の量子化誤差がマスキングレベルまたは可聴エネルギレベルのうち大きい方よりも小さくなるように決定する。マスキングレベルや可聴エネルギレベルよりもエネルギレベルの小さな量子化雑音ならば、たとえ発生したとしても聞き取れない可能性が高いからである。
【００３０】
ここで、各ユニットの有効量子化領域が広い場合には、総ビット数が不足することも考えられる。この場合には、エネルギレベルの高いユニットを順次選択し、総ビット数から一定ビット数ずつ取り出して割り当ててゆく方法を採る。すなわち、まず、全ユニットのうち最もエネルギレベルの高い成分を有するユニットを選択し、このユニットに例えば２ビットを割り当て、このユニットの成分のエネルギレベルをこの割り当てたビット数相当（例えば１２ｄＢ）だけ下げる。このエネルギレベルの修正後、全ユニットのうち最もエネルギレベルの高い成分を有するユニットを選択し、このユニットにビット割り当てを行い、このユニットの成分のエネルギレベルをこの割り当てたビット数相当だけ下げる。以下、総ビット数がなくなるまで同様のことを繰り返すことで各ユニットへのビット割り当てを行うのである。
【００３１】
量子化手段１０４は、このようにして各ユニットに割り当てられたビット数を使用して各ユニットに属する信号成分（Ｎ個）の仮数部の量子化を行う。そして、記録手段１０５は、各ユニットの指数部および量子化後の仮数部を記録媒体に記録する。
【００３２】
Ａ２．デジタルオーディオ信号の再生処理
図７は、上記方法により圧縮記録された情報を読み出して伸長し、元のオーディオ信号を再生する装置の構成を示すものである。この装置は、読取手段２０１、有効量子化領域計算手段２０２、ビット割当決定手段２０３、データ再構成手段２０４および帯域合成手段２０５からなる。以下、順に説明する。
【００３３】
まず、読取手段２０１は、記録媒体に記録されたＭ個のユニットの指数部（代表値を量子化したもの）を読み出す。
【００３４】
次に、有効量子化領域計算手段２０２は、この読み出した各ユニットの指数部を用いて、上述した有効量子化領域計算手段１０２が行ったのと全く同じ方法により各ユニットの有効量子化領域を計算する。すなわち、各ユニットの指数部から元のオーディオ信号のエネルギ分布を計算し、このエネルギ分布から元のオーディオ信号に対応したマスキングレベルを求め、元のオーディオ信号のエネルギ分布とマスキングレベルと可聴エネルギレベルとに基づいて各ユニット毎に有効量子化領域を求めるのである。
【００３５】
そして、ビット割当決定手段２０３は、上述したビット割当決定手段１０３と全く同じ方法により、各ユニットの有効量子化領域と記録用の総ビット数から、各ユニットの信号成分の仮数部の量子化に使用するビット数を決定する。
【００３６】
このようにして圧縮記録時に各ユニットに割り当てられた仮数部の量子化のためのビット数が求められると、読取手段２０１は、この各ユニットのビット数を基に、各ユニットに属する信号成分の仮数部（Ｎ個）を記録媒体から読み出す。
【００３７】
データ再構成手段２０４は、このようにして得られた各ユニットの信号成分の指数部と仮数部から元の成分（Ｎ個）を生成する。そして、帯域合成手段２０５は、これらの信号成分にＩＤＣＴ（逆離散コサイン変換）処理を施すことにより元のオーディオ信号を合成する。
【００３８】
Ｂ．本発明の実施形態に係るデジタルオーディオ信号のミキシング処理
図８はこの発明の一実施形態であるデジタルオーディオ信号のミキシング装置の構成を示すものである。このミキシング装置は、上記圧縮記録装置（図１）により複数の記録媒体に記録されたデジタルオーディオ信号を読み出し、これらのデジタルオーディオ信号をミキシングして新たなデジタルオーディオ信号を生成するものである。なお、図８では、説明の便宜のため、３個の記録媒体に記録されたデジタルオーディオ信号のミキシングを行う場合の例を示したが、これと全く同じ原理により、２個あるいは４個以上の記録媒体に記録されたデジタルオーディオ信号のミキシングを行うことも勿論可能である。
【００３９】
読取手段３０１〜３０３、有効量子化領域計算手段３１１〜３１３、ビット割当決定手段３２１〜３２３およびデータ再構成手段３３１〜３３３は、既に図７を参照して説明したものと全く同じ処理を行う構成要素である。
【００４０】
すなわち、このミキシング装置では、３個の記録媒体の各々について次の処理が行われる。まず、読取手段３０１〜３０３により各記録媒体から各デジタルオーディオ信号の信号成分の指数部（各ユニット毎の代表値）が読み出され、有効量子化領域計算手段３１１〜３１３により各信号成分の指数部から有効量子化領域が求められる。次にビット割当決定手段３２１〜３２３により、有効量子化領域と記録用の総ビット数から各ユニットに属する信号成分の仮数部に対するビット割り当てが決定される。次に、各ユニットについて求められた仮数部のビット数を基に、各記録媒体から各ユニットの仮数部（Ｎ個）が読み出される。そして、データ再構成手段３３１〜３３３により、既に求められた指数部と仮数部から元の信号成分（Ｎ個）が生成される。
【００４１】
このようにして各記録媒体に記録されたデジタルオーディオ信号から元のオーディオ信号の各信号成分が得られる訳であるが、従来の技術においては、これらの各オーディオ信号の各信号成分にＩＤＣＴ処理を施し、各々を時間領域の信号（すなわち、ＰＣＭデータあるいはアナログ信号）に戻してからミキシングを行った。これに対し、本実施形態では、各記録媒体から再生された各オーディオ信号の各信号成分をそのままの状態でミキシングする。
【００４２】
まず、データ再構成手段３３１〜３３３により３種類のオーディオ信号の各信号成分が既に得られているので、ミキシング手段３４０により、これらの各信号成分のミキシングを行う。すなわち、３種類のオーディオ信号の各信号成分にミキシング用のゲインを乗じ、このゲインの付与された各信号成分について同じ周波数に対応したもの同士を加算するのである。この結果、３種類のオーディオ信号をミキシングしたオーディオ信号の各信号成分が得られる。
【００４３】
また、データ再構成手段３３１〜３３３およびミキシング手段３４０が上記の各処理を行っている間、これと並行し、有効量子化領域合成手段３５０およびビット割当決定手段３６０は以下の処理を行う。
【００４４】
有効量子化領域合成手段３５０は、まず、３種類のオーディオ信号の有効量子化領域の上限およびマスキングレベルを各オーディオ信号に付与するゲインに応じて調整する。すなわち、ゲインの付与により元の状態よりもオーディオ信号のエネルギレベルが増大する場合にはその比率に相当する分だけ有効量子化領域の上限およびマスキングレベルを高エネルギレベル側にシフトし、元の状態よりもエネルギレベルが減衰する場合にはその比率に相当する分だけ有効量子化領域の上限およびマスキングレベルを低エネルギレベル側にシフトするのである。
【００４５】
図９において、４０１〜４０３はこの調整後の３種類のオーディオ信号の各有効量子化領域の上限を各々例示したものであり、４１１〜４１３は調整後のマスキングレベルを各々例示したものである。また、４２０は可聴エネルギレベルを表している。
【００４６】
次に有効量子化領域合成手段３５０は、これらの有効量子化領域の上限、マスキングレベルおよび可聴エネルギレベルを用いて、ミキシング後のオーディオ信号に適用すべき有効量子化領域を合成する。具体的には、各有効量子化領域４０１〜４０３の上限のうち最大のものを選択し、ミキシング後の有効量子化領域の上限とする。また、各マスキングレベル４１１〜４１３または可聴エネルギレベルのうち最大のものを選択し、ミキシング後の有効量子化領域の下限とする。このような操作を各ユニット毎に行うことにより、図１０に例示するようなミキシング後の有効量子化領域４３０を求める。
【００４７】
次にビット割当決定手段３６０は、ミキシング後のオーディオ信号の信号成分の仮数部を表現するためのビット数の割り当てを上述した各ユニット毎に決定する。この場合、各ユニットに割り当てるビット数は、量子化対象となる全ての信号成分の仮数部に対応したビット数の総和が記録に使用可能な総ビット数を越えないことを条件に、各ユニットについて求めた各有効量子化領域４３０に応じたビット数となるように決定する。
【００４８】
量子化手段３７０は、ビット割当決定手段３６０により各ユニット毎に決定された仮数部のビット数に従い、各ユニットに属するミキシング後のオーディオ信号の信号成分の仮数部の量子化を行う。
【００４９】
そして、出力手段３８０は、以上のようにして得られた信号成分の指数部および仮数部を含むデジタルオーディオ信号を記録媒体に記録し、あるいは外部に送信する。
【００５０】
Ｃ．他の実施形態
以上、この発明の一実施形態について説明したが、この発明の適用範囲はこれに限定されるものではなく、様々な変形した態様で実施可能である。例えば、上記実施形態では、各デジタルオーディオ信号から求めたマスキングレベル４１１〜４１３を合成したものをミキシング後のオーディオ信号に適用されるべきマスキングレベルとして使用したが、各オーディオ信号のエネルギレベル４０１〜４０３の最大値をとることによりミキシング後のオーディオ信号のエネルギレベルの分布を求め、このエネルギレベルの分布からミキシング後のオーディオ信号に適用されるべきマスキングレベルを求めてもよい。
【００５１】
【発明の効果】
以上説明したように、この発明によれば、各々が任意のオーディオ信号であり、かつ、各々のオーディオ信号を周波数の異なる複数の信号成分に分割し、各信号成分を量子化することにより得られた複数のデジタルオーディオ信号を１つのデジタルオーディオ信号に合成する際に、前記複数のデジタルオーディオ信号間で同一周波数の信号成分同士のミキシングを行い、このミキシングにより得られた各信号成分の量子化を行うことにより複数のデジタルオーディオ信号をミキシングした１つのデジタルオーディオ信号を生成するようにしたので、圧縮された複数のデジタルオーディオ信号を少ない演算処理量でミキシングすることができ、かつ、その際の信号劣化が少なくて済むという効果がある。
【図面の簡単な説明】
【図１】本発明が適用されるデジタルオーディオ信号の圧縮記録装置の構成例を示す図である。
【図２】同圧縮記録装置において行われる帯域分割処理の実行例を示す図である。
【図３】人間の聴覚特性を例示する図である。
【図４】マスキング効果を説明する図である。
【図５】マスキング効果を考慮した実効的な聴覚特性を例示する図である。
【図６】上記圧縮記録装置において行われる有効量子化領域計算処理の内容を示す図である。
【図７】上記圧縮記録装置によって記録されたデジタルオーディオ信号を再生する装置の構成例を示す図である。
【図８】この発明の一実施形態であるデジタルオーディオ信号のミキシング装置の構成を示すブロック図である。
【図９】同実施形態における有効量子化領域合成手段の処理内容を示す図である。
【図１０】同実施形態における有効量子化領域合成手段の処理内容を示す図である。
【図１１】従来のデジタルオーディオ信号のミキシング装置の構成を示すブロック図である。
【符号の説明】
３０１〜３０３……読取手段、３１１〜３１３……有効量子化領域計算手段、
３２１〜３２３……ビット割当決定手段、
３３１〜３３３……データ再構成手段、
３５０……有効量子化領域合成手段、３０６……ビット割当決定手段、
３４０……ミキシング手段、３７０……量子化手段、３８０……出力手段。

Claims

各々、オーディオ信号を周波数の異なった信号成分に分割し、各信号成分の指数部および仮数部を量子化することにより得られた複数の圧縮デジタルオーディオ信号のミキシング方法において、
ミキシング対象である複数の圧縮デジタルオーディオ信号の各々について、当該圧縮デジタルオーディオ信号における元のオーディオ信号の各信号成分の指数部を量子化したデータに基づき、各信号成分が帰属する周波数帯域毎のエネルギレベルを求め、
前記複数の圧縮デジタルオーディオ信号間で同一周波数の信号成分同士を加算し、
前記複数の圧縮オーディオ信号から各々求めた前記周波数帯域毎のエネルギレベルを同一の周波数帯域同士で合成することにより、ミキシング後のエネルギレベルを前記周波数帯域毎に求め、
前記周波数帯域毎に、前記ミキシング後のエネルギレベルを上限とし、人間の聴覚により聴取可能なエネルギレベルの上限である可聴エネルギレベルを下限とするミキシング後の有効量子化領域を求め、前記周波数帯域毎に、前記ミキシング後の有効量子化領域と量子化に使用可能な総ビット数とから該周波数帯域の信号成分のミキシング後の仮数部を表現するためのビット数を求め、
前記周波数帯域毎に求められたビット数に従って、前記周波数帯域毎に加算された各信号成分の仮数部の量子化を行う
ことを特徴とする圧縮デジタルオーディオ信号のミキシング方法。
各々、オーディオ信号を周波数の異なった信号成分に分割し、各信号成分の指数部および仮数部を量子化することにより得られた複数のデジタルオーディオ信号のミキシング方法において、
Ａ．ミキシング対象である複数のデジタルオーディオ信号の各々について、
ａ．当該デジタルオーディオ信号によって表された元のオーディオ信号の各信号成分を各々の周波数により分類することにより、各々周波数の異なった複数の周波数帯域に帰属させ、
ｂ．前記デジタルオーディオ信号における元のオーディオ信号の各信号成分の指数部を量子化したデータに基づき、前記複数の周波数帯域毎に元のオーディオ信号の信号成分のエネルギレベルを求め、
ｃ．前記複数の周波数帯域毎に求めた元のオーディオ信号の信号成分のエネルギレベルに基づき、元のオーディオ信号の発生により聴取が妨げられる信号成分のエネルギレベルの上限であるマスキングレベルを求め、
ｄ．前記複数の周波数帯域毎に、当該周波数帯域について求めた信号成分のエネルギレベルを上限とし、前記マスキングレベルまたは人間の聴覚により聴取可能なエネルギレベルの上限である可聴エネルギレベルのうち大きい方を下限とする有効量子化領域を求め、
ｅ．前記各周波数帯域に対応した各有効量子化領域と量子化に使用可能な総ビット数とから前記各周波数帯域に属する各信号成分の仮数部を表現するために使用されているビット数を求め、
ｆ．各周波数帯域について求めた仮数部のビット数に従って前記デジタルオーディオ信号に含まれる前記各周波数帯域に属する信号成分の仮数部を取り出し、
Ｂ．前記複数のデジタルオーディオ信号から各々得られた複数の元のオーディオ信号の各信号成分に各々ゲインを付与して加算することにより、ミキシング後のオーディオ信号の各信号成分を求め、
Ｃ．前記複数のデジタルオーディオ信号から各々求めた複数の元のオーディオ信号の前記複数の周波数帯域毎の信号成分のエネルギレベルを合成することにより、前記ミキシング後のオーディオ信号の前記複数の周波数帯域毎の信号成分のエネルギレベルを求め、
Ｄ．前記複数のデジタルオーディオ信号から各々求めた前記マスキングレベルを合成することにより、前記ミキシング後のオーディオ信号に適用されるマスキングレベルを合成し、
Ｅ．前記複数の周波数帯域毎に、前記ミキシング後のオーディオ信号の信号成分のエネルギレベルを上限とし、前記マスキングレベルまたは前記可聴エネルギレベルのうち大きい方を下限とするミキシング後の有効量子化領域を求め、
Ｆ．前記複数の周波数帯域についての前記ミキシング後の有効量子化領域と量子化用に使用可能な総ビット数とから前記複数の周波数帯域に各々に属する信号成分の仮数部を表現するためのビット数を各周波数帯域毎に求め、
Ｇ．前記各周波数帯域について求めた仮数部のビット数に従って、前記ミキシング後のオーディオ信号の各周波数帯域の信号成分の仮数部の量子化を行うことにより、前記複数のオーディオ信号をミキシングしたものに対応したデジタルオーディオ信号を生成することを特徴とするデジタルオーディオ信号のミキシング方法。
各々、オーディオ信号を周波数の異なった信号成分に分割し、各信号成分の指数部および仮数部を量子化することにより得られた複数の圧縮デジタルオーディオ信号のミキシングを行うミキシング装置において、
ミキシング対象である複数の圧縮デジタルオーディオ信号の各々について、当該圧縮デジタルオーディオ信号における元のオーディオ信号の各信号成分の指数部を量子化したデータに基づき、各信号成分が帰属する周波数帯域毎のエネルギレベルを求めるエネルギレベル算出手段と、
前記複数の圧縮デジタルオーディオ信号間で同一周波数の信号成分同士を加算するミキシング手段と、
前記複数の圧縮オーディオ信号から各々求めた前記周波数帯域毎のエネルギレベルを同一の周波数帯域同士で合成することにより、ミキシング後のエネルギレベルを前記周波数帯域毎に求めるエネルギレベル合成手段と、
前記周波数帯域毎に、前記ミキシング後のエネルギレベルを上限とし、人間の聴覚により聴取可能なエネルギレベルの上限である可聴エネルギレベルを下限とするミキシング後の有効量子化領域を求め、前記周波数帯域毎に、前記ミキシング後の有効量子化領域と量子化に使用可能な総ビット数とから該周波数帯域の信号成分のミキシング後の仮数部を表現するためのビット数を求めるビット割当決定手段と、
前記周波数帯域毎に求められたビット数に従って、前記周波数帯域毎に加算された各信号成分の仮数部の量子化を行う量子化手段と
を具備することを特徴とする圧縮デジタルオーディオ信号のミキシング装置。
各々、オーディオ信号を周波数の異なった信号成分に分割し、各信号成分の指数部および仮数部を量子化することにより得られた複数のデジタルオーディオ信号のミキシングを行うミキシング装置において、
Ａ．ミキシング対象である複数のデジタルオーディオ信号の各々に対応して設けられた手段であって、
ａ．当該デジタルオーディオ信号によって表された元のオーディオ信号の各信号成分を各々の周波数により分類することにより、各々周波数の異なった複数の周波数帯域に帰属させ、
ｂ．前記デジタルオーディオ信号における元のオーディオ信号の各信号成分の指数部を量子化したデータに基づき、前記複数の周波数帯域毎に元のオーディオ信号の信号成分のエネルギレベルを求め、
ｃ．前記複数の周波数帯域毎に求めた元のオーディオ信号の信号成分のエネルギレベルに基づき、元のオーディオ信号の発生により聴取が妨げられる信号成分のエネルギレベルの上限であるマスキングレベルを求め、
ｄ．前記複数の周波数帯域毎に、当該周波数帯域について求めた信号成分のエネルギレベルを上限とし、前記マスキングレベルまたは人間の聴覚により聴取可能なエネルギレベルの上限である可聴エネルギレベルのうち大きい方を下限とする有効量子化領域を求め、
ｅ．前記各周波数帯域に対応した各有効量子化領域と量子化に使用可能な総ビット数とから前記各周波数帯域に属する各信号成分の仮数部を表現するために使用されているビット数を求め、
ｆ．各周波数帯域について求めた仮数部のビット数に従って前記デジタルオーディオ信号に含まれる前記各周波数帯域に属する信号成分の仮数部を取り出す信号成分再生手段と、
Ｂ．前記複数のデジタルオーディオ信号から各々得られた複数の元のオーディオ信号の各信号成分に各々ゲインを付与して加算することにより、ミキシング後のオーディオ信号の各信号成分を求めるミキシング手段と、
Ｃ．前記複数のデジタルオーディオ信号から各々求めた複数の元のオーディオ信号の前記複数の周波数帯域毎の信号成分のエネルギレベルを合成することにより、前記ミキシング後のオーディオ信号の前記複数の周波数帯域毎の信号成分のエネルギレベルを求めるエネルギレベル合成手段と、
Ｄ．前記複数のデジタルオーディオ信号から各々求めた前記マスキングレベルを合成することにより、前記ミキシング後のオーディオ信号に適用されるマスキングレベルを合成するマスキングレベル合成手段と、
Ｅ．前記複数の周波数帯域毎に、前記ミキシング後のオーディオ信号の信号成分のエネルギレベルを上限とし、前記マスキングレベルまたは前記可聴エネルギレベルのうち大きい方を下限とするミキシング後の有効量子化領域を求める有効量子化領域合成手段と、
Ｆ．前記複数の周波数帯域についての前記ミキシング後の有効量子化領域と量子化用に使用可能な総ビット数とから前記複数の周波数帯域に各々に属する信号成分の仮数部を表現するためのビット数を各周波数帯域毎に求めるビット割当決定手段と、
Ｇ．前記各周波数帯域について求めた仮数部のビット数に従って、前記ミキシング後のオーディオ信号の各周波数帯域の信号成分の仮数部の量子化を行うことにより、前記複数のオーディオ信号をミキシングしたものに対応したデジタルオーディオ信号を生成する量子化手段とを具備することを特徴とするデジタルオーディオ信号のミキシング装置。