JP3225680B2

JP3225680B2 - 信号変換方法及び装置、並びに記録媒体

Info

Publication number: JP3225680B2
Application number: JP8759293A
Authority: JP
Inventors: 健三赤桐; 誠阿久根
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-04-14
Filing date: 1993-04-14
Publication date: 2001-11-05
Anticipated expiration: 2016-11-05
Also published as: JPH06303103A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばディジタルオー
ディオ機器に適用され、入力オーディオ信号に対して特
に聴覚の性質を用いて音質を変更する処理を施す、すな
わち、時間信号情報の特性を変換する信号変換方法又は
装置（時間信号情報特性変換方法及び装置）、並びにこ
れら方法又は装置により処理された情報が記録される記
録媒体に関するものである。

【０００２】

【従来の技術】従来より、音響信号情報の音質を変化さ
せる手法としては、例えば、フィルタ処理によって周波
数特性を変更する方式や、高次高調波を発生させる方
式、若しくはいわゆるコンプレサによってダイナミック
レンジを変更するなどの方式が用いられている。

【０００３】

【発明が解決しようとする課題】しかし、上記フィルタ
を用いる方式の場合は、例えば中域を増強することでプ
レゼンスを上げるなどのフィルタの使用の仕方を変える
ことで音質を変化させるものであり、高次高調波を発生
させる方式の場合は、聞きやすい音を得るというよりも
効果音的な使用に供されるものである。また、上記コン
プレサによってダイナミックレンジを変更する方式は、
大きい音が耳を痛めたり小さい音が周囲の雑音にマスク
されないようにするというものである。これらの方式で
は、瞬時瞬時で変わってゆく音響信号情報の変化に対応
して聴覚的に心地好く聞こえる音にする最適なコントロ
ールは困難である。

【０００４】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、人間の聴覚に照らして音質
に関して意味のある音声又は音響信号の変換が可能な信
号変換方法及び装置、並びにこれら方法又は装置により
処理された情報が記録される記録媒体を提供することを
目的とするものである。

【０００５】すなわち、本発明が解決しようとする課題
は、音響信号情報を聴覚的な原理を用いて瞬時瞬時に人
間にとって音質的に高品質に心地好く聞こえる音を作り
出す手法を与えることである。また、本発明の別の課題
は、既にディジタル化されて量子化雑音が付加されてし
まった音響信号情報からこの量子化雑音の聴覚的な影響
を減ずることにより、品質の向上を図ることである。ま
た、本発明の別の目的は、既にディジタル化されて量子
化雑音が付加されてしまったオーディオ信号情報からこ
の量子化雑音の聴覚的な影響を減じた後、本件出願人
が、先に、いわゆるコンパクトディスクのようなオーデ
ィオ機器の音質を向上させる技術として提案しているい
わゆる等ラウドネス特性やマスキング特性に合うように
量子化雑音のスペクトルを変更することによって聴感上
の雑音レベルを低減させる技術（以後この技術を例えば
スーパービットマッピング:Super Bit Mapping技術と呼
ぶことにする）、すなわち例えば特開平２−２０８１２
号公報、特開平２−１８５５５２号公報、特開平２−１
８５５５６号公報等に開示した技術を用いて、１６ビッ
トの語長を持つコンパクトディスクに記録するとき、聴
覚的な処理によって音質を向上させたデータを作ること
にある。当該スーパービットマッピング技術は、１６ビ
ットを越える語長を有するディジタル信号を１６ビット
長を有するコンパクトディスクの為に再量子化する場
合、音質向上を図ることができる。さらに、本発明の一
つの課題は、既に量子化雑音が付加されてしまったオー
ディオ信号情報について、聴覚的に音質を等価的に１６
ビット以上に一度向上させ、再び１６ビットに再量子化
する際、聴覚的に重要な周波数帯域のＳ／Ｎを１６ビッ
ト以上に保ったまま１６ビットとすることで、音質の向
上を図ることである。

【０００６】

【課題を解決するための手段】本発明の信号変換方法
は、上述の目的を達成するために提案されたものであ
り、音響時間信号情報を周波数に変換して得られる周波
数成分を用いて当該音響時間信号を変換する信号変換方
法において、周波数成分のローカルピークを少なくとも
一つ求め、上記ローカルピークと、聴覚特性に基づく略
臨界帯域内で当該ローカルピークと不協和性を示す周波
数成分との相対的な大きさを変更するようにしたもので
ある。また、本発明の信号変換装置は、上述の目的を達
成するために提案されたものであり、音響時間信号情報
を周波数に変換して得られる周波数成分を用いて当該音
響時間信号を変換する信号変換装置において、周波数成
分のローカルピークを少なくとも一つ求めるローカルピ
ーク検出手段と、上記ローカルピークと、聴覚特性に基
づく略臨界帯域内で当該ローカルピークと不協和性を示
す周波数成分との相対的な大きさを変更する周波数成分
変更手段とを有するものである。ここで、音響時間信号
情報から得られた周波数成分について、ローカルピーク
と、聴覚特性に基づく略臨界帯域内で当該ローカルピー
クと不協和性を示す周波数成分との相対的な大きさを変
更するようにする。また、周波数成分は複数であり、こ
れらのうちの少なくとも一つのローカルピークについ
て、当該ローカルピークと、聴覚特性に基づく略臨界帯
域内で当該ローカルピークと不協和性を示す周波数成分
との相対的な大きさを変更するようにする。このとき、
ローカルピークに対して不協和性を示す周波数成分とし
て、上記ローカルピークから略臨界帯域幅の１０％から
５０％の周波数差を持つ周波数成分を選択する。また、
例えば周波数成分サンプル数の異なる周波数成分の属性
の大きさの２つの移動ピーク値の差により、周波数成分
の相対的な大きさを変更する周波数領域を決定する。さ
らに、時間信号情報の短時間エネルギを保存するように
周波数成分の相対的な大きさを変更し、例えば当該時間
信号情報の短時間エネルギを保存するように少なくとも
一つのローカルピークの周波数成分の相対的な大きさを
変更する。また、ローカルピークに対して不協和性を示
す周波数成分として、略臨界帯域幅の５０％幅の移動ピ
ーク値と略臨界帯域幅の１０％幅の移動ピーク値との差
値が所定のスレッショールドを超える領域の周波数成分
を選択する。

【０００７】すなわち、本発明の信号変換方法及び装置
は、入力音響時間信号をフィルタ処理若しくは直交変換
を用いることにより、周波数成分を得る。次に、これら
の周波数成分の隣接した成分毎の移動ピーク値を、臨界
帯域に関係した２つの異なる周波数幅で得て、この２種
類の移動ピーク値の差が生じる周波数帯域の周波数成分
の大きさを小さくすることにより、ローカルピーク周波
数成分と他の周波数成分との間の不協和度を低減させ
る。入力音響時間信号を周波数軸上に展開するにあたっ
ては、フィルタなどにより複数の周波数帯域の時間軸上
成分を得た後、直交変換等によるブロック化周波数分析
手法を用いるか、いわゆるＱＭＦ(Quadrature Mirror F
ilter)や、ＣＱＦ(Conjugate Quadrature Filter)など
の帯域分割フィルタをツリー構造に従属接続することに
より、低域から高域にかけて、徐々に周波数分解能が低
下し、逆に時間分解能が向上する帯域分割を行う。

【０００８】この時、低域の方が高域よりも長い時間の
ブロックでブロック化して直交変換若しくは時間軸上複
数サンプルのピーク値を取るようにしてもよい。ブロッ
クの周波数帯域幅及び時間幅は聴覚的に最適になるよう
に臨界帯域幅を充分満足する周波数分解能を与えるよう
にする。それぞれのブロックにおいて、分析により得ら
れているスペクトルは、その大きさと周波数により、マ
スキングスレッショールド（マスキングのしきい値）以
上か否かが判定され、マスキングスレッショールド以下
の場合には強さ，位相などの属性が変更されないように
する。このことは最小可聴限についても同様であり、最
小可聴限を下回る周波数成分については、たとえ移動ピ
ーク値の差がゼロではなくても変更しないようにする。
更に、以上のように処理した音響信号情報を前記スーパ
ービットマッピング処理することによってビット長を減
ずることは、限られた語長で記録再生伝送等を行う場合
に、聴感的な音質の劣化をできるだけ防ぐ上で有効であ
る。以上述べた様に本発明は、聴覚的な方法で音響信号
情報の周波数成分をコントロールすることにより上述の
課題を解決する。

【０００９】また、本発明の記録媒体は、上記信号変換
方法に基づいて変換された変換データ（圧縮データ）が
記録されてなるものである。

【００１０】

【作用】本発明によれば、聴覚的に裏付けのある臨界帯
域内の周波数成分間の調和関係をコントロールすること
で、音声及び音響信号の音質を人間にとって有益なよう
に調整することができる。また、マスキングスレッショ
ールド及び最小可聴限以下の周波数成分については変更
を加えないようにすることは、音質的に無関係な不必要
な処理をできるだけ行わず、接続歪みなど余計な副作用
を防ぐ上で有効である。さらに、コンパクトディスクに
記録されるディジタルサンプルデータが１６ビットの語
長の分解能しかないにもかかわらず、聴覚的な周波数成
分の変更とスーパービットマッピング処理を組み合わせ
て１６ビット音響信号情報を作りだしコンパクトディス
クなどに記録することは、既に量子化雑音が付加された
音響信号情報及び、聴覚的に望ましくない周波数成分を
含む音響信号情報をコンパクトディスク、ディジタルオ
ーディオテープ等に記録する上で有効である。

【００１１】

【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。

【００１２】本発明の信号変換方法が適用される本実施
例の信号処理装置は、図１に示すように、音響時間信号
情報を複数の周波数成分に変換する変換手段としての後
述する帯域分割フィルタ２，３，４及びＭＤＣＴ回路５
ａ，５ｂ，５ｃ，５ｄと、当該変換手段から得られた複
数の周波数成分の少なくとも一つのローカルピークにつ
いて、当該ローカルピークと、聴覚特性に基づく略臨界
帯域内で当該ローカルピークと不協和性を示す周波数成
分との相対的な大きさを変更する周波数成分変更手段と
しての後述する周波数成分変更回路６及びマスク回路１
０，周波数移動ピーク検出回路１２，不協和周波数検出
回路１１，マスキングスレッショールドカーブ検出回路
１６，最小可聴カーブ発生回路１７とを有するものであ
る。

【００１３】先ず、図１は、本発明に係る信号変換方法
を実現する本実施例の信号処理装置の一実施例の概略構
成を示すブロック回路図である。以下、図１の具体的な
構成について説明する。

【００１４】すなわち、本実施例の信号処理装置は、音
声若しくは音響信号情報（音響時間信号情報）等の入力
ディジタル信号を、複数の周波数帯域に分割すると共
に、最低域の隣接した２帯域の帯域幅は同じで、より高
い周波数帯域ではその内の高い周波数帯域ほどバンド幅
を広く選定し、各周波数帯域毎に直交変換を行って、得
られた周波数軸上のスペクトルデータから、周波数領域
の移動ピークカーブと周波数領域のマスキングカーブの
情報を求める。

【００１５】上記周波数領域の移動ピークカーブの情報
からは、周波数成分間の調和関係から周波数成分を変更
することにより好ましい音質の変化が期待できる周波数
帯域を得る。また、周波数領域のマスキングカーブの情
報からは周波数領域の移動ピークカーブの情報から求ま
った周波数成分を変更することにより好ましい音質の変
化が期待できる周波数帯域のうち、マスキングにより実
質的に音質変化が期待できない周波数領域を求めて、周
波数成分を変化させる周波数帯域から除外する。最小可
聴限を下回る周波数成分についても変更の対象から除外
する。このようにして求められた周波数成分を変化させ
る周波数帯域内の周波数成分の大きさを小さくするか又
は除去する。

【００１６】次に、周波数成分を逆直交変換して時間信
号情報を得、全帯域を合成フィルタでまとめることで全
帯域時間信号情報を得る。さらに、量子化を行うにあっ
たては、２０ｋＨｚ以下の帯域内の量子化雑音スペクト
ルを聴感的に最適化するスーパービットマッピング処理
を行う。

【００１７】より詳細に図１において説明すると、入力
端子１には、例えばサンプリング周波数が４４．１ｋＨ
ｚの時、０〜２２ｋＨｚのオーデイオＰＣＭ信号が供給
されている。この入力信号は、例えばいわゆる上記ＣＱ
Ｆ等の帯域分割フイルタ２により０〜１１ｋＨｚ帯域と
１１ｋ〜２２ｋＨｚ帯域とに分割され、０〜１１ｋＨｚ
帯域の信号は同じくＣＱＦフイルタ等の帯域分割フイル
タ３により０〜５．５ｋＨｚ帯域と５．５ｋ〜１１ｋＨ
ｚ帯域とに分割される。更に０〜５．５ｋＨｚ帯域の信
号は同じくＣＱＦ等の帯域分割フイルタ４により０〜
２．７５ｋＨｚ帯域と２．７５〜５．５ｋＨｚ帯域とに
分割される。

【００１８】帯域分割フイルタ２からの１１ｋ〜２２ｋ
Ｈｚ帯域の信号は直交変換回路の一例であるＭＤＣＴ
（モディファイド離散コサイン変換）回路５ａに送ら
れ、帯域分割フイルタ３からの５．５ｋ〜１１ｋＨｚ帯
域の信号はＭＤＣＴ回路５ｂに送られ、帯域分割フイル
タ４からの２．７５ｋＨｚ〜５．５ｋＨｚ帯域の信号は
ＭＤＣＴ回路５ｃに送られ、帯域分割フイルタ４からの
０ｋＨｚ〜２．７５ｋＨｚ帯域の信号はＭＤＣＴ回路５
ｄに送られることにより、それぞれＭＤＣＴ処理され
る。もちろん、これら直交変換回路としては、上記ＭＤ
ＣＴ以外にも高速フーリエ変換（ＦＦＴ），離散コサイ
ン変換（ＤＣＴ）などの直交変換を用いることができ
る。

【００１９】ここで、上述したような帯域分割フィルタ
による入力ディジタル信号を複数の周波数帯域に分割す
る手法としては、例えば、上記ＣＱＦなどのフィルタを
用いる手法があり、これは、例えば、 Mark J. T. Smit
h and Thomas P. Barnwell,"Exact Reconstruction Tec
hniques for Tree-Structured Subband Coders,"IEEE T
rans. ASSP, Vol ASSP-34 No 3, June 1986, pp. 434-4
41. に述べられている。また、1976 R.E.Crochiere Dig
ital coding of speech in subbands BellSyst.Tech.
J. Vol.55,No.8 1976 には、ＱＭＦなどのフィルタを用
いた手法が述べられている。更にICASSP 83,BOSTON Pol
yphase Quadrature filters-A newsubband coding tech
nique Joseph H. Rothweiler には等バンド幅のフィル
タ分割手法が述べられている。

【００２０】また、上述した直交変換としては、例え
ば、入力オーディオ信号を所定単位時間（フレーム）で
ブロック化し、当該ブロック毎に例えば高速フーリエ変
換（ＦＦＴ）、コサイン変換（ＤＣＴ）、モディファイ
ドＤＣＴ変換（ＭＤＣＴ）等を行うことで、時間軸を周
波数軸に変換するような直交変換がある。上記ＭＤＣＴ
についてはICASSP 1987Subband/Transform Coding Usin
g Filter Bank DesignsBased on Time Domain Aliasing
Cancellation J.P.Princen A.B.Bradley Univ.of Surr
ey Royal Melbourne Inst.of Tech.に述べられている。

【００２１】ここで、上記各ＭＤＣＴ回路５ａ、５ｂ、
５ｃ、５ｄに供給する各帯域毎のブロックについての標
準的な入力信号に対する具体例を図２に示す。

【００２２】この図２の具体例において、上述した４つ
のフイルタ出力信号は、各帯域ごとに別々の直交変換ブ
ロックサイズを持ち、それぞれの周波数での臨界帯域幅
を充分満足するような周波数分析を行う。これにより周
波数が高くなるほど周波数分解能は低くなるが、その代
わりに時間分解能が向上する。本実施例では、周波数分
解は臨界帯域をそれぞれ略１０分割する程度に選んでい
る。このことにより臨界帯域内の周波数成分の大きさの
コントロールが臨界帯域内周波数をかなり自由に限定し
て行うことができる様にしている。

【００２３】すなわち、本実施例では、０Ｈｚから２．
７５ｋＨｚまでの帯域は、直交変換の時間ブロックサイ
ズを４６．４ｍｓｅｃとして、この帯域の最も狭い臨界
帯域幅１００Ｈｚの１０分の１の概略１０Ｈｚの周波数
分解能が得られるようにしている。同様にして、２．７
５ｋＨｚから５．５ｋＨｚ帯域は１１．６ｍｓｅｃの直
交変換の時間ブロックサイズを用いて４０Ｈｚの周波数
分解能を、５．５ｋＨｚから１１ｋＨｚ帯域は５．８ｍ
ｓｅｃの直交変換の時間ブロックサイズを用いて８０Ｈ
ｚの周波数分解能を、１１ｋＨｚから２２ｋＨｚ帯域は
２．９ｍｓｅｃの直交変換の時間ブロックサイズを用い
て１６０Ｈｚの周波数分解能を得ている。なお、１１ｋ
Ｈｚにおける臨界帯域幅は概略３ｋＨｚであるから、更
に直交変換ブロックサイズを半分にして３２０Ｈｚの周
波数分解能とすることは時間分解能を更に上げるうえで
有効である。表１には臨界帯域の中心周波数と帯域幅を
示している。

【００２４】

【表１】

【００２５】再び図１に戻って、各ＭＤＣＴ回路５ａ，
５ｂ，５ｃ，５ｄにてＭＤＣＴ処理されて得られた周波
数成分或いはＭＤＣＴ係数データは、ローカルピーク周
波数成分と不協和の関係を持つ周波数成分の存在する周
波数領域を確定する周波数移動ピーク検出回路１２及び
不協和周波数検出回路１１と、マスキングスレショール
ドカーブを求めるマスキングスレショールドカーブ検出
回路１６に供給される。

【００２６】ここで、上記周波数移動ピーク検出回路１
２の動作を以下に説明する。図３においては、判り易い
ように、３個の隣接周波数成分に関する移動ピーク値の
取り方を説明している。

【００２７】先ず、成分ｓ１を中心とした移動ピーク値
は、当該成分ｓ１とその両隣の成分を含めた各成分ｓ
０，ｓ１，ｓ２の中の最大の大きさを持つ成分の大きさ
で移動ピーク値が定義される。次に、成分ｓ２を中心と
した移動ピーク値は、当該成分ｓ２とその両隣の成分を
含めた各成分ｓ１，ｓ２，ｓ３の中の最大の大きさを持
つ成分の大きさで移動ピーク値が定義される。このよう
にして次々にピーク値を求めて行くことにより、移動ピ
ークカーブが得られる。

【００２８】図３では判り易いように、周波数成分は全
て同じ帯域幅を持ち、且つ移動ピークを求めるときの周
波数幅も等しくして図示してあるが、本実施例では、図
４に示すように、高域になるに従い、周波数成分の持つ
帯域幅は広がり且つその周波数での臨界帯域幅の１０％
若しくは５０％幅の周波数幅での移動ピーク値が求めら
れる。なお、図４において、図中ＢＥ１〜ＢＥ４はそれ
ぞれ帯域を示し、図中曲線Ｐ₁₀は臨界帯域幅の１０％幅
の移動ピークカーブを、曲線Ｐ₅₀は臨界帯域幅の５０％
幅の移動ピークカーブを示し、曲線ＳＤは周波数成分分
布を、ＣＢは各周波数における臨界帯域幅を示してい
る。ここでもしもピーク値が重複して定義された周波数
帯域ではピーク値の大きいほうが選ばれる。

【００２９】なお、上記臨界帯域幅は、協和性、雑音の
大きさの感覚、マスキング特性など人間の聴覚特性を良
く理解できる物理量であり、本発明に関しては協和性に
ついての説明を図５を用いて説明する。図５は２つの周
波数成分の周波数差が、横軸（臨界帯域幅で正規化され
た周波数を示す軸）に示された周波数だけあるとき、こ
の２つの周波数成分がどの程度の協和性もしくは不協和
性を示すかを縦軸に表している。この結果によれば、２
つの周波数成分の周波数差が、臨界帯域幅の１０％から
５０％までの間（不協和音帯域ＮＨＢ）では不協和の感
覚が生じ（不協和音レベルＮＨＬ）、０％から１０％及
び５０％から１００％の周波数差（協和音帯域ＨＢ）で
は協和の感覚が生じる（協和音レベルＨＬ）。なお、こ
の臨界帯域幅は、前記表１のように高域ほど帯域幅が広
くなっている。

【００３０】次に不協和帯域を検出する具体的手段を図
６を用いて説明する。図１における各ＭＤＣＴ回路５
ａ，５ｂ，５ｃ，５ｄにてＭＤＣＴ処理されて得られた
周波数成分或いはＭＤＣＴ係数データは、絶対値を取ら
れた後、図６に示す不協和帯域検出手段としての不協和
周波数検出回路１１の入力端子４１に与えられる。ここ
で、より長い時間幅を持つ低域側特性は、各高域時間に
共通に使用される。

【００３１】上記入力端子４１に与えられた周波数成分
から２つの異なった周波数幅を持った移動ピーク特性が
得られる。すなわち、臨界帯域幅の１０％幅の移動ピー
ク値を与える臨界帯域幅の１０％幅の移動ピーク検出回
路４２と臨界帯域幅の５０％幅の移動ピーク値を与える
臨界帯域幅の５０％幅の移動ピーク検出回路４３によっ
て２つの異なった周波数幅を持った移動ピーク特性が得
られる。

【００３２】これら臨界帯域幅の１０％幅の移動ピーク
値を与える臨界帯域幅の１０％幅の移動ピーク検出回路
４２と臨界帯域幅の５０％幅の移動ピーク値を与える臨
界帯域幅の５０％幅の移動ピーク検出回路４３で得られ
た移動ピークカーブは、その差を差検出回路４４によっ
て求められ、出力端子４５から取り出される。

【００３３】このようにして求められた移動ピーク値の
差が、あるスレッショールドを越える周波数領域を不協
和周波数領域と定義する。

【００３４】しかしながら、その他の聴覚的効果すなわ
ちマスキング効果，等ラウドネス，最小可聴限を考える
とき、以上のようにして求められた不協和周波数領域に
含まれる周波数成分全てを操作の対象とする必要はな
い。すなわち、マスキング効果、等ラウドネス、最小可
聴限を考慮したときに、聴覚的に聞こえることがないと
判断される周波数成分は操作の対象から外してもほとん
ど影響がなく、また、等ラウドネスを考えたときに、効
果的である帯域のみを操作の対象とすることは演算量の
減少に役立つ。

【００３５】図１におけるマスク機能を有するマスク回
路１０、マスキングカーブ算出機能を有するマスキング
スレショールドカーブ検出回路１６、最小可聴限情報を
記憶する最小可聴カーブ発生回路１７は、以上説明した
様に、マスキング効果、最小可聴限を考慮したときに、
聴覚的に聞こえることがないと判断される周波数成分を
操作の対象から外す為に用いられる。

【００３６】以下、より詳細に上記マスク回路１０での
マスク機能と、マスキングスレショールドカーブ検出回
路１６でのマスキングカーブ算出機能と、最小可聴カー
ブ発生回路１７での最小可聴限記憶機能につき説明す
る。

【００３７】図７は上記マスキングスレショールドカー
ブ検出回路１６でのマスキングカーブ算出機能の一具体
例の概略構成を示すブロック回路図である。この図７に
おいて、入力端子７１には、図１における各ＭＤＣＴ回
路５ａ，５ｂ，５ｃ，５ｄからの周波数成分データが供
給されている。

【００３８】この周波数軸上の入力データは、臨界帯域
毎のエネルギ算出回路７２に送られて、ここで各臨界帯
域のエネルギが、各臨界帯域内の周波数成分の各振幅値
の総和を計算することにより求められる。この各臨界地
域毎のエネルギの代わりに、振幅値のピーク値、平均値
等が用いられることもある。このエネルギ算出回路７２
からの出力として、例えば各バンドの総和値のスペクト
ルを図８に図中ＳＢとして示している。ただし、この図
８では、図示を簡略化するため、分割帯域数を１２バン
ド（Ｂ1 〜Ｂ12）で表現している。

【００３９】ここで、上記スペクトルＳＢのいわゆるマ
スキングに於ける影響を考慮するために、該スペクトル
ＳＢに所定の重み付け関数を掛けて加算するような畳込
み（コンボリユーション）処理を施す。このため、上記
帯域毎のエネルギ算出回路７２の出力すなわち該スペク
トルＳＢの各値は、畳込みフイルタ回路７３に送られ
る。該畳込みフイルタ回路７３は、例えば、入力データ
を順次遅延させる複数の遅延素子と、これら遅延素子か
らの出力にフイルタ係数（重み付け関数）を乗算する複
数の乗算器（例えば各バンドに対応する２５個の乗算
器）と、各乗算器出力の総和をとる総和加算器とから構
成されるものである。この畳込み処理により、例えば図
８のＢ６で示されるバンドのスペクトルＳＢに対しては
図８の図中点線で示す部分の総和がとられる。なお、上
記マスキングとは、人間の聴覚上の特性により、ある信
号によって他の信号がマスクされて聞こえなくなる現象
をいうものであり、このマスキング効果には、時間軸上
のオーデイオ信号による継時マスキング効果と、周波数
軸上の信号による同時刻マスキング効果とがある。これ
らのマスキング効果により、マスキングされる部分に信
号情報もしくはノイズがあったとしても、これらは聞こ
えないことになる。このため、実際のオーデイオ信号で
は、このマスキングされる範囲内の信号情報及びノイズ
は操作対象とする必要がない。

【００４０】なお、上記畳込みフイルタ回路７３の各乗
算器の乗算係数（フイルタ係数）の一具体例を示すと、
任意のバンドに対応する乗算器Ｍの係数を１とすると
き、乗算器Ｍ−１で係数０．１５を、乗算器Ｍ−２で係
数０．００１９を、乗算器Ｍ−３で係数０．０００００
８６を、乗算器Ｍ＋１で係数０．４を、乗算器Ｍ＋２で
係数０．０６を、乗算器Ｍ＋３で係数０．００７を各遅
延素子の出力に乗算することにより、上記スペクトルＳ
Ｂの畳込み処理が行われる。ただし、Ｍは１〜２５の任
意の整数である。

【００４１】次に、上記畳込みフイルタ回路７３の出力
は引算器７４に送られる。該引算器７４は、上記畳込ん
だ領域での後述する操作対象から外すことが可能な信号
情報もしくはノイズレベルに対応するレベルαを求める
ものである。なお、当該操作対象から外すことが可能な
信号情報もしくはノイズレベルに対応するレベルαは、
後述するように、逆コンボリユーション処理を行うこと
によって、クリテイカルバンド（臨界帯域幅）の各バン
ド毎の操作対象から外すことが可能な信号情報もしくは
ノイズレベルとなるようなレベルである。ここで、上記
引算器７４には、上記レベルαを求めるための許容関数
（マスキングレベルを表現する関数）が供給される。こ
の許容関数を増減させることで上記レベルαの制御を行
っている。当該許容関数は、次に説明するような（ｎ−
ａｉ）関数発生回路７５から供給されているものであ
る。

【００４２】すなわち、操作対象から外すことが可能な
信号情報もしくはノイズレベルに対応するレベルαは、
臨界帯域の帯域の低域から順に与えられる番号をｉとす
ると、次の（１）式で求めることができる。 α＝Ｓ−（ｎ−ａｉ）・・・（１）この（１）式において、ｎ，ａは定数でａ＞０、Ｓは畳
込み処理されたバークスペクトルの強度であり、（１）
式中(n-ai)が許容関数となる。本実施例ではｎ＝３８，
ａ＝１としている。

【００４３】このようにして、上記レベルαが求めら
れ、このデータは、割算器７６に伝送される。当該割算
器７６では、上記畳込みされた領域での上記レベルαを
逆コンボリユーションするためのものである。したがっ
て、この逆コンボリユーション処理を行うことにより、
上記レベルαからマスキングスペクトルが得られるよう
になる。すなわち、このマスキングスペクトルが、操作
対象から外すことが可能な信号情報もしくはノイズスペ
クトルとなる。

【００４４】なお、上記逆コンボリユーション処理は、
複雑な演算を必要とするが、本実施例では簡略化した割
算器７６を用いて逆コンボリユーションを行っている。

【００４５】次に、上記マスキングスペクトルは、合成
回路７７を介して減算器７８に伝送される。ここで、当
該減算器７８には、上記臨界帯域毎のエネルギ検出回路
７２からの出力、すなわち前述したスペクトルＳＢが、
遅延回路７９を介して供給されている。したがって、こ
の減算器７８で上記マスキングスペクトルとスペクトル
ＳＢとの減算演算が行われることで、図９に示すよう
に、上記スペクトルＳＢは、該マスキングスペクトルＭ
Ｓのレベルで示すレベル以下がマスキングされることに
なる。

【００４６】当該減算器７８からの出力は、操作対象か
ら外すことが可能な信号情報若しくはノイズレベル補正
回路（図示は省略している）を介し、出力端子８１を介
して取り出され、上記マスク回路１０に送られて、ここ
で不協和周波数領域のうちで操作対象から外すことが可
能な周波数領域を除外する。

【００４７】なお、遅延回路７９は上記合成回路７７以
前の各回路での遅延量を考慮してエネルギ検出回路７２
からのスペクトルＳＢを遅延させるために設けられてい
る。

【００４８】ところで、上述した合成回路７７での合成
の際には、最小可聴カーブ発生回路１７から供給される
図１０に示すような人間の聴覚特性であるいわゆる最小
可聴限カーブＲＣを示すデータと、上記マスキングスペ
クトルＭＳとを合成することができる。この最小可聴カ
ーブにおいて、信号もしくは雑音絶対レベルがこの最小
可聴限カーブ以下ならば該信号及び雑音は聞こえないこ
とになる。この最小可聴限カーブは、例えば再生時の再
生ボリュームの違いで異なるものとなるが、現実的なデ
ィジタルシステムでは、例えば１６ビットダイナミック
レンジへの音楽のはいり方にはさほど違いがないので、
例えば４ｋＨｚ付近の最も耳に聞こえやすい周波数帯域
の量子化雑音が聞こえないとすれば、他の周波数帯域で
はこの最小可聴限カーブのレベル以下の量子化雑音は聞
こえないと考えられる。したがって、このように例えば
システムの持つワードレングスの４ｋＨｚ付近の雑音が
聞こえない使い方をすると仮定し、この最小可聴限カー
ブＲＣとマスキングスペクトルＭＳとを共に合成するこ
とで、操作対象から外すことが可能な信号情報もしくは
ノイズレベルを得るようにすると、この場合の操作対象
から外すことが可能な信号情報もしくはノイズレベル
は、図１０中の斜線で示す部分までとすることができる
ようになる。

【００４９】なお、本実施例では、上記最小可聴限カー
ブの４ｋＨｚのレベルを、例えば２０ビット相当の最低
レベルに合わせている。また、この図１０は、信号スペ
クトルＳＳも同時に示している。

【００５０】また、上記操作対象から外すことが可能な
信号情報もしくはノイズレベル補正回路では、図示を省
略する補正情報出力回路から送られてくる例えば等ラウ
ドネスカーブの情報に基づいて、上記減算器７８からの
出力における操作対象から外すことが可能な信号情報も
しくはノイズレベルを補正している。ここで、等ラウド
ネスカーブとは、人間の聴覚特性に関する特性曲線であ
り、例えば１ｋＨｚの純音と同じ大きさに聞こえる各周
波数での音の音圧を求めて曲線で結んだもので、ラウド
ネスの等感度曲線とも呼ばれる。またこの等ラウドネス
曲線は、図１０に示した最小可聴カーブＲＣと略同じ曲
線を描くものである。この等ラウドネス曲線において
は、例えば４ｋＨｚ付近では１ｋＨｚのところより音圧
が８〜１０ｄＢ下がっても１ｋＨｚと同じ大きさに聞こ
え、逆に、１０ｋＨｚ付近では１ｋＨｚでの音圧よりも
約１５ｄＢ高くないと同じ大きさに聞こえない。このた
め、上記最小可聴カーブのレベルを越えた信号もしくは
雑音は、該等ラウドネス曲線に応じたカーブで与えられ
る周波数特性でその大きさを評価されるのが良いことが
わかる。このようなことから、上記等ラウドネス曲線を
考慮して、演算量を削減するために操作対象から外すこ
とが可能な信号情報もしくはノイズを選定することは、
人間の聴覚特性に適合していることがわかる。

【００５１】図１に戻って、上記マスク回路１０は、以
上に説明した聴覚的効果を用いて、不必要な周波数帯域
での周波数成分の変更を行わないようにする。このマス
ク回路１０は出力としてローカルピーク成分との間で不
協和な関係を持つ周波数成分のうち聴覚的な音質向上に
効果的な操作が得られる成分情報を出す。図１の周波数
成分変更回路６は、この情報を基にして対象となる周波
数成分の大きさを変更する。

【００５２】図１１には、上記周波数成分変更回路６に
おいて周波数成分の大きさを変更する様子を示してい
る。この図１１において、図中Band１〜Band４はマスク
回路１０により指定された周波数成分の大きさを変更す
る周波数領域であり、その変更の程度は各バンドの中央
部ほど大きくなっている。これは前記図５に示された不
協和度が周波数差により異なることを利用したものであ
る。また、図中Ｓｐ１〜Ｓｐ４は、各ローカルピークス
ペクトルの位置の利得を表しており、不協和周波数帯域
の周波数成分が小さくなったことにより、全体のエネル
ギが減少することを補償するためにこの周波数位置のス
ペクトルの大きさを大きくすることを示している。

【００５３】このようにして周波数成分の大きさを変更
した周波数成分変更回路６の出力は、前記ＭＤＣＴの逆
変換を行うＩＭＤＣＴ回路９ａ，９ｂ，９ｃ，９ｄによ
って、周波数軸上から時間軸上へと変換される。これら
ＩＭＤＣＴ回路９ａ，９ｂ，９ｃ，９ｄからのＩＭＤＣ
Ｔ出力信号は、前記ＣＱＦとは逆の周波数合成（ＩＣＱ
Ｆ）機能を有する帯域合成フィルタ１３，１４，１５に
より周波数合成され全帯域時間信号となる。

【００５４】これら帯域合成フィルタ１３，１４，１５
による全帯域信号は、周波数成分の変更によってダイナ
ミックレンジが、元の入力信号情報に比較して大きくな
っていることがあるので、コンパクトディスクに記録す
る場合には、１６ビットへの再量子化が必要となること
がある。なお、本件出願人は、先に、入力されたディジ
タルオーデイオ信号をオーディオ帯域内でのノイズシェ
イピングによって等ラウドネス特性に近いノイズ周波数
特性を与える再量子化を行いコンパクトディスクに１６
ビット再量子化信号を記録するような技術を、例えば前
述の特開平２−２０８１２号公報、特開平２−１８５５
５２号公報、特開平２−１８５５５６号公報にて開示し
ている。

【００５５】本発明ではこのような場合、本発明によっ
て処理された信号を更に上記ノイズシェイピングするこ
とによって１６ビットを越える特性をもつコンパクトデ
ィスク記録信号を得ることができる。

【００５６】以下、図１において上記ノイズシェイピン
グを行うノイズシェイパの動作を説明する。上記帯域合
成フィルタ１５から加算回路１８に供給された信号は、
帰還フィルタ２１の出力信号との差をとられる。加算回
路１８の出力は再量子化器１９及び第２の加算回路２０
に供給される。再量子化器１９は、入力信号語長よりも
少ない語長で出力されることで少ない情報量で信号を伝
送記録等を行おうとするものである。この再量子化器１
９の出力は当該ノイズシェイパの出力端子２２及び第２
の加算回路２０に供給される。第２の加算回路２０は再
量子化器１９の入力及び出力の信号の差を得るものであ
り、出力として量子化誤差が抽出される。第２の加算回
路２０の出力は帰還フィルタ２１に供給される。

【００５７】ここで、当該帰還フィルタ２１について図
１２にて詳細に説明する。この図１２において、端子５
０を介して帰還フィルタ２１に供給された信号は、遅延
素子５２，５３，５４，５５の直列回路に順次シフトし
てゆく。各遅延素子５２，５３，５４，５５の出力は、
乗算素子５６，５７，５８，５９と接続されており、こ
れら乗算素子５６，５７，５８，５９において各対応す
る係数入力端子６２，６３，６４，６５から供給される
フィルタ係数との積がとられる。これらの乗算素子５
６，５７，５８，５９の出力は、加算素子６０で加算さ
れて帰還フィルタの出力端子６１に導かれる。

【００５８】以上の加算回路１８、再量子化器１９、第
２の加算回路２０、及び帰還フイルタ２１より構成され
るノイズシェイパによって等ラウドネス特性に近いノイ
ズ周波数特性が与えられたディジタルオーデイオ信号
は、出力端子２２より出力される。この出力信号は、所
定の誤り訂正処理等がなされ、記録媒体（光磁気ディス
ク、半導体メモリ、ＩＣメモリーカード、光ディスク）
に記録される。

【００５９】なお、本発明は上記実施例のみに限定され
るものではなく、画像信号情報などにも適用できる。

【００６０】

【発明の効果】本発明によれば、上述したようなことか
ら、音響時間信号情報を聴覚的な原理を用いて瞬時瞬時
に人間にとって音質的に高品質に心地好く聞こえる音を
作り出すことができる。また、既にディジタル化されて
量子化雑音が付加した音響時間信号情報から量子化雑音
の聴覚的な影響を減ずることにより、品質の向上を図る
ことができ、既にディジタル化されて量子化雑音が付加
されたオーディオ信号情報から量子化雑音の聴覚的な影
響を減じた後、コンパクトディスクのようなオーディオ
機器の音質を向上させる技術として例えば等ラウドネス
特性やマスキング特性に合うように量子化雑音のスペク
トルを変更することによって聴感上の雑音レベルを低減
させる技術を用いて、１６ビットの語長を持つコンパク
トディスクに記録するときに、聴覚的な処理によって音
質を向上させたデータを作ることができる。これによ
り、１６ビットを越える語長を有するディジタル信号を
１６ビット長を有するコンパクトディスクの為に再量子
化する場合、音質向上を図ることができる。さらに、本
発明によれば、既に量子化雑音が付加されたオーディオ
信号情報について、聴覚的に音質を等価的に１６ビット
以上に一度向上させ、再び１６ビットに再量子化する
際、聴覚的に重要な周波数帯域のＳ／Ｎを１６ビット以
上に保ったまま１６ビットとすることで、音質の向上を
図ることが可能となる。

【図面の簡単な説明】

【図１】本発明の信号処理方法（時間信号情報特性変更
方法）を実現する本実施例の信号処理装置（時間信号情
報特性変更装置）の概略構成例を示すブロック回路図で
ある。

【図２】本発明に係る各帯域毎の時間ブロックを示す図
である。

【図３】本発明に係る周波数移動ピークを示す図であ
る。

【図４】本発明に係る周波数移動ピーク周波数特性の例
を示す図である。

【図５】協和度と臨界帯域の関係を示す図である。

【図６】本発明実施例装置の不協和帯域検出回路の構成
例を示すブロック回路図である。

【図７】本実施例装置のマスキングスレッショールドカ
ーブ検出回路の構成例を示すブロック回路図である。

【図８】各臨界帯域の信号成分の総和値を示す図であ
る。

【図９】各臨界帯域の信号成分の総和値とマスキングス
レショールドを示す図である。

【図１０】各臨界帯域の信号成分の総和値とマスキング
スレショールド、最小可聴限を示す図である。

【図１１】周波数成分の大きさを変える例を示す図であ
る。

【図１２】ノイズシェーピングの為の帰還フィルタの構
成例を示す図である。

【符号の説明】

１，４１，７１・・・入力端子２，３，４・・・・・帯域分割フィルタ（ＣＱＦ）５ａ，５ｂ，５ｃ，５ｄ・・・・ＭＤＣＴ回路６・・・・・・・・・周波数成分変更回路１０・・・・・・・・マスク回路１１・・・・・・・・不協和周波数検出回路１２・・・・・・・・周波数移動ピーク検出回路１３，１４，１５・・帯域合成フィルタ１６・・・・・・・・マスキングスレッショールドカー
ブ検出回路１６１７・・・・・・・・最小可聴カーブ発生回路１８，２０・・・・・加算回路１９・・・・・・・・再量子化器２１・・・・・・・・帰還フィルタ２２，４５，６１，８１・・・出力端子４２・・・・・・・・臨界帯域の１０％幅の移動ピーク
検出回路４３・・・・・・・・臨界帯域の５０％幅の移動ピーク
検出回路４４・・・・・・・・差検出回路５２，５３，５４，５５・・・遅延素子５６，５７，５８，５９・・・乗算素子６０・・・・・・・・加算素子７２・・・・・・・・臨界帯域のエネルギ算出回路７３・・・・・・・・畳み込みフィルタ回路７５・・・・・・・・関数発生回路７４・・・・・・・・引算器７６・・・・・・・・割算器７７・・・・・・・・合成回路７８・・・・・・・・減算回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H03M 7/30 G10L 13/00

Claims

(57)【特許請求の範囲】

【請求項１】音響時間信号情報を周波数に変換して得
られる周波数成分を用いて当該音響時間信号を変換する
信号変換方法において、周波数成分のローカルピークを少なくとも一つ求め、上記ローカルピークと、聴覚特性に基づく略臨界帯域内
で当該ローカルピークと不協和性を示す周波数成分との
相対的な大きさを変更することを特徴とする信号変換方
法。
【請求項２】音響時間信号情報を周波数に変換して得
られる周波数成分を用いて当該音響時間信号を変換する
信号変換装置において、周波数成分のローカルピークを少なくとも一つ求めるロ
ーカルピーク検出手段と、上記ローカルピークと、聴覚特性に基づく略臨界帯域内
で当該ローカルピークと不協和性を示す周波数成分との
相対的な大きさを変更する周波数成分変更手段とを有す
ることを特徴とする信号変換装置。
【請求項３】上記周波数成分変更手段は、上記ローカ
ルピークに対して不協和性を示す周波数成分として、上
記ローカルピークから略臨界帯域幅の１０％から５０％
の周波数差を持つ周波数成分を選択することを特徴とす
る請求項２記載の信号変換装置。
【請求項４】上記周波数成分変更手段は、異なる周波
数幅で求めた２つの移動ピーク値の差により、上記ロー
カルピークと不協和性を示す周波数成分の領域を決定す
ることを特徴とする請求項２記載の信号変換装置。
【請求項５】上記周波数成分変更手段は、時間信号情
報の短時間エネルギを保存するように周波数成分の相対
的な大きさを変更することを特徴とする請求項２記載の
信号変換装置。
【請求項６】上記周波数成分変更手段は、時間信号情
報の短時間エネルギを保存するように少なくとも一つの
ローカルピークの周波数成分の大きさを変更することを
特徴とする請求項５記載の信号変換装置。
【請求項７】上記周波数成分変更手段は、上記ローカ
ルピークと不協和性を示す周波数成分として、略臨界帯
域幅の５０％幅の移動ピーク値と略臨界帯域幅の１０％
幅の移動ピーク値との差が所定のスレッショールドを超
える領域の周波数成分を選択することを特徴とする請求
項２記載の信号変換装置。
【請求項８】請求項１記載の信号変換方法に基づいて
変換された変換データを記録してなることを特徴とする
記録媒体。