JP4593364B2 - オーディオデータの補間方法および補間装置 - Google Patents

Description

本発明はオーディオデータの補間方法および補間装置に係わり、特に低サンプリングレートの圧縮オーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するオーディオデータの補間方法および補間装置に関する。

オーディオ分野やグラフィック分野ではサンプリング信号間を補間する技術が種々研究されて提案されており、補間技術としてFIF (Fractal Interpolation Functions)が注目されている。図１２は従来の補間装置の構成図であり、圧縮オーディオデコーダ１は低サンプリングレートの圧縮オーディオデータをデコードし、FIF処理部２は得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換して出力する。FIFは補間区間に該補間区間のM倍の長さの信号波形を写像して補間する技術であり(非特許文献1を参照)、概略は以下の通りである。

（ａ）FIF処理
図１３に示す一次元離散信号S＝｛（u_n,v_n）:n=0,1,…,N｝が与えられた際のFIF処理手順を説明する。ただし、信号Sは次式を満足する1価関数で表される信号である。
ｕ₀＜ｕ₁＜．．．．．＜ｕ_n (1)
まず、信号Sから、（M+1）個の代表点P＝｛（ｘ_i,ｙ_i）:i=0,1,…,M｝を選択する（図１３中の黒丸点）。ただし、信号Sの両端点は次式に示すように、代表点として無条件に選択するものとする。

上記（M+1）個の代表点を選択することにより、信号SはM個の区間(第1区間〜第M区間)に分割される。尚、以下では、連続する２つの代表点により定義される区間〔x_i-1,x_i〕を補間区間ｉと呼ぶ。

次に、式（3）に示すアフィン写像ｗ_iを適用することで、信号ＳをＭ個の補間区間ｉ（ｉ＝０〜Ｍ）にそれぞれ写像する。図１４は信号Ｓを補間区間ｉに写像した例を示している。

上式において、ｗ_iは信号Ｓを補間区間iに写す縮小写像である。したがって、FIFを適用することで与えられた信号Sは、次式に示すように縮小写像ｗ_i（ｉ＝１〜Ｍ）による自身の縮小像ｗ_i（S）の和集合として表現されることがわかる。

上式において、GはIterated Function Systems (IFS)のアトラクタであり、自己アフィン特性を有することが知られている。
ところで、式（3）において、５つの未知パラメータa_i, c_i, d_i, e_i, f_i（以降、写像パラメータと呼ぶ）が存在する。式（3）を実際の信号に適用するには、これら５つの未知パラメータa_i, c_i, d_i, e_i, f_Iを求めなければならない。そこで次式に示す制約条件を設ける。

上記制約により、図１４の矢印Ａ，Ｂに示すように、信号Sの端点Ts,Teは補間区間iの端点tis,tieに写される。このような制約を設け、さらに５つ存在する写像パラメータの内、縮小因子と呼ばれるパラメータｄ_iを変数と考えると、他の４つの写像パラメータはそれぞれ、以下に示すように表すことができる。

FIFを用いて与えられた信号を高精度に表現するためには、代表点及び縮小因子をいかに決定するかという問題が生じる。この問題はFIFにおけるinverse problemと呼ばれており、これまでにその解法が幾つか提案されているが、本文ではMazelらにより提案された手法(たとえば非特許文献2参照)を用いてinverse problemを解決する。以下において、その方法を説明する。

（ｂ）写像パラメータの決定
先に述べたように、FIFを適用することで、与えられた信号Sは各補間区間に写される。このとき、縮小写像ｗ_iによる信号Ｓの像ｗ_i(s)=[(p_n,q_n):n=0,1,…,N]は(図１５参照)、次式に示すように表すことができる。図１５において大きな白丸は信号S上ののデータポイント、小さな黒丸は縮小写像ｗ_i(s)上のN個のポイントである。

前節で述べたように、FIFを適用する際には、与えられた信号Sを高精度に近似したアトラクタGをいかに生成するかが問題となるが、この問題は、信号Sの部分集合S[x_i-1,x_i]と縮小像ｗ_i(S)との誤差を最小化することにより解決できる。ここで、信号S[x_i-1,x_i]と縮小像ｗ_i(S)との誤差をＥ_iとすると、Ｅ_iは図１５に示すように、信号S[x_i-1,x_i]及び縮小像ｗ_i(S)を構成するデータ点の垂直方向の距離を足し合わせることにより、次式に示すように定式化できる。

尚、上式（12）において[・]はガウス記号を表す。式（11）に式（8）、（9）をそれぞれ代入し、整理すると次式を得る。

次に、式（13）を縮小因子ｄ_iに関して最小2乗規範に基づき最小化すると、縮小因子ｄ_iは次式により与えられる。

先に述べたように、縮小因子ｄ_iの価が決定されれば、残り４つの写像パラメータは一意に定めることができる。したがって、対象となる信号が全て既知のデータ点により構成されている場合、そのinverse problemは比較的容易に解くことができる。
図１２のオーディオデータの補間装置において、入力信号である圧縮オーディオデータは、たとえば22.05KHzでサンプリングしたデータにMP3圧縮処理したものであり、圧縮オーディオデコーダ１から出力するオーディオデータの周波数特性（スペクトル）は図１６の（B）に示すように、高域特性が失われた特性になる。なお、（A）は原楽音信号の周波数特性である。この圧縮オーディオデコーダ１から出力するオーディオデータを、フラクタル補間機能を用いてFIF処理部２で44.1ｋHzのオーディオデータに変換すると、その周波数特性は（C）に示すようになり、原楽音信号の周波数特性に類似した周波数特性となる。
M.F.Barbsley, "Fractal functions and interpolation" Constructive Approximation, vol.2, pp.303-329, 1986 D.S.Mazel and M.H. Hayes, "Using Iterated function systems to model discrete sequences" IEEE Trans. Signal Processing, vol.40, No.7, pp.1243-1249, Oct 1982.

FIF処理後の信号を楽音信号として考察すると、図１６の（A）の原楽音信号と（C）のFIF処理後の楽音信号の周波数特性から明らかなようにFIF処理後の楽音信号の周波数特性は高域がフラットな特性になっており、聴取者は高域が強い印象を受ける。
人間の聴覚は倍音ベース(オクターブベース)に感覚ができており、周波数特性が一定のホワイトノイズを聞くとノイズが高域にシフトしたように聞こえる。これを避けるために周波数が高くなるにつれてスペクトルが低くなる（3dB/octに従って低くなる）ピンクノイズが作られた。傾き3dB/octつまり１オクターブに対して3dBの減衰をかけることで、人間の耳ですべての可聴領域で同じ音圧のノイズを聞くことができるからであり、ピンクノイズはスピーカや部屋の音響特性の測定などに用いられている。なお、図１７にピンクノイズの周波数特性を示す。
ホワイトノイズとピンクノイズの関係と同様に人間の聴覚を考慮すると、楽音信号のスペクトラムは広域に従ってなだらかに低下するのが望ましい。しかし、図１６の（C）のFIF処理後の楽音信号の周波数特性は16kHz付近から20ｋHz手前までフラットとなり、20kHz付近で多少上昇し、その後低下する特性になっている。このため、従来の補間方法は、人間の聴覚にとって望ましい特性になっておらず、聴感上高域が不自然になる。
以上から本発明の目的は、人間の聴覚にとって望ましい特性を有するように、低サンプリング圧縮されたオーディオデータを補間する補間方法及び補間装置を提供することである。

上記課題は本発明によれば、低サンプリングレートの圧縮オーディオデータをデコードするステップ、得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するステップ、該変換により得られたオーディオデータの高域における伝達特性を低減するステップを有するオーディオデータの補間方法により達成される。上記前記低減ステップは、低サンプリングレートの1/2の周波数（ナイキスト周波数）から高サンプリングレートの1/2の周波数（ナイキスト周波数）までの伝達特性を低減する。
また、上記課題は本発明によれば、低サンプリングレートの圧縮オーディオデータをデコードするデコーダ、デコードして得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するアップサンプリング処理部、前記変換により得られたオーディオデータの高域における伝達特性を低減する補正フィルタを備えたオーディオデータの補間装置により達成される。補正フィルタは、直線的にゲインが低減する伝達特性を有し、前記低サンプリングレートの1/2の周波数（ナイキスト周波数）から前記高サンプリングレートの1/2の周波数（ナイキスト周波数）までの伝達特性を低減する。

本発明によれば、低サンプリングレートの圧縮オーディオデータをデコードして得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換し、得られたオーディオデータの高域における周波数特性をなだらかに低減するようにしたから、人間の聴覚に望ましい周波数特性を有する楽音信号を復元して出力することができる。すなわち、低サンプリングレートの圧縮オーディオデータをオーディオ再生向けの楽音信号として復元、出力することができる。

図１は本発明のオーディオデータの補間装置の説明図、図2は補正フィルタの周波数特性である。
FIF処理部１１は低サンプリングレート（22.05kHz）のオーディオデータを、フラクタル補間機能を用いて高サンプリングレート(44.1kHz)のオーディオデータに変換し、補正フィルタ１２は該変換により得られたオーディオデータの高域における伝達特性を低減する。たとえば、補正フィルタ１２は図2に示すように直線的にゲインが低減する伝達特性−6dB/octあるいは−12dB/octを有し、低サンプリングレートの1/2の周波数（11.025ｋHz）から前記高サンプリングレートの1/2の周波数（22.05kHz）までの高域の伝達特性を補正する。すなわち、11.025kHz〜22.05kHzの生成された信号部分に補正フィルタ１２で−6dB/oct、−12dB/octなどの楽音情報処理を加えて補正する。これにより、人間の聴覚に望ましい周波数特性を有する楽音信号を復元して出力することができる。すなわち、低サンプリングレートの圧縮オーディオデータをオーディオ再生向けの楽音信号として復元、出力することができる。

図３は本発明のオーディオデータの補間装置の構成図であり、低サンプリングレートの圧縮オーディオデータをデコードする圧縮オーディオデコーダ１０、デコードして得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレート(44.1kHz)のオーディオデータに変換するFIF処理部(アップサンプリング処理部)１１、変換により得られたオーディオデータの高域特性を低減する補正フィルタ１２で構成されている。
圧縮オーディオデータは、たとえば、原曲を低サンプリングレート（22.05kHz）でサンプリングしてMP3により圧縮したものである。補正フィルタ１２は128タップのFIRフィルタで構成されており、そのインパルス応答及び周波数特性はそれぞれ図4、図５に示すようになっている。周波数特性は、低サンプリングレート（22.05kHz）の1/2の11.025kHzまで0dB一定を示し、11.025kHzから高サンプリングレート(44.1kHz)の1/2の22.05kHzまで直線的にゲインが低減する伝達特性−6dB/octを示す。
圧縮オーディオデコーダ１０から出力するオーディオデータの周波数特性はシャノンの標本化定理より明らかなように、サンプリングレート（22.05kHz）の1/2以上の成分を復元できず、図６の（A）に示すように11.025kHz以上の楽音情報が欠けている。

FIF処理部１１は圧縮オーディオデコーダ１０から出力するオーディオデータを、フラクタル補間機能を用いて44.1ｋHzのオーディオデータに変換する。FIFアップサンプリング処理の情報源はMP3デコード処理後の音楽情報のみであるため、FIF処理部１１はこのMP3デコード波形から11.025kHz以上の波形を生成しなければならない。FIF処理部１１でアップサンプリングされたオーディオデータの周波数特性は図６（B）に示すように、高域がフラットな特性になっている。
そこで、直線的にゲインが低減する直線伝達特性−6dB/octを有する補正フィルタ１２を用いて11.025kHz〜22.05kHzの高域特性に楽音処理を加えて補正する。これにより、図６（C）に示すように楽音信号のスペクトラムが広域になるに従ってなだらかに低下し、人間の聴覚に望ましい特性になり、聴感上高域の不自然さが改善され、原曲の周波数特性(図１６(A)参照)に近くなる。なお、図６(C)の点線部における振幅は、図６(B)の振幅に比べて−4.8dB程度低減している。

・変形例１
以上では補正フィルタの周波数特性を−6dB/octの直線特性にしたが、必ずしも−6dB/octにする必要はなく、楽音ジャンル等により適宜傾斜を緩くしたり、強くしたりすることができる。図７、図８はインパルス応答及び周波数特性の別の実施例であり、周波数特性は11.025kHzまで0dB一定、11.025kHzから22.05kHzまで−12dB/octで直線的にゲインが低減する特性を示している。この補正フィルタを用いると図９に示すように高域特性の低減割合が大きい特性を有するオーディオデータが出力する。図９の点線部における振幅は、図６(B)の振幅に比べて−8.6ｄB程度低減しており、−6dB/octに比べて高域がおとなしくなる。
・変形例２
図３の補正フィルタ１２に複数の直線特性を持たせ、ユーザ設定により、あるいは、楽音ジャンルを識別して自動的に所望の特性で補正するように構成することもできる。
・変形例３
基本的には、補正フィルタ１２に図５、図８に示す特性を持たせれば十分であるが、さらに発展させたい場合には種々の特性、たとえば図１０に示すような特性を持たせることができる。たとえば、楽音のジャンル(クラシック、ジャズ、ポップス)毎に異なる補正フィルタ(FIRフィルタ)係数を用意し、MP3復号時に判別されるジャンル情報によって対応するフィルタ係数を補正フィルタに自動設定するように構成する。

図１１は本発明の補間装置の別の構成図であり、図３と同一部分には同一符号を付している。異なる点は、
(１)FIF処理部１１がLチャンネル、Rチャンネル用のFIFアップサンプリング部１１a、１１bを備えている点、
(２)補正フィルタ１２がLチャンネル、Rチャンネル用のFIRフィルタ１２a、１２bを備えている点、
(３)種々の特性に応じたLチャンネル及びRチャンネル用の補正フィルタ係数を格納し、圧縮オーディオデコーダ１０からの指示(ジャンル識別による切り換え指示)により、あるいは操作部１４からのユーザ指示により所望の係数をFIRフィルタ１２a、１２bに設定するフィルタバンク１３を設けた点、
である。
以上では、サンプリング周波数を22.05kHzから44.1kHzにアップした場合であるが、11.025kHzから44.1kHzにアップする場合にも本発明を適用することができる。
以上本発明によれば、楽音信号のスペクトラムを広域に従ってなだらかに低下するため、楽音信号を人間の聴覚に望ましい特性にでき、従来の補間技術において聴感上問題となっている高域の不自然さを改善できる。すなわち、本発明によれば、低サンプリングレートの圧縮オーディオデータをオーディオ再生向けの楽音信号として復元、出力することができる。

本発明のオーディオデータの補間装置の説明図である。 補正フィルタの周波数特性である。 本発明の圧縮オーディオデータの補間装置の構成図である。 補正フィルタのインパルス応答特性である。 補正フィルタの周波数特性である。 補間装置の各部における周波数特性(スペクトル特性)である。 補正フィルタの別のインパルス応答特性である。 補正フィルタの別の周波数特性である。 図７、図８に示す特性を有する補正フィルタを用いたときの本発明の圧縮オーディオデータ補間装置の周波数特性である。 補正フィルタの別の周波数特性である。 本発明の圧縮オーディオデータ補間装置の別の構成図である。 従来の圧縮オーディオデータ補間装置の構成図である。 FIF補間処理の第１の原理説明図である。 FIF補間処理の第２の原理説明図である。 FIF補間処理の第３の原理説明図である。 原曲およびFIF補間処理前後のオーディオデータの周波数特性である。 ピンクノイズの周波数特性である。

符号の説明

１０ 圧縮オーディオデコーダ
１１ FIF処理部
１２ 補正フィルタ

Claims (2)

1. 圧縮されたオーディオデータの補間方法において、
   低サンプリングレートの圧縮オーディオデータをデコードするステップ、
   得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するステップ、
   該変換により得られたオーディオデータの高域における周波数特性を低減するステップ、
   を備え、
   前記低減ステップにおいて、前記低サンプリングレートの1/2の周波数から前記高サンプリングレートの1/2の周波数までのオーディオデータの周波数特性をなだらかに低減する、
   ことを特徴とするオーディオデータの補間方法。
2. 圧縮されたオーディオデータの補間装置において、
   低サンプリングレートの圧縮オーディオデータをデコードするデコーダ、
   デコードして得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するアップサンプリング処理部、
   前記変換により得られたオーディオデータの高域における周波数特性を低減する補正フィルタ、
   を備え、前記補正フィルタは、前記低サンプリングレートの1/2の周波数から前記高サンプリングレートの1/2の周波数までのオーディオデータの周波数特性をなだらかに低減する、
   ことを特徴とするオーディオデータの補間装置。

Images