JP5032921B2 - 音像制御装置および音像制御方法 - Google Patents

Description

本発明は、重複直交変換により変換された音声音響信号の変換係数に対し振幅特性または位相特性を補正する音像制御装置および音像制御方法に関するものである。

ヘッドフォンや複数のスピーカを用いて、立体的な音響再生をする音像制御が知られている。多くの音像制御では、左右の耳に到達する音の振幅や位相の特性を表す頭部伝達関数を音声音響信号に付加し、左右の耳に提示することで、擬似的な立体音再生を行っている。

一方で、音声音響信号の伝送や記録のための符号化方法として、時間領域の音声音響信号をＭＤＣＴ（Modified Discrete Cosine Transform：修正離散コサイン変換）により周波数スペクトルに対応する変換係数に変換し符号化する方法が知られている。

ＭＤＣＴは、窓長の一部をオーバラップしながら変換-逆変換することで再構成性を保証するＬＯＴ（Lapped Orthogonal Transform：重複直交変換）の一種である。このＭＤＣＴは、符号化効率に優れた変換法であるため、ＭＰＥＧＬａｙｅｒ−３やＡＡＣ、Ｄｏｌｂｙ−ＡＣ３など、多くの音声音響符号化に用いられている。

これらＭＤＣＴを利用した音声音響符号化データを復号する際に音像制御をすることは、臨場感のある映画音声や音楽のサラウンド再生や立体音響通信のために有効な技術である。

例えば、ＭＤＣＴを利用した音声音響符号化データの復号時に音像制御する方法として、ＭＤＣＴによる変換係数（ＭＤＣＴ係数）を帯域分割し、各帯域のＭＤＣＴ係数をそれぞれ逆変換し、時間領域の音声音響信号に変換した後、各音声音響信号に対しＦＩＲフィルタ処理等の音像制御処理を行う音像制御装置が知られている（下記特許文献１参照）。

音像制御のための振幅特性または位相特性の少なくともいずれか一方の補正方法として、複素指数を基底とし、フレーム単位で変換-逆変換の再構成が保証されるＤＦＴ（Discrete Fourier Transform：離散フーリエ変換）による変換係数（ＤＦＴ係数）の単純な乗算による方法が広く知られている。前記ＤＦＴを用いた方法では、ＤＦＴの高速演算アルゴリズムであるＦＦＴ(Fast Fourier Transform：高速フーリエ変換)を用いることにより、時間領域でのＦＩＲなどフィルタ処理と同等の処理をより少ない演算量で実現できる。

ＭＤＣＴを利用した音声音響符号化データの復号時に、上記ＤＦＴ領域での音像制御を適用するためには、ＭＤＣＴ係数を逆変換により時間領域の信号に変換した後、ＤＦＴによってＤＦＴ係数に変換する必要があり、演算量が大きくなる。

そこで、ＭＤＣＴを利用した音声音響符号化データの復号時に、演算量を抑えつつ音像制御するために、ＤＦＴと同じようにＭＤＣＴ係数の直接操作により音像制御のための振幅特性および／または位相特性の補正を行えることが望ましい。
特開平１０−４２４００号公報

しかし、上記従来技術に係る音像制御装置は、以下に示すような問題点があった。すなわち、隣接フレームとのオーバラップにより再構成されるＭＤＣＴは、ＤＦＴで行われるような乗算による音像制御を実現しようとした場合、歪を多く生じるという問題があった。

図１４に、位相補正による正弦波の遅延処理についての検証結果を示す。図１４（ａ）は、音声音響信号の正弦波を示す図であり、図１４（ｂ）は、上述正弦波をＤＦＴ領域で乗算により遅延処理させた図であり、図１４（ｃ）は、上述正弦波をＭＤＣＴ領域で乗算により遅延処理させた図である。

図１４（ｂ）で示されるように、ＤＦＴ領域で遅延処理させ、それを元に戻したときの音声音響信号の正弦波は、ＤＦＴによる変換前のものとほとんど変わらないことが分かる。一方、図１４（ｃ）で示されるように、ＭＤＣＴ領域で乗算により遅延処理させ、それを基に元に戻したときの正弦波には、細かな歪が生じていることが分かる。例えば、符号９０１で示される部分では、振幅方向に比較的大きな歪が生じており、符号９０２で示される部分では位相方向に比較的大きな歪が生じていることが分かる。符号９０３〜９０８で示される部分についても同様に歪が生じていることが分かる。

ＭＤＣＴにおいては、窓長の一部をオーバラップさせることにより原信号を再構成するために、窓関数w(n)を式（１）に示すPrincen-Bradley条件を満たす必要がある。ただし、Ｍはフレーム長であり、窓関数の長さは２Ｍである。

ここで、ＭＤＣＴ領域において原信号をdサンプル遅延させたとき、Princen-Bradley条件は式（２）のように変形される。ただし、dは整数でなくてもよい。

すなわち、ＭＤＣＴの変換および逆変換時にそれぞれ用いる分析窓、合成窓について共通のものを使用した場合、Princen-Bradley条件の破綻によって、出力される信号には図１４（ｃ）に示したように歪が生じる。

そこで本発明は、上述の課題を解決するために、ＭＤＣＴなどの重複直交変換による変換係数に対して音像制御情報に基づいて補正を行って得た音声音響信号の歪を低減させるように処理することのできる音像制御装置および音像制御方法を提供することを目的とする。

上述の課題を解決するために、本発明の音像制御装置は、音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する音像制御パラメータ決定手段と、入力された重複直交変換による変換係数を前記音像制御パラメータに基づいて補正する音像制御手段と、前記音像制御手段により補正された変換係数を時間領域の音声音響信号に変換する係数逆変換手段と、前記音像制御情報に基づいて合成窓関数を生成する合成窓制御手段と、前記係数逆変換手段により変換された音声音響信号に対して前記合成窓制御手段により生成された合成窓関数を乗算して出力信号を得る合成窓重畳手段とを備えている。

また、本発明の音像制御方法は、音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する音像制御パラメータ決定ステップと、入力された重複直交変換による変換係数を前記音像制御パラメータに基づいて補正する音像制御ステップと、前記音像制御ステップにより補正された変換係数を時間領域の音声音響信号に変換する係数逆変換ステップと、前記音像制御情報に基づいて合成窓関数を生成する合成窓制御ステップと、前記係数逆変換ステップにより変換された音声音響信号に対して前記合成窓制御ステップにより生成された合成窓関数を乗算して出力信号を得る合成窓重畳ステップとを備えている。

この発明によれば、音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定し、入力された重複直交変換による変換係数を音像制御パラメータに基づいて補正する。そして、補正された変換係数を時間領域の音声音響信号に変換し、変換された音声音響信号に対して音像制御情報に基づいて生成された合成窓関数を乗算して出力信号を得ることができる。これにより、音声音響信号を重複直交変換して得られた変換係数を、音像制御パラメータを用いて補正するとともに、最終的な出力として得られる音声音響信号の歪を低減するよう窓関数を用いて補正する。よって、ＭＤＣＴなどの重複直交変換による変換係数に対して位相をずらすなどの音像制御を行って得られた音声音響信号に生ずる歪を低減することができる。

また、本発明の音像制御装置は、前記音像制御手段、前記係数逆変換手段、および前記合成窓重畳手段を出力チャネル数分備え、前記音像制御パラメータ決定手段は、出力チャネルに対応付けて音像制御パラメータを決定し、前記音像制御手段のそれぞれは、前記音像制御パラメータ決定手段により決定された音像制御パラメータに従った補正を行い、前記合成窓重畳手段は、出力チャネル毎に対応して生成された合成窓関数を前記係数逆変換手段により変換された複数の音声音響信号に対して乗算することが好ましい。

この発明によれば、音像制御パラメータを出力チャネル数分生成し、その音像制御パラメータに従って補正を行い、出力チャネル毎に生成された合成窓関数を出力チャネルごとの音声音響信号に対して乗算することができ、複数チャネルを有する装置において、適切な合成窓関数を用いて歪の低減を行うことができる。

また、本発明の音像制御装置は、音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する音像制御パラメータ決定手段と、入力された重複直交変換による変換係数を所定周波数帯域ごとに分割する帯域分割手段と、前記音像制御パラメータに基づいて前記帯域分割手段により分割された各変換係数を補正する音像制御手段と、前記音像制御手段により補正された各変換係数を合成する帯域合成手段と、前記帯域合成手段により合成された変換係数を時間領域の音声音響信号に変換する係数逆変換手段と、前記音像制御情報に基づいて合成窓関数を生成する合成窓制御手段と、前記係数逆変換手段により変換された時間領域の音声音響信号に対し、前記合成窓制御手段により生成された合成窓関数を乗算する合成窓重畳手段とを備えている。

また、本発明の音像制御方法は、音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する音像制御パラメータ決定ステップと、入力された重複直交変換による変換係数を所定周波数帯域ごとに分割する帯域分割ステップと、前記音像制御パラメータに基づいて前記帯域分割ステップにより分割された各変換係数を補正する音像制御ステップと、前記音像制御ステップにより補正された各変換係数を合成する帯域合成ステップと、前記帯域合成ステップにより合成された変換係数を時間領域の音声音響信号に変換する係数逆変換ステップと、前記音像制御情報に基づいて合成窓関数を生成する合成窓制御ステップと、前記係数逆変換ステップにより変換された時間領域の音声音響信号に対し、前記合成窓制御手段により生成された合成窓関数を乗算する合成窓重畳ステップとを備えている。

この発明によれば、音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定し、入力された重複直交変換による変換係数を所定周波数帯域ごとに分割する。そして、音像制御パラメータに基づいて、分割された各変換係数を補正し、補正された各変換係数を再び合成する。合成された変換係数を時間領域の音声音響信号に変換し、変換された時間領域の音声音響信号に対し、音像制御情報に基づいて生成された合成窓関数を乗算する。これにより、ＭＤＣＴなどの重複直交変換による変換係数に対して位相をずらすなどの音像制御を行って得られた音声音響信号に生ずる歪を低減することができる。また、複数の周波数帯域に分割された変換係数に対して適切な音像制御パラメータを決定することができる。

また、本発明の音像制御装置は、前記帯域分割手段により分割されて出力された各音声音響信号を処理する分割数分の音像制御手段を備えるとともに、前記分割数分の音像制御手段、前記帯域合成手段、前記係数逆変換手段、および前記合成窓重畳手段を出力チャネル数分備え、前記音像制御パラメータ決定手段は、前記音像制御手段に個別に対応した音像制御パラメータを決定し、前記音像制御手段のそれぞれは、前記音像制御パラメータ決定手段により決定された音像制御パラメータに従った補正を行い、前記合成窓重畳手段は、出力チャネル毎に対応して生成された合成窓関数を前記係数逆変換手段により変換された複数の音声音響信号に対して乗算することが好ましい。

この発明によれば、音像制御パラメータを音像制御手段の数だけ生成し、その音像制御パラメータに従って補正を行い、出力チャネル毎に生成された合成窓関数を出力チャネルごとの音声音響信号に対して乗算することができ、複数チャネルを有する装置において、適切な合成窓関数を用いて歪の低減を行うことができる。

また、本発明の音像制御装置における音像制御パラメータの位相情報は、チャネル間時間差情報またはチャネル間位相差情報であることが好ましい。

この発明によれば、音像制御パラメータの位相情報はチャネル間時間差情報またはチャネル間位相差情報とすることで、音像制御パラメータを簡略化することができる。通常、ＭＤＣＴを用いて頭部伝達関数により音像制御を行った場合、位相制御が複雑となるため、音声音響信号の歪は大きくなる。よって、位相制御を簡略化することで、最終的な出力として得られる音声音響信号に対する歪を低減することができる。

また、本発明の音像制御装置における前記チャネル間時間差情報または前記チャネル間位相差情報は、付加遅延時間量または付加遅延位相量の絶対値の最大値または総和をより小さくなるように記述されていることが好ましい。

この発明によれば、付加遅延時間量または付加遅延位相量の絶対値の最大値または総和をより小さくなるように記述されていることで、最終的な出力として得られる音声音響信号に対する歪をより効果的に低減することができる。

また、本発明の音像制御装置の合成窓制御手段は、前記音像制御情報に加えて各音像制御手段から出力された信号の振幅情報を用いて、合成窓関数を生成することが好ましい。

この発明によれば、音像制御情報に加えて補正後の変換係数の振幅情報を用いて、合成窓関数を生成することで、振幅の大きい帯域に対する歪を低減することができる。よって、出力値の大きい帯域に対して特に歪を低減するよう作用することになり、聴覚的に聞えやすい帯域に対する歪を低減することができ、聴覚的な改善を実現できる。

また、本発明の音像制御装置における合成窓制御手段は、前記音像制御情報に加えて前記帯域分割手段により分割された各信号の振幅情報を用いて、合成窓関数を生成することが好ましい。

この発明によれば、音像制御情報に加えて分割された各帯域における信号の振幅情報を用いて、合成窓関数を生成することにより、振幅の大きい帯域に対する歪を低減することができる。よって、出力値の大きい帯域に対して特に歪を低減するよう作用することになり、聴覚的に聞えやすい帯域に対する歪を低減することができ、聴覚的な改善を実現できる。

また、本発明の音像制御装置は、入力されたビット配列に基づいて、振幅情報に準じたパラメータおよび重複直交変換により生成された変換係数を出力する音声音響復号手段を備え、前記合成窓制御手段は、前記音像制御情報に加えて音声音響復号手段より出力された振幅情報に準じたパラメータを用いて、合成窓関数を生成することが好ましい。

この発明によれば、入力されたビット配列に基づいて、振幅情報に準じたパラメータおよび重複直交変換により生成された変換係数を出力するとともに、音像制御情報に加えて出力された振幅情報に準じたパラメータを用いて、合成窓関数を生成するで、振幅の大きい帯域に対する歪を低減することができる。よって、出力値の大きい帯域に対して特に歪を低減するよう作用することになり、聴覚的に聞えやすい帯域に対する歪を低減することができ、聴覚的な改善を実現できる。

また、本発明の音像制御装置における合成窓制御手段は、前記音像制御情報、および各周波数帯域の信号における振幅情報を用いて、合成窓関数を生成するとともに、前記音像制御パラメータ決定手段により決定される音像制御パラメータを決定するための音像制御パラメータ変更情報を生成し、前記音像制御パラメータ決定手段は、前記音像制御情報および前記合成窓制御手段により生成された音像制御パラメータ変更情報に基づいて、音像制御パラメータを変更することが好ましい。

この発明によれば、音像制御情報、および各周波数帯域の信号における振幅情報を用いて、合成窓関数を生成するとともに、決定される音像制御パラメータを決定するための音像制御パラメータ変更情報を生成する。そして、音像制御情報および生成された音像制御パラメータ変更情報に基づいて、音像制御パラメータを変更する。この変更された音像制御パラメータを用いて変換係数を補正する。これにより、合成窓制御による歪抑制の効果をより効果的に得ることができる。

また、本発明の音像制御装置は、前記音像制御手段から出力された変換係数を、前記音像制御パラメータ決定手段により変更された音像制御パラメータに基づいて補正する音像再制御手段を備え、前記音像制御パラメータ決定手段は、前記音像制御手段に対して所定の音像制御パラメータを出力し、前記合成窓制御手段により生成された音像制御パラメータ変更情報に基づいて変更された音像制御パラメータを前記音像再制御手段に出力することが好ましい。

この発明によれば、決定された音像制御パラメータを用いて変換係数を補正し、その後、この変換係数の振幅情報を用いて音像制御パラメータ変更情報を生成する。そしてこの音像制御パラメータ変更情報に基づいて音像制御パラメータを変更し、この変更された音像制御パラメータを用いて各変換係数を補正する。これにより、合成窓制御による歪抑制の効果をより効果的に得ることができる。

また、本発明の音像制御装置は、各帯域における音声音響信号を定位させる定位位置を示す識別子であるインデックス情報に基づいて音像制御情報を生成する音像制御情報生成手段を備え、前記音像制御パラメータ決定手段は、前記音像制御情報生成手段により生成された音像制御情報に基づいて音像制御パラメータを決定することが好ましい。

この発明によれば、各帯域における音声音響信号を定位させる定位位置を示す識別子であるインデックス情報に基づいて音像制御情報を生成し、生成した音像制御情報に基づいて音像制御パラメータを決定することができ、ＢＣＣ（Binaural Cue Coding：両耳音キュー符号化）などのインデックス情報に基づいて音像制御を行う技術に対しても、本発明を適用することができ、音像制御における演算量を抑えつつ歪を低減することができる。

また、本発明の音像制御装置の合成窓制御手段は、時間折り返し歪を低減するよう、両端部分のうち少なくとも一方の値が小さく設定された合成窓関数を生成することが好ましい。

この発明によれば、時間折り返し歪を低減することができる合成窓関数を用いた乗算処理を行うことができ、より効果的に歪を低減することができる。

この発明によれば、ＭＤＣＴなどの重複直交変換による変換係数に対して位相をずらすなどの音像制御を行って得られた音声音響信号に生ずる歪を低減することができる。

本発明は、一実施形態のために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

まず、第１の実施形態に係る音像制御装置１の構成について説明する。図１は、第１の実施形態に係る音像制御装置１の構成を示すブロック図である。

第１の実施形態に係る音像制御装置１は、入力された音像制御情報から音像制御パラメータを決定する音像制御パラメータ決定部１１、音像制御パラメータ決定部１１により決定された音像制御パラメータにより、入力された音声音響信号の変換係数を補正する音像制御部１２、音像制御部１２により補正された変換係数を所定の変換法により時間領域の音声音響信号に変換する係数逆変換部１３、入力された音像制御情報に従って合成窓関数を生成する合成窓制御部１４、係数逆変換部１３により逆変換された時間領域の音声音響信号に対し、合成窓制御部１４により生成された合成窓関数を乗算する合成窓重畳部１５を含んで構成されている。さらに各構成について詳細に説明する。

音像制御パラメータ決定部１１は、入力された音像制御情報に基づいて音像制御パラメータを決定する部分である。ただし、音像制御情報とは、対象となる音声音響信号をどこに定位させるかを示す情報であり、距離および方位を示す情報である。なお、その情報の形態は問わない。また、距離に関しての情報は省略することが出来る。この音像制御情報は、ＣＤやＤＶＤなどの記録媒体に記録する際や、通信システムにおいて送信する際に予め設定した情報でもよいし、再生装置においてユーザが任意に設定するものでもよく、その具体的な生成方法は問わない。

また、音像制御パラメータ決定部１１は、音像制御情報の指定する位置に定位させるための音像制御パラメータを決定する。ここで、音像制御パラメータ決定部１１は、音像制御パラメータを複数保持し、音像制御情報により指定される指定位置に応じて選択してもよいし、当該指定位置に基づいて演算により音像制御パラメータを算出するようにしてもよい。ここで、音像制御パラメータとは、頭部伝達関数の周波数スペクトルを表現する変換係数や、チャネル間でのスペクトル強度差、位相差または時間差などの簡略化したパラメータが考えられるが、その形態は問わない。また、この変換係数は、振幅情報または位相情報のうち少なくとも一方を含むパラメータであってもよい。

つぎに、入力された変換係数が、式（３）のＭＤＣＴによる変換係数XMDCT(k)であり、音像制御情報に指定された定位位置を表現する頭部伝達インパルス応答がh(n)であったときの音像制御パラメータＨ(k)の一例を式（４）または式（５）に示す。

さらに、位相情報について、両耳間の位相差情報を用いることで、

として表すことも考えられる。ここで、w(n)はＭＤＣＴの分析窓関数、x(n)は音声音響信号、Mはフレーム長、Δf(k)は両耳間位相差である。上記の例では、ヘッドフォンを利用した、左右両耳への立体音再生を想定しているが、複数個のスピーカを利用した立体音再生では、h(n)は立体感を得るためのＦＩＲフィルタ係数、Δf(k)はチャネル間の位相差として考えることができる。また、音像制御パラメータは振幅特性または位相特性の少なくとも一方を表現したものであればよく、当然ながらこれに限ったものではない。

音像制御部１２は、入力された変換係数を、上述の音像制御パラメータを用いて補正する。具体的には、位相をずらすなどの補正を行うことにより、音声音響信号の定位させる位置を制御するものである。ここで、入力される変換係数は、音声音響信号を第一の変換法により変換した変換係数のうち、全帯域の変換係数でもよいし、一部の帯域の変換係数でもよい。ただし、一部の帯域の変換係数である場合、出力される音声音響信号は、当然に変換係数の周波数帯域に該当する成分のみからなる信号となる。音像制御パラメータが式（４）に示すような伝達関数であった場合、具体的には、入力された式（３）のＭＤＣＴによる変換係数であるＭＤＣＴ係数に対して乗算処理を行うことにより実現される。音像制御パラメータの表現によっては、加算や減算により補正することも考えられる。

係数逆変換部１３は、音像制御部１２により補正された変換係数を時間領域の音声音響信号に変換する。ここで、上述の例にある補正されたＭＤＣＴ係数を時間領域に変換する変換法としては、以下の式（６）に示されるＭＣＬＴ（Modulated Complex Lapped Transform：変調複素重複変換）を利用して、時間領域に変換することが考えられる。

合成窓制御部１４は、入力された音像制御情報に従って合成窓関数を生成する。合成窓制御部１４は、合成窓関数を複数保持しておき、音像制御情報による指定位置に応じて一の合成窓関数を選択してもよいし、当該指定位置に基づいて演算により一の合成窓関数を算出するようにしてもよい。例として、式（５）に示されるように音像制御パラメータの位相情報がチャネル間位相差であり、かつ線形位相であった場合、ＭＤＣＴの再構成性を満たすように、窓関数に対し位相差に対応する時間シフトを適用することが考えられる。

換言すれば、音像制御のためにあるチャネルの音声音響信号を＋δサンプル遅延させる場合には、合成窓関数についても位相操作により＋δサンプル遅延させる。ただし、δは整数である必要はない。また、周波数領域での乗算による畳み込み演算により、窓関数における端部に歪が生じる場合がある。つまり、いわゆる時間折り返し歪が発生する場合があるが、この時間折り返し歪を低減するため、窓関数の両端のうち少なくとも一方の値を抑制するなどの工夫も考えられる。合成窓制御の方法については、これに限定されない。

また、合成窓制御部１４は、音像制御情報に従った合成窓関数を生成することに限定されるものではなく、音像制御パラメータにしたがって合成窓関数を生成するようにしてもよい。その場合には、音像制御パラメータ決定部１１から音像制御パラメータが合成窓制御部１４に入力される必要がある。

合成窓重畳部１５は、係数逆変換部１３から出力された時間領域の音声音響信号に対し、合成窓制御部１４から出力された合成窓関数を乗算する。ＭＤＣＴのようなＬＯＴでは窓長の一部をオーバラップさせていくことで、最終的な音声音響信号を得るため、合成窓重畳部１５の出力信号をオーバラップ加算していく必要がある。なお、オーバラップ加算の具体的方法は問わない。

本実施形態では、１チャネルの音像制御装置１について記述したが、実際の音像制御装置は立体感を得るために複数の出力が必要となる。ここで、複数チャネルのうち、少なくとも１つが本実施形態の音像制御装置１を含んでいるものとする。つまり、例えばヘッドフォン再生をする場合、左右の耳に提示するうち、左または右の復号にのみ本実施形態の音像制御装置１を使用しても、音像制御の効果を得ることができる。

つぎに、このように構成された音像制御装置１の動作について説明する。図２は、音像制御装置１の動作を示すフローチャートである。まず、音像制御情報および変換係数が、入力端子（図示せず）を介して入力される（Ｓ１０１）。音像制御情報は音像制御パラメータ決定部１１に入力され、音像制御パラメータ決定部１１により音像制御パラメータが決定される（Ｓ１０２）。また、音像制御情報は、合成窓制御部１４に入力され、合成窓制御部１４により一の合成窓関数が決定される（Ｓ１０３）。

また、入力端子から入力された変換係数は、音像制御部１２に入力され、音像制御が行われる。ここでは、音像制御パラメータに基づいた変換係数の補正が行われる。例えば、音像制御パラメータが位相をずらすようなパラメータである場合には、位相をずらす補正が行われる（Ｓ１０４）。

音像制御が行われた変換係数は、係数逆変換部１３により逆変換され、周波数領域の変換係数から時間領域における音声音響信号に変換される（Ｓ１０５）。そして、この音声音響信号は、合成窓重畳部１５により合成窓制御部１４で決定された合成窓関数と重畳される（Ｓ１０６）。合成窓重畳部１５により重畳された音声音響信号は、出力端子（図示せず）から出力される（Ｓ１０７）。

このように処理されることにより、音像制御パラメータにより補正された変換係数が逆変換され、適切な合成窓関数と重畳することにより、歪を低減することができる。よって、ＭＤＣＴによる変換処理を行った場合でも、ＤＦＴを用いた処理を行うことなく、演算効率のよい処理を行うことができる。

続いて、第２の実施形態に係る音像制御装置２について説明する。図３は、第２の実施形態に係る音像制御装置２の構成を示すブロック図である。この音像制御装置２は、音像制御装置１に、変換係数を周波数帯域に分割する帯域分割部２２と、複数の音像制御部２３ａ〜２３ｘ、および分割された変換係数を合成する帯域合成部２４を加えた構成である。以下、各構成要素について説明する。

音像制御パラメータ決定部２１は、入力された音像制御情報に基づいて音像制御パラメータを決定する部分である。ここで、音像制御パラメータは帯域ごとに異なった値・表現であってもよい。

帯域分割部２２は、入力された変換係数を任意の周波数帯域ごとに分割する部分である。ここで、分割する帯域幅は、一様であってもよいし、人間の聴覚特性を反映した臨界帯域に沿った非一様なものでもよく任意である。

音像制御部２３ａ〜２３ｘは、帯域分割部２２により分割された各変換係数を、音像制御パラメータ決定部２１により決定された音像制御パラメータを用いてそれぞれ補正する。ここで、音の定位感に重要でない帯域、例えば位相差を判別できない程度の所定の帯域より高い帯域に関しては、音像制御処理を省略することで、演算量を削減することも可能である。これは人間の聴覚は所定の帯域より高い帯域についてその位相差を判別できないためであり、その場合には、省略しても音質上何ら問題はないためである。本実施形態では、その帯域に該当する音像制御部２３ｉ（ｉは任意の音像制御部２３を示す）を機能させないようにすることにより、演算量の削減を可能とする。

帯域合成部２４は、音像制御部２３ａ〜２３ｘより出力された各変換係数を全帯域にわたって合成する。

係数逆変換部２５は、帯域合成部２４により合成された変換係数を時間領域の音声音響信号に変換する。

合成窓制御部２６は、入力された音像制御情報に従って一の合成窓関数を生成する。ここで、帯域によって音像制御情報が異なる場合、任意の一の帯域の音像制御情報を用いて合成窓制御を行ってもよいし、複数の音像制御情報を用いて合成窓制御を行ってもよい。複数の音像制御情報を用いる方法として、任意の周波数帯域のうち、最も広い帯域を占める音像の音像制御情報を採用する方法や、複数の音像制御情報の平均値や加重平均値などの中間値を採用する方法が考えられる。例えば、１０個に分割した周波数帯域のうち、８個の帯域は＋６０度方向、のこり２個の帯域は＋１０度方向に定位させる場合、前者の方法では、音像制御情報として＋６０度方向に定位させることを示す情報を、後者の方法では、音像制御情報として、＋５０度方向に定位させることを示す情報を用いて合成窓制御を行う。この合成窓関数の具体的な生成方法は、第1の実施形態における合成窓制御部１４と同じである。

合成窓重畳部２７は、係数逆変換部２５により変換された時間領域の音声音響信号に対し、合成窓制御部により生成された合成窓関数を乗算し、出力信号を得る。そして、出力端子（図示せず）を介して出力信号を出力することになる。

つぎに、このように構成された音像制御装置２の動作について説明する。図４は、音像制御装置２の動作を示すフローチャートである。まず、音像制御情報および変換係数が、入力端子（図示せず）を介して入力される（Ｓ２０１）。音像制御情報は音像制御パラメータ決定部２１に入力され、音像制御パラメータ決定部２１により音像制御パラメータが決定される（Ｓ２０２）。また、音像制御情報は、合成窓制御部２６に入力され、合成窓制御部２６により一の合成窓関数が決定される（Ｓ２０３）。

また、入力端子から入力された変換係数は、帯域分割部２２により所定帯域毎に分割される（Ｓ２０４）。そして、分割された各帯域の変換係数は、各音像制御部２３ａ〜２３ｘに入力され、音像制御が行われる。ここでは、音像制御パラメータ決定部２１により複数の音像制御パラメータが帯域毎に決定され、それぞれ帯域毎に定められた音像制御部２３ａ〜２３ｘに入力される。各音像制御部２３ａ〜２３ｘにおいては、それぞれ定められた音像制御パラメータに基づいた変換係数の補正が行われる。例えば、音像制御部２３ａにおいては音像制御パラメータを、時間サンプルをδずらすようなパラメータとし、これとは別の音像制御部２３ｂにおいては時間サンプルを２δずらすようなパラメータに設定し、それぞれ位相をずらす補正が行われる（Ｓ２０５）。

音像制御部２３ａ〜２３ｘにおいて音像制御が行われ、帯域合成部２４により合成される（Ｓ２０６）。そして、合成された変換係数は、係数逆変換部２５により逆変換され、周波数領域の変換係数から時間領域における音声音響信号に変換される（Ｓ２０７）。そして、この音声音響信号は、合成窓重畳部２７により合成窓制御部２６で決定された合成窓関数と重畳される（Ｓ２０８）。合成窓重畳部２７により重畳された音声音響信号は、出力端子（図示せず）から出力される（Ｓ２０９）。

このように処理されることにより、各帯域における音像制御パラメータにより変換係数が補正され、この変換された変換係数が合成されて逆変換され、適切な合成窓関数と重畳することにより、その歪を低減することができる。よって、ＭＤＣＴによる変換処理を行った場合でも、ＤＦＴを用いた処理を行うことなく、演算効率のよい処理を行うことができる。

ところで、第２の実施形態における合成窓制御部２６は、音像制御情報に基づいて合成窓関数を生成しているが、音像制御部２３ａ〜２３ｘから出力される振幅情報を加えて合成窓関数を生成するようにしてもよい。図５は、第２の実施形態の変形例における音像制御装置２ａの構成を示すブロック図である。

図５に示すように合成窓制御部２６ａは、音像制御情報に加えて、各帯域の変換係数の振幅情報に基づき合成窓制御を行うことも可能である。振幅情報の具体的な利用方法としては、例えば、合成窓制御部２６ａは、各音像制御部２３ａ〜２３ｘから出力される振幅情報のうち振幅の絶対値、絶対値平均、自乗値または自乗平均値が一番大きい帯域を検出し、その帯域に付加する遅延時間量と同じ遅延時間量を窓関数に付加することで合成窓関数を生成する。また、帯域の振幅が均衡している場合は、これら主要な帯域に付加する遅延時間量の加重平均値などの中間値を窓関数に付加することも考えられ、振幅情報から窓関数生成を行う方法についてはこれに限定されない。

例えば、この他に合成窓関数を生成する方法として、以下の合成窓制御部２６ａが考えられる。すなわち、合成窓制御部２６ａは、各帯域の振幅情報と帯域幅とから、各音源の占める割合を算出し、全体または任意の周波数帯域のうち、最も割合の大きい音源を検出する。そして、その音源に付加する遅延時間量と同じ遅延時間量を窓関数に付加する。また、音源のパワーが均衡している場合は、これら主要な音源に付加する遅延時間量の加重平均値などの中間値を窓関数に付加することも考えられる。

以上の振幅情報の利用例について、図１５を用いて説明する。図１５は、帯域分割した音声音響信号の変換係数を模式的に示したものである。図１５に示されているように、各帯域に割り振られている符号ＡおよびＢは、各帯域の音像制御情報（音声音響信号を定位させる位置を示す位置情報）である。振幅の自乗値が最も大きい帯域を検出する方法では、合成窓制御部２６ａは、最も大きい帯域をもつＡを選択する。一方、全体に対して占める割合の最も高い音源を検出する方法では、合成窓制御部２６ａは、Ａで示される面積より広いＢを検出する。

また、任意の閾値を決めて、これらの検出方法を切り替えて使用することも可能である。例えば、合成窓制御部２６ａは、面積の差が閾値以下である場合には、振幅の自乗値が最も大きい帯域をもつ音像制御情報（上述の例ではＡ）を検出するようにし、面積の差が所定値より大きければ、全体に対して占める割合が最も高い音像制御情報（上述の例ではＢ）を検出するようにする。

これにより、聴覚的に最も聞こえやすい帯域にかかる歪量を抑えることができ、聴覚的な改善を得ることが可能となる。

また、聴覚的な改善をより得るために、振幅情報を利用する際に、人間の聴覚における感度の周波数依存性を考慮し、周波数に応じて重み付けを行うことや、大きな音の近傍にある小さな音は聞こえにくいというマスキング現象を利用し、聴覚的に重要な周波数帯域の振幅情報のみを用いるといった方法が考えられる。

本実施形態では、音像制御部２３ａ〜２３ｘから出力される変換係数を合成窓制御部２６ａへ入力しているが、図１６に示すとおり、音像制御部２３ａ〜２３ｘへの入力前の各変換係数、すなわち帯域分割部２２により各帯域に分割された複数の変換係数を合成窓制御部２６ａの入力とすることも当然に可能である。

また、図１７に示すとおり、音像制御装置２ｃが音声音響復号機能である音声音響復号部２０を備えている場合、この音声音響復号部２０は、入力された入力信号である入力ビット配列を復号し、変換係数を抽出するとともに、振幅情報若しくは当該振幅情報を示すパラメータを抽出することができる。そして、音声音響復号部２０は、振幅情報若しくは当該振幅情報を示すパラメータを合成窓制御部２６に出力するとともに、変換係数を帯域分割部２２に出力する。

合成窓制御部２６は、入力された振幅情報若しくは当該振幅情報に準じたパラメータに基づいて合成窓関数を生成する。また、帯域分割部２２は、音声音響復号部２０から出力された変換係数を所定周波数帯域ごとに分割する。

ここで、振幅情報に準じたパラメータとは、周波数帯域の利得情報、変換係数の逆量子化に用いる量子化ステップのサイズまたはビット割当て量が考えられるが、これに限らず周波数帯域ごとの音の大きさや聴覚的な重要度を示すパラメータであればよい。また、これらの情報を利用する際においても、聴覚の感度重みやマスキング効果を利用できる。

この音像制御装置２ａ〜２ｃの動作は、音像制御装置２とほぼ同じであるが、図４におけるＳ２０３で、合成窓関数を生成する際に、音像制御情報に加えて、各帯域における振幅情報、例えば各音像制御部２３ａ〜２３ｘから出力された振幅情報に基づいて合成窓関数は生成されることになる。

つぎに、第３の実施形態に係る音像制御装置３について説明する。図６は、音像制御装置１を複数チャネル分備えた音像制御装置３の構成を示すブロック図である。

この音像制御装置３は、音像制御パラメータ決定部３１、合成窓制御部３２、チャネル毎に備えられた複数の音像制御部３３ａ〜３３ｘ、チャネル毎に備えられた複数の係数逆変換部３４ａ〜３４ｘ、およびチャネル毎に備えられた複数の合成窓重畳部３５ａ〜３５ｘを含んで構成されている。

音像制御パラメータ決定部３１は、音像制御情報に基づいて、音像制御パラメータを決定する。ここで、音像制御パラメータの位相情報はチャネル間時間差情報またはチャネル間位相差情報である。音像制御パラメータ決定部３１は、各チャネルへの付加遅延時間量または付加遅延位相量を調整して音像制御パラメータを決定する。配分の方法としては、例えば付加遅延量の絶対値の総和を最小とする方法や、絶対値の最大値を最小とする方法が考えられる。

付加遅延量の絶対値の総和を最小とする場合、例えば音像制御部３３ａ〜３３ｃからなる３チャネルの音像制御部を有する音像制御装置３において、１０、８、６サンプルの遅延を付加する場合、＋２、０、−２サンプルの遅延として配分する。また、絶対値の最大値を最小とする場合、例えば音像制御部３３ａ〜３３ｂからなる２チャネルの音像制御部を有する音像制御装置３において、４、０サンプルの遅延を付加する場合、＋２、−２サンプルの遅延として配分する。付加遅延量をより小さい値に変換することにより、音像制御による歪をより抑えることが可能となる。一般に、遅延量の絶対値が大きい場合、音声音響信号の歪は大きくなる傾向にあるが、上述の通り絶対値の総和をより小さくなるようにまたは絶対値の最大値をより小さくように、音像制御パラメータを調整することで、音声音響信号における歪をより小さくすることができる。

合成窓制御部３２は、合成窓制御部１４と同様に入力された音像制御情報に従って合成窓関数を生成する。さらに加えて、合成窓制御部３２は、音像制御パラメータ決定部３１により決定され、上述の通り調整された音像制御パラメータに基づいて各チャネルへの付加遅延時間量または付加遅延位相量に対応した合成窓関数をチャネル毎に生成する。

音像制御部３３ａ〜３３ｘは、入力された変換係数に対し、音像制御パラメータ決定部３１により決定された各音像制御パラメータを用いて補正を行う。

係数逆変換部３４ａ〜３４ｘは、音像制御部３３ａ〜３３ｘにより補正された各変換係数を、第二の変換法により時間領域の音声音響信号に変換する。

合成窓重畳部３５ａ〜３５ｘは、係数逆変換部３４ａ〜３４ｘにより逆変換された各チャネルの音声音響信号を、合成窓制御部３２によって生成された各合成窓関数と乗算することにより重畳し、重畳した音声音響信号を、出力端子（図示せず）を介して各チャネルの出力信号として出力する。

つぎにこのように構成された音像制御装置３の動作について説明する。図７は、音像制御装置３の動作を示すフローチャートである。

まず、音像制御情報および変換係数が、入力端子（図示せず）を介して入力される（Ｓ３０１）。音像制御情報は音像制御パラメータ決定部３１に入力され、音像制御パラメータ決定部３１により各音像制御部３３ａ〜３３ｘに対する音像制御パラメータが決定される（Ｓ３０２）。また、音像制御情報は、合成窓制御部３２に入力され、合成窓制御部３２により、各音像制御部３３ａ〜３３ｘに対応した各合成窓重畳部３５ａ〜３５ｘに入力させるための複数の合成窓関数が生成される（Ｓ３０３）。

また、入力端子から入力された変換係数は、音像制御部３３ａ〜３３ｘに入力され、音像制御が行われる。ここでは、音像制御パラメータに基づいた変換係数の補正が行われる。例えば、音像制御パラメータが位相をずらすようなパラメータである場合には、位相をずらす補正が行われる（Ｓ３０４）。

各音像制御部３３ａ〜３３ｘにおいて音像制御が行われた変換係数は、各係数逆変換部３４ａ〜３４ｘにおいて逆変換され、周波数領域の変換係数から時間領域における音声音響信号にそれぞれ変換される（Ｓ３０５）。そして、変換された複数の音声音響信号は、合成窓重畳部１５により合成窓制御部１４で決定された、上述音像制御部３３ａ〜３３ｘに対応する合成窓関数と重畳される（Ｓ３０６）。合成窓重畳部１５により重畳された各音声音響信号は、それぞれの出力端子（図示せず）から出力される（Ｓ３０７）。

これにより、チャネル毎に音像制御パラメータを設定することができ、チャネル毎に定められたより適切な音像パラメータを用いて音像制御を行うことができる。よって、音像の定位感を向上させることができる。また、チャネル時間差情報またはチャネル間位相差情報をより小さい値または最小値にすることで、その歪をより低減することができる。

つぎに、第４の実施形態に係る音像制御装置４について説明する。図８は、音像制御装置２を上述の音像制御装置３と同じく複数チャネル分備えた音像制御装置４の構成を示すブロック図である。

音像制御装置４は、図３に示した音像制御装置２と同じく、入力された変換係数を複数チャネルで音像制御し再生するものである。音像制御装置４は、帯域分割部４１、音像制御部４２Ａａ〜４２Ｘｘ、音像制御パラメータ決定部４３、合成窓制御部４４、帯域合成部４５ａ〜４５ｘ、係数逆変換部４６ａ〜４６ｘ、および合成窓重畳部４７ａ〜４７ｘを含んで構成されている。本実施形態においては、音像制御装置４は、帯域分割部４１および帯域合成部４２Ａａ〜４２Ｘｘを用いて、チャネルごとに音声パラメータによる補正を行うとともに、各チャネルにおける周波数帯域ごとに音像制御パラメータを分割して制御する。以下、各構成について説明する。

音像制御パラメータ決定部４３は、前記音像制御装置３における音像制御パラメータ決定部３１と同じく、音像制御情報に従って音像制御パラメータを生成するとともに、各チャネルへの付加遅延時間量または付加遅延位相量を調整した音像制御パラメータを決定することができる。

合成窓制御部４４は、音像制御装置３における合成窓制御部３２と同じく、音像制御パラメータ決定部４３により調整された各チャネルへの付加遅延時間量または付加遅延位相量に対応した合成窓関数を生成することができる。

そのほか、帯域分割部４１、音像制御部４２Ａａ〜４２Ｘｘ、帯域合成部４５ａ〜４５ｘ、係数逆変換部４６ａ〜４６ｘ、および合成窓重畳部４７ａ〜４７ｘは、図３における帯域分割部２２、音像制御部２３ａ〜２３ｘ、帯域合成部２４、係数逆変換部２５、および合成窓重畳部２７と同じ動作を行うよう構成されている。

つぎに、この音像制御装置４の動作について説明する。図９は、音像制御装置４の動作を示すフローチャートである。

まず、音像制御情報および変換係数が、入力端子（図示せず）を介して入力される（Ｓ４０１）。音像制御情報は音像制御パラメータ決定部４３に入力され、音像制御パラメータ決定部４３により、各チャネルおよび各帯域における各音像制御部４２Ａａ〜４２Ｘｘに対する音像制御パラメータが決定される（Ｓ４０２）。また、音像制御情報は、合成窓制御部４４に入力され、合成窓制御部４４により、各チャネルに対応した各合成窓重畳部４７ａ〜４７ｘに入力させるための複数の合成窓関数が決定される（Ｓ４０３）。

また、入力端子から入力された変換係数は、帯域分割部４１により所定の帯域に分割され（Ｓ４０４）、分割された変換係数は各帯域に対応した音像制御部４２Ｉａ〜４２Ｉｘ（Ｉは各チャネルに対応した音像制御部を示す）に入力され、音像制御が行われる（Ｓ４０５）。この音像制御は、各チャネルにおける音像制御部でも同様に行われる。なお、上述したのと同様に、音像制御パラメータに基づいた変換係数の補正が行われる。例えば、音像制御パラメータが位相をずらすようなパラメータである場合には、位相をずらす補正が行われ、チャネルに対応したおよび帯域に対応した音像制御パラメータに従った音像制御が行われる。

各音像制御部４２Ａａ〜４２Ｘｘにおいて音像制御が行われた変換係数は、チャネル毎に合成される（Ｓ４０６）。チャネル毎に合成された変換係数は、各係数逆変換部４６ａ〜４６ｘにおいて逆変換され、周波数領域の変換係数から時間領域における音声音響信号にそれぞれ変換される（Ｓ４０７）。そして、変換された複数の音声音響信号は、合成窓重畳部４７ａ〜４７ｘにより合成窓制御部４４で決定された、各チャネルに対応する合成窓関数と重畳される（Ｓ４０８）。合成窓重畳部４７ａ〜４７ｘにより重畳された各音声音響信号は、それぞれの出力端子（図示せず）から出力される（Ｓ４０９）。

このように処理されることにより、各帯域における音像制御パラメータにより変換係数が補正され、この変換された変換係数が合成されて逆変換され、適切な合成窓関数と重畳することにより、その歪を低減することができる。よって、ＭＤＣＴによる変換処理を行った場合でも、ＤＦＴを用いた処理を行うことなく、演算効率のよい処理を行うことができる。さらに、チャネル毎に音像制御パラメータを設定することができ、チャネル毎に定められたより適切な音像パラメータを用いて音像制御を行うことができる。よって、その歪をより低減することができる。

ところで、第４の実施形態における合成窓制御部４４は、音像制御情報に基づいて合成窓関数を生成しているが、音像制御部４２Ａａ〜４２Ｘｘから出力される振幅情報を加えて合成窓関数を生成するようにしてもよい。図１０は、第４の実施形態の変形例における音像制御装置４ａの構成を示すブロック図である。

図１０に示すように合成窓制御部４４ａは、図５における合成窓制御部２６ａと同様に、音像制御情報に加えて、各帯域の変換係数の振幅情報に基づき合成窓制御を行うことも可能である。

ここで具体的な方法としては、合成窓制御部４４ａは、チャネル毎に区別して振幅情報を受信することが好ましい。合成窓制御部４４ａでは、このようにチャネル毎に区別して振幅情報を受信すると、チャネル毎に各帯域における振幅情報のうち振幅の絶対値平均が大きい帯域を検出し、その帯域に付加する遅延時間量と同じかまたは近い遅延時間量をチャネル毎に生成された窓関数に付加することができる。よって、チャネル毎に適切な窓関数を生成することができる。

これにより、聴覚的に最も聞こえやすい帯域にかかる歪量を抑えることができ、聴覚的な改善を得ることが可能となる。本実施形態では、音像制御部４２Ａａ〜４２Ｘｘから出力される変換係数を合成窓制御部４４ａへ入力しているが、音像制御部４２Ａａ〜４２Ｘｘへの入力前の各変換係数、すなわち帯域分割部２２により各帯域に分割された複数の変換係数を合成窓制御部２６ａの入力とすることも当然に可能である。

つぎに、図１１に示す第５の実施形態に係る音像制御装置５について説明する。この音像制御装置５は、下記文献１に記載されているＢＣＣ（Binaural Cue Coding：両耳音キュー符号化） Type Ｉにおいて符号化された立体音響である入力信号を処理するものである。

本実施形態の音像制御装置５の説明に先立って、下記文献１に記載されている両耳音キュー符号化を行う装置について説明する。

文献１に記載されているＢＣＣは複数チャネルの音声音響信号を圧縮し、復号時に立体音として再生するための効率的な符号化方法である。
文献１ “Binaural Cue Coding : A novel andefficient representation ofspatial audio,” C. Faller and F. Baumgarte, Proc.ICASSP 2002, 2002.

図１２は、ＢＣＣ Type Iの符号化装置６の構成を示すブロック図である。この符号化装置６では、時間−周波数変換部６１ａ〜６１ｘが各チャネルの入力信号（１）〜（ｘ）をＤＦＴ係数などの変換係数に変換し、帯域分割部６２ａ〜６２ｘはそれぞれの変換係数をｙ個の周波数帯域に分割する。最大強度チャネル決定部６３ａ〜６３ｙにおいては、ｙ個に分割された周波数帯域の変換係数を各チャネルから入力し、同じ帯域の変換係数において最大強度の変換係数を有するチャネルを決定する。すなわち、帯域ごとに各チャネルの強度を比較し、最も強度の大きいチャネル（インデックス情報）を決定する。補助情報符号化部６４は、各周波数帯域において最大のチャネルを示すチャネル情報を入力し、補助情報として符号化する。この最大強度のチャネル（インデックス情報）は、各帯域における音声音響信号を定位させる定位位置を示す識別子としての役割を有するものである。

また、音声音響信号合成部６５は、入力信号（１）〜（ｘ）を入力し、合成する。そして、音声音響符号化部６６は、所定の符号化方法で符号化してモノラル信号を得て、多重化部６７は、符号化された符号化音声音響信号と符号化補助情報とを多重化し、出力信号として多重化した多重化情報を出力する。なお、上述の補助情報および音声音響信号はハフマン符号化などで符号化されることが考えられる。

このように構成された符号化装置６は、主にネットワーク上に配置されているサーバに設置されており、通話されている音声情報を集約して、通信相手に送信することで、ネットワーク上の負荷を低減しようとするものである。

このような符号化装置６から出力された多重化信号をＢＣＣ Type Ｉ復号装置として適用した音像制御装置５が入力し、再生する。以下、図１１の音像制御装置５の構成について説明する。この音像制御装置５は、逆多重化部５００、復号部５０１、復号部５０２、音像制御情報変換部５０、音像制御パラメータ決定部５１、帯域分割部５２、音像制御部５３Ａａ〜５３Ｂｘ、帯域合成部５４ａ〜５４ｂ、係数逆変換部５５ａ〜５５ｂ、合成窓制御部５６、および合成窓重畳部５７ａ〜５７ｂを含んで構成されている。

逆多重化部５００は、ＢＣＣ Type Ｉ符号化装置６により多重化された多重化信号を入力し、符号化補助情報と符号化音声音響信号とに分離する部分である。なお、入力された多重化信号は、複数チャネルの音声音響信号をモノラル信号にミックスダウンし、ＭＤＣＴなどの変換をかけた変換係数であるが、その具体的な生成方法については、上述のＢＣＣ Type Ｉ符号化装置６を用いた生成方法に限定するものではない

復号部５０１は、逆多重化部５００において逆多重化されて得られた符号化音声音響信号を復号する部分である。

復号部５０２は、逆多重化部５００において逆多重化されて得られた符号化補助情報を復号する部分である。

音像制御情報変換部５０は、復号部５０２により復号されて得られた補助情報を音像制御情報に変換する部分である。この音像制御情報変換部５０には、逐次ユーザ設定により、またプリセットにより補助情報（インデックス情報）と音像制御情報とが対応付けて記憶されており、音像制御情報変換部５０は、入力された補助情報に基づいて、その補助情報に対応する音像制御情報に変換する。例えば、音像制御情報変換部５０において、入力信号（１）の信号を定位させる位置として「２時の方向」と設定されていた場合、入力された補助情報は２時の方向の位置で定位させるような音像制御情報に変換される。なお、音像制御情報変換部５０は、図１２に示されるＢＣＣ符号化装置６において生成された補助情報に限るものではなく、少なくとも各帯域における音声音響信号を定位させる定位位置を示す識別子としての役割を有するインデックス情報であればよい。

音像制御パラメータ決定部５１は、音像制御情報変換部５０により変換された音像制御情報に基づいて、各帯域の定位位置に対応した音像制御パラメータを決定する。

帯域分割部５２は、逆多重化部５００により分離された音声音響信号の変換係数を入力し、任意の周波数帯域ごとに分割する。帯域分割部５２は、分割した変換係数を左チャネルと右チャネルとにそれぞれ出力する。

音像制御部５３Ａａ〜５３Ｂｘは、音像制御パラメータ決定部５１により決定された音像制御パラメータを用いてそれぞれ補正する。

帯域合成部５４ａ〜５４ｂは、音像制御部５３Ａａ〜５３Ｂｘにおいて音像制御された変換係数を、それぞれチャネル毎に、すなわち音像制御部５３Ａａ〜５３Ａｘ、音像制御部５３Ｂａ〜５３Ｂｘごとに合成する。

係数逆変換部５５ａ〜５５ｂは、それぞれの帯域合成部５４ａ〜５４ｂにおいて合成された変換係数を時間領域の音声音響信号に変換する。

合成窓制御部５６は、音像制御情報変換部５０により変換された音像制御情報、および音像制御部５３Ａａ〜５３Ｂｘから出力される変換係数の振幅情報に基づきそれぞれのチャネルに対応した合成窓関数を生成し、合成窓制御を行う。なお、音像制御部５３Ａａ〜５３Ａｘおよび音像制御部５３Ｂａ〜５３Ｂｘの振幅情報を区別して入力し、それぞれのチャネルにあった合成窓関数を生成するようにすることが好ましい。また、合成窓制御部５６における具体的な合成窓関数の生成方法は、図１０における合成窓制御部４４ａと同等の方法を用いる。

合成窓重畳部５７ａおよび５７ｂは、係数逆変換部５５ａおよび５５ｂより出力された時間領域の音声音響信号に対し、合成窓制御部より出力された各合成窓関数をそれぞれ乗算し、最終的に左チャネルおよび右チャネルの出力信号を得て出力する。

つぎに、この音像制御装置５の動作について説明する。図１３は、音像制御装置５の動作を示すフローチャートである。逆多重化部５００において、例えばＢＣＣ type Ｉにより符号化され、多重化された多重化信号が入力される（Ｓ５０１）。逆多重化部５００により、多重化信号は、符号化補助情報と符号化音声音響信号とに分離され、さらにそれぞれの復号部５０１、５０２により復号され補助情報および音声音響信号とが得られる（Ｓ５０２）。

分離された補助情報は、音像制御情報変換部５０により音像制御情報に変換され、変換された音像制御情報は音像制御パラメータ決定部５１に入力され、音像制御パラメータ決定部５１においては音像制御情報に基づいた音像制御パラメータが読み出され、各チャネルおよび各帯域の音像制御パラメータが決定される（Ｓ５０３）。

また、入力端子から入力され分離された変換係数は、帯域分割部５２により所定の帯域に分割され（Ｓ５０５）、分割された変換係数は各帯域に対応した音像制御部５３Ａａ〜５３Ａｘおよび音像制御部５３Ｂａ〜５３Ｂｘにチャネル毎に入力され、音像制御が行われる（Ｓ５０６）。なお、上述したのと同様に、音像制御パラメータに基づいた変換係数の補正が行われる。例えば、音像制御パラメータが位相をずらすようなパラメータである場合には、位相をずらす補正が行われ、チャネルに対応したおよび帯域に対応した音像制御パラメータにしたがった音像制御が行われる。

各音像制御部５３Ａａ〜５３Ｂｘにおいて音像制御が行われた変換係数は、チャネル毎に合成される（Ｓ５０７）。チャネル毎に合成された変換係数は、各係数逆変換部５５ａ〜５５ｂにおいて逆変換され、周波数領域の変換係数から時間領域における音声音響信号にそれぞれ変換される（Ｓ５０８）。そして、変換された複数の音声音響信号は、合成窓重畳部５７ａ〜５７ｂにより合成窓制御部５６で決定された、各チャネルに対応する合成窓関数と重畳される（Ｓ５０９）。合成窓重畳部５７ａ〜５７ｘにより重畳された各音声音響信号は、それぞれの左右の出力端子（図示せず）から出力される（Ｓ５１０）。

このように、ＢＣＣ Type Ｉの符号化装置６で符号化された多重化信号などのように、音像制御情報にかえて各帯域における最大強度のチャネルを示すインデックス情報を補助情報として入力し、その補助情報に従った音像制御パラメータに基づいた音像制御および合成窓制御を行うことができる。

一方、ＢＣＣ Type Iの符号化装置６に対してＢＣＣ Type II符号化装置がある。このＢＣＣ Type II符号化装置は、5．1ｃｈサラウンドシステムなど複数チャネル音源データを効率的に符号化し、復号装置では復号時に再生音場を再構成する符号化法である。ＢＣＣ Type II符号化装置およびそれに対応する復号装置は入力チャネル間の強度差、位相差情報およびチャネル間の相関情報を利用するが、基本的な考え方はＢＣＣ Type Iの符号化装置６およびそれに対応する復号装置と同じである。

つぎに、第６の実施形態に係る音像制御装置７ａについて説明する。図１８は、音像制御装置２ａ（図５参照）に音像再制御部２８ａ〜２８ｘを加えた構成である音像制御装置７ａの構成を示すブロック図である。

この音像制御装置７ａは、音像制御装置２ａと比較して、音像制御パラメータ決定部２１ａ、合成窓制御部２６ｂ、および音像再制御部２８ａ〜２８ｘを備えている点で、相違している。以下、これら相違点を中心に各構成について説明する。

合成窓制御部２６ｂは、音像制御情報および音像制御部２３ａ〜２３ｘから出力される振幅情報に基づき、歪を抑制する合成窓関数を生成し、出力する部分である。また、合成窓制御部２６ｂは、各帯域における振幅情報に基づいて合成窓制御情報を生成し、音像制御パラメータ決定部２１ａに出力する部分である。すなわち、合成窓制御部２６ｂは、音像制御情報で定められている各位置情報で占める、全帯域における割合をそれぞれ算出し、最も多く占める位置情報を把握し、これを合成窓制御情報（音像制御パラメータ変更情報）とする。なお、この合成窓制御情報は、合成窓重畳による歪抑制の効果をより得るために生成された情報であり、音声音響信号を定位させる位置を示す位置情報（すなわち音像制御情報に相当）若しくは位置情報に基づいて生成されたパラメータ情報であってもよい。

音像制御パラメータ決定部２１ａは、外部から入力された音像制御情報に基づいて音像制御パラメータを生成するとともに、合成窓制御部２６ｂから出力された合成窓制御情報に基づいて、先に生成された音像制御パラメータを変更する部分である。すなわち、一旦決定された音像制御パラメータにより音像制御された変換係数に基づいて合成窓制御情報が生成され、この合成窓制御情報に基づいて、所定閾値以上の周波数帯域に対応付けられている音像制御パラメータは変更される。

音像再制御部２８ａ〜２８ｘは、変更された音像制御パラメータを用いて音像制御部２３ａ〜２３ｘから出力された変換係数をそれぞれ補正し、帯域合成部２４に出力する。

他の構成およびその処理については、音像制御装置２ａと同じであるため、その説明を省略する。

つぎに、音像制御パラメータの変更方法について図１９を用いて具体的に説明する。図１９は、ある時間フレーム（変換係数）において、変換係数の電力と音像制御情報（例では定位位置）との関係を示す説明図である。

図１９においては、音声音響信号の定位位置Ａと定められた周波数に対して、音像制御パラメータとして遅延時間量＋１０が与えられ、音声音響信号の定位位置Ｂと定められた周波数に対して、音像制御パラメータとして遅延時間量＋６が与えられている。ただし、この遅延対象となる変換係数は、図１８に示されているように音像制御部２３ａ〜２３ｘにより既に補正されていてもよいし、音像制御部２３ａ〜２３ｘに入力する前の値であってもよい。

図１９で示すように、合成窓制御部２６ｂは、全帯域において、その電力値（図１５で示される面積に相当）の占める割合が大きい定位位置は定位位置Aと把握し、これを音像制御情報として音像制御パラメータ決定部２１ａに出力する。そして、音像制御パラメータ決定部２１ａは、音像制御情報を入力すると、所定閾値以上の周波数に対しては、定位位置Ａに合わせた音像制御パラメータに変更する。例えば、本実施形態においては、約１．５ｋＨｚ以上の周波数帯域では、定位位置Ａの音像制御パラメータに合わせるため、定位位置Ｂの音像制御パラメータ“＋６”を“＋１０”に変更している。

ところで、約１．５ｋＨｚ以上の周波数帯域では遅延時間量は定位感に及ぼす影響が少ないと一般的に考えられており、よって、１．５ｋＨｚ以上の周波数帯域に適用する遅延時間量を変更しても定位感は劣化しないと考えられる。そこで、本実施形態においては、合成窓制御による歪抑制の効果をより得るために、１．５ｋＨｚ以上の周波数帯域に適用する時間遅延量を、合成窓関数に適用する値と同一または近い値に変更することが提案されている。

なお、図１９の例では、音像制御パラメータを変更する周波数帯域を１．５ｋＨｚ以上としているが、これに限定したものではない。また、変更する音像制御パラメータは遅延時間量に限らず、聴覚的な歪を抑制するために歪を多く含む成分を抑制するなどの振幅情報制御をしてもよい。また、音像制御パラメータの変更および再制御については、フレームや帯域によって適用の有無を変更できる。

また、音像制御について、音像制御部２３ａ〜２３ｘでは振幅情報のみを補正し、音像再制御部２８ａ〜２８ｘでは位相情報または遅延位相量もしくは遅延時間量を補正することも可能であり、音像制御部２３ａ〜２３ｘと音像再制御部２８ａ〜２８ｘとにおいて、必ずしも同じパラメータについて二度補正する必要はない。

つぎに、この第6の実施形態の変形例について説明する。図２０は、音像制御装置７ｂの構成を示すブロック図である。図２０に示すとおり、この音像制御装置７ｂは、音像制御パラメータ決定部２１ａ、帯域分割部２２、音像制御部２３ａ〜２３ｘ、帯域合成部２４、係数逆変換部２５、合成窓制御部２６ｂ、および合成窓重畳部２７を含んで構成されている。この音像制御装置７ｂは、図１８における音像制御装置７ａと比較して、音像再制御部２８ａ〜２８ｘがなく、帯域分割部２２により分割された各帯域における振幅情報に基づいて合成窓制御部２６ｂにより合成窓制御情報が生成され、この合成窓制御情報に基づいて変更された音像制御パラメータに基づいて音像制御を行うことができるよう構成されている。

この音像制御装置７ｂにおいては、合成窓制御部２６ｂは帯域分割部２２により分割された各帯域の振幅情報を入力する。合成窓制御部２６ｂは、この振幅情報に基づいて合成窓制御情報を生成し、音像制御パラメータ決定部２１ａに出力する。音像制御パラメータ決定部２１ａは、音像制御情報および合成窓制御情報に基づいて音像制御パラメータを決定する。ここで音像制御パラメータ決定部２１ａは、上述図１９にて説明したとおり、所定周波数を閾値として、音像制御情報に基づいて定められた音像制御パラメータのうち、その所定周波数以上に定められている音像制御パラメータを変更することになる。

そして、各音像制御部２３ａ〜２３ｘは、決定された音像制御パラメータを用いて、各帯域の変換係数を補正する。合成窓制御部２６ｂにおいては任意の周波数帯域に限定して合成窓制御情報を生成することや、聴覚的な重み付けやマスキング効果を利用してもよい。

また、別の変形例として、図２１に示される構成が考えられる。図２１は、音像制御装置７ｃの構成を示すブロック図である。図２１に示すように、この音像制御装置７ｃは、音声音響復号部２０、音像制御パラメータ決定部２１ａ、帯域分割部２２、音像制御部２３ａ〜２３ｘ、帯域合成部２４、係数逆変換部２５、合成窓制御部２６ｂ、および合成窓重畳部２７を含んで構成されている。

この音像制御装置７ｃは、図１８における音像制御装置７ａと比較して、音像再制御部２８ａ〜２８ｘがなく、音声音響復号部２０により抽出された振幅情報に基づいて合成窓制御部２６ｂにより合成窓制御情報が生成され、この合成窓制御情報に基づいて変更された音像制御パラメータに基づいて音像制御を行うことができるよう構成されている。

この音像制御装置７ｃにおいては、音声音響復号部２０は、入力ビット配列から抽出された振幅情報または振幅情報に準じた情報を合成窓制御部２６ｂに出力する。合成窓制御部２６ｂは、この振幅情報または振幅情報に準じた情報に基づいて合成窓制御情報を生成し、音像制御パラメータ決定部２１ａに出力する。音像制御パラメータ決定部２１ａは、音像制御情報および合成窓制御情報に基づいて音像制御パラメータを決定する。ここで音像制御パラメータ決定部２１ａは、上述図１９にて説明したとおり、所定周波数を閾値として、音像制御情報に基づいて定められた音像制御パラメータのうち、その所定周波数以上に定められている音像制御パラメータを変更することになる。

そして、各音像制御部２３ａ〜２３ｘは、決定された音像制御パラメータを用いて、各帯域の変換係数を補正する。合成窓制御部２６ｂにおいては任意の周波数帯域に限定して、合成窓制御情報を生成することや、聴覚的な重み付けやマスキング効果を利用してもよい。

さらに、別の変形例として図２２に示される音像制御装置７ｄが考えられる。この音像制御装置７ｄは、図３に示される音像制御装置２と同じブロック構成をとりつつ、合成窓制御部２６ｃは、音像制御情報に基づいて合成窓制御情報を生成し、これを音像制御パラメータ決定部２１ａにフィードバックさせる点で、音像制御装置２（図３参照）と相違する。この変形例における合成窓制御部２６ｃは、振幅情報を用いることなく周波数帯域ごとの音像制御情報のみから合成窓関数および合成窓制御情報（音像制御パラメータ変更情報）を生成し、これをそれぞれ合成窓重畳部２７および音像制御パラメータ決定部２１ａに出力することも可能である。

例えば、合成窓制御部２６ｃは、周波数帯域ごとに定められている定位させる位置情報を同じにする周波数帯域の数（または帯域幅）が多い位置情報を示す合成窓制御情報を生成し、これを音像制御パラメータ決定部２１に出力する。より具体的には、周波数帯域が所定幅ごとに区切られ、それぞれ定位させる位置情報として、定位位置ＡまたはＢ（例えば、Ａが＋６０度の方向、Ｂが＋１０度の方向）が定められているとする。定位させる位置情報としてＡとする周波数帯域が１０個、Ｂとする周波数帯域が２個とした場合には、合成窓制御情報を位置情報Ａを示す情報とする。

なお、個数（幅）に基づいて一義的に合成窓制御情報を生成することに限らず、各周波数帯域に対して重み付けを行い、その重み付けにより得られた個数に基づいて合成窓制御情報を生成するようにしてもよい。例えば、１ｋＨｚおよびその周辺の帯域は聴覚的に聞こえやすい帯域であるが、１ｋＨｚの周波数帯域から離れるにしたがって聴覚的には徐々に聞こえづらい帯域となる。よって、１ｋＨｚおよびその所定周波数帯域内の位置情報に対しては所定の重み付け係数を乗算することで（例えば、１ｋＨｚおよびその周辺の帯域については、１つの帯域につき２つの帯域があることとするなど）、相対的に１ｋＨｚおよびその周辺の位置情報の数を多くなるように管理し、その数に基づいて合成窓制御情報を生成するようにしてもよい。

上述の通り、第６の実施形態およびその変形例においては、音像制御パラメータの変更を、合成窓制御部２６ｂおよび２６ｃにおいて音像制御パラメータの変更のための合成窓制御情報（音声音響信号を定位させる位置情報）を決定しているが、合成窓制御部２６ｂおよび２６ｃとは別の構成で行っても当然によい。例えば、音像制御パラメータ決定部２１ａ内において、合成窓制御情報を生成してもよい。また、本発明の音像制御装置７ａ〜７ｄを複数チャネル分備える装置に適用することや、ＢＣＣの復号装置として適用することも可能である。

また、本実施形態の音像制御装置においては、第一の変換法としてＭＤＣＴ以外にＭＤＳＴ(Modified Discrete Sine Transform：修正離散サイン変換)など他のＬＯＴを用いることが考えられ、少なくとも重複直交変換を行う技術において適用することができる。

また、本実施形態の合成窓制御部２６、２６ａ、３２、４４、４４ａおよび５６は、合成窓制御部１４と同様に、音像制御情報に従った合成窓関数を生成することに限定されるものではなく、音像制御パラメータにしたがって合成窓関数を生成するようにしてもよい。その場合には、音像制御パラメータ決定部２１、３１、４３および５１から音像制御パラメータが合成窓制御部２６、２６ａ、３２、４４、４４ａおよび５６に入力される必要がある。

つぎに、本実施形態の音像制御装置の作用効果について説明する。第1の実施形態の音像制御装置１においては、音像制御パラメータ決定部１１が音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する。音像制御部１２は、入力された重複直交変換による変換係数を音像制御パラメータに基づいて、位相をずらすなどで、補正する。そして、係数逆変換部１３は、補正された変換係数を時間領域の音声音響信号に変換する。

通常、音声音響信号に対して予め定められた固定の合成窓関数を合成窓重畳部が乗算し、オーバラップ加算することで最終的な出力信号である音声音響信号を得ることになるが、このままでは歪が生じてしまうものとなる。

そのため、この歪を低減するために、合成窓制御部１４は、音像制御情報に基づいて合成窓関数を生成し、合成窓重畳部１５は、音像制御情報に基づいて生成された合成窓関数を乗算して、音声音響信号を得る。これにより、ＭＤＣＴなどの重複直交変換による変換係数に対して位相をずらすなどの音像制御を行って得られた音声音響信号に生ずる歪を低減することができる。

また、第２の実施形態の音像制御装置２において、音像制御パラメータ決定部２１は、音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する。また、帯域分割部２２は、入力されたＭＤＣＴなどの重複直交変換による変換係数を所定周波数帯域ごとに分割する。そして、音像制御パラメータ決定部２１により決定された音像制御パラメータに基づいて、各音像制御部２３ａ〜２３ｘは分割された各変換係数を補正し、帯域合成部２４は補正された各変換係数を合成する。係数逆変換部２５は、合成された変換係数を時間領域の音声音響信号に変換し、合成窓重畳部２７は変換された時間領域の音声音響信号に対し、合成窓制御部２６において音像制御情報に基づいて生成された合成窓関数を乗算する。これにより、複数の周波数帯域に分割された変換係数に対して適切な音像制御パラメータを決定することができる。

また、第３の実施形態の音像制御装置３は、音像制御部３３ａ〜３３ｘ、係数逆変換部３４ａ〜３４ｘ、合成窓重畳部３５ａ〜３５ｘのように出力チャネル数分（ａ〜ｘ）備え、音像制御パラメータ決定部３１は、音像制御パラメータを出力チャネル数分生成する。その音像制御パラメータに従って、各音像制御部３３ａ〜３３ｘは補正を行い、合成窓重畳部３５ａ〜３５ｘは、出力チャネル毎に生成された合成窓関数を出力チャネルごとの音声音響信号に対して乗算する。よって、複数チャネルを有する装置において、適切な合成窓関数を用いて歪の低減を行うことができる。

また、第４の実施形態の音像制御装置４は、音像制御パラメータを音像制御部４２Ａａ〜４２Ｘｘの数だけ（チャネル数×帯域分割数）生成し、各音像制御部４２Ａａ〜４２Ｘｘは、音像制御パラメータに従って補正を行う。帯域合成部４５ａ〜４５ｘにおいて合成し、係数逆変換部４６ａ〜４６ｘにおいて逆変換した後、合成窓重畳部４７ａ〜４７ｘは出力チャネル毎に生成された合成窓関数を出力チャネルごとの音声音響信号に対して乗算する。よって、複数チャネルを有する装置において、適切な合成窓関数を用いて歪の低減を行うことができる。

また、第５の実施形態の音像制御装置５において、音像制御情報変換部５０はＢＣＣなどで用いられる、各帯域における音声音響信号を定位させる定位位置を示す識別子であるインデックス情報を音像制御情報に変換し、音像制御パラメータ決定部５１は変換した音像制御情報に基づいて音像制御パラメータを決定することができる。よって、ＢＣＣなどのインデックス情報に基づいて音像制御を行う技術に対しても、本発明を適用することができ、歪を低減することができる。なお、ＢＣＣ符号装置およびそれに対応する復号装置においては、各帯域において入力チャネルの最も強度の大きいチャネルを示す情報をインデックス情報として入出力する。

また、第６の実施形態の音像制御装置７ｂ〜７ｄにおいて、合成窓制御部２６ｂは、音像制御情報、および各帯域における振幅情報を用いて、合成窓関数を生成するとともに、音像制御パラメータ決定部２１ａにより決定される音像制御パラメータを決定するための合成窓制御情報（音像制御パラメータ変更情報）を生成する。例えば、この振幅情報は、帯域分割部２２により分割された周波数帯域のそれぞれの振幅情報、または音声音響復号部２０から出力される振幅情報または振幅情報に準じた情報である。

音像制御パラメータ決定部２１ａは、音像制御情報および合成窓制御部２６ｂにより生成された合成窓制御情報（音像制御パラメータ変更情報）に基づいて、音像制御パラメータを決定する。すなわち、音像制御情報に基づいて音像制御パラメータを決定するとともに、合成窓制御情報に基づいて所定周波数以上の帯域の信号に対応する音像制御パラメータを変更する。音像制御部２３ａ〜２３ｘは、ここで変更された音像制御パラメータを用いて変換係数を補正する。

これにより、振幅の大きい帯域に対する歪を低減するよう音像制御パラメータを決定することができる。よって、出力値の大きい帯域に対して特に歪を低減するよう作用することになり、聴覚的に聞えやすい帯域に対する歪を低減することができ、聴覚的な改善を実現できる。

さらに、第６の実施形態の音像制御装置７ａにおいて、音像制御パラメータ決定部２１ａは、音像制御部２３ａ〜２３ｘに対して所定の音像制御パラメータを出力する。音像制御部２３ａ〜２３ｘは、この音像制御パラメータに従って変換係数の補正を行い、補正された変換係数を音像再制御部２８ａ〜２８ｘに出力する。

一方、各音像制御部２３ａ〜２３ｘは、各帯域における振幅情報を合成窓制御部２６ｂに出力する。合成窓制御部２６ｂは、各帯域における振幅情報に従って、合成窓制御情報を生成する。この合成窓制御情報は、例えば、所定閾値以上における周波数帯域に対して音声音響信号を定位させる位置を示す位置情報であり、位置情報を同じにするそれぞれの周波数帯域のうち、全体の周波数帯域内において最も多くの割合を占める位置情報である。

音像制御パラメータ決定部２１ａは、合成窓制御部２６ｂからの合成窓制御情報に基づいて、先に決定した音像制御パラメータを変更し、変更した音像制御パラメータを音像再制御部２８ａ〜２８ｘに出力する。音像再制御部２８ａ〜２８ｘは、音像制御部２３ａ〜２３ｘから出力された変換係数を、音像制御パラメータ決定部２１ａにより変更された音像制御パラメータに基づいて補正する。

これにより、振幅の大きい帯域に対する歪を低減するよう音像制御パラメータを決定することができる。よって、出力値の大きい帯域に対して特に歪を低減するよう作用することになり、聴覚的に聞えやすい帯域に対する歪を低減することができ、聴覚的な改善を実現できる。

また、本実施形態の音像制御装置１〜５において、音像制御パラメータ１１〜５１は、音像制御パラメータの位相差情報をチャネル間時間差情報またはチャネル間位相差情報とすることで、音像制御パラメータを簡略化することができる。通常、ＭＤＣＴを用いて頭部伝達関数により音像制御を行った場合、位相制御が複雑となるため、音声音響信号の歪は大きくなる。よって、位相制御を簡略化することで、最終的な出力として得られる音声音響信号に対する歪を低減することができる。

また、本実施形態の音像制御装置１〜５においては、付加遅延時間量または付加遅延位相量の絶対値の最大値または総和をより小さくなるように記述されていることで、最終的な出力として得られる音声音響信号に対する歪をより効果的に低減することができる。

また、本実施形態の音像制御装置１〜５においては、合成窓制御部１１〜５６は、時間折り返し歪を低減することができるよう窓関数の両端部分のうち少なくとも一方の値が小さく（通常の窓関数の両端部分より小さい値であり、例えば極めて０に近い値、または０など）設定された合成窓関数を生成し、合成窓重畳部１５〜５７ａ・５７ｂはその合成窓関数を用いることで、より効果的に歪を低減することができる。

また、本実施形態の音像制御装置２ａまたは４ａにおいて、合成窓制御部２６ａまたは４４ａは音像制御情報に加えて補正後の変換係数の振幅情報を用いて、合成窓関数を生成することで、振幅の大きい帯域に対する歪を低減することができる。よって、出力値の大きい帯域に対して特に歪を低減するよう作用することになり、聴覚的に聞えやすい帯域に対する歪を低減することができ、聴覚的な改善を実現できる。

また、上述第２の実施形態の変形例である音像制御装置２ｂにおいて、合成窓制御部２６ａは、音像制御情報に加えて帯域分割部２２により分割された各信号の振幅情報を用いて、合成窓関数を生成する。よって、出力値の大きい帯域に対して特に歪を低減するよう作用することになり、聴覚的に聞えやすい帯域に対する歪を低減することができ、聴覚的な改善を実現できる。

また、さらなる変形例である音像制御装置２ｃにおいて、音声音響復号部２０は、入力されたビット配列に基づいて、振幅情報に準じたパラメータおよび重複直交変換により生成された変換係数を出力する。合成窓制御部２６ａは、音像制御情報に加えて振幅情報に準じたパラメータを用いて、合成窓関数を生成する。よって、出力値の大きい帯域に対して特に歪を低減するよう作用することになり、聴覚的に聞えやすい帯域に対する歪を低減することができ、聴覚的な改善を実現できる。

これら変形例は、当然音像制御装置４ａにも適用可能である。

なお、上述の実施形態における音像制御装置は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成されるコンピュータ、携帯電話、通信装置などに備えられており、ＲＯＭ等のメモリに記憶されたプログラムにしたがって動作することになる。

第１の実施形態に係る音像制御装置１の構成を示すブロック図である。 音像制御装置１の動作を示すフローチャートである。 第２の実施形態に係る音像制御装置２の構成を示すブロック図である。 音像制御装置２の動作を示すフローチャートである。 第２の実施形態の変形例における音像制御装置２ａの構成を示すブロック図である。 第３の実施形態に係る音像制御装置３の構成を示すブロック図である。 音像制御装置３の動作を示すフローチャートである。 第４の実施形態に係る音像制御装置４の構成を示すブロック図である。 音像制御装置４の動作を示すフローチャートである。 第４の実施形態の変形例における音像制御装置４ａの構成を示すブロック図である。 第５の実施形態に係る音像制御装置５の構成を示すブロック図である。 ＢＣＣ Type Iの符号化装置６の構成を示すブロック図である。 音像制御装置５の動作を示すフローチャートである。 （ａ）は正弦波信号の波形を示す図であり、（ｂ）はＤＦＴ係数の乗算処理により正弦波を遅延させた波形を示す図であり、（ｃ）はＭＤＣＴ係数の乗算処理により正弦波を遅延させた波形示す図である。 帯域分割した音声音響信号の変換係数を模式的に示したものである。 第２の実施形態の変形例における音像制御装置２ｂの構成を示すブロック図である。 第２の実施形態の変形例における音像制御装置２ｃの構成を示すブロック図である。 第６の実施形態に係る音像制御装置７ａの構成を示すブロック図である。 ある時間フレーム（変換係数）において、変換係数の電力と音像制御情報との関係を示す説明図である。 第6の実施形態の変形例に係る音像制御装置７ｂの構成を示すブロック図である。 第6の実施形態の変形例に係る音像制御装置７ｃの構成を示すブロック図である。 第6の実施形態の変形例に係る音像制御装置７ｄの構成を示すブロック図である。

符号の説明

１…音像制御装置、２…音像制御装置、２ａ…音像制御装置、３…音像制御装置、４…音像制御装置、４ａ…音像制御装置、５…音像制御装置、６…符号化装置、１１…音像制御パラメータ決定部、１２…音像制御部、１３…係数逆変換部、１４…合成窓制御部、１５…合成窓重畳部、２０…音声音響復号部、２１、２１ａ…音像制御パラメータ決定部、２２…帯域分割部、２２ａ−２３ｘ…音像制御部、２４…帯域合成部、２５…係数逆変換部、２６、２６ａ、２６ｂ…合成窓制御部、２６ａ…合成窓制御部、２７…合成窓重畳部、２８ａ−２８ｘ…音像再制御部、３１…音像制御パラメータ決定部、３２…合成窓制御部、３３ａ−３３ｘ…音像制御部、３４ａ−３４ｘ…係数逆変換部、３５ａ−３５ｘ…合成窓重畳部、４１…帯域分割部、４２Ａａ−４２Ｘｘ…音像制御部、４３…音像制御パラメータ決定部、４４…合成窓制御部、４４ａ…合成窓制御部、４５ａ−４５ｘ…帯域合成部、４６ａ−４６ｘ…係数逆変換部、４７ａ−４７ｘ…合成窓重畳部、５００…逆多重化部、５０１、５０２…復号部、５０…音像制御情報変換部、５１…音像制御パラメータ決定部、５２…帯域分割部、５３Ａａ−５３Ｂｘ…音像制御部、５４ａ−５４ｂ…帯域合成部、５５ａ−５５ｂ…係数逆変換部、５７ａ−５７ｘ…合成窓重畳部、５６…合成窓制御部、５７ａ、５７ｂ…合成窓重畳部、６１ａ−６１ｘ…周波数変換部、６２ａ−６２ｘ…帯域合成部、６３ａ−６３ｙ…最大強度チャネル決定部、６４…補助情報符号化部、６５…音声音響信号合成部、６６…音声音響符号化部、６７…多重化部。

Claims (15)

1. 音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する音像制御パラメータ決定手段と、
   入力された重複直交変換による変換係数を前記音像制御パラメータに基づいて補正する音像制御手段と、
   前記音像制御手段により補正された変換係数を時間領域の音声音響信号に変換する係数逆変換手段と、
   前記音像制御情報に基づいて合成窓関数を生成する合成窓制御手段と、
   前記係数逆変換手段により変換された音声音響信号に対して前記合成窓制御手段により生成された合成窓関数を乗算して出力信号を得る合成窓重畳手段と
   を備える音像制御装置。
2. 前記音像制御手段、前記係数逆変換手段、および前記合成窓重畳手段を出力チャネル数分備え、
   前記音像制御パラメータ決定手段は、出力チャネルに対応付けて音像制御パラメータを決定し、
   前記音像制御手段のそれぞれは、前記音像制御パラメータ決定手段により決定された音像制御パラメータに従った補正を行い、
   前記合成窓重畳手段は、出力チャネル毎に対応して生成された合成窓関数を前記係数逆変換手段により変換された複数の音声音響信号に対して乗算することを特徴とする
   請求項１に記載の音像制御装置。
3. 音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する音像制御パラメータ決定手段と、
   入力された重複直交変換による変換係数を所定周波数帯域ごとに分割する帯域分割手段と、
   前記音像制御パラメータに基づいて前記帯域分割手段により分割された各変換係数を補正する音像制御手段と、
   前記音像制御手段により補正された各変換係数を合成する帯域合成手段と、
   前記帯域合成手段により合成された変換係数を時間領域の音声音響信号に変換する係数逆変換手段と、
   前記音像制御情報に基づいて合成窓関数を生成する合成窓制御手段と、
   前記係数逆変換手段により変換された時間領域の音声音響信号に対し、前記合成窓制御手段により生成された合成窓関数を乗算する合成窓重畳手段と
   を備える音像制御装置。
4. 前記帯域分割手段により分割されて出力された各音声音響信号を処理する分割数分の音像制御手段を備えるとともに、前記分割数分の音像制御手段、前記帯域合成手段、前記係数逆変換手段、および前記合成窓重畳手段を出力チャネル数分備え、
   前記音像制御パラメータ決定手段は、前記音像制御手段に個別に対応した音像制御パラメータを決定し、
   前記音像制御手段のそれぞれは、前記音像制御パラメータ決定手段により決定された音像制御パラメータに従った補正を行い、
   前記合成窓重畳手段は、出力チャネル毎に対応して生成された合成窓関数を前記係数逆変換手段により変換された複数の音声音響信号に対して乗算することを特徴とする
   請求項３に記載の音像制御装置。
5. 音像制御パラメータの位相情報は、チャネル間時間差情報またはチャネル間位相差情報であることを特徴とする請求項１から４のいずれか１項に記載の音像制御装置。
6. 前記チャネル間時間差情報または前記チャネル間位相差情報は、付加遅延時間量または付加遅延位相量の絶対値の最大値または総和をより小さくなるように記述されていることを特徴とする請求項５に記載の音像制御装置。
7. 前記合成窓制御手段は、前記音像制御情報に加えて各音像制御手段から出力された信号の振幅情報を用いて、合成窓関数を生成することを特徴とする請求項３から６のいずれか１項に記載の音像制御装置。
8. 前記合成窓制御手段は、前記音像制御情報に加えて前記帯域分割手段により分割された各信号の振幅情報を用いて、合成窓関数を生成することを特徴とする請求項３から６のいずれか１項に記載の音像制御装置。
9. 入力されたビット配列に基づいて、振幅情報に準じたパラメータおよび重複直交変換により生成された変換係数を出力する音声音響復号手段を備え、
   前記合成窓制御手段は、前記音像制御情報に加えて音声音響復号手段より出力された振幅情報に準じたパラメータを用いて、合成窓関数を生成することを特徴とする請求項３から６のいずれか１項に記載の音像制御装置。
10. 前記合成窓制御手段は、前記音像制御情報、および各周波数帯域の信号における振幅情報を用いて、合成窓関数を生成するとともに、前記音像制御パラメータ決定手段により決定される音像制御パラメータを決定するための音像制御パラメータ変更情報を生成し、
    前記音像制御パラメータ決定手段は、前記音像制御情報および前記合成窓制御手段により生成された音像制御パラメータ変更情報に基づいて、音像制御パラメータを変更することを特徴とする請求項１から９のいずれか１項に記載の音像制御装置。
11. 前記音像制御手段から出力された変換係数を、前記音像制御パラメータ決定手段により変更された音像制御パラメータに基づいて補正する音像再制御手段を備え、
    前記音像制御パラメータ決定手段は、前記音像制御手段に対して所定の音像制御パラメータを出力し、前記合成窓制御手段により生成された音像制御パラメータ変更情報に基づいて変更された音像制御パラメータを前記音像再制御手段に出力することを特徴とする請求項１０に記載の音像制御装置。
12. 各帯域における音声音響信号を定位させる定位位置を示す識別子であるインデックス情報に基づいて音像制御情報を生成する音像制御情報生成手段を備え、
    前記音像制御パラメータ決定手段は、前記音像制御情報生成手段により生成された音像制御情報に基づいて音像制御パラメータを決定することを特徴とする請求項１から１１のいずれか1項に記載の音像制御装置。
13. 前記合成窓制御手段は、時間折り返し歪を低減するよう、両端部分のうち少なくとも一方の値が小さく設定された合成窓関数を生成することを特徴とする請求項１から１２のいずれか１項に記載の音像制御装置。
14. 音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する音像制御パラメータ決定ステップと、
    入力された重複直交変換による変換係数を前記音像制御パラメータに基づいて補正する音像制御ステップと、
    前記音像制御ステップにより補正された変換係数を時間領域の音声音響信号に変換する係数逆変換ステップと、
    前記音像制御情報に基づいて合成窓関数を生成する合成窓制御ステップと、
    前記係数逆変換ステップにより変換された音声音響信号に対して前記合成窓制御ステップにより生成された合成窓関数を乗算して出力信号を得る合成窓重畳ステップと
    を備える音像制御方法。
15. 音声音響信号を定位させるための音像制御情報に基づいて音像制御パラメータを決定する音像制御パラメータ決定ステップと、
    入力された重複直交変換による変換係数を所定周波数帯域ごとに分割する帯域分割ステップと、
    前記音像制御パラメータに基づいて前記帯域分割ステップにより分割された各変換係数を補正する音像制御ステップと、
    前記音像制御ステップにより補正された各変換係数を合成する帯域合成ステップと、
    前記帯域合成ステップにより合成された変換係数を時間領域の音声音響信号に変換する係数逆変換ステップと、
    前記音像制御情報に基づいて合成窓関数を生成する合成窓制御ステップと、
    前記係数逆変換ステップにより変換された時間領域の音声音響信号に対して合成窓制御ステップにより生成された合成窓関数を乗算する合成窓重畳ステップと
    を備える音像制御方法。

Images