JPWO2006100980A1 - 音声信号処理装置及びそのためのコンピュータプログラム - Google Patents

Abstract

音声信号処理装置は、周波数の帯域ごとに弁別された音声信号を取得する取得手段と、取得した音声信号に対して帯域ごとに異なる色データを割り当てる色割り当て手段と、音声信号の帯域ごとのレベルに基づいて、色データの輝度を変化させたデータを生成する輝度変更手段と、輝度変更手段が生成したデータを全ての帯域で合計したデータを生成する色混合手段と、色混合手段が生成したデータから、画像表示装置に表示するための画像データを生成する表示画像生成手段と、を備える。音声信号処理装置は、周波数の帯域ごとのデータを混合して１つの画像として表示するため、複数のチャンネルの周波数特性を少ない画像で表示することができる。これにより、ユーザは、表示された画像に基づいて複数におけるチャンネルの特性を容易に理解することができる。

Description

本発明は、スピーカ等より出力された音声信号を処理する音声信号処理装置に関する。

従来から、スピーカ等より出力される音声信号の音圧レベルや周波数特性などを画像によってモニタに表示することが行われている。ユーザは、モニタに表示される画像に基づいて音場の特性を認識することにより、周波数特性や音圧レベル等を効果的に調節することができる。

例えば、特許文献１には、音声信号を複数の周波数帯域に分け、各周波数の帯域のレベルを色の濃さや色合いで表現した画像を表示する技術が記載されている。詳しくは、各周波数の帯域は、画面上の所定の点からの距離で表現され、周波数毎に色や輝度が変化するように表示している。更に、特許文献２には、複数の帯域に分けられた音声信号に特定の色を対応させると共に、画面の左右に左チャンネル、右チャンネルを対応させて、帯域ごとのレベルを表示する技術が記載されている。

特開平１１−２２５０３１号公報 特開平８−２９４１３１号公報 ここで、複数のスピーカを用いたマルチチャンネル再生においては各チャンネルのつながりによって音場が構成されるため、各チャンネルのスピーカや再生音場の特性が同一になるように、自動又は手動によって周波数特性や残響特性等を補正することが行われている。この際にも、ユーザが補正前後の状態をモニタ上で確認できることが好ましい。

しかしながら、このようなマルチチャンネル再生に対して、上記の特許文献１及び２に記載された技術を適用すると、表示される画像に含まれる情報が非常に多くなり、一度にチャンネル間の特性を認識することが困難である場合があった。これにより、専門知識の少ないユーザに対して表示画像の解釈を強いることになり、ユーザに負担がかかってしまう場合があった。

本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、複数のチャンネルにおける音声信号の特性を、ユーザが容易に理解可能な画像として表示することができる音声信号処理装置を提供することを課題とする。

本発明の好適な実施形態では、音声信号処理装置は、周波数の帯域ごとに弁別された音声信号を取得する取得手段と、取得した前記音声信号に対して帯域ごとに異なる色データを割り当てる色割り当て手段と、前記音声信号の前記帯域ごとのレベルに基づいて、前記色データの輝度を変化させたデータを生成する輝度変更手段と、前記輝度変更手段が生成したデータを全ての帯域で合計したデータを生成する色混合手段と、前記色混合手段が生成したデータから、画像表示装置に表示するための画像データを生成する表示画像生成手段と、を備える。

上記の音声信号処理装置は、周波数の帯域ごとに弁別された音声信号に対して異なる色データを割り当て、音声信号の帯域ごとのレベルに基づいて、色データの輝度を変更する。そして、輝度を変化させたデータを全ての帯域で合計し、合計したデータを画像表示装置に表示するための画像データを生成する。これにより、複数の帯域ごとの周波数の特性が簡便な画像によって表示されるため、ユーザは、表示画像を見ることによって、音声信号の周波数特性を容易に認識することが可能となる。

上記の音声信号処理装置の一態様では、前記色割り当て手段は、前記音声信号の前記帯域ごとのレベルが同一であるときに、前記色データを全て合計したデータが特定の色を示すデータとなるように当該色データを設定する。更に、前記画像表示装置は、前記画像データと前記特定の色を同時に表示することができる。これにより、ユーザは、各帯域の周波数特性が平坦であることを容易に認識することが可能となる。

上記の音声信号処理装置の他の一態様では、前記色割り当て手段は、前記色データの色の変化が前記帯域の周波数の高低に対応するように、当該色データを設定する。即ち、色割り当て手段は、音の波長と光の波長とに基づいて、音声信号の周波数の高低（波長の長短）と色の変化（光の波長の長短）とを関連付けて色を割り当てる。これにより、ユーザは、直感的に周波数特性を認識することができる。

１つの実施例では、前記輝度変更手段は、人間の視覚特性を考慮して、前記色データの輝度を変化させる。こうするのは、人間は色むら（相対的な色の違い）を感じやすいため、周波数特性に対してあまり敏感な輝度変化などを与えると微小な周波数特性の違いも大きなものとして知覚される可能性があるからである。

上記の音声信号処理装置の他の一態様では、前記取得手段は、スピーカから出力された出力信号の各々に対して前記周波数の帯域ごとに弁別された前記音声信号を取得し、前記色割り当て手段は、前記スピーカから出力された前記音声信号の各々に対して、前記色データを割り当て、前記輝度変更手段は、前記スピーカから出力された前記音声信号の各々のレベルに基づいて、前記色データの輝度を変化させたデータを生成し、前記色混合手段は、前記スピーカから出力された前記出力信号に対して、全ての帯域で合計したデータを生成し、前記表示画像生成手段は、前記スピーカから出力された前記出力信号の各々に対して前記色混合手段が生成したデータが、前記画像表示装置に同時に表示されるように前記画像データを生成する。

この態様では、音声信号処理装置は、スピーカから出力された出力信号、即ち複数のチャンネルのデータを取得し、これらの各々に対して処理したデータを表示させる。詳しくは、音声信号処理装置は、各チャンネルの帯域ごとの周波数の特性を全て表示せずに、周波数の帯域ごとのデータを混合した画像をチャンネルごとに表示する。これにより、複数のチャンネルの測定結果を同時に全て表示しても、表示される画像は簡便なものとなるため、ユーザが画像を理解する際に要する負担を軽減することができる。

好適な実施例では、前記表示画像生成手段は、前記スピーカから出力された前記出力信号の各々のレベルに応じて、前記画像表示装置に表示させる前記画像データの輝度、面積、及び寸法のうち少なくともいずれかを設定した前記画像データを生成することができる。これにより、ユーザは、スピーカ間の再生音レベルの違いを容易に認識することが可能となる。

更に他の実施例では、前記表示画像生成手段は、前記スピーカの実際の配置位置を反映した画像が表示されるように前記画像データを生成することができる。これにより、ユーザは、容易に、表示画像中のデータを実際のスピーカに対して対応付けることが可能となる。

本発明の他の実施形態では、コンピュータを、音声信号処理装置として機能させるためのコンピュータプログラムは、周波数の帯域ごとに弁別された音声信号を取得する取得手段と、取得した前記音声信号に対して帯域ごとに異なる色データを割り当てる色割り当て手段と、前記音声信号の前記帯域ごとのレベルに基づいて、前記色データの輝度を変化させたデータを生成する輝度変更手段と、前記輝度変更手段が生成したデータを全ての帯域で合計したデータを生成する色混合手段と、前記色混合手段が生成したデータから、画像表示装置に表示するための画像データを生成する表示画像生成手段と、を備える。当該コンピュータプログラムをコンピュータ上で実行することによっても、ユーザは、音声信号の周波数特性を容易に認識することが可能となる。

更に、本発明の他の実施形態では、音声信号処理方法は、周波数の帯域ごとに弁別された音声信号を取得する取得工程と、取得した前記音声信号に対して帯域ごとに異なる色データを割り当てる色割り当て工程と、前記音声信号の前記帯域ごとのレベルに基づいて、前記色データの輝度を変化させたデータを生成する輝度変更工程と、前記輝度変更工程で生成されたデータを全ての帯域で合計したデータを生成する色混合工程と、前記色混合工程で生成されたデータから、画像表示装置に表示するための画像データを生成する表示画像生成工程と、を備える。このような音声信号処理方法を実行することによっても、ユーザは、音声信号の周波数特性を容易に認識することが可能となる。

本発明の実施例による音声信号処理システムの概略構成を示す。 本発明の実施例の音声信号処理システムを備えるオーディオシステムの構成を示すブロック図である。 図２に示す信号処理回路の内部構成を示すブロック図である。 図３に示す信号処理部の構成を示すブロック図である。 図３に示す係数演算部の構成を示すブロック図である。 図５に示す周波数特性補正部、チャンネル間レベル補正部及び遅延特性補正部の構成を示すブロック図である。 ある音場環境におけるスピーカの配置例を示す図である。 図１に示す画像処理部の概略構成を示すブロック図である。 画像処理部で行われる処理の具体例を模式的に示す図である。 色混合部で行われる処理を説明するための図である。 音声信号のレベル／エネルギーとグラフィックパラメータとの関係を示す図である。 モニタに表示される画像の一例を示す図である。 テスト信号の一例を示す図である。

符号の説明

２ 信号処理回路
３ 測定用信号発生器
８ マイクロホン
１１ 周波数特性補正部
１０２ 信号処理部
１１１ 周波数分析フィルタ
２００ 音声信号処理装置
２０２ 信号処理部
２０３ 測定用信号発生器
２０５ モニタ
２０７ 周波数分析フィルタ
２１６ スピーカ
２１８ マイク
２３０ 画像処理部
２３１ 色割り当て部
２３２ 輝度変更部
２３３ 色混合部
２３４ 輝度／面積変換部
２３５ グラフィックス生成部

以下、図面を参照して本発明の好適な実施例について説明する。

［音声信号処理システム］
まず、本実施例に係る音声信号処理システムについて説明する。図１に、本実施例に係る音声信号処理システムの概略構成を示す。図示のように、音声信号処理システムは、音声信号処理装置２００、音声信号処理装置２００にそれぞれ接続されたスピーカ２１６、マイク２１８、画像処理部２３０、及びモニタ２０５を備える。スピーカ２１６及びマイク２１８は、測定の対象となる音響空間２６０内に配置される。音響空間２６０の典型的な例としてはリスニングルームやホームシアターなどが挙げられる。

音声信号処理装置２００は、信号処理部２０２と、測定用信号発生器２０３と、Ｄ／Ａ変換器２０４と、Ａ／Ｄ変換器２０８とを備える。信号処理部２０２は、内部に内部メモリ２０６及び周波数分析フィルタ２０７を備える。信号処理部２０２は、測定用信号発生器２０３からデジタルの測定音データ２１０を取得し、Ｄ／Ａ変換器２０４へ測定音データ２１１を供給する。Ｄ／Ａ変換器２０４は、測定音データ２１１をアナログの測定用信号２１２に変換してスピーカ２１６へ供給する。スピーカ２１６は供給された測定用信号２１２に対応する測定音を測定の対象となる音響空間２６０に出力する。

マイク２１８は音響空間２６０内に出力された測定音を集音し、その測定音に対応する検出信号２１３をＡ／Ｄ変換器２０８へ供給する。Ａ／Ｄ変換器２０８は検出信号２１３をデジタルの検出音データ２１４に変換し、信号処理部２０２へ供給する。

音響空間２６０内においてスピーカ２１６から出力された測定音は、主として直接音成分３５、初期反射音成分３３及び残響音成分３７の集合としてマイク２１８により集音される。信号処理部２０２は、マイク２１８により集音された測定音に対応する検出音データ２１４に基づいて、音響空間２６０の音響特性を得ることができる。例えば周波数帯域毎に音響パワーを算出することにより、当該音響空間２６０の周波数帯域毎の残響特性を得ることができる。

内部メモリ２０６は、マイク２１８及びＡ／Ｄ変換器２０８を介して得られた検出音データ２１４などを一時的に保存する記憶部であり、信号処理部２０２は内部メモリ２０６に一時的に保存された検出音データを利用して音響パワーの演算などの処理を実行し、音響空間２６０の音響特性を得る。信号処理部２０２は、例えば全周波数帯域の残響特性や、周波数分析フィルタ２０７を利用して周波数帯域毎の残響特性などを生成し、これらの生成したデータ２８０を画像処理部２３０に供給する。

画像処理部２３０は、信号処理部２０２から取得したデータ２８０に対して、後述する画像処理を行い、画像処理後の画像データ２９０をモニタ２０５に供給する。そして、モニタ２０５は、画像処理部２３０より取得した画像データ２９０を表示する。

［オーディオシステムの構成］
図２は、本実施例の音声信号処理システムを備えたオーディオシステムの構成を示すブロック図である。

図２において、本オーディオシステム１００には、ＣＤ（Compact disc）プレーヤやＤＶＤ（Digital Video Disc又はDigital Versatile Disc）プレーヤ等の音源１から複数チャンネルの信号伝送路を通じてデジタルオーディオ信号ＳFL，ＳFR，ＳC，ＳRL，ＳRR，ＳWF，ＳSBL及びＳSBRが供給される信号処理回路２と、測定用信号発生器３とが設けられている。

なお、本オーディオシステムは複数チャンネルの信号伝送路を含むが、以下の説明では各チャンネルをそれぞれ「ＦＬチャンネル」、「ＦＲチャンネル」などと表現することがある。また、信号及び構成要素の表現において複数チャンネルの全てについて言及する時は参照符号の添え字を省略する場合がある。また、個別チャンネルの信号及び構成要素に言及する時はチャンネルを特定する添え字を参照符号に付す。例えば、「デジタルオーディオ信号Ｓ」と言った場合は全チャンネルのデジタルオーディオ信号ＳFL〜ＳSBRを意味し、「デジタルオーディオ信号ＳFL」と言った場合はＦＬチャンネルのみのデジタルオーディオ信号を意味するものとする。

更に、オーディオシステム１００は、信号処理回路２によりチャンネル毎に信号処理されたデジタル出力ＤFL〜ＤSBRをアナログ信号に変換するＤ／Ａ変換器４FL〜４SBRと、これらのＤ／Ａ変換器４FL〜４SBRから出力される各アナログオーディオ信号を増幅する増幅器５FL〜５SBRとを備えている。これらの増幅器５で増幅した各アナログオーディオ信号ＳＰFL〜ＳＰSBRを、図７に例示するようなリスニングルーム７等に配置された複数チャンネルのスピーカ６FL〜６SBRに供給して鳴動させるようになっている。

また、オーディオシステム１００は、受聴位置ＲＶにおける再生音を集音するマイクロホン８と、マイクロホン８から出力される集音信号ＳＭを増幅する増幅器９と、増幅器９の出力をデジタルの集音データＤＭに変換して信号処理回路２に供給するＡ／Ｄ変換器１０とを備えている。

ここで、オーディオシステム１００は、オーディオ周波数帯域のほぼ全域にわたって再生可能な周波数特性を有する全帯域型のスピーカ６FL，６FR，６C，６RL，６RRと、所謂重低音だけを再生するための周波数特性を有する低域再生専用のスピーカ６WFと、受聴者（ユーザ）の背後に配置されるサラウンドスピーカ６SBL及び６SBRを鳴動させることで、受聴位置ＲＶにおける受聴者に対して臨場感のある音響空間を提供する。

各スピーカの配置としては、例えば、図７に示すように、受聴者が好みに応じて、受聴位置ＲＶの前方に、左右２チャンネルのフロントスピーカ（前方左側スピーカ、前方右側スピーカ）６FL，６FRとセンタースピーカ６Cを配置する。また、受聴位置ＲＶの後方に、左右２チャンネルのスピーカ（後方左側スピーカ、後方右側スピーカ）６RL，６RRと左右２チャンネルのサラウンドスピーカ６SBL，６SBRを配置し、更に、任意の位置に低域再生専用のサブウーハ６WFを配置する。オーディオシステム１００は、周波数特性、各チャンネルの信号レベル及び信号到達遅延特性を補正したアナログオーディオ信号ＳＰFL〜ＳＰSBRをこれら８個のスピーカ６FL〜６SBRに供給して鳴動させることで、臨場感のある音響空間を実現することができる。

信号処理回路２は、デジタルシグナルプロセッサ（Digital Signal Processor：ＤＳＰ）等で形成されており、図３に示すように、大別して信号処理部２０と、係数演算部３０とから構成される。信号処理部２０は、ＣＤ、ＤＶＤ、その他の各種音楽ソースを再生する音源１から複数チャンネルのデジタルオーディオ信号を受け取り、各チャンネル毎に周波数特性補正、レベル補正及び遅延特性補正を施してデジタル出力信号ＤFL〜ＤSBRを出力する。

係数演算部３０は、マイクロホン８で集音された信号をデジタルの集音データＤＭとして受け取り、また、信号処理部２内の遅延回路ＤＬＹ１〜８から出力された測定用信号ＤＭＩを受け取り、周波数特性補正、レベル補正及び遅延特性補正のための係数信号ＳＦ1〜ＳＦ8、ＳＧ1〜ＳＧ8、ＳＤＬ1〜ＳＤＬ8をそれぞれ生成して信号処理部２０へ供給する。こうして、信号処理部２０が適切な周波数特性補正、レベル補正及び遅延特性補正を行うことにより、各スピーカ６から最適な信号が出力される。

信号処理部２０は、図４に示すようにグラフィックイコライザＧＥＱと、チャンネル間アッテネータＡＴＧ1〜ＡＴＧ8と、遅延回路ＤＬＹ1〜ＤＬＹ8とを備えている。一方、係数演算部３０は、図５に示すように、システムコントローラＭＰＵと、周波数特性補正部１１と、チャンネル間レベル補正部１２と、遅延特性補正部１３とを備えている。周波数特性補正部１１、チャンネル間レベル補正部１２及び遅延特性補正部１３はＤＳＰを構成している。

周波数特性補正部１１がグラフィックイコライザＧＥＱの各チャンネルに対応するイコライザＥＱ1〜ＥＱ8の係数（パラメータ）を設定して周波数特性を調整し、チャンネル間レベル補正部１２がチャンネル間アッテネータＡＴＧ1〜ＡＴＧ8の減衰率を調整し、遅延特性補正部１３が遅延回路ＤＬＹ1〜ＤＬＹ8の遅延時間を調整することで、適切な音場補正を行うように構成されている。

ここで、各チャンネルのイコライザＥＱ1〜ＥＱ5、ＥＱ7及びＥＱ8は、それぞれ帯域毎に周波数特性補正を行うように構成されている。即ち、オーディオ周波数帯域を例えば８つの帯域（各帯域の中心周波数をｆ1〜ｆ8とする。）に分割し、帯域毎にイコライザＥＱの係数を決定して周波数特性補正を行う。なお、イコライザＥＱ6は、低域の周波数特性を調整するように構成されている。

図４を参照すると、ＦＬチャンネルのイコライザＥＱ1には、音源１からのデジタルオーディオ信号ＳFLの入力をオン／オフ制御するスイッチ素子ＳＷ12と、測定用信号発生器３からの測定用信号ＤＮの入力をオン／オフ制御するスイッチ素子ＳＷ11が接続され、スイッチ素子ＳＷ11はスイッチ素子ＳＷNを介して測定用信号発生器３に接続されている。

スイッチ素子ＳＷ11，ＳＷ12，ＳＷNは、図５に示すマイクロプロセッサで形成されたシステムコントローラＭＰＵによって制御され、音源信号再生時には、スイッチ素子ＳＷ12がオン（導通）、スイッチ素子ＳＷ11とＳＷNがオフ（非導通）となり、音場補正時には、スイッチ素子ＳＷ12がオフ、スイッチ素子ＳＷ11とＳＷNがオンとなる。

また、イコライザＥＱ1の出力接点には、チャンネル間アッテネータＡＴＧ1が接続され、チャンネル間アッテネータＡＴＧ1の出力接点には遅延回路ＤＬＹ1が接続されている。そして、遅延回路ＤＬＹ1の出力ＤFLが、図２中のＤ／Ａ変換器４FLに供給される。

他のチャンネルもＦＬチャンネルと同様の構成となっており、スイッチ素子ＳＷ11に相当するスイッチ素子ＳＷ21〜ＳＷ81と、スイッチ素子ＳＷ12に相当するスイッチ素子ＳＷ22〜ＳＷ82が設けられている。そして、これらのスイッチ素子ＳＷ21〜ＳＷ82に続いて、イコライザＥＱ2〜ＥＱ8と、チャンネル間アッテネータＡＴＧ2〜ＡＴＧ8と、遅延回路ＤＬＹ2〜ＤＬＹ8が備えられ、遅延回路ＤＬＹ2〜ＤＬＹ8の出力ＤFR〜ＤSBRが図２中のＤ／Ａ変換器４FR〜４SBRに供給される。

更に、各チャンネル間アッテネータＡＴＧ1〜ＡＴＧ8は、チャンネル間レベル補正部１２からの調整信号ＳＧ1〜ＳＧ8に従って０ｄＢからマイナス側の範囲で減衰率を変化させる。また、各チャンネルの遅延回路ＤＬＹ1〜ＤＬＹ8は、位相特性補正部１３からの調整信号ＳＤＬ1〜ＳＤＬ8に従って入力信号の遅延時間を変化させる。

周波数特性補正部１１は、各チャンネルの周波数特性を所望の特性となるように調整する機能を有する。図５に示すように、周波数特性補正部１１は、Ａ／Ｄ変換器１０から供給される検出音データＤＭの周波数特性を分析し、それが目標の周波数特性となるようにイコライザＥＱ1〜8の係数調整信号ＳＦ1〜8を決定する。図６（Ａ）に示すように、周波数特性補正部１１は、周波数分析フィルタとしてのバンドパスフィルタ１１ａ、係数テーブル１１ｂ、利得演算部１１ｃ、係数決定部１１ｄ、及び係数テーブル１１ｅを備えて構成される。

バンドパスフィルタ１１ａは、イコライザＥＱ1〜ＥＱ8に設定されている８個の帯域を通過させる複数の狭帯域デジタルフィルタで構成されており、Ａ／Ｄ変換器１０からの集音データＤＭを周波数ｆ1〜ｆ8を中心とする８つの周波数帯域に弁別することにより、各周波数帯域のレベルを示すデータ［ＰxJ］を利得演算部１１ｃに供給する。なお、バンドパスフィルタ１１ａの周波数弁別特性は、係数テーブル１１ｂに予め記憶されているフィルタ係数データによって設定される。

利得演算部１１ｃは、帯域毎のレベルを示すデータ［ＰxJ］に基づいて、音場補正時のイコライザＥＱ1〜ＥＱ8の利得（ゲイン）を周波数帯域毎に演算し、演算した利得データ［ＧxJ］を係数決定部１１ｄに供給する。即ち、予め既知となっているイコライザＥＱ1〜ＥＱ8の伝達関数にデータ［ＰxJ］を適用することで、イコライザＥＱ1〜ＥＱ8の周波数帯域毎の利得（ゲイン）を逆算する。

係数決定部１１ｄは、図５に示すシステムコントローラＭＰＵの制御下でイコライザＥＱ1〜ＥＱ8の周波数特性を調節するためのフィルタ係数調整信号ＳＦ1〜ＳＦ8を生成する。（なお、音場補正の際に、受聴者の指示する条件に応じて、フィルタ係数調整信号ＳＦ1〜ＳＦ8を生成するように構成されている。）
受聴者が音場補正の条件を指示せず、予め設定されている標準の音場補正を行う場合には、利得演算部１１ｃから供給される周波数帯域毎の利得データ［ＧxJ］によって係数テーブル１１ｅからイコライザＥＱ1〜ＥＱ8の周波数特性を調節するためのフィルタ係数データを読み出し、このフィルタ係数データのフィルタ係数調整信号ＳＦ1〜ＳＦ8によりイコライザＥＱ1〜ＥＱ8の周波数特性を調節する。

即ち、係数テーブル１１ｅには、イコライザＥＱ1〜ＥＱ8の周波数特性を様々に調節するためのフィルタ係数データが予めルックアップテーブルとして記憶されており、係数決定部１１ｄが利得データ［ＧxJ］に対応するフィルタ係数データを読み出し、その読み出したフィルタ係数データをフィルタ係数調整信号ＳＦ1〜ＳＦ8として各イコライザＥＱ1〜ＥＱ8に供給することで、チャンネル毎に周波数特性を調整する。

次に、チャンネル間レベル補正部１２について説明する。チャンネル間レベル補正部１２は、各チャンネルを通じて出力される音響信号の音圧レベルを均一にする役割を有する。具体的には、測定用信号発生器３から出力される測定用信号（ピンクノイズ）ＤＮによって各スピーカ６FL〜６SBRを個別に鳴動させたときに得られる集音データＤＭを順に入力し、その集音データＤＭに基づいて、受聴位置ＲＶにおける各スピーカの再生音のレベルを測定する。

チャンネル間レベル補正部１２の概略構成を図６（Ｂ）に示す。Ａ／Ｄ変換器１０から出力される集音データＤＭはレベル検出部１２ａに入力される。なお、チャンネル間レベル補正部１２は、基本的に各チャンネルの信号の全帯域に対して一律にレベルの減衰処理を行うので帯域分割は不要であり、よって図６（Ａ）の周波数特性補正部１１に見られるようなバンドバスフィルタを含まない。

レベル検出部１２ａは集音データＤＭのレベルを検出し、各チャンネルについての出力オーディオ信号レベルが一定となるように利得調整を行う。具体的には、レベル検出部１２ａは検出した集音データのレベルと基準レベルとの差を示すレベル調整量を生成し、調整量決定部１２ｂへ出力する。調整量決定部１２ｂはレベル検出部１２ａから受け取ったレベル調整量に対応する利得調整信号ＳＧ1〜ＳＧ8を生成して各チャンネル間アッテネータＡＴＧ1〜ＡＴＧ8へ供給する。各チャンネル間アッテネータＡＴＧ1〜ＡＴＧ8は、利得調整信号ＳＧ1〜ＳＧ8に応じて各チャンネルのオーディオ信号の減衰率を調整する。このチャンネル間レベル補正部１２の減衰率調整により、各チャンネル間のレベル調整（利得調整）が行われ、各チャンネルの出力オーディオ信号レベルが均一となる。

遅延特性補正部１３は、各スピーカの位置と受聴位置ＲＶとの間の距離差に起因する信号遅延を調整する、即ち、本来同時に受聴者が聴くべき各スピーカ６からの出力信号が受聴位置ＲＶに到達する時刻がずれることを防止する役割を有する。よって、遅延特性補正部１３は、測定用信号発生器３から出力される測定用信号（ピンクノイズ）ＤＮによって各スピーカ６を個別に鳴動させたときに得られる集音データＤＭに基づいて各チャンネルの遅延特性を測定し、その測定結果に基づいて音響空間の位相特性を補正する。

具体的には、図４に示すスイッチＳＷ11〜ＳＷ82を順次切り換えることにより、測定用信号発生器３から発生された測定用信号ＤＮを各チャンネル毎に各スピーカ６から出力し、これをマイクロホン８により集音して対応する集音データＤＭを生成する。測定用信号を例えばインパルスなどのパルス性信号とすると、スピーカ８からパルス性の測定用信号を出力した時刻と、それに対応するパルス信号がマイクロホン８により受信された時刻との差は、各チャンネルのスピーカ６とマイクロホン８との距離に比例することになる。よって、測定より得られた各チャンネルの遅延時間のうち、最も遅延量の大きいチャンネルの遅延時間に残りのチャンネルの遅延時間を合わせることにより、各チャンネルのスピーカ６と受聴位置ＲＶとの距離差を吸収することができる。よって、各チャンネルのスピーカ６から発生する信号間の遅延を等しくすることができ、複数のスピーカ６から出力された時間軸上で一致する時刻の音響が同時に受聴位置ＲＶに到達することになる。

図６（Ｃ）に遅延特性補正部の構成を示す。遅延量演算部１３ａは集音データＤＭを受け取り、パルス性測定用信号と集音データとの間のパルス遅延量に基づいて、各チャンネル毎に音場環境による信号遅延量を演算する。遅延量決定部１３ｂは遅延量演算部１３ａから各チャンネル毎に信号遅延量を受け取り、一時的にメモリ１３ｃに記憶する。全てのチャンネルについての信号遅延量が演算され、メモリ１３ｃに記憶された状態で、調整量決定部１３ｂは最も大きい信号遅延量を有するチャンネルの再生信号が受聴位置ＲＶに到達するのと同時に他のチャンネルの再生信号が受聴位置ＲＶに到達するように、各チャンネルの調整量を決定し、調整信号ＳＤＬ1〜ＳＤＬ8を各チャンネルの遅延回路ＤＬＹ1〜ＤＬＹ8に供給する。各遅延回路ＤＬＹ1〜ＤＬＹ8は調整信号ＳＤＬ1〜ＳＤＬ8に応じて遅延量を調整する。こうして、各チャンネルの遅延特性の調整が行われる。なお、上記の例では遅延調整のための測定用信号としてパルス性信号を挙げているが、本発明はこれに限定されるものではなく、他の測定用信号を用いてもよい。

［画像処理方法］
次に、本実施例に係る音声信号処理装置２００内の画像処理部２３０で行われる画像処理について説明する。

（画像処理部の構成）
まず、画像処理部２３０の全体構成について、図８を用いて説明する。

図８は、画像処理部２３０の概略構成を示すブロック図である。画像処理部２３０は、色割り当て部２３１と、輝度変更部２３２と、色混合部２３３と、輝度／面積変換部２３４と、グラフィックス生成部２３５と、を備えている。

色割り当て部２３１は、信号処理部２０２から、音声信号を周波数の帯域ごとに弁別されたデータ２８０を取得する。具体的には、色割り当て部２３１には、前述した周波数補正部１１のバンドパスフィルタ１１ａによって集音データＤＭを周波数帯域に弁別した各周波数帯域のレベルを示すデータ［ＰxJ］が入力される。例えば、色割り当て部２３１には、周波数Ｆ１〜Ｆ６を中心とする６つの周波数帯域に弁別されたデータが入力される。

色割り当て部２３１は、入力された帯域のデータの各々に対して、異なる色データを割り当てる。具体的には、色割り当て部２３１は、所定の色を示すＲＧＢ形式のデータを帯域のデータの各々に対して割り当てる。そして、色割り当て部２３１は、ＲＧＢ形式の画像データ２８１を輝度変更部２３２に供給する。

輝度変更部２３２は、帯域ごとの音声信号のレベル（音のエネルギー又は音圧レベルなど）に応じて、取得したＲＧＢ形式の画像データ２８２の輝度を変更した画像データ２８２を生成する。そして、輝度変更部２３２は、生成した画像データ２８２を色混合部２３３に供給する。

色混合部２３３は、取得した画像データ２８２におけるＲＧＢ成分を合計する処理を行う。詳しくは、色混合部２３３は、帯域全てのＲ成分のデータとＧ成分のデータとＢ成分のデータとを合計する処理を行う。そして、色混合部２３３は、合計した画像データ２８３を輝度／面積変換部２３４に供給する。

なお、色混合部２３３には、正規化されたＲ成分のデータ、Ｇ成分のデータ、及びＢ成分のデータが入力される。よって、Ｒ成分のデータ、Ｇ成分のデータ、及びＢ成分が互いに等しい場合には、「Ｒ成分のデータ：Ｇ成分のデータ：Ｂ成分のデータ＝１：１：１」となる。本実施例に係る画像処理部２３０は、「Ｒ成分のデータ：Ｇ成分のデータ：Ｂ成分のデータ＝１：１：１」となる画像データが、白色によって表示されるようにする。

一方、輝度／面積変換部２３４には、色混合部２３３で生成された画像データ２８３が入力される。この場合、輝度／面積変換部２３４は、複数のチャンネルから得られた画像データ２８３の全てを考慮に入れて処理を行う。具体的には、輝度／面積変換部２３４は、複数のチャンネルの音声信号のレベルに応じて、入力された複数の画像データ２８３の輝度を変更すると共に、表示される画像の面積（寸法も含む）を割り当てる処理を行う。即ち、輝度／面積変換部２３４は、全てのチャンネルの特性に基づいて各チャンネルの画像データ２８３を変換する。そして、輝度／面積変換部２３４は、生成した画像データ２８４をグラフィックス生成部２３５に供給する。

グラフィックス生成部２３５は、画像の輝度及び面積の情報を含む画像データ２８４を取得し、モニタ２０５が表示可能なグラフィックスデータ２９０を生成する。そして、モニタ２０５は、グラフィックス生成部２３５から取得したグラフィックスデータ２９０を表示する。

ここで、画像処理部２３０において行われる処理を、図９を用いて具体的に説明する。図９は、色割り当て部２３１における処理、輝度変更部２３２における処理、及び色混合部２３３における処理を模式的に示した図である。

図９の上段には、音声信号の周波数スペクトルを示しており、横軸に周波数を示し、縦軸に音声信号のレベルを示している。この周波数スペクトルは、周波数Ｆ１〜Ｆ６を中心とする６つの周波数帯域に弁別された１チャンネル分の音声信号のレベルを示している。

画像処理部２３０の色割り当て部２３１は、６つの周波数帯域に弁別されたデータに対して画像データＧ１〜Ｇ６を割り当てる。画像データＧ１〜Ｇ６におけるハッチングの違いは、色の違いを示している。画像データＧ１〜Ｇ６は、ＲＧＢ成分からなるデータである。色割り当て部２３１は、ユーザが表示画像を理解しやすくするために、例えば、音の波長と光の波長とに基づいて音声信号の周波数の高低（波長の長短）と色の変化（光の波長の長短）とを関連付けて色を割り当てることができる。より詳しくは、画像データＧ１を「赤色」、画像データＧ２を「橙色」、画像データＧ３を「黄色」、画像データＧ４を「緑色」、画像データＧ５を「青色」、画像データＧ６を「紺色」に設定することができる（周波数の高低と色の変化とをこの逆に設定してもよい）。なお、画像データＧ１〜Ｇ６の輝度は数値的に等しい。また、色割り当て部２３１は、画像データＧ１〜Ｇ６のＲＧＢ形式のデータにおいて、Ｒ成分、Ｇ成分、及びＢ成分ごとに全て足し合わせて得られたデータが「白色」を示すデータとなるように、各帯域に対して割り当てる画像データＧ１〜Ｇ６を設定する。この理由については、詳細は後述する。

輝度変更部２３２は、このように色が割り当てられた画像データＧ１〜Ｇ６に対して、各々の帯域のレベルに応じて輝度を変更することによって、画像データＧ１ｃ〜Ｇ６ｃを生成する。これにより、例えば画像データＧ１の輝度は大きくなり、画像データＧ５の輝度は小さくなる。そして、色混合部２３３は、画像データＧ１ｃ〜Ｇ６ｃの各々のＲＧＢ成分のデータを全て合計することによって、画像データＧ１０を生成する。

ここで、色混合部２３３で行われるＲＧＢ成分のデータを合計する処理の具体例を、図１０を用いて説明する。図１０は、音声信号を周波数Ｆ１〜Ｆｎを中心とするｎ個の周波数帯域に弁別した場合における、輝度変更部２３２で輝度を変更されたデータと、色混合部２３３によって合計して得られるデータとを示している。なお、図１０は、１チャンネル分の音声信号のデータを示している。

輝度変更部２３２において輝度を変更されたデータは、周波数Ｆ１を中心とする帯域（以下、周波数Ｆｘを中心とする帯域を「帯域Ｆｘ」と呼ぶ（「１≦ｘ≦ｎ」）。）のデータは、Ｒ成分が「ｒ_１」、Ｇ成分が「ｇ_１」、Ｂ成分が「ｂ_１」となっている。同様に、帯域Ｆ２のデータは、Ｒ成分が「ｒ_２」、Ｇ成分が「ｇ_２」、Ｂ成分が「ｂ_２」となっており、帯域Ｆｎのデータは、Ｒ成分が「ｒ_ｎ」、Ｇ成分が「ｇ_ｎ」、Ｂ成分が「ｂ_ｎ」となっている。この場合、各帯域を示す画像データの色は、ＲＧＢ成分の各々のデータを合計した値によって表され、帯域Ｆ１においては「ｒ_１＋ｇ_１＋ｂ_１」であり、帯域Ｆ２においては「ｒ_２＋ｇ_２＋ｂ_２」であり、帯域Ｆｎにおいては「ｒ_ｎ＋ｇ_ｎ＋ｂ_ｎ」である。

このように輝度変更部２３２で生成されたデータを色混合部２３３において合計する処理を行うと、Ｒ成分のデータは「ｒ＝ｒ_１＋ｒ_２＋…＋ｒ_ｎ」となり、Ｇ成分のデータは「ｇ＝ｇ_１＋ｇ_２＋…＋ｇ_ｎ」となり、Ｂ成分のデータは「ｂ＝ｂ_１＋ｂ_２＋…＋ｂ_ｎ」となる。よって、処理の対象となっているチャンネルの周波数特性は、これらのデータを合計した「ｒ＋ｇ＋ｂ」によって表わされる。即ち、このチャンネルの周波数特性は、データ「ｒ＋ｇ＋ｂ」に対応する画像の色によって認識することができる。なお、Ｒ成分、Ｇ成分、及びＢ成分のデータを合計して得られる「ｒ」、「ｇ」、「ｂ」は、予め設定された最大値などによって正規化した値が用いられる。また、この時点で得られる画像の輝度は、チャンネル間で数値的に等しい状態となるように、チャンネルごとに正規化される。

なお、上記の処理の後、輝度／面積変換部２３４において、複数のチャンネル間のレベル差に応じて、合計して得られた画像の輝度、面積（グラフィック面積）、及び寸法のうち少なくともいずれかが変更される。これにより、表示される画像の色がチャンネルごとの周波数特性を示し、表示される画像の輝度、面積、寸法が各チャンネルのレベルを示すようになる。なお、色混合部２３３における合計の処理後に正規化せずに、全チャンネルで正規化した場合には、各チャンネルのレベルが輝度を示すようになる。

以上のように各帯域のデータを合計することによって、合計して得られたデータの色づき具合が周波数特性を示すものとなるので、ユーザは直感的に周波数特性を認識することができる。例えば、低周波の帯域の色を赤色系に設定し、高周波数の帯域の色を青色系に設定した場合には、色混合部２３３で得られた画像の色が赤みを帯びている場合には低周波数のレベルが大きいことがわかり、逆に青みを帯びている場合には高周波数のレベルが大きいことがわかる。即ち、本実施例に係る音声信号処理装置２００は、周波数の帯域ごとのデータを混合して生成した１つの画像を表示させるため、１チャンネル分の周波数特性をより少ない画像で表現することができる。これにより、ユーザは、スピーカから出力される音声信号の周波数特性を容易に理解することができる。よって、音場特性の測定、調整時におけるユーザの負担を軽減することが可能となる。

また、色割り当て部２３１において、割り当てる色データを全て合計したデータが「白色」を示すデータとなるように色データを設定しているので、最終的に色混合部２３３で得られたＲ成分のデータ「ｒ」とＧ成分のデータ「ｇ」とＢ成分のデータ「ｂ」が互いに等しい場合、即ち「ｒ：ｇ；ｂ＝１：１：１」である場合には、これらを合計して得られるデータの色も白色となる。この場合、「ｒ」と「ｂ」と「ｇ」が互いに等しい場合には、各帯域のレベルが概ね同一である、即ち周波数特性が平坦である。以上より、ユーザは、音声信号の周波数特性が平坦であることを容易に認識することが可能となる。

ここで、輝度変更部２３２及び輝度／面積変換部２３４において行われる、音声信号のレベル／エネルギーに応じて画像の輝度や寸法や面積など（以下、これらを合わせて「グラフィックパラメータ」とも呼ぶ。）を変化させる処理の具体例について、図１１を用いて説明する。

図１１は、横軸に測定された音声信号のレベル／エネルギーを示し、縦軸に音声信号のレベル／エネルギーに応じて変換されたグラフィックパラメータを示している。なお、図１１の横軸の値は、音声信号のエネルギーに基づいて設定する場合には、測定用信号発生器２０３が測定の際に発生する信号（以下、「テスト信号」と呼ぶ。）のエネルギー、又は測定で得られた最大のエネルギーを「１」として、これらによって正規化した値を用いる。一方、音圧レベルに基づいて設定する場合には、システム上の設計者又はユーザが決める任意のレベルを基準レベルとして設定した値、或いはテスト信号又は最大測定値を基準レベルとして設定した値を用いる。

図１１（ａ）は、音声信号のレベル／エネルギーをグラフィックパラメータに変換する処理の第１の例を示している。この場合、測定された音声信号のレベル／エネルギーに対してグラフィックパラメータが一次式の関係を満たすように変換の処理が行われる。

図１１（ｂ）は、グラフィックパラメータに変換する処理の第２の例を示している。この場合、音声信号のレベル／エネルギーとグラフィックパラメータとを階段状に対応付けた関数を用いて変換の処理が行われる。この場合、グラフィックパラメータに不感帯が設けられているので、音声信号のレベル／エネルギーの変化に対して、グラフィックパラメータの変化は敏感ではなくなる。

図１１（ｃ）は、グラフィックパラメータに変換する処理の第３の例を示している。この場合には、Ｓ字型形状のカーブで表された関数を用いて変換の処理が行われる。この場合、音声信号のレベル／エネルギーの最小値及び最大値付近でグラフィックパラメータの変化の度合いを緩やかにすることができる。

上記の第２の例及び第３の例で示したように、単純な一次関数を用いてグラフィックパラメータに変換する処理を行わないのは、人間は色むら（相対的な色の違い）を感じやすいため、レベル変化に対してあまり敏感な輝度変化などを与えると微小なレベル変化の違いも大きなものとして知覚される可能性があるからである。即ち、輝度変更部２３２及び輝度／面積変換部２３４は、人間の視覚特性を考慮に入れて、生成する画像データの輝度を変更することができる。

なお、図１１（ａ）〜（ｃ）に示したような関係に基づいてグラフィックパラメータに変換する処理を行う代わりに、測定された音声信号の音圧レベルに基づいて、基準レベルから所定値だけ低い音声信号が、グラフィックパラメータの最小値（例えば、輝度「０」）となるような変換を行ってもよい。この場合、所定値に用いる具体的な値としては、設計者又はユーザが決める任意の値（ユーザが自由に調整できるようにしてもよい）、或いは一般的に残響時間を算出する際の基準となる「−６０ｄＢ」のレベル（このレベルをエネルギーに換算した値を用いてもよい。）、若しくは測定したリスニングルームの暗騒音のレベル（暗騒音以下の情報は測定不能であるため、暗騒音以下のデータを表示する機会がないためである。）等を用いることができる。

（表示画像の具体例）
次に、上記のような画像処理後にモニタ２０５に表示される画像について、図１２を用いて説明する。

図１２は、モニタ２０５に表示される画像の具体例を示している。図１２は、５つのスピーカＸ１〜Ｘ５から出力された音声信号（即ち、５チャンネル）の測定結果に対応するデータ全てが同時に表示された画像Ｇ２０を示している。この場合、画像Ｇ２０においてスピーカＸ１〜Ｘ５が表示されている位置は、測定が行われたリスニングルームにおけるスピーカＸ１〜Ｘ５の配置位置に概ね対応している。また、スピーカＸ１〜Ｘ５に対する測定結果を示す画像は、扇形の形状を有する画像３０１〜３０５によって表わされている。具体的には、画像３０１〜３０５の色がスピーカＸ１〜Ｘ５の各々の周波数特性を示しており、画像３０１〜３０５の扇形の半径がスピーカＸ１〜Ｘ５における音のレベルを相対的に示している。

また、画像Ｇ２０では、扇形の画像３０１〜３０５の周囲の領域Ｗが白色で表示されている。こうするのは、スピーカＸ１〜Ｘ５の周波数特性を示す画像３０１〜３０５の色と、周波数特性が平坦であるときの色（白色）とを容易に比較可能にするためである。

このような画像Ｇ２０を表示することにより、ユーザは、扇形３０１〜３０５の色を見て、周波数特性が偏っているスピーカを即座に特定することができると共に、扇形３０１〜３０５の半径を見ることにより、スピーカＸ１〜Ｘ５間の音のレベルを容易に比較することが可能となる。また、画像Ｇ２０においてスピーカＸ１〜Ｘ５が表示されている位置が実際のスピーカＸ１〜Ｘ５の配置位置に概ね対応しているため、ユーザは、スピーカＸ１〜Ｘ５間の比較を容易に行うことができる。

以上のように、本実施例に係る音声信号処理装置２００では、５チャンネル分の測定結果を１つの画像中に全て表示しても、各チャンネルの周波数の帯域ごとの画像を全て表示せずに、周波数の帯域ごとのデータを混合した画像をチャンネルごとに表示する。これにより、表示される画像は簡便なものとなるため、ユーザが画像を理解する際に要する負担を軽減することができる。

なお、本実施例に係る音声信号処理装置２００は、各チャンネルの特性を示すデータを分割して表示する代わりに、全てのチャンネルのデータを混合（即ち、ＲＧＢ成分のデータを全てのチャンネルで合計する）した画像も表示することができる。この場合、ユーザは、チャンネル全体の状態を即座に認識することができる。

ここで、上記した図１２で示す画像をアニメーション表示（音声信号の特性が時間変化する様子を示す画像を表示すること）するために用いるテスト信号について説明する。図１２で示す画像をアニメーション表示させた場合、各チャンネルの扇形が最初は表示されない状態から徐々に大きくなり、定常状態の後信号が入力されなくなると、徐々に小さくなって行く様子が表示される。このようなアニメーション表示を行うためには、各チャンネルの立ち上がり、定常状態、及び立ち下がりのデータが必要となる。テスト信号は、このようなデータを得るために用いられる。

図１３は、テスト信号の一例を示した図である。図１３は、横軸に時間を示し、縦軸に音声信号のレベルを示しており、測定用信号発生器２０３が出力したテスト信号を表示している。このテスト信号は、時刻ｔ１から時刻ｔ３までの期間発生され、ノイズ信号によって構成される。測定データは、各バンドパスフィルタ２０７の出力の時間変化を記録することによって得られる。詳しくは、立ち上がり時刻と、立ち上がり時の周波数特性と、定常状態の周波数特性と、立ち下がり時刻と、立ち下がり時の周波数特性とが解析される。立ち上がりの状態、定常状態、及び立ち下がりの状態は、各バンドパスフィルタ２０７の出力の変化率で判断される。例えば、測定データがテスト信号を再生していないときからから３ｄＢ上昇した場合に立ち上がり状態である判断され、逆に、測定データの変化が±３ｄＢ以内にある場合には定常状態である判断される。なお、このような判断のために用いる閾値は、暗騒音やリスニングルームの状態、又は解析のフレーム時間によって変化させる必要がある。また、アニメーション表示のために必要なデータを、テスト信号を用いて求めることに限定はされない。例えば、システムのインパルス応答や、システムの伝達関数などに基づいて解析することによって求めてもよい。

なお、他の例では、音声信号処理装置２００は、アニメーション表示を時間方向に伸縮させた画像も表示させることができる。例えば、スピーカにおいて測定された音声信号において、音声信号が定常状態にあるときには画像を「早送り」表示し、音声信号が立ち上がりや立下り等の急峻な変化が生じているときには「スロー」表示を行うことができる。このように、「早送り」表示及び「スロー」表示を行うことにより、ユーザは音声信号の変化を認識しやすくなる。

また、音声信号処理装置２００は、図１３に示したようなテスト信号をアニメーション表示することもできる。これによっても、ユーザは聴いている音を同時に見ることができるため、ユーザの理解を助けることが可能となる。この場合には、実時間で測定表示する必要はなく、測定した結果を表示するときにテスト信号を再生すればよい。即ち、音声信号処理装置２００は、アニメーション開始と共に信号を再生し、定常状態を経た後に信号再生を停止し、減衰のアニメーション表示に切り替える。また、実際の音響的な変化をリアルタイムでアニメーション表示してしまうと人間が知覚するのは難しいため、立ち上がり及び立ち下がり部分のアニメーションを「スロー」表示（例えば、実時間の１０００倍msec程度）にすることが好ましい。

また、本発明は、音声信号を測定しながらリアルタイムで画像表示を行うことに限定はされず、各チャンネルの音声信号を測定した後に一括して画像表示を行ってもよい。また、前述した種々の表示画像は、ユーザが表示画像のモードを切り替えることによって選択することができる。

更に、本発明は、測定時のみにアニメーション表示を行うことに限定はされず、通常の音楽再生時にリアルタイムでアニメーション表示を行ってもよい。この場合には、音場をマイクで測定したり、或いはソースの信号を直接解析したりすることによって、アニメーション表示が実行される。

本発明は、個人用又は業務用のオーディオシステム、ホームシアターなどに利用することができる。

Claims (10)

1. 周波数の帯域ごとに弁別された音声信号を取得する取得手段と、
   取得した前記音声信号に対して帯域ごとに異なる色データを割り当てる色割り当て手段と、
   前記音声信号の前記帯域ごとのレベルに基づいて、前記色データの輝度を変化させたデータを生成する輝度変更手段と、
   前記輝度変更手段が生成したデータを全ての帯域で合計したデータを生成する色混合手段と、
   前記色混合手段が生成したデータから、画像表示装置に表示するための画像データを生成する表示画像生成手段と、を備えることを特徴とする音声信号処理装置。
2. 前記色割り当て手段は、前記音声信号の前記帯域ごとのレベルが同一であるときに、前記色データを全て合計したデータが特定の色を示すデータとなるように当該色データを設定することを特徴とする請求の範囲第１項に記載の音声信号処理装置。
3. 前記表示画像生成手段は、前記画像データと前記特定の色とが同時に表示されるように前記画像データを生成することを特徴とする請求の範囲第２項に記載の音声信号処理装置。
4. 前記色割り当て手段は、前記色データの色の変化が前記帯域の周波数の高低に対応するように、当該色データを設定することを特徴とする請求の範囲第１項に記載の音声信号処理装置。
5. 前記輝度変更手段は、人間の視覚特性を考慮して、前記色データの輝度を変化させることを特徴とする請求の範囲第１項に記載の音声信号処理装置。
6. 前記取得手段は、スピーカから出力された出力信号の各々に対して前記周波数の帯域ごとに弁別された前記音声信号を取得し、
   前記色割り当て手段は、前記スピーカから出力された前記音声信号の各々に対して、前記色データを割り当て、
   前記輝度変更手段は、前記スピーカから出力された前記音声信号の各々のレベルに基づいて、前記色データの輝度を変化させたデータを生成し、
   前記色混合手段は、前記スピーカから出力された前記出力信号に対して、全ての帯域で合計したデータを生成し、
   前記表示画像生成手段は、前記スピーカから出力された前記出力信号の各々に対して前記色混合手段が生成したデータが、前記画像表示装置に同時に表示されるように前記画像データを生成することを特徴とする請求の範囲第１項に記載の音声信号処理装置。
7. 前記表示画像生成手段は、前記スピーカから出力された前記出力信号の各々のレベルに応じて、前記画像表示装置に表示させる前記画像データの輝度、面積、及び寸法のうち少なくともいずれかを設定した前記画像データを生成することを特徴とする請求の範囲第６項に記載の音声信号処理装置。
8. 前記表示画像生成手段は、前記スピーカの実際の配置位置を反映した画像が表示されるように前記画像データを生成することを特徴とする請求の範囲第６項に記載の音声信号処理装置。
9. コンピュータを、音声信号処理装置として機能させるためのコンピュータプログラムであって、
   周波数の帯域ごとに弁別された音声信号を取得する取得手段と、
   取得した前記音声信号に対して帯域ごとに異なる色データを割り当てる色割り当て手段と、
   前記音声信号の前記帯域ごとのレベルに基づいて、前記色データの輝度を変化させたデータを生成する輝度変更手段と、
   前記輝度変更手段が生成したデータから、全ての帯域で合計したデータを生成する色混合手段と、
   前記色混合手段が生成したデータを画像表示装置に表示するための画像データを生成する表示画像生成手段と、を備えることを特徴とするコンピュータプログラム。
10. 周波数の帯域ごとに弁別された音声信号を取得する取得工程と、
    取得した前記音声信号に対して帯域ごとに異なる色データを割り当てる色割り当て工程と、
    前記音声信号の前記帯域ごとのレベルに基づいて、前記色データの輝度を変化させたデータを生成する輝度変更工程と、
    前記輝度変更工程で生成されたデータを全ての帯域で合計したデータを生成する色混合工程と、
    前記色混合工程で生成されたデータから、画像表示装置に表示するための画像データを生成する表示画像生成工程と、を備えることを特徴とする音声信号処理方法。
    

Images