JP5034107B2 - 音声処理装置、音声処理装置の音声処理方法及びプログラム - Google Patents

Description

本発明は、音声処理装置、音声処理装置の音声処理方法及びプログラムに関するものである。

音声処理装置として、複数のマイクロフォンによって構成されたマイクロフォンアレイを用いて不要な音をなるべく受信しないように信号処理を行うものがあり、このような音声処理装置は、テレビ会議システム等に広く用いられている（例えば、非特許文献１参照）。

このような音声処理装置では、いずれかのマイクロフォンに故障等が発生した場合、正常な音声処理を行えなくなる。

このため、入力信号が所定レベル以上のパワーを有していない場合に、マイクロフォンの故障と判定することによって各マイクロフォンの異常動作判定を行い、正常と診断されたマイクロフォンのみを用いて信号処理を行う音声処理装置がある（例えば、特許文献１参照）。
特開２００２−１５９０８６号公報 大賀寿郎、山崎芳男、金田豊共著、"音響システムとディジタル処理、"社団法人 電子情報通信学会

しかし、従来の音声処理装置では、入力後の信号が所定レベル以上のパワーを有していない場合に異常動作と判定されるため、外部から、常に所定レベル以上のパワーを有する信号を入力しなければ、異常動作判定を行うことができない。

このため、従来の音声処理装置では、任意の音声信号が入力される音声処理中に故障診断を行えず、音声処理を行っていない期間に、異常動作判定用の音声信号を外部から入力して異常動作判定を行う必要がある。

本発明は、このような従来の問題点に鑑みてなされたもので、音声処理中であっても、マイクロフォンアレイを構成する複数のマイクロフォンの異常動作の判定を行うことが可能な音声処理装置を提供することを目的とする。

また、本発明は、音声処理中であっても、正常な音声信号処理を継続させることが可能な音声処理装置、音声処理装置の音声処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る音声処理装置は、
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイと、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する音声取得手段と、
前記音声取得手段の判定結果に基づいて、音声処理に使用するマイクロフォンを決定し、決定したマイクロフォンを使用して音声処理を行う音声処理手段と、を備え、
前記音声取得手段は、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定手段を備え、
前記無音判定手段が無音と判定したときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定手段が無音ではないと判定したときに各マイクロフォンの動作異常の判定を行う、ことを特徴とする。

前記無音判定手段は、前記音声取得手段が取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、すべての音声信号の信号レベルが前記無音判定値未満となったときは、すべての音声信号の信号レベルが前記無音判定値未満となっている時間を計測し、当該計測時間が予め設定された規定時間を越えたときに無音と判定するようにしてもよい。

前記音声取得手段は、取得した各音声信号の特徴量として、各音声信号の信号レベルを比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するようにしてもよい。

本発明の第２の観点に係る音声処理装置は、
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイと、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する音声取得手段と、
前記音声取得手段の判定結果に基づいて、音声処理に使用するマイクロフォンを決定し、決定したマイクロフォンを使用して音声処理を行う音声処理手段と、を備え、
前記音声取得手段は、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、ことを特徴とする。

音声の特徴量が予め設定された確認音を音声処理の開始時に出力する確認音出力手段を備え、
前記マイクロフォンアレイの前記複数のマイクロフォンは、前記確認音出力手段が出力した前記確認音を入力し、
前記音声取得手段は、前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した確認音に基づいて、それぞれの音声信号を取得し、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を前記音声処理の開始時に判定するようにしてもよい。

前記音声取得手段が前記マイクロフォンアレイの各マイクロフォン動作異常と判定したときに、警告音を出力する警告音出力手段を備えたものであってもよい。

本発明の第３の観点に係る音声処理装置の音声処理方法は、
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイを備えた音声処理装置の音声処理方法であって、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するステップと、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するステップと、
前記マイクロフォンの動作異常の判定結果に基づいて、音声処理に使用するマイクロフォンを決定するステップと、
決定したマイクロフォンを使用して音声処理を行うステップと、を備え、
前記マイクロフォンの動作異常を判定するステップは、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定ステップを備え、
前記無音判定ステップにより無音と判定されたときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定ステップにより無音ではないと判定されたときに各マイクロフォンの動作異常の判定を行う、ことを特徴とする。
本発明の第４の観点に係る音声処理装置の音声処理方法は、
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイを備えた音声処理装置の音声処理方法であって、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するステップと、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するステップと、
前記マイクロフォンの動作異常の判定結果に基づいて、音声処理に使用するマイクロフォンを決定するステップと、
決定したマイクロフォンを使用して音声処理を行うステップと、を備え、
前記マイクロフォンの動作異常を判定するステップでは、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
ことを特徴とする。

本発明の第５の観点に係るプログラムは、
コンピュータに、
マイクロフォンアレイを構成する複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得する手順、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する手順、
前記マイクロフォンの動作異常を判定した判定結果に基づいて、音声処理に使用するマイクロフォンを決定する手順、
決定したマイクロフォンを使用して音声処理を行う手順、を実行させ、
前記マイクロフォンの動作異常を判定する手順は、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定手順を備え、
前記無音判定手順により無音と判定されたときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定手順により無音ではないと判定されたときに各マイクロフォンの動作異常の判定を行う、
ためのものである。
本発明の第６の観点に係るプログラムは、
コンピュータに、
マイクロフォンアレイを構成する複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得する手順、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する手順、
前記マイクロフォンの動作異常を判定した判定結果に基づいて、音声処理に使用するマイクロフォンを決定する手順、
決定したマイクロフォンを使用して音声処理を行う手順、を実行させ、
前記マイクロフォンの動作異常を判定する手順では、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
ためのものである。

本発明によれば、音声処理中であっても、マイクロフォンアレイを構成する複数のマイクロフォンの異常動作の判定を行うことができる。また、音声処理中であっても、正常な音声信号処理を継続させることができる。

以下、本発明の実施形態に係る音声処理装置を図面を参照して説明する。
本実施形態に係る音声処理装置の構成を図１に示す。
本実施形態に係る音声処理装置１は、情報格納部１１と、音声取得部１２と、音声出力部１３と、操作部１４と、表示部１５と、通信部１６と、制御部１７と、を備える。

情報格納部１１は、プログラム、ユーザ情報、通信部１６が受信した情報、音声データ、マイクロフォンバラつき補正値１１１、規格値等を格納するものである。

マイクロフォンバラつき補正値１１１は、複数のマイクロフォンの特性を補正するための補正値である。

マイクロフォンバラつき補正値１１１は、予め測定したマイクロフォン特性データに基づいて、製品出荷時などにおいて情報格納部１１に書き込まれる。

規格値は、無音判定、マイクロフォンアレイ異常動作判定、動作異常のマイクロフォンの特定に用いる各種閾値である。

音声取得部１２は、複数の音声信号を取得するものであり、マイクロフォンアレイ１２１と、Ａ／Ｄ変換器と、マイクロフォンバラつき補正部１２３と、マイクロフォンアレイ異常動作判定部１２４と、を備える。

また、音声取得部１２は、複数の音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較した結果に基づいて、マイクロフォンアレイ異常動作の判定を行う。

音声処理装置１は、このような音声取得部１２を備えることにより、音声処理中であっても、マイクロフォンアレイを構成する複数のマイクロフォンの異常動作判定を行えるようにしている。

マイクロフォンアレイ１２１は、複数のマイクロフォンとして、３つのマイクロフォン１２１１，１２１２，１２１３によって構成されたものである。マイクロフォン１２１１，１２１２，１２１３は、それぞれ、音声を入力してアナログ音声信号Ｓma１，Ｓma２，Ｓma３を出力するものである。

Ａ／Ｄ変換器は、マイクロフォン１２１１，１２１２，１２１３がそれぞれ出力したアナログ音声信号Ｓma１，Ｓma２，Ｓma３に対してアナログ−デジタル変換を行い、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３を出力するものである。

マイクロフォンバラつき補正部１２３は、情報格納部１１に格納されているマイクロフォンバラつき補正値１１１を用いて、マイクロフォン１２１１，１２１２，１２１３の特性バラつきを補正するものである。

マイクロフォンバラつき補正部１２３は、特性バラつきとして、マイクロフォン１２１１，１２１２，１２１３の振幅特性、位相特性等を補正する。

マイクロフォンアレイ異常動作判定部１２４は、マイクロフォン１２１１，１２１２，１２１３の故障、マイクロフォンふさぎ等によるマイクロフォンアレイ異常動作の判定を行うものである。

音声処理装置１は、それぞれ、マイクロフォン１２１１，１２１２，１２１３に音声を入力するための入力孔を備えており、マイクロフォンふさぎとは、この入力孔をふさいでしまうことをいう。

マイクロフォン１２１１，１２１２，１２１３のいずれかに故障やマイクロフォンふさぎがあると、音声処理装置１は、すべてのマイクロフォン１２１１，１２１２，１２１３を用いて正常な音声処理を行うことができなくなる。

マイクロフォンアレイ異常動作判定部１２４は、各デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３の特徴量を比較し、比較結果に基づいて、このような動作状態をマイクロフォンアレイ異常動作と判定するためのものである。

このため、マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１と、音量比較部１２４２と、相関係数計算部１２４３と、を備える。

無音判定部１２４１は、無音判定を行うものである。無音とは、すべてのマイクロフォン１２１１，１２１２，１２１３に音声が入力されない状態をいう。

無音判定を行うのは、無音区間が存在するような音声信号を異常動作判定用の外部入力信号として選択した場合でも、この無音区間において、すべてのマイクロフォン１２１１〜１２１３が異常動作と誤判定しないようにするためである。

無音判定部１２４１は、デジタル音声信号Smd１，Smd２，Smd３のそれぞれの信号レベルＬmd_１，Ｌmd_2，Ｌmd_3と、無音を判定するために予め設定された規定レベルＬmd_thと、を比較する。

情報格納部１１は、この規定レベルＬmd_thを予め記憶し、無音判定部１２４１は、情報格納部１１からこの規定レベルＬmd_thを読み出して信号レベルＬmd_1，Ｌmd_2，Ｌmd_3と比較する。

無音判定部１２４１は、時間を計測するタイマを有し（図示せず）、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3が規定レベルＬmd_th未満の場合、規定レベルＬmd_th未満になったときからの時間を計測する。この計測時間をＴとする。

情報格納部１１は、この計測時間Ｔと比較するための規定時間Ｔthを予め記憶する。無音判定部１２４１は、情報格納部１１からこの規定時間Ｔthを読み出して計測時間Ｔと規定時間Ｔthとを比較する。

無音判定部１２４１は、計測時間Ｔが規定時間Ｔthを越えたとき、無音と判定し、マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音と判定したときは、マイクロフォンアレイ異常動作の判定を行わない。

音量比較部１２４２は、マイクロフォンアレイ異常動作を判定するため、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３の特徴量として、それぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較するものである。

例えば、信号レベルＬmd_1，Ｌmd_2間の信号レベル差ΔＬ_12が、信号レベルＬmd_2，Ｌmd_3間の信号レベル差ΔＬ_23、信号レベルＬmd_3，Ｌmd_1間の信号レベル差ΔＬ_31と比較して非常に大きい場合、マイクロフォン１２１１が故障であるか、あるいは、マイクロフォン１２１１に対するマイクロフォンふさぎがあった可能性がある。

このため、音量比較部１２４２は、それぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較して、信号レベル差ΔＬ_12，ΔＬ_23、ΔＬ_31を取得する。

相関係数計算部１２４３は、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３の特徴量として、デジタル音声信号Ｓmd１，Ｓmd２間の相互相関係数（以後、単に「相関係数」と記す。）ｒ12、デジタル音声信号Ｓmd２，Ｓmd３間の相関係数ｒ23，デジタル音声信号Ｓmd3，Ｓmd1間の相関係数ｒ31を計算するものである。

例えば、信号レベルＬmd_1，Ｌmd_2間の相関係数ｒ12と信号レベルＬmd_3，Ｌmd_1間の相関係数ｒ31とが、信号レベルＬmd_2，Ｌmd_3間の相関係数ｒ23と比較して非常に小さい場合、マイクロフォン１２１１が故障であるか、あるいは、マイクロフォン１２１１に対するマイクロフォンふさぎがあった可能性がある。

相関係数計算部１２４３は、このようなマイクロフォンアレイ異常動作を判定するため、各相関係数ｒ11，ｒ23，ｒ31を計算する。

相関係数計算部１２４３は、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３のそれぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を予め設定された規定期間だけ蓄積する。

相関係数計算部１２４３は、蓄積した信号レベルＬmd_1，Ｌmd_2，Ｌmd_3に対して、フーリエ変換を行い、得られたそれぞれの振幅特性に対し、相関係数ｒ11，ｒ23，ｒ31を計算する。

音量比較部１２４２、相関係数計算部１２４３がこのような計算を行うと、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果と相関係数計算部１２４３の計算結果とに基づいてマイクロフォンアレイ異常動作の判定を行う。

音量比較部１２４２の計算結果を利用する場合、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２が取得した信号レベル差ΔL_12，ΔL_23，ΔL_31を、それぞれ、予め設定された規格値ΔＬ_thと比較する。

規格値ΔＬ_thは、マイクロフォンアレイ異常動作判定用に予め設定された閾値であり、情報格納部１１は、この規格値ΔＬ_thを記憶する。マイクロフォンアレイ異常動作判定部１２４は、情報格納部１１からこの規格値ΔＬ_thを読み出して、それぞれ、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31と比較する。

マイクロフォンアレイ異常動作判定部１２４は、比較した結果、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31がすべて規格値ΔＬ_th未満の場合は、マイクロフォンアレイ１２１が正常に動作していると判定する。

一方、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31のうち、規格値ΔＬ_th以上となったものがあれば、マイクロフォンアレイ異常動作判定部１２４は、マイクロフォンアレイ異常動作と判定する。

マイクロフォンアレイ異常動作と判定すると、マイクロフォンアレイ異常動作判定部１２４は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較して動作異常のマイクロフォンを判別する。

マイクロフォンアレイ異常動作判定部１２４は、マイクロフォン１２１１〜１２１３に入力される音声が変動するため、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3のうち、最も高い信号レベルを基準にして動作異常のマイクロフォンを判別する。

即ち、最も高い信号レベルをＬmd_x、他の信号レベルをＬmd_y、信号レベルＬmd_xとＬmd_yとの信号レベル差をΔＬ_xyとすると、マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_xyと規定値ΔＬ_thとを比較する。

信号レベル差ΔＬ_xyが規定値ΔＬ_th以上の場合、マイクロフォンアレイ異常動作判定部１２４は、信号レベルＬmd_yに対応するマイクロフォンが動作異常と判別する。

相関係数計算部１２４３の計算結果を利用する場合、マイクロフォンアレイ異常動作判定部１２４は、相関係数計算部１２４３が計算した相関係数ｒ11，ｒ23，ｒ31を、それぞれ、予め設定された規格値ｒ_thと比較する。

規格値ｒ_thは、マイクロフォンアレイ異常動作判定用に予め設定された閾値であり、情報格納部１１は、この規格値ｒ_thを記憶する。マイクロフォンアレイ異常動作判定部１２４は、情報格納部１１からこの規格値ｒ_thを読み出して、それぞれ、相関係数ｒ11，ｒ23，ｒ31と比較する。

マイクロフォンアレイ異常動作判定部１２４は、相関係数ｒ11，ｒ23，ｒ31のすべてが規格値ｒ_th以上であれば、マイクロフォン１２１１〜１２１３は正常に動作していると判定する。

一方、相関係数ｒ11が規格値ｒ_th未満であれば、マイクロフォンアレイ異常動作判定部１２４は、相関係数ｒ11が低いと判定する。同様に、それぞれ、相関係数ｒ23，ｒ31が規格値ｒ_th未満であれば、マイクロフォンアレイ異常動作判定部１２４は、相関係数ｒ23，ｒ31が低いと判定する。

相関係数の場合、例えば、マイクロフォン１２１２，１２１３が正常であってマイクロフォン１２１１が故障、又はマイクロフォンふさぎがあった場合、相関係数ｒ12，ｒ31は低くなる。

この場合、相関係数ｒ12，ｒ31がマイクロフォン１２１１に関係する相関係数なので、マイクロフォンアレイ異常動作判定部１２４は、マイクロフォンアレイ異常動作と判定し、マイクロフォン１２１１が動作異常のマイクロフォンと判別する。

尚、本実施形態では、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果及び相関係数計算部１２４３の計算結果の双方を利用して、マイクロフォンアレイ異常動作の判定を行うものとする。

マイクロフォンアレイ異常動作判定部１２４は、マイクロフォンアレイ異常動作判定処理を行うと、この判定結果を制御部１７に通知する。マイクロフォンアレイ異常動作と判定した場合、このマイクロフォンアレイ異常動作の判定結果とともに動作異常となったマイクロフォンを制御部１７に通知する。

音声出力部１３は、音声処理装置１の状態を音声処理装置１の使用者に通知するための音声を出力するものである。音声出力部１３は、音声処理の開始時に確認音を出力する。

また、音声出力部１３は、マイクロフォンアレイ異常動作の判定時に、マイクロフォンアレイ異常動作要因が音声処理装置１の使用者にあることを通知するため、警告音を出力する。

操作部１４は、音声処理装置１の使用者の入力を受け付けるものである。操作部１４は、使用者が操作する複数の操作キー（図示せず）を備え、使用者が複数の操作キーを操作することによって入力された音声処理の開始命令、終了命令等を受け付ける。操作部１４は、この使用者の入力を受け付けると、この入力情報を制御部１７に供給する。

表示部１５は、情報を表示するものである。表示部１５は、通信部１６が受信した情報、情報格納部１１に格納された情報、音声処理装置１の使用者が操作部１４に入力した情報を表示する。

通信部１６は、ネットワークを介して、他の装置と通信を行うものである。通信部１６は、制御部１７から音声データが供給されると、供給された音声データを送信する。

制御部１７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて音声処理装置１の各部を制御するものである。

制御部１７は、操作部１４から、音声処理の開始の入力情報が供給されて音声処理を開始する。また、制御部１７は、操作部１４から終了命令の入力情報が供給されて音声処理を終了させる。

また、制御部１７は、音声処理部１７１を備える。制御部１７は、音声取得部１２のマイクロフォンアレイ異常動作判定部１２４の判定結果に基づいて、音声処理に使用するマイクロフォンを決定（設定）し、決定したマイクロフォンを使用して音声処理を行うように音声処理部１７１を制御する。

この音声処理部１７１は、音声取得部１２が取得したデジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３に対し、音声加工音声処理を行うものであり、エコーキャンセラ処理部１７１１と、雑音除去処理部１７１２と、音源定位処理部１７１３と、音源分離処理部１７１４と、音声認識処理部１７１５と、を備える。

エコーキャンセラ処理部１７１１は、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３のいずれかの信号をエコーキャンセラの参照信号として参照して、エコーキャンセラ処理を行うものである。

エコーキャンセラ処理部１７１１は、このようなエコーキャンセラ処理を行うことにより、音声取得部１２から入力されるデジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３から音声出力部１３の出力音声成分を抑圧する。

雑音除去処理部１７１２は、定在雑音除去や雑音と推定される特定周波数のフィルタリング処理を行うものである。

音源定位処理部１７１３は、音源定位処理を行うものである。

音源分離処理部１７１４は、音源分離処理を行うものである。

音声認識処理部１７１５は、音声認識を行うものである。

制御部１７は、操作部１４から、通信を行う旨の入力情報が供給されたときは、音声処理部１７１が音声加工処理を行ったデジタル音声信号を通信部１６に供給し、保存する旨の入力情報が供給されたときは、情報格納部１１に、このデジタル音声信号を記憶する。

次に本実施形態に係る音声処理装置１の動作を説明する。
制御部１７は、操作部１４から、音声処理の開始命令の入力情報が供給されると、情報格納部１１から、音声処理のプログラムデータを読み出し、図２及び図３に示すフローチャートに従い、音声処理を実行する。

制御部１７は、音声出力部１３に、処理開始を音声処理装置１の使用者に通知するための確認音を出力させる（ステップＳ１０１）。

制御部１７は、音声取得部１２に音声取得処理を実行するように指示する（ステップＳ１０２）。音声取得部１２は、図４に示すフローチャートに従って、この音声取得処理を実行する。

まず、音声取得部１２のマイクロフォン１２１１〜１２１３は、アナログ音声信号Sma１，Sma２，Sma３を取得する（ステップＳ１２１）。

Ａ／Ｄ変換器１２２は、マイクロフォン１２１１〜１２１３がそれぞれ取得したアナログ音声信号Sma１，Sma２，Sma３を、デジタル音声信号Smd１，Smd２，Smd３に変換する（ステップＳ１２２）。

マイクロフォンバラつき補正部１２３は、情報格納部１１から、マイクロフォンバラつき補正値１１１を取得し、取得したマイクロフォンバラつき補正値１１１に基づいてマイクロフォンバラつきの補正を行う（ステップＳ１２３）。そして、音声取得部１２は、この音声取得処理を終了させる。

音声取得部１２が音声取得処理を実行すると、制御部１７は、音声取得部１２のマイクロフォンアレイ異常動作判定部１２４にマイクロフォンアレイ異常動作判定処理を実行するように指示する（ステップＳ１０３）。

マイクロフォンアレイ異常動作判定部１２４は、図５に示すフローチャートに従い、マイクロフォンアレイ異常動作判定処理を実行する。

マイクロフォンアレイ異常動作判定部１２４の無音判定部１２４１は、規定レベルＬmd_thを情報格納部１１から読み出して、デジタル音声信号Smd１，Smd２，Smd３と比較し、無音判定を行う（ステップＳ２０１〜Ｓ２０３）。

即ち、無音判定部１２４１は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3と、規定レベルＬmd_thと、を比較し、デジタル音声信号Smd１，Smd２，Smd３の信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満であるか否かを判定する（ステップＳ２０１）。

デジタル音声信号Smd１，Smd２，Smd３の信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満であると判定した場合（ステップＳ２０１；Ｙｅｓ）、無音判定部１２４１は、このときからの時間を計測する（ステップＳ２０２）。

無音判定部１２４１は、計測時間Ｔが予め設定された規定時間Ｔthを越えたか否かを判定する（ステップＳ２０３）。

計測時間Ｔが予め設定された規定時間Ｔth以下であると判定した場合（ステップＳ２０３；Ｎｏ）、無音判定部１２４１は、再度、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満であるか否かを判定する（ステップＳ２０１）。

信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満であり、計測時間Ｔが規定時間Ｔthを越えたと無音判定部１２４１が判定した場合（ステップＳ２０３；Ｙｅｓ）、マイクロフォンアレイ異常動作判定部１２４は、このマイクロフォンアレイ異常動作判定処理を終了させる。

一方、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3のうち、少なくとも１つが規定レベルＬmd_th以上となった場合、無音判定部１２４１は、無音ではないと判定する（ステップＳ２０１；Ｎｏ）。

マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音ではないと判定すると、音量比較部１２４２に、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３のそれぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較させる（ステップＳ２０５）。

音量比較部１２４２は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較してデジタル音声信号Ｓmd１，Ｓmd２間の信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31を取得する。

マイクロフォンアレイ異常動作判定部１２４は、相関係数計算部１２４３にデジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３間の相関係数ｒ12、ｒ23，ｒ3１を計算させる（ステップＳ２０５）。

マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２が取得した信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31と、相関係数計算部１２４３が計算した相関係数ｒ12、ｒ23，ｒ3１と、に基づいてマイクロフォンアレイ異常動作か否かを判定する（ステップＳ２０６）。

マイクロフォン１２１１〜１２１３が正常に動作していると判定した場合（ステップＳ２０６；Ｎｏ）、マイクロフォンアレイ異常動作判定部１２４は、制御部１７に、マイクロフォンアレイ異常動作なしの通知を行い（ステップＳ２０７）、このマイクロフォンアレイ異常動作判定処理を終了させる。

一方、マイクロフォンアレイ異常動作と判定した場合（ステップＳ２０６；Ｙｅｓ）、マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31、又は、相関係数ｒ12、ｒ23，ｒ3１を比較して、異常動作のマイクロフォンを判別する（ステップＳ２０８）。

マイクロフォンアレイ異常動作判定部１２４は、マイクロフォンアレイ異常動作の判定結果と動作異常のマイクロフォンを制御部１７に通知し（ステップＳ２０９）、このマイクロフォンアレイ異常動作判定処理を終了させる。

制御部１７は、マイクロフォンアレイ異常動作判定部１２４がこのようにマイクロフォンアレイ異常動作判定処理を実行すると、マイクロフォンアレイ異常動作判定部１２４から、マイクロフォンアレイ異常動作等の通知があったか否かを判定する（ステップＳ１０４）。

マイクロフォンアレイ異常動作等の通知がなかったと判定した場合（ステップＳ１０４；Ｎｏ）、制御部１７は、すべてのマイクロフォン１２１１〜１２１３を音声処理に使用するように設定する（ステップＳ１０５）。

一方、マイクロフォンアレイ異常動作等の通知があったと判定した場合（ステップＳ１０４；Ｙｅｓ）、制御部１７は、異常動作をしているマイクロフォンのデジタル音声信号を音声処理に使用しないように、音声処理に使用するマイクロフォン１２１１〜１２１３の変更を行う（ステップＳ１０６）。

制御部１７は、マイクロフォンアレイ異常動作の表示を行うように表示部１５を制御する（ステップＳ１０７）。

制御部１７は、マイクロフォンアレイ異常動作要因が音声処理装置１の使用者にあることを、この使用者に通知するべく、警告音を出力するように音声出力部１３を制御する（ステップＳ１０８）。

このようにマイクロフォン設定（ステップＳ１０５）、異常動作判定時の処理（ステップＳ１０６〜Ｓ１０８）を行うと、制御部１７は、音声処理部１７１に、音声加工処理を行うように指示する（ステップＳ１０９）。

音声処理部１７１は、図６に示すフローチャートに従って、この音声加工処理を実行する。
音声処理部１７１のエコーキャンセラ処理部１７１１はエコーキャンセラ処理を行う（ステップＳ１３１）。

雑音除去処理部１７１２は雑音除去処理を行う（ステップＳ１３２）。
音源定位処理部１７１３は音源定位処理を行う（ステップＳ１３３）。
音源分離処理部１７１４は音源分離処理を行う（ステップＳ１３４）。
音声認識処理部１７１５は音声認識処理を行う（ステップＳ１３５）。音声処理部１７１は、このような音声加工処理を行うと、この音声加工処理を終了させる。

音声処理部１７１がこのような音声加工処理を実行すると、制御部１７は、操作部１４から供給された入力情報に基づいて、処理後のデジタル音声信号を通信に用いるか否かを判定する（Ｓ１１０）。

処理後のデジタル音声信号を通信に用いると判定した場合（ステップＳ１１０；Ｙｅｓ）、制御部１７は、処理後のデジタル音声信号を通信部１６に供給し、通信先に送信させる（ステップＳ１１１）。

一方、処理後のデジタル音声信号を通信に用いないと判定した場合（ステップＳ１１０；Ｎｏ）、制御部１７は、操作部１４から供給された入力情報に基づいてデジタル音声信号を保存するか否かを判定する（ステップＳ１１２）。

デジタル音声信号を保存すると判定した場合（ステップＳ１１２；Ｙｅｓ）、制御部１７は、処理後のデジタル音声信号を情報格納部１１に格納する（ステップＳ１１３）。

処理後のデジタル音声信号を通信先に送信させた場合（ステップＳ１１１）、情報格納部１１に格納した場合（ステップＳ１１３）、あるいは、保存しないと判定した場合（ステップＳ１１２；Ｎｏ）、制御部１７は、操作部１４から供給された入力情報に基づいて、音声処理を終了するかどうかを判定する（ステップＳ１１４）。

制御部１７は、操作部１４から音声処理の終了命令の入力情報が供給されなければ、音声処理を終了させないと判定する（ステップＳ１１４；Ｎｏ）。

この場合、制御部１７は、再度、音声取得部１２に、音声取得処理を実行するように指示する（ステップＳ１０２）。

一方、操作部１４から終了命令を指令された旨の入力情報が供給された場合（ステップＳ１１４；Ｙｅｓ）、制御部１７は、この音声処理を終了させる。

次に、この音声処理装置１の動作を具体的に説明する。
音声取得部１２は、制御部１７に指示されて（ステップＳ１０２の処理）、音声取得処理を実行する。

マイクロフォンアレイ１２１のマイクロフォン１２１１〜１２１３は、それぞれ、音声を入力してアナログ音声信号Ｓma１，Ｓma２，Ｓma３を取得する（ステップＳ１２１の処理）。

Ａ／Ｄ変換器は、マイクロフォン１２１１〜１２１３がそれぞれ出力したアナログ音声信号Ｓma１，Ｓma２，Ｓma３に対してアナログ−デジタル変換を行い、それぞれ、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３を出力する（ステップＳ１２２の処理）。

マイクロフォンバラつき補正部１２３は、情報格納部１１に格納されているマイクロフォンバラつき補正値１１１を用いて、マイクロフォン１２１１〜１２１３の特性バラつきを補正する（ステップＳ１２３の処理）。

音声取得部１２が音声取得処理を実行すると、音声取得部１２のマイクロフォンアレイ異常動作判定部１２４は、制御部１７に指示されて（ステップＳ１０３の処理）、マイクロフォンアレイ異常動作判定処理を実行する。

マイクロフォンアレイ異常動作判定部１２４の無音判定部１２４１は、無音判定を行う（ステップＳ２０１〜Ｓ２０３の処理）。

図７に示すように、時刻ｔ１において、デジタル音声信号Smd１，Smd２，Smd３のそれぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満となった場合、無音判定部１２４１は、時間を計測する（ステップＳ２０２の処理）。

時刻ｔ１から規定時間Ｔthを越えた時刻ｔ２になっても、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3が、すべて規定レベルＬmd_th未満となっている場合（ステップＳ２０３；Ｙｅｓ）、無音判定部１２４１は、無音と判定する。

マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音と判定すると、マイクロフォンアレイ異常動作判定を行わない。

次に、マイクロフォン１２１１〜１２１３に音声が入力され、マイクロフォン１２１１〜１２１３が正常に動作している場合、図８（ａ）に示すように、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3は、すべて規定レベルＬmd_th以上となる。この場合、無音判定部１２４１は、無音ではないと判定する（ステップＳ２０１；Ｎｏ）。

無音判定部１２４１が無音ではないと判定すると、音量比較部１２４２は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較する（ステップＳ２０４の処理）。

音量比較部１２４２は、比較した結果、図８（ｂ）に示すような信号レベルＬmd_1，Ｌmd_2間の信号レベル差ΔＬ_12、信号レベルＬmd_2，Ｌmd_3間の信号レベル差ΔＬ_23、信号レベルＬmd_3，Ｌmd_1間の信号レベル差ΔＬ_31を取得したものとする。

信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31の規格値ΔＬ_thが図８（ｂ）に示すように予め設定されている場合、信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31は、すべて規格値ΔＬ_th以上となる。

また、相関係数計算部１２４３は、図８（ｃ）に示すような、信号レベルＬmd_1，Ｌmd_2間の相関係数ｒ12、信号レベルＬmd_2，Ｌmd_3間の相関係数ｒ23，信号レベルＬmd_3，Ｌmd_1間の相関係数ｒ3１を計算したものとする（ステップＳ２０５の処理）。

相関係数r12，r23，r31の規格値ｒ_thが図８（ｂ）に示すように予め設定されている場合、相関係数ｒ12、ｒ23、ｒ31は、すべて規格値ｒ_th以上となる。

マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31がすべて規格値ΔＬ_th以上となり、相関係数ｒ12、ｒ23、ｒ31がすべて規格値ｒ_th以上となるため、マイクロフォンアレイ異常動作判定部１２４は、マイクロフォン１２１１〜１２１３が正常に動作していると判定する（ステップＳ２０６；Ｎｏ）。

マイクロフォンアレイ異常動作判定部１２４は、このように判定し、制御部１７に、マイクロフォンアレイ異常動作なしの通知を行うと（ステップＳ２０７の処理；ステップＳ１０４；Ｎｏ）、音声処理部１７１は、すべてのマイクロフォン１２１１〜１２１３を用いて音声加工処理を行う（ステップＳ１０５，Ｓ１０９の処理）。

次に、マイクロフォン１２１２に故障が発生したか、マイクロフォンふさぎがあった場合、図９（ａ）に示すように、デジタル音声信号Smd２の信号レベルＬmd_2が規定レベルＬmd_th未満になる。

しかし、デジタル音声信号Smd１，Smd３のそれぞれの信号レベルＬmd_1，Ｌmd_3は、規定レベルＬmd_th以上となるため、無音判定部１２４１は、無音ではないと判定する（ステップＳ２０１；Ｎｏ）。

無音判定部１２４１が無音ではないと判定すると、音量比較部１２４２は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較する（ステップＳ２０４の処理）。比較した結果、音量比較部１２４２は、図９（ｂ）に示すような信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31を取得したものとする。

規格値ΔＬ_thが図９（ｂ）に示すように予め設定されている場合、信号レベル差ΔＬ_31は規格値ΔＬ_th未満となるものの、信号レベル差ΔＬ_12，ΔＬ_23は、規格値ΔＬ_th以上となる。

また、相関係数計算部１２４３は、図９（ｃ）に示すような、相関係数ｒ12，ｒ23，ｒ3１を計算したものとする（ステップＳ２０５の処理）。

規格値ｒ_thが図９（ｂ）に示すように予め設定されている場合、相関係数ｒ3１は、規格値ｒ_th以上となるものの、相関係数ｒ12，ｒ23は、規格値ｒ_th未満となる。

マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_12のうち、１つでも規格値ΔＬ_th以上となり、相関係数ｒ12、ｒ23、ｒ31のうち、１つでも規格値ｒ_th未満となると、マイクロフォンアレイ異常動作と判定する（ステップＳ２０６；Ｙｅｓ）。

マイクロフォンアレイ異常動作と判定すると、マイクロフォンアレイ異常動作判定部１２４は、動作異常のマイクロフォンを判別する（ステップＳ２０８の処理）。

マイクロフォンアレイ異常動作判定部１２４は、最も高い信号レベルを判別する。図９（ａ）に示すように、最も高い信号レベルは、信号レベルＬmd_3である。

マイクロフォンアレイ異常動作判定部１２４は、この信号レベルＬmd_3を基準にして、規格値ΔＬ_th以上となる信号レベル差を調べる。計算結果が図９（ｂ）に示すようなものになった場合、信号レベルＬmd_3を基準にすると、信号レベル差ΔＬ_23が規格値ΔＬ_th以上となる。

また、マイクロフォンアレイ異常動作判定部１２４は、規格値ｒ_th以上となる相関係数を調べる。計算結果が図９（ｃ）に示すようなものになった場合、相関係数ｒ12，ｒ23が規格値ｒ_th未満となる。

マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_23が規格値ΔＬ_th以上となり、相関係数ｒ12，ｒ23が規格値ｒ_th未満となることを判別すると、信号レベルＬmd_2に対応するマイクロフォン１２１２が動作異常のマイクロフォンと判別する。

マイクロフォンアレイ異常動作判定部１２４は、このように判別すると、制御部１７に、マイクロフォンアレイ異常動作の通知を行う（ステップＳ２０９の処理）。

マイクロフォンアレイ異常動作の場合、すべてのマイクロフォン１２１１〜１２１３を用いて正常な音声処理を行うことができなくなる。

このため、制御部１７は、マイクロフォンアレイ異常動作判定部１２４から通知があると（ステップＳ１０４；Ｙｅｓ）、音声処理に使用するマイクロフォン１２１１〜１２１３の変更を行う（ステップＳ１０６の処理）。

このように、音声処理に使用するマイクロフォン１２１１〜１２１３の変更を行うことにより、制御部１７は、異常動作をしているマイクロフォン１２１２が入力したアナログ音声信号Ｓma２を音声処理に使用しないようにする。

表示部１５は、マイクロフォンアレイ１２１の異常動作の表示を行い（ステップＳ１０７の処理）、音声出力部１３は、警告音を出力する（ステップＳ１０８の処理）。

次に、マイクロフォン１２１１とマイクロフォン１２１３とに故障が発生したか、マイクロフォンふさぎがあった場合、図１０（ａ）に示すように、デジタル音声信号Smd２の信号レベルＬmd_2が規定レベルＬ_th未満になる。

しかし、デジタル音声信号Smd２の信号レベルＬmd_2が規定レベルＬmd_th以上となるため、無音判定部１２４１は、無音ではないと判定する（ステップＳ２０１；Ｎｏ）。

無音判定部１２４１が無音ではないと判定すると、音量比較部１２４２は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較する（ステップＳ２０４の処理）。比較した結果、音量比較部１２４２は、図１０（ｂ）に示すような信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31を取得したものとする。

規格値ΔＬ_thが図１０（ｂ）に示すように予め設定されている場合、図９（ｂ）の場合と同様に、信号レベル差ΔＬ_31は規格値ΔＬ_th未満となるものの、信号レベル差ΔＬ_12，ΔＬ_23は、規格値ΔＬ_th以上となる。

また、相関係数計算部１２４３は、図１０（ｃ）に示すような、相関係数ｒ12，ｒ23，ｒ3１を計算したものとする（ステップＳ２０５の処理）。

規格値ｒ_thが図１０（ｃ）に示すように予め設定されている場合、相関係数ｒ11，ｒ12，ｒ3１は、規格値ｒ_th未満となる。

マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_12のうち、信号レベル差ΔＬ_12，ΔＬ_23が規格値ΔＬ_th以上となり、相関係数ｒ12、ｒ23、ｒ31がすべて規格値ｒ_th未満となるため、マイクロフォンアレイ異常動作と判定する（ステップＳ２０６；Ｙｅｓ）。

マイクロフォンアレイ異常動作と判定すると、マイクロフォンアレイ異常動作判定部１２４は、動作異常のマイクロフォンを判別する（ステップＳ２０８の処理）。

図１０（ａ）に示すように、最も高い信号レベルは、信号レベルＬmd_2であるため、マイクロフォンアレイ異常動作判定部１２４は、この信号レベルＬmd_3を基準にして、信号レベル差を調べ、規格値ΔＬ_th以上となる信号レベル差は、信号レベル差ΔＬ_12，ΔＬ_23であることを判別する。

マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12，ΔＬ_23が規格値ΔＬ_th以上となり、相関係数ｒ12、ｒ23、ｒ31がすべて規格値ｒ_th未満となることを判別すると、マイクロフォン１２１１，１２１３が動作異常のマイクロフォンと判別する。

マイクロフォンアレイ異常動作判定部１２４は、このように判別すると、制御部１７に、マイクロフォンアレイ異常動作の通知を行う（ステップＳ２０９の処理）。

制御部１７は、マイクロフォンアレイ異常動作判定部１２４から通知があると（ステップＳ１０４；Ｙｅｓ）、異常動作をしているマイクロフォン１２１１，１２１３が入力したアナログ音声信号Ｓma１，Ｓma３を音声処理に使用しないようにする（ステップＳ１０６の処理）。

音声処理部１７１が音声処理を行った結果、使用者の操作に従って通信を行う場合（ステップＳ１１０；Ｙｅｓ）は、通信部１６が処理後の音声信号を送信する。

また、処理後の音声信号を保存する場合（ステップＳ１１２；Ｙｅｓ）は、制御部１７が処理後の音声信号を情報格納部１１に保存する（ステップＳ１１３の処理）。

以上説明したように、本実施形態によれば、マイクロフォンアレイ異常動作判定部１２４は、マイクロフォン１２１１〜１２１３に対応するデジタル音声信号の各信号レベルの信号レベル差、相関係数に基づいて、マイクロフォンアレイ異常動作の判定を行うようにした。

従って、所定レベル以上のパワーを有する信号を用いなくてもマイクロフォンアレイ１２１を構成する３つのマイクロフォン１２１１〜１２１３の異常動作判定を行うことができ、このため、音声処理中であっても、このような判定を行うことができる。

また、制御部１７は、マイクロフォンアレイ異常動作判定部１２４からマイクロフォンアレイ異常動作等の通知があったときは、異常動作のマイクロフォンを音声処理に使用しないように、音声処理に使用するマイクロフォン１２１１〜１２１３の変更を行うようにした。

従って、音声処理中であっても、正常な音声信号処理を継続させることができる。

また、無音判定部１２４１は、無音判定を行い、マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音と判定したときは、マイクロフォンアレイ異常動作判定処理を行わないようにした。

従って、無音区間が存在するような音声信号を故障診断用の外部入力信号として選択した場合でも、この無音区間において、すべてのマイクロフォン１２１１〜１２１３が故障と判定しないため、マイクロフォンアレイ異常動作判定の精度を高めることができる。

また、マイクロフォンアレイ異常動作判定部１２４は、音声処理中に、マイクロフォンアレイ異常動作判定処理を実行する。このため、例えば、マイクロフォンアレイ１２１１〜１２１３を携帯電話等の組み込み機器等に搭載した場合に、マイクロフォンふさぎにより一時的にマイクロフォンが使用できない場合でも、マイクロフォンふさぎが解除されれば、再び、使用することができるようになる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。

即ち、本実施形態においては、上述してきた原理の一部のみを使用してもよいし、本発明は、上記実施形態に限定されるものではなく、上述の原理を組み合わせて新しく実施形態を構成することができる。

例えば、上記実施形態では、マイクロフォンアレイ１２１が３つのマイクロフォン１２１１〜１２１３によって構成された場合について説明した。しかし、マイクロフォンアレイ１２１の数は３つに限定されるものではなく、２つ以上の任意の数であってもよい。

上記実施形態では、音声出力部１３が音声処理の開始時に出力する確認音を、音声処理装置１の使用者に通知するために用いるものとして説明した（ステップＳ１０１）。

しかし、この確認音をマイクロフォンアレイ異常動作検出処理に用いることもできる。即ち、マイクロフォン１２１１〜１２１３に、それぞれ、規定の音量、周波数等の音声を入力し、無音判定を行えば、マイクロフォンアレイ１２１の動作の正否を判別することができ、マイクロフォンアレイ異常動作判定部１２４は、高精度にマイクロフォンアレイ異常動作の判定を行うことができる。

このように、この確認音をマイクロフォンアレイ異常動作判定処理に用いれば、この確認音は、さらに有効なものとなる。

また、確認音の音量、周波数等を予め設定することにより、音声処理部１７１は、使用するパラメータの初期化を行うこともできる。

また、エコーキャンセラ処理部１７１１は、音声取得部１２がこの確認音成分を取得して、確認音成分を抑圧することも可能である。

また、ステップＳ１０９において音声出力部１３が出力する警告音を、確認音と同様、マイクロフォンアレイ異常動作検出処理に用いることもできる。

上記実施形態では、マイクロフォンアレイ異常動作判定部１２４は、制御部１７に指示されて、マイクロフォンアレイ異常動作判定処理を実行するようにした。しかし、マイクロフォンアレイ異常動作判定部１２４は、制御部１７に指示されずにマイクロフォンアレイ異常動作判定処理を実行することもできる。

即ち、マイクロフォンアレイ異常動作判定部１２４は、予め設定された規定時間が経過する毎に、例えば、２秒に１回、マイクロフォンアレイ異常動作判定処理を実行するようにしてもよい。

この場合、マイクロフォンアレイ異常動作判定部１２４は、この処理を実行する毎に、情報格納部１１にマイクロフォンアレイ異常動作の判定結果を記憶し、制御部１７は、情報格納部１１を参照して判定済みの判定結果を取得する。

このように構成されることにより、制御部１１等の処理量を低減することができ、低消費電力化を実現することもできる。また、音声処理装置１が低処理能力の場合であっても、音声処理をリアルタイムに行うことができる。

上記実施形態では、制御部１７がマイクロフォン１２１１〜１２１３の設定を行う場合（ステップＳ１０６）、すべてのマイクロフォン１２１１〜１２１３を音声処理に使用するように設定するようにした。

しかし、制御部１７は、例えば、音声処理に使用するマイクロフォンを、すべてではなく、マイクロフォン１２１１とマイクロフォン１２１２、又はマイクロフォン１２１１とマイクロフォン１２１３に設定することもできる。

また、制御部１７は、音声処理に使用するマイクロフォンを、マイクロフォン１２１１，１２１２に設定しているときに、マイクロフォンアレイ異常動作判定部１２４からマイクロフォンアレイ異常動作の判定結果が通知されたとき、設定をマイクロフォン１２１１，１２１３に変更することもできる（ステップＳ１０６）。

上記実施形態では、マイクロフォンアレイ異常動作等の通知があった場合、表示部１５は、マイクロフォンアレイ異常動作の表示を行うようにした。しかし、表示はこれだけに限られるものではなく、例えば、表示部１５は、マイクロフォンふさぎが起こっていないかどうかの確認を音声処理装置１の使用者に促すメッセージを表示してもよい。

上記実施形態では、無音判定部１２４１が無音と判定した場合、マイクロフォンアレイ異常動作か、マイクロフォン１２１１〜１２１３に音声が入力されない状態なのかを判別することはできないため、マイクロフォンアレイ異常動作の判定だけでなく、音声処理も行わないようにすることもできる。

この場合、マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音と判定したときは、制御部１７に対し、無音である旨の通知を行い、制御部１７は、この通知があった場合には、音声処理を終了させる。

上記実施形態では、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果及び相関係数計算部１２４３の計算結果に基づいて、マイクロフォンアレイ異常動作の判定を行うものとした。

しかし、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果及び相関係数計算部１２４３の計算結果のうち、いずれか一方を利用して、マイクロフォンアレイ異常動作の判定を行うようにしてもよい。

また、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果及び相関係数計算部１２４３の計算結果以外の方法を用いてマイクロフォンアレイ異常動作判定を行うようにしてもよい。

本処理の詳細については、後述する。なお、本処理は、規定時間経過するごとに１回のみ行うようにしてもよい。例えば、２秒に１回のみ本処理を行うようにし、本処理を行わないときは前回の処理結果と同じとみなすようにしてもよい。このようにすることで本発明を実施するための音声処理装置１の処理量を低減し、低消費電力化を実現することが可能となる。

また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、音声処理装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る音声処理装置の構成を示すブロック図である。 図１に示す制御部が実行する音声処理を示すフローチャート（その１）である。 図１に示す制御部が実行する音声処理を示すフローチャート（その２）である。 図１に示す音声取得部が実行する音声取得処理を示すフローチャートである。 図１に示すマイクロフォンアレイ異常動作判定部が実行するマイクロフォンアレイ異常動作判定処理を示すフローチャートである。 図１に示す音声処理部が実行する音声加工処理を示すフローチャートである。 音声処理装置が無音判定を行う場合の具体的な動作を示す図である。 すべてのマイクロフォンが正常に動作している場合に、マイクロフォンアレイ異常動作判定部が実行するマイクロフォンアレイ異常動作判定処理の具体的な動作を示す図であり、（ａ）は、各マイクロフォンの信号レベルと予め設定された規格値との関係を示し、（ｂ）は、各信号レベル間の信号レベル差と予め設定された規格値との関係を示し、（ｃ）は、各信号レベル間の相関係数と予め設定された規格値との関係を示す。 １つのマイクロフォンに故障等が発生した場合に、マイクロフォンアレイ異常動作判定部が実行するマイクロフォンアレイ異常動作判定処理の具体的な動作を示す図であり、（ａ）は、各マイクロフォンの信号レベルと予め設定された規格値との関係を示し、（ｂ）は、各信号レベル間の信号レベル差と予め設定された規格値との関係を示し、（ｃ）は、各信号レベル間の相関係数と予め設定された規格値との関係を示す。 ２つのマイクロフォンに故障等が発生した場合に、マイクロフォンアレイ異常動作判定部が実行するマイクロフォンアレイ異常動作判定処理の具体的な動作を示す図であり、（ａ）は、各マイクロフォンの信号レベルと予め設定された規格値との関係を示し、（ｂ）は、各信号レベル間の信号レベル差と予め設定された規格値との関係を示し、（ｃ）は、各信号レベル間の相関係数と予め設定された規格値との関係を示す。

符号の説明

１ 音声処理装置
１１ 情報格納部
１２ 音声取得部
１７ 制御部
１２１ マイクロフォンアレイ
１２４ マイクロフォンアレイ異常動作判定部
１７１ 音声処理部
１２１１〜１２１３ マイクロフォン
１２４１ 無音判定部
１２４２ 音量比較部
１２４３ 相関係数計算部

Claims (10)

1. 音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイと、
   前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する音声取得手段と、
   前記音声取得手段の判定結果に基づいて、音声処理に使用するマイクロフォンを決定し、決定したマイクロフォンを使用して音声処理を行う音声処理手段と、を備え、
   前記音声取得手段は、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定手段を備え、
   前記無音判定手段が無音と判定したときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定手段が無音ではないと判定したときに各マイクロフォンの動作異常の判定を行う、
   ことを特徴とする音声処理装置。
2. 前記無音判定手段は、前記音声取得手段が取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、すべての音声信号の信号レベルが前記無音判定値未満となったときは、すべての音声信号の信号レベルが前記無音判定値未満となっている時間を計測し、当該計測時間が予め設定された規定時間を越えたときに無音と判定する、
   ことを特徴とする請求項１に記載の音声処理装置。
3. 前記音声取得手段は、取得した各音声信号の特徴量として、各音声信号の信号レベルを比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
   ことを特徴とする請求項１又は２に記載の音声処理装置。
4. 音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイと、
   前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する音声取得手段と、
   前記音声取得手段の判定結果に基づいて、音声処理に使用するマイクロフォンを決定し、決定したマイクロフォンを使用して音声処理を行う音声処理手段と、を備え、
   前記音声取得手段は、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
   ことを特徴とする音声処理装置。
5. 音声の特徴量が予め設定された確認音を音声処理の開始時に出力する確認音出力手段を備え、
   前記マイクロフォンアレイの前記複数のマイクロフォンは、前記確認音出力手段が出力した前記確認音を入力し、
   前記音声取得手段は、前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した確認音に基づいて、それぞれの音声信号を取得し、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を前記音声処理の開始時に判定する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の音声処理装置。
6. 前記音声取得手段が前記マイクロフォンアレイの各マイクロフォン動作異常と判定したときに、警告音を出力する警告音出力手段を備えた、
   ことを特徴とする請求項１又は２に記載の音声処理装置。
7. 音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイを備えた音声処理装置の音声処理方法であって、
   前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するステップと、
   取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するステップと、
   前記マイクロフォンの動作異常の判定結果に基づいて、音声処理に使用するマイクロフォンを決定するステップと、
   決定したマイクロフォンを使用して音声処理を行うステップと、を備え、
   前記マイクロフォンの動作異常を判定するステップは、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定ステップを備え、
   前記無音判定ステップにより無音と判定されたときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定ステップにより無音ではないと判定されたときに各マイクロフォンの動作異常の判定を行う、
   ことを特徴とする音声処理装置の音声処理方法。
8. コンピュータに、
   マイクロフォンアレイを構成する複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得する手順、
   取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する手順、
   前記マイクロフォンの動作異常を判定した判定結果に基づいて、音声処理に使用するマイクロフォンを決定する手順、
   決定したマイクロフォンを使用して音声処理を行う手順、を実行させ、
   前記マイクロフォンの動作異常を判定する手順は、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定手順を備え、
   前記無音判定手順により無音と判定されたときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定手順により無音ではないと判定されたときに各マイクロフォンの動作異常の判定を行う、
   ためのプログラム。
9. 音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイを備えた音声処理装置の音声処理方法であって、
   前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するステップと、
   取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するステップと、
   前記マイクロフォンの動作異常の判定結果に基づいて、音声処理に使用するマイクロフォンを決定するステップと、
   決定したマイクロフォンを使用して音声処理を行うステップと、を備え、
   前記マイクロフォンの動作異常を判定するステップでは、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
   ことを特徴とする音声処理装置の音声処理方法。
10. コンピュータに、
    マイクロフォンアレイを構成する複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得する手順、
    取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する手順、
    前記マイクロフォンの動作異常を判定した判定結果に基づいて、音声処理に使用するマイクロフォンを決定する手順、
    決定したマイクロフォンを使用して音声処理を行う手順、を実行させ、
    前記マイクロフォンの動作異常を判定する手順では、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
    ためのプログラム。

Images