JP5034118B2 - 雑音除去装置、雑音除去方法及びコンピュータプログラム - Google Patents

Description

本発明は、雑音除去装置、雑音除去方法及びコンピュータプログラムに関する。より詳しくは、雑音除去装置の雑音除去用信号の切り替えに関する。

複数のマイクを利用して取得した音から、周辺の雑音を除去し、目的とする音のみを復元する音源分離技術（例えば、非特許文献１参照）が存在する。この音源分離技術に、エコーキャンセラ（以後、「ＥＣ」という）機能を組み合わせることにより、テレビ会議やテレビ電話システムなどに利用することができる。

テレビ会議やテレビ電話システムなどで使用する情報処理装置は、一定期間に複数のマイクで取得した音の音声データを用いて音源分離処理を行い、音源分離処理後の音声を出力する。このようなテレビ電話システムでは、エコーキャンセラ機能を搭載するために、エコーと同じ音声をＥＣ参照信号として入力する必要がある。

また、携帯端末でテレビ会議やテレビ電話システムを実現する際には、Ａ−Ｄ変換器の数を増やさないために、複数のマイクからの音声入力チャネルの１つをＥＣ参照信号入力用に切り替える構成にする場合がある。以下、ＥＣ参照信号入力用に切り替えられる音声入力チャネルを「ＥＣ参照信号入力チャネル」という。
戸上真人、天野明雄、新庄広、鴨志田亮太、"人間共生ロボットEMIEWの聴覚機能"人工知能学会、2005/10/14、pp.59-64

据え置き型のテレビ電話会議装置では、ユーザが利用している最中には、テレビ電話会議装置の形状を変更することはない。しかし、携帯端末に搭載するテレビ電話会議装置では、ユーザがテレビ電話を行っている最中に、携帯端末の形状を変更して利用する場合がある。例えば、端末を開いて手で持つスタイル（以後、「手持」という）から、端末を閉じて卓上に置くスタイル（以後、「卓上」という）に切り替える。携帯端末の利用形状が変更されると、携帯端末に搭載しているマイクの位置関係が変わるので、音源分離処理に利用するマイクを変更するためにＥＣ参照信号入力チャネルを切り替える。

切り替えるタイミングによってエコーキャンセラ処理（以後、ＥＣ処理という）に使用する１つのフレーム（エコーキャンセラ処理１回分に利用する音声データ）の中に、マイク入力信号とＥＣ参照信号入力の２種類の信号が混在するので、ＥＣ参照信号を取得できないフレームが発生する。ＥＣ参照信号を取得できないフレームでは、周辺の雑音やエコーを除去する処理が行えず、エコー除去性能が低下してしまう問題がある。

エコー除去性能が低下する例として図１５に、制御部が行う音声入力取り込み処理と、音源分離部が行うＥＣ処理及び音源分離処理のタイミングチャートを示す。制御部と、音源分離部とは、連続する２つのフレームを用いてＥＣ処理及び音源分離処理を行い、１つのフレーム分遅らせて出力する。このフレーム長は、音源分離部の１回分の処理にかかる時間によって決定され、音源分離部は、１フレームの時間より短い時間でＥＣ処理及び音源分離処理を行う、ここでは、Ｔミリ秒の音声データを１フレームとする。

制御部は、時刻ｔ０から音声の取り込みを開始し、音声入力チャネルｃｈ０〜ｃｈ３から、２フレーム分のマイク入力信号Ｓｉｇ０〜Ｓｉｇ２とＥＣ参照信号Ｒｅｆとを取得する。音源分離部は、制御部が２フレーム分の音声データの取得が終わる時点から、マイク入力信号Ｓｉｇ０〜Ｓｉｇ２とＥＣ参照信号Ｒｅｆとを用いてＥＣ処理及び音源分離処理を行う。図１５では、音声取り込み開始時刻がｔ０なので、２フレーム目の音声データ取得が終わる時刻はｔ０＋２Ｔになり、音源分離部は、時刻ｔ０＋２Ｔにおいて、１と２フレーム目のマイク入力信号Ｓｉｇ０〜Ｓｉｇ２とＥＣ参照信号Ｒｅｆとを用いてＥＣ処理及び音源分離処理を行う。音源分離部は、音源分離処理を行った結果のデータを記憶部に記憶する。音源分離部は、２フレーム目以降の音声データについても同様の処理を行う。制御部は、時刻ｔ０＋３Ｔにおいて、記憶された音源分離処理を行った結果の音声データを無線通信部を介して、通信相手に送信する。

時刻ｔ１において携帯端末を「手持」から「卓上」に切り替えた場合には、端末利用状態が、「手持」から「卓上」に変化するため、ＥＣ参照信号入力用チャネルをｃｈ３からｃｈ０に変更する必要がある。３フレーム目の最中に携帯端末の形状を変更すると、ｃｈ０とｃｈ３の音声データはマイク入力音声とＥＣ参照信号との２種類の信号が混在する。信号が混在したｃｈ０とｃｈ３の信号をＥＣ参照信号として使用できないので、３フレーム目の処理ではＥＣ参照信号を取得できない。ＥＣ参照信号がないので、ＥＣ処理でエコーを除去できず、エコー除去性能が低下する。処理後の出力音声の２フレーム目と３フレーム目は、入力音声の３フレーム目を利用して処理するので、出力音声のエコー除去性能が劣化する。

本発明は、上述のような問題を解決するためになされたもので、ＥＣ処理中に、ＥＣ参照信号入力チャネルを切り替える場合であっても、エコー除去性能の劣化を防止する雑音除去装置、雑音除去方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る雑音除去装置は、
音を電気信号に変換する３つ以上の音入力手段と、
前記音入力手段で入力する前記電気信号のうち、目的とする音以外の雑音成分の少なくとも一部を含む雑音参照信号を入力する参照信号入力手段と、
前記電気信号と前記雑音参照信号のうち、２以上の前記電気信号と前記雑音参照信号を選択して入力する入力選択手段と、
所定の単位時間ごとに、前記入力選択手段で入力した前記電気信号から前記雑音参照信号の成分を除去する音源分離手段と、
前記入力選択手段で選択して入力する前記電気信号の組み合わせを切り替える切替手段と、
前記切替手段が前記入力選択手段で入力する前記電気信号の組み合わせを切り替えたときに、その切り替えた時刻を含む前記単位時間と、そののち所定の回数の前記単位時間が経過するまで、前記切替に関与した前記電気信号を前記音源分離手段の対象から除外する性能劣化防止手段と、
を備えることを特徴とする。

好ましくは、前記入力選択手段は、前記電気信号のいずれかと前記雑音参照信号とのいずれかを選択して入力するスイッチを複数備え、
前記切替手段は、前記入力選択手段で前記電気信号と前記雑音参照信号とを切り替える場合に、前記電気信号を入力していた第１の前記スイッチの入力を前記雑音参照信号に切り替える第１の切替を行ったのち、所定の回数の前記単位時間が経過してから、前記第１の切替の前に前記雑音参照信号を入力していた第２の前記スイッチの入力を前記電気信号を入力するように切り替える第２の切替を行い、
前記性能劣化防止手段は、前記音源分離手段に、前記第１の切替の時刻を含む前記単位時間では前記第２のスイッチで入力する前記雑音参照信号を用い、前記第２の切替の時刻を含む前記単位時間では前記第１のスイッチで入力する前記雑音参照信号を用いて、入力した前記電気信号から前記雑音参照信号の成分を除去させる、
ことを特徴とする。

さらに好ましくは、前記音源分離手段は、連続する２以上の前記単位時間の前記電気信号及び前記雑音参照信号を用いて、１つの前記単位時間の前記電気信号について前記雑音参照信号の成分を除去する処理を行い、
前記第１の切替と第２の切替の間で経過する前記単位時間の所定の回数は、前記音源分離手段で用いる前記電気信号及び前記雑音参照信号の連続する単位時間の個数以上であって、
前記性能劣化防止手段は、全ての前記単位時間について、前記音源分離手段が用いる連続する２以上の前記単位時間の前記電気信号及び前記雑音参照信号が、それぞれいずれも同じスイッチを経由した信号となるように、前記音源分離手段で用いる前記電気信号及び前記雑音参照信号を選択する、
ことを特徴とする。

より好ましくは、前記雑音除去装置は、その形状を変更して利用可能であって、
前記切替手段は、前記雑音除去装置の形状が変化した場合に、前記入力選択手段で選択して入力する前記電気信号の組み合わせを切り替える、
ことを特徴とする。

さらに好ましくは、前記性能劣化防止手段は、前記入力選択手段で選択する前記電気信号と前記雑音参照信号の組み合わせの情報と、前記切替手段が前記入力選択手段で入力する前記電気信号の組み合わせを切り替えたことを表す情報とを記憶する制御情報記憶手段を備え、
前記音源分離手段は、前記入力選択手段で選択する前記電気信号と前記雑音参照信号の組み合わせの情報と、前記切替手段が前記入力選択手段で入力する前記電気信号の組み合わせを切り替えたことを表す情報に基づいて、前記入力選択手段で入力した前記電気信号から前記雑音参照信号の成分を除去する処理の対象を判別する、
ことを特徴とする。

本発明の第２の観点に係る雑音除去方法は、
音を入力して３つ以上の電気信号に変換する音入力ステップと、
前記音入力ステップで入力する前記電気信号のうち、目的とする音以外の雑音成分の少なくとも一部を含む雑音参照信号を入力する参照信号入力ステップと、
前記電気信号と前記雑音参照信号のうち、２以上の前記電気信号と前記雑音参照信号を選択して入力する入力選択ステップと、
所定の単位時間ごとに、前記入力選択ステップで入力した前記電気信号から前記雑音参照信号の成分を除去する音源分離ステップと、
前記入力選択ステップで選択して入力する前記電気信号の組み合わせを切り替える切替ステップと、
前記切替ステップで、前記入力選択ステップで選択して入力する前記電気信号の組み合わせを切り替えたときに、その切り替えた時刻を含む前記単位時間と、そののち所定の回数の前記単位時間が経過するまで、前記切替に関与した前記電気信号を前記音源分離ステップの対象から除外する性能劣化防止ステップと、
を備えることを特徴とする。

本発明の第３の観点に係るコンピュータプログラムは、
コンピュータに、
音を入力して３つ以上の電気信号に変換する音入力ステップと、
前記音入力ステップで入力する前記電気信号のうち、目的とする音以外の雑音成分の少なくとも一部を含む雑音参照信号を入力する参照信号入力ステップと、
前記電気信号と前記雑音参照信号のうち、２以上の前記電気信号と前記雑音参照信号を選択して入力する入力選択ステップと、
所定の単位時間ごとに、前記入力選択ステップで入力した前記電気信号から前記雑音参照信号の成分を除去する音源分離ステップと、
前記入力選択ステップで選択して入力する前記電気信号の組み合わせを切り替える切替ステップと、
前記切替ステップで、前記入力選択ステップで選択して入力する前記電気信号の組み合わせを切り替えたときに、その切り替えた時刻を含む前記単位時間と、そののち所定の回数の前記単位時間が経過するまで、前記切替に関与した前記電気信号を前記音源分離ステップの対象から除外する性能劣化防止ステップと、
を実行させることを特徴とする。

本発明によれば、雑音除去処理中に、雑音除去参照信号入力チャネルを切り替える場合であっても、雑音除去性能の劣化を防止することができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付し、その説明は繰り返さない。実施形態に係わる雑音処理装置を備える携帯端末２０を例にして説明する。なお、本発明は携帯端末に限定されるものではなく、デジタルビデオカメラやノートパソコンなどの該装置の形態を変更して利用できる装置でも同様の制御が可能である。

図１は、本発明の実施の形態に係る雑音処理装置を備える携帯端末２０の構成を示すブロック図である。携帯端末２０は、無線通信部１０と、制御部１１と、音声入力部１２と、音声出力部１３と、記憶部１４と、操作部１５と、撮像部１６と、表示部１７と、利用状態検出部１８と、バス１９と、スピーカ２４とを備え、バス１９は各部を接続する。制御部１１は、音源分離部１１１と、性能劣化防止部１１２とを備える。音声入力部１２は、マイク１２０〜１２３と、Ａ−Ｄ変換器１２４と、スイッチ（以下、ＳＷという）１、２とを備える。

図２は、本発明の実施の形態に係る雑音処理装置の構成を示すブロック図である。雑音処理装置は、音声出力部１３と、利用状態検出部１８と、音源分離部１１１と、性能劣化防止部１１２と、マイク１２０〜１２３と、ＳＷ１、ＳＷ２と、バッファとを備える。

図３は、端末利用状態が「手持」の場合の携帯端末の外観を示す図である。図３の左は操作部側から視た図であり、右はその背面側から視た図である。図４は、端末利用状態が「卓上」の場合の携帯端末の外観を示す図である。図４の上は画面側から視た図であり、下はその背面側から視た図である。携帯端末２０は、テレビ電話機能を備える携帯電話装置であり、画面を備える筐体を回転して折り畳むことで形状を変更することができる。携帯端末２０は、表示部１７などを実装する上側筐体２１と、操作部などを実装する下側筐体２２とに分かれており、上側筐体２１と下側筐体２２とはヒンジ部２３で接続する。携帯端末２０の外観には、音声出力部１３に繋がるスピーカ２４と、音声入力部１２に含まれる複数のマイク１２０〜１２３と、画面と、操作部１５などを備える。

図３に示す携帯端末２０を開いた状態では、ユーザが手に持ってテレビ電話をすることが考えられ、以下この利用状態を「手持」という。「手持」状態で画面を正面から見るユーザからのマイクの配置状態は、マイク１２０はユーザの正面に位置し、マイク１２１はマイク１２０から横方向に水平移動した右側に位置し、マイク１２２はマイク１２１の裏に位置し、マイク１２３はマイク１２０から縦方向に移動した上側筐体２１の左側に位置する。「手持」状態で携帯端末２０を用いてテレビ電話を行う場合に、最良の雑音除去性能を得るために、音声入力に使用するマイクをマイク１２０〜１２２とし、残りのマイク１２３に対応するＡ−Ｄ変換器１２４の入力チャネルをＥＣ参照信号入力用にして使用する。

同様に図４に示す携帯端末２０を閉じた状態では、ユーザが机の上に置いてテレビ電話をすることが考えられ、以下この利用状態を「卓上」という。「卓上」状態で画面を正面から見るユーザからのマイクの配置状態は、マイク１２３はユーザの正面に位置し、マイク１２１はマイク１２３と同じ高さの下側筐体２２の上側に位置し、マイク１２２はマイク１２１の裏に位置し、マイク１２０はマイク１２１から縦方向に移動した下側筐体２２の下側に位置する。「卓上」状態で携帯端末２０を用いてテレビ電話を行う場合に、最良の雑音除去を得るために、音声入力に使用するマイクをマイク１２１〜１２３とし、残りのマイク１２０に対応するＡ−Ｄ変換器１２４の入力チャネルをＥＣ参照信号入力に使用する。

実施の形態では、携帯端末２０の利用状態を「手持」から「卓上」に切り替えたり、「卓上」から「手持」に切り替えたりして端末利用状態が変化する場合を「形状切替中」という。

スピーカ２４は、携帯端末２０が受信した音声信号などを音に変換して出力する。複数のマイク１２０〜１２３は、各マイクが集音した音の音声レベルに応じた音声信号を出力する。音源分離部１１１は、各マイクが出力する音声信号をエコー除去と雑音除去のために用いる。なお、実施の形態では、マイクを４個用いて音源分離処理に利用する場合について説明するが、マイク数を４個に限定するものではなく、本実施の形態ではマイク入力信号用に１個以上、切替前後でＥＣ参照信号と切り替えるための２個以上の計３個以上のマイクが有ればよく、マイクの数に制限はない。

無線通信部１０は、通話音声や撮像画像などを基地局を介して通信相手に送信する。また、無線通信部１０は、基地局を介して音声データや画像データを通信相手から受信する。

制御部１１は、ＣＰＵ（Central Processing Unit）などで構成し、記憶部１４が記憶する動作プログラムに従って携帯端末２０全体を制御する。また、制御部１１は、音源分離部１１１と、性能劣化防止部１１２と、を備える。また、制御部１１は、プログラムの命令又は、性能劣化防止部１１２からの信号などにより、ＳＷ１、ＳＷ２を制御する。

音源分離部１１１は、制御部１１から処理開始の指示を受け、動作モード情報１４１に応じたＥＣ処理を実施した後に、音源分離処理を行う。音源分離部１１１の音源分離処理では、音声入力部１２が備える複数のマイク１２０〜１２３が入力した音を処理し、予め設定する特定方位の領域から到来した音のみを分離抽出する。

性能劣化防止部１１２は、利用状態検出部１８から変化通知信号を受け、変化通知信号の種類に応じて音声入力部１２のＳＷ１、ＳＷ２の音声入力を切り替えて、ＥＣ参照信号を継続的に取得できるように音源分離部１１１の動作を制御する。

音声入力部１２は、複数のマイク１２０〜１２３と、各マイク１２０〜１２３が出力したアナログの音声信号をデジタル信号に変換するＡ−Ｄ変換器１２４と、入力信号の切替を行うＳＷ１、ＳＷ２とを備える。４個のマイク数に対応して、Ａ−Ｄ変換器１２４には４チャンネルの入力チャネル数があり、マイク１２０、マイク１２１、マイク１２２、マイク１２３、の出力をＡ−Ｄ変換器１２４のチャネルｃｈ０、ｃｈ１、ｃｈ２、ｃｈ３、の入力に接続する。

携帯端末２０の利用状態が「手持」の場合はマイク１２０〜１２２の音声入力Ｓｉｇ０〜Ｓｉｇ２を音源分離処理に使用し、マイク１２３に対応するチャネルｃｈ３をＥＣ参照信号入力に使用する。また、携帯端末２０の利用状態が「卓上」の場合はマイク１２１〜１２３の音声入力Ｓｉｇ１〜Ｓｉｇ３を音源分離処理に使用し、マイク１２０に対応するチャネルｃｈ０をＥＣ参照信号入力に使用する。音声入力部１２は、２個のスイッチを備え、ＳＷ２がマイク１２０出力Ｓｉｇ０とＥＣ参照信号Ｒｅｆとを切り替え、ＳＷ１がマイク１２３出力Ｓｉｇ３とＥＣ参照信号Ｒｅｆとを切り替える。ＳＷ１とＳＷ２の動作は、制御部１１が制御する。また、Ａ−Ｄ変換器１２４のｃｈ０〜ｃｈ３の出力信号は、記憶部１４に格納し、音源分離部１１１が使用する。

音声出力部１３は、制御部１１によって制御され、無線通信部１０が受信する音声データを変換し、アンプで増幅してから、スピーカ２４やレシーバから音を出力する。また、音声出力部１３は、音声入力部１２にＥＣ参照信号Ｒｅｆを供給する。

記憶部１４は、制御部１１のプログラムと、音声処理用の音声データと、動作モード情報１４１と、システム設定情報１４２などを記憶する。例えば、記憶部１４は、制御部１１に実行させるための制御プログラムと、テレビ電話アプリケーションプログラムと、音源分離部１１１が使用する音声データなどを記憶する。なお、記憶部１４は、内蔵メモリ又は外部メモリのいずれで構成してもよい。

動作モード情報１４１は、音源分離部１１１の動作モードを表す情報である。制御部１１又は制御部１１の性能劣化防止部１１２が、音源分離部１１１を制御するために動作モード情報１４１に各項目の状態を設定する。図５に示すように、動作モード情報１４１の内容には、端末利用状態と、音源分離用チャネルと、ＥＣ参照信号用チャネルと、切替中の処理回数と、次の端末利用状態との項目を含む。

「端末利用状態」は、携帯端末２０の利用状態が現在どの状態であるかを示す。携帯端末２０が、現在ユーザによって「手持」状態、「卓上」状態、「形状切替中」状態のうちのどの状態で利用しているのかを示す。

「音源分離用チャネル」は、携帯端末２０の「端末利用状態」に対応する音源分離処理用の入力音声チャネルを示す。「端末利用状態」が「手持」の場合には、音声入力チャネル「ｃｈ０〜ｃｈ２」を使用して音源分離処理する。「端末利用状態」が「卓上」の場合には、音声入力チャネル「ｃｈ１〜ｃｈ３」を使用して音源分離処理する。「端末利用状態」が「形状切替中」の場合には、音声入力チャネル「ｃｈ１、ｃｈ２」を使用して音源分離処理する。

「ＥＣ参照信号用チャネル」は、携帯端末２０の「端末利用状態」に対応するＥＣ参照信号用の入力音声チャネルを示す。「端末利用状態」が「手持」の場合には、音声入力チャネル「ｃｈ３」をＥＣ参照信号Ｒｅｆとして使用してＥＣ処理をする。「端末利用状態」が「卓上」の場合には、音声入力チャネル「ｃｈ０」をＥＣ参照信号Ｒｅｆとして使用してＥＣ処理をする。「端末利用状態」が「形状切替中」の場合には、タイミングによって音声入力チャネル「ｃｈ０」又は「ｃｈ３」をＥＣ参照信号Ｒｅｆとして使用してＥＣ処理をする。

「切替中の処理回数」は、「端末利用状態」が「形状切替中」の場合に性能劣化防止部１１２が使用する情報であり、「形状切替中」に音源分離部１１１が行う処理回数を示す。「切替中の処理回数」情報は、性能劣化防止部１１２で使用し、「形状切替中」の音源分離処理をする回数の情報で、「０〜４」まで使用する。「切替中の処理回数」の情報に基づいて、性能劣化防止部１１２は、「ｃｈ０」と「ｃｈ３」との一方をＥＣ参照信号Ｒｅｆとして使用することを決めて、動作モード情報１４１のＥＣ参照信号用チャネルの情報を更新する。「ｃｈ０」を使用する場合は、動作モード情報１４１のＥＣ参照信号用チャネルに「ｃｈ０」を設定する。「ｃｈ３」を使用する場合は、動作モード情報１４１のＥＣ参照信号用チャネルに「ｃｈ３」を設定する。

「次の端末利用状態」は、「形状切替中」を終了した後の端末利用状態を示す。「形状切替中」の処理を終了した際に、性能劣化防止部１１２が動作モード情報１４１の「端末利用状態」を「形状切替中」から「次の端末利用状態」に記載の状態に変更する。

システム設定情報１４２は、各端末利用状態の設定情報である。システム設定情報１４２には、各端末利用状態の場合に、音源分離処理の対象として使用する音声入力チャネルと、ＥＣ参照信号入力用として使用する音声入力チャネルと、ＳＷ１、ＳＷ２を制御する設定状態を示す情報があり、予め記憶部１４に設定する。図６に示すように、システム設定情報１４２の内容には、端末利用状態と、音源分離用チャネルと、ＥＣ参照信号用チャネルと、スイッチ設定の項目を含む。

システム設定情報１４２の「端末利用状態」の項目と「音源分離用チャネル」の項目とは、動作モード情報１４１の各項目と同様のため説明を省略する。また、「ＥＣ参照信号用チャネル」も動作モード情報１４１と基本的には同様の情報である。但し、端末利用状態が「形状切替中」の場合は切替前の端末利用状態と、切替後の端末利用状態とに依存して状態が変わるため、システム設定情報１４２の「ＥＣ参照信号用チャネル」の項目には記載しない。

「スイッチ設定」は、各端末利用状態での、ＳＷ１、ＳＷ２を制御する設定状態を示す情報がある。端末利用状態が「手持」の場合には、ＳＷ１の入力がＥＣ参照信号Ｒｅｆを選択し、ＳＷ２の入力がマイク１２０の出力信号Ｓｉｇ０を選択する。端末利用状態が「卓上」の場合には、ＳＷ１の入力がマイク１２３の出力信号Ｓｉｇ３を選択し、ＳＷ２の入力がＥＣ参照信号Ｒｅｆを選択する。端末利用状態が「形状切替中」の場合には、切替前の端末利用状態と切替後の端末利用状態によって変わるため、システム設定情報１４２のスイッチ設定に記載しない。

操作部１５は、キーボードやボタンなどで構成し、電話番号や文字情報や画面上のカーソルの位置情報など情報もしくは指示を入力し、制御部１１に伝える。

撮像部１６は、カメラなどで構成し、操作部１５の操作により、被写体の画像を撮像し、記憶部１４に保存したり、表示部１７に撮影画像を表示する。

表示部１７は、ＬＣＤ（Liquid Crystal Display）や、有機ＥＬ（Organic Electro-Luminescence）などの画面とＬＣＤや有機ＥＬを駆動するドライバ回路などで構成する。例えば、無線通信部１０から取得したテレビ電話の通信相手の画像などを表示する。

利用状態検出部１８は、携帯端末２０の利用状態を検知する。利用状態検出部１８は、携帯端末２０の利用状態が「手持」か「卓上」か「形状切替中」かなどの利用状態であるのかを検出し、検出結果を制御部１１に伝える。端末利用状態を判断する方法としては、例えば、携帯端末２０が備えるヒンジ部２３のセンサ（図示せず）などを使って、端末が開いているのか閉じているのかなどに基づいて「手持」か「卓上」かなどの端末の利用状態を判断する。

また、利用状態検出部１８は、携帯端末２０の利用状態の変化を検出する手段を備え、「形状切替中」（利用状態が変化したこと）を検出した際には、その情報を制御部１１の性能劣化防止部１１２に伝える。「形状切替中」の状態として、入力音声データが、マイクの出力音声からＥＣ参照信号入力用に変わる場合と、ＥＣ参照信号入力用からマイクの出力信号に変わる場合との２通りと考えられる。

端末利用状態が「手持」から「卓上」に変化する場合を変化パターン１とし、端末利用状態が「卓上」から「手持」に変化する場合を変化パターン２とする。各変化が発生する際に、利用状態検出部１８が性能劣化防止部１１２に変化通知信号を送る。変化パターン１が発生した際には、性能劣化防止部１１２に卓上状態信号を送り、変化パターン２が発生した際には、性能劣化防止部１１２に手持状態信号を送る。なお、変化パターンは、２通りに限定する必要はない。

バス１９は、各部間でデータを伝送し、無線通信部１０と、制御部１１と、音声入力部１２と、音声出力部１３と、記憶部１４と、操作部１５と、撮像部１６と、表示部１７と、利用状態検出部１８と、スピーカ２４とを接続する。

図７は、ユーザがテレビ電話の開始を指示した場合に、制御部１１が実行するテレビ電話処理を示すフローチャートであり、エコー除去性能劣化を改善するための動作を説明する。ユーザが操作部１５を操作してテレビ電話の開始を指示すると、操作部１５は、この操作情報を制御部１１に送る。制御部１１は、操作部１５から送られた操作情報に基づいて記憶部１４からテレビ電話処理のプログラムデータを読み出し、図７に示すフローチャートに従い、このテレビ電話処理を実行する。

制御部１１は、利用状態検出部１８に、携帯端末２０の現在の利用状態を検出するように依頼を送信する（ステップＳ１０１）。

利用状態検出部１８は、制御部１１からの利用状態検出の依頼を受信すると、図８に示すフローチャートに従い、利用状態検出処理を実行する。利用状態検出部１８は、ヒンジ部２３に設けたセンサなどからのセンサ信号に基づいて携帯端末２０の端末利用状態を検出する（ステップＳ２０１）。利用状態検出部１８は、動作モード情報１４１の端末利用状態の欄に、検出した端末利用状態の情報「手持」又は「卓上」の情報を記録する（ステップＳ２０２）。システム設定情報１４２を参照して、検出した端末利用状態の音源分離用チャネルの情報を動作モード情報１４１の音源分離用チャネルの欄に設定し、検出した端末利用状態のＥＣ参照信号用チャネルの情報を動作モード情報１４１のＥＣ参照信号用チャネルに設定する。利用状態検出部１８は、制御部１１に利用状態検出終了を通知し（ステップＳ２０３）、この利用状態検出処理を終了させる。

制御部１１は、利用状態検出部１８から利用状態検出終了の通知を受け取ると（ステップＳ１０２）、動作モード情報１４１の端末利用状態の欄を参照して端末利用状態が「手持」であるか否かを判別する（ステップＳ１０３）。

端末利用状態が「手持」であると判別した場合には（ステップＳ１０３；ＹＥＳ）、制御部１１は、システム設定情報１４２を参照してスイッチを「手持」状態に設定する。制御部１１は、ＳＷ１を制御してＥＣ参照信号Ｒｅｆを選択し、ＳＷ２を制御して音声信号Ｓｉｇ０を選択する（ステップＳ１０４）。

端末利用状態が「手持」ではないと判別した場合には（ステップＳ１０３；ＮＯ）、制御部１１は、システム設定情報１４２を参照してスイッチを「卓上」状態に設定する。制御部１１は、ＳＷ１を制御して音声信号Ｓｉｇ３を選択し、ＳＷ２を制御してＥＣ参照信号Ｒｅｆを選択する（ステップＳ１０５）。

制御部１１は、各スイッチの制御が完了すると、音処理を実行する（ステップＳ１０６）。図９は、図７のステップＳ１０６の音処理を示すフローチャートである。１フレーム毎に、音取得処理、ＥＣ処理及び音源分離処理を実施し、利用状態が切替中の場合には、性能劣化防止処理を実施する。制御部１１は、音声入力部１２から１フレーム分の音声データを取得して、音源分離部１１１に音声取得完了を通知する（ステップＳ３０１）。なお、音源分離部１１１が受け取るフレームが通話開始後の１番目のフレームの場合には、音源分離処理に必要な２フレーム分の入力音声データが揃っていないので、ＥＣ処理及び音源分離処理は実施しない（フローチャートに図示せず）。

制御部１１は、動作モード情報１４１の端末利用状態の欄を参照して、動作モード情報１４１の端末利用状態が「形状切替中」であるか否かを判別する（ステップＳ３０２）。制御部１１は、動作モード情報１４１の端末利用状態を「形状切替中」ではないと判別した場合には（ステップＳ３０２；ＮＯ）、さらに、端末利用状態が「手持」かを判断する（ステップＳ３０３）。

音源分離部１１１は、動作モード情報１４１のＥＣ参照信号用チャネルの欄と音源分離用チャネルの欄を参照して、ＥＣ処理を行う。端末利用状態が「手持」の場合には（ステップＳ３０３；ＹＥＳ）、音源分離部１１１は、音声入力チャネルｃｈ３の信号をＥＣ参照信号Ｒｅｆとして使用し、音声入力チャネルｃｈ０〜ｃｈ２の信号に対してＥＣ処理を行い（ステップＳ３０５）、ＥＣ処理後のｃｈ０〜ｃｈ２の信号を使って音源分離処理を行う（ステップＳ３０６）。

端末利用状態が「卓上」の場合には（ステップＳ３０３；ＮＯ）、音源分離部１１１は、音声入力チャネルｃｈ０の信号をＥＣ参照信号Ｒｅｆとして使用し、音声入力チャネルｃｈ１〜ｃｈ３の信号に対してＥＣ処理を行い（ステップＳ３０４）、ＥＣ処理後のｃｈ１〜ｃｈ３の信号を使って音源分離処理を行う（ステップＳ３０６）。音源分離部１１１は、各端末利用状態での音源分離処理が終わると（ステップＳ３０６）、音源分離処理結果のデータを記憶部１４に記憶して（ステップＳ３０７）、処理を終了する。無線通信部１０は、次のフレーム開始時に、記憶部１４が記憶したデータを出力として送信する。

動作モード情報１４１の端末利用状態が「形状切替中」の場合には（ステップＳ３０２；ＹＥＳ）、音源分離部１１１は、動作モード情報１４１の設定値に基づいて、音声入力チャネルｃｈ１、ｃｈ２の信号に対してＥＣ処理を行い（ステップＳ３０８）、ＥＣ処理後のｃｈ１、ｃｈ２の信号を使って音源分離処理を行う（ステップＳ３０９）。音源分離部１１１は、各端末利用状態での音源分離処理が終わると（ステップＳ３０９）、音源分離処理結果のデータを記憶部１４に記憶（ステップＳ３１０）する。ここまでの処理は、端末利用状態が切替中でない場合の（ステップＳ３０２；ＮＯ）、ステップＳ３０４乃至ステップＳ３０７の処理と基本的には同じである。

１フレーム分の音処理が終わると、性能劣化防止部１１２は、ＳＷ１、ＳＷ２の切替と、動作モード情報１４１の設定値を更新する性能劣化防止処理（ステップＳ３１１、図１０の処理）を行う。なお、利用状態が変化したときに性能劣化防止部１１２が行う設定処理は、フレーム単位の処理とは非同期に行うので、別途、利用状態切替時処理のフローチャートに示す（図１１）。ここでは、設定処理により、音源分離処理用チャネル「ｃｈ１、ｃｈ２」、処理回数の欄の値「０」に設定し、ＥＣ参照信号用チャネルは、利用状態が変化する前の状態に従って、「ｃｈ０」又は「ｃｈ３」に設定しているとする。また、ＳＷ１およびＳＷ２はともにＥＣ参照信号を選択するように設定され、切替中の処理回数（ｎ）は０にリセットされる。

性能劣化防止部１１２は、動作モード情報１４１の切替中の処理回数（ｎ）に１を加算し、加算結果を切替中の処理回数の欄に記録する（ステップＳ４０１）。切替中の処理回数の欄の値を判別する（ステップＳ４０２）。形状変化後の１回目の処理では、切替中の処理回数の欄の値が「１」なので（ステップＳ４０２；１）、性能劣化防止部１１２は、初期設定された動作モード情報１４１の値をそのまま維持し、ＳＷ１、ＳＷ２の状態もそのまま維持する。すなわち、ＳＷ１およびＳＷ２はともにＥＣ参照信号を選択したままである。

切替中の処理回数の欄の値が「２」である場合には（ステップＳ４０２；２）、性能劣化防止部１１２は、動作モード情報１４１の次の端末利用状態の欄に記載の情報を参照して、スイッチ制御を行う（ステップＳ４０３）。なお、動作モード情報１４１の次の端末利用状態は、端末の利用状態が切り替わった後の状態を記憶する。次の端末利用状態が「手持」の場合には、性能劣化防止部１１２は、システム設定情報１４２のスイッチ設定の欄に「ＳＷ１＝Ｒｅｆ、ＳＷ２＝ｓｉｇ０」を記録し、ＳＷ１を制御してＥＣ参照信号Ｒｅｆに切り替え、ＳＷ２を制御してマイク入力信号Ｓｉｇ０に切り替える。次の端末利用状態が「卓上」の場合には、性能劣化防止部１１２は、システム設定情報１４２のスイッチ設定の欄に「ＳＷ１＝Ｓｉｇ３、ＳＷ２＝Ｒｅｆ」を記録し、ＳＷ１を制御してマイク入力信号Ｓｉｇ３に切り替え、ＳＷ２を制御してＥＣ参照信号Ｒｅｆに切り替える。

性能劣化防止部１１２は、動作モード情報１４１の次の端末利用状態の欄に記載する状態を参照して、システム設定情報１４２から対応するＥＣ参照信号用チャネルの情報を取得して記録する（ステップＳ４０４）。次の端末利用状態が「手持」の場合には、ＥＣ参照信号用チャネルの欄に「ｃｈ３」を記録し、次の端末利用状態が「卓上」の場合には、ＥＣ参照信号用チャネルの欄に「ｃｈ０」を記録する。

切替中の処理回数の欄の値が「３」の場合には（ステップＳ４０２；３）、性能劣化防止部１１２は、初期設定された動作モード情報１４１の値をそのまま維持し、ＳＷ１、ＳＷ２の状態もそのまま維持する。したがって、次の端末利用状態が「手持」の場合には、スイッチ設定は「ＳＷ１＝Ｒｅｆ、ＳＷ２＝ｓｉｇ０」であり、次の端末利用状態が「卓上」の場合には、スイッチ設定は「ＳＷ１＝Ｓｉｇ３、ＳＷ２＝Ｒｅｆ」である。

切替中の処理回数の欄の値が「４」である場合には（ステップＳ４０２；４）、性能劣化防止部１１２は、動作モード情報１４１の次の端末利用状態の欄と、システム設定情報１４２とを参照して、動作モード情報１４１を更新する（ステップＳ４０５）。次の端末利用状態が「手持」の場合には、端末利用状態の欄には「手持」、音源分離用チャネルの欄には「ｃｈ０〜ｃｈ２」、ＥＣ参照信号用チャネルの欄には「ｃｈ３」、を記録して、処理を終了する。次の端末利用状態が「卓上」の場合には、端末利用状態の欄には「卓上」、音源分離用チャネルの欄には「ｃｈ１〜ｃｈ３」、ＥＣ参照信号用チャネルの欄には「ｃｈ０」、を記録する。切替中の処理回数の欄の値をリセットする（ステップＳ４０６）。

図１１は、形態端末２０の利用状態が変化したときに、性能劣化防止部１１２が実行する利用状態切替時の設定処理のフローチャートである。利用状態検出部１８は、携帯端末２０の形状が変化する際にヒンジ部２３からのセンサ信号を受信すると、手持状態信号又は卓上状態信号を性能劣化防止部１１２に伝える。性能劣化防止部１１２は、利用状態検出部１８からの手持状態信号又は卓上状態信号に基づき、音源分離処理や性能劣化防止処理などのフレーム単位の処理とは非同期に利用状態切替時の設定処理を行う。

性能劣化防止部１１２は、利用状態検出部１８から利用状態が変更した信号を受信し（ステップＳ５０１）、受信信号の状態が手持状態信号かを判断する（ステップＳ５０２）。

受信信号が手持状態信号（変化パターン２）の場合には（ステップＳ５０２；ＹＥＳ）、「卓上」状態から「手持」状態に変化した場合であり、性能劣化防止部１１２は、ＳＷ１を制御して、ｃｈ３をＥＣ参照信号Ｒｅｆに切り替える（ステップＳ５０３）。なお、ＳＷ２が現状を維持しているので、ｃｈ０とｃｈ３とは、ＥＣ参照信号Ｒｅｆを入力する。性能劣化防止部１１２は、動作モード情報１４１に次の端末利用状態の欄に「手持」を記録し、ＥＣ参照信号用チャネルの欄には変更前の端末利用状態「卓上」の「ｃｈ０」を記録する（ステップＳ５０４）。

受信信号が卓上状態信号（変化パターン１）の場合には（ステップＳ５０２；ＮＯ）、性能劣化防止部１１２は、ＳＷ２を制御して、ｃｈ０をＥＣ参照信号Ｒｅｆに切り替える（ステップＳ５０５）。なお、ＳＷ１が現状を維持しているので、ｃｈ０とｃｈ３とは、ＥＣ参照信号Ｒｅｆを入力する。「手持」状態から「卓上」状態に変化した場合であり、性能劣化防止部１１２は、動作モード情報１４１に次の端末利用状態の欄に「卓上」を記録し、ＥＣ参照信号用チャネルの欄には変更前の端末利用状態「手持」の「ｃｈ３」を記録する（ステップＳ５０６）。

性能劣化防止部１１２は、動作モード情報１４１の端末利用状態の欄に「形状切替中」を記録し（ステップＳ５０７）、動作モード情報１４１の切替中の処理回数の欄に「０」を記録し（ステップＳ５０８）、動作モード情報１４１の音源分離用チャネルの欄に「ｃｈ１、ｃｈ２」を記録する（ステップＳ５０９）。次のフレーム処理のタイミングから切替中の処理を実施するための設定をする。

図１２、図１３に示すタイミングチャートを用いて制御部１１、音源分離処理部１１１、性能劣化防止部１１２が行う処理を説明する。図１２は、ユーザがテレビ電話利用中に端末利用スタイルを「手持」から「卓上」に切り替える時のタイミングチャートである。

制御部１１は、時刻ｔ０において、音声の取り込みを開始すると、音声入力チャネルｃｈ０〜ｃｈ２からマイク入力信号Ｓｉｇ０〜Ｓｉｇ２を、音声入力チャネルｃｈ３からＥＣ参照信号Ｒｅｆを取得する。１フレーム分の音声データの取得が終わる時点で音声取得完了を通知する（図９ステップＳ３０１）。音源分離処理部１１１は、動作モード情報１４１に記載の情報に基づいてＥＣ処理及び音源分離処理を行う。なお、制御部１１は、周期Ｔ毎に音声取得完了の通知を受け取り、動作モード情報１４１に記載の情報に基づいて動作する（図９）。

時刻ｔ１において、ユーザが端末利用スタイルを手持から卓上に切り替えるので、利用状態検出部１８が「卓上状態信号」を性能劣化防止部１１２に送信する。性能劣化防止部１１２は、ＳＷ２をＥＣ参照信号Ｒｅｆに切り替えるように制御する。性能劣化防止部１１２は、動作モード情報１４１の端末利用状態の欄に「形状切替中」を、音源分離用チャネルの欄に「ｃｈ１、ｃｈ２」を、ＥＣ参照信号用チャネルの欄には「ｃｈ３」を、切替中の処理回数の欄に「０」を、次の端末利用状態の欄には「卓上」、を記録する（図１１）。

ｔ０＋３Ｔにおいて、音源分離処理部１１１は、動作モード情報１４１の情報に基づいて、ｃｈ３の入力をＥＣ参照信号用として使用し、ｃｈ１、ｃｈ２のマイク入力信号をＥＣ処理して（図９ステップＳ３０８）、ＥＣ処理後のｃｈ１、ｃｈ２の音声データを使用して音源分離処理を行い（ステップＳ３０９）、処理結果を記憶する（ステップＳ３１０）。性能劣化防止部１１２は、切替中の処理回数（ｎ）に１を加算して、動作モード情報１４１の切替中の処理回数の欄に「１」を記録して（図１０ステップＳ４０１）、処理を終了する。

時刻ｔ０＋４Ｔにおいて、音源分離部１１１の処理は、時刻ｔ０＋３Ｔと同様の処理を行う（図９ステップＳ３０８〜ステップＳ３１０）。性能劣化防止部１１２は、切替中の処理回数に１を加算して、動作モード情報１４１の切替中の処理回数の欄に「２」を記録する（図１０ステップＳ４０１）。動作モード情報１４１の次の端末利用状態は「卓上」なので、ＳＷ１をマイク入力信号Ｓｉｇ３に切り替える制御をして（ステップＳ４０３）、動作モード情報１４１のＥＣ参照信号用チャネルの欄に「ｃｈ０」を記録して（ステップＳ４０４）、処理を終了する。

時刻ｔ０＋５Ｔにおいて、音源分離処理部１１１は、ｃｈ０の入力をＥＣ参照信号用として使用し、ｃｈ１、ｃｈ２のマイク入力信号をＥＣ処理して（図９ステップＳ３０８）、ＥＣ処理後のｃｈ１、ｃｈ２の音声データを使用して音源分離処理を行い（ステップＳ３０９）、処理結果を記憶する（ステップＳ３１０）。性能劣化防止部１１２は、切替中の処理回数（ｎ）に１を加算して、動作モード情報１４１の切替中の処理回数の欄に「３」を記録し（図１０ステップＳ４０１）、処理を終了する。

時刻ｔ０＋６Ｔにおいて、音源分離処理部１１１は、時刻ｔ０＋５Ｔと同様の処理を行う（図９ステップＳ３０８〜ステップＳ３１０）。切替中の処理回数（ｎ）に１を加算した（図１０ステップＳ４０１）結果が「４」なので（ステップＳ４０２；４）、性能劣化防止部１１２は、動作モード情報１４１の設定を行う。動作モード情報１４１の次の端末利用状態は「卓上」なので、動作モード情報１４１の端末利用状態の欄には「卓上」、音源分離用チャネルの欄には「ｃｈ１〜ｃｈ３」、ＥＣ参照信号用チャネルの欄には「ｃｈ０」、を記録する（ステップＳ４０５）。切替中の処理回数をリセットする（ステップＳ４０６）。

時刻ｔ０＋７Ｔ以降では、「ｃｈ０」の入力をＥＣ参照信号用として使用し、「ｃｈ１〜ｃｈ３」の音声信号を使用して音源分離処理を行う。

図１３は、ユーザがテレビ電話利用中に端末利用スタイルを「卓上」から「手持」に切り替える時のタイミングチャートである。制御部１１は、時刻ｔ０において、音声の取り込みを開始すると、音声入力チャネルｃｈ１〜ｃｈ３からマイク入力信号Ｓｉｇ１〜Ｓｉｇ３を、音声入力チャネルｃｈ０からＥＣ参照信号Ｒｅｆを取得する。１フレーム分の音声データの取得が終わる時点で音声取得完了を通知する（図９ステップＳ３０１）。音源分離処理部１１１は、動作モード情報１４１に記載の情報に基づいてＥＣ処理及び音源分離処理を行う（図９）。

時刻ｔ１において、ユーザが端末利用スタイルを卓上から手持に切り替えるので、利用状態検出部１８が「手持状態信号」を性能劣化防止部１１２に送信する。性能劣化防止部１１２は、ＳＷ１をＥＣ参照信号Ｒｅｆに切り替えるように制御する。性能劣化防止部１１２は、動作モード情報１４１の端末利用状態の欄に「形状切替中」を、切替中の処理回数の欄に「０」を、音源分離用チャネルの欄に「ｃｈ１、ｃｈ２」を記録する（図１１）。

ｔ０＋３Ｔにおいて、音源分離処理部１１１は、動作モード情報１４１の情報に基づいて、ｃｈ０の入力をＥＣ参照信号用として使用し、ｃｈ１、ｃｈ２のマイク入力信号をＥＣ処理して（図９ステップＳ３０８）、ＥＣ処理後のｃｈ１、ｃｈ２の音声データを使用して音源分離処理を行い（ステップＳ３０９）、処理結果を記憶する（ステップＳ３１０）。性能劣化防止部１１２は、切替中の処理回数（ｎ）を１で加算して、動作モード情報１４１の切替中の処理回数の欄に「１」を記録して（図１０ステップＳ４０１）、処理を終了する。

時刻ｔ０＋４Ｔにおいて、音源分離処理部１１１は、時刻ｔ０＋３Ｔと同様の処理を行う（図９ステップＳ３０８〜ステップＳ３１０）。性能劣化防止部１１２は、切替中の処理回数（ｎ）に１を加算して、動作モード情報１４１の切替中の処理回数の欄に「２」を記録する（図１０ステップＳ４０１）。動作モード情報１４１の次の端末利用状態は「手持」なので、ＳＷ２を マイク入力信号Ｓｉｇ０に切り替えるように制御し（ステップＳ４０３）、動作モード情報１４１のＥＣ参照信号用チャネルの欄に「ｃｈ３」を記録し（ステップＳ４０４）、処理を終了する。

時刻ｔ０＋５Ｔにおいて、音源分離処理部１１１は、ｃｈ３の入力をＥＣ参照信号用として使用し、ｃｈ１、ｃｈ２のマイク入力信号をＥＣ処理して（図９ステップＳ３０８）、ＥＣ処理後のｃｈ１、ｃｈ２の音声データを使用して音源分離処理を行い（ステップＳ３０９）、処理結果を記憶する（ステップＳ３１０）。性能劣化防止部１１２は、切替中の処理回数（ｎ）に１を加算して、動作モード情報１４１の切替中の処理回数の欄に「３」を記録し（図１０ステップＳ４０１）、処理を終了する。

時刻ｔ０＋６Ｔにおいて、音源分離処理部１１１は、時刻ｔ０＋５Ｔと同様の処理を行う（図９ステップＳ３０８〜ステップＳ３１０）。切替中の処理回数（ｎ）に１を加算した（図１０ステップＳ４０１）結果が「４」なので（ステップＳ４０２；４）なので、性能劣化防止部１１２は、動作モード情報１４１の設定を行う。動作モード情報１４１の次の端末利用状態は「手持」なので、動作モード情報１４１の端末利用状態の欄には「手持」、音源分離用チャネルの欄には「ｃｈ０〜ｃｈ２」、ＥＣ参照信号用チャネルの欄には「ｃｈ３」、を記録する（ステップＳ４０５）。切替中の処理回数をリセットする（ステップＳ４０６）。

時刻ｔ０＋７Ｔ以降では、「ｃｈ３」の入力をＥＣ参照信号用として使用し、「ｃｈ０〜ｃｈ２」の音声信号を使用して音源分離処理を行う。

以上説明したように、実施の形態に係る雑音処理装置を備える携帯端末２０によれば、携帯端末２０の形状を変化させて利用する場合でも、各利用状態に対応させて音源分離用に使用する音声入力チャネルと雑音除去用に使用するＥＣ参照信号入力チャネルとを切り替えて使用するので、各形状の利用状態での最良の音質を得ることができる。また、携帯端末２０は、ＥＣ処理中に、携帯端末の利用状態が変化したことを検出すると、一時的に２つの音声入力チャネルをＥＣ参照信号入力チャネルにすることによって、ＥＣ参照信号入力チャネルを確実に確保することができる。利用状態変更に伴ってＥＣ参照信号入力チャネルを切り替える途中の状態でも継続的にＥＣ参照信号を取得することができるので、途切れることなく雑音やエコーを除去でき、雑音除去処理やエコー除去処理の性能劣化を防止できる。

なお、実施の形態ではエコーキャンセラの処理について説明したが、エコーキャンセラに限らず周囲の雑音を除去する処理にも使用することができる。例えば、通話するユーザの口元の方を向いているマイクの音声入力をＥＣ処理及び音源分離処理に使用して、ユーザの口元と反対側の方を向いているマイクを別の雑音除去用入力に切り替える。反対側のマイクの音声入力を無指向性などの指向性が異なるマイクの入力信号と切り替えたり、音声入力に雑音除去用の処理をした信号と切り替えたりする場合などである。ＥＣ参照信号Ｒｅｆとは異なる雑音除去用の入力信号を使用することにより、スピーカからの出力音声のエコーの除去と、スピーカ出力以外の外部雑音とを参照信号に取り込むことができる。

なお、実施の形態では、音源分離部１１１は、連続する２フレームの音声入力信号に対して、連続する２フレームのＥＣ参照信号Ｒｅｆを用いて、１フレーム分の音源分離処理を行う。音源分離処理に用いるフレーム数は、連続する２フレームに限る必要はなく、連続するフレームであれば、２フレーム以上でもかまわない。マイク入力信号とＥＣ参照信号Ｒｅｆとを切り替えるタイミングをずらして、２つのチャンネルをＥＣ参照信号入力にするフレームの数は、音源分離処理で用いる連続するフレーム数に依存して決定する。従って、性能劣化防止部１１２の切替中の処理回数を適切な値に設定することにより、２つ以上の連続するフレームを処理する音源分離部１１１を備える雑音除去装置でも用いることができる。

また、性能劣化防止部１１２は、音源分離部１１１で使用する連続する２フレーム以上の電気信号及びＥＣ参照信号Ｒｅｆを同じスイッチを経由した信号を使うように選択する。性能劣化防止部１１２の選択により、音源分離部１１１は、同じ経路の連続したフレーム毎で音源分離処理をすることができ、切り替え中の状態でない「手持」状態や「卓上」状態の場合と同様の処理を行うことができる。

（実施の形態の変形例）
なお、本発明の実施の形態の変形例として、ＥＣ参照信号Ｒｅｆには固定のチャネルを割り当て、音声入力を切り替える場合が考えられる。例えば図１の音声入力部１２の構成を、マイク１２０とマイク１２３との音声入力信号を切り替えてＡ−Ｄ変換器１２４のｃｈ０に入力するＳＷ２と、ＥＣ参照信号Ｒｅｆを直接Ａ−Ｄ変換器１２４のｃｈ３に入力する場合である。図１４では、音声入力チャネルのみを切り替えた場合のタイミングチャートを示す。ｃｈ０マイク入力信号がマイク１２０から１２３に切り替わった時間（ｔ１）のフレーム（３ｆ）を使用せずに、ｃｈ１、ｃｈ２のマイク入力信号に対してｃｈ３のＥＣ参照信号Ｒｅｆを用いて音源分離処理を行ってもよい。

実施の形態の変形例によれば、携帯端末２０の形状を変化させて利用する場合でも、必ずＥＣ参照信号Ｒｅｆを確保できる。変形例では、切り替える音声入力チャネルのみを一時的に使用しないので、途切れることなく雑音やエコーを除去でき、雑音除去処理やエコー除去処理の性能劣化を防止できる。また、変形例は、実施の形態と比べて、スイッチの数を減らすことができ、スイッチの切り替え処理を減らすことができるので、性能劣化防止部１１１の処理を軽減できる。

また、本発明は携帯端末に限定されるものではなく、デジタルビデオカメラやノートパソコンなどの該装置の形態を変更して利用できる装置でも同様の制御が可能である。

その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更及び修正が可能である。

無線通信部１０、制御部１１、記憶部１４、操作部１５などから構成される雑音除去装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する雑音除去装置を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで雑音除去装置を構成してもよい。

また、雑音除去装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、又はＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

本発明の実施例に係る携帯端末の構成を示すブロック図である。 本発明の雑音処理装置の構成を示すブロック図である。 端末利用状態が「手持」の場合の携帯端末の外観を示す図である。 端末利用状態が「卓上」の場合の携帯端末の外観を示す図である。 動作モード情報の構成を示す図である。 システム設定情報の構成を示す図である。 制御部が実行するテレビ電話処理を示すフローチャートである。 利用状態検出部が実行する利用状態検出処理を示すフローチャートである。 音処理を示すフローチャートである。 性能劣化防止部が実行する性能劣化防止処理を示すフローチャートである。 性能劣化防止部が実行する利用状態切替時処理のフローチャートである。 端末利用状態が「手持」から「卓上」に変化した時のタイミングチャートである。 端末利用状態が「卓上」から「手持」に変化した時のタイミングチャートである。 音声入力チャネルのみ切り替える場合のタイミングチャートである。 性能劣化防止処理をしない場合に変化した時のタイミングチャートである。

符号の説明

１、２・・・スイッチ、１０・・・無線通信部、１１・・・制御部、１２・・・音声入力部、１３・・・音声出力部、１４・・・記憶部、１５・・・操作部、１６・・・撮像部、１７・・・表示部、１８・・・利用状態検出部、１９・・・バス、２０・・・携帯端末、２１・・・携帯端末の上側筐体、２２・・・携帯端末の下側筐体、２３・・・ヒンジ部、２４・・・スピーカ、１１１・・・音源分離部、１１２・・・性能劣化防止部、１２０、１２１、１２２、１２３・・・マイク、１２４・・・Ａ−Ｄ変換器

Claims (7)

1. 音を電気信号に変換する３つ以上の音入力手段と、
   前記音入力手段で入力する前記電気信号のうち、目的とする音以外の雑音成分の少なくとも一部を含む雑音参照信号を入力する参照信号入力手段と、
   前記電気信号と前記雑音参照信号のうち、２以上の前記電気信号と前記雑音参照信号を選択して入力する入力選択手段と、
   所定の単位時間ごとに、前記入力選択手段で入力した前記電気信号から前記雑音参照信号の成分を除去する音源分離手段と、
   前記入力選択手段で選択して入力する前記電気信号の組み合わせを切り替える切替手段と、
   前記切替手段が前記入力選択手段で入力する前記電気信号の組み合わせを切り替えたときに、その切り替えた時刻を含む前記単位時間と、そののち所定の回数の前記単位時間が経過するまで、前記切替に関与した前記電気信号を前記音源分離手段の対象から除外する性能劣化防止手段と、
   を備えることを特徴とする雑音除去装置。
2. 前記入力選択手段は、前記電気信号のいずれかと前記雑音参照信号とのいずれかを選択して入力するスイッチを複数備え、
   前記切替手段は、前記入力選択手段で前記電気信号と前記雑音参照信号とを切り替える場合に、前記電気信号を入力していた第１の前記スイッチの入力を前記雑音参照信号に切り替える第１の切替を行ったのち、所定の回数の前記単位時間が経過してから、前記第１の切替の前に前記雑音参照信号を入力していた第２の前記スイッチの入力を前記電気信号を入力するように切り替える第２の切替を行い、
   前記性能劣化防止手段は、前記音源分離手段に、前記第１の切替の時刻を含む前記単位時間では前記第２のスイッチで入力する前記雑音参照信号を用い、前記第２の切替の時刻を含む前記単位時間では前記第１のスイッチで入力する前記雑音参照信号を用いて、入力した前記電気信号から前記雑音参照信号の成分を除去させる、
   ことを特徴とする請求項１に記載の雑音除去装置。
3. 前記音源分離手段は、連続する２以上の前記単位時間の前記電気信号及び前記雑音参照信号を用いて、１つの前記単位時間の前記電気信号について前記雑音参照信号の成分を除去する処理を行い、
   前記第１の切替と第２の切替の間で経過する前記単位時間の所定の回数は、前記音源分離手段で用いる前記電気信号及び前記雑音参照信号の連続する単位時間の個数以上であって、
   前記性能劣化防止手段は、全ての前記単位時間について、前記音源分離手段が用いる連続する２以上の前記単位時間の前記電気信号及び前記雑音参照信号が、それぞれいずれも同じスイッチを経由した信号となるように、前記音源分離手段で用いる前記電気信号及び前記雑音参照信号を選択する、
   ことを特徴とする請求項２に記載の雑音除去装置。
4. 前記雑音除去装置は、その形状を変更して利用可能であって、
   前記切替手段は、前記雑音除去装置の形状が変化した場合に、前記入力選択手段で選択して入力する前記電気信号の組み合わせを切り替える、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の雑音除去装置。
5. 前記性能劣化防止手段は、前記入力選択手段で選択する前記電気信号と前記雑音参照信号の組み合わせの情報と、前記切替手段が前記入力選択手段で入力する前記電気信号の組み合わせを切り替えたことを表す情報とを記憶する制御情報記憶手段を備え、
   前記音源分離手段は、前記入力選択手段で選択する前記電気信号と前記雑音参照信号の組み合わせの情報と、前記切替手段が前記入力選択手段で入力する前記電気信号の組み合わせを切り替えたことを表す情報に基づいて、前記入力選択手段で入力した前記電気信号から前記雑音参照信号の成分を除去する処理の対象を判別する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の雑音除去装置。
6. 音を入力して３つ以上の電気信号に変換する音入力ステップと、
   前記音入力ステップで入力する前記電気信号のうち、目的とする音以外の雑音成分の少なくとも一部を含む雑音参照信号を入力する参照信号入力ステップと、
   前記電気信号と前記雑音参照信号のうち、２以上の前記電気信号と前記雑音参照信号を選択して入力する入力選択ステップと、
   所定の単位時間ごとに、前記入力選択ステップで入力した前記電気信号から前記雑音参照信号の成分を除去する音源分離ステップと、
   前記入力選択ステップで選択して入力する前記電気信号の組み合わせを切り替える切替ステップと、
   前記切替ステップで、前記入力選択ステップで選択して入力する前記電気信号の組み合わせを切り替えたときに、その切り替えた時刻を含む前記単位時間と、そののち所定の回数の前記単位時間が経過するまで、前記切替に関与した前記電気信号を前記音源分離ステップの対象から除外する性能劣化防止ステップと、
   を備えることを特徴とする雑音除去方法。
7. コンピュータに、
   音を入力して３つ以上の電気信号に変換する音入力ステップと、
   前記音入力ステップで入力する前記電気信号のうち、目的とする音以外の雑音成分の少なくとも一部を含む雑音参照信号を入力する参照信号入力ステップと、
   前記電気信号と前記雑音参照信号のうち、２以上の前記電気信号と前記雑音参照信号を選択して入力する入力選択ステップと、
   所定の単位時間ごとに、前記入力選択ステップで入力した前記電気信号から前記雑音参照信号の成分を除去する音源分離ステップと、
   前記入力選択ステップで選択して入力する前記電気信号の組み合わせを切り替える切替ステップと、
   前記切替ステップで、前記入力選択ステップで選択して入力する前記電気信号の組み合わせを切り替えたときに、その切り替えた時刻を含む前記単位時間と、そののち所定の回数の前記単位時間が経過するまで、前記切替に関与した前記電気信号を前記音源分離ステップの対象から除外する性能劣化防止ステップと、
   を実行させることを特徴とするコンピュータプログラム。

Images