JP5963430B2 - 撮像装置、音声処理装置、及びそれらの制御方法 - Google Patents

Description

本発明は、雑音低減技術に関する。

従来、音声を取り扱うものとしてデジタルカメラが知られており、デジタルカメラには、静止画撮影のほかに音声信号記録を伴う動画撮影を行う機能を有するものがある。このようなデジタルカメラにおいては、動画撮影中、フォーカスレンズや絞り機構等の駆動部の動作が行われると、音声信号記録に該駆動部の駆動音が雑音として混入してしまうという問題がある。

特許文献１は、ビデオカメラにおける記憶装置の駆動雑音を除去するための技術に関する。同文献は、駆動雑音混入区間の前後の音声信号から雑音混入区間における雑音の含まれない音声を予測し、予測したデータと入れ替える処理を開示する。この処理は、音声信号の周期性に着目して直前の音声信号から、それ以降の音声信号を予測し補間する技術である。

特開２００８−０７７７０７号公報

しかしながら、従来の手法では、雑音混入区間前後の音声信号の周期性が低い場合には、音声予測の精度は低下する。

図１８において、（ａ）はある成人女性が「あ」と発音したときの音声信号波形の例を示し、（ｂ）は（ａ）の信号にレンズ駆動による駆動雑音が混入したときの音声信号波形の例を示している。（ａ）の音声信号波形は非常に周期性が高いので、（ｂ）のように雑音が混入しても雑音混入区間前後の音声信号から予測して補間することが容易である。

一方、図１９において、（ａ）は同じ成人女性が「か」と発音したときの音声信号波形の例を示し、（ｂ）は（ａ）の音声信号の子音の直後でレンズ駆動による駆動雑音が混入したときの音声信号波形の例を示している。雑音混入区間直前の子音区間は、雑音混入区間直前の区間及び雑音混入区間で何度も繰り返されているわけではなく、非常に周期性が低い。このとき、従来のように予測処理を行うと、雑音混入区間に、子音部の音声信号や、実際にその雑音混入区間に女性が発した音声とは全く異なる音声の信号が補間されてしまうことが考えられる。

また、撮影レンズ駆動部の駆動命令タイミングに応じて雑音混入区間を決定し、その雑音混入区間に対して予測処理をする場合は、次のようなことが考えられる。

図２０は、雑音除去処理の対象である撮影レンズ駆動部の駆動による駆動雑音発生の直前に操作者が撮影装置に触れて擦れ雑音が発生したときの音声信号波形の例を示している。駆動雑音と擦れ雑音以外の音声は図１８（ａ）の被写体音声と同じである。図２０に示すように、撮影レンズ駆動部が駆動する直前に操作者が装置表面を擦るなどにより別の雑音が発生した場合、従来の手法では雑音混入区間の音声信号を予測する際、直前に発生した擦れによる雑音を予測に用いてしまう。このため、雑音除去処理後の音声は違和感のある音声となってしまう。

本発明の目的は、例えば、集音された音声に応じた雑音低減処理を実行することができる撮像装置を提供することである。

本発明の一側面によれば、撮像手段と、前記撮像手段の動作に伴って音声を入力する音声入力手段と、前記音声入力手段により入力された音声信号のうちの、前記撮像手段の機構部の駆動に伴って発生した雑音が混入した雑音混入区間を検出する検出手段と、前記検出された雑音混入区間の音声信号を、前記雑音混入区間の前方及び後方の少なくともいずれかの区間における音声信号から作成される信号で置換することで補間を行う補間手段と、前記雑音混入区間の前方及び後方の区間における音声信号の周期性に応じて、前記補間手段による補間方法を制御する制御手段とを有し、前記制御手段は、前記雑音混入区間の前方及び後方の区間における音声信号の周期性が所定の閾値よりも低いときは、前記補間を行わないように前記補間手段を制御することを特徴とする撮像装置が提供される。

本発明によれば、集音された音声に応じた雑音低減処理を実行することができる。

第１の実施形態におけるデジタル一眼レフカメラの断面図。 第１の実施形態におけるデジタル一眼レフカメラの構成を示すブロック図。 第１の実施形態における雑音除去処理に係る機能構成を示す図。 第１の実施形態における音声予測処理の説明図。 第１の実施形態における録音動作のフローチャート。 第１の実施形態における音声予測処理の説明図。 第１の実施形態における音声予測処理の説明図。 第１の実施形態における雑音区間補間判断処理の説明図。 第１の実施形態における補間処理の説明図。 第１の実施形態における補間処理の説明図。 第１の実施形態における補間処理の説明図。 第１の実施形態における補間処理の説明図。 第２の実施形態におけるシステム全体図。 第２の実施形態におけるデジタル一眼レフカメラ及び情報処理装置のブロック図。 第２の実施形態におけるカメラ側動作のフローチャート。 第２の実施形態における情報処理装置側動作のフローチャート。 第２の実施形態におけるメモリカードリーダを有する場合のシステム全体図。 駆動雑音混入時の音声信号波形の例を示す図。 駆動雑音混入時の音声信号波形の例を示す図。 駆動雑音混入時の音声信号波形の例を示す図。

＜実施形態１＞
図１は、第１の実施形態におけるデジタル一眼レフカメラ１００の断面図である。図１において、１０１はデジタル一眼レフカメラ１００のカメラボディを示し、１０２は撮影レンズを示している。撮影レンズ１０２はレンズ鏡筒１０３内に光軸１０５を有する撮像光学系１０４を有する。撮影レンズ１０２は更に、撮像光学系１０４に含まれるフォーカスレンズ群、手ブレ補正レンズユニット、及び絞り機構を駆動させるレンズ駆動部１０６、レンズ駆動部１０６を制御するレンズ制御部１０７を有する。撮影レンズ１０２は、レンズマウント接点１０８でカメラボディ１０１と電気的に接続されている。

撮影レンズ１０２前方から入射する被写体光学像は、光軸１０５を通ってカメラボディに入光し、一部をハーフミラーで構成された主ミラー１１０で反射され、フォーカシングスクリーン１１７上に結像する。フォーカシングスクリーン１１７上に結象した光学像は、ペンタプリズム１１１を通して接眼窓１１２から視認される。露出検出部である測光センサ１１６は、フォーカシングスクリーン１１７上に結像した光学象の明るさを検出する。また、主ミラー１１０を透過した被写体光学像は、サブミラー１１３で反射され、焦点検出部１１４に入射し、被写体像の焦点検出演算に用いられる。

カメラボディ１０１内にある不図示のレリーズボタンが操作されて撮影開始命令が発せられると、主ミラー１１０及びサブミラー１１３は被写体光学像が撮像素子１１８に入射するように撮影光路から退避する。焦点検出部１１４、測光センサ１１６、撮像素子１１８に入射した光線はそれぞれ電気信号に変換され、カメラ制御部１１９に送られカメラシステムの制御が行われる。また、動画撮影時はさらに、マイクロホン１１５から被写体の音声が入力されカメラ制御部１１９に送られ、撮像素子１１８に入射した被写体光学像信号と同期して記録処理される。１２０は振動検出部である加速度計を示しており、マイクロホン１１５の近傍のカメラボディ１０１の内側面に設置されている。加速度計１２０は、レンズ駆動部１０６がフォーカスレンズ群、手ブレ補正レンズユニット、絞り機構など機構部を駆動したときに発生し、撮影レンズ１０２、カメラボディ１０１を伝播してくる振動を検出する。カメラ制御部１１９は、その振動検出結果を分析して雑音混入区間を算出する。

図２はデジタル一眼レフカメラ１００の電気的制御を説明するブロック図である。カメラは、撮像系、画像処理系、音声処理系、記録再生系、制御系を有する。撮像系は、撮影レンズ１０２、撮像素子１１８を含む。画像処理系は、Ａ／Ｄ変換器１３１、画像処理回路１３２を含む。音声処理系はマイクロホン１１５及び音声信号処理回路１３７を含む。記録再生系は、記録処理回路１３３、メモリ１３４を含む。制御系は、カメラ制御部１１９、焦点検出部１１４、測光センサ１１６、操作検出部１３５、レンズ制御部１０７、レンズ駆動部１０６を含む。レンズ駆動部１０６は、焦点レンズ駆動部１０６ａ、ブレ補正駆動部１０６ｂ、絞り駆動部１０６ｃを含む。

撮像系は、物体からの光を、撮像光学系１０４を介して撮像素子１１８の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、主ミラー１１０に設けられたミラーを介して、焦点検出部１１４にも光束の一部が導かれる。また後述するように制御系によって適切に撮像光学系が調整されることで、適切な光量の物体光を撮像素子１１８に露光するとともに、撮像素子１１８近傍で被写体像が結像する。

画像処理回路１３２は、Ａ／Ｄ変換器１３１を介して撮像素子１１８から受けた撮像素子の画素数の画像信号を処理する信号処理回路である。画像処理回路１３２は、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。

音声処理系において、音声信号処理回路１３７は、マイクロホン１１５を介して入力した信号に対して適切な処理を施して録音用音声信号を生成する。録音用音声信号は、後述する記録処理部により画像とリンクして記録処理される。

また、加速度計１２０は、加速度計処理回路１３８を介して、カメラ制御部１１９に接続されている。加速度計１２０で検出されたカメラボディ１０１の振動の加速度信号は加速度計処理回路１３８において、増幅、ハイパスフィルタ処理、及びローパスフィルタ処理が行われ、目的の周波数が検出されるように処理される。

記録処理回路１３３は、メモリ１３４への画像信号の出力を行うとともに、表示部１３６に出力する像を生成、保存する。また、記録処理回路１３３は、予め定められた方法を用いて静止画、動画、音声等のデータの圧縮、記録処理を行う。記録処理回路１３３及びメモリ１３４は録音部３０３を構成する。

カメラ制御部１１９は撮像の際のタイミング信号などを生成して出力する。焦点検出部１１４及び測光センサ１１６はそれぞれ、撮像装置のピント状態及び被写体の輝度を検出する。レンズ制御部１０７はカメラ制御部１１９からの信号に応じて適切にレンズを駆動させて光学系の調整を行う。

さらに、制御系は、外部操作に連動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、操作検出部１３５が不図示のシャッターレリーズ釦の押下を検出すると、カメラ制御部１１９はこれに応答して、撮像素子１１８の駆動、画像処理回路１３２の動作、記録処理回路１３３の圧縮処理などを制御する。カメラ制御部１１９は更に、光学ファインダー、液晶モニタ等で構成される表示部１３６における表示を制御する。

次に、制御系の光学系の調整動作について説明する。カメラ制御部１１９には焦点検出部１１４及び露出検出部である測光センサ１１６が接続されており、カメラ制御部１１９はこれらの信号に基づき適切な焦点位置及び絞り位置を求める。カメラ制御部１１９は、求めた焦点位置及び絞り位置をレンズマウント接点１０８を介してレンズ制御部１０７に指令を出し、レンズ制御部１０７は焦点レンズ駆動部１０６ａおよび絞り駆動部１０６ｃを適切に制御する。さらにレンズ制御部１０７には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、レンズ制御部１０７は手ぶれ検出センサの信号に基づきブレ補正駆動部１０６ｂを適切に制御する。また、動画撮影時においては、主ミラー１１０及びサブミラー１１３が光軸１０５から撮像素子１１８に入光する光路から退避するため、焦点検出部１１４及び測光センサ１１６に被写体光学像は入射しない。そこで、カメラ制御部１１９は、焦点レンズ駆動部１０６ａの駆動量と撮像素子１１８への露光により得られた連続的な画像情報を用いたいわゆる山登り方式と呼ばれるコントラスト式焦点検出部で撮像光学系のピント状態を調節する。また、カメラ制御部１１９は、撮像素子１１８への露光により得られた画像情報を用いて被写体像の輝度を算出し絞り状態を調節する。

次に、図３、図４を用いて本実施形態で行う音声予測による雑音除去処理（雑音低減処理）について説明する。本実施形態における雑音除去処理においては、駆動雑音混入期間の前及び／又は後の音声信号を用いて、駆動雑音混入期間を補間する音声信号を生成する。

図３は、音声信号処理回路１３７の、雑音除去処理に係る機能構成を示すブロック図である。音声入力部３０１であるマイクロホン１１５は、音声信号を取得する。ここで取得される音声信号にはレンズ駆動部１０６の駆動雑音が含まれる可能性がある。振動検出部３０４は加速度計１２０で構成され、レンズ駆動部１０６の駆動に伴う振動を検出する。そして、雑音混入区間検出部３０５は、加速度計１２０からの信号を分析して、正確な雑音混入区間を検出する。

相関値算出部３０７は、雑音混入区間の直前及び直後の音声信号の周期性が高いか否かを判断するために、各音声信号の相関を算出する。音声信号予測部３０６は、雑音混入区間の前後の音声信号及びそれらの相関値に基づいて、雑音混入区間の予測音声信号を算出する。予測音声信号の生成の詳細については後述する。雑音区間補間制御部３０８は、算出された相関値により示される音声信号の周期性の高さに基づき、予測音声信号を補間に用いるか否かを判断し、雑音混入区間補間部３０２による予測音声信号を用いた音声信号補間を制御する。雑音混入区間補間部３０２は、雑音区間補間制御部３０８からの制御信号に従い、雑音混入区間検出部３０５で検出された雑音混入区間への音声の補間を行う。録音部３０３は、雑音混入区間補間部３０２により補間された音声信号を、記録処理回路１３３を介してメモリ１３４に記録する。

次に、音声信号予測部３０６における音声予測処理について述べる。図４（ａ）〜（ｇ）は、取得される音声信号に対し予測処理を行う各段階の信号を示している。図４（ａ）〜（ｇ）において、横軸は時間を表す。図４（ｃ）の縦軸は相関値を表す。図４（ａ）、（ｂ）、（ｄ）〜（ｇ）においては、縦軸は信号レベルを表す。

図４（ａ）は被写体音信号に絞りの駆動雑音が混入している信号、図４（ｂ）はピッチ検出を行うための相関値参照区間の音声信号、図４（ｃ）は相関値参照区間と相関値算出区間から求められた相関値及びそこから検出されたピッチを示している。なお、相関値参照区間は、たとえば雑音混入区間より前のたとえば、０．０１秒分の区間であり、相関値算出区間は、０．０５秒分の区間などである。図４（ｄ）は検出されたピッチを用いて雑音混入区間の音声信号を補間するために生成される予測信号、図４（ｅ）は図４（ｄ）の予測信号に三角形状の窓関数を掛けたものを示している。図４（ｆ）は同様にして雑音混入区間の後方からの音声予測結果に図に示す窓関数を掛けたもの、図４（ｇ）は図４（ｅ）及び図４（ｆ）に示す、雑音混入区間前後からの音声予測結果を加算して、雑音混入区間の音声信号の補間を行ったものである。以下、時間的に雑音発生より前の音声信号を前方と呼び、雑音発生後の音声信号を後方と呼ぶこととする。

予測処理においては、まず図４（ａ）で示される雑音混入区間を雑音混入区間検出部３０５で検出する。雑音混入区間検出部３０５では、雑音の混入した音声の周波数を分析して駆動雑音の特徴周波数成分を用いて雑音混入区間を算出することや、レンズ駆動部１０６への駆動命令タイミングを得ることで雑音混入区間を検出することも考えられる。

次に、音声信号予測部３０６によって雑音混入区間前後から雑音混入区間の音声予測信号を生成するため、雑音混入区間直前の信号の相関値から繰返しピッチを検出する。図４（ａ）に示すように、音声信号は、短時間の領域に着目すると、比較的周期性が高い性質がある。このことを利用して、雑音混入区間直前の音声信号を繰り返して再現することで雑音混入区間の音声信号を補間するための予測信号の生成処理を行う。図４（ｃ）は相関値算出部３０７によって図４（ａ）の相関値参照区間の信号と相関値算出区間の信号から算出された相関値を示している。相関値は、相関値算出部３０７によって相関値参照区間の音声信号と相関値算出区間との各時間での音声信号の値の積を加算して求める。さらに、相関値参照区間の音声信号波形を相関値算出区間の音声信号に対し順次シフトして各シフト位置で求めていき、図４（ｃ）のような相関値を求める。音声信号において雑音混入区間直前から相関値が最大になった位置（時間長）が音声の繰返しピッチとなる。ただし、相関値算出区間に対し相関値参照区間が時間的に同期している位置、つまり相関算出時のシフト量が０の位置で相関値が最大になる。したがって、相関値の最大値は雑音除去区間からピッチ閾値間隔の長さ離れた、図４（ｃ）に示す相関最大値探索区間から探す。ピッチ閾値間隔は、録音する音声の基本周波数の最大値の逆数とするとよい。そうすると、求めたい音声の繰返しピッチよりも短いピッチを誤って検出することがなくなる。例えば、日本人の基本周波数は約４００Ｈｚまでなので、ピッチ閾値間隔は２.５ｍｓｅｃに設定すればよい。

次に、音声信号予測部３０６は、図４（ｄ）に示すように、検出されたピッチ区間の音声信号が予測区間の終端にくるまで繰り返される予測信号を生成する。以下、この段階での予測信号を「窓掛け前予測信号」と呼ぶ。次に、音声信号予測部３０６は、図４（ｅ）に示すように、作成した窓掛け前予測信号に三角形状の窓関数を掛けて前方予測信号を完成させる。以下、この段階での予測信号を「窓掛け後予測信号」と呼ぶ。このとき窓関数ｗｆ（ｔ）は予測区間のデータ数がＮ＋１点である場合、予測開始直後のデータをｎ＝０とすると、ｗｆ（ｎ）＝（Ｎ‐ｎ）/Ｎで表される関数である。

図４（ｆ）のように、音声信号予測部３０６は、同様の処理を雑音混入区間直後についても行い、後方からの窓掛け後予測信号を作る。後方からの窓掛け前予測信号に掛けられる三角形状の窓関数ｗｒ（ｎ）は、前方からの予測のときと対称となり、ｗｒ（ｎ）＝ｎ／Ｎで表される。

雑音混入区間補間部３０２は、前方からの窓掛け後予測信号と後方からの窓掛け後予測信号とを加算し、この加算により得られた音声予測信号で、雑音混入区間の音声信号を置き換えることで補間を行う。図４（ｇ）はその結果の信号波形の例を示している。前方、後方の両方からの窓掛け前予測信号に三角形状の窓関数をかけて加算することで、前方からの予測信号と雑音混入区間直後との接続部、及び、後方からの予測信号と雑音混入区間直前との接続部において、音声が滑らかにつなげることができる。なお、前述の説明においては、雑音混入区間の直前、直後の区間の音声信号を用いて予測信号を生成するものとして説明したが、本実施形態においては、「直前」、「直後」に限定されるものではない。たとえば、雑音混入区間より、０．０１秒前から０．１１秒前までの音声信号を用いて予測信号を生成してもよいし、雑音混入区間より、０．０１秒後から０．１１秒後までの音声信号を用いて予測信号を生成してもよい。

図４では、一例として、女性が「あ」と発音している間に駆動雑音が混入した例を示したが、次に、別の音声信号の場合に同様の予測処理を行う場合について述べる。

以下、図５のフローチャート及び図６、図７の説明図を用いて、本実施形態の雑音除去処理について述べる。

撮影動作が開始されると同時に録音動作が開始される。まずＳ１００１では、カメラ制御部１１９は、レンズ駆動部１０６に駆動命令が発せられたかどうかを判断する。レンズ駆動部１０６への駆動命令が検出されない場合はＳ１０１２に進み、Ｓ１０１２で撮影動作スイッチのＯＦＦが検出されないかぎり、Ｓ１００１に戻って処理が繰り返される。

レンズ駆動部１０６が動作すると、その駆動音が雑音として音声信号に混入する可能性がある。そこで、Ｓ１００１でレンズ駆動命令が検出されると、Ｓ１００２にて、雑音混入区間検出部３０５は、振動検出部３０４としての加速度計１２０からの信号を用い、レンズ駆動に伴う振動を検出することで雑音混入区間を精度良く検出する。なお、例えば、カメラ制御部１１９からのレンズ駆動部１０６への命令発信の時間を監視することで雑音混入区間を算出することも可能である。しかし、レンズ駆動命令から実際のレンズ駆動部１０６の駆動タイミングとのタイムラグなどがあるため、加速度計を用いた方が精度の良い検出を行うことができる。

次にＳ１００３において、相関値算出部３０７は、雑音混入区間の直前及び直後において前述の図４（ａ）〜（ｃ）のように相関値参照区間と相関値算出区間の相関値をそれぞれ求める。雑音混入区間直前の音声信号を用いて求めた相関値をｃｏｒ＿ｆ（τ）、雑音混入区間直後の音声信号を用いて求めた相関値をｃｏｒ＿ｒ（τ）とする。τは相関参照区間のシフト量である。

次にＳ１００４では、相関値算出部３０７は、図４（ｃ）で示したように、相関値ｃｏｒ＿ｆ（τ）及びｃｏｒ＿ｒ（τ）から予測信号に用いるピッチをそれぞれ検出する。次にＳ１００５では、相関値算出部３０７は、Ｓ１００３で算出した相関値ｃｏｒ＿ｆ（τ）及びｃｏｒ＿ｒ（τ）を正規化し、正規化後の最大相関値を算出する。

図６を用いて、雑音混入区間前方の相関値の正規化と最大相関値の算出について説明する。図６（ａ）はある成人女性が「あ」と発音したときの音声信号、図６（ｂ）は図６（ａ）の音声信号から雑音混入区間信号を省略した音声信号の模式図である。また、図６（ｃ）は雑音混入区間直前の相関値参照区間と相関値算出区間から求めた相関値を正規化した模式図であり、図６（ａ）の音声信号に同期した位置になっている。ピッチの検出方法で前述したように、相関値算出時における相関値参照区間の音声信号シフト量τが０の位置で相関値が最大になるので、その値でｃｏｒ＿ｆ(τ)を割り正規化する。よって、τ＝０で正規化相関値は１となる。次にピッチ検出動作と同様にして正規化後相関値の最大値を検出するが、ピッチ検出位置のシフト量をτｐとおくと、正規化後最大相関値ｃｏｒ＿ｆ＿ｍａｘは次式により導かれる。

同様にして、雑音混入区間直後の最大相関値ｃｏｒ＿ｒ＿ｍａｘを算出する。

次に、Ｓ１００６では、雑音区間補間制御部３０８は、Ｓ１００５で算出されたｃｏｒ＿ｆ＿ｍａｘ及びｃｏｒ＿ｒ＿ｍａｘが共に相関閾値Ｔｃよりも大きいかを判断する。最大相関値ｃｏｒ＿ｆ＿ｍａｘ及びｃｏｒ＿ｒ＿ｍａｘが共に相関閾値Ｔｃより大きいときは、雑音混入区間前後の音声信号は周期性が高いと判断され、予測処理に用いるのに適切であると考えられる。相関閾値Ｔｃの値は１未満の値に設定され、相関値参照区間の時間長、音声入力部であるマイクロホン１１５の耐雑音性能などによって適切な値が設定される。

Ｓ１００６で、最大相関値より雑音混入区間の前後の音声信号が共に周期性が高いと判断されるとＳ１００７に進む。Ｓ１００７では、音声信号予測部３０６は、図４（ｄ）〜（ｆ）で示したように、Ｓ１００４で検出されたピッチを用いて雑音混入区間の音声予測信号を前方及び後方から生成する。音声信号予測部３０６はその後、前方及び後方からの音声予測信号にそれぞれ三角窓関数を掛けて加算し音声予測信号を完成させる。そして、雑音混入区間補間部３０２は、図４（ｇ）に示すように、雑音混入区間の音声信号を音声予測信号と置き換える。置き換え後の音声信号はメモリ１３４に記録され、処理はＳ１０１２に進む。

一方、Ｓ１００６で最大相関値ｃｏｒ＿ｆ＿ｍａｘまたはｃｏｒ＿ｒ＿ｍａｘの少なくともいずれかが相関閾値Ｔｃより低い場合は、処理はＳ１００８に進む。Ｓ１００８では、雑音区間補間制御部３０８は、前方の最大相関値ｃｏｒ＿ｆ＿ｍａｘのみが閾値Ｔｃ未満であるかを判断する。前方の最大相関値ｃｏｒ＿ｆ＿ｍａｘのみが閾値Ｔｃ未満であると判断されると、雑音混入区間直前の音声信号は周期性が低いと判断され、処理はＳ１００９に進む。Ｓ１００９では、雑音混入区間補間部３０２は、後方の音声予測信号を用いて、雑音混入区間の音声信号の補間を行う。

図７（ａ）は、ある成人女性が「か」と発音したときの音声信号波形の例を示している。ただし、雑音混入区間の音声信号は省略している。図７（ｂ）は、図７（ａ）の音声信号の雑音混入区間直前の音声信号から算出した相関値ｃｏｒ＿ｆ（τ）を正規化したものを示し、図７（ｃ）は、雑音混入区間直後の音声信号から算出したｃｏｒ＿ｒ（τ）を正規化したものを示している。図７（ａ）に示すように、雑音混入区間直前の音声は子音部を含むため音声信号波形の周期性が低い。また、図７（ｂ）に示すように、相関値ｃｏｒ＿ｆ（τ）もシフト量τが０から少し変化しただけで大きく下がっており、最大相関値ｃｏｒ＿ｆ＿ｍａｘも相関閾値Ｔｃに対し低い。一方、雑音混入区間直後の音声信号は周期性が高く、図７（ｂ）に示すように、最大相関値ｃｏｒ＿ｒ＿ｍａｘは相関閾値Ｔｃ以上である。そこで、この場合には、雑音混入区間前方からの音声予測信号は用いず、後方からの音声予測信号を用いて雑音混入区間の音声信号の補間を行う。

図７（ｄ）は、雑音混入区間前方の音声信号と、雑音混入区間の信号に三角窓関数を乗じた音声信号の波形を示す図である。雑音混入区間の雑音成分は三角窓関数により後方に行くに従い小さくなっていく。図７（ｅ）は、雑音混入区間後方の音声信号と、雑音混入区間後方から得られた音声予測信号に三角窓関数を乗じた音声信号の波形を示す図である。雑音混入区間後方から得られた音声予測信号に乗じる三角窓関数は図７（ｃ）で雑音混入区間に乗じた三角窓関数と対称な形状をしている。そして、雑音混入区間補間部３０２は、図７（ｆ）に示すように、それぞれ窓関数を乗じた信号を加算して得た音声予測信号で、雑音混入区間の音声信号を置き換える。置き換え後の信号はメモリ１３４に記録される。

Ｓ１００９の処理によれば、Ｓ１００７での雑音除去処理に比べると、雑音除去性能は低いものとなるであろう。しかし、従来のように雑音混入区間前方の周期性の低い音声信号から音声予測信号を生成した場合に比べれば、違和感の少ないものとなる。Ｓ１００９で雑音区間後方からの音声予測信号を用いて補間を行うと、処理はＳ１０１２に進む。

一方、Ｓ１００８で最大相関値ｃｏｒ＿ｆ＿ｍａｘが相関閾値Ｔｃ以上、または最大相関値ｃｏｒ＿ｒ＿ｍａｘが相関閾値Ｔｃ未満と判断されると、処理はＳ１０１０に進む。Ｓ１０１０では、雑音区間補間制御部３０８は、後方の最大相関値ｃｏｒ＿ｒ＿ｍａｘのみが相関閾値Ｔｃ未満であるかを判断する。後方の最大相関値ｃｏｒ＿ｒ＿ｍａｘのみが相関閾値Ｔｃ未満であるときは、雑音混入区間直後の音声信号の周期性が低いと判断され、処理はＳ１０１１に進む。Ｓ１０１１では、雑音混入区間補間部３０２は、雑音混入区間直前からの音声予測信号を用いて雑音混入区間の音声信号の補間を行う。補間の動作の説明は省略する。

一方、Ｓ１０１０で最大相関値ｃｏｒ＿ｆ＿ｍａｘ及びｃｏｒ＿ｒ＿ｍａｘが共に相関閾値Ｔｃ未満であると判断されると、雑音混入区間前後の音声信号は共に周期性が低いと判断される。そしてこの場合は、音声予測信号による雑音混入区間の補間を行うことなく、処理はＳ１０１２に進む。この場合、記録された音声信号に駆動雑音は残ったままになるが、周期性の低い音声信号からの予測した音声信号で補間するよりも、違和感の少ない音声信号を提供することができる。なお、この場合は、雑音混入区間の音声信号を補間する信号として、所定の音声信号（例えば無音を示す音声信号）などを生成して、補間を行ってもよい。

Ｓ１０１２で撮影動作スイッチのＯＦＦが検出されると録音動作が終了する。

以上説明したように、本実施形態では、雑音混入区間の前方又は後方の音声信号から予測処理を行い、音声予測信号を用いて雑音混入区間の音声を補間する。ここで、雑音混入区間の直前又は直後の音声信号の相関値に基づき音声信号波形の周期性を判断し、音声信号波形の周期性が低いと判断された場合は音声予測信号を補間に用いることを禁止する。これにより、周期性の低い音声信号からの予測処理によって発生する違和感のある音声予測信号を補間に用いることを防ぐことができる。なお、本実施形態においては、周期性が所定値よりも低い音声信号に基づく音声予測信号を用いずに、周期性が所定値よりも高い音声信号に基づく音声予測信号のみを用いる例を説明した。しかし、周期性が所定値よりも低い音声信号に基づく音声予測信号の割合を、周期性が所定値よりも高い音声信号に基づく音声予測信号の割合よりも少なくするように、三角窓関数の形状を変更してもよい。たとえば、前方の音声信号の周期性が高く、後方の音声信号の周期性が低い場合。前方の音声信号に基づく音声予測信号には、１から０．４に下がるような三角窓関数を用い、後方の音声信号に基づく音声予測信号には、０から０．６に上がるような三角窓関数を用いる。

本実施形態では、雑音区間補間制御部３０８において相関値算出部３０７による相関値正規化後の最大相関値が相関閾値Ｔｃを超えているかどうかを判定し、雑音混入区間直前及び直後の音声信号の周期性を判断した。ただし本発明はこの態様に限定されない。例えば、次のような予測信号結果比較部を用いた方法で判断してもよい。

図８は、Ｓ１００４で雑音混入区間の前方からピッチ検出を行ったときの音声信号の模式図である。横軸を時間ｔ、縦軸を信号レベルｙ（ｔ）とし、雑音混入区間の開始位置をｔｎ、検出ピッチ長をｔｎ‐ｔｍとする（第１の区間）。検出ピッチの開始位置ｔｍから検出ピッチ長戻った位置をｔｌとし、ｔｌからｔｍの区間（第２の区間）を判定ピッチと呼ぶ。雑音混入区間直前の隣接する第１の区間と第２の区間の相関性が高ければ判定ピッチと検出ピッチにおける音声信号波形はほぼ一致する。そこで、予測信号結果比較部によって次式に示すように判定ピッチと検出ピッチの差分の自乗和σがピッチ閾値Ｔｐを超えているかどうかで周期性の判定を行う。

差分の自乗和σがピッチ閾値Ｔｐよりも低いときは、音声信号の周期性が低いと判断される。

また、Ｓ１００９で、雑音混入区間の直前または直後のどちらかのみの音声信号の周期性が低いと判断された場合、本実施形態は次のような処理を行った。すなわちこの場合、一方は音声予測信号に三角窓関数を乗じ、もう一方は雑音混入区間に対称な三角窓関数を乗じ、互いを加算することで雑音混入区間の音声信号の補間を行った。しかし、乗じる窓関数を次のようなものにしてもよい。

図９（ａ）は、図７（ａ）の音声信号の雑音混入区間前方の音声信号と、雑音混入区間の音声信号に図に示す形状の窓関数を乗じた信号の模式図である。図７（ｄ）とは異なり、雑音混入区間全体ではなく図９（ａ）に示す減衰区間の長さの三角窓関数を乗じている。図９（ｂ）は図７（ｅ）と同様で、雑音混入区間後方と直後の音声信号から静止した音声信号に三角窓関数を乗じたものである。そして、図９（ｃ）に示すように図９（ａ）と図９（ｂ）の音声信号を加算して雑音混入区間の音声信号の補間を行う。雑音混入区間全体に三角窓関数を乗じるのに対して減衰区間にのみ三角窓形状を乗じるので、補間後の音声信号に残る駆動雑音成分が少なくなり、聴感上の駆動雑音の影響は低くなる。

また、三角窓関数を雑音混入区間に乗じることなく、図１０（ａ）（ｂ）に示すように音声信号予測に三角窓関数を乗じたものだけで雑音混入区間の補間を行うことも考えられる。この場合、雑音混入区間直前と後方からの予測信号の端部で不連続になり、異音を発生させる可能性がある。そこで、次のように雑音混入区間の補間を行うことが考えられる。図１１（ａ）は雑音混入区間前方の音声信号の図に示す減衰区間に窓関数を乗じたものである。図９（ａ）と異なり雑音混入区間と減衰区間が重なりあっていない。図１１（ｂ）は雑音混入区間後方からの予測信号に窓関数を乗じたものである。図１０（ｂ）と異なり、雑音混入区間よりも減衰区間分だけ長めに予測信号を生成しており、窓関数は減衰区間でだけ三角窓形状としている。そして、図１１（ｃ）に示すように図１１（ａ）と図１１（ｂ）の音声信号を加算して、雑音混入区間及び雑音混入区間より減衰区間分前方の区間の音声信号の補間を行う。図９、図１０とは異なり、雑音混入区間の駆動雑音信号に窓関数形状を乗じ補間を行わないので、補間後の音声信号には駆動雑音成分が全く残っていない。よって、より違和感の少ない雑音除去処理を行うことができる。

本実施形態では、雑音混入区間直前及び直後の音声信号からそれぞれ算出された相関値が低く音声信号の周期性が低いと判断された場合、予測音声信号による雑音混入区間の補間を行わず雑音混入信号をそのまま記録している。ただし、本発明はこの態様に限定されるものではない。例えば、雑音混入区間の音声信号を無音処理（ミュート）、つまり無音信号で置換することで補間を行ってもよい。この場合、駆動雑音は完全に除去することができる。ただし、無音処理した雑音混入区間の端部で音声信号が不連続になり、異音を発生させる可能性がある。そこで、図１２に示すように、雑音混入区間前方及び後方の音声信号の図に示す減衰区間に窓関数を乗じて補間を行えば、雑音混入区間の端部で音声信号が不連続でなくなるので、より違和感を低減することができる。

さらに、雑音区間補間制御部３０８において雑音混入区間前方又は後方の音声信号の音圧レベルによって、無音処理による補間を行うか補間処理を行わないかを判断してよい。例えば、雑音混入区間及びその前後の音声信号、つまり被写体音声の音圧レベルが非常に大きいときはレンズ駆動部１０６による駆動雑音は被写体音声に埋没して雑音除去処理がされていなくても違和感が少ない場合がある。そこで、予めレンズ駆動部１０６の駆動雑音を録音することで音圧レベル閾値を設定しておく。そして、雑音混入区間前後の音声信号の音圧レベルが所定の音圧レベル閾値より高いときは駆動雑音が被写体音に埋没すると音圧レベル判断部で判断し、無音処理による雑音除去処理を禁止する。一方、雑音混入区間前後の音声信号の音圧レベルが設定の音圧レベル閾値より低いときは無音処理による補間処理を行う。よって、雑音混入区間前後の音声信号の周期性が低い場合でも、違和感の少ない処理を行うことができる。

なお、本実施形態においては、デジタル一眼レフカメラを例に挙げて説明を行ったが、これ以外の装置であってもよい。たとえば、コンパクトデジタルカメラであってもよいし、携帯電話、スマートフォンなどであってもよい。すなわち、音声を集音する集音部、雑音を発生させる駆動部、音声信号の雑音が発生した期間の音声を雑音の発生していない期間の音声に基づいて補間する処理を行う処理部を有する装置であればどのような装置であってもよい。

本実施形態によれば、集音部により集音された音声信号に含まれる、駆動部の駆動に伴って発生する駆動雑音を低減することができる。そのために、駆動雑音の含まれる雑音発生区間の前の区間の音声信号に基づいて生成した前方音声予測信号、及び／又は、後の区間の音声信号に基づいて生成した後方音声予測信号を用いて、音声信号の補間を行う。すなわち、前方音声予測信号及び／又は後方音声予測信号からなる補間音声信号で、雑音発生区間の音声信号を補間する。特に、本実施形態においては、雑音発生区間の前の区間の音声信号の周期性と、雑音発生区間の後の区間の音声信号の周期とに基づいて、前方音声予測信号と後方音声予測信号の両方を用いるか、いずれか一方を用いる。または、雑音発生区間の前の区間の音声信号の周期性と、雑音発生区間の後の区間の音声信号の周期とに基づいて、前方音声予測信号と後方音声予測信号を用いる割合を決定する。すなわち、雑音発生区間の前の区間の音声信号の周期性と、雑音発生区間の後の区間の音声信号の周期とに基づいて、雑音発生区間の音声信号を補間する補間信号の生成方法を切り替える。

＜実施形態２＞
以下、図１３〜図１６を用いて第２の実施形態である撮像装置及び情報処理装置について説明を行う。

図１３は、第２の実施形態における、デジタル一眼レフカメラと情報処理装置とを含むシステムを示した図であり、デジタル一眼レフカメラ１００と情報処理装置１７０とが通信ケーブル１５１によって接続されていることを示している。図１４は、本実施形態における、デジタル一眼レフカメラ１００及び情報処理装置１７０のブロック図である。本実施形態におけるデジタル一眼レフカメラ１００のカメラボディ１０１には、外部装置との通信を行うための通信コネクタ１４１が設けられている。この通信コネクタ１４１には、情報処理装置１７０の通信コネクタ１７４と、通信ケーブル１５１を介して接続されている。図１３及び図１４において、第１の実施形態と同一の構成要素には同一の符号を付し、その説明を省略する。

情報処理装置１７０は、制御部１７１、音声信号処理回路１７２、メモリ１７３、操作入力部１７５、音声再生装置１７６、表示装置１７７を有している。制御部１７１は、通信コネクタ１７４を介して、カメラボディ１０１側のメモリ１３４に記録された音声信号を含む動画記録データを受信する。音声信号処理回路１７２は、その音声信号に対して雑音除去処理を行う。この雑音除去処理で得られた信号は、メモリ１７３に記録される。

本実施形態では、メモリ１７３には雑音除去処理を施していない駆動雑音を含む音声信号と、雑音区間検出部の検出結果である音声信号に同期した雑音混入区間の情報（雑音混入区間タイミング）が記録されている。雑音除去処理は、操作者によって操作される操作入力部１７５からの命令信号に基づき行われ、雑音除去処理の経過は音声再生装置１７６及び表示装置１７７に出力される。

図１５、図１６を用いて本実施形態のレンズ駆動動作と雑音除去処理の動作について説明する。

図１５は本実施形態におけるカメラ側でのレンズ駆動動作及び音声記録のフローチャートである。動画撮影動作スイッチがＯＮにされると、録音動作が開始される。Ｓ２００１では、カメラ制御部１１９は、レンズ駆動部１０６に駆動命令が発せられたかどうかを判断する。レンズ駆動部１０６への駆動命令が検出されない場合はＳ２００４に進み、Ｓ２００４で録音スイッチのＯＦＦが検出されないかぎり、Ｓ２００１に戻って処理が繰り返される。

Ｓ２００１でレンズ駆動命令が検出されると、Ｓ２００２に進み、カメラ制御部１１９は加速度計１２０の出力信号を分析して雑音混入区間を算出する。次に、カメラ制御部１１９は、Ｓ２００２で算出した雑音混入区間のタイミングを音声信号に同期した雑音混入区間タイミング記録としてメモリ１３４に記録する。Ｓ２００４で録音スイッチのＯＦＦが検出されるまでＳ２００１に戻って処理を繰り返す。

次に図１６を用いて、デジタル一眼レフカメラ１００と情報処理装置１７０とを通信ケーブル１５１で接続し情報処理装置１７０で雑音除去処理を行う動作について説明する。

操作入力部１７５によって雑音除去処理動作の命令が入力されると、デジタル一眼レフカメラ１００及び情報処理装置１７０内で、図１６のフローチャートに対応する処理がスタートする。

まず、情報処理装置１７０は、通信ケーブル１５１を介し、カメラボディ１０１内のメモリ１３４に記録された駆動雑音が混入した音声信号及び雑音混入区間タイミング記録を含む動画記録データを読み込む（Ｓ２１０１）。

次にＳ２１０２で、その動画記録データに雑音混入区間タイミング記録が存在するか否かを判断する。雑音混入区間タイミング記録が存在しない場合は処理はＳ２１１２に進む。一方、雑音混入区間タイミング記録が検出されると処理はＳ２１０３に進む。Ｓ２１０３からＳ２１１１までの動作は第１の実施形態のＳ１００３からＳ１０１１までの動作と同様のため、説明を省略する。Ｓ２１１２において、読み込んだ動画記録データの終了が検出されるまで、Ｓ２１０１に戻って処理が繰り返される。動画記録データの終了が検出される処理は終了する。

上述した第２の実施形態では、デジタル一眼レフカメラ１００と情報処理装置１７０とを通信ケーブル１５１で電気的に接続し、音声信号記録及び雑音混入区間タイミング記録を含む動画記録データを通信して雑音除去処理を行った。ただし、本発明はこの態様に限定されるものではなく、例えば次のような構成でもよい。図１７に示す全体図では、動画記録データを記録したデジタル一眼レフカメラ１００のメモリ１３４がカメラボディ１０１から取り外し可能なメモリカード１３４ａで構成されている。この場合、動画記録データが記録されたメモリカード１３４ａをメモリカードリーダ１５２に差し込み、情報処理装置１７０へ動画記録データを転送することが可能な状態にして、雑音除去処理を行う。これにより、デジタル一眼レフカメラ１００と情報処理装置１７０との間を通信ケーブル１５１でつなぐ必要はない。雑音除去処理の動作は図１６のＳ２１０１がメモリカードから動画記録データを読み込む動作に変更されるだけである。また、情報処理装置１７０にメモリカード１３４ａを読み込む装置を有していれば、メモリカードリーダ１５２は必要ない。すなわち、実施形態の情報処理装置１７０は、単独での動作も可能である。実施形態の情報処理装置１７０としては、音声信号を処理することができればどのような装置であってもよい。たとえば、パーソナルコンピュータ、スマートフォン、撮像装置、テレビなどであってもよい。

＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

1. 撮像手段と、
   前記撮像手段の動作に伴って音声を入力する音声入力手段と、
   前記音声入力手段により入力された音声信号のうちの、前記撮像手段の機構部の駆動に伴って発生した雑音が混入した雑音混入区間を検出する検出手段と、
   前記検出された雑音混入区間の音声信号を、前記雑音混入区間の前方及び後方の少なくともいずれかの区間における音声信号から作成される信号で置換することで補間を行う補間手段と、
   前記雑音混入区間の前方及び後方の区間における音声信号の周期性に応じて、前記補間手段による補間方法を制御する制御手段と、を有し、
   前記制御手段は、前記雑音混入区間の前方及び後方の区間における音声信号の周期性が所定の閾値よりも低いときは、前記補間を行わないように前記補間手段を制御することを特徴とする撮像装置。
2. 撮像手段と、
   前記撮像手段の動作に伴って音声を入力する音声入力手段と、
   前記音声入力手段により入力された音声信号のうちの、前記撮像手段の機構部の駆動に伴って発生した雑音が混入した雑音混入区間を検出する検出手段と、
   前記検出された雑音混入区間の音声信号を、前記雑音混入区間の前方及び後方の少なくともいずれかの区間における音声信号から作成される信号で置換することで補間を行う補間手段と、
   前記雑音混入区間の前方及び後方の区間における音声信号の周期性に応じて、前記補間手段による補間方法を制御する制御手段と、を有し、
   前記制御手段は、前記雑音混入区間の前方及び後方の区間における音声信号の周期性が所定の閾値よりも低いときは、前記雑音混入区間の音声信号を、無音信号で置換するように前記補間手段を制御し、前記雑音混入区間の前方及び後方の区間における音声信号の音圧レベルが所定の音圧レベル閾値よりも高いときは、前記無音信号による置換を禁止することを特徴とする撮像装置。
3. 前記制御手段は、前記雑音混入区間の前方及び後方のいずれか一方の区間における音声信号の周期性が前記所定の閾値よりも低いときは、前記所定の閾値よりも高い周期性を持つ方の区間における音声信号のみから作成される信号を用いて前記補間を行うよう前記補間手段を制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記雑音混入区間の前方及び後方のいずれか一方の区間における音声信号の周期性が前記所定の閾値よりも低いときは、前記所定の閾値よりも高い周期性を持つ方の区間における音声信号と前記雑音混入区間の音声信号とを用いて前記補間を行うよう前記補間手段を制御することを特徴とする請求項１または２に記載の撮像装置。
5. 前記制御手段は、前記雑音混入区間の前方及び後方のいずれか一方の区間における音声信号の周期性が前記所定の閾値よりも低いときは、前記所定の閾値よりも高い周期性を持つ方の区間における音声信号のみから作成される信号を用いて前記雑音混入区間及び前記雑音混入区間の直前又は直後の区間に対して前記補間を行うよう前記補間手段を制御することを特徴とする請求項１または２に記載の撮像装置。
6. 前記音声信号の周期性は、前記雑音混入区間の前方及び後方の区間における音声信号の相関値に基づくものであることを特徴とする請求項１または２に記載の撮像装置。
7. 前記音声信号の周期性は、前記雑音混入区間の直前又は直後における隣接する第１の区間と第２の区間の音声信号の相関性に基づくものであることを特徴とする請求項１または２に記載の撮像装置。
8. 前記検出手段は、前記撮像手段の機構部の駆動に伴って発生した振動を検出する振動検出手段を含むことを特徴とする請求項１または２に記載の撮像装置。
9. 撮像手段と、前記撮像手段の動作に伴って音声を入力する音声入力手段とを有する撮像装置の制御方法であって、
   前記音声入力手段により入力された音声信号のうちの、前記撮像手段の機構部の駆動に伴って発生した雑音が混入した雑音混入区間を検出する検出工程と、
   前記検出された雑音混入区間の音声信号を、前記雑音混入区間の前方及び後方の少なくともいずれかの区間における音声信号から作成される信号で置換することで補間を行う補間工程と、
   前記雑音混入区間の前方及び後方の区間における音声信号の周期性に応じて、前記補間工程における補間方法を制御する制御工程と、を有し、
   前記制御工程は、前記雑音混入区間の前方及び後方の区間における音声信号の周期性が所定の閾値よりも低いときは、前記補間工程における前記補間を行わないように制御することを特徴とする撮像装置の制御方法。
10. 撮像手段と、前記撮像手段の動作に伴って音声を入力する音声入力手段とを有する撮像装置の制御方法であって、
    前記音声入力手段により入力された音声信号のうちの、前記撮像手段の機構部の駆動に伴って発生した雑音が混入した雑音混入区間を検出する検出工程と、
    前記検出された雑音混入区間の音声信号を、前記雑音混入区間の前方及び後方の少なくともいずれかの区間における音声信号から作成される信号で置換することで補間を行う補間工程と、
    前記雑音混入区間の前方及び後方の区間における音声信号の周期性に応じて、前記補間工程における補間方法を制御する制御工程と、を有し、
    前記制御工程は、前記雑音混入区間の前方及び後方の区間における音声信号の周期性が所定の閾値よりも低いときは、前記雑音混入区間の音声信号を、無音信号で置換するように前記補間工程を制御し、前記雑音混入区間の前方及び後方の区間における音声信号の音圧レベルが所定の音圧レベル閾値よりも高いときは、前記無音信号による置換を禁止することを特徴とする撮像装置の制御方法。
11. 音声信号を取得する取得手段と、
    前記取得手段により取得された前記音声信号の所定の区間の音声信号を、前記所定の区間の、前方の第１の区間及び後方の第２の区間の少なくともいずれか一方の区間の音声信号に基づいて生成された補間信号に基づいて補間する音声処理手段と、を有し、
    前記音声処理手段は、前記第１の区間の音声信号の周期性と、前記第２の区間の音声信号の周期性とに応じて、前記補間信号の生成方法を変更し、前記第１の区間及び前記第２の区間における音声信号の周期性が所定の閾値より低いときは、前記補間を行わないようにすることを特徴とする音声処理装置。
12. 音声信号を取得する取得手段と、
    前記取得手段により取得された前記音声信号の所定の区間の音声信号を、前記所定の区間の、前方の第１の区間及び後方の第２の区間の少なくともいずれか一方の区間の音声信号に基づいて生成された補間信号に基づいて補間する音声処理手段と、を有し、
    前記音声処理手段は、前記第１の区間の音声信号の周期性と、前記第２の区間の音声信号の周期性とに応じて、前記補間信号の生成方法を変更し、
    前記音声処理手段は、前記第１の区間及び前記第２の区間における音声信号の周期性が所定の閾値よりも低いときは、前記所定の区間の音声信号を、無音信号で置換し、前記第１の区間及び前記第２の区間における音声信号の音圧レベルが所定の音圧レベル閾値よりも高いときは、前記無音信号による置換を禁止することを特徴とする音声処理装置。
13. 音声信号を処理する音声処理装置の制御方法であって、
    音声信号を取得する取得工程と、
    前記取得工程により取得された前記音声信号の所定の区間の音声信号を、前記所定の区間の、前方の第１の区間及び後方の第２の区間の少なくともいずれか一方の区間の音声信号に基づいて生成された補間信号に基づいて補間する音声処理工程と、を有し、
    前記音声処理工程は、前記第１の区間の音声信号の周期性と、前記第２の区間の音声信号の周期性とに応じて、前記補間信号の生成方法を変更し、前記第１の区間及び前記第２の区間における音声信号の周期性が所定の閾値よりも低いときは、前記補間を行わないようにすることを特徴とする音声処理装置の制御方法。
14. 音声信号を処理する音声処理装置の制御方法であって、
    音声信号を取得する取得工程と、
    前記取得工程により取得された前記音声信号の所定の区間の音声信号を、前記所定の区間の、前方の第１の区間及び後方の第２の区間の少なくともいずれか一方の区間の音声信号に基づいて生成された補間信号に基づいて補間する音声処理工程と、を有し、
    前記音声処理工程は、前記第１の区間の音声信号の周期性と、前記第２の区間の音声信号の周期性とに応じて、前記補間信号の生成方法を変更し、
    前記音声処理工程は、前記第１の区間の及び前記第２の区間における音声信号の周期性が所定の閾値よりも低いときは、前記所定の区間の音声信号を、無音信号で置換し、前記第１の区間及び前記第２の区間における音声信号の音圧レベルが所定の音圧レベル閾値よりも高いときは、前記無音信号による置換を禁止することを特徴とする音声処理装置の制御方法。

Images