JP6071188B2 - 音声信号処理装置 - Google Patents

Description

本発明は、音声信号処理装置に関する。

従来、音声信号処理装置として撮像装置が知られており、撮像装置においては、撮像した画像から動画データを生成し、同時に集音した音声を動画データの音声信号として記録することができるものが知られている。

このような撮像装置においては、撮像のために、レンズや絞りなどが駆動したことにより生じる駆動音（ノイズ、雑音）が集音されてしまった場合などに、その駆動音を低減する信号処理を行うものが登場してきている。例えば、特許文献１には、駆動部の非動作中の音声に基づいて、線形予測法により予測波形信号を生成し、駆動部の動作中の音声信号と、生成した予測波形信号とを所定の割合で合成する技術と所定の比率で合成する技術が開示されている。合成比率は、１：０から０：１に徐々に変化するようにしており、いわゆるクロスフェードさせながら合成しているといえる。

特開２０１１−００２７２３号公報

しかしながら、特許文献１に示すような方式で雑音低減を行う場合、予測波形信号を生成する際に、演算負荷が増大してしまうという問題があった。

そこで、本発明は、このような問題に鑑み、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる音声信号処理装置を提供することを目的とする。

このような目的を達成するために、本発明の音声信号処理装置は、駆動部を有する音声信号処理装置であって、前記駆動部の駆動を制御する制御手段と、前記音声信号処理装置の周囲の音声を示す、所定のサンプリング周波数でデジタル化された音声信号を取得する取得手段と、前記取得手段により取得された音声信号を処理する音声処理手段であって、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のデータ量を減少させた信号に基づいて補正音信号を生成し、前記駆動部が駆動したときに前記取得手段により取得された音声信号と前記補正音信号とを所定の合成比率で合成した信号を用いて、前記駆動部が駆動したときに前記取得手段により取得された音声信号における、前記駆動部の駆動による駆動音を低減する音声処理手段とを有し、前記音声処理手段は、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルに基づいて、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルが小さいほど前記補正音信号の合成比率を大きくするように、前記合成比率を決定することを特徴とする。

本発明によれば、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる。

撮像装置１００の構成を示す図である。 本実施例の雑音低減処理の動作の制御を説明するためのフロー図である。 本実施例の音声処理部１２１の機能ブロック示す図である。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。

本実施例では、音声信号処理装置の一例として撮像装置を例にとって説明するが、撮像装置でなくとも、駆動部を有し、音声信号処理を行うことができる装置であればどのような装置であっても良い。例えば、携帯電話、コンピュータ、ゲーム機などであっても良い。

本実施例の撮像装置１００は、撮像レンズ、絞り、シャッターなどを駆動させるためのアクチュエータなどの駆動部を有し、また、周囲の音声を集音する為の集音部（マイクユニット）を有する。本実施例の撮像装置１００は、このような構成を有し、駆動部の駆動している期間の音声信号に対して、駆動部の駆動していない期間の音声信号に基づいて生成された補正音信号を所定の割合で合成することにより、駆動部の駆動音を低減することができる。

本実施例の撮像装置１００の特徴的な動作の一つは、補正音信号を生成する際の処理にある。

音声は、音声入力部であるたとえばマイクユニットによりアナログ音声信号として取得され、たとえば、Ａ／Ｄ変換回路で４８ｋＨｚのサンプリング周波数でサンプリングされてデジタル音声信号に変換される。そして、音声処理部にて、音量調整処理や周波数フィルタによる周波数制限処理などが施されてＲＡＭに記憶される。

そして、駆動部が駆動する場合には、ＲＡＭに記憶されている駆動部の駆動していない期間の音声信号に基づいて補正音信号を生成し、ＲＡＭに記憶されている駆動部の駆動している期間の音声信号に対して所定の割合で合成する。

補正音信号を生成のする際には、まず、ＲＡＭに記憶されている駆動部の駆動していない期間の音声信号を読出し、例えば、３サンプリング毎の加算平均値を算出してサンプリング数を１／３に減少させる。すなわち、４８ｋＨｚの音声信号を１６ｋＨｚに変換し、サンプリング数を減少させるような処理を行う。

そして、サンプリング数を減少させた駆動部の駆動していない期間の音声信号に基づいて補正音信号を生成する。ここで生成された補正音信号は１６ｋＨｚの音声信号となり、記録される音声信号とサンプリング周波数をあわせるため、サンプリング数を３倍にして、４８ｋＨｚの信号に変換する。サンプリング数の増やし方の一つとしては、生成された１６ｋＨｚの補間信号の各サンプルを直線補間する方法がある。また、その後、さらに、ローパスフィルタを掛け補正音信号の急峻な変化を抑制するようにしても良い。
なお、サンプリング数の増やし方はこれ以外の方法であっても良い。

また、本実施例の撮像装置１００のさらに特徴的な動作の一つは、生成された補正音信号を駆動部の駆動している期間の音声信号に合成する際の処理にもある。

すなわち、補正音信号の基となる駆動部の駆動音の含まれていない期間の音声のレベルに応じて、補正音信号の合成比率を変更するのである。なお、駆動部の駆動音の含まれていない期間の音声のレベルが大きくなるにつれて、補正音信号の合成割合を低下させ、駆動部の駆動音の含まれていない期間の音声のレベルが小さくなるにつれて、補正音信号の合成割合を増加させる。

本実施例の撮像装置１００は、このような動作を行うことにより、駆動部の駆動していない期間の音声信号に基づいて予測波形信号を生成する演算量を低減することができる。さらに、生成された補正音信号に含まれる可能性のあるノイズ（１６ｋＨｚのナイキスト周波数以上の周波数の音声が折り返し歪みを起こすことで発生するノイズ）を目立たなくすることができる。

以下、このような撮像装置についてについて説明する。

＜全体構成＞
図１は、本実施例の撮像装置１００の構成を示すブロック図である。

撮像装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０３、操作部１０４を有する。また、撮像装置１００は、撮像部１１０、画像処理部１１１、音声入力部１２０、音声処理部１２１、表示部１３０、表示制御部１３１、音声出力部１３２、記録媒体１４０、記録再生部１４１、通信部１５０を有する。また、撮像装置１００は、符号化復号化処理部１６０を有する。

図１において、ＣＰＵ１０１は、ＦｌａｓｈＲＯＭ１０３に記録された撮像装置１００の制御プログラムをＲＡＭ１０２に展開し、ＲＡＭ１０２をワークメモリとして使用しながら、撮像装置１００の各ブロックを制御するものである。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類を有する。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を備え、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶するものである。ＲＡＭ１０２に記憶されたデジタル画像信号は、その後、画像処理部１１１に送信される。画像処理部１１１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。画像処理部１１１は、デジタル画像信号のホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から自動的に判定した設定値に基づいて調整する画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶させるものである。なお、画像処理部１１１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。なお、撮像部１１０は、撮像レンズ、絞り、シャッターおよび、これらを駆動させるアクチュエータなどの様々な駆動部を有する。また、撮像装置１００が交換レンズ式の撮像装置である場合には、撮像部１１０は、レンズユニットを交換可能に装着することができる装着部を有する。レンズユニットは、撮像素子に被写体の光学像を導くものであり、装着部は異なる種類のレンズユニットを交換して装着することができる。

音声入力部１２０は、たとえば、内蔵された無指向性のマイクにより、撮像装置１００の周囲の音声を集音（収音）し、得られたアナログ音声信号をＡ／Ｄ変換部によりデジタル化してデジタル音声信号を取得するものである。本実施例においては、例えば、アナログ音声信号を４８ｋＨｚのサンプリング周波数でサンプリングしてデジタル音声信号に変換するものとする。そして、音声入力部１２０で取得されたデジタル音声信号は、音声処理部１２１に送信される。音声処理部１２１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。音声処理部１２１では、記録時においては、レベルの適正化処理や周波数制限処理、雑音低減処理等の処理を行い、処理をしたデジタル音声信号をＲＡＭ１０２に記憶させるものである。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いており、本発明の特徴とは関係ないので説明を省略する。また、再生時においては、記録媒体１４０から記録再生部１４１によって読出された音声ファイルや動画ファイルに含まれる圧縮音声データ復号する処理も行う。なお、音声処理部１２１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

なお、本実施例の音声処理部１２１は、後述するように、撮像部１１０等の駆動部の駆動音を低減する処理を実行することができる。たとえば、本実施例においては、駆動部の駆動している期間の音声信号を、その期間の前および／または後の期間の音声信号に基づいて補正音声信号を生成し、生成した補正音声信号を駆動部の駆動している期間の音声信号に合成する処理を行うことができる。

また、表示制御部１３１は、表示部１３０に画像を表示するための表示制御を行うマイクロコンピュータであって、メモリ１０４に一時的に記憶されたデジタル画像信号を読み出して、表示部１３０に表示させる処理を行う。また、記録媒体１４０から記録再生部１４１によって読出された動画ファイルや静止画ファイルに含まれる画像データの画像を表示部１３０に表示させる処理も行う。表示部１３０は、たとえば撮像装置１００に搭載された液晶パネルや有機ＥＬパネル等であっても良いし、撮像装置１００とは別の表示装置（たとえば、テレビ、モニタ、プロジェクタ）であってもよい。なお、表示制御部１３１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

符号化復号化処理部１６０は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。符号化復号化処理部１６０では、記録時においては、画像処理部１１１により処理されＲＡＭ１０２に記憶されたデジタル画像信号に基づいて、画像圧縮処理を行い、圧縮された動画データや静止画データを生成し、ＲＡＭ１０２に一時的に記憶する処理を行う。また、再生時においては、記録媒体１４０から読出された画像ファイルの圧縮された動画データや静止画データを復号してデジタル画像信号を抽出し、ＲＡＭ１０２に記憶していく処理を行う。なお、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

次に、記録再生部１４１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。記録再生部１４１では、動画記録時においては、ＲＡＭ１０２に記憶されている、符号化復号化処理部１６０により生成された圧縮動画データ、音声処理部１２１で生成された音声データ、撮影日等の各種情報とともに、動画ファイルとして記録媒体１４０に書き込む。また静止画記録時においては、ＲＯＭ１０２に記憶されている静止画データを撮影日等の各種情報とともに静止画ファイルとして記録媒体１４０に記録する。動画ファイルを記録媒体１４０に記録する際は、圧縮動画データと音声データとからなるデータストリームを形成し、順次記録媒体１４０に記録していき、ファイルヘッダ等を付加してＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形で動画ファイルを記録媒体に記録する。また、再生時においては、記録媒体１４０に記録された動画ファイルや静止画ファイルを前述のファイルフォーマットに従って読出す。読出された動画ファイルや静止画ファイルは、ＣＰＵ１０１によりヘッダが解析され、圧縮された動画データ、静止画データが抽出される。抽出された圧縮動画データ、静止画データは、ＲＡＭ１０２に記憶されて、符号化復号化処理部１６０により復号される。なお、記録再生部１４１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

また、記録媒体１４０は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１４１は、それらの取り外し可能な記録媒体を受け入れるためのインタフェースを含む。

次に音声出力部１３２は、例えばスピーカや音声出力端子（アナログ端子／デジタル端子）である。例えばスピーカであれば、ＣＰＵ１０１によりｆｌａｓｈＲＯＭ１０３に記録されている所定のデジタル音声信号の出力が指示されたときにデジタル音声信号をアナログ音声外部に変換し、外部に音声として出力する。また、動画ファイルに格納された音声データの示すデジタル音声信号をアナログ音声信号に変換し、外部に音声として出力する。また、音声出力端子であれば、動画ファイルに格納された音声データの示すデジタル音声信号をアナログ音声信号に変換して外部装置（外付けスピーカなど）に出力するか、デジタル音声信号をそのまま外部装置（光デジタル端子搭載のオーディオコンポなど）に出力する。

また、通信部１５０は、撮像装置１００とは異なる外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。

＜動画撮影動作＞
ここで、本実施例の撮像装置１００の動画撮影動作について説明する。

本実施例の撮像装置１００は、ユーザが操作部１０４の電源ボタンを操作し、操作部１０４のモード切り換えスイッチが、例えば、「動画撮影モード」、「再生モード」等のどのモードであるかを操作部１０４からの指示信号により確認する。そして、「動画撮影モード」であると判定すると以下の動作を開始する。

ＣＰＵ１０１は、撮像装置１００の各ブロックに、動画撮影の準備をさせる。操作部１０４から撮影開始の指示が入力されるまでは、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させように表示制御部１３１を制御する。なお、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させるように表示制御部１３１を制御しても良い。

なお、本実施形態では、撮像部１１０から出力されるデジタル画像信号のフレームレートは、３０フレーム／秒であるとする。また、本実施形態では、記録する動画のサイズ（画素数）を複数のサイズから選択した一つのサイズに設定することができる。

この状態で、ＣＰＵ１０１は、操作部１０４により撮影開始の指示が入力されたか否かを判定する。撮影開始の指示があると、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号に対して設定値に基づいて画質調整処理を施すように画像処理部１１１を制御する。ＣＰＵ１０１は動画撮影を継続している間、３０フレーム／秒で撮像部１１０により出力されるデジタル画像信号を順次、画像処理部１１１に処理させる。そして、ＣＰＵ１０１は、画像処理部１１１で処理されたデジタル画像信号を、順次ＲＡＭ１０２に記憶させる。

次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された複数フレームのデジタル画像信号を順次符号化して動画データを生成するように符号化復号化処理部１６０を制御する。ＣＰＵ１０１は、このとき、各フレーム画像をフレーム内予測符号化フレーム、フレーム間予測符号化フレームとして圧縮符号化をするように符号化復号化処理部１６０を制御する。そして、ＣＰＵ１０１は、符号化復号化処理部１６０で符号化された各フレーム画像を順次ＲＡＭ１０２に記憶させていく。

一方、撮影開始の指示があると、ＣＰＵ１０１は、音声に関する処理をするようにも各ブロックを制御する。ＣＰＵ１０１は、音声入力部１２０から出力されるアナログ音声信号を順次音声処理部１２１に転送し、デジタル信号への変換、音質調整処理等を施すように音声処理部１２１を制御する。また、音声圧縮の設定がされている場合には、ＣＰＵ１０１は設定に従って、例えばＡＣ３、ＡＡＣの音声圧縮方式で音声信号を圧縮するように音声処理部１２１を制御する。そして、ＣＰＵ１０１は、音声処理部１２１で処理した音声データをＲＡＭ１０２に順次記憶させていく。また、本実施例の音声処理部１２１は、撮影時に、撮像レンズ、絞り、シャッターおよび、これらを駆動させるアクチュエータなどの様々な駆動部による雑音を低減する処理をこのとき実行する。この処理については後述する。

次にＣＰＵ１０１は、ＲＡＭ１０２に記憶された動画データ、音声データを順次、記録媒体１４０に記録するように、記録再生部１４１を制御する。このとき例えば、１５フレーム分（０．５秒分）の動画データと、０．５秒分の音声データとを一組にし、必要な各種情報を付加したデータストリームを形成し、ファイルシステムに従って記録媒体１４０に記録するように、記録再生部１４１を制御する。なお、３０フレーム分（１秒分）の動画データと、１秒分の音声データを一組としても良い。ＣＰＵ１０１は、これらの動作を動画撮影の停止の指示があるまで継続する。

そして、操作部１０４により撮影停止の指示が入力されると、ＣＰＵ１０１は、画像処理部１１１の処理を停止させ、ＲＡＭ１０２に記憶されたデジタル画像信号の符号化が終了した時点で符号化復号化処理部１６０の符号化処理を停止させる。そして、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている符号化済みの動画データ、音声データを最後まで記録媒体１４０に記録してから動作を停止するように記録再生部１４１を制御する。なお、必要に応じて、記録終了後に、動画ファイルの動画データの先頭のフレームや先頭から数フレームの画像データを符号化復号化処理部１６０に送信して復号させ、復号されたデジタル画像信号の画素数を間引いたサムネイル画像データを生成して、動画ファイルに関連づけて記録するようにしても良い。

この処理が終了すると、ＣＰＵ１０１は、再び動画撮影の準備状態に各ブロックを戻す。

＜雑音低減処理＞
ここで、本実施例の撮像装置１００の動画撮影時における雑音低減処理動作について、図２のフローチャート及び、図３の音声処理部１２１の機能ブロック図を用いて説明する。なお、以下の例においては、撮像部１１０の絞りの駆動雑音を低減する例について説明するが、これが撮像レンズまたはシャッターの駆動音であっても、同様の雑音低減処理を行うものとする。

この雑音低減処理は、前述したように、動画撮影処理中に順次、音声処理部１２１で実行される処理である。本実施例における雑音低減処理は、前述したように、雑音の発生する期間である、駆動部の駆動している期間の音声信号を、駆動部の駆動する前およびまたは後の期間の音声信号に基づいて生成された補正音信号に置き換える処理である。本実施例においては、補正音信号の基になる音声信号の集音される期間、すなわち、駆動部の駆動する前または後の期間をサンプリング期間と呼ぶものとする。このサンプリング期間は、例えば駆動部の駆動する前または後の期間の０．２秒の期間であるが、これよりも長くても短くても構わない。

なお、本実施例においては、通常記録される音声信号は、アナログ音声信号からデジタル音声信号に変換する際に４８ｋＨｚでサンプリングされている。しかし、補正音信号を生成する際には、演算量を低減させるために、サンプリング期間の４８ｋＨｚでサンプリングされたデジタル音声信号のサンプリング数を減少させる。具体例を挙げると、３サンプル毎の加算平均を求めて、その平均値からなる１６ｋＨｚのデジタル音声信号に変換してから補正音信号を生成する。本実施例では、記録音声を４８ｋＨｚとし、サンプリング数を減少させる際には、３サンプル毎の加算平均値を用いるものとする。しかし、記録音声は４８ｋＨｚに限られるものではないし、サンプリング数を減少させる際にも、２サンプル毎の加算平均を用いても、４サンプル毎の加算平均を用いても構わない。また、サンプリング数を減少させる処理も加算平均を用いなくても良い。例えば、３サンプルおきのサンプリング値を用いるだけでも良い。

なお、図２のフローチャートは、前述した動画撮影動作中に、ＣＰＵ１０１の制御により実行される雑音低減処理に関する動作を示すものである。なお、雑音低減処理は、一度、音声処理部１２１により音声信号の音量の最適化処理等が施され、ＲＡＭ１０２に記憶されている音声信号を用いて行うものとして説明する。

（Ｓ２１０）
まず、ＣＰＵ１０１は、例えば撮像部１１０により得られた画像信号の輝度等を解析し、撮像部１１０の絞りの駆動が必要であるか否かを判定する。ＣＰＵ１０１は、絞りの駆動が必要でない場合には（Ｓ２１０でＮｏ）、音声処理部１２１に雑音低減処理を実行させない。一方、ＣＰＵ１０１は、絞りの駆動が必要な場合には（Ｓ２１０でＹｅｓ）、音声処理部１２１に雑音低減処理を実行させる。

（Ｓ２２０）
ＣＰＵ１０１は、絞りの駆動が必要な場合には（Ｓ２１０でＹｅｓ）、撮像部１１０の絞り（駆動部）を駆動させ、絞り（駆動部）の駆動した期間を決定する。

（Ｓ２２１）
Ｓ２２０で絞り（駆動部）の駆動した期間が決定されると、絞り（駆動部）の駆動した期間の音声信号を補間するための補正音信号を生成するための音声信号を取得するためのサンプリング期間が決定される。そして、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された音声信号のサンプリング期間に対応する４８ｋＨｚでサンプリングされた音声信号を読出して、音声処理部１２１に送信する。またＣＰＵ１０１は、音声処理部１２１に送信したサンプリング期間に対応する４８ｋＨｚでサンプリングされた音声信号のサンプリング数を減少させるように音声処理部１２１のデータ圧縮部３１０を制御する。この処理は、前述したように、いわば、４８ｋＨｚのサンプリング周波数の音声信号を１６ｋＨｚのサンプリング周波数の音声信号に変換する処理である。これは、具体例として前述したように、３サンプル毎の加算平均を求めて、その平均値からなる１６ｋＨｚのデジタル音声信号に変換してから補正音信号を生成する処理等である。

（Ｓ２２２）
次に、ＣＰＵ１０１は、サンプリング数を減少させたサンプリング期間の音声信号の、音声レベルを測定し、得られた音声レベルのうち、最大音声レベルの上位Ｎ個の音声レベルの平均値を取得するように音声処理部１２１のレベル制御部３２０を制御する。

（Ｓ２３０）
次に、ＣＰＵ１０１は、雑音低減処理を実行するか否かを判定するために、Ｓ２２２で記憶した最大音声レベルの上位Ｎ個の音声レベルの平均値が閾値レベルよりも小さいか否かを判定する。Ｓ２２２で記憶した最大音声レベルの上位Ｎ個の音声レベルの平均値が閾値レベルよりも小さい場合（Ｓ２３０Ｙｅｓ）は、雑音低減処理を実行するように音声処理部１２１を制御する。Ｓ２２２で記憶した最大音声レベルの上位Ｎ個の音声レベルの平均値が閾値レベルよりも小さくない場合（Ｓ２３０でＮｏ）は、雑音低減処理を実行しないように音声処理部１２１を制御する。

ここで、閾値レベルは、駆動部の駆動による駆動音よりも大きい音声レベルを示しており、Ｓ２５０における所定のレベルよりも大きいレベルである。このような動作によれば、駆動音の発生する前または後の周囲の音声レベルが大きいときには、雑音低減処理をそもそも行わなくても、駆動音が周囲の音声によってマスキングされるため、目立たなくなるため雑音低減処理を行わないようにすることができる。また、前述したように、補正音信号を生成した際に発生する可能性のあるノイズ（１６ｋＨｚのナイキスト周波数以上の周波数の音声が折り返し歪みを起こすことで発生するノイズ）が低減後の信号に含まれる可能性を排除することができる。

（Ｓ２４０）
Ｓ２２２で記憶した最大音声レベルの上位Ｎ個の音声レベルの平均値が閾値レベルよりも小さい場合（Ｓ２３０Ｙｅｓ）は、ＣＰＵ１０１は、以下のように音声処理部１２１を制御する。ＣＰＵ１０１は、Ｓ２２１でデータ圧縮部３１０によりサンプリング数を減少させたサンプリング期間の音声信号に基づいて、補正音信号を生成するように音声処理部１２１の補正音生成部３３０を制御する。

補正音信号の生成方法は、いくつかあるが、例えば、特開２０１１−００２７２３号公報に記載されているように、線形予測法を用いて、サンプリング期間の音声信号に基づいて生成してもよい。ここでいう線形予測法は、例えばｎ次のＦＩＲフィルタを用いて、１サンプル目からｎサンプル目までのサンプリング値に基づいて、ｎ＋１サンプル目のサンプリング値を算出するものである。これを、順次実行することで、ｎ＋２サンプル目、ｎ＋３サンプル目、のサンプリング値を順次算出していくものである。なお、線形予測法は、時間的に前方方向であっても、後方方向であってもどちらの方向にも適用可能である。

本実施例においては、このような方法を用いているが、これ以外の方法を用いて補正音信号を生成してもよい。

本実施例の撮像装置１００は、このように、サンプリング数を減少させた音声信号を用いて補正音信号を生成するために、補正音信号を生成するための処理の負荷を低減することができる。

（Ｓ２４１）
次に、ＣＰＵ１０１は、Ｓ２４０でいわば１６ｋＨｚの音声信号に基づいて生成された１６ｋＨの補正音信号のサンプル数を増加させて、記録音声と同様の４８ｋＨｚの補正音信号を生成するように音声処理部１２１のデータ伸張部３４０を制御する。これは、前述したように、生成された１６ｋＨｚの補間信号の各サンプルを直線補間してもよいし、その後、さらに、ローパスフィルタを掛け補正音信号の急峻な変化を抑制するようにしても良い。

（Ｓ２５０）
次に、ＣＰＵ１０１は、Ｓ２４１で生成した４８ｋＨｚの補正音信号を、絞り（駆動部）の駆動している期間の音声信号に対してどの程度の割合で合成するかを決定するように音声処理部１２１の合成比率判定部３５０を制御する。そのために、Ｓ２２２で記憶した最大音声レベルの上位Ｎ個の音声レベルの平均値の、所定の音声レベルに対する割合を使用する。ここでいう所定のレベルは、例えば、本実施例の音声入力部により集音される絞り（駆動部）の駆動音の想定される音声レベル等を用いる。このレベルは例えば、撮像装置１００の起動時に、絞り（駆動部）を駆動させることで取得しても良いし、予め記憶しておいても良い。すなわち、所定の音声レベルは、駆動部毎に異なる音声レベルを示すこともある。

本実施例においては、Ｓ２２２で記憶した最大音声レベルの上位Ｎ個の音声レベルの平均値をＰとし、所定の音声レベルをＱとすると、補正音信号の合成比率Ｘは、Ｘ＝１−（Ｐ÷Ｑ）とする。一方で、駆動部の駆動している期間の音声信号の合成比率Ｙは、Ｙ＝１−Ｘとする。

すなわち、サンプリング期間の音声信号の音声レベルが大きいほど、サンプリング期間の音声信号に基づいて生成された補正音信号を、絞り（駆動部）の駆動している期間の音声信号に対して合成する比率（合成比率）を下げていくのである。このように、ＣＰＵ１０１は、サンプリング期間の音声信号の音声レベルに応じて、補正音信号の合成比率を変更する。なお、補正音信号は、サンプリング期間の音声信号に基づいて生成されるので、言い換えれば、生成された補正音信号の音声レベルに応じて、補正音信号の合成比率を変更することになる。

このように合成比率を決定することでで、生成された補正音信号に含まれる可能性のあるノイズ（１６ｋＨｚのナイキスト周波数以上の周波数の音声が折り返し歪みを起こすことで発生するノイズ）を目立たなくすることができる。

（Ｓ２５１）
次に、ＣＰＵ１０１は、Ｓ２５０で決定した、合成比率Ｘで、Ｓ２４１で生成した補正音信号を、合成比率Ｙで、絞り（駆動部）の駆動している期間の音声信号を互いに合成するように音声信号処理部１２１の合成部３６０を制御する。

その後、ＣＰＵ１０１は、絞り（駆動部）の駆動している期間の音声信号のとして、合成部３６０で合成した合成音声信号が記録されるように、ＲＡＭ１０２に記憶されている、絞り（駆動部）の駆動している期間の音声信号を上書きする。

（Ｓ２６０）
最後に、ＣＰＵ１０１は、撮影終了の指示が操作部１０４から入力されたか否かを判定し、終了の指示が入力されていれば、雑音低減処理を終了し、終了していなければ、処理をＳ２１０に戻し、制御を継続する。

以上のように、ＣＰＵ１０１は、動画撮影動作中に、雑音低減処理を実行するように音声処理部１２１を制御する。

本実施例の撮像装置１００は、このような構成により、駆動部の駆動していない期間の音声信号に基づいて信号を生成し、その生成された信号に基づいて駆動音を低減する処理を行う場合、演算量を低減することができる。

また、本実施例の撮像装置１００は、加えて、生成された補正音信号に含まれる可能性のあるノイズ（１６ｋＨｚのナイキスト周波数以上の周波数の音声が折り返し歪みを起こすことで発生するノイズ）を目立たなくすることができる。これは、サンプリング期間の音声信号の音声レベルが大きい場合には、駆動部の駆動音が目立ちにくいため、補正音信号の合成比率を下げてもよく、合成比率を下げることにより補正音信号に発生する折り返し歪みノイズを低減することができるからである。また、サンプリング期間の音声信号の音声レベルが小さい場合には、そもそも、補正音信号に発生する折り返し歪みノイズが小さくなるため、合成比率を上げても、補正音信号に発生する折り返し歪みノイズが大きくなりにくいからである。

このよう本実施例の撮像装置１００は、サンプリング期間の音声信号のデータ量を間引いてから補正音信号を生成しても、補正音信号に発生する折り返し歪みノイズの影響を低減しつつ、駆動部の駆動音を低減することができるのである。

なお、本実施例のＳ２２２においては、Ｓ２２１でサンプリング数を減少させたサンプリング期間の音声信号の、音声レベルを測定し、得られた音声レベルのうち、最大音声レベルの上位Ｎ個の音声レベルの平均値を取得した。しかし、Ｓ２２１でサンプリング数を減少させる前のサンプリング期間の音声信号の、音声レベルを測定し、得られた音声レベルのうち、最大音声レベルの上位Ｎ個の音声レベルの平均値を取得しても良い。

なお、本実施例のＳ２２２においては、Ｓ２２１でサンプリング数を減少させたサンプリング期間の音声信号の、音声レベルを測定し、得られた音声レベルのうち、最大音声レベルの上位Ｎ個の音声レベルの平均値を取得した。しかし、本実施例においては、データ圧縮部３１０でデータ量を１／３に間引かれた結果、４８ｋＨｚの音声信号が実質的に１６ｋＨｚの音声信号に変換されている。そこで、Ｓ２２２において、１６ｋＨｚのナイキスト周波数である８ｋＨｚより高い周波数成分をハイパスフィルタにより抽出し、最大音声レベルの上位Ｎ個の音声レベルの平均値を取得しても良い。そうすると、Ｓ２３０の雑音低減処理の実行の有無の判断、及びＳ２５０の合成比率の計算においても、８ｋＨｚより高い周波数成分の最大音声レベルの上位Ｎ個の音声レベルの平均値を使用することになる。すなわち、補正音信号における折り返し歪みノイズの発生元で有る、間引き後のサンプリング期間の音声信号のナイキスト周波数より高い周波数の音声信号の音声レベルを用いてＳ２３０の雑音低減処理の実行の有無の判断、及びＳ２５０の合成比率の計算を行うことになる。このような構成とすることにより、本実施例の撮像装置１００は、補正音信号に発生する折り返し歪みノイズの影響が低い場合には補正音信号の合成比率を増加させることができるので、より効果の高い雑音低減処理を行うことができる。

また、本実施例のＳ２５０で算出された補正音信号の合成比率Ｘ、駆動部の駆動している期間の音声信号の合成比率Ｙは、駆動部の駆動している期間の前方における合成比率であってもよい。この場合、駆動部の駆動している期間の後方においては、補正音信号の合成比率は、Ｘから徐々に０に近づき、駆動部の駆動している期間の音声信号の合成比率は、Ｙから徐々に１に近づくように変化させても良い。また、合成比率Ｘと合成比率Ｙは、駆動部の駆動している期間において、常に一定の値でもよい。

また、本実施例の撮像装置１００が例えばレンズ交換式の撮像装置である場合、ＣＰＵ１０１は、撮像部１１０のレンズユニットが装着部に装着された際に、レンズユニットと通信を行い、レンズユニットの記録媒体に記録された識別情報を取得する。そして、識別情報に基づいて、レンズユニットの種類を特定し、その種類に対応した、Ｓ２３０における閾値レベル、Ｓ２５０における所定の音声レベルを設定し、図２の処理を行うようにしてもよい。すなわち、レンズユニット毎に異なる所定の音声レベルをせっていすることができる。このようにすることにより、装着されたレンズユニット毎に異なる駆動音に対応した雑音低減処理を実行することができる。

なお、本実施例の撮像装置１００は、例えば、デジタルカメラ、携帯電話、スマートフォンなど動画撮影中に静止画撮影を行うことができる装置であればどのような装置であっても良い。また、上述の実施形態の機能を実現するソフトウェアのプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。ここでいうコンピュータは、たとえば、携帯電話、スマートフォン、パーソナルコンピュータなどを含む。

［その他の実施形態］
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

Claims (7)

1. 駆動部を有する音声信号処理装置であって、
   前記駆動部の駆動を制御する制御手段と、
   前記音声信号処理装置の周囲の音声を示す、所定のサンプリング周波数でデジタル化された音声信号を取得する取得手段と、
   前記取得手段により取得された音声信号を処理する音声処理手段であって、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のデータ量を減少させた信号に基づいて補正音信号を生成し、前記駆動部が駆動したときに前記取得手段により取得された音声信号と前記補正音信号とを所定の合成比率で合成した信号を用いて、前記駆動部が駆動したときに前記取得手段により取得された音声信号における、前記駆動部の駆動による駆動音を低減する音声処理手段とを有し、
   前記音声処理手段は、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルに基づいて、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルが小さいほど前記補正音信号の合成比率を大きくするように、前記合成比率を決定することを特徴とする音声信号処理装置。
2. 駆動部を有する音声信号処理装置であって、
   前記駆動部の駆動を制御する制御手段と、
   前記音声信号処理装置の周囲の音声を示す、所定のサンプリング周波数でデジタル化された音声信号を取得する取得手段と、
   前記取得手段により取得された音声信号を処理する音声処理手段であって、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のデータ量を減少させた信号に基づいて補正音信号を生成し、前記駆動部が駆動したときに前記取得手段により取得された音声信号と前記補正音信号とを所定の合成比率で合成した信号を用いて、前記駆動部が駆動したときに前記取得手段により取得された音声信号における、前記駆動部の駆動による駆動音を低減する音声処理手段とを有し、
   前記音声処理手段は、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルに基づいて、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルが大きいほど前記補正音信号の合成比率を小さくするように、前記合成比率を決定することを特徴とする音声信号処理装置。
3. 前記音声処理手段は、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルと、前記駆動部の駆動音の音声レベルとに基づいて、前記合成比率を決定することを特徴とする請求項１または２に記載の音声信号処理装置。
4. 前記音声処理手段は、前記補正音信号を生成する場合、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のサンプル数を間引くことでデータ量を減少させることを特徴とする請求項１から３のいずれか１項に記載の音声信号処理装置。
5. 駆動部を有する音声信号処理装置であって、
   前記駆動部の駆動を制御する制御手段と、
   前記音声信号処理装置の周囲の音声を示す、所定のサンプリング周波数でデジタル化された音声信号を取得する取得手段と、
   前記取得手段により取得された音声信号を処理する音声処理手段であって、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のデータ量を減少させた信号に基づいて補正音信号を生成し、前記駆動部が駆動したときに前記取得手段により取得された音声信号と前記補正音信号とを所定の合成比率で合成した信号を用いて、前記駆動部が駆動したときに前記取得手段により取得された音声信号における、前記駆動部の駆動による駆動音を低減する音声処理手段とを有し、
   前記音声処理手段は、前記駆動部が駆動していないときに前記取得手段により取得された音声信号のサンプル数を間引き、前記所定のサンプリング周波数よりも低いサンプリング周波数の信号とし、前記低いサンプリング周波数の信号に基づいて前記補正音信号を生成し、
   前記音声処理手段は、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の前記低いサンプリング周波数のナイキスト周波数より高い周波数の音声信号の音声レベルに基づいて、前記合成比率を決定することを特徴とする音声信号処理装置。
6. 被写体の光学像を取得する撮像手段と、
   前記撮像手段に対して光学像を導くレンズユニットを交換可能に取り付ける装着手段とを有し、
   前記音声処理手段は、前記レンズユニットの駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルと、前記レンズユニット毎に異なる所定の音声レベルとに基づいて、前記合成比率を決定することを特徴とする請求項１から５のいずれか１項に記載の音声信号処理装置。
7. 前記音声処理手段は、前記駆動部が駆動していないときに前記取得手段により取得された音声信号の音声レベルが閾値レベルよりも大きい場合には、前記駆動音を低減する処理を行わないことを特徴とする請求項１から６のいずれか１項に記載の音声信号処理装置。

Images