JP5361398B2

JP5361398B2 - 撮像装置

Info

Publication number: JP5361398B2
Application number: JP2009000217A
Authority: JP
Inventors: 正史木村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-01-05
Filing date: 2009-01-05
Publication date: 2013-12-04
Anticipated expiration: 2029-01-05
Also published as: JP2010157965A

Description

本発明は、動画を音声とともに記録する撮像装置に関する。

近年、動画撮影と静止画撮影の両方に対応可能な撮像装置が広く実用化されている。動画撮影では、動画像を記録するとともに、周囲の音声も記録する。音声記録に関して、被写体からの音声をきちんと録音できることと、撮像装置の内部からの雑音の影響を受けないことが望まれる。

特許文献１には、被写体からの音を取り込む被写体用マイクに加えて、内部の雑音源近傍にノイズ集音用マイクを設け、被写体用マイクで取り込んだ音声信号からノイズ集音用マイクからの音声信号を除去する構成が記載されている。

特許文献２には、内部にある雑音源の発する雑音の周波数特性に着目し、この周波数帯を遮断するようなバンドパスフィルタを被写体用マイクからの音声信号に適用する構成が記載されている。

特許文献３には、被写体および雑音からの音声を取得する複数のマイクを設け、これら複数のマイクの出力音声信号にフィルタ処理を行った後に減算処理することが記載されている。
特許第３０００６１７号特開２００５−１３０３２８号特開２００５−２４４６１３号

特許文献１に記載の技術では、ノイズのみを取得できる位置にノイズ集音用マイクを設ける必要がある。ノイズ源の近傍にマイクを設置可能な場合は良いが、例えば、レンズ交換式のカメラなどでレンズがノイズ源とされた場合には、マイクを近傍に設けることは容易ではない。

特許文献２に記載の技術では、被写体からの音声から、ノイズ源の発生するノイズ音帯域の成分を遮断する。ノイズ源のノイズ音帯域が狭ければ十分な効果を得ることが出来るが、広い場合には、効果が小さくなったり、被写体音に無視できない影響を与えてしまう。また、一般的には、ギア音などの機械的ノイズは比較的広帯域の信号である。このため、機械的なものに由来するノイズ源に対して十分なノイズ除去効果を得ることは容易ではない。

特許文献３に記載の技術では、フィルタが適切にモデル化されていれば十分な効果を得ることが出来る。一方、実際の撮影場面では、被写体位置や被写体の音源の特性は変化する。さらには、レンズ交換式のカメラなどではノイズ源も変化する。従って、予め適切なフィルタを与えて十分な効果を得る事は、実際には容易ではない。

本発明は、以上の状況に鑑みてなされたもので、多種のノイズ源に対しても効果的にノイズ音を除去できる撮像装置を提示することを目的とする。

本発明に係る撮像装置は、撮影光学系を有する撮影レンズを着脱可能な撮像装置であって、音声を取得する音声取得手段と、前記音声取得手段により得られた音声信号に含まれる前記撮影レンズの駆動音を低減した音声を抽出するためのフィルタにより前記音声信号を処理する音声処理手段と、前記フィルタのフィルタ係数を制御する制御手段とを有し、前記制御手段は、前記撮影レンズが装着されたことに応じて、前記前記撮影レンズの所定部材に音声を発生させ、前記複数の音声取得手段により取得された前記所定部材の音声の周波数変換後の信号と、予め記憶された前記所定部材の発生する音声の周波数変換後の信号とに基づいて、前記所定部材から前記複数の音声取得手段までの伝達特性を特定し、
前記制御手段は、前記所定部材から前記各音声取得手段までの伝達特性にもとづいて、前記フィルタ係数を決定することを特徴とする。

本発明によれば、簡単な構成で高品位な音声信号を得ることが出来る。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例である撮像装置の中央縦断面図を示し、図２は、概略機能ブロック図を示す。

本発明の一実施例である撮像装置は、レンズ交換可能な一眼レフカメラであり、撮像装置本体１の前面に撮影レンズ２が装着されている。撮影レンズ２は、撮影光学系３と撮影光学系３を収容するレンズ鏡筒５とからなる。撮像装置本体１は、撮影光学系３の光軸４の線上に撮像素子６を具備する。撮像装置本体１の底面にマイク７ａ，７ｂが設置されている。本体１と撮影レンズ２は、電気接点１０を介して電気的に接続する。撮影レンズ２は、レンズ制御回路等を実装した回路基板８、手ぶれ補正機構１１、補正光学系１２、および、手ぶれ補正検出用センサ１４を具備する。駆動部９は、レンズ制御回路からの制御信号に従って手ぶれ補正機構１１を駆動する。本体１は、撮影レンズ２により入射する光線を撮像素子６側と光学ファインダのペンダプリズム側とに選択的に向けるクイックリターンミラー１３を具備する。本体１にはまた、合焦検出及び露出検出のためのＡＥ／ＡＦセンサ１５を装備されている。

本実施例の撮像装置は、ＡＥ／ＡＦセンサ１５の出力に応じて撮影レンズ２のフォーカスと露出を自動制御する。ユーザによる不図示のレリーズ釦の操作に従い、撮像素子６で生成される画像信号が、所定の処理の後に記録媒体に記録される。

図２を参照して，本実施例に係る撮像装置の基本機能を説明する。本時指令の撮像装置は、機能的には、撮像系、画像処理系、音声処理系、記録再生系及び制御系を有する。撮像系は、撮影光学系３及び撮像素子６を含む。画像処理系は、Ａ／Ｄ変換器２０及び画像処理回路２１を含む。音声処理系はマイク７ａ，７ｂおよび音声処理回路２６を含む。記録再生系は、記録処理回路２３および記録媒体２４を含む。制御系は、カメラシステム制御回路２５、ＡＥ／ＡＦセンサ１５、操作検出回路２７およびレンズシステム制御回路２８を含む。

撮像系は、被写体からの光を撮影光学系３により撮像素子６の撮像面に結像する光学処理系である。レンズシステム制御回路２８は、電気接点１０を介してカメラシステム制御回路と通信する。レンズシステム制御回路２８は、ＡＥ／ＡＦセンサ１５による露光量の検知出力をもとに絞り駆動部２９ｃにより撮影光学系３の絞りを制御し、これにより撮像素子６への入射光量を適正量に制御する。

Ａ／Ｄ変換器２０は撮像素子６からのアナログ画像信号をデジタル信号に変換する。画像処理回路２１は、Ａ／Ｄ変換器２０からのデジタル画像信号にホワイトバランス調整及びガンマ補正等の周知のカメラ信号処理を施す。画像処理回路２１はまた、補間演算による高解像度化を行う補間演算器を有し、表示装置２２に表示するための画像信号を生成する回路を有する。

音声処理系は、マイク７ａ，７ｂからの音声信号を記録用に処理する。すなわち、音声処理回路２６は、マイク７ａ，７ｂの出力音声信号を処理して、録音用音声信号を生成する。録音用生成信号は、記録処理回路２３により画像とリンクして圧縮処理される。

記録処理回路２３は、予め設定された圧縮方式及び圧縮パラメータで、画像（動画及び静止画）及び音声を圧縮して、記録媒体２４に記録する。記録処理回路２３はまた、記録媒体２４に記録される圧縮された画像・音声を伸長する機能を具備する。

制御系では、操作検出回路２７が、不図示のシャッタレリーズ釦等の操作を検出し、その検出結果をカメラシステム制御回路２５に通知する。カメラシステム制御回路２５は、この通知に応じて各部を制御する。カメラシステム制御回路２５は、撮像の際のタイミング信号などを生成して出力する。また、カメラシステム制御回路２５は、後述する同定のためのタイミング発生器としても機能する。ＡＥ／ＡＦセンサ１５は、撮影光学系３のピント状態および被写体の輝度を検出する。手ぶれ検出センサ１４は、所謂、手ぶれを検出する。レンズシステム制御回路２８は、カメラシステム制御回路２５からの制御信号に応じて撮影光学系３のフォーカス、ズームおよび露出を制御する。

制御系は、外部操作に応じて撮像系、画像処理系および記録再生系をそれぞれ制御する。例えば、不図示のシャッタレリーズ釦の押下に応じて、カメラシステム制御回路２５は、撮像素子６の駆動、画像処理回路２１の動作、および記録処理回路２３の圧縮処理などを制御する。カメラシステム制御回路２５はさらに、動作状態に応じて表示装置２２の表示内容を制御する。

カメラシステム制御回路２５は、ＡＥ／ＡＦセンサ１５の出力信号を元に適切な焦点位置と絞り位置を決定し、電気接点１０を介してレンズシステム制御回路２８に通知する。レンズシステム制御回路２８は、カメラシステム制御回路２５からのこれらの信号に従い、焦点レンズ駆動部２９ａにより撮影光学系３のフォーカスを制御し、絞り駆動部２９ｃにより絞りを制御する。レンズシステム制御回路２８は手ぶれ補正モードでは、手ぶれ検出センサ１４の検知出力に従いブレ補正駆動部２９ｂにより補正光学系１２を駆動して，手ぶれを解消できる。

図３乃至図５を参照して、本実施例の動作シーケンスを示す。図３〜図５で、横軸は時間を示し、縦軸は、各要素の状態を示す。また、各要素間の矢印は、メッセージ又は制御信号を示す。

図３は、撮影レンズ２を装着した時の、本実施例の好適な動作シーケンス例を示す。撮影レンズ２が本体１に装着されると、電気接点１０を介して撮影レンズ２と本体１との間で通信が行われ、カメラシステム制御回路２５が撮影レンズ２の装着を認識する。撮影レンズ２の装着動作に連動して、カメラシステム制御回路２５は、後述する同定処理を行うためのタイミングとして、電気接点１０を介して撮影レンズ２に音源動作を指示する。同時に、カメラシステム制御回路２５は、音声処理回路２６に同定処理を行うように指示する。

これにより、音声処理回路２６には、撮影レンズ２の音源からのテスト音が入力することになり、音声処理回路２６は、このテスト音を同定し、撮影（録音）の際のノイズ音を解消できるようなフィルタ特性を決定する。

録音を含むユーザの撮影操作に対して、カメラシステム制御回路２５は音声処理回路２６に対し、先に決定したフィルタ特性でのフィルタ処理を指示する。これにより、音声処理回路２６は、入力音声信号から撮影レンズ２の音源からのノイズ音を分離する。同定処理と音源分離処理の詳細は、後述する。

図４は、本実施例の別の動作シーケンス例を示す。撮影レンズ２が本体１に装着されると、電気接点１０を介して撮影レンズ２と本体１との間で通信が行われ、カメラシステム制御回路２５が撮影レンズ２の装着を認識する。カメラシステム制御回路２５は、撮影レンズ２の装着に連動して，同定予約状態になる。この状態で、カメラシステム制御回路２５は、マイク７ａ，７ｂの出力音声信号レベルを検出し、予め定められた値と比較して、周囲音が大きいか小さいかを判定する。周囲音レベルが小さくなった時に、カメラシステム制御回路２５は、電気接点１０を介して撮影レンズ２に音源動作を指示する。同時に、カメラシステム制御回路２５は、音声処理回路２６に同定処理を行うように指示する。

これにより、音声処理回路２６には、周囲音が小さい状態で撮影レンズ２の音源からのテスト音が入力することになる。音声処理回路２６は、このテスト音を同定して伝達関数を決定し、撮影の際のノイズ音を解消できるようなフィルタ特性を決定する。

図４に示すシーケンスでは、周囲音が小さいときに、撮影レンズ２からのテスト音を同定するので、より正確なフィルタ特性を決定できる。

図５は、本実施例の更に別の動作シーケンス例を示す。撮影レンズ２が本体１に装着されると、電気接点１０を介して撮影レンズ２と本体１との間で通信が行われ、カメラシステム制御回路２５が撮影レンズ２の装着を認識する。カメラシステム制御回路２５は、撮影レンズ２の装着に連動して，同定設定状態になる。この同定設定状態で、カメラシステム制御回路２５は、マイク７ａ，７ｂの出力音声信号レベルを検出する。図５に示す例では、検出音声レベルを予め定められた値と比較して、周囲音を２値判定している。

カメラシステム制御回路２５は、撮影レンズ２のレンズシステム制御回路２８に、周囲音声レベルに応じた音源動作方法を指示する。カメラシステム制御回路２５は同時に、音声処理回路２６に周囲音レベルに適した同定処理方法を指示する。その後、カメラシステム制御回路２５は、レンズシステム制御回路２８に音源動作を指示し、音声処理回路２６に同定処理の実行を指示する。これにより、撮影レンズ２の音源は周囲音レベルに応じたテスト音を発生し、そのテスト音が音声処理回路２６に入力する。そして、音声処理回路２６は、周囲音レベルに応じた同定方法でこのテスト音を同定し、フィルタ特性を決定する。

図５に示す例では、周囲音を考慮に入れた状態で、雑音除去のフィルタ特性を決定できる。周囲の騒音が大きい場合には、周囲の騒音に応じた回数（複数回）の同定結果を平均化することで、より適切なフィルタ特性、すなわち分離特性を決定できる。また、別のシーケンス例として、周囲の騒音が大きい場合には周囲の騒音に応じた大きさの同定音を発生させても良い。同定音が大きくなることでＳＮ比を改善され、より適切なフィルタ特性、すなわち分離特性を決定できる。また、周囲音が大きい環境なので、同定音が大きくなってもユーザに与える不快感は小さい。

更に別のシーケンス例として、周囲の騒音が大きい場合には同定を行わず前回同定されたフィルタ、既定のフィルタのいずれかをそのまま用いてもよい。このときは、カメラシステム制御回路２５はレンズシステム制御回路２８に音源を駆動させず、音声処理回路２６も同定処理を実行させない。

本実施例では、撮影レンズ２の手ぶれ補正機構１１が、音源となる。図６は、手ぶれ補正機構１１の分解斜視図を示す。図６で、８ａは手ぶれ補正機構の回路基板を示す。９は手ぶれ補正機構１１の駆動部を示す。１２は補正光学系１２を形成するレンズを示す。３１はベース板を示す。４１は可動鏡筒を示す。３２ａ,３２ｂ,３２ｃはベース板３１に設けた穴および可動鏡筒４１に設けられた長穴に勘合し、案内面を形成するガイドピンを示す。３３はベース板３１に設けられた溝および可動鏡筒４１に設けられた溝に勘合し回転抑制を行うガイドバーを示す。３４ａはベース板３１に設けられたマグネットおよびヨークを示す。３４ｂはヨークを示す。３５は撮影光学系３の一部をなすレンズを示す。３６はレンズ３５を保持する保持枠を示す。３７は保持枠３６をベース板３１に押圧固定する保持枠固定板を示す。４１ａは可動鏡筒４１上に設けられたロック用突起を示す。４２は発光素子を示す。４３は可動鏡筒４１上に設けられたコイルを示す。４４はロックリングを示す。４４ａはロックリング４４上に設けられたニゲ部を示す。４４ｂはロックリング４４上に設けられたセクタギアを示す。４４ｃはロックリング４４上に設けられた突起を示す。４５はロックモータを示す。４６はフォトインタラプタを示す。

ベース板３１上のマグネットおよびヨーク３４ａと、ベース板３１から見て可動鏡筒４１よりも遠い側に配置されヨーク３４ａに対抗するように設けられたヨーク３４ｂは、一体となって閉磁路のいわゆる磁気回路３４を形成する。磁気回路３４内にコイル４３が設けられている。コイル４３は小判形状をしているが、その長辺側の２つの領域に夫々反対向きの磁束が横切るように磁気回路３４が形成されている。そこで、コイル４３に適切な電流を与えることで、フレミング左手の法則に従って力が発生する。この力を利用することで、ベース板３１と可動鏡筒４１の間に相対的な変位を与えることが出来る。この相対変位により補正光学系１２を偏心させることができる。すなわち、手ぶれに応じてこの相対変位により補正光学系１２を偏心させることで、手ぶれを補正できる。図６に示すように、手ぶれ補正機構１１の駆動部９は２軸方向に設けられており、夫々のコイルに適切に電流を供給することで、図６に示す２つの方向９Ｐ，９Ｙに補正光学系１２を偏心させることが出来る。

本実施例では、可動鏡筒４１上の発光素子４２の位置を回路基板８ａ上の光位置センサ（図６では見えない裏面に設けられている）で監視することで、ベース板３１と可動鏡筒４１の相対変位量を知ることが出来る。つまり、光位置センサの出力をコイル４３の印加電流または電圧に適切にフィードバックすることで、手ぶれ検出センサ１４の感知出力に追従するように補正光学系１２の位置を制御できる。

図６に示す手ぶれ補正機構１１では、コイル４３に電流を供給しないときは重力方向に補正光学系１２が偏心してしまう。このような状態で光学ファインダを見ると、品位の低下した像が見えてしまう。これを防止するためには、手ぶれ補正を行わないときには、補正光学系１２を光軸中心に保持することが望ましい。しかし、カメラのような携帯機器では省電力化が求められるので、補正光学系１２を光軸中心に常に保持することは困難である。

そこで、手ぶれ補正機構１１には、ロック機構を装備してある。図７は、ロックリング４４とロックモータ４５からなるロック機構の平面図であって、ロック状態を示し、図８はアンロック状態を示し、図９はオーバードライブ状態を示す。図１０、図１１および図１２はそれぞれ、図７、図８および図９の部分拡大図を示す。

ロックモータ４５の先端に設けられたギア４５ａとロックリング４４上のセクタギア４４ｂが噛み合っている。これにより、ロックモータ４５が回転すると、ロックリング４４が回転する。ロックリング４４の状態を検出するためにロックリング４４上に突起４４ｃを設け、ベース板３１にフォトインタラプタ４６を設けてある。

図１０から分かるように、ロック状態では、ロックリング４４と可動鏡筒上の突起４１ａが小さな隙間を持って存在しており、補正光学系１２をほぼ光軸中心に保持する。

図１０に示すロック状態からアンロック状態に移行する場合を説明する。フォトインタラプタ４６の出力信号を監視しながら、ロックモータ４５を回転させる。フォトインタラプタ４６の出力信号が一度遮蔽された後に再度得られた状態で、ロックモータ４５を止めると、図８および図１１に示すアンロック状態になる。図１１から分かるように、アンロック状態では、ロックリング４４上に設けられたニゲ部４４ａ１が、可動鏡筒４１の突起４１ａに対向する。ベース板３１上にもニゲ部３１ａが設けられており、図１１に示す様に、可動鏡筒４１が変位可能な状態になる。この状態では、前述したように、手ぶれ補正機構１１の駆動部９により補正光学系１２を動作させることで、手ぶれを補正できる。

さらに、この状態からオーバードライブ状態に移行する場合を説明する。フォトインタラプタ４６の信号を監視しながら、ロックモータ４５を更に同方向に回転させる。フォトインタラプタ４６の信号が再度遮蔽され始めた箇所でロックモータ４５を止めると、図９および図１２に示すオーバードライブ状態になる。図１２から分かるように、オーバードライブ状態では、ロックリング４４上に設けられたニゲ部４４ａ１が通り過ぎる。そして、固定部に設けられたニゲ部３１ａよりも光軸に近い位置までしか逃げていない部分４４ａ２が、可動鏡筒４１の突起４１ａに対向する。可動鏡筒４１を動作させると、可動鏡筒４１とニゲ部４４ａ２を衝突させることが出来る。衝突速度や衝突箇所の材質によって、発生音と音量を調整できる。ここで、ニゲ部４４ａ２と突起４１ａはロックリング４４と可動鏡筒４１に夫々一体的に形成される場合を示したが、他の部材を貼り付けて形成して、任意の材質で衝突部を形成しても良い。

このような機構部が、音源として図３ないし図５で説明した同定用音源動作メッセージに連動して動作し、音を発生する。具体的には、同定用音源動作メッセージを受信したレンズシステム制御回路２８は、ブレ補正駆動部２９ｂを制御して、手ぶれ補正機構１１をオーバードライブ状態に移行させて音を発生させる。

手ぶれ補正機構１１を音源として利用する例を説明したが、撮影レンズ２内に存在する他の機構部を音源としてもよい。例えば、絞り駆動部２９ｃや焦点レンズ駆動部２９ａなどの、撮影レンズ２の光学素子を駆動する手段を音源として利用できる。撮影レンズ２には一般に、焦点駆動アクチュエータ、手ぶれ補正アクチュエータ、絞り駆動アクチュエータ、又は、焦点距離駆動アクチュエータがある。

絞り駆動部２９ｃを音源とする場合を簡単に説明する。絞り駆動部２９ｃには、絞り羽根の開放を検知する開放検知スイッチを設けてある場合が多い。絞り羽根を開放する方向に絞りを走行させた場合、開放検知スイッチの出力を監視して、アクチュエータの減速制御などを行う。例えば、絞り駆動部２９ｃを音源として利用する場合、開放検知スイッチの出力に関わらず、メカニカルストッパまでアクチュエータを走行させる。このようにすることで、通常の動作では大きな音は出さずに、音源として利用する場合には十分に大きな音を発生させることができる。

焦点レンズ駆動部２９ａを音源とする場合を簡単に説明する。焦点レンズ駆動部２９ａには、現在の焦点レンズ位置を知るために、ブラシ上のスイッチを用いている場合が多い。このブラシの各接点の電位を測定することで、焦点レンズ位置をいくつかのゾーンに分けて検出できるようになっている。また、焦点レンズのいわゆる無限端と至近端には、メカニカルストッパが設けられている。通常の焦点レンズ駆動動作においては、無限端のメカニカルストッパに焦点レンズ保持部が激しく衝突しないように制御し、至近端側でも同様に制御する。もちろん、無限端が含まれるゾーンに入ってからメカニカルストッパに到達するまでの駆動量を予め求めておく。

焦点レンズ駆動部２９ａを音源として利用する場合、故意に無限端と至近端のいずれかのメカニカルストッパに焦点レンズ保持部が激しく衝突するように制御する。このようにすることで、通常の動作では大きな音は出さずに、音源として利用する場合には十分に大きな音（テスト音）を発生させることができる。無限端と至近端のいずれを用いるかは、絞り、ズーム及び焦点レンズなどによって決まる現在のレンズ状態から適切に決定すればよい。

複数のアクチュエータを音源として利用できるような撮影レンズでは、カメラシステム制御回路２５からの指示に従って選択された音源を動作させるようにしてもよい。撮影時の音声信号に最も影響を与える信号を正確に同定できる音源を、レンズの状態によって選択すればよい。

図１３および図１４を参照して、フィルタ５４ａ，５４ｂの同定処理を説明する。ここで説明する同定処理とは、後述する音声分離に使うフィルタ５４ａ，５４ｂのフィルタ特性のフィルタ係数を決定し、フィルタ係数メモリ７７に値を保存する処理を言う。後述するようにフィルタ５４ａ，５４ｂは音源からマイクまでの伝播特性を示している。図１３は、インパルス音を用いて同定処理を行う場合に機能する機能ブロック図を示す。図１４は、その他の一般的な音源を用いて同定処理を行う場合の機能ブロック図を示す。

図１３において、５２は音源を示す。５２ａ，５２ｂは音声の伝播経路を示す。５３ａ，５３ｂは高速フーリエ変換(以下ＦＦＴ)処理部を示す。６１は音源５２から発したインパルス音の波形例を示す。６２ａ，６２ｂはマイク７ａ，７ｂで捕らえた音声信号の波形例を示す。６３ａ，６３ｂはマイク７ａ，７ｂで捕らえた音声信号をＦＦＴ処理部５３ａ，５３ｂでフーリエ変換して得られる周波数スペクトル例を示す。

図１３では、音源５２からインパルス音（テスト音）を発生させる。理想的なインパルス音を実際に発生させることは出来ないが、ここでいうインパルス音は、少なくともマイク７ａ，７ｂの出力音声信号においてほぼ均一な周波数特性をもつような信号である。時空間で考えると、マイク７ａ，７ｂでの１サンプリング期間内に立ち上がり立下りが収まるような信号であれば望ましく、例えば、１サンプリング区間の半分以下の期間で音圧レベルを変化する信号である。このような信号は、本実施例においてインパルスとみなすことが出来る。本実施例でのインパルス音は、このようなインパルスとみなせる音を含む。波形６１は望ましい信号波形を示す。波形６１の横軸は時間を示し、縦軸は信号レベル示す。波形６１で示す信号は時間方向に幅を持っているが、その幅は、マイク７ａ，７ｂでの１サンプリング期間よりも短い。

波形６２ａ，６２ｂの横軸は時間を示し、縦軸は信号レベルを示す。音源５２は波形６１で示すインパルス音を発生するが、伝播経路５２ａ，５２ｂを経ることによって波形がなまる。マイク７ａ，７ｂでは、波形６２ａ，６２ｂで示すような信号が得られる。波形６２ａ，６２ｂは伝播経路５２ａ，５２ｂの伝達特性を反映している。これらの信号をＦＦＴ処理部５３ａ，５３ｂでＦＦＴ処理すると、スペクトル６３ａ，６３ｂが得られる。スペクトル６３ａ，６３ｂはボード線図であり、横軸は周波数を示し、縦軸は信号レベルと位相を示す。例えば、スペクトル６３ａ，６３ｂは、夫々、高周波領域でゲインが下がるとともに、周波数によって位相が変化している。

時間０にだけ立ち上がりと立下りが存在する理想的なインパルス音は、全ての周波数を均一に含み、位相遅れもない。このため、理想的なケースでは、波形６３ａ，６３ｂで示す信号は、伝播経路５２ａ，５２ｂの伝達特性のみを含むことになり、フィルタ５４ａ，５４ｂとして用いることが出来る。フィルタ係数演算器５７ａ，５７ｂは、得た信号をそのままフィルタ係数メモリ７７に保存する。このようにして、インパルス音を発生し、そのインパルス音をＦＦＴ処理することでフィルタ５４ａ，５４ｂ（のフィルタ特性）を決定できる。

図１４は、既知では有るがインパルス音ではない音源を使ってフィルタ５４ａ，５４ｂ（のフィルタ特性）を決定する場合の機能ブロック図を示す。７１は音源５２から発した同定用の音（又はその波形）を示す。７１ａは予め得た音源信号（又はその波形）を示す。７２ａ，７２ｂはマイク７ａ，７ｂで捕らえた音声信号の波形例を示す。７３ａ，７３ｂはマイク７ａ，７ｂで捕らえた音声信号をＦＦＴ処理部５３ａ，５３ｂでフーリエ変換して得られる周波数スペクトル例を示す。７４は波形７１ａの信号を高速フーリエ変換するＦＦＴ処理部を示す。７５は、波形７１ａの信号をＦＦＴ処理部７４により高速フーリエ変換して得られる周波数スペクトル例を示す。図１３と同じ要素には同じ符号を付してある。

波形７１が示す音は、同定用の音源から発せられている。横軸は時間を示し、縦軸は信号レベルを示す。図１３との相違は、波形７１に示す信号が周波数によって異なる信号強度を持っていることである。ただし、音源の種類は既知であるとする。例えば、図６乃至図１２を参照して説明した音源を動作させたときの音は、予め測定することで知ることが出来る。このようにして得られた信号を波形７１ａで示している。波形７１と波形７１ａとの間には、製品ごとの個体差が存在するものの、基本的には同一の波形からなる。本実施例では、波形７１ａの信号をＦＦＴ処理部７４で処理した周波数スペクトル７５又は周波数成分を予めメモリ７６に記憶する。

同定時に音源５２から同定用テスト音（波形７１）が発せられると、マイク７ａ，７ｂは夫々、波形７２ａ，７２ｂの信号を出力する。得られた信号（波形７２ａ，７２ｂ）は、式（１）に示すように、音源５２の特性と伝播経路５２ａ，５２ｂの伝達特性が畳み込み積分された信号となる。ここから音源の特性を除去できれば、伝播経路５２ａ，５２ｂの伝達特性を得ることが出来る。時間領域での畳み込み積分は周波数領域では単純な積となる。そこで、マイク７ａ，７ｂで得た信号（波形７２ａ，７２ｂ）をＦＦＴ処理部でフーリエ変換して、周波数スペクトル７３ａ，７３ｂを得る。周波数スペクトル７３ａ，７３ｂはボード線図であり、横軸は周波数を示し、縦軸は信号レベルと位相を示す。

音源の特性を除去するために、フィルタ係数演算器５７ａ，５７ｂは、ＦＦＴ処理部５３ａ，５３ｂの出力（波形７３ａ，７３ｂ）をメモリ７６に記憶された周波数特性７５で除算する。その結果、音源５２の特性が除去され、伝播経路５２ａ，５２ｂの伝達特性を得ることが出来る。フィルタ係数演算器５７ａ，５７ｂは、この除算結果をフィルタ係数メモリ７７に保存する。

音声処理回路２６で行われる音源分離を説明する。図１５は、音声処理回路２６内の、音源分離に関する回路部分の概略構成ブロック図を示す。５１，５２は音源を示す。５１ａ，５１ｂ，５２ａ，５２ｂは音源５１、５２からの音声の伝播経路を示す。５３ａ，５３ｂは高速フーリエ変換(ＦＦＴ)処理部を示す。５４ａ，５４ｂはフィルタを示す。５５は加算器を示す。５６は逆高速フーリエ変換（ＩＦＦＴ）処理部を示す。

基本原理の理解のために、一つの音源と一つのマイクの場合について説明する。音源５１とマイク７ａに着目する。音源５１から発せられた音声は伝播経路５１ａ，５１ｂを介してマイク７ａ，７ｂに到達する。マイク７ａで取得される信号は、音源５１の発生する音の特性に伝播経路５１ａの特性を重ね合わせたものである。これを式で表すと、
ｙ（ｔ）＝∫ａ（τ）ｘ（ｔ−τ）ｄτ （１）
で表現される。式（１）において、ｙ（ｔ）はマイク７ａで観察された信号を示す。ａ（ｔ）は伝播経路５１ａの特性を示す。ｘ（ｔ）は音源５１から発せられた信号を示す。信号ｙ（ｔ）は、音源５１の出力信号ｘ（ｔ）と伝播経路５１ａの特性の畳み込み積分で表現される。伝播経路５１ａの特性を示すａ（ｔ）は、図１５中ではフィルタ５４ａ，５４ｂと対応している。

式（１）から明らかなように、伝達特性ａ（ｔ）が既知であれば、ｙ（ｔ）からｘ（ｔ）を推定できる。しかし、畳み込み積分された信号を時間領域のまま復元するのは容易ではないので、周波数領域に変換する。そのために、ＦＦＴ処理部５３ａが、マイク７ａの出力信号をフーリエ変換する。すなわち、
Y（ω）＝Ａ（ω）Ｘ（ω）（２）
で表現される。式（２）において、Ｙ（ω），Ａ（ω），Ｘ（ω）はそれぞれ、ｙ（ｔ），ａ，ｘ（ｔ）をフーリエ変換したものである。畳み込み定理から明らかなように、時間領域では畳み込み積分されていた信号は、周波数領域では単純な積算になる。そこで、各周波数について下記式でＸ（ω）を求める。すなわち、
Ｘ（ω）＝Ｙ（ω）／Ａ（ω）（３）
得られたＸ（ω）を時間領域に再度戻すことで、伝播経路５１ａの影響を除去して、音源５１の発した音を得ることが出来る。

次に、図１５に示すように、２つの音源５１，５２と２つのマイク７ａ，７ｂがある場合を考える。１つの音源と１つのマイクの場合の説明は、容易に複数個の場合にも拡張でき、以下のように行列で表現される。すなわち、

ただし、＊は畳み込み積分を表す。ここで、ｙ１（ｔ），ｙ２（ｔ）は夫々マイク７ａ，７ｂが取得する信号を示す。ｘ１（ｔ），ｘ２（ｔ）は夫々、音源５１，５２が発する信号を示す。ａ_１１，ａ_１２，ａ_２１，ａ_２２は夫々、伝播経路５１ａ，５２ａ，５１ｂ，５２ｂの伝達特性を示す。式（４）中の行列およびベクトルを１つの文字で表現すると、明らかに式（１）と同じ式になる。但し、Ａ（ω）はスカラではないので、式（３）に対応する式は、以下のように表現される。すなわち、
Ｘ（ω）＝｛Ａ^＊（ω）Ａ（ω）｝^−１Ａ^＊（ω）Ｙ（ω）（５）
となる。式（５）において、Ａ^＊（ω）はＡ（ω）の随伴行列を表す。

定義から、Ａ^＊（ω）Ａ（ω）は、半正値エルミート行列となる。多くの場合は、正値エルミート行列となり、Ａ^＊（ω）Ａ（ω）には逆行列が存在するので式（５）によりＸ（ω）を求めることが出来る。ここで、Ｘ（ω）はベクトルであり、内部にｘ１，ｘ２を成分として持っている。従って、Ｘ（ω）を時間領域に再度戻す（いわゆる逆フーリエ変換を行う）ことで、伝播経路５１ａ，５２ａ，５１ｂ，５２ｂの影響を除去して音源５１，５２の発生音を得ることが出来る。ここで音源５１が被写体、音源５２が雑音源と仮定すると、本実施例により音源５２からマイク７ａ，７ｂへの伝達特性ａ_１２，ａ_２２を同定することが出来る。一方で、音源５１からマイク７ａ，７ｂへの伝達特性ａ_１１，ａ_２１を得ることは簡単ではない。しかしながら、マイク７ａ，７ｂがいわゆるステレオマイクであり、被写体方向が不明の場合は、ａ_１１，ａ_２１をともに遅れ0のインパルスのＦＦＴ処理結果とすることで、マイク７ａ，７ｂから音源５２の音を低減した音声を得ることが出来る。別のケースとして、マイク７ａ，７ｂがいわゆるステレオマイクであり、被写体方向が画像などから既知の場合は例えば、ａ_１１を遅れ0のインパルスのＦＦＴ処理結果，ａ_２１はａ_１１に対して被写体音方向によって生じると想定される位相差を与えたインパルスのＦＦＴ処理結果とすることで、マイク７ａ，７ｂから音源５２の音を低減した音声を得ることが出来る。更に別のケースとして、マイク７ａが被写体音を取得するマイクであり、マイク７ｂが雑音を優先して取得するマイクの場合は、ａ_１１を遅れ0のインパルスのＦＦＴ処理結果、ａ_２１を0信号のＦＦＴ処理結果とすることで、マイク７ａから音源５２の音を低減した音声を得ることが出来る。このようにすることで、Ａ（ω）を決定することができ、式（５）を解くことで被写体音Ｘ（ω）を得ることが出来る。

以上に説明したように、複数の音源からの音を夫々分離して特定の音源からの音を取り出したり、特定の音源からの音を除去できる。このような処理を、本実施例では音源分離と呼ぶ。

前述したように、音源からマイクまでの伝達特性が特定されれば、複数のマイクの出力信号を処理することで、撮影レンズ２での発生音を除去または低減した、適当な記録用音声信号を得ることが出来る。伝達特性はフィルタ５４ａ，５４ｂの中に表現されている。しかし、レンズ交換式カメラでは音源の状態や音源の種類が多種多様であるので、フィルタ５４ａ，５４ｂを固定値として設けたのでは十分な効果を得ることが難しい。

そこで、本実施例では、フィルタ係数メモリ７７からフィルタ５４ａ，５４ｂの特性を読み出して使用する。同定した結果を用いることで、取り付けられた撮影レンズ２の状態に応じたフィルタ５４ａ，５４ｂが適用され、結果として高品位の音声信号を得ることが出来る。

図１６は、本発明の第２実施例である撮像装置の中央断面図を示す。図１６において、第１実施例と同一の機能を持つ部材には同じ符号を付してある。図１６において、１０１は撮影レンズ２に備えられたスピーカである。ここでは、基板８上にスピーカ１０１が設けられているが、撮影レンズ２内の適当な位置に設置すれば良い。図１６の各部の動作は、音声処理回路２６及びスピーカ１０１を除いて、第１実施例と同じである。

図１７は、図１６に示す実施例の概略機能ブロック図を示す。第１実施例と同じ構成要素には同じ符号を付してある。本実施例では、撮影レンズ２内にスピーカ１０１を設けた。本体１の音声処理回路２６が、以下に説明するように音声処理回路２６とは異なるように動作する。これらを除いて各部の動作は、実施例１と同じである。また本実施例の動作シーケンスも、図３〜図５に示した動作と同じである。

図１８を参照して、音声処理回路２６とスピーカ１０１の作用を説明する。図１８において、１０２ａ，１０２ｂはスピーカ１０１の出力音声がマイク７ａ，７ｂに入力する音声伝播経路を示す。１１１は、スピーカ１０１の出力する音声信号波形を示す。１１２ａ，１１２ｂは、マイク７ａ，７ｂで捕らえたスピーカ１０１の出力音声信号の波形を示す。１１３ａ，１１３ｂはＦＦＴ処理部５３ａ，５３ｂで観測される、マイク７ａ，７ｂの出力音声信号の周波数スペクトルを示す。１１３ｃは、スピーカ１０１の駆動信号をＦＦＴ処理部７４でフーリエ変換した結果の周波数スペクトル波形を示す。

カメラシステム制御回路２５は、電気接点１０を介してレンズシステム制御回路２８に同定処理に用いる音声を発するように指示する。カメラシステム制御回路２５は同時に、音声処理回路２６に同定処理を行うように指示する。レンズシステム制御回路２８は、予め発生すべき信号波形を記憶しており、その信号波形に従ってスピーカ１０１を駆動し、波形１１１で示す音声信号を発生させる。この駆動信号は、電気接点１０を介して音声処理回路２６にも送られる。図１８に示す例では、サイン波の、周波数が次第に上がるいわゆるスイープサイン音を発生させている。このスイープサイン音は、撮影レンズ２が発する騒音を周波数領域で見たときに、録音信号に含まれる周波数帯の信号を含むことが望ましい。またスピーカ１０１も、上述の帯域の音声を発生可能であることが望ましい。

スピーカ１０１の出力する音声信号（波形１１１）は、音声伝播経路１０２ａ，１０２ｂを伝搬してそれぞれマイク７ａ，７ｂに入射し，電気信号に変換される。マイク７ａ，７ｂは、波形１１２ａ，１１２ｂで示す電気音声信号を出力する。ＦＦＴ処理部５３ａ，５３ｂは、マイク７ａ，７からの音声信号（波形１１２ａ，１１２ｂ）をフーリエ変換し、ＦＦＴ処理部７４は、レンズシステム制御回路２８からの駆動信号をフーリエ変換する。波形１１３ａ，１１３ｂ、１１３ｃはボード線図であり、横軸は周波数を示し、縦軸は信号レベルと位相を示す。例えば、波形１１３ａでは、高周波領域でゲインが下がるとともに、周波数によって位相が変化している。

実施例１で説明したように、ＦＦＴ処理部５３ａ，５３ｂの出力（波形１１３ａ，１１３ｂ）はスイープ波形の情報と音声伝播経路１０２ａ，１０２ｂの情報を持っている。一方、ＦＦＴ処理部７４の出力信号（波形１１３ｃ）は、スイープ波形の情報のみを持つ。そこで、波形１１３ａ，１１３ｂを波形１１３ｃで割ることで、インパルス音に対する応答に変換できる。フィルタ係数演算器５７ａ，５７ｂは、この除算を各周波数について行い、その結果をフィルタ係数メモリ７７に保存する。

図１８に示す例では、広い周波数帯に亘って同定を行うことを模式的に示すためにスピーカ１０１にスイープサイン音を発生させた。実際の処理においては、周波数を固定してその周波数でのフィルタ係数を求め、その係数をフィルタ係数メモリ７７に保存した後に、次の周波数を同定する、というように、順次同定してもよい。

また、以上の同定処理において、フィルタの同定を１つの周波数に対して複数回行い、平均化処理を行うことで、ばらつきを低減出来る。さらに、平均化を行うと同時にコヒーレンスを計算しておき、コヒーレンスが低下した場合は同定をやり直すか、又は今回の同定結果をフィルタ係数メモリ７７に反映しないなどの処理を行ってもよい。

フィルタ係数メモリ７７の情報を用いた音声分離は、図１５を用いて説明した実施例１と同様であるので、詳細な説明を省略する。同定した結果を用いることで、取り付けられた撮影レンズ２の状態に応じたフィルタ５４ａ，５４ｂが適用され、結果として高品位の音声信号を得ることが出来る。

本発明の一実施例である一眼レフ電子カメラの中央断面図である。図１に示す実施例の概略構成ブロック図である。本実施例の音源同定のタイミングチャート例である。本実施例の別の音源同定のタイミングチャート例である。本実施例のさらに別の音源同定のタイミングチャート例である。手ぶれ補正機構の分解斜視図である。手ぶれ補正機構のロック状態の平面図である。手ぶれ補正機構のアンロック状態の平面図である。手ぶれ補正機構のオーバードライブ状態の平面図である。手ぶれ補正機構のロック状態の部分拡大平面図である。手ぶれ補正機構のアンロック状態の部分拡大平面図である。手ぶれ補正機構のオーバードライブ状態の部分拡大平面図である。インパルス音を使った同定処理の説明図である。インパルス音以外での同定処理の説明図である。音声分離動作の説明図である。本発明の実施例２の中央断面図である。実施例２の概略構成ブロック図である。実施例２での同定処理の説明図である。

１：撮像装置本体
２：撮影レンズ
３：撮影光学系
４：光軸
５：レンズ鏡筒
６：撮像素子
７：マイク
８：回路基板
９：駆動部
１０：電気接点
１１：補正機構
１２：補正光学系
１３：クイックリターンミラー
１４：ぶれ補正検出センサ
１５：ＡＥ／ＡＦセンサ
２０：Ａ／Ｄ変換器２０
２１：画像処理回路
２２：表示装置
２３：記録処理回路
２４：記録媒体
２５：カメラシステム制御回路
２６：音声処理回路
２７：操作検出回路
２８：レンズシステム制御回路
２９ａ：焦点レンズ駆動部
２９ｂ：ブレ補正駆動部
２９ｃ：絞り駆動部
３６：保持枠
４１：可動鏡筒
４２：発光素子
４３：コイル
４４：ロックリング
４５：ロックモータ
４６：フォトインタラプタ
５１：音源
５２：音源
５３ａ，５３ｂ：ＦＦＴ処理部
５７ａ，５７ｂ：フィルタ係数演算器
７４：ＦＦＴ処理部
７６：メモリ
７７：フィルタ係数メモリ
１０１：スピーカ

Claims

撮影光学系を有する撮影レンズを着脱可能な撮像装置であって、
音声を取得する複数の音声取得手段と、
前記音声取得手段により得られた音声信号に含まれる前記撮影レンズの駆動音を低減した音声を抽出するためのフィルタにより前記音声信号を処理する音声処理手段と、前記フィルタのフィルタ係数を制御する制御手段とを有し、
前記制御手段は、前記撮影レンズが装着されたことに応じて、前記撮影レンズの所定部材に音声を発生させ、前記複数の音声取得手段により取得された前記所定部材の音声の周波数変換後の信号と、予め記憶された前記所定部材の発生する音声の周波数変換後の信号とに基づいて、前記所定部材から前記複数の音声取得手段までの伝達特性を特定し、前記制御手段は、前記所定部材から前記各音声取得手段までの伝達特性にもとづいて、前記フィルタ係数を決定することを特徴とする撮像装置。
前記音声処理手段は、前記複数の音声取得手段により得られた複数の音声信号を周波数変換し、前記周波数変換後の音声信号を前記制御手段により決定されたフィルタ係数を用いてフィルタ処理し、前記フィルタ処理後の前記複数の音声信号の周波数変換後の信号を加算し、前記加算された音声信号を逆周波数変換することを特徴とする請求項１記載の撮像装置。
前記音声処理手段は、前記複数の音声取得手段により取得された音声信号をｙ１（ｔ）、ｙ２（ｔ）とし、被写体音をｘ１（ｔ）、予め記憶された前記撮影レンズの駆動音の音声信号をｘ２（ｔ）とし、前記被写体から前記複数の音声取得手段までの伝達特性をそれぞれａ１１、ａ２１とし、前記所定部材から前記複数の音声取得手段までの伝達特性をそれぞれａ１２、ａ２２とし、下記の式において、ａ１１、ａ２１を前記複数の音声取得手段により取得された前記被写体音のインパルス音の周波数変換後の値とすることによって、

（＊は畳み込み積分を表す）
前記被写体音ｘ１（ｔ）を抽出することを特徴とする請求項１または２に記載の撮像装置。
前記所定部材は、スピーカであることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記所定部材は、前記撮影レンズの光学素子駆動部であることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記所定部材は、前記撮影レンズの手ぶれ補正機構であることを特徴とする請求項５に記載の撮像装置。
前記所定部材は、前記撮影レンズの絞り駆動部であることを特徴とする請求項５に記載の撮像装置。
前記所定部材は、前記撮影レンズの焦点レンズ駆動部であることを特徴とする請求項５に記載の撮像装置。
前記絞り駆動部は、メカニカルストッパに駆動部を衝突させることで音声を発生することを特徴とする請求項７に記載の撮像装置。
前記制御手段は、前記撮影レンズが装着され、前記音声取得手段により得られた音声のレベルが所定のレベルよりも小さくなったことに応じて、前記撮影レンズの所定部材に音声を発生させることを特徴とすることを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
撮影光学系を有する撮影レンズを交換可能な撮像装置であって、
音声を取り込むマイクと、
前記マイクの出力音声信号から記録用音声信号を生成する音声処理手段であって、前記撮影レンズで発生する音を除去するフィルタを有する音声処理手段と、
前記撮影レンズに配置されるスピーカと、
撮影の前に前記フィルタのフィルタ係数を制御する制御手段であって、前記スピーカに音を発生させ，その音を前記マイクで取り込み、前記フィルタのフィルタ係数を決定する制御手段
とを有することを特徴とする撮像装置。
前記制御手段は、前記スピーカから前記マイクまでの音の伝達関数を同定することを特徴とする請求項１１に記載の撮像装置。
前記制御手段は、前記スピーカに、スイープサイン音を発生させることを特徴とする請求項１１または１２に記載の撮像装置。
前記制御手段は、前記撮影レンズの装着に応じて、前記スピーカに音を発生させ，その音を前記マイクで取り込み、前記フィルタのフィルタ係数を決定することを特徴とする請求項１１から１３のいずれか１項に記載の撮像装置。
前記制御手段は、周囲音レベルに応じて、前記スピーカに音を発生させ，その音を前記マイクで取り込み、前記フィルタのフィルタ係数を決定することを特徴とする請求項１１ないし１４の何れか１項に記載の撮像装置。