JP5930684B2 - 情報処理装置及び方法、並びにプログラム - Google Patents

Description

本発明は、所定のセンサにより得られた信号を処理する情報処理装置に関する。

近年、カメラ等の撮像装置のデジタル化に伴い、様々なセンサが撮像装置内に搭載されている。センサの例としては、音声を取得するマイクロホン、ブレを取得するブレ検出センサ、被写体までの距離を取得する焦点検出センサなどがある。これらのセンサにおいては、安定した検出信号が得られることが望まれる。

一方で、カメラのような撮像装置においては、光学系の調整などのために一時的にセンサ信号が適切に得られない場合がある。例えば、絞込み動作に伴う駆動音によって、被写体の音声を正常に取得できない場合がある。このようにセンサ信号が適切に得られないことは、撮像装置の性能の低下や撮像された情報の品位の低下に繋がる。これらの問題を解決するために、様々な信号処理回路や撮像装置が提案されている。

例えば特許文献１には、音声信号について、参照用センサと適応フィルタを利用して雑音除去を行う撮像装置が開示されている。また、特許文献２には、音声信号について、短時間の雑音に対して近傍音声のピッチを検出し、適当に予測信号を生成して処理する方法が開示されている。

特開平０３−２９５４００号公報 特開２００８−０５３８０２号公報

しかしながら、上述の従来技術では、不適切な信号しか得られない状況が短時間発生した場合に、適切な処理を行うための部品が必要であったり特定のタイミングに負荷が集中したりする。例えば、特許文献１の方法では、適応フィルタの参照信号を取得するためのセンサが必要となる。また、特許文献２の方法では、雑音発生時にピッチ検出と予測信号の生成を行う必要があり演算負荷が集中する。

本発明の目的は、処理の負荷を分散させつつ、センサから不適切な信号しか得られない状況が短時間発生した場合でもその影響を最小限に抑える処理を実現することである。

本発明の一側面によれば、所定のセンサにより得られた信号を処理する情報処理装置であって、前記センサにより得られた過去の観測値に基づいて現在の予測値を得る予測手段と、前記センサにより得られた観測値が異常値を含んでいるか否かを判定する判定手段と、前記判定手段により前記センサにより得られた観測値が異常値を含まないと判定された場合に、前記センサから前記予測手段に順次入力される観測値に基づいて前記予測手段により順次得られる予測値の予測誤差が最小化されるように前記予測手段のフィルタ係数を順次更新する適応手段と、前記センサにより得られた現在の観測値、又は、前記予測手段で得られた予測値のいずれかを、出力信号として選択する選択手段と、前記判定手段により前記センサにより得られた観測値が異常値を含まないと判定された場合、前記センサにより得られた現在の観測値が前記出力信号として選択されるように前記選択手段を制御し、前記判定手段により前記センサにより得られた観測値が異常値を含むと判定された場合、前記適応手段による前記フィルタ係数の更新を停止し、前記予測手段に過去の予測値をフィードバック入力し、前記異常値を含む観測値に代えて、該フィードバック入力された予測値に基づいて前記予測手段で得られた予測値が前記出力信号として選択されるように、前記選択手段、前記適応手段、及び前記予測手段を制御する制御手段とを有することを特徴とする情報処理装置が提供される。

本発明によれば、処理の負荷を分散させつつ、センサから不適切な信号しか得られない状況が短時間発生した場合でもその影響を最小限に抑える処理を実現することができる。

実施形態１における信号処理部のブロック図。 実施形態１における撮像装置の外観構成を示す斜視図。 実施形態１における撮像装置の断面図。 実施形態１における撮像装置のブロック図。 実施形態１における音声処理回路のブロック図。 実施形態１における予測部及び適応部の動作を説明する図。 実施形態１における音声信号処理を説明する図。 実施形態２におけるブレ補正駆動部及びレンズシステム制御回路の構成を示すブロック図。 実施形態２における適応予測器の処理を説明する図。 実施形態３における被写体の位置、ＡＦセンサ出力、適応予測器出力を示す図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜実施形態１＞
以下、図１から図７を参照して、本発明の第１の実施形態における撮像装置について説明する。第１の実施形態では、音声信号を処理対象とし、所定のセンサとしてマイクロホンを用いた例を説明する。

図２は撮像装置の外観構成を示す斜視図、図３は撮像装置の断面図である。１は撮像装置、２は撮像装置１に装着されたレンズを示す。撮像装置１は、レリーズ釦３０、操作釦３１を有する。レンズ２は、レンズ鏡筒５、レンズ鏡筒５に収容された撮像光学系３、及び撮像光学系３を駆動する光学系駆動部９を備える。なお、４はレンズの光軸を示す。６は撮像光学系３の結像面付近に設けられる光電変換部である撮像素子である。８は撮像装置１の背面に設けられた表示装置である。１０は撮像装置１とレンズ２とをつなぐ接点である。１１はクイックリターンミラー機構、１２はＡＦセンサを含む焦点検出部である。１４は振動センサ、３３はフォーカルプレーンシャッターである。

撮像装置１はマイクロホン７を備えており、画像の取得と同時に、音声を取得／記録することができる。マイクロホン７の前面には開口部３２が設けられている。なお、本実施形態では、複数（例えば２つ）のマイクロホン７が実装され、これに対応して、図２に示されるように、それぞれのマイクロホン用の開口部３２が設けられている。

図４は、撮像装置１及びレンズ２の電気的構成を示すブロック図である。撮像装置１（カメラ）は、撮像系、画像処理系、音声処理系、記録再生系、制御系を有する。撮像系は、レンズ２内の撮像光学系３及び撮像装置１内の撮像素子６を含む。画像処理系は、Ａ／Ｄ変換器２０、画像処理回路２１を含む。音声処理系は、マイクロホン７及び音声処理回路２６を含む。また、記録再生系は、記録処理回路２３及びメモリ２４を含む。制御系は、カメラシステム制御回路２５、焦点検出部１２（ＡＦセンサ含む）、露出検出部１３（ＡＥセンサ含む）、振動センサ１４、操作検出回路２７、レンズシステム制御回路２８、レリーズ釦３０、光学系駆動部９を含む。光学系駆動部９は、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、絞り駆動部９ｃを含む。

撮像系は、物体からの光を、撮像光学系３を介して撮像素子６の撮像面に結像する光学処理系を構成する。エイミングなどの撮像予備動作中は、クイックリターンミラー機構１１に設けられたミラーを介して、焦点検出部１２にも光束の一部が導かれる。また後述するように制御系によって適切に撮像光学系が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像する。

画像処理回路２１は、Ａ／Ｄ変換器２０を介して撮像素子６から受けた撮像素子の画素数の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。

音声処理系は、マイクロホン７の信号に対して音声処理回路２６によって適切な処理を施して録音用音声信号を生成する。録音用生成信号は、動画撮影時においては、後述する記録処理部により画像とリンクして圧縮処理される。

記録処理回路２３は、メモリ２４への画像信号の出力を行うとともに、表示部２２に出力する像を生成、保存する。また、記録処理回路２３は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御回路２５は撮像の際のタイミング信号などを生成して出力する。焦点検出部１２は撮像装置のピント状態を検出する。静止画撮影においては露出検出部１３が、動画撮影においては撮像素子６の信号を処理することで被写体の輝度を検出する。レンズシステム制御回路２８はカメラシステム制御回路２５の信号に応じて適切にレンズを駆動させて光学系の調整を行う。

制御系は、外部操作に応じて撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、静止画撮影においては、カメラシステム制御回路２５は、操作検出回路２７がレリーズ釦３０の押下を検出したことに応答して、撮像素子６の駆動、画像処理回路２１の動作、記録処理回路２３の圧縮処理などを制御する。また、カメラシステム制御回路２５は、表示部２２を介して、光学ファインダー、表示装置８等に情報表示を行う情報表示装置の各セグメントの状態を制御する。

次に、制御系の光学系の調整動作について説明する。カメラシステム制御回路２５には焦点検出部１２及び露出検出部１３が接続されており、静止画撮影においてはこれらの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路２５は、電気接点１０を介してレンズシステム制御回路２８に指令を出し、レンズシステム制御回路２８は焦点レンズ駆動部９ａ及び絞り駆動部９ｃを適切に制御する。一方動画撮影においては、焦点レンズ駆動部９ａにより、焦点レンズを微動させるとともに、撮像素子６の信号を解析し、信号のコントラストから焦点位置を求める。さらに撮像素子６の信号レベルから絞り位置を求める。

また、レンズシステム制御回路２８には振動センサ１４が接続されており、静止画撮影において手ぶれ補正を行うモードでは、振動センサ１４の信号を元にブレ補正駆動部９ｂを適切に制御する。一方、動画撮影おいて手ぶれ補正を行うモードでは、静止画撮影と同様にブレ補正駆動部９ｂを駆動することも可能であるし、振動センサ１４の信号を元に撮像素子６の読み出し位置を変更する電子防振を行うことも可能である。

次に、静止画の撮像動作について説明する。撮像装置１は、レンズ２、焦点検出部１２、露出検出部１３を用いて、焦点／露出検出を行うとともに、撮像光学系３の一部を駆動させて、撮像光学系３の調整によって像を撮像素子６近傍に結像させる。さらに、適正な露光になるように絞りを動作させる。さらにユーザによる操作釦３１等の操作（ユーザ操作）に従って撮像の各種条件設定を行い、レリーズ釦３０の操作と同期させて、クイックリターンミラー機構１１及びフォーカルプレーンシャッター３３を動作させる。適当な露光制御を行った後、撮像素子６より被写体の情報を得て、メモリ２４へ記録を行う。

次に動画の撮像動作について説明する。動画の撮像に先立って、不図示のライブビュー釦（撮像素子６で取得した画像を、表示装置８にリアルタイムで表示することをライブビューと呼ぶ）を押すことにより、撮像素子６の画像が表示装置８に表示される。撮像装置１は動画撮影釦の操作と同期させて、撮像素子６より被写体の情報を設定されたフレームレートで得るとともに、マイクロホン７から音声情報を得て、これらを同期させてメモリへ記録を行う。動画撮影中において、光学系の調整が必要となった場合は、適宜、光学系駆動部９を用いて光学系の調整を行う。動画撮影釦の操作と同期させて撮像を終了する。

また、撮像装置１は動画撮影中においても、レリーズ釦３０を操作することでいつでも静止画撮影画可能である。

ここで、動画撮影などの音声記録を伴う撮像について考える。音声記録を伴う撮像においては、カメラ本体及びレンズのアクチュエータ駆動に伴う音（以下「メカ駆動音」という。）は不要な音であり雑音となる。本実施形態において雑音とは、ホワイトノイズのような背景雑音ではなくメカ駆動音を指す。

図５を用いて、音声処理回路２６の構成を詳しく説明する。図５に示されるように、音声処理回路２６は、ゲイン調整部４１、フィルタ４２、Ａ／Ｄコンバータ４３、雑音処理部４４、フィルタ４５を含む。マイクロホン７から得られた信号はゲイン調整部４１に供給される。ゲイン調整部４１はＡ／Ｄコンバータ４３のダイナミックレンジが十分に活用されるようにマイクロホン７の信号レベルを調整する。つまり、マイクロホン７の信号レベルが小さいときはゲインアップして信号を増幅し、マイクロホン７の信号レベルが大きいときはゲインを下げて飽和を防ぐ。フィルタ４２はＡ／Ｄコンバータ４３のサンプリング周波数を考慮して適切なカットオフ周波数をもつ低域通過フィルタなどで構成される。マイクロホンが特定の周波数を発する素子の近傍にある場合などは前述の低域通過フィルタに加えて適当なノッチフィルタを含む場合もある。Ａ／Ｄコンバータ４３はゲイン調整部４１及びフィルタ４２で処理された信号をデジタル変換する。

雑音処理部４４は、適応部及び予測部を含むように構成されている。（以下、本明細書では、適応部及び予測部を含む信号処理部を「適応予測器」ともいう。）雑音処理部４４の詳細については後述する。雑音処理部は、フィルタ等の他の雑音処理のための回路も同時に備えることは可能であるが、本発明の要部ではないので説明を省略する。フィルタ４５はポストフィルタであり、必要であれば適当なフィルタ処理を施すことができる。

次に、図１を用いて、適応予測器で構成されている雑音処理部４４について説明する。図１において、５１が予測部、５２が適応部を示す。５３は減算器である。５４ａは予測部入力切替スイッチ、５４ａ１，５４ａ２は予測部入力切替スイッチ５４ａにおける接点を示す。５４ｂは適応動作スイッチを示す。５４ｃは出力切替スイッチ、５４ｃ１，５４ｃ２は出力切替スイッチ５４ｃにおける接点を示す。５５は雑音処理部４４への入力端子、５６は雑音処理部４４からの出力端子、５７は単位遅延器を示す。また、u(n)、y(n)、e(n)はそれぞれ、第ｎサンプルにおける、センサ（本実施形態ではマイクロホン）の観測値、予測値、予測誤差を示している。

まず、センサからの信号が適切に得られている場合について説明する。この場合は、カメラシステム制御回路２５の制御により、予測部入力切替スイッチ５４ａは接点５４ａ１側、適応動作スイッチ５４ｂはＯＮ、出力切替スイッチ５４ｃは接点５４ｃ１側、という状態にされる。

そうすると、単位遅延器５７で単位遅延された観測値u(n-1)が、予測部入力切替スイッチ５４ａを介して、予測部５１に入力される。予測部５１は、入力された過去の観測値に基づいて現在の予測値y(n)を出力する。すなわち、予測部５１は、１サンプル前までの過去の観測値u(n-1)に基づいて現在の予測値y(n)を生成する。本明細書では、１サンプル以上前の観測値から現在の予測値を得る動作を予測動作と呼ぶ。減算器５３は、観測値u(n)と予測値y(n)との差e(n)=u(n)-y(n)（すなわち、予測誤差）を計算する。適応部５２は、その予測誤差を用いて適当な適応アルゴリズムによって予測部５１を更新する。出力切替スイッチ５４ｃは接点５４ｃ１側に接しているので、入力端子５５に入力された現在の観測値u(n)が出力信号として選択され、出力切替スイッチ５４ｃを介してそのまま出力端子５６に出力される。

このように、センサからの信号が適切に得られている場合は、入力端子５５からの信号がそのまま出力端子５６に出力されるとともに、適応部５２によって予測部５１の適応動作が行われる。本明細書では、適応部５２によって予測部５１の更新が行われることを適応動作と呼ぶ。予測部５１及び適応部５２の動作の詳細については後述する。

次に、センサからの信号が適切に得られていない場合について説明する。この場合は、カメラシステム制御回路２５の制御により、予測部入力切替スイッチ５４ａは接点５４ａ２側、適応動作スイッチ５４ｂはＯＦＦ、出力切替スイッチ５４ｃは接点５４ｃ２側に切り替えられる。

したがって、予測部入力切替スイッチ５４ａを介して、過去の予測値y(n-1)が、予測部５１にフィードバック入力される。予測部５１はフィードバック入力された過去の予測値に基づいて予測値y(n)を出力する。適応動作スイッチ５４ｂはＯＦＦなので、適応部５２及び減算器５３の動作は停止される。そして、出力切替スイッチ５４ｃは接点５４ｃ２側に接しているので、予測値y(n)が出力信号として選択され、出力端子５６に出力される。

このように、センサからの信号が適切に得られていない場合は、予測部５１で生成された予測値が出力端子５６に出力され、このとき適応部５２の動作は停止される。

本発明では、センサからの信号が適切に得られているか否か、すなわち、センサにより得られた観測値が異常値を含んでいないか否かを、カメラシステム制御回路２５が判定する必要がある。この点に関しては、センサにより得られた観測値が異常値を含む原因は撮像装置の動作（例えば、撮像光学系の駆動）に伴うものなので、カメラシステム制御回路２５はその動作のタイミングで観測値が異常値を含みうると判定することができる。

次に、図６を用いて、予測部５１と適応部５２の動作について説明する。図６（ａ）は適応動作を行っている時の予測部５１及び適応部５２を示し、図６（ｂ）は１サンプル分適切な観測値が得られなかった場合に予測動作を行う予測部５１を示している。図６では予測部５１周辺の動作に限って図示しており、図１に示したスイッチなどは省略されている。

図６において、５８は加算器を、５９はフィルタ係数を示している。図６に示すように、本実施形態の予測部５１はトランスバーサルフィルタで構成されている。適当な適応アルゴリズムを利用可能なその他の形式のフィルタ（例えばラティスフィルタ）を用いることが可能であるが、ここではトランスバーサルフィルタに限って説明を行う。

まず適応動作について説明する。図６（ａ）のように適応動作を行う場合には、図からも明らかなように、次式によって現在の予測値y(n)を得る。

ただし、Ｍはフィルタ次数であり、予測動作や適応動作を行う対象となる信号のサンプリング周波数、予測動作を行う時間等に応じて適切な数に設定される。

適応動作のためのアルゴリズム（適応アルゴリズム）は様々なものが提案されている。ここでは、ＬＭＳアルゴリズムについて説明する。このアルゴリズムは勾配法から導出されており、次式によってフィルタ係数h_nを更新する。ただし、添字nはnサンプル目のフィルタ係数であることを示している。

ただし、μはステップサイズパラメータと呼ばれる正の係数である。ＬＭＳアルゴリズムによれば、最急降下法を利用して、フィルタ係数h_nは初期値から予測誤差が最小化されるような値に近づいていく。予測誤差e(n)が十分小さくなれば（予測値y(n)が観測値u(n)の良い近似値になっていることを意味する。）、適応動作によって更新される量は小さくなる。

次に、予測動作について説明する。図６（ｂ）に示すように、予測動作を行う場合には、観測値u(n)の代わりに予測値y(n)を利用する。図６（ｂ）の例では、u(n-1)の代わりにy(n-1)を利用する。ただし、それ以前のサンプルは観測値を利用しているので、図６（ｂ）は１サンプルのみ観測値が適当に得られない場合を示している。

前述した適応動作によって予測誤差e(n)が十分小さくなっていれば、u(n-1)≒y(n-1)となるので１サンプル分予測で置き換えて再度求めた予測値y(n)も良い近似であることが期待される。次の予測ではu(n)の代わりにy(n)を利用する。これを順次繰り返していくことで、１サンプルだけでなくもう少し長い区間の予測を行うことも可能である。

ここで計算量について考える。式（１）から明らかなように、予測値計算のためには、タップ数分の積和が必要なだけである。また、式（２）から明らかなように、適応動作のためには、タップ数の２倍の乗算とタップ数分の加算が必要なだけである。このように、単位時間(各サンプル)で行う計算量は非常に少ないと言える。予測動作を行う直前にフィルタ係数h_nを求める方法も考えられるが、そのような方法に比べて本発明の方法は単位時間で処理すべき計算量が少なく、リアルタイム処理に適しているということができる。

リアルタイムで適応動作が可能なので、観測値が適切に得られている間に適応が進み、予測値y(n)は常にu(n)の良い近似になっている。観測値が適切に得られない場合には、図１で示した出力切替スイッチ５４ｃを即座に切り替えることができる。

図７を用いて、本実施形態における音声信号の処理例を説明する。図７は、上から、観測値、予測部入力切替スイッチ５４ａの切替シーケンス、適応動作スイッチ５４ｂのシーケンス、出力切替スイッチ５４ｃの切替シーケンス、及び出力信号を示している。ここでいう観測値とは、図５の雑音処理部４４への入力であり、出力信号は雑音処理部４４の出力である。

図７において、７１ａ，７１ｂは適切な観測値を示している。一方、７２は適切ではない観測値（すなわち、異常値）を示している。７３は遷移領域の観測値を示している。また、７４は予測値、７５は遷移領域の出力を示している。遷移領域については後述する。

図７は、音声記録を行っている最中に、撮像装置自体が何らかの調整動作を行った状況を示している。調整動作としては、例えば、光量調整等がある。光量調整は、例えば、動画撮影中に、撮像素子６の信号レベルが高くなってきた場合、絞り駆動部９ｃを動作させることにより行われる。また、調整動作は、被写界深度のコントロールのために、ユーザが絞りを任意の位置に移動するように指示した場合にも行われる。このとき絞り駆動部９ｃが動作することで、短時間ではあるが大きな雑音が発生する。その結果、マイクロホン７は適切に被写体からの音声信号を取得することが困難となり、観測値が適切に得られない状況が発生する。図７では７２で示した箇所で絞り駆動部９ｃが動作している。

図７での各部の動作を、時間を追って説明する。適切な観測値７１ａが得られている時間においては、適応動作が行われている。各スイッチは、カメラシステム制御回路２５により、図１と同じ状態とされ、適応部５２によって予測部５１内のフィルタ係数h_nが適応的に更新される。また、観測値７１ａがそのまま出力信号となる。

雑音が発生して適切でない観測値７２となっているときは、適応動作は停止され、予測動作が繰り返し行われる。前述したように、雑音が発生した時点においては、適応動作により予測値は観測値の良い近似となっている。このときは、予測部５１の出力が出力信号７４となる。

雑音の発生が終わると再び適切な観測値７３が得られる。本明細書では、雑音発生後に適切な観測値が得られ始めてから所定時間の領域を遷移領域と呼ぶ。遷移領域は予測値から観測値に滑らかに移行するために設けられた領域である。遷移領域では、予測値と観測値を適当にオーバーラップ加算させる。図７の遷移領域において、予測部入力切替スイッチ５４ａ及び出力切替スイッチ５４ｃのシーケンスが、なだらかに移行しているのはオーバーラップ加算を示している。遷移領域の長さは10ms程度を設定すればよい。音声信号は、微分値（＝変化）が大きいとインパルス的なノイズを感じ取り易い。そのため、遷移領域を設けて次第に観測値に移行するようにすると都合がよい。そこで、このように、遷移領域では、予測部５１の出力が次第に観測値７３となるように適当に混合され出力信号７５が生成される。

遷移領域後の適切な観測値７１ｂが得られている時間においては、再び適応動作が行われ、適応部５２によって予測部５１内のフィルタ係数h_nが適応的に更新される。また、観測値７１ｂがそのまま出力信号となる。

本実施形態によれば、予測処理の負荷を分散させつつ、不適切な信号しか得られない状況が短時間発生した場合でも適切に音声信号を予測処理することが可能な撮像装置を提供することができる。

＜実施形態２＞
以下、図８及び図９を参照して、本発明の第２の実施形態による、撮像装置について説明する。第２の実施形態では、ブレ補正信号を処理対象として、センサとしてジャイロセンサ（＝角速度センサ）を用いた例を説明する。

本実施形態に示す撮像装置の外観、機械的／電気的構成は実施形態１に示す撮像装置と同様なので説明を省略する。

図８を用いて、本実施形態の対象となるブレ補正駆動部９ｂについて説明する。図８は、ブレ補正駆動部９ｂ及びレンズシステム制御回路２８の電気的な構成を示すブロック図である。ブレ補正駆動部９ｂは、ドライバ１１５、レンズ駆動装置１１６、位置センサ１１７を含む。レンズシステム制御回路２８は、ＬＰＦ１０１（低域通過フィルタ）、Ａ／Ｄコンバータ１０２、積分器１０３、ＨＰＦ１０４（高域通過フィルタ）を含む。レンズシステム制御回路２８は更に、適応予測器１０５、判断条件記憶部１０６、振れ信号処理部１０７、目標位置処理部１０８、レンズ情報記憶部１０９、変換係数算出部１１０、追従制御部１１１、駆動部情報記憶部１１２を含む。レンズシステム制御回路２８は更に、フィルタ１１３、Ｄ／Ａコンバータ１１４、Ａ／Ｄコンバータ１１８を含む。

実施形態１で説明したように、カメラシステム制御回路２５とレンズシステム制御回路２８は適宜通信を行うことで情報のやり取りが可能である。

手ブレ補正の制御について図８を用いて説明する。撮像装置１をユーザが把持して撮影を行う際に、いわゆる手ブレが発生しうる。このブレを振動センサ１４によって検知する。本実施形態では振動センサとしてジャイロセンサを用いており、手ブレによる角速度を検知することができる。

振動センサ１４は前記の角速度信号をレンズシステム制御回路２８に送信する。角速度信号はまずＬＰＦを通過させる。これは、高周波ノイズの除去とＡ／Ｄコンバータ１０２でのエリアシング防止のためである。Ａ／Ｄコンバータ１０２では、アナログ−デジタル変換が行われ、以降の信号はデジタルデータとなる。積分器１０３は信号の積分を行い、角速度を角度に変換する。ＨＰＦ１０４は手ブレよりも十分に低い周波数の信号を遮断する。これによりジャイロセンサのドリフトの影響を低減できる。

適応予測器１０５は実施形態１と同じ構成である。すなわち図１の入力端子５５に図８のＨＰＦ１０４の出力が接続され、出力端子５６が図８の振れ信号処理部１０７の入力に接続される。適応予測器の動作については後述する。

振れ信号処理部１０７は判断条件記憶部１０６から三脚判断条件やパニング判断条件を読出し、ブレ補正の必要があるか否かを判断する。すなわち、三脚に取り付けて手ブレ補正が必要なときには、ブレ補正を停止すればよい。また、パニングが行われているときは、適当にブレ補正を制御することで、流し撮りのサポートや適当な構図変化を行うことができる。振れ信号処理部１０７は現在までの角度情報と判断条件記憶部１０６から得た情報を元にこれらの判断を行う。

ズームレンズにおいては、ブレ補正レンズの移動量と画角変化の関係（以下「敏感度」と呼ぶ。）はズームやフォーカスレンズの位置（以下「レンズ情報」と呼ぶ。）によって変化することが一般的である。そこでレンズ情報記憶部１０９から現在のレンズ情報を得る。変換係数算出部１１０は、そのレンズ情報と、ルックアップテーブルなどから、敏感度を求める。目標位置処理部１０８は敏感度を利用して振れ信号処理部１０７の出力をブレ補正レンズの移動量に変換する。

追従制御部１１１は、目標位置処理部１０８の出力をもとに当該箇所にブレ補正レンズがあるように制御を行う。図８に示した装置においては、いわゆるフィードバック制御が行われている。追従制御部１１１は、現在のレンズ位置を位置センサ１１７からＡ／Ｄコンバータ１１８を介して取得する。また、位置センサ１１７の感度や取り付けに伴うオフセットなどを、駆動部情報記憶部１１２から得る。目標位置処理部１０８の出力と現在のレンズ位置の比較と駆動部情報を利用して適当な駆動信号を生成する。例えば、いわゆるＰ制御であれば目標位置処理部１０８の出力と現在のレンズ位置の差に比例する電圧を駆動信号としてフィルタ１１３に送る。生成された駆動信号はフィルタ１１３に送られる。フィルタ１１３はいわゆる位相補償器であり、フィードバック制御系が不安定にならないように適当なフィルタ処理を施す。その後Ｄ／Ａコンバータ１１４を介してドライバ１１５に駆動信号が与えられる。ドライバ１１５は駆動信号を適当に増幅してレンズ駆動装置１１６に供給しレンズを移動させる。レンズ位置は再度、位置センサ１１７によって取得され追従制御部１１１の次の演算に利用される。

図８の例では、適応予測器１０５はＨＰＦ１０４と振れ信号処理部１０７の間に設けた。これは、角度信号を適応予測器１０５で予測する構成である。他の構成として、適応予測器１０５はＡ／Ｄコンバータ１０２から振れ信号処理部１０７の間の適当な場所に設けることが可能である。例えば、Ａ／Ｄコンバータ１０２と積分器１０３の間に設けても良い。この場合は、角速度信号を適応予測器１０５で予測する構成である。

次に、フォーカルプレーンシャッター３３の動作に伴う振動センサ１４の信号の乱れについて説明する。振動センサ１４は適当なフローティングによってメカニカルに高周波の振動が遮断されるように設置されている。しかしながら、フォーカルプレーンシャッター３３が動作したときなどには大きな高周波の振動が発生し、振動センサ１４の信号に大きな乱れが生じる場合がある。

図９を用いて、信号の乱れと適応予測器１０５の処理について説明する。図９は、上から、振動センサ１４の信号（角速度信号）、角速度信号を積分してＨＰＦ処理した信号（角度信号）、角度信号を適応予測器１０５で処理した信号（適応予測器出力信号）を示している。図８のＡ／Ｄコンバータ１０２後の信号が図９の角速度信号に対応し、図８のＨＰＦ１０４後の信号が図９の角度信号に対応する。また、図８の適応予測器１０５後の信号が図９の適応予測器出力信号に対応する。図９の縦軸は信号のレベルを、横軸は時間を示している。また、図９の横軸の時間は３つのグラフ間で揃えて表示してあり、図９を縦に貫いている破線は３つのグラフ間において同一の時刻を表している。図９の領域１２１及び領域１２３は正常に角速度信号が得られている時間領域である。領域１２２はフォーカルプレーンシャッター３３の動作によって振動センサ１４の信号に乱れが生じている時間領域である。領域１２２の時間幅は50ms程度でありうる。

図９に示すように、領域１２２の信号を積分処理した結果の角度信号は、領域１２２の部分で大きくオフセットが生じている。撮像装置１はフォーカルプレーンシャッター３３の開閉で露光時間制御を行うが、フォーカルプレーンシャッター３３の開動作によって、露光中の振動センサ１４の信号を正確に得ることができない。例えば、露光時間が1/10s（100ms）程度で撮像する場合を考えると、角度信号のオフセットのために正常なブレ補正を行うことができない。

本実施形態によれば、適応予測器１０５を用いることによってこのような問題を解決する。適応予測器１０５は、領域１２１以前の情報を用いて適応動作を行う。実施形態１で説明したように、適当な長さのフィルタと、適応のための情報を与えることで、適応予測器１０５は良い近似値を出力できるようになる。レンズシステム制御回路２８は、フォーカルプレーンシャッター３３の動作タイミングをカメラシステム制御回路２５から受け取ると、当該タイミング(領域１２２に相当)において適応予測器１０５の動作を予測動作に切り替える。さらにフォーカルプレーンシャッター３３の動作が完了し、正常な信号が得られていると期待される時間になると再び適応予測器１０５の動作を適応動作に切り替える。適応予測器１０５内の、適応動作／予測動作の切替に伴うスイッチ動作は実施形態１と同様なので説明を省略する。前述のような動作をした結果が、図９に示す適応予測器出力信号である。

適応予測器出力信号を利用することで、振動センサ１４の信号に乱れの影響を低減でき、適当なブレ補正制御を行うことができる。

本実施形態によれば、予測処理の負荷を分散させつつ、不適切な信号しか得られない状況が短時間発生した場合でも適切にブレ補正制御することが可能な撮像装置を提供することができる。

＜実施形態３＞
以下、図１０を参照して、本発明の第３の実施形態における撮像装置について説明する。第３の実施形態では、焦点検出信号を処理対象とし、センサとして焦点検出センサ（ＡＦセンサ）を用いた例を説明する。本実施形態に示す撮像装置の外観、機械的／電気的構成は実施形態１及び実施形態２に示す撮像装置と同様なので説明を省略する。

実施形態１で説明したように、撮像装置１は、ＡＦセンサを含む焦点検出部１２の信号を基に焦点レンズ駆動部９ａを動作させて、撮像素子６近傍に光学像を結像させる。

特に動体（例えばスポーツをしている被写体）を撮像する場合には、焦点検出部１２の信号を時系列的に連続的に得て、露光時の被写体位置を予測して撮像を行う。（以下「サーボＡＦ」と呼ぶ。）
予測の必要性について以下に述べる。実施形態１で説明したように、撮像装置１はレリーズ釦３０の操作と同期させて、クイックリターンミラー機構１１を動作させて撮像を行う。一方で、図３に示されるように、焦点検出部１２は、クイックリターンミラー機構１１によって偏向された光束によって焦点検出を行っている。そのため、クイックリターンミラー機構１１が撮像位置に動作すると焦点検出を行うことができない。このように、センサ（この場合はＡＦセンサ）の信号を適切に得ることができない状況が発生する。そこで、露光時に被写体像を撮像素子６上に結像させるためには、露光時の被写体位置を予測する必要がある。

サーボＡＦで取得される信号を図１０に示す。図１０の横軸は時間、縦軸は撮像素子６上に結像させるための焦点レンズ位置（合焦レンズ位置）である。図１０には、被写体の位置、ＡＦセンサ出力、適応予測器出力を示した。図１０に示したＡＦセンサ出力はサーボＡＦ中に時系列的にＡＦセンサから得られる信号である。図１０において、２０２はＡＦセンサ信号の検出誤差が大きい観測値を、２０１は２０２よりも１サンプル前の観測値を示す。２０３は２０１及び２０２から一次関数的に予測を行って得た予測値を、２０４は２０３と同じタイミングでの適応予測器出力を、２０５は２０２より数サンプル後の適応予測器出力を示す。

図１０では、合焦レンズ位置が時間とともに変化しているので、被写体が撮像者に対して近づくまたは遠ざかる状態を示している。このときＡＦセンサ出力は基本的には合焦レンズ位置を取得することができる。例えば図１０において、２０１より前の観測値は、合焦レンズ位置に対して誤差はあるが近傍の値を検出している。合焦レンズ位置の検出誤差の値が被写界深度に対して十分に小さければ、実用上はこの誤差は無視できる。

図１０の不適切な観測値２０２の周辺の信号処理について述べる。観測値２０２は、例えば何らかの原因でＡＦセンサ信号が飽和した場合などを示している。このとき、合焦レンズ位置に対して無視できない誤差をもった観測値が得られる。実用上の例としては、被写体が電車でそのヘッドライトがＡＦセンサに入射した場合などがこれにあたる。

ユーザが２０２のタイミングでレリーズ釦３０を操作し撮像動作に入った場合を考える。例えば近傍２点の観測値（観測値２０１と観測値２０２）をもとに次のタイミングの被写体位置を予測するようなアルゴリズムを考える。この場合、観測値２０１と観測値２０２を結ぶ線上に予測値２０３があると判断して計算を行う。図１０に示した予測値２０３の位置を露光時の被写体位置と判断してしまう。その結果、被写体像は撮像素子６上に結像せずいわゆるボケた画像が得られてしまう。

前述の例では、観測値２０１と観測値２０２を結ぶ線の傾きはそれ以前よりも急になっており、被写体が急に加速したように判断している。これらを考慮して高度な判断を行うことも考えられるが、判断のための条件が複雑であり、一般的には簡単ではない。

本発明では、前述したサーボＡＦの被写体位置の予測に適応予測器を用いる。すなわち、図１０に示した観測値２０２以前の情報で適応動作を行い、予測値２０３に代わって適応予測器出力２０４を用いる。

より具体的には、ＡＦセンサ出力を適応予測器の入力として、図１の入力端子５５に接続する。レリーズ釦３０の操作に伴う撮像動作以前に適応動作を行い、レリーズ釦３０の操作に応答して予測動作を行う。図１０では各サンプルで、レリーズ釦３０の操作があったと仮定して、それ以前の情報から予測した結果を順次示した。（例えば、適応予測器出力２０４は、観測値２０２以前の情報から計算されている。）適応予測器出力２０４に従って焦点レンズを制御することで、適切な被写体像を得ることができる。

図１０に示すように、適応予測器出力は合焦レンズ位置を一定の誤差内で検出できている。図１０の適応予測器出力２０５は、観測値２０２の影響を受けて合焦レンズ位置から一定の誤差があるが、前述した予測値２０３よりも大幅に改善されていることが分かる。

本実施形態によれば、サーボＡＦを行う場合に、適切に合焦レンズ位置を得ることが可能な撮像装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本実施形態では、撮像装置を例に挙げて説明したが、所定のセンサの出力を処理する装置であればどのような装置であってもよい。例えば、コンピュータなどの一般的な情報処理装置であってもよいし、携帯電話、工業用機械、自動車、ゲーム機などであってもよい。例えば自動車では、センサとしてジャイロセンサ、方角検出センサ、温度センサ等の様々な出力を処理する場合に、本発明を適用可能である。同様に、携帯電話やゲーム機においても、回転角、回転方向、移動方向などを検出する加速度検出センサの出力を処理する場合に、本発明を適用可能である。

＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵなど）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (9)

1. 所定のセンサにより得られた信号を処理する情報処理装置であって、
   前記センサにより得られた過去の観測値に基づいて現在の予測値を得る予測手段と、
   前記センサにより得られた観測値が異常値を含んでいるか否かを判定する判定手段と、
   前記判定手段により前記センサにより得られた観測値が異常値を含まないと判定された場合に、前記センサから前記予測手段に順次入力される観測値に基づいて前記予測手段により順次得られる予測値の予測誤差が最小化されるように前記予測手段のフィルタ係数を順次更新する適応手段と、
   前記センサにより得られた現在の観測値、又は、前記予測手段で得られた予測値のいずれかを、出力信号として選択する選択手段と、
   前記判定手段により前記センサにより得られた観測値が異常値を含まないと判定された場合、前記センサにより得られた現在の観測値が前記出力信号として選択されるように前記選択手段を制御し、
   前記判定手段により前記センサにより得られた観測値が異常値を含むと判定された場合、前記適応手段による前記フィルタ係数の更新を停止し、前記予測手段に過去の予測値をフィードバック入力し、前記異常値を含む観測値に代えて、該フィードバック入力された予測値に基づいて前記予測手段で得られた予測値が前記出力信号として選択されるように、前記選択手段、前記適応手段、及び前記予測手段を制御する制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記センサはマイクロホンであることを特徴とする請求項１に記載の情報処理装置。
3. 前記センサは、撮像装置のブレを検出するための振動センサであることを特徴とする請求項１に記載の情報処理装置。
4. 前記センサは、撮像装置におけるピント状態を検出するための焦点検出センサであることを特徴とする請求項１に記載の情報処理装置。
5. 前記判定手段は、ユーザ操作に応答してアクチュエータが駆動した場合に、前記センサにより得られた観測値が異常値を含んでいると判定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記判定手段は、前記撮像装置における撮像光学系が駆動した場合に、前記センサにより得られた観測値が異常値を含んでいると判定することを特徴とする請求項３又は４に記載の情報処理装置。
7. 前記判定手段は、前記撮像装置の調整動作が行われた場合に、前記センサにより得られた観測値が異常値を含んでいると判定することを特徴とする請求項３又は４に記載の情報処理装置。
8. 所定のセンサにより得られた信号を処理する情報処理装置の制御方法であって、
   予測手段が、前記センサにより得られた過去の観測値に基づいて現在の予測値を得る予測ステップと、
   判定手段が、前記センサにより得られた観測値が異常値を含んでいるか否かを判定する判定ステップと、
   適応手段が、前記判定ステップにおいて前記センサにより得られた観測値が異常値を含まないと判定された場合に、前記センサから前記予測手段に順次入力される観測値に基づいて前記予測手段により順次得られる予測値の予測誤差が最小化されるように前記予測手段のフィルタ係数を順次更新する適応ステップと、
   選択手段が、前記センサにより得られた現在の観測値、又は、前記予測ステップで得られた予測値のいずれかを、出力信号として選択する選択ステップと、
   制御手段が、
   前記判定ステップで前記センサにより得られた観測値が異常値を含まないと判定された場合、前記センサにより得られた現在の観測値が前記出力信号として選択されるように前記選択手段を制御し、
   前記判定ステップで前記センサにより得られた観測値が異常値を含むと判定された場合、前記適応手段による前記フィルタ係数の更新を停止し、前記予測手段に過去の予測値をフィードバック入力し、前記異常値を含む観測値に代えて、該フィードバック入力された予測値に基づいて前記予測手段で得られた予測値が前記出力信号として選択されるように、前記選択手段、前記適応手段、及び前記予測手段を制御する制御ステップと、
   を有することを特徴とする情報処理装置の制御方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載の情報処理装置における各手段として機能させるためのプログラム。

Images