JP7292145B2 - 回転半径演算装置および回転半径演算方法 - Google Patents

Description

本発明は、動体の回転半径演算装置および回転半径演算方法に関する。

カメラの手ぶれには６軸方向（Yaw、Pitch、Roll、ｘ、ｙ、ｚ）の成分が存在する。ここで、ｘ、ｙ、ｚ軸はｘｙ平面が撮像面に平行で、ｚ軸が撮像面に直交する直交座標系を形成し、ｘ軸周りの回転方向がPitch、ｙ軸周りの回転方向がYaw、ｚ軸周りの回転方向がRollである。そして、PitchおよびYaw方向のぶれを角度ぶれ、Roll方向のぶれを回転ぶれ、ｘ、ｙ、ｚ軸方向のぶれを平行ぶれもしくはシフトぶれと呼ぶ。

角度ぶれの量はジャイロセンサのような角速度センサを用いて検出することができる。また、平行ぶれの量は加速度センサを用いて検出することができる。しかしながら、加速度センサを用いた平行ぶれの検出精度は外乱の影響を受けやすく、また重力成分による検出誤差などがある。そのため、加速度センサと角速度センサを併用して平行ぶれの検出精度を高める提案がなされている（特許文献１）。

特開２０１２－８８４６６号公報

特許文献１では平行ぶれを回転運動の成分と見なして平行ぶれ量を算出する構成において、異なる周波数に対する回転半径を平均した回転半径を用いることにより、回転半径の精度を高めている。しかしながら、回転半径の精度には依然として改善の余地があった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、平行ぶれを回転運動の成分と見なして平行ぶれ量を算出する回転半径演算装置および回転半径演算方法において、回転半径の精度を一層向上させることを目的とする。

上述の目的は、撮像素子の第１の方向の平行ぶれ量を表す第２の方向の回転運動の回転半径を算出する算出手段と、撮像素子から得られる画像信号を用いて、算出手段が算出した回転半径の精度を判定する判定手段と、判定手段による判定結果に基づいて算出手段が算出した回転半径を修正する修正手段と、とを有することを特徴とする回転半径演算装置によって達成される。

本発明によれば、平行ぶれを回転運動の成分と見なして平行ぶれ量を算出する回転半径演算装置および回転半径演算方法において、回転半径の精度を一層向上させることができる。

実施形態に係る回転半径演算装置を有するカメラの構成例に関する図 実施形態に係る回転半径の算出方法を実施するカメラ制御部の機能構成例を示すブロック図 回転ぶれの大きさに関して説明するための模式図 実施形態における回転半径の評価動作に関する模式図 実施形態における回転半径の評価動作に関する模式図 実施形態に係る回転半径算出方法に関するフローチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下では、本発明に係る回転半径演算装置または回転半径演算方法をレンズ交換式のデジタルカメラに適用した実施形態について説明する。しかし、本発明は撮像機能を有する任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

図１は、実施形態に係るレンズ交換式デジタルカメラ（以下、単にカメラと呼ぶ）２０００の構成例を示す図である。図１（ａ）は光軸を含む垂直断面の構成例を示す図、図１（ｂ）は機能構成例を示すブロック図である。

カメラ２０００は着脱可能なレンズ２と、本体１とから構成されている。レンズ２と本体１は電気接点１１を介して電気的に接続される。電気接点１１は、本体１からレンズ２への電源供給や、本体１とレンズ２との通信に用いられる。

レンズ２の光学系３はフォーカスレンズ７、絞り１０、補正レンズ９などの可動レンズを有している。可動レンズはそれぞれ、アクチュエータやモータなどを含むレンズ駆動回路１３によって駆動される。

レンズ２は撮像素子６の撮像面に光学像を形成する。撮像素子６は例えばＣＭＯＳイメージセンサであり、複数の画素が２次元配置された画素アレイを有している。各画素はマイクロレンズと光電変換部を有する。撮像素子６は、撮像面に形成された光学像を複数の画素で電気信号群（画像信号）に変換して出力する。

本実施形態においては、図１（ａ）に示すように、ｘｙ平面が撮像面に平行で、ｚ軸がレンズ２の光学系３の光軸４に平行であり、ｘ軸とｙ軸が撮像素子６の各辺に平行な直交座標系を形成するｘ、ｙ、ｚ軸を規定する。なお、便宜上、図では座標系の原点をカメラ２０００の外部に記載しているが、実際には撮像素子６の中心（一般には光軸４との交点）を原点とする。

カメラ制御部５は例えばＣＰＵであり、ＲＯＭ２０に記憶されたプログラムをＲＡＭ２１に読み込んでＣＰＵによって実行することにより、本体１およびレンズ２の動作を制御し、カメラ２０００の機能を実現する。カメラ制御部５は撮像素子６が出力する画像信号に対して画像処理を適用して表示用および記録用の画像データ（静止画データおよび動画データ）を生成する。また、カメラ制御部５は生成した画像データから自動焦点検出（ＡＦ）や自動露出制御（ＡＥ）に用いる評価値を生成し、ＡＦおよびＡＥを実行する。カメラ制御部５は、レンズ制御部１２を通じてレンズ２のフォーカスレンズや絞りを駆動して、レンズ２の合焦位置や絞り値を制御する。また、カメラ制御部５はシャッタ駆動回路１８を通じてシャッタ１７の開閉を制御する。シャッタ１７はメカニカルシャッタである。

カメラ制御部５はこれ以外にも、画像データの符号化および復号、画像間での動きベクトル検出や被写体追尾、顔などの特徴領域の検出など、公知の様々な処理を実施することができる。

操作部８、ユーザがカメラ２０００に指示を入力するためのスイッチ、ボタン、キー、タッチパネルなどの入力デバイス群の総称である。操作部８の操作はカメラ制御部５が検知し、カメラ制御部５は検出した操作に応じた動作を実現するために各部を制御する。例えば、レリーズボタン、電源スイッチ、動画撮影ボタン、モードダイヤル、方向キー、決定ボタン、メニューボタンなどが操作部８に含まれうるが、これらに限定されない。

ＲＯＭ２０は例えば書き換え可能な不揮発性メモリであり、カメラ制御部５のＣＰＵが実行可能なプログラム、設定値、ＧＵＩデータなどを記憶する。ＲＡＭ２１は、カメラ制御部５のＣＰＵが実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられる。ＲＡＭ２３はまた、カメラ制御部５が処理する画像データを一時的に保存するためのバッファメモリとしても用いられる。さらに、ＲＡＭ２３の一部は、表示用の画像データを記憶するビデオメモリとしても用いられる。

加速度検出回路１６は、ｘ軸方向、ｙ軸方向、およびｚ軸方向の加速度をそれぞれ検出する加速度センサを有する。加速度検出回路１６は各方向の加速度に応じた値を有する電気信号（加速度信号）をカメラ制御部５に出力する。

角速度検出回路１５は、ｘ軸周り(Pitch)、ｙ軸周り(Yaw)、およびｚ軸周り(Roll)の各方向の角速度を検出する角速度センサ（ジャイロセンサ）を有する。角速度検出回路１５は各方向の角速度に応じた値を有する電気信号（角速度信号）をカメラ制御部５に出力する。

カメラ制御部５は、角速度検出回路１５から供給される角速度信号および加速度検出回路１６から供給される加速度信号に基づいて、カメラの動きによる撮像画像のぶれを抑制するためのぶれ補正量を求める。カメラ制御部５は、ぶれ補正量をぶれ補正回路１４およびレンズ制御部１２に出力する。

本実施形態において、撮像素子６は、ｘ軸方向、ｙ軸方向、およびｚ軸周り(Roll)方向のそれぞれについて、基準位置を中心とした所定の範囲で移動可能に支持されている。また、補正レンズ９は、ｘ軸方向およびｙ軸方向のそれぞれについて、基準位置を中心とした所定の範囲で移動可能に支持されている。

撮像素子６の位置はぶれ補正回路１４が、カメラ制御部５から受け取ったぶれ補正量に基づいて制御する。また、補正レンズ９の位置は、レンズ駆動回路１３が、レンズ制御部１２を通じてカメラ制御部５から受け取ったぶれ補正量に基づいて制御する。

このように、本実施形態のカメラ２０００は、撮像素子６および補正レンズ９の位置を制御することにより手ぶれを補正する光学式手ぶれ補正機能を有する。なお、撮像素子６と補正レンズ９の一方の位置が固定され、他方の位置を制御することにより手ぶれを補正する構成であってもよい。また、撮像素子６および補正レンズ９の位置を制御せずに、撮像素子６から画像信号を読み出す範囲を移動させて手ぶれを補正する構成（電子式手ぶれ補正）であってもよい。あるいは、光学式手ぶれ補正と電子式手ぶれ補正を併用する構成であってもよい。

図２は、カメラ２０００のｘ軸方向における平行ぶれ量の算出を行う、回転半径演算装置としてのカメラ制御部５の機能構成を、関連する他の機能ブロックとともに示した図である。この場合、カメラ制御部５は、ｘ軸方向の平行ぶれをｚ軸周りの回転運動の成分と見なし、角速度検出回路１５で検出されるｚ軸周り(Roll)方向の角速度と、加速度検出回路１６で検出されるｘ軸方向の加速度とを用いて回転運動の回転半径を算出する。

角速度検出回路１５が出力する角速度信号ωはハイパスフィルタ（ＨＰＦ）１００に入力される。また、加速度検出回路１６が出力する加速度信号ａはＨＰＦ１０１に入力される。ＨＰＦ１００および１０１は低周波数のノイズ成分を除去するために用いられる。ＨＰＦ１００および１０１のカットオフ周波数はノイズ成分の周波数に応じて定めることができ、例えば０．１Ｈｚ程度であってよい。

ＨＰＦ１０１が出力する加速度信号ａは積分器１０２で積分され、速度信号Ｖに変換される。ＨＰＦ１００のする角速度信号ωはバンドパスフィルと（ＢＰＦ）１０３に入力される。また、積分器１０２が出力する速度信号ＶはＢＰＦ１０４に入力される。ＢＰＦ１０３および１０４は平行ぶれの周波数帯域を抽出するために用いられる。したがって、ＢＰＦ１０３および１０４の通過帯域は平行ぶれの周波数帯域に応じて定めることができ、例えば０．１～１Ｈｚ程度であってよい。

ＢＰＦ１０３が出力する角速度信号ωとＢＰＦ１０４が出力する速度信号Ｖの両方は、初期値演算器１０５と相関係数演算器１５０にそれぞれ入力される。
初期値演算器１０５は、ＢＰＦ１０３が出力する角速度信号ωと、ＢＰＦ１０４が出力する速度信号Ｖの比Ｖ／ωを回転半径ｒの初期値（初期回転半径ｒ０）として求める（ｒ＝Ｖ／ω）。この回転半径ｒは、平行ぶれを回転運動と見なした場合の回転中心から撮像素子６までの距離に相当する。なお、実際には角速度検出回路１５および加速度検出回路１６は撮像素子６の角速度および加速度を検出していない。しかし、角速度検出回路１５および加速度検出回路１６を撮像素子６の近傍に配置することで、角速度検出回路１５および加速度検出回路１６で撮像素子６の角速度および加速度を検出していると見なすことができる。相関係数演算器１５０はＢＰＦ１０３が出力する角速度信号ωとＢＰＦ１０４が出力する速度信号Ｖとの相関係数を演算する。

初期値選択部１０６は相関係数演算器１５０が出力する相関係数に応じて、初期値演算器１０５が出力する回転半径および回転半径記録部１１３の出力する回転半径のいずれかをスイッチ１１４に出力する。具体的には、初期値選択部１０６は相関係数演算器１５０の出力する相関係数の絶対値が、高い相関を表す閾値（例えば０．７）以上の場合には初期値演算器１０５の出力する回転半径を出力する。一方、相関係数が閾値未満であれば初期値選択部１０６は回転半径記録部１１３の出力する回転半径を出力する。

積分器１０７は角速度検出回路１５が出力する角速度信号ωを積分して角度θを求める。角度θは積分期間における角度ぶれの大きさに相当する。積分器１０７は角度θを平行ぶれ演算器１０９に出力する。

像倍率取得部１０８は像倍率を取得して平行ぶれ演算器１０９および１１５に出力する。ここで、像倍率は被写体の実サイズと撮像素子６（撮像面）上の被写体像のサイズとの比である。像倍率取得部１０８は現在の被写体距離（合焦距離）とレンズ２の焦点距離とをレンズ制御部１２から取得する。そして、像倍率取得部１０８は装着されているレンズ２について例えばＲＯＭ２０に予め記憶されているテーブルを参照して、現在の被写体距離と焦点距離に対応した像倍率を取得する。レンズ２が単焦点レンズであれば、現在の被写体距離から像倍率を取得できる。なお、像倍率は他の方法によって取得してもよい。

スイッチ１１４は、初期値選択部１０６が出力する回転半径と回転半径演算器１１２の出力する回転半径の一方を平行ぶれ演算器１０９に供給する。スイッチ１１４は、ぶれ補正量の１回目の演算時には初期値選択部１０６の出力する回転半径を、２回目以降の演算時には回転半径演算器１１２の出力する回転半径を、平行ぶれ演算器１０９に供給する。

平行ぶれ演算器１０９は、像倍率取得部１０８の出力する像倍率と、積分器１０７の出力する角度と、スイッチ１１４の出力する回転半径とを乗じる。乗算により、ｚ軸周りの回転運動におけるｘ軸方向成分としてのｘ軸方向の平行ぶれ量が得られる。平行ぶれ演算器１０９は、得られた平行ぶれ量を平行ぶれ画像生成器１１０に出力する。平行ぶれ演算器１０９はスイッチ１１４が出力する回転半径も平行ぶれ画像生成器１１０に出力する。

画像取得部１１７は、撮像素子６を用いて露光時間が異なる２つの画像信号を取得し、露光時間が長い方の第１の画像信号を比較器１１１に出力し、露光時間が短い方の第２の画像信号を平行ぶれ画像生成器１１０に出力する。なお、第１および第２の画像信号に対して角度ぶれ補正が行われていない場合、画像取得部１１７は少なくとも第１の画像信号について角度ぶれを補正してから比較器１１１に出力する。これは、第１の画像信号を実際の平行ぶれを表す参照画像信号として利用するため、角度ぶれの成分が少ない方がよいためである。画像取得部１１７は、例えば積分器１０７の出力する角度θに基づく角度ぶれに相当する点拡がり関数（ＰＳＦ：Point Spread Function）を公知の方法で生成し、ＰＳＦを画像信号に逆畳み込み積分（デコンボリューション）することにより角度ぶれを補正することができる。

また、第１および第２の画像信号に対して回転ぶれ（ｚ軸周りの角度ぶれ）が補正されていない場合、画像取得部１１７は画像信号のうち、光軸からの距離が小さい中心領域に対応する画像信号を抽出して出力する。これは、光軸に近い領域のほうが回転ぶれの影響が小さいためである。図３は画像における回転ぶれの影響の大きさを模式的に示した図である。図３（ａ）はぶれの影響がない状態を、図３（ｂ）は回転ぶれの影響を受けている状態を示している。図３（ｂ）から明らかなように、回転ぶれの影響は、画像の中心（画像と光軸との交点）からの距離が大きいほど大きくなる。

なお、第１の画像信号と第２の画像信号とは取得タイミングが異なるため、画素数が異なる場合がある。この場合、画像取得部１１７は、少なくとも一方の画像信号について解像度の変換処理を適用し、画素数を揃える。なお、第１の画像信号は連続して撮影された複数の画像信号を加算することにより実質的に露光時間を長くした画像信号であってもよい。

可能であれば、角速度検出回路１５が角速度を検出するタイミングと、第１の画像信号の撮影タイミングとを同じにする。角速度検出回路１５が角速度を検出するタイミングと第１の画像信号の撮影タイミングとが異なる場合であっても、回転半径の１算出周期内に角速度と第１の画像信号とを取得する。

また、画像取得部１１７は、第１および第２の画像信号を、両者の撮影範囲に共通する特徴点が少なくとも１つ存在する期間内に取得する。換言すれば、同一被写体が第１および第２の画像信号に含まれるように第１および第２の画像信号を取得する。特徴点は例えばブロックマッチングなど公知の方法により探索が可能な画像パターンであってよい。

平行ぶれ画像生成器１１０は、平行ぶれ演算器１０９が算出した平行ぶれ量に基づく点拡がり関数（ＰＳＦ）を公知の方法で作成する。さらに、平行ぶれ画像生成器１１０は、第２の画像信号にＰＳＦを畳み込み積分することにより、第２の画像信号に平行ぶれの効果を付加した平行ぶれ画像信号を生成し、比較器１１１に出力する。この平行ぶれ画像は、回転半径演算装置としてのカメラ制御部５が算出した回転半径に基づく平行ぶれを表す画像である。また、平行ぶれ画像生成器１１０は平行ぶれ演算器１０９が出力する回転半径も比較器１１１に出力する。

図４は、第１および第２の画像信号と、平行ぶれ画像生成器１１０が生成する平行ぶれ画像信号とを模式的に示した図である。
図４（ａ）は第２の画像信号、図４（ｂ）は第２の画像信号より露光時間の長い第１の画像信号である。図４（ｃ）は、平行ぶれ演算器１０９が出力する平行ぶれを位置の経時変化として示している。平行ぶれを位置の経時変化に変換する場合、初期位置が０となるようにする。図４（ｄ）は、図４（ｃ）に示した平行ぶれを基に作成したＰＳＦを示している。図４（ｅ）は、図４（ａ）に示す第２の画像信号に対して図４（ｄ）のＰＳＦを畳み込み積分することにより生成された平行ぶれ画像信号を示す。

比較器１１１は、画像取得部１１７が出力する第１の画像信号（図４（ｂ））と、平行ぶれ画像生成器１１０が出力する平行ぶれ画像信号とを比較する。比較器１１１は、第１の画像信号と平行ぶれ画像信号との類似度の指標として、例えば画像信号間の距離（ノルム）を算出する。距離は例えば２つの画像信号における対応する画素信号の差分の累計値であってよい。距離が小さいほど、平行ぶれ演算器１０９が算出する平行ぶれ量の精度が高いこと、ひいては平行ぶれ演算器１０９が用いた回転半径の精度が高いことを示す。

比較器１１１は距離が０に近い（予め定められた閾値未満である）場合、平行ぶれ画像生成器１１０が出力した回転半径を平行ぶれ演算器１１５と補正記録部１１３に出力し、回転半径演算器１１２にはなにも出力しない。一方、距離が０に近くない（予め定められた閾値以上である）場合、比較器１１１は算出した距離と、平行ぶれ画像生成器１１０が出力した回転半径とを回転半径演算器１１２に出力し、平行ぶれ演算器１１５と補正記録部１１３にはなにも出力しない。

これにより、実際のぶれ補正に用いるぶれ量を算出する平行ぶれ演算器１１５で用いたり、補正記録部１１３に記録したりする回転半径を精度の高いものに限定する。一方、精度が高くない回転半径については、距離とともに、回転半径演算器１１２における回転半径の修正に用いる。

回転半径記録部１１３は入力された回転半径を記録する。また、回転半径記録部１１３は、最後に記録された回転半径を初期値選択部１０６に出力する。回転半径記録部１１３は、記録された回転半径のうち頻度が最も高い回転半径を初期値選択部１０６に出力してもよい。

回転半径演算器１１２は、比較器１１１から入力された距離と回転半径とを記録する。そして、回転半径演算器１１２は、直近に入力された距離と回転半径と、それより前（例えば１つ前）に入力された距離と回転半径との関係から、距離が最小となるような回転半径を演算する。回転半径演算器１１２は、最適化アルゴリズムを用いて、距離が最小となるような回転半径を演算することができる。使用可能な最適化アルゴリズムには、例えば焼きなまし法、二分法、黄金比分割探索法、フィボナッチ探索法などがある。回転半径演算器１１２は、演算した回転半径をスイッチ１１４に出力する。

なお、ここでは比較器１１１において２つの画像信号の類似度として距離を算出したが、距離以外の指標を類似度として算出してもよい。例えば、２つの画像信号に共通する特徴点間の正規化相互相関や差分二乗和、差分絶対値和などを、２つの画像信号の類似度の指標として算出してもよい。この場合も、回転半径演算器１１２は、類似度が最も高くなるように回転半径を最適化（修正）する。

信頼度判定回路１１６は、第１および第２の画像信号の撮影条件に応じた信頼度係数を算出し、平行ぶれ演算器１１５に出力する。信頼度判定回路１１６で算出する信頼度係数は、信頼度が高いと１に近い値もしくは１、低いと０に近い値もしくは０とする。信頼度判定回路１１６は、第１の像倍率よりも高い第２の像倍率に対する信頼度係数が、第１の像倍率に対する信頼度係数が大きくなるようにする。また、信頼度判定回路１１６は、撮影時の光学系３の焦点距離が第１の焦点距離より短い第２の焦点距離に対する信頼度係数が、第１の焦点距離に対する信頼度係数よりも大きくなるようにする。これらは例示であり、他の撮影条件を考慮して信頼度係数を算出することができる。

平行ぶれ演算器１１５は、比較器１１１が出力する回転半径と、像倍率取得部１０８が出力する像倍率と、積分器１０７が出力する角度と、信頼度判定回路１１６が出力する信頼度係数とを乗じる。乗算結果は、平行ぶれの補正に用いられる平行ぶれ量に相当する。平行ぶれ演算器１１５は、算出した平行ぶれ量をレンズ制御部１２とぶれ補正回路１４とに出力する。

このように、本実施形態では検出した角速度および加速度に基づいて算出した平行ぶれが実際の平行ぶれを精度よく推定しているか否かを判定し、精度が高いと判定されない場合には回転半径を最適化するようにした。この最適化は、実際の平行ぶれに基づく回転半径の学習と言うこともできる。したがって、図２において、２００で示す部分は従前の回転半径算出を行うブロックであり、２０１で示す部分は、回転半径の学習（最適化）を行うブロックに相当する。

図５は、露光時間が長い画像信号（第１の画像信号）と、平行ぶれ画像生成器１１０が生成した平行ぶれ画像信号とが表す画像の例を模式的に示している。
図５（ａ）は第１の画像信号が表す画像の例、図５（ｂ）～（ｄ）はそれぞれ平行ぶれ画像生成器１１０が生成した平行ぶれ画像信号が表す画像の例であり、平行ぶれ画像の生成に用いた回転半径の大きさが異なっている。

図５（ｂ）は算出された回転半径が実際より小さい場合の例である。この場合、平行ぶれ画像信号に現れる平行ぶれは第１の画像信号に現れる平行ぶれよりも小さくなる。図５（ｃ）は算出された回転半径が実際より大きい場合の例である。この場合、平行ぶれ画像信号に現れる平行ぶれは第１の画像信号に現れる平行ぶれよりも大きくなる。

図５（ｄ）は算出された回転半径が実際と同程度の場合である。この場合、平行ぶれ画像信号に現れる平行ぶれは第１の画像信号に現れる平行ぶれと同程度になる。したがって、図５（ｂ）～（ｄ）の平行ぶれ画像信号のうち、比較器１１１で算出される距離が最小なのは図５（ｄ）の平行ぶれ画像である。例えば比較器１１１は図５（ｄ）の平行ぶれ画像が与えられた場合には距離が閾値未満、図５（ｂ）または図５（ｃ）の平行ぶれ画像が与えられた場合には距離が閾値以上と判定する。

図２では、カメラ制御部５で回転半径を算出する構成を示した。しかし、回転半径の算出はレンズ制御部１２で行ってもよい。レンズ制御部１２で回転半径を算出する場合、算出に必要な信号（第１および第２の画像信号）や情報（像倍率、撮影条件など）はカメラ制御部５から、あるいは他の手段を通じてレンズ制御部１２に供給する。ただし、角速度および加速度はレンズ２で検出してもよい。

回転半径の学習は任意のタイミングで実行できるが、例えばユーザがカメラ２０００で静止画の撮影直前に行う可能性が高い、特定の動作が検出されたことに応じて実行することで、実際の撮影時に生じる平行ぶれを効率よく学習可能であると考えられる。例えば、撮影準備指示の入力動作（レリーズボタンの半押し）や、本体１のファインダーを覗く動作は、ユーザが静止画撮影前に行う可能性の高い動作と考えられる。また、角速度検出回路１５により検出される角速度から、カメラ２０００が手持ち状態であると判定される場合にも、カメラ制御部５はユーザが静止画撮影の準備をしていると判定することができる。このように、予め定められた、ユーザが静止画を撮影しようとしている状態であると判定可能な条件の１つ以上が満たされた場合に、カメラ制御部５は回転半径の学習を行うことができる。静止画撮影の準備をしている状態を、本明細書ではエーミング状態と呼ぶ。

カメラ制御部５は、エーミング状態であることが検出されると、図６のフローチャートに示す動作を開始する。なお、角度ぶれを補正する動作は並行して実行されるものとする。また、検出したぶれ量に応じた、ぶれ補正回路１４による撮像素子の位置制御と、レンズ駆動回路１３による補正レンズ９の駆動も開始される。

Ｓ４９８でカメラ制御部５は角速度検出回路１５からの角速度信号の受信を開始する。また、カメラ制御部５は、加速度検出回路１６からの加速度信号の受信を開始する。また、Ｓ４９８と並行してＳ４９９でカメラ制御部５（画像取得部１１７）は第１の画像信号を取得する。なお、画像取得部１１７は、第１の画像信号用の撮影条件に従って撮像素子６で撮影を行って第１の画像信号を取得することができる。あるいは、画像処理部１１７は、撮影スタンバイ状態で撮影される表示用画像（スルー画像）の連続する２以上のフレームを加算することにより第１の画像信号を取得してもよい。

Ｓ５００でカメラ制御部５（画像取得部１１７）は第２の画像信号を取得する。なお、画像取得部１１７は、第２の画像信号用の撮影条件に従って撮像素子６で撮影を行って第２の画像信号を取得することができる。あるいは、画像処理部１１７は、撮影スタンバイ状態で撮影される表示用画像（スルー画像）の１フレームを第２の画像信号として取得してもよい。なお、第２の画像信号の取得（Ｓ５００）は、後述する比較処理（Ｓ５０４）の前であれば任意のタイミングで実施可能であり、Ｓ４９８とＳ４９９の一方または両方より前に実施してもよい。

Ｓ５０１でカメラ制御部５は回転半径の初期値を算出する。この処理はブロック２００における初期回転半径ｒ０および相関係数の算出、初期値選択部１０６における初期値の選択に相当する。

Ｓ５０２でカメラ制御部５（平行ぶれ演算器１０９）は、平行ぶれ量を算出する。
Ｓ５０３でカメラ制御部５（平行ぶれ画像生成器１１０）は、平行ぶれ画像信号を生成する。
Ｓ５０４でカメラ制御部５（比較器１１１）は、第１の画像信号と平行ぶれ画像信号とを比較する。

Ｓ５０５でカメラ制御部５（比較器１１１）は、第１の画像信号と平行ぶれ画像信号との類似度が高いか否かを判定し、高いと判定されればＳ５０７へ、判定されなければＳ５０６へ、それぞれ処理を進める。例えば比較器１１１は第１の画像信号と平行ぶれ画像信号との距離を算出し、距離が閾値未満であれば第１の画像信号と平行ぶれ画像信号との類似度が高いと判定することができる。

Ｓ５０６でカメラ制御部５（補正係数演算器１１２）は第１の画像信号と平行ぶれ画像信号との類似度が高くなるように回転半径を最適化（修正）する。
Ｓ５０７でカメラ制御部５は撮影指示の入力動作（例えばレリーズボタンの全押し）が検出されているか否かを確認し、検出されていれば処理をＳ５０８に進める。また、撮影指示が検出されていなければ処理をＳ５０２に戻し、最適化した回転半径の精度について再度評価する。

Ｓ５０８でカメラ制御部５は、ぶれ補正に用いる平行ぶれ量を算出するための回転半径を確定する。カメラ制御部５は、精度が低くない限りはＳ５０６で演算した回転半径を用いることを確定する。ただし、最適化後の評価が行われていない場合や、Ｓ５０５の最初の実行時に類似度が高いと判定された場合、カメラ制御部５はＳ５０１で算出（選択）した回転半径を用いることを確定する。

なお、本実施形態では説明および理解を容易にするため、カメラ２０００のｘ軸方向の平行ぶれ量の算出に用いる回転半径の算出方法についてのみ説明した。しかし、ｙ軸方向およびｚ軸方向についても同様に回転半径を算出できる。例えば、ｙ軸方向の平行ぶれ量の算出に用いる回転半径は、ｘ軸周りの角速度あるいはｚ軸周りの角速度とｙ軸方向の加速度とを用いればよい。また、ｚ軸方向の平行ぶれの算出に用いる回転半径は、ｘ軸周りの角速度あるいはｙ軸周りの角速度とｚ軸方向の加速度とを用いればよい。

以上説明したように、本実施形態に係る回転半径演算装置は、第１の方向の平行ぶれを第２の方向の回転運動の成分とみなし、回転運動の回転半径を第２の方向の角速度と第１の方向の加速度とに基づいて算出する。そして、本実施形態に係る回転半径演算装置は、算出した回転半径を実際の回転半径に基づいて評価し、必要に応じて回転半径を最適化するようにしたので、精度が高い回転半径を得ることができる。

（その他の実施形態）
上述の実施形態では、カメラの角速度を角速度センサで検出し、加速度を加速度センサで検出する構成を説明した。しかし、他の方法を用いてカメラの角速度および加速度を検出してもよい。例えば、撮像素子６で得られる撮影タイミングの異なる複数の画像信号から得られる動きベクトルを用いたり、カメラに設けたＧＰＳ受信器によって得られるカメラの位置情報を用いたりして角速度や加速度を検出することができる。また、別のカメラでカメラ２０００を撮影した画像信号から得られるベクトル情報をもとに角速度や加速度を検出してもよい。

また、上述の実施形態ではぶれの回転成分として角速度を検出する構成について説明した。しかし、ぶれの回転成分として角度や角加速度を検出してもよい。また、ぶれの並進成分として加速度を検出する構成について説明した。しかし、ぶれの並進成分として位置、角度、または角加速度を検出してもよい。これらについても撮像素子６で得られる画像信号に基づく動きベクトルを用いたり、別のカメラでカメラ２０００を撮影した画像信号から得られるベクトル情報をもとに検出してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１…カメラ、２…レンズ、５…カメラ制御部、６…撮像素子、９…補正レンズ、１２…レンズ制御部、１３…レンズ駆動回路、１４…ぶれ補正回路、１５…角速度検出回路、１６…加速度検出回路、２０００…カメラ

Claims (13)

1. 撮像素子の第１の方向の平行ぶれ量を表す第２の方向の回転運動の回転半径を算出する算出手段と、
   前記撮像素子から得られる画像信号を用いて、前記算出手段が算出した回転半径の精度を判定する判定手段と、
   前記判定手段による判定結果に基づいて前記算出手段が算出した回転半径を修正する修正手段と、
   とを有することを特徴とする回転半径演算装置。
2. 前記判定手段は、前記修正手段が修正した回転半径についても精度を判定することを特徴とする請求項１に記載の回転半径演算装置。
3. 前記判定手段は、
   前記撮像素子から取得した第１の画像信号と、
   前記撮像素子から取得した、前記第１の画像信号よりも露光時間の短い第２の画像信号に、前記算出手段が算出した回転半径に基づくぶれの効果を付加した第３の画像信号と、の類似度に基づいて前記判定を行う、
   ことを特徴とする請求項１または２に記載の回転半径演算装置。
4. 前記修正手段は、前記類似度が高くなるように前記算出手段が算出した回転半径を修正することを特徴とする請求項３に記載の回転半径演算装置。
5. 前記判定手段は、前記第１の画像信号の角度ぶれを補正してから前記判定を行うことを特徴とする請求項３または４に記載の回転半径演算装置。
6. 前記判定手段は、前記第１の画像信号の回転ぶれが補正されていない場合、前記第１の画像信号のうち、前記撮像素子の中心領域に対応する部分を用いて前記判定を行うことを特徴とする請求項３から５のいずれか１項に記載の回転半径演算装置。
7. 前記判定および前記修正を、ユーザによる特定の動作が検出されたことに応じて実行することを特徴とする請求項１から５のいずれか１項に記載の回転半径演算装置。
8. 前記特定の動作が、前記撮像素子を有する撮像装置のファインダーを覗く動作、または撮影準備指示の入力動作であることを特徴とする請求項７に記載の回転半径演算装置。
9. 前記修正手段は、前記判定手段により前記回転半径の精度が高いと判定されない場合に前記回転半径を修正することを特徴とする請求項１から８のいずれか１項に記載の回転半径演算装置。
10. 前記判定手段により精度が高いと判定された場合には、前記算出手段が算出した回転半径を用いて算出した平行ぶれ量を出力することを特徴とする請求項１から９のいずれか１項に記載の回転半径演算装置。
11. 請求項１０に記載の回転半径演算装置と、
    撮像素子と、
    前記回転半径演算装置が出力する平行ぶれ量に基づいてぶれ補正を行うぶれ補正手段と、
    を有することを特徴とする撮像装置。
12. 回転半径演算装置が実行する回転半径演算方法であって、
    撮像素子の第１の方向の平行ぶれ量を表す第２の方向の回転運動の回転半径を算出する算出工程と、
    前記撮像素子から得られる画像信号を用いて、前記算出工程で算出された回転半径の精度を判定する判定工程と、
    前記判定工程における判定結果に基づいて前記算出工程で算出された回転半径を修正する修正工程と、
    とを有することを特徴とする回転半径演算方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の回転半径演算装置が有する各手段として機能させるためのプログラム。

Images