JP6316030B2

JP6316030B2 - 撮像装置及びその制御方法

Info

Publication number: JP6316030B2
Application number: JP2014048763A
Authority: JP
Inventors: 見寺澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-03-12
Filing date: 2014-03-12
Publication date: 2018-04-25
Anticipated expiration: 2034-03-12
Also published as: JP2015173388A

Description

本発明は、撮像装置及びその制御方法に関し、特に、撮像装置本体のぶれの状況に応じて画像処理による幾何変形防振を施す際に、幾何変形量を予測して幾何変形に必要な画像領域を制御する技術に関する。

近年のデジタルビデオカメラやデジタルカメラ等の撮像装置では、撮像センサや信号処理の技術向上により、高画質な映像（画像）が得られるようになってきている。また、撮像装置本体の小型化が進むにつれて、撮像装置本体を片手持ちで構えて撮影する機会が増え、その際の手ぶれ等の撮像装置本体の姿勢変化が大きくなりやすくなってきている。そのため、動画撮影か静止画撮影かを問わず、より安定した映像（画像）を取得するために、撮像装置本体の姿勢変化を補正する技術の重要性が増している。

撮像装置本体の姿勢変化に関する情報の取得方法には、角速度センサ（ジャイロセンサ）や加速度センサ等のセンシングデバイスを用いる方法や、入力画像と過去画像（参照画像）から動きを検出する、所謂、動きベクトル検出による方法とがある。撮像装置本体の回転と並進の姿勢変化は、その画角変化がぶれとして画像に影響を及ぼすが、射影変換等の自由度の高い幾何変形処理を施すことにより、適切にぶれを抑制することができる。

しかし、動画撮影や静止画連写撮影等の時間制約の高い撮影状況で動きベクトル検出処理をリアルタイムに行うためには、信号処理回路の性能、メモリ、メモリバス帯域等のシステムに、高速動作が可能なものや高性能なものが要求される。このような要求に応じて高性能化されたシステムでは、一般的に、信号処理回路の高性能化やメモリの高容量化等に起因して、発熱量や消費電力が増加してしまう。一方で、撮像装置本体の小型化に伴って、熱耐性や消費電力に対する制約が大きくなってきており、このような制約は、高性能な信号処理回路を搭載する際の障害となる。

したがって、撮像装置全体のシステム設計は、相互にトレードオフの関係にある撮像装置本体の姿勢変化補正の自由度や精度、性能等に対する要望と撮像装置のシステムリソース及び消費電力等に対する要望とのバランスを考慮して行う必要がある。

このような問題に対し、効率よくメモリリソースを制御する技術が提案されている。例えば、特許文献１に記載された技術では、画像メモリに対してシステムバスを介して複数の画像処理部がアクセスする場合に、それぞれの画像処理に適したアクセスフォーマットでシステムバスを制御している。また、特許文献２に記載された技術では、階層化処理を行う場合の画像メモリアクセスに対して、バッファメモリを介して処理時間を重ねながらパイプライン処理を行っている。

特開２００９−１１６７６３号公報特開２００９−０８１５９６号公報

しかしながら、撮像装置本体の姿勢変化を補正する場合、画像メモリに対してアクセスするデータ量は、撮像装置本体の姿勢変化量に応じて大きく変動する。そのため、上記特許文献１に記載された技術のようなアクセスフォーマットの工夫のみでは、信号処理全体の演算量やシステムバスの負荷を軽減することは難しい。また、上記特許文献２に記載された技術のようにバッファメモリ容量を固定的に確保してしまうと、信号処理全体の演算量やシステムバスの負荷を軽減することができなくなってしまう。

本発明は、撮像装置本体の姿勢変化を補正する処理に要するシステムリソースの大規模化を抑制すると共に、処理時間や消費電力の削減を可能とする技術を提供することを目的とする。

本発明に係る撮像装置は、光学系を通して被写体像が結像する撮像素子から信号の読み出しを行う読み出し手段と、前記撮像素子から読み出された信号から画像を生成する現像手段とを備える撮像装置であって、前記撮像装置の姿勢変化を検出し、姿勢変化情報を出力する姿勢変化検出手段と、前記現像手段により生成された時間的に連続する複数の画像から動きベクトルを検出する検出手段と、現在と過去の前記動きベクトルから前記現像手段により生成される次の画像との間の動きベクトルを予測する予測手段と、前記撮像素子から信号を読み出す読み出し領域を決定するための第１の幾何変形パラメータを前記姿勢変化情報と前記予測した動きベクトルから推定する第１の推定手段と、前記読み出し領域に含まれる幾何変形処理の対象領域を読み出すための第２の幾何変形パラメータを前記姿勢変化情報と前記動きベクトルから推定する第２の推定手段と、前記第１の幾何変形パラメータに基づいて前記撮像素子の前記読み出し領域から信号を読み出すように前記読み出し手段を制御する制御手段と、前記第２の幾何変形パラメータを用いて前記対象領域の画像に対して幾何変形処理を施す幾何変形手段とを備えることを特徴とする。

本発明によれば、撮像装置本体の姿勢変化に応じて信号処理を行うデータ量を削減し、姿勢変化補正の処理時間とメモリアクセスの削減を図る。これにより、姿勢変化の補正処理を実行するシステムリソースの大規模化を抑制しながら、補正処理に要する処理時間や消費電力の削減を実現することができる。

本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。図１の撮像装置の撮像動作（撮像制御方法）を示すフローチャートである。焦点距離（画角）と画像に現れる幾何変形成分との一般的な関係を示す図及び対物距離と画像に現れる幾何変形成分との一般的な関係を示す図である。テンプレートマッチングの概要を説明する模式図である。動きベクトルの時間変動を模式的に示す図である。撮像素子における被写体像の結像領域と、結像領域の一部に設定される読み出し領域を説明する図である。本発明の第２実施形態に係る撮像装置の概略構成を示すブロック図である。図７の撮像装置の撮像動作を示すフローチャートである。メモリのデータ保持領域の一部を模式的に示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１実施形態＞
図１に、本発明の第１実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、典型的には、デジタルスチルカメラやデジタルビデオカメラであるが、これに限られず、カメラ機能（撮像素子を用いて映像（画像）を取得する撮影機能）を備える各種の電子機器であってもよい。例えば、撮像装置１００は、カメラ機能付き携帯通信端末（携帯電話、スマートフォン等）、カメラ機能付き携帯型コンピュータ（タブレット端末）、カメラ機能付き携帯ゲーム機等であってもよい。

撮像装置１００は、撮像光学系１０１、撮像素子１０２、現像処理部１０３、メモリ１０４、姿勢変化情報取得部１０５、防振処理制御部１０６、動きベクトル検出部１０７及び動きベクトル予測部１０８を備える。また、撮像装置１００は、第１幾何変形パラメータ推定部１０９、第２幾何変形パラメータ推定部１１０、幾何変形処理部１１１、画像記憶部１１２、画像表示部１１３及び読み出し制御部１１４を備える。

撮像光学系１０１は、被写体からの反射光を取り込んで被写体像（光学像）を形成し、形成された被写体像は撮像素子１０２に結像する。撮像素子１０２は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサであり、結像した被写体像を光電変換し、生成したアナログ信号を現像処理部１０３と動きベクトル検出部１０７へ供給する。なお、読み出し制御部１１４から指示にしたがって、撮像素子１０２からは、被写体像が結像する結像領域のうちの一部の領域の信号（蓄積電荷）を、順次、読み出すことができる。

現像処理部１０３は、不図示のＡ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス部等を含む。現像処理部１０３は、撮像素子１０２から取得したアナログ信号をＡ／Ｄ変換してデジタル信号（ＲＡＷ画像）を生成し、生成したＲＡＷ画像に所定の現像処理を施して画像信号を生成し、生成した画像信号をメモリ１０４へ供給する。なお、撮像光学系１０１、撮像素子１０２及び現像処理部１０３により、映像（画像）を取得する撮像系が構成される。また、本実施形態では、撮像装置１００による動画撮影と静止画撮影を問わず、現像処理部１０３から出力される画像信号は、現像処理が施されたデジタル信号であるとする。

メモリ１０４は、現像処理部１０３から供給される画像信号である１フレーム又は複数のフレームの画像を一時的に記憶し、保持する。姿勢変化情報取得部１０５は、手ぶれやカメラワーク等の撮像装置１００の姿勢変化（動き）を姿勢変化情報として取得するジャイロセンサ等で構成され、取得した姿勢変化情報を防振処理制御部１０６へ供給する。動きベクトル検出部１０７は、メモリ１０４から取得した時間的に連続する２枚のフレーム画像間の動きベクトルを検出する。動きベクトル予測部１０８は、動きベクトル検出部１０７で検出された現在と過去のそれぞれの動きベクトルから、次のフレーム画像との間の動きベクトルを予測する。

第１幾何変形パラメータ推定部１０９は、動きベクトル予測部１０８において予測された動きベクトルを用いて、フレーム画像間のぶれの動きの補正量を幾何変形パラメータ（第１の幾何変形パラメータ）として算出する。第２幾何変形パラメータ推定部１１０は、動きベクトル検出部１０７において検出された動きベクトルを用いて、フレーム画像間のぶれの動きの補正量を幾何変形パラメータ（第２の幾何変形パラメータ）として算出する。防振処理制御部１０６は、第１幾何変形パラメータ推定部１０９が算出した幾何変形パラメータに基づいて、読み出し制御部１１４を制御する。また、防振処理制御部１０６は、姿勢変化情報取得部１０５から供給された姿勢変化情報と動きベクトル検出部１０７から供給された動きベクトルに基づき、動きベクトル予測部１０８、第１幾何変形パラメータ推定部１０９及び第２幾何変形パラメータ推定部１１０の処理内容を変更する。

幾何変形処理部１１１は、第２幾何変形パラメータ推定部１１０から取得した幾何変形パラメータに基づいて、フレーム画像に対してぶれを補正するための幾何変形処理を行い、メモリ１０４に画像を書き出す。画像記憶部１１２は、防振処理が施された画像を記憶媒体に記憶する。画像表示部１１３は、防振処理が施された画像を不図示のディスプレイに表示する。

撮像装置１００は、撮像装置１００の全体的な動作制御を行う不図示の中央制御部を備えている。中央制御部は、演算処理装置（ＣＰＵ）と、ＣＰＵが実行するプログラム等を格納するＲＯＭと、ＣＰＵがプログラムを展開するワークエリアとして用いられると共に演算結果やパラメータを一時的に記憶するＲＡＭを備える。なお、上記の各種のデータ処理を行う処理部は、中央制御部の機能ブロックであってもよいし、中央制御部の制御の下で所定の機能を発揮する機能ブロックであってもよい。

図２は、撮像装置１００の撮像動作（撮像制御方法）を示すフローチャートである。図２に示す各処理は、ＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し、実行することにより、撮像装置１００の各ブロックが所定の動作と処理を実行することにより実現される。

ステップＳ２０１において、画像入力処理が行われる。具体的には、撮像光学系１０１によって形成されて撮像素子１０２に被写体像が結像すると、撮像素子１０２は、読み出し制御部１１４が指示する読み出し領域の画素の蓄積電荷をアナログ信号として現像処理部１０３へ供給する。現像処理部１０３は、取得したアナログ信号をＡ／Ｄ変換部によってデジタル信号（ＲＡＷ画像）に変換し、更にＡＧＣ及びＡＷＢによって信号レベル補正や白レベル補正を行って画像信号を生成し、生成した画像信号をメモリ１０４に記憶、保持させる。撮像装置１００では、所定のフレームレートで、順次、フレーム画像が生成され、メモリ１０４に記憶、保持されたフレーム画像は、動きベクトル検出部１０７に入力される。また、メモリ１０４に記憶、保持されるフレーム画像は、順次、更新される。

撮影が開始されると、ステップＳ２０１と同時にステップＳ２０２において、姿勢変化情報取得部１０５が、撮像装置１００の姿勢変化情報を取得する。本実施形態では、姿勢変化情報を取得する方法としてジャイロセンサを使用するものとし、撮像装置１００のロール、ピッチ、ヨーの各方向の姿勢変化情報を得る。但し、姿勢変化情報の取得手段はジャイロセンサに限られるものではなく、撮像装置１００の姿勢変化情報を得られる限りにおいて、その他の手段を用いてもよい。

ステップＳ２０３において、防振処理制御部１０６は、幾何変形パラメータを絞り込む。具体的には、被写体に対する撮像光学系１０１の焦点距離や対物距離に応じて、第１幾何変形パラメータ推定部１０９と第２幾何変形パラメータ推定部１１０とがそれぞれ推定する幾何変形パラメータを絞り込む。これにより、読み出し制御部１１４への指示領域が過剰にならないように制御することができる。ここで、ステップＳ２０３の処理について、図３を参照して説明する。

図３（ａ）は、焦点距離（画角）と画像に現れる幾何変形成分との一般的な関係を示す図であり、図３（ｂ）は、対物距離と画像に現れる幾何変形成分との一般的な関係を示す図である。

図３（ａ）に示されるように、画像に現れる幾何変形成分は、焦点距離（画角）に応じて変化すると推定される。ワイド撮影では、片手持ちや歩行等の撮影形態を取ることが多く、結果として多くの幾何変形成分がぶれ成分として表れるため、あおりまでを考慮したパラメータ推定が必要になる。これに対して、テレ撮影では、両手持ちで静止して被写体を捉えることが多く、結果として並進成分以外の幾何変形成分は減少するため、並進の動き成分のみのパラメータ推定でよい。なお、ミドル撮影では、ワイド撮影とテレ撮影の中間的なぶれが生じると考えられるため、例えば、焦点距離に閾値を設定し、焦点距離が閾値よりも短い場合にはあおりを考慮し、焦点距離が閾値以上の場合には並進の動きのみを考慮するようにすればよい。

また、図３（ｂ）に示されるように、画像に現れる幾何変形成分は、対物距離に応じて変化すると推定される。対物距離が極めて短いマクロ撮影では、結果として並進成分以外の幾何変形成分は減少するため、並進の動き成分のみのパラメータ推定でよい。これに対して対物距離が長い場合（遠距離撮影）の場合には、結果として幾何変形成分がブレ成分として表れるため、あおりまでも考慮したパラメータ推定が必要になる。近距離撮影では、マクロ撮影と遠撮影の中間的なぶれが生じると考えられるため、例えば、対物距離に閾値を設定し、対物距離が閾値よりも短い場合には並進の動きのみを考慮し、対物距離が閾値以上の場合にはあおりも考慮するようにすればよい。図３（ａ），（ｂ）の関係は、組み合わせて制御に用いてもよいし、姿勢変化情報取得部１０５で実際に取得したぶれ情報を用いて補正して用いてもよい。

ステップＳ２０４では、動きベクトル検出部１０７が、予め決定された動きベクトル検出領域及び検出数に基づいて、入力された２枚のフレーム画像間での動きベクトルの検出を行う。本実施形態では、動きベクトル検出方法の一例として、テンプレートマッチングを用いることとする。図４は、テンプレートマッチングの概要を説明する模式図である。

図４（ａ）には原画像４００が、図４（ｂ）には参照画像４５０が示されており、これらの画像は、現像処理部１０３及びメモリ１０４から入力されるフレーム画像である。原画像４００内の任意の位置にテンプレートブロック４０１を配置し、テンプレートブロック４０１と参照画像４５０の各領域との相関値を算出する。このとき、参照画像４５０の全領域に対して相関値を算出したのでは計算量が膨大なものとなるため、実際には、参照画像４５０上に相関値を算出する矩形領域をサーチ範囲４０２として設定する。

サーチ範囲４０２の位置や大きさは特に制限されるものではないが、サーチ範囲４０２の内部にテンプレートブロック４０１の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することはできない。そこで、相関値の算出方法の一例として、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を使用することとする。但し、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。ＳＡＤの計算式を下記の式１に示す。

式１において、ｆ（ｉ，ｊ）は、テンプレートブロック４０１内の座標（ｉ，ｊ）における輝度値であり、ｇ（ｉ，ｊ）は、サーチ範囲４０２において相関値算出の対象となる相関値算出ブロック４０３内の各輝度値である。ＳＡＤでは、これらの輝度値ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）についての差の絶対値を計算し、その総和を求めることで、相関値Ｓ＿ＳＡＤを得る。相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレートブロック４０１と相関値算出ブロック４０３との間の輝度値の差分が小さい、つまりこれらのブロック内のテクスチャが類似していることを示している。

サーチ範囲４０２の全領域について相関値算出ブロック４０３を移動させて、テンプレートブロック４０１との相関値を算出し、相関が最も高くなる位置を判定する。これにより、原画像４００上のテンプレートブロック４０１が参照画像４５０においてどの位置に移動したかを示す、画像間の動きベクトルを検出することができる。

動きベクトル検出部１０７は、このような動きベクトル検出処理を、入力されたフレーム画像間の複数の領域で行い、検出した動きベクトル群を、動きベクトル予測部１０８及び第１幾何変形パラメータ推定部１０９へ供給する。

ステップＳ２０５では、動きベクトル予測部１０８が、ステップＳ２０３で絞り込んだ幾何変形パラメータに従い、ステップＳ２０４で検出された現在フレームの動きベクトル群とそれ以前のフレームの動きベクトル群とから、次の動きベクトル群を予測する。図５は、動きベクトルの時間変動を模式的に示す図である。動きベクトルは、時間の経過にしたがって変化していく。例えば、時刻ｔ２の動きベクトルｍ２を予測するには、下記の式２に示すように、時刻ｔ０，ｔ１での動きベクトルｍ０，ｍ１による一次式による外挿補間によって求めることができる。

なお、外挿補間方法は、一次式によるものに限られず、多次式によるものを用いてもよい。ステップＳ２０５では、このような動きベクトル予測処理が所定のベクトル数だけ行われ、予測された動きベクトル群は、防振処理制御部１０６に供給される。

ステップＳ２０６では、第１幾何変形パラメータ推定部１０９が、ステップＳ２０５で求められた次の動きベクトルを用いて、防振処理制御部１０６が指示する幾何変形パラメータの値を推定する。本実施形態では、幾何変形手段の一例としてホモグラフィ行列と呼ばれる３×３の行列式を用いるものとして、以下に説明する。

まず、下記の式３で示される画像上のある点ａが、次フレームにおいて下記の式４で示される点ａ´に移動したとする。ここで、式３及び式４に示される添え字Ｔは、転置行列であること示す。式３の点ａと式４の点ａ´の対応関係は、ホモグラフィ行列Ｈを用いることにより、下記の式５で表すことができる。ここで、ホモグラフィ行列Ｈは、画像間の並進、回転、変倍、せん断及びあおりによる変形量を示す行列式であり、下記の式６で表される。

ホモグラフィ行列Ｈの各要素は、ステップＳ２０４で得られる動きベクトル群、つまりフレーム画像間における代表点の対応関係を用いて推定することにより求めることができる。上記の式６のホモグラフィ行列Ｈでは、パラメータｈ_１３，ｈ_２３が並進の動き成分を、パラメータｈ_１１，ｈ_１２，ｈ_２１，ｈ_２２が回転、変倍及びせん断の動き成分を、パラメータｈ_３１，ｈ_３２があおりの動き成分をそれぞれ表している。

あおりの動き成分までを防振の対象とする場合には、これら８個のパラメータの全てを推定しなければならないため、８自由度の最小二乗法を使用する必要がある。これに対して、回転の動き成分までを防振の対象とする場合には、あおりの動き成分を表すパラメータｈ_３１，ｈ_３２を推定する必要はないため、それ以外の６個のパラメータ推定、つまり６自由度での最小二乗法による推定を行えばよいことになる。また、並進の動き成分のみを防振の対象とする場合には、式５におけるパラメータｈ_１３，ｈ_２３についてのみ推定を行えばよい。このとき、並進の動き成分は画像の平行移動という簡単な動きであるため、最小二乗法のような統計的な推定方法を使用する必要はなく、ヒストグラム処理のような単純な処理でも精度良く推定を行うことができる。なお、本実施形態では、幾何変形量の推定方法として最小二乗法やヒストグラム処理を用いることとしているが、これに限られるものではなく、他の推定手法を用いてもよい。

ステップＳ２０６では、動きベクトル予測部１０８で算出された動きベクトル群を用い、上記の式３乃至式６を参照して説明した選択された幾何変形パラメータに基づいて、フレーム画像間の幾何変形量の推定を行い、ぶれの補正量を算出する。即ち、上記の方法で推定されたホモグラフィ行列Ｈは、撮像装置１００のぶれによる画像の変形量を表しているため、画像のぶれを補正するには、ぶれによる変形を打ち消す画像変形量となるようにホモグラフィ行列Ｈを変換すればよい。つまり、ホモグラフィ行列Ｈを逆行列Ｈ^−１に変換する。点ａから点ａ´への移動が撮像装置１００のぶれによる場合に、点ａと点ａ´との対応関係は下記の式７で表され、式７により、ぶれが生じた後の点ａ´をぶれが生じる前の点ａと同じ座標に戻すことが可能となる。

ステップＳ２０７において、防振処理制御部１０６は、ステップＳ２０５で求められた予測された動きベクトル群とステップＳ２０６で算出された幾何変形パラメータとから、撮像素子１０２の読み出し領域を決定する。図６は、撮像素子１０２における被写体像の結像領域と、結像領域の一部に設定される読み出し領域を説明する図である。第１の領域６００は、被写体像の結像領域、つまり、撮像素子１０２の全読み出し領域であり、１フレームの画像領域である。第２の領域６０１は、ぶれが生じていないときに読み出したい領域である。第３の領域６０２は、ぶれが生じていることにより読み出しが必要となった領域を示している。第４の領域６０３は、実際に読み出す必要がある領域を示している。

ぶれが生じていないときに読み出したい第２の領域６０１の座標に対して、上記の式７の逆行列Ｈ^−１での変換を行うことにより、ぶれにより読み出しが必要となる第３の領域６０２を求めることができる。つまり、第３の領域６０２が後述するステップＳ２０９での幾何変形処理の対象領域となる。このとき、ホモグラフィ行列Ｈのみで幾何変形が示されるならば、第２の領域６０１の頂点４つの座標計算で第３の領域６０２を求めることができる。しかし、歪曲収差やローリングひずみぶれの影響までも含めた幾何変形処理の場合には、第３の領域６０２は必ずしも矩形にはならないため、第２の領域６０１の４辺の座標計算を行う必要がある。第３の領域６０２が求められると、第３の領域６０２が内接する矩形である第４の領域６０３が求められ、この第４の領域６０３を撮像素子１０２から実際に信号を読み出す読み出し領域として決定する。

ステップ２０８では、第２幾何変形パラメータ推定部１１０が、幾何変形パラメータの値を推定する。なお、ステップＳ２０６では、第１幾何変形パラメータ推定部１０９は、動きベクトル予測部１０８が出力する予測ベクトルを用いたが、第２幾何変形パラメータ推定部１１０は、動きベクトル検出部１０７の出力する現在フレームの動きベクトル群の情報を用いる。第２幾何変形パラメータ推定部１１０での幾何変形パラメータの値の推定方法は、第１幾何変形パラメータ推定部１０９によるステップＳ２０６での幾何変形パラメータの値の推定方法と同じであるため、その説明は省略する。

ステップＳ２０９では、幾何変形処理部１１１が、ステップＳ２０８で得られた幾何変形量を用いて、第３の領域６０２の画像に対して幾何変換処理を施し、これにより防振処理が完了する。続くステップＳ２１０において、画像記憶部１１２は、防振処理が施された画像を不図示の記憶装置に記憶し、また、画像表示部１１３は、防振処理が施された画像を不図示の表示装置に表示する。

ところで、図２のフローチャートに従う防振処理では、ステップＳ２０３において、姿勢変化情報取得部１０５が取得した撮像装置１００の姿勢変化情報に基づいて用いる幾何変形パラメータを切り替えている。このとき、単純に幾何変形パラメータを切り替えてしまうと、切り替わりの前後のフレーム画像間で動きに不連続さが生じてしまう可能性がある。そのため、これを解消するために、用いる幾何変形パラメータとその値に時間方向に（時間の経過に従う）平滑化処理を施すことが好ましい。

この平滑化処理では、防振処理を行っている間は、過去の数フレーム分の幾何変形パラメータを記憶保持しておき、切り替わった直後の数フレームに対して過去の幾何変形パラメータの影響を残した幾何変形パラメータに補正して防振処理を行う。これにより、幾何変形パラメータの切り替わりの瞬間に不連続な動きが生じることを解消し、徐々に異なる幾何変形パラメータを用いた防振処理に切り替えていくことが可能となる。平滑化処理の方法には特に制限は無く、例えば移動平均やＩＩＲ（Infinite impulse response）フィルタ等の方法を用いることができ、平滑化処理は、第１幾何変形パラメータ推定部１０９及び第２幾何変形パラメータ推定部１１０において行われる。

また、ステップＳ２０５において動きベクトル群を予測しているが、動きベクトルは画像から検出されるため、被写体の大きさや動き、背景の動きによっては情報の質に変動を生じる可能性がある。例えば、姿勢変化情報取得部１０５がジャイロセンサである場合、ヨー、ピッチ、ロールの各方向での回転角α、β、γの回転ブレを検出すると、ホモグラフィ行列Ｈｇとして得られる幾何変形パラメータは、下記の式８により表すことができる。

画像のぶれを補正するには、ぶれによる変形を打ち消すような画像変形量となるようにホモグラフィ行列Ｈを変換する必要があったのと同様に、ホモグラフィ行列Ｈｇを逆行列Ｈｇ^−１に変換する必要がある。そこで、第１幾何変形パラメータ推定部１０９及び第２幾何変形パラメータ推定部１１０のそれぞれにおいて、逆行列Ｈ^−１と逆行列Ｈｇ^−１とを線形合成し、その際に、逆行列Ｈ^−１と逆行列Ｈｇ^−１との差分が大きくなったら、Ｈｇ^−１の比率を高くするようにする。これにより、動きベクトルの情報品質の変動を補正して、ベクトル予測が外れたことによる幾何変形の参照領域不足を解消することができる。

以上の説明の通り、本実施形態では、撮像装置１００の姿勢変化に応じて撮像素子１０２からの入力データ量を削減することができるため、システムリソースの大規模化を回避すると共に、防振処理に要する処理時間を削減することができる。また、これにより、消費電力を抑制することができる。

＜第２実施形態＞
図７は、本発明の第２実施形態に係る撮像装置７００の概略構造を示すブロック図である。第１実施形態で説明した撮像装置１００では、防振処理制御部１０６が読み出し制御部１１４を制御する構成となっていたが、第２実施形態に係る撮像装置７００では、現像処理部を１０３を介して、メモリ１０４の記憶領域を制御する。そこで、図７では、撮像装置７００の構成要素のうち、図１に示した撮像装置１００の構成要素と共通するものについては同じ符号を付して、説明を省略することとする。

撮像装置７００では、処理データを削減するために、現像処理部１０３は、防振処理制御部１０６からの指示に従って、撮像素子１０２から取得したアナログ信号をＡ／Ｄ変換した後のデジタル信号を、一旦、メモリ１０４に記憶する。そして、メモリ１０４に記憶されたデジタル信号を、再度、現像処理部１０３に読み出し、現像処理部１０３においてＡＧＣ及びＡＷＢによって信号レベル補正や白レベル補正を施して、画像信号に変換する。

図８は、撮像装置７００の撮像動作を示すフローチャートである。図７に示す各処理は、ＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し、実行することにより、撮像装置１００の各ブロックが所定の動作と処理を実行することにより実現される。

図８のフローチャートでは、図２のフローチャートの処理と同じ処理については、同じ符号を付しており、それら（ステップＳ２０２〜Ｓ２０６，Ｓ２０８〜Ｓ２１０）については、ここでの説明を省略する。

図２のステップＳ２０１に代えてステップＳ８０１で行われる画像入力では、撮像光学系１０１により被写体光学像が撮像素子１０２に結像すると、撮像素子１０２は読み出し制御部１１４が指示する領域の画素の蓄積電荷をアナログ信号として現像処理部１０３に出力する。現像処理部１０３は、撮像素子１０２から取得したアナログ信号のうち、防振処理制御部１０６が指示する領域のアナログ信号のみをＡ／Ｄ変換し、生成したＲＡＷ画像に所定の現像処理を施し、生成した画像信号をメモリ１０４に記憶させる。画像信号は、フレーム毎にメモリ１０４に記憶される。

撮像装置７００では、所定のフレームレートで、順次、ステップＳ８０１の処理によるフレーム画像が生成され、メモリ１０４に記憶、保持されたフレーム画像が動きベクトル検出部１０７に入力される。このとき、メモリ１０４に記憶、保持されているフレーム画像は、順次、更新される。

なお、ステップＳ８０１では、次のように処理を行ってもよい。即ち、先ず、撮像素子１０２の全領域の画素から蓄積電荷を読み出し、現像処理部１０３においてＡ／Ｄ変換を施した後のデジタル信号を、一旦、メモリ１０４に記憶する。そして、現像処理部１０３が、防振処理制御部１０６が指示する領域のみのデジタル信号をメモリ１０４から読み出し、信号レベル補正や白レベル補正等の現像処理を行い、生成した画像信号をメモリ１０４に記憶するようにしてもよい。これに限らず、Ａ／Ｄ変換後のデジタル信号に対して信号レベル補正や白レベル補正を行った後の現像信号を、一旦、メモリ１０４に記憶させ、そこから防振処理制御部１０６が指示する領域の画像信号を取り出すようにしても構わない。但し、現像処理部１０３における処理の早い段階でメモリ１０４にデータを書き出すことにより、信号処理のデータ量を抑制する効果は高くなる。

ステップＳ８０２では、図６を参照して説明した第４の領域６０３を決定し、この第４の領域６０３に対応する画像信号をメモリ１０４への書き出し領域として決定する。図９は、メモリ１０４のデータ保持領域の一部を模式的に示す図である。第１の記憶領域９００は、撮像素子１０２の全読み出し領域である第１の領域６０１のデータを保持することができる領域である。第２の記憶領域９０１は、ぶれにより撮像素子１０２からの読み出しが必要となった第３の領域６０２に対応する画像信号を保持することができる領域である。第３の記憶領域９０２は、実際に撮像素子１０２からの読み出す必要のある第４の領域６０３に対応する画像信号を保持することができる領域である。本実施形態では、第３の記憶領域９０２のみを用いることで、メモリ１０４の使用領域を削減し、メモリ１０４に対するデータの書き込みと読み出しに係る負荷を低減させることが可能となる。

ステップＳ８０３の画像入力とは、現像処理部１０３が、ステップＳ８０２で決定された実際に読み出す必要がある第４の領域６０３の現像処理済み（信号レベル補正や白レベル補正の処理済み）の画像信号のみをメモリ１０４への書き出す処理である。ここでも、ステップＳ８０１と同様に、撮像素子１０２の全領域から蓄積電荷の読み出しを行い、第４の領域６０３のみの現像処理を行ってメモリ１０４へ書き出すようにしてもよい。但し、書き出し時に画像信号を制限する制御とすることで、メモリ１０４のバス帯域の余裕度を確保する効果やアクセス時間を短縮できる効果、消費電力を抑制する効果が最大に得られる。

以上の説明の通り、本実施形態では、撮像装置７００の姿勢変化に応じてメモリ１０４の入出力データ量を削減する。これにより、防振処理に要する処理時間を削減し、メモリバス帯域の余裕度を確保し、また、消費電力を抑制することができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１撮像光学系
１０２撮像素子
１０３現像処理部
１０４メモリ
１０５姿勢変化情報取得部
１０６防振処理制御部
１０７動きベクトル検出部
１０８動きベクトル予測部
１０９第１幾何変形パラメータ推定部
１１０第２幾何変形パラメータ推定部
１１１幾何変形処理部
１１２画像記憶部
１１３画像表示部
１１４読み出し制御部

Claims

光学系を通して被写体像が結像する撮像素子から信号の読み出しを行う読み出し手段と、前記撮像素子から読み出された信号から画像を生成する現像手段とを備える撮像装置であって、
前記撮像装置の姿勢変化を検出し、姿勢変化情報を出力する姿勢変化検出手段と、
前記現像手段により生成された時間的に連続する複数の画像から動きベクトルを検出する検出手段と、
現在と過去の前記動きベクトルから前記現像手段により生成される次の画像との間の動きベクトルを予測する予測手段と、
前記撮像素子から信号を読み出す読み出し領域を決定するための第１の幾何変形パラメータを前記姿勢変化情報と前記予測した動きベクトルから推定する第１の推定手段と、
前記読み出し領域に含まれる幾何変形処理の対象領域を読み出すための第２の幾何変形パラメータを前記姿勢変化情報と前記動きベクトルから推定する第２の推定手段と、
前記第１の幾何変形パラメータに基づいて前記撮像素子の前記読み出し領域から信号を読み出すように前記読み出し手段を制御する制御手段と、
前記第２の幾何変形パラメータを用いて前記対象領域の画像に対して幾何変形処理を施す幾何変形手段とを備えることを特徴とする撮像装置。
光学系を通して撮像素子に結像する被写体像から画像を生成する撮像装置であって、
前記撮像素子から出力される信号のうち所定の領域の信号から画像を生成し、前記画像を記憶手段に記憶させる現像手段と、
前記撮像装置の姿勢変化を検出し、姿勢変化情報を出力する姿勢変化検出手段と、
前記現像手段により生成された時間的に連続する複数の画像から動きベクトルを検出する検出手段と、
現在と過去の前記動きベクトルから前記現像手段により生成される次の画像との間の動きベクトルを予測する予測手段と、
前記記憶手段に記憶された画像から読み出す読み出し領域を決定するための第１の幾何変形パラメータを前記姿勢変化情報と前記予測した動きベクトルから推定する第１の推定手段と、
前記読み出し領域に含まれる幾何変形処理の対象領域を読み出すための第２の幾何変形パラメータを前記姿勢変化情報と前記動きベクトルから推定する第２の推定手段と、
前記第１の幾何変形パラメータに基づいて前記記憶手段に記憶された画像から前記読み出し領域の画像を読み出す制御手段と、
前記第２の幾何変形パラメータを用いて前記対象領域の画像に対して幾何変形処理を施す幾何変形手段とを備えることを特徴とする撮像装置。
前記制御手段は、前記光学系の焦点距離および／または対物距離に応じて、前記第１の推定手段が値を推定する前記第１の幾何変形パラメータおよび前記第２の推定手段が値を推定する前記第２の幾何変形パラメータを変更することを特徴とする請求項１又は２に記載の撮像装置。
前記第１の推定手段が値を推定する前記第１の幾何変形パラメータは、過去に用いた第１の幾何変形パラメータを時間方向に平滑化したものであり、
前記第２の推定手段が値を推定する前記第２の幾何変形パラメータは、過去に用いた第２の幾何変形パラメータを時間方向に平滑化したものであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
撮像装置の制御方法であって、
光学系を通して被写体像を撮像素子に結像させ、前記撮像素子から信号を読み出す読み出しステップと、
前記撮像素子から読み出された信号から画像を生成する現像ステップと、
前記撮像装置の姿勢変化を検出し、姿勢変化情報を取得する取得ステップと、
前記現像ステップで生成された時間的に連続する複数の画像から動きベクトルを検出する検出ステップと、
現在と過去の前記動きベクトルから前記現像ステップにより生成される次の画像との間の動きベクトルを予測する予測ステップと、
前記撮像素子から信号を読み出す読み出し領域を決定するための第１の幾何変形パラメータを前記姿勢変化情報と前記予測した動きベクトルから推定する第１の推定ステップと、
前記読み出し領域に含まれる幾何変形処理の対象領域を読み出すための第２の幾何変形パラメータを前記姿勢変化情報と前記動きベクトルから推定する第２の推定ステップと、前記第１の幾何変形パラメータに基づいて前記撮像素子の前記読み出し領域から信号を読み出すように前記読み出しステップを制御する制御ステップと、
前記第２の幾何変形パラメータを用いて前記対象領域の画像に対して幾何変形処理を施す幾何変形ステップとを備えることを特徴とする撮像装置の制御方法。
撮像装置の制御方法であって、
光学系を通して被写体像を撮像素子に結像させ、前記撮像素子から出力される信号のうちの所定の領域の信号から画像を生成する現像ステップと、
前記現像ステップで生成された画像を記憶手段に記憶させる記憶ステップと、
前記撮像装置の姿勢変化を検出し、姿勢変化情報を取得する取得ステップと、
前記現像ステップにより生成された時間的に連続する複数の画像から動きベクトルを検出する検出ステップと、
現在と過去の前記動きベクトルから前記現像ステップにより生成される次の画像との間の動きベクトルを予測する予測ステップと、
前記記憶手段に記憶された画像から読み出す読み出し領域を決定するための第１の幾何変形パラメータを前記姿勢変化情報と前記予測した動きベクトルから推定する第１の推定ステップと、
前記読み出し領域に含まれる幾何変形処理の対象領域を前記記憶手段から読み出すための第２の幾何変形パラメータを前記姿勢変化情報と前記動きベクトルから推定する第２の推定ステップと、
前記第１の幾何変形パラメータに基づいて前記記憶手段に記憶された画像から前記読み出し領域の画像を読み出す読み出しステップと、
前記第２の幾何変形パラメータを用いて前記対象領域の画像に対して幾何変形処理を施す幾何変形ステップと有することを特徴とする撮像装置の制御方法。