JP6619513B2 - 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 - Google Patents

Description

本発明は撮像装置、撮像方法、プログラム、及び非一時的記録媒体に係り、特に各受光センサが光の入射角に関して指向性を有する指向性センサを使用して複数の画像を同時に撮影する技術に関する。

領域により異なる撮像特性を有する光学系と指向性センサとを備える撮像系により、撮像特性が異なる複数の画像を同時に取得可能な撮像システムが提案されている。指向性センサは、理想的には、想定された瞳領域からの光だけを感じるように製作されるが、実際には混信が生じて、他の瞳領域からの光にも感じてしまう。

このような課題に対し、特許文献１には、複数の領域の内の一の領域に対応する受光センサの撮像信号から一の領域に対応する画像を生成し、生成された画像の補正を行う際に、一の領域に対応して生成された画像から一の領域以外の領域を通過した光束の影響を除去する技術が記載されている。

国際公開第２０１３／１４６５０６号公報

装置の振れ量を検出し、振れ量に応じて画像読み出し範囲をずらすことによって、表示された画像の振れを低減する電子式手振れ補正技術が知られている。電子式手振れ補正技術では、画像から特徴点を抽出し、その動き情報（動きベクトル）を検出して振れ量を検出する。

領域により異なる撮像特性を有する光学系と指向性センサを備える撮像系にこのような電子式手振れ補正技術を適用すると、混信による偽像の動きを真の像の動きとして誤認識してしまうおそれがある。

また、特許文献１に記載の技術においても、混信を完全に除去しきれるものではない。したがって、混信に対応して被写体の動きを正しく把握することが困難であった。

本発明はこのような事情に鑑みてなされたもので、撮像特性の異なる複数の画像を同時に撮影し、複数の画像の振れをそれぞれ検出する撮像装置、撮像方法、プログラム、及び非一時的記録媒体を提供することを目的とする。

上記目的を達成するために撮像装置の一の態様は、それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、第１光学系及び第２光学系を介して入射する光束をそれぞれ瞳分割して複数の画素により選択的に受光する指向性センサと、を有する撮像部と、第１光学系を介して得られる第１画像の画像信号と第２光学系を介して得られる第２画像の画像信号とを指向性センサから取得する画像読み出し部と、第１画像における被写体の動きベクトルである第１の動きベクトルと、第２画像における被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出部と、第１の動きベクトルが第１光学系を通過した光束による動きベクトルである確からしさを示す第１の確からしさと、第２の動きベクトルが第２光学系を通過した光束による動きベクトルである確からしさを示す第２の確からしさと、を算出する確からしさ算出部と、第１の動きベクトルと、第２の動きベクトルと、第１の確からしさと、第２の確からしさと、に基づいて、第１画像における第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、第２画像における第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出部と、第１の真の動きベクトルに基づいて撮像部の振れによる第１画像の第１の振れを検出し、第２の真の動きベクトルに基づいて撮像部の振れによる第２画像の第２の振れを検出する振れ検出部と、を備える。

本態様によれば、互いに異なる撮像特性を有する撮影光学系と指向性センサとを有する撮像部によって互いに異なる撮像特性の画像信号を同時に取得し、それぞれの画像信号から検出した動きベクトルとその確からしさから真の動きベクトルを抽出し、真の動きベクトルから撮像部の振れによる画像の振れを検出するようにしたので、撮像特性の異なる複数の画像を同時に撮影し、かつ複数の画像のブレをそれぞれ検出することができる。

第１の振れに基づいて第１画像の切り出し領域の位置を移動させて切り出した第１画像を表示部に表示させ、第２の振れに基づいて第２画像の切り出し領域の位置を移動させて切り出した第２画像を表示部に表示させる電子式振れ補正部を備えることが好ましい。これにより、表示部に表示させる画像のブレを低減することができる。

第１光学系及び第２光学系は、一方が広角光学系であり、他方が広角光学系と共通の光軸を有し、広角光学系より焦点距離が長い望遠光学系であってもよい。これにより、広角の画像と望遠の画像とを同時に撮影し、かつ第１の振れと第２の振れとをそれぞれ検出することができる。

振れ検出部は、第１光学系及び第２光学系の焦点距離の比に基づいて、第１の振れ及び第２の振れを検出してもよい。これにより、適切に第１の振れ及び第２の振れを検出することができる。

動きベクトル検出部は、連続して取得した複数の第１画像から被写体の第１の特徴点を検出して、検出した第１の特徴点に基づいて、互いに大きさが異なる複数の第１の動きベクトルを検出し、連続して取得した複数の第２画像から被写体の第２の特徴点を検出して、検出した第２の特徴点に基づいて、互いに大きさが異なる複数の第２の動きベクトルを検出してもよい。これにより、第１の動きベクトル及び第２の動きベクトルを適切に検出することができる。

確からしさ算出部は、複数の第１の動きベクトルのそれぞれについて第１の確からしさを算出し、複数の第２の動きベクトルのそれぞれについて第２の確からしさを算出することが好ましい。これにより、第１の確からしさ及び第２の確からしさを適切に算出することができる。

確からしさ算出部は、第１の特徴点における輝度信号と、第２の特徴点のうち第１の特徴点に対応する特徴点における輝度信号と、に基づいて、複数の第１の動きベクトルのそれぞれについて第１の確からしさを算出し、複数の第２の動きベクトルのそれぞれについて第２の確からしさを算出することが好ましい。これにより、第１の確からしさ及び第２の確からしさを適切に算出することができる。

動きベクトル抽出部は、複数の第１の動きベクトルのうちの一の動きベクトルについての第１の確からしさが、一の動きベクトルに対応する第２の動きベクトルについての第２の確からしさよりも高い場合は、一の動きベクトルに対応する第２の動きベクトルは第１光学系から第２光学系への混信による動きベクトルであると判断して、一の動きベクトルを第１の真の動きベクトルとして抽出し、一の動きベクトルについての第１の確からしさが、一の動きベクトルに対応する第２の動きベクトルについての第２の確からしさ以下である場合は、一の動きベクトルは第２光学系から第１光学系への混信による動きベクトルであると判断して、第２の動きベクトルを第２の真の動きベクトルとして抽出することが好ましい。これにより、第１の真の動きベクトル及び第２の真の動きベクトルを適切に抽出することができる。

撮影光学系は第１光学系が中央部に配置され、第２光学系が第１光学系の周辺部に環状に配置された撮影光学系であることが好ましい。これにより、撮像特性の異なる複数の画像を適切に撮影することができる。

上記目的を達成するために撮像方法の一の態様は、それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、第１光学系及び第２光学系を介して入射する光束をそれぞれ瞳分割して複数の画素により選択的に受光する指向性センサと、を有する撮像部を備える撮像装置の撮像方法であって、第１光学系を介して得られる第１画像の画像信号と第２光学系を介して得られる第２画像の画像信号とを指向性センサから取得する画像読み出し工程と、第１画像における被写体の動きベクトルである第１の動きベクトルと、第２画像における被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出工程と、第１の動きベクトルが第１光学系を通過した光束による動きベクトルである確からしさを示す第１の確からしさと、第２の動きベクトルが第２光学系を通過した光束による動きベクトルである確からしさを示す第２の確からしさと、を算出する確からしさ算出工程と、第１の動きベクトルと、第２の動きベクトルと、第１の確からしさと、第２の確からしさと、に基づいて、第１画像における第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、第２画像における第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出工程と、第１の真の動きベクトルに基づいて撮像部の振れによる第１画像の第１の振れを検出し、第２の真の動きベクトルに基づいて撮像部の振れによる第２画像の第２の振れを検出する振れ検出工程と、を含む。

本態様によれば、互いに異なる撮像特性を有する撮影光学系と指向性センサとを有する撮像部によって互いに異なる撮像特性の画像信号を同時に取得し、それぞれの画像信号から検出した動きベクトルとその確からしさから真の動きベクトルを抽出し、真の動きベクトルから撮像部の振れによる画像の振れを検出するようにしたので、撮像特性の異なる複数の画像を同時に撮影し、かつ複数の画像のブレをそれぞれ検出することができる。

第１の振れに基づいて第１画像の切り出し領域の位置を移動させて切り出した第１画像を表示部に表示させ、第２の振れに基づいて第２画像の切り出し領域の位置を移動させて切り出した第２画像を表示部に表示させる電子式振れ補正工程を備えることが好ましい。これにより、表示部に表示させる画像のブレを低減することができる。

撮像方法を撮像装置に実行させるプログラムも本態様に含まれる。また、プログラムのコンピュータ読み取り可能なコードが記録された非一時的記録媒体も本態様に含まれる。

本発明によれば、撮像特性の異なる複数の画像を同時に撮影し、複数の画像の振れをそれぞれ検出することができる。

図１は、デジタルカメラを示す斜視図である。 図２は、撮像部の断面構成を示す図である。 図３は、撮像素子の詳細な断面構成例を示す図である。 図４は、撮像部に入射する広角画像光の光路を示す図である。 図５は、撮像部に入射する望遠画像光の光路を示す図である。 図６は、デジタルカメラの機能構成例を示すブロック図である。 図７は、広角画像の一例を示す図である。 図８は、望遠画像の一例を示す図である。 図９は、混信が生じている広角画像の一例を示す図である。 図１０は、混信が生じている望遠画像の一例を示す図である。 図１１は、広角画像中の被写体と動きベクトルとを示す図である。 図１２は、望遠画像中に混信した広角画像の被写体像を示す図である。 図１３は、広角画像から抽出した真の動きベクトルを示す図である。 図１４は、望遠画像から抽出した真の動きベクトルを示す図である。 図１５は、広角画像の被写体像と動きベクトルを示す図である。 図１６は、望遠画像の被写体像と動きベクトルを示す図である。 図１７は、広角画像から抽出された真の動きベクトルを示す図である。 図１８は、望遠画像から抽出された真の動きベクトルを示す図である。 図１９は、手ブレ補正処理を示すフローチャートである。 図２０は、広角画像と広角画像から検出された第１の動きベクトルの一例を示す図である。 図２１は、望遠画像と望遠画像から検出された第２の動きベクトルの一例を示す図である。 図２２は、真の動きベクトルを抽出する処理の詳細を示すフローチャートである。 図２３は、撮像素子の撮像領域と切り出し領域とを示す図である。 図２４は、撮像素子の撮像領域と切り出し領域とを示す図である。 図２５は、広角画像から抽出された真の動きベクトルを示す図である。 図２６は、撮像素子の撮像領域と切り出し領域とを示す図である。 図２７は、撮像素子の撮像領域と切り出し領域とを示す図である。 図２８は、望遠画像から抽出された真の動きベクトルを示す図である。 図２９は、撮像部の第２の実施形態を示す断面図である。 図３０は、指向性センサの断面図及び平面図である。 図３１は、撮像部の第３の実施形態を示す断面図である。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

〔デジタルカメラの構成〕
図１は、本実施形態に係るデジタルカメラ１０（撮像装置の一例）を示す斜視図である。デジタルカメラ１０は、光軸Ｌを有する撮影光学系１１及び被写体に撮影補助光を照射するフラッシュ発光部１２が本体の前面に設けられており、撮像動作を実行させるためのレリーズボタン１３が本体の上面に設けられている。

デジタルカメラ１０は、被写体の動画像を撮影することができる。撮影者がデジタルカメラ１０を保持して撮影光学系１１を被写体に向けると、撮影光学系１１を介して撮像素子２４（図２参照）の受光面に被写体像が結像する。この被写体像は、撮像素子２４において光電変換され、一定周期で画像信号として読み出される。この一定周期の画像信号に画像処理を施すことにより、被写体の動画像を取得することができる。

動画像を撮影する際に、デジタルカメラ１０を保持した撮影者の手が振れる（手ブレする）ことにより、撮影した動画像に像振れが発生する場合がある。ここでは、動画像に発生する像振れのうち手ブレによる像振れを補正（低減）する処理を「手ブレ補正」と呼ぶ。特に、画像の切り出し領域の位置を移動させて像振れを補正する処理を、「電子式手ブレ補正」と呼ぶ。なお、手ブレは、撮影者の手が振れることにより発生するものに限定されず、デジタルカメラ１０の本体が何らかの原因により振れることにより発生したもの全般を含む。

〔撮像部の構成〕
図２は、撮影光学系１１及び撮像素子２４を備える撮像部１４の断面構成を示す図である。

撮影光学系１１は、相互に独立した特性を有する第１光学系２１及び第２光学系２２を含み、特に、本実施形態では焦点距離がそれぞれ異なる光学系によって第１光学系２１及び第２光学系２２が構成される。すなわち、本実施形態の撮影光学系１１は、広角画像撮影レンズ群によって構成される第１光学系２１（一方の広角光学系の一例）と、望遠画像撮影レンズ群によって構成される第２光学系２２（他方の望遠光学系の一例）とを含み、撮像素子２４によって広角画像及び望遠画像を同時に撮影することができる。

図２に示す第１光学系２１は、同一の光軸Ｌ上に配置される第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を含んで構成される。一方、第２光学系２２は、第１望遠用レンズ２２ａ、第１望遠用反射ミラー２２ｃが設けられる第１望遠用反射体２２ｂ、第２望遠用反射ミラー２２ｅが設けられる第２望遠用反射体２２ｄ、及び共通レンズ２３を含んで構成される。

第１光学系２１（特に第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ及び第４広角用レンズ２１ｄ）と第２光学系２２（特に第１望遠用レンズ２２ａ、第１望遠用反射体２２ｂ、第１望遠用反射ミラー２２ｃ、第２望遠用反射体２２ｄ及び第２望遠用反射ミラー２２ｅ）とは、同心状に配置され、第１光学系２１は中央光学系を形成し、第２光学系２２は第１光学系２１の周辺部に環状に配置された周辺光学系を形成する。なお、共通レンズ２３は、光軸Ｌ上に配置され、第１光学系２１と第２光学系２２との間で共用される。

このように撮影光学系１１は、共通の光軸Ｌを有する第１光学系２１及び第２光学系２２であって、相互に異なる焦点距離及び撮影画角を有する第１光学系２１及び第２光学系２２を含む。

撮像素子２４は、複数の受光センサ２５（光電変換素子）が光の入射角に関して指向性を有する指向性センサであり、複数の受光センサ２５により構成された画素が光軸Ｌと直交する方向に２次元状に配置され、第１光学系２１を介して入射する広角画像光Ｗ（図４参照、第１光学系を通過した光束の一例）と、第２光学系２２を介して入射する望遠画像光Ｔ（図５参照、第１光学系を通過した光束の一例）とを同時に受光する。

図３は、撮像素子２４の詳細な断面構成例を示す図である。撮像素子２４は、角度感度特性が異なる第１受光センサ２５ａと第２受光センサ２５ｂとを備えており、第１受光センサ２５ａと第２受光センサ２５ｂとは、交互に配置されている。

第１受光センサ２５ａは、広角画像光Ｗを受光して広角画像を生成するための第１画像信号を出力し、第２受光センサ２５ｂは、望遠画像光Ｔを受光して望遠画像（第２画像の一例）を生成するための第２画像信号を出力する。

複数の第１受光センサ２５ａは、広角画像光Ｗを選択的に受光する第１センサ群２４ａを構成し、複数の第２受光センサ２５ｂは、望遠画像光Ｔを選択的に受光する第２センサ群２４ｂを構成する。

第１受光センサ２５ａ及び第２受光センサ２５ｂの各々は、マイクロレンズ２６、フォトダイオード２９、及びマイクロレンズ２６とフォトダイオード２９とが配置される中間層２７を有する。中間層２７には遮光マスク２８が設けられており、第１受光センサ２５ａではフォトダイオード２９の受光面の周辺部に遮光マスク２８が配置され、第２受光センサ２５ｂではフォトダイオード２９の受光面の中央部に遮光マスク２８が配置される。遮光マスク２８の配置は、第１光学系２１及び第２光学系２２のうちのいずれに対応するかに応じて決定され、各遮光マスク２８は、対応しない光学系からの光を遮断する一方で対応する光学系からの光を遮断することなくフォトダイオード２９に受光させる。

本実施形態では、遮光マスク２８を含む受光センサ２５によって、第１光学系２１及び第２光学系２２のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサが実現されているが、他の手段によって瞳分割が実現されてもよい。例えば、マイクロレンズ２６の前段（例えばマイクロレンズ２６と共通レンズ２３（図３参照）との間）に遮光マスク２８が設けられてもよいし、遮光マスク２８以外の遮光手段（例えば液晶シャッター等）が用いられてもよい。

なお、中間層２７には遮光マスク２８以外の部材が設けられてもよく、例えば配線・回路類が中間層２７に設けられてもよい。

撮像素子２４には、各受光センサ２５に対し配設されたＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ（光学フィルタ）により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像（モザイク画像）を画像生成部３２（図６参照）がデモザイク処理（同時化処理ともいう）することにより、カラーの広角画像及び望遠画像が得られるようになっている。

図４は、図２に示す撮影光学系１１（特に第１光学系２１）及び撮像素子２４（特に第１センサ群２４ａ（図３参照））に入射する広角画像光Ｗの光路を示す図である。本実施形態において広角画像光Ｗは、第１光学系２１の第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を順次通過し、撮像素子２４上に広角画像が結像する。

図５は、図２に示す撮影光学系１１（特に第２光学系２２）及び撮像素子２４（特に第２センサ群２４ｂ（図３参照））に入射する望遠画像光Ｔの光路を示す図である。本実施形態において望遠画像光Ｔは、第１望遠用レンズ２２ａを通過（透過）し、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射された後に共通レンズ２３を通過し、撮像素子２４上に望遠画像が結像する。このように、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第２光学系２２の光軸Ｌの方向に関する長さを短くすることができる。

図６は、デジタルカメラ１０の機能構成例を示すブロック図である。デジタルカメラ１０は、前述の撮影光学系１１（第１光学系２１及び第２光学系２２）及び撮像素子２４（第１センサ群２４ａ及び第２センサ群２４ｂ）の他に、画像生成部３２、メインコントローラ３７、画像処理部３８、手ブレ補正部３９、記録部４０、表示コントローラ４１、表示部４２及びユーザ操作部４３を有する。

画像生成部３２（画像読み出し部の一例）は、第１センサ群２４ａから出力される第１画像信号に基づいて広角画像の第１画像データを生成し、第２センサ群２４ｂから出力される第２画像信号に基づいて望遠画像の第２画像データを生成する。画像生成部３２において生成された第１画像データ及び第２画像データは、画像処理部３８及び手ブレ補正部３９に入力される。

画像処理部３８（動きベクトル検出部の一例、確からしさ算出部の一例、動きベクトル抽出部の一例）は、第１画像データ及び第２画像データにおける被写体を検出し、検出結果に基づいて、被写体の動きベクトル検出、確からしさ算出、及び真の動きベクトル抽出を行う。画像処理部３８による処理については、詳細を後述する。

手ブレ補正部３９（振れ検出部の一例、電子式振れ補正部の一例）は、画像処理部３８において抽出された真の動きベクトルに基づいて、撮像部１４のブレ、すなわちデジタルカメラ１０のブレを検出し、表示部４２に表示される被写体像にブレが発生しないように、第１画像データ及び第２画像データを切り出す。切り出された第１画像データ及び第２画像データは、後段に設けられる記録部４０、表示コントローラ４１、及び／又はメインコントローラ３７に入力される。

記録部４０（記録部の一例）は、切り出された第１画像データ及び第２画像データを記録する。なお、第１画像データ、第２画像データ、動きベクトル、確からしさ、及び真の動きベクトルを、対応付けて記録してもよい。

表示コントローラ４１（表示部の一例）は、切り出された第１画像データ及び第２画像データに基づいて広角画像及び望遠画像を表示部４２に表示させる。

メインコントローラ３７はＣＰＵ（Central Processing Unit)等を含む回路により構成され、撮像部１４、画像生成部３２、画像処理部３８、手ブレ補正部３９、記録部４０、表示コントローラ４１、表示部４２、ユーザ操作部４３、及びデジタルカメラ１０を構成するその他の各部に接続されて、各部における処理機能を制御する。各部は、汎用的なＣＰＵにより構成されもよいし、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路や、これらの組み合わせにより構成されてもよい。ユーザ操作部４３は、ユーザによって操作されて各種の指示コマンドが入力される。ユーザ操作部４３に入力された各種の指示コマンドはメインコントローラ３７に送信され、メインコントローラ３７は、指示コマンドに基づいてデジタルカメラ１０の各部を制御する。

〔広角画像及び望遠画像〕
図７及び図８は、それぞれ同時に撮影した広角画像及び望遠画像の一例を示す図であり、広角画像と望遠画像との間で混信が生じていない場合（広角画像光Ｗが第２受光センサ２５ｂに全く入射せず、望遠画像光Ｔが第１受光センサ２５ａに全く入射しない場合）を示している。

これに対し、図９及び図１０は、それぞれ混信が生じている場合の広角画像及び望遠画像の一例を示す図である。図９に示すように、広角画像中に望遠画像が混信しており、本来の被写体像（画像中央の小さな貨物自動車）の他に、混信による偽像（貨物自動車の大きな像）が画像内にうっすらと現れている。一方、図１０に示すように、望遠画像中にも広角画像が混信しており、本来の被写体（画像中央の大きな貨物自動車）の他に、混信による偽像（貨物自動車の小さな像）が画像中央にうっすらと現れている。以下に示す真の動きベクトル抽出は、このような状況を例として説明する。

〔確からしさに基づく真の動きベクトル抽出（その１）〕
確からしさに基づく真の動きベクトル抽出について、まず概念的に説明する。ここでは、説明を簡単にするため、被写体としては図７〜図１０における貨物自動車のみを考慮し、この貨物自動車は静止しているものとしている。

図１１は、広角画像を示す図であり、被写体の輪郭線と、輪郭線上に存在する特徴点について検出された第１の動きベクトル（図中の矢印）とを示している。なお、同図には望遠画像の混信による被写体像は示していない。各動きベクトルの始点は特徴点とし、動きベクトルの確からしさを、動きベクトルの太さで表現している。

ここで、動きベクトルの確からしさとは、検出された動きベクトルがその光学系における真の被写体である信頼度を指標であり、信頼度が高いほど大きな値を有する。図１１では、信頼度が高いほどベクトルの太さを太く示している。確からしさは、動きベクトル検出の基となる輝度信号の強さが反映され、動きベクトルが検出される特徴点の輝度差を用いて定量化することができる。なお、色差の大きさ及び／又は近接する特徴点同士の密度等に基づいて定量化してもよい。

図１２は、望遠画像を示す図であり、混信による広角画像の被写体を示す図である。図１１と同様に、被写体の輪郭線と、輪郭線上に存在する特徴点について検出された第２の動きベクトル（図中の矢印）とを示している。なお、同図には、望遠画像の真の被写体は示していない。同図における被写体像は混信によるものであり、図１１に示す被写体像よりも輝度が低いため、確からしさの値も小さい。したがって、動きベクトルも図１１より細く表現している。

本実施形態では、第１光学系２１と第２光学系２２とは光軸がＬで共通であるため、図１２における混信による偽像の位置は、図１１における被写体像と同位置となる。そこで、図１１の広角画像と図１２の望遠画像とを比較し、これら画像中の同じ位置に同じ向きと同じ大きさを持つ動きベクトルがあった場合は、確からしさの低い方の動きベクトルは混信による偽の動きベクトルであると判断する。このようにして、真の動きベクトルのみを抽出した結果を図１３及び図１４に示す。

図１３は、図１１に示す広角画像から抽出した真の動きベクトルを示す図であり、図１４は、図１２に示す望遠画像から抽出した真の動きベクトルを示す図である。図１１〜図１４に示す例では、広角画像の被写体のみについて説明しているため、図１４に示すように、図１２の望遠画像からは真の動きベクトルは抽出されていない。

〔確からしさに基づく真の動きベクトル抽出（その２）〕
次に、広角画像及び望遠画像に混信による偽像が生じている場合の、真の動きベクトル抽出について説明する。図１５は、図９に示す広角画像から抽出された被写体像（輪郭で表す）及び検出された動きベクトルを示す図であり、本来の被写体像（図中央の小さな貨物自動車像）に加えて望遠画像の混信による偽の被写体像（大きな貨物自動車像）が生じている様子を示している。一方、図１６は、図１０に示す望遠画像から抽出された被写体像（輪郭で表す）及び検出された動きベクトルを示す図であり、本来の被写体像（大きな貨物自動車像）に加えて広角画像の混信による偽の被写体像（図中央の小さな貨物自動車像）が生じている様子を示している。

なお、図１５及び図１６においても、動きベクトルの確からしさをベクトルの太さで表現している。

図１５及び図１６に示す場合も、図１１及び図１２の場合と同様に、画像中の同じ位置に同じ向きと同じ大きさを持つ動きベクトルがあった場合は、確からしさの低い方の動きベクトルは混信による偽の動きベクトルであると判断して、真の動きベクトルを抽出する。図１７は広角画像から抽出された真の動きベクトルを示し、図１８は望遠画像から抽出された真の動きベクトルを示す。

〔手ブレ補正〕
図１９は、デジタルカメラ１０の撮像方法に係る手ブレ補正処理を示すフローチャートである。この処理を行うプログラムは、例えばメインコントローラ３７及び／又は記録部４０に記憶しておくことができる。また、このプログラムのコンピュータ読み取り可能なコードを、記録部として利用可能なＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ハードディスク、及び／又は半導体メモリ等の非一時的記録媒体に記録して用いるようにしてもよい。

まず、ステップＳ１０において、画像生成部３２は、広角画像（第１画像の一例）を示す画像信号及び望遠画像（第２画像の一例）を示す画像信号を撮像素子２４から取得して、第１画像データ及び第２画像データを生成する（画像読み出し工程の一例）。ここでは、時間間隔を空けて連続して複数の第１画像データ及び第２画像データを取得する。

次に、ステップＳ１２において、画像処理部３８は、第１画像データ及び第２画像データのそれぞれについて被写体の動きベクトルを検出する（動きベクトル検出工程の一例）。動きベクトルの検出は、連続して取得した複数の第１画像データのそれぞれにおいて、被写体の第１の特徴点を検出する。そして、対応する特徴点の差分に基づいて、広角画像における動きベクトル（第１の動きベクトルの一例）を検出する。同様に、複数の第２画像データから望遠画像における被写体の第２の特徴点を検出して、望遠画像における動きベクトル（第２の動きベクトルの一例）を検出する。

これまで説明したように、ここで検出される第１の動きベクトル及び第２の動きベクトルは、真の動きベクトルと偽像による偽の動きベクトルとが混在している。また、真の動きベクトルと偽の動きベクトルとは、第１光学系２１及び第２光学系２２の画角の違いにより大きさが異なる。したがって、第１の動きベクトル及び第２の動きベクトルとしては、互いに大きさが異なる複数の動きベクトルが検出される。

図２０は、広角画像と広角画像から検出された第１の動きベクトルとの一例を示す図である。ここでは、広角画像の第１の特徴点における第１の動きベクトルとして、特徴点Ｑｗ１について動きベクトル^→Ｖｗ１が、特徴点Ｑｗ２について動きベクトル^→Ｖｗ２が検出されている。なお、本明細書中、「^→」はベクトルを示すものとする。

また、図２１は、望遠画像と望遠画像から検出された第２の動きベクトルとの一例を示す図である。ここでは、望遠画像の第２の特徴点における第２の動きベクトルとして、特徴点Ｑｔ１について動きベクトル^→Ｖｔ１が、特徴点Ｑｔ２について動きベクトル^→Ｖｔ２が検出されている。

次に、ステップＳ１４において、画像処理部３８は、第１の動きベクトル及び第２の動きベクトルの確からしさを算出する（確からしさ算出工程の一例）。ここでは、第１の動きベクトルである動きベクトル^→Ｖｗ１及び^→Ｖｗ２が広角光学系を通過した光束による動きベクトルである確からしさ（第１の確からしさの一例）をそれぞれＰｗ１及びＰｗ２とし、第２の動きベクトルである動きベクトル^→Ｖｔ１及び^→Ｖｔ２が望遠光学系を通過した光束による動きベクトルである確からしさ（第２の確からしさの一例）をそれぞれＰｔ１及びＰｔ２とする。

確からしさＰｗ１及びＰｔ１は、広角画像中の特徴点Ｑｗ１における輝度信号と、望遠画像中の特徴点Ｑｗ１と同じ位置に存在する特徴点Ｑｔ１（特徴点Ｑｗ１に対応する特徴点Ｑｔ１）における輝度信号とに基づいて算出することができる。同様に、確からしさＰｗ２及びＰｔ２は、広角画像中の特徴点Ｑｗ２における輝度信号と、望遠画像中の特徴点Ｑｗ２と同じ位置に存在する特徴点Ｑｔ２（特徴点Ｑｗ２に対応する特徴点Ｑｔ２）における輝度信号とに基づいて算出することができる。ここでは、Ｐｗ１＞Ｐｔ１、Ｐｗ２＜Ｐｔ２の関係を有しているものとする。

続いて、ステップＳ１６において、画像処理部３８は、真の動きベクトルを抽出する（動きベクトル抽出工程の一例）。図２２は、画像処理部３８によるステップＳ１６の真の動きベクトルを抽出する処理の詳細を示すフローチャートである。

最初に、ステップＳ２２おいて、ステップＳ１２において検出した動きベクトルに基づいて、第１の動きベクトルのリストを作成する。図２０に示した広角画像の例では、動きベクトル^→Ｖｗ１及び^→Ｖｗ２がリストに挙げられる。

同様に、ステップＳ２４おいて、ステップＳ１２において検出した動きベクトルに基づいて、第２の動きベクトルのリストを作成する。図２１に示した望遠画像の例では、動きベクトル^→Ｖｔ１及び^→Ｖｔ２がリストに挙げられる。

次に、ステップＳ２６において、ステップＳ２２及びＳ２４で作成したリストから、広角画像及び望遠画像の同じ位置で、かつ同じ向きを持つベクトル対のリストを作成する。図２０及び図２１の例では、ベクトル対（^→Ｖｗ１，^→Ｖｔ１）及び（^→Ｖｗ２，^→Ｖｔ２）がリストに挙げられる。

続いて、ステップＳ２８において、ベクトル対を構成する各動きベクトルについて確からしさの大小を比較する。ベクトル対を構成する各動きベクトルは、ステップＳ１４において確からしさが算出されている。ベクトル対（^→Ｖｗ１，^→Ｖｔ１）の場合であれば、第１の動きベクトル^→Ｖｗ１の確からしさＰｗ１と第２の動きベクトル^→Ｖｔ１の確からしさＰｔ１との比較を行う。

ステップＳ２８において、第１動きベクトル^→Ｖｗｘ（ｘ＝１，２）の確からしさよりも第２動きベクトル^→Ｖｔｘ（ｘ＝１，２）の確からしさの方が大きい（高い）と判定された場合（第１動きベクトル^→Ｖｗｘ（ｘ＝１，２）の確からしさが第２動きベクトル^→Ｖｔｘ（ｘ＝１，２）の確からしさ以下である場合）は、ステップＳ３０に移行し、このベクトル対の第２の動きベクトルを真の動きベクトルとして抽出する。さらに、第１の動きベクトル^→Ｖｗｘを混信による偽の動きベクトルであると判断し、ステップＳ２２において作成した第１の動きベクトルのリストから削除する。

一方、ステップＳ２８において、第２動きベクトル^→Ｖｔｘの確からしさよりも第１動きベクトル^→Ｖｗｘの確からしさの方が大きいと判定された場合は、ステップＳ３２に移行し、このベクトル対の第１の動きベクトルを真の動きベクトルとして抽出する。さらに、第２の動きベクトル^→Ｖｔｘを混信による動きベクトルであると判断し、ステップＳ２４において作成した第２の動きベクトルのリストから削除する。

ベクトル対（^→Ｖｗ１，^→Ｖｔ１）の場合であれば、Ｐｗ１＞Ｐｔ１であるため、第１の動きベクトル^→Ｖｗ１を真の動きベクトルとして抽出し、第２の動きベクトル^→Ｖｔ１を偽の動きベクトルであるとして、第２の動きベクトルのリストから削除する。

また、ベクトル対（^→Ｖｗ２，^→Ｖｔ２）の場合であれば、Ｐｗ２＜Ｐｔ２であるため、第２の動きベクトル^→Ｖｔ２を真の動きベクトルとして抽出し、第１の動きベクトル^→Ｖｗ２を偽の動きベクトルであるとして、第１の動きベクトルのリストから削除する。

次に、ステップＳ３４において、全てのベクトル対についてステップＳ２８の処理を終了したか否かを判定する。終了していない場合はステップＳ２８に移行し、同様の処理を繰り返す。

全てのベクトル対についてステップＳ２８の処理を終了した場合は、ステップＳ３６に移行し、第１の動きベクトルのリストからステップＳ３０において該当する第１の動きベクトルを削除した第１の真の動きベクトルのリストを作成する。また、同様に、ステップＳ３８において、第２の動きベクトルのリストからステップＳ３２において該当する第２の動きベクトルを削除した第２の真の動きベクトルのリストを作成する。

図１９の説明の戻り、ステップＳ１８において、手ブレ補正部３９は、第１の真の動きベクトルのリスト及び第２の真の動きベクトルのリストに基づいて、撮像部１４のブレ（撮像部の振れの一例）による広角画像の第１のブレ（第１の振れの一例）及び望遠画像の第２のブレ（第２の振れの一例）を検出する（振れ検出工程の一例）。第１の真の動きベクトル及び第２の真の動きベクトルは、撮像部１４のブレによるベクトル成分と、被写体の動きによるベクトル成分とが合成されたものとなっている。撮像部１４のブレによるベクトル成分を検出する手法は、公知の方法を用いることができる。

なお、望遠画像において検出できるブレは、広角画像において検出できるブレよりも分解能が高い。したがって、第２の真の動きベクトルのリストから望遠画像の第２のブレを検出し、検出した第２のブレと第１光学系２１及び第２光学系２２の焦点距離の比に基づいて、広角画像の第１のブレを検出してもよい。また、検出した第１のブレと焦点距離の比に基づいて、望遠画像の第２のブレを検出することもできる。

さらに、ステップＳ１９（電子式振れ補正工程の一例）において、手ブレ補正部３９は、検出した第１のブレ及び第２のブレに応じて画像の切り出しを行う。

図２３は、撮像素子２４の受光面の全体に相当する撮像領域１００と、記録部４０への記録及び／又は表示部４２への表示が行われる切り出し領域１０２とを示す図であり、ここでは第１センサ群２４ａ（図３参照）において撮影される広角画像について示している。また、図２４は、図２３に示す広角画像から時間間隔を空けて撮影された広角画像である。なお、図２３及び図２４では、望遠画像の混信像の図示は省略している。

さらに、この２枚の広角画像から抽出された第１の真の動きベクトルを図２５に示す。手ブレ補正部３９は、第１の真の動きベクトルから第１のブレを検出する。ここでは、被写体の貨物自動車は静止しているため、撮像部１４のブレによる広角画像の第１のブレは、第１の真の動きベクトルと等しい。

手ブレ補正部３９は、広角画像の第１のブレに応じて、画像生成部３２において生成された第１画像データの切り出し領域１０２の位置を決定し、決定した位置で第１画像データを切り出す。ここでは、図２４に示す広角画像の切り出し領域１０２の位置を、図２３に示す切り出し領域１０２の位置から、図２５に示す第１の真の動きベクトルの方向及び量だけ移動させる。

また、図２６は、撮像素子２４の撮像領域１００と切り出し領域１０２とを示す図であり、第２センサ群２４ｂ（図３参照）において撮影される望遠画像について示している。また、図２７は、図２６に示す望遠画像から時間間隔を空けて撮影された望遠画像である。なお、図２６及び図２７では、広角画像の混信像の図示は省略している。

さらに、この２枚の望遠画像から抽出された第２の真の動きベクトルを図２８に示す。手ブレ補正部３９は、第２の真の動きベクトルから第２のブレを検出する。ここでは、撮像部１４のブレによる望遠画像の第２のブレは、第２の真の動きベクトルと等しい。

手ブレ補正部３９は、望遠画像の第２のブレに応じて、画像生成部３２において生成された第２画像データの切り出し領域１０２の位置を決定し、決定した位置で第２画像データを切り出す。ここでは、図２７に示す望遠画像の切り出し領域１０２の位置を、図２６に示す切り出し領域１０２の位置から、図２８に示す第２の真の動きベクトルの方向及び量だけ移動させる。

最後に、ステップＳ２０において、ステップＳ１８で切り出した切り出し領域１０２について記録部４０に記録するとともに、表示コントローラ４１が表示部４２に表示させる。

したがって、図２３に示す広角画像と図２４に示す広角画像とでは、撮像部１４のブレによって真の動きベクトルに相当する像ブレが発生しているにもかかわらず、表示部４２の同じ位置に被写体が表示される。同様に、図２６に示す望遠画像と図２７に示す望遠画像とでは、真の動きベクトルに相当する像ブレが発生しているにもかかわらず、表示部４２の同じ位置に被写体が表示される。

以上説明したように、第１の実施形態に係るデジタルカメラ１０は、確からしさに基づいて真の動きベクトルを抽出し、撮像部１４のブレを検出するので、混信があっても撮像部１４のブレを把握でき、混信に容易に対応することができる。また、検出したブレに基づいて画像の切り出し領域の位置を移動させて切り出した画像を表示部に表示させるので、混信があっても表示及び／又は記録する画像のブレを低減することができる。

また、第１の実施形態において、画像のブレを軽減するには、真の動きベクトルを抽出すればよく、混信を除去した画像を作成する必要はない。すなわち、図９及び図１０のような画像を画像処理して図７及び図８のような画像にする必要はないことに留意すべきである。

〔撮像部の第２の実施形態〕
次に、撮像部の第２の実施形態について説明する。図２９は、第２の実施形態に係る撮像部６１を示す断面図である。同図に示すように、撮像部６１は撮影光学系６２と指向性センサ６７とから構成されている。

撮影光学系６２は、それぞれ同一の光軸Ｌ２上に配置された、第１光学系としての中央部の中央光学系６３と、その周辺部の同心状の第２光学系としての環状光学系６４とから構成されている。

中央光学系６３は、第１レンズ６３ａ、第２レンズ６３ｂ、第３レンズ６３ｃ、第４レンズ６３ｄ、及び共通レンズ６５から構成された広角光学系であり、指向性センサ６７を構成するマイクロレンズアレイ６６上に広角画像を結像させる。

環状光学系６４は、第１レンズ６４ａ、第２レンズ６４ｂ、反射光学系としての第１反射ミラー６４ｃ、第２反射ミラー６４ｄ、及び共通レンズ６５から構成された望遠光学系であり、マイクロレンズアレイ６６上に望遠画像を結像させる。第１レンズ６４ａ及び第２レンズ６４ｂを介して入射した光束は、第１反射ミラー６４ｃ及び第２反射ミラー６４ｄにより２回反射された後、共通レンズ６５を通過する。第１反射ミラー６４ｃ及び第２反射ミラー６４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系の光軸方向の長さを短くしている。

指向性センサ６７は、マイクロレンズアレイ６６とイメージセンサ６８とから構成されている。

図３０は、マイクロレンズアレイ６６及びイメージセンサ６８の要部の断面図及び平面図である。マイクロレンズアレイ６６は、複数のマイクロレンズ（瞳結像レンズ）６６ａが２次元状に配列されて構成されている。１つのマイクロレンズ６６ａの水平方向及び垂直方向の大きさは、それぞれイメージセンサ６８の光電変換素子である受光セル６８ａの３つ分の大きさであり、１つのマイクロレンズ６６ａに対して、格子状（正方格子状）の３×３個の受光セル６８ａが対応して配置されている。以下、１つのマイクロレンズ６６ａ及び１つのマイクロレンズ６６ａに対応する受光セル群（３×３個の受光セル６８ａ）を単位ブロックという。

マイクロレンズアレイ６６の各マイクロレンズ６６ａは、撮影光学系６２の中央光学系６３に対応する円形の中央瞳像（第１の瞳像）６７ａを単位ブロックの中央の受光セル６８ａに結像させ、環状光学系６４に対応する環状瞳像（第２の瞳像）６７ｂを単位ブロックの周囲の８個の受光セル６８ａに結像させる。

このように構成された撮像部６１によれば、中央光学系６３に対応する広角画像と、環状光学系６４に対応する望遠画像（撮影倍率が広角画像よりも大きい画像）とを同時に撮像することができる。

なお、イメージセンサ６８には、各受光セル上に対して配設されたＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ（光学フィルタ）により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像（モザイク画像）をデモザイク処理（同時化処理）することにより、カラーの広角画像及び望遠画像が得られるようになっている。

また、撮像部６１により取得した広角画像及び望遠画像に関して、動きベクトルの検出及び真の動きベクトルの抽出処理は第１の実施形態と同様に行うことができる。これにより、第２の実施形態においても、混信があっても動画像のブレを低減することができる。

〔撮像部の第３の実施形態〕
撮像部の第３の実施形態について説明する。図３１は、第３の実施形態に係る撮像部１１１を示す断面図である。同図に示すように、撮像部１１１は、撮影光学系１１２と、指向性センサ６７とを備えている。指向性センサ６７は図２９及び図３０に示したものと同一である。

撮影光学系１１２は、それぞれ同一の光軸Ｌ３上に配置された中央部の中央光学系１１３（第１光学系）とその周辺部の環状光学系１１４（第２光学系）とから構成されている。中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。一方、環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。

撮影光学系１１２は、図２９に示した撮影光学系６２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点において相違する。

なお、撮像部１１１により取得した広角画像及び望遠画像に関しても、動きベクトルの検出及び真の動きベクトルの抽出処理は第１の実施形態と同様に行うことができる。これにより、第３の実施形態においても、混信があっても動画像のブレを低減することができる。

〔その他〕
以上説明した第１〜第３の実施形態では、第１光学系が中央部に配置された円形の光学系であり第２光学系が第１光学系の周辺部に環状に配置された環状光学系である場合について説明したが、本発明における撮影光学系は、第１，第２光学系が光軸に垂直な面内の異なる領域に配置されたもの（例えば、第１，第２光学系をそれぞれ半月型の光学系とする）でもよい。

また、第１〜第３の実施形態では第１光学系及び第２光学系の焦点距離（撮影画角）が互いに異なる場合について説明したが、第１光学系及び第２光学系において異なる撮像特性としては焦点距離（撮影画角）に限らず、合焦距離及び／又は透過光の周波数が異なっていてもよい。

また、第１〜第３の実施形態では、光学系（第１，第２光学系）の光軸が共通である場合について説明したが、本発明において光学系の光軸は共通でなくてもよい。第１，第２光学系の光軸がゼロでない角度を成している場合は、第１，第２光学系の撮影画角の一部が重なっているようにしてもよい。

また、本発明において光学系の数は２に限らず、３以上でもよい。３以上の光学系を用いる場合、第１あるいは第２光学系がさらに複数の光学系により構成されるようにしてもよい。

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

１０ デジタルカメラ
１１ 撮影光学系
１２ フラッシュ発光部
１３ レリーズボタン
１４ 撮像部
２１ 第１光学系
２１ａ 第１広角用レンズ
２１ｂ 第２広角用レンズ
２１ｃ 第３広角用レンズ
２１ｄ 第４広角用レンズ
２２ 第２光学系
２２ａ 第１望遠用レンズ
２２ｂ 第１望遠用反射体
２２ｃ 第１望遠用反射ミラー
２２ｄ 第２望遠用反射体
２２ｅ 第２望遠用反射ミラー
２３ 共通レンズ
２４ 撮像素子
２４ａ 第１センサ群
２４ｂ 第２センサ群
２５ 受光センサ
２５ａ 第１受光センサ
２５ｂ 第２受光センサ
２６ マイクロレンズ
２７ 中間層
２８ 遮光マスク
２９ フォトダイオード
３２ 画像生成部
３７ メインコントローラ
３８ 画像処理部
３９ 手ブレ補正部
４０ 記録部
４１ 表示コントローラ
４２ 表示部
４３ ユーザ操作部
６１ 撮像部
６２ 撮影光学系
６３ 中央光学系
６３ａ 第１レンズ
６３ｂ 第２レンズ
６３ｃ 第３レンズ
６３ｄ 第４レンズ
６４ 環状光学系
６４ａ 第１レンズ
６４ｂ 第２レンズ
６４ｃ 第１反射ミラー
６４ｄ 第２反射ミラー
６５ 共通レンズ
６６ マイクロレンズアレイ
６６ａ マイクロレンズ
６７ 指向性センサ
６８ イメージセンサ
６８ａ 受光セル
１００ 撮像領域
１０２ 切り出し領域
１１１ 撮像部
１１２ 撮影光学系
１１３ 中央光学系
１１３ａ 第１レンズ
１１３ｂ 第２レンズ
１１４ 環状光学系
１１４ａ レンズ
１１５ 共通レンズ
Ｌ 光軸
Ｌ２ 光軸
Ｌ３ 光軸
Ｑｔ１ 特徴点
Ｑｔ２ 特徴点
Ｑｗ１ 特徴点
Ｑｗ２ 特徴点Ｓ１０〜Ｓ２０ 手振れ補正処理処理
Ｓ２２〜Ｓ３８ 真の動きベクトル抽出処理
Ｔ 望遠画像光
Ｗ 広角画像光α 画角β 画角

Claims (13)

1. それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、前記第１光学系及び前記第２光学系を介して入射する光束をそれぞれ瞳分割して前記複数の画素により選択的に受光する指向性センサと、を有する撮像部と、
   前記第１光学系を介して得られる第１画像の画像信号と前記第２光学系を介して得られる第２画像の画像信号とを前記指向性センサから取得する画像読み出し部と、
   前記第１画像における被写体の動きベクトルである第１の動きベクトルと、前記第２画像における前記被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出部と、
   前記第１の動きベクトルが前記第１光学系を通過した光束による動きベクトルである確からしさを示す第１の確からしさと、前記第２の動きベクトルが前記第２光学系を通過した光束による動きベクトルである確からしさを示す第２の確からしさと、を算出する確からしさ算出部と、
   前記第１の動きベクトルと、前記第２の動きベクトルと、前記第１の確からしさと、前記第２の確からしさと、に基づいて、前記第１画像における前記第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、前記第２画像における前記第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出部と、
   前記第１の真の動きベクトルに基づいて前記撮像部の振れによる前記第１画像の第１の振れを検出し、前記第２の真の動きベクトルに基づいて前記撮像部の振れによる前記第２画像の第２の振れを検出する振れ検出部と、
   を備える撮像装置。
2. 前記第１の振れに基づいて前記第１画像の切り出し領域の位置を移動させて前記切り出した第１画像を表示部に表示させ、前記第２の振れに基づいて前記第２画像の切り出し領域の位置を移動させて前記切り出した第２画像を前記表示部に表示させる電子式振れ補正部を備える請求項１に記載の撮像装置。
3. 前記第１光学系及び前記第２光学系は、一方が広角光学系であり、他方が前記広角光学系と共通の光軸を有し、前記広角光学系より焦点距離が長い望遠光学系である請求項１又は２に記載の撮像装置。
4. 前記振れ検出部は、前記第１光学系及び前記第２光学系の前記焦点距離の比に基づいて、前記第１の振れ及び前記第２の振れを検出する請求項３に記載の撮像装置。
5. 前記動きベクトル検出部は、
   連続して取得した複数の前記第１画像から前記被写体の第１の特徴点を検出して、前記検出した第１の特徴点に基づいて、互いに大きさが異なる複数の前記第１の動きベクトルを検出し、
   連続して取得した複数の前記第２画像から前記被写体の第２の特徴点を検出して、前記検出した第２の特徴点に基づいて、互いに大きさが異なる複数の前記第２の動きベクトルを検出する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記確からしさ算出部は、前記複数の第１の動きベクトルのそれぞれについて前記第１の確からしさを算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の確からしさを算出する請求項５に記載の撮像装置。
7. 前記確からしさ算出部は、前記第１の特徴点における輝度信号と、前記第２の特徴点のうち前記第１の特徴点に対応する特徴点における輝度信号と、に基づいて、前記複数の第１の動きベクトルのそれぞれについて前記第１の確からしさを算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の確からしさを算出する請求項５又は６に記載の撮像装置。
8. 前記動きベクトル抽出部は、
   前記複数の第１の動きベクトルのうちの一の動きベクトルについての前記第１の確からしさが、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の確からしさよりも高い場合は、前記一の動きベクトルに対応する前記第２の動きベクトルは前記第１光学系から前記第２光学系への混信による動きベクトルであると判断して、前記一の動きベクトルを前記第１の真の動きベクトルとして抽出し、
   前記一の動きベクトルについての前記第１の確からしさが、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の確からしさ以下である場合は、前記一の動きベクトルは前記第２光学系から前記第１光学系への混信による動きベクトルであると判断して、前記第２の動きベクトルを前記第２の真の動きベクトルとして抽出する請求項１から７のいずれか１項に記載の撮像装置。
9. 前記撮影光学系は前記第１光学系が中央部に配置され、前記第２光学系が前記第１光学系の周辺部に環状に配置された撮影光学系である請求項１から８のいずれか１項に記載の撮像装置。
10. それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、前記第１光学系及び前記第２光学系を介して入射する光束をそれぞれ瞳分割して前記複数の画素で選択的に受光する指向性センサと、を有する撮像部を備える撮像装置の撮像方法であって、
    前記第１光学系を介して得られる第１画像の画像信号と前記第２光学系を介して得られる第２画像の画像信号とを前記指向性センサから取得する画像読み出し工程と、
    前記第１画像における被写体の動きベクトルである第１の動きベクトルと、前記第２画像における前記被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出工程と、
    前記第１の動きベクトルが前記第１光学系を通過した光束による動きベクトルである確からしさを示す第１の確からしさと、前記第２の動きベクトルが前記第２光学系を通過した光束による動きベクトルである確からしさを示す第２の確からしさと、を算出する確からしさ算出工程と、
    前記第１の動きベクトルと、前記第２の動きベクトルと、前記第１の確からしさと、前記第２の確からしさと、に基づいて、前記第１画像における前記第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、前記第２画像における前記第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出工程と、
    前記第１の真の動きベクトルに基づいて前記撮像部の振れによる前記第１画像の第１の振れを検出し、前記第２の真の動きベクトルに基づいて前記撮像部の振れによる前記第２画像の第２の振れを検出する振れ検出工程と、
    を含む撮像方法。
11. 前記第１の振れに基づいて前記第１画像の切り出し領域の位置を移動させて前記切り出した第１画像を表示部に表示させ、前記第２の振れに基づいて前記第２画像の切り出し領域の位置を移動させて前記切り出した第２画像を前記表示部に表示させる電子式振れ補正工程を備える請求項１０に記載の撮像方法。
12. 請求項１０又は１１に記載の撮像方法を撮像装置に実行させるプログラム。
13. 請求項１２に記載のプログラムのコンピュータ読み取り可能なコードが記録された非一時的記録媒体。