JP6442613B2 - 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 - Google Patents

Description

本発明は撮像装置、撮像方法、プログラム、及び非一時的記録媒体に係り、特に撮像特性が異なる複数の画像を取得できる撮像装置、撮像方法、及びその撮像装置や撮像方法に関するプログラム並びに非一時的記録媒体に関する。

近年、領域により異なる撮像特性を有する光学系及び指向性センサを備える撮像系により、撮像特性が異なる複数の画像を同時に取得可能な撮像装置が知られている。このような撮像装置の用途として、被写体を追跡しつつ撮像する追跡カメラシステムが考えられる。このようなシステムでは撮像特性が異なる複数の画像を同時に取得できるため、追跡精度を向上させたり、追跡逸脱を起こりにくくしたりすることが可能である。

上述した撮像装置では、指向性センサにおいて異なる特性の信号成分（輝度信号）が混信して偽像が生じる可能性がある。一般に画像情報を解析して注目物体を追跡するシステムでは、画像から特徴点を抽出し、その動き情報（動きベクトル）を検出して追跡に利用するため、取得した画像に上述のような偽像が存在すると、偽像の動きを真の像の動きとして誤認識してしまうおそれがある。

また、動き情報（動きベクトル）を検出するアルゴリズムを高性能・高感度にするほど、微弱な輝度信号の混信による偽像でも検出してしまうようになり、被写体の動きを検出する際の影響が大きくなる。

上述した撮像系を備える撮像装置において、混信による影響を防止あるいは低下させるための技術が知られている。例えば特許文献１に記載の撮像装置では、混信による影響を画像処理で除去することが記載されている。また特許文献２に記載の撮像装置では、撮影レンズの表面に遮光帯を形成して焦点領域を分離することにより、画像処理なしでクロストーク（混信）を防止するようにしている。

ＷＯ２０１３−０２４６３６号公報 ＷＯ２０１３−１４６５０６号公報

しかしながら特許文献１や特許文献２のような従来の技術では、混信による影響を除去する度合いを高めようとするとレンズやセンサの加工・製造コストが高くなったり、撮像装置における画像処理の負荷が高くなったりしてしまう上に、混信を完全に除去しきれるものではない。その結果、従来の技術では、上述のように混信に対処して被写体の動きを正しく把握することが困難であった。

本発明はこのような事情に鑑みてなされたもので、混信に容易に対処できる撮像装置、撮像方法、及びそのような撮像装置や撮像方法に関するプログラム並びに非一時的記録媒体を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、第１光学系及び第２光学系を介して入射する光束をそれぞれ瞳分割して複数の画素により選択的に受光する指向性センサと、を有する撮像部と、第１光学系を介して得られる第１画像の画像信号と第２光学系を介して得られる第２画像の画像信号とを指向性センサから取得する画像読み出し部と、第１画像における被写体の動きベクトルである第１の動きベクトルと、第２画像における被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出部と、第１の動きベクトルが第１光学系を通過した光束による動きベクトルである蓋然性を示す第１の蓋然性と、第２の動きベクトルが第２光学系を通過した光束による動きベクトルである蓋然性を示す第２の蓋然性と、を算出する蓋然性算出部と、第１の動きベクトルと、第２の動きベクトルと、第１の蓋然性と、第２の蓋然性と、に基づいて、第１画像における第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、第２画像における第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出部と、を備える。

第１の態様に係る撮像装置では、撮像部が第１，第２光学系及び指向性センサを備えるため、被写体の真の動きベクトルに加えて、混信による偽の動きベクトルが検出される場合、第１，第２の動きベクトルによる第１，第２の蓋然性に基づいて、第１，第２の真の動きベクトルを抽出する。このため、混信があっても真の動きベクトルを抽出して被写体の動きを正しく把握することができる。また、遮光帯を設ける等、混信を防ぐための対策によるコストアップを抑えることができる。このように、第１の態様に係る撮像装置では混信に容易に対処することができる。

なお第１の態様において、「蓋然性」とは動きベクトル検出の基となる輝度信号の強さを反映したものであり、動きベクトルが検出される特徴点の輝度差を用いて定量化することができるが、色差の大きさや、近くの特徴点同士の密度などに基づいて定量化してもよい。

なお第１の態様及び以下の各態様において、光学系の「撮像特性が異なる」とは、広角光学系と望遠光学系のようにレンズの焦点距離（撮影画角）が異なる場合や、合焦距離が異なる場合、可視光と近赤外のように透過光の波長が異なる場合を含む。また第１の態様において、第１，第２光学系は光軸が同一でなくてもよい。

第２の態様に係る撮像装置は第１の態様において、第１光学系及び第２光学系は、一方が広角光学系であり、他方が広角光学系と共通の光軸を有する望遠光学系である。第２の態様は、本発明における光学系の構成の一態様であり、撮影画角の中心が一致した広角画像及び望遠画像を取得できる。

第３の態様に係る撮像装置は第１または第２の態様において、動きベクトル検出部は、連続して取得した複数の第１画像から被写体の第１の特徴点を検出して、検出した第１の特徴点に基づいて、互いに大きさが異なる複数の第１の動きベクトルを検出し、連続して取得した複数の第２画像から被写体の第２の特徴点を検出して、検出した第２の特徴点に基づいて、互いに大きさが異なる複数の第２の動きベクトルを検出する。

第３の態様において「大きさが異なる複数の動きベクトル」が生じることは、例えば第１，第２光学系がそれぞれ広角光学系と望遠光学系である場合、撮影倍率の相違によって、同一の被写体について真の動きベクトルの大きさと混信による動きベクトルの大きさとが異なる状況であると考えられる。なお第３の態様において、複数の第１，第２画像を「連続して取得する」とは、時間間隔をおいて順次画像を撮像し、複数の画像を取得することをいう。また、特徴点としては被写体のエッジやコーナー等、周囲の輝度変化が大きい点を検出することができるが、これらに限定されるものではない。

第４の態様に係る撮像装置は第３の態様において、蓋然性算出部は、複数の第１の動きベクトルのそれぞれについて第１の蓋然性を算出し、複数の第２の動きベクトルのそれぞれについて第２の蓋然性を算出する。第３の態様において「大きさが異なる複数の動きベクトル」を検出するため、第４の態様では検出された複数の動きベクトルのそれぞれについて蓋然性を算出する。

第５の態様に係る撮像装置は第３または第４の態様において、蓋然性算出部は、第１の特徴点における輝度信号と、第２の特徴点のうち第１の特徴点に対応する特徴点における輝度信号と、に基づいて、複数の第１の動きベクトルのそれぞれについて第１の蓋然性を算出し、複数の第２の動きベクトルのそれぞれについて第２の蓋然性を算出する。第５の態様は蓋然性算出の一態様であり、特徴点の輝度信号に基づいて第１，第２の蓋然性を算出する。

第６の態様に係る撮像装置は第１から第５の態様のいずれか１つにおいて、動きベクトル抽出部は、複数の第１の動きベクトルのうちの一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性よりも高い場合、一の動きベクトルに対応する第２の動きベクトルは第１光学系から第２光学系への混信に起因する動きベクトルであると判断して、一の動きベクトルを第１の真の動きベクトルとして抽出し、一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性以下である場合、一の動きベクトルは第２光学系から第１光学系への混信に起因する動きベクトルであると判断して、第２の動きベクトルを第２の真の動きベクトルとして抽出する。

第６の態様は、真の動きベクトル抽出するものである。複数の第１の動きベクトルのうちの一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性よりも高いことは、当該一の動きベクトルに対応する第２の動きベクトルの輝度信号が弱いことであり、当該第２の動きベクトルは混信により生じたものである可能性が高い。従って、第６の態様では、このような場合は第２の動きベクトルは混信によるものと判断して、一の動きベクトルを真の第１の動きベクトルとして抽出する。なお、真の第２の動きベクトルを抽出する場合も同様の判断に基づいて行うことができる。

第７の態様に係る撮像装置は第１から第６の態様のいずれか１つにおいて、撮像部を水平方向及び垂直方向に回動させるパン・チルト機構をさらに備え、パン・チルト機構は抽出した第１の真の動きベクトル及び第２の真の動きベクトルに基づいて撮像部を回動させる。第７の態様では、第１，第２の真の動きベクトルに基づいて撮像部を回動させることによって、混信による偽の動きベクトルがあっても被写体の動きに対応して追跡撮影することが可能である。

第８の態様に係る撮像装置は第７の態様において、パン・チルト機構は、第１画像において検出された被写体が第２画像においても検出されるように撮像部を回動させる。

第１，第２光学系の構成や画像中の被写体の位置及び大きさ等の条件によっては、第１画像において検出された被写体が第２画像において検出されない場合がある。第８の態様では、撮像部を回動させることによって、第１画像において検出された被写体が第２画像においても検出される。

第９の態様に係る撮像装置は第１から第８の態様のいずれか１つにおいて、撮影光学系は第１光学系が中央部に配置され、第２光学系が第１光学系の周辺部に環状に配置された撮影光学系である。第９の態様は第１，第２光学系の配置の一態様である。

第１０の態様に係る撮像装置は第１から第９の態様のいずれか１つにおいて、第１画像、第１の動きベクトル、第１の蓋然性、及び第１の真の動きベクトルと、第２画像、第２の動きベクトル、第２の蓋然性、及び第２の真の動きベクトルと、を表示する表示部を備える。第１０の態様では、撮像装置の使用者は動きベクトルや蓋然性、真の動きベクトルを視認可能である。なお、ベクトルや蓋然性を文字、図形、記号、及びそれらの組み合わせにより表示してよく、また表示の色は適宜設定してよい。

第１１の態様に係る撮像装置は第１０の態様において、表示部は、第１の蓋然性に応じて第１の動きベクトル及び第１の真の動きベクトルを表示し、第２の蓋然性に応じて第２の動きベクトル及び第２の真の動きベクトルを表示する。第１１の態様によれば、抽出された真の動きベクトル及び蓋然性を容易に視認することができる。

第１２の態様に係る撮像装置は第１から第１１の態様のいずれか１つにおいて、第１画像、第１の動きベクトル、第１の蓋然性、及び第１の真の動きベクトルと、第２画像、第２の動きベクトル、第２の蓋然性、及び第２の真の動きベクトルと、を記録する記録部をさらに備える。複数のデータを適宜に関連づけて記録してもよい。

上述した目的を達成するため、本発明の第１３の態様に係る撮像方法は、それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、第１光学系及び第２光学系を介して入射する光束をそれぞれ瞳分割して複数の画素で選択的に受光する指向性センサと、を有する撮像部を備える撮像装置の撮像方法であって、第１光学系を介して得られる第１画像の画像信号と第２光学系を介して得られる第２画像の画像信号とを指向性センサから取得する画像読み出し工程と、第１画像における被写体の動きベクトルである第１の動きベクトルと、第２画像における被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出工程と、第１の動きベクトルが第１光学系を通過した光束による動きベクトルである蓋然性を示す第１の蓋然性と、第２の動きベクトルが第２光学系を通過した光束による動きベクトルである蓋然性を示す第２の蓋然性と、を算出する蓋然性算出工程と、第１の動きベクトルと、第２の動きベクトルと、第１の蓋然性と、第２の蓋然性と、に基づいて、第１画像における第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、第２画像における第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出工程と、を含む。

第１３の態様に係る撮像方法では、第１の態様と同様に混信があっても真の動きベクトルを抽出して被写体の動きを正しく把握することができ、また混信を防ぐための対策によるコストアップを抑えることができる。このように、第１３の態様に係る撮像方法では混信に容易に対処することができる。

第１４の態様に係る撮像方法は第１３の態様において、第１光学系及び第２光学系は、一方が広角光学系であり、他方が広角光学系と共通の光軸を有する望遠光学系である。第１４の態様は、第２の態様と同様に本発明における光学系の構成の一態様であり、画像の中心が一致した広角画像及び望遠画像を取得できる。

第１５の態様に係る撮像方法は第１３または第１４の態様において、動きベクトル検出工程では、連続して取得した複数の第１画像から被写体の第１の特徴点を検出して、検出した第１の特徴点に基づいて、互いに大きさが異なる複数の第１の動きベクトルを検出し、連続して取得した複数の第２画像から被写体の第２の特徴点を検出して、検出した第２の特徴点に基づいて、互いに大きさが異なる複数の第２の動きベクトルを検出する。第１５の態様では第３の態様と同様に、大きさが異なる複数の動きベクトルを検出する。

第１６の態様に係る撮像方法は第１５の態様において、蓋然性算出工程では、複数の第１の動きベクトルのそれぞれについて第１の蓋然性を算出し、複数の第２の動きベクトルのそれぞれについて第２の蓋然性を算出する。第１６の態様では第４の態様と同様に、複数の動きベクトルのそれぞれについて蓋然性を算出する。

第１７の態様に係る撮像方法は第１５または第１６の態様において、蓋然性算出工程では、第１の特徴点における輝度信号と、第２の特徴点のうち第１の特徴点に対応する特徴点における輝度信号と、に基づいて、複数の第１の動きベクトルのそれぞれについて第１の蓋然性を算出し、複数の第２の動きベクトルのそれぞれについて第２の蓋然性を算出する。第１７の態様では、第５の態様と同様に特徴点の輝度信号に基づいて第１，第２の蓋然性を算出する。

第１８の態様に係る撮像方法は第１３から第１７の態様のいずれか１つにおいて、動きベクトル抽出工程では、複数の第１の動きベクトルのうちの一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性よりも高い場合、一の動きベクトルに対応する第２の動きベクトルは第１光学系から第２光学系への混信に起因する動きベクトルであると判断して、一の動きベクトルを第１の真の動きベクトルとして抽出し、一の動きベクトルについての第１の蓋然性が、一の動きベクトルに対応する第２の動きベクトルについての第２の蓋然性以下である場合、一の動きベクトルは第２光学系から第１光学系への混信に起因する動きベクトルであると判断して、第２の動きベクトルを第２の真の動きベクトルとして抽出する。第１８の態様は、第６の態様と同様に真の動きベクトル抽出するものである。

第１９の態様に係る撮像方法は第１３から第１８の態様のいずれか１つにおいて、抽出した第１の真の動きベクトル及び第２の真の動きベクトルに基づいて撮像部を回動させる撮像部回動工程をさらに含み、撮像部回動工程により撮像部を回動させながら、画像読み出し工程と、動きベクトル検出工程と、蓋然性算出工程と、動きベクトル抽出工程と、を繰り返す。第１９の態様では、撮像部回動工程により撮像部を回動させながら、画像読み出し工程と、動きベクトル検出工程と、蓋然性算出工程と、動きベクトル抽出工程と、を繰り返すことにより、被写体を連続して追跡し撮影することができる。

第２０の態様に係る撮像方法は第１９の態様において、撮像部回動工程では、第１画像において検出された被写体が第２画像においても検出されるように撮像部を回動させる。第２０の態様では、第８の態様と同様に、第１画像において検出された被写体が第２画像においても検出されるように撮像部を回動させる。

本発明の第２１の態様は、第１３から第２０の態様のいずれか１つに記載の撮像方法を撮像装置に実行させるプログラムである。第２１の態様に係るプログラムは、ＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）のように撮像装置やレンズ装置の内部に組み込まれるメモリに記憶してもよいし、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc）、ハードディスク、半導体メモリ等の各種光磁気記録媒体（非一時的記録媒体）に記録して用いてもよい。

本発明の第２２の態様は、第２１の態様に記載のプログラムのコンピュータ読み取り可能なコードが記録され、非一時的（non-transitory）記録媒体である。第２２の態様に係る非一時的記録媒体の例としては、ＣＤやＤＶＤ、ＢＤ、ハードディスク、半導体メモリ等の各種光磁気記録媒体を挙げることができる。

本発明の撮像装置、撮像方法、プログラム、及び非一時的記録媒体によれば、混信に容易に対処することができる。

図１は、本発明の一実施形態に係る撮像装置の外観を示す斜視図である。 図２は、本発明の一実施形態に係る撮影光学系及び撮像素子の構成を示す断面図である。 図３は、図２に示す撮像素子の詳細な構成を示す断面図である。 図４は、図２に示す撮影光学系（特に第１光学系）及び撮像素子（特に第１センサ群）に入射する広角画像光の光路を示す図である。 図５は、図２に示す撮影光学系（特に第２光学系）及び撮像素子（特に第２センサ群）に入射する望遠画像光の光路を示す図である。 図６は、本発明の一実施形態に係る撮像装置の機能構成を示すブロック図である。 図７は、理想的な広角画像及び望遠画像の例を示す図である。 図８は、混信が生じている広角画像及び望遠画像の例を示す図である。 図９は、真の動きベクトルを抽出する処理を説明する概念図である。 図１０は、真の動きベクトルを抽出する処理を説明する他の概念図である。 図１１は、真の動きベクトルを抽出する処理を説明するさらに他の概念図である。 図１２は、真の動きベクトルを抽出する処理を説明するさらに他の概念図である。 図１３は、真の動きベクトルを抽出する処理の概要を示すフローチャートである。 図１４は、真の動きベクトルを抽出する処理の詳細を示すフローチャートである。 図１５は、真の動きベクトルを抽出する処理を説明するさらに他の概念図である。 図１６は、撮像部の第２の実施形態を示す断面図である。 図１７は、図１６に示す撮像部における、指向性センサでの受光の様子を示す図である。 図１８は、撮像部の第３の実施形態を示す断面図である。

以下、添付図面に従って本発明に係る撮像装置、撮像方法、プログラム、及び非一時的記録媒体の実施形態について説明する。

＜撮像装置の構成＞
図１は、本発明の一実施形態に係る撮像装置３０を示す斜視図である。図１に示す撮像装置３０では、ギア１９を含む保持部１８と、保持部１８に取り付けられた撮像部１０とが、装置本体１５上に設けられる台座１６に固定的に据え付けられている。撮像部１０は、撮影光学系１１及び指向性センサとして撮像素子２４（図２〜５参照）を備える。台座１６は、装置本体１５の垂直方向Ｚの軸を中心に回転自在に設けられており、パン・チルト機構５２及びパン駆動部５４（図６参照）により垂直方向Ｚの軸を中心にしたパン動作が行われる。ギア１９は水平方向Ｘの軸と同軸上に設けられ、パン・チルト機構５２及びチルト駆動部５６（図６参照）からギア１９を介して駆動力が伝達されることにより、撮像部１０が上下方向に回動させられてチルト動作が行われる。撮像部１０、ギア１９を含む保持部１８及び台座１６は、防塵及び防滴用のドームカバー１７によって覆われている。

＜撮像部の構成＞
図２は、撮影光学系１１及び撮像素子２４の断面構成を示す図である。

撮影光学系１１は、互に異なる特性を有する第１光学系２１及び第２光学系２２を含む。特に本実施形態では、一例として、焦点距離の異なる光学系によって第１光学系２１及び第２光学系２２が構成される。すなわち、本実施形態の撮影光学系１１は、「広角画像撮影レンズ群」によって構成される第１光学系２１と、「望遠画像撮影レンズ群」によって構成される第２光学系２２とを含み、撮像素子２４によって広角画像及び望遠画像を同時に撮影することができる。

図２に示す第１光学系２１は、同一の光軸Ｌ上に配置される第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を含む。一方、第２光学系２２は、第１望遠用レンズ２２ａ、第１望遠用反射ミラー２２ｃが設けられる第１望遠用反射体２２ｂ、第２望遠用反射ミラー２２ｅが設けられる第２望遠用反射体２２ｄ、及び共通レンズ２３を含む。本例の第１光学系２１（特に第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ及び第４広角用レンズ２１ｄ）は、中央光学系を形成する。一方、本例の第２光学系２２（特に第１望遠用レンズ２２ａ、第１望遠用反射体２２ｂ、第１望遠用反射ミラー２２ｃ、第２望遠用反射体２２ｄ及び第２望遠用反射ミラー２２ｅ）は、第１光学系２１が形成する中央光学系の周辺に設けられ、第１光学系２１が形成する中央光学系とともに同心円を形成する。なお共通レンズ２３は、光軸Ｌ上に配置され、第１光学系２１と第２光学系２２との間で共用される。

上記したように撮影光学系１１は、共通の光軸Ｌを有し、相互に異なる焦点距離及び撮影画角を有する第１光学系２１及び第２光学系２２を含む。

撮像素子２４は、光軸Ｌと垂直を形成する方向において、指向性センサとして複数の受光センサ２５が２次元的に配置されることで構成される。特に本実施形態の撮像素子２４は、第１光学系２１を介して入射する広角画像光と第２光学系２２を介して入射する望遠画像光とを同時に受光し、第１画像（ここでは、広角画像）を生成するための第１画像の画像信号（“第１画像信号”ともいう）と第２画像（ここでは、望遠画像）を生成するための第２画像の画像信号（“第２画像信号”ともいう）とを出力可能な指向性センサを構成する。すなわち、本実施形態の撮像素子２４は、第１光学系２１及び第２光学系２２の各々に対応して設けられる複数の受光センサ２５であって、第１光学系２１及び第２光学系２２のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサ２５を有する。

図３は、図２に示す撮像素子２４の詳細な断面構成例を示す図である。

本例の撮像素子２４を構成する複数の受光センサ２５（光電変換素子）は、第１光学系２１に対応する「広角画像用の第１の受光センサ２５ａ」と、第２光学系２２に対応する「望遠画像用の第２の受光センサ２５ｂ」とを含み、これらの第１の受光センサ２５ａ及び第２の受光センサ２５ｂが２次元的に交互に配置されて、撮像素子２４の画素を構成する。撮像素子２４に含まれる複数の第１の受光センサ２５ａは、「第１光学系２１を通過した光を選択的に受光する第１センサ群２４ａ」を構成し、広角画像を生成するための撮像信号を出力する。また撮像素子２４に含まれる複数の第２の受光センサ２５ｂは、「第２光学系２２を通過した光を選択的に受光する第２センサ群２４ｂ」を構成し、望遠画像を生成するための撮像信号を出力する。このように本例の撮像素子２４は、第１光学系２１に対応する第１センサ群２４ａと第２光学系２２に対応する第２センサ群２４ｂとを含む。

第１の受光センサ２５ａ及び第２の受光センサ２５ｂの各々は、マイクロレンズ２６、フォトダイオード２９、及びマイクロレンズ２６とフォトダイオード２９とが配置される中間層２７を有する。中間層２７には遮光マスク２８が設けられており、第１の受光センサ２５ａにおいてフォトダイオード２９の受光面の周辺部に遮光マスク２８が配置され、第２の受光センサ２５ｂにおいてフォトダイオード２９の受光面の中央部に遮光マスク２８が配置される。遮光マスク２８の配置は、第１光学系２１及び第２光学系２２のうちのいずれに対応するかに応じて決定され、各遮光マスク２８は、対応しない光学系からの光をブロックする一方で対応する光学系からの光をブロックすることなくフォトダイオード２９に受光させる。

本例では、遮光マスク２８を含む受光センサ２５によって、第１光学系２１及び第２光学系２２のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサが実現されている。本発明は、この方式に限定することがなく、他の手段によって瞳分割が実現されてもよい。例えば、マイクロレンズ２６の前段（例えばマイクロレンズ２６と共通レンズ２３（図３参照）との間）に遮光マスク２８が設けられてもよいし、遮光マスク２８以外の遮光手段（例えば液晶シャッター等）が用いられてもよい。

なお、中間層２７には遮光マスク２８以外の部材が設けられてもよく、例えば配線或いは回路類が中間層２７に設けられてもよい。

撮像素子２４には、各受光センサ２５に対し配設されたＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ（“光学フィルタ”ともいう、図示せず）により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像（すなわち、モザイク画像）を画像生成部３２（図６参照）がデモザイク処理（“同時化処理”ともいう）することにより、カラーの広角画像及び望遠画像が得られる。

図４は、図２に示す撮影光学系１１及び図３に示す撮像素子２４において、第１光学系２１及び第１センサ群２４ａに入射する広角画像光Ｗの光路を示す図である。本実施形態において広角画像光Ｗは、第１光学系２１の第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を順次通過し、撮像素子２４上の第１センサ群２４ａに広角画像が結像する。

図５は、図２に示す撮影光学系１１及び図３に示す撮像素子２４において、第２光学系２２及び第２センサ群２４ｂに入射する望遠画像光Ｔの光路を示す図である。本実施形態において望遠画像光Ｔは、第１望遠用レンズ２２ａを通過（透過）し、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射された後に共通レンズ２３を通過し、撮像素子２４上の第２センサ群２４ｂに望遠画像が結像する。このように、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第２光学系２２の光軸Ｌの方向において長さを短くすることができる。

図６は、本実施形態に係る撮像装置３０の機能構成例を示すブロック図である。

本例の撮像装置３０は、上述の第１光学系２１及び第２光学系２２を有する撮影光学系１１及び第１センサ群２４ａ及び第２センサ群２４ｂを有する撮像素子２４（）の他に、画像生成部３２、メインコントローラ３７、画像処理部３８、記録部３９、表示コントローラ４０、表示部４１及びユーザ操作部４２を有する。

画像生成部３２（“画像読み出し部”ともいう）は、第１センサ群２４ａから出力される第１画像信号に基づいて第１画像の画像データ（“第１画像データ”ともいう）を生成し、第２センサ群２４ｂから出力される第２画像信号に基づいて第２画像の画像データ（“第２画像データ”ともいう）を生成する。画像生成部３２において生成された第１画像データ及び第２画像データは、例えば、後段に設けられる画像処理部３８、記録部３９及び表示コントローラ４０や、画像生成部３２を制御するメインコントローラ３７に送られる。

動きベクトル検出部、蓋然性算出部、動きベクトル抽出部（図示せず）を含む画像処理部３８蓋然性は、第１画像及び第２画像における被写体を検出し、検出結果に基づいて、被写体の動きベクトル検出、蓋然性算出、及び真の動きベクトル抽出を行う。画像処理部３８による処理については、詳細を後述する。

記録部３９は、第１,第２画像データと、動きベクトル、蓋然性、及び真の動きベクトルとを、対応付けて記録する。

表示コントローラ４０は、送られてくる第１画像データ及び第２画像データに基づいて再現される第１画像の広角画像、第２画像の望遠画像、動きベクトル、蓋然性、真の動きベクトルを表示部４１に表示させる。

パン・チルト装置（電動雲台）５０は、図１に示した撮像部１０を装置本体１５に対して水平方向（すなわち、パン方向）及び垂直方向（すなわち、チルト方向）に回動させるパン・チルト機構５２、パン駆動部５４、及びチルト駆動部５６等を備えている。パン・チルト機構５２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、及びチルト方向の傾き角（すなわち、チルト角）の基準位置を検出するホームポジションセンサを有している。

パン駆動部５４及びチルト駆動部５６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構５２に駆動力を出力し、パン・チルト機構５２を駆動する。

メインコントローラ３７は、撮像部１０、画像生成部３２、画像処理部３８、記録部３９、表示コントローラ４０、表示部４１、ユーザ操作部４２、パン・チルト装置５０、及び撮像装置３０を構成するその他の各部に接続されて、各部における処理機能を制御する。ユーザ操作部４２は、ユーザによって操作されて各種の指示コマンドが入力され、ユーザ操作部４２に入力された各種の指示コマンドはメインコントローラ３７に送信され、メインコントローラ３７は、ユーザ操作部４２からの指示コマンドに基づいて撮像装置３０の各部を制御することができる。

＜広角画像及び望遠画像＞
次に、広角画像及び望遠画像について説明する。図７（ａ），（ｂ）は広角画像及び望遠画像の例を示す図である。図７（ａ）は広角画像であり、図７（ｂ）は望遠画像である。なお図７（ａ），（ｂ）では、広角画像と望遠画像との間で混信が生じていない理想的な広角画像と望遠画像場合の例を示している。

＜混信がある場合の広角画像及び望遠画像＞
一方、混信がある場合の広角画像及び望遠画像の例を図８（ａ），（ｂ）に示す。図８（ａ）は広角画像であり、図８（ｂ）は望遠画像である。図８（ａ）に示すように、広角画像中に望遠画像が混信していて、本来の被写体像（ここでは、画像中央の小さなトラック）の他に、混信による偽像（ここでは、トラックの大きな像）が画像内にうっすらと現れている。一方図８（ｂ）に示すように、望遠画像中にも広角画像が混信していて、本来の被写体（ここでは、画像中央の大きなトラック）の他に、混信による偽像（ここでは、トラックの小さな像）が画像中央にうっすらと現れている。以下に示す真の動きベクトル抽出は、このような状況を例として説明する。

＜蓋然性に基づく真の動きベクトル抽出（その１）＞
蓋然性に基づく真の動きベクトル抽出について、まず概念的に説明する。なおここでは、説明を簡単にするため、被写体としては図７，８におけるトラックのみを考慮し、このトラックが図の左から右に走っているとしている。

図９（ａ）は、広角画像中の被写体像の輪郭線を示す図であり（説明の都合上、望遠画像の混信による被写体像は図示していない）、被写体の輪郭線と、輪郭線上に存在する特徴点について検出された第１の動きベクトル（図中の矢印）と、を示している。各動きベクトルの始点は特徴点としている。なおここでは、動きベクトルの「蓋然性」を、動きベクトルの太さで示している。ここで「蓋然性」とは動きベクトル検出の基となる輝度信号の強さを反映したものであり、動きベクトルが検出される特徴点の輝度差を用いて定量化することができるが、色差の大きさや、近くの特徴点同士の密度などに基づいて定量化してもよい。

図９（ｂ）は、広角画像の被写体像が望遠画像中に混信した様子を示す図である（説明の都合上、望遠画像における真の被写体像は図示していない）。図９（ｂ）における被写体像は混信による像であり輝度が低いため、「蓋然性」を示す動きベクトルの太さも図９（ａ）に示す動きベクトルより細くなっている。

本実施形態では、第１光学系２１と第２光学系２２とは共に光軸がＬで共通なので、図９（ｂ）における混信による被写体の偽像の位置は図９（ａ）における被写体像と同位置となる。そこで、図９（ａ）の広角画像と図９（ｂ）の望遠画像とを比較し、これら画像中の同じ位置に同じ向きと同じ大きさを持つ動きベクトルがあった場合は、蓋然性の低い方の動きベクトルは混信による偽の動きベクトルであると判断する。このようにして真の動きベクトルのみを抽出した結果を示すのが図１０（ａ），（ｂ）である。

図１０（ａ）は、図９（ａ）の広角画像から抽出した真の動きベクトルを示す図である。なお図９，１０に示す例では広角画像中の被写体と広角画像から望遠画像の混信のみについて説明しているので、図１０（ｂ）に示すように、図９（ｂ）の望遠画像（図示せず）からは広角画像に対応する真の動きベクトルは抽出されていない。

＜蓋然性に基づく真の動きベクトル抽出（その２）＞
次に、広角画像及び望遠画像に混信による偽像が生じている場合の、真の動きベクトル抽出について説明する。図１１（ａ）は広角画像から抽出された被写体像（輪郭で表す）及び検出された動きベクトルを示す図であり、本来の被写体像（図中央の小さなトラック像）に加えて望遠画像の混信による偽の被写体像（大きなトラック像）が生じている様子を示している。即ち、図１１（ａ）は図８（ａ）に対応した図である。一方図１１（ｂ）は望遠画像から抽出された被写体像（輪郭で表す）及び検出された動きベクトルを示す図であり、本来の被写体像（大きなトラック像）に加えて広角画像の混信による偽の被写体像（図中央の小さなトラック像）が生じている様子を示している。即ち、図１１（ｂ）は図８（ｂ）に対応した図である。

なお図１１においても、図９（ａ），（ｂ）と同様に動きベクトルの「蓋然性」をベクトルの太さで図示している。

図１１（ａ），（ｂ）に示す場合も、図９（ａ），（ｂ）の場合と同様にして、画像中の同じ位置に同じ向きと同じ大きさを持つ動きベクトルがあった場合は、蓋然性の低い方の動きベクトルは混信による偽の動きベクトルであると判断して、真の動きベクトルを抽出する。そのようにして抽出した動きベクトルを示すのが図１２（ａ），（ｂ）である。図１２（ａ）は広角画像から抽出された真の動きベクトルを示し、図１２（ｂ）は望遠画像から抽出された真の動きベクトルを示す。

＜真の動きベクトル抽出及び被写体追跡＞
次に、撮像装置３０における真の動きベクトル抽出及び被写体追跡の処理について、詳細に説明する。図１３は、真の動きベクトル抽出処理を示すフローチャートである。なお、このような処理を行うプログラムは例えばメインコントローラ３７や記録部３９に記憶しておくことができ、また当該プログラムのコンピュータ読み取り可能なコードをＣＤやＤＶＤ、ＢＤ、ハードディスク、半導体メモリ等の非一時的（non-transitory）記録媒体に記録して用いるようにしてもよい。

まず画像生成部３２（図６参照）は、第１画像の広角画像を示す画像信号と第２画像の望遠画像を示す画像信号とを、撮像素子２４から取得し、広角画像及び望遠画像を生成する（ステップＳ１０；画像読み出し工程）。次にステップＳ１２に進んで、広角画像及び望遠画像のそれぞれについて、被写体の動きベクトルを検出する（動きベクトル検出工程）。なお、これらの処理において広角画像で検出された被写体が望遠画像で検出されない場合は、必要に応じパン・チルト装置５０により撮像部１０を回動させてもよい。

ステップＳ１２の動きベクトル検出工程における広角画像からの動きベクトル検出について説明する。まず、時間間隔を空けて複数の広角画像を取得し、それら複数の広角画像（第１画像）のそれぞれにおいて被写体の特徴点（第１の特徴点）を検出する。そして、対応する特徴点の差分に基づいて、広角画像における動きベクトル（第１の動きベクトル）を検出する。同様に、時間間隔を空けて取得した複数の望遠画像（第２画像）から望遠画像における被写体の特徴点（第２の特徴点）を検出して、望遠画像における動きベクトル（第２の動きベクトル）を検出する。

本実施形態では、広角画像と望遠画像とで画角が異なるため被写体の大きさが異なり、また広角画像と望遠画像とで混信が生じているため、ステップＳ１２の動きベクトル検出工程においては、第１，第２の動きベクトルとも、互いに大きさが異なる複数の動きベクトルが検出される。

次に、ステップＳ１４へ進んで、動きベクトルの蓋然性を算出する（蓋然性算出工程）。ここでは説明を簡単にするため、図１５に示すように広角画像（図１５（ａ））及び望遠画像（図１５（ｂ））のそれぞれにおいて２つの動きベクトルが検出された場合について説明する。なお、図１５中の記号の意味は以下の通りである。

Ｑｗ１，Ｑｗ２：広角画像における特徴点（第１の特徴点）
Ｖｗ１，Ｖｗ２：特徴点Ｑｗ１，Ｑｗ２についての動きベクトル（第１の動きベクトル）
Ｑｔ１，Ｑｔ２：望遠画像における特徴点（第２の特徴点）
Ｖｔ１，Ｖｔ２：特徴点Ｑｔ１，Ｑｔ２についての動きベクトル（第２の動きベクトル）
動きベクトルＶｗ１，Ｖｗ２が広角光学系を通過した光束による動きベクトルであり、対応する蓋然性である第１の蓋然性をそれぞれＰｗ１，Ｐｗ２とし、動きベクトルＶｔ１，Ｖｔ２が望遠光学系を通過した光束による動きベクトルであり、対応する蓋然性である第２の蓋然性をそれぞれＰｔ１，Ｐｔ２とする。

ステップＳ１４では、広角画像における被写体の動きベクトルＶｗ１，Ｖｗ２が広角光学系（第１光学系２１）を通過した光束による動きベクトルである蓋然性Ｐｗ１，Ｐｗ２と、望遠画像における被写体の動きベクトルＶｔ１，Ｖｔ２が望遠光学系（第２光学系２２）を通過した光束による動きベクトルである蓋然性Ｐｔ１，Ｐｔ２と、を算出する。

例えば、蓋然性Ｐｗ１及びＰｔ１は、広角画像中の特徴点Ｑｗ１における輝度信号と、特徴点Ｑｗ１に対応する望遠画像中の特徴点Ｑｔ１における輝度信号とに基づいて算出することができる。同様に、蓋然性Ｐｗ２及びＰｔ２は、広角画像中の特徴点Ｑｗ２における輝度信号と、特徴点Ｑｗ２に対応する望遠画像中の特徴点Ｑｔ２における輝度信号とに基づいて算出することができる。

ステップＳ１４における蓋然性の算出が終了すると、ステップＳ１６に進んで真の動きベクトルを抽出する（動きベクトル抽出工程）。図１４を参照しつつ、ステップＳ１６の処理を詳細に説明する。

まず、ステップＳ２２おいて動きベクトルの候補リストを作成する。この候補リストは、広角画像の動きベクトル（図１５の例ではＶｗ１，Ｖｗ２）及び望遠画像の動きベクトル（Ｖｔ１，Ｖｔ２）から、同じ位置において同じ向きを持つベクトルを抽出し、対にしたリストを作成する。図１５の例では、（Ｖｗ１，Ｖｔ１）と（Ｖｗ２，Ｖｔ２）とがリスト化される。

ステップＳ２２でリスト化された動きベクトルについては、いずれも蓋然性が算出されているので、ステップＳ２４で、リスト化された動きベクトル同士で蓋然性を比較する。具体的には、「広角画像における動きベクトルについての蓋然性が、当該動きベクトルと対応する望遠画像における動きベクトルについての蓋然性よりも、高いか否か」を判断する。図１５の例では、動きベクトルＶｗ１についての蓋然性Ｐｗ１と、動きベクトルＶｔ１についての蓋然性Ｐｔ１を比較する。

ステップＳ２４での判断が肯定された場合（判断結果がＹＥＳ）はステップＳ２６へ進んで、広角画像の動きベクトルを真の動きベクトルとして抽出し、判断が否定された場合（判断結果がＮＯ）はステップＳ２８へ進んで、望遠画像の動きベクトルを真の動きベクトルとして抽出する。図１５の例ではＰｗ１＞Ｐｔ１なのでステップＳ２４での判断が肯定され、動きベクトルＶｔ１は第１光学系２１から第２光学系２２への混信による偽の動きベクトルであると判断して、動きベクトルＶｗ１を真の動きベクトルとして抽出する。また、Ｐｗ２≦Ｐｔ２なので、動きベクトルＶｗ２は第２光学系２２から第１光学系２１への混信による偽の動きベクトルであると判断して、動きベクトルＶｔ２を真の動きベクトルとして抽出する。

このようにステップＳ２２からＳ２８までの処理を繰り返すことにより、真の動きベクトルを抽出することができる。リスト化された全ての動きベクトルについて真の動きベクトルの抽出が終了したら、図１３のフローチャートに戻ってステップＳ１８へ進む。

ステップＳ１８では、動きベクトル、真の動きベクトル、及び蓋然性を、特徴点と関連づけて表示部４１に表示させるとともに、記録部３９に記録する。例えば、図１５に示すように表示し、この情報を記録する。なお図１５では、動きベクトルＶｗ２，Ｖｔ１及び真の動きベクトルＶｗ１，Ｖｔ２を、始点を特徴点Ｑｗ２，Ｑｔ１，Ｑｗ１，Ｑｔ２とし、蓋然性Ｐｗ２，Ｐｔ１，Ｐｗ１，Ｐｔ２に応じた太さで表示している。

なお表示においては、蓋然性に応じて動きベクトルや真の動きベクトルの色を変える（例えば、蓋然性が高いものは青く、低いものは赤くする）ようにしてもよいし、明るさを変える（例えば、蓋然性が高いものほど明るくする）ようにしてもよい。また蓋然性を表す文字、図形、記号などを表示してもよい。

ステップＳ１８での表示及び記録が終了すると、ステップＳ２０に進んで真の動きベクトルＶｗ１，Ｖｔ２の方向及び大きさに基づいて撮像部１０を回動させ（撮像部回動工程）、ステップＳ１０以降の処理を繰り返す。これにより被写体を連続して追跡及び撮影することができる。なおステップＳ２０において、広角画像で検出された被写体が望遠画像で検出されない場合は、必要に応じパン・チルト装置５０により撮像部１０を回動させるようにしてもよい。

以上説明したように、第１の実施形態に係る撮像装置３０では、蓋然性に基づいて真の動きベクトルを抽出するので、混信があっても被写体の動きを把握でき、混信に容易に対処することができる。また真の動きベクトルＶｗ１，Ｖｔ２に基づいて撮像部１０を回動させるので、混信があっても被写体を連続して追跡することができる。

第１の実施形態に係る撮像装置３０は、建造物等に設置して監視カメラとして利用でき、また車両等の移動体に搭載して車載カメラとして利用することもできる。

なお、第１の実施形態では被写体が一つの例について説明しているが、本発明において被写体の数は一に限定されるものではなく、複数の被写体が検出された場合はそれぞれの被写体について真の動きベクトル抽出等の処理を行うことができる。また第１の実施形態において、被写体の動きを把握し連続して追跡するには、真の動きベクトルを抽出すればよく、混信を除去した画像を作成する必要はない（図８のような画像を画像処理して図７のような画像にする必要はない）ことに留意すべきである。

＜撮像部の第２の実施形態＞
次に、本発明における撮像部の第２の実施形態について説明する。図１６は、第２の実施形態に係る撮像部６１を示す断面図である。

図１６に示すように、第２の実施形態に係る撮像部６１は、撮影光学系６２と指向性センサ６７とから構成されている。

＜撮影光学系＞
撮影光学系６２は、それぞれ同一の光軸Ｌ２上に配置された、第１光学系としての中央部の中央光学系６３と、その周辺部の同心円状の第２光学系としての環状光学系６４とから構成されている。

中央光学系６３は、第１レンズ６３ａ、第２レンズ６３ｂ、第３レンズ６３ｃ、第４レンズ６３ｄ、及び共通レンズ６５から構成された広角光学系であり、指向性センサ６７を構成するマイクロレンズアレイ６６上に広角画像を結像させる。

環状光学系６４は、第１レンズ６４ａ、第２レンズ６４ｂ、反射光学系としての第１反射ミラー６４ｃ、第２反射ミラー６４ｄ、及び共通レンズ６５から構成された望遠光学系であり、マイクロレンズアレイ６６上に望遠画像を結像させる。第１レンズ６４ａ、及び第２レンズ６４ｂを介して入射した光束は、第１反射ミラー６４ｃ及び第２反射ミラー６４ｄにより２回反射された後、共通レンズ６５を通過する。第１反射ミラー６４ｃ及び第２反射ミラー６４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系の光軸方向の長さを短くしている。

＜指向性センサ＞
指向性センサ６７は、マイクロレンズアレイ６６とイメージセンサ６８とから構成されている。

図１７は、マイクロレンズアレイ６６及びイメージセンサ６８の要部拡大図である。

マイクロレンズアレイ６６は、複数のマイクロレンズ（瞳結像レンズ）６６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ６８の光電変換素子である受光セル６８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ６６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。

また、マイクロレンズアレイ６６の各マイクロレンズ６６ａは、撮影光学系６２の中央光学系６３及び環状光学系６４に対応する、円形の中央瞳像（第１の瞳像）６７ａ及び環状瞳像（第２の瞳像）６７ｂを、イメージセンサ６８の対応する受光領域の受光セル６８ａ上に結像させる。

図１７に示すマイクロレンズアレイ６６及びイメージセンサ６８によれば、マイクロレンズアレイ６６の１マイクロレンズ６６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル６８ａが割り付けられている。以下、１つのマイクロレンズ６６ａ及び１つのマイクロレンズ６６ａに対応する受光セル群（３×３個の受光セル６８ａ）を単位ブロックという。

中央瞳像６７ａは、単位ブロックの中央の受光セル６８ａのみに結像し、環状瞳像６７ｂは、単位ブロックの周囲の８個の受光セル６８ａに結像する。

上述した構成の撮像部６１によれば、中央光学系６３に対応する広角画像と、環状光学系６４に対応する望遠画像（撮影倍率が広角画像よりも大きい画像）とを同時に撮像することができる。

なお、イメージセンサ６８には、各受光セル上に対して配設されたＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ（光学フィルタ）により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像（モザイク画像）をデモザイク処理（同時化処理）することにより、カラーの広角画像及び望遠画像が得られる。

なお、撮像部６１により取得した広角画像及び望遠画像に関して、動きベクトルの検出や真の動きベクトルの抽出処理は上述した第１の実施形態と同様に行うことができる。これにより第２の実施形態においても、混信があっても被写体の動きを把握でき、混信に容易に対処することができるとともに、被写体を連続して追跡することができる。

＜撮像部の第３の実施形態＞
本発明における撮像部の第３の実施形態について説明する。図１８は、第３の実施形態に係る撮像部１１１を示す断面図である。

撮像部１１１は、撮影光学系１１２と、指向性センサ６７とを備えている。なお、指向性センサ６７は図１６及び図１７に示したものと同一であるため、以下、撮影光学系１１２について説明する。

撮影光学系１１２は、それぞれ同一の光軸Ｌ３上に配置された中央部の第１光学系１１３（中央光学系）とその第２光学系１１４（周辺部の環状光学系）とから構成されている。

中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。一方、環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。

撮影光学系１１２は、図１６に示した撮影光学系６２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点で相違する。

なお、撮像部１１１により取得した広角画像及び望遠画像に関して、動きベクトルの検出や真の動きベクトルの抽出処理は上述した第１，第２の実施形態と同様に行うことができ、これにより第３の実施形態においても、混信があっても被写体の動きを把握でき、混信に容易に対処することができるとともに、被写体を連続して追跡することができる。

＜その他＞
以上説明した第１〜第３の実施形態では、第１光学系が中央部に配置された円形の光学系であり第２光学系が第１光学系の周辺部に環状に配置された環状光学系である場合について説明したが、本発明における撮影光学系は、例えば、第１，第２光学系をそれぞれ半月型の光学系とするように、第１，第２光学系が光軸に垂直な面内の異なる領域に配置されてもよい。

また、第１〜第３の実施形態では第１，第２光学系の焦点距離（撮影画角）が互いに異なる場合について説明したが、第１，第２光学系において異なる撮像特性としては焦点距離（撮影画角）に限らず、合焦距離や透過光の周波数が異なっていてもよい。

また、第１〜第３の実施形態では、光学系（第１，第２光学系）の光軸が共通である場合について説明したが、本発明において光学系の光軸は共通でなくてもよい。第１，第２光学系の光軸がゼロでない角度を成している場合は、第１，第２光学系の撮影画角の一部が重なっているようにしてもよい。

また、本発明において光学系の数は２に限らず、３以上でもよい。３以上の光学系を用いる場合、第１あるいは第２光学系がさらに複数の光学系により構成されるようにしてもよい。

以上で本発明の例に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０，６１，１１１…撮像部、１１，６２，１１２…撮影光学系、２１…第１光学系、２２…第２光学系、２４…撮像素子、２４ａ…第１センサ群、２４ｂ…第２センサ群、３０…撮像装置、３２…画像生成部、３８…画像処理部、３９…記録部、４０…表示コントローラ、４１…表示部、５０…パン・チルト装置、６７…指向性センサ、Ｑｗ１，Ｑｗ２，Ｑｔ１，Ｑｔ２…特徴点、Ｖｗ１，Ｖｗ２，Ｖｔ１，Ｖｔ２…動きベクトル

Claims (22)

1. それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、前記第１光学系及び前記第２光学系を介して入射する光束をそれぞれ瞳分割して前記複数の画素により選択的に受光する指向性センサと、を有する撮像部と、
   前記第１光学系を介して得られる第１画像の画像信号と前記第２光学系を介して得られる第２画像の画像信号とを前記指向性センサから取得する画像読み出し部と、
   前記第１画像における被写体の動きベクトルである第１の動きベクトルと、前記第２画像における前記被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出部と、
   前記第１の動きベクトルが前記第１光学系を通過した光束による動きベクトルである蓋然性を示す第１の蓋然性と、前記第２の動きベクトルが前記第２光学系を通過した光束による動きベクトルである蓋然性を示す第２の蓋然性と、を算出する蓋然性算出部と、
   前記第１の動きベクトルと、前記第２の動きベクトルと、前記第１の蓋然性と、前記第２の蓋然性と、に基づいて、前記第１画像における前記第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、前記第２画像における前記第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出部と、
   を備える撮像装置。
2. 前記第１光学系及び前記第２光学系は、一方が広角光学系であり、他方が前記広角光学系と共通の光軸を有する望遠光学系である、請求項１に記載の撮像装置。
3. 前記動きベクトル検出部は、
   連続して取得した複数の前記第１画像から前記被写体の第１の特徴点を検出して、前記検出した第１の特徴点に基づいて、互いに大きさが異なる複数の前記第１の動きベクトルを検出し、
   連続して取得した複数の前記第２画像から前記被写体の第２の特徴点を検出して、前記検出した第２の特徴点に基づいて、互いに大きさが異なる複数の前記第２の動きベクトルを検出する、
   請求項１または２に記載の撮像装置。
4. 前記蓋然性算出部は、前記複数の第１の動きベクトルのそれぞれについて前記第１の蓋然性を算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の蓋然性を算出する、請求項３に記載の撮像装置。
5. 前記蓋然性算出部は、前記第１の特徴点における輝度信号と、前記第２の特徴点のうち前記第１の特徴点に対応する特徴点における輝度信号と、に基づいて、前記複数の第１の動きベクトルのそれぞれについて前記第１の蓋然性を算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の蓋然性を算出する請求項３または４に記載の撮像装置。
6. 前記動きベクトル抽出部は、
   前記複数の第１の動きベクトルのうちの一の動きベクトルについての前記第１の蓋然性が、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の蓋然性よりも高い場合は、前記一の動きベクトルに対応する前記第２の動きベクトルは前記第１光学系から前記第２光学系への混信に起因する動きベクトルであると判断して、前記一の動きベクトルを前記第１の真の動きベクトルとして抽出し、
   前記一の動きベクトルについての前記第１の蓋然性が、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の蓋然性以下である場合、前記一の動きベクトルは前記第２光学系から前記第１光学系への混信に起因する動きベクトルであると判断して、前記第２の動きベクトルを前記第２の真の動きベクトルとして抽出する、
   請求項１から５のいずれか１項に記載の撮像装置。
7. 前記撮像部を水平方向及び垂直方向に回動させるパン・チルト機構をさらに備え、前記パン・チルト機構は前記抽出した前記第１の真の動きベクトル及び前記第２の真の動きベクトルに基づいて前記撮像部を回動させる、請求項１から６のいずれか１項に記載の撮像装置。
8. 前記パン・チルト機構は、前記第１画像において検出された被写体が前記第２画像においても検出されるように前記撮像部を回動させる、請求項７に記載の撮像装置。
9. 前記撮影光学系は前記第１光学系が中央部に配置され、前記第２光学系が前記第１光学系の周辺部に環状に配置された撮影光学系である、請求項１から８のいずれか１項に記載の撮像装置。
10. 前記第１画像、前記第１の動きベクトル、前記第１の蓋然性、及び前記第１の真の動きベクトルと、前記第２画像、前記第２の動きベクトル、前記第２の蓋然性、及び前記第２の真の動きベクトルと、を表示する表示部を備える、請求項１から９のいずれか１項に記載の撮像装置。
11. 前記表示部は、前記第１の蓋然性に応じて前記第１の動きベクトル及び前記第１の真の動きベクトルを表示し、前記第２の蓋然性に応じて前記第２の動きベクトル及び前記第２の真の動きベクトルを表示する、請求項１０に記載の撮像装置。
12. 前記第１画像、前記第１の動きベクトル、前記第１の蓋然性、及び前記第１の真の動きベクトルと、前記第２画像、前記第２の動きベクトル、前記第２の蓋然性、及び前記第２の真の動きベクトルと、を記録する記録部をさらに備える、請求項１から１１のいずれか１項に記載の撮像装置。
13. それぞれ異なる領域に設けられ、かつ互いに異なる撮像特性を有する第１光学系及び第２光学系からなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を備え、前記第１光学系及び前記第２光学系を介して入射する光束をそれぞれ瞳分割して前記複数の画素により選択的に受光する指向性センサと、を有する撮像部を備える撮像装置の撮像方法であって、
    前記第１光学系を介して得られる第１画像の画像信号と前記第２光学系を介して得られる第２画像の画像信号とを前記指向性センサから取得する画像読み出し工程と、
    前記第１画像における被写体の動きベクトルである第１の動きベクトルと、前記第２画像における前記被写体の動きベクトルである第２の動きベクトルと、を検出する動きベクトル検出工程と、
    前記第１の動きベクトルが前記第１光学系を通過した光束による動きベクトルである蓋然性を示す第１の蓋然性と、前記第２の動きベクトルが前記第２光学系を通過した光束による動きベクトルである蓋然性を示す第２の蓋然性と、を算出する蓋然性算出工程と、
    前記第１の動きベクトルと、前記第２の動きベクトルと、前記第１の蓋然性と、前記第２の蓋然性と、に基づいて、前記第１画像における前記第１光学系を通過した光束による動きベクトルである第１の真の動きベクトルと、前記第２画像における前記第２光学系を通過した光束による動きベクトルである第２の真の動きベクトルと、を抽出する動きベクトル抽出工程と、
    を含む撮像方法。
14. 前記第１光学系及び前記第２光学系は、一方が広角光学系であり、他方が前記広角光学系と共通の光軸を有する望遠光学系である、請求項１３に記載の撮像方法。
15. 前記動きベクトル検出工程では、
    連続して取得した複数の前記第１画像から前記被写体の第１の特徴点を検出して、前記検出した第１の特徴点に基づいて、互いに大きさが異なる複数の前記第１の動きベクトルを検出し、
    連続して取得した複数の前記第２画像から前記被写体の第２の特徴点を検出して、前記検出した第２の特徴点に基づいて、互いに大きさが異なる複数の前記第２の動きベクトルを検出する、
    請求項１３または１４に記載の撮像方法。
16. 前記蓋然性算出工程では、前記複数の第１の動きベクトルのそれぞれについて前記第１の蓋然性を算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の蓋然性を算出する、請求項１５に記載の撮像方法。
17. 前記蓋然性算出工程では、前記第１の特徴点における輝度信号と、前記第２の特徴点のうち前記第１の特徴点に対応する特徴点における輝度信号と、に基づいて、前記複数の第１の動きベクトルのそれぞれについて前記第１の蓋然性を算出し、前記複数の第２の動きベクトルのそれぞれについて前記第２の蓋然性を算出する請求項１５または１６に記載の撮像方法。
18. 前記動きベクトル抽出工程では、
    前記複数の第１の動きベクトルのうちの一の動きベクトルについての前記第１の蓋然性が、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の蓋然性よりも高いときは、前記一の動きベクトルに対応する前記第２の動きベクトルは前記第１光学系から前記第２光学系への混信に起因する動きベクトルであると判断して、前記一の動きベクトルを前記第１の真の動きベクトルとして抽出し、
    前記一の動きベクトルについての前記第１の蓋然性が、前記一の動きベクトルに対応する前記第２の動きベクトルについての前記第２の蓋然性以下であるときは、前記一の動きベクトルは前記第２光学系から前記第１光学系への混信に起因する動きベクトルであると判断して、前記第２の動きベクトルを前記第２の真の動きベクトルとして抽出する、
    請求項１３から１７のいずれか１項に記載の撮像方法。
19. 前記抽出した前記第１の真の動きベクトル及び前記第２の真の動きベクトルに基づいて前記撮像部を回動させる撮像部回動工程をさらに含み、
    前記撮像部回動工程により前記撮像部を回動させながら、前記画像読み出し工程と、前記動きベクトル検出工程と、前記蓋然性算出工程と、前記動きベクトル抽出工程と、を繰り返す請求項１３から１８のいずれか１項に記載の撮像方法。
20. 前記撮像部回動工程では、前記第１画像において検出された被写体が前記第２画像においても検出されるように前記撮像部を回動させる請求項１９に記載の撮像方法。
21. 請求項１３から２０のいずれか１項に記載の撮像方法を撮像装置に実行させるプログラム。
22. 請求項２１に記載のプログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体。