JPWO2016068057A1 - 撮像装置及び対象物認識方法 - Google Patents

Abstract

所望の対象物を容易に望遠光学系で捉え、望遠光学系で捉えた対象物を含む望遠画像により対象物を画像認識することができる撮像装置及び対象物認識方法を提供する。共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、指向性センサと、撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備え、画像取得部が取得した広角画Ｗ１から第１の対象物（人物Ｐ）を検出し、検出した第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を制御し、第１の対象物が広角画像の中心に位置しているときに画像取得部が取得した望遠画像Ｔ２を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物（顔Ｆ）を認識する。

Description

本発明は撮像装置及び対象物認識方法に関し、特に広角画像と望遠画像とを同時に撮像することができる撮像装置及び対象物認識方法に関する。

従来、広角画像と望遠画像とを同時に撮像することができる撮像装置として、特許文献１、２に記載のものがある。

特許文献１、及び２に記載のシステムは、いずれも広角画像を撮像する広角カメラと、電動雲台（パン・チルト装置）に搭載された望遠画像を撮像する望遠カメラとを備える。そして、広角カメラにより撮像された広角画像から追尾の対象物を検出し、検出した対象物の広角画像における位置情報に基づいて電動雲台を回動制御し、望遠カメラにより対象物を自動追尾して望遠撮像することを基本的な構成としている。

また、円形中央部分の狭角のレンズ部とこの円形中央部分を囲む環状部分の広角のレンズ部とが同軸に配置された光学系と、狭角のレンズ部により狭角画像が結像される中央区域と広角のレンズ部により広角画像が結像される周辺区域とを有する画像センサとを備えたカメラを、パン・チルト基台に装着し、トラッキングする対象物をカメラの視野の中心において捉えるようにパン・チルト基台を制御するトラッキングシステムが提案されている（特許文献３）。

これにより、対象物が狭角のレンズ部の視野角から逸脱しても、広角のレンズ部により対象物を捉えることができるため、トラッキング逸脱（tracking dropout）が生じないようにしている。

また、広角像と望遠像とを観察可能なコンタクトレンズが、カリフォルニア大学サンディエゴ校(UCSD) の Joseph Ford により提案されている（非特許文献１）。

このコンタクトレンズの構成をカメラに利用すれば、広角像と望遠像とを得ることができる可能性がある。

特開平１１−６９３４２号公報 特開２００６−３３２２４号公報 特表２００３−５１０６６６号公報

"Photonic Systems Integration Laboratory",インターネット〈URL：http://psilab.ucsd.edu/research/Telescopic Contact Lens/main.html〉

特許文献１、及び２に記載のシステムは、いずれも２台の独立した広角カメラと望遠カメラとを備えることを基本構成としているため、システムが高価になるとともに、大型化するという問題がある。また、広角カメラと望遠カメラの光軸は共通ではなく、それぞれ撮像される広角画像と望遠画像とに視差が生じるため、対象物の距離情報を使って視差補正をしなければ、望遠カメラによって確実に対象物を捉えることができない。更に、広角カメラは固定されているため、広角画像の画角を越えて対象物が移動すると、望遠カメラにより対象物を捉えることができないという問題がある。

一方、特許文献３に記載のトラッキングシステムは、円形中央部分の狭角のレンズ部により撮像される狭角画像と、環状部分の広角のレンズ部により撮像される広角画像（歪曲収差が補正されていない魚眼画像）とを滑らかにつなぐような光学系の設計が困難である。そのため、狭角画像と広角画像との境界部分の対象物のトラッキングが難しいという問題がある。

その上、画像センサ上においては、狭角画像と広角画像とが重複（バッティング）してしまう。それを避けるために光学的な遮蔽及び/又は分離機構を設けると、広角画像はドーナツ状になり、広角画像の真ん中部分は欠落して撮像できない。

また、円形中央部分を望遠レンズとし、環状部分を広角レンズとした場合、これらのレンズにより撮像される望遠画像と広角画像とを滑らかにつなぐような光学系の設計は困難である上に、望遠画像と広角画像との境界には撮像されない領域が発生する。

非特許文献１に記載のコンタクトレンズは、広角像と望遠像の視差の問題を解決することができるものの、広角像と望遠像の二つの像を分離獲得するために、切替えシャッタが必要であり、そのためシステムが複雑になっている。更に、両像を同じタイミングにより取得することができないので、望遠像を取得している間は広角像の情報を取得することができず、トラッキングの精度が低下するという欠点がある。

本発明はこのような事情に鑑みてなされたもので、所望の対象物を容易に望遠光学系により捉えることができ、望遠光学系により捉えた対象物を含む望遠画像により対象物を画像認識することができる撮像装置及び対象物認識方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る撮像装置は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、画像取得部が取得した広角画像を画像処理し、広角画像から第１の対象物を検出する対象物検出部と、対象物検出部により検出された第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を制御し、第１の対象物を広角画像の中心に位置させるパン・チルト制御部と、パン・チルト制御部によりパン・チルト機構が制御され、第１の対象物が広角画像の中心に位置しているときに画像取得部が取得した望遠画像を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物を認識する画像認識部と、を備えている。

本発明の一の態様によれば、上記構成の撮像光学系及び指向性センサを含む撮像部（単一の撮像部）により、光軸が共通の広角画像と望遠画像とを同時に取得することができる。取得した広角画像に基づいて第１の対象物を検出し、検出した第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を制御し、第１の対象物を広角画像の中心に位置させると、広角光学系と望遠光学系とは共通する光軸を有するため、第１の対象物又は第１の対象物の近傍の第２の対象物も望遠画像内に入れることができる。即ち、広角画像を使用して第１の対象物が広角画像の中心に位置するようにパン・チルト機構を制御することにより、第１の対象物又は第１の対象物の近傍の第２の対象物を容易に望遠光学系により捉えることができる。そして、第１の対象物又は第１の対象物の近傍の第２の対象物が拡大して撮像された望遠画像に基づいて画像認識することにより、第１の対象物又は第２の対象物を良好に画像認識できるようにしている。

本発明の他の態様に係る撮像装置において、画像認識部は、第１の対象物が複数の場合、撮像装置から最も近い第１の対象物を優先して認識することが好ましい。

本発明の更に他の態様に係る撮像装置において、対象物検出部は、広角画像から複数の対象物を検出すると、撮像装置から最も近い対象物を第１の対象物として検出することが好ましい。

本発明の更に他の態様に係る撮像装置において、対象物検出部は、画像取得部が連続して取得した広角画像に基づいて動体を画像認識し、画像認識した動体を第１の対象物として検出する動体検出部を備え、画像認識部は、対象物検出部により複数の対象物が検出され、かつ動体検出部により動体が検出されると、検出された動体を優先して認識することが好ましい。複数の対象物が検出され、かつ複数の対象物の一つが動体として検出されている場合には、動体を優先して認識する。

本発明の更に他の態様に係る撮像装置において、画像認識部は、望遠画像から人物の顔画像を抽出し、抽出した顔画像に基づいて個人を特定する顔認識（顔認証）を行うようにしている。望遠画像により拡大された顔画像を取得することができるため、顔認証の精度を上げることができる。

本発明の更に他の態様に係る撮像装置において、画像認識部は、望遠画像から車両のナンバープレートの画像を抽出し、抽出したナンバープレートの画像に基づいて車両のナンバーを特定する画像認識を行うようにしている。望遠画像により拡大されたナンバープレートの画像を取得することができるため、車両のナンバーを特定する画像認識（文字認識）の精度を上げることができる。

本発明の更に他の態様に係る撮像装置において、画像認識部により認識した第１の対象物又は第２の対象物の認識情報を出力する出力部を備えることが好ましい。

本発明の更に他の態様に係る撮像装置において、対象物検出部は、画像取得部が連続して取得した広角画像に基づいて動体を画像認識し、画像認識した動体を第１の対象物として検出する動体検出部を備え、第１の対象物又は第２の対象物の認識情報を出力するとき、動体検出部により第１の対象物が動体であると検出されると、望遠画像を所定時間保持する画像保持部と、を備えることが好ましい。動体を望遠画像により表示すると、像ブレが大きくなるため、第１の対象物又は第２の対象物の認識情報を出力する場合には、望遠画像を所定時間保持し、これにより望遠画像をホールドすることにより像ブレを防止するようにしている。

本発明の更に他の態様に係るにおいて、画像認識部は、望遠画像から人物の顔画像を抽出し、又は望遠画像から車両のナンバープレートの画像を抽出し、出力部は、画像認識部により望遠画像から人物の顔画像が抽出され、又は望遠画像から車両のナンバープレートの画像が抽出されると、望遠画像から抽出された顔画像又はナンバープレートの画像をトリミングし、トリミングした画像のみを表示部に出力することが好ましい。動体を望遠画像により表示すると、像ブレが大きくなるため、第１の対象物又は第２の対象物の認識情報を出力する場合には、望遠画像からトリミングした画像のみを表示部に表示することにより像ブレを防止するようにしている。

本発明の更に他の態様に係る撮像装置において、出力部は、認識情報を記録する情報記録部及び認識情報を表示する表示部のうちの少なくとも１つに認識情報を出力することが好ましい。これにより、第１の対象物又は第２の対象物の認識情報を表示部に表示し、又は情報記録部に記録することができる。

本発明の更に他の態様に係る撮像装置において、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも望遠画像を記録する画像記録部を備えることが好ましい。これにより、画像記録部により記録された望遠画像により所望の第１の対象物又は第２の対象物を事後的に確認することができる。

本発明の更に他の態様に係る撮像装置において、対象物検出部は、画像取得部が取得した広角画像に基づいて第１の対象物を画像認識し、第１の対象物を検出することができる。例えば、第１の対象物が人物である場合には、人物又は人物の顔を認識することにより、第１の対象物を検出することができる。

本発明の更に他の態様に係る撮像装置において、対象物検出部は、画像取得部が連続して取得した広角画像をリアルタイムに画像処理し、広角画像から第１の対象物を連続して検出し、パン・チルト制御部は、対象物検出部により連続して検出された第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を連続して制御し、第１の対象物を広角画像の中心に保持させることが好ましい。これにより、第１の対象物を追尾することができ、追尾中の望遠画像を複数取得することにより、画像認識をより適切に行うことができる。

本発明の更に他の態様に係る撮像装置において、広角光学系は円形の中央光学系であり、望遠光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。回転対称の広角光学系及び望遠光学系にすることにより、広角画像と望遠画像との間に視差が発生せず、かつ回転対称でない光学系に比べて画質のよい広角画像及び望遠画像を取得することができる。

本発明の更に他の態様に係る撮像装置において、環状光学系は、光束を２回以上反射させる反射光学系を有することが好ましい。これにより、環状光学系の光軸方向の寸法を短くすることができ、撮像部をコンパクトにすることができる。

本発明の更に他の態様に係る撮像装置において、望遠光学系は円形の中央光学系であり、広角光学系は中央光学系に対して同心円状に配設された環状光学系にすることができる。

本発明の更に他の態様に係る撮像装置において、望遠光学系の焦点調整を行う焦点調整部を有することが好ましい。望遠光学系は、広角光学系に比べて被写界深度が浅く、ボケやすいため、焦点調整を行うことが好ましい。尚、広角光学系にも焦点調整部を設けてもよいし、広角光学系には焦点調整部を設けず、広角光学系をパンフォーカスとしてもよい。

本発明の更に他の態様に係る撮像装置及び対象物認識方法において、指向性センサは、瞳分割手段として機能するマイクロレンズアレイ又は遮光マスクを有するものとすることができる。

本発明の更に他の態様に係る対象物認識方法は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備えた撮像装置を使用し、画像取得部が取得した広角画像を画像処理し、広角画像から第１の対象物を検出するステップと、検出された第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を制御し、第１の対象物を広角画像の中心に位置させるステップと、第１の対象物が広角画像の中心に位置しているときに画像取得部が取得した望遠画像を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物を認識するステップと、を含んでいる。

本発明によれば、共通する光軸を有する広角光学系と望遠光学系とを有する撮像光学系及び指向性センサを介して撮像された広角画像と望遠画像とは光軸方向が一致しているため、視野角の広い広角画像に基づいて所望の対象物を検出し、検出した対象物が広角画像の中心に位置するようにパン・チルト機構を制御することにより、対象物を視野角の狭い望遠画像内に入れることができる。このようにパン・チルト機構を制御して撮像した望遠画像を画像認識することにより、拡大して撮像された対象物を良好に画像認識することができる。

本発明に係る撮像装置及び対象物認識方法の外観斜視図 撮像装置及び対象物認識方法の撮像部の第１の実施形態を示す断面図 図２に示したマイクロレンズアレイ及びイメージセンサの要部拡大図 イメージセンサに配設されたカラーフィルタ配列等を示す図 撮像装置の内部構成の実施形態を示すブロック図 同時に撮像された広角画像及び望遠画像の一例を示す図 本発明に係る対象物認識方法の実施形態を示すフローチャート 画像認識部における画像認識の第１の実施形態を示すフローチャート 画像認識部における画像認識の第２の実施形態を示すフローチャート 同時に撮像された広角画像及び望遠画像の他の例を示す図 同時に撮像された広角画像及び望遠画像の更に他の例を示す図 複数の対象物が検出された場合に優先して認識される対象物を示す図 複数の対象物が検出された場合に第１の対象物として検出される対象物を含む広角画像及び望遠画像の例を示す図 動体と静体の複数の対象物が検出された場合に優先して認識される対象物を示す図 指向性センサの他の実施形態を示す側面図 撮像装置に適用可能な撮像光学系の他の実施形態を示す断面図 撮像装置に適用可能な撮像光学系の更に他の実施形態を示す断面図

以下、添付図面に従って本発明に係る撮像装置及び対象物認識方法の実施の形態について説明する。

＜撮像装置の外観＞
図１は本発明に係る撮像装置の外観斜視図である。

図１に示すように撮像装置１０は、主として装置本体２と、撮像部１１と、パン・チルト装置３０（図５）と、撮像部１１を覆うドームカバー６とを有している。

パン・チルト装置３０は、台座４と、台座４に固定されるとともに、撮像部１１を回動自在に保持する保持部８とを有している。

台座４は、装置本体２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図５）により垂直方向Ｚの軸を中心にして回転する。

保持部８は、水平方向Ｘの軸と同軸上に設けられたギア８Ａを有し、チルト駆動部３６（図５）からギア８Ａを介して駆動力が伝達されることにより、撮像部１１を上下方向に回動（チルト動作）させる。

ドームカバー６は、防塵及び防滴用のカバーであり、撮像部１１の光軸Ｌの方向にかかわらず、撮像部１１の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、装置本体２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

［撮像部の構成］
図２は、撮像装置１０の撮像部１１の第１の実施形態を示す断面図である。

図２に示すように、撮像部１１は、撮像光学系１２と指向性センサ１７とから構成されている。

＜撮像光学系＞
撮像光学系１２は、共通する光軸Ｌを有する広角光学系１３と望遠光学系１４とから構成されており、広角光学系１３は、光軸Ｌを中心とする円形の中央光学系であり、望遠光学系１４は、光軸Ｌを中心とする環状光学系であり、中央光学系（広角光学系１３）の周辺部の同心円状に設けられている。

広角光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角レンズであり、指向性センサ１７を構成するマイクロレンズアレイ１６上に広角画像を結像させる。

望遠光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠レンズであり、マイクロレンズアレイ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系１４の光軸方向の長さを短くしている。尚、この実施形態の望遠光学系１４は、２つの第１反射ミラー１４ｃ、第２反射ミラー１４ｄを有しているが、これに限らず、３以上の反射ミラー（反射光学系）を有するものでもよい。

＜指向性センサ＞
指向性センサ１７は、マイクロレンズアレイ１６とイメージセンサ１８とから構成されている。

図３は、マイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。

マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズ１６ａの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。

また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮像光学系１２の広角光学系１３及び望遠光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。

図３に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。

中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。

上記構成の撮像部１１によれば、後述するように光軸方向が一致する広角画像と望遠画像とを同時に取得することができる。

［イメージセンサの実施形態］
図４は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図４上で、マイクロレンズアレイ１６は省略されているが、円形により示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。

図４（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。

このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。

図４（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢＬ（図４（ａ）の太枠で示したブロック、及び図４（ｂ）参照）とし、基本ブロックＢＬが水平方向及び垂直方向に繰り返し配置されて構成されている。

図４（ｂ）に示すように基本ブロックＢＬは、４個の単位ブロックＢＬ１〜Ｂ４により構成されている。

図４（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢＬ１〜Ｂ４の中央の受光セル（図３に示した広角光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図３に示した望遠光学系１４を通過した光速が入射する受光セル）のグループとを示す。

図４（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。

一方、図４（ｃ２）に示すように、単位ブロックＢＬ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢＬ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。

具体的には、各単位ブロックＢＬ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。

また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。

これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、望遠光学系１４（環状光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。

＜撮像装置の内部構成＞
図５は、撮像装置１０の内部構成の実施形態を示すブロック図である。

図５に示すように撮像装置１０は、図２において説明した広角光学系１３及び望遠光学系１４を有する撮像光学系１２と、図３及び図４において説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７と、からなる撮像部１１を備えている。

この撮像部１１は、望遠光学系１４（環状光学系）の焦点調整を行う焦点調整部１９を備えることが好ましい。焦点調整部１９は、例えば、望遠光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系１３（中央光学系）については、別途、焦点調整部を設けるようにしてよいし、焦点調整部を設けずに広角光学系１３をディープフォーカス（パンフォーカス）となるように構成してもよい。

パン・チルト装置（電動雲台）３０は、図１に示したように撮像部１１を装置本体２に対して水平方向（パン方向）に回転させるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。

撮像部１１は、撮像光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮像光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。尚、イメージセンサ１８は、ＣＭＯＳ型イメージセンサに限らず、ＣＣＤ（Charge Coupled Device）型イメージセンサでもよい。

このイメージセンサ１８からは、広角光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、望遠光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。また、イメージセンサ１８からは、所定のフレームレート（例えば、２４fps(frame per second)、３０fps，又は６０fps）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。

イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ（Analog/Digital)変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。

画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。

即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。

尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。

画像取得部２２により取得された広角画像を示す画素信号は、それぞれデジタル信号処理部４０及び対象物検出部５０に出力され、画像取得部２２により取得された望遠画像を示す画素信号は、それぞれデジタル信号処理部４０及び画像認識部５２に出力される。例えば、画像取得部２２、デジタル信号処理部４０、対象物検出部５０、画像認識部５２、パン・チルト制御部６０は、一つ又は複数のＣＰＵ（Central processing unit）により構成され、当該ＣＰＵに撮像装置１０内に供えられた図示しない記録部に保存されているプログラムをロードされることにより動作する。

デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。

即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。

一方、望遠画像は、図４（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。

上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。

また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。

デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ画像記録部に相当する記録部４２及び表示部４４に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、望遠画像のみを記録するようにしてもよい。

表示部４４は液晶ディスプレイ等により構成され、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。また、表示部４４の代わりに、撮像装置１０に接続されたモニタ等に画像を表示させても良い。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び望遠画像を再生することもできる。

一方、対象物検出部５０は、画像取得部２２が連続して取得した広角画像をリアルタイムに画像処理し、広角画像内の所望の対象物（第１の対象物）を検出し、検出した第１の対象物の広角画像中における位置情報（広角画像の中心位置を原点とするＸＹ座標系上の第１の対象物の位置を示す位置情報）を、パン・チルト制御部６０に出力する。

対象物検出部５０における第１の対象物の検出方法としては、動体を第１の対象物として検出する動体検出方法、人物の顔認識を行う技術に代表される対象物認識技術により特定の対象物を検出する方法、パターン認識技術を使い特定の形状（例えば、人物形状、車両形状）だけを検出するパターン認識方法などがある。

動体検出方法は、画像取得部２２により取得された時系列の広角画像のうちの前後の２枚の広角画像の差分（フレーム間差分）などの差分画像を利用する方法である。尚、差分画像は、動体（対象物）の移動により生じた画像であり、対象物検出部５０は、差分画像の重心位置を動体（対象物）の広角画像中の位置とすることができる。

対象物認識による対象物の検出方法は、特定の対象物の見え方の特徴を対象物辞書（対象物が顔の場合には、顔辞書）として予め登録しておき、撮像された画像から位置や大きさを変えながら切り出した画像と、対象物辞書とを比較しながら対象物を認識する方法である。

対象物指示部５６は、対象物検出部５０で検出する対象物を設定し、又は対象物の検出方法を指定する部分であり、対象物検出部５０は、対象物指示部５６により設定された対象物（第１の対象物）を検出する。対象物指示部５６はタッチパネルにより構成され、ユーザから対象物の入力を受け付けても良いし、撮像装置１０に接続されたコンピュータ等からの対象物指示が入力されても良い。尚、対象物検出部５０により検出される第１の対象物が、特定の対象物（１種類の対象物）の場合には、対象物指示部５６は不要である。

対象物検出部５０により検出された対象物（第１の対象物）の、広角画像中の位置情報は、パン・チルト制御部６０に出力される。

パン・チルト制御部６０は、対象物検出部５０から入力する広角画像中の第１の対象物の位置情報に基づいてパン・チルト装置３０を制御する部分であり、第１の対象物の広角画像中の第１の対象物の位置が広角画像の中心位置（光軸上の位置）に移動するように、パン駆動部３４及びチルト駆動部３６を介してパン・チルト機構３２（即ち、撮像部１１による撮像方向）を制御する。

上記のパン・チルト機構３２の制御により、第１の対象物（例えば、人物又は顔等）が広角画像の中心にくるように、対象物を自動追尾して撮像することができる。

図６は、同時に撮像された広角画像及び望遠画像を示す図であり、図６（Ａ１）及び（Ｂ１）は、それぞれパン・チルト制御開始前の広角画像及び望遠画像を示し、図６（Ａ２）及び（Ｂ２）は、それぞれパン・チルト制御後（自動追尾中）の広角画像及び望遠画像を示している。

図６に示す例では、対象物検出部５０により広角画像の中から検出する第１の対象物は人物Ｐであり、パン・チルト制御部６０は、対象物検出部５０により検出された人物Ｐが、広角画像の中心にくるようにパン・チルト装置３０を制御する。

図６（Ａ１）及び（Ｂ１）に示すパン・チルト制御開始前の時点では、人物Ｐは広角画像Ｗ１の中に入っているが、望遠画像Ｔ１の中には入っていない。

図６（Ａ２）及び（Ｂ２）に示すようにパン・チルト制御が行われ、人物Ｐが広角画像Ｗ２の中心に位置するようになると、人物Ｐは望遠画像Ｔ２により捉えることができる。これは、図２に示した撮像光学系１２の広角光学系１３と望遠光学系１４とは共通する光軸Ｌを有するためである。

図５に戻って、画像認識部５２は、第１の対象物が広角画像の中心に位置しているときに画像取得部２２が取得した望遠画像を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物を認識する。

画像認識部５２は、対象物検出部５０により検出された第１の対象物の広角画像中における位置情報に基づいて、第１の対象物が広角画像の中心に位置しているか否かを判別することができる。尚、第１の対象物が広角画像の中心に位置しているとは、広角画像の略中心に位置している場合を含み、第１の対象物が望遠画像により捉えられる程度に、第１の対象物が広角画像の中心に位置している場合をいう。

また、画像認識部５２には、対象物指示部５６から画像認識すべき対象物、又は認識内容を示す情報が加えられており、画像認識部５２は、第１の対象物が広角画像の中心に位置しているとき（即ち、第１の対象物が望遠画像により捉えられているとき）、画像取得部２２が取得した望遠画像を画像認識し、対象物指示部５６から入力する情報に基づいて望遠画像内の第１の対象物又は第１の対象物の近傍の第２の対象物の画像認識を行う。

ここで、第１の対象物の近傍の第２の対象物とは、第１の対象物の一部又は第１の対象物に隣接する対象物をいい、例えば、第１の対象物が「人物」の場合、第２の対象物は、「人物」の「顔」が該当する。また、画像認識の一例としては、対象物検出部５０から入力する認識内容を示す情報が「顔認証」の場合には、画像認識部５２は、画像取得部２２が取得した望遠画像から顔画像を抽出し、抽出した顔画像に基づいて個人を特定する顔認識を行う。尚、画像認識部５２が特定の画像認識（１種類の画像認識）のみを行う場合には、対象物指示部５６は不要であり、画像認識部５２により認識された顔画像等が認識結果となる。また、顔画像の抽出においては主成分分析を使った固有顔や線形判別分析等の公知のアルゴリズムが用いられて良い。

画像認識部５２により画像認識された認識結果（第１の対象物又は第２の対象物の認識情報）は、出力部５４から撮像装置１０内の記録部４２又は外部の情報記録部（図示せず）に出力され、記録部４２等に記録される。また、画像認識部５２により画像認識された認識結果は、出力部５４から撮像装置１０内の表示部４４又は外部の表示部（図示せず）に出力され、表示部４４等に表示される。

＜対象物認識方法＞
図７は、本発明に係る対象物認識方法の実施形態を示すフローチャートである。

図７において、画像取得部２２は、撮像部１１により同時に撮像される広角画像と望遠画像のうちの広角画像を取得する（ステップＳ１０）。対象物検出部５０は、画像取得部２２により取得された広角画像から第１の対象物を検出する（ステップＳ１２）。尚、第１の対象物は、対象物指示部５６により指定された対象物でもよいし、予め設定された特定の対象物でもよい。また、第１の対象物は、第１の対象物が動体の場合には、フレーム間差分などの差分画像を使用した動体検出方法により検出し、第１の対象物が人物の「顔」の場合には、人物の顔認識を行う技術に代表される対象物認識技術により検出し、第１の対象物が特定の形状を有する場合には、パターン認識技術を使用して検出することができる。

対象物検出部５０は、検出した第１の対象物の広角画像中の位置情報を算出する（ステップＳ１４）。

続いて、パン・チルト制御部６０は、対象物検出部５０から第１の対象物の広角画像中の位置情報を入力し、入力した位置情報に基づいて対象物が広角画像の中心にくるようにパン・チルト装置３０を制御する（ステップＳ１６）。

次に、画像認識部５２は、第１の対象物が広角画像の中心に位置しているか否かを判別する（ステップＳ１８）。第１の対象物が広角画像の中心に位置していない場合（「No」の場合）には、ステップＳ１０に戻り、ステップＳ１０からステップＳ１８の処理を繰り返す。

第１の対象物が広角画像の中心に位置している場合（「Yes」の場合）、画像認識部５２は、撮像部１１により同時に撮像される広角画像と望遠画像のうちの望遠画像を、画像取得部２２を介して取得し（ステップＳ２０）、取得した望遠画像に基づいて第１の対象物又は第１の対象物の近傍の第２の対象物を画像認識する（ステップＳ２２）。尚、ステップＳ２２における画像認識の具体例については、後述する。

出力部５４は、画像認識部５２により画像認識された第１の対象物又は第２の対象物の認識情報を、記録部４２又は表示部４４等に出力する（ステップＳ２４）。これにより、第１の対象物又は第２の対象物の認識情報を記録し、又は表示することができる。

［画像認識の第１の実施形態］
図８は、画像認識部５２における画像認識の第１の実施形態を示すフローチャートであり、図７に示したステップＳ２２での処理内容を示す図である。

図８に示す第１の実施形態は、第１の対象物が「人物」であり、第１の対象物の近傍の第２の対象物が「人物」の「顔」の場合に関して示している。

図８において、画像認識部５２は、図６（Ｂ２）に示した望遠画像Ｔ２から人物Ｐの顔Ｆの画像を抽出する（ステップＳ２２２）。顔画像の抽出は、予め登録された顔の特徴量を示す顔辞書と、望遠画像から位置や大きさを変えながら切り出した画像とを比較しながら顔評価値を求め、一定以上の評価値が得られたときに切り出した画像を顔画像として抽出する方法を使用することができるが、顔画像の抽出方法はこれに限定されない。

続いて、抽出した顔画像に基づいて個人を特定する顔認識（顔認証）を行う（ステップＳ２２４）。顔認証は、抽出した顔画像と、予め顔認証データベース５２Ａに登録されている複数人の顔画像（個人が特定されている顔画像）とを照合することにより行う。即ち、顔認証は、顔画像から目、鼻、口等の顔パーツの特徴点の顔領域内の位置、両目の距離、目と鼻の距離や、これらの比率などの複数のデータを求め、顔認証データベース５２Ａに登録されている複数人の顔認証データとの一致度に基づいて行う。尚、顔認証データベース５２Ａは、画像認識部５２又は撮像装置１０の内部記録部として設けられたものでもよいし、撮像装置１０の外部記憶部として設けられたものでもよい。

画像認識部５２は、顔認証データベース５２Ａ内に一致する顔が存在する場合、その顔に関連付けて顔認証データベース５２Ａに登録されている個人の識別情報や顔画像等を、認識情報（画像認識結果）として取得することができる。

［画像認識の第２の実施形態］
図９は、画像認識部５２における画像認識の第２の実施形態を示すフローチャートであり、図７に示したステップＳ２２での他の処理内容を示す図である。

画像認識の第２の実施形態は、図１０（Ａ）に示すように広角画像により検出される第１の対象物が「車両Ｖ」であり、第１の対象物（車両Ｖ）の近傍の第２の対象物が車両Ｖに付されている「ナンバープレートＮ」の場合に関して示している。

図１０（Ａ）に示すように広角画像から車両Ｖが検出され、車両Ｖが広角画像の中心に位置するようにパン・チルト装置３０が制御される（図７のステップＳ１０〜Ｓ１８）。

図９において、画像認識部５２は、広角画像の中心に車両Ｖが位置しているときの望遠画像（図１０（Ｂ）参照）から車両ＶのナンバープレートＮの画像を抽出する（ステップＳ２２６）。ナンバープレートＮの画像の抽出は、ナンバープレートＮの形状に基づくパターン認識や色等により行うことができるが、ナンバープレートＮの抽出方法はこれに限定されない。

続いて、抽出したナンバープレートＮの画像に基づいて車両Ｖのナンバーを特定する画像認識（文字認識）を行う（ステップＳ２２８）。ナンバーの文字認識は、抽出したナンバープレートＮの画像と予め記憶された文字パターンとの照合により文字を特定し、テキストにする光学文字認識（ＯＣＲ: optical character recognition）ソフトウエアにより行うことができる。このようにして読み取ったナンバープレートＮの文字情報やナンバープレートＮの画像等を、認識情報（画像認識結果）とすることができる。

尚、画像認識の対象物や画像認識の内容は、上記の実施形態に限らず、種々の態様が考えられる。本例においては拡大して撮像された望遠画像により画像認識を行うことにより、より精度の高い画像認識を行うことができる。

また、図１１（Ａ）及び（Ｂ）に示すように、広角画像により検出される第１の対象物を「顔Ｆ」とし、望遠画像により画像認識される対象物を、第１の対象物と同じ「顔Ｆ」とすることができる。

広角画像により検出される「顔Ｆ」の画像は、広角画像の中に第１の対象物（顔Ｆ）の画像が存在するか否かを判別できる画質のものでよく、望遠画像により画像認識される「顔Ｆ」の画像は、顔認証ができる画質が要求される。

このように広角画像により検出される対象物と望遠画像により画像認識される対象物とは、同じ対象物であってもよい。

＜複数の対象物が検出された場合＞
図１２は、複数の対象物が検出された場合に優先して認識される対象物を示す図である。

対象物検出部５０により複数の対象物（図１２に示す例では、２人の人物）が検出されると、２人の人物が第１の対象物となる。パン・チルト制御部６０は、対象物検出部５０により検出された２人の人物（２人の人物の重心位置）が、望遠画像の中心にくるようにパン・チルト装置３０を制御する。

画像認識部５２は、２人の人物が広角画像の中心に位置しているときに画像取得部２２が取得した望遠画像を画像認識するが、２人の人物のうちの撮像装置１０から最も近い人物を優先して認識する。複数の対象物が人物の場合、各人物の顔を認識し、顔の大きさが最も大きい人物が撮像装置１０から最も近い人物とすることができる。

図１２に示す例では、図１２上で右側の人物が優先して画像認識される対象物となり、その人物の顔は第２の対象物となる。

図１３は、複数の対象物が検出された場合に第１の対象物として検出される対象物を含む広角画像及び望遠画像の例を示す図であり、図１３（Ａ１）及び（Ｂ１）は、それぞれパン・チルト制御開始前の広角画像及び望遠画像を示し、図１３（Ａ２）及び（Ｂ２）は、それぞれパン・チルト制御後（自動追尾中）の広角画像及び望遠画像を示している。

図１３に示す例では、対象物検出部５０により広角画像の中から複数の対象物が検出される場合、対象物検出部５０は、撮像装置１０から最も近い対象物を第１の対象物として検出する。図１３に示す例では、撮像装置１０から最も近い対象物（第１の対象物）は、人物Ｐである。この場合、パン・チルト制御部６０は、対象物検出部５０により検出された人物Ｐが、広角画像の中心にくるようにパン・チルト装置３０を制御する。

図１３（Ａ１）及び（Ｂ１）に示すパン・チルト制御開始前の時点では、人物Ｐは広角画像Ｗ１の中に入っているが、望遠画像Ｔ１の中には入っていない。

図１３（Ａ２）及び（Ｂ２）に示すようにパン・チルト制御が行われ、人物Ｐが広角画像Ｗ２の中心に位置するようになると、人物Ｐは望遠画像Ｔ２により捉えることができる。そして、画像認識部５２は、第１の対象物（人物Ｐ）が広角画像の中心に位置しているときに画像取得部２２が取得した望遠画像を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物（顔Ｆ）を認識する。

図１４は、動体と静体の複数の対象物が検出された場合に優先して認識される対象物を示す図である。

動体検出部としても機能する対象物検出部５０は、複数の対象物を検出した場合、更に複数の対象物から動体の対象物を検出することができる。図１４に示す例では、対象物検出部５０は、移動している人物と静止している人物とを別々に検出することができる。

画像認識部５２は、対象物検出部５０により複数の対象物が検出され、かつ動体が検出されると、検出された動体を優先して認識する。即ち、画像認識部５２は、複数の対象物（図１４上の２人の人物）のうちの動体として認識された左側の人物を優先して、その人物又はその人物の顔（第２の対象物）を認識する。

＜対象物が動体の場合の表示例＞
前述したように対象物検出部５０は、動体検出部として機能し、検出された対象物が動体か静体かを検出することができる。対象物検出部５０により検出された対象物が動体の場合、動体の望遠画像を表示部４４にそのまま表示すると、像ブレが大きくなる。

そこで、画像保持部として機能する出力部５４は、対象物の認識情報を出力するとき、その対象物が動体検出部により動体であると検出されると、望遠画像を所定時間保持する。これにより、望遠画像をホールドすることにより表示部４４に表示される望遠画像の像ブレを防止することができる。所定時間は、望遠画像の視認に必要な時間として予め設定された時間でもよいし、ユーザが適宜設定した時間でもよい。

また、画像認識部５２が、望遠画像から人物の顔画像を抽出し、又は望遠画像から車両のナンバープレートの画像を抽出した場合、出力部５４は、望遠画像から抽出された顔画像又はナンバープレートの画像をトリミングし、トリミングした画像のみを表示部４４に出力するようにしてもよい。

移動する対象物（人物又は車両）を望遠画像により表示すると、像ブレが大きくなる。そこで、望遠画像からトリミングした顔画像又はナンバープレートの画像のみを表示部４４に表示することにより表示部４４に表示される望遠画像の像ブレを防止することができる。

＜指向性センサの他の実施形態＞
図１５は、指向性センサの他の実施形態を示す側面図である。

この指向性センサ１１７は、瞳分割手段としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光されたイメージセンサ１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、イメージセンサ１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。

マイクロレンズアレイ１１８は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。

遮光部材１２０は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、図２に示した撮像光学系１２の広角光学系１３及び望遠光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１１８の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。

受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、撮像光学系１２の広角光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、撮像光学系１２の望遠光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。

これにより、イメージセンサ１１６の各受光セル１１６ａから広角画像の画素信号を読み出すことができ、イメージセンサ１１６の各受光セル１１６ｂから望遠画像の画素信号を読み出すことができる。

＜撮像光学系の他の実施形態＞
図１６は、撮像装置１０に適用可能な撮像光学系の他の実施形態を示す断面図である。

この撮像光学系１１２は、それぞれ共通の光軸Ｌを有する広角光学系１１３と望遠光学系１１４とから構成されている。尚、指向性センサ１７は、図２及び図３に示したものと同一であるため、その説明は省略する。

広角光学系１１３（環状光学系）は、レンズ１１３ａ及び共通レンズ１１５から構成された広角レンズであり、画角αを有している。

望遠光学系１１４（中央光学系）は、第１レンズ１１４ａ、第２レンズ１１４ｂ、及び共通レンズ１１５から構成された望遠レンズであり、画角β（β＜α）を有し、広角光学系１１３よりも画角が狭い。

この撮像光学系１１２は、図２に示した撮像光学系１２と比較すると、反射ミラーを使用しておらず、また、環状光学系が広角光学系１１３であり、中央光学系が望遠光学系１１４である点において相違する。

＜撮像光学系の更に他の実施形態＞
図１７は、撮像装置１０に適用可能な撮像光学系の更に他の実施形態を示す断面図である。

この撮像光学系２１２は、それぞれ共通の光軸Ｌを有する上側の広角光学系２１３と、下側の望遠光学系２１４とから構成されている。

広角光学系２１３は、フロントレンズＦＬ、変倍系レンズＶＬ１、補正系レンズＣＬ１、及び結像系レンズＭＬを有し、望遠光学系２１４は、フロントレンズＦＬ、変倍系レンズＶＬ２、補正系レンズＣＬ２、及び結像系レンズＭＬを有している。

フロントレンズＦＬ及び結像系レンズＭＬは、それぞれ広角光学系２１３及び望遠光学系２１４に共通するレンズであり、変倍系レンズＶＬ１、ＶＬ２と補正系レンズＣＬ１、ＣＬ２とは、それぞれ上下に２分割され、光軸方向のそれぞれ異なる位置（広角撮像が可能な位置及び望遠撮像が可能な位置）に配置されている。

上記構成の撮像光学系２１２は、図１７上において光軸Ｌよりも上の半分の領域が広角光学系２１３であり、光軸Ｌよりも下の半分の領域が望遠光学系２１４である。尚、この撮像光学系２１２に適用される指向性センサは、撮像光学系２１２の上半分の領域（広角光学系２１３）を通過する光束と、撮像光学系２１２の下半分の領域（望遠光学系２１４）を通過する光束とを瞳分割し、それぞれ選択的に受光するものにする必要がある。

このように本発明に係る撮像装置に適用される撮像光学系の広角光学系と望遠光学系とは、同心円状の円形光学系と環状光学系とに限らず、上下（又は左右）に２分割された半円状の広角光学系と望遠光学系とにより構成されたものでもよい。

［その他］
本実施形態の撮像装置１０は、撮像部１１をパン方向及びチルト方向に回動させるパン・チルト機構３２が装置本体２に設けられているが、これに限らず、撮像装置全体を電動雲台（パン・チルト装置）に搭載したものでもよい。

また、本実施形態の撮像装置１０は、対象物検出部５０が検出した第１の対象物の位置情報に基づいて第１の対象物を広角画像の中心に保持（自動追尾）させることができ、望遠画像による画像認識が終了すると、他の第１の対象物の検出に切り替えることができる。

尚、第１の対象物は、表示部４４に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。

また、図２に示した撮像光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。

更に、焦点調整部は、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させるものでもよい。

更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１１…撮像部、１２、１１２、２１２…撮像光学系、１３、１１３、２１３…広角光学系、１４、１１４、２１４…望遠光学系、１６、１１８…マイクロレンズアレイ、１６ａ、１１８ａ…マイクロレンズ、１７、１１７…指向性センサ、１８、１１６…イメージセンサ、１８ａ、１１６ａ、１１６ｂ…受光セル、２２…画像取得部、３０…パン・チルト装置、３２…パン・チルト機構、４２…記録部、４４…表示部、５０…対象物検出部、５２…画像認識部、５２Ａ…顔認証データベース、５４…出力部、５６…対象物指示部、６０…パン・チルト制御部、１２０…遮光部材

Claims (19)

1. 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、
   ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
   前記撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、
   前記指向性センサから前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、
   前記画像取得部が取得した広角画像を画像処理し、前記広角画像から第１の対象物を検出する対象物検出部と、
   前記対象物検出部により検出された前記第１の対象物の前記広角画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記第１の対象物を前記広角画像の中心に位置させるパン・チルト制御部と、
   前記パン・チルト制御部により前記パン・チルト機構が制御され、前記第１の対象物が前記広角画像の中心に位置しているときに前記画像取得部が取得した前記望遠画像を画像認識し、前記第１の対象物又は前記第１の対象物の近傍の第２の対象物を認識する画像認識部と、
   を備えた撮像装置。
2. 前記画像認識部は、前記第１の対象物が複数の場合、前記撮像装置から最も近い前記第１の対象物を優先して認識する請求項１に記載の撮像装置。
3. 前記対象物検出部は、前記広角画像から複数の対象物を検出すると、前記撮像装置から最も近い対象物を前記第１の対象物として検出する請求項１に記載の撮像装置。
4. 前記対象物検出部は、前記画像取得部が連続して取得した前記広角画像に基づいて動体を画像認識し、前記画像認識した動体を前記第１の対象物として検出する動体検出部を備え、
   前記画像認識部は、前記対象物検出部により複数の対象物が検出され、かつ前記動体検出部により動体が検出されると、前記検出された動体を優先して認識する請求項１に記載の撮像装置。
5. 前記画像認識部は、前記望遠画像から人物の顔画像を抽出し、前記抽出した顔画像に基づいて個人を特定する顔認識を行う請求項１から４のいずれか１項に記載の撮像装置。
6. 前記画像認識部は、前記望遠画像から車両のナンバープレートの画像を抽出し、前記抽出したナンバープレートの画像に基づいて前記車両のナンバーを特定する画像認識を行う請求項１から４のいずれか１項に記載の撮像装置。
7. 前記画像認識部により認識した前記第１の対象物又は前記第２の対象物の認識情報を出力する出力部を備えた請求項１から６のいずれか１項に記載の撮像装置。
8. 前記対象物検出部は、前記画像取得部が連続して取得した前記広角画像に基づいて動体を画像認識し、前記画像認識した動体を前記第１の対象物として検出する動体検出部を備え、
   前記第１の対象物又は前記第２の対象物の認識情報を出力するとき、前記動体検出部により前記第１の対象物が動体であると検出されると、前記望遠画像を所定時間保持する画像保持部と、を備えた請求項７に記載の撮像装置。
9. 前記画像認識部は、前記望遠画像から人物の顔画像を抽出し、又は前記望遠画像から車両のナンバープレートの画像を抽出し、
   前記出力部は、前記画像認識部により前記望遠画像から人物の顔画像が抽出され、又は前記望遠画像から車両のナンバープレートの画像が抽出されると、前記望遠画像から前記抽出された前記顔画像又はナンバープレートの画像をトリミングし、前記トリミングした画像のみを表示部に出力する請求項７に記載の撮像装置。
10. 前記出力部は、前記認識情報を記録する情報記録部及び前記認識情報を表示する表示部のうちの少なくとも１つに前記認識情報を出力する請求項７に記載の撮像装置。
11. 前記画像取得部が取得した前記広角画像及び前記望遠画像のうちの少なくとも前記望遠画像を記録する画像記録部を備えた請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記対象物検出部は、前記画像取得部が取得した前記広角画像に基づいて前記第１の対象物を画像認識し、前記第１の対象物を検出する請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記対象物検出部は、前記画像取得部が連続して取得した前記広角画像をリアルタイムに画像処理し、前記広角画像から前記第１の対象物を連続して検出し、
    前記パン・チルト制御部は、前記対象物検出部により連続して検出された前記第１の対象物の前記広角画像中における位置情報に基づいて前記パン・チルト機構を連続して制御し、前記第１の対象物を前記広角画像の中心に保持させる請求項１から１２のいずれか１項に記載の撮像装置。
14. 前記広角光学系は円形の中央光学系であり、前記望遠光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項１から１３のいずれか１項に記載の撮像装置。
15. 前記環状光学系は、光束を２回以上反射させる反射光学系を有する請求項１４に記載の撮像装置。
16. 前記望遠光学系は円形の中央光学系であり、前記広角光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項１から１３のいずれか１項に記載の撮像装置。
17. 前記望遠光学系の焦点調整を行う焦点調整部を有する請求項１から１６のいずれか１項に記載の撮像装置。
18. 前記指向性センサは、瞳分割手段として機能するマイクロレンズアレイ又は遮光マスクを有する請求項１から１７のいずれか１項に記載の撮像装置。
19. 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、前記撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、前記指向性センサから前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備えた撮像装置を使用し、
    前記画像取得部が取得した広角画像を画像処理し、前記広角画像から第１の対象物を検出するステップと、
    前記検出された前記第１の対象物の前記広角画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記第１の対象物を前記広角画像の中心に位置させるステップと、
    前記第１の対象物が前記広角画像の中心に位置しているときに前記画像取得部が取得した前記望遠画像を画像認識し、前記第１の対象物又は前記第１の対象物の近傍の第２の対象物を認識するステップと、
    を含む対象物認識方法。