JP6027560B2 - 自動追尾撮像装置 - Google Patents

Description

本発明は自動追尾撮像装置に関し、特に広角画像と望遠画像とを同時に撮像することができる自動追尾撮像装置に関する。

従来、広角画像と望遠画像とを同時に撮像することができる自動追尾撮像装置として、特許文献１、２に記載のものがある。

特許文献１、２に記載のシステムは、いずれも広角画像を撮像する広角カメラと、電動雲台（パン・チルト装置）に搭載された望遠画像を撮像する望遠カメラとを備え、広角カメラにより撮像された広角画像から追尾対象の物体を検出し、検出した物体の広角画像における位置情報に基づいて電動雲台を回動制御し、望遠カメラにより物体を自動追尾して望遠撮像することを基本的な構成としている。

また、円形中央部分の狭角のレンズ部とこの円形中央部分を囲む環状部分の広角のレンズ部とが同軸に配置された光学系と、狭角のレンズ部により狭角画像が結像される中央区域と広角のレンズ部により広角画像が結像される周辺区域とを有する画像センサとを備えたカメラを、パン・チルト基台に装着し、トラッキングされる物体（ＯＢＴ）をカメラの視野の中心で捉えるようにパン・チルト基台を制御するトラッキングシステムが提案されている（特許文献３）。

これにより、ＯＢＴが狭角画像から逸脱しても、広角画像によりＯＢＴを捉えることができ、トラッキング逸脱（tracking dropout）が生じないようにしている。

また、広角像と望遠像とを観察可能なコンタクトレンズが、カリフォルニア大学サンディエゴ校(UCSD) の Joseph Ford により提案されている（非特許文献１）。

このコンタクトレンズの構成をカメラに利用すれば、広角像と望遠像とを得ることができる可能性がある。

特開平１１−６９３４２号公報 特開２００６−３３２２４号公報 特表２００３−５１０６６６号公報

"Photonic Systems Integration Laboratory",インターネット〈URL：http://psilab.ucsd.edu/research/Telescopic Contact Lens/main.html〉

特許文献１、２に記載のシステムは、いずれも２台の独立した広角カメラと望遠カメラとを備えることを基本構成としているため、システムが高価になるとともに、大型化するという問題がある。また、広角カメラと望遠カメラの光軸は共通ではなく、それぞれ撮像される広角画像と望遠画像とに視差が生じるため、物体の距離情報を使って視差補正をしなければ、（原理的に）正確な物体の追尾を行うことができない。更に、広角カメラは固定されているため、広角画像の画角を越えて物体が移動すると、物体を追尾することができないという問題がある。

一方、特許文献３に記載のトラッキングシステムは、円形中央部分の狭角のレンズ部により撮像される狭角画像と、環状部分の広角のレンズ部により撮像される広角画像（歪曲収差が補正されていない魚眼画像）とを滑らかにつなぐような光学系の設計が困難であり、狭角画像と広角画像との境界部分のＯＢＴのトラッキングが難しいという問題がある。

即ち、画像センサ上では、狭角画像と広角画像とが重複（バッティング）してしまう。それを避けるために光学的な遮蔽・分離機構を設けると、広角画像はドーナツ状になり、広角画像の真ん中部分は欠落して撮影できない。

また、円形中央部分を望遠レンズとし、環状部分を広角レンズとした場合、これらのレンズにより撮像される望遠画像と広角画像とを滑らかにつなぐような光学系の設計は困難である上に、望遠画像と広角画像との境界には撮像されない領域が発生する。

非特許文献１に記載のコンタクトレンズは、広角像と望遠像の視差の問題を解決することができるものの、広角像と望遠像の二つの像を分離獲得するために、切替えシャッタが必要であり、そのためシステムが複雑になっている。更に、両像を同タイミングで取得することができないので、望遠像を取得している間は広角像の情報を取得することができず、トラッキングの精度が低下するという欠点がある。

本発明はこのような事情に鑑みてなされたもので、単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、追尾対象の物体を望遠画像で確実に捉えることができる小型で安価な自動追尾撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る自動追尾撮像装置は、中央部の第１の光学系と、第１の光学系の周辺部に設けられ、第１の光学系と同一の光軸を有する第２の光学系とからなり、これらの光学系のうちの一方が広角光学系であり、他方が望遠光学系である撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、撮影光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出する物体検出部と、物体検出部により検出された物体の画像中における位置情報に基づいてパン・チルト機構を制御するパン・チルト制御部と、を備えている。

本発明の一の態様によれば、上記構成の撮影光学系及び指向性センサを含む撮像部（単一の撮像部）により、光軸が共通の広角画像と望遠画像とを同時に取得することができ、少なくとも広角画像に基づいて追尾対象の物体を検出し、検出された物体の画像中における位置情報に基づいてパン・チルト機構を制御することにより、物体を望遠画像内に入れること（自動追尾すること）ができ、また、物体が高速で移動しても広角画像により物体を捉えることができるため、トラッキング逸脱が発生しない。

本発明の他の態様に係る自動追尾撮像装置において、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも望遠画像を記録する記録部を備えていることが好ましい。これにより、記録部により記録された望遠画像により所望の物体を確認することができる。

本発明の更に他の態様に係る自動追尾撮像装置において、物体検出部は、画像取得部が連続して取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて動体を検出し、検出した動体を追尾対象の物体とすることが好ましい。追尾対象の物体は、移動するものであるため、動体の検出により所望の物体を検出することができる。

本発明の更に他の態様に係る自動追尾撮像装置において、物体検出部は、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて特定の物体を認識し、認識した特定の物体を追尾対象の物体とすることが好ましい。例えば、特定の物体が人物である場合には、人物又は人物の顔を認識することで、追尾対象の物体を検出することができる。

本発明の更に他の態様に係る自動追尾撮像装置において、パン・チルト制御部は、物体検出部により検出した物体の画像中における位置情報に基づいてパン・チルト機構を制御し、検出した物体を少なくとも望遠画像の画角に入れる。この場合、検出した物体が望遠画像の中心にくるようにパン・チルト機構を制御するようにしてもよいし、検出した物体が望遠画像の中心近傍の一定範囲内に入るようにパン・チルト機構を制御するようにしてもよい。

本発明の更に他の態様に係る自動追尾撮像装置において、物体検出部は、画像取得部が取得した望遠画像に基づいて物体を検出する第１の物体検出部と、画像取得部が取得した広角画像に基づいて物体を検出する第２の物体検出部とを有し、パン・チルト制御部は、第１の物体検出部により検出された物体の望遠画像中における位置情報に基づいてパン・チルト機構を制御し、第１の物体検出部により物体が検出できなかったときは、第２の物体検出部により検出された物体の広角画像中における位置情報に基づいてパン・チルト機構を制御することが好ましい。

本発明の更に他の態様によれば、望遠画像に基づいて物体を検出することができる場合には、その検出した物体の望遠画像中における位置情報に基づいてパン・チルト機構を制御するため、精度の高い自動追尾を行うことができ、一方、望遠画像に基づいて物体を検出することができない場合には、広角画像に基づいて検出した物体の広角画像中における位置情報に基づいてパン・チルト機構を制御することにより、望遠画像中における位置情報に基づくパン・チルト機構の制御に比べて自動追尾の精度が低下するものの、トラッキング逸脱が発生することがない。

本発明の更に他の態様に係る自動追尾撮像装置において、第１の追尾モード又は第２の追尾モードを選択するモード選択部を備え、パン・チルト制御部は、モード選択部により第１の追尾モードが選択されると、第２の物体検出部により検出された物体の広角画像中における位置情報のみに基づいてパン・チルト機構を制御し、モード選択部により第２の追尾モードが選択されると、第１の物体検出部により検出された物体の望遠画像中における位置情報に基づいてパン・チルト機構を制御し、第１の物体検出部により物体が検出できなかったときは、第２の物体検出部により検出された物体の広角画像中における位置情報に基づいてパン・チルト機構を制御することが好ましい。

これにより、第１の追尾モードによる自動追尾撮像と、第２の追尾モードによる自動追尾撮像とを用途に応じて使い分けることができる。

本発明の更に他の態様に係る自動追尾撮像装置において、撮影光学系の第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。円形の中央光学系と、中央光学系に対して同心円状に配設された環状光学系とにより撮像される２つの画像間には視差が発生せず、また、それぞれ回転対称の形状であるため、撮影光学系として好ましい。

本発明の更に他の態様に係る自動追尾撮像装置において、環状光学系は、光束を２回以上反射させる反射光学系を有することが好ましい。これにより、環状光学系の光軸方向の寸法を短くすることができ、撮像部をコンパクトにすることができる。

本発明の更に他の態様に係る自動追尾撮像装置において、第１の光学系が広角光学系であり、第２の光学系が望遠光学系であることが好ましい。

本発明の更に他の態様に係る自動追尾撮像装置において、望遠光学系の焦点調整を行う焦点調整部を有することが好ましい。望遠光学系は、広角光学系に比べて被写界深度が浅く、ボケやすいため、焦点調整を行うことが好ましい。尚、広角光学系にも焦点調整部を設けてもよいし、広角光学系には焦点調整部を設けず、広角光学系をパンフォーカスとしてもよい。

本発明の更に他の態様に係る自動追尾撮像装置において、指向性センサは、瞳分割手段として機能するマイクロレンズアレイ又は遮光マスクを有するものとすることができる。

本発明によれば、単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができるため、自動追尾撮像装置の小型化、低コスト化を図ることができる。また、広角画像及び望遠画像の光軸方向が一致しているため、少なくとも広角画像に基づいて追尾対象の物体を検出し、検出された物体の画像中における位置情報に基づいてパン・チルト機構を制御することにより、物体を望遠画像内に入れること（自動追尾すること）ができ、また、物体が高速で移動しても広角画像により物体を捉えることができるため、トラッキング逸脱が発生しないという効果がある。

本発明に係る自動追尾撮像装置の外観斜視図 自動追尾撮像装置の撮像部の第１の実施形態を示す断面図 図２に示したマイクロレンズアレイ及びイメージセンサの要部拡大図 イメージセンサに配設されたカラーフィルタ配列等を示す図 自動追尾撮像装置の内部構成の実施形態を示すブロック図 自動追尾撮像装置により撮像される広角画像及び望遠画像の一例を示す図 特定の物体（人物の顔）が望遠画像の中心にくるように追尾制御された状態を示す望遠画像を示すイメージ図 動体を追尾対象の物体として検出する動体検出方法の一例について説明するために用いた図 本発明に係る自動追尾撮像装置による自動追尾制御方法の一例を示すフローチャート 本発明に係る自動追尾撮像装置による自動追尾制御方法の他の例を示すフローチャート 指向性センサの他の実施形態を示す側面図 自動追尾撮像装置に適用可能な撮像部の他の実施形態を示す断面図

以下、添付図面に従って本発明に係る自動追尾撮像装置の実施の形態について説明する。

＜自動追尾撮像装置の外観＞
図１は本発明に係る自動追尾撮像装置の外観斜視図である。

図１に示すように自動追尾撮像装置１０は、主として装置本体２と、撮像部１１と、パン・チルト装置３０（図５）と、撮像部１１を覆うドームカバー６とを有している。

パン・チルト装置３０は、台座４と、台座４に固定されるとともに、撮像部１１を回動自在に保持する保持部８とを有している。

台座４は、装置本体２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図５）により垂直方向Ｚの軸を中心にして回転する。

保持部８は、水平方向Ｘの軸と同軸上に設けられたギア８Ａを有し、チルト駆動部３６（図５）からギア８Ａを介して駆動力が伝達されることにより、撮像部１１を上下方向に回動（チルト動作）させる。

ドームカバー６は、防塵及び防滴用のカバーであり、撮像部１１の光軸方向Ｌにかかわらず、撮像部１１の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、装置本体２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

［撮像部の構成］
図２は、自動追尾撮像装置１０の撮像部１１の第１の実施形態を示す断面図である。

図２に示すように、撮像部１１は、撮影光学系１２と指向性センサ１７とから構成されている。

＜撮影光学系＞
撮影光学系１２は、それぞれ同一の光軸上に配置された、第１の光学系としての中央部の中央光学系１３と、その周辺部の同心円状の第２の光学系としての環状光学系１４とから構成されている。

中央光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角光学系（広角レンズ）であり、指向性センサ１７を構成するマイクロレンズアレイ１６上に広角画像を結像させる。

環状光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠光学系（望遠レンズ）であり、マイクロレンズアレイ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。

＜指向性センサ＞
指向性センサ１７は、マイクロレンズアレイ１６とイメージセンサ１８とから構成されている。

図３は、マイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。

マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。

また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。

図３に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。

中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。

上記構成の撮像部１１によれば、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを同時に撮像することができる。

［イメージセンサの実施形態］
図４は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図４上で、マイクロレンズアレイ１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。

図４（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。

このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。

図４（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図４（ａ）の太枠で示したブロック、及び図４（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

図４（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。

図４（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セル（図３に示した中央光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図３に示した環状光学系１４を通過した光速が入射する受光セル）のグループとを示す。

図４（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。

一方、図４（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。

具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。

また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。

これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、環状光学系１４（望遠光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。

＜自動追尾撮像装置の内部構成＞
図５は、自動追尾撮像装置１０の内部構成の実施形態を示すブロック図である。

図５に示すように自動追尾撮像装置１０は、図２で説明した中央光学系１３及び環状光学系１４を有する撮影光学系１２と、図３及び図４で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７とからなる撮像部１１を備えている。

この撮像部１１は、望遠光学系（環状光学系１４）の焦点調整を行う焦点調整部１９を備えることが好ましい。焦点調整部１９は、例えば、環状光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系（中央光学系１３）については、別途、焦点調整部を設けるようにしてよいし、パンフォーカスとしてもよい。

パン・チルト装置（電動雲台）３０は、図１に示したように撮像部１１を装置本体２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。

撮像部１１は、撮影光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮影光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。

これにより、イメージセンサ１８から中央光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、環状光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。尚、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。

イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。

画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。

即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。

尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。

画像取得部２２により取得された広角画像及び望遠画像を示す画素信号は、それぞれデジタル信号処理部４０及び物体検出部５０に出力される。

デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。

即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。

一方、望遠画像は、図４（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。

上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。

また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。

デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ記録部４２及び表示部４４に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、望遠画像のみを記録するようにしてもよい。

表示部４４は、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び望遠画像を再生することもできる。

一方、物体検出部５０は、画像取得部２２が取得した広角画像及び望遠画像を示す画素信号に基づいて追尾対象の物体を検出し、検出した物体の画像中における位置情報をパン・チルト制御部６０に出力するもので、望遠画像に基づいて物体を検出し、物体の望遠画像中における位置情報を検出する第１の物体検出部５２と、広角画像に基づいて物体を検出し、物体の広角画像中における位置情報を検出する第２の物体検出部５４とを有している。

第１の物体検出部５２、及び第２の物体検出部５４における物体の検出方法としては、人物の顔認識を行う技術に代表される物体認識技術により特定の物体を検出する方法、又は動体を追尾対象の物体として検出する動体検出方法がある。

物体認識による物体の検出方法は、特定の物体の見え方の特徴を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。

図６（ａ）及び（ｂ）は、それぞれ撮像された広角画像及び望遠画像の一例を示す図である。尚、広角画像中の破線で示した領域は、望遠画像の撮像範囲を示している。

いま、図６（ａ）及び（ｂ）に示す広角画像及び望遠画像が撮像され、かつ人物の顔を追尾対象とし、物体（顔）認識技術により人物の顔を検出する場合、第２の物体検出部５４は、顔を検出することができるが、第１の物体検出部５２は、顔を検出することができない。望遠画像には、人物の顔の一部しか入っておらず、顔を認識することができないからである。

従って、この場合、第２の物体検出部５４が検出した人物の顔（物体）の、広角画像中の位置情報をパン・チルト制御部６０に出力する。

一方、第１の物体検出部５２が望遠画像に基づいて物体を検出した場合には、第１の物体検出部５２が検出した物体の望遠画像中の位置情報を、第２の物体検出部５４が検出した物体の広角画像中の位置情報に優先してパン・チルト制御部６０に出力する。第１の物体検出部５２の方が、第２の物体検出部５４よりも物体の位置検出精度が高いからである。

また、本例では、第１の追尾モード又は第２の追尾モードを選択するモード選択部５６が設けられている。第１の追尾モードは、第２の物体検出部５４により検出された物体の広角画像中における位置情報のみをパン・チルト制御部６０に出力し、広角画像中における位置情報に基づいてパン・チルト装置３０を制御するモードである。一方、第２の追尾モードは、第１の物体検出部５２及び第２の物体検出部５４を併用し、第１の物体検出部５２により物体が検出された場合には、物体の望遠画像中における位置情報を優先してパン・チルト制御部６０に出力し、望遠画像中における位置情報に基づいてパン・チルト装置３０を制御し、第１の物体検出部５２により物体が検出されない場合には、第２の物体検出部５４により検出された物体の広角画像中における位置情報をパン・チルト制御部６０に出力し、広角画像中における位置情報に基づいてパン・チルト装置３０を制御するモードである。

パン・チルト制御部６０は、上記のように物体検出部５０から入力する画像中（広角画像中又は望遠画像中）の物体の位置情報に基づいてパン・チルト装置３０を制御する部分であり、物体の画像中の位置情報（例えば、追尾対象の顔の場合には、顔領域の重心位置）が画像の中心位置（光軸上の位置）に移動するように、パン駆動部３４、チルト駆動部３６を介してパン・チルト機構３２（即ち、撮像部１１による撮影方向）を制御する。

上記のパン・チルト機構３２の制御により、追尾対象の物体（例えば、人物の顔）が広角画像及び望遠画像の中心にくるように、物体を自動追尾して撮像することができる。図７は、特定の物体（人物の顔）が望遠画像の中心にくるように追尾制御された状態を示す望遠画像を示している。尚、本例では、物体の画像中の位置（重心位置）が、望遠画像の中心にくるように追尾制御する場合について説明したが、これに限らず、物体の画像中の位置（重心位置）が、少なくとも望遠画像の画角（好ましくは、望遠画像の中心近傍の一定範囲（例えば、焦点検出領域内））に入るようにパン・チルト機構３２を制御するようにしてもよい。

次に、第１の物体検出部５２及び第２の物体検出部５４における物体の検出方法として、動体を追尾対象の物体として検出する動体検出方法の一例について説明する。

この場合、第１の物体検出部５２は、図８に示すように時系列の２枚の望遠画像（前回取得した望遠画像（図８（ａ）と、今回取得した望遠画像（図８（ｂ））の差分をとった差分画像（図８（ｃ））を検出する。

図８（ａ）及び（ｂ）に示す例では、物体Ａ，Ｂのうちの物体Ａが移動し、物体Ｂは停止している。

従って、図８（ｃ）に示すように差分画像Ａ_１，Ａ_２は、物体Ａの移動により生じた画像である。

ここで、差分画像Ａ_１，Ａ_２の重心位置を算出し、それぞれ位置Ｐ_１，Ｐ_２とし、これらの位置Ｐ_１，Ｐ_２を結ぶ線分の中点を、位置Ｇとする。そして、この位置Ｇを動体（物体Ａ）の望遠画像中の位置とする。

このようして算出した望遠画像中の物体Ａの位置Ｇが、望遠画像の中心位置（光軸上の位置）に移動するように、パン・チルト機構３２（即ち、撮像部１１による撮影方向）を繰り返し制御することにより、物体Ａが望遠画像の中心位置に移動（収束）する。

尚、第２の物体検出部５４も第１の物体検出部５２と同様に、広角画像に基づいて追尾対象の物体（動体）を検出し、物体の広角画像中の位置を検出することができる。また、撮像部１１が移動（パン・チルト機構３２により移動、又は自動追尾撮像装置１０を車載することにより移動）する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、撮像部１１の移動にかかわらず、実空間内を移動する物体を検出することができる。更に、動体検出方法は、上記の実施形態に限らない。

＜自動追尾制御方法＞
図９は、本発明に係る自動追尾撮像装置による自動追尾制御方法の一例を示すフローチャートであり、モード選択部５６により第１の追尾モードが選択された場合に関して示している。

図９において、第２の物体検出部５４は、画像取得部２２から広角画像を取得し（ステップＳ１０）、取得した広角画像から追尾対象の物体を検出する（ステップＳ１２）。

続いて、第２の物体検出部５４は、検出した物体の広角画像中の位置情報を算出する（ステップＳ１４）。

次に、パン・チルト制御部６０は、第２の物体検出部５４から物体の広角画像中の位置情報を入力し、入力した位置情報に基づいて物体が広角画像の中心にくるようにパン・チルト装置３０を制御する（ステップＳ１６）。

次に、自動追尾撮像が終了したか否かを判別し（ステップＳ１８）、終了していないと判別すると、ステップＳ１０に遷移させる。これにより、上記ステップＳ１０からステップＳ１８の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。尚、自動追尾撮像が終了したか否かを判別は、電源のオン／オフにより行ってもよいし、自動追尾撮像を行うか否かを示すスイッチ入力等により行ってもよい。

図１０は、本発明に係る自動追尾撮像装置による自動追尾制御方法の他の例を示すフローチャートであり、モード選択部５６により第２の追尾モードが選択された場合に関して示している。

図１０において、第１の物体検出部５２は、画像取得部２２から望遠画像を取得し（ステップＳ２０）、取得した望遠画像から追尾対象の物体を検出する（ステップＳ２２）。

続いて、第１の物体検出部５２は、ステップＳ２２において、物体が検出されたか否かを判別する（ステップＳ２４）。物体が検出された場合（「Yes」の場合）には、第１の物体検出部５２は、検出した物体の望遠画像中の位置情報を算出する（ステップＳ２６）。

一方、物体が検出されなかった場合（「No」の場合）には、ステップＳ２８に遷移し、第２の物体検出部５４によりステップＳ２８からステップＳ３２の処理が行われる。ここで、ステップＳ２８からステップＳ３２の処理は、図９に示したステップＳ１０からステップＳ１４の処理と同じ処理である。即ち、第２の物体検出部５４は、画像取得部２２から広角画像を取得し（ステップＳ２８）、取得した広角画像から追尾対象の物体を検出し（ステップＳ３０）、検出した物体の広角画像中の位置情報を算出する（ステップＳ３２）。

次に、パン・チルト制御部６０は、ステップＳ２６により検出された望遠画像中の物体の位置情報、又はステップＳ３２により検出された広角画像中の物体の位置情報を入力し、入力した位置情報に基づいて物体が望遠画像中の中心位置にくるように、又は広角画像中の中心位置にくるようにパン・チルト装置３０を制御する（ステップＳ３４）。尚、パン・チルト制御部６０によるパン・チルト装置３０の制御は、第１の物体検出部５２により望遠画像から物体が検出された場合には、望遠画像中の物体の位置情報に基づいてパン・チルト装置３０の制御が優先されることは言うまでもない。

次に、自動追尾撮像が終了したか否かを判別し（ステップＳ３６）、終了していないと判別すると、ステップＳ２０に遷移させる。これにより、上記ステップＳ２０からステップＳ３６の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。

＜指向性センサの他の実施形態＞
図１１は、指向性センサの他の実施形態を示す側面図である。

この指向性センサ１１７は、瞳分割手段としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光されたイメージセンサ１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、イメージセンサ１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。

マイクロレンズアレイ１１８は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。

遮光部材１２０は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、図２に示した撮影光学系１２の中央光学系１３及び環状光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１１８の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。

受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、撮影光学系１２の中央光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、撮影光学系１２の環状光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。

これにより、イメージセンサ１１６の各受光セル１１６ａから広角画像の画素信号を読み出すことができ、イメージセンサ１１６の各受光セル１１６ｂから望遠画像の画素信号を読み出すことができる。

＜撮像部の他の実施形態＞
次に、本発明に係る自動追尾撮像装置に適用される撮像部の他の実施形態について説明する。

図１２は、自動追尾撮像装置１０に適用可能な撮像部の他の実施形態を示す断面図である。

この撮像部は、撮影光学系１１２と、指向性センサ１７とから構成されている。尚、指向性センサ１７は、図２及び図３に示したものと同一であるため、以下、撮影光学系１１２について説明する。

この撮影光学系１１２は、それぞれ同一の光軸上に配置された中央部の中央光学系１１３とその周辺部の環状光学系１１４とから構成されている。

中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。

環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。

この撮影光学系１１２は、図２に示した撮影光学系１２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点で相違する。

［その他］
本実施形態の自動追尾撮像装置１０は、撮像部１１をパン方向及びチルト方向に回動させるパン・チルト機構３２が装置本体２に設けられているが、これに限らず、撮像装置全体を電動雲台（パン・チルト装置）に搭載したものでもよい。尚、本発明に係る自動追尾撮像装置は、例えば、監視カメラ、車載カメラとして使用することができる。

また、追尾対象の物体は、表示部４４に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。

本実施形態の撮影光学系は、第１の光学系の周辺部に設けられた第２の光学系を、環状光学系としたが、これに限らず、光軸を中心とした同心円上に配設した複数の光学系により構成されたものでもよい。

また、図２に示した撮影光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。

更に、焦点調整部は、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させるものでもよい。

更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…自動追尾撮像装置、１１…撮像部、１２、１１２…撮影光学系、１３、１１３…中央光学系、１４、１１４…環状光学系、１６、１１８…マイクロレンズアレイ、１６ａ、１１８ａ…マイクロレンズ、１７、１１７…指向性センサ、１８、１１６…イメージセンサ、１８ａ、１１６ａ、１１６ｂ…受光セル、２２…画像取得部、３０…パン・チルト装置、３２…パン・チルト機構、４２…記録部、５０…物体検出部、５２…第１の物体検出部、５４…第２の物体検出部、５６…モード選択部、６０…パン・チルト制御部、１２０…遮光部材

Claims (12)

1. 中央部の第１の光学系と、前記第１の光学系の周辺部に設けられ、前記第１の光学系と同一の光軸を有する第２の光学系とからなり、これらの光学系のうちの一方が広角光学系であり、他方が望遠光学系である撮影光学系と、
   ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
   前記撮影光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、
   前記指向性センサから前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、
   前記画像取得部が取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出する物体検出部と、
   前記物体検出部により検出された物体の画像中における位置情報に基づいて前記パン・チルト機構を制御するパン・チルト制御部と、
   を備えた自動追尾撮像装置。
2. 前記画像取得部が取得した広角画像及び望遠画像のうちの少なくとも望遠画像を記録する記録部を備えた請求項１に記載の自動追尾撮像装置。
3. 前記物体検出部は、前記画像取得部が連続して取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて動体を検出し、前記検出した動体を追尾対象の物体とする請求項１又は２に記載の自動追尾撮像装置。
4. 前記物体検出部は、前記画像取得部が取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて特定の物体を認識し、前記認識した特定の物体を追尾対象の物体とする請求項１又は２に記載の自動追尾撮像装置。
5. 前記パン・チルト制御部は、前記物体検出部により検出した物体の画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記検出した物体を少なくとも前記望遠画像の画角に入れる請求項１から４のいずれか１項に記載の自動追尾撮像装置。
6. 前記物体検出部は、前記画像取得部が取得した望遠画像に基づいて前記物体を検出する第１の物体検出部と、前記画像取得部が取得した広角画像に基づいて前記物体を検出する第２の物体検出部とを有し、
   前記パン・チルト制御部は、前記第１の物体検出部により検出された物体の望遠画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記第１の物体検出部により前記物体が検出できなかったときは、前記第２の物体検出部により検出された物体の広角画像中における位置情報に基づいて前記パン・チルト機構を制御する請求項１から５のいずれか１項に記載の自動追尾撮像装置。
7. 第１の追尾モード又は第２の追尾モードを選択するモード選択部を備え、
   前記パン・チルト制御部は、前記モード選択部により第１の追尾モードが選択されると、前記第２の物体検出部により検出された物体の広角画像中における位置情報のみに基づいて前記パン・チルト機構を制御し、前記モード選択部により第２の追尾モードが選択されると、前記第１の物体検出部により検出された物体の望遠画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記第１の物体検出部により前記物体が検出できなかったときは、前記第２の物体検出部により検出された物体の広角画像中における位置情報に基づいて前記パン・チルト機構を制御する請求項６に記載の自動追尾撮像装置。
8. 前記撮影光学系の第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項１から７のいずれか１項に記載の自動追尾撮像装置。
9. 前記環状光学系は、光束を２回以上反射させる反射光学系を有する請求項８に記載の自動追尾撮像装置。
10. 前記第１の光学系が広角光学系であり、前記第２の光学系が望遠光学系である請求項１から９のいずれか１項に記載の自動追尾撮像装置。
11. 前記望遠光学系の焦点調整を行う焦点調整部を有する請求項１から１０のいずれか１項に記載の自動追尾撮像装置。
12. 前記指向性センサは、瞳分割手段として機能するマイクロレンズアレイ又は遮光マスクを有する請求項１から１１のいずれか１項に記載の自動追尾撮像装置。

Images