JP5452540B2

JP5452540B2 - 撮像装置

Info

Publication number: JP5452540B2
Application number: JP2011091684A
Authority: JP
Inventors: 中野憲彦; 廣岡慎一郎
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2011-04-18
Filing date: 2011-04-18
Publication date: 2014-03-26
Anticipated expiration: 2027-04-25
Also published as: JP2011176868A

Description

本発明は、ズームが可変な複数の撮像手段を備える撮像装置に関する。

本技術分野の背景技術として、例えば、特開平８−１４８６１号公報（特許文献１）がある。該公報には、「対象物体の3次元形状を精度良く計測すること」を目的とし、構成として、「ズームレンズ１０，２０を有する２つの撮像部３０，４０を用い、それぞれ撮像したステレオ画像から測距部８０においてステレオ測距法により被写体距離データＺS を得る。一方、ズーム比を変えながら測距部７０，９０においてズーム測距法により距離データＺR ，ＺL を得る。距離データ統合部１００は各データＺS ＺR ＺL を各々の信頼性に応じて荷重平均することにより、最終的な被写体距離を求める。」という技術が開示されている。

特開平８−１４８６１号公報

上記特許文献1では、「撮像部３０，４０は連動して動作するズームレンズ１０，２０を有しており、即距（ママ）開始時には、短焦点側にセットされて被写体（対象物体）を広く捉えている。このズームレンズ１０，２０は測距開始後、連続的に焦点距離を長焦点側へ変化させていき、次第に被写体を多くの画素で捉えていくように動作する。

被写体が小さい場合などには、最初から中焦点距離や長焦点距離からズームを行っていっても良いし、逆に長焦点側から短焦点側へ変化させても構わない。本発明の請求の範囲を逸脱しない範囲においてズーム比の変化の仕方は自由である。」という技術が開示されている（特許文献1の[0029]から[0030]に記載）。

上記特許文献1は、「環境、障害物、地形、工業製品等の対象物体の３次元形状をその画像データを用いて計測する３次元形状計測方法及び装置に関するもの」（特許文献1の[0001]に記載）であり、静止した剛体の計測を行う３次元形状計測では、一方向に連続的にズームを制御し計測処理を行うことは有効である。

しかしながら、監視装置のように動く物体の検出、認識、計測を行う場合には、一方向の連続的なズーム制御では被写体や撮像画像に適した処理を行うことができない。

そこで、本発明は、ズームが可変なステレオ撮像装置において、被写体や撮像画像に適したズーム制御を行うことを目的とする。

上記目的は、一例として特許請求の範囲に記載の発明により達成される。

本発明によれば、ズームが可変なステレオ撮像装置において、被写体や撮像画像に適したズーム制御を行うことを実現できる。

本発明の第１実施例に係るステレオ撮像装置を示す第１の模式図である。本発明の第１実施例に係るステレオ撮像装置を示す第２の模式図である。本発明の第１実施例に係るステレオ撮像装置を示す第３の模式図である。本発明の第２実施例に係るステレオ撮像装置を示す模式図である。本発明の第２実施例に係るズーム制御処理の一例を示す図である。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係るステレオ撮像装置を示す第１の模式図である。図１において、０００１はステレオ撮像装置であり、０１０１はズームステレオ撮像部、０１０２はステレオ画像処理部、０１０３はステレオ撮像制御部、０１０４は外部I/F部である。

ステレオ撮像装置０００１において、ズームステレオ撮像部０１０１は、ズームレンズやシャッタやアイリスや撮像素子やAGCやADやカメラ信号処理DSPやタイミングジェネレータ等から構成され、ズーム制御により焦点距離や画角が変更可能である。レンズにはフォーカスが可変なレンズを用いてもよい。また、ステレオ撮像部０１０１がミラーやプリズムを用いて構成され、１つの撮像素子から構成される形態としても良いし、単眼の２つのカメラから構成される形態としてもよい。ズームステレオ撮像部０１０１は、光電変換により撮像を行い、ステレオ撮像画像データを出力する。ステレオ撮像部０１０１で光電変換のために用いる撮像素子には、CCDやCMOSを用いればよい。ステレオ画像処理部０１０２は、ズームステレオ撮像部０１０１が出力するステレオ撮像画像データを用いてステレオ画像処理を行い、距離情報や情報の信頼度を演算し出力する。ステレオ画像処理部０１０２で行われるステレオ画像処理には、ノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、正規化相関や差分絶対値和等を用いてステレオ画像間すなわち２つの画像間の対応点検索を行い視差を検出するステレオマッチング処理、ローパスフィルタ処理やラベリング等により特異点の除去を行う後処理、視差情報を用いて距離情報を演算する距離計算処理、などがある。ステレオ画像処理部０１０２のステレオ画像処理の途中で得られる情報、例えばステレオマッチング処理で対応点検索を行った場合のテンプレート画像とマッチング画像の輝度情報や、視差情報、評価値すなわち演算スコアや、探索領域での評価値の分布、位置情報を出力することもできる。また、ステレオ画像処理部０１０２で行われるステレオマッチング処理は、特徴量演算処理の結果を用いて特徴量が閾値以上の点や領域のみについて行い、処理の軽減や高速化を図ってもよい。ステレオ撮像制御部０１０３は、ステレオ画像処理部０１０２から得られる距離情報や情報の信頼度、処理の途中で得られる情報を用いて、ステレオ画像処理部０１０２とズームステレオ撮像部０１０１の制御を行う。外部I/F部０１０４は、ステレオ撮像装
置０００１の外部と通信を行い、ステレオ撮像制御部０１０３からの外部へのデータ送信や、外部からステレオ撮像制御部０１０３へのデータ受信を行う。通信には、LANやRS232C、USB、JTAG、電力線搬送通信などの汎用のプロトコルを用いればよい。

ステレオ撮像装置０００１を監視カメラに用いた際には、撮像画像及びステレオ画像処理結果のモニタリングを監視員が行う。撮像画像及びステレオ画像処理結果のモニタリング中に、侵入者や侵入物、不審人物、置き去り物体等が発生した場合には、監視員は詳細な映像や被写体データをモニタリングするためにズーム制御を行う。このための最適なズーム制御の制御方向や制御量は、被写体の大きさや被写体の移動、撮影の画角、撮影環境に応じて一定ではなく、また監視員が操作するため、一方向の連続的なズーム制御だけでは対応できない。本実施例に示したステレオ撮像装置０００１では、監視員が外部I/F部０１０４を介して制御データをステレオ撮像制御部０１０３へと送信し、ステレオ撮像制御部０１０３で制御データに応じてズームステレオ撮像部０１０１のズーム制御を行うことが可能であり、任意のズーム制御を行うことができる。また、一般的に知られるようにステレオカメラの計測精度すなわち検出精度は焦点距離に依存するため、監視員がステレオ撮像装置０００１のズーム制御を外部から行うことにより、被写体に応じて異なった焦点距離、すなわち異なった検出精度で、モニタリングが可能となる。

かように本実施例によれば、ステレオ撮像装置で監視を行う場合に、監視映像をモニタリングしている監視員が被写体に応じてズーム制御を行うことが可能であり、被写体に応じた画角や検出精度でモニタリングすることができる。

図２は、本発明の第１実施例に係るステレオ撮像装置を示す第２の模式図である。本発明の第１実施例に係るステレオ撮像装置を示す第１の模式図である図１と比較して、パン・ティルト制御部０１０５を構成要素として持つ。

ステレオ撮像装置０００１において、ステレオ撮像制御部０１０３は、パン・ティルト制御部０１０５のパン制御及びティルト制御を行うことにより、ズームステレオ撮像部０１０１を左右に振るパンや、上下に振るティルトを行い撮影することが可能である。

ステレオ撮像装置０００１を監視カメラに用いた際には、撮像画像及びステレオ画像処理結果のモニタリングを監視員が行う。撮像画像及びステレオ画像処理結果のモニタリング中に、侵入者や侵入物、不審人物、置き去り物体等が発生した場合には、監視員は詳細な映像や被写体データをモニタリングするためにズーム制御を行うが、ズーム制御だけでは被写体がフレームアウトし、被写体の大きさや被写体の移動、撮影の画角、撮影環境に適した制御できない場合が発生する。本実施例に示したステレオ撮像装置０００１では、監視員が外部I/F部０１０４を介して制御データをステレオ撮像制御部０１０３へと送信し、ステレオ撮像制御部０１０３で制御データに応じてズームステレオ撮像部０１０１のズーム制御とパン・ティルト制御部０１０５のパン制御及びティルト制御を行うことが可能であり、任意の焦点距離すなわち画角、視野すなわち画枠で、フレームアウトを生じさせることなく、撮影を行うことができる。

かように本実施例によれば、ステレオ撮像装置で監視を行う場合に、監視映像をモニタリングしている監視員が被写体に応じてズーム制御とパン制御、ティルト制御を行うことが可能であり、被写体に応じた画角や視野、検出精度でモニタリングすることができる。

図３は、本発明の第１実施例に係るステレオ撮像装置を示す第３の模式図である。本発明の第１実施例に係るステレオ撮像装置を示す第２の模式図である図２と比較して、制御データ保持部０１０６を構成要素として持つ。

ステレオ撮像装置０００１において、ステレオ撮像制御部０１０３は、外部I/F部０１０４から入手した制御データを制御データ保持部０１０６に記録する。制御データ保持部０１０６では制御データとして、ズーム制御値やフォーカス制御値、パン制御値、ティルト制御値を一組のデータとして複数組記録することができ、制御間隔、制御速度も記録可能である。ステレオ撮像制御部０１０３は、制御データ保持部０１０６に記録した制御データを読み出し、制御データに基づきズームステレオ撮像部０１０１のズーム制御とパン・ティルト制御部０１０５のパン制御及びティルト制御を行う。

ステレオ撮像装置０００１を監視カメラに用いた際には、複数の監視エリアに対し、ズーム制御やパン制御、ティルト制御を行うことにより、巡回してモニタリングを行うことが可能である。制御データ保持部０１０６に、ある監視エリアをモニタリングするために必要なズーム制御値やフォーカス制御値、パン制御値、ティルト制御値を一組のデータとして記録し、複数の監視エリアに対する制御データを複数保持することにより任意の監視エリアの巡回モニタリングが可能である。監視エリアによって検出する被写体、すなわち要求検出精度が異なる場合には、ズーム制御により焦点距離を変更し、検出する被写体に適した精度で撮像が可能である。また、同じ監視エリアに対し、パンとティルトを固定し、ズーム制御により焦点距離を変えて異なる精度で検出することも可能である。また、このような巡回モニタリングを、制御データ保持部０１０６に記録した制御データでなく、外部I/F部０１０４を介して外部から送信される制御データに基づいて、ステレオ撮像制御部０１０３が制御を行うことにより実現してもよい。

ステレオ撮像制御部０１０３が、外部I/F部０１０４から入手した制御データを制御データ保持部０１０６に記録するのは、現場で設置時の初期設定時に行ってもよいし、運用時に外部I/F部０１０４を介して外部から制御データが送信される時に行ってもよい。また、工場調整時に行うことにより、１種類の筐体で複数の検出精度のステレオ撮像装置をラインアップ可能となる。

かように本実施例によれば、ステレオ撮像装置で監視を行う場合に、一台のステレオ撮像装置で複数の監視エリアを異なる精度と画角で巡回モニタリングが可能であり、低コストでモニタリングすることができる。

図４は、本発明の第２実施例に係るステレオ撮像装置を示す模式図である。本発明の第１実施例に係るステレオ撮像装置を示す第３の模式図である図３と比較して、被写体認識処理部０１０７を構成要素として持つ。

ステレオ撮像装置０００１において、被写体認識処理部０１０７は、ズームステレオ撮像部０１０１が出力する画像データや、ステレオ画像処理部０１０２が出力する距離情報や情報の信頼度や処理の途中で得られる情報、ステレオ撮像制御部０１０３から得られるズームやフォーカスや露光やホワイトバランス等のカメラ制御情報を用いて、撮影画像から被写体の認識を行う。被写体認識処理部０１０７は、画像に撮影されている被写体が何であるかの情報や、信頼度、位置、大きさ、撮影画像内での位置、撮影画像内での大きさ等を認識処理結果と出力する。複数の被写体が画像に撮影されている場合には、複数の被写体に関する情報を出力するようにしてもよい。また、複数の被写体に関する情報は、ステレオ撮像装置０００１に近い被写体からデータをソート、出力すればよいし、被写体が何であるかで優先順位をつけてデータをソート、出力してもよい。このような優先順位は、例えば、物体より人間を優先、大人よりも子供を優先、男より女を優先、静止物体より運動物体を優先、とすればよく、ユーザが設定できるようにしてもよい。ステレオ撮像制御部０１０３では、被写体認識処理部０１０７が出力する処理結果を用いて、ズームステレオ撮像部０１０１のズーム制御とパン・ティルト制御部０１０５のパン制御及びティルト制御を行う。

このようなズーム制御、パン・ティルト制御としては、被写体が撮影画像で大きく撮影されるような制御を行ったり、被写体が移動する場合には被写体を追尾するように制御を行えばよい。大きく撮影されるように制御としては、被写体がステレオ撮像画像の１つの撮影画像でフレームアウトしない大きさまで制御してもよいし、被写体がステレオ撮像画像の両方の画像でフレームアウトしない大きさまで制御してもよい。ステレオ画像処理部０１０２でステレオ画像処理を行う場合、ステレオ撮像画像のそれぞれの画像は視野が異なるため、ステレオ画像処理に用いられる画像は、ステレオ撮像画像の一部の画像領域となり、またこのステレオ画像処理に用いられる一部の画像領域は被写体の距離や大きさに
依存する。よって、被写体がステレオ撮像画像の両方の画像でフレームアウトしない大きさまで制御するのではなく、被写体が画像内のステレオ画像処理に用いる一部の画像領域をはみださない大きさまで制御し、ステレオ画像処理部０１０２の処理に効果的なステレオ画像を撮像できるようにしてもよい。被写体が画像内のステレオ画像処理に用いる一部の画像領域をはみださない大きさまで制御する場合に、被写体の大きさでなく、ステレオ画像処理部０１０２の処理で行うステレオマッチング処理のテンプレートサイズを考慮し、ステレオマッチングのテンプレートサイズを考慮した被写体の大きさで制御を行ってもよい。また、被写体が撮影画像で大きく撮影されるように制御を行う際に、レンズ歪がステレオ画像処理部０１０２及び被写体認識処理部０１０７の処理に影響を及ぼす場合には、レンズ歪の影響が小さくなる画面中央領域に被写体が撮影されるように制御を行えばよい。また、被写体が撮影画像で大きく撮影されるように制御を行う際に、ズームを望遠に制御したことにより、撮影画像の視野すなわち検出エリアが狭くなる場合があるので、ステレオ画像処理部０１０２及び被写体認識処理部０１０７の処理において被写体を検出するのに必要な要求精度を満たすズーム倍率に制御してもよい。このような被写体を検出するのに必要な要求精度を満たすズーム倍率に制御する場合、被写体によって要求精度が異なる、すなわち被写体によってズーム倍率が異なっていてもよい。また、被写体が撮影画像で大きく撮影されるように制御を行う際に、ステレオ撮像画像のそれぞれのズーム倍率は、略等しくてもよいし、異なっていてもよく、異なっている場合には、ステレオ画像処理部０１０２で補正を行えばよい。このようなズーム制御、パン・ティルト制御を行う際に、複数の被写体が画像に撮影されている場合には、優先される被写体に対して上記処理を行ってもよいし、複数の被写体の塊を１つの被写体として上記処理を行ってもよい。また、以上の処理は、単独で行ってもよいし、いくつかの組み合わせで行ってもよい。

かように、ステレオ画像処理の結果を用いて被写体認識処理を行い、被写体認識処理結果に応じて撮像部のズームやパン、ティルトを制御することにより、撮影画像の被写体に応じた画角や視野、検出精度で撮影することができる。

図５は、本発明の第２実施例に係るズーム制御処理の一例を示す図である。以下の処理は、被写体認識処理部０１０７で行ってもよいし、ステレオ撮像制御部０１０３で行ってもよいし、ステレオ撮像装置０００１が出力するデータを用いてステレオ撮像装置０００１外で行ってもよい。図５において、横軸は時間経過を、縦軸はズーム倍率を示している。図５では、時間経過におけるズーム倍率の変化すなわちズーム制御を示しており、ズームステレオ撮像部０１０１で撮像するステレオ撮像画像データの一方の画像を撮像画像例として図示している。また、図5において、ステレオ撮像装置０００１は、ｔ１で被写体を検出している。

ステレオ撮像装置０００１では、被写体検出前のｔ0からｔ1の期間は、画角を広角にすなわち視野や検出範囲が広くなるようにズーム制御を行う。一般的に知られるようにステレオカメラの計測精度すなわち検出精度は焦点距離に依存し、焦点距離が長いすなわち望遠の方が、分解能が高く精度がよい。よって、ｔ１で被写体を検出した後は、画角を望遠にすなわち検出精度が良くなるようにズーム制御を行い、被写体の詳細データのサンプリングを行う。被写体の詳細データのサンプリングは、例えば被写体が人間であれば、体全体アップ、バストアップ、顔アップというように、画角を異ならせて複数回行ってもよい。上記の被写体データの詳細サンプリングがｔ２で終了後は、被写体の追跡、追尾を行うため必要な要求精度に応じた焦点距離の画角になるようにズーム制御を行う。このときの画像の中心は、被写体を中心にしてもよいし、検知エリアが中心となっていてもよい。上記処理を図5に示す撮像画像例を用いて説明する。被写体検出前のｔ0からｔ1の期間は、図5の５−１に示すように、画角を広角にすなわち視野や検出範囲が広くなるようにズーム制御を行う。ｔ１で、図5の５−２に示すように被写体を検出した後は、画角を望遠に制御し、図5の５−３に示すように被写体を大きく撮像する。被写体検出後のｔ0からｔ1の期間では、被写体の詳細データのサンプリングを行うが、図5の５−３に示すように被写体が大きく撮像されているため、精度よくサンプリングを行うことが可能である。サンプリングする被写体の詳細データは、距離や３次元の大きさ、形状、移動速度、移動方向、色などである。被写体の詳細データのサンプリング後であるｔ２以降は、被写体の検出を精度よく行うために必要な要求精度に応じた焦点距離の画角になるようにズーム制御し、図５の５−４に示すように撮像を行う。上記処理により、例えば本技術を侵入検知に用いた場合、被写体検出前は図5の５−１に示すように広範囲で撮像することにより侵入の可能性がある接近者を検出し、図5の５−３に示すように被写体を大きくうつすことにより接近者の詳細データのサンプリングをし、図５の５−４に示すように接近者の追跡、追尾を行いながら被写体が映っていない領域をモニタリングすることができる。この場合、ｔ２以降のズーム制御は、被写体の検出を精度よく行うために必要な要求制度に応じた焦点距離の画角で行ってもよいし、侵入検知エリア全体が撮像される画角で行ってもよい。接近者の追跡、追尾の結果、侵入検知エリアに侵入した場合、サンプリングした接近者の詳細データを用いて侵入検知エリアに侵入が許可された人物か否かにより非常事態判定を行うことができる。また、上記処理において、ｔ１で画角を望遠に制御するタイミングは、上記に示した被写体を検出したタイミングでなく、侵入検知エリアへの侵入のタイミングで行ってもよい。

かように本実施例によれば、被写体検出前と、被写体検出後の被写体の詳細データサンプリング時と、被写体の詳細データサンプリング時後で、ズーム倍率を異ならせることにより、異なった検出精度で被写体の検出が可能であり、被写体や撮像画像、目的に応じた検出精度で被写体の認識が可能となる。

本発明は監視カメラや立体視カメラ、車載カメラに利用可能である。

０００１ステレオ撮像装置
０１０１ズームステレオ撮像部
０１０２ステレオ画像処理部
０１０３ステレオ撮像制御部
０１０４外部I/F部
０１０５パン・ティルト制御部
０１０６制御データ保持部
０１０７被写体認識処理部

Claims

ズームが可変なステレオ撮像を行うズームステレオ撮像手段と、
該ズームステレオ撮像手段が出力するステレオ撮像画像を用いてステレオ画像処理を行い、ステレオ画像処理結果を出力するステレオ画像処理手段と、
該ズームステレオ撮像手段と該ステレオ画像処理手段の制御を行うステレオ撮像制御手段と、
該ズームステレオ撮像手段が出力する撮像画像と該ステレオ画像処理手段が出力するステレオ撮像処理結果を用いて被写体の認識を行う被写体認識処理手段と、
を備え、
該被写体認識処理手段が被写体を認識した場合に、該ステレオ撮像制御手段は前記被写体がステレオ撮像画像の所定の領域に収まる範囲で拡大するようにズーム制御を行い、
前記ステレオ画像処理手段は、前記ズーム制御により拡大されたステレオ撮像画像を用いて前記ステレオ画像処理結果として前記被写体の距離計測結果を出力するものであり、
前記所定の領域は前記ステレオ画像処理手段がステレオ画像処理を行う画像領域であることを特徴とする撮像装置。