JP6128203B2 - 画像認識装置 - Google Patents

Description

本発明は、撮像手段で撮像して得られた画像に基づいて侵入物を検出する画像認識装置、画像認識方法、およびプログラムに関する。

ビデオカメラ等の撮像手段で撮像された画像を基に、人、車、動物等の行動を検出する画像認識装置が開発されている。この種の画像認識装置では、一般に、撮像手段の撮像画面（ファインダあるいはディスプレイにより観察される被写体画像）の全体を分析するのではなく、撮像画面内に局所領域を設定し、その局所領域内の画像を分析する。

例えば、立入禁止の区域を示す白線を上から下に横切って侵入する不審物を画像認識処理によって検出することが本発明に関連する第１の関連技術によって提案されている（例えば特許文献１参照）。より詳細には、上記第１の関連技術では、上記白線を含む侵入物出現可能範囲を撮像手段によって撮像し、撮像画面内の上記白線の上側のエッジ近傍を局所領域に設定し、局所領域の画像を分析して、白線が侵入物によって隠されたことを検出する。また、上記第１の関連技術では、撮像手段には絞り調整機構が設けられており、時刻、天候等による画像の明るさの変化を補正するようにしている。

他方、使用者が指定した領域が最適な明るさになるように被写体画像の全体の露出制御を行うことが本発明に関連する第２の関連技術によって提案されている（例えば特許文献２参照）。より詳細には、上記第２の関連技術では、例えばユーザがタッチパネルの所定範囲を囲むように操作するなどして、被写体画像における白飛びを抑制したい領域を対象領域として設定し、対象領域内を測光して、適正な露出を決定している。

また、夜間の視界を確保するナイトビジョンシステム等において車両前方を撮影するカメラの映像内のヘッドライトによる照射領域の画像の明るさに基づいて上記カメラの露出を制御することが本発明に関連する第３の関連技術によって提案されている（例えば特許文献３参照）。より詳細には、車両に搭載され車両の前方の画像を撮像するカメラの撮像した画像に対して、カメラの露出を制御する際に用いるべき露出制御使用領域を設定し、当該露出制御使用領域の画像の明るさに基づいてカメラの露出制御を行う露出制御手段と、車両の走行状況に応じて車両のヘッドライトの照射光軸を車両の上下、左右の方向に変更する照射光軸偏向手段とを有し、上記露出制御手段は、上記照射光軸偏向手段によって偏向される照射光軸の偏向角度に基づいて、上記露出制御使用領域の設定位置、及び大きさの少なくとも一方を変更する。

さらに、撮像手段で撮像された画像を分析して侵入物を検出する画像認識装置において、誤検出や検出漏れが発生しやすい状況を警告することが本発明に関連する第４の関連技術によって提案されている（例えば特許文献４参照）。より詳細には、上記第４の関連技術では、撮像画面内のうち侵入物による遮蔽が発生せず、かつエッジが多くコントラストを測定しやすい領域を画質測定領域として設定し、画質測定領域の画質の劣化を常時監視し、劣化が発生した際に警告を発するようにしている。

特開平５−３００５１６号公報 特開２０１１−１２９９９３号公報 特許第４５５６７７７号公報 特開２００１−１６０１４６号公報

撮像画面内に局所領域を設定し、その局所領域内の画像を分析する画像認識装置では、局所領域内の画像の品質が画像認識結果に大きく影響する。上記第１の関連技術では、撮像手段に備わる絞り調整機構によって、時刻、天候等による画像の明るさの変化を補正している。しかし、撮像画面全体の平均的な明るさを最適化しても、局所領域内の明るさが必ずしも最適化されるとは限らない。上記第２および第３の関連技術に見られるように、ユーザが指定した領域あるいは車両のヘッドライトによる照射領域が最適な明るさになるように露出を制御する機能を有する撮像手段が提案されているけれども、ユーザが指定した露出制御用の領域あるいはヘッドライトによる照射領域が、画像認識処理を行う局所領域と無関係に設定される構成では、画像認識処理を行う局所領域の画像品質は最適化されない。

本発明の目的は、上述した課題、すなわち、撮像手段の露出を制御するために使用する撮像画面内の領域が、画像認識処理を行う撮像画面内の領域と無関係に設定される構成では、画像認識処理を行う領域の画像品質は最適化されない、という課題を解決する画像認識装置を提供することにある。

本発明の第１の観点に係る画像認識装置は、
被写体の画像を生成する撮像手段と、
上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶する局所領域記憶手段と、
上記撮像手段によって生成された上記画像のうち、上記局所領域記憶手段に記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う画像データ処理手段と
を有する。

また本発明の第２の観点に係る画像認識方法は、
撮像手段と、上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶する局所領域記憶手段と、画像データ処理手段とを有する画像認識装置が実行する画像認識方法であって、
上記撮像手段が、被写体の画像を生成し、
上記画像データ処理手段が、上記撮像手段によって生成された上記画像のうち、上記局所領域記憶手段に記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う。

また本発明の第３の観点に係るプログラムは、
被写体の画像を生成する撮像手段に接続され、上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶するメモリを有するコンピュータを、
上記撮像手段によって生成された上記画像のうち、上記メモリに記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う画像データ処理手段
として機能させる。

本発明は上述した構成を有するため、画像認識処理を行う領域の画像品質が最適化されるように撮像手段の露出を制御することができる。

本発明の第１の実施形態のブロック図である。 本発明の第２の実施形態のブロック図である。 本発明の第２の実施形態における局所領域メモリの構成例を示す図である。 本発明の第２の実施形態における管理装置のブロック図である。 本発明の第２の実施形態における局所領域を設定する動作の一例を示すフローチャートである。 本発明の第２の実施形態における露出制御と侵入物検出の動作の一例を示すフローチャートである。 本発明の第３の実施形態のブロック図である。 本発明の第４の実施形態のブロック図である。 本発明の第４の実施形態におけるグループ化の説明図である。 本発明の第４の実施形態における露出制御と侵入物検出の動作の一例を示すフローチャートである。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態にかかる画像認識装置１００は、撮像手段１１０と局所領域記憶手段１２０と画像データ処理手段１３０とを有する。

撮像手段１１０は、被写体の画像を生成する機能を有する。

局所領域記憶手段１２０は、撮像手段１１０の撮像画面内に設定された局所領域に関する情報を記憶する機能を有する。

画像データ処理手段１３０は、撮像手段１１０によって生成された画像のうち、局所領域記憶手段１２０に記憶された情報によって特定される局所領域内の画像に基づいて、撮像手段１１０の露出制御と画像認識処理とを行う機能を有する。

次に本実施形態に係る画像認識装置１００の動作を説明する。

画像認識装置１００によって侵入物の検出等の画像認識処理を開始するのに先立って、局所領域記憶手段１２０に局所領域を特定する情報を登録する。画像認識装置１００は、局所領域に関する情報が局所領域記憶手段１２０に記憶された後、以下のような動作を継続して実行する。

まず画像認識装置１００の撮像手段１１０は、被写体の画像を撮像し、画像データ処理手段１３０に出力する。次に画像データ処理手段１３０は、画像データ処理手段１３０で生成された画像から、局所領域記憶手段１２０に記憶された情報で特定される局所領域の画像を抽出する。次に画像データ処理手段１３０は、上記抽出した局所領域内の画像に基づいて露出制御信号を生成し、撮像手段１１０の露出を制御する。また、画像データ処理手段１３０は、上記抽出した局所領域内の画像に基づいて侵入物の有無等のための画像認識処理を行い、認識結果を出力する。画像認識装置１００は、以上のような動作を所定の周期で繰り返し実行する。

このように本実施形態によれば、画像認識処理を行う領域の画像品質が最適化されるように撮像手段１１０の露出を制御することができる。その理由は、画像データ処理手段１３０が、撮像手段１１０によって生成された画像のうち、局所領域記憶手段１２０に記憶された情報によって特定される局所領域内の画像に基づいて、撮像手段１１０の露出制御と画像認識処理とを行うためである。

[第２の実施形態]
図２を参照すると、本発明の第２の実施形態にかかる画像認識装置２００は、ネットワーク２４０を介して管理装置２５０に接続されている。また、画像認識装置２００は、カメラ２１０と局所領域メモリ２２０と画像データ処理部２３０とを有する。

カメラ２１０は、通常のビデオカメラ、赤外線カメラ、高感度カメラなどによって構成される。カメラ２１０は、レンズを通して被写体の画像を撮像し、１フレーム毎に、撮像した画像２１１を増幅後、デジタル信号に変換して画像データ処理部２３０へ送信する機能を有する。また、カメラ２１０は、画像データ処理部２３０から与えられる露出制御信号２３３１によって露出が制御される。

局所領域メモリ２２０は、ＲＡＭ等で構成され、局所領域に関する情報を記憶する。図３は局所領域メモリ２２０の構成例である。この例の局所領域メモリ２２０は、ｎ行ｍ列の合計ｎ×ｍ個のメモリセルから構成される。各メモリセルは、カメラ２１０の撮像画面をｎ行ｍ列に分割した場合の個々の分割領域に１対１に対応し、論理値１または論理値０を記憶する。論理値１を記憶するメモリセルは、撮像画面内の対応する分割領域が局所領域の一部であることを示し、論理値０は局所領域外であることを示す。ｎ、ｍは２以上であれば、任意である。局所領域の形状、数は任意である。

画像データ処理部２３０は、抽出部２３１と、画像メモリ２３２と、露出制御部２３３と、侵入物検出部２３４と、通信インターフェイス（通信Ｉ／Ｆ）部２３５とを有する。

抽出部２３１は、カメラ２１０から受信した画像２１１から、局所領域メモリ２２０に記憶された情報によって特定される局所領域内の画像を抽出する機能を有する。例えば、抽出部２３１は、図２に示すように、カメラ２１０の１画面分の容量を有する画面メモリ２３１１と、カメラ２１０から受信した画像２１１を画面メモリ２３１１に書き込む書き込み部２３１２と、画面メモリ２３１１から局所領域内の画像を読み出して画像メモリ２３２に書き込む読み出し部２３１３とを有する。読み出し部２３１３は、画面メモリ２３１１からの読み出しでは、局所領域メモリ２２０に論理値１が記憶されている分割領域に対応する画面メモリ２３１１の領域のみから画像データの読み出しを行う。

画像メモリ２３２は、抽出部２３１によって抽出された局所領域の画像を記憶するＲＡＭ等で構成される。

露出制御部２３３は、画像メモリ２３２から局所領域内の画像を読み出し、この読み出した画像の明るさに基づいてカメラ２１０の露出を制御するための露出制御信号２３３１を生成し、カメラ２１０へ送信する機能を有する。具体的には、露出制御部２３３は、まず、局所領域内の画素値を平均化して、局所領域の平均輝度を算出する。次に露出制御部２３３は、上記平均輝度が或る輝度レベルの範囲内であれば、露出制御量を現状の露出制御量のまま保持し、上記或る輝度レベルの範囲から外れる場合には、その範囲内に収めるための露出制御量を算出する。次に、露出制御部２３３は、上記算出した露出制御量に応じた露出制御信号２３３１をカメラ２１０へ送信する。露出制御信号２３３１は、カメラ２１０のレンズの絞り量、シャッタースピード、フレームレート、映像信号を増幅する増幅部のゲインの何れか１つ、または２つ、または３つ、あるいは全てを調整するための信号であって良い。

侵入物検出部２３４は、画像メモリ２３２から局所領域内の画像を読み出し、この読み出した画像に対して侵入物の有無を検出するための画像認識処理を実行する機能を有する。画像を分析して侵入物を検出する手法は任意である。例えば、複数枚の連続する画像間で差分値を各画素毎に算出し、差分値が大きい領域を侵入物として検出する方法を使用して良い。あるいは特許文献１に記載されるように局所領域内の画像特徴の消失を検出することにより侵入物の有無を検出する方法を使用しても良い。また侵入物検出部２３４は、侵入物の有無の検出結果２３４１を出力する機能を有する。検出結果２３４１には、侵入物の検出位置等の情報が含まれていて良い。

通信Ｉ／Ｆ部２３５は、ネットワーク２４０を通じて管理装置２５０から受信した局所領域に関する情報を局所領域メモリ２２０へ送信する機能と、カメラ２１０で生成された画像２１１および侵入物検出部２３４の検出結果２３４１をネットワーク２４０を通じて管理装置２５０へ送信する機能とを有する。

管理装置２５０は、画像認識装置２００を管理する機能を有する。図４は管理装置２５０の一例を示すブロック図である。この例の管理装置２５０は、通信Ｉ／Ｆ部２５１と、操作入力部２５２と、画面表示部２５３と、記憶部２５４と、プロセッサ２５５とを有する。

通信Ｉ／Ｆ部２５１は、ネットワーク２４０を介して接続された画像認識装置２００などの各種装置との間でデータ通信を行う機能を有している。操作入力部２５２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出してプロセッサ２５５に出力する機能を有している。画面表示部２５３は、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）などの画面表示装置からなり、プロセッサ２５５からの指示に応じて、検出結果などの各種情報を画面表示する機能を有している。

記憶部２５４は、ハードディスクやメモリなどの記憶装置からなり、プロセッサ２５５に必要なプログラム２５６を記憶する機能を有している。プログラム２５６は、プロセッサ２５５に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２５１などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部２５４に保存される。

プロセッサ２５５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２５４からプログラム２５６を読み込んで実行することにより、上記ハードウェアとプログラム２５６とを協働させて各種処理部を実現する機能を有している。プロセッサ２５５で実現される主な処理部として、局所領域設定部２５７と監視部２５８とがある。

局所領域設定部２５７は、画像認識装置２００から通信Ｉ／Ｆ部２５１を通じて受信したカメラ２１０の画像を画面表示部２５３に表示する機能と、この表示された画像上で局所領域として設定する領域の指定を操作入力部２５２から入力する機能と、この入力された局所領域を特定する情報を通信Ｉ／Ｆ部２５１を通じて画像認識装置２００へ送信する機能とを有する。

また監視部２５８は、画像認識装置２００から通信Ｉ／Ｆ部２５１を通じて侵入物の検出結果を受信し、画面表示部２５３に検出結果を表示し、また通信Ｉ／Ｆ部２５１を通じて外部に送信する機能を有する。

次に本実施形態の動作を説明する。まず、局所領域を設定する動作を図５のフローチャートを参照して説明する。

管理装置２５０のオペレータが操作入力部２５２から局所領域の設定開始を指示すると、局所領域設定部２５７は、図５に示す処理の実行を開始する。まず局所領域設定部２５７は、通信Ｉ／Ｆ部２５１を通じて画像認識装置２００に対してカメラ２１０の画像を送信するよう要求する通信メッセージを送信する（Ｓ１）。この要求を受信した画像認識装置２００の通信Ｉ／Ｆ部２３５は、カメラ２１０から出力されている画像２１１をネットワーク２４０を通じて管理装置２５０へ送信する。管理装置２５０の局所領域設定部２５７は、画像認識装置２００から画像を受信し、画面表示部２５３に表示する（Ｓ２）。

次に局所領域設定部２５７は、局所領域として設定する領域の指定を操作入力部２５２から入力する（Ｓ３）。指定の入力方法は任意である。例えば、局所領域設定部２５７は、画面表示部２５３に表示した画像認識装置２００の画像をｎ行ｍ列のマトリクスに分割し、個々の分割領域が例えばダブルクリックされると、その分割領域が局所領域の一部として指定されたものと認識して良い。或いは、表示画面上に描かれた閉曲線の内部を局所領域として認識して良い。

次に局所領域設定部２５７は、局所領域の指定操作の終了を検出すると、指定された局所領域を特定する情報を通信Ｉ／Ｆ部２５１を通じて画像認識装置２００へ送信し、その応答を受信して図５に示す処理を終える。画像認識装置２００の通信Ｉ／Ｆ部２３５は、上記情報を受信すると局所領域メモリ２２０へ転送する。局所領域メモリ２２０は、局所領域を特定する情報を自メモリに書き込み、設定完了応答を通信Ｉ／Ｆ部２３５を通じて管理装置２５０へ送信する。

次に画像認識装置２００における露出制御と侵入物検出の動作を、図６のフローチャートを参照して説明する。

画像認識装置２００のカメラ２１０は、被写体を撮像し、撮像して得られた画像２１１を出力する（Ｓ１１）。抽出部２３１は、画像２１１から、局所領域メモリ２２０に記憶された情報で特定される局所領域内の画像を抽出し、画像メモリ２３２に記憶する（Ｓ１２）。露出制御部２３３は、画像メモリ２３２から局所領域内の画像を読み出し、その画像に基づいて露出制御信号２３３１を生成し、カメラ２１０の露出を制御する（Ｓ１３）。また侵入物検出部２３４は、画像メモリ２３２から局所領域内の画像を読み出し、その画像を分析して侵入物の有無を検出する（Ｓ１４）。そして、侵入物検出部２３４は、侵入物を検出すると（Ｓ１５でＹＥＳ）、侵入物を検出した旨の検出結果２３４１を通信Ｉ／Ｆ部２３５を通じて管理装置２５０へ送信する（Ｓ１６）。侵入物が検出されない場合、ステップＳ１６の処理はスキップされる。

カメラ２１０は、次の撮像タイミングの到来を監視し（Ｓ１７）、次の撮像タイミングが到来すると、ステップＳ１１の処理へと戻る。以降、前述と同様の動作が繰り返される。

このように本実施形態によれば、侵入物検出を行う領域の画像品質が最適化されるようにカメラ２１０の露出を制御することができる。その理由は、カメラ２１０によって生成された画像のうち、局所領域メモリ２２０に記憶された情報によって特定される局所領域内の画像に基づいて、カメラ２１０の露出制御と侵入物検出とが行われるためである。

[第３の実施形態]
図７を参照すると、本発明の第３の実施形態にかかる画像認識装置３００は、図２に示した本発明の第２の実施形態にかかる画像認識装置２００と比較して、抽出部２３１が２つの読み出し部２３１３、２３１４を有する点と、２つの画像メモリ２３２、２３６を有する点で相違する。

読み出し部２３１３は、第２の実施形態における読み出し部２３１３と同じものであり、画面メモリ２３１１に記憶された画像から、局所領域メモリ２２０に記憶された情報で特定される局所領域内の画像を抽出し、画像メモリ２３２に書き込む。侵入物検出部２３４は、第２の実施形態における侵入物検出部２３４と同じものであり、画像メモリ２３２から画像を読み出して侵入物の有無を検出する。

他方、読み出し部２３１４は、画面メモリ２３１１に記憶された画像から、局所領域メモリ２２０に記憶された情報で特定される局所領域を一定量あるいは一定割合だけ拡大した領域内の画像を抽出し、画像メモリ２３６に書き込む機能を有する。露出制御部２３３は、画像メモリ２３６に記憶された画像に基づいてカメラ２１０の露出を制御する。

上記以外の構成および動作は第２の実施形態と同じである。

このように本実施形態では、露出制御用の領域を、侵入物の検出を行う領域を包含する、より広い領域としている。これにより、局所領域のサイズや幅が露出制御用領域としては小さ過ぎる場合に、露出制御誤差を抑える効果がある。

[第４の実施形態]
図８を参照すると、本発明の第４の実施形態にかかる画像認識装置４００は、図２に示した本発明の第２の実施形態にかかる画像認識装置２００と比較して、局所領域メモリ２２０が第１の局所領域に関する情報２２１と第２の局所領域に関する情報２２２とを記憶し、また、画像データ処理部２３０がグループ選択部２３７を有する点で相違する。

グループ選択部２３７は、複数のグループの中から処理対象とするグループを順番に選択する機能を有する。ここで、グループとは、カメラ２１０によって生成する複数の画像を、時間軸方向に、複数の局所領域に１対１に対応する複数のグループに分けた場合の個々のグループのことを意味する。具体例を図９を参照して説明する。

図９において、画像ｇ１１、ｇ２１、ｇ１２、ｇ２２、ｇ１３は、カメラ２１０で生成される画像を時間順に並べたものであり、画像ｇ１１が最も古い画像、画像ｇ１３が最も最新の画像である。すなわち、カメラ２１０からは、画像ｇ１１、画像ｇ２１、画像ｇ１２、画像ｇ２２、画像ｇ１３の順番で出力される。また、各画像中に記載した菱形の領域は局所領域メモリ２２０中の情報２２１によって特定される第１の局所領域、楕円の領域は情報２２２によって特定される第２の局所領域をそれぞれ示す。ここでは、二つの局所領域を用いたが、３つ以上あっても良い。また、複数の局所領域は、図示の例のように互いに離れていても良いし、隣接していても良い。

今、第１の局所領域に対応するグループをＧ１、第２の局所領域に対応するグループをＧ２とすると、図９に示すグループ化では、画像ｇ１１、ｇ１２、ｇ１３をグループＧ１に分類し、画像ｇ２１、ｇ２２をグループＧ２に分類している。つまり、図９に示す例では、カメラ２１０から出力される奇数番目の画像をグループＧ１とし、偶数番目の画像をグループＧ２としている。但し、このようなグループ分けは例示であり、他の方法でグループ分けしても良い。例えば、カメラ２１０から連続して出力される合計ｎ（ｎ≧２）個の画像をグループＧ１、続いて出力される合計ｍ（ｍ≧２）個の画像をグループＧ２、続いて出力される合計ｎ個の画像を再びグループＧ１とする、といった方法であっても良い。

グループ選択部２３７は、選択しているグループの情報を制御信号として読み出し部２３１３、侵入物検出部２３４、および露出制御部２３３へ出力する。

読み出し部２３１３は、局所領域メモリ２２０から、上記制御信号で示されるグループに対応する局所領域を特定する情報２２１または２２２を読み出し、画面メモリ２３１１に記憶された画像から、上記読み出した情報で特定される局所領域内の画像を抽出し、画像メモリ２３２に書き込む。

また、露出制御部２３３は、画像メモリ２３２から、上記制御信号で示されるグループに対応する局所領域内の画像を読み出し、この読み出した画像の明るさに基づいて、当該グループ用の露出制御信号を生成して保持し、カメラ２１０において当該グループの画像が次回撮像される際に上記保持しておいた露出制御信号を露出制御信号２３３１としてカメラ２１０に出力して露出を制御する。この点を図９を参照して以下に説明する。

露出制御部２３３は、カメラ２１０からグループＧ１の画像ｇ１１が生成され、抽出部２３１によって画像ｇ１１中の第１の局所領域内の画像が抽出されると、この画像ｇ１１の第１の局所領域内の画像の明るさに基づいてグループＧ１用の露出制御信号を生成して、一時的に内部に保持する。

次に、露出制御部２３３は、カメラ２１０からグループＧ２の画像ｇ２１が生成され、抽出部２３１によって画像ｇ２１中の第２の局所領域内の画像が抽出されると、この画像ｇ２１の第２の局所領域内の画像の明るさに基づいてグループＧ２用の露出制御信号を生成して、一時的に内部に保持する。

そして、露出制御部２３３は、カメラ２１０においてグループＧ１の画像ｇ１２が撮像される直前のタイミングで、上記保持していたグループＧ１用の露出制御信号によってカメラ２１０の露出を制御し、この露出制御の下で画像ｇ１２の撮像がカメラ２１０で行われるようにする。また露出制御部２３３は、カメラ２１０においてグループＧ２の画像ｇ２２が撮像される直前のタイミングで、上記保持していたグループＧ２用の露出制御信号によってカメラ２１０の露出を制御し、この露出制御の下で画像ｇ２２の撮像がカメラ２１０で行われるようにする。

このように露出制御部２３３は、カメラ２１０の露出制御をグループ毎に独立に行う。

他方、侵入物検出部２３４は、画像メモリ２３２から、上記制御信号で示されるグループに対応する局所領域内の画像を読み出し、この読み出した画像に基づいて侵入物の検出を行う。この点を図９を参照して以下に説明する。

侵入物検出部２３４は、カメラ２１０からグループＧ１の画像ｇ１１が生成され、抽出部２３１によって画像ｇ１１中の第１の局所領域内の画像が抽出されると、この画像ｇ１１の第１の局所領域内の画像に基づいて侵入物の検出を行う。次に、侵入物検出部２３４は、カメラ２１０からグループＧ２の画像ｇ２１が生成され、抽出部２３１によって画像ｇ２１中の第２の局所領域内の画像が抽出されると、この画像ｇ２１の第２の局所領域内の画像に基づいて侵入物の検出を行う。このように侵入物検出部２３４は、侵入物検出をグループ毎に独立に行う。

以下、画像認識装置４００における露出制御と侵入物検出の動作を、図１０のフローチャートを参照して説明する。

画像認識装置４００のグループ選択部２３７は、まずグループＧ１を選択する（Ｓ２１）。画像認識装置４００のカメラ２１０は、グループＧ１用の露出制御信号による露出制御の下で被写体を撮像し、撮像して得られた画像２１１を出力する（Ｓ２２）。抽出部２３１は、画像２１１から、局所領域メモリ２２０に記憶された情報２２１で特定される第１の局所領域内の画像を抽出し、画像メモリ２３２に記憶する（Ｓ２３）。露出制御部２３３は、画像メモリ２３２から第１の局所領域内の画像を読み出し、その画像に基づいて次回使用するグループＧ１用の露出制御信号２３３１を生成し、保持する（Ｓ２４）。また侵入物検出部２３４は、画像メモリ２３２から第１の局所領域内の画像を読み出し、その画像を分析して侵入物の有無を検出する（Ｓ２５）。そして、侵入物検出部２３４は、侵入物を検出すると（Ｓ２６でＹＥＳ）、侵入物を検出した旨の検出結果２３４１を通信Ｉ／Ｆ部２３５を通じて管理装置２５０へ送信する（Ｓ２７）。侵入物が検出されない場合、ステップＳ２７の処理はスキップされる。

グループ選択部２３７は、次の撮像タイミングの到来を監視し（Ｓ２８）、次の撮像タイミングが到来すると、選択グループを現在のグループＧ１からグループＧ２に切り換える（Ｓ２９）。また露出制御部２３３は、内部に保持しているグループＧ２用の露出制御信号をカメラ２１０へ出力する（Ｓ３０）。そして、ステップＳ２２の処理へと戻り、グループＧ２用の露出制御信号によって露出制御された状況下で、カメラ２１０が撮像を行って新たな画像２１１を生成する。

次に、抽出部２３１は、生成された画像２１１から、局所領域メモリ２２０に記憶された情報２２２で特定される第２の局所領域内の画像を抽出し、画像メモリ２３２に記憶する（Ｓ２３）。露出制御部２３３は、画像メモリ２３２から第２の局所領域内の画像を読み出し、その画像に基づいてグループＧ２用の露出制御信号２３３１を生成し、保持する（Ｓ２４）。また侵入物検出部２３４は、画像メモリ２３２から第２の局所領域内の画像を読み出し、その画像を分析して侵入物の有無を検出する（Ｓ２５）。そして、侵入物検出部２３４は、侵入物を検出すると（Ｓ２６でＹＥＳ）、侵入物を検出した旨の検出結果２３４１を通信Ｉ／Ｆ部２３５を通じて管理装置２５０へ送信する（Ｓ２７）。侵入物が検出されない場合、ステップＳ２７の処理はスキップされる。

グループ選択部２３７は、再び、次の撮像タイミングの到来を監視し（Ｓ２８）、次の撮像タイミングが到来すると、選択グループを現在のグループＧ２からグループＧ１に切り換える（Ｓ２９）。また露出制御部２３３は、内部に保持しているグループＧ１用の露出制御信号をカメラ２１０へ出力する（Ｓ３０）。そして、ステップＳ２２の処理へと戻り、グループＧ１用の露出制御信号によって露出制御された状況下で、カメラ２１０が撮像を行って新たな画像を生成する。以降、前述と同様の動作がグループ毎に交互に繰り返される。

上記以外の構成および動作は第２の実施形態と同じである。

このように本実施形態によれば、侵入物検出を行う領域の画像品質が最適化されるようにカメラ２１０の露出を制御することができる。その理由は、カメラ２１０によって生成された画像のうち、局所領域メモリ２２０に記憶された情報によって特定される局所領域内の画像に基づいて、カメラ２１０の露出制御と侵入物検出とが行われるためである。

また本実施形態によれば、複数の局所領域に関する情報２２１、２２２を記憶し、画像データ処理部２３０は、カメラ２１０によって生成する複数の画像を、時間軸方向に、上記複数の局所領域に１対１に対応する複数のグループに分け、カメラ２１０の露出制御と侵入物検出とをグループ毎に独立に行うため、明暗の相違する複数の局所領域のそれぞれについて品質の良い被写体像を得ることができ、侵入物の検出精度を高めることができる。

[その他の実施形態]
以上、本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態にのみ限定されず、その他各種の付加変更が可能である。

例えば、撮像手段の画像から局所領域内の画像を抽出する処理をデジタル画像で実施したが、アナログ画像で実施するようにしても良い。また、カメラ２１０等の撮像手段と、露出制御や画像認識処理を行う画像データ処理手段とを一体として実装した画像認識装置について主として説明したが、撮像手段と画像データ処理手段とが物理的に別の筐体に実装された画像認識装置に対しても本発明は適用可能である。

さらに、カメラ２１０等の撮像手段から、表示装置に表示させるための映像信号と露出制御用の映像信号とが別々に出力されている場合、表示装置に表示させるための映像信号から局所領域内の映像信号を抽出し、露出制御用の映像信号から局所領域内の映像信号を抽出し、それぞれ画像認識処理用の局所領域画像、露出制御用の局所領域画像として使用するようにしても良い。

また、本発明で実施する画像認識処理は、侵入物検出に限定されず、人等の行動監視や、各種装置の発熱状態等の監視などであっても良い。

また、本発明の画像認識装置は、ハードウェアによって実現することができる以外に、ＭＰＵ等のプロセッサと局所領域情報等を記憶するメモリを有するコンピュータと、上記プロセッサで実行されるプログラムとによって実現することも可能である。プログラムは、半導体メモリや磁気ディスク等のコンピュータ読取可能な記録媒体に記録されて提供され、コンピュータの立ち上げ時等にコンピュータに読み取られ、コンピュータの動作を制御することにより、コンピュータ上に上述した画像データ処理手段１３０、２３０を実現する。

なお、本発明は、日本国にて２０１３年２月１３日に特許出願された特願２０１３−０２５０９６の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

本発明はカメラで撮像した画像を分析して侵入物検出等の画像認識処理を行うシステム全般に適用することができる。

１００…画像認識装置
１１０…撮像手段
１２０…局所領域記憶手段
１３０…画像データ処理手段

Claims (2)

1. 被写体の画像を生成する撮像手段と、
   局所領域の特定に関する情報を記憶する局所領域記憶手段と、
   前記撮像手段によって生成された前記画像内の領域のうち、前記情報によって特定される前記局所領域に基づいて、前記撮像手段の露出制御を行う露出制御手段と、
   前記露出制御が行われた後、前記画像内の前記局所領域への侵入物を検出する侵入物検出手段と
   を有し、
   前記局所領域記憶手段は、複数の前記局所領域の特定に関する情報を記憶し、
   前記撮像手段によって生成する複数の前記画像を、時間軸方向に、前記複数の局所領域に１対１に対応する複数のグループに分けるグループ選択手段を有し、
   前記露出制御手段は、各グループ毎に、各グループに対する前記局所領域の前記画像に基づいて、前記撮像手段の露出制御を行い、
   前記侵入物検出手段は、各グループ毎に、各グループに対する前記局所領域の前記画像に基づいて、侵入物検出のための画像認識処理を行い、
   前記グループ選択手段は、前記複数のグループの中から処理対象とする前記グループを順番に選択し、
   前記撮像手段によって生成された前記画像から、前記選択された前記グループに対応する前記局所領域内の前記画像を抽出する局所領域画像抽出手段を有し、
   前記露出制御手段は、前記抽出された前記局所領域内の前記画像の明るさに基づいて露出制御信号を生成し、該生成した露出制御信号を用いて前記選択された前記グループの前記画像が次回撮像される際の前記撮像手段の露出を制御し、
   前記侵入物検出手段は、前記抽出された前記局所領域内の前記画像に対して侵入物検出のための前記画像認識処理を行う、
   画像認識装置。
2. 撮像手段と、局所領域の特定に関する情報を記憶する局所領域記憶手段と、露出制御手段と、侵入物検出手段とを有する画像認識装置が実行する画像認識方法であって、
   前記撮像手段が、被写体の画像を生成し、
   前記露出制御手段が、前記撮像手段によって生成された前記画像のうち、前記情報によって特定される前記局所領域内の前記画像に基づいて、前記撮像手段の露出制御を行い、
   前記侵入物検出手段が、前記露出制御が行われた後、前記局所領域内の前記画像に基づいて、侵入物を検出し、
   前記局所領域記憶手段は、複数の前記局所領域の特定に関する情報を記憶し、
   グループ選択手段が、前記撮像手段によって生成する複数の前記画像を、時間軸方向に、前記複数の局所領域に１対１に対応する複数のグループに分け、
   前記露出制御手段が、各グループ毎に、各グループに対応する前記局所領域の前記画像に基づいて、前記撮像手段の露出制御を行い、
   前記侵入物検出手段が、各グループ毎に、各グループに対する前記局所領域の前記画像に基づいて、侵入物検出のための画像認識処理を行い、
   前記グループ選択手段が、前記複数のグループの中から処理対象とする前記グループを順番に選択し、
   局所領域画像抽出手段が、前記撮像手段によって生成された前記画像から、前記選択された前記グループに対応する前記局所領域内の前記画像を抽出し、
   前記露出制御手段が、前記抽出された前記局所領域内の前記画像の明るさに基づいて露出制御信号を生成し、該生成した露出制御信号を用いて前記選択された前記グループの前記画像が次回撮像される際の前記撮像手段の露出を制御し、
   前記侵入物検出手段が、前記抽出された前記局所領域内の前記画像に対して侵入物検出のための前記画像認識処理を行う
   画像認識方法。

Images