JP7679190B2 - 情報処理装置、撮像装置、方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、情報処理装置、撮像装置、方法、プログラム及び記憶媒体に関する。

従来、撮影された画面の中から被写体の顔領域を検出し、前記顔領域に係る情報に基づいて、撮影画像の画質調整を行う技術が知られている（特許文献１参照）。

特開２０１７－０９２５４４

本発明が解決しようとする課題は、被写体の検出に適した露出制御をすることである。

本発明は、以下の解決手段によって上記課題を解決する。

本発明の１つの態様による情報処理装置は、撮像された画像を取得する取得手段と、前記画像から顔領域を検出する顔領域検出を実行する顔検出手段と、前記画像から人体領域を検出する人体検出手段と、前記顔検出手段により検出した前記顔領域又は前記人体検出手段により検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定手段と、前記決定された露出値を出力する出力手段と、を有し、前記決定手段は、前記決定された露出値で撮像した画像に対する前記顔領域検出の結果に応じて前記決定された露出値を維持するか判定する顔確認処理が無効にされている場合に、新たに前記顔検出手段により顔領域が検出されるか又は新たに前記人体検出手段により人体領域が検出されるまで前記決定された露出値を維持し、前記顔確認処理が有効にされており、かつ、前記顔確認処理において顔領域が検出されなかった場合において、前記決定された露出値を維持しない。

本発明の第１の実施形態に係る撮像制御システムの構成を示すブロック図。 第１の実施形態に係る監視カメラの内部構成を示すブロック図。 第１の実施形態に係るクライアント装置の内部構成を示すブロック図。 クライアント装置が実行する機能・構成を例示的に説明する図。 第１の実施形態に係る露出制御処理を例示的に説明するフローチャート。 第２の実施形態に係る露出制御処理を例示的に説明するフローチャート。 顔検出領域と人体検出領域とを例示的に説明する図。 第３の実施形態に係る露出制御処理を例示的に説明するフローチャート。 第４の実施形態に係る露出制御処理を例示的に説明するフローチャート。

以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

なお、後述する図に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

≪第１の実施形態≫
（基本構成）
図１は、本発明の第１の実施形態に係る撮像制御システム１００の構成を例示的に説明する図である。

撮像制御システム１００は、監視カメラ１０１と、ネットワーク１０２と、クライアント装置１０３と、入力装置１０４と、表示装置１０５とを有する。監視カメラ１０１は、動画像を取得するための撮像装置であり、被写体の撮像および画像処理が可能な装置である。監視カメラ１０１とクライアント装置１０３とは、ネットワーク１０２を介して相互に通信可能な状態で接続されている。クライアント装置１０３は、入力装置１０４と表示装置１０５に通信可能な状態で接続されている。クライアント装置１０３は、種々の情報を処理する装置（情報処理装置）である。また、クライアント装置１０３は、監視カメラ１０１の撮像を制御する撮像制御装置としても機能する。

入力装置１０４は、マウスやキーボード等から構成され、クライアント装置１０３のユーザにより操作される。

表示装置１０５は、クライアント装置１０３から受信した画像を表示するモニタ等を備える装置である。なお、表示装置１０５はタッチパネルなどのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として機能することもできる。この場合、表示装置１０５は、クライアント装置１０３へ指示、情報、データ等を入力する入力装置としても機能する。

図１では、クライアント装置１０３と入力装置１０４と表示装置１０５とがそれぞれ独立した装置として描かれているが、本実施形態はこのような構成に限定されない。例えば、クライアント装置１０３と表示装置１０５とが、一体化されていてもよいし、入力装置１０４と表示装置１０５とが一体化されていてもよい。また、クライアント装置１０３と入力装置１０４と表示装置１０５とが、一体化されていてもよい。クライアント装置１０３と表示装置１０５とが一体化される場合、一体化された装置は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンのような形態をとる。

（監視カメラの構造）
図２は、監視カメラ１０１の内部構成を例示的に説明するブロック図である。監視カメラ１０１は、撮像光学系２０１、撮像素子２０２、カメラＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５、撮像系制御部２０６、通信制御部２０７、Ａ／Ｄ変換部２０８、画像処理部２０９、エンコーダ部２１０およびネットワークＩ／Ｆ２１１を有する。監視カメラ１０１の各部（２０３～２１１）は、システムバス２１２により相互接続されている。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。Ａ／ＤはＡｎａｌｏｇ／Ｄｉｇｉｔａｌの略である。Ｉ／Ｆはインターフェースの略である。

撮像光学系２０１はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体の光情報を集光する光学部材群である。撮像光学系２０１は撮像素子２０２に接続されている。

撮像素子２０２は、撮像光学系２０１で集光される光束を電流値（信号値）へと変換するＣＭＯＳやＣＣＤなどの電荷蓄積型の固体撮像素子であって、カラーフィルタなどと組み合わせることで色情報を取得する撮像部である。ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。ＣＣＤはＣｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略である。撮像素子２０２はＡ／Ｄ変換部２０８に接続されている。

カメラＣＰＵ２０３は、監視カメラ１０１の動作を統括的に制御する制御部である。カメラＣＰＵ２０３は、ＲＯＭ２０４やＲＡＭ２０５に格納された命令を読み込み、その結果に従って処理を実行する。

撮像系制御部２０６は、カメラＣＰＵ２０３からの指示に基づいて、監視カメラ１０１の各部の制御を行う。例えば、撮像系制御部２０６は、撮像光学系２０１に対して、フォーカス制御、シャッター制御、絞り調整などの制御を行う。

通信制御部２０７は、クライアント装置１０３との通信によって、クライアント装置１０３から監視カメラ１０１の各部への制御命令（制御信号）をカメラＣＰＵ２０３に伝達するための制御を行う。

Ａ／Ｄ変換部２０８は、撮像素子２０２で検知した被写体の光量をデジタル信号（画像データ）に変換する。Ａ／Ｄ変換部２０８は、当該デジタル信号を画像処理部２０９に送信する。

画像処理部２０９は、撮像素子２０２から受信したデジタル信号の画像データに対して、画像処理を行う。画像処理部２０９はエンコーダ部２１０に接続されている。

エンコーダ部２１０は、画像処理部２０９で処理された画像データをＭｏｔｉｏｎ ＪｐｅｇやＨ２６４、Ｈ２６５などのファイルフォーマットに変換する処理を行う。エンコーダ部２１０はネットワークＩ／Ｆ２１１に接続されている。

ネットワークＩ／Ｆ２１１は、クライアント装置１０３等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースであって、通信制御部２０７により制御される。

ネットワーク１０２は、監視カメラ１０１と、クライアント装置１０３を接続するＩＰネットワークである。ネットワーク１０２は、例えばＥｔｈｅｒｎｅｔ（商標）等の通信規格に適合する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１０２は、監視カメラ１０１とクライアント装置１０３との間の通信を行うことができるものであればよく、その通信規格、規模、構成などを問わない。例えば、ネットワーク１０２は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。

（クライアント装置の構成）
図３は、クライアント装置１０３の内部構成を例示的に説明するブロック図である。

クライアント装置１０３は、クライアントＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５およびネットワークＩ／Ｆ３０６を有する。クライアント装置１０３の各要素は、システムバス３０７を介して、相互に通信可能に接続されている。

クライアントＣＰＵ３０１は、クライアント装置１０３の動作を統括的に制御する中央演算装置である。なお、クライアントＣＰＵ３０１によって、ネットワーク１０２を介して監視カメラ１０１の統括的な制御を実行してもよい。

主記憶装置３０２は、クライアントＣＰＵ３０１のデータの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。例えば、主記憶装置３０２は、クライアント装置１０３が顔検出や人体検出を行う際に使用するパターンマッチング用のパターン（顔の特徴部分や人体の特徴部分に対応するパターン）を予め格納している。

補助記憶装置３０３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。ＳＳＤはＳｏｌｉｄ Ｓｔａｔｅ Ｄｅｖｉｃｅの略である。

入力Ｉ／Ｆ３０４は、クライアント装置１０３が入力装置１０４等からの入力（信号）を受取る際に利用されるインターフェースである。

出力Ｉ／Ｆ３０５は、クライアント装置１０３から表示装置１０５等への情報（信号）を出力する際に利用されるインターフェースである。

ネットワークＩ／Ｆ３０６は、監視カメラ１０１等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースである。

クライアントＣＰＵ３０１が、補助記憶装置３０３に記憶されたプログラムに基づき処理を実行することによって、図４に示すクライアント装置１０３の機能及び処理が実現される。この詳細については後述する。

（クライアント装置の機能）
図４は、クライアント装置１０３が実行する機能を例示的に説明する図である。換言すると、図４に図示する各部（機能ブロック）は、クライアントＣＰＵ３０１により実行され得る機能である。

図４に示すように、クライアント装置１０３のクライアントＣＰＵ３０１は、入力情報取得部４０１、通信制御部４０２、入力画像取得部４０３、カメラ情報取得部４０４および検出方法設定部４０５を含む。またクライアントＣＰＵ３０１は、被写体検出部４０６、露出決定部４０７および表示制御部４０８を含む。なお、クライアント装置１０３は、クライアントＣＰＵ３０１とは別のハードウェア（またはソフトウェア）により、図４に図示する各部４０１～４０８の機能を実行してもよい。

入力信号取得部４０１は、入力装置１０４を介したユーザからの入力を受け付ける。

通信制御部４０２は、監視カメラ１０１から送信された画像（監視カメラ１０１により撮影された画像）を、ネットワーク１０２を介して受信するための制御を実行する。また、通信制御部４０２は、クライアント装置１０３から監視カメラ１０１への制御命令を、ネットワーク１０２を介して送信するための制御を実行する。

入力画像取得部４０３は、通信制御部４０２を介して監視カメラ１０１から受信した画像を、被写体の検出処理の対象である画像（被写体検出処理を適用する画像）として取得する。検出処理の詳細については後述する。

カメラ情報取得部４０４は、通信制御部４０２を介して、監視カメラ１０１により被写体を撮像する際のカメラ情報（撮像情報）を取得する。カメラ情報（撮像情報）は、被写体を撮像して画像を取得する際の種々の情報である。カメラ情報は、例えば、絞り値などの露出パラメータである。

検出方法設定部４０５は、入力画像取得部４０３により取得された画像に対して、顔領域の検出（顔検出）や人体領域の検出（人体検出）を含む様々な検出方法の中から、所定の（適切な）検出方法を設定する。顔検出を行う場合、後述する被写体検出部４０６は、画像における顔領域を優先して検出する。人体検出を行う場合、被写体検出部４０６は、画像における人体領域を優先して検出する。

本実施形態では、検出方法設定部４０５は、顔検出の検出方法または人体検出の検出方法を設定（選択）するとする。なお、本実施形態はこのような設定に限定されない。例えば、人物の上半身、頭部、顏の目、鼻、口などの一部領域などの人物の一部分の特徴領域を検出する検出方法を設定してもよい（選択できるようにしてもよい）。

また、本実施形態では、検出対象の被写体は人物であるが、人物以外の所定の被写体に係る特定領域を検出可能な構成であってもよい。例えば、動物の顔や自動車など、クライアント装置１０３において予め設定された所定の被写体を検出可能な構成にしてもよい。

露出決定部４０７は、被写体検出部４０６から得られる被写体領域の画像情報に基づき、露出値を決定し、通信制御部４０２より、監視カメラ１０１に前述の露出値を送信（出力）し、制御部２０７を介し露出制御（露出調整）が実行される。カメラ情報取得部４０４、検出方法設定部４０５、被写体検出部４０６、露出決定部４０７に関連する詳細な処理フローについては、図５のフローチャートを参照して後述する。

表示制御部４０８は、ＣＰＵ３０１からの指示に従い、露出決定部４０７で決定された露出補正が反映された撮像画像を表示装置１０５へ出力する。

（被写体の検出処理・露出決定処理）
以下、図５に示すフローチャートを参照して、本実施形態に係る露出制御処理について説明する。

なお、図１の撮像制御システム１００において、監視カメラ１０１、クライアント装置１０３、入力装置１０４および表示装置１０５の電源がオンされ、監視カメラ１０１とクライアント装置１０３の接続（通信）が確立しているとする。

また、この状態で、監視カメラ１０１による所定の更新周期で被写体の撮像、監視カメラ１０１からクライアント装置１０３への画像データの送信、表示装置１０５での画像表示が繰り返されているものとする。

そして、ネットワーク１０２を介して監視カメラ１０１からクライアント装置１０３に被写体の撮像画像が入力されたことに応じて、図５のフローチャートの処理がクライアントＣＰＵ３０１により開始されるものとする。

まず、ステップＳ５０１において、検出手段設定部４０５は、被写体検出部４０６に顔の検出を設定し、被写体検出部４０６は、入力画像に対して、顔検出処理を行う。クライアント装置１０３の主記憶装置３０２には、顏の特徴部分や人体の特徴部分に対応するそれぞれのパターンが予め格納されており、被写体検出部４０６は、当該パターンに基づくパターンマッチングにより顔領域を検出する。

次に、ステップＳ５０２において、被写体検出部４０６は、ステップＳ５０１で実行される顔検出処理において、画像内に顔領域が検出されているかを判定する。顔領域が検出されていない場合はステップＳ５０３に進み、少なくとも１つ以上の顔領域が検出されている場合はステップＳ５０５に進む。

ステップＳ５０３では、検出手段設定部４０５は、被写体検出部４０６に人体の検出を設定し、被写体検出部４０６は、入力画像に対して、人体検出処理を行う。

顔検出は、顏の向き、顏の大きさ、顏の明るさなどが顔検出に適した条件でない場合、顔領域を正確に検出することはできないのに対して、人体検出は、顏の向き、顏の大きさ、顏の明るさなどによらず人物が存在する領域を検出することができる。

なお、本発明における人体検出は、必ずしも全身を検出する必要はなく、上半身やバストアップ、顔を含む頭部領域でもよい。図７は、顔領域と人体領域との検出例である。

また、被写体の検出方法としてパターンマッチング法を採用する場合、パターンマッチングで使用するパターンとして、統計学習を使って作成されたパターン（識別器）を用いてもよい。あるいは、パターンマッチング以外の方法で被写体検出を行ってもよい。例えば、局所領域内の輝度勾配を用いて被写体検出を行ってもよい。すなわち、被写体の検出方法は特定の検出方法に限定されるものではなく、機械学習をベースにした検出や、距離情報に基づく検出など、種々の方法を採用できる。

ステップＳ５０４では、被写体検出部４０６は、ステップＳ５０３で実行される人体検出処理において、画像内に人体領域が検出されているかを判定する。人体領域が検出されていない場合は本処理を終了し、検出されている場合はステップＳ５０６に進む。

ステップＳ５０５では、露出決定部４０７は、続くステップＳ５０７で用いる注目領域をステップＳ５０１で検出された顔領域に設定する。

ステップＳ５０６では、露出決定部４０７は、続くステップＳ５０７で用いる注目領域をステップＳ５０３で検出された人体領域に設定する。

ステップＳ５０７において、露出決定部４０７は、ステップＳ５０５またはステップＳ５０６で設定された注目領域の平均輝度値を算出する。具体的には、露出決定部４０７は、ステップＳ５０５またはステップＳ５０６で設定した注目領域の数（検出された顔または人体の数）、注目領域の位置、注目領域のサイズに関する情報を下記の式（１）に適用する。

ここで、Ｉ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の輝度値を表す。また、ｆは注目領域の数を表し、（ｖ、ｈ）は注目領域の中心座標を表し、ｋは水平方向の注目領域のサイズを表し、ｌは垂直方向の注目領域の検出サイズを表す。

ステップＳ５０８において、露出決定部４０７は、ステップＳ５０７で算出された平均輝度値に基づいて、露出目標としての露出値ＥＶｃｏｒｒｅｃｔｉｏｎを決定する。まず、露出決定部４０７は、式（２）のように、ステップＳ５０７にて算出した注目領域の平均輝度値Ｉｏｂｊｅｃｔと、注目領域の目標輝度値Ｉｏｂｊｅｃｔ ｔａｒｇｅｔとの差分値を算出する。なお、注目領域の目標輝度値Ｉｏｂｊｅｃｔ ｔａｒｇｅｔは、例えば、ユーザにより任意に設定させてもよいし、顔認証時の認証精度と照らし合わせて、精度が高くなるような値に設定してもよい。

次に、露出決定部４０７は、式（３）のように露出値ＥＶｃｏｒｒｅｃｔｉｏｎを決定する。なお、ＥＶｃｕｒｒｅｎｔは、被写体輝度値（ＢＶ値）に基づくＡＰＥＸ換算のＥＶ値であって、クライアント装置１０３に予め格納された、露出制御に係るプログラム線図に基づいて設定される。

ここで、パラメータβは、現在の露出値ＥＶｃｕｒｒｅｎｔを中心とし、露出のアンダー側あるいは露出のオーバー側に露出を補正する際の補正度合（速度）に影響を与える係数である。パラメータβの値を大きく設定することで、露出目標値に達するまでに係る処理速度（または時間）は高速になるが、検出結果に誤判定が生じた場合や、被写体の検出が安定しない場合に、画面全体の明るさが急峻に変動する。一方、パラメータβの値を小さく設定すると、露出が目標に到達するまでに係る処理速度（または時間）は遅くなるが、誤検出や撮影条件にロバストになる。このパラメータβは、差分ΔＤｉｆｆが、設定された閾値Ｔｈ以上であった場合に、現在の露出値ＥＶｃｕｒｒｅｎｔに対する露出の補正値として設定される。

ステップＳ５０９では、カメラ情報取得部４０４は、カメラから現在の露出値の情報を取得する。

ステップＳ５１０では、露出決定部４０７は、通信制御部４０２を介して監視カメラ１０１と通信を行い、ステップＳ５０８にて算出した露出値を監視カメラ１０１に設定する。

ステップＳ５１１では、被写体検出部４０６は、ステップＳ５０１と同様に顔検出を行う。

ステップＳ５１２では、被写体検出部４０６は、ステップＳ５１１で実行される顔検出処理において、画像内に顔領域が検出されているかを判定する。顔領域が検出されている場合はステップＳ５１３に進み、顔領域が検出されていない場合はステップＳ５１４に進む。

ステップＳ５１３では、露出決定部４０７は、通信制御部４０２を介して監視カメラ１０１と通信を行い、ステップＳ５１０で設定した露出値を維持（固定）するように監視カメラ１０１に設定し、本処理を終了する。具体的には、再度、顔又は人体が検出されて新たに露出目標値が設定されるまで維持される。

ステップＳ５１４では、露出決定部４０７は、通信制御部４０２を介して監視カメラ１０１と通信を行い、露出目標をステップＳ５０９にて取得した露出値（露出設定値）に戻し、本処理を終了する。すなわち、ステップＳ５１０で設定した露出値は破棄される。その後は、画像全体の輝度値に基づいて、露出目標を逐次更新して露出制御が行われる。なお、輝度値は必ずしも画像全体のものである必要はなく、画像内に予め設定した一以上の領域（所定の領域）の輝度値を用いることができる。上説明したように、本実施形態の撮像制御システム１００では、顔領域または人体領域に基づいて露出制御を行い、その結果顔が検出できた場合には、その露出値が維持される。このように露出値を維持することで、顔の検出に適した露出に維持することができる。例えば、ガラス扉を採用した店舗入口やスタジアムゲートなど、強い逆光状態となる場合でも、顔検出に適切な露出値の維持が可能となる。よって、来店者や来場者被写体（人物）の顔を素早くとらえることができる。

また、本実施形態では、顔領域または人体領域に基づいて露出制御を行い、その結果顔が検出できなかった場合には、元の露出値に戻すようにしている。そのため、顔または人体の誤検出などにより適切な露出制御が行われなかった場合においても、その露出値が維持されることはない。

≪第２の実施形態≫
以下に、図６から図７を参照して、本発明の第２の実施形態を説明する。本実施形態では、第１の実施形態において、人体領域に基づいて露出制御をした場合に、顔領域に基づいて再度露出制御をすることで、より顔の認識に適した露出制御を行う方法を説明する。なお、第１の実施形態と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。

図６は、本実施形態のフローチャートである。以下、図６に図示するフローチャートを参照して、本実施形態に係る露出制御処理について説明する。なお、処理の開始タイミングについては第１の実施形態と同様なので説明は省略する。また、Ｓ５０１～Ｓ５１４の処理は第１の実施形態と同様なので、説明を省略する。

ステップＳ６０１では、露出決定部４０７は、人体を検出したことを示す人体検出フラグをＯＦＦに設定する。この処理は、ステップＳ５０２で顔の検出が判定された場合に行われる。続くステップＳ５０５以降は、第１の実施形態で説明したように、顔領域に基づいて露出制御が行われる。

ステップＳ６０２では、露出決定部４０７は、人体を検出したことを示す人体検出フラグをＯＮに設定する。この処理は、ステップＳ５０４で人体の検出が判定された場合に行われる。続くステップＳ５０６以降は、第１の実施形態で説明したように、人体領域に基づいて露出制御が行われる。

ステップＳ６０３では、露出決定部４０７は、人体検出フラグがＯＦＦかどうかを判定する。ＯＦＦであった場合にはステップＳ５１３に進み、そうでない場合（人体検出フラグＯＮ）にはステップＳ６０１に進む。すなわち、顔領域に基づいて露出制御が行われた場合は人体検出フラグがＯＦＦであるので、ステップＳ５１３に進み露出制御（露出値）を維持して処理を終了する。一方で、人体領域に基づいて露出制御が行われた場合は人体検出フラグがＯＮであるので、ステップＳ６０１に戻り、顔領域に基づいた露出制御が行われる。この場合、ステップＳ５０５では、ステップＳ５１１で検出された顔領域を注目領域に設定する。

図７に示すように、人体領域は、衣服など顔以外の領域が含まれる場合がある。そのため、第１の実施形態のように、人体領域に基づいた露出値を維持する場合、処理がシンプルで応答性に優れるというメリットがある一方、必ずしも顔領域に適した露出とならない場合がある。

第２の実施形態によれば、人体領域に基づいて露出制御を行い、その結果顔が検出できた場合、顔領域に基づいて再度露出制御が行われる。本実施形態のような処理を行うことにより、顔領域に適した露出が設定されるため、より顔の認識に適した露出を維持することができる。

≪第３の実施形態≫
以下に、図８を参照して、本発明の第３の実施形態を説明する。これまでに説明したように、第１の実施形態及び第２の実施形態では、顔の検出に適した露出値を維持することができる。しかしながら、例えば来店者が少ない店舗などで長時間、顔や人体が検出されず、時間や天候、照明の変化により店舗内外の明るさが変わった場合、維持している露出値が顔の検出に適したものとはならない場合がある。特に、逆光状態と順光状態とが入れ替わるような大きな明るさ変化があった場合、露出値を維持したままであると、顔や人体が大きく白飛び或いは黒つぶれしてしまい、検出精度が大きく低下するおそれがある。

そこで、本実施形態では、撮影環境の明るさ変化に応じて、露出値の維持を解除する方法を説明する。なお、第１の実施形態～２と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。

図８は、本実施形態のフローチャートである。以下、図８に図示するフローチャートを参照して、本実施形態に係る露出制御処理について説明する。なお、処理の開始タイミングについては第１の実施形態と同様なので説明は省略する。また、Ｓ５０１～Ｓ５１４の処理は第１の実施形態と同様なので、説明を省略する。

ステップＳ８０１では、露出決定部４０７は、露出制御の維持を行ったことを示す露出維持フラグをＯＮに設定する。なお、露出維持フラグは静的変数であり、次回の露出制御処理にも内容が持ち越されるものである。

ステップＳ８０２では、露出決定部４０７は、画面全体の平均輝度値を算出する。本処理は、ステップＳ５０２およびステップＳ５０４がいずれもＮｏと判定された場合に実行される。すなわち、顔も人体も検出されず、被写体の人物がいないときの画面全体の平均輝度値が算出される。

ステップＳ８０３では、露出決定部４０７は、露出維持フラグがＯＮかどうかを判定する。ＯＮであった場合にはステップＳ８０４に進み、そうでない場合にはステップＳ８０６に進む。

ステップＳ８０４では、露出決定部４０７は、ステップＳ８０２で算出された画面全体の平均輝度値を基準輝度値（基準値）として保存する。なお、基準輝度値は静的変数であり、次回の露出制御処理にも内容が持ち越されるものである。

ステップＳ８０５では、露出決定部４０７は、露出維持フラグをＯＦＦに設定し、本処理を終了する。

一方、ステップＳ８０６では、露出決定部４０７は、ステップＳ８０２で算出した画面全体の平均輝度値と、ステップＳ８０４で保存された基準輝度値との差分値を算出する。なお、本実施形態において、ステップＳ８０４が一度も実行されていない場合は、差分値は０とする。

ステップＳ８０７では、露出決定部４０７は、ステップＳ８０６で算出した差分値があらかじめ設定された閾値以上かどうかを判定する。そうであればステップＳ８０８に進み、そうでなければ、本処理を終了する。閾値は、例えば、あらかじめ様々な顔や人体の明るさのパターンを、露出設定や照明を変えるなどして監視カメラ１０１で撮影し、被写体検出部４０６により検出が可能な平均輝度値の範囲に基づいて設定するとよい。

ステップＳ８０８では、露出決定部４０７は、通信制御部４０２を介して監視カメラ１０１と通信を行い、監視カメラ１０１の露出値を監視カメラ１０１が持つ規定値にリセットし、本処理を終了する。露出値のリセットは、例えば、式（３）におけるＥＶｃｏｒｒｅｃｔｉｏｎを０に設定するようにしてもよい。

以上説明したように、第３の実施形態によれば、撮影環境の明るさ変化に応じて、露出値の維持が解除される。本実施形態のような処理を行うことにより、撮影環境に大きな明るさ変化があった場合でも、露出値がリセットされるので、顔または人体の検出精度の低下を抑えることができる。

なお、本実施形態では、説明を簡単化するために第１の実施形態に基づいた例を示したが、第２の実施形態と組み合わせることもできる。その場合、第２の実施形態におけるステップＳ５１３の後にステップＳ８０１を実行し、ステップＳ５０４でＮｏと判定された場合にステップＳ８０２～ステップＳ８０８を実行すればよい。

また、本実施形態では、画面全体の平均輝度値を用いる方法を示したが、必ずしもそうである必要はない。例えば、顔や人体が検出された領域に重みづけを行った重みづけ平均輝度値や、顔や人体が検出された近傍領域の平均輝度値を用いてもよい。

≪第４の実施形態≫
上述の実施形態では、露出制御後に顔が検出された場合に露出値を維持する例を説明した。しかしながら、カメラの画角（撮影範囲）や被写体の移動速度等の条件によっては、顔検出処理が行われる前に被写体が画角（撮影範囲）から外れてしまう可能性がある。その場合、注目領域（顔／人体）の輝度に基づいて行った露出制御の露出値が維持されない。

本実施形態では、顔確認処理が有効でない（無効である）場合には、顔検出の有無によらず露出値を維持する。なお、上述の実施形態と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。

図９は、本実施形態のフローチャートである。以下、図９に図示するフローチャートを参照して、本実施形態に係る露出制御処理について説明する。なお、処理の開始タイミングについては実施形態１と同様なので説明は省略する。また、Ｓ５０１～Ｓ５１４の処理は実施形態１と同様なので、説明を省略する。

ステップＳ９０１では、露出決定部４０７は、顔確認処理が有効か否かを判定する。ここで、顔確認処理とは、ステップＳ５１０の露出制御後の画像に対する顔検出処理のことである。顔確認処理が有効であればステップＳ５１１に進み、顔確認処理（Ｓ５１１－５１２）を行う。一方、顔確認処理が有効でなければ、ステップＳ５１３に進み、露出値の維持（露出の固定）を行う。つまり、所定の条件を満たす場合に露出値が維持される。ここで、所定の条件とは、顔確認処理が無効の場合（ステップＳ９０１でＮＯ）、又は、顔確認処理が有効で且つ顔領域が検出された場合（ステップＳ５１２でＹＥＳ）である。

なお、顔確認処理は、カメラの設置状況や画角（撮影範囲）、被写体速度等の条件により、顔確認処理が完了する前に被写体が画角（撮影範囲）から外れてしまう場合に無効に設定し、そうでない場合は有効に設定するとよい。

なお、顔確認処理は、ステップＳ５１２における顔検出の有無の割合によって、自動的に設定することもできる。例えば、顔検出有の割合が少ない場合、被写体が画角から外れやすい環境と判断し、顔確認処理を有効にする。そうでない場合には、顔確認処理を無効にする。

ステップ５１３で固定された露出は、新たに顔又は人体が検出されるまで維持される。すなわち、固定された露出は、新たに顔又は人体を検出した場合に解除される。なお、露出の固定（維持）を開始してから所定時間が経過した後に、露出の固定を解除するようにしてもよい。露出固定の解除後は、撮像した画像の所定の領域（例えば、画像全体や画像の中央付近の領域）の輝度に基づいて露出値を算出し、露出制御を行う。

≪その他の実施形態≫
上記の実施形態では、顔又は人体を検出する例を説明したが、これに限定されない。検出する対象は特定の物体であればよく、例えば、自動車とそのナンバープレートであってもよい。

また、上述の実施形態では、ネットワーク１０２を介してクライアント装置１０３により監視カメラ１０１の露出制御を行う例を説明したが、監視カメラ１０１自体で露出制御を行うようにしてもよい。

また、本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 監視カメラ
１０３ クライアント装置
１０４ 入力装置
１０５ 表示装置

Claims (13)

1. 撮像された画像を取得する取得手段と、
   前記画像から顔領域を検出する顔領域検出を実行する顔検出手段と、
   前記画像から人体領域を検出する人体検出手段と、
   前記顔検出手段により検出した前記顔領域又は前記人体検出手段により検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定手段と、
   前記決定された露出値を出力する出力手段と、
   を有し、
   前記決定手段は、
   前記決定された露出値で撮像した画像に対する前記顔領域検出の結果に応じて前記決定された露出値を維持するか判定する顔確認処理が無効にされている場合に、新たに前記顔検出手段により顔領域が検出されるか又は新たに前記人体検出手段により人体領域が検出されるまで前記決定された露出値を維持し、
   前記顔確認処理が有効にされており、かつ、前記顔確認処理において顔領域が検出されなかった場合において、前記決定された露出値を維持しない
   ことを特徴とする情報処理装置。
2. 前記決定手段は、前記顔確認処理が有効にされており、かつ、当該顔確認処理において顔領域が検出された場合において、新たに前記顔検出手段により顔領域が検出されるか又は新たに前記人体検出手段により人体領域が検出されるまで前記決定された露出値を維持する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記決定された露出値を維持しない場合に、前記決定された露出値を破棄し、撮像した画像の所定の領域の輝度に基づいて新たに露出値を決定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記決定手段は、前記決定された露出値の維持を開始した後、顔領域と人体領域のいずれも検出されない状態が所定時間経過した場合は、前記決定された露出値の維持を解除し、撮像した画像の所定の領域の輝度に基づいて新たに露出値を決定することを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記決定手段が前記決定された露出値の維持を開始した後、前記顔検出手段又は前記人体検出手段により顔領域と人体領域のいずれも検出されない場合に、画像の所定の領域の平均輝度を基準値として記憶する記憶手段と、
   前記記憶手段が前記基準値を記憶した後に、再度、前記顔検出手段又は前記人体検出手段により顔領域と人体領域のいずれも検出されない場合に、現在の前記所定の領域の平均輝度と前記基準値との差分値を算出する算出手段と、
   をさらに有し、
   前記決定手段は、前記算出手段により算出した差分値が閾値以上の場合に、前記決定された露出値の維持を解除し、撮像した画像の所定の領域の輝度に基づいて新たに露出値を決定することを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記所定の領域は、撮像した画像全体の領域であることを特徴とする請求項３から５のいずれか一項に記載の情報処理装置。
7. 前記所定の領域は、撮像した画像の中央付近の領域であることを特徴とする請求項３から５のいずれか一項に記載の情報処理装置。
8. 前記決定手段は、前記顔検出手段により検出した前記顔領域又は前記人体検出手段により検出した前記人体領域の輝度と目標輝度との差分が所定の範囲内に収まるように現在の露出値を補正することにより前記目標の露出値を決定することを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。
9. 前記人体領域は、全身、上半身、バストアップ、顔を含む頭部領域のいずれかであることを特徴とする請求項１から８のいずれか一項に記載の情報処理装置。
10. 請求項１から９のいずれか一項に記載の情報処理装置を備えた撮像装置。
11. 撮像された画像を取得する取得ステップと、
    前記画像から顔領域を検出する顔領域検出を実行する顔検出ステップと、
    前記画像から人体領域を検出する人体検出ステップと、
    前記顔検出ステップにより検出した前記顔領域又は前記人体検出ステップにより検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定ステップと、
    前記決定された露出値を出力する出力ステップと、
    を有し、
    前記決定された露出値で撮像した画像に対する前記顔領域検出の結果に応じて前記決定された露出値を維持するか判定する顔確認処理が無効にされている場合に、新たに前記顔検出ステップにより顔領域が検出されるか又は新たに前記人体検出ステップにより人体領域が検出されるまで前記決定された露出値を維持し、
    前記顔確認処理が有効にされており、かつ、前記顔確認処理において顔領域が検出されなかった場合において、前記決定された露出値を維持しない
    ことを特徴とする方法。
12. コンピュータに方法を実行させるためのプログラムであって、前記方法は、
    撮像された画像を取得する取得ステップと、
    前記画像から顔領域を検出する顔領域検出を実行する顔検出ステップと、
    前記画像から人体領域を検出する人体検出ステップと、
    前記顔検出ステップにより検出した前記顔領域又は前記人体検出ステップにより検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定ステップと、
    前記決定された露出値を出力する出力ステップと、
    を有し、
    前記決定された露出値で撮像した画像に対する前記顔領域検出の結果に応じて前記決定された露出値を維持するか判定する顔確認処理が無効にされている場合に、新たに前記顔検出ステップにより顔領域が検出されるか又は新たに前記人体検出ステップにより人体領域が検出されるまで前記決定された露出値を維持し、
    前記顔確認処理が有効にされており、かつ、前記顔確認処理において顔領域が検出されなかった場合において、前記決定された露出値を維持しない
    ことを特徴とするプログラム。
13. 請求項１２に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

Images