JP7306535B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。

撮像装置により撮像した画像から人の顔を検出し、顔認証を行う技術がある。撮像領域に明暗差がある場合であっても、顔検出、顔認証に適した画像を提供する装置が特許文献１に開示されている。

特許文献１に記載の発明では、検出された顔の領域の画像の輝度分布が顔認証の基準となる基準画像の輝度分布と同様となるように撮像装置の露出値を制御する。

特開２００７－２５１５５８号公報

しかしながら、特許文献１に記載の発明では、例えば、撮像された画像内に検出された認証対象領域となる顔領域が複数あって、背景が明るい場所及び背景が暗い場所にそれぞれ顔領域がある場合には、一方の場所の顔領域の露出値を適切に制御できない。

そこで、本発明は、上記問題を解決するためになされたものであり、明るい場所や暗い場所があるような場合に適切な露出条件で撮像できるようにすることを目的とする。

上記目的を達成するため、本発明に係る撮像装置は、第１の露出条件での撮像により取得した画像での輝度分布特性において分布がピークになる輝度値が所定の閾値を超えて低輝度側または高輝度側に偏った値になる場合にこの偏った方向に対応させた第２の露出条件を設定し、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを所定の繰り返し周期で切り替える切替手段を備え、前記切替手段は、前記第１の露出条件での撮像により取得した画像に基づいて認識対象被写体が検出できた場合には、前記第２の露出条件での撮像により取得した画像に基づいて前記認識対象被写体が検出できた場合であっても前記第２の露出条件での撮像期間よりも前記第１の露出条件での撮像期間の方が長くなるように、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを切り替える、ことを特徴とする。
また、本発明に係る撮像方法は、撮像装置が実行する撮像方法であって、第１の露出条件での撮像により取得した画像での輝度分布特性において分布がピークになる輝度値が所定の閾値を超えて低輝度側または高輝度側に偏った値になる場合にこの偏った方向に対応させた第２の露出条件を設定し、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを所定の繰り返し周期で切り替える切替処理を含み、前記切替処理は、前記第１の露出条件での撮像により取得した画像に基づいて認識対象被写体が検出できた場合には、前記第２の露出条件での撮像により取得した画像に基づいて前記認識対象被写体が検出できた場合であっても前記第２の露出条件での撮像期間よりも前記第１の露出条件での撮像期間の方が長くなるように、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを切り替える、ことを特徴とする。
また、本発明に係るプログラムは、撮像装置のコンピュータを、第１の露出条件での撮像により取得した画像での輝度分布特性において分布がピークになる輝度値が所定の閾値を超えて低輝度側または高輝度側に偏った値になる場合にこの偏った方向に対応させた第２の露出条件を設定し、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを所定の繰り返し周期で切り替える切替手段として機能させ、前記切替手段は、前記第１の露出条件での撮像により取得した画像に基づいて認識対象被写体が検出できた場合には、前記第２の露出条件での撮像により取得した画像に基づいて前記認識対象被写体が検出できた場合であっても前記第２の露出条件での撮像期間よりも前記第１の露出条件での撮像期間の方が長くなるように、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを切り替える、ことを特徴とする。

本発明によれば、明るい場所や暗い場所があるような場合に適切な露出条件で撮像できるようにすることができる。

本発明の第１実施形態に係る顔認証システムを示す図である。 本発明の第１実施形態に係る顔認証システムの処理フローの概略を示す図である。 本発明の第１実施形態に係る画像処理装置のブロック図である。 本発明の第１実施形態に係る画像処理装置に撮像される画像の輝度分布を示す図であって、（ａ）は、通常の露出値で撮像される場合の輝度分布の図、（ｂ）は、通常の露出値及びプラスの露出値で撮像される場合の輝度分布の図、（ｃ）は、通常の露出値、プラスの露出値及びマイナスの露出値で撮像される場合の輝度分布の図である。 本発明の第１実施形態に係る画像処理装置のフレームの切り替えを示し、（ａ） は、通常の設定で撮像する場合、（ｂ）は、通常及びプラスの露出値の露出設定で交互に撮像する場合、（ｃ）は、通常の露出値、プラスの露出値及びマイナスの露出値の露出設定で交互に撮像する場合の図である。 本発明の第１実施形態に係る画像処理装置の露出補正処理１のフローチャートである。 本発明の第１実施形態に係る画像処理装置の露出追従処理のフローチャートである。 本発明の第１実施形態に係る画像処理装置の画像合成処理１のフローチャートである。 （ａ）は、通常の設定で撮像された画像、（ｂ）は、プラスの露出値又はマイナスの露出値で撮像された画像、（ｃ）は、画像合成処理１で出力される画像を示す図である。 本発明の第１実施形態に係る画像処理装置の画像合成処理２のフローチャートである。 図１０で行われる顔の輝度分布の中心と輝度レベルの中心との距離の比較を示す図である。 画像合成処理２で出力される画像を示す図である。 本発明の第１実施形態に係る画像処理装置による画像を１２ビットから８ビットに変換する例を示す図である。 本発明の第１実施形態に係る画像処理装置のガンマ補正のガンマカーブの例を示す図である。 本発明の第２実施形態に係る画像処理装置のフレームの切り替えを示し、（ａ） は、１フレーム毎にフレームを切り替える設定で撮像する場合、（ｂ）は、第１の露出条件で４フレーム撮像した後に第２の露出設定で１フレーム撮像する場合の図である。 本発明の第２実施形態に係る画像処理装置の画像の合成方法を示す図である。 本発明の第２実施形態に係る画像処理装置の露出補正処理２のフローチャートである。

本発明の実施形態に係る画像処理装置について、以下、図面を参照して詳細に説明する。

本発明の実施形態に係る画像処理装置は、例えば、鉄道の駅にて、鉄道利用者の出勤時間と退勤時間とをデータマイニングするために、顔認証システムの顔認証装置に顔認証を行わせるための画像データを生成する。オフィスやイベントのセキュリティ等に使用することもできる。なお、画像に写る人物の数は、顔画像があまりに小さくなりすぎない限り特に制限はないが、以下の説明においては、説明を容易にするため、画像に写る人物は２人とする。

＜第１実施形態＞
［顔認証システムの構成］
図１に示すように、顔認証システム１は、画像処理装置１０及び顔認証装置８０を有する。画像処理装置１０は、顔認証システム１の撮像範囲Ｌに存在する認証対象領域である人物１００（１０１，１０２）の画像を撮像し、後述する露出補正処理１及び画像処理を行って顔認証に適した画像データを顔認証装置８０に送信する。撮像範囲Ｌには、例えば、窓越しに屋外からの日光が入り込むエリアである高輝度領域２００や、柱や駅を発着する電車により影が生じるエリアである低輝度領域３００が生じる。これらの明暗差が大きくなる高輝度領域２００や低輝度領域３００にいる人物１０１，１０２に対しては、顔認証が正しく行えない場合がある。そこで、顔認証装置８０が高輝度領域２００にいる人物１０１とともに低輝度領域３００にいる人物１０２の顔認証を行うことができるように、画像処理装置１０によって、露出補正処理１、画像処理等を行って顔認証に適した画像データを提供する。

顔認証システム１で行われる処理の概略を図２に示して説明する。撮像装置に撮像された画像は１２ビットのベイヤー画像であり、この画像を現像、階調補正して、８ビットに圧縮したＹＵＶ画像を生成する。生成された画像の顔検出は、画像処理装置１０において行い、顔照合は、顔認証装置８０において行う。

（画像処理装置の構成）
図３に示すように、画像処理装置１０は、制御部２０、記憶部３０、撮像部４０、通信部５０、表示部６０、入力部７０、を備える。

制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部３０に記憶されたプログラム等を実行することにより、後述する各部（露出設定部２１、画像取得部２２、輝度分布算出部２３、判別部２４，補正部２５、画像加工部２６、画像送信部２７、操作部２８）の機能を実現する。また、制御部２０は、時計（図示せず）を有し、現在日時の取得や経過時間のカウント等をすることができる。

記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、ＲＯＭの一部又は全部は電気的に書き換え可能なメモリ（フラッシュメモリ等）で構成されている。記憶部３０は、機能的に、露出条件記憶部３１と、画像記憶部３２と、輝度分布記憶部３３と、を有する。ＲＯＭには制御部２０のＣＰＵが実行するプログラム及びプログラムを実行する上で予め必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり変更されたりするデータが記憶される。

露出条件記憶部３１には、後述する露出設定部２１が設定した露出条件が記憶されている。露出条件は、露出設定部２１が設定するが、補正部２５にて補正を行うこともでき、また、ユーザによって変更、追加することもできる。なお、露出条件には、常時、第１の条件が設定されており、初期設定では、通常状態の露出値ＥＶ０（被写体の明暗の反射率１８％グレーの部分を正しく撮像する露出値）が設定されている。

画像記憶部３２には、画像取得部２２が取得した画像Ｖが記憶される。また、画像加工部２６で加工を行った画像Ｖ１も記憶される。

輝度分布記憶部３３には、輝度分布算出部２３で算出した輝度分布Ｂが記憶される。

撮像部４０は、撮像装置４１、駆動装置４２を有する。

撮像装置４１は、本実施形態では、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラを備える。撮像装置４１は、露出設定部２１が設定した露出条件で画像Ｖを撮像する。画像Ｖは、ベイヤー画像であり、１２ビットの分解能で出力される。

駆動装置４２は、後述する操作部２８の指示に従って、撮像装置４１の位置を移動させて撮像範囲Ｌを調整する。

通信部５０は、顔認証装置８０や外部機器等と通信するためのモジュールである通信装置５１を有する。通信装置５１は、外部機器と通信する場合にはアンテナを含む無線モジュールである。例えば、通信装置５１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく近距離無線通信を行うための無線モジュールである。通信部５０を用いることにより、画像処理装置１０は、顔認証装置８０や外部機器と画像データ等の受け渡し等を行うことができる。

表示部６０は、液晶表示パネル（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）から構成された表示装置６１を備える。

表示装置６１としては、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、液晶、有機ＥＬなどを採用できる。表示装置６１には、画像Ｖ，Ｖ１、輝度分布算出部２３が算出した画像Ｖの輝度分布Ｂ等が表示される。

入力部７０は、表示部６０と近接して、又は表示部６０と一体に設けられた抵抗膜方式のタッチパネルである。タッチパネルは、赤外線操作方式や投影型静電容量方式等であってもよいし、入力部はタッチパネルで無くキーボード及びマウス等であってもよい。ユーザは、入力部７０を介したマニュアル操作にて、表示部６０に表示された輝度分布Ｂ を補正することができる。

次に、画像処理装置１０の制御部２０の機能的構成について説明する。制御部２０は、露出設定部２１、画像取得部２２、輝度分布算出部２３、判別部２４，補正部２５、画像加工部２６、画像送信部２７、操作部２８、の機能を実現し、露出補正、露出追従、画像合成等を行う。

露出設定部２１は、後述する輝度分布算出部２３による画像Ｖの輝度分布Ｄの算出結果に基づき、撮像部４０がモニタリング動画の撮像を行う際の露出条件の設定を行う。設定した露出条件は、露出条件記憶部３１に記憶する。また、取得した画像Ｖから算出した輝度分布ＤのピークＰが後述する所定の範囲Ｒにない場合、露出設定部２１は、第２の条件を設定する。

画像取得部２２は、露出設定部２１が設定した露出条件で撮像部４０にモニタリング動画を撮像させ、撮像されたモニタリング動画に含まれる画像Ｖを取得する。画像取得部２２は、取得した画像Ｖを画像記憶部３２に記憶する。

輝度分布算出部２３は、画像取得部２２が取得した画像Ｖから輝度分布Ｄ（輝度０パーセントから１００パーセントを０から２５５に割り当てた数値の分布）を算出する。輝度分布算出部２３は、算出した画像Ｖの輝度分布Ｄを輝度分布記憶部３３に記憶する。

判別部２４は、輝度分布算出部２３が算出した輝度分布ＤのピークＰ（Ｐ１，Ｐ２，…）が所定の範囲Ｒ内にあるか、所定の範囲Ｒ未満にあるか、所定の範囲Ｒを超えるかを判別する。図４（ａ）から（ｃ）の輝度分布図に示すように、本実施形態では、所定の範囲Ｒは、輝度レベル０－２５５を４分割した領域のうちの中央の２つの領域（ＭＩＤ＿１及びＭＩＤ＿２）である、６３－１９１の範囲である。ピークＰがＭＩＤ＿１及びＭＩＤ＿２の領域にあれば、フレームを追加しなくても、画像Ｖは白飛びや黒つぶれの影響は小さい。

補正部２５は、輝度分布算出部２３が算出した輝度分布ＤのピークＰが所定の範囲Ｒ内にある場合、ピークＰを所定の範囲Ｒの中心に移動させるように補正を行う。補正方法は、後述する。

画像加工部２６は、画像記憶部３２に保存した画像Ｖの加工を行う。ある露出設定の画像Ｖ２内にある顔画像Ｆ２を、他の露出設定の画像Ｖ１内に合成して顔認証装置８０が顔認識できる画像ＶＡ，ＶＢを生成する。

画像送信部２７は、取得された画像Ｖや加工された画像Ｖ１等を顔認証装置８０に送信する。

操作部２８は、撮像部４０の撮像範囲Ｌを移動させるための指示を、駆動装置４２に送信する。

以上、制御部２０の機能的構成について説明した。以下、撮像された画像から取得された輝度分布が、図４（ａ）～（ｃ）である場合を例として、画像処理装置１０で行われる露出補正について具体的に説明する。

まず、図４（ａ）に示すように、輝度分布ＤのピークＰが所定の範囲Ｒ（輝度レベル６３－１９１）内にある場合、補正部２５は、輝度分布ＤのピークＰから、
Δ＝１２７／Ｐ…（１）
を算出する。補正部２５は、ΔをピークＰに乗算し、ピークＰを所定の範囲Ｒの中央に位置するように第１の条件を微修正し、画像Ｖ１を撮像する。この場合、追加フレームはなく、図５（ａ）に示すように、第１の露出条件である基準露出Ｒｅｆのフレームでの撮像のみが行われる。

次に、図４（ｂ）に示すように、輝度分布ＤのピークＰ１が所定の範囲Ｒ未満にあり、ピークＰ２が所定の範囲Ｒ内にある場合、補正部２５は、輝度分布ＤのピークＰ１から、上式（１）で求めたΔをピークＰ１に乗算し、ピークＰ１を所定の範囲Ｒ１の中央に位置するように露出値を増加させた第２の条件を設定する。撮像装置４１は、図５（ｂ）に示すように、第１の露出条件（基準露出Ｒｅｆ）及び第２の露出条件（Ｐｌｕｓ露出）の露出値によって、フレームを交互に切り替えて撮像を行う。なお、所定の範囲Ｒ外にあるピークＰ１が所定の範囲Ｒ未満ではなく、所定の範囲Ｒを超える場合には、第２の露出条件は、（１）式を使って露出値を減少させたものとなる。この場合、第２の露出条件は、Ｍｉｎｕｓ露出となり、図５（ｂ）のＰｌｕｓ露出のフレームがＭｉｎｕｓ露出のフレームに置き換わることになる。つまり、基準露出ＲｅｆとＭｉｎｕｓ露出のフレームで交互に撮像されることになる。

最後に、図４（ｃ）に示すように、輝度分布ＤのピークＰ１が所定の範囲Ｒ未満にあり、ピークＰ２が所定の範囲Ｒを超える場合、補正部２５は、輝度分布ＤのピークＰ１から、上式（１）で求めたΔをピークＰ１に乗算し、ピークＰ１を所定の範囲Ｒ１の中央に位置するように露出値を増加させた第２の露出条件を設定し、かつ、輝度分布ＤのピークＰ２から、上式（１）で求めたΔをピークＰ２に乗算し、ピークＰ２を所定の範囲Ｒ１の中央に位置するように露出値を減少させた第２の露出条件を設定する。撮像装置４１は、図５（ｃ）に示すように、第１の露出条件（基準露出Ｒｅｆ）及び２つの第２の露出条件（Ｐｌｕｓ露出及びＭｉｎｕｓ露出）の露出値によって、３つのフレームを順に切り替えて撮像を行う。

（顔認証装置）
顔認証装置８０は、例えば、主成分分析を使った固有顔を顔認識のアルゴリズムとする装置である。顔認証装置８０は、画像処理装置１０から送信される画像データを用いて顔認証（２次元顔認証）を行う。

［画像処理装置で行われる各種処理］
次に、画像処理装置１０で行われる露出補正処理１、露出追従処理、画像合成処理１，２についてフローチャートを用いて説明する。なお、露出補正処理１、露出追従処理、画像合成処理１，２は、平行して実行可能である。

（露出補正処理１）
図６を参照して、画像処理装置１０で行われる露出補正処理１のフローを説明する。露出補正処理１によって、画像内の顔の検出状況に応じて、図５（ａ）～（ｃ）に示すように、フレームの露出設定を切り替えて画像を撮像することができる。これにより、実質的なフレームレートの低下を抑えつつ（追加のフレームが不要な時には基準フレームのみで撮像を行う）、図１に示す明暗差が大きくなる高輝度領域２００や低輝度領域３００にいる人物１０１，１０２について、追加のフレームを必要に応じて使用することによって、顔認証装置８０が顔認証をより正確に行うことができる。

まず、露出設定部２１は、第１の条件（基準フレーム）の露出値ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）０（絞り値Ｆ１、露光時間１秒とする）を設定し、露出条件記憶部３１に記憶する（ステップＳ１）。

次に、画像取得部２２は、露出条件記憶部３１を参照し、露出条件記憶部３１に記憶されている第１の露出条件にて撮像部４０に撮像範囲Ｌの画像Ｖを撮像させる。ステップＳ１２から戻ってきた場合、ステップＳ７及び／又はステップＳ９にてフレームを追加設定されているときには、前述の第１の露出条件及び第２の露出条件にて、図５（ｂ）又は（ｃ）に示すように、基準フレームと１つ又は２つの追加フレームとで交互又は順番に撮像させる（ステップＳ２）。

撮像部４０の撮像装置４１は、第１の露出条件にて撮像範囲Ｌの画像Ｖを撮像し、画像取得部２２は、撮像された画像Ｖを取得する。画像取得部２２は、取得した画像Ｖを画像記憶部３２に記憶する。前段落同様に、フレームを追加設定されているときには、後述する第２の露出条件にて、追加フレームでも同様に撮像し、記憶する（ステップＳ３）。

輝度分布算出部２３は、画像記憶部３２を参照し、画像記憶部３２に記憶された画像Ｖ の輝度分布Ｄを算出する。輝度分布算出部２３は、算出した画像Ｖの輝度分布Ｄを輝度分布記憶部３３に記憶する（ステップＳ４）。

輝度分布算出部２３は、輝度分布ＤのピークＰ（Ｐ１，Ｐ２，…）を算出する（ステップＳ５）。

判別部２４は、輝度レベル６３未満であるピークＰが存在するか否かを判別する（ステップＳ６）。輝度レベル６３未満のピークＰが存在する場合（ステップＳ６：Ｙｅｓ）、露出値を増加させた第２の露出条件の露出値のフレームを追加設定する。露出設定部２１は、輝度分布ＤのピークＰの輝度レベルから、前述の（１）式を満たすΔを算出し、Δを基準露出の輝度レベル１２７に乗算した値を第２の露出条件の露出値に設定し、露出条件記憶部３１に第２の露出条件の露出値を記憶する（ステップＳ７）。その後、ステップＳ８に進む。

輝度レベル６３未満のピークＰが存在しない場合（ステップＳ６：Ｎｏ）、ステップＳ８に進む。

判別部２４は、輝度レベル１９１を超えるピークＰが存在するか否かを判別する（ステップＳ８）。輝度レベル１９１を超えるピークＰが存在する場合（ステップＳ８：Ｙｅｓ）、露出値を減少させた第２の露出条件の露出値のフレームを追加設定する。露出設定部２１は、輝度分布ＤのピークＰから、（１）式のΔを算出し、Δを基準露出の輝度レベル１２７に乗算した値を第２の露出条件の露出値に設定し、露出条件記憶部３１に第２の露出条件の露出値を記憶する（ステップＳ９）。その後、ステップＳ１０に進む。

輝度レベル１９１を超えるピークＰが存在しない場合（ステップＳ８：Ｎｏ）、ステップＳ１０に進む。

判別部２４は、追加フレームがあるか否かを判別する（ステップＳ１０）。追加フレームがある場合（ステップＳ１０：Ｙｅｓ）、ステップＳ１２に進む。追加フレームがない場合（ステップＳ１０：Ｎｏ）、ステップＳ１１に進む。

ステップＳ１１では、補正部２５は、第１の露出条件における輝度レベルの中央値である輝度レベル１２７になるように、ステップＳ１で設定された露出値に上記（１）で算出したΔを乗算することにより第１の露出条件を補正し、ステップＳ１２に進む。

終了する場合（ステップＳ１２：Ｙｅｓ）、処理を終了し、終了しない場合（ステップＳ１２：Ｎｏ）、ステップＳ２に戻る。

以上、露出補正処理１により、輝度分布算出部２３が算出した輝度分布Ｄにおいて、所定の範囲Ｒ外に撮像した画像の輝度分布ＤのピークＰが存在する場合に、露出設定部２１はピークＰの輝度レベルに応じた露出値の追加フレームを設定し、画像取得部２２が基準露出及び追加露出のフレームで撮像された画像を取得するので、顔認証装置８０に好適な画像データを送信することができる。また、追加フレームが設定された場合にも、基準露出フレームは設定されているので、顔画像の検出漏れの発生を抑制することができる。

（露出追従処理）
図７を用いて、露出追従処理について説明を行う。この処理は、フレーム毎の露出の変動速度を制御するものである。人間が鑑賞する動画であれば、フレームの連続性を重視するため、露出変化に対してフレーム毎の露出の変動幅に制限を設けている。一方、機械認証のための動画では、フレームの連続性よりも最適な露出にできるだけ早く変化させることを重視する。顔認証に適した画像がなるべく迅速に取得できることを目的とする。なお、露出追従は顔検出されている場合に行われるので、基準露出フレーム及び／又は追加フレームで顔検出がされている場合に本処理は実行される。

判別部２４は、第１の条件で撮像を行っている、基準露出のフレームに顔が検出されているか否かを判別する（ステップＳ３０）。基準露出のフレームに顔が検出されている場合（ステップＳ３０：Ｙｅｓ）、現状の顔認証を優先させるために低速で露出値の追従を行い（ステップＳ３１）、終了する。

基準露出のフレームに顔が検出されていない場合、すなわち追加フレーム内に顔が検出されている場合（ステップＳ３０：Ｎｏ）、高速で露出値の追従を行い（ステップＳ３２）終了する。

以上、この露出追従処理により、既に基準フレームで顔検出を行っている人物への追尾処理中にロストする等の好ましくない影響を減らしつつ、可能な限り早く露出の追従を行うことができる。

（画像合成処理１）
図８及び図９を用いて、画像合成処理１について説明を行う。露出補正処理１にて基準及び追加の露出条件で撮像された複数のフレーム（以下、基準及び追加の露出条件で撮像された複数のフレームは、単に、複数のフレーム、と記す。図面での表記も単に、複数のフレーム、と記載する。）で画像Ｖの撮像が行われている場合に、顔認証装置８０に送信する画像を合成する処理である。

まず、図８において、判別部２４は、撮像された画像Ｖで顔検出されているか否かを判別する（ステップＳ４０）。画像Ｖで顔検出されている場合（ステップＳ４０：Ｙｅｓ）、ステップＳ４１に進む。

判別部２４は、撮像装置４１が複数のフレームで画像Ｖを撮像しているか否かを判別する（ステップＳ４１）。撮像装置４１が複数のフレームで撮像している場合（ステップＳ４１：Ｙｅｓ）、ステップＳ４２に進む。

ステップＳ４２では，判別部２４は、基準露出のフレームでは検出されず追加露出のフレームのみで検出された顔画像があるか否かを判別する。このために、判別部２４は、追加露出フレームで検出された顔画像がそれぞれ基準露出フレームで検出された顔画像と一致するか否かを判別する。両フレームでの顔画像が一致するか否かは、両フレームでの顔画像の領域の特徴量を算出し、所定のアルゴリズムでマッチングを行う、あるいは、両フレームでの顔画像の特徴量の差分値を算出してこの値が一定範囲内であれば同一であると判断する、等の手法がある。追加露出フレームで検出された顔画像のうち、基準露出フレームで検出された顔画像と一致しないものが、ステップＳ４２で求める顔画像である。なお、撮像対象が動かない、あるいは、ほぼ動かない場合には、顔画像等の位置を基準に一致するか否かを判別してもよい。

基準露出のフレームでは検出されず追加露出のフレームのみで検出された顔画像がない場合（ステップＳ４２：Ｎｏ）、基準露出のフレームの画像を選択し顔認証装置８０に送信して（ステップＳ４３）、終了する。基準露出のフレームでは検出されず追加露出のフレームのみで検出された顔画像がある場合（ステップＳ４２：Ｙｅｓ）、基準露出のフレームを選択し、画像加工部２６は、追加露出のフレームでのみ検出された顔画像Ｆ２をトリミングし、基準露出のフレームに貼りあわせた画像Ｖ１を合成し、画像送信部２７が画像Ｖ１を顔認証装置８０に送信し（ステップＳ４４）、終了する。図９を用いて例示すると、図９（ａ）に示す基準露出のフレームの画像Ｖ１内に検出されておらず、図９（ｂ）に示す追加露出のフレームの画像Ｖ２内にのみ検出されている顔画像Ｆ２Ａのみをトリミングし、画像Ｖ１に合成し、図９（ｃ）に示す画像ＶＡが得られ、この画像ＶＡを顔認証装置８０に送信する。

撮像画像で顔検出されていない場合（ステップＳ４０：Ｎｏ）、及び、撮像装置４１が複数のフレームで画像Ｖを撮像していない場合、つまり、基準露出のフレームのみで撮像している場合（ステップＳ４１：Ｎｏ）、画像送信部２７は基準露出のフレームの画像Ｖをそのまま顔認証装置に送信し（ステップＳ４３）、終了する。

以上、画像合成処理１によって、基準露出のフレームでは検出できず追加露出のフレームでしか検出できなかった顔画像（対象物）のみを基準露出のフレームに貼りあわせる画像処理を実行する。これにより、顔認証装置８０に送信するのは、基準露出のフレームによる画像とし、基準露出のフレームでは検出できなかった顔画像のみを基準露出のフレームによる画像に合成するので、送信する画像データを少なくすることができる。

（画像合成処理２）
図１０を用いて、画像合成処理２について説明を行う。画像合成処理１では、顔画像が基準露出のフレームと追加露出のフレームとの両方で検出されている場合には、基準露出のフレームの顔画像を選択していた。一方、画像合成処理２では、顔画像が基準露出のフレームと追加露出のフレームとの両方で検出されている場合には、より良く顔画像が表現できている顔画像を選択（例えば、図１１において、顔の輝度分布の中心Ａが基準露出フレームの顔の輝度分布の中心Ｂよりも１２ビットの輝度レベルの中心Ｃに近い追加露出フレームの顔画像を選択）する。顔の輝度分布の中心が１２ビットの輝度レベルの中心Ｃに近い顔画像を選択することにより、より広い範囲の顔の輝度分布を送信する画像に反映させることができる。画像合成処理２は、例えば、基準露出フレームで図９（ａ）に示す画像Ｖ１が撮像され、追加露出フレームで図９（ｂ）に示す画像Ｖ２が撮像された場合、図１２に示す合成画像ＶＢの顔画像ＦＢには、図９（ａ）に示す顔画像Ｆ１Ａ、図９（ｂ）に示す顔画像Ｆ２Ｂのいずれを使用するかを判別する点において、画像合成処理１と異なっている。

ステップＳ４０，４１での処理は、画像合成処理１と同じである。判別部２４は、撮像された画像Ｖで顔検出されているか否かを判別する（ステップＳ４０）。画像Ｖで顔検出されている場合（ステップＳ４０：Ｙｅｓ）、判別部２４は、撮像装置４１が複数のフレームで画像Ｖを撮像しているか否かを判別する（ステップＳ４１）。撮像装置４１が複数のフレームで撮像している場合（ステップＳ４１：Ｙｅｓ）、ステップＳ５２に進む。画像Ｖで顔検出されていない場合（ステップＳ４０：Ｎｏ）、撮像装置４１が複数のフレームで撮像していない場合（ステップＳ４１：Ｎｏ）、終了する。

ステップＳ５２では，判別部２４は、基準露出フレーム及び追加露出フレームの両方で検出された顔画像があるか否かを判別する。このために、判別部２４は、ステップＳ４２同様に、追加露出フレームで検出された顔画像がそれぞれ基準露出フレームで検出された顔画像と一致するか否かを判別する。両フレームでの顔画像が一致するか否かを判別する手法は、ステップＳ４２に記載の手法と同様である。基準露出フレーム及び追加露出フレームの両方で検出された顔画像がある場合（ステップＳ５２：Ｙｅｓ）、ステップＳ５３に進む。基準露出フレーム及び追加露出フレームの両方で検出された顔画像がない場合（ステップＳ５２：Ｎｏ）、ステップＳ５５に進む。

ステップＳ５３では、判別部２４は、基準露出フレーム及び追加露出フレームの両方で検出された顔画像の輝度分布の中心が、基準露出フレームでの輝度レベルの中心までよりも追加露出フレームでの輝度レベルの中心に近いか否かを判別する（ステップＳ５３）。つまり、図１１に例示されるような状態になっているか否かを判別する。検出された顔画像の輝度分布の中心が１２ビットの分解能の場合の輝度レベルの中心に近いフレームの顔画像を選択する処理である。

基準露出フレーム及び追加露出フレームの両方で検出された顔画像の輝度分布の中心が、基準露出フレームでの１２ビットの分解能の場合の輝度レベルの中心Ｃまでよりも追加露出フレームでの１２ビットの分解能の場合の輝度レベルの中心Ｃに近い場合（ステップＳ５３：Ｙｅｓ）、当該顔画像を追加露出フレームからトリミングし、基準露出フレームの画像に合成し（ステップＳ５４）、ステップＳ５５に進む。基準露出フレーム及び追加露出フレームの両方で検出された顔画像の輝度分布の中心が、基準露出フレームでの輝度レベルの中心までよりも追加露出フレームでの輝度レベルの中心に近くない（同一距離も含む）場合（ステップＳ５３：Ｎｏ）、画像合成は行わずにステップＳ５５に進む。

ステップＳ５５では、判別部２４は、基準露出のフレームでは検出されず追加露出のフレームのみで検出された顔画像があるか否かを判別する。このために、判別図２４は、ステップＳ４２，Ｓ５２同様に、追加露出フレームで検出された顔画像がそれぞれ基準露出フレームで検出された顔画像と一致するか否かを判別する。両フレームでの顔画像が一致するか否かを判別する手法は、ステップＳ４２に記載の手法と同様である。

ステップＳ５５において、基準露出のフレームでは検出されず追加露出のフレームのみで検出された顔画像がある場合（ステップＳ５５：Ｙｅｓ）、追加露出フレームのみで検出された顔画像をトリミングし、基準露出フレームで撮像された画像（ステップＳ５３：Ｙｅｓの場合は、一部に追加露出フレームで検出された顔画像が既に合成された画像）に合成し、顔認証装置８０に送信し（ステップＳ５７）、終了する。

基準露出のフレームでは検出されず追加露出のフレームのみで検出された顔画像がない場合（ステップＳ５５：Ｎｏ）、画像送信部２７は、現状の基準露出フレームで撮像された画像（ステップＳ５３：Ｙｅｓの場合は、一部に追加露出フレームで検出された顔画像が既に合成された画像）を顔認証装置８０に送信し（ステップＳ５６）、終了する。

以上、画像合成処理２によって、顔画像（対象物）が基準露出のフレームと追加露出のフレームとの両方で検出されている場合に、顔画像の輝度分布の中心が１２ビットの分解能の場合の輝度レベルの中心に近いフレームでの顔画像を選択する。より良く顔画像が表現できている顔画像を選択することにより、顔認証の精度の向上が見込まれる。

＜第２実施形態＞
第１実施形態では、所定の範囲Ｒ外に、撮像した画像の輝度分布ＤのピークＰが存在する場合に、基準露出のフレームと追加露出のフレームとで１フレームずつ交互に撮像を行っていたが、本実施形態では、基準露出のフレームと追加露出のフレームとで撮像を行う場合に、フレームの切り替えの頻度の調整を行う。

本実施形態においても、顔認証システム１の構成、画像処理装置１０の構成は第１実施形態と同じである。露出補正処理１以外の第１実施形態で行われた各種処理も同様に行われる。但し、制御部２０及び記憶部３０に、一部機能が追加されている。以下、追加機能について説明する。

露出設定部２１は、第２の露出条件を設定する場合に、第１の露出条件での撮像と第２の露出条件での撮像を切り替える頻度を設定する。第２の露出条件でのみ主要な被写体である顔画像が検出されるときには、図１５（ａ）に示すように、第１の露出条件での撮像と第２の露出条件での撮像を１フレームずつ交互に切り替える。第１の露出条件及び第２の露出条件で同一の顔画像が検出されるときには、図１５（ｂ）に示すように、第１の露出条件で４フレーム撮像した後に第２の露出条件で１フレーム撮像を行うように切り替える。露出設定部２１は、撮像を切り替える頻度も露出条件記憶部３１に記憶する。なお、顔画像がいずれの露出条件で検出されたかは、判別部２４が判別する。

判別部２４は、第１の露出条件で撮像された画像内と、第２の露出条件で撮像された画像内と、に顔画像が確認できるか否かを判別する。判別結果を露出設定部２１に送信する。

露出条件記憶部３１には、本実施形態では、第２の露出条件として、露出値＋２ＥＶが設定されている。

以上、追加機能について説明した。以下、図４（ｂ）、図１５（ａ）、（ｂ）及び図１６を参照して、本実施形態での画像処理装置１０で行われる露出補正について具体的に説明する。

図４（ｂ）に示すように、輝度分布ＤのピークＰ１が所定の範囲Ｒ未満にあり、ピークＰ２が所定の範囲Ｒ内にある場合、撮像装置４１は、図１５（ｂ）に示すように、第１の露出条件（基準露出Ｒｅｆ（０ＥＶ））及び第２の露出条件（Ｐｌｕｓ露出（＋２ＥＶ））の露出値によって、フレームを切り替えて３０ｆｐｓで撮像を行う。このとき、第２の露出条件でのみ主要な被写体である顔画像が検出されるときには、図１５（ａ）に示すように、第１の露出条件での撮像と第２の露出条件での撮像を１フレームずつ交互に切り替える。顔画像は、第２の露出条件でのみ検出されているので、フレームレートは１／２に低下する。背景は、第１の露出条件で撮像されたものを選択して使用するので背景のフレームレートは１／２の１５ｆｐｓに低下する。

第１の露出条件及び第２の露出条件で同一の顔画像が検出されるとき、又は、第２の露出条件では顔画像が検出されないときには、図１５（ｂ）に示すように、第１の露出条件で４フレーム撮像した後に第２の露出条件で１フレーム撮像するようにフレームを切り替えて３０ｆｐｓで撮像する。第１の露出条件で５フレーム中４フレーム撮像しているので、基準フレームでのフレームレートは４／５に低下する。背景は、第１の露出条件で撮像されたものを選択して使用するので、背景のフレームレートは４／５の２４ｆｐｓに低下する。第１実施形態で第１の露出条件及び第２の露出条件で撮像を行う場合、図１５（ａ）の場合に比べて、基準フレームのフレームレートの低下を小さくすることができる。

図１５（ａ）の場合も図１５（ｂ）の場合も、図１６に示すように、第１の露出条件で撮像された顔画像及び背景に、第２の露出条件で撮像された顔画像について配置座標を対応させて合成し、ＭＡＰ画像を生成し、それぞれの露出条件での撮像時に画像を更新する。

（露出補正処理２）
次に、第１実施形態で行われた露出補正処理１に代わって本実施形態で行われる露出補正処理２について、図１７を参照して説明する。露出補正処理２によって、画像内の顔の検出状況に応じて、フレームの露出設定を切り替え、フレームの切り替え頻度を調整して画像を撮像することができる。なお、露出補正処理２では、説明の簡略化のため、第２の露出条件は、輝度レベル６３未満であるピークＰが存在する場合に設定される＋２ＥＶのみとする。

露出補正処理２において、ステップＳ１からステップＳ５では、露出補正処理１と同様の処理が行われ、ステップＳ６０に進む。

ステップＳ６０では、判別部２４は、撮像範囲Ｌの画像Ｖの輝度分布Ｄに、例えば図４（ｂ）又は（ｃ）に示すような輝度レベル６３未満であるピークＰが存在するか否かを判別する。

輝度レベル６３未満であるピークＰが存在しない場合（ステップＳ６０：Ｎｏ）、ステップＳ６１に進む。

輝度レベル６３未満のピークＰが存在する場合（ステップＳ６０：Ｙｅｓ）、露出設定部２１は、露出値を増加させた第２の露出条件の露出値である＋２ＥＶのフレームを追加設定する。判別部２４は、第２の露出条件で撮像されたフレームのみに顔が検出されているか否かを判別する（ステップＳ６２）。

判別部２４は、第２の露出条件で撮像されたフレームのみに顔が検出されている場合（ステップＳ６２：Ｙｅｓ）、判別結果を露出設定部２１に送信する。露出設定部２１は、第１の露出条件での撮像と第２の露出条件での撮像を１フレームずつ交互に切り替えるように設定する（ステップＳ６３）。設定後、ステップＳ６１に進む。

判別部２４は、第２の露出条件で撮像されたフレームに顔が検出されていない、又は第１及び第２の露出条件で撮像されたフレームに顔が検出されている場合（ステップＳ６２：Ｎｏ）、判別結果を露出設定部２１に送信する。露出設定部２１は、第１の露出条件で４フレーム撮像した後に第２の露出条件で１フレーム撮像を行うように切り替えるように設定する（ステップＳ６４）。設定後、ステップＳ６１に進む。

終了する場合（ステップＳ６１：Ｙｅｓ）、処理を終了し、終了しない場合（ステップＳ６１：Ｎｏ）、ステップＳ２に戻る。

以上、露出補正処理２によって、輝度分布算出部２３が算出した輝度分布Ｄにおいて、所定の範囲Ｒ未満（輝度レベル６３未満）に撮像した画像の輝度分布ＤのピークＰが存在する場合に、露出設定部２１は露出値＋２ＥＶの追加フレームを設定し、追加露出のフレームのみで顔が検出されているか否かに応じてフレームの切り替え頻度を設定し、画像取得部２２が基準露出及び追加露出のフレームで撮像された画像を取得する。追加露出のフレームのみで顔が検出されているときは、基準露出と追加露出とで１フレームずつ交互に撮像し、基準露出及び追加露出のフレームで同一の顔が検出されているとき及び追加露出フレームでは顔画像が検出されていないときは、追加露出での撮像の頻度を低くする（あるいは基準露出での撮像の頻度を高くする）。従って、第１実施形態よりさらに顔認証装置８０に好適な画像データを送信することができる。また、追加フレームが設定された場合にも、基準露出フレームは設定されているので、顔画像の検出漏れの発生を抑制することができる。

（変形例）
上記各実施形態において、画像処理装置１０は、１２ビットのベイヤー画像を単純に８ビットに圧縮していたが、例えば、図１３に示すように、顔の階調を最大化するような圧縮をしてもよい。輝度分布算出部２３が輝度分布を算出した後、顔の輝度分布の中心Ｃを８ビットの輝度分布の中心に合わせ、顔の輝度分布の最小値Ａ及び最大値Ｂから一定の計測誤差用の予備領域を確保したＤ点からＥ点までをリニアに変換するガンマテーブルを用いるとよい。また、図１４に示すような、ガンマカーブ補正を施してもよい。また、図２において、ガンマ補正は、２段階の構成としてもよい。

上記各実施形態において、画像処理装置１０は、顔認証装置８０のために画像処理等を行っていたが、画像処理装置１０は、人物検出や物体検知（車両等）する画像認証装置のために、顔を対象物とするのではなく人物や物体等を対象物とする画像処理等を行ってもよい。また、対象物と被写体とは、同一であってもよいし、例えば対象物は顔、被写体は人物であってもよい。

上記第１実施形態において、画像処理装置１０は、図５（ｂ）、（ｃ）に示すように、１フレーム毎に交互にフレームを変更して撮像していたが、２フレーム、３フレームや５フレーム、あるいは、１秒、５秒や１０秒毎に交互にフレームを変更して撮像してもよい。

また、上記各実施形態において、画像処理装置１０は、合成した画像又はいずれかのフレームレートでの画像を顔認証装置８０に送信したが、設定された全てのフレームレートでの画像を送信して、画像合成等の手間を省略してもよい。

上記各実施形態において、第２の露出条件は、所定の範囲Ｒの外に輝度分布のピークＰが存在する場合に設定されたが、輝度分布のピークＰが複数存在する場合に設定されてもよい。

上記各実施形態において、第１の露出条件は１８％グレーであったが、撮像対象が暗い場所が多い又は明るい場所が多いときには、ユーザによって第１の露出条件を任意に設定してもよい。

また、上記各実施形態において、画像処理装置１０は撮像部４０を備えていたが、画像処理装置は撮像部を備えておらず、通信部５０を介して制御可能な外部の撮像装置に接続されていてもよい。

上記各実施形態において、画像処理装置１０は、２次元顔認証を行う顔認証装置８０のための画像を生成したが、３次元顔認証を行う顔認証装置のための画像を生成してもよい。

また、上記各実施形態において、所定の範囲Ｒ外に画像ＶのピークＰが存在する場合に追加フレームを設定していたが、画像ＶのピークＰが複数存在する場合に追加フレームを設定する、画像Ｖのピークが見当たらない時に追加フレームを設定する、等の設定としてもよい。

上記第１実施形態において、Ｐｌｕｓ露出及びＭｉｎｕｓ露出は式（１）によって露出値を調整されていたが、ピークの分布中心との輝度レベルの値と輝度レベルの値の範囲の中心の値との差に応じて、露出値を変化させてもよい。あるいは、Ｐｌｕｓ露出及びＭｉｎｕｓ露出は、＋３ＥＶや－３ＥＶ等の予め設定された露出値としてもよい。

また、上記各実施形態において、画像合成処理１，２では、基準露出のフレームで撮像された画像に追加露出のフレームで撮像された画像からトリミングした顔画像を合成していたが、追加露出のフレームで撮像された画像に基準露出で撮像された顔画像等の対象物をトリミングして合成してもよい。

上記各実施形態において、基準露出のフレームで撮像された画像に追加露出のフレームで撮像された画像からトリミングした顔画像を合成して画像合成処理１，２等を行っていたが、画像合成を行わず、トリミングした顔画像等のファイルタグに座標情報を埋め込むことで対応してもよい。

上記第２実施形態において、第２の露出条件でのみ顔画像が検出されるときには、第１の露出条件での撮像と第２の露出条件での撮像を１フレームずつ交互に切り替え、第１の露出条件及び第２の露出条件で同一の顔画像が検出されるとき、及び第２の露出条件で顔画像が検出されないときには、第１の露出条件で４フレーム撮像した後に第２の露出条件で１フレーム撮像を行うように切り替えた。しかし、フレームの切替の頻度は、任意に設定することができる。例えば、第２の露出条件でのみ顔画像が検出されるときには、第１の露出条件で1フレーム撮像した後に第２の露出条件で４フレーム撮像を行うようにフレームを切り替えて、第２の露出条件に第１の露出条件よりも大きな比重を置くようにもしてもよい。あるいは、各露出条件での顔画像検出頻度等に応じてフレームの切替の頻度を算出してもよい。

また、上記第２実施形態において、第１の露出条件及び第２の露出条件で異なる顔画像が検出されるとき、及び第２の露出条件でのみ顔画像が検出されるときには、第１の露出条件での撮像と第２の露出条件での撮像を１フレームずつ交互に切り替え、第２の露出条件で顔画像が検出されないときには、第１の露出条件で４フレーム撮像した後に第２の露出条件で１フレーム撮像を行うように切り替えてもよく、他の条件によって、フレームの切替の頻度を変更するようにしてもよい。例えば、いずれかの露出条件で顔画像が所定の位置で検出されるときには、その露出条件で４フレーム撮像した後に他の露出条件で１フレーム撮像を行うようにフレームを切り替える、あるいは、いずれかの露出条件で顔画像が所定の大きさ以上で検出されるときには、その露出条件で４フレーム撮像した後に他の露出条件で１フレーム撮像を行うようにフレームを切り替える等してもよい。

上記第２実施形態において、第２の露出条件は＋２ＥＶとして設定されていたが、第２の露出条件は他の値を設定又は第１実施形態のような手法で算出してもよい。また、第１実施形態のように第２の露出条件が２つあってもよいし、あるいは第２の露出条件が３つ以上設定されていてもよい。また、露出補正処理２においてもステップＳ１１同様のフレーム微調整が行われてもよい。逆に、露出補正処理１に、露出補正処理２の処理の一部又は全部が組み込まれていてもよい。

上記第２実施形態において、ＭＡＰ画像の背景には、第１の露出条件で撮像された背景を使用したが、第２の露出条件で撮像された画像を背景に使用してもよい。背景が暗い又は明るい場合等には、第２の露出条件で撮像された画像を背景に使用したほう好ましい場合もある。

この発明の画像処理装置１０の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、画像処理装置１０が行う露出補正処理１，２及び画像処理のプログラムが、記憶部３０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）及びＭＯ（Ｍａｇｎ ｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記）
（付記１）
モニタリング動画を撮像するための露出条件を設定する露出設定部と、
設定された前記露出条件で撮像された前記モニタリング動画に含まれる画像を取得する画像取得部と、
取得された前記画像から輝度分布を算出する輝度分布算出部と、を有し、
前記露出条件は、撮像装置に第１の露出値で前記画像を撮像させるための第１の露出条件と、前記撮像装置に前記第１の露出値よりも高い露出値で前記画像を撮像させる、及び、前記第１の露出値よりも低い露出値で前記画像を撮像させる、のうちの少なくとも一方のための第２の露出条件と、を含み、
前記露出設定部は、前記第１の露出条件を設定後に前記第１の露出条件で撮像された前記画像の輝度分布に基づいて、撮像するための前記露出条件として、前記第１の露出条件を設定するか、又は、前記第１の露出条件及び前記第２の露出条件を設定する、
画像処理装置。

（付記２）
前記露出設定部は、前記第１の露出条件で撮像された前記画像の輝度分布における輝度レベルの値のピークのうち１つ以上が所定の輝度レベルの値の範囲の外にある場合に、前記第２の露出条件を設定する、
付記１に記載の画像処理装置。

（付記３）
前記第２の露出条件は、前記ピークのうち１つ以上が前記所定の輝度レベルの値の範囲より低い範囲にある場合、前記第１の露出値よりも高い露出値で前記画像を撮像させる露出条件であり、前記ピークのうち１つ以上が前記所定の輝度レベルの値の範囲よりも高い範囲にある場合、前記第１の露出値よりも低い露出値で前記画像を撮像させる露出条件である、
付記２に記載の画像処理装置。

（付記４）
前記ピークの分布中心の輝度レベルの値と前記所定の輝度レベルの値の範囲の中心の値との差に応じて前記第２の露出条件の前記露出値を変化させる、
付記２又は３に記載の画像処理装置。

（付記５）
前記露出設定部は、前記第１の露出条件で撮像された前記画像の輝度分布が複数の輝度レベルの値のピークを有する場合に、輝度レベルの値のピークに基づいて前記第２の露出条件を設定する、
付記１に記載の画像処理装置。

（付記６）
前記第２の露出条件で撮像された前記画像に被写体が写っていない場合、又は、前記第１の露出条件及び前記第２の露出条件で撮像された前記画像の両方の画像に同一の被写体が写っている場合、前記第２の露出条件で撮像する頻度を低下させる、又は前記第１の露出条件で撮像する頻度を増加させる、
付記１から５のいずれか１つに記載の画像処理装置。

（付記７）
前記第２の露出条件で撮像された前記画像のみに被写体が写っている場合、前記第２の露出条件で撮像する頻度を増加させる、又は前記第１の露出条件で撮像する頻度を低下させる、
付記１から６のいずれか１つに記載の画像処理装置。

（付記８）
前記第１の露出条件で撮像した画像に前記第２の露出条件で撮像した画像を合成する補正部をさらに備える、
付記１から７のいずれか１つに記載の画像処理装置。

（付記９）
前記第１又は第２の露出条件のうちの一方の露出条件で撮像した画像に検出されず、前記第１又は第２の露出条件のうちの他方の露出条件で撮像した画像に検出されている対象物を、前記一方の露出条件で撮像した画像に合成する、
付記６又は７に記載の画像処理装置。

（付記１０）
前記対象物は、前記被写体である、
付記９に記載の画像処理装置。

（付記１１）
前記第１又は第２の露出条件のうちの一方の露出条件で撮像した画像に検出されず、前記第１又は第２の露出条件のうちの他方の露出条件で撮像した画像に検出されている第１の画像、及び前記第１の露出条件で撮像した画像に検出されておりかつ前記第２の露出条件で撮像した画像に検出されている第２の画像であって前記他方の露出条件で撮像した画像での前記第２の画像の輝度レベルのピークの値のほうが前記一方の露出条件で撮像した画像での前記第２の画像の輝度レベルのピークの値よりもそれぞれの露出条件での輝度レベルの中央値に近い前記第２の画像を、前記一方の露出条件で撮像した画像に合成する、
付記８に記載の画像処理装置。

（付記１２）
露出条件を設定し、
設定された前記露出条件で撮像された画像を取得し、
取得された前記画像から輝度分布を算出し、
前記露出条件は、撮像装置に第１の露出値で前記画像を撮像させるための第１の露出条件と、前記撮像装置に前記第１の露出値よりも高い露出値で前記画像を撮像させる、及び、前記第１の露出値よりも低い露出値で前記画像を撮像させる、のうちの少なくとも一方のための第２の露出条件と、を含み、
前記第１の露出条件が設定された後に前記第１の露出条件で撮像された前記画像の輝度分布に基づいて、撮像するための前記露出条件として、前記第１の露出条件が設定されるか、又は、前記第１の露出条件及び前記第２の露出条件が設定される、
画像処理方法。

（付記１３）
コンピュータに、
露出条件を設定し、
設定された前記露出条件で撮像された画像を取得し、
取得された前記画像から輝度分布を算出し、
前記露出条件は、撮像装置に第１の露出値で前記画像を撮像させるための第１の露出条件と、前記撮像装置に前記第１の露出値よりも高い露出値で前記画像を撮像させる、及び、前記第１の露出値よりも低い露出値で前記画像を撮像させる、のうちの少なくとも一方のための第２の露出条件と、を含み、
前記第１の露出条件が設定された後に前記第１の露出条件で撮像された前記画像の輝度分布に基づいて、撮像するための前記露出条件として、前記第１の露出条件が設定されるか、又は、前記第１の露出条件及び前記第２の露出条件が設定される、
ように機能させるためのプログラム。

（付記１４）
露出条件を設定する露出設定部と、
設定された前記露出条件で撮像された画像を取得する画像取得部と、
取得された前記画像から輝度分布を算出する輝度分布算出部と、を有し、
前記露出条件は、撮像装置に第１の露出値で前記画像を撮像させるための第１の露出条件と、前記撮像装置に前記第１の露出値よりも高い露出値で前記画像を撮像させる、及び、前記第１の露出値よりも低い露出値で前記画像を撮像させる、のうちの少なくとも一方のための第２の露出条件と、を含み、
前記露出設定部は、前記第１の露出条件を設定し、その後前記第１の露出条件で撮像された前記画像の輝度分布に基づいて、前記第１の露出条件に加えて前記第２の露出条件を設定することにより１以上の前記露出条件を設定する、
画像処理装置。

１…顔認証システム、１０…画像処理装置、２０…制御部、２１…露出設定部、２２…画像取得部、２３…輝度分布算出部、２４…判別部、２５…補正部、２６…画像加工部、２７…画像送信部、２８…操作部、３０…記憶部、３１…露出条件記憶部、３２…画像記憶部、３３…輝度分布記憶部、４０…撮像部、４１…撮像装置、４２…駆動装置、５０…通信部、５１…通信装置、６０…表示部、６１…表示装置、７０…入力部、７１…入力装置、８０…顔認証装置、１００，１０１，１０２…人物、２００…高輝度領域、３００…低輝度領域

Claims (4)

1. 第１の露出条件での撮像により取得した画像での輝度分布特性において分布がピークになる輝度値が所定の閾値を超えて低輝度側または高輝度側に偏った値になる場合にこの偏った方向に対応させた第２の露出条件を設定し、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを所定の繰り返し周期で切り替える切替手段を備え、
   前記切替手段は、前記第１の露出条件での撮像により取得した画像に基づいて認識対象被写体が検出できた場合には、前記第２の露出条件での撮像により取得した画像に基づいて前記認識対象被写体が検出できた場合であっても前記第２の露出条件での撮像期間よりも前記第１の露出条件での撮像期間の方が長くなるように、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを切り替える、
   ことを特徴とする撮像装置。
2. 前記切替手段は、前記第１の露出条件での撮像により取得した画像に基づいて前記認識対象被写体が検出できなかった場合であって前記第２の露出条件での撮像により取得した画像に基づいて前記認識対象被写体が検出できた場合には、前記第１の露出条件での撮像期間と前記第２の露出条件での撮像期間とが等しい長さとなるように、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを切り替える、
   ことを特徴とする請求項１に記載の撮像装置。
3. 撮像装置が実行する撮像方法であって、
   第１の露出条件での撮像により取得した画像での輝度分布特性において分布がピークになる輝度値が所定の閾値を超えて低輝度側または高輝度側に偏った値になる場合にこの偏った方向に対応させた第２の露出条件を設定し、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを所定の繰り返し周期で切り替える切替処理を含み、
   前記切替処理は、前記第１の露出条件での撮像により取得した画像に基づいて認識対象被写体が検出できた場合には、前記第２の露出条件での撮像により取得した画像に基づいて前記認識対象被写体が検出できた場合であっても前記第２の露出条件での撮像期間よりも前記第１の露出条件での撮像期間の方が長くなるように、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを切り替える、
   ことを特徴とする撮像方法。
4. 撮像装置のコンピュータを、
   第１の露出条件での撮像により取得した画像での輝度分布特性において分布がピークになる輝度値が所定の閾値を超えて低輝度側または高輝度側に偏った値になる場合にこの偏った方向に対応させた第２の露出条件を設定し、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを所定の繰り返し周期で切り替える切替手段として機能させ、
   前記切替手段は、前記第１の露出条件での撮像により取得した画像に基づいて認識対象被写体が検出できた場合には、前記第２の露出条件での撮像により取得した画像に基づいて前記認識対象被写体が検出できた場合であっても前記第２の露出条件での撮像期間よりも前記第１の露出条件での撮像期間の方が長くなるように、前記第１の露出条件での撮像と前記第２の露出条件での撮像とを切り替える、
   ことを特徴とするプログラム。

Images