JP6033006B2 - 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Description

本発明は、暗所において被写体に赤外光を照射して撮影された画像を処理する画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関する。

一般に、デジタルビデオカメラなどの撮像装置において、赤外光カットフィルタを光路上から外した後、被写体に赤外光を照射して、その反射光を撮像センサで受けて暗所撮影を行うようにしたものがある（特許文献１参照）。

特開２０１１−１６６５２３号公報

ところで、被写体である人物などに赤外光を照射して撮影を行った場合、眼の虹彩部分が赤外光を反射するので、例えば、同一の人物を可視光で撮影した場合と比べて、不可避的に顔の印象に大きな違和感が生じてしまう。

従って、本発明の目的は、暗所において赤外光を照射して人物などの被写体を撮影した際に顔の印象に違和感が生じない画像を得ることのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、赤外光が照射された被写体を撮像して得られた画像において前記被写体の顔領域を検出する顔検出手段と、前記画像において、前記顔検出手段によって検出された顔領域から虹彩部分を検出する虹彩検出手段と、前記画像において、前記虹彩検出手段で検出された虹彩部分のみの輝度を予め定められた値に下げる虹彩補正処理を行う制御手段と、を有することを特徴とする。

本発明による制御方法は、赤外光が照射された被写体を撮像して得られた画像において前記被写体の顔領域を検出する顔検出ステップと、前記画像において、前記顔検出ステップで検出された顔領域から虹彩部分を検出する虹彩検出ステップと、前記画像において、前記虹彩検出ステップで検出された虹彩部分のみの輝度を予め定められた値に下げる虹彩補正処理を行う制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、赤外光が照射された被写体を撮像して得られた画像において前記被写体の顔領域を検出する顔検出ステップと、前記画像において、前記顔検出ステップで検出された顔領域から虹彩部分を検出する虹彩検出ステップと、前記画像において、前記虹彩検出ステップで検出された虹彩部分のみの輝度を予め定められた値に下げる虹彩補正処理を行う制御ステップと、を実行させることを特徴とする。

本発明による撮像装置は、上記の画像処理装置と、前記被写体に選択的に前記赤外光を照射する赤外光照射手段と、前記被写体を撮像して画像を得る撮像手段とを備え、前記制御手段は前記赤外光照射手段によって前記被写体に前記赤外光が照射されると、前記虹彩補正処理を行うことを特徴とする。

本発明によれば、暗所において赤外光を照射して人物などの被写体を撮影した際に顔の印象に違和感が生じない画像を得ることができる。

本発明の第１の実施形態による画像処理装置を備える撮像装置の一例を示すブロック図である。 図１に示す撮像装置において虹彩補正を行った顔領域の画像を説明するための図であり、（ａ）は明るい環境下で可視光のみで撮影した画像を示す図、（ｂ）は暗所で可視光のみで撮影した画像を示す図、（ｃ）は赤外光を照射するとともに赤外光カットフィルタを光路から退避させた状態で撮影した画像を示す図、（ｄ）は（ｃ）に示す画像について虹彩補正を行った後の画像を示す図である。 図１に示す撮像装置における虹彩領域の特定を説明するための図であり、（ａ）は顔における眼が含まれる矩形領域の特定を示す図、（ｂ）は（ａ）に示す矩形領域から眼の領域を特定した状態を示す図、（ｃ）は（ｂ）に示す眼の領域から虹彩および瞳孔を特定した状態を示す図、（ｄ）は（ｃ）に示す虹彩を補正した状態を示す図、（ｅ）は虹彩補正後の矩形領域を示す図である。 図１に示す撮像装置で検出される虹彩輝度のヒストグラムおよび輝度のガンマカーブを説明するための図であり、（ａ）は虹彩輝度のヒストグラムを示す図、（ｂ）はガンマカーブを示す図である。 図１に示す制御マイコンで行われる虹彩補正処理を説明するためのフローチャートである。 本発明の第２の実施形態による画像処理装置を備える撮像装置の一例を示すブロック図である。 図６に示す撮像装置において虹彩補正を行った顔領域の画像を説明するための図であり、（ａ）は明るい環境下で可視光のみで撮影した画像を示す図、（ｂ）は暗所で可視光のみで撮影した画像を示す図、（ｃ）は赤外光を照射するとともに赤外光カットフィルタを光路から退避させた状態で撮影した画像を示す図、（ｄ）は（ｃ）に示す画像について虹彩補正を行った後の画像を示す図、（ｅ）は登録された虹彩情報に基づいて虹彩補正を行った後の画像を示す図である。 図６に示す撮像装置で検出される虹彩輝度のヒストグラムおよび輝度のガンマカーブを説明するための図であり、（ａ）は明るい環境で撮影した画像から取得した虹彩輝度のヒストグラムを示す図、（ｂ）は暗所において赤外光撮影をして得られた画像から取得した虹彩輝度のヒストグラムを示す図、（ｃ）は補正に用いるガンマカーブを示す図である。 図６に示す制御マイコンで行われる虹彩補正処理を説明するためのフローチャートである。 本発明の第３の実施形態による画像処理装置を備える撮像装置における虹彩補正処理を説明するためのフローチャートである。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例を示すブロック図である。

図示の撮像装置１００は撮像光学系１０１を有している。この撮像光学系１０１は、例えば、ズームレンズ群、フォーカスレンズ、絞り、およびＮＤフィルタを備えているとともに、赤外光カットフィルタ１０２を有している。

撮像光学系１０１の後段には撮像部１０３が配置されている。撮像部１０３はＣＭＯＳセンサなどの撮像センサ、サンプル／ホールド回路、およびプリプロセス回路などを備えている。そして、撮像部１０３の出力は信号処理部１０４に与えられる。信号処理部１０４は顔検出部１０５および輝度変化部１０６を有している。

信号記録再生部１０７は後述するように画像データをフラッシュメモリなどの記録メディア１０８に記録する。さらに、信号記録再生部１０７は記録メディア１０８に記録された画像データを再生して、例えば、液晶パネルなどの表示部１１２に画像として表示する。

撮像装置１００は赤外光照射部１０９およびユーザによる操作が行われる操作部１１１を有している。制御マイコン１１０は撮像装置全体の制御を行う。

撮像装置１００を用いて撮影を行う際には、制御マイコン１１０の制御下で撮像光学系１０１は被写体像（光学像）の光量を絞りおよびＮＤフィルタによって調節する。さらに、撮像光学系１０１は制御マイコン１１０の制御下でズームレンズによってズーム倍率を調整するとともに、フォーカスレンズによって合焦を行う。

撮像光学系１０１は制御マイコン１１０の指示に応じて光路（光軸）上に赤外光カットフィルタ１０２を位置づけるか又は光路から退避させる。赤外光カットフィルタ１０２が光路上に位置づけられると、光学像における赤外光成分が除去される。また、赤外光カットフィルタ１０２が光路から退避すると、光学像における赤外光成分は除去されない。

なお、制御マイコン１１０は、後述するように、ユーザの操作指令および被写体の明るさに基づいて赤外光照射による撮影を行う否かを判定する。そして、制御マイコン１１０は当該判定結果に応じて赤外光照射部（赤外光照射手段）１０９および赤外カットフィルタ１０２の制御を行う。つまり、制御マイコン１１０は選択的に被写体に赤外光照射を行うことになる。

撮像光学系１０１の出力である光学像は撮影部１０３に備えられた撮像センサの受光面に結像する。撮像センサは光電変換によって光学像に応じた映像信号電荷を露光時間に応じて蓄積し、アナログ信号である映像信号を出力する。

この映像信号はサンプル／ホールド回路でサンプルホールド処理された後、プリプロセス回路に与えられる。そして、映像信号はＡＧＣ処理によってゲイン調整された後、Ａ／Ｄ変換処理が施されて、デジタル信号（画像データ）として信号処理部１０４に与えられる。

信号処理部１０４は、制御マイコン１１０の制御下でデジタル信号の各フレームに対して評価を行うとともに、その補正および加工処理などを行う。信号処理部１０４において、顔検出部（顔検出手段）１０５は、画像データにおいて被写体の顔領域を検出する。そして、顔検出部１０５は検出された顔領域の数（つまり、被写体の人数）、画像における顔領域の位置と大きさ、そして、顔領域における眼および口の位置を顔検出結果として制御マイコン１１０に送る。

制御マイコン１１０は顔検出結果および信号処理部１０４で処理された画像データ（以下画像ともいう）に基づいて顔の虹彩部分領域を特定する。

一方、輝度変化部１０６は、画像データにおいて制御マイコン１１０から指定された指定領域における輝度分布（ヒストグラム）を評価する。そして、輝度変化部１０６は輝度分布評価結果（つまり、輝度ヒストグラム）を制御マイコン１１０に送る。

なお、輝度変化部１０６は輝度分布評価結果に応じたガンマカーブを画像データの指定領域にかけて、輝度分布を変化させることができる。信号処理部１０４の出力である画像データは信号記録再生部１０７に出力される。

信号記録再生部１０７は、制御マイコン１１０の制御下で画像データに応じた画像表示部１１２で表示する。さらに、信号記録再生部１０７は画像データに対してフレーム内符号化処理又はフレーム間符号化処理を行った後、当該画像データを記録メディア１０８に記録する。

なお、画像データを記録メディア１０８に記録する際、信号記録再生部１０７は制御マイコン１１０の制御下で当該画像データが赤外光を照射した状態で撮影した結果得られた画像データであるか否かを示す赤外光情報を画像データに付加する。

操作部１１１はユーザによって操作され、ユーザは操作部１１１を操作して指令などを制御マイコン１１０に送る。そして、制御マイコン１１０は当該指令などに応じて撮像装置１００を制御する。

記録メディア１０８に記録された画像データを再生する際には、信号記録再生部１０７は、制御マイコン１１０の制御下で記録メディア１０８から画像データを読み出して復号する。そして、信号記録再生部１０７は復号後の画像データを信号処理部１０４に送る。

この際、信号記録再生部１０７は画像データに付加された赤外光情報を制御マイコン１１０に送る。これによって、制御マイコン１１０は再生すべき画像データが赤外光を照射した状態における撮影の結果得られた画像データであるか否かを判定することができる。

信号処理部１０４は、後述するようにして復号後の画像データを処理した後、信号記録再生部１０７に送り返す。そして、信号記録再生部１０７は当該画像データに応じた画像を表示部１１２に表示する。

ここで、暗所において赤外光を照射して撮影した際の虹彩補正について説明する。

図２は、図１に示す撮像装置において虹彩補正を行った顔領域の画像を説明するための図である。そして、図２（ａ）は明るい環境下で可視光のみで撮影した画像を示す図であり、図２（ｂ）は暗所で可視光のみで撮影した画像を示す図である。また、図２（ｃ）は赤外光を照射するとともに赤外光カットフィルタを光路から退避させた状態で撮影した画像を示す図であり、図２（ｄ）は図２（ｃ）に示す画像について虹彩補正を行った後の画像を示す図である。

図２（ａ）に示す例では、人物Ａの顔は十分明るい環境下で可視光のみで撮影されているので、人物Ａにおいてその虹彩２０１の色は濃く、中央部分にある瞳孔２０２とともに暗く映っている。一方、図２（ｂ）においては、暗所で同一の人物Ａの顔を可視光のみで撮影されており、図２（ａ）に示す画像と比べると、画像は暗く、人物Ａの顔をはっきりと確認することができない。

図２（ｃ）に示す例では、赤外光照射部１０９を用いて人物Ａの顔に赤外光を照射し、撮影光学系１０１に備えられた赤外光カットフィルタ１０２を光路から退避させて人物Ａの顔を撮影した。虹彩２０１は赤外光に対して反射率が高く、瞳孔２０２はその反射率が低い。このため、図２（ｃ）においては、人物Ａの虹彩２０１は明るく映り、中央部分の瞳孔２０２のみが暗く映る。

暗所においては、一般に瞳孔２０２は開いてやや大きくなるため、瞳孔２０２が目立つことも影響して、図２（ａ）に示す画像に比べて、図２（ｃ）においては、人物Ａの虹彩２０１が小さくなったかのように見える。この結果、同一人物であるにも拘らず、ユーザに違和感を与えてしまう。

このような違和感を低減するため、ここでは、図２（ｄ）に示す画像のように、虹彩２０１の輝度を下げる虹彩補正を行って、図２（ａ）に示す画像と違和感のない人物の顔を得る。

ここで、顔領域における虹彩部分の領域（虹彩領域）の特定について説明する。

図３は、図１に示す撮像装置における虹彩領域の特定を説明するための図である。そして、図３（ａ）は顔における眼が含まれる矩形領域の特定を示す図であり、図３（ｂ）は図３（ａ）に示す矩形領域から眼の領域を特定した状態を示す図である。また、図３（ｃ）は図３（ｂ）に示す眼の領域から虹彩および瞳孔を特定した状態を示す図であり、図３（ｄ）は図３（ｃ）に示す虹彩を補正した状態を示す図である。さらに、図３（ｅ）は虹彩補正後の矩形領域を示す図である。

まず、制御マイコン１１０は顔検出結果、つまり、顔の大きさおよび眼の位置に基づいて眼３００が含まれる矩形領域を特定する（図３（ａ）参照）。

続いて、制御マイコン１１０は肌３０６の部分を輝度の空間周波数と色相とに応じて判定する。そして、制御マイコン１１０は肌３０６に囲まれる眼３００の領域を、肌３０６と判定された領域との境界と顔の大きさから推定される眼の大きさとに基づいて特定する。ここでは、図３（ｂ）に示す斜線部分を除く領域が眼３００と特定された領域である。

眼３００と特定された領域には、補正の対象である虹彩３０１、虹彩３０１の中心部分にある瞳孔３０２、虹彩３０１の周囲にある白目３０４、および眼３００と肌３０６の境界にある影および睫が一体となったアイライン３０５が含まれている。

制御マイコン１１０は、虹彩３０１および瞳孔３０２の領域を、輝度および輝度の空間周波数に基づいて特定する。ここでは、図３（ｃ）に示す斜線部分を除く領域が、虹彩３０１および瞳孔３０２と特定された領域である。

虹彩３０１および瞳孔３０２と特定された領域が補正（虹彩補正）を行う対象であるが、虹彩補正を行う際には、制御マイコン１１０は赤外光照射の光源に対する反射部分（キャッチライト）３０３および瞳孔３０２の輝度は保持した状態で、虹彩３０１の輝度を下げる処理を行う。

これによって、例えば、図３（ｄ）に示す虹彩補正後の虹彩３０１が得られる。そして、虹彩補正を行うと、図３（ａ）に示す矩形領域は図３（ｅ）に示すように補正される。なお、制御マイコン１１０は上記の虹彩領域の特定を左右の眼について行う。

図４は、図１に示す撮像装置で検出される虹彩輝度のヒストグラムおよび輝度のガンマカーブを説明するための図である。そして、図４（ａ）は虹彩輝度のヒストグラムを示す図であり、図４（ｂ）はガンマカーブを示す図である。

いま、輝度変化部１０６は図３（ｃ）で示す虹彩３０１と瞳孔３０２の領域に対して輝度分布を評価して、図４（ａ）に示す輝度ヒストグラムを取得して、当該輝度ヒストグラムを制御マイコン１１０に送る。

図４（ａ）において、輝度が低い、つまり、暗い部分に位置する第１のピーク４０１は瞳孔３０２における輝度を示している。また、輝度がやや明るい部分にある第２のピーク４０２は虹彩３０１における輝度を示している。そして、輝度が明るい部分にある第３のピーク４０３はキャッチライト３０３の輝度を示している。

一方、輝度変化部１０６は輝度ヒストグラムに応じてガンマカーブを求める。そして、輝度変化部１０６は制御マイコン１１０で指定された指定領域、つまり、ここでは虹彩および瞳孔の領域において、ガンマカーブ（つまり、輝度分布）を変化させる。

図４（ｂ）において、輝度変化部１０６は破線で示すガンマカーブを実線で示すガンマカーブ４１０に変化させる。つまり、破線円４１１で囲まれる瞳孔３０２の部分および破線円４１３囲まれるキャッチライト３０３の部分については、輝度変化部１０６は輝度を変化させることなく現状の状態を維持する。

輝度変化部１０６は制御マイコン１１０の制御下でガンマカーブ４１０に基づいて虹彩３０１の部分についてのみその輝度を予め定められた輝度に下げる処理を行う。制御マイコン１１０は虹彩３０１の部分の輝度調整処理を、虹彩領域を特定した左右の眼について行う。

図５は、図１に示す制御マイコン１１０で行われる虹彩補正処理を説明するためのフローチャートである。

虹彩補正処理を開始すると、制御マイコン１１０は処理対象の画像が赤外光を照射して撮影した画像であるか否かを判定する（ステップＳ５０１）。この判定に当たって、虹彩補正処理を撮影の際に行う場合には、制御マイコン１１０は赤外光カットフィルタ１０２および赤外光照射部１０９の制御状態に応じて判定を行う。一方、虹彩補正処理を再生の際に行う場合には、制御マイコン１１０は処理対象の画像データに前述の赤外光情報が付加されているか否かに応じて赤外光の照射を判定することになる。

処理対象の画像が赤外光を照射して撮影した画像でないと（ステップＳ５０１において、ＮＯ）、制御マイコン１１０は虹彩補正処理を終了する。

一方、処理対象の画像が赤外光を照射して撮影した画像であると（ステップＳ５０１において、ＹＥＳ）、制御マイコン１１０は内蔵カウンタｉを０に初期化する（ステップＳ５０２）。そして、制御マイコン１１０は顔検出部１０５を制御して、処理対象の画像において顔検出を行って（ステップＳ５０３）、検出された顔の数（人数）および画像における各顔の位置と大きさ、そして、眼の位置を取得する。

続いて、制御マイコン１１０はカウンタｉの値と顔領域を検出した人数（検出人数）とを比較して、カウンタｉの値＜検出人数であるか否かを判定する（ステップＳ５０４）、カウンタｉの値≧検出人数であると（ステップＳ５０４において、ＮＯ）、制御マイコン１１０は処理対象の顔がないと判定して虹彩補正処理を終了する。

一方、カウンタｉの値＜検出人数であると（ステップＳ５０４において、ＹＥＳ）、制御マイコン１１０は、検出されたｉ番目の顔に対して、図３で説明したようにして虹彩および瞳孔の領域を特定する（ステップＳ５０５）。そして、制御マイコン１１０は特定した虹彩および瞳孔の領域について図４で説明したガンマカーブに応じた輝度補正、つまり、虹彩補正処理を行う（ステップＳ５０６）。

次に、制御マイコン１１０は内蔵カウンタｉに１を加算して（ステップＳ５０７）、ステップＳ５０４の処理に戻る。

このようにして、本発明の第１の実施形態では、暗所において赤外光を照射して人物などの被写体を撮影した際、その虹彩の輝度を補正するようにしたので（つまり、輝度を下げるようにしたので）、十分明るい環境下で可視光のみで撮影した画像と同様の虹彩輝度とすることができ、両者における違和感を低減することができる。

［第２の実施形態］
次に、本発明の第２の実施形態による画像処理装置を備える撮像装置の一例について説明する。

図６は、本発明の第２の実施形態による画像処理装置を備える撮像装置の一例を示すブロック図である。なお、図６において、図１に示す撮像装置と同一の構成要素については同一の参照番号を付す。

図６に示す撮像装置６００では、不揮発性メモリ（記憶手段）６１４が備えられるとともに、信号処理部１０４がさらに特徴量抽出部（特徴量抽出手段）６１３を有している。そして、撮像装置６００は予め登録された人物の虹彩の色の濃さに応じて虹彩補正処理を行う。

図６に示す撮像装置６００では、特徴量抽出部６１３は制御マイコン１１０の制御下で、顔検出部１０５によって検出された画像における顔の位置および大きさに基づいて画像を解析し、当該人物の顔の特徴を示す特徴量（抽出特徴量）を抽出する。この特徴量は、例えば、特開２００５−２６６９８１号公報に記載されているように、口、目、眉毛、および鼻などの顔の構成要素の具体的な形状、そして、これら構成要素の位置に関する情報を含む。

なお、特徴量を抽出する際には、例えば、ニューラルネットワーク又は空間フィルタを用いたエッジ検出などによって顔領域からその特徴量を抽出する。そして、この特徴量には、上述の形状および位置に関する情報ばかりでなく、彩度および色相に関する情報も含めるようにしてもよい。

不揮発メモリ６１４には、予め複数の人物についてその特徴量（登録特徴量）が登録されるとともに、当該登録特徴量に対応づけて虹彩の色の濃さを示す虹彩情報が登録されている。制御マイコン６１０は、特徴量抽出部６１３によって抽出された特徴量と不揮発メモリ６１４に登録された特徴量とを比較して、当該比較結果に応じて処理対象の画像中の人物が予め登録されている人物であるか否かを判定する。そして、処理対象の画像中の人物が登録されている人物であると判定すると、制御マイコン１１０は当該人物に係る虹彩情報を不揮発性メモリ６１４から取得する。

図７は、図６に示す撮像装置において虹彩補正を行った顔領域の画像を説明するための図である。そして、図７（ａ）は明るい環境下で可視光のみで撮影した画像を示す図であり、図７（ｂ）は暗所で可視光のみで撮影した画像を示す図である。また、図７（ｃ）は赤外光を照射するとともに赤外光カットフィルタを光路から退避させた状態で撮影した画像を示す図であり、図７（ｄ）は図７（ｃ）に示す画像について虹彩補正を行った後の画像を示す図である。さらに、図７（ｅ）は登録された虹彩情報に基づいて虹彩補正を行った後の画像を示す図である。

図７（ａ）に示す例では、人物Ｂの顔は十分明るい環境下で可視光のみで撮影されているが、人物Ｂにおいては虹彩７０１の色が図２（ａ）に示す人物Ａに比べて薄い。そして、人物Ｂにおいては中央部分にある瞳孔７０２のみが暗くなっている。

一方、図７（ｂ）においては、暗所で同一の人物Ｂの顔が可視光のみで撮影されており、図７（ａ）に示す画像と比べると、画像は暗く人物Ｂの顔をはっきりと確認することができない。

図７（ｃ）に示す例では、赤外光照射部１０９を用いて人物Ｂの顔に赤外光を照射し、撮影光学系１０１に備えられた赤外光カットフィルタ１０２を光路から退避させて人物Ｂの顔を撮影した。虹彩７０１は赤外光に対して反射率が高く、瞳孔２０２はその反射率が低い。このため、図７（ｃ）においては、人物Ｂの虹彩７０１はさらに明るく映り、中央部分の瞳孔７０２のみが暗く映る。

暗所においては瞳孔７０２が開いてやや大きくなるが、人物Ｂは元々瞳孔７０２のみが濃い色であるので、図７（ａ）に示す画像と比べて、図７（ｃ）に示す画像はそれほど違和感がない。

このような人物Ｂの画像について、図２（ｃ）に示す人物Ａの画像と同一の度合いで虹彩７０２の部分の輝度を下げて虹彩補正を行うと、図７（ｄ）に示すように、元々の人物Ｂの虹彩７０２の色とは異なった補正結果となってしまう。

このため、図６に示す撮像装置では、予め人物Ｂについて虹彩７０２の色の濃さが虹彩情報として登録されている場合には、当該虹彩情報に応じて虹彩補正処理を行う。これによって、図７（ｅ）に示すように、元々の人物Ｂの虹彩７０２の色に近い補正結果を得るようにする。

図８は、図６に示す撮像装置で検出される虹彩輝度のヒストグラムおよび輝度のガンマカーブを説明するための図である。そして、図８（ａ）は明るい環境で撮影した画像から取得した虹彩輝度のヒストグラムを示す図であり、図８（ｂ）は暗所において赤外光撮影をして得られた画像から取得した虹彩輝度のヒストグラムを示す図である。また、図８（ｃ）は補正に用いるガンマカーブを示す図である。

いま、輝度変化部１０６は図７（ａ）で示す虹彩７０１と瞳孔７０２の領域に対して輝度分布を評価して、図８（ａ）に示す輝度ヒストグラムを取得して、当該輝度ヒストグラムを制御マイコン１１０に送る。

同様に、輝度変化部１０６は図７（ｃ）で示す虹彩７０１と瞳孔７０２の領域に対して輝度分布を評価して、図８（ｂ）に示す輝度ヒストグラムを取得して、当該輝度ヒストグラムを制御マイコン１１０に送る。

図８（ａ）において、輝度が低い、つまり、暗い部分に位置する第１のピーク８０１は瞳孔７０２における輝度を示している。また、輝度Ｌｏである第２のピーク８０２は虹彩７０１における輝度を示している。そして、輝度が明るい部分にある第３のピーク８０３はキャッチライトの輝度を示している。

ここでは、不揮発メモリ６１４には、十分明るい環境で撮影した人物Ｂの顔領域から抽出された特徴量および虹彩部分の輝度Ｌｏを示す虹彩情報が格納されているものとする。

同様に、図８（ｂ）において、第１のピーク８１１は瞳孔部分の輝度を示し、第２のピーク８１２は虹彩部分の輝度Ｌｉを示す。第３のピーク８１３はキャッチライトの輝度を示す。

一方、輝度変化部１０６は制御マイコン１１０の制御下で輝度ヒストグラムおよび虹彩情報に応じてガンマカーブを求める。そして、輝度変化部１０６は制御マイコン１１０で指定された指定領域、つまり、ここでは虹彩および瞳孔の領域において、ガンマカーブ（つまり、輝度分布）を変化させる。

図８（ｃ）において、輝度変化部１０６は破線で示すガンマカーブを実線で示すガンマカーブ８２０に変化させる。つまり、破線円８２１で囲まれる瞳孔７０２の部分および破線円８２３囲まれるキャッチライトの部分については、輝度変化部１０６は輝度を変化させることなく現状の状態を維持する。

一方、輝度変化部１０６は制御マイコン１１０の制御下でガンマカーブ８２０に基づいて虹彩３０１の部分についてのみその輝度を下げる処理を行う。ここでは、輝度変化部１０６はガンマカーブ８２０によって破線円８２２で囲まれる虹彩７０１の部分についてその輝度Ｌｉを虹彩情報から得られる虹彩７０１の部分の輝度Ｌｏに変化させることになる。そして、制御マイコン１１０は虹彩７０１の部分の輝度調整処理を、虹彩領域を特定した左右の眼について行う。

次に、図９を用いて、制御マイコン６１０が行う虹彩補正処理のフローチャートについて説明する。

図９は、図６に示す制御マイコンで行われる虹彩補正処理を説明するためのフローチャートである。なお、図９において、図５で説明したフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。

ステップＳ５０５において、制御マイコン１１０は検出されたｉ番目の顔に対して虹彩および瞳孔の領域を特定した後、特徴量抽出部６１３を制御して、ｉ番目の顔領域の特徴量を抽出する（ステップＳ９０６）。そして、制御マイコン１１０は不揮発メモリ６１４に登録された人物の特徴量とステップＳ９０６で抽出した人物の特徴量とを比較して登録済みの人物であるか否かを判定する（ステップＳ９０７）。

登録済みの人物であると（ステップＳ９０７において、ＹＥＳ）、制御マイコン１１０は不揮発メモリ６１４に登録された当該人物に係る虹彩情報を取得する（ステップＳ９０８）。一方、登録済みの人物でないと（ステップＳ９０７において、ＮＯ）、制御マイコン１１０は不揮発性メモリ６１４に登録された標準虹彩情報を取得する（ステップＳ９０９）。この標準虹彩情報は標準的な虹彩の色（予め定められた虹彩色）を示す情報である。

ステップＳ９０８又はＳ９０９に続いて、制御マイコン１１０は輝度変化部１０６を制御して、ステップＳ９０８又はＳ９０９で取得した虹彩情報を用いて、図８で説明したようにしてガンマカーブを生成する。そして、制御マイコン１１０は特定した虹彩および瞳孔の領域についてガンマカーブに応じた輝度補正、つまり、虹彩補正処理を行う（ステップＳ９１０）。その後、制御マイコン１１０はステップＳ５０７の処理を行って、ステップＳ５０４の処理に戻る。

このように、本発明の第２の実施形態では、暗所において赤外光を照射して人物などの被写体を撮影した際、予め登録された虹彩情報を用いて虹彩の輝度を補正するようにしたので、人物などの被写体の本来の虹彩の濃さに応じて、十分明るい環境下で可視光のみで撮影した画像と同様の虹彩輝度とすることができ、両者における違和感を低減することができる。

［第３の実施形態］
次に、本発明の第３の実施形態による画像処理装置を備える撮像装置の一例について説明する。なお、第３の実施形態による撮像装置の構成は図６に示す撮像装置と同様である。

第３の実施形態においては、不揮発メモリ６１４には、予め複数の人物の顔領域に係る特徴量が登録されている。一方、これら人物の本来の虹彩の色の濃さ、つまり、人物毎の虹彩情報は不揮発性メモリ６１４には登録されていないが、互いに虹彩の色の濃さ（つまり、輝度）が異なる複数の虹彩情報が不揮発性メモリ６１４に人物とは無関係に登録されている。

制御マイコン６１０は不揮発性メモリ６１４に登録された虹彩情報を順次選択して（つまり、虹彩情報を順次変化させて）、顔検出部６０５で検出された顔領域について虹彩情報を用いて虹彩補正処理を行って、虹彩補正後の顔領域を得る。そして、制御マイコン６１０は特徴量抽出部６１３を制御して、虹彩補正後の顔領域についてその特徴量を抽出する。

その後、制御マイコン６１０は特徴量抽出部６１３で抽出した特徴量と不揮発メモリ６１４に登録されている特徴量とを比較して、画像中の人物が予め登録された人物であるか否かを判定する。

制御マイコン１１０は特徴量抽出部６１３で特徴量と不揮発メモリ６１４に登録されている特徴量との比較によって、画像中の人物が予め登録された人物と判定されるまで、予め登録された虹彩情報を順次選択して虹彩補正処理を行って、上述のように人物の判定を行う。

図１０は、本発明の第３の実施形態による画像処理装置を備える撮像装置における虹彩補正処理を説明するためのフローチャートである。なお、図１０において、図５および図９に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。

ステップＳ５０５において、制御マイコン１１０は検出されたｉ番目の顔に対して虹彩および瞳孔の領域を特定した後、制御マイコン１１０は別の内蔵カウンタｊを０に初期化する（ステップＳ１００６）。続いて、ステップＳ９０６において、制御マイコン１１０は特徴量抽出部６１３を制御してｉ番目の顔領域の特徴量を抽出する。

続いて、前述したようにして、ステップＳ９０７において制御マイコン１１０は画像中の人物が登録済みの人物であるか否かを判定する。登録済みであれば、制御マイコン１１０はステップＳ５０７においてカウンタｉに１を加算し、ステップＳ５０４の処理に戻る。

一方、ステップＳ９０７において登録済みの人物ではないと判定すると、制御マイコン１１０はカウンタｊの値と不揮発性メモリ６１４に登録された虹彩情報の数とを比較して、カウンタｊの値＜虹彩情報の数であるか否かを判定する（ステップＳ１０１０）。カウンタｊの値≧虹彩情報の数であると（ステップＳ１０１０において、ＮＯ）、制御マイコン１１０は不揮発性メモリ６１４に登録された全ての虹彩情報を用いて虹彩補正処理を行ったとし、ステップＳ５０７の処理に進む。

カウンタｊの値＜虹彩情報の数であると（ステップＳ１０１０において、ＹＥＳ）、制御マイコン１１０は予め登録されたｊ番目の虹彩情報を不揮発性メモリ６１４から取得する（ステップＳ１０１１）。そして、制御マイコン１１０は輝度変化部１０６を制御して、ｊ番目の虹彩情報を用いて図８で説明したようにしてガンマカーブを生成する。そして、制御マイコン１１０は輝度変化部１０６を制御してガンマカーブに応じてｉ番目の顔領域について虹彩補正処理を行う（ステップＳ１０１２）。

続いて、制御マイコン１１０は、内蔵カウンタｊに１を加算して（ステップＳ１０１３）、ステップＳ９０６の処理に戻る。

このように、本発明の第３の実施形態では、予め登録された人物とは無関係に複数の虹彩情報を登録して、暗所において赤外光を照射して人物などの被写体を撮影した際、予め登録された虹彩情報を用いて虹彩の輝度を補正した後、顔領域の特徴量を抽出して人物などの被写体の判定を行う。

従って、暗所で赤外光を照射して人物などの被写体撮影した際に虹彩の色が明るくなってしまうことによって抽出される特徴量が変化しても、虹彩補正処理を行った後の特徴量を用いて人物判定を行う結果、誤判定を低減することができる。

上述の説明から明らかなように、図１に示す例においては、信号処理部１０４および制御マイコン１１０が虹彩検出手段および制御手段として機能する。また、ここでは少なくとも信号処理部１０４および制御マイコン１１０が画像処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも顔検出ステップ、虹彩検出ステップ、および制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０２ 赤外光カットフィルタ
１０３ 撮影部
１０４ 信号処理部
１０５ 顔検出部
１０６ 輝度変化部
１０７ 信号記録再生部
１０９ 赤外光照射部
１１０ 制御マイコン
６１３ 特徴量抽出部
６１４ 不揮発メモリ

Claims (8)

1. 赤外光が照射された被写体を撮像して得られた画像において前記被写体の顔領域を検出する顔検出手段と、
   前記画像において、前記顔検出手段によって検出された顔領域から虹彩部分を検出する虹彩検出手段と、
   前記画像において、前記虹彩検出手段で検出された虹彩部分のみの輝度を予め定められた値に下げる虹彩補正処理を行う制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記虹彩検出手段は、前記顔領域において輝度の空間周波数および色相に応じて前記虹彩部分を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記顔領域の特徴を示す特徴量を抽出特徴量として前記顔領域から抽出する特徴量抽出手段と、
   複数の被写体の各々の顔領域の特徴を示す特徴量が登録特徴量として登録されるとともに、前記被写体の各々における虹彩部分の輝度を示す虹彩情報が前記登録特徴量に対応づけて登録された記憶手段とを備え、
   前記制御手段は、前記抽出特徴量と前記登録特徴量とを比較して、当該比較結果によって前記抽出特徴量に係る被写体が前記登録特徴量に係る被写体であると判定すると、当該登録特徴量に対応する前記虹彩情報が示す輝度を前記予め定められた値として前記虹彩補正処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記顔領域の特徴を示す特徴量を抽出特徴量として前記顔領域から抽出する特徴量抽出手段と、
   複数の被写体の各々の顔領域の特徴を示す特徴量が登録特徴量として登録された記憶手段とを備え、
   前記制御手段は、前記抽出特徴量と前記登録特徴量とを比較して、当該比較結果によって前記抽出特徴量に係る被写体が前記登録特徴量に係る被写体であるか否かを判定する際、前記予め定められた値を順次変化させて前記虹彩補正処理を行った結果得られた顔領域から抽出された抽出特徴量を用いて判定を行うことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記制御手段は、赤外光が照射されない被写体を撮像して得られた画像においては、前記虹彩補正処理を行わないことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 赤外光が照射された被写体を撮像して得られた画像において前記被写体の顔領域を検出する顔検出ステップと、
   前記画像において、前記顔検出ステップで検出された顔領域から虹彩部分を検出する虹彩検出ステップと、
   前記画像において、前記虹彩検出ステップで検出された虹彩部分のみの輝度を予め定められた値に下げる虹彩補正処理を行う制御ステップと、
   を有することを特徴とする制御方法。
7. 画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   赤外光が照射された被写体を撮像して得られた画像において前記被写体の顔領域を検出する顔検出ステップと、
   前記画像において、前記顔検出ステップで検出された顔領域から虹彩部分を検出する虹彩検出ステップと、
   前記画像において、前記虹彩検出ステップで検出された虹彩部分のみの輝度を予め定められた値に下げる虹彩補正処理を行う制御ステップと、
   を実行させることを特徴とする制御プログラム。
8. 請求項１〜５のいずれか１項に記載の画像処理装置と、
   前記被写体に選択的に前記赤外光を照射する赤外光照射手段と、
   前記被写体を撮像して画像を得る撮像手段とを備え、
   前記制御手段は前記赤外光照射手段によって前記被写体に前記赤外光が照射されると、前記虹彩補正処理を行うことを特徴とする撮像装置。

Images