JP4496005B2

JP4496005B2 - 画像処理方法および画像処理装置

Info

Publication number: JP4496005B2
Application number: JP2004134149A
Authority: JP
Inventors: 暢芳榎本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-04-28
Filing date: 2004-04-28
Publication date: 2010-07-07
Anticipated expiration: 2024-04-28
Also published as: JP2005316743A

Description

本発明は、たとえば、人物の顔画像を用いた入退出管理装置や人物の顔画像を監視する画像監視装置などにおいて、入力された顔画像を補正する画像処理方法および画像処理装置に関する。

たとえば、人物の顔画像を用いた入退出管理装置や人物の顔画像を監視する画像監視装置など、原則として昼夜運転を行なう人物向けの画像収集装置において、従来はグレー（モノクロ）画像を用いることが一般的であったが、カラー画像を収集したいというユーザニーズが高まっている。

このような画像収集装置においては、まず輝度情報が適正であることが重要であり、そのために測光データに基づいてカメラの画像収集パラメータを自動調整する方法が一般的である。さらに、このようなパラメータには、ゲイン制御、シャッタ速度制御、絞り制御があるが、電子的に行なえ、かつ、応答速度も速いゲイン制御が最も簡便な手法である。

こうした画像収集装置において、特に昼間における高輝度の画像入力があった場合と、夜間における低輝度の画像入力があった場合の双方をカバーしようとした場合に、入力画像の輝度および色彩が同時には適正に収集できない場合がある。このような状況においては、収集した画像を画像モニタに表示した場合においても、輝度の過不足、色落ちといった画像となり、目視確認を行なう用途に支障をきたし、問題である。

上記と類似の問題点を解決する従来例として、人物像を含む画像を証明写真に適するように自動補正する証明写真システムおよび画像処理方法がある（たとえば、特許文献１参照）。これは、証明用に人物の顔写真を撮影した場合に、顔領域の肌色特性をより美しく見せようという補正をかけるものであるが、顔写真を電子データとして入力した後、顔領域の抽出を行なうために、概略の顔領域情報および肌色領域情報を使用している。

また、入力された顔画像を入力条件に依存しない好ましい肌色の明度に補正する画像処理装置がある（たとえば、特許文献２参照）。これは、同じく写真撮影データ中の肌色に相当する領域の明度情報を望ましい値に補正するためのもので、目、鼻の特徴から顔領域を決定し、その顔領域内の明度情報に対し、あらかじめ内部に保持した望ましい明度情報を用いて、顔候補領域に相当する色を保持する領域に対して明度補正を行なうものである。
特開２００１−１８６３２３号公報特開２０００−２６１６５０号公報

しかし、前述の特許文献１では、本発明が対象としている前述のような状況、特に夜間においては入力照度が不足するため、入力画像中の色彩が低くなっている場合が多く、したがって顔領域の色は本来の肌色とは異なってしまい、肌色を条件として領域抽出を行ない、さらにそれを強調することは困難である。

また、前述の特許文献２では、目、鼻の特徴から顔領域を決定するものであるため、顔が肌色であるという特徴を用いずに顔領域を抽出できる可能性はあるが、顔領域内部の画素の有する各色成分のうち、代表的または平均的な輝度を明度と定義し、この特徴量があらかじめ望ましいデータとして登録された明度に近付くような補正を行なうものである。したがって、本発明が想定しているような、色成分自体が不足している場合には、補正効果が少ないという問題がある。

そこで、本発明は、低照度での撮影などにより輝度、色彩が劣化した入力顔画像に対しても輝度、色彩を復元して著しい画質改善が図れる画像処理方法および画像処理装置を提供することを目的とする。

本発明の画像処理方法は、人物の少なくとも顔を含む画像を撮影して得られた顔画像を画像取込手段により取込む第１のステップと、この第１のステップにより取込まれた顔画像から顔領域抽出手段により顔候補領域を抽出する第２のステップと、この第２のステップにより抽出された顔候補領域内の顔特徴点を顔特徴点抽出手段により抽出する第３のステップと、前記第２のステップにより抽出された顔候補領域および前記第３のステップにより抽出された顔特徴点から顔領域決定手段により顔領域を決定する第４のステップと、この第４のステップにより決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を顔周囲領域決定手段により決定する第５のステップと、この第５のステップにより決定された顔周囲領域の画像に対し輝度補正手段により輝度を補正する第６のステップと、前記第４のステップにより決定された顔領域および前記第６のステップにより輝度を補正された顔周囲領域の画像に対し色彩補正手段により色彩を補正するもので、顔領域と顔周囲領域との境界においては、当該境界との距離に依存して色彩補正の度合を増減させる関数にしたがって、当該境界との距離に応じて当該境界および当該境界に属しない画素の色彩補正を行なう第７のステップと、この第７のステップにより色彩を補正された顔領域内の画像において色が特異になっている特異部を特異部検出手段により検出する第８のステップと、この第８のステップにより検出された特異部の色を特異部補正手段により補正するもので、前記第８のステップにより検出された特異部の座標とその周囲の平均色とを用いて、あらかじめ収集された顔領域として望ましい彩度となる複数の画像について確率Ｐｃ（ｘ，ｙ，ｃ）［ｘ，ｙ：顔重心を原点とする座標、ｃ：注目画素周囲の画素の平均色］を求めることで作成された色彩・座標確率テーブルを検索することにより、求められる確率を最大とする色を当該特異部の色と置き換えることで当該特異部の色を補正する第９のステップとを具備している。

また、本発明の画像処理装置は、人物の少なくとも顔を含む画像を撮影して得られた顔画像を取込む画像取込手段と、この画像取込手段により取込まれた顔画像から顔候補領域を抽出する顔領域抽出手段と、この顔領域抽出手段により抽出された顔候補領域内の顔特徴点を抽出する顔特徴点抽出手段と、前記顔領域抽出手段により抽出された顔候補領域および前記顔特徴点抽出手段により抽出された顔特徴点から顔領域を決定する顔領域決定手段と、この顔領域決定手段により決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を決定する顔周囲領域決定手段と、この顔周囲領域決定手段により決定された顔周囲領域の画像に対し輝度を補正する輝度補正手段と、前記顔領域決定手段により決定された顔領域および前記輝度補正手段により輝度を補正された顔周囲領域の画像に対し色彩を補正するもので、顔領域と顔周囲領域との境界においては、当該境界との距離に依存して色彩補正の度合を増減させる関数にしたがって、当該境界との距離に応じて当該境界および当該境界に属しない画素の色彩補正を行なう色彩補正手段と、この色彩補正手段により色彩を補正された顔領域内の画像において色が特異になっている特異部を検出する特異部検出手段と、この特異部検出手段により検出された特異部の色を補正するもので、前記特異部検出手段により検出された特異部の座標とその周囲の平均色とを用いて、あらかじめ収集された顔領域として望ましい彩度となる複数の画像について確率Ｐｃ（ｘ，ｙ，ｃ）［ｘ，ｙ：顔重心を原点とする座標、ｃ：注目画素周囲の画素の平均色］を求めることで作成された色彩・座標確率テーブルを検索することにより、求められる確率を最大とする色を当該特異部の色と置き換えることで当該特異部の色を補正する特異部補正手段とを具備している。

本発明によれば、低照度での撮影などにより輝度、色彩が劣化した入力顔画像に対しても輝度、色彩を復元して画質改善が図れる画像処理方法および画像処理装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る画像処理方法が適用される画像処理装置の構成を概略的に示すものである。本実施の形態に係る画像処理装置は、たとえば、入退出管理装置などにおいて、特に夜間等の入力照度条件が劣悪な場合に入力された顔画像を自動的に補正して適正化した結果をユーザに提示するもので、人物の少なくとも顔を含む画像（以下、顔画像と称す）を撮影して入力する画像入力手段としての電子カメラ１、電子カメラ１からの顔画像を取込む画像取込手段としての画像取込部２、画像取込部２により取込まれた顔画像から顔候補領域を抽出する顔領域抽出手段としての顔領域探索部３、顔領域探索部３により抽出された顔候補領域内の顔特徴点を抽出する顔特徴点抽出手段としての顔パーツ探索部４、顔領域探索部３により抽出された顔候補領域および顔パーツ探索部４により抽出された顔特徴点から顔領域を決定する顔領域決定手段としての顔領域決定部５、顔領域決定部５により決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を決定する顔周囲領域決定手段としての顔周囲領域決定部６、顔周囲領域決定部６により決定された顔周囲領域内の画像に対し輝度を補正する輝度補正手段としての顔周辺領域画像補正部７、顔周辺領域画像補正部７により輝度を補正された顔領域内の画像に対し色彩を補正する色彩補正手段としての顔領域画像補正部８、顔領域画像補正部８により色彩を補正された顔領域内の画像において色が特異になっている特異部を検出する特異部検出手段としての顔領域内特異部検出部９、顔領域内特異部検出部９により検出された特異部の色をあらかじめ統計的に適正となるように作成された統計的色情報を用いて補正する特異部補正手段としての顔領域内特異部補正部１０、および、顔領域内特異部補正部１０の結果を出力（たとえば、表示）する出力手段としての出力部１１を有して構成される。

本実施の形態に係る画像処理装置は、概略として以下のような処理を行なうものである。

１．顔候補領域、顔候補領域内の眼、鼻、口などのパーツから顔領域、顔周囲領域を決
定。
２．顔周囲領域、顔領域それぞれについて特定の画像補正を行なう。
３．強調によって色彩が特異となる部分を抽出し、場所と周囲色とから望ましい色に再
補正。

以下、各処理の流れについて図２に示すフローチャートを参照して詳細に説明する。
まず、画像入力処理を行なう（ステップＳ１）。画像入力処理では、電子カメラ１により人物の顔画像を撮影して入力する。画像取込部２は、電子カメラ１により入力された顔画像を取込み、ディジタイズして図示しない内部メモリ上にフレームごとのディジタル画像として格納する。ここに、画像は、一定周期Ｔ（たとえば、３３ｍｓｅｃ）でサンプリングされ、サンプリングされた各画像（フレーム）が、各画素について所定のビット数（Ｒ、Ｇ、Ｂ各８ビットなど）を持つディジタル画像に変換されているものと想定する。

次に、顔候補領域および顔パーツの抽出処理を行なう（ステップＳ２〜Ｓ４）。顔候補領域および顔パーツの抽出処理は、顔候補領域の抽出を行なった後、顔候補領域内の眼、鼻、口等の特徴部位をグレー画像中から抽出する。
まず、顔領域探索部３において、ステップＳ１の処理にてＲ、Ｇ、Ｂ形式で内部メモリに蓄積された各フレーム画像について、たとえば下記式（１）のような変換を行なってグレー（輝度）成分の画像を生成し、そのグレー画像中から顔候補領域を探索する（ステップＳ２〜Ｓ４）。
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ …… （１）
顔領域探索部３では、入力画像内において、あらかじめ用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔候補領域としたり、固有空間法や部分空間法を利用した顔抽出法などでも実現は可能である。たとえば、文献［１］（福井和広、山口修：形状抽出とパターン認識の組合せによる顔特徴点抽出、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０〜２１７７（１９９７年））に述べられている部分空間法による顔領域抽出の方法を用いて実現可能である。

ここにおいては、部分空間法の類似度が閾値範囲に満たない場合には、顔候補領域が見付からなかったと判断するが、もし、このような状態となった場合には、本実施の形態の目的からして画像の補正を行なう必要がないため、本補正動作が非適用である旨のメッセージを出力部１１において出力する（ステップＳ３）。

本実施の形態では、入退出管理装置向けに収集された顔画像を補正してユーザに提示することを想定しているため、ここにおけるメッセージは、たとえば、コンピュータ用のカラーモニタ上への文字メッセージ表示、メッセージアイコン表示、注意用音声発生等のいずれか、または、それらの組合せで実現してよい。

次に、ステップＳ２の処理において、顔候補領域が見付かった場合、顔パーツ探索部４において、検出された顔候補領域の部分の中から目、鼻、口などの顔部位の位置を検出する（ステップＳ４）。顔部位の検出方法としては、目、鼻、口端等についての形状特徴から求めたこれらパーツの候補について、あらかじめ登録済みのパーツについての部分空間パターンを用いて候補選択を行なう方法（たとえば、前記文献［１］参照）などで実現可能である。

次に、顔領域の決定処理を行なう（ステップＳ５〜Ｓ６）。顔領域の決定処理は、顔領域決定部５において行なわれるもので、ステップＳ４の処理において、対応する顔候補領域の中から顔パーツが見付からなかった場合、パーツ探索を行なった顔候補領域を若干拡大した修正顔候補領域を画質補正を行なうための顔領域であると決定する（ステップＳ５）。

ここに、顔パーツが見付からないと判定するための条件としては、各フレーム画像内にて、たとえば、パーツ領域と部分空間パターンとの類似度のうちのいずれかが閾値に満たなかった場合としてよい。
また、前記文献［１］中に示されている現フレームよりも前の数フレームの画像中での特徴点座標から予測した特徴点座標と、現フレームにて上述のように検出された特徴点座標との誤差を閾値処理する方法を用いてもよい。

また、上記にて修正顔候補領域の抽出方法としては、たとえば、前記文献［１］に示されている方法に準じた下記式（２）〜（５）にしたがう矩形領域とし、画質補正の対象となる顔領域としては、その矩形に外接する楕円領域としてよい。
ｘｓ′＝ｘｇ−Ｃｘ＊（ｘｅ−ｘｓ）／２ …… （２）
ｘｅ′＝ｘｇ＋Ｃｘ＊（ｘｅ−ｘｓ）／２ …… （３）
ｙｓ′＝ｙｇ−Ｃｙ＊（ｘｅ−ｘｓ）／２ …… （４）
ｙｅ′＝ｙｇ＋Ｃｙ＊（ｘｅ−ｘｓ）／２ …… （５）
ただし、上記式（２）〜（５）は、図３に模式的に示すように、顔候補領域Ｅ１、修正顔候補領域Ｅ２が矩形で表現されていて、かつ、右方向をｘ軸の正、下方向をｙ軸の正と考える画像内座標を用いて示された場合を仮定している。また、顔候補領域Ｅ１については、左上座標値を（ｘｓ，ｙｓ）、右下座標値を（ｘｅ，ｙｅ）、それらの重心を（ｘｇ，ｙｇ）としている。また、修正顔候補領域Ｅ２については、左上座標値を（ｘｓ′，ｙｓ′）、右下座標値を（ｘｅ′，ｙｅ′）とした場合を仮定している。
また、Ｃｘ，Ｃｙは、ここでは目と鼻孔とを含むように設定された顔候補に対して、口までを含むように拡張した領域を修正領域として決定するための修正定数であり、いずれも１．０以上の定数である。

ステップＳ４の処理において、対応する顔候補領域の中から顔パーツが見付かった場合には、図４に模式的に示すように、顔パーツ全てを含む外接矩形領域Ｅ３の座標を求め、さらにその矩形領域Ｅ３を定数Ｄ′ｘ倍、Ｄ′ｙ倍した矩形領域Ｅ４に内接するような楕円領域を画質補正を行なうための顔領域Ｅ５と決定する（ステップＳ６）。ここに、上記定数Ｄ′ｘ，Ｄ′ｙは、いずれも１．０以上の定数である。

次に、顔周囲領域（特定領域Ａ）での輝度特性改善処理を行なう（ステップＳ７）。顔周囲領域（特定領域Ａ）での輝度特性改善処理は、顔周辺領域画像補正部７にて行なわれるもので、ステップＳ６の処理において決定された顔領域Ｅ５について、その周囲を含む画面内領域について輝度の補正を行なうものである。

すなわち、まず輝度補正を行なう顔周囲領域（特定領域Ａ）については、顔周囲領域決定部６において、ステップＳ６の処理において決定された顔領域Ｅ５を一定の割合Ｒで拡大した領域として決定する（図５参照）。ここに、Ｒは１．０以上の定数としてよい。

また、本実施の形態に示す入退出管理装置におけるユーザ提示用の顔画像に対し画質補正を行なう用途のように、１フレーム画像中にしめる背景相当領域（人物以外の領域）の割合が少ない場合には、本ステップにおける補正対象領域として１フレーム画像中の全画面領域としても差し支えない。

なお、上記輝度補正処理は、顔領域内部の輝度値の代表値がある一定範囲にあって、顔画像の画質を修正する必要のない場合には行なわないものとする。ここに、輝度値の代表値としては、顔領域内部の画素値の平均値として差し支えない。

次に、顔領域（特定領域Ｂ）での色彩特性改善処理を行なう（ステップＳ８）。顔領域（特定領域Ｂ）での色彩特性改善処理は、顔領域画像補正部８にて行なわれるもので、顔領域および顔周囲領域について彩度成分Ｓを強調する。

この色彩補正処理は、顔領域の内部と確定している部分については、ほぼ一定の値で彩度を強調するが、顔領域の周辺から顔領域の外側へ向かうにしたがって、その強調の度合を次第に弱めるものとする。このときの処理の概念を図５に模式的に示すが、たとえば、下記式（６），（７）のような変換にしたがうことで実現する。
［顔周囲領域］
ｓ′（ｉ，ｊ）＝ｓ（ｉ，ｊ）＊ｃｏｅｆ
＊ｅｘｐ（−ｄｉｓｔ／（ｌｅｎ＊ｌｅｎ）） …… （６）
［顔内部領域］
ｓ′（ｉ，ｊ）＝ｓ（ｉ，ｊ）＊ｃｏｅｆ …… （７）
ただし、ここに、ｓ（ｉ，ｊ）は変換前の彩度、ｓ′（ｉ，ｊ）は変換後の彩度であり、ｉ，ｊは、注目画素の横方向および縦方向の座標値である。ｃｏｅｆは、固定値または顔領域の部分ごとに設定される定数、ｘｃ，ｙｃは顔周囲領域の座標、Ｗは顔領域の幅、Ｈは顔領域の高さである。ｄｉｓｔは、顔周囲領域の各座標からの距離の２乗であり、下記式（８）にしたがうようなものとしてよい。ｌｅｎは顔のサイズを規定する量であり、ｌｅｎ＝ｍａｘ（Ｗ，Ｈ）なるものとする。
ｄｉｓｔ＝（（ｘｃ−ｉ）＊（ｘｃ−ｉ）
＋（ｙｃ−ｊ）＊（ｙｃ−ｊ）） …… （８）
なお、上記色彩補正処理は、顔領域内部の彩度値の代表値がある一定範囲にあって、顔画像の画質を修正する必要のない場合には行なわないものとする。ここに、彩度値の代表値としては、顔領域内部の画素彩度値の平均値あるいは最大値、最小値として差し支えない。

また、以上の処理においては、彩度値が色強調の基本となっているが、一般的な画像入力手段において用いられているＲ，Ｇ，Ｂの画像値から、この彩度値へ変換するには、下記式（９）〜（１２）を用いて変換しても差し支えない。
ｓ（ｉ，ｊ）＝ｄｉｆｆ（ｉ，ｊ）／ｃｍａｘ（ｉ，ｊ）； …… （９）
ｃｍａｘ（ｉ，ｊ）＝ｍａｘ（ｒ（ｉ，ｊ）
，ｇ（ｉ，ｊ），ｂ（ｉ，ｊ） …… （１０）
ｃｍｉｎ（ｉ，ｊ）＝ｍｉｎ（ｒ（ｉ，ｊ）
，ｇ（ｉ，ｊ），ｂ（ｉ，ｊ） …… （１１）
ｄｉｆｆ（ｉ，ｊ）＝ｃｍａｘ（ｉ，ｊ）−ｃｍｉｎ（ｉ，ｊ） …… （１２）
次に、顔領域（特定領域Ｂ）での色彩特異部抽出処理を行なう（ステップＳ９）。顔領域（特定領域Ｂ）での色彩特異部抽出処理は、顔領域内特異部検出部９にて行なわれる。

すなわち、ステップＳ７，Ｓ８の処理を行なうことにより、顔領域内において例えばユーザへの提示に望ましい顔画像へ補正することが可能であるが、主に顔領域内部への照明の偏りに起因して、補正後の画像中の色成分が不自然となる場合がある。そこで、本ステップＳ９の処理では、注目する画素または座標の近い数画素をまとめたブロックについての色の代表値と、周囲の画素または周囲ブロック中の色の代表値とが、どのぐらい離れているかを評価することによって、注目する画素またはブロックを特異部と判定することとする。すなわち、たとえば、下記式（９）に示す条件を用いて判定するものとしてよい。

ここに、Ｃｉは、注目画素のＲ，Ｇ，Ｂ色値を要素とするベクタ（ｖｅｃｔｏｒ）、Ｃａは、注目画素の周囲Ｎ×Ｎ近傍各画素についてのＲ，Ｇ，Ｂ色値を要素とするベクタの平均値である。したがって、上記式（１３）の左辺は、これらベクタの距離を示す。また、Ｃｔｈは上述のベクタの距離閾値である。

なお、Ｃｉを注目ブロック中でのＲ，Ｇ，Ｂ色値を要素とするベクタ、Ｃａを注目ブロックの周囲Ｎ×Ｎ近傍ブロックについてのＲ，Ｇ，Ｂ色値を要素とするベクタの平均値として、ブロックごとに処理を行なってもよい。ここに、上記Ｎは「１」よりも大きい整数である。
また、複数画素をまとめてブロックとして表現する場合に、ブロックとしてまとめる画素数を数段階変え、上述のベクタ距離値の最大になる段階について、上記式（１３）の条件で求められたブロックを特異部ブロックとして検出してもよい。

すなわち、まず、あらかじめ顔領域として望ましい彩度となる画像を多数収集しておき、それら画像群について、確率Ｐｃ（ｘ，ｙ，ｃ）を求めておく（これを色彩・座標確率テーブルと呼ぶ）。ここに、ｘ，ｙは顔重心を原点とする座標であり、ｃは注目画素周囲の画素平均色である。

確率Ｐｃ（ｘ，ｙ，ｃ）は、具体的には図６に示すように、望ましい顔画像の色と座標とを示す色彩・座標頻度分布ｈｃ（ｘ，ｙ，ｃ）から下記式（１４）により求める。
Ｐ（ｘ，ｙ，ｃ）＝ｈ（ｘ，ｙ，ｃ）／Σｘ′，ｙ′，ｃ′
・ｈ（ｘ′，ｙ′，ｃ′） …… （１４）
図６では、見え方が望ましい画像をサンプルとして色彩・座標頻度分布を作成する例を示している。

図６（ａ）の色彩・座標頻度生成用画素の抽出例に示すように、顔画像中の画素点またはブロックとして、顔重心を原点とする座標系中で、座標値（ｘ０，ｙ０）および座標値（ｘ１，ｙ１）の点を選択し、それらの周囲Ｍ×Ｍ近傍画素（Ｍ＞＝１）の色平均値がそれぞれｃ０，ｃ１であった場合に対応する。これに対して、図６（ｂ）の頻度分布の作成例に示すように、（ｘ，ｙ，ｃ）の３次元テーブルの対応する位置に投票を行なうことで頻度分布を作成する。

なお、ここでのｃとしては、Ｒ，Ｇ，Ｂの各成分ごとに２５６段階である画像のうちの、Ｒ，Ｇ，Ｂの組合わせからなる色を想定している。したがって、色Ｎｃは２５６³通りに存在する。ただし、Ｎｃの数が多過ぎると、ハードウェアのリソースを多数消費することになるため、Ｒ，Ｇ，Ｂの各色の輝度範囲を０〜Ｄ（Ｄ＜２５６）のように再分割して利用してもよい。

次に、ステップＳ９の処理において算出されていた特異画素について、その画素座標と周囲画素平均色とを用いて、上述の色彩・座標確率テーブルを検索することにより、求められる確率を最大とする色を、元々の修正後に特異となってしまった色と置き換える。

なお、上記説明では、あらかじめ色彩・座標確立テーブルを注目画素ごとに算出したが、色彩・座標確率テーブルの位置を示す単位を前述したように数画素をまとめあげたブロックとして扱ってもよい。なお、この場合には、色の置き換え処理も対応するサイズのブロックごとに行なうことになる。
また、前述したように、複数のまとめ上げ段階（ブロックサイズ）のうちの最適なものを選択する方法を用いる場合には、上記色彩・座標確率テーブルは複数のブロックサイズごとに算出する。

次に、補正処理の終了要求があるか否かをチェックし（ステップＳ１１）、終了要求があれば当該処理を終了し、終了要求がなければステップＳ１に戻って上記同様な処理を繰り返す。
ステップＳ９の処理において、特異画素または特異ブロック（特異部）が検出されなかった場合、ステップＳ１０をジャンプしてステップＳ１１に進む。

このようにして得られた補正結果（顔領域内特異部補正部１０の処理結果）は、出力部１１によってディジタルＲ，Ｇ，Ｂ形式の補正画像として出力され、たとえば、ユーザ目視のための表示に用いられる。あるいは、当該補正結果をあらかじめ登録してある本人辞書との照合に用いたり、顔表情解析や顔パーツの状態解析（たとえば、口唇形状解析による発話単語推定）などの顔認識処理に用いることも実現可能である。

以上説明したような画像処理によれば、たとえば、特に夜間における入力画像などのように、低輝度、かつ、既に色情報がほぼ失われるほど劣化した顔画像に対しても、入力の画像に近い輝度と色彩を復元して画質改善を図ることが可能となる。

したがって、人物の顔画像を用いた入退出管理装置や人物の顔画像を監視する画像監視装置など、原則として昼夜運転を行なう人物向けの画像収集装置に適用した場合、特に夜間において収集された、このような顔画像に対しても、ユーザが目視にて入力画像を容易に確認することが可能となり、さらに顔画像による人物の認識、検出性能の向上が可能となる。

本発明の実施の形態に係る画像処理方法が適用される画像処理装置の構成を概略的に示すブロック図。各処理の流れについて詳細に説明するフローチャート。顔パーツが見付からない場合の画質修正領域を説明するための図。顔パーツが見付かった場合の画質修正領域を説明するための図。顔領域、顔周囲領域と色彩補正方法を説明するための図。見え方が望ましい顔画像を用いて色彩・座標頻度分布を作成する方法の概念を示す説明図。

符号の説明

１…電子カメラ（画像入力手段）、２…画像取込部（画像取込手段）、３…顔領域探索部（顔領域抽出手段）、４…顔パーツ探索部（顔特徴点抽出手段）、５…顔領域決定部（顔領域決定手段）、６…顔周囲領域決定部（顔周囲領域決定手段）、７…顔周辺領域画像補正部（輝度補正手段）、８…顔領域画像補正部（色彩補正手段）、９…顔領域内特異部検出部（特異部検出手段）、１０…顔領域内特異部補正部（特異部補正手段）、１１…出力部（出力手段）、Ｅ１…顔候補領域、Ｅ２…修正顔候補領域、Ｅ３…特徴部概説矩形領域、Ｅ４…Ｄ′ｘ，Ｄ′ｙ倍した矩形領域、Ｅ５…顔領域、Ａ，Ｂ…特定領域。

Claims

人物の少なくとも顔を含む画像を撮影して得られた顔画像を画像取込手段により取込む第１のステップと、
この第１のステップにより取込まれた顔画像から顔領域抽出手段により顔候補領域を抽出する第２のステップと、
この第２のステップにより抽出された顔候補領域内の顔特徴点を顔特徴点抽出手段により抽出する第３のステップと、
前記第２のステップにより抽出された顔候補領域および前記第３のステップにより抽出された顔特徴点から顔領域決定手段により顔領域を決定する第４のステップと、
この第４のステップにより決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を顔周囲領域決定手段により決定する第５のステップと、
この第５のステップにより決定された顔周囲領域の画像に対し輝度補正手段により輝度を補正する第６のステップと、
前記第４のステップにより決定された顔領域および前記第６のステップにより輝度を補正された顔周囲領域の画像に対し色彩補正手段により色彩を補正するもので、顔領域と顔周囲領域との境界においては、当該境界との距離に依存して色彩補正の度合を増減させる関数にしたがって、当該境界との距離に応じて当該境界および当該境界に属しない画素の色彩補正を行なう第７のステップと、
この第７のステップにより色彩を補正された顔領域内の画像において色が特異になっている特異部を特異部検出手段により検出する第８のステップと、
この第８のステップにより検出された特異部の色を特異部補正手段により補正するもので、前記第８のステップにより検出された特異部の座標とその周囲の平均色とを用いて、あらかじめ収集された顔領域として望ましい彩度となる複数の画像について確率Ｐｃ（ｘ，ｙ，ｃ）［ｘ，ｙ：顔重心を原点とする座標、ｃ：注目画素周囲の画素の平均色］を求めることで作成された色彩・座標確率テーブルを検索することにより、求められる確率を最大とする色を当該特異部の色と置き換えることで当該特異部の色を補正する第９のステップと、
を具備したことを特徴とする画像処理方法。
前記第４のステップは、前記第３のステップにより顔特徴点が抽出された場合、前記第２のステップにより抽出された顔候補領域と前記第３のステップにより抽出された顔特徴点との関係から、あらかじめ求めてある望ましい人物の顔領域データを用いて顔領域を決定し、前記第３のステップにより顔特徴点が抽出されなかった場合、前記第２のステップにより抽出された顔候補領域を顔領域として決定することを特徴とする請求項１記載の画像処理方法。
人物の少なくとも顔を含む画像を撮影して得られた顔画像を取込む画像取込手段と、
この画像取込手段により取込まれた顔画像から顔候補領域を抽出する顔領域抽出手段と、
この顔領域抽出手段により抽出された顔候補領域内の顔特徴点を抽出する顔特徴点抽出手段と、
前記顔領域抽出手段により抽出された顔候補領域および前記顔特徴点抽出手段により抽出された顔特徴点から顔領域を決定する顔領域決定手段と、
この顔領域決定手段により決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を決定する顔周囲領域決定手段と、
この顔周囲領域決定手段により決定された顔周囲領域の画像に対し輝度を補正する輝度補正手段と、
前記顔領域決定手段により決定された顔領域および前記輝度補正手段により輝度を補正された顔周囲領域の画像に対し色彩を補正するもので、顔領域と顔周囲領域との境界においては、当該境界との距離に依存して色彩補正の度合を増減させる関数にしたがって、当該境界との距離に応じて当該境界および当該境界に属しない画素の色彩補正を行なう色彩補正手段と、
この色彩補正手段により色彩を補正された顔領域内の画像において色が特異になっている特異部を検出する特異部検出手段と、
この特異部検出手段により検出された特異部の色を補正するもので、前記特異部検出手段により検出された特異部の座標とその周囲の平均色とを用いて、あらかじめ収集された顔領域として望ましい彩度となる複数の画像について確率Ｐｃ（ｘ，ｙ，ｃ）［ｘ，ｙ：顔重心を原点とする座標、ｃ：注目画素周囲の画素の平均色］を求めることで作成された色彩・座標確率テーブルを検索することにより、求められる確率を最大とする色を当該特異部の色と置き換えることで当該特異部の色を補正する特異部補正手段と、
を具備したことを特徴とする画像処理装置。
前記顔領域決定手段は、前記顔特徴点抽出手段により顔特徴点が抽出された場合、前記顔領域抽出手段により抽出された顔候補領域と前記顔特徴点抽出手段により抽出された顔特徴点との関係から、あらかじめ求めてある望ましい人物の顔領域データを用いて顔領域を決定し、前記顔特徴点抽出手段により顔特徴点が抽出されなかった場合、前記顔領域抽出手段により抽出された顔候補領域を顔領域として決定することを特徴とする請求項３記載の画像処理装置。