JP3578321B2 - 画像正規化装置 - Google Patents
画像正規化装置 Download PDFInfo
- Publication number
- JP3578321B2 JP3578321B2 JP07005699A JP7005699A JP3578321B2 JP 3578321 B2 JP3578321 B2 JP 3578321B2 JP 07005699 A JP07005699 A JP 07005699A JP 7005699 A JP7005699 A JP 7005699A JP 3578321 B2 JP3578321 B2 JP 3578321B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shading
- average value
- area
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Collating Specific Patterns (AREA)
- Image Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、顔画像を用いて個人の認証を行うセキュリティ分野及び顔の表情や動きから人間の意図や感情をコンピュータに伝達させるマンマシンインターフェイスの分野に適用される画像正規化装置に関する。
【０００２】
【従来の技術】
コンピュータと人間とのマンマシンインターフェイスをより自然なものにするために、人と人とのコミュニケーションを範にとり、コンピュータに顔画像から個人を特定させたり、表情やしぐさを認識させて意図や感情を推定させる研究が行われている。顔画像を用いて個人識別を行う場合、大きさ、位置、照明の変化などを吸収して常に一定条件下の顔画像を用いることが必要である。
【０００３】
例えば、この種の従来技術として、“ヒューマン フェイス ディテクションイン ビジュアル シーンズ”（Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｖｉｓｕａｌ Ｓｃｅｎｅｓ）（Ｈ． Ａ． Ｒｏｗｌｅｙ， Ｓ． Ｂａｌｕｊａ， ａｎｄ Ｔ． Ｋａｎａｄｅ， ＣＭＵ−ＣＳ−９５−１５８Ｒ， Ｎｏｖ．， １９９５， ｐ３参照）には、両目、又は両目と口の位置をあらかじめ設定した位置に来るようにされた顔画像に対して、顔画像の背景を排除するために顔画像の周辺領域をマスクし、明るさのシェーディングを補正した後、顔画像の輝度の平均値と分散を求め、その値があらかじめ設定した値になるようにすることが開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、方向性を持つ照明で顔を横から照らした場合、鼻などの局所的な凹凸による陰影の付き方が左右で非対称になるが、上述した従来技術においては、このような非対称な陰影を補正できず、正面から顔を照らした画像に近づけることができないという問題があった。
【０００５】
本発明は上述した点に鑑みてなされたもので、照明条件の変化による陰影の変化を補正することができる画像正規化装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明に係る画像正規化装置は、顔画像を含む画像を入力する画像入力手段と、前記画像入力手段により入力された画像から標準的な顔画像とのテンプレートマッチングにより顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段で抽出された顔領域から目、口の位置を検出する目、口検出手段と、前記目、口検出手段で検出された目、口の位置をあらかじめ設定した位置に来るようにアフィン変換を行うアフィン変換手段と、前記アフィン変換手段から出力される顔画像を矩形領域に分割し、この分割された各前記矩形領域の水平方向及び垂直方向に所定の画素数分だけ領域を広げた領域を計算領域として出力する画像分割手段と、前記画像分割手段で設定された計算領域に対してシェーディングの除去を行い各画素の輝度値を求めて出力するシェーディング除去手段と、同一照明条件下での複数の人間の複数画像に対してシェーディング除去された各計算領域毎の輝度の分散の平均値を求めてあらかじめ記憶している基準分散値データ記憶手段と、前記シェーディング除去手段によりシェーディング除去された計算領域に対して輝度の分散を求めて前記基準分散値データ記憶手段に記憶された対応する領域の分散となるように各画素の輝度値を演算して新たな輝度値として出力する分散補正手段と、前記基準分散値データ記憶部で用いた同じ画像に対して各画像毎に各計算領域でのシェーディングパラメータを求め対応する各計算領域毎のシェーディングパラメータの平均値を求めてあらかじめ記憶している基準シェーディングパラメータデータ記憶手段と、前記分散補正手段により所定の分散となるように補正処理された計算領域に対して、前記基準シェーディングパラメータデータ記憶手段に記憶された対応する計算領域のシェーディングパラメータに基づいてシェーディングの付加を行い新たな輝度値を出力するシェーディング補正手段と、前記基準分散値データ記憶手段で用いた同じ画像に対して各画像毎に各計算領域内の画素の輝度の平均値を求め、前記各画像の同一位置に対応する各計算領域毎の前記画素の輝度の平均値を求めてあらかじめ記憶している基準平均値データ記憶手段と、前記シェーディング補正手段によりシェーディング補正された計算領域に対して輝度の平均値を求めて前記基準平均値データ記憶手段に記憶された対応する領域の平均値となるように各画素の新たな輝度値を求めて計算領域中の出力領域を用いて顔画像を再構成して出力する平均値補正手段とを備えたものである。
【０００７】
【発明の実施の形態】
図１は本発明の実施の形態に係る画像正規化装置の構成を示すブロック図である。図示構成の画像正規化装置は、ビデオカメラなどから顔画像を含む入力画像を取り込む画像入力部１００、ビデオカメラなどの画像入力部１００から取り込まれた顔画像から標準顔画像とのテンプレートマッチングにより顔領域を抽出する顔領域抽出部１１０、顔領域抽出部１１０で抽出された顔領域における輪郭抽出、２値化処理などにより目と口の中心位置を検出する目、口検出部１２０を有する。
【０００８】
また、目、口検出部１２０で検出された目、口の中心位置があらかじめ設定した位置に来るように顔画像にアフィン変換を行うアフィン変換部１３０、アフィン変換部１３０から出力される顔画像を矩形領域に分割した各出力領域を設定領域を広げて計算領域として出力する画像分割部１４０、画像分割部１４０で設定された計算領域に対してシェーディングの除去を行い各画素の輝度値を求めて出力するシェーディング除去部１５０を有する。
【０００９】
また、あらかじめ基準として選んでおいた同一照明条件下での複数の人の複数画像に対して、顔領域抽出部１１０からシェーディング除去部１５０までの処理を行い、各画像ごとに各計算領域での分散を求めて、シェーディング除去された各計算領域毎の分散の平均値を求めてあらかじめ記憶している基準分散値データ部１６０、シェーディング除去部１５０によりシェーディング除去された計算領域に対して輝度の分散を求めて基準分散値データ部１６０に記憶された対応する領域の分散となるように各画素の輝度値を演算して新たな輝度値として出力する分散補正部１７０を有する。
【００１０】
また、基準分散値データ部１６０で用いた同じ画像に対して、顔領域抽出部１１０から画面分割部１４０までの処理を行い、各画像毎にシェーディング除去部１５０での方法と同じ方法で各計算領域でのシェーディングパラメータを求め対応する各計算領域毎のシェーディングパラメータの平均値を求めてあらかじめ記憶している基準シェーディングパラメータデータ部１８０、分散補正部１７０により所定の分散となるように補正処理された計算領域に対して基準シェーディングパラメータデータ部１８０に記憶された対応する計算領域のシェーディングパラメータに基づいてシェーディングの付加を行い新たな輝度値を出力するシェーディング補正部１９０を有する。
【００１１】
さらに、基準分散値データ部１６０で用いた同じ画像に対して、顔領域抽出部１１０から画面分割部１４０までの処理を行い、各画像毎に各計算領域での平均値を求め対応する各計算領域毎の平均値を求めてあらかじめ記憶している基準平均値データ部２００、シェーディング補正部１９０によりシェーディング補正された計算領域に対して輝度の平均値を求めて基準平均値データ部２００に記憶された対応する領域の平均値となるように各画素の新たな輝度値を求めて計算領域中の出力領域を用いて顔画像を再構成して出力する平均値補正部２１０を有している。
【００１２】
次に、前述した構成の画像正規化装置の動作について、図２を参照して説明する。
ここで、図２は図１の各部の処理説明図であり、（ａ）は画像入力部１００で入力された画像例と顔領域抽出部１１０で抽出された顔画像領域例、（ｂ）は目、口検出部１２０で検出した目、口の中心位置検出結果例、（ｃ）はアフィン変換部１３０によるアフィン変換後の顔画像例、（ｄ）は画像分割部１４０による分割領域の設定例及び出力領域と計算領域例をそれぞれ示している。
【００１３】
図１に示す構成において、画像入力部１００は、ビデオカメラなどから顔画像を含む図２（ａ）に示すように入力画像を取り込む。画像入力部１００でビデオカメラなどから取り込まれた顔画像は顔領域抽出部１１０に入力され、その顔画像から標準顔画像とのテンプレートマッチングにより図２（ａ）に示すように顔領域が抽出される。目、口検出部１２０は、前記顔領域抽出部１１０で抽出された顔領域における輪郭抽出、２値化処理などにより図２（ｂ）に示すように目と口の中心位置を検出する。
【００１４】
前記目、口検出部１２０で検出された目、口の中心位置はアフィン変換部１３０に与えられ、当該アフィン変換部１３０は、検出された目、口の中心位置が図２（ｃ）に示すようにあらかじめ設定した位置に来るように顔画像にアフィン変換を行う。画像分割部１４０では、アフィン変換部１３０から出力された顔画像を図２（ｄ）に示すように水平方向ｄｘ画素、垂直方向ｄｙ画素ごとに分割し、各分割領域（出力領域）に対して水平方向±ａｘ画素、垂直方向±ａｙ画素広げた計算領域を設定する。
【００１５】
次に、シェーディング除去部１５０では、画像分割部１４０で設定した計算領域に対して、シェーディングの除去を行う。計算領域の左上を原点とし、水平方向をｘ軸、垂直方向をｙ軸とし、各画素の輝度値をｚ軸とし、座標（ｘｎ、ｙｎ）の画素の輝度値をｚｎとする。そして、まず、計算領域においてΣ［ｚｎ−（ａ×ｘｎ＋ｂ×ｙｎ＋ｃ）］２が最小となるパラメータａ，ｂ，ｃを求める。次に、各画素に対してｚｎ’＝ｚｎ−（ａ×ｘｎ＋ｂ×ｙｎ＋ｃ）を新しい輝度値とする。
【００１６】
分散補正部１７０では、シェーディング除去部１５０でシェーディング除去された計算領域に対して、輝度の分散ｖａｌ０＝Σ（ｚｎ’−ａｖｅ０）２を求めて、基準分散値データ部１６０の対応する領域の分散ｖａｌ１となるように、各画素の輝度値ｚｎ’に対して（ｚｎ’−ａｖｅ０）×（ｖａｌ１／ｖａｌ０）１／２＋ａｖｅ０を演算し新たな輝度値ｚｎ”とする。ただし、ａｖｅ０は計算領域の輝度の平均値である。
【００１７】
シェーディング補正部１９０では、分散補正部１７０で所定の分散になるように処理された計算領域に対して、基準シェーディングパラメータデータ部１８０の対応する計算領域のパラメータａ’、ｂ’、ｃ’に基づいてシェーディングの付加を行う。座標（ｘｎ，ｙｎ）の画素の輝度値をｚｎ”とすると、
ｚｎ’”＝ｚｎ”＋（ａ’×ｘｎ＋ｂ’×ｙｎ＋ｃ’）を新しい輝度値とする。
【００１８】
平均値補正部２１０では、シェーディング補正部１９０でシェーディング補正された計算領域に対して、輝度の平均値ａｖｅ１を求めて、基準平均値データ部２００の対応する領域の平均値ａｖｅ２となるように各画素の輝度値に対してａｖｅ２−ａｖｅ１を加算し新たな輝度値ｚ””とする。最後に、計算領域中の出力領域を用いて顔画像を再構成して出力する。
【００１９】
したがって、本実施の形態によれば、従来、方向性を持つ照明で顔を横から照らした場合、鼻などの局所的な凹凸による陰影の付き方が左右で非対称になるが、このような非対称な陰影のある画像に対しても、正面から顔を照らした画像に近づけることができる。
【００２０】
【発明の効果】
したがって、本発明によれば、顔画像を用いて個人の識別を行うための前処理として、顔画像を矩形領域に分割した各出力領域を広げた計算領域の画像信号の分散、シェーディング、平均値をあらかじめ設定記憶した基準値になるよう補正するようにしたので、照明条件の変化による陰影の変化を補正することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像正規化装置の構成を示すブロック図である。
【図２】図１の各部の処理説明図であり、（ａ）は画像入力部１００で入力された画像例と顔領域抽出部１１０で抽出された顔画像領域例、（ｂ）は目、口検出部１２０で検出した目、口の中心位置検出結果例、（ｃ）はアフィン変換部１３０によるアフィン変換後の顔画像例、（ｄ）は画像分割部１４０による分割領域の設定例及び出力領域と計算領域例をそれぞれ示している。
【符号の説明】
１００ 画像入力部
１１０ 顔領域抽出部
１２０ 目、口検出部
１３０ アフィン変換部
１４０ 画像分割部
１５０ シェーディング除去部
１６０ 基準分散値データ部
１７０ 分散補正部
１８０ 基準シェーディングパラメータデータ部
１９０ シェーディング補正部
２００ 基準分散値データ部
２１０ 平均値補正部
【発明の属する技術分野】
本発明は、顔画像を用いて個人の認証を行うセキュリティ分野及び顔の表情や動きから人間の意図や感情をコンピュータに伝達させるマンマシンインターフェイスの分野に適用される画像正規化装置に関する。
【０００２】
【従来の技術】
コンピュータと人間とのマンマシンインターフェイスをより自然なものにするために、人と人とのコミュニケーションを範にとり、コンピュータに顔画像から個人を特定させたり、表情やしぐさを認識させて意図や感情を推定させる研究が行われている。顔画像を用いて個人識別を行う場合、大きさ、位置、照明の変化などを吸収して常に一定条件下の顔画像を用いることが必要である。
【０００３】
例えば、この種の従来技術として、“ヒューマン フェイス ディテクションイン ビジュアル シーンズ”（Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｖｉｓｕａｌ Ｓｃｅｎｅｓ）（Ｈ． Ａ． Ｒｏｗｌｅｙ， Ｓ． Ｂａｌｕｊａ， ａｎｄ Ｔ． Ｋａｎａｄｅ， ＣＭＵ−ＣＳ−９５−１５８Ｒ， Ｎｏｖ．， １９９５， ｐ３参照）には、両目、又は両目と口の位置をあらかじめ設定した位置に来るようにされた顔画像に対して、顔画像の背景を排除するために顔画像の周辺領域をマスクし、明るさのシェーディングを補正した後、顔画像の輝度の平均値と分散を求め、その値があらかじめ設定した値になるようにすることが開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、方向性を持つ照明で顔を横から照らした場合、鼻などの局所的な凹凸による陰影の付き方が左右で非対称になるが、上述した従来技術においては、このような非対称な陰影を補正できず、正面から顔を照らした画像に近づけることができないという問題があった。
【０００５】
本発明は上述した点に鑑みてなされたもので、照明条件の変化による陰影の変化を補正することができる画像正規化装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明に係る画像正規化装置は、顔画像を含む画像を入力する画像入力手段と、前記画像入力手段により入力された画像から標準的な顔画像とのテンプレートマッチングにより顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段で抽出された顔領域から目、口の位置を検出する目、口検出手段と、前記目、口検出手段で検出された目、口の位置をあらかじめ設定した位置に来るようにアフィン変換を行うアフィン変換手段と、前記アフィン変換手段から出力される顔画像を矩形領域に分割し、この分割された各前記矩形領域の水平方向及び垂直方向に所定の画素数分だけ領域を広げた領域を計算領域として出力する画像分割手段と、前記画像分割手段で設定された計算領域に対してシェーディングの除去を行い各画素の輝度値を求めて出力するシェーディング除去手段と、同一照明条件下での複数の人間の複数画像に対してシェーディング除去された各計算領域毎の輝度の分散の平均値を求めてあらかじめ記憶している基準分散値データ記憶手段と、前記シェーディング除去手段によりシェーディング除去された計算領域に対して輝度の分散を求めて前記基準分散値データ記憶手段に記憶された対応する領域の分散となるように各画素の輝度値を演算して新たな輝度値として出力する分散補正手段と、前記基準分散値データ記憶部で用いた同じ画像に対して各画像毎に各計算領域でのシェーディングパラメータを求め対応する各計算領域毎のシェーディングパラメータの平均値を求めてあらかじめ記憶している基準シェーディングパラメータデータ記憶手段と、前記分散補正手段により所定の分散となるように補正処理された計算領域に対して、前記基準シェーディングパラメータデータ記憶手段に記憶された対応する計算領域のシェーディングパラメータに基づいてシェーディングの付加を行い新たな輝度値を出力するシェーディング補正手段と、前記基準分散値データ記憶手段で用いた同じ画像に対して各画像毎に各計算領域内の画素の輝度の平均値を求め、前記各画像の同一位置に対応する各計算領域毎の前記画素の輝度の平均値を求めてあらかじめ記憶している基準平均値データ記憶手段と、前記シェーディング補正手段によりシェーディング補正された計算領域に対して輝度の平均値を求めて前記基準平均値データ記憶手段に記憶された対応する領域の平均値となるように各画素の新たな輝度値を求めて計算領域中の出力領域を用いて顔画像を再構成して出力する平均値補正手段とを備えたものである。
【０００７】
【発明の実施の形態】
図１は本発明の実施の形態に係る画像正規化装置の構成を示すブロック図である。図示構成の画像正規化装置は、ビデオカメラなどから顔画像を含む入力画像を取り込む画像入力部１００、ビデオカメラなどの画像入力部１００から取り込まれた顔画像から標準顔画像とのテンプレートマッチングにより顔領域を抽出する顔領域抽出部１１０、顔領域抽出部１１０で抽出された顔領域における輪郭抽出、２値化処理などにより目と口の中心位置を検出する目、口検出部１２０を有する。
【０００８】
また、目、口検出部１２０で検出された目、口の中心位置があらかじめ設定した位置に来るように顔画像にアフィン変換を行うアフィン変換部１３０、アフィン変換部１３０から出力される顔画像を矩形領域に分割した各出力領域を設定領域を広げて計算領域として出力する画像分割部１４０、画像分割部１４０で設定された計算領域に対してシェーディングの除去を行い各画素の輝度値を求めて出力するシェーディング除去部１５０を有する。
【０００９】
また、あらかじめ基準として選んでおいた同一照明条件下での複数の人の複数画像に対して、顔領域抽出部１１０からシェーディング除去部１５０までの処理を行い、各画像ごとに各計算領域での分散を求めて、シェーディング除去された各計算領域毎の分散の平均値を求めてあらかじめ記憶している基準分散値データ部１６０、シェーディング除去部１５０によりシェーディング除去された計算領域に対して輝度の分散を求めて基準分散値データ部１６０に記憶された対応する領域の分散となるように各画素の輝度値を演算して新たな輝度値として出力する分散補正部１７０を有する。
【００１０】
また、基準分散値データ部１６０で用いた同じ画像に対して、顔領域抽出部１１０から画面分割部１４０までの処理を行い、各画像毎にシェーディング除去部１５０での方法と同じ方法で各計算領域でのシェーディングパラメータを求め対応する各計算領域毎のシェーディングパラメータの平均値を求めてあらかじめ記憶している基準シェーディングパラメータデータ部１８０、分散補正部１７０により所定の分散となるように補正処理された計算領域に対して基準シェーディングパラメータデータ部１８０に記憶された対応する計算領域のシェーディングパラメータに基づいてシェーディングの付加を行い新たな輝度値を出力するシェーディング補正部１９０を有する。
【００１１】
さらに、基準分散値データ部１６０で用いた同じ画像に対して、顔領域抽出部１１０から画面分割部１４０までの処理を行い、各画像毎に各計算領域での平均値を求め対応する各計算領域毎の平均値を求めてあらかじめ記憶している基準平均値データ部２００、シェーディング補正部１９０によりシェーディング補正された計算領域に対して輝度の平均値を求めて基準平均値データ部２００に記憶された対応する領域の平均値となるように各画素の新たな輝度値を求めて計算領域中の出力領域を用いて顔画像を再構成して出力する平均値補正部２１０を有している。
【００１２】
次に、前述した構成の画像正規化装置の動作について、図２を参照して説明する。
ここで、図２は図１の各部の処理説明図であり、（ａ）は画像入力部１００で入力された画像例と顔領域抽出部１１０で抽出された顔画像領域例、（ｂ）は目、口検出部１２０で検出した目、口の中心位置検出結果例、（ｃ）はアフィン変換部１３０によるアフィン変換後の顔画像例、（ｄ）は画像分割部１４０による分割領域の設定例及び出力領域と計算領域例をそれぞれ示している。
【００１３】
図１に示す構成において、画像入力部１００は、ビデオカメラなどから顔画像を含む図２（ａ）に示すように入力画像を取り込む。画像入力部１００でビデオカメラなどから取り込まれた顔画像は顔領域抽出部１１０に入力され、その顔画像から標準顔画像とのテンプレートマッチングにより図２（ａ）に示すように顔領域が抽出される。目、口検出部１２０は、前記顔領域抽出部１１０で抽出された顔領域における輪郭抽出、２値化処理などにより図２（ｂ）に示すように目と口の中心位置を検出する。
【００１４】
前記目、口検出部１２０で検出された目、口の中心位置はアフィン変換部１３０に与えられ、当該アフィン変換部１３０は、検出された目、口の中心位置が図２（ｃ）に示すようにあらかじめ設定した位置に来るように顔画像にアフィン変換を行う。画像分割部１４０では、アフィン変換部１３０から出力された顔画像を図２（ｄ）に示すように水平方向ｄｘ画素、垂直方向ｄｙ画素ごとに分割し、各分割領域（出力領域）に対して水平方向±ａｘ画素、垂直方向±ａｙ画素広げた計算領域を設定する。
【００１５】
次に、シェーディング除去部１５０では、画像分割部１４０で設定した計算領域に対して、シェーディングの除去を行う。計算領域の左上を原点とし、水平方向をｘ軸、垂直方向をｙ軸とし、各画素の輝度値をｚ軸とし、座標（ｘｎ、ｙｎ）の画素の輝度値をｚｎとする。そして、まず、計算領域においてΣ［ｚｎ−（ａ×ｘｎ＋ｂ×ｙｎ＋ｃ）］２が最小となるパラメータａ，ｂ，ｃを求める。次に、各画素に対してｚｎ’＝ｚｎ−（ａ×ｘｎ＋ｂ×ｙｎ＋ｃ）を新しい輝度値とする。
【００１６】
分散補正部１７０では、シェーディング除去部１５０でシェーディング除去された計算領域に対して、輝度の分散ｖａｌ０＝Σ（ｚｎ’−ａｖｅ０）２を求めて、基準分散値データ部１６０の対応する領域の分散ｖａｌ１となるように、各画素の輝度値ｚｎ’に対して（ｚｎ’−ａｖｅ０）×（ｖａｌ１／ｖａｌ０）１／２＋ａｖｅ０を演算し新たな輝度値ｚｎ”とする。ただし、ａｖｅ０は計算領域の輝度の平均値である。
【００１７】
シェーディング補正部１９０では、分散補正部１７０で所定の分散になるように処理された計算領域に対して、基準シェーディングパラメータデータ部１８０の対応する計算領域のパラメータａ’、ｂ’、ｃ’に基づいてシェーディングの付加を行う。座標（ｘｎ，ｙｎ）の画素の輝度値をｚｎ”とすると、
ｚｎ’”＝ｚｎ”＋（ａ’×ｘｎ＋ｂ’×ｙｎ＋ｃ’）を新しい輝度値とする。
【００１８】
平均値補正部２１０では、シェーディング補正部１９０でシェーディング補正された計算領域に対して、輝度の平均値ａｖｅ１を求めて、基準平均値データ部２００の対応する領域の平均値ａｖｅ２となるように各画素の輝度値に対してａｖｅ２−ａｖｅ１を加算し新たな輝度値ｚ””とする。最後に、計算領域中の出力領域を用いて顔画像を再構成して出力する。
【００１９】
したがって、本実施の形態によれば、従来、方向性を持つ照明で顔を横から照らした場合、鼻などの局所的な凹凸による陰影の付き方が左右で非対称になるが、このような非対称な陰影のある画像に対しても、正面から顔を照らした画像に近づけることができる。
【００２０】
【発明の効果】
したがって、本発明によれば、顔画像を用いて個人の識別を行うための前処理として、顔画像を矩形領域に分割した各出力領域を広げた計算領域の画像信号の分散、シェーディング、平均値をあらかじめ設定記憶した基準値になるよう補正するようにしたので、照明条件の変化による陰影の変化を補正することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像正規化装置の構成を示すブロック図である。
【図２】図１の各部の処理説明図であり、（ａ）は画像入力部１００で入力された画像例と顔領域抽出部１１０で抽出された顔画像領域例、（ｂ）は目、口検出部１２０で検出した目、口の中心位置検出結果例、（ｃ）はアフィン変換部１３０によるアフィン変換後の顔画像例、（ｄ）は画像分割部１４０による分割領域の設定例及び出力領域と計算領域例をそれぞれ示している。
【符号の説明】
１００ 画像入力部
１１０ 顔領域抽出部
１２０ 目、口検出部
１３０ アフィン変換部
１４０ 画像分割部
１５０ シェーディング除去部
１６０ 基準分散値データ部
１７０ 分散補正部
１８０ 基準シェーディングパラメータデータ部
１９０ シェーディング補正部
２００ 基準分散値データ部
２１０ 平均値補正部
Claims (1)
- 顔画像を含む画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から標準的な顔画像とのテンプレートマッチングにより顔領域を抽出する顔領域抽出手段と、
前記顔領域抽出手段で抽出された顔領域から目、口の位置を検出する目、口検出手段と、
前記目、口検出手段で検出された目、口の位置をあらかじめ設定した位置に来るようにアフィン変換を行うアフィン変換手段と、
前記アフィン変換手段から出力される顔画像を矩形領域に分割し、この分割された各前記矩形領域の水平方向及び垂直方向に所定の画素数分だけ領域を広げた領域を計算領域として出力する画像分割手段と、
前記画像分割手段で設定された計算領域に対してシェーディングの除去を行い各画素の輝度値を求めて出力するシェーディング除去手段と、
同一照明条件下での複数の人間の複数画像に対してシェーディング除去された各計算領域毎の輝度の分散の平均値を求めてあらかじめ記憶している基準分散値データ記憶手段と、
前記シェーディング除去手段によりシェーディング除去された計算領域に対して輝度の分散を求めて前記基準分散値データ記憶手段に記憶された対応する領域の分散となるように各画素の輝度値を演算して新たな輝度値として出力する分散補正手段と、
前記基準分散値データ記憶部で用いた同じ画像に対して各画像毎に各計算領域でのシェーディングパラメータを求め対応する各計算領域毎のシェーディングパラメータの平均値を求めてあらかじめ記憶している基準シェーディングパラメータデータ記憶手段と、
前記分散補正手段により所定の分散となるように補正処理された計算領域に対して、前記基準シェーディングパラメータデータ記憶手段に記憶された対応する計算領域のシェーディングパラメータに基づいてシェーディングの付加を行い新たな輝度値を出力するシェーディング補正手段と、
前記基準分散値データ記憶手段で用いた同じ画像に対して各画像毎に各計算領域内の画素の輝度の平均値を求め、前記各画像の同一位置に対応する各計算領域毎の前記画素の輝度の平均値を求めてあらかじめ記憶している基準平均値データ記憶手段と、
前記シェーディング補正手段によりシェーディング補正された計算領域に対して輝度の平均値を求めて前記基準平均値データ記憶手段に記憶された対応する領域の平均値となるように各画素の新たな輝度値を求めて計算領域中の出力領域を用いて顔画像を再構成して出力する平均値補正手段とを、
有する画像正規化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07005699A JP3578321B2 (ja) | 1999-03-16 | 1999-03-16 | 画像正規化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07005699A JP3578321B2 (ja) | 1999-03-16 | 1999-03-16 | 画像正規化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000268172A JP2000268172A (ja) | 2000-09-29 |
| JP3578321B2 true JP3578321B2 (ja) | 2004-10-20 |
Family
ID=13420524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07005699A Expired - Fee Related JP3578321B2 (ja) | 1999-03-16 | 1999-03-16 | 画像正規化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3578321B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4578000B2 (ja) * | 2001-01-29 | 2010-11-10 | 株式会社バンダイナムコゲームス | パターン認識処理装置、方法および情報記憶媒体 |
| JP4241763B2 (ja) | 2006-05-29 | 2009-03-18 | 株式会社東芝 | 人物認識装置及びその方法 |
| KR100897385B1 (ko) | 2007-06-27 | 2009-05-14 | 성균관대학교산학협력단 | 조명 정규화 방법 및 장치 |
| CN101605257B (zh) * | 2008-06-11 | 2011-04-13 | 北京中创信测科技股份有限公司 | 一种块效应分析方法及系统 |
| JP5685272B2 (ja) * | 2011-02-15 | 2015-03-18 | 富士通フロンテック株式会社 | 認証装置、認証プログラム、および認証方法 |
| BR112013020468A2 (pt) | 2011-02-15 | 2016-10-18 | Fujitsu Frontech Ltd | aparelho de autenticação, programa de autenticação, e método de autenticação |
-
1999
- 1999-03-16 JP JP07005699A patent/JP3578321B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000268172A (ja) | 2000-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017190646A1 (zh) | 一种人脸图像处理方法和装置、存储介质 | |
| CN110490828B (zh) | 视频直播中的图像处理方法和系统 | |
| CN108932493B (zh) | 一种面部皮肤质量评价方法 | |
| US9471831B2 (en) | Apparatus and method for face recognition | |
| US11138695B2 (en) | Method and device for video processing, electronic device, and storage medium | |
| JP4739870B2 (ja) | サングラス検出装置及び顔中心位置検出装置 | |
| JP2008234208A (ja) | 顔部位検出装置及びプログラム | |
| JPH0877334A (ja) | 顔画像の特徴点自動抽出方法 | |
| WenJuan et al. | A real-time lip localization and tacking for lip reading | |
| CN110298796B (zh) | 基于改进Retinex与对数图像处理的低照度图像增强方法 | |
| CN111967319A (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| JP2000105819A (ja) | 顔領域検出装置 | |
| JP3459950B2 (ja) | 顔検出及び顔追跡方法並びにその装置 | |
| CN108234770B (zh) | 一种辅助化妆系统、辅助化妆方法、辅助化妆装置 | |
| CN111666911A (zh) | 一种微表情数据的扩充方法及装置 | |
| CN110688962B (zh) | 人脸图像处理方法、用户设备、存储介质及装置 | |
| US20220207917A1 (en) | Facial expression image processing method and apparatus, and electronic device | |
| CN116363011A (zh) | 一种基于频域分频的多分支低照度图像增强方法 | |
| JP3578321B2 (ja) | 画像正規化装置 | |
| Arsic et al. | Improved lip detection algorithm based on region segmentation and edge detection | |
| US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
| CN113379623A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
| Lin et al. | Face detection based on skin color segmentation and SVM classification | |
| JP4502645B2 (ja) | 人物画像抽出装置、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |