JP4165350B2

JP4165350B2 - 画像処理方法並びに画像処理装置

Info

Publication number: JP4165350B2
Application number: JP2003315474A
Authority: JP
Inventors: 淳之広野; 聡古川
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2003-09-08
Filing date: 2003-09-08
Publication date: 2008-10-15
Anticipated expiration: 2023-09-08
Also published as: JP2005084883A

Description

本発明は、テンプレートマッチングを利用して入力画像中における対象物の存否を判定する画像処理方法並びに画像処理装置に関するものである。

従来より、テンプレートマッチングを利用して入力画像（例えば、濃淡画像）中における対象物の存否を判定する画像処理方法並びに画像処理装置が様々な分野で利用されている（例えば、特許文献１参照）。一般的なテンプレートマッチングにおいては、テンプレートと入力画像の各画素毎の濃度値Ｉ(i,j)、Ｔ(i,j)から、下記の式１で示す残差Ｒや式２で示す相互相関係数Ｃ（これらを総称して「相関値」と呼ぶ）を求め、該相関値から両画像の一致／不一致を判定している。

ところで、近年では上述のようなテンプレートマッチングを利用して個人認証を行う方法や装置がセキュリティ分野で用いられている。例えば、入室が許可された人物の顔の濃淡画像（以下、単に「顔画像」と呼ぶ）を予めテンプレートＴＰとして登録しておき、図７に示すように入室を希望する希望者の顔画像Ｖを入力し、テンプレートＴＰと顔画像Ｖとのパターンマッチングを行って相関値を演算し、その相関値に基づいて当該希望者が入出が許可されている人物と一致するか否かを判定するものである。
特開平１１−２８４９９７号公報

ところで、上述のようなテンプレートマッチングを行う場合、例えばテンプレートＴＰを作成したときの明るさと実際に認証を行うときの明るさとが異なってしまうと、同一人物の顔画像Ｖ’であっても濃度値が大きく変化してしまう（図８参照）。すなわち、上述の残差Ｒを相関値とする場合であれば濃度値Ｉ(i,j)が変化することで残差Ｒの値が全く異なってしまうし、相互相関係数Ｃを相関値とする場合でも同様である。ここで、テンプレートＴＰを作成したときの明るさと実際に認証を行うときの明るさとが異なる状況としては、入力画像を撮像する際に対象物に照射する照明光が不均一であるために入力画像の明るさの分布状態に偏りの生じる場合などが考えられる。

このように入力画像を撮像する際に局所的なスポット光の照射や照明状況の不均一な変化等により照明光の照射状態に偏りがあると、顔画像とテンプレートの相関値が、偏りのない場合に比べて相対的に低下して正確なパターンマッチングが行い難くなってしまう。

本発明は上記事情に鑑みて為されたものであり、その目的は、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行える画像処理方法並びに画像処理装置を提供することにある。

請求項１の発明は、上記目的を達成するために、テンプレートマッチングにより入力画像中における対象物の存否や位置を判定する画像処理方法において、入力画像中を移動させながらテンプレートと該入力画像の相関値演算を行う相関値演算処理と、前記相関値を所定のしきい値と比較して前記入力画像と前記テンプレートとの一致／不一致を判定する第１の判定処理と、該第１の判定処理にて前記入力画像が前記テンプレートと一致しないと判定した場合に入力画像における明るさの分布状態に偏りがあるか否かを判定する偏り判定処理と、該偏り判定処理にて偏りありと判定した場合に明るさの分布状態に偏りがある前記入力画像と前記テンプレートとの一致／不一致を判定する第２の判定処理とを有し、前記偏り判定処理は、対称性を有する前記対象物の対称な部分がそれぞれに含まれる複数の領域に前記入力画像を分割し、複数の前記領域の画素値を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断して前記入力画像における明るさの分布状態の偏りを判定し、前記第２の判定処理は、前記入力画像並びにテンプレートを複数の領域に分割し、該領域単位で入力画像とテンプレートの相関値演算を行い、該相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。

この発明によれば、入力画像を撮像する際に照明光の照射状態に偏りがあったために入力画像の明るさの分布状態に偏りが生じた場合には、第１の判定処理の代わりに第２の判定処理で入力画像とテンプレートとの一致／不一致を判定するから、第２の判定処理として入力画像の明るさの分布状態に影響を受け難い処理を採用することによって、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行える。また、各領域の画素値を統計処理した値（例えば、平均値や分散値など）は、明るさの分布状態に偏りがなければ略一致し、偏りがあれば一致しないことになり、入力画像における明るさの分布状態に偏りがあるか否かが容易に判定でき、しかも、複数の領域間で明るさの分布状態の偏り度合に差があるときに対象物の存否や位置の判定が正確に行える。

請求項２の発明は、上記目的を達成するために、テンプレートマッチングにより入力画像中における対象物の存否や位置を判定する画像処理方法において、入力画像中を移動させながらテンプレートと該入力画像の相関値演算を行う相関値演算処理と、入力画像における明るさの分布状態に偏りがあるか否かを判定する偏り判定処理と、該偏り判定処理にて偏りなしと判定した場合に前記相関値を所定のしきい値と比較して前記入力画像と前記テンプレートとの一致／不一致を判定する第１の判定処理と、該偏り判定処理にて偏りありと判定した場合に明るさの分布状態に偏りがある前記入力画像と前記テンプレートとの一致／不一致を判定する第２の判定処理とを有し、前記偏り判定処理は、対称性を有する前記対象物の対称な部分がそれぞれに含まれる複数の領域に前記入力画像を分割し、複数の前記領域の画素値を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断して前記入力画像における明るさの分布状態の偏りを判定し、前記第２の判定処理は、前記入力画像並びにテンプレートを複数の領域に分割し、該領域単位で入力画像とテンプレートの相関値演算を行い、該相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。

請求項３の発明は、請求項１又は２の発明において、前記第２の判定処理は、前記複数の領域のうちで相関値がしきい値を超える領域の比率によって前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。

この発明によれば、相関値がしきい値を超える領域の比率の大小に応じて入力画像とテンプレートの一致／不一致を判定することにより、対象物の存否や位置の判定に関して様々な判定基準に適応することが可能となる。

請求項４の発明は、上記目的を達成するために、請求項１又は２記載の画像処理方法において、第２の判定処理は、前記相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定する代わりに、前記各領域毎の相関値の最大値を所定のしきい値と比較することで前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。

この発明によれば、入力画像を撮像する際に照明光の照射状態に偏りがあったために入力画像の明るさの分布状態に偏りが生じた場合には、第１の判定処理の代わりに第２の判定処理で入力画像とテンプレートとの一致／不一致を判定するから、第２の判定処理として入力画像の明るさの分布状態に影響を受け難い処理を採用することによって、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行える。また、各領域の画素値を統計処理した値（例えば、平均値や分散値など）は、明るさの分布状態に偏りがなければ略一致し、偏りがあれば一致しないことになり、入力画像における明るさの分布状態に偏りがあるか否かが容易に判定でき、しかも、複数の領域のうちで一つでも相関値が所定のしきい値を超える領域があれば入力画像とテンプレートが一致すると判断できるから、対象物が存在するにもかかわらず存在しないと誤判定されることを極力防ぐことができる。

請求項５の発明は、上記目的を達成するために、請求項１又は２記載の画像処理方法において、第２の判定処理は、前記相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定する代わりに、前記第１の判定処理におけるしきい値よりも低い第２のしきい値と前記相関値を比較して前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。

この発明によれば、入力画像を撮像する際に照明光の照射状態に偏りがあったために入力画像の明るさの分布状態に偏りが生じた場合には、第１の判定処理の代わりに第２の判定処理で入力画像とテンプレートとの一致／不一致を判定するから、第２の判定処理として入力画像の明るさの分布状態に影響を受け難い処理を採用することによって、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行える。また、各領域の画素値を統計処理した値（例えば、平均値や分散値など）は、明るさの分布状態に偏りがなければ略一致し、偏りがあれば一致しないことになり、入力画像における明るさの分布状態に偏りがあるか否かが容易に判定でき、しかも、入力画像の明るさの分布状態に偏りがあると相対的に相関値が低下する傾向にあるから、相関値と比較する第２のしきい値を偏りがないときの第１のしきい値よりも低くくすることにより、対象物の存否や位置の判定が容易に行える。

請求項６の発明は、請求項１〜５の何れか１項の発明において、前記偏り判定処理にて前記入力画像における明るさの分布状態の偏り度合が所定の上限値よりも大きいと判断した場合には前記第２の判定処理を実行しないことを特徴とする。

この発明によれば、偏り度合が上限値を超える場合には、第２の判定処理による判定精度が大きく低下すると考えられるから、その場合には第２の判定処理を実行しないことで誤判定を未然に防ぐことができる。

請求項７の発明は、請求項１〜５の何れか１項の発明において、前記偏り判定処理は、前記入力画像における明るさの分布状態の偏り度合を求め、少なくとも偏りの判定結果又は前記偏り度合を提示することを特徴とする。

この発明によれば、偏りの判定結果並びに偏り度合に基づいて対象物の存否や位置の判定結果の信頼度を判断することができる。

請求項８の発明は、上記目的を達成するために、テンプレートマッチングにより入力画像中における対象物の存否や位置を判定する画像処理装置において、入力画像中を移動させながらテンプレートと該入力画像の相関値演算を行う相関値演算手段と、前記相関値を所定のしきい値と比較して前記入力画像と前記テンプレートとの一致／不一致を判定する第１の判定手段と、該第１の判定手段にて前記入力画像が前記テンプレートと一致しないと判定した場合に入力画像における明るさの分布状態に偏りがあるか否かを判定する偏り判定手段と、該偏り判定手段にて偏りありと判定した場合に明るさの分布状態に偏りがある前記入力画像と前記テンプレートとの一致／不一致を判定する第２の判定手段とを有し、前記偏り判定手段は、対称性を有する前記対象物の対称な部分がそれぞれに含まれる複数の領域に前記入力画像を分割し、複数の前記領域の画素値を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断して前記入力画像における明るさの分布状態の偏りを判定し、前記第２の判定手段は、前記入力画像並びにテンプレートを複数の領域に分割し、該領域単位で入力画像とテンプレートの相関値演算を行い、該相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。

この発明によれば、入力画像を撮像する際に照明光の照射状態に偏りがあったために入力画像の明るさの分布状態に偏りが生じた場合には、第１の判定手段の代わりに第２の判定手段で入力画像とテンプレートとの一致／不一致を判定するから、第２の判定手段にて入力画像の明るさの分布状態に影響を受け難い処理を実行することによって、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行える。また、各領域の画素値を統計処理した値（例えば、平均値や分散値など）は、明るさの分布状態に偏りがなければ略一致し、偏りがあれば一致しないことになり、入力画像における明るさの分布状態に偏りがあるか否かが容易に判定でき、しかも、複数の領域間で明るさの分布状態の偏り度合に差があるときに対象物の存否や位置の判定が正確に行える。

請求項９の発明は、上記目的を達成するために、テンプレートマッチングにより入力画像中における対象物の存否や位置を判定する画像処理装置において、入力画像中を移動させながらテンプレートと該入力画像の相関値演算を行う相関値演算手段と、入力画像における明るさの分布状態に偏りがあるか否かを判定する偏り判定手段と、該偏り判定手段にて偏り無しと判定した場合に前記相関値を所定のしきい値と比較して前記入力画像と前記テンプレートとの一致／不一致を判定する第１の判定手段と、該偏り判定手段にて偏りありと判定した場合に明るさの分布状態に偏りがある前記入力画像と前記テンプレートとの一致／不一致を判定する第２の判定手段とを有し、前記偏り判定手段は、対称性を有する前記対象物の対称な部分がそれぞれに含まれる複数の領域に前記入力画像を分割し、複数の前記領域の画素値を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断して前記入力画像における明るさの分布状態の偏りを判定し、前記第２の判定手段は、前記入力画像並びにテンプレートを複数の領域に分割し、該領域単位で入力画像とテンプレートの相関値演算を行い、該相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。

この発明によれば、入力画像を撮像する際に照明光の照射状態に偏りがあったために入力画像の明るさの分布状態に偏りが生じた場合には、第１の判定手段の代わりに第２の判定手段で入力画像とテンプレートとの一致／不一致を判定するから、第２の判定手段にて入力画像の明るさの分布状態に影響を受け難い処理を実行することによって、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行える。また、各領域の画素値を統計処理した値（例えば、平均値や分散値など）は、明るさの分布状態に偏りがなければ略一致し、偏りがあれば一致しないことになり、入力画像における明るさの分布状態に偏りがあるか否かが容易に判定でき、しかも、複数の領域間で明るさの分布状態の偏り度合に差があるときに対象物の存否や位置の判定が正確に行える。
請求項１０の発明は、請求項８又は９の発明において、前記第２の判定手段は、前記複数の領域のうちで相関値がしきい値を超える領域の比率によって前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。
この発明によれば、相関値がしきい値を超える領域の比率の大小に応じて入力画像とテンプレートの一致／不一致を判定することにより、対象物の存否や位置の判定に関して様々な判定基準に適応することが可能となる。
請求項１１の発明は、上記目的を達成するために、請求項８又は９記載の画像処理装置において、第２の判定手段は、前記相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定する代わりに、前記各領域毎の相関値の最大値を所定のしきい値と比較することで前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。
この発明によれば、入力画像を撮像する際に照明光の照射状態に偏りがあったために入力画像の明るさの分布状態に偏りが生じた場合には、第１の判定処理の代わりに第２の判定処理で入力画像とテンプレートとの一致／不一致を判定するから、第２の判定処理として入力画像の明るさの分布状態に影響を受け難い処理を採用することによって、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行える。また、各領域の画素値を統計処理した値（例えば、平均値や分散値など）は、明るさの分布状態に偏りがなければ略一致し、偏りがあれば一致しないことになり、入力画像における明るさの分布状態に偏りがあるか否かが容易に判定でき、しかも、複数の領域のうちで一つでも相関値が所定のしきい値を超える領域があれば入力画像とテンプレートが一致すると判断できるから、対象物が存在するにもかかわらず存在しないと誤判定されることを極力防ぐことができる。
請求項１２の発明は、上記目的を達成するために、請求項８又は９記載の画像処理装置において、第２の判定手段は、前記相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定する代わりに、前記第１の判定手段におけるしきい値よりも低い第２のしきい値と前記相関値を比較して前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする。
この発明によれば、入力画像を撮像する際に照明光の照射状態に偏りがあったために入力画像の明るさの分布状態に偏りが生じた場合には、第１の判定処理の代わりに第２の判定処理で入力画像とテンプレートとの一致／不一致を判定するから、第２の判定処理として入力画像の明るさの分布状態に影響を受け難い処理を採用することによって、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行える。また、各領域の画素値を統計処理した値（例えば、平均値や分散値など）は、明るさの分布状態に偏りがなければ略一致し、偏りがあれば一致しないことになり、入力画像における明るさの分布状態に偏りがあるか否かが容易に判定でき、しかも、入力画像の明るさの分布状態に偏りがあると相対的に相関値が低下する傾向にあるから、相関値と比較する第２のしきい値を偏りがないときの第１のしきい値よりも低くくすることにより、対象物の存否や位置の判定が容易に行える。
請求項１３の発明は、請求項８〜１２の何れか１項の発明において、前記偏り判定手段にて前記入力画像における明るさの分布状態の偏り度合が所定の上限値よりも大きいと判断した場合には前記第２の判定手段が処理を実行しないことを特徴とする。
この発明によれば、偏り度合が上限値を超える場合には、第２の判定手段による判定精度が大きく低下すると考えられるから、その場合には第２の判定手段の処理を実行しないことで誤判定を未然に防ぐことができる。
請求項１４の発明は、請求項８〜１２の何れか１項の発明において、前記偏り判定手段は、前記入力画像における明るさの分布状態の偏り度合を求め、少なくとも偏りの判定結果又は前記偏り度合を提示することを特徴とする。
この発明によれば、偏りの判定結果並びに偏り度合に基づいて対象物の存否や位置の判定結果の信頼度を判断することができる。

本発明によれば、入力画像を撮像する際に照明光の照射状態に偏りがあったために入力画像の明るさの分布状態に偏りが生じた場合には、第１の判定処理の代わりに第２の判定処理で入力画像とテンプレートとの一致／不一致を判定するから、第２の判定処理として入力画像の明るさの分布状態に影響を受け難い処理を採用することによって、入力画像の明るさの分布状態に偏りがある場合でも対象物の存否や位置の判定が正確に行えるという効果がある。

（実施形態１）
図１は本実施形態の画像処理装置を示している。この画像処理装置は、人物の顔を撮像した画像にテンプレートマッチングを行って人物の認証を行う、所謂顔認証システムに用いられるものであって、テレビカメラからなり、対象物（人物Ｈ）を含めた画像を撮像する撮像手段１と、撮像手段１で撮像されたアナログ画像をデジタル画像（濃淡画像）に変換するＡ／Ｄ変換手段２と、認証の対象である人物の画像から予め作成されたテンプレートを保持する保持手段３と、相関値演算手段４と、第１の判定手段５と、偏り判定手段６と、第２の判定手段７とを備える。なお、少なくとも保持手段３、相関値演算手段４、第１の判定手段５、偏り判定手段６、第２の判定手段７は、例えば汎用のコンピュータに各手段における処理を実行させるためのソフトウェア（プログラム）を搭載して構成される。

相関値演算手段４は、Ａ／Ｄ変換手段２で変換されたデジタルの濃淡画像（以下、「入力画像」と呼ぶ）中を移動（走査）させながらテンプレートと入力画像の相関値演算を行って相関値を求めるとともに求めた相関値を記憶する処理を行い、第１の判定手段５は、相関値に基づいて入力画像とテンプレートとの一致／不一致、すなわち、撮像された人物Ｈの顔がテンプレートとして予め登録された人物の顔に一致するか否かを判定する処理を行う。ここで、本実施形態の画像処理装置が用いられる顔認証システムでは、通常、撮像手段１は屋内に設けられており、屋内の照明の点灯・消灯や窓から入射する外光等の影響によって撮像手段１による撮像時に対象の人物Ｈに照射された照明光に偏りが生じることがあり、このような偏りがあった場合には、照明光に偏りがない状態で撮像された場合に比べて入力画像とテンプレートの相関値が相対的に低下してしまうから、本来は一致するはずの人物Ｈの顔がテンプレートと一致しない、すなわち、認証されるべき人物が本人でないと誤判定されてしまう虞がある。

そこで、第１の判定手段５が不一致と判定した入力画像について、入力画像の撮像時に照明光に偏りがあったか否かを偏り判定手段６にて判定し、偏りなしと判定した場合には第１の判定手段５による判定結果をそのまま採用するが、偏りありと判定した場合には、第２の判定手段７により入力画像とテンプレートとの一致／不一致を改めて判定している。

次に、図２及び図３のフローチャートを参照して本実施形態の画像処理装置の動作、すなわち、本発明に係る画像処理方法について具体的に説明する。

まず、入力画像の初期位置（例えば、左上隅の位置）にテンプレートをおき（ステップ１）、テンプレートの各画素と、入力画像のうちでテンプレートと重なる部分の画像（以下、「部分画像」と呼ぶ）の各画素との間で相関値演算手段４により相関値演算を行って相関値を求め、求めた相関値を現在位置での相関値として記憶する（ステップ２）。相関値演算手段４では、部分画像についての相関値演算が終了したら、部分画像の端が入力画像における水平方向の端に一致しているか否かを判断し（ステップ３）、一致していなければ、テンプレートを入力画像に対して水平方向に１画素分だけずらし（ステップ４）、新たにテンプレートと重なった部分画像について相関値演算を行って相関値を求める（ステップ２）。そして、相関値演算手段４は部分画像の端が入力画像における水平方向の端に一致するまでステップ２、ステップ３、ステップ４の処理を繰り返す。さらに、部分画像の端が入力画像における水平方向の端に一致している場合、相関値演算手段４では、その部分画像の端が入力画像における垂直方向の端に一致しているか否かを判断し（ステップ５）、一致していなければ、テンプレートを入力画像に対して垂直方向に１画素分だけずらし（ステップ６）、新たにテンプレートと重なった部分画像について相関値演算を行って相関値を求める（ステップ２）。そして、相関値演算手段４が部分画像の端が入力画像における垂直方向の端に一致するまでステップ２、ステップ５、ステップ６の処理を繰り返し、部分画像の端が入力画像における垂直方向の端に一致したら相関値演算処理を終了する。

続いて、第１の判定手段５により、各位置（部分画像）での相関値のうちで最も高い相関値を所定のしきい値と比較することで入力画像とテンプレートの一致／不一致を判定する（ステップ７）。すなわち、入力画像をテンプレートで走査しながら求めた相関値のうちで最も高い相関値が求められた位置（部分画像）は対象物（人物Ｈの顔）が存在する可能性が最も高い位置であるから、この位置の相関値が予め設定したしきい値を超えていれば入力画像とテンプレートが一致する、つまり、対象の人物Ｈが予め登録されている人物と一致すると判定でき、相関値がしきい値を超えていなければ入力画像とテンプレートが一致しない（不一致）、つまり、対象の人物Ｈが予め登録されている人物と一致しないと判定できる。そして、第１の判定手段５にて入力画像とテンプレートが一致すると判定したらその旨の判定結果を出力して処理を終了し（ステップ８，ステップ９）、不一致と判定したら偏り判定手段６による偏り判定処理を実行する。

図３のフローチャートは偏り判定手段６並びに第２の判定手段７の動作を示している。偏り判定手段６は、入力画像の明るさの分布状態に偏りがあるか否かを判定する偏り判定処理を実行する（ステップ１０）。この偏り判定処理では、入力画像のうちで相関値が最も高かった位置の画像（部分画像）を、対称性を有する対象物（人物Ｈの顔）の対称な部分がそれぞれに含まれる複数の領域に分割し、複数の領域の画素値（濃度値）を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断する。すなわち、対称な領域に均一に照明光が照射されていれば、各々の領域の画素値の平均値や分散値などの統計的な数値はほぼ一致すると考えられ、照明光の照射状態に偏りが生じれば、対称な領域の画素値の上記統計的な数値も一致しなくなるから、これを利用して照明光の照射状態の偏り（入力画像の明るさの分布状態の偏り）の有無が判定できる。

ここで、本実施形態の対象物である人物の顔は、一般に両眼の間の鼻筋を通る中心線で概ね左右対称であるとみなせる。したがって、偏り判定手段６では、図４（ａ）に示すように入力画像から相関値が最も高い位置で切り出した部分画像を、顔の左半分を含む領域ＸＬと、顔の右半分を含む領域ＸＲとに分割し、各領域ＸＬ，ＸＲの画素値の統計的な数値（平均値又は分散値）を求めて比較することにより入力画像における明るさの分布状態、すなわち、照明光の照射状態に偏りがあるか否かを判定している（ステップ１１）。また偏り判定手段６では、上述の偏り判定に際して２つの領域ＸＬ，ＸＲの画素値の統計的な数値の差あるいは比率等で表される偏り度合を算出する。そして、偏り判定手段６にて偏りありと判定した場合には第２の判定手段７が第２の判定処理を実行する。

第２の判定手段７は、テンプレートを顔の左半分を含む部分と、顔の右半分を含む部分とに分割し、偏り判定手段６で偏りありと判定された場合にテンプレートの分割された各部分と２つの領域ＸＬ，ＸＲとの間でそれぞれ相関値演算を行って相関値を求める（ステップ１２）。つまり、照明光が対象物に不均一に照射されて偏りが生じた場合であっても、対象物の対称性を有する部分（例えば、人物の顔の左側部分と右側部分）では照明光が略均一に照射されている可能性がある。例えば、照明光が顔の左側から照射されている場合であれば、左側部分の明るさの分布状態が照明光の明るさの影響で大きく変化するのに対し、右側部分の明るさの分布状態は左側部分に比べてもともと照明光の照射量が少ないから照明光の明るさの影響を受け難いと考えられ、あるいは、テンプレートを作成したときに右側部分に照射されていた照明光が入力画像の撮像時には照射されていなかった場合であれば、右側部分の明るさの分布状態は大きく変化するが、左側部分の明るさの分布状態の変化量は右側部分に比べてはるかに小さいと考えられるから、上述のように顔の左側部分の領域ＸＬ並びに右側部分の領域ＸＲ毎に相関値演算を行って相関値を求めれば、何れかの領域ＸＬ，ＸＲの相関値については明るさの分布状態の偏りの影響をほとんど受けずに一致／不一致の判定が行える可能性がある。

そこで第２の判定手段７では、各領域ＸＬ，ＸＲの相関値を予め設定したしきい値と比較し、少なくとも一つの領域ＸＬ又はＸＲの相関値がしきい値を超えていれば入力画像とテンプレートが一致すると判定し、何れの領域ＸＬ，ＸＲの相関値もしきい値を超えていなければ入力画像とテンプレートが一致しない（不一致）と判定しており（ステップ１３）、第２の判定手段７が実行する上記第２の判定処理は、上述のように第１の判定処理に比較して入力画像の明るさの分布状態に影響を受け難い処理であるから、入力画像の明るさの分布状態に偏りがある場合でも入力画像とテンプレートとの一致／不一致（対象物の存否や位置）の判定が正確に行えるものである。

そして、第２の判定手段７にて入力画像とテンプレートが一致すると判定したらその旨の判定結果とともに、偏り判定手段６による偏りありの判定結果並びに偏り度合を出力して処理を終了し（ステップ１４，ステップ１５）、不一致と判定したら不一致の判定結果とともに偏り判定手段６による偏りありの判定結果並びに偏り度合を出力して処理を終了する（ステップ１４，ステップ１６）。但し、領域及びテンプレートの分割数は２つに限定されるものではなく、例えば、図４（ｂ）に示すように各々の領域ＸＬ，ＸＲを眼を含む上部の領域ＸＬＵ，ＸＲＵと眼を含まない下部の領域ＸＬＤ，ＸＲＤの合計４つに分割しても良い。尚、ステップ１１にて偏り判定手段６が偏りなしと判定したら、不一致の判定結果とともに偏り判定手段６による偏りなしの判定結果を出力して処理を終了する（ステップ１７）。

ここで、第２の判定処理においては、複数の領域ＸＬ，ＸＲ又はＸＬＵ，ＸＲＵ，ＸＬＤ，ＸＲＤの相関値の最大値のみをしきい値と比較して入力画像とテンプレートとの一致／不一致を判定するようにしても構わない。この判定方法は、複数の領域ＸＬ，…の少なくとも何れか一つがしきい値を超えてさえいれば、言い換えると、入力画像の顔の部分の画像（顔画像）全体がテンプレートと一致しなくても部分的に一致するとみなせれば、最終的に入力画像とテンプレートが一致すると判定するため、対象物であるにもかかわらず対象物でないと判定される誤判定が極力生じないようにしたい場合に望ましい方法である。

あるいは、第２の判定処理において、複数の領域ＸＬ，…のうちで相関値がしきい値を超える領域ＸＬ，…の比率（＝相関値がしきい値を超える領域の数／領域の総数）によって入力画像とテンプレートとの一致／不一致を判定するようにしても構わない。例えば、一致と判定する比率を２分の１以上とした場合であれば、２つの領域ＸＬ，ＸＲのうちの何れか一方の領域の相関値がしきい値を超えるか、若しくは４つの領域ＸＬＵ，…のうちの何れか２つ以上の領域の相関値がしきい値を超えれば一致と判定することになる。すなわち、一致と判定する比率を大きくすれば、対象物でないものを対象物と誤判定する可能性が低くなり、反対に一致と判定する比率を小さくすれば、対象物であるものを対象物でないと誤判定する可能性が低くなるから、一致と判定する比率を変えて様々な用途や目的に対応することが可能である。

ここで、第１の判定手段５による判定処理のしきい値（以下、「第１のしきい値」と呼ぶ）に対して、第２の判定手段７による判定処理のしきい値（以下、「第２のしきい値」と呼ぶ）を小さくすることが望ましい。なぜなら、入力画像の明るさの分布状態に偏りがあると相対的に相関値が低下する傾向にあるから、相関値と比較する第２のしきい値を偏りがないときの第１のしきい値よりも低くくすることにより、対象物の存否や位置の判定が容易に行えるからである。但し、第２のしきい値は一定値であってもよいが、偏り度合に応じて段階的又は連続的に値を低下すれば、判定の精度向上が図れるという利点がある。

ところで、本実施形態の画像処理装置が用いられる顔認証システムでは、固定された撮像手段１により人物を撮像するため、首を傾ける程度の角度（例えば、１０度程度）で顔画像が傾くことはあっても上下が反転するようなことは通常起こり得ない。そして、上述のように首を傾ける程度の角度であれば、顔画像を左右に分割する分割線と顔の中心線とがずれても左右の対称性は維持されているものとみなすことができる。但し、別の手段で顔画像の回転角度を測定し、上記分割線を測定した回転角度だけ傾けるようにしても構わない。

また本実施形態では、第１の判定手段５が不一致と判定した後に偏り判定手段６による偏り判定処理を行っているが、第１の判定手段５による第１の判定処理の前に偏り判定手段６によって入力画像の撮像時に照明光に偏りがあったか否かを判定し、偏りなしと判定した場合には第１の判定手段５による第１の判定処理を行い、偏りありと判定した場合には第２の判定手段７による第２の判定処理を行うようにしても構わない。

尚、本実施形態では入力画像並びにテンプレートを濃淡画像で取り扱っているが、これに限定する趣旨ではなく、濃淡画像に対して微分処理を行って得られる微分強度を画素値とする微分強度画像や、微分処理によって算出される濃度勾配方向を画素値とする濃度勾配方向画像などの他の種類の画像を用いても構わない。

（実施形態２）
図５は本実施形態の画像処理方法を説明するためのフローチャートである。但し、本実施形態の画像処理方法を実施する画像処理装置は実施形態１と共通であるから図示並びに説明は省略する。

図５におけるステップ１〜ステップ８までの処理は、実施形態１の図２におけるステップ１〜ステップ８までの処理と共通である。一方、実施形態１においては、第１の判定手段５にて入力画像とテンプレートが一致すると判定したら一致した旨の判定結果を出力して処理を終了していたが、本実施形態では、入力画像とテンプレートが一致すると判定した場合にも偏り判定手段６による偏り判定処理を実行し、一致の判定結果のみならず、入力画像の明るさの分布状態の偏りの有無と偏り度合も出力する点に特徴がある。

而して、第１の判定手段５にて入力画像とテンプレートが一致すると判定したら、偏り判定手段６が入力画像の明るさの分布状態の偏り度合を求め、偏り度合に応じて偏りの有無を判定する（ステップ１８）。そして、偏り判定手段６にて偏りなしと判定したら、入力画像とテンプレートの一致の判定結果と、偏りなしの判定結果並びに偏り度合とを出力し（ステップ１９，２０）、偏り判定手段６にて偏りありと判定したら、入力画像とテンプレートの一致の判定結果と、偏りありの判定結果並びに偏り度合とを出力して処理を終了する（ステップ１９，２１）。但し、第１の判定処理におけるステップ７の後に偏り判定処理（ステップ１８）を実行し、その後に入力画像とテンプレートとの一致／不一致による分岐処理（ステップ８）と、偏りの有無による分岐処理（ステップ１９）を実行することも可能である。

（実施形態３）
図６は本実施形態の画像処理方法を説明するためのフローチャートである。但し、本実施形態の画像処理方法を実施する画像処理装置は実施形態１と共通であるから図示並びに説明は省略する。

図６におけるステップ１０〜ステップ１７までの処理は、実施形態１の図３におけるステップ１０〜ステップ１７までの処理と共通である。本実施形態は、入力画像の明るさの分布状態の偏り度合が所定の上限値以下のときだけ第２の判定手段７による第２の判定処理を実行し、偏り度合が上限値を超えるときは判定精度が大きく低下すると考えられるから第２の判定処理を実行しないようにした点に特徴がある。

而して、偏り判定手段６では、偏り度合から偏りありと判定したら（ステップ１１）、偏り度合が所定の上限値以上か否かを判断し（ステップ２２）、偏り度合が上限値未満のときにだけ第２の判定処理を実行する（ステップ１２〜ステップ１５）。一方、偏り度合が上限値を超えているときには第２の判定処理を実行せず、偏りありの判定結果と偏り度合を出力して処理を終了する（ステップ２３）。ここで、偏り度合の上限値は第２の判定処理による判定精度に要求されるレベルに応じて任意の値に設定すればよい。

上述のように本実施形態によれば、偏り度合が上限値を超える場合に第２の判定処理を実行しないから、判定精度が低下した第２の判定処理による誤判定を未然に防ぐことができる。なお、偏り度合が上限値未満であっても偏りなしのときに比べれば判定精度が低下することは避けられないので、用途や目的によっては偏りありと判定したらテンプレートマッチングによる判定処理を中止し、入力画像の明るさの分布状態に偏りがあるために判定処理が行えない旨を出力して処理を終了するようにしてもよい。

ところで実施形態１〜３の画像処理装置では、偏り判定手段６による偏りの有無の判定結果と偏り度合を出力（提示）しているので、例えば、この画像処理装置を用いる顔認証システムにおいて、偏りありの判定結果が提示されたら画像処理装置による対象物の判定結果を無効として扱ったり、あるいは偏り度合に応じて画像処理装置による対象物の判定結果の有効・無効を判断するといったように、画像処理装置の出力を様々に加工して利用できるために利便性が向上するという利点がある。

実施形態１の画像処理装置を示すブロック図である。同上の画像処理方法を説明するためのフローチャートである。同上の画像処理方法を説明するためのフローチャートである。同上における顔画像の分割方法を説明するための説明図である。実施形態２の画像処理方法を説明するためのフローチャートである。実施形態３の画像処理方法を説明するためのフローチャートである。従来のパターンマッチングを説明するための説明図である。照明光の照射状態の偏りを説明する説明図である。

符号の説明

１撮像手段
２Ａ／Ｄ変換手段
３保持手段
４相関値演算手段
５第１の判定手段
６偏り判定手段
７第２の判定手段

Claims

テンプレートマッチングにより入力画像中における対象物の存否や位置を判定する画像処理方法において、入力画像中を移動させながらテンプレートと該入力画像の相関値演算を行う相関値演算処理と、前記相関値を所定のしきい値と比較して前記入力画像と前記テンプレートとの一致／不一致を判定する第１の判定処理と、該第１の判定処理にて前記入力画像が前記テンプレートと一致しないと判定した場合に入力画像における明るさの分布状態に偏りがあるか否かを判定する偏り判定処理と、該偏り判定処理にて偏りありと判定した場合に明るさの分布状態に偏りがある前記入力画像と前記テンプレートとの一致／不一致を判定する第２の判定処理とを有し、前記偏り判定処理は、対称性を有する前記対象物の対称な部分がそれぞれに含まれる複数の領域に前記入力画像を分割し、複数の前記領域の画素値を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断して前記入力画像における明るさの分布状態の偏りを判定し、前記第２の判定処理は、前記入力画像並びにテンプレートを複数の領域に分割し、該領域単位で入力画像とテンプレートの相関値演算を行い、該相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする画像処理方法。
テンプレートマッチングにより入力画像中における対象物の存否や位置を判定する画像処理方法において、入力画像中を移動させながらテンプレートと該入力画像の相関値演算を行う相関値演算処理と、入力画像における明るさの分布状態に偏りがあるか否かを判定する偏り判定処理と、該偏り判定処理にて偏りなしと判定した場合に前記相関値を所定のしきい値と比較して前記入力画像と前記テンプレートとの一致／不一致を判定する第１の判定処理と、該偏り判定処理にて偏りありと判定した場合に明るさの分布状態に偏りがある前記入力画像と前記テンプレートとの一致／不一致を判定する第２の判定処理とを有し、前記偏り判定処理は、対称性を有する前記対象物の対称な部分がそれぞれに含まれる複数の領域に前記入力画像を分割し、複数の前記領域の画素値を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断して前記入力画像における明るさの分布状態の偏りを判定し、前記第２の判定処理は、前記入力画像並びにテンプレートを複数の領域に分割し、該領域単位で入力画像とテンプレートの相関値演算を行い、該相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする画像処理方法。
前記第２の判定処理は、前記複数の領域のうちで相関値がしきい値を超える領域の比率によって前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする請求項１又は２記載の画像処理方法。
請求項１又は２記載の画像処理方法において、第２の判定処理は、前記相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定する代わりに、前記各領域毎の相関値の最大値を所定のしきい値と比較することで前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする画像処理方法。
請求項１又は２記載の画像処理方法において、第２の判定処理は、前記相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定する代わりに、前記第１の判定処理におけるしきい値よりも低い第２のしきい値と前記相関値を比較して前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする画像処理方法。
前記偏り判定処理にて前記入力画像における明るさの分布状態の偏り度合が所定の上限値よりも大きいと判断した場合には前記第２の判定処理を実行しないことを特徴とする請求項１〜５の何れか１項に記載の画像処理方法。
前記偏り判定処理は、前記入力画像における明るさの分布状態の偏り度合を求め、少なくとも偏りの判定結果又は前記偏り度合を提示することを特徴とする請求項１〜５の何れか１項に記載の画像処理方法。
テンプレートマッチングにより入力画像中における対象物の存否や位置を判定する画像処理装置において、入力画像中を移動させながらテンプレートと該入力画像の相関値演算を行う相関値演算手段と、前記相関値を所定のしきい値と比較して前記入力画像と前記テンプレートとの一致／不一致を判定する第１の判定手段と、該第１の判定手段にて前記入力画像が前記テンプレートと一致しないと判定した場合に入力画像における明るさの分布状態に偏りがあるか否かを判定する偏り判定手段と、該偏り判定手段にて偏りありと判定した場合に明るさの分布状態に偏りがある前記入力画像と前記テンプレートとの一致／不一致を判定する第２の判定手段とを有し、前記偏り判定手段は、対称性を有する前記対象物の対称な部分がそれぞれに含まれる複数の領域に前記入力画像を分割し、複数の前記領域の画素値を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断して前記入力画像における明るさの分布状態の偏りを判定し、前記第２の判定手段は、前記入力画像並びにテンプレートを複数の領域に分割し、該領域単位で入力画像とテンプレートの相関値演算を行い、該相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする画像処理装置。
テンプレートマッチングにより入力画像中における対象物の存否や位置を判定する画像処理装置において、入力画像中を移動させながらテンプレートと該入力画像の相関値演算を行う相関値演算手段と、入力画像における明るさの分布状態に偏りがあるか否かを判定する偏り判定手段と、該偏り判定手段にて偏り無しと判定した場合に前記相関値を所定のしきい値と比較して前記入力画像と前記テンプレートとの一致／不一致を判定する第１の判定手段と、該偏り判定手段にて偏りありと判定した場合に明るさの分布状態に偏りがある前記入力画像と前記テンプレートとの一致／不一致を判定する第２の判定手段とを有し、前記偏り判定手段は、対称性を有する前記対象物の対称な部分がそれぞれに含まれる複数の領域に前記入力画像を分割し、複数の前記領域の画素値を統計処理することで複数の前記領域間に明るさの分布状態に偏りがあるか否かを判断して前記入力画像における明るさの分布状態の偏りを判定し、前記第２の判定手段は、前記入力画像並びにテンプレートを複数の領域に分割し、該領域単位で入力画像とテンプレートの相関値演算を行い、該相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする画像処理装置。
前記第２の判定手段は、前記複数の領域のうちで相関値がしきい値を超える領域の比率によって前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする請求項８又は９記載の画像処理装置。
請求項８又は９記載の画像処理装置において、第２の判定手段は、前記相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定する代わりに、前記各領域毎の相関値の最大値を所定のしきい値と比較することで前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする画像処理装置。
請求項８又は９記載の画像処理装置において、第２の判定手段は、前記相関値を所定のしきい値と比較することで前記領域単位の一致／不一致を判定し、これら複数の領域の判定結果から前記入力画像と前記テンプレートとの一致／不一致を判定する代わりに、前記第１の判定手段におけるしきい値よりも低い第２のしきい値と前記相関値を比較して前記入力画像と前記テンプレートとの一致／不一致を判定することを特徴とする画像処理装置。
前記偏り判定手段にて前記入力画像における明るさの分布状態の偏り度合が所定の上限値よりも大きいと判断した場合には前記第２の判定手段が処理を実行しないことを特徴とする請求項８〜１２の何れか１項に記載の画像処理装置。
前記偏り判定手段は、前記入力画像における明るさの分布状態の偏り度合を求め、少なくとも偏りの判定結果又は前記偏り度合を提示することを特徴とする請求項８〜１２の何れか１項に記載の画像処理装置。