JP5505410B2 - データ処理装置、画像照合方法、プログラムおよび画像照合システム - Google Patents

データ処理装置、画像照合方法、プログラムおよび画像照合システム Download PDF

Info

Publication number
JP5505410B2
JP5505410B2 JP2011508318A JP2011508318A JP5505410B2 JP 5505410 B2 JP5505410 B2 JP 5505410B2 JP 2011508318 A JP2011508318 A JP 2011508318A JP 2011508318 A JP2011508318 A JP 2011508318A JP 5505410 B2 JP5505410 B2 JP 5505410B2
Authority
JP
Japan
Prior art keywords
pixel
value
image
feature
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011508318A
Other languages
English (en)
Other versions
JPWO2010116885A1 (ja
Inventor
康志 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011508318A priority Critical patent/JP5505410B2/ja
Publication of JPWO2010116885A1 publication Critical patent/JPWO2010116885A1/ja
Application granted granted Critical
Publication of JP5505410B2 publication Critical patent/JP5505410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Description

本発明は、画像を照合するデータ処理装置に関する。
一般に、画像情報を用いて人物や文字を特定するために、画像照合が用いられる。画像照合では、対象となる物体を撮影した対象画像と、その物体について予め撮影され、保存されていた参照画像との類似性を比較することにより、撮影した対象画像に含まれる人物や文字を特定する。画像間の類似性の比較には、一般的に、画像間の輝度差の総和(ＳＡＤ：Sum of Absolute Difference)、輝度差の２乗和(ＳＳＤ：Sum of Squared Difference)、あるいは、正規化相互相関(ＺＮＣＣ：Zero-mean Normalized Cross-Correlation)などが用いられる。
これらの技術は、いずれも対象画像と参照画像の輝度値を比較するものである。そのため、それぞれの画像が撮影されたときに対象となる物体にあたる照明が変化しているとそれぞれの画像の輝度値が変化し、照合精度が悪化するおそれがある。
非特許文献１では、照明の変化に対して頑強な画像照合を行うために、増分符号相関という技術が提案されている。増分符号相関では、対象画像と参照画像のそれぞれについて、水平方向に隣接する画素同士の輝度値の増分（大小関係）の符号のみを抽出する。座標（ｘ，ｙ）の輝度値をｆ（ｘ，ｙ）とすると、増分符号値ｈ（ｘ，ｙ）は、式（１）のように表される。
Figure 0005505410
 増分符号相関では、対象画像と参照画像について、画素ごとの増分符号の一致数を比較することにより画像照合を行う。
照明が変動すると、各画素の輝度値およびコントラスト（輝度差）は変動する。増分符号値は、隣接する画素同士の輝度値の増分（大小関係）の符号を示すため、照明変動によって画像全体の輝度値やコントラストが変動することに対して影響を受けにくい。
また、特許文献１では、ある対象となる物体について複数の参照画像を用いて画像照合を行うことにより、照合の精度を向上させる技術が提案されている。特許文献１では、複数の参照画像について、それぞれの参照画像ごとに増分符号値を求め、増分符号値が１である確率を画素ごとに計算する。そして、計算された確率値を画素値とする画像を生成し、生成した画像と対象画像とにより画像照合を行う。
尚、特許文献２には、顔画像から目を検出する方法が示されている。
特開２００４−２４６６１８号公報 特開２００３−３１７０８４号公報
村瀬一郎, 金子俊一, 五十嵐悟, "増分符号相関によるロバスト画像照合," 電子情報通信学会論文誌 D-II, Vol. J83-D-II, No. 5, pp.1323-1331, 2000.
上述した非特許文献１では、対象となる物体の形状による陰影の影響を受けやすいという問題がある。図１は、異なる角度から照明があてられた、文字が描かれた球状の物体、およびその増分符号値を示す図である。図１の左上図は物体の右前面から照明をあてた画像を、図１の左下図は物体の左前面から照明をあてた画像を示している。
物体の右前面から照明をあてた画像を式（１）に示した増分符号値に変換すると、右上図のようになり、物体の左前面から照明をあてた画像を式（１）に示した増分符号値に変換すると、右下図のようになる。
それぞれの画像を式（１）に示した増分符号値に変換すると、左から右にかけて輝度値が高く（明るく）なっていく場合、増分符号値は１になり、左から右にかけて輝度値が低く（暗く）なっていく場合、増分符号値は０になる。増分符号値が１である部分を黒色で、増分符号値が０である部分を白色で表すと、物体の右前面から照明をあてた画像を増分符号値に変換する場合、右上図のようになり、物体の左前面から照明をあてた画像を増分符号値に変換する場合、右下図のようになる。
つまり、増分符号値は、物体の中の相対的な輝度を示すため、図１に示すように、物体が立体である場合、同一の物体であっても照明の角度によって異なる特徴を示す。文字パタン部分のように照明による影響以上に周辺との輝度差の大きい部分では、増分符号値は同じ特徴を有するが、文字パタンのない平坦な部分では、照明による影響を強く受けるため、物体自体の形状が同じであっても増分符号値は異なる特徴を有する。このため、照合する対象に文字パタンのように特徴的なパタンが少なく、平坦な部分が多い画像において、照合を誤るおそれが高くなる。
例えば、顔照合においては、一般的に、顔の中で個人差を表す目、鼻、口のような特徴的なパタンをもつ部分に比べて、頬や額のような平坦な部分の面積が広いため、照明による影響を強く受ける。
また、上述した特許文献１では、照合の精度を向上させるために、対象となる物体ごとに多数の参照画像を収集する必要があるが、多数の参照画像を偏りなく収集することは困難であり、画像照合システムの初期設定に多大な時間およびノウハウが必要となる。特に、顔照合においては、目、鼻、口などのように部位ごとに多数の参照画像を収集する必要があるため、さらに困難性が高くなる。
本発明の目的は、照明の変化に対して頑強な画像照合を容易に行うための技術を提供することである。
上記目的を達成するために、本発明のデータ処理装置は、
画像内の画素のそれぞれに注目し、注目画素の画素値と、該注目画素の近傍の所定の相対位置にある比較対象画素の画素値との差分値を求める差分値算出手段と、
前記画像内の画素毎に、照明による陰影への影響が互いに類似する画素を含む画素群を抽出し、該画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を算出する代表値算出手段と、
前記画像内の画素毎に、該画素の差分値と、該画素に対応する画素群の差分値の代表値との比較に基づいて、該画素の特徴値を算出する特徴値算出手段と、
前記特徴値算出手段により抽出された各画素の特徴値に基づいて、前記画像と所定の画像との類似性を判定する類似判断手段を有する。
また、上記目的を達成するために、本発明の画像照合方法は、
画像内の画素のそれぞれに注目し、注目画素の画素値と、該注目画素の近傍の所定の相対位置にある比較対象画素の画素値との差分値を求め、
前記画像内の画素毎に、照明による陰影への影響が互いに類似する画素を含む画素群を抽出し、該画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を算出し、
前記画像内の画素毎に、該画素の差分値と、該画素に対応する画素群の差分値の代表値との比較に基づいて、該画素の特徴値を算出し、
各画素の特徴値に基づいて、前記画像と所定の画像との類似性を判定する。
また、上記目的を達成するために、本発明のプログラムは、画像を照合するデータ処理装置のプログラムであって、
画像内の画素のそれぞれに注目し、注目画素の画素値と、該注目画素の近傍の所定の相対位置にある比較対象画素の画素値との差分値を求めさせ、
前記画像内の画素毎に、照明による陰影への影響が互いに類似する画素を含む画素群を抽出させ、該画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を算出させ、
前記画像内の画素毎に、該画素の差分値と、該画素に対応する画素群の差分値の代表値との比較に基づいて、該画素の特徴値を算出させ、
各画素の特徴値に基づいて、前記画像と所定の画像との類似性を判定させる処理をコンピュータに実行させる。
また、上記目的を達成するために、本発明の画像照合システムは、
所定の対象物を撮影し、撮影画像を出力する撮影装置と、
前記対象物について予め撮影された参照画像を記憶する記憶装置と、
前記撮影画像と前記参照画像のそれぞれについて、画像内の画素のそれぞれに注目し、注目画素の画素値と、該注目画素の近傍の所定の相対位置にある比較対象画素の画素値との差分値を求め、前記撮影画像と前記参照画像のそれぞれについて、前記画像内の画素毎に、照明による陰影への影響が互いに類似する画素を含む画素群を抽出し、該画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を算出し、前記撮影画像と前記参照画像のそれぞれについて、前記画像内の画素毎に、該画素の差分値と、該画素に対応する画素群の差分値の代表値との比較に基づいて、該画素の特徴値を算出し、各画素の特徴値に基づいて、前記撮影画像と前記参照画像との類似性を判定する、データ処理装置を有する。
本発明によれば、照明の変化に対して頑強な画像照合を容易に行うことができる。
異なる角度から照明があてられた、文字が描かれた球状の物体、およびその増分符号値を示す図である。 第１の実施の形態の画像照合システムの構成を示すブロック図である。 図２に示したデータ処理装置３００が画像の類似性を判断するときの処理を示すフローチャートフローチャートである。 第１の実施の形態における特徴値の算出処理を示すフローチャートである。 第２の実施の形態における特徴値の算出処理を示すフローチャートである。 第３の実施の形態における特徴値の算出処理を示すフローチャートである。 第４の実施の形態の特徴値算出部の構成を示すブロック図である。 第４の実施の形態における特徴値の算出処理を示すフローチャートである。 第５の実施の形態における特徴値の算出処理を示すフローチャートである。
次に本発明について図面を参照して詳細に説明する。
（第１の実施の形態）
本発明のデータ処理装置は、照明の変化に対して頑強な画像照合を行うために、注目する画素の輝度値とその画素から所定の相対位置にある画素の輝度値の差分値を用いて画像を照合する。しかし、このような画像照合では、対象となる物体に対する照明の変動があると、その物体の形状による陰影の影響を受けやすいという問題がある。一方、物体に対して照明があてられた場合、物体のある部分に着目すると、その部分の周辺では、照明の変動による陰影の影響は同程度である可能性が高い。
そこで、本発明のデータ処理装置は、まず、照明変動に対する物体の形状による陰影について同程度の影響を受ける画素の集合を抽出する。そして、データ処理装置は、その集合における差分値の統計量を算出し、照明変動に対する物体の形状による陰影の影響を示す代表値とする。データ処理装置は、このようにして算出された代表値と差分値との比較に基づいて、差分値から照明変動に対する物体の形状による陰影の影響を除去した値を示す特徴値を算出する。データ処理装置は、特徴値を用いて画像の照合を行うことにより、照明変動に対する物体の形状による陰影の影響を低減させる。
図２は第１の実施の形態の画像照合システムの構成を示すブロック図である。
図２に示すように、第１の実施の形態のデータ収集システムは、撮影装置１００、記憶装置２００およびデータ処理装置３００を有する。
撮影装置１００は、照合の対象となる物体をカメラで撮影し、撮影した対象画像を出力する装置である。
記憶装置２００は、照合の対象となる物体が撮影された参照画像を予め記憶しておく装置である。
データ処理装置３００は、類似判断部３０１および複数の特徴抽出部４００、４１０を有する。
特徴抽出部４００と特徴抽出部４１０の構成および動作は、それぞれ同じである。以下、代表して特徴抽出部４００の構成および動作について説明する。
特徴抽出部４００は、照合対象抽出部４０１と、差分値算出部４０２と、代表値算出部４０３と、特徴値算出部４０４を有する。
照合対象抽出部４０１は、外部から取得した画像から、画像照合の対象となる物体が示される領域を特定し、その物体の位置、大きさおよび傾きが所定の値となるように拡大、縮小あるいは回転の画像処理を施した正規化画像を生成する。
差分値算出部４０２は、照合対象抽出部４０１によって生成された正規化画像の各画素について、注目する画素（以降、注目画素と称する）の輝度値と、その注目画素の近傍に存在し所定の相対位置にある画素（以降、比較対象画素と称する）の輝度値の差分値を算出する。比較対象画素は、例えば、注目画素のｘ座標あるいはｙ座標の正方向あるいは負方向のいずれかに隣接する画素である。
代表値算出部４０３は、まず、照明変動に対する物体の形状による陰影について同程度の影響を受ける画素の集合として、注目画素の近傍に位置する画素の集合である近傍画素群を抽出する。そして、代表値算出部４０３は、近傍画素群に含まれる各画素が有する差分値の統計量を求め、求めた統計量を、その注目画素における代表値とする。このとき、代表値は、照明変動に対する物体の形状による陰影の影響を示す値となっている。尚、統計量の例としては、各差分値の中央値や平均値などがある。
特徴値算出部４０４は、注目画素の差分値と、その注目画素における代表値との比較に基づいて特徴値を算出する。尚、特徴値は、差分値から照明変動に対する物体の形状による陰影の影響を除去した値を示している。
類似判断部３０１は、特徴抽出部４００および特徴抽出部４１０から取得した特徴値の類似度を示す相関値を算出することにより、記憶装置２００に記憶された画像と、撮影装置１００により撮影された画像との類似性を判断する。
次に図２に示したデータ処理装置３００が画像の類似性を判断するときの処理について説明する。
図３は図２に示したデータ処理装置３００が画像の類似性を判断するときの処理を示すフローチャートである。
まず、特徴抽出部４００は、撮影装置１００から対象画像を取得する（ステップＳ１０１）。対象画像は、例えば、ビデオカメラで撮影した画像であり、各画素値が二次元配列として並べられたものである。
次に、特徴抽出部４００は、撮影装置１００から取得した対象画像の特徴値を算出し、類似判断部３０１に出力する（ステップＳ１０２）。
次に、特徴抽出部４１０は、記憶装置２００から参照画像を取得する（ステップＳ１０３）。
次に、特徴抽出部４１０は、記憶装置２００から取得した参照画像の特徴値を算出し、類似判断部３０１に出力する（ステップＳ１０４）。
次に、類似判断部３０１は、特徴抽出部４００から取得した対象画像の特徴値と、特徴抽出部４１０から取得した参照画像の特徴値とから、対象画像と参照画像の相関値を算出する（ステップＳ１０５）。
対象画像と参照画像の相関値を算出すると、類似判断部３０１は、算出した相関値に基づいて対象画像と参照画像の類似性を判断する（ステップＳ１０６）。
画像照合する対象が限定されていて、一つの参照画像のみに対して画像照合が行われる場合は、対象画像と参照画像の類似性の判断後、処理を終了する。一方、画像照合する対象の候補が複数あり、複数の参照画像に対して画像照合を行う必要がある場合、各参照画像に対してステップＳ１０３からステップＳ１０６までの処理を繰り返し、対象画像と各参照画像の類似性を判断する。
次にステップＳ１０２、Ｓ１０４で示した特徴値の算出処理について説明する。
ステップＳ１０２の処理は、特徴抽出部４００が撮影装置１００から取得した画像について実施する処理であり、ステップＳ１０４の処理は、特徴抽出部４１０が記憶装置２００から取得した画像について実施する処理である。それぞれの処理は、同じであるため、以下、代表してステップＳ１０２の処理について説明する。
図４は第１の実施の形態における特徴値の算出処理を示すフローチャートである。
まず、照合対象抽出部４０１は、撮影装置１００から取得した画像から、照合する対象となる物体が示される領域を特定する（ステップＳ２０１）。尚、物体の位置、大きさおよび傾きは、照合する対象となる物体の輪郭やパタンの幾何学形状などに基づいて検出される。物体の位置、大きさおよび傾きを検出する方法としては、例えば、特許文献２に示されている。照合対象抽出部４０１は、取得した画像から、検出した物体を包含する範囲を決定する。
次に、照合対象抽出部４０１は、検出した物体の位置、大きさおよび傾きが所定の値となるように拡大、縮小あるいは回転の画像処理を施した正規化画像を生成する（ステップＳ２０２）。
次に、差分値算出部４０２は、正規化画像に含まれる全ての画素について、注目画素と比較対象画素との輝度値の差分値を算出する（ステップＳ２０３）。ステップＳ２０２で生成した正規化画像上の注目画素の座標を（ｘ、ｙ）、注目画素の輝度値をｆ（ｘ、ｙ）、注目画素と比較対象画素との輝度値の差分値をｇ（ｘ、ｙ）とする。例えば、ｘ座標方向に隣接する画素を比較対象画素とすると、差分値ｇ（ｘ、ｙ）は、式２により算出される。
Figure 0005505410
 次に、代表値算出部４０３は、注目画素における代表値を算出する（ステップＳ２０４）。尚、代表値は、照明変動に対する物体の形状による陰影の影響を示す値である。一塊に連結した領域は、照明変動に対する物体の形状による陰影について同程度の影響を受ける可能性が高い。そこで、照明変動に対する物体の形状による陰影について同程度の影響を受ける画素の集合を想定し、その集合の統計量に基づいて影響の値を規定する。
代表値算出部４０３は、照明変動に対する物体の形状による陰影について同程度の影響を受ける画素の集合として、注目画素の近傍に位置する画素の集合を想定し、注目画素の近傍に位置する画素の集合を近傍画素群とする。例えば、注目画素を中心とする円領域に位置する画素の集合を近傍画素群としてもよいし、あるいは、注目画素を中心とする矩形領域に位置する画素の集合を近傍画素群としてもよい。
また、照明変動に対する物体の形状による陰影について同程度の影響を受ける画素の集合は、差分値が近い値である、一塊に連結した領域に存在する傾向がある。そこで、注目画素の差分値との差が所定値以下である画素によって連なる画素の集合を近傍画素群としてもよい。
次に、代表値算出部４０３は、近傍画素群に含まれる各画素が有する差分値から統計量を求め、求めた統計量を、その注目画素における代表値とする。統計量は、例えば、近傍画素群に含まれる全ての画素の差分値の中央値とする。近傍画素群に含まれる全ての画素の差分値の中央値を代表値とすることにより、代表値に対する極端に大きい値や小さい値を持つ外れ値の影響を低減することができる。統計量が中央値であるときの代表値ｇ’（ｘ、ｙ）は、式３によって表される。尚、式３におけるＲ（ｘ、ｙ）は、注目画素の近傍に位置する画素の集合である。
Figure 0005505410
 尚、統計量は、近傍画素群に含まれる全ての画素の差分値の平均値としてもよい。
また、注目画素の差分値との差が所定値以下である画素によって連なる画素の集合を近傍画素群としている場合、近傍画素群に含まれる画素数が所定数以下であるとき、統計量を表すために十分なデータがないと判断し、正規化画像の全画素から代表値を算出する。あるいは、このときは、予め定められた値を代表値として用いてもよい。
次に、特徴値算出部４０４は、注目画素の差分値と、その注目画素における代表値との比較に基づいて、特徴値を算出する。尚、特徴値は、差分値から照明変動に対する物体の形状による陰影の影響を除去した値を示す。
特徴値算出部４０４は、差分値ｇ（ｘ、ｙ）と代表値ｇ’（ｘ、ｙ）を比較する（ステップＳ２０５）。差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）以上であれば、特徴値ｂ（ｘ、ｙ）を１とする（ステップＳ２０６）。差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）未満であれば、特徴値ｂ（ｘ、ｙ）を０とする（ステップＳ２０７）。特徴値算出部４０４の処理を式４に定式化する。
Figure 0005505410
 代表値および特徴値は、正規化画像内の全ての画素について算出される。したがって、特徴抽出部４００は、正規化画像内の全ての画素について代表値および特徴値を算出したか否かを判別し（ステップＳ２０８）、正規化画像内の全ての画素について代表値および特徴値を算出するまで、ステップＳ２０４からステップＳ２０８までの処理を繰り返す。
次にステップＳ１０５で示した相関値の算出処理について説明する。
類似判断部３０１は、特徴抽出部４００から取得した対象画像の特徴値ｂａ（ｘ、ｙ）と、特徴抽出部４１０から取得した参照画像の特徴値ｂｂ（ｘ、ｙ）とから、対象画像と参照画像の相関値ｓを算出する。相関値は、例えば、対象画像の特徴値と参照画像の特徴値が一致する画素数の割合により示される。このときの相関値ｓは、式５によって表される。尚、式５におけるＡは、正規化画像に含まれる画素の数である。
Figure 0005505410
 尚、特徴値ｂ（ｘ、ｙ）は、二値で表されるので、式５は、式６に示す論理演算で求められる、座標（ｘ、ｙ）の相関が１となる画素数の割合としてもよい。
Figure 0005505410
 尚、ステップＳ１０６で説明した通り、類似判断部３０１は、相関値ｓに基づいて対象画像と参照画像の類似性を判断する。類似性の判断の方法としては、例えば、相関値ｓを所定の閾値と比較する方法があげられる。類似判断部３０１は、相関値が所定の閾値以上であるとき、対象画像と参照画像は類似していると判断し、相関値が所定の閾値より小さいとき、対象画像と参照画像は類似していないと判断する。
尚、画像照合システムの構成は、図２の構成に限定されるものではない。例えば、二台の撮影装置で取得した画像をそれぞれ特徴抽出部４００、４１０で処理する構成としてもよい。また、記憶装置２００に記憶された異なる画像をそれぞれ特徴抽出部４００、４１０で処理する構成としてもよい。
また、データ処理装置の構成も、図２の構成に限定されるものではない。例えば、特徴抽出部４１０を省略した構成としてもよい。
この場合、データ処理装置は、予め参照画像の特徴値を算出したデータを装置内に保存しておく。データ処理装置は、撮影装置１００から撮影画像を取得すると、その撮影画像についてのみ特徴値を算出し、予め保存された参照画像の特徴値と比較することにより、撮影画像と参照画像の類似性を判定する。
あるいは、特徴抽出部４００が、撮影装置１００から取得した撮影画像と記憶装置２００から取得した参照画像の両方の特徴値を算出するようにしてもよい。
以上説明したように、本実施形態によれば、データ処理装置は、各画素における近傍の比較対象画素との画素値の差分値に対する、照明変動による陰影への影響が類似の範囲における相対的な判定により、各画素の特徴値を決めるので、画像照合における照明変動による陰影の影響を容易に低減することができる。
また、本実施形態によれば、データ処理装置内に予め参照画像の特徴値を算出したデータを保存しておくことにより、データ処理装置の特徴抽出部が１つの構成で画像照合できるので、データ処理装置の構成を小さくすることができる。一方、データ処理装置内に特徴抽出部が複数備えられていれば、予め参照画像の特徴値を算出したデータを用意しておく必要がなくなるので、参照画像を容易に追加することができる。
また、本実施形態によれば、データ処理装置は、注目画素の近傍に位置する画素の集合、あるいは注目画素の差分値と類似する差分値を有する画素によって連なる画素の集合から陰影の影響量を算出することにより、陰影の影響量を高精度に求めることができる。
また、本実施形態によれば、データ処理装置は、照明変動に対する物体の形状による陰影について同程度の影響を受ける画素の集合が所定数未満の場合、照合する画像に含まれる全ての画素の統計量、あるいは予め定められた所定値に基づいて特徴値を算出することにより、陰影の影響が推定できない部位についての照合の誤りを抑制することができる。
また、本実施形態によれば、データ処理装置は、対象画像から照明変動に対する物体の形状による陰影の影響を除去した特徴値を二値で表すことにより、特徴値を記憶するための記憶容量を低減でき、さらに画像照合にかかる処理時間を短縮できる。
尚、ステップＳ２０２で生成した正規化画像の位置、大きさ、回転の微小なずれを吸収するため、参照画像の正規化画像と対象画像の正規化画像の位置をずらしながら相関値を算出し、最も相関値の高い位置の相関値を参照画像と対象画像の相関値としてもよい。さらに、参照画像の正規化画像と対象画像の正規化画像を複数の部分領域に分割し、部分領域ごとに位置をずらしながら相関値を算出してもよい。
これにより、さらに精度よく参照画像と対象画像との類似性を判断することができる。
（第２の実施の形態）
第１の実施の形態では、１つの注目画素に対して、１つの比較対象画素を定めて、画像の類似性を判断する例を示した。しかし、本発明は、これに限定されるものではなく、例えば、１つの注目画素に対して、複数の比較対象画素を定めて、画像の類似性を判断してもよい。第２の実施の形態では、１つの注目画素に対して、複数の比較対象画素を定めて、画像の類似性を判断する例を示す。
第２の実施の形態の画像照合システムの構成は、第１の実施の形態の画像照合システムの構成と同じである。
以下に第２の実施の形態における画像の類似性の判断処理について説明する。
特徴抽出部４００が、撮影装置１００から対象画像を取得する処理は、図３のステップＳ１０１で示した、第１の実施の形態の処理と同様である。
また、特徴抽出部４１０が、記憶装置２００から対象画像を取得する処理も、図３のステップＳ１０３で示した、第１の実施の形態の処理と同様である。
次に第２の実施の形態における特徴値の算出処理について説明する。
尚、特徴抽出部４００における特徴値の算出処理は、特徴抽出部４１０における特徴値の算出処理と同じであるため、以下、代表して、特徴抽出部４００における特徴値の算出処理について説明する。
図５は第２の実施の形態における特徴値の算出処理を示すフローチャートである。
ステップＳ３０１の照合する対象の領域を特定する処理、およびステップＳ３０２の正規化画像生成処理は、第１の実施の形態の処理と同様であるため、説明を省略する。
照合対象抽出部４０１が正規化画像を生成すると、差分値算出部４０２は、正規化画像の全ての画素について、注目画素ごとに、複数の比較対象画素を定めてそれぞれの比較対象画素との輝度値の差分値を算出する（ステップＳ３０３）。注目画素の座標を（ｘ、ｙ）、複数の比較対象画素の座標を（ｘ１、ｙ１）〜（ｘｍ、ｙｍ）とすると、注目画素とそれぞれの比較対象画素との輝度値の差分値ｇ１（ｘ、ｙ）〜ｇｍ（ｘ、ｙ）は、式７のように表される。
Figure 0005505410
 次に、代表値算出部４０３は、それぞれの比較対象画素との輝度値の差分値ｇ１（ｘ、ｙ）〜ｇｍ（ｘ、ｙ）に対して、代表値ｇ１’（ｘ、ｙ）〜ｇｍ’（ｘ、ｙ）を算出する（ステップＳ３０４）。例えば、代表値として、注目画素の近傍画素群に含まれる全ての画素の差分値の中央値を用いるときの代表値ｇ１’（ｘ、ｙ）〜ｇｍ’（ｘ、ｙ）は、式８によって表される。尚、式８におけるＲ（ｘ、ｙ）は、注目画素の近傍に位置する画素の集合である。
Figure 0005505410
 次に、特徴値算出部４０４は、注目画素のそれぞれの比較対象画素との差分値ｇ１（ｘ、ｙ）〜ｇｍ（ｘ、ｙ）と、その注目画素における代表値ｇ１’（ｘ、ｙ）〜ｇｍ’（ｘ、ｙ）との比較に基づいて、特徴値を算出する（ステップＳ３０５〜Ｓ３０７）。特徴値算出部４０４の処理を式９に定式化する。
Figure 0005505410
 第１の実施例と同様に、代表値および特徴値は、正規化画像の全ての画素について算出される。したがって、特徴抽出部４００は、正規化画像内の全ての画素について代表値および特徴値を算出したか否かを判別し（ステップＳ３０８）、正規化画像内の全ての画素について代表値および特徴値を算出するまで、ステップＳ３０４からステップＳ３０８までの処理を繰り返す。
正規化画像の全ての画素について代表値および特徴値が算出されると、類似判断部３０１は、特徴抽出部４００から取得した対象画像の特徴値ｂａ１（ｘ、ｙ）〜ｂａｍ（ｘ、ｙ）と、特徴抽出部４１０から取得した参照画像の特徴値ｂｂ１（ｘ、ｙ）〜ｂｂｍ（ｘ、ｙ）とのそれぞれから、対象画像と参照画像の相関値ｓ１〜ｓｍを算出する。例えば、相関値として、対象画像の特徴値と参照画像の特徴値が一致する画素数の割合を用いる場合、相関値ｓ１〜ｓｍは、式１０によって表される。尚、式１０におけるＡは、正規化画像に含まれる画素の数である。
Figure 0005505410
 類似判断部３０１は、算出した相関値ｓ１〜ｓｍの平均値を対象画像と参照画像の相関値とし、相関値ｓ１〜ｓｍの平均値に基づいて対象画像と参照画像の類似性を判断する。
以上説明したように、本実施形態によれば、データ処理装置は、１つの注目画素に対して、複数の比較対象画素を定めて、画像の類似性を判断することにより、さまざまな角度あるいはさまざまな強度の照明変動に対して画像照合の精度を向上することができる。
（第３の実施の形態）
第１の実施の形態では、注目画素の差分値と、その注目画素における代表値との比較に基づいて、特徴値を算出した。このとき、差分値が代表値より大きい場合と差分値と代表値が同じ場合に特徴値を１とするように規定し、差分値が代表値より小さい場合に特徴値を０とするように規定した。そのため、差分値が代表値より大きい場合と差分値と代表値が同じ場合が判別されず、照合の精度が荒くなる。特に、本発明では、代表値は差分値の統計量から求められるため、物体の輪郭などのように特徴を表す部分以外では差分値と代表値とが同じ値になりやすい傾向にある。
そこで、第３の実施の形態では、特徴値を三値で表し、画像の類似性を判断する例を示す。
第３の実施の形態の画像照合システムの構成は、第１の実施の形態の画像照合システムの構成と同じである。
以下に第３の実施の形態における画像の類似性の判断処理について説明する。
特徴抽出部４００が、撮影装置１００から対象画像を取得する処理は、図３のステップＳ１０１で示した、第１の実施の形態の処理と同様である。
また、特徴抽出部４１０が、記憶装置２００から対象画像を取得する処理も、図３のステップＳ１０３で示した、第１の実施の形態の処理と同様である。
次に第３の実施の形態における特徴値の算出処理について説明する。
尚、特徴抽出部４００における特徴値の算出処理は、特徴抽出部４１０における特徴値の算出処理と同じであるため、以下、代表して、特徴抽出部４００における特徴値の算出処理について説明する。
図６は第３の実施の形態における特徴値の算出処理を示すフローチャートである。
ステップＳ４０１の照合する対象の領域を特定する処理、ステップＳ４０２の正規化画像生成処理、およびステップＳ４０３の差分値算出処理は、第１の実施の形態の処理と同様であるため、説明を省略する。
差分値算出部４０２が差分値を算出すると、代表値算出部４０３は、注目画素における代表値ｇ’（ｘ、ｙ）を算出する（ステップＳ４０４）。代表値ｇ’（ｘ、ｙ）を算出する処理は、図４のステップＳ２０４で示した、第１の実施の形態の処理と同様である。
次に、特徴値算出部４０４は、注目画素の差分値と、その注目画素における代表値との比較に基づいて、特徴値を算出する。
特徴値算出部４０４は、差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）より大きいか否かを判別する（ステップＳ４０５）。差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）より大きければ、特徴値算出部４０４は、特徴値ｂ（ｘ、ｙ）を１とする（ステップＳ４０６）。一方、差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）より大きくなければ、特徴値算出部４０４は、差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）より小さいか否かを判別する（ステップＳ４０７）。差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）より小さければ、特徴値算出部４０４は、特徴値ｂ（ｘ、ｙ）を−１とする（ステップＳ４０８）。一方、差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）より小さくなければ、差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）と同じ値であると判別し、特徴値算出部４０４は、特徴値ｂ（ｘ、ｙ）を０とする（ステップＳ４０９）。
特徴値算出部４０４、４１４の処理を式１１に定式化する。
Figure 0005505410
 第１の実施例と同様に、代表値および特徴値は、正規化画像の全ての画素について算出される。したがって、特徴抽出部４００は、正規化画像内の全ての画素について代表値および特徴値を算出したか否かを判別し（ステップＳ４１０）、正規化画像内の全ての画素について代表値および特徴値を算出するまで、ステップＳ４０４からステップＳ４１０までの処理を繰り返す。
正規化画像の全ての画素について代表値および特徴値が算出されると、類似判断部３０１は、特徴抽出部４００から取得した対象画像の特徴値ｂａ（ｘ、ｙ）と、特徴抽出部４１０から取得した参照画像の特徴値ｂｂ（ｘ、ｙ）とから、対象画像と参照画像の相関値ｓを算出する。相関値ｓは、例えば、対象画像の特徴値と参照画像の特徴値が一致する画素数の割合により示される。
対象画像と参照画像の相関値を算出すると、類似判断部３０１は、算出した相関値に基づいて対象画像と参照画像の類似性を判断する。
以上説明したように、本実施形態によれば、データ処理装置は、差分値が代表値より大きい場合と差分値と代表値が同じ場合を判別して画像照合するため、画像照合の精度を向上することができる。特に、対象となる物体の輪郭などのように特徴を表す部分以外に対しての画像照合の精度を向上することができる。
（第４の実施の形態）
第３の実施の形態では、特徴値を三値で表し、画像の類似性を判断する例を示した。しかし、二値の場合、特徴値は１ｂｉｔで表されるのに対し、三値の場合、特徴値は２ｂｉｔで表される。このため、特徴値を記憶するための記憶容量が２倍になるし、対象画像の特徴値と参照画像の特徴値とから対象画像と参照画像の相関値を算出する処理時間が増加する。
そこで、第４の実施の形態では、差分値と代表値とが等しくなる画素の特徴値をランダムに二値のいずれかの値とすることにより、特徴値を二値で表しつつ、画像照合の精度を向上する例を示す。
第４の実施の形態の画像照合システムの基本的な構成は、第１の実施の形態の画像照合システムの構成と同じである。ただし、データ処理装置３００の特徴抽出部４００、４１０が備える特徴値算出部４０４、４１４に乱数を出力する機能が追加される。
図７は第４の実施の形態の特徴値算出部の構成を示すブロック図である。
図７に示すように、第１の実施の形態の特徴値算出部は、特徴値出力部５０１、５１１および乱数出力部５０２、５１２を有する。
特徴抽出部４００と特徴抽出部４１０の構成および動作は、それぞれ同じである。以下、代表して特徴抽出部４００の構成および動作について説明する。
乱数出力部５０２は、指定された確率に応じて、ランダムに二値のうちの一つを出力する。
特徴値出力部５０１は、差分値と代表値を比較し、その比較結果に基づいて二値の特徴値を算出する。差分値と代表値の関係が所定の条件を満たす場合、特徴値出力部５０１は、乱数出力部５０２にランダムに二値のうちの一つを出力させ、取得したランダムな二値を特徴値とする。
以下に第４の実施の形態における画像の類似性の判断処理について説明する。
特徴抽出部４００が、撮影装置１００から対象画像を取得する処理は、図３のステップＳ１０１で示した、第１の実施の形態の処理と同様である。
また、特徴抽出部４１０が、記憶装置２００から対象画像を取得する処理も、図３のステップＳ１０３で示した、第１の実施の形態の処理と同様である。
次に第４の実施の形態における特徴値の算出処理について説明する。
尚、特徴抽出部４００における特徴値の算出処理は、特徴抽出部４１０における特徴値の算出処理と同じであるため、以下、代表して、特徴抽出部４００における特徴値の算出処理について説明する。
図８は第４の実施の形態における特徴値の算出処理を示すフローチャートである。
ステップＳ５０９以外の処理は、第３の実施の形態の処理と同様であるため、説明を省略する。
差分値ｇ（ｘ、ｙ）が代表値ｇ’（ｘ、ｙ）と同一の値であると判断すると、特徴値出力部５０１は、乱数出力部５０２に等確率でランダムに二値のうちの一つを出力させ、特徴値ｂ（ｘ、ｙ）をランダムな二値とする（ステップＳ５０９）。
特徴値算出部４０４の処理を式１２に定式化する。
Figure 0005505410
 類似判断部３０１が、特徴抽出部４００から取得した対象画像の特徴値ｂａ（ｘ、ｙ）と、特徴抽出部４１０から取得した参照画像の特徴値ｂｂ（ｘ、ｙ）とから、対象画像と参照画像の相関値ｓを算出する処理は、図３のステップＳ１０５で示した、第１の実施の形態の処理と同様である。
また、類似判断部３０１が、算出した相関値に基づいて対象画像と参照画像の類似性を判断する処理も、図３のステップＳ１０６で示した、第１の実施の形態の処理と同様である。
以上説明したように、本実施形態によれば、データ処理装置は、差分値と代表値の関係が所定の条件を満たす場合、特徴値をランダムに二値のいずれかの値にすることにより、ランダム値が二値の中間値に相当するため、特徴値を二値で表しつつ、三値で表す場合と同等の効果を得ることができる。これにより、特徴値を記憶するための記憶容量を低減し画像照合にかかる処理時間を短縮しつつ、所定の条件を満たす画素の相関値を正しく評価し、高精度に画像を照合できる。
また、本実施形態によれば、データ処理装置は、差分値と代表値が一致する場合に、特徴値をランダムに二値のいずれかの値にすることにより、差分値と代表値の大小関係の評価において、差分値と代表値が同じ値であることを分類できるため、差分値と代表値が一致する画素において相関値を正しく評価することができる。
また、特徴値算出部４０４が特徴値を算出する処理において、閾値ｔｈをあらかじめ設定しておき、差分値ｇ（ｘ、ｙ）と代表値ｇ’（ｘ、ｙ）との差分が閾値ｔｈより小さい場合に特徴値ｂ（ｘ、ｙ）を、ランダムな二値としてもよい。
このときの特徴値算出部４０４、４１４の処理を式１３に定式化する。
Figure 0005505410
 差分値と代表値とが等しいと判定する条件に閾値による範囲を与えることにより、ノイズによる輝度値の変動が特徴値に与える影響を低減することができる。
（第５の実施の形態）
第１の実施の形態から第４の実施の形態では、１つの差分値に対して、１つの代表値を定めて、画像の類似性を判断する例を示した。しかし、本発明は、これに限定されるものではなく、１つの差分値に対して、複数の代表値を定めて、画像の類似性を判断してもよい。第５の実施の形態では、１つの差分値に対して、複数の代表値を定めて、画像の類似性を判断することにより、画像照合の精度を向上させる例を示す。
第５の実施の形態の画像照合システムの構成は、第４の実施の形態の画像照合システムの構成と同じである。
以下に第５の実施の形態における画像の類似性の判断処理について説明する。
特徴抽出部４００が、撮影装置１００から対象画像を取得する処理は、図３のステップＳ１０１で示した、第１の実施の形態の処理と同様である。
また、特徴抽出部４１０が、記憶装置２００から対象画像を取得する処理も、図３のステップＳ１０３で示した、第１の実施の形態の処理と同様である。
次に第５の実施の形態における特徴値の算出処理について説明する。
尚、特徴抽出部４００における特徴値の算出処理は、特徴抽出部４１０における特徴値の算出処理と同じであるため、以下、代表して、特徴抽出部４００における特徴値の算出処理について説明する。
図９は第５の実施の形態における特徴値の算出処理を示すフローチャートである。
ステップＳ６０１の照合する対象の領域を特定する処理、ステップＳ６０２の正規化画像生成処理、およびステップＳ６０３の差分値算出処理は、第１の実施の形態の処理と同様であるため、説明を省略する。
差分値算出部４０２が差分値を算出すると、代表値算出部４０３は、注目画素に対する差分値の複数の代表値ｇ１’（ｘ、ｙ）〜ｇｍ’（ｘ、ｙ）を算出する（ステップＳ６０４）。
代表値算出部４０３は、例えば、注目画素の近傍画素群に含まれる各画素が有する差分値のヒストグラムを求め、そのヒストグラムの中で度数の多い順に所定の数の差分値を選択して複数の代表値とする。
また、代表値算出部４０３は、注目画素の近傍画素群に含まれる各画素が有する差分値の分布を混合正規分布とし、その混合正規分布に含まれる複数の正規分布のそれぞれの平均値を代表値としてもよい。
あるいは、代表値算出部４０３は、注目画素の近傍画素群に含まれる全ての画素のそれぞれが有する差分値を代表値としてもよい。
特徴値算出部４０４は、差分値ｇ（ｘ、ｙ）に対し、複数の代表値ｇ１’（ｘ、ｙ）〜ｇｍ’（ｘ、ｙ）のそれぞれとの比較に基づいて、暫定特徴値ｂ１（ｘ、ｙ）〜ｂｍ（ｘ、ｙ）を算出する。
特徴値算出部４０４は、差分値ｇ（ｘ、ｙ）が代表値ｇｋ’（ｘ、ｙ）より大きいか否かを判別する（ステップＳ６０５）。差分値ｇ（ｘ、ｙ）が代表値ｇｋ’（ｘ、ｙ）より大きければ、特徴値算出部４０４は、暫定特徴値ｂｋ（ｘ、ｙ）を１とする（ステップＳ６０６）。一方、差分値ｇ（ｘ、ｙ）が代表値ｇｋ’（ｘ、ｙ）より大きくなければ、特徴値算出部４０４は、差分値ｇ（ｘ、ｙ）が代表値ｇｋ’（ｘ、ｙ）より小さいか否かを判別する（ステップＳ６０７）。差分値ｇ（ｘ、ｙ）が代表値ｇｋ’（ｘ、ｙ）より小さければ、特徴値算出部４０４は、暫定特徴値ｂｋ（ｘ、ｙ）を０とする（ステップＳ６０８）。一方、差分値ｇ（ｘ、ｙ）が代表値ｇｋ’（ｘ、ｙ）より小さくなければ、差分値ｇ（ｘ、ｙ）が代表値ｇｋ’（ｘ、ｙ）と同じ値であると判別し、特徴値算出部４０４は、乱数出力部５０２に等確率でランダムに二値のうちの一つを出力させ、暫定特徴値ｂｋ（ｘ、ｙ）をランダムな二値とする（ステップＳ６０９）。
特徴値算出部４０４の処理を式１４に定式化する。
Figure 0005505410
 暫定特徴値は、全ての代表値について算出される。したがって、特徴抽出部４００は、差分値ごとに全ての代表値について暫定特徴値を算出したか否かを判別し（ステップＳ６１０）、全ての代表値について暫定特徴値を算出するまで、ステップＳ６０５からステップＳ６１０までの処理を繰り返す。
ある差分値に対し全ての代表値との組み合わせについて暫定特徴値を算出すると、特徴値出力部５０１は、算出された全ての暫定特徴値ｂ１（ｘ、ｙ）〜ｂｍ（ｘ、ｙ）から二値の発生確率を算出し、その発生確率に従って乱数出力部５０２に二値の乱数を発生させ、その差分値に対応する特徴値ｂ（ｘ、ｙ）の値とする（ステップＳ６１１）。例えば、暫定特徴値ｂ１（ｘ、ｙ）〜ｂｍ（ｘ、ｙ）のうち、値が１である個数がα、値が０である個数が（ｍ−α）であれば、特徴値出力部５０１は、乱数出力部５０２に、１と０をα：（ｍ−α）の確率でランダムに出力させ、取得した値を注目画素の特徴値とする。
特徴抽出部４００は、正規化画像内の全ての画素について代表値および特徴値を算出したか否かを判別し（ステップＳ６１２）、正規化画像内の全ての画素について代表値および特徴値を算出するまで、ステップＳ６０４からステップＳ６１２までの処理を繰り返す。
類似判断部３０１が、特徴抽出部４００から取得した対象画像の特徴値ｂａ（ｘ、ｙ）と、特徴抽出部４１０から取得した参照画像の特徴値ｂｂ（ｘ、ｙ）とから、対象画像と参照画像の相関値ｓを算出する処理は、図３のステップＳ１０５で示した、第１の実施の形態の処理と同様である。
また、類似判断部３０１が、算出した相関値に基づいて対象画像と参照画像の類似性を判断する処理も、図３のステップＳ１０６で示した、第１の実施の形態の処理と同様である。
以上説明したように、本実施形態によれば、データ処理装置は、複数の代表値を用いることにより、注目画素の近傍画素群に照明変動の特性が異なる複数の部位が含まれている場合でも、それぞれの部位の代表値との比較に基づいて特徴値を算出できるので、より高精度に照明変動に対する物体の形状による陰影の影響を低減することができる。
また、本実施形態によれば、データ処理装置は、注目画素の近傍画素群に含まれる、度数の多い差分値、各差分値の混合正規分布に含まれる各正規分布の平均値、あるいは全ての差分値を代表値とすることにより、特性が異なる複数の部位を適切に抽出することができる。
また、第４の実施例と同様、特徴値算出部４０４が特徴値を算出する処理において、閾値ｔｈをあらかじめ設定し、差分値ｇ（ｘ、ｙ）と代表値ｇｋ’（ｘ、ｙ）との差分が閾値ｔｈより小さい場合に特徴値ｂｋ（ｘ、ｙ）を、ランダムな二値としてもよい。
このときの特徴値算出部４０４の処理を式１５に定式化する。
Figure 0005505410
 差分値と代表値とが等しいと判定する条件に閾値による範囲を与えることにより、ノイズによる輝度値の変動が特徴値に与える影響を低減することができる。
本発明の画像照合システムは、例えば、生体画像を用いた本人認証システムに適用できる。このとき、記憶装置２００には、予め撮影された生体画像が記憶され、撮影装置１００によって利用者の生体画像が撮影される。特徴抽出部４００、４１０が、記憶装置２００に記憶された生体画像と、撮影装置１００により撮影された生体画像との特徴値を算出する。そして、類似判断部３０１が、相関値を所定の閾値と比較することにより、本人であるか否かを判定する。
生体画像による本人認証システムでは、予め撮影されていた生体画像と新たに撮影された生体画像とを比較することにより本人であるか否かを認証する。そのため、従来の本人認証システムでは、参照画像の撮影時と対象画像の撮影時とで照明が変動すると照合精度が低下し認証結果を誤ることが多かった。特に、生体画像として顔画像を用いる場合、他人の顔であっても、目、鼻、頬などの部位の数および配置はほとんど同じであるため、照明変動による陰影の影響を受けやすく、照明変動は大きな阻害要因となっていた。
本発明の画像照合システムを適用することにより、生体画像、特に顔画像を用いた本人認証システムにおいて照明変動が生じた場合でも高精度に本人であるか否かを認証することができる。
また、本発明の画像照合システムは、類似する形状の物体上に描かれた文字、図形、模様が一致するか否かを判定する画像照合システムにも適用できる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細は本願発明のスコープ内で当業者が理解し得る様々な変更が可能である。
この出願は、２００９年４月６日に出願された特願２００９−９１９８５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００ 撮影装置
２００ 記憶装置
３００ データ処理装置
３０１ 類似判断部
４００、４１０ 特徴抽出部
４０１、４１１ 照合対象抽出部
４０２、４１２ 差分値算出部
４０３、４１３ 代表値算出部
４０４、４１４ 特徴値算出部
５０１、５１１ 特徴値出力部
５０２、５１２ 乱数出力部

Claims (22)

  1. 画像内の画素のそれぞれに注目し、注目画素の画素値と、該注目画素の近傍の所定の相対位置にある比較対象画素の画素値との差分値を求める差分値算出手段と、
    前記画像内の画素毎に、照明による陰影への影響が互いに類似する画素を含む画素群を抽出し、該画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を算出する代表値算出手段と、
    前記画像内の画素毎に、該画素の差分値と、該画素に対応する画素群の差分値の代表値との比較に基づいて、該画素の特徴値を算出する特徴値算出手段と、
    前記特徴値算出手段により抽出された各画素の特徴値に基づいて、前記画像と所定の画像との類似性を判定する類似判断手段と、
    を有するデータ処理装置。
  2. 前記差分値算出手段は、変化しうる照明のもとで撮影された撮影画像を処理する第１の差分値算出部を少なくとも有し、
    前記代表値算出手段は、前記撮影画像を処理する第１の代表値算出部を少なくとも有し、
    前記特徴値算出手段は、前記撮影画像を処理する第１の特徴値算出部を少なくとも有し、
    前記類似判断手段は、前記特徴値算出手段により抽出された前記撮影画像の各画素の特徴値に基づいて、該撮影画像と、該撮影画像と対比するための参照画像との類似性を判定する、請求項１に記載のデータ処理装置。
  3. 前記差分値算出手段は、前記撮影画像と対比するための参照画像を処理する第２の差分値算出部をさらに有し、
    前記代表値算出手段は、前記参照画像を処理する第２の代表値算出部をさらに有し、
    前記特徴値算出手段は、前記参照画像を処理する第２の特徴値算出部をさらに有し、
    前記類似判断手段は、前記第１の特徴値算出部により抽出された前記撮影画像の各画素の特徴値と、前記第２の特徴値算出部により抽出された前記参照画像の各画素の特徴値との比較に基づいて、該撮影画像と該参照画像との類似性を判定する、請求項２に記載のデータ処理装置。
  4. 前記画素に対応する画素群は、該画素から相対的に所定の位置範囲にある画素の集合である、請求項１から３のいずれか１項に記載のデータ処理装置。
  5. 前記画素に対応する画素群は、該画素と差分値の差が所定値以下である画素の集合である、請求項１から３のいずれか１項に記載のデータ処理装置。
  6. 前記代表値は、前記画素群に含まれる画素数が所定数未満の場合、該画素群が抽出される基となった画像に含まれる全画素の前記差分値から統計的手法により算出される、請求項１から５のいずれか１項に記載のデータ処理装置。
  7. 前記代表値は、前記画素群に含まれる画素数が所定数未満の場合、予め定められた所定値とする、請求項１から５のいずれか１項に記載のデータ処理装置。
  8. 前記特徴値は、二値で示される、請求項１から７のいずれか１項に記載のデータ処理装置。
  9. 前記特徴値は、三値で示される、請求項１から７のいずれか１項に記載のデータ処理装置。
  10. 前記特徴値は、前記差分値と前記代表値が所定の条件を満たす場合、ランダムに二値のいずれかの値とする、請求項８に記載のデータ処理装置。
  11. 前記所定の条件は、前記差分値と前記代表値が同一であることである、請求項１０に記載のデータ処理装置。
  12. 前記所定の条件は、前記差分値と前記代表値の差分が所定の閾値未満であることである、請求項１０に記載のデータ処理装置。
  13. 前記代表値算出手段は、前記画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を複数算出し、
    前記特徴値算出手段は、各画素の差分値と、該画素に対応する画素群の差分値の複数の代表値のそれぞれとの比較に基づいて、二値で示される、該画素の暫定特徴値を複数算出し、該複数の暫定特徴値から二値の発生確率を定めてランダムに該画素の特徴値を生成する、請求項１から５のいずれか１項に記載のデータ処理装置。
  14. 前記代表値として算出される複数の値は、前記画素群に含まれる各画素の前記差分値から度数の多い順に選択された値である、請求項１３に記載のデータ処理装置。
  15. 前記代表値として算出される複数の値は、前記画素群に含まれる各画素の前記差分値の分布を混合正規分布とし、該混合正規分布に含まれる複数の正規分布のそれぞれの平均値である、請求項１３に記載のデータ処理装置。
  16. 前記代表値として算出される複数の値は、前記画素群に含まれる全ての画素のそれぞれの差分値である、請求項１３に記載のデータ処理装置。
  17. 前記差分値算出手段は、前記所定の相対位置を複数定め、該相対位置毎に、前記注目画素の画素値と、該相対位置にある比較対象画素の画素値との差分値を求め、
    前記代表値算出手段は、前記画像内の各画素の前記相対位置毎に、前記画素群を抽出し、該画素群の差分値の代表値を算出し、
    前記特徴値算出手段は、前記画像内の各画素の前記相対位置毎に、前記特徴値を算出し、
    前記類似判断手段は、互いに対応する各画素の前記相対位置毎の特徴値の比較に基づいて前記画像と所定の画像との類似性を判定する、請求項１から１６のいずれか１項に記載のデータ処理装置。
  18. 前記画像は変化しうる照明のもとで撮影された生体画像であり、
    前記類似判断手段は、前記生体画像と、該生体画像と対比するために予め撮影されていた画像との類似性を判定することにより生体認証を行う、請求項１から１７のいずれか１項に記載のデータ処理装置。
  19. 前記生体画像は、顔画像である、請求項１８に記載のデータ処理装置。
  20. 画像内の画素のそれぞれに注目し、注目画素の画素値と、該注目画素の近傍の所定の相対位置にある比較対象画素の画素値との差分値を求め、
    前記画像内の画素毎に、照明による陰影への影響が互いに類似する画素を含む画素群を抽出し、該画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を算出し、
    前記画像内の画素毎に、該画素の差分値と、該画素に対応する画素群の差分値の代表値との比較に基づいて、該画素の特徴値を算出し、
    各画素の特徴値に基づいて、前記画像と所定の画像との類似性を判定する、画像照合方法。
  21. 画像を照合するデータ処理装置のプログラムであって、
    画像内の画素のそれぞれに注目し、注目画素の画素値と、該注目画素の近傍の所定の相対位置にある比較対象画素の画素値との差分値を求めさせ、
    前記画像内の画素毎に、照明による陰影への影響が互いに類似する画素を含む画素群を抽出させ、該画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を算出させ、
    前記画像内の画素毎に、該画素の差分値と、該画素に対応する画素群の差分値の代表値との比較に基づいて、該画素の特徴値を算出させ、
    各画素の特徴値に基づいて、前記画像と所定の画像との類似性を判定させる処理をコンピュータに実行させるためのプログラム。
  22. 所定の対象物を撮影し、撮影画像を出力する撮影装置と、
    前記対象物について予め撮影された参照画像を記憶する記憶装置と、
    前記撮影画像と前記参照画像のそれぞれについて、画像内の画素のそれぞれに注目し、注目画素の画素値と、該注目画素の近傍の所定の相対位置にある比較対象画素の画素値との差分値を求め、前記撮影画像と前記参照画像のそれぞれについて、前記画像内の画素毎に、照明による陰影への影響が互いに類似する画素を含む画素群を抽出し、該画素群に含まれる各画素の前記差分値から統計的手法により、該画素群の差分値の代表値を算出し、前記撮影画像と前記参照画像のそれぞれについて、前記画像内の画素毎に、該画素の差分値と、該画素に対応する画素群の差分値の代表値との比較に基づいて、該画素の特徴値を算出し、各画素の特徴値に基づいて、前記撮影画像と前記参照画像との類似性を判定する、データ処理装置と、を有する画像処理システム。
JP2011508318A 2009-04-06 2010-03-23 データ処理装置、画像照合方法、プログラムおよび画像照合システム Active JP5505410B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011508318A JP5505410B2 (ja) 2009-04-06 2010-03-23 データ処理装置、画像照合方法、プログラムおよび画像照合システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009091985 2009-04-06
JP2009091985 2009-04-06
PCT/JP2010/054942 WO2010116885A1 (ja) 2009-04-06 2010-03-23 データ処理装置、画像照合方法、プログラムおよび画像照合システム
JP2011508318A JP5505410B2 (ja) 2009-04-06 2010-03-23 データ処理装置、画像照合方法、プログラムおよび画像照合システム

Publications (2)

Publication Number Publication Date
JPWO2010116885A1 JPWO2010116885A1 (ja) 2012-10-18
JP5505410B2 true JP5505410B2 (ja) 2014-05-28

Family

ID=42936171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011508318A Active JP5505410B2 (ja) 2009-04-06 2010-03-23 データ処理装置、画像照合方法、プログラムおよび画像照合システム

Country Status (3)

Country Link
US (1) US8749658B2 (ja)
JP (1) JP5505410B2 (ja)
WO (1) WO2010116885A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013147574A1 (en) 2012-03-30 2013-10-03 Institute Of Electronics And Computer Science Biometric authentication apparatus and biometric authentication method
US20140012533A1 (en) * 2012-07-03 2014-01-09 Tokitae Llc Interpolating a portion of a signal in response to multiple components of the signal
US9058660B2 (en) * 2012-11-21 2015-06-16 Gravity Jack, Inc. Feature searching based on feature quality information
CN103116755B (zh) * 2013-01-27 2016-01-06 深圳市书圣艺术品防伪鉴定有限公司 书画真伪度自动检测系统及其方法
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
US9754397B1 (en) 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
US11062479B2 (en) * 2017-12-06 2021-07-13 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
JP6943340B2 (ja) * 2018-05-29 2021-09-29 日本電気株式会社 物体検出装置、物体検出システム、物体検出方法、およびプログラム
US20220366180A1 (en) * 2021-05-12 2022-11-17 Rakuten Group, Inc. Image matching system
CN117453936B (zh) * 2023-10-19 2024-03-26 山东三木众合信息科技股份有限公司 一种数据整理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141546A (ja) * 2001-11-07 2003-05-16 Japan Science & Technology Corp 画像処理方法
JP2006285312A (ja) * 2005-03-31 2006-10-19 Hitachi Ltd 画像処理方法および装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581416A (ja) 1991-09-19 1993-04-02 Fujitsu Ltd 濃淡画像の二値化処理方法
WO1994023390A1 (en) * 1993-03-29 1994-10-13 Matsushita Electric Industrial Co., Ltd. Apparatus for identifying person
JP2004304814A (ja) 1993-06-24 2004-10-28 Seiko Epson Corp 画像処理装置および方法
JP3348167B2 (ja) 1996-03-26 2002-11-20 シャープ株式会社 画像２値化装置
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
JP4077094B2 (ja) 1998-12-11 2008-04-16 富士通株式会社 カラー文書画像認識装置
JP3742279B2 (ja) * 2000-06-09 2006-02-01 日本電信電話株式会社 画像照合装置、画像照合方法及び画像照合プログラムを記録した記録媒体
JP3819236B2 (ja) 2000-12-13 2006-09-06 株式会社東芝 パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体
JP2003317084A (ja) 2002-04-19 2003-11-07 Nec Corp 顔画像からの目検出システム、目検出方法および目検出用プログラム
JP4298303B2 (ja) 2003-01-09 2009-07-15 三菱電機株式会社 姿勢推定装置
JP3696212B2 (ja) 2003-02-13 2005-09-14 株式会社東芝 パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
KR100906918B1 (ko) * 2005-06-30 2009-07-08 올림푸스 가부시키가이샤 검색 시스템 및 검색 방법
JP4561803B2 (ja) * 2007-10-03 2010-10-13 ソニー株式会社 撮像装置、画像データの交換方法およびプログラム
US7868925B2 (en) * 2008-01-09 2011-01-11 Panasonic Corporation Device, method, and program for generating high-resolution image data at a low data transfer rate
JP5156427B2 (ja) * 2008-02-13 2013-03-06 富士フイルム株式会社 カプセル内視鏡システム
GB0905317D0 (en) * 2008-07-14 2009-05-13 Musion Ip Ltd Video processing and telepresence system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141546A (ja) * 2001-11-07 2003-05-16 Japan Science & Technology Corp 画像処理方法
JP2006285312A (ja) * 2005-03-31 2006-10-19 Hitachi Ltd 画像処理方法および装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11455864B2 (en) 2018-07-25 2022-09-27 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Also Published As

Publication number Publication date
WO2010116885A1 (ja) 2010-10-14
JPWO2010116885A1 (ja) 2012-10-18
US8749658B2 (en) 2014-06-10
US20120026354A1 (en) 2012-02-02

Similar Documents

Publication Publication Date Title
JP5505410B2 (ja) データ処理装置、画像照合方法、プログラムおよび画像照合システム
CN110852160B (zh) 以图像为基准的生物识别系统及计算机实施方法
EP2866170B1 (en) Image processing device and image processing method
KR101390756B1 (ko) 안면 특징 검출 방법 및 장치
CN109859227B (zh) 翻拍图像检测方法、装置、计算机设备及存储介质
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
KR100891324B1 (ko) 휴대용 개인단말장치를 이용한 지문인식 시스템 및지문특징 추출장치 및 방법
US7426287B2 (en) Face detecting system and method using symmetric axis
US8254644B2 (en) Method, apparatus, and program for detecting facial characteristic points
US20060023921A1 (en) Authentication apparatus, verification method and verification apparatus
US9805443B2 (en) Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly
JP6566449B2 (ja) 球状体の回転の測定装置、測定方法、ならびに、プログラム
WO2017161636A1 (zh) 一种基于指纹的终端支付方法及装置
KR20160037305A (ko) 지문 인식을 이용한 사용자 인증 방법
JP4993615B2 (ja) 画像認識方法および装置
JP5669572B2 (ja) 指紋認証装置
JP2008035301A (ja) 移動体追跡装置
CN116057949A (zh) 用于量化图像中光耀斑的系统和方法
KR20070088982A (ko) 변형에 강건한 홍채 인식 방법
JP2016156702A (ja) 撮像装置および撮像方法
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2009217799A (ja) 輪郭検出方法、輪郭検出装置および輪郭検出プログラム
JP2009217798A (ja) 輪郭検出方法、輪郭検出装置および輪郭検出プログラム
KR20160092374A (ko) 동전 금액 자동 계산 방법 및 그 시스템
JP6955147B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140303

R150 Certificate of patent or registration of utility model

Ref document number: 5505410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113