JP4483334B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4483334B2
JP4483334B2 JP2004041918A JP2004041918A JP4483334B2 JP 4483334 B2 JP4483334 B2 JP 4483334B2 JP 2004041918 A JP2004041918 A JP 2004041918A JP 2004041918 A JP2004041918 A JP 2004041918A JP 4483334 B2 JP4483334 B2 JP 4483334B2
Authority
JP
Japan
Prior art keywords
subject
distribution
predetermined
pixel
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004041918A
Other languages
English (en)
Other versions
JP2005234810A (ja
Inventor
典司 加藤
基文 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2004041918A priority Critical patent/JP4483334B2/ja
Priority to US10/930,908 priority patent/US7590266B2/en
Priority to CNB2004100811544A priority patent/CN1331084C/zh
Publication of JP2005234810A publication Critical patent/JP2005234810A/ja
Application granted granted Critical
Publication of JP4483334B2 publication Critical patent/JP4483334B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Description

本発明は、例えば人物の顔等の所定被写体を識別する画像処理装置に関する。
近年、セキュリティ技術や、大量の画像情報を処理する必要性が増大しており、ビデオカメラなどで撮像された画像データに含まれる顔部分の画像から個人を識別する技術が種々開発されている。従来、顔画像からの個人認識の技術としては、顔画像から特徴点を抽出し、当該特徴点に基づいて予め登録されているテンプレートとの照合を行う方法(非特許文献1)がある。また、顔を表すパターン情報を、個人差を増大させるよう規定された空間に写像し、当該空間でテンプレートと照合する方法(非特許文献2)も知られている。
Laurenz Wiskott, Jean-Marc Fellous,Norbert Krouger and Christoph von der Malsburg, "Face Recognition byElastic Bunch Graph Matching", Proc. 7th Intern. Conf. on Computer Analysysof Image and Patterns 1997 Matthew A. Turk and Alex P. Pentland,"Eigenfaces for Recognition", Journal of Cognitive NeuroscienceVol.3, No.1, pp.71-86(1991) 特開平2−311962号公報 特開2003−281541号公報
ここで上記従来の個人認識の技術では、目、鼻、口といった特徴的な部分の形状や配置に基づく認識であるため、画像データの解像度としては、これらの形状・配置が明確になる程度の解像度を要する。具体的にこの解像度としては最低でも100ピクセル四方は必要であると考えられる。しかしながら顔の画像は、必ずしもこのような高解像度で捉えられるものではない。
一方、特許文献1には、上記特徴的な部分の形状・配置ではなく、顔の三次元的形状の差を個人差と捉えて識別するための技術が開示されている。しかし、この技術を利用するためには、顔画像の三次元情報を取得する必要があり、必ずしも現実的な利用に供することができない。
本発明は上記実情に鑑みて為されたもので、比較的低解像度の二次元画像を用いて、被写体の識別を行うことのできる画像処理装置を提供することを、その目的の一つとする。
上記従来例の問題点を解決するための本発明は、画像処理装置であって、所定被写体を撮像して得た2次元画像データを処理対象として、該被写体をそれぞれがN次元空間(N≧3)に配位する複数の領域の群により表現することで、当該領域に対応するN次元推定特徴量を演算する手段と、前記N次元推定特徴量と、その元となった被写体とを特定する情報を関連づけて認識データベースとして、記憶装置に保持させる手段と、を含み、前記認識データベースが、被写体の認識処理に供されることを特徴としている。
また、上記従来例の問題点を解決するための本発明は、複数の被写体をそれぞれ撮像して得た2次元画像データについて、各画像データ内に撮像されている各被写体について、該被写体をそれぞれがN次元空間(N≧3)に配位する複数の領域の群により表現することで、当該領域に対応するN次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのN次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続された画像処理装置であって、認識処理の対象となった被写体を撮像して得た2次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、該認識処理の対象となった被写体をそれぞれがN次元空間に配位する複数の領域の群により表現することで、当該領域に対応するN次元推定特徴量を演算する手段と、前記認識データベース内の各被写体に関するN次元推定特徴量と、前記認識処理の対象となった被写体についてのN次元推定特徴量とを比較して当該比較の結果を出力する比較手段と、前記比較手段における比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力する手段と、を含むことを特徴としている。
ここで前記比較手段は、前記認識データベース内の各被写体に関するN次元推定特徴量を、前記認識処理の対象となった被写体の撮像状態に基づいて変形し、比較の結果を、当該変形の量に基づいて制御することとしてもよい。また、前記N次元推定特徴量は、該被写体を表現する複数の領域ごとの所定混合分布に関する量であることとしてもよい。
また、本発明の一態様に係る画像処理装置は、所定被写体を撮像して得た2次元画像データを処理対象として、当該画像データ内に撮像されている被写体について、当該被写体の撮像部分に含まれる各画素について、画素の位置座標と、画素値に関する量とを組とした多次元量を生成し、前記各画素について生成された多次元量の群について、所定混合分布で記述するときの所定尤度を演算し、当該所定尤度が被写体の認識処理に供されるものである。
ここで前記所定混合分布は、単一のピークを有する確率分布を要素分布としており、前記所定尤度を演算する手段は、混合分布の各要素分布の前記ピーク位置と、画素の位置座標との距離が予め定めた距離しきい値を越える部分については、前記尤度の演算に関係する処理を行わないよう制御することとしてもよい。
さらにここまでにいう所定混合分布は、単一のピークを有する確率分布を要素分布とすることとしてもよい。さらに前記所定混合分布は、混合ガウス分布であることとしてもよい。
また上記従来例の問題点を解決するための本発明は、認識データベースの製造方法であって、所定被写体を撮像して得た2次元画像データを処理対象として、当該画像データ内に撮像されている被写体について、該被写体をそれぞれがN次元空間(N≧3)に配位する複数の領域の群により表現することで、当該領域に対応するN次元推定特徴量を演算する工程と、前記N次元推定特徴量と、その元となった被写体とを特定する情報を関連づけて認識データベースとして、記憶装置に保持させる工程と、を含むことを特徴としている。
さらに上記従来例の問題点を解決するための本発明は、画像処理方法であって、複数の被写体をそれぞれ撮像して得た2次元画像データについて、各画像データ内に撮像されている各被写体をそれぞれがN次元空間(N≧3)に配位する複数の領域の群により表現することで、当該領域に対応するN次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのN次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続されたコンピュータを用い、認識処理の対象となった被写体を撮像して得た2次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、当該認識処理の対象となった被写体をそれぞれがN次元空間に配位する複数の領域の群により表現することで、当該領域に対応するN次元推定特徴量を演算し、前記認識データベース内の各被写体に関するN次元推定特徴量と、前記認識処理の対象となった被写体についてのN次元推定特徴量とを比較して当該比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力することを特徴としている。
さらに上記従来例の問題点を解決するための本発明は、画像処理プログラムであって、複数の被写体をそれぞれ撮像して得た2次元画像データについて、各画像データ内に撮像されている各被写体について、該被写体をそれぞれがN次元空間(N≧3)に配位する複数の領域の群により表現することで、当該領域に対応するN次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのN次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続されたコンピュータに、認識処理の対象となった被写体を撮像して得た2次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、当該認識処理の対象となった被写体をそれぞれがN次元空間に配位する複数の領域の群により表現することで、当該領域に対応するN次元推定特徴量を演算する手順と、前記認識データベース内の各被写体に関するN次元推定特徴量と、前記認識処理の対象となった被写体についてのN次元推定特徴量とを比較して当該比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力する手順と、を実行させることを特徴としている。
また、上記従来例の問題点を解決するための本発明は、画像処理プログラムであって、コンピュータに、所定被写体を撮像して得た2次元画像データを処理対象として、当該画像データ内に撮像されている被写体の撮像部分に含まれる各画素について、画素の位置座標と、画素値に関する量とを組とした多次元量を生成する手順と、前記各画素について生成された多次元量の群について、複数の混合分布で記述するときの所定尤度を演算する手順と、を実行させることを特徴としている。
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、図1に示すように、制御部11と記憶部12と外部インタフェース部13とストレージ部14と情報提示部15とを含んで構成されている。制御部11は、記憶部12に格納されているプログラムに従って動作する。この制御部11は、認識データベースの生成処理と、生成した認識データベースを用いて被写体の識別を行う処理とを行う。以下では説明を分かりやすくするため、被写体は人物の顔であるとし、識別の結果、個人を特定する情報が出力されるものとして説明する。これら制御部11の具体的処理の内容は、後に詳しく述べる。
記憶部12は、制御部11によって実行されるプログラムを格納している。またこの記憶部12は、制御部11の処理の過程で生成される種々のデータを保持するワークメモリとしても動作する。外部インタフェース部13は、処理の対象となる画像データ(画素を二次元に配列してなる、二次元画像データ)を外部の装置から受け入れて制御部11に出力する。ストレージ部14は、制御部11によって生成される認識データベースを保持する。情報提示部15は、例えばディスプレイ等であり、制御部11による認識の処理の結果を出力する。
次に制御部11によって実行される処理の具体的内容について説明する。本実施の形態においては、認識の基礎となる情報として三次元推定特徴量を用いており、認識データベースを生成する際にも、また、認識データベースに記録されているテンプレートと比較する際にも、この三次元推定特徴量を演算することとなる。そこで、まずこの三次元推定特徴量を演算する処理の内容から説明することとする。
[三次元推定特徴量の演算]
本実施の形態においては、外部インタフェース部13から入力される一つの二次元画像データから三次元推定特徴量を演算する。これにより、被写体はそれぞれが3次元空間に配位する複数の領域の群により表現するように演算を行い、各領域自体に対応する3次元推定特徴量を決めることができる。各領域はそれぞれ関数を用いて表現することも可能であるが、所定の要素分布とパラメータの組合せで記述することで、演算を容易にすることができる。具体的に、制御部11は被写体を構成する各画素について、その位置と画素値に関する量とを組とした多次元量を生成し、画素ごとに生成した多次元量の群について、所定個のパラメータを持つ所定混合分布で記述するときの尤度を最大とする所定混合分布のパラメータを三次元推定特徴量として演算することになる。なお、被写体の位置を画像データ内から見いだす技術としては、特許文献2に開示した技術を用いることができる。
制御部11は、被写体(ここでは顔)を含む矩形領域(顔画像データ)について、その矩形領域内の画素について画素の位置座標(a,b)と、画素の輝度値I(a,b)とを用いて、多次元量
Figure 0004483334
を生成する。なお、位置座標は、矩形領域の左下端を(0,0)として定義することができる。
この画素ごとに生成した多次元量の群(サンプル)がm個の要素分布による混合分布を用いて記述される確率が
Figure 0004483334
と表される。ここでξjは、j番目の要素分布の混合パラメータであり、θjは、j番目の要素分布のパラメータである。ここで要素分布は、単一のピークを有する確率分布が好適であり、具体的にはガウス分布とすることができる。μjは、j番目の要素分布のピークの中心(分布の中心)であり、Σjは、共分散行列である。dは次元数であり、この例では3である。以下の説明では要素分布がガウス分布であり、混合分布は従って混合ガウス分布であるものとして説明する。
すなわち、サンプルに係る混合分布のパラメータは、混合パラメータξjと、ガウス分布の中心μjと、共分散行列Σjとであり、これらのパラメータを三次元推定特徴量として扱う。所与の顔画像データに対するこれらのパラメータは、広く知られたEMアルゴリズムによって定めることができる。
ガウス分布を用いた場合においては、混合パラメータξjがj番目のガウス分布の重み付け、共分散行列Σjがj番目のガウス分布のピーク方向を意味する値となるため、これら3つのパラメータをm個の各要素分布ごとに求めることで、被写体がm個の領域の群によって表現されるようになる。
なお、ガウス分布に限らず、混合分布を構成する各要素分布の初期値は任意に設定できる。例えば、矩形の画像に対して等間隔の格子を設定して各格子内の中心を要素分布の初期位置と設定したり、被写体の構造が複雑になることが予想される、例えば画像の中心付近に、密に複数の要素分布を隣接配置させてもよい。前者のように等間隔や規則的に各要素分布の初期位置を設定すれば、多様な被写体に対応できる利点があるが、一方で画像の周縁部で混合パラメータξjが実質ゼロになる要素分布が生じやすく、識別に実質的に用いる特徴量の数が減ってしまうというデメリットもある。一方、不均一に要素分布の初期位置を設定する場合は一般にはこの逆になるが、入力される撮像画像は等間隔の画素から構成されるのが通常なので、要素分布の初期値が密に配置される箇所ではその要素分布により区分される領域の大きさ(面積)が小さくなり、そこに含まれる画素の数が減少して分布の精度が低下してしまうというデメリットもある。このため、各要素分布の範囲に対応する一領域内には10画素以上含まれるように、要素分布の初期位置、および、要素分布の数mを決定することが望ましい。なお、要素分布数mは少なすぎると複雑な特徴を表現できないため、30以上が望ましい。上限は、前述のように各領域に含まれる画素数が確保できれば、特に制限はない。
具体的には、サンプルがJ番目のガウス分布に従う確率
Figure 0004483334
を求め、この値を用いて完全データの対数尤度
Figure 0004483334
を算出する(この処理はEステップと呼ばれる)。
そして、上記対数尤度Qを最大化する混合分布のパラメータを、
Figure 0004483334
として定める(この処理はMステップと呼ばれる)。
この処理を所定回繰返して実行することで、対数尤度Qを最大化するパラメータを求めることができる。制御部11は、処理対象となった顔画像データに対するこれらのパラメータを三次元推定特徴量として出力することになる。
具体的に、原画像(図2(a))に対して、EMアルゴリズムで定めたパラメータで見いだされるガウス分布は図2(b)に示すようなものとなる。この図2(b)内の楕円形が各ガウス分布に対応している。また、この図2(b)に示したガウス分布によって最も尤度が高くなる画像は、図2(c)に模式的に示されるものとなる。実際の演算においては、初期状態として各パラメータを予め決められた値やランダムな値に定めた複数の混合分布を用い、EMアルゴリズムによって各混合分布の各要素分布(ガウス分布)に係るパラメータを調整することとなる。
被写体を表現する領域を3次元に配位した平面に置き換えて、被写体を構成する領域を可視化することも可能である。例えば、要素分布をガウス分布とするときには、これら複数のガウス分布に係るパラメータは、いわば、被写体である顔を複数の面で近似的に表現したときの、当該面を規定する量となっている。尤も、被写体である顔を近似的に複数の面で表現したときに、各面について4次元以上の量を生成して当該高次元の量を用いても構わない。
[認識データベースの生成処理]
制御部11は、照合の対象となる各被写体の各々について、上述の三次元推定特徴量を生成し、当該生成した三次元推定特徴量と被写体を特定する情報(その顔の人物名など)とを関連付けてストレージ部14に認識データベースとして格納する(図3)。
具体的には、図4に示すように、照合の対象となる被写体の画像に対して初期化処理を行う(S1)。ここで初期化処理では、被写体の画像データを所定サイズ(例えば64×100ピクセル)に拡大・縮小し、この拡大縮小後の画像データについてガウスフィルタを適用して平滑化し、さらにヒストグラム等分布化変換(Histogram Equalization)を行う。ここでヒストグラム等分布化変換とは、画素値の値域範囲内で、画素値ごとの頻度数がほぼ一定になるように、画素値を再配分する変換処理である。この変換処理の結果、濃度差が明りょうになることが知られている。
次に制御部11は、初期化処理後の画像データについて各画素値を、その位置座標と、輝度値とを組とした多次元値に変換する(S2)。そして制御部11は、初期的なガウス分布の中心位置を被写体の画像データ内に均等に複数個(例えば7×7の49個)配置する(S3)。制御部11は、この初期的なガウス分布の中心位置を起点として、Eステップの処理を遂行し(S4)、次いでMステップの処理を遂行する(S5)。この処理S4、S5を予め定めた回数だけ繰返したか否かを調べ(S6)繰返していれば、最後の処理S5で演算したパラメータと、照合の対象となっている(パラメータ演算の元となっている)被写体を特定する情報とを関連付けたテンプレートデータを生成してストレージ部14に格納し(S7)、処理を終了する。このテンプレートデータの群により、認識データベースが構成されることとなる。
[認識処理]
次に、制御部11による認識処理について説明する。制御部11は、ストレージ部14に格納されている認識データベース内の各テンプレートデータを未選択としてマークして図5に示す処理を開始する。制御部11は、まず外部インタフェース部13を介して入力される画像データを処理対象として、そこから顔部分を特定する(S11)。この特定は、特許文献2に開示された方法等を用いて特定することができる。そしてこの特定した顔部分の部分画像データについて初期化処理を行う(S12)。ここで初期化処理は、認識データベースの生成の際のものと同様であり、顔部分の部分画像データを所定サイズ(例えば64×100ピクセル)に拡大・縮小し、この拡大縮小後の画像データについてガウスフィルタを適用して平滑化し、さらにヒストグラム等分布化変換(Histogram Equalization)を行う。
次に制御部11は、初期化処理後の画像データについて各画素値を、その位置座標と、輝度値とを組とした多次元値に変換する(S13)。そしてストレージ部14に格納されている認識データベース内のテンプレートデータのうち、未選択としてマークされているものを一つ、注目テンプレートデータとして選択して(この時点で選択済みとしてマークしてもよい)、この注目テンプレートデータに含まれるパラメータを初期値として設定する(S14)。
そして制御部11は、この初期値を起点として、Eステップの処理を遂行し(S15)、次いでMステップの処理を遂行する(S16)。この処理S15、S16を予め定めた回数だけ繰返したか否かを調べ(S17)、繰返していなければ、処理S15に戻って処理を続ける。これらの処理によってテンプレートが自動的に変形されていく。また予め定めた回数だけ繰返した後に、さらにEステップを実行する(S18)。なお、処理S17での繰返し回数は0回(すなわち、Eステップの処理とMステップの処理とを行わない)でもよいので、その場合は処理S15、S16、S17は必ずしも必要でない。
制御部11は、処理S18の処理結果として得られた対数尤度が予め定めた閾値以上であるか否かを調べる(S19)。ここで、対数尤度が予め定めた閾値以上でなければ、すべてのテンプレートデータが選択済みとなっているか否かを調べ(S20)、選択済みとなっていれば、識別不能であったとして、その旨を情報提示部15に出力して(S21)、処理を終了する。
また、処理S20において、すべてが選択済みとしてマークされておらず、未選択のものがあれば、処理S14に戻って処理を続ける。
一方処理S19において、処理S18の演算の結果得られた対数尤度が予め定めた閾値以上である場合は、その時点での注目テンプレートデータに含まれる、被写体を特定する情報を情報提示部15に出力する(S22)。この処理S22の後、制御部11は、そのまま処理を終了してもよいし、処理S20に移行して処理を続け、所定値以上の対数尤度となっているテンプレートデータに係る被写体特定情報をリストとして提示することとしてもよい。この場合、対数尤度の大きい順に並替えて被写体特定情報のリストを提示させるようにしてもよい。
[テンプレートの変形]
また制御部11は、この認識処理において、テンプレートデータと、特定された顔部分とに関する情報(顔の向きや位置、大きさ、表情など、テンプレートデータの元となった被写体の撮像状態と、認識処理の対象となった被写体の撮像状態とについての情報)をさらに取得して、これらの情報に基づいてテンプレートデータに含まれる各ガウス分布の中心位置を移動してもよい。例えばテンプレートデータの顔の中心位置に比べて、処理対象として入力された画像データから切出された顔部分の中心位置が、(Δx,Δy)だけずれている場合に、この位置座標のずれだけ各ガウス分布の中心位置を移動する。また、表情などについては、例えば無表情のものと笑顔のものとでは、頬の部分の位置が異なるなどの事情があるので、テンプレートデータのうち頬の部分に位置するガウス分布の中心位置を、予め定めた量だけ移動する。
なお、顔の向きや位置、大きさ等の情報は、特許文献2に開示されている処理によって取得してもよいし、利用者が図示しない操作部から入力することとしてもよい。
本実施の形態において特徴的なことの一つは、テンプレートデータに対して上記変形を行ったときに、比較の結果である尤度を、当該変形の量に基づいて制御することである。具体的に、上述のようにガウス分布の中心位置を、μj0からμjへと移動したときには、(4)式に代えて、
Figure 0004483334
のように、付加的な項(第2項、以下「ペナルティ項」と呼ぶ)を加えて対数尤度を定義する。なお、ηはペナルティ項の強度を設定する定数であり、実験的に定めることができる。
また、この場合、Mステップの処理における分布の中心位置のパラメータを
Figure 0004483334
として求める。このMステップによっても各ガウス分布の中心が移動するが、その移動量もペナルティ項によって制限されることとなる。
なお、前述のS15〜S17においても同様にペナルティ項を加えて対数尤度を定義した上で処理することも可能であり、これにより自動的になされるテンプレートの変形を制限できるようになる。
[テンプレートデータの別の例]
なお、認識データベースには、同一の被写体特定情報に係るテンプレートデータが複数あってもよい。すなわち、同一の人物の顔について、顔の向きや大きさなどが異なる複数のテンプレートデータを生成して、これら複数のテンプレートデータについてその被写体特定情報を関連付けておく。この場合、被写体の顔の向きや大きさなどの情報をテンプレートデータに関連付けて認識データベースに格納してもよい。
[計算の高速化]
さらにここまでの説明では、対数尤度の計算において、各画素について、すべてのガウス分布からの生起確率(すべてのガウス分布について、当該ガウス分布で記述できるとの確率)を演算しているが、注目画素から所定距離しきい値を越える部分については、確率「0」として演算を行わないよう制御してもよい。なお、距離しきい値は例えば当該ガウス分布の共分散の1.2倍などとすればよい。これにより計算量を低減して、処理負荷を軽減できる。
[動作]
本実施の形態の画像処理装置の動作について説明する。本実施の形態の画像処理装置では、予め照合の対象となる人物に関する顔の画像について、三次元推定特徴量を演算しておき、各人物を特定する情報に関連付けて認識データベースとしてストレージ部14に格納しておく。
そして例えば、ビデオ撮影により逐次的に得られる複数の画像データについて、顔部分を特定し、認識データベースに格納されている三次元推定特徴量を利用して、当該顔に対応する被写体特定情報を取得して提示する。
[従来技術との組み合せ]
さらに、本実施の形態の画像処理装置は、三次元推定特徴量を用いた処理に加えて、従来用いられていた2次元パターンマッチング処理を並行して用い、両者の処理結果に基づいて最終的な処理結果を得てもよい。この場合、三次元推定特徴量を用いた処理により得られた認識結果と類似度(尤度)との組のリストと、従来の処理により得られた認識結果と類似度との組のリストとを合成する。つまり、各認識結果(被写体特定情報)ごとに、各処理からの類似度の結果に重みをつけて加算して得点を算出し、得点の高い順に、各認識結果(被写体特定情報)を並べ替えて出力することとしてもよい。
上述の三次元推定特徴量を用い、1096人分の人物の顔を登録した認識データベースを生成し、顔部分の画素数の異ならせながら、認識処理を実行した結果を図6に示す。
図6に示すように、100画素四方を越える画素数(128×200や64×100)においては95%以上の認識率を達成しており、100画素四方を下回る32×50画素や24×38画素であっても、95%前後の認識率を達成していることが理解される。このように本実施の形態によると、比較的低解像度の二次元画像を用いても、被写体を識別できる。
本発明の実施の形態に係る画像処理装置の構成ブロック図である。 本発明の実施の形態に係る画像処理の概要を表す説明図である。 識別データベースの内容例を表す説明図である。 識別データベースの生成処理例を表すフローチャート図である。 認識処理の例を表すフローチャート図である。 認識処理の実験結果例を表す説明図である。
符号の説明
11 制御部、12 記憶部、13 外部インタフェース部、14 ストレージ部、15 情報提示部。

Claims (3)

  1. 所定被写体を撮像して得た2次元画像データを処理対象として、当該画像データ内に撮像されている被写体について、当該被写体の撮像部分に含まれる各画素について、画素の位置座標と、画素値に関する量とを組とした多次元量を生成する手段と
    前記各画素について生成された多次元量の群について、単一のピークを有する確率分布を要素分布とした所定混合分布で記述するときの所定尤度を演算する演算手段であって、混合分布の各要素分布の前記ピークの位置と、画素の位置座標との距離が予め定めた距離しきい値を越える部分については、前記尤度の演算に関係する処理を行わないよう制御する演算手段と
    を有し、
    当該所定尤度が被写体の認識処理に供されることを特徴とする画像処理装置。
  2. 請求項に記載の画像処理装置において、
    前記所定混合分布は、混合ガウス分布であることを特徴とする画像処理装置。
  3. コンピュータ
    所定被写体を撮像して得た2次元画像データを処理対象として、当該画像データ内に撮像されている被写体について、当該被写体の撮像部分に含まれる各画素について、画素の位置座標と、画素値に関する量とを組とした多次元量を生成する手段と、
    前記各画素について生成された多次元量の群について、単一のピークを有する確率分布を要素分布とした所定混合分布で記述するときの所定尤度を演算する演算手段であって、混合分布の各要素分布の前記ピークの位置と、画素の位置座標との距離が予め定めた距離しきい値を越える部分については、前記尤度の演算に関係する処理を行わないよう制御する演算手段と、
    として機能させることを特徴とする画像処理プログラム。
JP2004041918A 2004-02-18 2004-02-18 画像処理装置 Expired - Lifetime JP4483334B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004041918A JP4483334B2 (ja) 2004-02-18 2004-02-18 画像処理装置
US10/930,908 US7590266B2 (en) 2004-02-18 2004-09-01 Image processing apparatus
CNB2004100811544A CN1331084C (zh) 2004-02-18 2004-09-30 图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004041918A JP4483334B2 (ja) 2004-02-18 2004-02-18 画像処理装置

Publications (2)

Publication Number Publication Date
JP2005234810A JP2005234810A (ja) 2005-09-02
JP4483334B2 true JP4483334B2 (ja) 2010-06-16

Family

ID=34836436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004041918A Expired - Lifetime JP4483334B2 (ja) 2004-02-18 2004-02-18 画像処理装置

Country Status (3)

Country Link
US (1) US7590266B2 (ja)
JP (1) JP4483334B2 (ja)
CN (1) CN1331084C (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133840A (ja) * 2005-11-07 2007-05-31 Hirotaka Niitsuma EMObjectLocalizationusingHaar−likefeature
US8009900B2 (en) * 2006-09-28 2011-08-30 Siemens Medical Solutions Usa, Inc. System and method for detecting an object in a high dimensional space
JP4971015B2 (ja) * 2007-04-10 2012-07-11 株式会社デンソー 推定装置
JP5231183B2 (ja) * 2008-11-21 2013-07-10 国立大学法人 奈良先端科学技術大学院大学 三次元形状復元装置
KR101549824B1 (ko) * 2008-12-11 2015-09-03 삼성전자주식회사 피부색 보정 방법 및 장치, 이를 이용한 디지털 촬영 장치
US9293060B2 (en) 2010-05-06 2016-03-22 Ai Cure Technologies Llc Apparatus and method for recognition of patient activities when obtaining protocol adherence data
US9256776B2 (en) 2009-11-18 2016-02-09 AI Cure Technologies, Inc. Method and apparatus for identification
US20110153360A1 (en) 2009-12-23 2011-06-23 Al Cure Technologies LLC Method and Apparatus for Verification of Clinical Trial Adherence
US8666781B2 (en) 2009-12-23 2014-03-04 Ai Cure Technologies, LLC Method and apparatus for management of clinical trials
US9183601B2 (en) 2010-03-22 2015-11-10 Ai Cure Technologies Llc Method and apparatus for collection of protocol adherence data
US8605165B2 (en) 2010-10-06 2013-12-10 Ai Cure Technologies Llc Apparatus and method for assisting monitoring of medication adherence
US10762172B2 (en) * 2010-10-05 2020-09-01 Ai Cure Technologies Llc Apparatus and method for object confirmation and tracking
US20110119073A1 (en) 2009-11-18 2011-05-19 Al Cure Technologies LLC Method and Apparatus for Verification of Medication Administration Adherence
JP5554984B2 (ja) * 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
US9875666B2 (en) 2010-05-06 2018-01-23 Aic Innovations Group, Inc. Apparatus and method for recognition of patient activities
US10116903B2 (en) 2010-05-06 2018-10-30 Aic Innovations Group, Inc. Apparatus and method for recognition of suspicious activities
US9883786B2 (en) 2010-05-06 2018-02-06 Aic Innovations Group, Inc. Method and apparatus for recognition of inhaler actuation
US8908928B1 (en) 2010-05-31 2014-12-09 Andrew S. Hansen Body modeling and garment fitting using an electronic device
US8655053B1 (en) 2010-05-31 2014-02-18 Andrew S Hansen Body modeling and garment fitting using an electronic device
US9665767B2 (en) 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
US9116553B2 (en) 2011-02-28 2015-08-25 AI Cure Technologies, Inc. Method and apparatus for confirmation of object positioning
US10558845B2 (en) 2011-08-21 2020-02-11 Aic Innovations Group, Inc. Apparatus and method for determination of medication location
CN102298801A (zh) * 2011-08-23 2011-12-28 苏州盛世华安智能科技有限公司 访客智能安全管理装置
CN102542261B (zh) * 2011-12-31 2014-03-26 华中科技大学 一种二维可计算的目标探测、识别及辨识性能预测方法
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
US9399111B1 (en) 2013-03-15 2016-07-26 Aic Innovations Group, Inc. Method and apparatus for emotional behavior therapy
US9317916B1 (en) 2013-04-12 2016-04-19 Aic Innovations Group, Inc. Apparatus and method for recognition of medication administration indicator
US9436851B1 (en) 2013-05-07 2016-09-06 Aic Innovations Group, Inc. Geometric encrypted coded image
JP6217225B2 (ja) * 2013-08-08 2017-10-25 カシオ計算機株式会社 画像照合装置、画像照合方法及びプログラム
US9824297B1 (en) 2013-10-02 2017-11-21 Aic Innovations Group, Inc. Method and apparatus for medication identification
US9679113B2 (en) 2014-06-11 2017-06-13 Aic Innovations Group, Inc. Medication adherence monitoring system and method
US11170484B2 (en) 2017-09-19 2021-11-09 Aic Innovations Group, Inc. Recognition of suspicious activities in medication administration
CN111986089A (zh) * 2020-08-28 2020-11-24 计易数据科技(上海)有限公司 特征值整数化的图像存储与比对方法、装置、设备和介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02311962A (ja) 1989-05-29 1990-12-27 Kougakuin Univ 顔画像による個人識別方法と装置
US5499306A (en) * 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
US5828769A (en) * 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
JPH10271326A (ja) * 1997-03-21 1998-10-09 Sharp Corp 画像処理装置
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
JP2002208013A (ja) * 2001-01-12 2002-07-26 Victor Co Of Japan Ltd 画像領域抽出装置及び画像領域抽出方法
JP4737576B2 (ja) * 2001-02-01 2011-08-03 日本電気株式会社 ストローク抽出装置、ストローク抽出方法及びストローク抽出用プログラムを記録した記録媒体
JP2002318998A (ja) * 2001-02-15 2002-10-31 Nippon Telegr & Teleph Corp <Ntt> パターン入力方法、プログラム、およびそのプログラムを記録した記録媒体
US7054468B2 (en) * 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
JP3903783B2 (ja) * 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
JP3979136B2 (ja) 2002-03-20 2007-09-19 富士ゼロックス株式会社 認識装置および方法
JP3649328B2 (ja) * 2002-04-10 2005-05-18 日本電気株式会社 画像領域抽出方法および装置
JP4292837B2 (ja) * 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
EP1394727B1 (en) * 2002-08-30 2011-10-12 MVTec Software GmbH Hierarchical component based object recognition
JP4225807B2 (ja) * 2003-03-10 2009-02-18 富士通株式会社 路面状況判定方法および装置
US7492924B2 (en) * 2003-07-18 2009-02-17 Intel Corporation Face tracking
JP4185433B2 (ja) * 2003-10-20 2008-11-26 株式会社国際電気通信基礎技術研究所 リアルタイムの物体検出及び認識システム並びにコンピュータで実行可能なプログラム

Also Published As

Publication number Publication date
US20050180610A1 (en) 2005-08-18
US7590266B2 (en) 2009-09-15
JP2005234810A (ja) 2005-09-02
CN1658219A (zh) 2005-08-24
CN1331084C (zh) 2007-08-08

Similar Documents

Publication Publication Date Title
JP4483334B2 (ja) 画像処理装置
US9053388B2 (en) Image processing apparatus and method, and computer-readable storage medium
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
US7876931B2 (en) Face recognition system and method
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP5505409B2 (ja) 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
US20080219516A1 (en) Image matching apparatus, image matching method, computer program and computer-readable storage medium
JP2021517330A (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
JP5777380B2 (ja) 画像認識装置、画像認識方法、及びプログラム
EP1495437B1 (en) Robust face registration via multiple face prototypes synthesis
Ouanan et al. Facial landmark localization: Past, present and future
Srivastava et al. Face recognition using optimal linear components of range images
Kar et al. A multi-algorithmic face recognition system
JP2007122097A (ja) 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム
JP2008251039A (ja) 画像認識システム及びその認識方法並びにプログラム
JP3729581B2 (ja) パターン認識・照合装置
JP2012221053A (ja) 画像認識装置、画像認識方法、及びプログラム
Omaia et al. 2D-DCT distance based face recognition using a reduced number of coefficients
JP2023082065A (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのidを検証するための方法
JP7270304B2 (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別することにより当該ユーザのidを検証するための方法、及び当該方法を実施するためのモバイル装置
Kaushik et al. Study of face recognition techniques
JP3995614B2 (ja) パターン認識用辞書生成装置及び方法、パターン認識装置及び方法
Singh et al. Genetic algorithm implementation to optimize the hybridization of feature extraction and metaheuristic classifiers
Luciano et al. Automated multimodal biometrics using face and ear
Makhmudkhujaev et al. Person-Independent Facial Expression Recognition with Histograms of Prominent Edge Directions.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070119

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071112

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4