JPWO2011086803A1

JPWO2011086803A1 - 画像照合システム、画像照合方法、コンピュータプログラム

Info

Publication number: JPWO2011086803A1
Application number: JP2011549884A
Authority: JP
Inventors: 康志浜田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2010-01-12
Filing date: 2010-12-14
Publication date: 2013-05-16
Also published as: EP2525322A1; CN102713975A; US20120314904A1; CN102713975B; US8938132B2; WO2011086803A1; EP2525322A4

Abstract

画像照合に関する新しい枠組みを提供する。本発明の画像照合システムは、参照物体の３次元データを記憶する３次元データ記憶手段と、照合対象物体の画像と前記３次元データ記憶手段に記憶されている前記参照物体の３次元データとにおける大域的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第１の撮影方向を推定する第１方向推定手段と、前記３次元データに基づいて前記参照物体の前記第１の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第１の撮影方向に対応する画像とにおける局所的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第２の撮影方向を推定する第２方向推定手段と、前記３次元データに基づいて前記参照物体の前記第２の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第２の撮影方向に対応する画像とが一致するかどうかを判定する画像一致判定手段とを備える。

Description

本発明は、画像照合技術に関する。

顔画像の照合技術として、非正面の顔画像を用いる照合技術がある。このような非正面顔画像を用いる照合技術は、被撮影者に撮像装置へ顔を向けることを強制する必要がないので、利便性が非常に高い。

顔画像の照合技術の一例として、下記特許文献１には、例えば、物体の画像上で輝度値が大きく変化する目や口などの特徴的な領域や点（特徴点）の位置を登録物体の画像と対象物体の入力画像とからそれぞれ検出し、特徴点の位置がもっとも近くなるような画像を求めることで対象物体の位置姿勢等を計算することが記載されている。

また、下記非特許文献１には、顔に存在するほくろ、しわ、そばかす、微小な凹凸などの微小な特徴の中から、二枚の画像間で相互に対応する組み合わせを対応特徴点として求め、対応特徴点それぞれの類似度と配置に基づいて、二枚の画像の照合スコアを計算することが記載されている。

特許第４１６７３９０号公報

"微小な構造特徴点の対応付けに基づく顔画像照合"、信学技報, vol. 108, no. 198, PRMU2008-75, pp. 175-180, ２００８年９月、浜田康志，今岡仁

しかしながら、特許文献１の技術では、例えば対象となる人が横を向いている場合には、顔の正面に偏って存在する特徴点（例えば、目や口など）の一部が検出できず、参照画像との照合精度が低くなる。

また、非特許文献１の技術では、照合対象物の撮影方向が参照物体の撮影方向と大きく異なる場合、対応する特徴点を検出できない或いは対応する特徴点を検出するのに膨大な処理が必要になる。

本発明は、画像照合に関する新しい枠組みを提供することを目的とする。

本発明の画像照合システムは、参照物体の少なくとも形状及びテクスチャを表す３次元データを記憶する３次元データ記憶手段と、照合対象物体の画像と前記３次元データ記憶手段に記憶されている前記参照物体の３次元データとにおける大域的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第１の撮影方向を推定する第１方向推定手段と、前記３次元データに基づいて前記参照物体の前記第１の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第１の撮影方向に対応する画像とにおける局所的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第２の撮影方向を推定する第２方向推定手段と、前記３次元データに基づいて前記参照物体の前記第２の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第２の撮影方向に対応する画像とが一致するかどうかに基づき、前記照合対象物体が前記参照物体に対応するか否かを判定する画像一致判定手段と、を備えることを特徴とする。

本発明の実施態様では、前記第２方向推定手段は、前記照合対象物体の画像と前記参照物体の前記第１の撮影方向に対応する画像とにおいて対応する部分領域を抽出し、該抽出した対応する部分領域同士が重なるように、前記参照物体の第２の撮影方向を決定してもよい。

本発明の別の実施態様では、前記第２方向推定手段は、前記参照物体の前記第１の撮影方向に対応する画像における部分領域ごとに、前記照合対象物体の画像における部分領域にそれぞれ最大限類似するように撮影方向を変更し、且つ最も類似度の高い前記照合対象物体の画像における部分領域を対応する部分領域として決定してもよい。

本発明のまた別の実施態様では、前記画像一致判定手段は、前記参照物体の前記第２の撮影方向に対応する画像と前記照合対象物体の画像とにおいて大域的特徴及び局所的特徴をそれぞれ比較した結果に基づいて、両画像が一致するかどうかを判定してもよい。

本発明のさらに別の実施態様では、前記照合対象物体及び前記参照物体は、人の顔であり、前記局所的特徴は、前記顔のほくろ、しみ、そばかす、毛穴、及び肌の凹凸の少なくとも１つに基づく画像特徴である。

本発明の画像照合方法は、照合対象物体の画像と３次元データ記憶手段に記憶されている参照物体の少なくとも形状及びテクスチャを表す３次元データとにおける大域的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第１の撮影方向を推定する第１方向推定ステップと、前記３次元データに基づいて前記参照物体の前記第１の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第１の撮影方向に対応する画像とにおける局所的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第２の撮影方向を推定する第２方向推定ステップと、前記３次元データに基づいて前記参照物体の前記第２の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第２の撮影方向に対応する画像とが一致するかどうかに基づき、前記照合対象物体が前記参照物体に対応するか否かを判定する画像一致判定ステップと、を含むことを特徴とする。

本発明のコンピュータプログラムは、上記画像照合方法をコンピュータに実行させるためのコンピュータプログラムである。

なお、本発明において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の手段や装置の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、大域的特徴に基づいて参照物体の大まかな撮影方向（第１の撮影方向）を推定した後、局所的特徴に基づいて参照物体のより詳細な撮影方向（第２の撮影方向）を推定するという段階的な撮影方向推定処理を採用することで、高い精度で参照物体の撮影方向を推定することができる。また、参照物体のより詳細な撮影方向（第２の撮影方向）の推定は、先立って推定した大まかな撮影方向（第１の撮影方向）に基づいて行うことができるので、処理効率を格段に高めることができる。

第１実施形態の画像照合システムの全体構成を示す図である。画像照合処理のフローチャートである。参照物体の第１の撮影方向及び第２の撮影方向のそれぞれの推定方法を模式的に説明する図である。第２方向推定処理のフローチャートである。参照物体の第２の撮影方向の推定方法をより詳細に模式的に説明する図である。

以下、本発明の実施形態として、照合対象物体である人の顔が、参照物体として予め記憶された顔と一致するかどうかを判定するための枠組みについて、図面を参照して説明する。

図１は、第１実施形態の画像照合システム１の全体構成を示す。

画像照合システム１は、通信回線を介して通信可能に構成された、カメラ１００と、記憶装置１０２と、データ処理装置１０４とを含む。通信回線は、ＬＡＮ、ＷＡＮ、ＢｌｕｅＴｏｏｔｈ、ＵＳＢケーブル等の周知の技術を単独で用いて又は組み合わせて構成することができる。

カメラ１００は、照合対象物体としての人の顔を撮影し、画像データを出力する機能を備える。

記憶装置１０２は、参照物体としての人の顔の３次元データを記憶する手段である。顔の３次元データとしては、例えば、少なくとも顔の３次元形状や顔表面のテクスチャパタンに関するデータを記憶しておくことが考えられる。なお、本実施形態では、記憶装置１０２は、データ処理装置１０４の外部装置として説明するが、データ処理装置１０４に備えられていてもよい。

データ処理装置１０４は、一般的なコンピュータを用いて構成することが可能であり、ハードディスクに記憶されたコンピュータプログラムをＣＰＵがＲＡＭ上に読み出して実行することにより機能的に実現される手段として、第１方向推定手段１１１と、第２方向推定手段１１３と、画像一致判定手段１１５とを含む。

第１方向推定手段１１１は、照合対象物体の画像と記憶装置１０２に記憶されている参照物体の３次元データとにおける大域的特徴を比較することにより、照合対象物体の撮影方向に整合する参照物体の第１の撮影方向を推定する。本発明において、大域的特徴は、照合対象物体及び参照物体のそれぞれの画像を大域的に観察した場合に検出し得る比較的大きな画像特徴である。本実施形態では、大域的特徴として、顔の表面において規則的な数や配置で存在し、容易に検出できる、目、眉、口、及び鼻などの部位の画像特徴を用いるものとする。なお、顔画像の大域的特徴は、例えば顔の右側から撮影する場合には左目の画像特徴を検出するのが難しいなど、撮影方向によっては検出が困難な場合がある。

第２方向推定手段１１３は、記憶装置１０２に格納されている３次元データに基づいて参照物体の第１の撮影方向に対応する画像（参照物体を当該撮影方向から見た状態を表す画像）を生成し、照合対象物体の画像と該生成した第１の撮影方向に対応する画像とにおける局所的特徴を比較することにより、照合対象物体の撮影方向に整合する参照物体の第２の撮影方向を推定する。

本発明において、局所的特徴は、照合対象物体及び参照物体それぞれの画像を局所的に観察した場合に検出し得る比較的小さい画像特徴である。本実施形態では、局所的特徴として、顔の表面全体に亘って不規則な数や配置で存在する、ほくろ、しわ、そばかす、毛穴、及び肌の凹凸など、肌表面の微細な文様を表す画像特徴を用いる。なお、顔画像の局所的特徴は、照合対象物体及び参照物体の撮影方向にかかわらず常に検出可能であるが、撮影方向によって変形し易いという特徴を有する。

画像一致判定手段１１５は、記憶装置１０２に格納されている３次元データに基づいて参照物体の第２の撮影方向に対応する画像を生成し、該生成した画像と照合対象物体の画像とにおいて大域的特徴及び局所的特徴をそれぞれ比較し、それぞれの比較結果に基づいて、両画像が一致するかどうかを判定し、さらに該判定結果に基づき、照合対象物体が参照物体に対応するか否かを判定する。

図２は、画像照合システム１による画像照合処理の流れを示すフローチャートであり、図３は、参照物体の撮影方向推定処理の流れを模式的に説明する図である。以下、図２及び図３を参照して、画像照合処理について説明する。なお、本明細書において、フローチャート等に示す各工程（符号が付与されていない部分的な工程を含む）は処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。

まず、カメラ１００が照合対象物体である人の顔を撮影すると、データ処理装置１０４の第１方向推定手段１１１は、その顔の画像（照合対象画像）を取得する（Ｓ１０１）。なお、照合対象物体の画像は、任意の撮影方向から撮影されたものを用いることができる。

次に、第１方向推定手段１１１は、照合対象画像と記憶装置１０２から読み出した参照物体の形状及びテクスチャを表す３次元データとにおける大域的特徴を比較することにより、図３の上段に示すように、照合対象物体の撮影方向に整合する参照物体の大まかな撮影方向（第１の撮影方向）を推定する（ステップS１０２）。なお、参照物体の第１の撮影方向は、例えば特許文献１に記載されている方法を用いて推定することができる。

次に、第２方向推定手段１１３は、上記推定した参照物体の第１の撮影方向を初期値として、図３の下段に示すように、さらに参照物体のより詳細な撮影方向（第２の撮影方向）を推定する（Ｓ１０３）。具体的には、記憶装置１０２に格納されている３次元データに基づいて参照物体の第１の撮影方向に対応する画像を生成し、該生成した第１の撮影方向に対応する画像と照合対象画像とにおける局所的特徴を比較することにより、照合対象物体の撮影方向に整合する参照物体の第２の撮影方向を推定する。参照物体の第２の撮影方向は、例えば非特許文献１に記載されているように、顔表面から観測される多数の微小な特徴点の中から、参照画像（ここでは、参照物体の第１の撮影方向に対応する画像）と照合対象画像との間で尤もらしい対応を求め、対応する特徴点の位置及び形状が一致するように参照物体の撮影方向を決定する方法を用いることができる。なお、参照物体の第２の撮影方向の推定処理の詳細については、図４及び図５を参照して後述する。

参照物体の第２の撮影方向が推定されると、画像一致判定手段１１５は、記憶装置１０２に格納されている３次元データに基づいて参照物体の第２の撮影方向に対応する画像を参照画像として生成し（Ｓ１０４）、該生成した参照画像と照合対象画像とにおいて、大域的特徴の比較（Ｓ１０５）及び局所的特徴の比較（Ｓ１０６）を行い、それぞれの比較結果に基づいて、両画像が一致するかどうかを判定し（Ｓ１０７）、さらに該判定結果に基づき、照合対象物体が参照物体に対応するかどうかを判定する（Ｓ１０８）。

具体的には、参照画像と照合対象画像とにおいて大域的特徴を比較することにより、参照画像と照合対象画像の第１の類似度を算出する。なお、大域的特徴の比較による画像照合方法としては、特許文献１に記載の方法を用いることができる。

また、参照画像と照合対象画像とにおいて局所的特徴を比較することにより、参照画像と照合対象画像の第２の類似度を算出する。第２の類似度としては、例えば非特許文献１に記載されている照合スコアを用いることができる。

そして、画像一致判定手段１１５は、参照画像と照合対象画像とにおいて行った大域的特徴と局所的特徴それぞれの比較の結果、すなわち第１の類似度と第２の類似度とに基づいて、参照画像と照合対象画像が一致するかどうかを判定する。判定方法としては、例えば、第１の類似度と第２の類似度の統計値（平均値、最大値、最小値、又は重みづけ和など）を所定の閾値と比較し、統計値が閾値より大きいことを条件に、両画像が一致したものと判定することが考えられる。また、画像一致判定手段１１５は、照合対象画像と参照画像が一致するかどうかに基づき、画像照合処理の結果、すなわち照合対象物体が参照物体に対応するかどうか、モニタやスピーカを介して出力するものとする。例えば、両画像が一致すると判定した場合は、照合対象物体が参照物体に対応する旨の情報を出力するものとする。

図４は、データ処理装置１０４の第２方向推定手段１１３による参照物体の第２の撮影方向の推定処理をより詳細に説明するフローチャートであり、図５は、かかる第２方向推定処理の流れをより詳細に模式的に示す図である。以下、図４及び図５を参照して、第２方向推定処理について詳述する。

まず、第２方向推定手段１１３は、照合対象画像と参照物体の第１の撮影方向に対応する画像とから局所的特徴をそれぞれ抽出する（Ｓ４０１，Ｓ４０２）。なお、局所的特徴の抽出方法は、例えば非特許文献１に記載されている方法を用いることができる。

次に、第２方向推定手段１１３は、照合対象画像から、局所的特徴（特徴点）を含む１以上の所定範囲の部分領域（対象部分領域）を決定する（Ｓ４０３）。また、参照物体の第１の撮影方向の画像からも、同様に部分領域（参照部分領域）を決定する（Ｓ４０４）。

次に、第２方向推定手段１１３は、対象部分領域と参照部分領域とを順次参照し、対応する対象部分領域と参照部分領域の組み合わせを求める。

まず、対象部分領域と参照部分領域からそれぞれ１つずつ部分領域を選択し（Ｓ４０５，Ｓ４０６）、参照部分領域に所定の変換処理を施す（Ｓ４０７）。

具体的には、第２方向推定手段１１３は、照合対象画像と参照画像（参照物体の第１の撮影方向に対応する画像）とにおいて、参照している部分領域同士が整合する（類似する）ように、参照物体（詳細には参照部分領域）の撮影方向を変更する。より詳細には、第２方向推定手段１１３は、参照部分領域ごとに、対象部分領域にそれぞれ最大限類似するように撮影方向を変更する。

そして、変更後の撮影方向に対応する参照部分領域が対象部分領域と整合するかどうかを、例えば類似度を所定の閾値と比較するなどして判断し（Ｓ４０８）、両部分領域が整合すると判断した場合には、これら部分領域の組み合わせ（対応部分領域）を記憶する（Ｓ４０９）。このようにして、全ての部分領域についてＳ４０５〜４０９の処理を繰り返すことにより、複数の部分領域についての対応関係（対応部分領域）が決定する。なお、第２方向推定手段１１３は、参照部分領域ごとに、最も類似度の高い対象部分領域を対応する部分領域として決定するものとし、Ｓ４０５〜４０９の処理を繰り返すことで、例えば既に実行した対応部分領域の決定処理（Ｓ４０８及びＳ４０９）において決定された対応部分領域よりも類似度の高い部分領域の組み合わせを見付けた場合には、該類似度の高い部分領域の組み合わせを対応部分領域として記憶する（例えば、上書きする）ものとする。

全ての部分領域の対応関係が判定されるまで上記Ｓ４０５〜４０９の処理を繰り返した後（Ｓ４１０の判断がＹｅｓ）、Ｓ４０８で求めた対応部分領域に基づいて、参照物体の第２の撮影方向を決定する（Ｓ４１１）。

具体的には、記憶装置１０２に記憶されている３次元データを用いて、照合対象画像と参照画像とにおいて対応部分領域それぞれが最も良く重なり合うように（例えば、重複する領域の画素数が最大となるように）、参照物体の第２の撮影方向を決定する。

以上のように、本発明では、大域的特徴に基づいて参照物体の大まかな撮影方向（第１の撮影方向）を推定した後、局所的特徴に基づいて参照物体のより詳細な撮影方向（第２の撮影方向）を推定することにより、照合対象物体の画像が大域的特徴を観測するのが困難な撮影方向に対応する場合（例えば、横顔の画像）であっても、照合対象物体の表面全体から観測可能な局所的特徴に基づいてより詳細な撮影方向を推定し、画像照合を行うことができる。

さらにいうと、照合対象物体及び参照物体として人の顔を扱う場合、大域的特徴として目、眉、鼻、及び口を利用し、局所的特徴としてほくろ、しみ、そばかす、毛穴、及び肌の凹凸を利用できるが、目や口は、顔正面側に偏って存在しているため、大域的特徴だけで姿勢を推定する場合、横顔に近い顔向きでは姿勢推定精度が低下する。一方、局所的特徴（ほくろなどの肌の文様等を表す画像特徴）は、顔全体の肌表面で検出できるため、照合対象物体（顔）がどのような撮影方向から撮影された場合であっても、高精度に撮影方向を推定することができる。

また、大域的特徴に基づいて参照物体の大よその撮影方向（第１の撮影方向）が推定されるため、局所的特徴の対応付け候補が絞り込まれ、処理効率を高めることができる。

また、本発明のように、大域的特徴に基づいて参照物体の大まかな撮影方向（第１の撮影方向）を推定した後に、局所的特徴に基づいて参照物体のより詳細な撮影方向（第２の撮影方向）を推定するという段階的な撮影方向推定処理を採用することで、双子のように、類似する大域的特徴を有するそれぞれの顔の画像を照合する場合でも、ほくろなどの局所的特徴の差異により、精度良く一致するか否かを判定することができる。

この出願は、２０１０年１月１２日に出願された日本出願特願２０１０−３８３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明の用途としては、顔画像の照合による本人認証システムや、画像照合による画像検索システムや、顔向きに基づいてコンピュータを操作する枠組み（ヒューマンインタフェース）等への適用が考えられる。

１…画像照合システム、１００…カメラ、１０２…記憶装置、１０４…データ処理装置
、１１１…第１方向推定手段、１１３…第２方向推定手段、１１５…画像一致判定手段

Claims

参照物体の少なくとも形状及びテクスチャを表す３次元データを記憶する３次元データ記憶手段と、
照合対象物体の画像と前記３次元データ記憶手段に記憶されている前記参照物体の３次元データとにおける大域的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第１の撮影方向を推定する第１方向推定手段と、
前記３次元データに基づいて前記参照物体の前記第１の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第１の撮影方向に対応する画像とにおける局所的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第２の撮影方向を推定する第２方向推定手段と、
前記３次元データに基づいて前記参照物体の前記第２の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第２の撮影方向に対応する画像とが一致するかどうかに基づき、前記照合対象物体が前記参照物体に対応するか否かを判定する画像一致判定手段と、
を備えることを特徴とする画像照合システム。
前記第２方向推定手段は、前記照合対象物体の画像と前記参照物体の前記第１の撮影方向に対応する画像とにおいて対応する部分領域を抽出し、該抽出した対応する部分領域同士が重なるように、前記参照物体の第２の撮影方向を決定する、請求項１に記載の画像照合システム。
前記第２方向推定手段は、前記参照物体の前記第１の撮影方向に対応する画像における部分領域ごとに、前記照合対象物体の画像における部分領域にそれぞれ最大限類似するように撮影方向を変更し、且つ最も類似度の高い前記照合対象物体の画像における部分領域を対応する部分領域として決定する、請求項２に記載の画像照合システム。
前記画像一致判定手段は、前記参照物体の前記第２の撮影方向に対応する画像と前記照合対象物体の画像とにおいて大域的特徴及び局所的特徴をそれぞれ比較した結果に基づいて、両画像が一致するかどうかを判定する、請求項１乃至３のいずれかに記載の画像照合システム。
前記照合対象物体及び前記参照物体は、人の顔であり、前記局所的特徴は、前記顔のほくろ、しみ、そばかす、毛穴、及び肌の凹凸の少なくとも１つに基づく画像特徴である、請求項１乃至４のいずれかに記載の画像照合システム。
照合対象物体の画像と３次元データ記憶手段に記憶されている参照物体の少なくとも形状及びテクスチャを表す３次元データとにおける大域的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第１の撮影方向を推定する第１方向推定ステップと、
前記３次元データに基づいて前記参照物体の前記第１の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第１の撮影方向に対応する画像とにおける局所的特徴を比較することにより、前記照合対象物体の撮影方向に整合する前記参照物体の第２の撮影方向を推定する第２方向推定ステップと、
前記３次元データに基づいて前記参照物体の前記第２の撮影方向に対応する画像を生成し、前記照合対象物体の画像と該生成した第２の撮影方向に対応する画像とが一致するかどうかに基づき、前記照合対象物体が前記参照物体に対応するか否かを判定する画像一致判定ステップと、
を含むことを特徴とする画像照合方法。
請求項６の画像照合方法をコンピュータに実行させるコンピュータプログラム。