JPWO2014112346A1 - 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム - Google Patents

特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム Download PDF

Info

Publication number
JPWO2014112346A1
JPWO2014112346A1 JP2014557390A JP2014557390A JPWO2014112346A1 JP WO2014112346 A1 JPWO2014112346 A1 JP WO2014112346A1 JP 2014557390 A JP2014557390 A JP 2014557390A JP 2014557390 A JP2014557390 A JP 2014557390A JP WO2014112346 A1 JPWO2014112346 A1 JP WO2014112346A1
Authority
JP
Japan
Prior art keywords
feature point
point position
target image
initial information
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014557390A
Other languages
English (en)
Other versions
JP6387831B2 (ja
Inventor
雄介 森下
雄介 森下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014112346A1 publication Critical patent/JPWO2014112346A1/ja
Application granted granted Critical
Publication of JP6387831B2 publication Critical patent/JP6387831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本発明の特徴点位置検出装置は、対象画像に応じて外部からの特徴点位置初期情報を入力し、特徴点位置初期情報と特徴点位置推定辞書情報とから対象画像の所望の点数の特徴点推定位置を推定し、特徴点推定位置から対象画像の特徴点位置探索の探索パラメータを求め、探索パラメータに基づいて対象画像のモデルのパラメータフィッティングを行うことで対象画像の特徴点位置を検出する。

Description

本発明は、顔などの画像から目や鼻などの特徴点の位置を検出するための特徴点位置検出技術に関する。
特徴点位置検出とは、顔などの画像中から目、鼻、口などの器官の特徴点位置を検出することであり、高精度な顔認証や表情認識などのために重要な技術となっている。
顔の特徴点位置を検出する技術として、例えばＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）が知られている（非特許文献１）。ＡＡＭでは、複数の顔画像とそれらの画像に予め入力された特徴点位置の情報から、統計的手法により顔のテクスチャと形状に関するモデルを構築し、このモデルを検出対象の顔が含まれる画像にフィッティングする。そして、検出対象の顔画像とモデルから計算される顔画像が近くなるようにモデルのパラメータを繰り返し更新することで、特徴点位置を検出する。ＡＡＭは提案されて以来様々な拡張がなされており、横顔の検出に対応させるために複数のモデルを組み合わせる方法や、高速化、高精度化のための改良が提案されている。
ＡＡＭではモデルのフィッティングを行う際の初期値（初期パラメータ）の影響を強く受けることが知られている。その問題に対処するため、例えば非特許文献２では、円柱型の頭部モデルを用いてＡＡＭのパラメータを推定することで特徴点検出の性能を改善している。また、特許文献１では、顔の向きの変化に対応するために、顔画像を回転させることにより、顔の向きの変化にロバストな識別手法を提供している。
特開２００９−１５７７６７号公報
Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ．"Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ"，ＩＥＥＥ ＰＡＭＩ，Ｖｏｌ．２３，Ｎｏ．６，ｐｐ．６８１−６８５，２００１． Ｊａｅｗｏｎ Ｓｕｎｇ，ｅｔ ａｌ．，"Ｐｏｓｅ Ｒｏｂｕｓｔ Ｆａｃｅ Ｔｒａｃｋｉｎｇ ｂｙ Ｃｏｍｂｉｎｉｎｇ Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ ａｎｄ Ｃｙｌｉｎｄｅｒ Ｈｅａｄ Ｍｏｄｅｌｓ，"ＩＪＣＶ，２００８． Ｄ．Ｃｒｉｓｔｉｎａｃｃｅ ａｎｄ Ｔ．Ｆ．Ｃｏｏｔｅｓ，"Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｓｈａｐｅ Ｃｏｎｓｔｒａｉｎｅｄ Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｄｅｔｅｃｔｏｒｓ，"Ｉｎ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ２００４，Ｋｏｒｅａ，ｐｐ．３５７−３８０，２００４．
しかしながら、顔の表情変動や個人変動、姿勢変動により、様々に変化する顔画像に対して正確にＡＡＭをフィッティングするには、非特許文献２の頭部モデルを用いることや、特許文献１の顔画像を回転させるだけでは、情報量が少ないといった問題があった。その結果、表情変動や個人変動、姿勢変動による顔画像の変化があった場合、モデルのフィッティングが局所解に陥るなどの支障が生じ、高精度な顔特徴点位置の検出が困難であった。
本発明は、上記の課題を解決するためになされたものであり、その目的は、対象とする顔などの画像の、表情変動や個人変動、姿勢変動などによる様々な変化に対しても、モデルのフィッティングが局所解に陥ることを防ぐことのできる、高精度な特徴点検出を可能とすることである。
本発明による特徴点位置推定装置は、対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段とを備えている。
本発明による特徴点位置推定方法は、対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求め、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する。
本発明による特徴点位置推定プログラムは、特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求める処理と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する処理と、を実行させる。
本発明によれば、対象とする顔などの画像の、表情変動や個人変動、姿勢変動などによる様々な変化に対しても、モデルのフィッティングが局所解に陥ることを防いだ、高精度な特徴点検出が可能となる。
本発明の実施形態の特徴点位置検出装置の構成を示すブロック図である。 本発明の実施形態の特徴点位置検出装置の動作を示すフローチャートである。 本発明の実施形態の特徴点位置検出装置が処理の対象とする顔画像の例を示す図である。 本発明の実施形態の特徴点位置検出装置の特徴点位置初期情報入力手段が入力する特徴点位置初期情報の例を示す図である。 本発明の実施形態の特徴点位置検出装置の特徴点推定位置推定手段が推定する特徴点推定位置の例を示す図である。
以下、図を参照しながら、本発明の最良の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。
本発明の実施形態の特徴点位置検出装置について、図面を参照して説明する。図１は、本発明の実施形態の顔などの画像の特徴点の位置を検出する特徴点位置検出装置１の構成を示すブロック図である。
図１に示すように、本実施形態の特徴点位置検出装置１は、データ処理装置１００と記憶装置２００とを有する。データ処理装置１００は、顔などの画像の特徴点位置初期情報を入力する特徴点位置初期情報入力手段１１０と、特徴点推定位置を推定する特徴点推定位置推定手段１２０と、モデルパラメータ計算手段１３０と、特徴点位置を探索する顔特徴点位置探索手段１４０とを有する。記憶装置２００は、顔などの画像の特徴点位置推定辞書を記憶する特徴点位置推定辞書記憶手段２１０を有する。
特徴点位置初期情報入力手段１１０は、外部から特徴点位置の初期情報を顔などの画像３００に応じて入力する。特徴点位置の初期情報とは、例えば、外部の任意の、画像の特徴点の検出装置で得られる目、鼻、口などの特徴点位置の情報である。特徴点推定位置推定手段１２０は、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする画像３００における所望の点数の特徴点推定位置を推定する。
モデルパラメータ計算手段１３０は、特徴点推定位置推定手段１２０で推定した特徴点推定位置を基に、特徴点位置の探索における探索パラメータを求める。探索パラメータについては、後述のより具体的な実施形態の説明で詳しく述べる。特徴点位置探索手段１４０は、モデルパラメータ計算手段１３０で求めた探索パラメータを初期値とすることに基づいて、画像３００の目や鼻や口などのモデルのパラメータフィッティングを行うことによって特徴点位置の探索を行い、特徴点位置３１０を検出する。
次に、特徴点位置検出装置１の動作について、図面を参照して説明する。図２は、図１に示す特徴点位置検出装置１の動作を示すフローチャートである。
まず、特徴点位置初期情報入力手段１１０が、外部から特徴点位置の初期情報を顔画像などの画像３００に応じて入力する（ステップＳ１１１）。次に、特徴点推定位置推定手段１２０が、Ｓ１１１で入力された特徴点位置の初期情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする画像３００における所望の点数の特徴点推定位置を推定する（ステップＳ１１２）。
次に、モデルパラメータ計算手段１３０が、Ｓ１１２で推定した特徴点推定位置を基に、特徴点位置の探索における探索パラメータを求める（ステップＳ１１３）。次に、特徴点位置探索手段１４０が、Ｓ１１３で求めた探索パラメータを初期値とすることに基づいて、モデルのパラメータフィッティングを行うことによって特徴点位置の探索を行い、特徴点位置３１０を検出する（ステップＳ１１４）。
本実施形態によれば、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点位置探索手段１４０における適切なモデルパラメータの初期値、つまり、より正解に近いモデルパラメータを特徴点位置探索手段１４０の初期値とすることに基づいて、特徴点位置探索を行うことができる。これにより、特徴点位置探索時に局所解に陥ることが防がれ、高精度な特徴点位置の検出が可能となる。
次に、本実施形態の構成と動作とについて、さらに具体的に説明する。
図１に示す実施形態の特徴点位置検出装置１において、記憶装置２００は、例えば、半導体メモリまたはハードディスクによって実現される。特徴点位置初期情報入力手段１１０、特徴点推定位置推定手段１２０、モデルパラメータ計算手段１３０、および、特徴点位置探索手段１４０は、例えば、プログラム制御に従って処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。また、特徴点位置推定辞書記憶手段２１０は、例えば、半導体メモリまたはハードディスクによって実現される。
特徴点位置初期情報入力手段１１０は、外部からの特徴点位置の初期情報を、画像３００に応じて、特徴点推定位置推定手段１２０に入力する。画像３００に応じてとは、顔画像などの画像の人物を予め特定しておくことなどにより可能である。特徴点位置の初期情報とは、例えば、外部の任意の特徴点の検出装置などから予め得ることができる、目、鼻、口などの特徴点の位置（座標）である。
特徴点位置の座標は、特徴点位置検出装置１が処理対象とする画像上の特徴点の位置を、特徴点位置ごとにそれぞれｘ座標値、ｙ座標値の二つの数字の組として表す。外部の特徴点位置の初期情報の入力には、例えば、外部の任意の特徴点の検出装置を繋ぐことや、非特許文献３の特徴点の検出技術を用いること、あるいは、人間の手による特徴点位置の入力などが可能である。
図３は、特徴点位置検出装置１が処理の対象とする画像３００の例である顔画像３０１を示す図である。また、図４は、特徴点位置初期情報入力手段１１０で入力する顔特徴点位置初期情報３０２を、顔画像３０１に重ね合わせて示した図である。図４では、特徴点位置初期情報入力手段１１０で入力する顔特徴点位置初期情報３０２が×印で示されている。ここでは、左右の眉の両端部と、左右の目の中央部および両端部と、鼻の下部と、口の両端部および中央部との１４点に×印が付されている。
特徴点推定位置推定手段１２０は、特徴点位置初期情報入力手段１１０から入力された顔特徴点位置初期情報３０２、ここでは顔特徴点位置の座標値の情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする顔画像３０１に応じた所望の点数の顔特徴点推定位置を推定する。図５では、顔特徴点推定位置３０３を×印で、顔画像３０１に重ね合わせて示している。所望の点数の顔特徴点推定位置３０３の推定は、例えば、正準相関分析により行うことができる。また、所望の点数は、個別に指定することができる。
ここでは、特徴点推定位置推定手段１２０が、特徴点位置初期情報入力手段１１０から入力された１４個の顔特徴点位置初期情報３０２の座標値から、正準相関分析により、７５個の顔特徴点推定位置３０３の座標値を推定する場合を示す。正準相関分析は多変量群間の相関関係を分析する手法である。ここで、１４個の顔特徴点位置初期情報３０２の二次元座標値を縦に並べた２８次元のベクトルをｘとおくと、７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルｙは、
（数１）
Figure 2014112346
により計算される。ただし、数１のＴはベクトル及び行列の転置を表す。また、Ｕ、Ｖ、Λは正準相関分析により求まる行列であり、それぞれ、Ｕはベクトルｘの正準変量を求める行列で大きさは２８×ｒ、Ｖはベクトルｙの正準変量を求める行列で大きさは１５０×ｒ、Λは正準相関の２乗を対角成分に持つ行列で大きさはｒ×ｒ、を意味する。なお、ｒはｘとｙの次元以下の正の整数であり、ここでは１から２８までの間の任意の整数である。さらに、ｘ０、ｙ０は、それぞれ、ｘ０は１４個の顔特徴点位置初期情報３０２の二次元座標値の平均値を縦に並べた２８次元ベクトル、ｙ０は７５個の顔特徴点推定位置３０３の二次元座標値の平均値を縦に並べた１５０次元ベクトルである。Λ、Ｕ、Ｖ、ｘ０、ｙ０は、特徴点位置推定辞書記憶手段２１０に記憶される。
モデルパラメータ計算手段１３０は、特徴点推定位置推定手段１２０で推定した顔特徴点推定位置３０３を基に、顔の特徴点位置の探索における探索パラメータを求める。ここでは、特徴点推定位置推定手段１２０において１４点の顔特徴点位置初期情報３０２の座標値から７５点の顔特徴点推定位置３０３の座標値を推定した場合の例を示す。７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルをｙ、顔特徴点位置探索手段１４０の顔の形状に関するモデルをＳ、顔のテクスチャに関するモデルをＴ、形状に関するモデルＳとテクスチャに関するモデルＴの統合モデルをＡとしたとき、探索パラメータｐは、
（数２）
Figure 2014112346
により計算される。数２のＳ（ｙ）、Ｔ（ｙ）はそれぞれ、ｙを入力として、予め定義されたモデルＳ、モデルＴに従って各モデルに関する探索パラメータを返す関数、またＡは、Ｓ（ｙ），Ｔ（ｙ）を入力として、予め定義されたモデルＡに従って探索パラメータを返す関数である。なお、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）では通常、モデルＳ、モデルＴ、モデルＡは線形の部分空間としてモデル化するため、それぞれの部分空間を構成するベクトルを並べた行列をＳ、Ｔ、Ａと置きなおすと、
（数３）
Figure 2014112346
により計算される。ただし、Ｓ、Ｔ、Ａの行列サイズは、それぞれ、１５０×ｒｓ、（ｇ（ｙ）の次元数）×ｒｔ、（ｒｓ＋ｒｔ）×ｒａであり、ｒｓ、ｒｔ、ｒａは各モデルのランクを示す。この場合、ｐｓ、ｐｔ、ｐａのサイズは、それぞれ、ｒｓ×１、ｒｔ×１、ｒａ×１となる。また、ｇ（ｙ）は、７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルｙから、顔の二次元画像上での位置および大きさ、二次元画像上での回転角度、および顔形状が正規化された顔画像を抽出する関数である。関数ｇの出力は、正規化された顔画像の各画素の値を縦に並べたベクトルである。例えば、正規化顔画像の大きさが１００画素×１００画素の場合、関数ｇの出力は１００００次元ベクトルとなる。非特許文献１のＡＡＭでは、関数ｇはｗａｒｐ ｉｍａｇｅとして知られている。ｗａｒｐ ｉｍａｇｅでは、複数の特徴点位置の座標値の任意の三点から構成される三角形を定義し、この三角形ごとにアフィン変換を行うことで顔画像の正規化を行う。また、ｇ０は、予め複数の顔画像およびその特徴点位置情報ｙから求めたｇ（ｙ）の平均ベクトルである。
特徴点位置探索手段１４０では、モデルパラメータ計算手段１３０で求めた探索パラメータｐを初期値として、モデルのパラメータフィッティングを行うことで特徴点位置の探索を行い、特徴点位置の検出を行う。モデルのパラメータフィッティングには、例えばＡＡＭの場合、非特許文献１の手法を用いることができる。
すなわち、探索パラメータｐを初期値としてＡＡＭでモデルのパラメータフィッティングを行う場合、予めＡＡＭで学習したモデルＳ、モデルＴ、モデルＡを利用して、まず、第一のステップにおいて、探索パラメータｐとモデルＡから顔の形状に関するパラメータｐｓと顔のテクスチャに関するパラメータｐｔを求める。次に、第二のステップにおいて、形状に関するパラメータｐｓとモデルＳを用いて顔の特徴点位置ｙを求め、正規化された顔画像ｇｓをｇｓ＝ｇ（ｙ＋ｙ０）により求める。次に、第三のステップにおいて、テクスチャに関するパラメータｐｔとモデルＴを用いて、探索パラメータｐから推定される顔画像ｇｍを求める。さらに、第四のステップにおいて、差分画像ｄをｄ＝ｇｓ−ｇｍにより計算し、探索パラメータを更新する値δｐをδｐ＝−Ｒ×ｄにより求め、ｐ＝ｐ＋δｐにより探索パラメータｐを更新する。ここで、Ｒは予めＡＡＭで学習した行列である。第一のステップから第四のステップまでを複数回繰り返すことにより、顔画像３０１の特徴点位置を確定することができる。
以上により、顔画像の表情変動や個人変動、姿勢変動などに対して、少数の特徴点位置の初期情報を外部から入力することによって、所望の特徴点位置のおおよその位置を推定し、所望の特徴点位置のおおよその位置から特徴点位置の探索を開始することができる。これにより、正解とは異なる姿勢や表情などの顔形状を、入力画像に対して誤ってフィッティングする場合が抑制される。つまりは局所解に陥ることが防がれる。
すなわち、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点探索手段１４０における適切なモデルパラメータの初期値、つまり、より正解に近いモデルパラメータを、特徴点位置探索手段１４０の初期値とすることに基づいて特徴点位置探索を行うことが可能となる。これにより、顔画像の表情変動や個人変動、姿勢変動などに対しても、高精度な特徴点位置の検出が可能となる。
本発明は、顔の画像における特徴点位置の高精度な特定を可能とするにとどまらず、画像全般における特徴点位置の高精度な特定を可能とする。例えば、特徴点位置初期情報入力手段１１０において、顔の特徴点位置の代わりに手の特徴点位置として親指や人差し指あるいは爪等の初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、手の指の輪郭や爪などの検出が可能である。
また、医療画像における骨や臓器などの輪郭の特定なども可能である。すなわち、特徴点位置としての所定の骨や臓器の初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、所定の骨や臓器の検出が可能である。また同様に、牛などの家畜の白黒などの模様の特定なども可能である。
またさらに、本実施形態により特徴点位置の高精度な特定が可能となるので、これを用いて動物や植物の種類の特定、人工物としての自動車や船、飛行機、電子機器、建造物、絵画などの種類の特定も可能となる。例えば、自動車の場合、所定の種類の自動車の特徴点位置としてのヘッドライトの初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、所定の自動車のヘッドライトの検出が可能となる。これにより、逆に、自動車の種類を特定することができる。動植物や他の人工物に対しても同様である。
本発明は上記実施形態に限定されることなく、請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲内に含まれるものであることはいうまでもない。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
付記
（付記１）
対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
（付記２）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記１に記載の特徴点位置検出装置。
（付記３）
前記特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を備えた、付記１または２に記載の特徴点位置検出装置。
（付記４）
前記対象画像は人体を有する、付記１から３の内の１項記載の特徴点位置検出装置。
（付記５）
前記人体の前記特徴点位置は顔の目あるいは鼻あるいは口の情報を有する、付記４に記載の特徴点位置検出装置。
（付記６）
対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求め、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する、特徴点位置検出方法。
（付記７）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記６に記載の特徴点位置検出方法。
（付記８）
前記特徴点位置推定辞書情報は格納された特徴点位置推定辞書を用いる、付記６または７に記載の特徴点位置検出方法。
（付記９）
前記対象画像は人体を有する、付記６から８の内の１項記載の特徴点位置検出方法。
（付記１０）
前記人体の前記特徴点位置は顔の目あるいは鼻あるいは口の情報を有する、付記９に記載の特徴点位置検出方法。
（付記１１）
特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求める処理と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する処理と、を実行させる特徴点位置検出プログラム。
（付記１２）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記１１に記載の特徴点位置検出プログラム。
（付記１３）
前記特徴点位置推定辞書情報は格納された特徴点位置推定辞書を用いる、付記１１または１２に記載の特徴点位置検出プログラム。
（付記１４）
前記対象画像は人体を有する、付記１１から１３の内の１項記載の特徴点位置検出プログラム。
（付記１５）
前記人体の前記特徴点情報は顔の目あるいは鼻あるいは口の情報を有する、付記１４に記載の特徴点位置検出プログラム。
（付記１６）
対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
（付記１７）
対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する、特徴点位置検出方法。
（付記１８）
特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する処理と、を実行させる特徴点位置検出プログラム。
この出願は、２０１３年１月１５日に出願された日本出願特願２０１３−００４２２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、顔などの画像から目や鼻などの特徴点の位置を検出するための特徴点位置検出技術に関し、顔認証や表情認識などのために利用される。
１ 特徴点位置検出装置
１００ データ処理装置
１１０ 特徴点位置初期情報入力手段
１２０ 特徴点推定位置推定手段
１３０ モデルパラメータ計算手段
１４０ 特徴点位置探索手段
２００ 記憶装置
２１０ 特徴点位置推定辞書記憶手段
３００ 画像
３０１ 顔画像
３０２ 顔特徴点位置初期情報
３０３ 顔特徴点推定位置
３１０ 顔特徴点位置

Claims (13)

  1. 対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
  2. 前記特徴点推定位置は前記特徴点位置初期情報よりも多い、請求項１に記載の特徴点位置検出装置。
  3. 前記特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を備えた、請求項１または２に記載の特徴点位置検出装置。
  4. 前記対象画像は人体を有する、請求項１から３の内の１項記載の特徴点位置検出装置。
  5. 前記人体の前記特徴点位置は顔の目あるいは鼻あるいは口の情報を有する、請求項４に記載の特徴点位置検出装置。
  6. 対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求め、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する、特徴点位置検出方法。
  7. 前記特徴点推定位置は前記特徴点位置初期情報よりも多い、請求項６に記載の特徴点位置検出方法。
  8. 前記特徴点位置推定辞書情報は格納された特徴点位置推定辞書を用いる、請求項６または７に記載の特徴点位置検出方法。
  9. 特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求める処理と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する処理と、を実行させる特徴点位置検出プログラム。
  10. 前記特徴点推定位置は前記特徴点位置初期情報よりも多い、請求項９に記載の特徴点位置検出プログラム。
  11. 対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
  12. 対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する、特徴点位置検出方法。
  13. 特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する処理と、を実行させる特徴点位置検出プログラム。
JP2014557390A 2013-01-15 2014-01-14 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム Active JP6387831B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013004228 2013-01-15
JP2013004228 2013-01-15
PCT/JP2014/000102 WO2014112346A1 (ja) 2013-01-15 2014-01-14 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム

Publications (2)

Publication Number Publication Date
JPWO2014112346A1 true JPWO2014112346A1 (ja) 2017-01-19
JP6387831B2 JP6387831B2 (ja) 2018-09-12

Family

ID=51209443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014557390A Active JP6387831B2 (ja) 2013-01-15 2014-01-14 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム

Country Status (4)

Country Link
US (1) US20150356346A1 (ja)
JP (1) JP6387831B2 (ja)
CN (1) CN104919492A (ja)
WO (1) WO2014112346A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170278302A1 (en) * 2014-08-29 2017-09-28 Thomson Licensing Method and device for registering an image to a model
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107194980A (zh) * 2017-05-18 2017-09-22 成都通甲优博科技有限责任公司 人脸模型构建方法、装置及电子设备
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
JP7259648B2 (ja) * 2019-08-30 2023-04-18 オムロン株式会社 顔向き推定装置及び方法
CN114627147B (zh) * 2022-05-16 2022-08-12 青岛大学附属医院 基于多阈值图像分割的颅面标志点自动识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006051607A1 (ja) * 2004-11-12 2006-05-18 Omron Corporation 顔特徴点検出装置、特徴点検出装置
JP2010231354A (ja) * 2009-03-26 2010-10-14 Kddi Corp 顔認識装置及び顔器官の特徴点特定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4745207B2 (ja) * 2006-12-08 2011-08-10 株式会社東芝 顔特徴点検出装置及びその方法
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
JP4951498B2 (ja) * 2007-12-27 2012-06-13 日本電信電話株式会社 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006051607A1 (ja) * 2004-11-12 2006-05-18 Omron Corporation 顔特徴点検出装置、特徴点検出装置
JP2010231354A (ja) * 2009-03-26 2010-10-14 Kddi Corp 顔認識装置及び顔器官の特徴点特定方法

Also Published As

Publication number Publication date
WO2014112346A1 (ja) 2014-07-24
CN104919492A (zh) 2015-09-16
JP6387831B2 (ja) 2018-09-12
US20150356346A1 (en) 2015-12-10

Similar Documents

Publication Publication Date Title
JP6387831B2 (ja) 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
KR102592270B1 (ko) 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체
US11017210B2 (en) Image processing apparatus and method
JP5772821B2 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
WO2017088432A1 (zh) 图像识别方法和装置
JP4951498B2 (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6465027B2 (ja) 特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラム
JP2012221061A (ja) 画像認識装置、画像認識方法、及びプログラム
Ali et al. Object recognition for dental instruments using SSD-MobileNet
CN111754391A (zh) 人脸转正方法、设备及计算机可读存储介质
Yang et al. Face sketch landmarks localization in the wild
Bhuyan et al. Trajectory guided recognition of hand gestures having only global motions
Haase et al. Instance-weighted transfer learning of active appearance models
JP5704909B2 (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
Mehryar et al. Automatic landmark detection for 3d face image processing
US20240013357A1 (en) Recognition system, recognition method, program, learning method, trained model, distillation model and training data set generation method
CN115471863A (zh) 三维姿态的获取方法、模型训练方法和相关设备
JP2021043960A (ja) 顔解析のための画像正規化
JP2018092273A (ja) 姿勢推定方法、姿勢推定プログラム及び姿勢推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180730

R150 Certificate of patent or registration of utility model

Ref document number: 6387831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150