JP4585471B2

JP4585471B2 - 特徴点検出装置及びその方法

Info

Publication number: JP4585471B2
Application number: JP2006061917A
Authority: JP
Inventors: 智行武口; 達夫小坂谷; 正英西浦; 修山口; 真由美湯浅
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-03-07
Filing date: 2006-03-07
Publication date: 2010-11-24
Anticipated expiration: 2026-03-07
Also published as: CN101071473A; US20070211944A1; JP2007241579A; EP1833004B1; EP1833004A2; EP1833004A3; US7848547B2

Description

本発明は、入力画像から対象物体の特徴点を検出する特徴点検出装置及びその検出方法に関する。

従来の特徴点検出装置には、特許文献１に開示されているように、顔画像上の目鼻などの小数の特徴点を検出した後に、これら検出した特徴点の位置を利用して別の新たな特徴点を設定する方法がある。

また、特許文献２に開示されているように、顔画像上で検出した特徴点の位置を利用して、別の特徴点の探索範囲を限定する方法がある。

これらの方法では、第１の特徴点検出結果と保存してある２次元画像上での相対位置関係を用いて、第２の特徴点検出を行う。しかし、顔向きが正面の場合で計算した特徴点の相対位置関係は、顔向きが変化した場合、正しい位置を指し示していないため、第２の特徴点検出が正確に行えないという問題点があった。

上記問題点の例として、顔画像上の口中点の検出について考えると、特許文献３に開示されているように、色成分の分類によって唇領域を検出して、唇領域の両端を口端とし、両口端の中点を口中点と定義する方法がある。顔向きが正面の場合は、口中点は口端の中点にほぼ等しくなると考えられるが、顔向きが変わった場合や、表情変化により口元の形状が変化した場合は、口中点の位置と口端の中点の位置は一致しないため、正しい口中点位置が得られなかった。
特開２００４−２６５２６７公報特開平１０−８６６９６号公報特開２００３−１８７２４７公報

上記したように、特徴点検出の背景技術には、第１の特徴点検出を行い、その結果を利用し第２の特徴点検出を行う方法があるが、第１の特徴点検出で得られた特徴点と、第２の特徴点検出で取得したい特徴点との相対位置関係を２次元の画像上で定義していたため、相対位置関係を定義した際の対象物体の向きと、実際の対象物体の向きが異なる場合、正しい特徴点検出が行えなかった。

そこで本発明は、上記背景技術の問題点を解決するためになされたものであって、対象物体の向きが変化した場合でも正確な特徴点検出を可能とする特徴点検出装置及び特徴点検出方法を提供することを目的とする。

本発明は、対象物体が写った画像から特定の特徴点を検出する特徴点検出装置において、前記対象物体が写った画像を入力する画像入力部と、前記対象物体に関する３次元形状のモデルの基準特徴点を含む３次元形状情報を記憶する３次元形状情報保持部と、前記入力画像における前記特定の特徴点以外の基準特徴点と、前記３次元形状情報の前記基準特徴点との対応関係を取得する対応関係推定部と、３次元形状の前記モデルにおいて前記特定の特徴点に相当する点を含んだ３次元形状上での曲線または直線の探索領域に対応する前記入力画像上の１次元配列の画素情報である画像情報を、前記対応関係に基づいて取得する探索領域取得部と、前記画像情報から前記入力画像における前記特定の特徴点の位置を検出する特徴点検出部と、を備えることを特徴とする特徴点検出装置である。

本発明によれば、３次元的な対象物体の向き変化や、対象物体の形状変化に対応した特徴点検出ができる。

以下、本発明の一実施形態の特徴点検出装置について説明する。

（第１の実施形態）
第１の実施形態の特徴点検出装置について図１〜図６に基づいて説明する。本実施形態では、対象物体として顔を扱い、顔画像から口中点を検出する場合について説明する。

（１）特徴点検出装置の構成
図１は、本実施形態に係わる特徴点検出装置を示すブロック図である。

特徴点検出装置は、処理すべき顔画像を取得する画像入力部１１０と、顔の平均的な３次元形状を保持している３次元形状情報保持部２００と、顔画像と３次元形状との対応関係を推定する対応関係推定部１２０と、得られた対応関係を利用して入力画像上に口中点の探索領域を設定する探索領域取得部１３０と、探索領域内から口中点の位置を定める特徴点検出部１４０とを備える。

これら各部１１０〜１４０、２００の機能は、コンピュータに記憶されたプログラムによって実現される。

（２）特徴点検出装置の動作
次に、図１及び図２を用いて、特徴点検出装置の動作について説明する。なお、図２は、特徴点検出装置の動作を示すフローチャートである。

（２−１）ステップＡ１
まず、画像入力部１１０では、デジタルカメラやスキャナ等で特徴点検出を行う対象となる人物の顔領域を含むデジタル画像を取得する。

（２−２）ステップＡ２
対応関係推定部１２０では、画像入力部１１０で得られた顔画像中から、基準特徴点と呼ぶ口中点以外の特徴点を取得する。基準特徴点としては、両瞳、鼻孔、口端などが挙げられる。しかし、同一平面状にない４点以上であれば、どこであっても、何点あってもかまわない。基準特徴点の取得方法としては、人手により基準特徴点の位置をマウスで指定する手入力でも良いし、特許文献４（特許第３２７９９１３号）に開示されているような自動検出方法を用いても良い。

（２−３）ステップＡ３
ここで、基準特徴点として左右の口端点が得られていれば、特許文献３に開示された方法により、左右両口端点の中点として口中点を検出することができる。図３に示すように、顔向きが正面の場合は、口中点の座標と口端の中点座標はほぼ一致する。しかし、顔向きが変化した場合は、口中点の座標と口端の中点座標が一致しない。また、笑顔のような表情変化がある場合、口形状が弓型になり、口中点座標と口端中点座標が異なることは容易に想像できる。

そこで本実施形態においては、取得した顔画像上の基準特徴点座標と、３次元形状情報保持部２００にある顔形状上の基準特徴点位置とを用いて、顔画像と３次元形状との関係を計算する。

まず、図４左上に示すように、３次元形状情報保持部２００では、顔の３次元形状情報と、その３次元形状上での基準特徴点の位置を用意しておく。顔の３次元形状情報は、入力画像に写っている人物の３次元形状を計測したものでも良いし、代表的な顔３次元形状、例えばいくつかの顔３次元形状を平均化したものや、モデリングソフトで作成した３次元形状であっても良い。

次に、特許文献５（特開２００３−１４１５５２公報）に開示されている因子分解法を用いた方法により、３次元形状情報上の基準特徴点位置を並べた形状行列Ｓと、入力画像上の基準特徴点位置を並べた観測行列Ｗから、対応関係を表す運動行列Ｍを計算する。

例えば図４に示す６点の顔特徴点が入力画像から得られている場合、６点の座標をベクトルａ１，ａ２，・・・ａ６で表すとすると、計測行列ＷはＷ＝［ａ１，ａ２，・・・ａ６］の２ｘ６の行列となる。また対応する３次元モデル上の特徴点位置の座標をベクトルｂ１，ｂ２，・・・ｂ６と表すとすると、形状行列ＳはＳ＝［ｂ１，ｂ２，・・・ｂ６］の３ｘ６の行列となる。これらから３次元モデルと入力された顔画像の対応関係を表す運動行列Ｍは式（１）により計算できる２ｘ３の行列となる。

Ｍ＝ＷＳ^Ｔ（ＳＳ^Ｔ）^−１・・・（１）

（２−４）ステップａ４
得られた運動行列Ｍを用いれば、３次元形状上の任意の点ｂ（３次元ベクトル）に対応する２次元画像上の点の位置ａ（２次元ベクトル）は式（２）より計算できる。

ａ＝Ｍｂ・・・（２）

ここで、３次元形状上での口中点座標を入力画像に射影することにより、入力画像上の口中点位置
を一意に定めることも可能である。しかし、３次元形状として代表的な顔３次元形状を用いた場合は、入力画像に写っている人物の顔３次元形状との違いから、正確な口中点に射影される保障はない。また顔が非剛体であるため、表情変化があった場合には、たとえ本人の３次元形状を用いたとしても、３次元形状上の口中点位置が正確に入力画像中の口中点に射影される保証がなくなる。

そこで探索領域取得部１３０では、図５に示すように、３次元形状上の顔中心線を対応関係推定部１２０で求めた運動行列Ｍを用いて射影した位置を探索領域として定める。３次元形状と入力画像に写る人物の実際の形状が異なる場合でも、口中点の位置は顔中心線上のどこかにあることが期待できるためである。また表情が変化した場合でも同様に、口中点は顔中心線上に存在することが多いと考えられる。

（２−５）ステップａ５
最後に特徴点検出部１４０では、図５に示すように、入力された顔画像中の顔中心線（すなわち、顔の左右対称軸）上に存在する画素の輝度を集めて１次元の波形とし、この中から口中点位置を検出する。

取得した１次元波形からの口中点検出方法としては、例えば図６に示す方法がある。まず輝度配列に対してラプラシアンガウシアンフィルタ（ＬｏＧフィルタ）を作用させる。口中点は口領域の中にあり、口領域は周りの肌色領域よりも輝度が低いと考えられるため、ラプラシアンフィルタとガウシアンフィルタを作用させた波形の中から、値が０以下でかつ極小値を示す位置を口中点位置の候補として取得する。

（２−６）ステップａ６
口中点候補取得において口中点候補が一つも得られない場合は、検出不可能であるとして終了してもよいし、基準特徴点に口端があれば、口端の中点を口中点位置として出力して終了してもよい。

（２−７）ステップａ７
口中点候補取得において口中点候補が複数あれば、各口中点候補において口中点らしさを示す評価値を計算する。例えばここでは、評価値としてラプラシアンガウシアンフィルタを作用させた波形の候補位置における値の逆数とする。

（２−８）ステップａ８
各口中点候補の評価値の中で、最も評価値の高い点を口中点の初期位置とする。

（２−９）ステップａ９
検出した口中点の初期位置はラプラシアンガウシアンフィルタを作用させた波形から得たため、もとの波形の極小値との間に誤差が生じている。そこで、ガウシアンフィルタのスケールパラメータを段階的に小さくしながら、口中点の初期位置を各段階で最も近い極小値の位置にずらしていき、最終的な口中点の位置を決定する。

（３）効果
このように、第１の実施形態に係わる特徴点検出装置によれば、入力画像と３次元形状情報との対応関係を推定し、顔中心線上を探索範囲と限定した後に特徴点検出を行うことで、顔向き変化や表情変化に対応した口中点検出が可能となる。

（４）変更例
本実施形態で検出する特徴点は口中点に限らない。

例えば、上下唇輪郭の顔中心線上の点を求めることができる。顔中心線上の輝度配列を取得し、ラプラシアンガウシアンフィルタを作用させた波形における０交差点を求め、この０交差点の中で口中点を挟んだ最も近い２点を検出することで、上下唇輪郭の顔中心線上の点の検出を実現できる。

また、鼻の付け根の点である鼻根を検出することができる。両瞳位置を事前に検出して、顔中心線上の輝度配列を取得し、ラプラシアンガウシアンフィルタを作用させて、顔中心線上の輝度配列中の極小値を鼻根候補点とし、両瞳位置の重心点に最も近い候補点を抽出することで、鼻根点の検出を実現できる。

（第２の実施形態）
第２の実施形態の特徴点検出装置について説明する。本実施形態では、対象物体として心臓を扱い、心臓をＸ線造影法により計測した２次元画像であるＸ線画像に基づいて説明する。

心臓のＸ線画像は、例えば対象血管に陽性造影剤であるヨード溶剤を使用して血管を造影して得られる投影像である。冠動脈造影では、心臓を囲む動脈を造影剤によって観測するが、その際、主要な太い血管の分岐点は基準特徴点として検出が容易である。一方、細い血管の分岐点や、血栓により造影されなかった血管の分岐点は観測したＸ線画像からの位置推定が難しい。そこで、本実施形態では、この血管の分岐点の特徴点を検出することを目的とする。

（１）特徴点検出装置の構成
本実施形態の特徴点検出装置は第１の実施形態と同様であり、処理すべきＸ線画像を取得する画像入力部１１０と、心臓とその冠動脈の平均的な３次元形状モデルを保持している３次元形状情報保持部２００と、Ｘ画像と心臓の３次元形状との対応関係を推定する対応関係推定部１２０と、得られた対応関係を利用して入力画像上に血管の分岐点の探索領域を設定する探索領域取得部１３０と、探索領域内から血管の分岐点の位置を定める特徴点検出部１４０とを備える。

（２）特徴点検出装置の動作
次に、特徴点検出装置の動作について説明する。

まず、画像入力部１１０ではＸ線画像を入力する。

次に、対応関係推定部１２０では、画像入力部１１０で得られたＸ線画像中から、検出が容易な太い血管の分岐点を基準特徴点として４点以上検出し、心臓とその冠動脈の３次元形状モデルとの対応関係を推定する。ここでの方法は第１の実施形態でも述べられている推定方法を用いることができる。

次に、探索領域取得部１３０では、Ｘ線画像からの検出が難しい特徴点について、モデル上での検出が困難な特徴点の位置とその周辺部の３次元上の面領域をＸ線画像の２次元上の面領域に射影する。

次に、Ｘ線画像上での射影された面領域が特徴点の探索領域となり、その探索領域内で最適な輝度の補正等を行う。これは後段の検出を容易にするためである。

最後に、特徴点検出部１４０では、コーナー検出法により探索領域内で血管の分岐と思われる位置をエッジ検出によって特定する。

このように、第２の実施形態に係わる特徴点検出装置によれば、Ｘ線画像と３次元形状情報との対応関係を推定し、３次元形状上で特徴点を含む面状の小領域を射影してできるＸ線画像上の面状の小領域を探索範囲とすることで、輝度の変化が小さく位置特定が難しい特徴点の検出が可能となる。

（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係わる特徴点検出装置の構成を示すブロック図である。第１の実施形態の特徴点検出装置の動作を示すフローチャートである。従来法による特徴点検出の問題点を示す図である。第１の実施形態に係わる対応関係推定部における処理を示す図である。第１の実施形態に係わる探索領域取得部における処理を示す図である。第１の実施形態に係わる特徴点検出部における処理を示す図である。

符号の説明

１１０画像入力部
１２０対応関係推定部
１３０探索領域取得部
１４０特徴点検出部
２００３次元形状情報保持部

Claims

対象物体が写った画像から特定の特徴点を検出する特徴点検出装置において、
前記対象物体が写った画像を入力する画像入力部と、
前記対象物体に関する３次元形状のモデルの基準特徴点を含む３次元形状情報を記憶する３次元形状情報保持部と、
前記入力画像における前記特定の特徴点以外の基準特徴点と、前記３次元形状情報の前記基準特徴点との対応関係を取得する対応関係推定部と、
３次元形状の前記モデルにおいて前記特定の特徴点に相当する点を含んだ３次元形状上での曲線または直線の探索領域に対応する前記入力画像上の１次元配列の画素情報である画像情報を、前記対応関係に基づいて取得する探索領域取得部と、
前記画像情報から前記入力画像における前記特定の特徴点の位置を検出する特徴点検出部と、
を備えることを特徴とする特徴点検出装置。
前記モデルが、人間の顔のモデルであり、
前記探索領域は、前記モデルの３次元形状上において前記特定の特徴点を通過する領域である
ことを特徴とする請求項１記載の特徴点検出装置。
前記特定の特徴点が、前記顔の口中点であり、
前記探索領域が、前記モデルの３次元形状上で前記口中点を通過する顔中心線である
ことを特徴とする請求項２記載の特徴点検出装置。
対象物体が写った画像から特定の特徴点を検出する特徴点検出方法において、
前記対象物体が写った画像を入力し、
前記対象物体に関する３次元形状のモデルの基準特徴点を含む３次元形状情報を記憶し、
前記入力画像における前記特定の特徴点以外の基準特徴点と、前記３次元形状情報の前記基準特徴点との対応関係を取得し、
３次元形状の前記モデルにおいて前記特定の特徴点に相当する点を含んだ３次元形状上での曲線または直線の探索領域に対応する前記入力画像上の１次元配列の画素情報である画像情報を、前記対応関係に基づいて取得し、
前記画像情報から前記入力画像における前記特定の特徴点の位置を検出する
ことを特徴とする特徴点検出方法。
前記モデルが、人間の顔のモデルであり、
前記探索領域は、前記モデルの３次元形状上において前記特定の特徴点を通過する領域である
ことを特徴とする請求項４記載の特徴点検出方法。
前記特定の特徴点が、前記顔の口中点であり、
前記探索領域が、前記モデルの３次元形状上で前記口中点を通過する顔中心線である
ことを特徴とする請求項５記載の特徴点検出方法。
対象物体から特定の特徴点をコンピュータによって検出する特徴点検出プログラムにおいて、
前記コンピュータに、
前記対象物体が写った画像を入力する画像入力機能と、
前記対象物体に関する３次元形状のモデルの基準特徴点を含む３次元形状情報を記憶する３次元形状情報保持機能と、
前記入力画像における前記特定の特徴点以外の基準特徴点と、前記３次元形状情報の前記基準特徴点との対応関係を取得する対応関係推定機能と、
３次元形状の前記モデルにおいて前記特定の特徴点に相当する点を含んだ３次元形状上での曲線または直線の探索領域に対応する前記入力画像上の１次元配列の画素情報である画像情報を、前記対応関係に基づいて取得する探索領域取得機能と、
前記画像情報から前記入力画像における前記特定の特徴点の位置を検出する特徴点検出機能と、
を実現させるための特徴点検出プログラム。
前記モデルが、人間の顔のモデルであり、
前記探索領域は、前記モデルの３次元形状上において前記特定の特徴点を通過する領域である
ことを特徴とする請求項７記載の特徴点検出プログラム。
前記特定の特徴点が、前記顔の口中点であり、
前記探索領域が、前記モデルの３次元形状上で前記口中点を通過する顔中心線である
ことを特徴とする請求項８記載の特徴点検出プログラム。