JP4803148B2 - 人物顔面画像についての両眼位置検出方法および検出装置 - Google Patents
人物顔面画像についての両眼位置検出方法および検出装置 Download PDFInfo
- Publication number
- JP4803148B2 JP4803148B2 JP2007253367A JP2007253367A JP4803148B2 JP 4803148 B2 JP4803148 B2 JP 4803148B2 JP 2007253367 A JP2007253367 A JP 2007253367A JP 2007253367 A JP2007253367 A JP 2007253367A JP 4803148 B2 JP4803148 B2 JP 4803148B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- row
- face
- pixel
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
コンピュータ内に、両眼の基準として用いる左右の区別がない基準単眼画像を準備する基準単眼画像準備段階と、
コンピュータ内に、検出の対象となる人物の顔面画像を準備する顔面画像準備段階と、
コンピュータが、顔面画像の上の所定の重畳位置に基準単眼画像を重ねて配置し、重なった部分の両画像の類似度を求める演算を、第1次候補となる複数通りの重畳位置について実行し、それぞれの類似度を求める類似度演算段階と、
コンピュータが、第1次候補のうち、類似度がしきい値未満の候補を除外し、残りの候補を第2次候補とするしきい値未満除外段階と、
コンピュータが、第2次候補の各重畳位置について、顔面画像上での水平方向に関する類似度の変動を調べ、第2次候補の中から、類似度が極大値をとる候補を第3次候補として抽出する極大抽出段階と、
コンピュータが、第3次候補の中から、類似度の大きい所定数の重畳位置を第4次候補として選択する上位候補選択段階と、
コンピュータが、第4次候補の中から、次の2条件を満たす関係にある一対の重畳位置を最終候補と決定する最終候補決定段階と、
(条件1)基準単眼画像を当該一対の重畳位置にそれぞれ配置したときに、両画像枠の「顔面画像を左右に二等分する縦方向に伸びる顔中心線に関する対称性」が所定の基準以上であること、
(条件2)基準単眼画像を当該一対の重畳位置にそれぞれ配置したときに、両画像枠が互いに重なり合わないこと、
コンピュータが、最終候補として決定された一対の重畳位置に基準単眼画像を配置したときの当該一対の重畳位置に配置された各基準単眼画像の画像枠内の代表点の位置を両眼の位置の検出結果として出力する検出結果出力段階と、
を行うようにしたものである。
基準単眼画像準備段階で、m列n行の二次元画素配列(第0列〜第(m−1)列、第0行〜第(n−1)行の行列)をもった基準単眼画像を準備し、
顔面画像準備段階で、M列N行の二次元画素配列(但し、M>m、N>nであり、第0列〜第(M−1)列、第0行〜第(N−1)行の行列)をもった顔面画像を準備し、
類似度演算段階で、基準単眼画像の第0列第0行目の画素を、顔面画像上の第i列第j行目の画素に重ねるような配置を行い、iを0〜(M−m)まで1ずつ変え、jを0〜(N−n)まで1ずつ変えた組み合わせの各配置について、それぞれ類似度を求める演算を実行し、第1次候補となる合計(M−m+1)×(N−n+1)通りの重畳位置についての類似度を求めるようにしたものである。
基準単眼画像準備段階で、m列n行の二次元画素配列(第0列〜第(m−1)列、第0行〜第(n−1)行の行列)をもった基準単眼画像を準備し、
顔面画像準備段階で、M列N行の二次元画素配列(但し、M>m、N>nであり、第0列〜第(M−1)列、第0行〜第(N−1)行の行列)をもった顔面画像を準備し、
類似度演算段階で、基準単眼画像の第0列第0行目の画素を、顔面画像上の第i列第j行目(但し、i=0〜(M−m),j=0〜(N−n))の画素に重ねるような配置を行った際の類似度R(i,j)を、
R(i,j)=
Σβ=0,n−1(Σα=0,m−1(F(i+α,j+β)・E(α,β)))
(但し、F(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の所定色の画素値、E(α,β)は基準単眼画像の第α列第β行目の当該所定色の画素値)
なる演算式を用いて求めるようにしたものである。
基準単眼画像準備段階で、赤緑青の3原色の画素値Er,Eg,Ebをもつ画素の集合からなる基準単眼画像を準備し、
顔面画像準備段階で、赤緑青の3原色の画素値Fr,Fg,Fbをもつ画素の集合からなる顔面画像を準備し、
類似度演算段階で、
R(i,j)=1/3・
(Σβ=0,n−1(Σα=0,m−1(Fr(i+α,j+β)・Er(α,β)))
+Σβ=0,n−1(Σα=0,m−1(Fg(i+α,j+β)・Eg(α,β)))
+Σβ=0,n−1(Σα=0,m−1(Fb(i+α,j+β)・Eb(α,β))))
(但し、Fr(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の赤色の画素値、Er(α,β)は基準単眼画像の第α列第β行目の赤色の画素値、Fg(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の緑色の画素値、Eg(α,β)は基準単眼画像の第α列第β行目の緑色の画素値、Fb(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の青色の画素値、Eb(α,β)は基準単眼画像の第α列第β行目の青色の画素値)
なる演算式を用いて類似度R(i,j)を求めるようにしたものである。
基準単眼画像準備段階で、赤色の画素値Erをもつ画素の集合からなる基準単眼画像を準備し、
顔面画像準備段階で、赤緑青の3原色の画素値Fr,Fg,Fbをもつ画素の集合からなる顔面画像を準備し、
類似度演算段階で、赤色の画素値のみの類似度を考慮して、
R(i,j)=
Σβ=0,n−1(Σα=0,m−1(Fr(i+α,j+β)・Er(α,β)))
(但し、Fr(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の赤色の画素値、Er(α,β)は基準単眼画像の第α列第β行目の赤色の画素値)
なる演算式を用いて類似度R(i,j)を求めるようにしたものである。
極大抽出段階で、水平方向に隣接して配列された第2次候補の各重畳位置について、隣接位置間における類似度の変遷を順に調べてゆき、類似度の値が増加から減少に転じたときに、減少に転じる直前の重畳位置を類似度が極大値をとる第3次候補として抽出するようにしたものである。
上位候補選択段階で、第3次候補の中から、類似度の大きい順に候補を選択してゆく処理を、選択された候補数が所定数に達するもしくは所定数を越えるまで繰り返し実行し、選択された候補を暫定的に第4次候補とした後、当該選択された候補内に互いに近傍にある複数の重畳位置が含まれていた場合には、当該複数の重畳位置のうちの代表となる1つのみを第4次候補として残し、それ以外を第4次候補から除外するようにしたものである。
最終候補決定段階で、一方の画像枠の中心点と顔中心線との距離と、他方の画像枠の中心点と顔中心線との距離との差が、所定の範囲内の値となり、かつ、一方の画像枠の中心点から顔中心線へ下ろした垂線の足と、他方の画像枠の中心点から顔中心線へ下ろした垂線の足との距離が、所定の範囲内の値となる場合に、「顔中心線に関する対称性が所定の基準以上である」と判断するようにしたものである。
最終候補決定段階で、2条件を満たす関係にある一対の重畳位置が複数組存在する場合には、一対の重畳位置についての大きい方の類似度もしくは一対の重畳位置についての類似度の合計値が最大となる1組のみを最終候補と決定するようにしたものである。
最終候補決定段階で、2条件を満たす関係にある一対の重畳位置が複数組存在する場合には、当該複数組の一対の重畳位置をいずれも最終候補と決定し、
検出結果出力段階で、最終候補として決定された複数組の一対の重畳位置に基準単眼画像を配置したときの両画像枠内の代表点の位置を、それぞれ複数組の両眼の位置の検出結果として出力するようにしたものである。
検出結果出力段階で、画像枠の中心点をその代表点と定め、最終候補として決定された一対の重畳位置に基準単眼画像を配置したときの両画像枠の中心点の位置座標を両眼の位置の検出結果として出力するようにしたものである。
基準単眼画像準備段階で、実在の人物の顔写真の眼の部分から切り出した画像に対して修正を加えることにより、基準単眼画像を準備するようにしたものである。
顔面画像準備段階を、
実在の人物の顔写真を所定の背景を用いて撮影し、背景部分を示す背景画素と人物部分を示す人物画素とによって構成される二次元画素配列からなる撮影原画像をコンピュータに与える画像入力段階と、
コンピュータが、二次元画素配列上の所定の走査対象行に所属する各画素を、左端から右へと向かう走査経路および右端から左へと向かう走査経路のいずれか一方の走査経路に沿って順に調べ、背景画素から人物画素に転じる反転部が存在するか否かを判定し、反転部が存在する場合には、当該反転部を第1反転部として認識するとともに、一方の走査経路とは逆の走査経路に沿って走査対象行に所属する各画素を調べ、背景画素から人物画素に転じる反転部を第2の反転部と認識する行走査段階と、
コンピュータが、二次元画素配列の最上行から下へ向かって1行ずつ順番に走査対象行を更新しながら、行走査段階を繰り返し実行する繰り返し走査段階と、
コンピュータが、繰り返し走査段階において、初めて反転部の認識がなされた行を頭頂行と認定し、頭頂行以下の各行については、第1反転部から第2反転部までの距離を当該行の顔幅と定め、上から下へと走査対象行を更新する過程で、走査済みの行についての顔幅のうち最大のものを、その時点での最大顔幅Wmaxと定める最大顔幅決定段階と、
コンピュータが、最大顔幅Wmaxに基づく倍率により、撮影原画像を拡大もしくは縮小することにより得られる画像を顔面画像とする画像変倍段階と、
によって構成し、
繰り返し走査段階では、頭頂行から数えて第Wmax行目の行を走査最終行として、第1行目から走査最終行に至るまで行走査段階を繰り返し実行し、
画像変倍段階では、走査最終行の走査が完了した時点における最大顔幅Wmaxと、基準単眼画像のサイズに応じて予め定義された基準顔面顔幅Gと、の比によって定まる倍率G/Wmaxを用いて、撮影原画像を拡大もしくは縮小することにより得られる画像を顔面画像とするようにしたものである。
画像変倍段階では、走査最終行の走査が完了した時点における最大顔幅Wmaxをもつ行についての第1反転部となる画素が位置する列から第2反転部となる画素が位置する列に至るまでの合計Wmax列に属し、かつ、頭頂行から走査最終行に至るまでの合計Wmax行に属するWmax画素×Wmax画素の正方画素配列の部分を撮影原画像から切り出し、この切り出した画像を縦横ともにG/Wmax倍に拡大もしくは縮小することにより得られる画像を顔面画像とするようにしたものである。
行走査段階を行う前に、撮影原画像に対して、エッジ抽出用およびノイズ除去用の画像フィルタを作用させ、フィルタ処理後の画像を用いて反転部の認識を行うようにしたものである。
実在の人物の顔写真を撮影することにより得られる二次元画素配列データからなる撮影原画像を格納する撮影原画像格納手段と、
撮影原画像に対して、エッジ抽出用およびノイズ除去用の画像フィルタを作用させるフィルタ処理手段と、
フィルタ処理手段による処理後のデータに基づいて、人物の顔の最大幅と推定される最大顔幅Wmaxを求める最大顔幅認識手段と、
最大顔幅Wmaxの値と予め定義された基準顔面顔幅Gとの比によって定まる倍率G/Wmaxを用いて、撮影原画像を拡大もしくは縮小し、顔面画像を得る画像変倍手段と、
基準顔面顔幅Gをもった基準顔面の両眼として適した大きさを有し左右の区別がない基準単眼画像を格納した基準単眼画像格納手段と、
顔面画像の上の所定の重畳位置に基準単眼画像を重ねて配置し、重なった部分の両画像の類似度を求める演算を、第1次候補となる複数通りの重畳位置について実行し、それぞれの類似度を求める類似度演算手段と、
第1次候補のうち、類似度がしきい値未満の候補を除外し、残りの候補を第2次候補とするしきい値未満除外手段と、
第2次候補の各重畳位置について、顔面画像上での水平方向に関する類似度の変動を調べ、第2次候補の中から、類似度が極大値をとる候補を第3次候補として抽出する極大抽出手段と、
第3次候補の中から、類似度の大きい所定数の重畳位置を第4次候補として選択する上位候補選択手段と、
第4次候補の中から、次の2条件を満たす関係にある一対の重畳位置を最終候補と決定する最終候補決定手段と、
(条件1)基準単眼画像を当該一対の重畳位置にそれぞれ配置したときに、両画像枠の「顔面画像を左右に二等分する縦方向に伸びる顔中心線に関する対称性」が所定の基準以上であること、
(条件2)基準単眼画像を当該一対の重畳位置にそれぞれ配置したときに、両画像枠が互いに重なり合わないこと、
最終候補として決定された一対の重畳位置に基準単眼画像を配置したときの当該一対の重畳位置に配置された各基準単眼画像の画像枠内の代表点の位置を両眼の位置の検出結果として出力する検出結果出力手段と、
を設けるようにしたものである。
最大顔幅認識手段を、
フィルタ処理手段による処理後のデータを構成する二次元画素配列上の所定の走査対象行に所属する各画素を、左端から右へと向かう走査経路および右端から左へと向かう走査経路のいずれか一方の走査経路に沿って順に調べ、背景画素から人物画素に転じる反転部が存在するか否かを判定する反転判定部と、
所定の行走査対象行について、反転判定部に、第1の走査方向に向かって走査を行わせ、反転部が存在した場合には、当該反転部を第1反転部として認識するとともに、第1の走査経路とは逆の第2の走査方向に向かって走査を行わせ、反転部が存在した場合には、当該反転部を第2反転部として認識する行走査制御部と、
二次元画素配列の最上行から下へ向かって1行ずつ順番に走査対象行を更新しながら、行走査制御部に繰り返し走査を実行させる繰り返し制御部と、
繰り返し走査において、初めて反転部の認識がなされた行を頭頂行と認定し、頭頂行以下の各行については、第1反転部から第2反転部までの距離を当該行の顔幅と定め、上から下へと走査対象行を更新する過程で、走査済みの行についての顔幅のうち最大のものを、その時点での最大顔幅Wmaxと定める最大顔幅決定部と、
によって構成し、
繰り返し制御部が、頭頂行から数えて第Wmax行目の行を走査最終行として、第1行目から走査最終行に至るまで1行ずつ順番に走査対象行を更新しながら、行走査制御部に繰り返し走査を実行させるようにしたものである。
画像変倍手段は、走査最終行の走査が完了した時点における最大顔幅Wmaxをもつ行についての第1反転部となる画素が位置する列から第2反転部となる画素が位置する列に至るまでの合計Wmax列に属し、かつ、頭頂行から走査最終行に至るまでの合計Wmax行に属するWmax画素×Wmax画素の正方画素配列の部分を撮影原画像から切り出し、この切り出した画像を縦横ともにG/Wmax倍に拡大もしくは縮小することにより得られる画像を顔面画像とするようにしたものである。
基準単眼画像格納手段が、m列n行の二次元画素配列(第0列〜第(m−1)列、第0行〜第(n−1)行の行列)をもった基準単眼画像を格納し、
画像変倍手段が、M列N行の二次元画素配列(但し、M>m、N>nであり、第0列〜第(M−1)列、第0行〜第(N−1)行の行列)をもった顔面画像を求め、
類似度演算手段が、基準単眼画像の第0列第0行目の画素を、顔面画像上の第i列第j行目の画素に重ねるような配置を行い、iを0〜(M−m)まで1ずつ変え、jを0〜(N−n)まで1ずつ変えた組み合わせの各配置について、それぞれ類似度を求める演算を実行し、第1次候補となる合計(M−m+1)×(N−n+1)通りの重畳位置についての類似度を求めるようにしたものである。
類似度演算手段が、基準単眼画像の第0列第0行目の画素を、顔面画像上の第i列第j行目(但し、i=0〜(M−m),j=0〜(N−n))の画素に重ねるような配置を行った際の類似度R(i,j)を、
R(i,j)=
Σβ=0,n−1(Σα=0,m+1(F(i+α,j+β)・E(α,β)))
(但し、F(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の所定色の画素値、E(α,β)は基準単眼画像の第α列第β行目の当該所定色の画素値)
なる演算式を用いて求めるようにしたものである。
上位候補選択手段が、第3次候補の中から、類似度の大きい順に候補を選択してゆく処理を、選択された候補数が所定数に達するもしくは所定数を越えるまで繰り返し実行し、選択された候補を暫定的に第4次候補とした後、当該選択された候補内に互いに近傍にある複数の重畳位置が含まれていた場合には、当該複数の重畳位置のうちの代表となる1つのみを第4次候補として残し、それ以外を第4次候補から除外するようにしたものである。
最終候補決定手段が、一方の画像枠の中心点と顔中心線との距離と、他方の画像枠の中心点と顔中心線との距離との差が、所定の範囲内の値となり、かつ、一方の画像枠の中心点から顔中心線へ下ろした垂線の足と、他方の画像枠の中心点から顔中心線へ下ろした垂線の足と、の距離が、所定の範囲内の値となる場合に、「顔中心線に関する対称性が所定の基準以上である」と判断するようにしたものである。
検出結果出力手段が、画像枠の中心点をその代表点と定め、最終候補として決定された一対の重畳位置に基準単眼画像を配置したときの両画像枠の中心点の位置座標を両眼の位置の検出結果として出力するようにしたものである。
はじめに、本発明に係る両眼位置検出方法の基本概念を説明する。ここでは、図1に示すような顔面画像(本願では、Faceの頭文字をとって符号Fを付す)を検出対象とする場合を考えよう。この顔面画像Fは、人物の顔を含むデジタル画像であり、たとえば、デジタルカメラで撮影した人物写真をそのまま用いることもできるし、銀塩写真上の人物像をスキャナで取り込んだものを用いることもできる。もちろん、動画の1フレームを構成する画像であってもかまわない。
続いて、本発明の一実施形態に係る人物顔面画像についての両眼位置検出方法の基本的な処理手順を、図6の流れ図を参照しながら説明する。本発明は、基本的に、コンピュータを利用して実施する技術であるから、図6の流れ図に示す各ステップは、コンピュータを利用して実行されることになる。別言すれば、図6の流れ図に示す各ステップは、予め用意されたコンピュータプログラムに基づいて、コンピュータが実行する処理ということになる。
d=√(Σk=0,K−1(F(k)−E(k))2) (1)
この式(1) の両辺を2乗して展開すると、式(2) を得る。
d2 =Σk=0,K−1F(k)2+Σk=0,K−1E(k)2
−2Σk=0,K−1F(k)・E(k) (2)
ここで、ユークリッド距離dの値が0に近ければ近いほど、両関数F(k),E(k)の類似性は高いことになる。したがって、上記式(2) において、2乗累積の項(右辺の第1項および第2項)が一定であると仮定すると、右辺第3項が大きければ大きいほど、両関数F(k),E(k)の類似性は高いことになる。このため、一般に、両関数F(k),E(k)の類似度を示す相関係数Rは、式(2) の右辺第3項を、第1項および第2項の大きさで正規化することにより、次のような式(3) で表現される。
R=Σk=0,K−1F(k)・E(k)/
(√(Σk=0,K−1F(k)2)・√(Σk=0,K−1E(k)2)) (3)
この式(3) は、一次元の変数kで定義される両関数F(k),E(k)の相関係数Rを示すものであるが、これを二次元画素配列をもつ2つの画像の類似度を示す係数に拡張すれば、図8にも示すように、次のような式(4) が得られる。
R(i,j)=
Σβ=0,n−1(Σα=0,m−1(F(i+α,j+β)・E(α,β))) (4)
R(i,j)=1/3・
(Σβ=0,n−1(Σα=0,m−1(Fr(i+α,j+β)・Er(α,β))))
+Σβ=0,n−1(Σα=0,m−1(Fg(i+α,j+β)・Eg(α,β))))
+Σβ=0,n−1(Σα=0,m−1(Fb(i+α,j+β)・Eb(α,β))))
(5)
なる演算式に基づく演算により、類似度を示す相関係数R(i,j)を求めればよい。
R(i,j)=Σβ=0,n−1(Σα=0,m−1
(Fr(i+α,j+β)・Er(α,β))) (6)
なる演算式に基づく演算により、類似度を示す相関係数R(i,j)を求めた場合でも、上記式(5) を用いた場合に比べて遜色のない結果を得ることができた。
(条件1)基準単眼画像Eを当該一対の重畳位置にそれぞれ配置したときに、両画像枠の「顔面画像Fを左右に二等分する縦方向に伸びる顔中心線Lに関する対称性」が所定の基準以上であること、
(条件2)基準単眼画像Eを当該一対の重畳位置にそれぞれ配置したときに、両画像枠が互いに重なり合わないこと、
さて、§2では、図6の流れ図に基づいて、本発明に係る検出方法の基本的な処理手順を説明したが、ここでは、この処理手順におけるステップS2で準備される顔面画像Fを得るためのトリミング・変倍処理について述べることにする。
これまで、§1〜§3にわたって、本発明に係る人物顔面画像についての両眼位置検出方法の実施形態を説明した。この検出方法は、実際には、前述したとおり、コンピュータを用いた演算処理によって実施されることになる。そこで、ここでは、コンピュータを利用して構成した本発明に係る検出装置の構成および動作を述べることにする。
R(i,j)=
Σβ=0,n−1(Σα=0,m+1(F(i+α,j+β)・E(α,β)))
なる演算式によって算出される。ここで、F(i+α,j+β)は顔面画像Fの第(i+α)列第(j+β)行目の画素の赤色の画素値、E(α,β)は基準単眼画像の第α列第β行目の赤色の画素値である。
(条件1)基準単眼画像Eを当該一対の重畳位置にそれぞれ配置したときに、両画像枠の「顔面画像Fを左右に二等分する縦方向に伸びる顔中心線Lに関する対称性」が所定の基準以上であること、
(条件2)基準単眼画像Eを当該一対の重畳位置にそれぞれ配置したときに、両画像枠が互いに重なり合わないこと、
20:フィルタ処理手段
30:最大顔幅認識手段
31:反転判定部
32:行走査制御部
33:繰り返し制御部
34:最大顔幅決定部
40:画像変倍手段
50:基準単眼画像格納手段
60:類似度演算手段
70:しきい値未満除外手段
80:極大抽出手段
90:上位候補選択手段
100:最終候補決定手段
110:検出結果出力手段
A1:瞳領域
A2:白目領域
A3:眼外領域
B1,B2:水平方向に関する領域分布
C1〜C9,Ca,Cb:候補となる重畳位置に配置された単眼画像枠
D:2画素間のユークリッド距離
Da,Db,Dc:距離
d:両関数E(k),F(k)のユークリッド距離
E:基準単眼画像
E(α,β):基準単眼画像を構成する画素/その画素値
Ef:単眼画像枠
E(k):第1の関数
Er,Eg,Eb:基準単眼画像の各色プレーン
F:顔面画像
F(i+α,j+β):顔面画像を構成する画素/その画素値
F(k):第2の関数
Fr,Fg,Fb:顔面画像の各色プレーン
G:基準顔面の顔幅
i:画素配列の列番号
j:画素配列の行番号
K:サンプル総数
k:サンプル番号
L:顔中心線(顔面画像Fの縦方向中心線)
La,Lb:垂線の足
M:顔面画像Fの列数
m:基準単眼画像Eの列数
N:顔面画像Fの行数
n:基準単眼画像Eの行数
P:単眼画像枠内の代表点(中心点)
P1(x1,y1),P2(x1,y1):両眼の位置を示す点
Pa,Pb:単眼画像枠の中心点
Q:位置基準点
Q1〜Q5:重畳位置
R:両関数の相関係数
R(i,j):重畳位置(i,j)に配置したときの相関係数(類似度)
S1〜S35:流れ図の各ステップ
T:しきい値
Uj:走査対象行
Wmax:最大顔幅
x1,x2:横方向の座標値
y1,y2:縦方向の座標値
Z1,Z2:反転部
α:画素配列の列番号
β:画素配列の行番号
Claims (24)
- 人物の顔面画像について両眼の位置を検出する方法であって、
コンピュータ内に、両眼の基準として用いる左右の区別がない基準単眼画像を準備する基準単眼画像準備段階と、
コンピュータ内に、検出の対象となる人物の顔面画像を準備する顔面画像準備段階と、
コンピュータが、前記顔面画像の上の所定の重畳位置に前記基準単眼画像を重ねて配置し、重なった部分の両画像の類似度を求める演算を、第1次候補となる複数通りの重畳位置について実行し、それぞれの類似度を求める類似度演算段階と、
コンピュータが、前記第1次候補のうち、類似度がしきい値未満の候補を除外し、残りの候補を第2次候補とするしきい値未満除外段階と、
コンピュータが、前記第2次候補の各重畳位置について、前記顔面画像上での水平方向に関する類似度の変動を調べ、前記第2次候補の中から、類似度が極大値をとる候補を第3次候補として抽出する極大抽出段階と、
コンピュータが、前記第3次候補の中から、類似度の大きい所定数の重畳位置を第4次候補として選択する上位候補選択段階と、
コンピュータが、前記第4次候補の中から、次の2条件を満たす関係にある一対の重畳位置を最終候補と決定する最終候補決定段階と、
(条件1)前記基準単眼画像を当該一対の重畳位置にそれぞれ配置したときに、両画像枠の「前記顔面画像を左右に二等分する縦方向に伸びる顔中心線に関する対称性」が所定の基準以上であること、
(条件2)前記基準単眼画像を当該一対の重畳位置にそれぞれ配置したときに、両画像枠が互いに重なり合わないこと、
コンピュータが、前記最終候補として決定された一対の重畳位置に前記基準単眼画像を配置したときの当該一対の重畳位置に配置された各基準単眼画像の画像枠内の代表点の位置を両眼の位置の検出結果として出力する検出結果出力段階と、
を有することを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1に記載の検出方法において、
基準単眼画像準備段階で、m列n行の二次元画素配列(第0列〜第(m−1)列、第0行〜第(n−1)行の行列)をもった基準単眼画像を準備し、
顔面画像準備段階で、M列N行の二次元画素配列(但し、M>m、N>nであり、第0列〜第(M−1)列、第0行〜第(N−1)行の行列)をもった顔面画像を準備し、
類似度演算段階で、前記基準単眼画像の第0列第0行目の画素を、前記顔面画像上の第i列第j行目の画素に重ねるような配置を行い、iを0〜(M−m)まで1ずつ変え、jを0〜(N−n)まで1ずつ変えた組み合わせの各配置について、それぞれ類似度を求める演算を実行し、第1次候補となる合計(M−m+1)×(N−n+1)通りの重畳位置についての類似度を求めることを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1または2に記載の検出方法において、
基準単眼画像準備段階で、m列n行の二次元画素配列(第0列〜第(m−1)列、第0行〜第(n−1)行の行列)をもった基準単眼画像を準備し、
顔面画像準備段階で、M列N行の二次元画素配列(但し、M>m、N>nであり、第0列〜第(M−1)列、第0行〜第(N−1)行の行列)をもった顔面画像を準備し、
類似度演算段階で、前記基準単眼画像の第0列第0行目の画素を、前記顔面画像上の第i列第j行目(但し、i=0〜(M−m),j=0〜(N−n))の画素に重ねるような配置を行った際の類似度R(i,j)を、
R(i,j)=
Σβ=0,n−1(Σα=0,m−1(F(i+α,j+β)・E(α,β)))
(但し、F(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の所定色の画素値、E(α,β)は基準単眼画像の第α列第β行目の当該所定色の画素値)
なる演算式を用いて求めることを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項3に記載の検出方法において、
基準単眼画像準備段階で、赤緑青の3原色の画素値Er,Eg,Ebをもつ画素の集合からなる基準単眼画像を準備し、
顔面画像準備段階で、赤緑青の3原色の画素値Fr,Fg,Fbをもつ画素の集合からなる顔面画像を準備し、
類似度演算段階で、
R(i,j)=1/3・
(Σβ=0,n−1(Σα=0,m−1(Fr(i+α,j+β)・Er(α,β)))
+Σβ=0,n−1(Σα=0,m−1(Fg(i+α,j+β)・Eg(α,β)))
+Σβ=0,n−1(Σα=0,m−1(Fb(i+α,j+β)・Eb(α,β))))
(但し、Fr(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の赤色の画素値、Er(α,β)は基準単眼画像の第α列第β行目の赤色の画素値、Fg(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の緑色の画素値、Eg(α,β)は基準単眼画像の第α列第β行目の緑色の画素値、Fb(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の青色の画素値、Eb(α,β)は基準単眼画像の第α列第β行目の青色の画素値)
なる演算式を用いて類似度R(i,j)を求めることを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項3に記載の検出方法において、
基準単眼画像準備段階で、赤色の画素値Erをもつ画素の集合からなる基準単眼画像を準備し、
顔面画像準備段階で、赤緑青の3原色の画素値Fr,Fg,Fbをもつ画素の集合からなる顔面画像を準備し、
類似度演算段階で、赤色の画素値のみの類似度を考慮して、
R(i,j)=
Σβ=0,n−1(Σα=0,m−1(Fr(i+α,j+β)・Er(α,β)))
(但し、Fr(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の赤色の画素値、Er(α,β)は基準単眼画像の第α列第β行目の赤色の画素値)
なる演算式を用いて類似度R(i,j)を求めることを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1〜5のいずれかに記載の検出方法において、
極大抽出段階で、水平方向に隣接して配列された第2次候補の各重畳位置について、隣接位置間における類似度の変遷を順に調べてゆき、類似度の値が増加から減少に転じたときに、減少に転じる直前の重畳位置を類似度が極大値をとる第3次候補として抽出することを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1〜6のいずれかに記載の検出方法において、
上位候補選択段階で、第3次候補の中から、類似度の大きい順に候補を選択してゆく処理を、選択された候補数が所定数に達するもしくは所定数を越えるまで繰り返し実行し、選択された候補を暫定的に第4次候補とした後、当該選択された候補内に互いに近傍にある複数の重畳位置が含まれていた場合には、当該複数の重畳位置のうちの代表となる1つのみを第4次候補として残し、それ以外を第4次候補から除外することを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1〜7のいずれかに記載の検出方法において、
最終候補決定段階で、一方の画像枠の中心点と顔中心線との距離と、他方の画像枠の中心点と顔中心線との距離との差が、所定の範囲内の値となり、かつ、前記一方の画像枠の中心点から顔中心線へ下ろした垂線の足と、前記他方の画像枠の中心点から顔中心線へ下ろした垂線の足との距離が、所定の範囲内の値となる場合に、「顔中心線に関する対称性が所定の基準以上である」と判断することを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1〜8のいずれかに記載の検出方法において、
最終候補決定段階で、2条件を満たす関係にある一対の重畳位置が複数組存在する場合には、一対の重畳位置についての大きい方の類似度もしくは一対の重畳位置についての類似度の合計値が最大となる1組のみを最終候補と決定することを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1〜8のいずれかに記載の検出方法において、
最終候補決定段階で、2条件を満たす関係にある一対の重畳位置が複数組存在する場合には、当該複数組の一対の重畳位置をいずれも最終候補と決定し、
検出結果出力段階で、前記最終候補として決定された複数組の一対の重畳位置に前記基準単眼画像を配置したときの両画像枠内の代表点の位置を、それぞれ複数組の両眼の位置の検出結果として出力することを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1〜10のいずれかに記載の検出方法において、
検出結果出力段階で、画像枠の中心点をその代表点と定め、最終候補として決定された一対の重畳位置に基準単眼画像を配置したときの両画像枠の中心点の位置座標を両眼の位置の検出結果として出力することを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1〜11のいずれかに記載の検出方法において、
基準単眼画像準備段階で、実在の人物の顔写真の眼の部分から切り出した画像に対して修正を加えることにより、基準単眼画像を準備することを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項1〜12のいずれかに記載の検出方法において、
顔面画像準備段階が、
実在の人物の顔写真を所定の背景を用いて撮影し、前記背景部分を示す背景画素と前記人物部分を示す人物画素とによって構成される二次元画素配列からなる撮影原画像をコンピュータに与える画像入力段階と、
コンピュータが、前記二次元画素配列上の所定の走査対象行に所属する各画素を、左端から右へと向かう走査経路および右端から左へと向かう走査経路のいずれか一方の走査経路に沿って順に調べ、背景画素から人物画素に転じる反転部が存在するか否かを判定し、反転部が存在する場合には、当該反転部を第1反転部として認識するとともに、前記一方の走査経路とは逆の走査経路に沿って前記走査対象行に所属する各画素を調べ、背景画素から人物画素に転じる反転部を第2の反転部と認識する行走査段階と、
コンピュータが、前記二次元画素配列の最上行から下へ向かって1行ずつ順番に走査対象行を更新しながら、前記行走査段階を繰り返し実行する繰り返し走査段階と、
コンピュータが、前記繰り返し走査段階において、初めて反転部の認識がなされた行を頭頂行と認定し、前記頭頂行以下の各行については、第1反転部から第2反転部までの距離を当該行の顔幅と定め、上から下へと走査対象行を更新する過程で、走査済みの行についての顔幅のうち最大のものを、その時点での最大顔幅Wmaxと定める最大顔幅決定段階と、
コンピュータが、前記最大顔幅Wmaxに基づく倍率により、前記撮影原画像を拡大もしくは縮小することにより得られる画像を顔面画像とする画像変倍段階と、
を有し、
前記繰り返し走査段階では、前記頭頂行から数えて第Wmax行目の行を走査最終行として、第1行目から前記走査最終行に至るまで前記行走査段階を繰り返し実行し、
画像変倍段階では、前記走査最終行の走査が完了した時点における最大顔幅Wmaxと、基準単眼画像のサイズに応じて予め定義された基準顔面顔幅Gと、の比によって定まる倍率G/Wmaxを用いて、前記撮影原画像を拡大もしくは縮小することにより得られる画像を顔面画像とすることを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項13に記載の検出方法において、
画像変倍段階では、前記走査最終行の走査が完了した時点における最大顔幅Wmaxをもつ行についての第1反転部となる画素が位置する列から第2反転部となる画素が位置する列に至るまでの合計Wmax列に属し、かつ、前記頭頂行から前記走査最終行に至るまでの合計Wmax行に属するWmax画素×Wmax画素の正方画素配列の部分を撮影原画像から切り出し、この切り出した画像を縦横ともにG/Wmax倍に拡大もしくは縮小することにより得られる画像を顔面画像とすることを特徴とする人物顔面画像についての両眼位置検出方法。 - 請求項13または14に記載の検出方法において、
行走査段階を行う前に、撮影原画像に対して、エッジ抽出用およびノイズ除去用の画像フィルタを作用させ、フィルタ処理後の画像を用いて反転部の認識を行うことを特徴とする人物顔面画像についての両眼位置検出方法。 - 人物の顔面画像について両眼の位置を検出する装置であって、
実在の人物の顔写真を撮影することにより得られる二次元画素配列データからなる撮影原画像を格納する撮影原画像格納手段と、
前記撮影原画像に対して、エッジ抽出用およびノイズ除去用の画像フィルタを作用させるフィルタ処理手段と、
前記フィルタ処理手段による処理後のデータに基づいて、前記人物の顔の最大幅と推定される最大顔幅Wmaxを求める最大顔幅認識手段と、
前記最大顔幅Wmaxの値と予め定義された基準顔面顔幅Gとの比によって定まる倍率G/Wmaxを用いて、前記撮影原画像を拡大もしくは縮小し、顔面画像を得る画像変倍手段と、
前記基準顔面顔幅Gをもった基準顔面の両眼として適した大きさを有し左右の区別がない基準単眼画像を格納した基準単眼画像格納手段と、
前記顔面画像の上の所定の重畳位置に前記基準単眼画像を重ねて配置し、重なった部分の両画像の類似度を求める演算を、第1次候補となる複数通りの重畳位置について実行し、それぞれの類似度を求める類似度演算手段と、
前記第1次候補のうち、類似度がしきい値未満の候補を除外し、残りの候補を第2次候補とするしきい値未満除外手段と、
前記第2次候補の各重畳位置について、前記顔面画像上での水平方向に関する類似度の変動を調べ、前記第2次候補の中から、類似度が極大値をとる候補を第3次候補として抽出する極大抽出手段と、
前記第3次候補の中から、類似度の大きい所定数の重畳位置を第4次候補として選択する上位候補選択手段と、
前記第4次候補の中から、次の2条件を満たす関係にある一対の重畳位置を最終候補と決定する最終候補決定手段と、
(条件1)前記基準単眼画像を当該一対の重畳位置にそれぞれ配置したときに、両画像枠の「前記顔面画像を左右に二等分する縦方向に伸びる顔中心線に関する対称性」が所定の基準以上であること、
(条件2)前記基準単眼画像を当該一対の重畳位置にそれぞれ配置したときに、両画像枠が互いに重なり合わないこと、
前記最終候補として決定された一対の重畳位置に前記基準単眼画像を配置したときの当該一対の重畳位置に配置された各基準単眼画像の画像枠内の代表点の位置を両眼の位置の検出結果として出力する検出結果出力手段と、
を備えることを特徴とする人物顔面画像についての両眼位置検出装置。 - 請求項16に記載の検出装置において、
最大顔幅認識手段が、
フィルタ処理手段による処理後のデータを構成する二次元画素配列上の所定の走査対象行に所属する各画素を、左端から右へと向かう走査経路および右端から左へと向かう走査経路のいずれか一方の走査経路に沿って順に調べ、背景画素から人物画素に転じる反転部が存在するか否かを判定する反転判定部と、
所定の行走査対象行について、前記反転判定部に、第1の走査方向に向かって走査を行わせ、反転部が存在した場合には、当該反転部を第1反転部として認識するとともに、第1の走査経路とは逆の第2の走査方向に向かって走査を行わせ、反転部が存在した場合には、当該反転部を第2反転部として認識する行走査制御部と、
前記二次元画素配列の最上行から下へ向かって1行ずつ順番に走査対象行を更新しながら、前記行走査制御部に繰り返し走査を実行させる繰り返し制御部と、
前記繰り返し走査において、初めて反転部の認識がなされた行を頭頂行と認定し、前記頭頂行以下の各行については、第1反転部から第2反転部までの距離を当該行の顔幅と定め、上から下へと走査対象行を更新する過程で、走査済みの行についての顔幅のうち最大のものを、その時点での最大顔幅Wmaxと定める最大顔幅決定部と、
を有し、
前記繰り返し制御部は、前記頭頂行から数えて第Wmax行目の行を走査最終行として、第1行目から前記走査最終行に至るまで1行ずつ順番に走査対象行を更新しながら、前記行走査制御部に繰り返し走査を実行させることを特徴とする人物顔面画像についての両眼位置検出装置。 - 請求項17に記載の検出装置において、
画像変倍手段は、走査最終行の走査が完了した時点における最大顔幅Wmaxをもつ行についての第1反転部となる画素が位置する列から第2反転部となる画素が位置する列に至るまでの合計Wmax列に属し、かつ、前記頭頂行から前記走査最終行に至るまでの合計Wmax行に属するWmax画素×Wmax画素の正方画素配列の部分を撮影原画像から切り出し、この切り出した画像を縦横ともにG/Wmax倍に拡大もしくは縮小することにより得られる画像を顔面画像とすることを特徴とする人物顔面画像についての両眼位置検出装置。 - 請求項16〜18のいずれかに記載の検出装置において、
基準単眼画像格納手段が、m列n行の二次元画素配列(第0列〜第(m−1)列、第0行〜第(n−1)行の行列)をもった基準単眼画像を格納し、
画像変倍手段が、M列N行の二次元画素配列(但し、M>m、N>nであり、第0列〜第(M−1)列、第0行〜第(N−1)行の行列)をもった顔面画像を求め、
類似度演算手段が、前記基準単眼画像の第0列第0行目の画素を、前記顔面画像上の第i列第j行目の画素に重ねるような配置を行い、iを0〜(M−m)まで1ずつ変え、jを0〜(N−n)まで1ずつ変えた組み合わせの各配置について、それぞれ類似度を求める演算を実行し、第1次候補となる合計(M−m+1)×(N−n+1)通りの重畳位置についての類似度を求めることを特徴とする人物顔面画像についての両眼位置検出装置。 - 請求項19に記載の検出装置において、
類似度演算手段が、基準単眼画像の第0列第0行目の画素を、顔面画像上の第i列第j行目(但し、i=0〜(M−m),j=0〜(N−n))の画素に重ねるような配置を行った際の類似度R(i,j)を、
R(i,j)=
Σβ=0,n−1(Σα=0,m+1(F(i+α,j+β)・E(α,β)))
(但し、F(i+α,j+β)は顔面画像の第(i+α)列第(j+β)行目の画素の所定色の画素値、E(α,β)は基準単眼画像の第α列第β行目の当該所定色の画素値)
なる演算式を用いて求めることを特徴とする人物顔面画像についての両眼位置検出装置。 - 請求項16〜20のいずれかに記載の検出装置において、
上位候補選択手段が、第3次候補の中から、類似度の大きい順に候補を選択してゆく処理を、選択された候補数が所定数に達するもしくは所定数を越えるまで繰り返し実行し、選択された候補を暫定的に第4次候補とした後、当該選択された候補内に互いに近傍にある複数の重畳位置が含まれていた場合には、当該複数の重畳位置のうちの代表となる1つのみを第4次候補として残し、それ以外を第4次候補から除外することを特徴とする人物顔面画像についての両眼位置検出装置。 - 請求項16〜21のいずれかに記載の検出装置において、
最終候補決定手段が、一方の画像枠の中心点と顔中心線との距離と、他方の画像枠の中心点と顔中心線との距離との差が、所定の範囲内の値となり、かつ、前記一方の画像枠の中心点から顔中心線へ下ろした垂線の足と、前記他方の画像枠の中心点から顔中心線へ下ろした垂線の足と、の距離が、所定の範囲内の値となる場合に、「顔中心線に関する対称性が所定の基準以上である」と判断することを特徴とする人物顔面画像についての両眼位置検出装置。 - 請求項16〜22のいずれかに記載の検出装置において、
検出結果出力手段が、画像枠の中心点をその代表点と定め、最終候補として決定された一対の重畳位置に基準単眼画像を配置したときの両画像枠の中心点の位置座標を両眼の位置の検出結果として出力することを特徴とする人物顔面画像についての両眼位置検出装置。 - 請求項16〜23のいずれかに記載の検出装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007253367A JP4803148B2 (ja) | 2007-09-28 | 2007-09-28 | 人物顔面画像についての両眼位置検出方法および検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007253367A JP4803148B2 (ja) | 2007-09-28 | 2007-09-28 | 人物顔面画像についての両眼位置検出方法および検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009086834A JP2009086834A (ja) | 2009-04-23 |
JP4803148B2 true JP4803148B2 (ja) | 2011-10-26 |
Family
ID=40660211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007253367A Expired - Fee Related JP4803148B2 (ja) | 2007-09-28 | 2007-09-28 | 人物顔面画像についての両眼位置検出方法および検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4803148B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104846B (zh) * | 2019-10-16 | 2022-08-30 | 平安科技(深圳)有限公司 | 数据检测方法、装置、计算机设备和存储介质 |
WO2023220870A1 (zh) * | 2022-05-16 | 2023-11-23 | 威盛电子股份有限公司 | 摄影装置的调整提示系统 |
-
2007
- 2007-09-28 JP JP2007253367A patent/JP4803148B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009086834A (ja) | 2009-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106909875B (zh) | 人脸脸型分类方法和系统 | |
JP5432714B2 (ja) | 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体 | |
JP4317465B2 (ja) | 顔識別装置、顔識別方法及び顔識別プログラム | |
EP1810245B1 (en) | Detecting irises and pupils in human images | |
EP2151801B1 (en) | Image processing device, method, and storage medium | |
KR100682889B1 (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
KR101390756B1 (ko) | 안면 특징 검출 방법 및 장치 | |
US20030123713A1 (en) | Face recognition system and method | |
JP4445454B2 (ja) | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム | |
CN107852533A (zh) | 三维内容生成装置及其三维内容生成方法 | |
JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
EP1970859B1 (en) | Detecting method and detecting system for positions of face parts | |
JP2004005384A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 | |
JP2008220617A (ja) | 画像解析システム、及び画像解析プログラム | |
CN111222432A (zh) | 人脸活体检测方法、系统、设备及可读存储介质 | |
JP4803148B2 (ja) | 人物顔面画像についての両眼位置検出方法および検出装置 | |
CN112861588B (zh) | 一种活体检测的方法、装置 | |
CN106446859B (zh) | 利用手机前置摄像头自动识别人眼中黑点和血丝的方法 | |
JP6068896B2 (ja) | 画像処理装置およびプログラム | |
JP6197063B2 (ja) | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 | |
JP5419777B2 (ja) | 顔画像合成装置 | |
KR101513931B1 (ko) | 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치 | |
RU2329535C2 (ru) | Способ автоматического кадрирования фотографий | |
JP2005332382A (ja) | 画像処理方法および装置並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110712 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110725 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140819 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |