JP3999964B2 - 目を検出するマルチモードデジタル画像処理方法 - Google Patents
目を検出するマルチモードデジタル画像処理方法 Download PDFInfo
- Publication number
- JP3999964B2 JP3999964B2 JP2001368466A JP2001368466A JP3999964B2 JP 3999964 B2 JP3999964 B2 JP 3999964B2 JP 2001368466 A JP2001368466 A JP 2001368466A JP 2001368466 A JP2001368466 A JP 2001368466A JP 3999964 B2 JP3999964 B2 JP 3999964B2
- Authority
- JP
- Japan
- Prior art keywords
- iris
- image
- eye
- iris pixel
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Description
【発明の属する技術分野】
本発明は顔の特徴を検出するデジタル画像処理方法に関し、さらに詳細には人の目を検出する方法に関する。
【0002】
【従来の技術】
デジタル画像処理においては画像内の人の目を検出することはしばしば有用である。例えばこの情報は見た目の人の向きのような画像内の他の特徴を捜し出すのに使用される。この情報はまた画像内の人の顔の向きの認識のような他の目的にも使用できる。
【0003】
デジタル画像内の人の目を認識する方法は知られた技術である。例えば米国特許第6072892号はデジタル画像内の人の目の位置を検出するのに閾値法を用いることを開示している。この方法においてはラスタ走査法を用いて走査窓が画像全体を走査する。ヒストグラム抽出装置が画像を走査しながら窓から強度ヒストグラムを抽出する。各強度ヒストグラムがピーク検出器により検査され、肌と白目と黒目とを表わすヒストグラム内の三つのピークが認識される。目の位置を示す画像内の候補位置が三つのピークを有するヒストグラムにより同定される。各候補位置に関連するヒストグラムの面積を計算することによりまた最大面積をもつヒストグラムに関連する位置を選択することにより候補位置の中から目の位置が決定される。
【0004】
【発明が解決しようとする課題】
このやり方の問題の一つは画像全体を画素一つずつ走査しなければならないことである。従って探索窓を画像内の各画素に位置決めしなければならないし、各画素位置においてヒストグラムを集計しなければならない。さらに各ヒストグラムの面積を計算して記憶しなければならない。この方法は膨大な量の計算力を消費し、画像処理速度を低下させることは言うまでもない。この方法はまた誤認識を高い割合で生じ得る。
【0005】
異常に高い赤色含有量を有する人の目を検出する方法も知られている。このような異常に高い赤色含有量は赤目として知られている写真現象に一般に関連する。赤目は典型的には瞳により反射されるフラッシュライトにより生ずる。本願と同一の出願人に譲渡された係属中の米国特許出願第08/919560号に述べられているように画像内の赤目を表す高い赤色含有量を有する画素を探索することは知られている。同様に同一出願人に譲渡された米国特許第5432863号には赤目の色特性を有する画像内の画素を検出するユーザ対話形の方法について述べられている。これらの方法では赤目が存在する場合にのみ目が検出されるということは言うまでもない。
【0006】
このようにデジタル画像内の人の目をより正確にかつ効率よく捜し出す方法に対する要求が存在する。
【0007】
【課題を解決するための手段】
本発明の一つの態様によれば、デジタル画像内の人の目を検出するデジタル画像処理方法であって、虹彩画素を検出するステップと、虹彩画素をクラスタ化するステップと、虹彩画素クラスタの数を決定するステップと、画像内の目の位置を同定するために、i)虹彩画素クラスタを用いて目の位置を検出するために幾何学的推論を適用する方法であって、各虹彩画素クラスタの中心を求めること、および虹彩画素クラスタの中心間の幾何学的関係に基づいて一対の目を検出することを含む方法、ii)虹彩画素クラスタに基づいて目の位置を検出するために相対的相関を適用する方法であって、画像において各虹彩画素クラスタの中心を取り囲む窓を定めること、虹彩画素クラスタを左半分の虹彩画素クラスタと右半分の虹彩画素クラスタとに分けること、平均的な目のテンプレートと左半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法、iii)画像内の画素から目の位置を検出するために相対的相関を適用する方法であって、画像を左半分領域と右半分領域とに分けること、平均的な目のテンプレートと左半分領域内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分領域内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法の少なくとも一つを選択するステップとを含み、方法iii)は、2つ未満の虹彩画素クラスタが検出された場合に選択され、方法i)は、少なくとも2つの虹彩画素クラスタが検出された場合に選択され、方法ii)は、方法i)により目の位置が検出されない場合の後に選択されることを特徴とするデジタル画像処理方法が提供される。
なお、本段落の以降の記載は、出願当初の[特許請求の範囲]に対応した記載であり、補正後の本発明においては参考となる記載である。
本発明に従えば前記の要求はデジタル画像内の人の目を検出するデジタル画像処理方法により満たされる。この方法は画像内の虹彩画素を検出するステップと、虹彩画素をクラスタ化するステップと、目の位置を同定する以下の方法の内の少なくとも一つを選択するステップを含むことを特徴とする。すなわち虹彩画素クラスタを用いて目の位置を検出するために幾何学的推論を適用することと、目の位置を検出するために虹彩画素クラスタを用いて差分自乗和法を適用することと、画像内の画素から目の位置を検出するために差分自乗和法を適用することとである。ただし、適用される方法は虹彩画素クラスタの数に基づいて選択される。
【0008】
【発明の実施の形態】
図1はカラーデジタル画像源10、例えばフィルムスキャナ、あるいはデジタルカメラ、あるいはピクチャCDをもつコンパクト・ディスク・ドライブのようなデジタル画像記憶装置を含む、本発明を実施するのに有用な画像処理システムを示す。デジタル画像源10からのデジタル画像は画像処理装置12、例えばプログラムされたパーソナル・コンピュータ、あるいはSun Sparc 20ワークステーションのようなデジタル画像処理ワークステーションに供給される。画像処理装置12はCRTディスプレー14、およびオペレータ・インタフェース、例えばキーボード16やマウス18に接続してもよい。画像処理装置12はまたコンピュータで読取り可能な記憶媒体17に接続される。画像処理装置12は処理されたデジタル画像を出力装置19に送る。出力装置19はハードコピープリンタ、あるいは長期画像記憶装置、あるいは別の処理装置への接続部、あるいは画像遠隔通信装置、例えばインターネットで構成することができる。
【0009】
図2には本発明の方法がより詳細に説明されている。図2は本発明の目の検出方法の一つの実施例を説明するフローチャートである。図2は処理されるべきデジタルカラー画像がまず虹彩色画素検出ステップ200に入力されることを示す。図示された実施例においては、虹彩色画素検出はまず画像内の肌色領域を検出し、次に肌色領域内の赤色強度レベルの測定による虹彩色画素を同定することにより達成される。
【0010】
肌色検出の第1ステップはステップ201として図2に示すカラーヒストグラムの等化である。カラーヒストグラム等化ステップ201は処理されるべき画像を受けて画像が肌色検出を許容する形式になっていることを保証する。このステップが必要なのは人の肌が照明条件やフラッシュの設定やフィルム特性により画像内でどんな色をも呈し得るからである。このことはそのような画像内の肌の自動検出を困難にする。カラーヒストグラム等化ステップ201においては各画像の統計的解析が実行される。照明条件により外観が変更されてしまった肌領域を画像が含み得るということが統計的解析により示唆される場合には、そのような画像は肌色領域が検出できるように修正される。
【0011】
カラーヒストグラム等化ステップの後には、肌色検出ステップ202において肌色領域が画像探索される。デジタル画像内の肌は多くの方法で検出可能であるが、デジタル画像内の肌検出の好ましい方法は、大きな、バランスの良い画像母集団から収集された肌色候補範囲を含む実用カラー空間を定めることにより画像内の他の画素から肌色画素を分離することである。次に画素が実用カラー空間内の色を有する場合にはその画素は肌色画素と同定される。
【0012】
肌色検出ステップ202は画像内の肌色画素領域を同定する。この領域はどんな方法でも定めることができる。一つの実施例においては肌色を有する画像内の画素を同定する画素位置セットにより定められる。別の実施例においては肌色画素のみを含む修正画像が作り出される。また別の実施例においては肌色検出ステップ202が画像内の肌色領域を限定する境界を定める。画像内に同定される肌色領域が一つより多い場合もあり得ることは言うまでもない。
【0013】
卵形領域抽出ステップ204は顔を表す肌色領域の場所を捜し出す肌色検出ステップ202により検出された肌色領域を検査する。人の顔は大まかには卵形をしているので卵形肌色領域を捜し出すために肌色領域が検査される。卵形肌色領域が見つかれば卵形領域抽出ステップ204は卵形肌色領域の幾何学的な特性を測定する。卵形領域抽出ステップ204はこれらの測定を用いて顔の大きさと画像内の顔の位置を記述するパラメータを定める。
【0014】
図3は画像内の卵形肌色領域を定めるのに用いられる幾何学的パラメータ間の関係図である。図3に示すようにこれらのパラメータは卵形部上部300と、卵形部下部302と、卵形部左部304と、卵形部右部306と、卵形部中心行308と、卵形部中心列310とを含む。これらのパラメータは本方法の後のステップにおいて目の検出工程の効率を向上するのに用いられる。本発明の方法は卵形以外の形を有する肌色検出領域を用いて実行できること、またそのような形に関連づけて他の幾何学的パラメータを定め得ることは言うまでもない。また画像内の卵形あるいは他の形をした領域を検出することが必須ではないことも言うまでもない。そのような場合、肌色領域が虹彩色画素を検出するために検査される。さらにこの場合、やはり肌色領域を記述する他のパラメータが目の検出工程において用いるために定められる。
【0015】
卵形領域抽出が実行されたあとに卵形肌色領域が虹彩色画素を求めて探索される。このステップは虹彩色画素検出ステップ206により実行される。虹彩色画素探索を卵形肌色領域内に限定すれば虹彩色画素検出の効率が向上することは言うまでもない。また虹彩に関連する画素を検出する虹彩画素検出ステップ200に関して多くのやり方があることも言うまでもない。そのような画素は単純な色閾値法やモデルマッピングやその他の周知技術の方法により同定できる。
【0016】
一つの好ましい実施例においては、同一出願人に譲渡された係属中の米国特許出願「Digital Image Processing Method and Computer Program Product for Detecting Human Irises in an Image」において請求および説明された方法を用いて虹彩画素が検出される。この実施例においては画素の赤色強度を測定することにより画素が虹彩であるかどうかを虹彩色画素検出ステップ206が決定する。このことは比較的高い赤色強度をもつ人の肌に比べて人の虹彩は低い赤色強度をもつということが観測されてきたために行なわれる。しかしながらこの実施例では虹彩色画素は単純な閾値法に基づいて肌色画素から分離されるのではない。その代わり各画素が虹彩である確率を決定しまた各画素が虹彩でない確率を決定するのに卵形肌色領域内の画素の赤色強度が用いられる。次に画素が虹彩である確率と画素が虹彩でない確率との関係が解析され、画素が虹彩画素であるかどうかが決定される。
【0017】
所定の赤色強度をもつ画素が虹彩画素である確率は虹彩統計モデルに基づいて決定される。同様に所定の画素が虹彩でない確率を画素の赤色強度レベルに基づいて定めるのに非虹彩統計モデルが用いられる。これらのモデル間の関係は図4の例により示すように非線形である。図4は所定の画素が虹彩画素である条件つき確率402を特定の赤色強度の関数として表わす統計モデルの例と、所定の画素が非虹彩画素である条件つき確率404を個々の赤色強度Iの関数として表わす統計モデルの例とを示す図である。
【0018】
確率解析は多くの形式を取り得る。例えばこれらの確率間の関係に基づいて確率と虹彩としてあるいは非虹彩として分類される画素とを種々の方法で組み合わせることができる。しかしながら好ましい実施例においては所定の赤色強度をもつ画素が虹彩に属する条件つき確率を生み出すためにベイズモデルとして知られる数学的構成が確率を組み合わせるのに用いられる。
【0019】
この実施例においてはベイズモデルは以下のように適用される。
P(iris|I)=P(I|iris)P(iris)/{P(I|iris)P(iris)+P(I|noniris)P(noniris)}
ただしP(iris|I)は所定の画素強度が虹彩に属する条件つき確率であり、P(I|iris)は所定の虹彩画素が特定の強度Iをもつ条件つき確率であり、P(iris)は顔面卵形領域において虹彩が発生する確率であり、P(I|noniris)は所定の非虹彩画素が特定の強度Iをもつ条件つき確率であり、P(noniris)は顔面卵形領域において非虹彩画素が発生する確率である。ベイズモデルはさらに顔面卵形領域において虹彩が発生する確率および顔面卵形領域において非虹彩が発生する確率を適用する。ベイズモデルに基づいた確率解析を用いて、所定の赤色強度をもつ画素が虹彩に属する条件つき確率が例えば0.05より大きい場合には画素は虹彩として分類される。
【0020】
上記の実施例においては卵形部上部300と、卵形部下部302と、卵形部左部304と、卵形部右部306により定められる卵形肌色領域内の画素のみが検査される。検査すべき画素を卵形肌色領域内の画素に限定することにより検査すべき画素数を減らし、また虹彩でない画素が虹彩として分類される可能性を減少させる。検査すべき画素を肌色領域内の画素に限定することは本発明の他の実施例において説明するように同様の利点をもたらすことは言うまでもない。肌色領域を検出することは必須ではないこと、また本発明が画像内の各画素の赤色強度を測定しまた上記の確率解析に基づいて虹彩であるかどうかを決定することにより実施できることも言うまでもない。
【0021】
図5は、画素が虹彩画素であるかどうかを決定するのに用いられる統計モデルと、画素が非虹彩画素であるかどうかを決定するのに用いられる統計モデルとを定めるために使用される虹彩色ベイズモデルの学習ステップ226を図解するフローチャートを示す。ステップ226の方法は本発明の虹彩検出方法が虹彩検出に用いられる前に実行される。図5に示すように顔前面の画像の大きな標本が収集され検査される。次に顔面領域内の全ての虹彩画素および非虹彩画素が手動で同定される(502および504)。次に所定の虹彩画素が特定の赤色強度Iをもつ条件つき確率P(I|iris)が計算され、顔面卵形領域内に虹彩が発生する確率P(iris)506が計算される。次に所定の非虹彩画素が特定の赤色強度Iをもつ条件つき確率P(I|noniris)が計算され、最後に顔面卵形領域内に非虹彩画素が発生する確率P(noniris)508が計算される。虹彩および非虹彩の計算された統計モデルはベイズモデルにおいて所定の画素強度が虹彩に属する条件つき確率P(iris|I)510を生み出すのに用いられる。いくつかの実施例においてはベイズモデルは虹彩色画素検出ステップ206において用いられるルックアップテーブルを作り出すのに使用できる。
【0022】
虹彩色画素検出ステップ206が画像内の虹彩画素の位置を同定した後に虹彩色画素がクラスタにされる。これは虹彩画素クラスタ化ステップ208により行なわれる。クラスタはクラスタ内のどの画素もクラスタ内の別の画素に対して所定の距離内にあるという特性をもつ有効虹彩色画素のセットである。所定の距離の一つの例はデジタル画像高さの30分の1である。図2の虹彩画素クラスタ化ステップ208はこのクラスタの定義に基づいて虹彩色画素をクラスタにまとめる。しかしながら他の基準に基づいて画素がクラスタ化されてもよいことは言うまでもない。
【0023】
いくつかの状況の下では虹彩色画素クラスタの定義が無効なクラスタを含む程に広い場合がある。そのような状況においては図2に示すようにクラスタを有効化するステップがステップ209として含まれる。例えばクラスタが多すぎる虹彩色画素を含んでいるために、あるいはクラスタが虹彩を表わしていないということをクラスタ内の画素の幾何学的関係が示唆しているためにクラスタが無効になる場合がある。例えばクラスタの高さの幅に対する比率が決定され、その比率が2より大きい場合、このクラスタは無効である。無効な虹彩画素クラスタはこれ以降考慮から除外される。従って以下の説明部分においては有効虹彩画素クラスタを単に虹彩画素クラスタと呼ぶ。
【0024】
虹彩画素クラスタの数「n」はステップ210において計数される。虹彩画素クラスタの数「n」は画像内の目を検出する二つの経路の中から選択するために決定ステップ210により用いられる。虹彩画素クラスタの数「n」が2より小さい場合には工程は後述のステップ224に分岐される。虹彩色画素の数「n」が少なくとも2である場合には工程はクラスタ中心を算出するためにステップ212に分岐する。クラスタの中心はクラスタの質量中心として決定される。クラスタの中心位置は画像座標系の原点に関して計算される。この測定のために画像座標系の原点は画像境界の左上隅にある。
【0025】
各虹彩画素クラスタの中心が定められた後に虹彩画素クラスタ間の幾何学的関係に基づいて幾何学的推論が適用され目の検出が試みられる。図6に示すように二つのクラスタ、すなわち左半分604に一つと右半分606に一つしか残っていない場合、かつ二つのクラスタ中心間の水平距離が卵形部右部306と卵形部左部304間の距離の0.4倍より小さい場合、かつ二つのクラスタ中心間の垂直距離が卵形部上部300と卵形部下部302間の距離の10分の1より小さい場合には二つのクラスタの中心位置は目の位置として扱われる。
【0026】
この解析が非常に敏速に完了し得ることは言うまでもない。この解析が旨く行けば目の位置を検出するのにこれ以上の行為は不要である。従って検出結果の点検がステップ216において行なわれ、目の位置が検出されたかどうかが分かる。目の位置が検出されれば目の検出工程は停止する。目の位置が検出されなければ工程はステップ218へと進む。
【0027】
ステップ218においては目の位置を画像探索するのに差分自乗和法が用いられる。一般的には差分自乗和法では、目のテンプレートと、そのテンプレートと同じ大きさの画像区画とにおいて対応する画素の強度値の差分自乗和を計算することになる。この方法においては画素区画の各画素はテンプレート内に対応する画素を持っている。対応する各画素の強度レベル間の差分が計算され、各差分が自乗される。セット内の各画素に対する自乗された差分のそれぞれの和が計算される。この差分自乗和は測定された各画素セットとテンプレート間の一致度の相対的尺度を提供する。目の位置の検出220がされない場合には工程は224へ進む。
【0028】
本発明において適用されているように、差分自乗和は各半分領域にある各窓内の各画素に対して計算される。これらの値は比較され、最小の相対差分自乗和をもつクラスタが個々の半分領域に対する目の位置として選択されまた同定される。この工程は下記のやり方で画像の左半分と右半分の領域のクラスタにつき別々に実行される。
【0029】
平均的な目のテンプレートと各画素区画間の最良の相対的相関を同定するのに差分自乗和を用いるものとして本発明を説明してきたが、平均二乗誤差法を含む他の方法もこの目的に使用できることは言うまでもない。
【0030】
本発明の方法の一つの実施例においては卵形領域検出ステップ204において計算されたパラメータは差分自乗和を計算すべき画像内の位置数を減らすことにより差分自乗和の使用効率を向上するのに用いられる。図6に示すようにこの実施例においては卵形部中心列310は卵形領域を左半分領域604と右半分領域606とに分割するのに用いられる。やはり図6に示すように虹彩画素クラスタ600と虹彩画素クラスタ600の中心位置602は卵形部中心列310により分離された左半分領域604にも右半分領域606にも配置される。
【0031】
ステップ218は差分自乗和法と、左半分領域604にある画素クラスタ600とを用いて左目位置探索を行なう。ステップ218はまた差分自乗和法と右半分領域606にある虹彩画素クラスタ600とを用いて右半分領域内の右目位置探索を行なう。
【0032】
図7および8を参照して半分領域内のクラスタから一つのクラスタを選択する工程を説明する。目の位置探索工程は個々の半分領域内の各クラスタ802の中心に対して窓800の中心を合わせる工程70により開始される。窓800に対するデフォルトの大きさは画像804の大きさの20分の1である。次に差分自乗和計算72の演算は各窓800内の各画素について実行される。各窓800内の最小差分自乗和をもつ画素位置が記録76される。半分領域78の全ての窓内の全ての画素に対して差分自乗和が計算されたら最小差分自乗和をもつ画素位置が記録79される。これは半分領域に対する目の推定位置である。この工程は残りの半分領域に対して繰り返される。この工程により二つの目が検出されたらこの方法は終了する。
【0033】
ステップ218の差分自乗和法が卵形肌色抽出を用いなくても実行できることは言うまでもない。そのような実施例においては肌色領域は左半分領域と右半分領域とに分割することができる。従って虹彩画素クラスタが左半分領域と右半分領域とに分割することができる。次に差分自乗和法が上記のように適用できる。
【0034】
しかしながらステップ218の実行後に目が検出220されなかったら、あるいはステップ209において二つより少ない虹彩画素クラスタが検出されたら目の検出工程はステップ224に進む。ステップ224はステップ218と同様のやり方で動作する。しかしながら図9に示すように画像900全体は分割され、それぞれ左半分領域908と右半分領域910内の画像904の各画素に対して差分自乗和が計算される。
【0035】
画像区画と目テンプレート間の相対的相関を決定するのに差分自乗和法の代わりに他の方法が使用できることは言うまでもない。一例は平均二乗誤差法である。この方法は周知技術である。
【0036】
本発明が画像内の目を検出するのに三つの別個のステップの方法を提供することは言うまでもない。すなわち幾何学的推論212および214と、虹彩画素クラスタを用いた差分自乗和218と、画像画素を用いた差分自乗和224である。これらの方法の内で幾何学的推論が最も簡単で最も効率が良いということも言うまでもない。これは幾何学的推論が最も効率の良い処理方法を提供するからであり、幾何学的推論が虹彩画素クラスタにのみ適用されるからである。これらのクラスタは画像内の画素の数に比較した場合比較的数が少ない。
【0037】
それとは対照的に、ステップ224において必要とされるような画像内の各画素に対して差分自乗和法を適用することは演算上は重いステップであり、画像内の一つの画素が目の位置であるかどうかを決定するために多くの処理ステップと計算を要する。さらにステップ224の方法は画像内の全ての非虹彩画素に適用されねばならない。現行の共通フォーマットにおいてはデジタル画像は2.1メガピクセルのカメラにより取得されている。さらに16メガピクセルのカメラもデモされている。従って画像内の目の位置を検出するのにステップ224を用いれば一つの画像を処理するのに文字通り数百万の演算を要するであろう。これは時間集約的かつコンピュータ集約的工程である。
【0038】
中間的取組みとして、ステップ218は演算上重い差分自乗和法を適用するが、虹彩画素クラスタに関して定められた窓内の画素にこの方法の適用を限定している。これは差分自乗和法を適用すべき画素数を実質的に減らし、従って差分自乗和法220の適用がステップ224の差分自乗和法よりもよりコンピュータ集約的でないようにする。
【0039】
本発明の方法が画像内の目を検出する最も効率のよい方法を選択するためにこれらの目の検出方法を自動的に選択し、また虹彩画素クラスタの数を用いるやり方でこれらの方法を組み合わせる方法を提供することも言うまでもない。
【0040】
本発明の主題はデジタル画像理解技術に関し、これはデジタル画像をデジタル処理して認識し、それにより人が理解し得る物体あるいは属性あるいは条件に有益な意味を与え、得られた結果を更なるデジタル画像処理に利用する技術を意味すると理解される。
【0041】
このように本方法およびコンピュータ・プログラム製品は本発明の目的に叶うものである。
【0042】
いくつかの好ましい実施例を特に参照して発明を詳細に説明したが、本発明の精神及び範囲内で種々の変更および変形を成し得るということは言うまでもない。
【図面の簡単な説明】
【図1】 本発明の実施に有用な画像処理システムの原理図である。
【図2】 本発明の目の検出方法を表わすフローチャートである。
【図3】 いくつかの幾何学的パラメータと画像内の卵形肌色領域間の関係を表す図である。
【図4】 特定の赤色強度の関数として明示され所定の画素が虹彩画素である条件つき確率を表わし、また所定の画素が非虹彩画素である条件つき確率を特定の赤色強度Iの関数として表わす図である。
【図5】 所定の画素が虹彩画素である条件つき確率を特定の赤色強度レベルの関数として表わす統計モデルと、所定の画素が非虹彩画素である条件つき確率を特定の赤色強度レベルの関数として表わす統計モデルとを作り出す工程を表わすフローチャートである。
【図6】 虹彩色画素クラスタを表わす図である。
【図7】 虹彩画素クラスタを用いる目の位置検出に差分自乗和法を適用する工程を表わすフローチャートである。
【図8】 虹彩画素クラスタの中心に中心合わせされた目のテンプレートと探索窓を表わす図である。
【図9】 画素を用いる目の位置検出に差分自乗和法を適用する工程において用いられる目のテンプレートと画像を表す図である。
【符号の説明】
10 デジタル画像源、12 画像処理装置、14 ディスプレー、16 キーボード、17 コンピュータで読み取り可能な記憶媒体、18 マウス、19出力装置、300 卵形部上部、302 卵形部下部、304 卵形部左部、306 卵形部右部、308 卵形部中心行、310 卵形部中心列、402 画素が虹彩である確率の統計モデル、404 画素が虹彩でない確率の統計モデル、600 クラスタ中心、602 虹彩色画素、604 左半分領域、606右半分領域、800 窓、802 窓内を移動する平均的な目のテンプレート、804 画像、806 平均的な目のテンプレート、902 画像内を移動する平均的な目のテンプレート、904 画像、906 平均的な目のテンプレート、908 画像の左半分、910 画像の右半分。
Claims (2)
- デジタル画像内の人の目を検出するデジタル画像処理方法であって、
虹彩画素を検出するステップと、
虹彩画素をクラスタ化するステップと、
虹彩画素クラスタの数を決定するステップと、
画像内の目の位置を同定するために、i)虹彩画素クラスタを用いて目の位置を検出するために幾何学的推論を適用する方法であって、各虹彩画素クラスタの中心を求めること、および虹彩画素クラスタの中心間の幾何学的関係に基づいて一対の目を検出することを含む方法、ii)虹彩画素クラスタに基づいて目の位置を検出するために相対的相関を適用する方法であって、画像において各虹彩画素クラスタの中心を取り囲む窓を定めること、虹彩画素クラスタを左半分の虹彩画素クラスタと右半分の虹彩画素クラスタとに分けること、平均的な目のテンプレートと左半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法、iii)画像内の画素から目の位置を検出するために相対的相関を適用する方法であって、画像を左半分領域と右半分領域とに分けること、平均的な目のテンプレートと左半分領域内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分領域内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法の少なくとも一つを選択するステップとを含み、
方法iii)は、2つ未満の虹彩画素クラスタが検出された場合に選択され、方法i)は、少なくとも2つの虹彩画素クラスタが検出された場合に選択され、方法ii)は、方法i)により目の位置が検出されない場合の後に選択されることを特徴とするデジタル画像処理方法。 - 人の目を検出するデジタル画像処理方法であって、
虹彩画素を検出するステップと、
虹彩画素をクラスタ化するステップと、
虹彩画素クラスタの数を決定するステップと、
虹彩画素クラスタの数に基づいて目の位置を検出する方法を選択するステップと、
目の位置を検出するために前記選択された方法を使用するステップとを含み、
前記目の位置を検出する方法には、
i)虹彩画素クラスタを用いて目の位置を検出するために幾何学的推論を適用する方法であって、各虹彩画素クラスタの中心を求めること、および虹彩画素クラスタの中心間の幾何学的関係に基づいて一対の目を検出することを含む方法と、
ii)虹彩画素クラスタに基づいて目の位置を検出するために相対的相関を適用する方法であって、画像において各虹彩画素クラスタの中心を取り囲む窓を定めること、虹彩画素クラスタを左半分の虹彩画素クラスタと右半分の虹彩画素クラスタとに分けること、平均的な目のテンプレートと左半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法と、
iii)画像内の画素から目の位置を検出するために相対的相関を適用する方法であって、画像を左半分領域と右半分領域とに分けること、平均的な目のテンプレートと左半分領域内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分領域内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法と、
が含まれ、
方法iii)は、2つ未満の虹彩画素クラスタが検出された場合に選択され、方法i)は、少なくとも2つの虹彩画素クラスタが検出された場合に選択され、方法ii)は、方法i)により目の位置が検出されない場合の後に選択される、
デジタル画像処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/740,562 | 2000-12-19 | ||
US09/740,562 US6792134B2 (en) | 2000-12-19 | 2000-12-19 | Multi-mode digital image processing method for detecting eyes |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002208014A JP2002208014A (ja) | 2002-07-26 |
JP3999964B2 true JP3999964B2 (ja) | 2007-10-31 |
Family
ID=24977058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001368466A Expired - Fee Related JP3999964B2 (ja) | 2000-12-19 | 2001-12-03 | 目を検出するマルチモードデジタル画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6792134B2 (ja) |
EP (1) | EP1229493B1 (ja) |
JP (1) | JP3999964B2 (ja) |
DE (1) | DE60123378T2 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4469476B2 (ja) * | 2000-08-09 | 2010-05-26 | パナソニック株式会社 | 眼位置検出方法および眼位置検出装置 |
EP1211640A3 (en) * | 2000-09-15 | 2003-10-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face and other objects in an image |
US7058209B2 (en) * | 2001-09-20 | 2006-06-06 | Eastman Kodak Company | Method and computer program product for locating facial features |
US20030095707A1 (en) * | 2001-11-19 | 2003-05-22 | Koninklijke Philips Electronics N.V. | Computer vision method and system for blob-based analysis using a probabilistic pramework |
US7593550B2 (en) | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
US8705808B2 (en) | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
US8090157B2 (en) | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
US7761453B2 (en) | 2005-01-26 | 2010-07-20 | Honeywell International Inc. | Method and system for indexing and searching an iris image database |
US8049812B2 (en) | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
US8442276B2 (en) | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
US7295686B2 (en) * | 2003-09-29 | 2007-11-13 | Primax Electronics Ltd. | Method of processing red eye in digital images |
US7324664B1 (en) * | 2003-10-28 | 2008-01-29 | Hewlett-Packard Development Company, L.P. | Method of and system for determining angular orientation of an object |
FR2864290B1 (fr) * | 2003-12-18 | 2006-05-26 | Sagem | Procede et dispositif de reconnaissance d'iris |
US7809171B2 (en) * | 2005-01-10 | 2010-10-05 | Battelle Memorial Institute | Facial feature evaluation based on eye location |
JP4516448B2 (ja) * | 2005-02-25 | 2010-08-04 | 株式会社デンソーアイティーラボラトリ | 領域抽出装置及び領域抽出方法 |
US20070036438A1 (en) * | 2005-08-15 | 2007-02-15 | Lexmark International, Inc. | Methods and systems for identifying red eye pairs |
US7650034B2 (en) * | 2005-12-14 | 2010-01-19 | Delphi Technologies, Inc. | Method of locating a human eye in a video image |
US7646894B2 (en) * | 2006-02-14 | 2010-01-12 | Microsoft Corporation | Bayesian competitive model integrated with a generative classifier for unspecific person verification |
JP2009529197A (ja) | 2006-03-03 | 2009-08-13 | ハネウェル・インターナショナル・インコーポレーテッド | モジュールバイオメトリクス収集システムアーキテクチャ |
GB2450023B (en) | 2006-03-03 | 2011-06-08 | Honeywell Int Inc | An iris image encoding method |
WO2008016724A2 (en) | 2006-03-03 | 2008-02-07 | Honeywell International, Inc. | An iris recognition system having image quality metrics |
GB2448653B (en) | 2006-03-03 | 2011-03-23 | Honeywell Int Inc | Single lens splitter camera |
US7712052B2 (en) | 2006-07-31 | 2010-05-04 | Microsoft Corporation | Applications of three-dimensional environments constructed from images |
US20080027985A1 (en) * | 2006-07-31 | 2008-01-31 | Microsoft Corporation | Generating spatial multimedia indices for multimedia corpuses |
US7764849B2 (en) * | 2006-07-31 | 2010-07-27 | Microsoft Corporation | User interface for navigating through images |
JP4322913B2 (ja) * | 2006-12-19 | 2009-09-02 | 富士通テン株式会社 | 画像認識装置、画像認識方法および電子制御装置 |
US8063889B2 (en) | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
US8213782B2 (en) | 2008-08-07 | 2012-07-03 | Honeywell International Inc. | Predictive autofocusing system |
US8090246B2 (en) | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
US8280119B2 (en) | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
US8121358B2 (en) * | 2009-03-06 | 2012-02-21 | Cyberlink Corp. | Method of grouping images by face |
US8531478B2 (en) * | 2009-03-19 | 2013-09-10 | Cyberlink Corp. | Method of browsing photos based on people |
US8630464B2 (en) | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
US9378564B2 (en) * | 2013-03-01 | 2016-06-28 | Colormodules Inc. | Methods for color correcting digital images and devices thereof |
CN104091155B (zh) * | 2014-07-04 | 2018-05-01 | 武汉工程大学 | 光照鲁棒的虹膜快速定位方法 |
CN111144413A (zh) * | 2019-12-30 | 2020-05-12 | 福建天晴数码有限公司 | 虹膜定位方法及计算机可读存储介质 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3026300C2 (de) | 1980-07-11 | 1984-12-20 | Chemische Werke Hüls AG, 4370 Marl | Verwendung von wasserlöslichen Polymerisaten auf der Basis von 1,3-Butadienpolymerisaten als Bindemittel in Holzschutzmittel enthaltenden wäßrigen Imprägnierungsmitteln für Holz und Holzwerkstoffe |
US5016282A (en) * | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
US5128711A (en) | 1989-04-28 | 1992-07-07 | Fuji Photo Film Co., Ltd. | Apparatus for recording position information of principal image and method of detecting principal image |
US5130789A (en) | 1989-12-13 | 1992-07-14 | Eastman Kodak Company | Localized image recoloring using ellipsoid boundary function |
US5089976A (en) | 1990-07-18 | 1992-02-18 | Friends Of The Ucsd Library, Inc. | Color normalization process |
US5432863A (en) | 1993-07-19 | 1995-07-11 | Eastman Kodak Company | Automated detection and correction of eye color defects due to flash illumination |
JP2937030B2 (ja) * | 1994-09-14 | 1999-08-23 | 三菱電機株式会社 | 画像処理装置及び人物状態判定装置 |
JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
US5570698A (en) * | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
US6463173B1 (en) * | 1995-10-30 | 2002-10-08 | Hewlett-Packard Company | System and method for histogram-based image contrast enhancement |
WO1997021188A1 (en) * | 1995-12-04 | 1997-06-12 | David Sarnoff Research Center, Inc. | Wide field of view/narrow field of view recognition system and method |
JP2891159B2 (ja) * | 1996-02-14 | 1999-05-17 | 日本電気株式会社 | 多眼画像からの物体検出方式 |
JPH09216580A (ja) | 1996-02-14 | 1997-08-19 | Yamaha Motor Co Ltd | トラックの荷台の床構造体 |
JP2907120B2 (ja) | 1996-05-29 | 1999-06-21 | 日本電気株式会社 | 赤目検出補正装置 |
US6028960A (en) * | 1996-09-20 | 2000-02-22 | Lucent Technologies Inc. | Face feature analysis for automatic lipreading and character animation |
US6108446A (en) * | 1997-02-18 | 2000-08-22 | Hoshen; Joseph | Method and apparatus for extracting cluster shape features from digital images |
ATE228439T1 (de) | 1997-02-18 | 2002-12-15 | Canon Kk | Aufzeichnungsmaterial, verfahren zu dessen herstellung und tintenstrahlgedruckten bildern unter verwendung dieses materials |
US6215891B1 (en) * | 1997-03-26 | 2001-04-10 | Oki Electric Industry Co., Ltd. | Eye image recognition method eye image selection method and system therefor |
JPH10283472A (ja) * | 1997-04-03 | 1998-10-23 | Tec Corp | 顔画像特徴点抽出装置及びこの装置を使用した個人認証システム |
US6381345B1 (en) * | 1997-06-03 | 2002-04-30 | At&T Corp. | Method and apparatus for detecting eye location in an image |
US6009209A (en) | 1997-06-27 | 1999-12-28 | Microsoft Corporation | Automated removal of red eye effect from a digital image |
JPH1166320A (ja) * | 1997-08-12 | 1999-03-09 | Mitsubishi Electric Corp | 目画像追跡装置 |
KR19990016896A (ko) | 1997-08-20 | 1999-03-15 | 전주범 | 얼굴영상에서 눈영역 검출방법 |
US6252976B1 (en) * | 1997-08-29 | 2001-06-26 | Eastman Kodak Company | Computer program product for redeye detection |
US6292574B1 (en) | 1997-08-29 | 2001-09-18 | Eastman Kodak Company | Computer program product for redeye detection |
US6151403A (en) * | 1997-08-29 | 2000-11-21 | Eastman Kodak Company | Method for automatic detection of human eyes in digital images |
US6016354A (en) * | 1997-10-23 | 2000-01-18 | Hewlett-Packard Company | Apparatus and a method for reducing red-eye in a digital image |
US6148092A (en) * | 1998-01-08 | 2000-11-14 | Sharp Laboratories Of America, Inc | System for detecting skin-tone regions within an image |
JP3549725B2 (ja) * | 1998-04-13 | 2004-08-04 | シャープ株式会社 | 画像処理装置 |
JP3315648B2 (ja) * | 1998-07-17 | 2002-08-19 | 沖電気工業株式会社 | アイリスコード生成装置およびアイリス認識システム |
JP3610234B2 (ja) * | 1998-07-17 | 2005-01-12 | 株式会社メディア・テクノロジー | アイリス情報取得装置およびアイリス識別装置 |
JP2000105830A (ja) * | 1998-09-29 | 2000-04-11 | Oki Electric Ind Co Ltd | 個人識別装置 |
US6154559A (en) * | 1998-10-01 | 2000-11-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for classifying an individual's gaze direction |
US6292171B1 (en) * | 1999-03-31 | 2001-09-18 | Seiko Epson Corporation | Method and apparatus for calibrating a computer-generated projected image |
-
2000
- 2000-12-19 US US09/740,562 patent/US6792134B2/en not_active Expired - Lifetime
-
2001
- 2001-12-03 JP JP2001368466A patent/JP3999964B2/ja not_active Expired - Fee Related
- 2001-12-10 DE DE60123378T patent/DE60123378T2/de not_active Expired - Lifetime
- 2001-12-10 EP EP01204772A patent/EP1229493B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6792134B2 (en) | 2004-09-14 |
EP1229493A3 (en) | 2004-12-15 |
DE60123378T2 (de) | 2007-08-23 |
EP1229493A2 (en) | 2002-08-07 |
EP1229493B1 (en) | 2006-09-27 |
DE60123378D1 (de) | 2006-11-09 |
JP2002208014A (ja) | 2002-07-26 |
US20020114495A1 (en) | 2002-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3999964B2 (ja) | 目を検出するマルチモードデジタル画像処理方法 | |
US6920237B2 (en) | Digital image processing method and computer program product for detecting human irises in an image | |
US6895103B2 (en) | Method for automatically locating eyes in an image | |
JP4234381B2 (ja) | 顔の特徴を位置確認するための方法及びコンピュータープログラム製品 | |
JP4903854B2 (ja) | デジタル画像におけるオブジェクト検出方法 | |
US7668338B2 (en) | Person tracking method and apparatus using robot | |
US7092554B2 (en) | Method for detecting eye and mouth positions in a digital image | |
CN101630363B (zh) | 复杂背景下彩色图像人脸的快速检测方法 | |
US20160371539A1 (en) | Method and system for extracting characteristic of three-dimensional face image | |
CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
CN114821189A (zh) | 一种基于眼底图像的病灶图像分类与识别方法 | |
RU2768797C1 (ru) | Способ и система для определения синтетически измененных изображений лиц на видео | |
CN113140309A (zh) | 中医面色诊断方法及装置 | |
JP2004516585A (ja) | 画像差分 | |
CN110826495A (zh) | 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统 | |
CN111191549A (zh) | 一种两级人脸防伪检测方法 | |
CN111738242B (zh) | 一种基于自适应和色彩归一的人脸识别方法及系统 | |
CN111914632B (zh) | 一种人脸识别方法、装置及存储介质 | |
CN110991345A (zh) | 一种用于家庭看护系统的人脸识别方法及装置 | |
JP2023155988A (ja) | 鼻唇側影分析方法 | |
Hajdu | Discrete geometric and fusion based techniques for object detection and decision support | |
Bazanov et al. | Comparison of gabor wavelet and neural network-based face detection algorithms. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070810 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |