JPH11149559A - ディジタル画像中の人間の目を自動的に検出する方法 - Google Patents
ディジタル画像中の人間の目を自動的に検出する方法Info
- Publication number
- JPH11149559A JPH11149559A JP10243276A JP24327698A JPH11149559A JP H11149559 A JPH11149559 A JP H11149559A JP 10243276 A JP10243276 A JP 10243276A JP 24327698 A JP24327698 A JP 24327698A JP H11149559 A JPH11149559 A JP H11149559A
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- correlation
- skin
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
必要としない画像中で対象を見つける方法を提供するこ
とを目的とする。 【解決手段】 第1及び第2の対象の間の距離の比率及
び各対象の大きさが略不変である夫々が略同じ物理特徴
を有する第1及び第2の対象を探し出すためのコンピュ
ータプログラム物であって、(a)画像中の可能性のあ
る肌領域を決定する段階と、(b)画像中の谷領域を決
定する段階と、(c)テンプレートに対して対象の所望
の一致を与える複数の位置を決定するテンプレートマッ
チングを実行する段階と、(d)1対の可能性のある対
象候補が上記段階(c)において決定される位置にある
可能性を決定する確認を実行する段階とを実行するため
のコンピュータプログラムを記憶されたコンピュータ読
取り可能な記憶媒体を有するコンピュータプログラム物
である。
Description
像処理に関し、更に特定的にはディジタル画像中で対象
を探し出す方法に関する。
処理機能によって実行される。例えば、画像中の赤目を
修正するために、人間の目が探し出され、目の中の望ま
しくない赤色の部分は審美的により満足のいく色によっ
て置換される。「KODAK」ディジタルプリントステ
ーションでは、画像はタッチスクリーン上に表示され、
1回触るたびに目の赤い部分を更にズームさせるため1
つの目が繰り返し触られる。目の赤い部分はズームプロ
セスによって画成された領域の中で赤い画素に対するサ
ーチによって同定され、同定された赤い画素は画像を審
美的により満足のいくようにさせるため所定の色によっ
て置換される。処理は次に他方の目に対して繰り返され
る。
ク方法は、1995年11月のMITの人工知能研究所の
K.K.Sungによる「Learning An Example Selection for
Object and Pattern Recognition」に開示される。この
方法は、予め選択された目のテンプレートから許容可能
な歪みを有する目を認識するためにニューラルネットを
学習する方法を開示する。操作者は元の目のテンプレー
トを繰り返し歪ませ、目を歪ませることによって生成さ
れた全ての変形は許容可能又は許容不可能のいずれかと
してラベル付けされる。歪んだサンプル、即ち学習画像
及び関連づけられたラベル付け情報はニューラルネット
へ供給される。この学習プロセスはニューラルネットが
学習画像に対して満足のいく認識性能を達成するまで繰
り返される。学習されたニューラルネットは目の可能な
変形を効果的に記憶している。目の探索は、所望の出
力、即ち一致が生ずるかどうかを決定するよう画像中の
領域をニューラルネットへ供給することによって行われ
る。全ての一致は目として同定される。
在既知であり使用されている方法は充分であるが、欠点
がないわけではない。タッチスクリーン方法は目をズー
ムさせるためにタッチスクリーンを繰り返し触るという
一定の人間の相互作用を必要とし、結果として幾らか労
働集約的となる。更に、ニューラルネット方法は広い学
習を必要とし、また目の全ての可能な大きさ及び向きに
対して徹底的なサーチが実行されねばならないためマッ
チングプロセスにおいて計算に関して集約的である。
で対象を探し出す方法を改善する必要性がある。
の問題を克服することを目的とする。概略するに、本発
明の1つの面によれば、第1及び第2の対象の間の距離
の比率及び各対象の大きさが略不変である夫々が略同じ
物理特徴を有する第1及び第2の対象を探し出すための
コンピュータプログラム物であって、(a)画像中の潜
在肌領域を決定する段階と、(b)画像中の谷領域を決
定する段階と、(c)テンプレートに対して対象の所望
の一致を与える複数の位置を決定するテンプレートマッ
チングを実行する段階と、(d)1対の潜在対象候補が
上記段階(c)において決定される位置にある可能性を
決定する確認を実行する段階とを実行するためのコンピ
ュータプログラムを記憶されたコンピュータ読取り可能
な記憶媒体を有するコンピュータプログラム物を提供す
る。
象を見つける方法を提供することを目的とする。本発明
はまた自動的に画像中で対象を見つける方法を提供する
ことを目的とする。本発明は見つけられるべき対象の物
理的な大きさを推定する方法を提供することを更なる目
的とする。
向きを推定する方法を提供することを更なる目的とす
る。本発明は画像中で対象を探し出す有効な方法を提供
することを利点とする。本発明は各対象の潜在的な領域
の形状及び大きさに基づいて各対象の推定される大きさ
を決定することを特徴とする。
向きに基づいて各対象の推定される向きを決定すること
を特徴とする。本発明は第1の対象と第2の対象との間
の関係に対する事前の知識に基づいて決定される複数の
良さの尺度に基づいて対象の対(又はグループ)を決定
することを特徴とする。
面に共通な同一要素を示すために可能な限り同一の参照
番号が使用されている以下の説明及び図面に関連してよ
り明らかとなろう。以下の説明では、本発明はソフトウ
エアプログラムとしての望ましい実施例として説明され
る。当業者はそのようなソフトウエアの等価物がハード
ウエア中に構築されうることを容易に認識するであろ
う。
記憶媒体は、例えば、(フロッピーディスクといった)
磁気ディスク又は磁気テープといった磁気記憶媒体と、
光ディスク、光学テープ又は機械読取り可能なバーコー
ドといった光学記憶媒体と、ランダムアクセスメモリ
(RAM)又は読み取り可能メモリ(ROM)といった
固体電子記憶装置と、コンピュータプログラムを記憶す
るのに使用される任意の他の物理的装置又は媒体とのい
ずれかを有しうる。
のコンピュータシステム10が図示されている。望まし
い実施例を図示するためにコンピュータシステム10が
示されているが、本発明はコンピュータシステム10に
制限されるものではなく任意の電子処理システムで使用
されうる。コンピュータシステム10はソフトウエアプ
ログラムを受信及び処理し、他の処理機能を実行するた
めのマイクロプロセッサベースドユニット20を含む。
タッチスクリーンディスプレイ30は、ソフトウエアに
関連づけられたユーザ関連情報を表示し、スクリーンを
触ることによるユーザ入力を受信するよう、マイクロプ
ロセッサベースドユニット20に電気的に接続されてい
る。キーボード40もまた、ユーザがソフトウエアに情
報を入力することを許すよう、マイクロプロセッサベー
スドユニット20に接続されている。入力のためにキー
ボード40を使用する代わりに、従来技術で周知のよう
に、ディスプレイ30上のセレクタ52を動かし、セレ
クタ52が重なっている項目を選択するためにマウス5
0が使用されうる。
D−ROM)55は、ソフトウエアプログラムを受信
し、典型的にソフトウエアプログラムを含むコンパクト
ディスク57によってマイクロプロセッサベースドユニ
ット20へソフトウエアプログラム及び他の情報を入力
する手段を与えるためにマイクロプロセッサベースドユ
ニット20に接続される。更に、フロッピーディスク6
1もまたソフトウエアプログラムを含むことができ、ソ
フトウエアプログラムを入力するためにマイクロプロセ
ッサベースドユニット20の中に挿入される。更に、マ
イクロプロセッサベースドユニット20は従来技術で周
知のように、内部的にソフトウエアプログラムを記憶す
るようプログラムされうる。プリンタ56はコンピュー
タシステム10の出力のハードコピーを印刷するために
マイクロプロセッサベースドユニット20に接続され
る。
ド(PCカード)62、又は従来既知であるように、カ
ード62を電子的に実施したディジタル化画像を含むパ
ーソナルコンピュータメモリカード国際協会カード(P
CMCIAカード)によってディスプレイ30上に表示
されうる。PCカード62は最後に画像をディスプレイ
30上に可視に表示することを許すようマイクロプロセ
ッサベースドユニット20の中に挿入される。
プログラムのフローチャートが示されている。フローチ
ャートの細部を議論する前に、当業者によって明らかと
なるように、プログラムの一部は人間の肌を検出するこ
とを含むが、プログラムが変更されれば任意の動物の肌
もまた検出されうることに注意すべきである。プログラ
ムはS2で始動され、次に肌マップを形成するよう人間
の肌の検出が行われる(S4)。
プを形成する段階の詳細なフローチャートが示されてい
る。これに関して、カラー画像はPCカード62といっ
た任意の周知の手段によってマイクロプロセッサベース
ドユニット20へ入力され(S4a)、望ましくはLS
Tカラー空間であるカラー空間へ変換される(S4
b)。次にヒストグラムのbinの総数を減少させるた
め、画像符号値は量子化される(S4c)。典型的に3
つのチャネルを有するカラー画像に対して3次元(3
D)のヒストグラムが形成される(S4d)。この3次
元ヒストグラムは雑音を減少させるために平滑化され
(S4e)、3次元ヒストグラム中のピークが探し出さ
れる(S4f)。ピークをヒストグラムの各binに割
り当てることによってbinのクラスタ化が実行される
(S4g)。カラー画像中の各画素に対して画素の色に
対応するbinに基づいて値が割り当てられる(S4
h)。少なくとも最小画素数(MinNoPixel
s)を有する連結された領域はラベル付けされる(S4
i)。最小画素数は望ましくは50個の画素であるが、
他の値もまた使用されうる。許可される領域数の最大数
はMaxNoRegionsであり(S4i)、この最
大数は望ましくは20の領域であるが、他の値もまた使
用されうる。人間の肌の平均変換カラー成分値及び所与
の領域の平均カラー値に基づいて、各ラベル付けされた
領域に対して肌確率Pskinが計算される(S4j)。Sk
inThreshold よりも大きいPskinを有する領域に固有の
ラベルが割り当てられる(S4k)。SkinThreshold は
望ましくは7であるが、他の値もまた使用されうる。全
ての非肌画素はゼロに設定される。2つ以上の肌領域が
接触していれば、これらは単一の肌領域へとマージされ
る(S4l)。
データを受信し、各連結された肌領域に対して周知の楕
円形当てはめ技術を実行する。当てはめられた楕円形の
アスペクト比及びコンパクトさは不規則な形状の肌領域
を排除するために測定される。アスペクト比は長軸と短
軸との比として定義され、コンパクトさは当てはめられ
た楕円形によって囲まれる領域と肌領域全体との比とし
て定義される。当てはめられた楕円形は、そのアスペク
ト比が3より上であれば排除され、又はそのコンパクト
さが9より下であれば排除される。再び図2を参照する
に、プログラムは、夫々の残る肌領域に当てはめられた
楕円形によって目のプログラムによって推定される大き
さ及び向きを決定する(S6)。この決定は、bをピク
セルで表わされる当てはめられた楕円形の短軸の長さと
し、sをピクセルで表わされる目の推定の大きさ又は長
さとすると、 s=b/4 (1) によって表される、図6にグラフによって示される式を
使用して実行される。
るように当てはめられた楕円形の向きから発生される
(S6)。2つの目は整列しており、従って夫々の目の
向きは当てはめられた楕円形の短軸の向きと略同じであ
ることが仮定される。θにによって示されるこの角度
は、短軸と水平な線との間に形成される。副画像は各肌
領域に対して抽出される(S8)。この推定される目の
大きさから、画像中の目が目のテンプレートと略同じ大
きさを有するよう抽出された副画像の解像度が変更され
うることに注意すべきである(S8)。図8に示される
ように、特定の目のテンプレートは水平方向に19ピク
セル、垂直方向に13ピクセルの解像度を有する。以下
詳述されるように、この解像度の変化、又はリサイズ処
理は画像中の目がテンプレートと同じ解像度で、同じ量
の構造的細部と一致されることを可能にする。或いは、
異なる量の細部を有する一組のテンプレートを設計し、
画像の解像度を変化させないことである。そのような他
の設計は当業者によって容易に達成される。
像に対する谷マップを形成するよう谷検出が実行される
(S10)。谷検出は、平坦な肌領域を更なる考慮から
除去することを目的とする。図7を参照するに、谷検出
は複数の段階からなる。まず望ましくは形態学的オープ
ン操作とそれに続く形態学的クローズ操作とを使用し
て、存在しうる目又は眼鏡の中の全ての雑音及び小さな
反射ハイライトを減少させるために平滑化操作が行われ
る(S10a)。平滑化された画像中の谷領域は望まし
くは形態学的にクローズされた画像と谷領域自体との間
の差の出力として同定される(S10b)。この出力画
像の符号値は谷の存在の確実性を表している。画像中の
雑音及び長細い構造を減少させるよう獲得された谷領域
に対してメディアンフィルタリング動作が適用される
(S10c)。概して、目は谷画像中の長細い領域の中
には無い。また、谷画像中の絶対符号値は必ずしも眼窩
である可能性に対応しない。しかしながら、望ましくは
谷画像とその形態学的にクローズされた変形との間の差
を使用して、処理された谷画像中の局部最大は強調され
る(S10d)。S10dの結果は、テクスチャ抑制の
結果に組み合わせられる(S10e)と共に、他の抑制
的な機構、例えばS10gの論理AND演算による赤目
検出の場合は目の「赤さ」に組み合わせられる(S10
f)。
号値を有する画素は1に設定され、閾値以下であればゼ
ロに設定される。このようにして2値谷マップが形成さ
れる(S10h)。続くサーチを指示するマスクマップ
は肌マップと谷マップとの交点として形成される(S1
2)。以下説明されるようにS14において、テンプレ
ートと画像との間の相互相関は、テンプレートの中心の
画素を各肌領域のサーチするマスクマップの中の各画素
に値して順番に移動させ、目の中心の画素を決定するた
めに各画素の位置において特定のタイプのゾーンベース
ド相互相関を実行することによって計算される。
ド相互相関(S14)は初期化される(S14a)。た
だし、図3はゾーンベースド相互相関プロセスの前半を
示す詳細なフローチャートであり、図4はゾーンベース
ド相互相関プロセスの後半を示す詳細なフローチャート
である。次にテンプレートが検索され(S14b)、既
に正規化された状態で記憶されていなければ正規化され
る。図8を参照するに、テンプレートは複数の目をサン
プリングし、例えば各画素位置において平均値をとるこ
とによって、それらの対応する画素を関連づけることに
よって発生されることが望ましい。次にテンプレートは
瞼、虹彩及び目の2つの端を表わす4つの副領域へ分割
される。テンプレートを正規化するためには、テンプレ
ート画像全体に対する平均画素値は各画素値から引き算
され、正規化された画素値を獲得するために結果として
の画素値はテンプレート画像全体の標準偏差によって割
り算される。結果としてのテンプレートは従って、ゼロ
の平均値を有し、1の分散を有する。
に、テンプレートの中心を関心となる画素位置にしたと
き、ゾーンベースド相互相関は、まずその中心を現在の
画素にし、その大きさ/向きをテンプレートと同じにし
たブロックを抽出し(S14c)、抽出されたブロック
を正規化し(S14d)、抽出された各副領域と、画像
の画素を副領域の中心にしたテンプレート中の同等物と
の間の相関を計算する段階(S14e)を含み、これは
ゾーンベースド相関と称される。各副ゾーンに対する相
互相関が望ましくは0.5である所定の閾値以上である
とき、相互相関はテンプレート全体によって同じ関心と
なる画像画素に対して実行され(S14f)、これは以
下完全な相関と称される。望ましくは0.7である閾値
が再び満たされれば、プログラムはバッファの中に相関
値及びテンプレートの大きさ/向きを一時的に記憶する
(S14h)。1つ以上の副ゾーンに対する相互相関が
閾値に達しなければ、又はテンプレート全体に対する相
互相関が閾値に達しなければ、関心となる画素のおける
相互相関は「0」に設定され関連する大きさ/向きは
「N/A」に設定される(S14i)。上述の分割され
た相関及び完全な相関動作を繰り返すためにプログラム
はサーチマスクマップ中の次の画素位置へ続き、そうで
なければ非ゼロマスク値を有する最後の画素へ続く(S
14l)。
は目の大きさ及び向きを洗練させるために、テンプレー
トを推定される大きさの付近の複数の大きさに変化(増
加及び減少)させること、及び推定される向きの付近の
複数の向きに変化(時計回り及び反時計回りの回転)さ
せることによって繰り返される(S14j)。そのよう
なテンプレートの大きさ/向きの増加及び減少は当業者
によって容易に達成される。この洗練処理は上述のステ
ップS14c乃至14iと同じ段階を含む。関心となる
画素位置における1つ以上の完全な相関スコアが閾値以
上の値となれば、プログラムは一時バッファの中の最も
高い相関値及び最も高い値を獲得するのに使用されるそ
の対応するテンプレートの大きさ/向きを選択し、それ
らをメモリの中に配置する(S14k)。これは上述の
テンプレートの大きさの変化が式1からの目の推定され
る大きさの更なる洗練のためであり、最もよく一致する
テンプレートの変形の大きさ/向きは次に実際の目の正
確な大きさ/向きを示すということに対する理解を容易
にさせるであろう。
10%だけ増加されるとする。最も高い相関値が19x
13の解像度のテンプレートからの値であれば、目の推
定される大きさは調整されない。他の解像度の両方が最
も高い相関値を生成すれば、目の推定される大きさは最
も高い相関スコアを生成するテンプレートの大きさに一
致するよう調整される。同様に、テンプレートの向きは
10度x10度だけ増加される。関心となる結果の画素
の位置における1つ以上の完全な相関のスコアが閾値よ
り上の値であれば、プログラムは一時バッファの中の最
も高い相関値と最も高い値を獲得するために使用される
対応するテンプレートの向きを選択し、メモリの中に配
置する。最も高い相関値が元の推定される向きにおける
テンプレートからの値であれば、目の推定される向きは
調整されない。他の向きの両方が最も高い相関値を生成
すれば、目の推定される向きは最も高い相関値を生成す
るテンプレートの向きと一致するよう調整される。
画素に対する大きさ及び向きが洗練された後(S14
k)、上述のゾーンベースド及び完全な相関を繰り返す
ためにサーチマスクによって同定される次の画素位置へ
続く(S14l)。プログラムは次に、各窓の中の複数
のピーク相関点のうち目の中心の画素である可能性が最
も高い候補を確認する(S16乃至S24)。ピーク点
は局部最大完全相関スコアを有する点として探し出され
る(S16)。これらのピークの位置はバッファの中に
記憶される(S18)。図8を参照するに、確認するた
めに、複数の確認段階が使用される。これらの段階は1
対の目に対する既知の特徴を相関の間に選択された画素
の全ての組み合わせに対してマッチングさせる段階を含
み、目の中心の位置の対である可能性が最も高い対を選
択するためにスコアリング技術(良さの尺度)が使用さ
れる。
は、関連する肌領域の中で可能性のある候補として選択
された全ての画素の組み合わせを形成することである
(S20)。換言すれば、各ピーク画素は同じ肌領域中
の全ての他のピーク画像と対にされる。図9を参照する
に、角度的な向き、即ち関心となる2つの画素とそのう
ちの1つの画素を通る水平な線との間に形成される、望
ましくは左の方に向いた角度が決定される。角度的な向
きが推定される角度的な向きの10度以内でなければ
(S14c)、対は両目の中心である可能性のある候補
から除去される。角度的な向きが推定される角度的な向
きの5度以内であれば、対はその特定のスコアと共に記
憶される。
間の距離が決定される。距離が人間の顔としての知識に
よる目の大きさに比例しなければ、対は両目の中心であ
る可能性のある候補から除去される。比率が通常の比率
の20%以内であれば、対はその特定のスコアと共に記
憶される。図10を参照するに、次の段階は可能な組み
合わせで2つの画素を通る水平な線に沿って画素を取る
ことを含む。図10は、各組み合わせに対する符号値対
画素位置を示すグラフ形状を示す図である。グラフ形状
が実質的に逸脱すれば、対は両目の中心である可能性の
ある候補から除去される。実質的に逸脱しなければ、対
はその特定のスコアと共に記憶される。当業者は他の適
当な逸脱の尺度を決定しうるが、逸脱は中心のピーク点
と2つの谷点の平均との比率によって決定されることが
望ましい。
せは対称について検査される。これは全ての組み合わせ
の間の距離を取り、その間の半分の距離の点からこの半
分の距離の点を垂直に通る画素を通る画像の両側の対称
を探すことを含む。顔を含む対称となる領域は、目の間
の距離の2倍の幅を有し、目の間の距離の3倍の高さを
有することが望ましい。顔領域は目の位置によって左側
と右側の半分に分割される。当業者は対称性の他の尺度
によって決定しうるが、対称性は左側と、右側の鏡像と
の間の相関によって決定されることが望ましい。対称性
が2つの側について存在すれば、対及びその特定的なス
コアは再び記憶される。対称性がなければ、対は両目の
中心である可能性のある候補から除去される。
像又は当てはめられた楕円形の中の中心性について検査
される。当業者は逸脱の他の適当な尺度を決定しうる
が、そのような中心性の望ましい尺度は2つの対称の中
心点及び当てはめられた楕円形の長軸の間の距離として
定義されることが望ましい。また図12を参照するに、
画像は次に推定される位置に口が存在するかどうかにつ
いて検査される。プログラムは目の間の距離に等しい幅
を有し、分析される1対の画素から所定の距離にある矩
形のボックスの中の3又は4の平行線(縁)を探す。当
業者は他の距離値又は同様の規準を決定しうるが、この
距離は候補対の間の距離の1.2倍である。線(縁)が
存在すれば、対及びその特定のスコアは記憶される。存
在しなければ対は可能な候補から除去される。
ついて検査される。結合相関は2つの候補位置における
完全な相関のスコアの合計である。結合相関が所定の閾
値以上であれば、対及びそれらのスコアは記憶される。
閾値より下であれば対は可能な候補から除去される。最
も可能性の高い対は、最も高い累積スコアを有する対で
ある(S22)。目の最終的な位置はこの対によって決
定される(S24)。S8乃至S24のプロセスは、最
後の肌領域が処理されるまで次の同定された肌領域に対
して繰り返される。
るスコアリング関数の形状を示す図である。このスコア
リング関数では、組み合わせは特定の良さの尺度の閾値
に達しなくても大きなペナルティーを割り当てられる
が、上述のように除去される代わりに更なる考慮のため
保持される。良さの尺度xが閾値T0に関して十分であ
れば、スコアアキュムレータへの入力であるスコアリン
グ関数の出力は正規化された最大値1.0に近い。xが
閾値に達しなければ、どれだけxが閾値に達していない
かによって増加する量のペナルティーを得る。このよう
なスコアリング関数を使用することにより、候補対が閾
値をわずかに閾値に達していないが最も高い累積スコア
を有するときにより高い強さを与えるという利点を有す
る。
れた。しかしながら、本発明の範囲を逸脱することなく
当業者によって変更及び修正がなされることは認められ
る。。ここで以下の通り著作権保護を主張する。著作権
所有者は米国特許商標庁のファイル及び記録にあるよう
な特許書類又は特許開示の複製を許すが、他の全ての権
利は留保される。
を示す斜視図である。
フローチャートである。
詳細図である。
詳細図である。
図である。
きを示す図である。
である。
Claims (3)
- 【請求項1】 第1及び第2の対象の間の距離の比率及
び各対象の大きさが略不変である夫々が略同じ物理特徴
を有する該第1及び第2の対象を探し出すためのコンピ
ュータプログラム物であって、 (a)画像中の潜在肌領域を決定する段階と、 (b)画像中の谷領域を決定する段階と、 (c)テンプレートに対して対象の所望の一致を与える
複数の位置を決定するテンプレートマッチングを実行す
る段階と、 (d)1対の潜在対象候補が上記段階(c)において決
定される位置にある可能性を決定する確認を実行する段
階とを実行するためのコンピュータプログラムを記憶さ
れたコンピュータ読取り可能な記憶媒体を有するコンピ
ュータプログラム物。 - 【請求項2】 (e)決定された肌領域の形状及び大き
さに基づいて上記第1及び第2の対象の両方の推定され
る大きさを決定する段階と、 (f)決定された肌領域の形状及び向きに基づいて第1
及び第2の対象の両方の推定される向きを決定する段階
と、のうちのいずれか一方又は両方の段階を更に有する
請求項1記載のコンピュータプログラム物。 - 【請求項3】 上記決定された肌領域の中の谷領域によ
って決定されるサーチが実行されるべき位置で上記第1
及び第2の対象をサーチするためのマスク画像を形成す
る段階を更に有する、請求項1記載のコンピュータプロ
グラム物。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/920,844 US6151403A (en) | 1997-08-29 | 1997-08-29 | Method for automatic detection of human eyes in digital images |
US920844 | 1997-08-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11149559A true JPH11149559A (ja) | 1999-06-02 |
JP4744655B2 JP4744655B2 (ja) | 2011-08-10 |
Family
ID=25444502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24327698A Expired - Fee Related JP4744655B2 (ja) | 1997-08-29 | 1998-08-28 | ディジタル画像中の人間の目を自動的に検出する方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6151403A (ja) |
EP (1) | EP0899680B1 (ja) |
JP (1) | JP4744655B2 (ja) |
DE (1) | DE69833999T2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001101429A (ja) * | 1999-09-28 | 2001-04-13 | Omron Corp | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 |
CN100409660C (zh) * | 2005-06-14 | 2008-08-06 | 佳能株式会社 | 图像处理装置及其方法 |
US7724950B2 (en) | 2005-06-14 | 2010-05-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, computer program, and storage medium |
US8045795B2 (en) | 2005-06-14 | 2011-10-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, computer program, and storage medium |
US9460347B2 (en) | 2013-06-28 | 2016-10-04 | Canon Kabushiki Kaisha | Image processing apparatus and method for processing image for detecting an image area including a defective color tone |
Families Citing this family (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6373968B2 (en) * | 1997-06-06 | 2002-04-16 | Oki Electric Industry Co., Ltd. | System for identifying individuals |
US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
US7352394B1 (en) | 1997-10-09 | 2008-04-01 | Fotonation Vision Limited | Image modification based on red-eye filter analysis |
US7630006B2 (en) | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
US7738015B2 (en) | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
JPH11175699A (ja) * | 1997-12-12 | 1999-07-02 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP3271750B2 (ja) * | 1998-03-05 | 2002-04-08 | 沖電気工業株式会社 | アイリス識別コード抽出方法及び装置、アイリス認識方法及び装置、データ暗号化装置 |
US6285410B1 (en) * | 1998-09-11 | 2001-09-04 | Mgi Software Corporation | Method and system for removal of flash artifacts from digital images |
JP4469476B2 (ja) * | 2000-08-09 | 2010-05-26 | パナソニック株式会社 | 眼位置検出方法および眼位置検出装置 |
US6718051B1 (en) * | 2000-10-16 | 2004-04-06 | Xerox Corporation | Red-eye detection method |
US6792134B2 (en) * | 2000-12-19 | 2004-09-14 | Eastman Kodak Company | Multi-mode digital image processing method for detecting eyes |
US6920237B2 (en) | 2000-12-19 | 2005-07-19 | Eastman Kodak Company | Digital image processing method and computer program product for detecting human irises in an image |
US6895112B2 (en) * | 2001-02-13 | 2005-05-17 | Microsoft Corporation | Red-eye detection based on red region detection with eye confirmation |
US7174034B2 (en) * | 2001-04-13 | 2007-02-06 | Seiko Epson Corporation | Redeye reduction of digital images |
US7092554B2 (en) * | 2001-05-01 | 2006-08-15 | Eastman Kodak Company | Method for detecting eye and mouth positions in a digital image |
US6859550B2 (en) * | 2001-05-31 | 2005-02-22 | Seho Oh | Robust method for image feature estimation |
US6895103B2 (en) | 2001-06-19 | 2005-05-17 | Eastman Kodak Company | Method for automatically locating eyes in an image |
US6980691B2 (en) * | 2001-07-05 | 2005-12-27 | Corel Corporation | Correction of “red-eye” effects in images |
EP1288859A1 (de) * | 2001-09-03 | 2003-03-05 | Agfa-Gevaert AG | Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten |
US7058209B2 (en) * | 2001-09-20 | 2006-06-06 | Eastman Kodak Company | Method and computer program product for locating facial features |
US7133070B2 (en) * | 2001-09-20 | 2006-11-07 | Eastman Kodak Company | System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data |
US7324246B2 (en) * | 2001-09-27 | 2008-01-29 | Fujifilm Corporation | Apparatus and method for image processing |
JP3903783B2 (ja) * | 2001-12-14 | 2007-04-11 | 日本電気株式会社 | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 |
US7815124B2 (en) | 2002-04-09 | 2010-10-19 | L-1 Secure Credentialing, Inc. | Image processing techniques for printing identification cards and documents |
US7694887B2 (en) | 2001-12-24 | 2010-04-13 | L-1 Secure Credentialing, Inc. | Optically variable personalized indicia for identification documents |
ATE552120T1 (de) | 2001-12-24 | 2012-04-15 | L 1 Secure Credentialing Inc | Verdeckte variableninformationen auf id- dokumenten und verfahren zu ihrer herstellung |
WO2003055638A1 (en) | 2001-12-24 | 2003-07-10 | Digimarc Id Systems, Llc | Laser etched security features for identification documents and methods of making same |
EP1353516A1 (en) * | 2002-04-08 | 2003-10-15 | Mitsubishi Electric Information Technology Centre Europe B.V. | A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images |
US7872670B2 (en) * | 2002-04-22 | 2011-01-18 | Sanyo Electric Co., Ltd. | Camera performing photographing in accordance with photographing mode depending on object scene |
US7824029B2 (en) | 2002-05-10 | 2010-11-02 | L-1 Secure Credentialing, Inc. | Identification card printer-assembler for over the counter card issuing |
US7035462B2 (en) * | 2002-08-29 | 2006-04-25 | Eastman Kodak Company | Apparatus and method for processing digital images having eye color defects |
DE50212936D1 (de) * | 2002-10-24 | 2008-12-04 | L 1 Identity Solutions Ag | Prüfung von Bildaufnahmen von Personen |
AU2003298731A1 (en) * | 2002-11-26 | 2004-06-18 | Digimarc Id Systems | Systems and methods for managing and detecting fraud in image databases used with identification documents |
EP1431810A1 (de) * | 2002-12-16 | 2004-06-23 | Agfa-Gevaert AG | Verfahren zur automatischen Bestimmung von Farbdichte-Korrekturwerten für die Wiedergabe von digitalen Bilddaten |
WO2004095348A2 (en) | 2003-04-16 | 2004-11-04 | Digimarc Corporation | Three dimensional data storage |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US7536036B2 (en) * | 2004-10-28 | 2009-05-19 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US7336821B2 (en) | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US8170294B2 (en) | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7689009B2 (en) | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7587085B2 (en) | 2004-10-28 | 2009-09-08 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US20050031224A1 (en) * | 2003-08-05 | 2005-02-10 | Yury Prilutsky | Detecting red eye filter and apparatus using meta-data |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
US7333653B2 (en) * | 2003-08-29 | 2008-02-19 | Hewlett-Packard Development Company, L.P. | Detecting and correcting redeye in an image |
US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
US8090157B2 (en) * | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
US7593550B2 (en) | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
US8442276B2 (en) | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
US7933507B2 (en) | 2006-03-03 | 2011-04-26 | Honeywell International Inc. | Single lens splitter camera |
US8705808B2 (en) | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
US8049812B2 (en) | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
US20050063568A1 (en) * | 2003-09-24 | 2005-03-24 | Shih-Ching Sun | Robust face detection algorithm for real-time video sequence |
US7835572B2 (en) * | 2003-09-30 | 2010-11-16 | Sharp Laboratories Of America, Inc. | Red eye reduction technique |
JP4396387B2 (ja) * | 2004-05-13 | 2010-01-13 | オムロン株式会社 | 画像補正装置 |
US20060008169A1 (en) * | 2004-06-30 | 2006-01-12 | Deer Anna Y | Red eye reduction apparatus and method |
FR2880969B1 (fr) * | 2005-01-20 | 2007-06-15 | Sagem | Dispositif pour detecter des yeux rouges sur une image et dispositif d'impression d'image mettant en oeuvre ce procede |
US7747071B2 (en) * | 2005-10-27 | 2010-06-29 | Hewlett-Packard Development Company, L.P. | Detecting and correcting peteye |
US7599577B2 (en) | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
JP2009529197A (ja) | 2006-03-03 | 2009-08-13 | ハネウェル・インターナショナル・インコーポレーテッド | モジュールバイオメトリクス収集システムアーキテクチャ |
WO2008016724A2 (en) | 2006-03-03 | 2008-02-07 | Honeywell International, Inc. | An iris recognition system having image quality metrics |
KR101299074B1 (ko) | 2006-03-03 | 2013-08-30 | 허니웰 인터내셔널 인코포레이티드 | 홍채 인코딩 시스템 |
US7787664B2 (en) * | 2006-03-29 | 2010-08-31 | Eastman Kodak Company | Recomposing photographs from multiple frames |
EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
US8103061B2 (en) * | 2006-10-02 | 2012-01-24 | Johnson & Johnson Consumer Companies, Inc. | Method and apparatus for identifying facial regions |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
KR101159830B1 (ko) | 2007-03-05 | 2012-06-26 | 디지털옵틱스 코포레이션 유럽 리미티드 | 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법 |
US8063889B2 (en) | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
DE102007050568A1 (de) * | 2007-08-04 | 2009-02-05 | Continental Teves Ag & Co. Ohg | Verfahren und Einrichtung zur Objekterkennung in einem Bild |
US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
US8391596B2 (en) * | 2007-10-17 | 2013-03-05 | Qualcomm Incorporated | Effective red eye removal in digital images without face detection |
US8212864B2 (en) | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
US20090202175A1 (en) * | 2008-02-12 | 2009-08-13 | Michael Guerzhoy | Methods And Apparatus For Object Detection Within An Image |
US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
US8090246B2 (en) | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
US8081254B2 (en) | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
US8280119B2 (en) | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
US8630464B2 (en) | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
AU2011224051B2 (en) * | 2011-09-14 | 2014-05-01 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
US9456187B1 (en) | 2012-06-01 | 2016-09-27 | Amazon Technologies, Inc. | Edge-based pose detection |
US10528853B1 (en) * | 2012-06-29 | 2020-01-07 | Amazon Technologies, Inc. | Shape-Based Edge Detection |
WO2015017868A1 (en) * | 2013-08-02 | 2015-02-05 | Emotient | Filter and shutter based on image emotion content |
KR101673701B1 (ko) * | 2014-11-24 | 2016-11-07 | 현대자동차주식회사 | 눈 검출장치 및 방법 |
CN112561787B (zh) * | 2020-12-22 | 2024-03-22 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8905926D0 (en) * | 1989-03-15 | 1990-04-25 | British Aerospace | Target aim point location |
US5128711A (en) * | 1989-04-28 | 1992-07-07 | Fuji Photo Film Co., Ltd. | Apparatus for recording position information of principal image and method of detecting principal image |
US5063603A (en) * | 1989-11-06 | 1991-11-05 | David Sarnoff Research Center, Inc. | Dynamic method for recognizing objects and image processing system therefor |
WO1992002000A1 (en) * | 1990-07-17 | 1992-02-06 | British Telecommunications Public Limited Company | A method of processing an image |
US5164992A (en) * | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
US5450504A (en) * | 1992-05-19 | 1995-09-12 | Calia; James | Method for finding a most likely matching of a target facial image in a data base of facial images |
JP3298072B2 (ja) * | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
IT1257073B (it) * | 1992-08-11 | 1996-01-05 | Ist Trentino Di Cultura | Sistema di riconoscimento, particolarmente per il riconoscimento di persone. |
US5689575A (en) * | 1993-11-22 | 1997-11-18 | Hitachi, Ltd. | Method and apparatus for processing images of facial expressions |
US5572596A (en) * | 1994-09-02 | 1996-11-05 | David Sarnoff Research Center, Inc. | Automated, non-invasive iris recognition system and method |
-
1997
- 1997-08-29 US US08/920,844 patent/US6151403A/en not_active Expired - Lifetime
-
1998
- 1998-08-15 EP EP98202738A patent/EP0899680B1/en not_active Expired - Lifetime
- 1998-08-15 DE DE69833999T patent/DE69833999T2/de not_active Expired - Lifetime
- 1998-08-28 JP JP24327698A patent/JP4744655B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001101429A (ja) * | 1999-09-28 | 2001-04-13 | Omron Corp | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 |
CN100409660C (zh) * | 2005-06-14 | 2008-08-06 | 佳能株式会社 | 图像处理装置及其方法 |
US7724950B2 (en) | 2005-06-14 | 2010-05-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, computer program, and storage medium |
US7826659B2 (en) | 2005-06-14 | 2010-11-02 | Canon Kabushiki Kaisha | Image processing apparatus and method, computer program, and storage medium dividing an input image into band images |
US8045795B2 (en) | 2005-06-14 | 2011-10-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, computer program, and storage medium |
US9460347B2 (en) | 2013-06-28 | 2016-10-04 | Canon Kabushiki Kaisha | Image processing apparatus and method for processing image for detecting an image area including a defective color tone |
Also Published As
Publication number | Publication date |
---|---|
US6151403A (en) | 2000-11-21 |
DE69833999T2 (de) | 2007-01-25 |
JP4744655B2 (ja) | 2011-08-10 |
EP0899680B1 (en) | 2006-03-29 |
EP0899680A2 (en) | 1999-03-03 |
DE69833999D1 (de) | 2006-05-18 |
EP0899680A3 (en) | 2000-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4744655B2 (ja) | ディジタル画像中の人間の目を自動的に検出する方法 | |
Guo et al. | Eyes tell all: Irregular pupil shapes reveal gan-generated faces | |
US5892837A (en) | Computer program product for locating objects in an image | |
US7376270B2 (en) | Detecting human faces and detecting red eyes | |
US6895103B2 (en) | Method for automatically locating eyes in an image | |
Kawaguchi et al. | Iris detection using intensity and edge information | |
US7092554B2 (en) | Method for detecting eye and mouth positions in a digital image | |
EP1229493B1 (en) | Multi-mode digital image processing method for detecting eyes | |
US8184914B2 (en) | Method and system of person identification by facial image | |
CN101142584B (zh) | 面部特征检测的方法 | |
JP5107045B2 (ja) | 目に関して取得される画像中の虹彩を表す画素を特定する方法 | |
KR100480781B1 (ko) | 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치 | |
US7035461B2 (en) | Method for detecting objects in digital images | |
US20050041867A1 (en) | Method and apparatus for the automatic detection of facial features | |
US20070122005A1 (en) | Image authentication apparatus | |
WO2005024708A1 (en) | The pupil detection method and shape descriptor extraction method for a iris recognition, iris feature extraction apparatus and method, and iris recognition system and method using its | |
JP2009523265A (ja) | 画像中の虹彩の特徴を抽出する方法 | |
JP2007188504A (ja) | 画像中の画素強度をフィルタリングする方法 | |
KR20080031031A (ko) | 얼굴 화상 검출장치, 얼굴 화상 검출방법 및 얼굴 화상검출프로그램 | |
Levinshtein et al. | Hybrid eye center localization using cascaded regression and hand-crafted model fitting | |
Martinikorena et al. | Fast and robust ellipse detection algorithm for head-mounted eye tracking systems | |
Yan | Ear biometrics in human identification | |
Hahmann et al. | Combination of facial landmarks for robust eye localization using the Discriminative Generalized Hough Transform | |
Narasimhamurthy et al. | A Copy-Move Image Forgery Detection Using Modified SURF Features and AKAZE Detector. | |
Fan et al. | Feature-based blood vessel structure rapid matching and support vector machine-based sclera recognition with effective sclera segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080430 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090114 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090220 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110318 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110511 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |