JP4351001B2 - 年齢変化画像生成方法及び肌平滑化画像生成方法 - Google Patents
年齢変化画像生成方法及び肌平滑化画像生成方法 Download PDFInfo
- Publication number
- JP4351001B2 JP4351001B2 JP2003290991A JP2003290991A JP4351001B2 JP 4351001 B2 JP4351001 B2 JP 4351001B2 JP 2003290991 A JP2003290991 A JP 2003290991A JP 2003290991 A JP2003290991 A JP 2003290991A JP 4351001 B2 JP4351001 B2 JP 4351001B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- age
- texture data
- data
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000009499 grossing Methods 0.000 title claims description 7
- 230000037303 wrinkles Effects 0.000 claims description 43
- 230000032683 aging Effects 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 7
- 230000002431 foraging effect Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000012935 Averaging Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 235000013559 Schnittsellerie Nutrition 0.000 description 2
- 244000169997 Schnittsellerie Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003716 rejuvenation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
例えば、結婚式などにおいて、新郎新婦の生い立ちから現在に至るまでをスライド等で紹介することが行われているが、過去だけでなく将来に至るまでをCGスライドを用いてドラマ仕立てで作成したり、また、還暦・喜寿・米寿の祝宴において、若いときの写真がなくてもその人が生まれてからの足跡をCGスライドを用いてドラマ仕立てで作成することもできる。
その代表的な方法としては、異なる世代間の平均顔画像に基づいて、その差分情報を形状とテクスチャそれぞれについて求め、それらを実年齢画像と合成することにより年齢変化画像を生成するものである。
そのため、特に、減齢変化では実年齢画像の皺を完全に除去することができず、加齢変化では皺の少ない若い肌が維持され、年齢の変化があまり感じられない画像が生成されてしまうという問題があった。
また、青年から幼児への減齢変化も同様であり、青年といえども細かな皺やしみが存在しており、それらを残したまま幼年変化を行っても十分な年齢変化が期待できない。
このための画像処理技術として、顔画像の各画素の信号値に対して、近隣の画素の信号値との差を求め、指定の閾値より大きい場合にその差分値に所定の係数を乗じた値を注目画素値に加え、差分を小さくすることで、画像全体をぼかすことなく皺やしみの成分のみを除去することが知られている(特許文献1参照)。
世代別の平均顔画像を蓄積した年齢サンプルデータベースから、年齢変化画像の仮想年齢と実年齢の二世代の平均顔画像を読み出し、これらの平均顔画像と実年齢画像の夫々から顔形状を特定する形状データ及び肌性状を特定するテクスチャデータを抽出し、
前記二世代の平均顔画像の形状データの差で求められる差分形状データに基づき実年齢画像の形状データを変化させて年齢変化形状データを生成し、
前記二世代の平均顔画像のテクスチャデータの差で求められる差分テクスチャデータ及び実年齢画像のテクスチャデータに基づいて生成される年齢変化テクスチャデータを前記年齢変化形状データにマッピングして年齢変化画像を生成する際に、
加齢変化させるときの年齢変化テクスチャデータは、前記差分テクスチャデータに画像強調処理又は先鋭化処理を施して得られた皺強調テクスチャデータを実年齢画像のテクスチャデータに加算して生成し、
減齢変化させるときの年齢変化テクスチャデータは、実年齢画像及びこれと同世代の平均顔画像のテクスチャデータをHSI色空間で表わし、肌部分の対応する画素について色相Hnew、彩度Snew、明度Inewが次式で表わされる平滑テクスチャデータを算出し、得られた平滑テクスチャデータを実年齢画像の形状データにマッピングして肌平滑化画像を生成した後、その平滑テクスチャデータに前記差分テクスチャデータを加算して生成することを特徴とする。
Hnew=Hori
Snew=ωSSori+(1−ωS)Save
Inew=ωIIori+(1−ωI)Iave
Hori、Sori、Iori:実年齢画像のテクスチャデータの色相、彩度、明度
Have、Save、Iave:平均顔画像のテクスチャデータの色相、彩度、明度
ωS:S成分についての重み係数
ωI:I成分についての重み係数
このとき、実年齢画像のテクスチャデータには各人固有の皺情報が含まれ、平均顔画像のテクスチャデータは各人固有の皺情報を含まないので、重み付き平均を求めると、任意の割合で各人固有の皺を残しながら肌全体を若返らすことができ、自然な減齢変化画像を生成することができるという効果がある。
また逆に、現在の年齢から年齢差の多い減齢変化画像を生成する場合など、個人の皺情報の影響を少なくしたいときは、実年齢画像の重みを低くし、平均顔画像の重みを高くなるようにその値を設定すればよい。
図1は本発明方法を実施する顔画像処理装置の構成図、図2は本発明方法を実施する年齢変化画像生成プログラムを示すフローチャート、図3は実年齢画像、平均顔画像の画像写真、図4は形状データの画像写真、図5は差分テクスチャデータ及び皺強調テクスチャデータの画像写真、図6は加齢変化による年齢変化画像の画像写真、図7は減齢変化による実年齢画像、肌平滑化画像及び年齢変化画像の画像写真、図8は年齢差の異なる減齢変化画像の画像写真である。
ここで、形状データは、顔形状を特定できるものであれば良いが、本例では図4に示すように各顔画像から抽出される顔の特徴点を頂点として生成される三角形パッチの集合として捉え、前記各特徴点の座標データを用いている。
また、テクスチャデータは、顔画像の肌部分についての肌性状を特定できるものであれば良いが、本例では各画素のRGBデータを用いているが、輝度値も使用し得る。
なお、顔画像を蓄積する世代の区切りは任意であるが、例えば10代、20代、30代…というように10歳ごとであったり、幼児、少年、青年…という区分であったり、任意の年齢幅をもって決定される。
このプログラムPを実行開始させ、まず、ステップST1で年齢変化させようとする人物の顔が映った実年齢画像GRを画像入力装置5から入力させるとその画像が実年齢画像記憶部8に記憶され、ステップST2で、実年齢Aと、年齢変化させようとする仮想年齢Bと、性別が入力されるとステップST3に移行して、年齢サンプルデータベース9から実年齢Aと仮想年齢Bに対応する二世代の平均顔画像GA、GBが読み出される。
このとき、実年齢画像GRの形状データSRは、その画像GR上に設定される複数の特徴点を座標値であらわした座標データを読み取り、テクスチャデータTRは、画像GRの画素ごとにRGBデータを読み取ることにより抽出する。
平均顔画像GA、GBの形状データSA、SB及びテクスチャデータTA、TBは、年齢サンプルデータベース9の各平均顔画像を生成する際に、夫々の特徴点の座標データを平均化して得られる平均形状データ及び各顔画像の対応する画素のRGB値同士を平均化して得られる平均テクスチャデータとして予め算出されるのでこのデータを読み出すことにより抽出される。
δSi=SBi−SAi(i:特徴点番号)
また、テクスチャデータTA、TBの差で求められる差分テクスチャデータδTは、対応する画素についてRGBデータの差分を下式により算出する。
δT=TB−TA
なお、これらの差分形状データδS及び差分テクスチャデータδTは、年齢サンプルデータベース9に蓄積された各世代の平均顔画像を様々に組合せて予め算出し、これを蓄積させておいたデータベースから読み出すようにしてもよい。
そして、加齢変化であると判断されたときはST7に移行して、差分テクスチャデータδTにアンシャープマスクなどの画像強調(先鋭化)処理を施して皺強調テクスチャデータTWを生成し、ステップST8でその皺強調テクスチャデータTWを実年齢画像GRのテクスチャデータTRに加算して年齢変化テクスチャデータTCを生成した後、ステップST13へ移行する。
このように画像強調(先鋭化)処理を施すと、差分テクスチャデータδTに残る仮想年齢特有の皺情報が強調されるので、これをテクスチャデータTRに加算して年齢変化テクスチャTCを算出することによって、テクスチャデータTRに残る各人固有の皺が仮想年齢の年相応に強調され、年齢変化テクスチャTCにはその個人の肌全体が自然に老化した皺情報を有することになる。
Hnew=Hori
Snew=ωSSori+(1−ωS)Save
Inew=ωIIori+(1−ωI)Iave
Hori、Sori、Iori:実年齢画像のテクスチャデータの色相、彩度、明度
Have、Save、Iave:平均顔画像のテクスチャデータの色相、彩度、明度
ωS:S成分についての重み係数
ωI:I成分についての重み係数
ここでH成分は、個人の肌の基準となる色合いを表しており、合成処理は行わず、その値を保持している。
また、重み係数ωS、ωIは、現在の年齢から年齢差の少ない減齢変化画像を生成する場合など、個人の皺情報をより多く残したいときは、実年齢画像の重みを高くし、平均顔画像の重みが低くなるようにその値を設定すればよい。
逆に、現在の年齢から年齢差の多い減齢変化画像を生成する場合など、個人の皺情報の影響を少なくしたいときは、実年齢画像の重みを低くし、平均顔画像の重みを高くなるようにその値を設定すればよい。
なお、この場合に、肌以外の部分については実年齢画像GRのテクスチャデータTRを用いる。
このとき、実年齢画像GRのテクスチャデータTRには各人固有の皺情報が含まれるものの、平均顔画像GAのテクスチャデータTAは肌が滑らかで、各人固有の皺情報が消失しているものの、その世代に共通する皺(たとえば深く刻まれた鼻唇溝)や目の下のたるみなどの情報は失われていない。
そこで、実年齢画像GRの色相を維持したまま、彩度成分および明度成分に関して重み付き平均を求めることによって、テクスチャデータTRに残る各人固有の皺を残しながら肌が平滑化され、年齢変化テクスチャTCにはその個人の肌全体が自然に若返った皺情報が含まれることになる。
SCi=SRi+δSi(i:特徴点番号)
そして、ステップST14では、年齢変化形状データSCに年齢変化テクスチャデータTCをマッピングすることにより、実年齢画像GRの人物を仮想年齢に年齢変化させた年齢変化画像GCが生成される。
図3(a)〜(c)は、上段に実年齢画像GR、同世代(A=20代)の平均顔画像GA、仮想年齢(B=60代)の平均顔画像GBを示す。
まず、実年齢画像GRが入力されると、同世代の平均顔画像GA及び仮想年齢の平均顔画像GBが読み出され、夫々について、顔の特徴点を頂点とする三角形パッチに分割した形状データSR、SA、SBが抽出される(図4(a)〜(c)参照)と共に、テクスチャデータTR、TA、TBが抽出される(ステップST1〜4)。
そして、年齢変化形状データSCに年齢変化テクスチャデータTCをマッピングすることにより、実年齢画像GRの人物を仮想年齢60歳に年齢変化させた年齢変化画像GC(図6参照)が生成される。
ここで、図7(a)に示す60代女性の実年齢画像GRから20代の年齢変化画像GCを生成する場合に、差分形状データδSに基づいて実年齢画像GRの形状データSRの特徴点を移動させ、差分テクスチャデータδTを実年齢画像GRのテクスチャデータTRに加えても実年齢画像GRのテクスチャデータTRに残る個人の皺情報がほとんど残ってしまい、生成された顔画像から年齢変化を感じない。
Hnew=Hori
Snew=ωSSori+(1−ωS)Save
Inew=ωIIori+(1−ωI)Iave
Hori、Sori、Iori:実年齢画像のテクスチャデータの色相、彩度、明度
Have、Save、Iave:平均顔画像のテクスチャデータの色相、彩度、明度
ωS:S成分についての重み係数
ωI:I成分についての重み係数
なお、この場合に、肌以外の部分については実年齢画像GRのテクスチャデータTRを用いる。
次いで、平滑テクスチャデータTFに差分テクスチャデータδTを加算して年齢変化テクスチャTCを生成した後、加齢変化と同様に、差分形状データδSに基づき実年齢画像GRの形状データSRの特徴点を移動して年齢変化形状データSCを生成し、この年齢変化形状データSCに年齢変化テクスチャデータTCをマッピングすることにより、実年齢画像GRの人物を仮想年齢に年齢変化させた年齢変化画像GC(図7(c)参照)が生成される。
なお今回は、顔の肌部分のみを年齢変化させることとし、髪の毛については、実年齢画像GRのものをそのまま使用しているが、髪の毛の部分を別途記憶させておいた年齢別髪型データに変換して、年齢変化画像GCを生成しても良い。
2 演算処理装置
3 記憶装置
4 コンピュータ
5 画像入力装置
6 出力装置
7 プログラム記憶部
8 実年齢顔画像記憶部
9 年齢サンプルデータベース
10 データ記憶部
P 年齢変化画像生成プログラム
GR 実年齢画像
GA、GB 平均顔画像が読み出される。
SR、SA、SB 形状データ
TR、TA、TB テクスチャデータ
δF 差分形状データ
δT 差分テクスチャデータ
TW 皺強調テクスチャデータ
TC 年齢変化テクスチャデータ
TF 平滑テクスチャデータ
GF 肌平滑化画像
Claims (3)
- 顔の実年齢画像に基づきこの画像を加齢変化又は減齢変化させる年齢変化画像生成方法であって、
世代別の平均顔画像を蓄積した年齢サンプルデータベースから、年齢変化画像の仮想年齢と実年齢の二世代の平均顔画像を読み出し、これらの平均顔画像と実年齢画像の夫々から顔形状を特定する形状データ及び肌性状を特定するテクスチャデータを抽出し、
前記二世代の平均顔画像の形状データの差で求められる差分形状データに基づき実年齢画像の形状データを変化させて年齢変化形状データを生成し、
前記二世代の平均顔画像のテクスチャデータの差で求められる差分テクスチャデータ及び実年齢画像のテクスチャデータに基づいて生成される年齢変化テクスチャデータを前記年齢変化形状データにマッピングして年齢変化画像を生成する際に、
加齢変化させるときの年齢変化テクスチャデータは、前記差分テクスチャデータに画像強調処理又は先鋭化処理を施して得られた皺強調テクスチャデータを実年齢画像のテクスチャデータに加算して生成し、
減齢変化させるときの年齢変化テクスチャデータは、実年齢画像及びこれと同世代の平均顔画像のテクスチャデータをHSI色空間で表わし、肌部分の対応する画素について色相Hnew、彩度Snew、明度Inewが次式で表わされる平滑テクスチャデータを算出し、得られた平滑テクスチャデータを実年齢画像の形状データにマッピングして肌平滑化画像を生成した後、その平滑テクスチャデータに前記差分テクスチャデータを加算して生成することを特徴とする年齢変化画像生成方法。
Hnew=Hori
Snew=ωSSori+(1−ωS)Save
Inew=ωIIori+(1−ωI)Iave
Hori、Sori、Iori:実年齢画像のテクスチャデータの色相、彩度、明度
Have、Save、Iave:平均顔画像のテクスチャデータの色相、彩度、明度
ωS:S成分についての重み係数
ωI:I成分についての重み係数 - 顔の実年齢画像に基づきこの画像を減齢変化させる年齢変化画像生成方法であって、
世代別の平均顔画像を蓄積した年齢サンプルデータベースから、年齢変化画像の仮想年齢と実年齢の二世代の平均顔画像を読み出し、これらの平均顔画像と実年齢画像の夫々から顔形状を特定する形状データ及び肌性状を特定するテクスチャデータを抽出し、
前記二世代の平均顔画像の形状データの差で求められる差分形状データに基づき実年齢画像の形状データを変化させて年齢変化形状データを生成し、
前記二世代の平均顔画像のテクスチャデータの差で求められる差分テクスチャデータ及び実年齢画像のテクスチャデータに基づいて生成される年齢変化テクスチャデータを前記年齢変化形状データにマッピングして年齢変化画像を生成する際に、
前記年齢変化テクスチャデータは、実年齢画像及びこれと同世代の平均顔画像のテクスチャデータをHSI色空間で表わし、肌部分の対応する画素について色相Hnew、彩度Snew、明度Inewが次式で表わされる平滑テクスチャデータを算出し、得られた平滑テクスチャデータを実年齢画像の形状データにマッピングして肌平滑化画像を生成した後、その平滑テクスチャデータに前記差分テクスチャデータを加算して生成することを特徴とする年齢変化画像生成方法。
Hnew=Hori
Snew=ωSSori+(1−ωS)Save
Inew=ωIIori+(1−ωI)Iave
Hori、Sori、Iori:実年齢画像のテクスチャデータの色相、彩度、明度
Have、Save、Iave:平均顔画像のテクスチャデータの色相、彩度、明度
ωS:S成分についての重み係数
ωI:I成分についての重み係数 - 顔の実年齢画像データに基づき、その世代に共通する皺情報と各人固有の皺情報を合成させることにより肌を平滑化させる肌平滑化画像生成方法であって、
世代別の平均顔画像を蓄積した年齢サンプルデータベースから実年齢画像データと同世代の平均顔画像を読み出し、平均顔画像と実年齢画像の夫々から顔形状を特定する形状データ及び肌性状を特定するテクスチャデータを抽出し、
実年齢画像及び前記平均顔画像のテクスチャデータをHSI色空間で表わし、肌部分の対応する画素について色相Hnew、彩度Snew、明度Inewが次式で表わされる平滑テクスチャデータを算出し、得られた平滑テクスチャデータを実年齢画像の形状データにマッピングすることを特徴とする肌平滑化画像生成方法。
Hnew=Hori
Snew=ωSSori+(1−ωS)Save
Inew=ωIIori+(1−ωI)Iave
Hori、Sori、Iori:実年齢画像のテクスチャデータの色相、彩度、明度
Have、Save、Iave:平均顔画像のテクスチャデータの色相、彩度、明度
ωS:S成分についての重み係数
ωI:I成分についての重み係数
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003290991A JP4351001B2 (ja) | 2003-08-11 | 2003-08-11 | 年齢変化画像生成方法及び肌平滑化画像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003290991A JP4351001B2 (ja) | 2003-08-11 | 2003-08-11 | 年齢変化画像生成方法及び肌平滑化画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005063078A JP2005063078A (ja) | 2005-03-10 |
JP4351001B2 true JP4351001B2 (ja) | 2009-10-28 |
Family
ID=34368823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003290991A Expired - Fee Related JP4351001B2 (ja) | 2003-08-11 | 2003-08-11 | 年齢変化画像生成方法及び肌平滑化画像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4351001B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220067819A (ko) * | 2020-11-18 | 2022-05-25 | 주식회사 베이바이오텍 | 피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4753415B2 (ja) * | 2005-03-29 | 2011-08-24 | 株式会社国際電気通信基礎技術研究所 | 顔画像操作装置および顔画像操作プログラム |
JP4786389B2 (ja) * | 2006-03-30 | 2011-10-05 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
US8391639B2 (en) * | 2007-07-23 | 2013-03-05 | The Procter & Gamble Company | Method and apparatus for realistic simulation of wrinkle aging and de-aging |
JP5242756B2 (ja) * | 2011-11-09 | 2013-07-24 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法、およびカメラ |
CN110322398B (zh) * | 2019-07-09 | 2022-10-28 | 厦门美图之家科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111967447A (zh) * | 2020-09-07 | 2020-11-20 | 深圳安道客网络科技有限公司 | 一种局部皮肤图像分析方法 |
CN112287852B (zh) | 2020-11-02 | 2023-11-21 | 腾讯科技(深圳)有限公司 | 人脸图像的处理方法、显示方法、装置及设备 |
CN116228571A (zh) * | 2023-01-29 | 2023-06-06 | 厦门美图之家科技有限公司 | 一种人像视频皱纹祛除方法、装置以及设备 |
-
2003
- 2003-08-11 JP JP2003290991A patent/JP4351001B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220067819A (ko) * | 2020-11-18 | 2022-05-25 | 주식회사 베이바이오텍 | 피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2005063078A (ja) | 2005-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Golovinskiy et al. | A statistical model for synthesis of detailed facial geometry | |
CN111242841B (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
Lanitis | Comparative evaluation of automatic age-progression methodologies | |
Chen et al. | Grayscale image matting and colorization | |
JP2006085678A (ja) | 画像作成方法および装置並びにプログラム | |
US20070229498A1 (en) | Statistical modeling for synthesis of detailed facial geometry | |
US9135690B2 (en) | Perceptual rating of digital image retouching | |
US20050180657A1 (en) | System and method for image-based surface detail transfer | |
JP4351001B2 (ja) | 年齢変化画像生成方法及び肌平滑化画像生成方法 | |
US20190012820A1 (en) | Image combination apparatus, image combination method, and image combination program | |
WO2004084142A1 (ja) | 画像処理装置 | |
Pullen et al. | Animating by multi-level sampling | |
CN111950430B (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
JP5840528B2 (ja) | 顔画像合成装置及び顔画像合成方法 | |
CN110853119A (zh) | 一种鲁棒的基于参考图片的妆容迁移方法 | |
JP2010515941A5 (ja) | ||
JP5434582B2 (ja) | 画像処理装置、及び、画像加工プログラム | |
KR20210069093A (ko) | 디지털 캐릭터 블렌딩 및 생성 시스템 및 방법 | |
JP2008276405A (ja) | 顔画像の合成方法及び合成装置 | |
Arar et al. | PALP: Prompt Aligned Personalization of Text-to-Image Models | |
CN112991152A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
Zhao et al. | Parametric reshaping of portrait images for weight-change | |
Zhou et al. | Facial expressional image synthesis controlled by emotional parameters | |
JP5650012B2 (ja) | 顔画像処理方法、美容カウンセリング方法および顔画像処理装置 | |
JP2012164152A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090723 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |