JP4229495B2 - 動画像生成装置および記録媒体 - Google Patents

動画像生成装置および記録媒体 Download PDF

Info

Publication number
JP4229495B2
JP4229495B2 JP23070198A JP23070198A JP4229495B2 JP 4229495 B2 JP4229495 B2 JP 4229495B2 JP 23070198 A JP23070198 A JP 23070198A JP 23070198 A JP23070198 A JP 23070198A JP 4229495 B2 JP4229495 B2 JP 4229495B2
Authority
JP
Japan
Prior art keywords
image
skeleton structure
moving image
change
virtual skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23070198A
Other languages
English (en)
Other versions
JP2000067259A (ja
Inventor
政勝 青木
幹夫 新谷
けん 筒口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP23070198A priority Critical patent/JP4229495B2/ja
Publication of JP2000067259A publication Critical patent/JP2000067259A/ja
Application granted granted Critical
Publication of JP4229495B2 publication Critical patent/JP4229495B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、静止画像内の抽出した特定の画像領域に対して変化を与え、動画像を生成する動画像生成装置および方法に関する。
【0002】
【従来の技術】
従来、コンピュータグラフィックスにおいて、動画像、例えば3次元物体のアニメーションを生成する場合には、動かしたい3次元物体を一から構築する必要があった。
【0003】
【発明が解決しようとする課題】
そのため、3次元物体の構築は空間把握が困難であり、作業量が多いといった問題があった。
【0004】
本発明は、動画像生成において、静止画像内から抽出した動かしたい画像領域に変化を与えることにより、3次元物体を一から構築することなく、リアルなアニメーションを生成できる動画像生成装置と動画像生成方法とを提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明の動画像生成装置は、
静止画像からアニメーションを生成する動画像生成装置であって、その動画像生成装置は、入力装置と出力装置とデータ処理装置と記憶装置とを備え、データ処理装置には、静止画像から所望の画像領域を抽出し、その画像領域の構成要素の特徴を表現する仮想骨格構造を作成し、その仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の構成要素の位置・物性情報をそのエレメントに付与する仮装骨格構造設定手段と、エレメントに対応する静止画像の構成要素を所定の基準で分割するための区分点をそのエレメントに設定し、その区分点により静止画像の構成要素を区分画像に分割し、それぞれの区分点と区分画像とを対応付けさせる画像領域内区分画像対応付け手段と、エレメントに所望の変形、移動および構造変化の少なくとも一つを生じさせるために入力されたエレメント変化情報とそのエレメントの位置・物性情報とからそのエレメントの変化を演算し、そのエレメントの各区分点の時系列的な位置情報を記憶する仮想骨格構造変化生成手段と、各区分点の時系列的な位置情報に対応させて、その区分点に対応する区分画像を移動させる画像領域内区分画像変化手段と、移動した区分画像の集合から時系列的に動画像を合成して表示する画像領域内変化表示手段とを備える。
【0006】
さらに、データ処理装置の制御プログラムを記憶した記録媒体を有していてもよい。
【0007】
本発明の動画像生成方法は、
静止画像内の抽出した特定の画像領域からアニメーションを生成する動画像生成方法であって、画面に表示された静止画像から動画像の対象とする画像領域を抽出する工程と、抽出した画像領域に対して、その画像領域の構成要素の特徴を表現する仮想骨格構造を設定する工程と、画像領域の構成要素を区分画像に分割し、仮想骨格構造を構成するエレメントと対応付けする工程と、仮想骨格構造に対して、継続して変形、移動および構造変化の少なくとも一つを生じさせる工程と、仮想骨格構造の変形または移動に対応して画像領域内の区分画像を変化させる工程と、区分画像の変化による画像領域全体の変形または移動を表示する工程とを有する。
【0008】
仮想骨格構造を設定する工程は、抽出された画像領域を画面上に表示する工程と、画像領域上にその画像領域の構成要素の特徴を表現する仮想骨格構造を線画で描画する工程と、その仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の構成要素の位置・物性情報をそのエレメントに付与する工程とを有していてもよく、位置・物性情報には静止画像の構成要素の位相情報、幾何情報および物理特性を含んでいてもよい。
【0009】
画像領域の構成要素を区分画像に分割し、仮想骨格構造を構成するエレメントと対応付けする工程は、エレメントに対応する静止画像の構成要素を所定の基準で区分画像に分割するための区分点をそのエレメントに設定する工程と、その区分点により所定の基準で静止画像を区分画像に分割する工程と、区分点と区分画像とを対応付けさせる工程とを有していてもよい。
【0010】
また、仮想骨格構造に対して、継続して変形、移動および構造変化の少なくとも一つを生じさせる工程には、仮想骨格構造のエレメントに所望の変形、移動、構造変化の少なくとも一つを生じさせるための変化情報を入力する工程と、その変化情報とそのエレメントに予め設定された位置・物性情報とからそのエレメントの変化を演算する工程と、そのエレメントに設けられた区分点の時系列的な位置情報を記憶する工程とを有していてもよく、変化情報とエレメントに予め設定された位置・物性情報とからそのエレメントの変化を演算する工程には、動力学を利用して、時間軸に沿った仮想骨格構造の変化、移動および構造変化の少なくとも一つを演算する工程を含んでいてもよい。
【0011】
静止画像内から抽出した動かしたい画像領域に変化を与えることにより、3次元物体を一から構築することなく、少ない作業量でリアルな動きを持った動画像を生成できる。
【0012】
また、仮想骨格構造の変形、移動あるいは構造変化を生じさせる際に、動力学を利用して、時間軸に沿った仮想構造変形、移動あるいは構造変化を生じさせることにより、自然な動作を表現することができる。
【0013】
【発明の実施の形態】
次に本発明の第1の実施の形態の動画像生成装置と動画像生成方法について図面を参照して説明する。図1は本発明の第1の実施の形態の動画像生成装置の模式的ブロック構成図であり、図2は本発明の第1の実施の形態の動画像生成方法のフローチャートである。
【0014】
図1に示すように本発明の動画像生成装置1は、モデム、キーボード、ポインティングデバイス等の入力手段10と、モデム、ディスプレイ、プリンタ等の出力装置20とデータ処理装置30と記憶装置40とを備える。
【0015】
データ処理装置30には、静止画像から動画像生成の対象となる所望の画像領域を抽出し、抽出された画像領域に対して画像領域の構成要素の特徴を表現する仮想骨格構造を作成し、仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の幾何学的要素や位相的要素や物理特性などの位置・物性情報を付与する仮装骨格構造設定手段31と、仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の構成要素を所定の基準で分割するための区分点を設定し、各区分点と分割した静止画像(以下区分画像と略称する)とを対応付けさせる画像領域内区分画像対応付け手段32と、設定した仮想骨格構造に所望の変形または移動または構造変化を生じさせるために入力されたエレメント変化情報とそれぞれのエレメントの予め設定された位置・物性情報とからそれぞれのエレメントの変化を演算し、エレメントの各区分点の位置情報を時系列で記憶する仮想骨格構造変化生成手段33と、各区分点の時系列的な位置情報に対応させて各区分点に対応する区分画像を移動させる画像領域内区分画像変化手段34と、移動した区分画像から時系列的に動画像を合成して表示する画像領域内変化表示手段35と、各手段の処理を制御する制御部39とを備える。
【0016】
次に図2を参照して本発明の動画像生成方法について説明する。
【0017】
処理を開始すると(S11)、画面に表示された静止画像から動画像の対象とする画像領域を、例えば作成者が輪郭をなぞるなどで抽出する(S12)。次に、抽出された画像領域を画面に表示し(S13)、抽出された画像領域上に画像領域の構成要素の特徴を表現する仮想骨格構造を連続した線分をエレメントとする線画で作成者が描画する(S14)。例えば、抽出した画像領域として樹木を用いた場合、その樹木の根幹枝葉を象徴的に表現するような線画を描く。次にそれぞれのエレメントに対応する静止画像の構成要素の幾何学的要素や位相的要素や物理特性などの位置・物性情報をそのエレメントに付与して(S15)、仮想骨格構造を設定する。
【0018】
それぞれのエレメントに対応する静止画像の構成要素を所定の基準で区分画像に分割するための区分点を所定の基準でエレメントに設定し、静止画像の構成要素を所定の基準で区分画像に分割し、各区分点と区分画像とに対応付けを行う(S16)。
【0019】
仮想骨格構造に所望の変形または移動または構造変化を生じさせるために入力されたエレメント変化情報と、それぞれのエレメントに予め設定された位置・物性情報とからそれぞれのエレメントの変化を演算し、エレメントの各区分点の位置情報を時系列で記憶する(S17)。その際、動力学を利用して、仮想骨格構造に計算を施してもよい。例えば1本の枝を象徴する仮想骨格構造の1本の直線の一端が固定され、自由な他端がある時間である距離移動するという条件を入力すると固定された一端の支持条件、枝の長さと太さと弾性係数から時系列的な先端の移動位置と区分点の移動位置とが演算でき、この場合にはこのエレメントは直線から曲線に変形する。このような条件を仮想骨格構造を構成するそれぞれのエレメントに設定し、総合的な計算により全体のエレメントの両端を含む区分点の時間軸に沿った変形、移動などが生成される。例えば、時刻tn (n=0,1,2,・・・m)における、仮想骨格構造の全体のエレメントの両端を含む区分点の位置、形状などの状態を情報として記憶する。このような時系列的な情報によって画像を合成することにより、対象物のリアルな動きが生成できる。
【0020】
次に、各区分点の所望の時刻の位置情報に対応させて各区分点に対応する区分画像を移動させ(S18)、移動した区分画像から時系列的に画像を合成して表示する(S19)。
【0021】
そして、ステップS17で記憶された各区分点の時系列的な位置情報に現在表示したtn に対し時刻tn+1 の変化の記述があれば(S20N)、ステップS17に戻り繰り返し区分画像を変化させて表示する。
【0022】
例えば、ステップS17において時刻ts から時刻tS+1 にかけて、仮想骨格構造の一つのエレメントの区分点bが、位置pS から位置pS+1 に移動するといった変化が生成された場合、次のステップS18において、ステップS16で仮想骨格構造のそのエレメントの区分点bに対応させた区分画像を位置p’S からp’S+1 に移動させる。そして、ステップS19において、移動した区分画像を表示する。さらにまた、時刻tS+2 に対する仮想骨格構造の一つのエレメントの区分点bの変化の記述がステップS17で生成されている場合、同様に繰り返し、ステップS18で対応させた区分画像を変化させ、ステップ19でその変化を表示し、次の時刻の記述が終了した場合(S20Y)、処理を終了する(S21)。
【0023】
このように抽出した画像領域内の区分画像の変化を繰り返し表示することにより、動画像が生成できる。
【0024】
次に具体的な例を挙げて本発明の動画像生成方法を説明する。図3から図6は本発明の動画像生成方法を説明する模式図であり、図3は本発明の実施例の静止画像の模式図であり、図4は図3の静止画像から抽出した画像領域の模式図であり、図5は抽出した画像領域を象徴的に表現した仮想骨格構造を示す線画の模式図であり、図6は図5の仮想骨格構造の1エレメントの変形によりそのエレメントに対応した静止画像を移動させる処理を示す模式図であり、(a)は静止画像と仮想骨格構造の1エレメントとの対応づけの例を示し、(b)は仮想骨格構造の1エレメントの動きの例を示し、(c)は仮想骨格構造の1エレメントの動きによって、書き換えられた静止画像を示す。
【0025】
図3に示す植物の静止画像から、中央の一本の茎とその茎につながる葉を動かすこととして、この動かしたい中央の一本の茎とその茎につながる葉の画像領域を作成者がその輪郭をなぞるなどで抽出した画像が図4である。
【0026】
抽出した画像領域を画面に表示し、その上にこの中央の一本の茎とその茎につながる葉を象徴的に表現した仮想骨格構造60を示す線画を、作成者が連続した線分で描画する。図5は描画した線画を示す。線画はエレメント61と結合点62から構成される。描画した線画を構成する各エレメント61には、作成者が対応した画像の幾何学的要素(幹の太さ等)、位相的要素(枝と葉のつながり関係等)、物理特性(枝の質量、弾性係数等)の適切な情報を付与することにより仮想骨格構造の情報が設定される。
【0027】
設定された仮想骨格構造の各エレメント61に適当な基準でエレメント61の先端を含め区分点63を設ける。図6(a)に示すように、あるエレメント61の各区分点63を通過する平行な線分と、その線分と抽出した画像領域との接点から、画像領域を外包する連続する長方形を作成し、作成した長方形の領域で抽出した画像領域を分割し、作成した長方形に含まれる区分点63でエレメント61の区分点63と区分画像64とを対応づける。この例では各区分点63を通過する平行な線分を図上で水平に設定しているが、エレメント61の状態により垂直に設定してもよいし、エレメント61に対し直角に設定してもよい。
【0028】
次に、仮想骨格構造60の各エレメント61の両端を所望の条件で変化させ、それに伴う区分点63の変化に応じて、それぞれに対応する画像領域の区分画像64を変化させる。図6(b)のように仮想骨格構造60のエレメント61が変化した場合、長方形領域に囲まれた区分画像64を図6(c)のように移動させ、静止画像を変化させる。
【0029】
仮想骨格構造60の各エレメント61の変化を繰り返し、区分画像64の位置を変化させ、時系列的に表示することにより、動画像が生成される。
【0030】
次に本発明の第2の実施の形態について図面を参照して説明する。図7は本発明の第2の実施の形態の動画像生成装置の模式的ブロック構成図である。
【0031】
第2の実施の形態では、動画像生成装置101は、本発明の動画像生成方法の処理プログラムを記録したFD,CD−ROM、半導体メモリ等の記録媒体150を有する。動画像生成装置101の構成や動画像生成方法は第1の実施の形態と同じなので説明を省略する。
【0032】
制御プログラムは記録媒体150からデータ処理装置130に読み込まれデータ処理装置130の動作を制御する。制御部139は制御プログラムの制御により以下の処理を実行する。
【0033】
即ち、画面に表示された静止画像から動画像の対象とする画像領域を抽出し、抽出された画像領域を画面に表示し、抽出した画像領域上に基準となる仮想骨格構造を線画で描画して設定し、仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の位置・物性情報をエレメントに付与して、仮想骨格構造情報を設定する処理と、
それぞれのエレメントに対応する静止画像を所定の基準で区分画像に分割するための分割区分点を所定の基準でエレメントに設定し、区分点により所定の基準で静止画像を区分画像に分割し、各区分点と区分画像とを対応付けさせる処理と、
仮想骨格構造に所望の変形または移動または構造変化を生じさせるために入力されたエレメント変化情報と、それぞれのエレメントに予め設定され位置・物性情報とから、それぞれのエレメントの変化を演算し、エレメントの各区分点の時系列的な位置情報を記憶する処理と、
各区分点の所望の時刻の位置情報に対応させて各区分点に対応する区分画像を移動させ、移動した区分画像から時系列的に動画像を合成して表示する処理と、を実行する。
【0034】
【発明の効果】
以上に述べたように本発明によれば、静止画像内から抽出した動かしたい画像領域に変化を与えることにより、3次元物体を一から構築することなく、少ない作業量でリアルな動きを持った動画像を生成できるという効果がある。
【0035】
また、仮想骨格構造の変形、移動あるいは構造変化を生じさせる際に、動力学を利用して、時間軸に沿った仮想構造変形、移動あるいは構造変化を生じさせることにより、自然な動作を表現することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の動画像生成装置の模式的ブロック構成図である。
【図2】本発明の第1の実施の形態の動画像生成方法のフローチャートである。
【図3】本発明の実施例の静止画像の模式図である。
【図4】図3の静止画像から抽出した画像領域の模式図である。
【図5】抽出した画像領域を象徴的に表現した仮想骨格構造を示す線画の模式図である。
【図6】図5の仮想骨格構造の1エレメントの変形によりそのエレメントに対応した静止画像を移動させる処理を示す模式図である。
(a)は静止画像と仮想骨格構造の1エレメントとの対応づけの例を示す。
(b)は仮想骨格構造の1エレメントの動きの例を示す。
(c)は仮想骨格構造の1エレメントの動きによって、書き換えられた静止画像を示す。
【図7】本発明の第2の実施の形態の動画像生成装置の模式的ブロック構成図である。
【符号の説明】
1、101 動画像生成装置
10、110 入力装置
20、120 出力装置
30、130 データ処理装置
31、131 仮想骨格構造設定手段
32、132 画像領域内区分画像対応付け手段
33、133 仮想骨格構造変化生成手段
34、134 画像領域内区分画像変化手段
35、135 画像領域内変化表示手段
39、139 制御部
40、140 記憶装置
60 仮想骨格構造
61 エレメント
62 結合点
63 区分点
64 区分画像
150 記録媒体
S11〜S21 ステップ

Claims (8)

  1. 静止画像からアニメーションを生成する動画像生成装置であって、
    該動画像生成装置は、入力装置と出力装置とデータ処理装置と記憶装置とを備え、
    前記データ処理装置には、
    前記静止画像から所望の画像領域を抽出し、該画像領域の構成要素の特徴を表現する仮想骨格構造を前記画像領域上に作成し、該仮想骨格構造を構成するそれぞれのエレメントに対応する前記静止画像の前記構成要素の位置・物性情報を該エレメントに付与する仮想骨格構造設定手段と、
    前記エレメントに対応する前記静止画像の前記構成要素を所定の基準で分割するための区分点を該エレメントに設定し、該区分点により前記静止画像の前記構成要素を区分画像に分割し、それぞれの前記区分点と前記区分画像とを対応付けさせる画像領域内区分画像対応付け手段と、
    前記エレメントに所望の変形、移動および構造変化の少なくとも一つを生じさせるために入力されたエレメントの変化情報と該エレメントの前記位置・物性情報とから該エレメントの変化を演算し、該エレメントの各前記区分点の時系列的な位置情報を記憶する仮想骨格構造変化生成手段と、
    各前記区分点の時系列的な位置情報に対応させて、該区分点に対応する前記区分画像を移動させる画像領域内区分画像変化手段と、移動した前記区分画像の集合から時系列的に動画像を合成して表示する画像領域内変化表示手段と、を備えることを特徴とする動画像生成装置。
  2. 前記仮想骨格構造設定手段は、前記画像領域上に描かれた線画に基づいて前記仮想骨格構造を設定する、請求項1に記載の動画像生成装置。
  3. 前記画像領域内区分画像対応付け手段は、前記仮想骨格構造の前記エレメントに該エレメントの先端を含む区分点を設ける、請求項1または2に記載の動画像生成装置。
  4. 前記画像領域内区分画像対応付け手段は、前記エレメントの前記各区分点を通過する一定方向の線分と、該線分と前記画像領域との接点から、前記画像領域を外包する連続する長方形を作成し、前記長方形の領域で前記画像領域を分割する、請求項1から3のいずれか1項に記載の動画像生成装置。
  5. 前記画像領域内区分画像対応付け手段は、前記長方形に含まれる区分点で、前記エレメントの前記区分点と前記区分画像とを対応づける、請求項4に記載の動画像生成装置。
  6. 前記位置・物性情報には、前記静止画像の構成要素の位相情報、幾何情報および物理特性を含む、請求項1から5のいずれか1項に記載の動画像生成装置。
  7. 前記仮想骨格構造変化生成手段は、前記変化情報と前記エレメントに予め設定された位置・物性情報とから該エレメントの変化を演算するとき、動力学を利用して、時間軸に沿った前記仮想骨格構造の変化、移動および構造変化の少なくとも一つを演算する、請求項1から5のいずれか1項に記載の動画像生成装置。
  8. 請求項1から7のいずれか1項に記載の動画像生成装置を構成する各手段としてコンピュータを機能させるためのプログラムを記録した機械読み取り可能な記憶媒体。
JP23070198A 1998-08-17 1998-08-17 動画像生成装置および記録媒体 Expired - Fee Related JP4229495B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23070198A JP4229495B2 (ja) 1998-08-17 1998-08-17 動画像生成装置および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23070198A JP4229495B2 (ja) 1998-08-17 1998-08-17 動画像生成装置および記録媒体

Publications (2)

Publication Number Publication Date
JP2000067259A JP2000067259A (ja) 2000-03-03
JP4229495B2 true JP4229495B2 (ja) 2009-02-25

Family

ID=16911972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23070198A Expired - Fee Related JP4229495B2 (ja) 1998-08-17 1998-08-17 動画像生成装置および記録媒体

Country Status (1)

Country Link
JP (1) JP4229495B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232768B2 (en) 2005-04-12 2022-01-25 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
US12051391B2 (en) 2005-04-12 2024-07-30 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
JP5059704B2 (ja) * 2008-07-09 2012-10-31 株式会社セルシス 線画の彩色方法及びプログラム

Also Published As

Publication number Publication date
JP2000067259A (ja) 2000-03-03

Similar Documents

Publication Publication Date Title
US6208360B1 (en) Method and apparatus for graffiti animation
JP3461980B2 (ja) 高速描画方法および装置
US6307554B1 (en) Apparatus and method for generating progressive polygon data, and apparatus and method for generating three-dimensional real-time graphics using the same
Zurdo et al. Animating wrinkles by example on non-skinned cloth
US7570264B2 (en) Rig baking
US7983882B1 (en) Joint wrinkle and muscle movement simulating software
TW200809695A (en) Goal-directed cloth simulation
JP4936522B2 (ja) 画像処理方法、画像処理装置
KR100436816B1 (ko) 3차원 캐릭터 애니메이션 제작 방법 및 시스템
US20020067363A1 (en) Animation generating method and device, and medium for providing program
JP4229495B2 (ja) 動画像生成装置および記録媒体
Chen et al. A displacement driven real-time deformable model for haptic surgery simulation
JP3505361B2 (ja) アニメーション作成装置および記録媒体
JPH10307930A (ja) アニメーション作成システム
JPH10340354A (ja) 動作生成装置、動作制御方法、および、これを実行するためのプログラムを記憶した記憶媒体
JP3337608B2 (ja) 解析シミュレーション装置
JP3209196B2 (ja) 多関節物体の表示方法及び表示装置
US6459434B1 (en) Apparatus and method for progressively rendered procedural textures
JP2770711B2 (ja) 人体動作視覚化システム
JP2002269588A (ja) 3次元表示プログラム、3次元表示方法、3次元表示プログラム格納媒体および3次元表示装置
Baca Application of computer animation techniques for presenting biomechanical research results
JPH07271998A (ja) 立体表示方法および装置
JP3535360B2 (ja) 音響生成方法および音響生成装置および記録媒体
JP3229384B2 (ja) ベクトル形状編集装置
JP2567108B2 (ja) 画像処理における画像合成方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050808

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050808

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050808

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080827

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees