JP4746640B2 - 動的イメージのモーション遷移処理方法とそのシステム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
動的イメージのモーション遷移処理方法とそのシステム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4746640B2 JP4746640B2 JP2008047885A JP2008047885A JP4746640B2 JP 4746640 B2 JP4746640 B2 JP 4746640B2 JP 2008047885 A JP2008047885 A JP 2008047885A JP 2008047885 A JP2008047885 A JP 2008047885A JP 4746640 B2 JP4746640 B2 JP 4746640B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- clip
- cluster
- image
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims description 416
- 230000007704 transition Effects 0.000 title claims description 59
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Description
よって、動的イメージの改善されたモーション遷移処理方法とそのシステムが必要とされている。
動的イメージのモーション遷移処理方法とそのシステムの具体例は、事前記録したモーションデータをクラスタ化してグラフィック構造を生成し、経路探索メカニズムにより適切な経路情報を得て、経路情報から、2つのモーションクリップの融合(遷移)に必要な遷移データを読み取り、遷移データの細部を調整する。モーションクリップは、リアルモーションデータ(実際のモーションデータ)により融合されるので、動作多様性を増加し、相互作用を増加させ、不自然なイメージを減少させる。
複数のイメージフレームからなるモーションデータが事前記録される(工程31)。イメージフレームがクラスタ化されて、複数のモーションクラスタからなるグラフィック構造を生成する(工程32)。モーションデータクラスタ化が実行される時、まず、イメージフレームの対象(人物、役割)の状態の類似性(相似性)を決定しなければならない。図4で示されるように、第1イメージフレーム(例えば、P1)のモーション状態は、第1モーションクラスタ(例えば、クラスタ1)の中央モーション状態(中央イメージフレーム)で、その中央モーション状態ともう1つのイメージフレーム(例えば、P2)のモーション状態との間の差異は、類似度計算方法により決定される。差異が所定のスレショルド値より小さい場合、P2のイメージフレームはクラスタ1に融合される。差異が所定のスレショルド値より大きい場合、新しいモーションクラスタ(例えば、クラスタ2)が生成され、P2のモーション状態はクラスタ2の中央モーション状態となる。上述の工程が繰り返され、各イメージフレームの各モーション状態と各クラスタの各中央モーション状態を比較し、クラスタに統合するか、新しいクラスタを生成する。これにより、自動的クラスタ工程を完成する。本具体例において、生成されたクラスタは、クラスタ1(C1)、クラスタ2(C2)、クラスタ3(C3)、及び、クラスタ4(C4)からなり、図4で示されるように、それぞれ、複数のモーションクリップを有する。
要求されるモーション遷移データが得られた時、モーション遷移データが調整され、データ融合操作が実行される(工程37)。選択されたモーションクリップは、他の2つのモーションクリップと融合し、モーションクリップの定義された開始部分が他の終わり部分と混合されるために読み取られる。図10で示されるように、各モーションクリップ(例えば、モーションクリップMC1 とMC2 )の融合したいイメージ部分の長さがそれぞれ定義される。両イメージ部分は、動的時間偏移(Dynamic Time Wrapping )によりそれらの長さを等しくするように計算され、両者の関係が記録される。四元補間法(quaternion interpolation)により両モーションクリップのはじめと終わりを混合し、両モーションクリップの融合を完成する。
本発明の実施例による動的イメージのモーション遷移処理システムは、データベース100、データクラスタとグラフィックモジュール200、決定モジュール300、モーション調整と融合モジュール400を有する。データベース100は、複数のイメージフレームからなる少なくとも1つの事前記録モーションデータを記録する。データクラスタとグラフィックモジュール200はイメージフレームをクラスタ化して、複数のモーションクラスタからなるグラフィック構造を生成する。決定モジュール300は、融合するモーションクリップのグラフィック構造中に所在するモーションクラスタを決定し、経路探索操作が実行されて、モーション経路があるか判断する。モーション経路がある場合、モーション調整と融合モジュール400が、複数のモーションクラスタから、少なくとも1つの第2モーションクリップを選択して、モーション遷移データとし、第2モーションクリップを調整して、第2モーションクリップにより、第1モーションクリップと第3モーションクリップを融合する。
200…データクラスタとグラフィックモジュール
300…決定モジュール
400…モーション調整と融合モジュール
Claims (15)
- 動的イメージのモーション遷移処理方法であって、
複数のイメージフレームからなる少なくとも1つのモーションデータを事前記録する工程と、
前記イメージフレームをクラスタ化して、複数のモーションクラスタ及びクラスタ間のモーション経路が決定された各クラスタ間の関係からなるグラフィック構造を生成するクラスタ化工程であって、
第1イメージフレームの第1モーション状態を、第1モーションクラスタの中央モーション状態とする工程と、
第2イメージフレームの第2モーション状態と前記中央モーション状態間の差異を決定する工程と、
前記差異が所定のスレショルド値以下の場合、前記第2イメージフレームを前記第1モーションクラスタに融合する工程と、
前記差異が前記所定スレショルド値以上の場合、第2モーションクラスタを生成し、前記第2モーションクラスタを前記第2モーションクラスタの中央モーション状態とする工程とを有する工程と、
第1モーションクリップと第3モーションクリップを融合する少なくとも1つの第2モーションクリップの前記グラフィック構造中に所在するモーションクラスタを決定する工程と、
経路探索操作が実行されて、前記グラフィック構造に、前記第2モーションクリップに対応する少なくとも1つのモーション経路があるかを判断する工程と、
モーション経路があった場合、複数のモーションクラスタから、少なくとも1つの第2モーションクリップをそれぞれ選択し、複数の第2モーションクリップをモーション遷移データとして読み出す工程であって、
各モーションクリップクラスタは複数のモーションクリップを含み、各モーションクリップは複数のイメージフレームを含むところ、前記第1と第3モーション状態間の類似性に従って、少なくとも1つの第1モーションクリップと少なくとも1つの第2モーションクリップを生成する工程と、
前記第1モーションクリップクラスタの前記第1モーションクリップの前記第1モーション状態と、合成されたモーションクリップの最後のモーション状態とを比較し、前記モーション状態間の差異を得る工程と、
前記スレショルド値に対応する前記差異のモーション状態に基づいて、所定のスレショルド値に対応するモーションクリップの長さを有する充分なモーションクリップクラスタを選択して、前記選択されたモーションクリップクラスタのモーションクリップを前記モーション遷移データとする工程とを有する工程と、
前記第2モーションクリップを調整し、前記第1モーションクリップと前記第3モーションクリップが、前記第2モーションクリップにより融合される工程と、
を有することを特徴とする動的イメージのモーション遷移処理方法。 - 前記モーション経路がない場合、前記モーション遷移データは、数学アルゴリズムにより生成されることを特徴とする請求項1に記載の動的イメージのモーション遷移処理方法。
- (補正前の請求項4に対応)
前記クラスタ化工程は、更に、前記第1と第2モーション状態に関連する各ジョイントノード間の空間の距離ギャップに従って、前記第1と第2モーション状態間の差異を決定する工程を含むことを特徴とする請求項1に記載の動的イメージのモーション遷移処理方法。 - 前記グラフィック構造は、少なくとも第1モーションクラスタと第2モーションクラスタを含み、前記クラスタ化工程は、更に、
前記第1と第2モーションクリップが同一のモーションデータに属する時、前記第1モーションクラスタから前記第2モーションクラスタにモーション経路を直接生成する工程を含むことを特徴とする請求項1に記載の動的イメージのモーション遷移処理方法。 - 前記第1モーションククリップと前記第3クリップを融合する工程は、更に、
前記第1モーションクリップの第1イメージ部分と前記第2モーションクリップの第2イメージ部分のイメージ長さを定義する工程と、
動的時間偏移方法により、前記第1と第2イメージ部分を計算し、前記イメージ部分の長さを等しくし、それらの相対関係を記録する工程と、
前記第1モーションクリップの前記第1イメージ部分と前記第2モーションクリップの前記第2イメージ部分を融合する工程と、
を有することを特徴とする請求項1に記載の動的イメージのモーション遷移処理方法。 - 動的イメージのモーション遷移処理システムであって、
複数のイメージフレームからなる少なくとも1つの事前記録モーションデータを記録するデータベースと、
前記イメージフレームをクラスタ化して、複数のモーションクラスタ及びクラスタ間のモーション経路が決定された各クラスタ間の関係からなるグラフィック構造を生成するデータクラスタとグラフィックモジュールであって、第1イメージフレームの第1モーション状態を、第1モーションクラスタの中央モーション状態とし、第2イメージフレームの第2モーション状態と前記中央モーション状態間の差異を決定し、前記差異が所定のスレショルド値以下の場合、前記第2イメージフレームを前記第1モーションクラスタに融合し、前記差異が前記所定のスレショルド値より大きい場合、第2モーションクラスタを生成し、前記第2モーション状態を前記第2モーションクラスタの中央モーション状態とするところの前記データクラスタとグラフィックモジュールと、
第1モーションクリップと第3モーションクリップを融合する少なくとも1つの第2モーションクリップのグラフィック構造中に所在するモーションクラスタを決定し、経路探索操作が実行されて、グラフィック構造で、第2モーションクリップに対応する少なくとも1つのモーション経路があるか判断する決定モジュールと、
モーション経路がある場合、複数のモーションクラスタから、少なくとも1つの第2モーションクリップを選択し、複数の第2モーションクリップをモーション遷移データとして読み出し、前記第2モーションクリップを調整し、前記第1モーションクリップと前記第3モーションクリップを前記第2モーションクリップにより融合するモーション調整と融合モジュールであって、前記第1と第3モーション状態間の類似性に従って、少なくとも1つの第1モーションクリップクラスタと少なくとも1つの第2モーションクリップクラスタを生成し、各モーションクリップは複数のイメージフレームからなり、前記第1モーションクリップの前記第1モーションクリップの前記第1モーション状態と、合成されたモーションクリップの最後のモーション状態を比較して、各モーション状態間の差異を得て、スレショルド値に対応する差異のモーション状態に基づいて、スレショルド値に対応するモーションクリップの長さを有する充分なモーションクリップクラスタを選択し、前記選択されたモーションクリップクラスタのモーションクリップを前記モーション遷移データとする前記モーション調整と融合モジュールと、
を有することを特徴とする動的イメージのモーション遷移処理システム。 - 前記モーションパスがない場合、前記モーション調整と融合モジュールは、数学アルゴリズムにより、前記モーション遷移データを生成することを特徴とする請求項6に記載の動的イメージのモーション遷移処理システム。
- 前記データクラスタとグラフィックモジュールは、前記第1と第2モーション状態に関連する各ジョイントノード間の空間の距離ギャップに従って、前記第1と第2モーション状態間の前記差異を決定することを特徴とする請求項6に記載の動的イメージのモーション遷移処理システム。
- 前記第1と第2モーションクリップが同一のモーションデータに属するが、それぞれ、前記グラフィック構造の第1と第2モーションクラスタに属する時、前記データクラスタとグラフィックモジュールは、前記第1モーションクラスタから前記第2モーションクラスタに直接モーション経路を生成することを特徴とする請求項6に記載の動的イメージのモーション遷移処理システム。
- 前記モーション調整と融合モジュールは、それぞれ、前記第1モーションクリップの第1イメージ部分と選択された前記第2モーションクリップの第2モーションクリップの第2イメージ部分の長さを定義し、動的時間偏移法により、前記第1と第2イメージ部分を計算して、前記イメージ部分を等しくし、関連性を記録して、前記第1モーションクリップの前記第1イメージ部分と前記第2モーションクリップの前記第2イメージ部分を融合することを特徴とする請求項6に記載の動的イメージのモーション遷移処理システム。
- 動的イメージのモーション遷移処理方法を提供するコンピュータプログラムを記録するコンピュータが解読できる記憶媒体であって、コンピュータにより、
複数のイメージフレームからなる少なくとも1つのモーションデータを事前記録する工程と、
前記イメージフレームをクラスタ化して、複数のモーションクラスタ及びクラスタ間のモーション経路が決定された各クラスタ間の関係からなるグラフィック構造を生成するクラスタ化工程であって、
第1イメージフレームの第1モーション状態を、第1モーションクラスタの中央モーション状態とする工程と、
第2イメージフレームの第2モーション状態と前記中央モーション状態間の差異を決定する工程と、
前記差異が所定のスレショルド値以下の場合、前記第2イメージフレームを前記第1モーションクラスタに融合する工程と、
前記差異が前記所定スレショルド値以上の場合、第2モーションクラスタを生成し、前記第2モーションクラスタを前記第2モーションクラスタの中央モーション状態とする工程とを有する工程と、
第1モーションクリップと第3モーションクリップを融合する少なくとも1つの第2モーションクリップの前記グラフィック構造中に所在するモーションクラスタを決定する工程と、
経路探索操作が実行されて、前記グラフィック構造に、前記第2モーションクリップに対応する少なくとも1つのモーション経路があるかを判断する工程と、
モーション経路があった場合、複数のモーションクラスタから、少なくとも1つの第2モーションクリップをそれぞれ選択し、複数の第2モーションクリップをモーション遷移データとして読み出す工程であって、
各モーションクリップクラスタは複数のモーションクリップを含み、各モーションクリップは複数のイメージフレームを含むところ、前記第1と第3モーション状態間の類似性に従って、少なくとも1つの第1モーションクリップと少なくとも1つの第2モーションクリップを生成する工程と、
前記第1モーションクリップクラスタの前記第1モーションクリップの前記第1モーション状態と、合成されたモーションクリップの最後のモーション状態とを比較し、前記モーション状態間の差異を得る工程と、
前記スレショルド値に対応する前記差異のモーション状態に基づいて、所定のスレショルド値に対応するモーションクリップの長さを有する充分なモーションクリップクラスタを選択して、前記選択されたモーションクリップクラスタのモーションクリップを前記モーション遷移データとする工程とを有する工程と、
前記第2モーションクリップを調整し、前記第1モーションクリップと前記第3モーションクリップが、前記第2モーションクリップにより融合される工程と、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記モーション経路がない時、前記モーション遷移データは、数学アルゴリズムにより生成されることを特徴とする請求項11に記載のコンピュータ読み取り可能な記録媒体。
- 前記クラスタ化工程は、前記第1と第2モーション状態に関連する各ジョイントノード間の空間の距離ギャップに従って、前記第1と第2モーション状態間の差異を決定する工程を含むことを特徴とする請求項11に記載のコンピュータ読み取り可能な記録媒体。
- 前記グラフィック構造は、第1モーションクラスタと第2モーションクラスタとからなり、前記クラスタ化工程は、更に、
前記第1と第2モーションクリップが同一のモーションデータに属する時、前記第1モーションクラスタから直接、前記第2モーションクラスタにモーション経路を形成する工程を含むことを特徴とする請求項11に記載のコンピュータ読み取り可能な記録媒体。 - 前記第1モーションクリップと前記第3モーションクリップを融合する工程は、更に、
前記第1モーションクリップの第1イメージ部分と前記選択された第2モーションクリップの第2モーションクリップの第2イメージ部分のイメージ長さをそれぞれ定義する工程と、
動的時間偏移法により、前記第1と第2イメージ部分を計算し、前記イメージ部分を等しくして、それらの関係を記録する工程と、
前記第1モーションクリップの前記第1イメージ部分と前記第2モーションクリップの前記第2イメージ部分を融合する工程と、
を有することを特徴とする請求項11に記載のコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW096145893A TWI356355B (en) | 2007-12-03 | 2007-12-03 | Motion transition method and system for dynamic im |
TW096145893 | 2007-12-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009140464A JP2009140464A (ja) | 2009-06-25 |
JP4746640B2 true JP4746640B2 (ja) | 2011-08-10 |
Family
ID=40675808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008047885A Expired - Fee Related JP4746640B2 (ja) | 2007-12-03 | 2008-02-28 | 動的イメージのモーション遷移処理方法とそのシステム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20090142029A1 (ja) |
JP (1) | JP4746640B2 (ja) |
TW (1) | TWI356355B (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090172549A1 (en) * | 2007-12-28 | 2009-07-02 | Motorola, Inc. | Method and apparatus for transitioning between screen presentations on a display of an electronic device |
US8633932B1 (en) * | 2009-07-16 | 2014-01-21 | Lucasfilm Entertainment Company Ltd. | Animation with adjustable detail level |
WO2011106928A1 (en) * | 2010-03-02 | 2011-09-09 | Nokia Corporation | Methods and apparatuses for facilitating skeletal animation |
CN103582901A (zh) * | 2010-12-29 | 2014-02-12 | 汤姆逊许可公司 | 生成运动合成数据的方法和生成运动合成数据的设备 |
TWI681798B (zh) * | 2018-02-12 | 2020-01-11 | 莊龍飛 | 運動課程評分方法與系統、電腦程式產品 |
CN110876024B (zh) * | 2018-08-31 | 2021-02-12 | 百度在线网络技术(北京)有限公司 | 确定虚拟形象唇部动作的方法和装置 |
CN110163910B (zh) * | 2019-03-22 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 物体对象定位方法、装置、计算机设备和存储介质 |
CN110377201A (zh) * | 2019-06-05 | 2019-10-25 | 平安科技(深圳)有限公司 | 终端设备控制方法、装置、计算机装置及可读存储介质 |
CN110781332A (zh) * | 2019-10-16 | 2020-02-11 | 三峡大学 | 基于复合聚类算法的电力居民用户日负荷曲线聚类方法 |
US11282257B2 (en) * | 2019-11-22 | 2022-03-22 | Adobe Inc. | Pose selection and animation of characters using video data and training techniques |
US11361467B2 (en) | 2019-11-22 | 2022-06-14 | Adobe Inc. | Pose selection and animation of characters using video data and training techniques |
CN111984822A (zh) * | 2020-09-03 | 2020-11-24 | 平安科技(深圳)有限公司 | 图像生成方法、装置、电子设备及计算机可读存储介质 |
CN112328715B (zh) * | 2020-10-16 | 2022-06-03 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关模型的训练方法及相关装置、设备 |
CN113018855B (zh) * | 2021-03-26 | 2022-07-01 | 完美世界(北京)软件科技发展有限公司 | 一种虚拟角色的动作切换方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4473754B2 (ja) * | 2005-03-11 | 2010-06-02 | 株式会社東芝 | 仮想試着装置 |
-
2007
- 2007-12-03 TW TW096145893A patent/TWI356355B/zh active
- 2007-12-17 US US12/000,748 patent/US20090142029A1/en not_active Abandoned
-
2008
- 2008-02-28 JP JP2008047885A patent/JP4746640B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009140464A (ja) | 2009-06-25 |
US20090142029A1 (en) | 2009-06-04 |
TW200926053A (en) | 2009-06-16 |
TWI356355B (en) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4746640B2 (ja) | 動的イメージのモーション遷移処理方法とそのシステム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP4789494B2 (ja) | 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法 | |
CN107624243B (zh) | 通过帧选择的实时超延时视频创建 | |
CN111464834B (zh) | 一种视频帧处理方法、装置、计算设备及存储介质 | |
US5724499A (en) | Image generating apparatus | |
CN102959951A (zh) | 图像处理装置、图像处理方法,图像处理程序及集成电路 | |
US11915342B2 (en) | Systems and methods for creating a 2D film from immersive content | |
Wang et al. | Hyper-lapse from multiple spatially-overlapping videos | |
JP6298521B2 (ja) | プログラム、システム、装置、及び方法 | |
US20210398341A1 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
CN112637520B (zh) | 一种动态视频编辑方法及其系统 | |
WO2018049682A1 (zh) | 一种虚拟3d场景制作方法及相关设备 | |
US20150002516A1 (en) | Choreography of animated crowds | |
CN116017082A (zh) | 一种信息处理方法和电子设备 | |
JP2005056101A (ja) | 音楽データと連動したcgアニメーション装置 | |
JP6248943B2 (ja) | 情報処理装置、情報処理方法、およびプログラム、並びに情報処理システム | |
US11895288B2 (en) | Information processing device, proposal device, information processing method, and proposal method | |
KR100916221B1 (ko) | 3차원 맵에서의 향상된 캐릭터 이동 경로 설정 방법 | |
WO1998053443A1 (fr) | Mode d'affichage graphique, procede de reproduction synchronisee, et dispositif de reproduction audiovisuelle synchronisee | |
CN101458820A (zh) | 动态影像的动作转移方法与系统 | |
JP7420245B2 (ja) | 映像処理装置、映像処理方法、及び、プログラム | |
JP4342072B2 (ja) | 画像形成装置 | |
JP3300797B2 (ja) | 映像生成装置 | |
JP3714911B2 (ja) | 映像生成装置 | |
KR20230163072A (ko) | 별도에 설치가 필요없이 웹을 이용하여 3d 영상물 컨텐츠 제작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110228 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110513 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4746640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |