JP4209938B2 - 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ - Google Patents
画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ Download PDFInfo
- Publication number
- JP4209938B2 JP4209938B2 JP2008520659A JP2008520659A JP4209938B2 JP 4209938 B2 JP4209938 B2 JP 4209938B2 JP 2008520659 A JP2008520659 A JP 2008520659A JP 2008520659 A JP2008520659 A JP 2008520659A JP 4209938 B2 JP4209938 B2 JP 4209938B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- corresponding points
- sets
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1は、本実施形態による画像処理装置100の機能ブロックの構成を示す。画像処理装置100は、カメラ101と、画像記憶部102と、初期対応点算出部112と、対応点再算出部104と、出力部109とを有している。
図2(a)は、画像処理装置100が用いられる画像の撮影環境を示し、図2(b)は、撮影された画像の例を示す。図2(a)に示されるように、本実施形態においては、カメラ、被写体(彫像)、光源の位置は、それぞれ画像処理装置100の動作とは無関係に任意に変化するとしている。図2(a)の環境で撮影された一連の複数(N枚)の画像を、入力画像として扱う。図2中の3次元座標系(X,Y,Z)は、被写体に固定された座標系であるとする。
次に、図2を参照しながら、本実施形態による画像処理装置100が利用する3つの動作原理を詳細に説明する。具体的には、複数画像にわたる複数の対応点が全て正しく与えられた場合に、対応点の座標値が満たすべき2つの幾何拘束式と、対応点の輝度値が満たすべき光学拘束式である。拘束式を導くに当たっては、(1)撮影対象の被写体が剛体であり、(2)光が平行に被写体に入射し、(3)被写体表面において光が完全拡散反射され、(4)アフィンカメラで被写体を撮影する、という前提条件を設定した。なお、実際には複数の物体であっても、相対位置が普遍の複数の物体は、同一の剛体、すなわち、同一の被写体とみなすことができる。
次に、上述した動作原理を用いた画像処理装置100の詳細な動作を説明する。
図7は、本実施形態による画像処理装置120の機能ブロックの構成を示す。本実施形態による画像処理装置120が、実施形態1の画像処理装置100と異なる点は、画像処理装置100の出力部109に代えて、画像合成部110を設けたことにある。画像合成部110は、複数枚の画像と、複数画像にわたって特定された対応点とを受け取って、入力された画像の解像度よりも解像度が高い合成画像を出力する。ここで「解像度が高い」とは、被写体の同一領域を映した画像において、高い空間周波数成分を有することを意味する。
101 カメラ
102 画像記憶部
113 初期対応点算出部
103 基準候補生成部
104 対応点再算出部
105 光学係数算出部
106 新規候補生成部
107 新規候補選択部
108 基準候補選択部
109 出力部
110 画像合成部
111 座標変換部
112 画像生成部
Claims (16)
- N枚(N:4以上の整数)の画像の画像データに基づいて前記N枚の画像にわたる対応点である初期対応点をn組(n:4以上の整数)算出する初期対応点算出部と、
前記n組の初期対応点から、s組(s:4以上n以下の整数)の初期対応点の集合を1組とした基準対応点の候補を選択して、M組(M:2以上の整数)の基準対応点の候補を生成する基準候補生成部と、
前記M組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出する係数算出部と、
前記M組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を1組とした着目対応点の候補を複数組生成する新規候補生成部と、
前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価し、評価結果に基づいて1組の着目対応点の候補を選択して着目対応点として出力する第1選択部と、
前記第1選択部の評価結果に基づいて前記M組の基準対応点の候補の各組を評価し、評価結果に基づいて前記M組の基準対応点の候補から1組の基準対応点の候補を選択し、選択された前記1組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記N枚の画像にわたる対応点として出力する第2選択部と
を備えた画像処理装置。 - 前記基準候補生成部は、選択したs組の初期対応点の前記N枚の画像の輝度値からなるN×s輝度行列の独立性を評価し、評価結果に基づいて、前記M組の基準対応点の各候補を選択する、請求項1に記載の画像処理装置。
- 前記基準候補生成部は、前記N×s輝度行列の第1固有値に対する第3固有値の比を評価値として、より大きい評価値が得られたN×s輝度行列に対応するs個の初期対応点の集合から順に基準対応点の候補として選択する、請求項2に記載の画像処理装置。
- 前記基準候補生成部は、前記N×s輝度行列の第1固有値に対する第3固有値の比があらかじめ定められたしきい値より小さい場合において、前記N×s輝度行列に対応するs組の初期対応点の集合を、基準対応点の候補から除外する、請求項2に記載の画像処理装置。
- 前記基準候補生成部は、選択したs組の初期対応点について、各画像上の点近傍の輝度値の空間勾配の大きさを評価し、より大きい空間勾配が得られたs組の初期対応点の集合から優先的に基準対応点の候補として選択する、請求項1に記載の画像処理装置。
- 前記N枚の画像は色画像であり、前記基準候補生成部は、選択したs組の初期対応点について、各画像上の点近傍の各色画像間の相関を評価し、より低い相関が得られたs組の初期対応点の集合から優先的に基準対応点の候補として選択する、請求項1に記載の画像処理装置。
- 前記係数算出部は、各画像上の各点の点間距離および各画像における被写体の倍率の一方に応じてカットオフ周波数が定められる空間方向の低域通過フィルタを前記画像データに対して適用し、得られた輝度値を前記各画像上の互いに対応付けられた点の輝度値として使用する、請求項1に記載の画像処理装置。
- 前記係数算出部は、前記各基準対応点の候補の各画像上点の輝度値として、当該点の近傍に位置する少なくとも1つの点の輝度値を用いて前記光学係数を算出する、請求項1に記載の画像処理装置。
- 前記係数算出部は、当該点の周囲に近接し、かつ、当該点の輝度値との差が所定範囲内の少なくとも1つの点の輝度値を用いて前記光学係数を算出する、請求項8に記載の画像処理装置。
- 前記係数算出部は、当該点の輝度値と、当該点の周囲の近接点の輝度値との差が所定範囲よりも大きくなったとき、当該点の近傍に位置する少なくとも1つの点の輝度値を用いて前記光学係数を算出する、請求項8に記載の画像処理装置。
- N枚の画像のうちの少なくとも1枚の画像を所定の拡大率で拡大し、拡大後の画像の画素値として、前記N枚の画像のうちの少なくともk枚(k:3以上N以下の整数)の画像の各画素値を前記所定の拡大率に応じてマッピングした複数の座標変換画像の組を生成する座標変換部と、
前記複数の座標変換画像のうちのk枚の座標変換画像を選択して、前記k枚の座標変換画像間で互いに対応する各座標変換画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である変換係数を算出し、前記N枚の座標変換画像を変換係数によって線形結合することによって合成画像を生成する画像生成部と
をさらに備えた、請求項1に記載の画像処理装置。 - 前記画像生成部は、変換前の各画像に含まれる被写体の面積と、前記座標変換画像に含まれる被写体の面積とに応じて決定される被写体面積の比の大きさに応じて、前記k枚の座標変換画像を選択する、請求項11に記載の画像処理装置。
- N枚(N:4以上の整数)の画像の画像データに基づいて前記N枚の画像にわたる対応点である初期対応点をn組(n:4以上の整数)算出するステップと、
前記n組の初期対応点から、s組(s:4以上n以下の整数)の初期対応点を選択するステップと、
s組の初期対応点の集合を1組とした基準対応点の候補を、M組(M:2以上の整数)生成するステップと、
前記M組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、
前記M組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を1組とした着目対応点の候補を複数組生成するステップと、
前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、
評価結果に基づいて1組の着目対応点の候補を選択して着目対応点として出力するステップと、
前記評価結果に基づいて前記M組の基準対応点の候補の各組を評価し、評価結果に基づいて前記M組の基準対応点の候補から1組の基準対応点の候補を選択するステップと、
選択された前記1組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記N枚の画像にわたる対応点として出力するステップと
を包含する画像処理方法。 - コンピュータプログラムが記録された記録媒体であって、
前記コンピュータプログラムは、コンピュータに
N枚(N:4以上の整数)の画像の画像データに基づいて前記N枚の画像にわたる対応点である初期対応点をn組(n:4以上の整数)算出するステップと、
前記N枚の画像にわたるs組(s:4以上、n以下の整数)の初期対応点の集合を1組とした基準対応点の候補を、M組(M:2以上の整数)生成するステップと、
前記M組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、
前記M組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を1組とした着目対応点の候補を複数組生成するステップと、
前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、
評価結果に基づいて1組の着目対応点の候補を選択して着目対応点として出力するステップと、
前記評価結果に基づいて前記M組の基準対応点の候補の各組を評価し、評価結果に基づいて前記M組の基準対応点の候補から1組の基準対応点の候補を選択するステップと、
選択された前記1組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記N枚の画像にわたる対応点として出力するステップと
を実行させる、コンピュータプログラムが記録された記録媒体。 - コンピュータプログラムを実行することが可能なプロセッサであって、
画像処理プログラムを実行することにより、
N枚(N:4以上の整数)の画像の画像データに基づいて前記N枚の画像にわたる対応点である初期対応点をn組(n:4以上の整数)算出するステップと、
前記N枚の画像にわたるs組の初期対応点の集合を1組とする基準対応点の候補を、M組(M:2以上の整数)生成するステップと、
前記M組の基準対応点の候補の各組について、画像間で互いに対応付けられた各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、
前記M組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を1組とした着目対応点の候補を複数組生成するステップと、
前記複数組の着目対応点の候補の各組に対して、画像間で互いに対応付けられた各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、
評価結果に基づいて1組の着目対応点の候補を選択して着目対応点として出力するステップと、
前記評価結果に基づいて前記M組の基準対応点の候補の各組を評価し、評価結果に基づいて前記M組の基準対応点の候補から1組の基準対応点の候補を選択するステップと、
選択された前記1組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記N枚の画像にわたる対応点として出力するステップと
を実行するプロセッサ。 - N枚(N:4以上の整数)の画像の画像データに基づいて前記N枚の画像にわたる対応点である初期対応点をn組(n:4以上の整数)算出する初期対応点算出部と、
前記n組の初期対応点から、幾何拘束式と光学拘束式を満たすs組の(s:4以上n以下の整数)初期対応点を選択して基準対応点として出力するとともに、前記基準対応点に基づく幾何拘束式と光学拘束式を満たす着目対応点を算出して出力する対応点再算出部と
を備えた画像処理装置であって、
前記幾何拘束式は、前記N枚の画像に含まれる同一被写体の1点に関して定まる、前記N枚の画像にわたる各対応点の座標値が満たす式であり、
前記光学拘束式は、前記N枚の画像にわたる各対応点の輝度値が満たす式である、画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007055533 | 2007-03-06 | ||
JP2007055533 | 2007-03-06 | ||
PCT/JP2008/000386 WO2008108071A1 (ja) | 2007-03-06 | 2008-02-28 | 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4209938B2 true JP4209938B2 (ja) | 2009-01-14 |
JPWO2008108071A1 JPWO2008108071A1 (ja) | 2010-06-10 |
Family
ID=39737969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008520659A Expired - Fee Related JP4209938B2 (ja) | 2007-03-06 | 2008-02-28 | 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ |
Country Status (4)
Country | Link |
---|---|
US (1) | US8005295B2 (ja) |
JP (1) | JP4209938B2 (ja) |
CN (1) | CN101558427B (ja) |
WO (1) | WO2008108071A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
KR101129220B1 (ko) * | 2009-11-03 | 2012-03-26 | 중앙대학교 산학협력단 | 레인지 영상의 노이즈 제거장치 및 방법 |
JP5393877B2 (ja) | 2010-04-16 | 2014-01-22 | パナソニック株式会社 | 撮像装置および集積回路 |
JP2013073598A (ja) * | 2011-09-29 | 2013-04-22 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
JP5895569B2 (ja) * | 2012-02-08 | 2016-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
US9374532B2 (en) * | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
US9413926B2 (en) | 2014-04-28 | 2016-08-09 | Lynx System Developers, Inc. | Systems for processing event timing images |
AU2015253372B2 (en) * | 2014-04-28 | 2018-07-19 | Lynx System Developers, Inc. | Systems and methods for processing event timing images |
US9398196B2 (en) * | 2014-04-28 | 2016-07-19 | Lynx System Developers, Inc. | Methods for processing event timing images |
US10375300B2 (en) | 2014-04-28 | 2019-08-06 | Lynx System Developers, Inc. | Methods for processing event timing data |
JP6482934B2 (ja) | 2014-06-03 | 2019-03-13 | キヤノンメディカルシステムズ株式会社 | 画像処理装置、放射線検出装置および画像処理方法 |
JP6821303B2 (ja) * | 2015-12-15 | 2021-01-27 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN106204593B (zh) * | 2016-07-12 | 2018-11-09 | 大连理工大学 | 一种基于序列图像合成的特征点提取方法 |
US10565778B2 (en) | 2017-08-22 | 2020-02-18 | Samsung Electronics Co., Ltd. | Electronic devices for and methods of implementing memory transfers for image warping in an electronic device |
WO2020232703A1 (zh) * | 2019-05-23 | 2020-11-26 | 深圳市瑞立视多媒体科技有限公司 | 刚体识别方法、装置、系统及终端设备 |
CN110445985A (zh) * | 2019-08-30 | 2019-11-12 | 联想(北京)有限公司 | 一种图像采集方法、电子设备及计算机可读存储介质 |
CN110807778B (zh) * | 2019-10-11 | 2022-07-15 | 华中科技大学 | 一种迭代式的三维脑空间位置自动计算方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2676978B2 (ja) | 1990-05-21 | 1997-11-17 | 松下電器産業株式会社 | 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法 |
JP3626218B2 (ja) | 1993-08-23 | 2005-03-02 | ソニー株式会社 | 動き量検出装置及び動き量検出方法 |
JP3347508B2 (ja) | 1995-02-24 | 2002-11-20 | キヤノン株式会社 | 撮像画像処理装置および撮像画像処理方法 |
JP3137084B2 (ja) * | 1998-07-17 | 2001-02-19 | 日本電気株式会社 | 動き検出装置及び方法 |
US6628819B1 (en) | 1998-10-09 | 2003-09-30 | Ricoh Company, Ltd. | Estimation of 3-dimensional shape from image sequence |
JP3835658B2 (ja) * | 1999-02-19 | 2006-10-18 | 株式会社リコー | 3次元形状情報生成方法及び装置並びに記録媒体 |
JP4456709B2 (ja) * | 2000-01-12 | 2010-04-28 | 富士機械製造株式会社 | 基板支持状態検査方法 |
JP2003150936A (ja) * | 2001-11-08 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
US7319487B2 (en) * | 2002-04-10 | 2008-01-15 | Olympus Optical Co., Ltd. | Focusing apparatus, camera and focus position detecting method |
JP4454428B2 (ja) * | 2004-07-30 | 2010-04-21 | 富士通株式会社 | 部品エッジ検出方法、部品エッジ検出プログラム及び検査装置 |
-
2008
- 2008-02-28 US US12/278,845 patent/US8005295B2/en not_active Expired - Fee Related
- 2008-02-28 WO PCT/JP2008/000386 patent/WO2008108071A1/ja active Application Filing
- 2008-02-28 JP JP2008520659A patent/JP4209938B2/ja not_active Expired - Fee Related
- 2008-02-28 CN CN2008800010612A patent/CN101558427B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20100166299A1 (en) | 2010-07-01 |
WO2008108071A1 (ja) | 2008-09-12 |
CN101558427A (zh) | 2009-10-14 |
JPWO2008108071A1 (ja) | 2010-06-10 |
CN101558427B (zh) | 2012-03-21 |
US8005295B2 (en) | 2011-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4209938B2 (ja) | 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ | |
TWI709107B (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
JP5830546B2 (ja) | 対象物のモデル変換に基づくモデルパラメータの決定 | |
KR101036787B1 (ko) | 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치 | |
US7127125B2 (en) | Registration of separations | |
JP5294343B2 (ja) | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 | |
JP3837575B2 (ja) | 超解像処理の高速化方法 | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
WO2015146230A1 (ja) | 映像表示装置および映像表示システム | |
US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
JP6750183B2 (ja) | 画像距離算出装置、画像距離算出方法および画像距離算出用プログラム | |
CN1734500A (zh) | 利用基于模型的稳健贝叶斯估算计算较高分辨率图像 | |
WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
US10529092B2 (en) | Method for reducing matching error in disparity image by information in zoom image | |
CN114693760A (zh) | 图像校正方法、装置及系统、电子设备 | |
WO2018147059A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US20100040304A1 (en) | Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program | |
TWI402768B (zh) | 產生高解析度影像之方法 | |
US12015755B2 (en) | Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof | |
CN112669355B (zh) | 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统 | |
CA3213416A1 (en) | Methods and systems for markerless facial motion capture | |
JP2018010359A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4209938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |