JP4986679B2 - 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム - Google Patents
非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム Download PDFInfo
- Publication number
- JP4986679B2 JP4986679B2 JP2007089764A JP2007089764A JP4986679B2 JP 4986679 B2 JP4986679 B2 JP 4986679B2 JP 2007089764 A JP2007089764 A JP 2007089764A JP 2007089764 A JP2007089764 A JP 2007089764A JP 4986679 B2 JP4986679 B2 JP 4986679B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- light
- measurement target
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 291
- 238000000691 measurement method Methods 0.000 title claims description 13
- 238000005286 illumination Methods 0.000 claims abstract description 129
- 230000033001 locomotion Effects 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims description 42
- 238000009826 distribution Methods 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 24
- 239000003086 colorant Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 abstract description 24
- 230000008569 process Effects 0.000 abstract description 2
- 230000003068 static effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000037237 body shape Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000001916 dieting Nutrition 0.000 description 1
- 230000037228 dieting effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
とする。次式(4)を用いてi番目の注目する縞状パターンのアドレスがkである確率Li(k)を計算し、確率Li(k)を最大とするkを注目する縞状パターンのアドレス(以下、「縞アドレス」と称す。)とする。計算された各計測点の縞アドレスにより、さらにその投影方向角を計算する(ステップS109)。
2,2a,2b,2c カメラ
3 データ処理装置
3a インターフェース
4,4a,4b,4c,5,5a,5b,5c 伝送ケーブル
10 記憶手段
11 全照明光投影撮影手段
12 強度変調パターン光投影撮影手段
13 抽出手段
14 運動状態推定手段
15 画像幾何変形調節手段
16 画像強度補正手段
17 投影パターン光検出手段
18 方向角算出手段
19 方向角補正手段
20 奥行き距離算出手段
21 三次元情報算出手段
22 出力手段
Claims (4)
- 計測対象物体にパターン光を投影する投影手段と、
前記パターン光が投影された計測対象物体を撮像する撮像手段と、
強度値または色が均一である全面投影用のパターンを形成し、前記投影手段を介して前記全面投影用のパターンの光(以下、「全照明光」と称す。)を計測対象物体に投影し、前記全照明光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像(以下、「全照明反射画像」と称す。)を取得する全照明光投影撮影手段と、
強度値または色の異なるパターンを形成し、前記投影手段を介して前記強度値または色の異なるパターンの光(以下、「強度変調パターン光」と称す。)を前記計測対象物体に投影し、前記強度変調パターン光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像(以下、「反射パターン画像」と称す。)を取得する強度変調パターン光投影撮影手段と、
前記全照明反射画像および前記反射パターン画像から前記計測対象物体をそれぞれ抽出する抽出手段と、
該抽出手段により抽出された計測対象物体の運動状態を推定する運動状態推定手段と、
該運動状態推定手段により推定された前記計測対象物体の運動状態に基づいて前記全照明反射画像または前記反射パターン画像における前記計測対象物体の画像の幾何変形を行い、前記全照明反射画像における計測対象物体と前記反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節手段と、
前記反射パターン画像から前記強度変調パターン光が投影されたパターン光(以下、「投影パターン光」と称す。)を検出する投影パターン光検出手段と、
前記全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体との位置、姿勢および大きさのずれが極小化された前記反射パターン画像における計測対象物体とを比較して前記投影パターン光の方向角を算出する方向角算出手段と、
前記反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて前記投影パターン光の方向角を補正する方向角補正手段と、
前記算出された方向角より計測点の奥行き距離を算出する奥行き距離算出手段と、
該奥行き距離算出手段により算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出手段と、
該三次元情報算出手段により算出された三次元情報を出力する出力手段と
を備える非静止物体の三次元画像計測装置。 - 前記強度変調パターン光は、異なる強度値または色により構成されたパターン光の強度分布を最適化した最適強度組合せパターン、または、異なる色の縞状パターンにより構成されたパターン光の色分布を最適化した最適カラー変調パターンの光である請求項1記載の非静止物体の三次元画像計測装置。
- 強度値または色が均一である全面投影用のパターンを形成し、計測対象物体にパターン光を投影する投影手段を介して前記全面投影用のパターンの光(以下、「全照明光」と称す。)を計測対象物体に投影し、前記全照明光が投影された前記計測対象物体の反射光を撮像手段により撮影して画像(以下、「全照明反射画像」と称す。)を取得する全照明光投影撮影ステップと、
強度値または色の異なるパターンを形成し、前記投影手段を介して前記強度値または色の異なるパターンの光(以下、「強度変調パターン光」と称す。)を前記計測対象物体に投影し、前記強度変調パターン光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像(以下、「反射パターン画像」と称す。)を取得する強度変調パターン光投影撮影ステップと、
前記全照明反射画像および前記反射パターン画像から前記計測対象物体をそれぞれ抽出する抽出ステップと、
該抽出ステップにおいて抽出された計測対象物体の運動状態を推定する運動状態推定ステップと、
該運動状態推定ステップにおいて推定された前記計測対象物体の運動状態に基づいて前記全照明反射画像または前記反射パターン画像における前記計測対象物体の画像の幾何変形を行い、前記全照明反射画像における計測対象物体と前記反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節ステップと、
前記反射パターン画像から前記強度変調パターン光が投影されたパターン光(以下、「投影パターン光」と称す。)を検出する投影パターン光検出ステップと、
前記全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体との位置、姿勢および大きさのずれが極小化された前記反射パターン画像における計測対象物体とを比較して前記投影パターン光の方向角を算出する方向角算出ステップと、
前記反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて前記投影パターン光の方向角を補正する方向角補正ステップと、
前記算出された方向角より計測点の奥行き距離を算出する奥行き距離算出ステップと、
該奥行き距離算出ステップにおいて算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出ステップと、
該三次元情報算出ステップにおいて算出された三次元情報を出力する出力ステップと
を含む非静止物体の三次元画像計測方法。 - 計測対象物体にパターン光を投影する投影手段と、前記パターン光が投影された計測対象物体を撮像する撮像手段とが接続されたコンピュータを、
強度値または色が均一である全面投影用のパターンを形成し、前記投影手段を介して前記全面投影用のパターンの光(以下、「全照明光」と称す。)を計測対象物体に投影し、前記全照明光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像(以下、「全照明反射画像」と称す。)を取得する全照明光投影撮影手段と、
強度値または色の異なるパターンを形成し、前記投影手段を介して前記強度値または色の異なるパターンの光(以下、「強度変調パターン光」と称す。)を前記計測対象物体に投影し、前記強度変調パターン光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像(以下、「反射パターン画像」と称す。)を取得する強度変調パターン光投影撮影手段と、
前記全照明反射画像および前記反射パターン画像から前記計測対象物体をそれぞれ抽出する抽出手段と、
該抽出手段により抽出された計測対象物体の運動状態を推定する運動状態推定手段と、
該運動状態推定手段により推定された前記計測対象物体の運動状態に基づいて前記全照明反射画像または前記反射パターン画像における前記計測対象物体の画像の幾何変形を行い、前記全照明反射画像における計測対象物体と前記反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節手段と、
前記反射パターン画像から前記強度変調パターン光が投影されたパターン光(以下、「投影パターン光」と称す。)を検出する投影パターン光検出手段と、
前記全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体の位置、姿勢および大きさのずれが極小化された前記反射パターン画像における計測対象物体とを比較して前記投影パターン光の方向角を算出する方向角算出手段と、
前記反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて前記投影パターン光の方向角を補正する方向角補正手段と、
前記算出された方向角より計測点の奥行き距離を算出する奥行き距離算出手段と、
該奥行き距離算出手段により算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出手段と、
該三次元情報算出手段により算出された三次元情報を出力する出力手段と
して機能させるための非静止物体の三次元画像計測プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007089764A JP4986679B2 (ja) | 2007-03-29 | 2007-03-29 | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
PCT/JP2008/000619 WO2008120457A1 (ja) | 2007-03-29 | 2008-03-17 | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
CN200880010126XA CN101646919B (zh) | 2007-03-29 | 2008-03-17 | 非静止物体的三维图像测量装置,三维图像测量方法以及三维图像测量程序 |
HK10105102.2A HK1139199A1 (en) | 2007-03-29 | 2010-05-24 | Three-dimensional image measurement apparatus, three-dimensional image measurement method, and three-dimensional image measurement program of non- static object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007089764A JP4986679B2 (ja) | 2007-03-29 | 2007-03-29 | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008249432A JP2008249432A (ja) | 2008-10-16 |
JP4986679B2 true JP4986679B2 (ja) | 2012-07-25 |
Family
ID=39808043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007089764A Active JP4986679B2 (ja) | 2007-03-29 | 2007-03-29 | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP4986679B2 (ja) |
CN (1) | CN101646919B (ja) |
HK (1) | HK1139199A1 (ja) |
WO (1) | WO2008120457A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9441958B2 (en) | 2013-08-12 | 2016-09-13 | Ricoh Company, Ltd. | Device, method, and non-transitory computer-readable recording medium to calculate a parameter for calibration |
CN110553584A (zh) * | 2019-08-30 | 2019-12-10 | 长春理工大学 | 一种小型复杂零件的测量工装、自动测量系统及测量方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5224288B2 (ja) * | 2009-02-13 | 2013-07-03 | 学校法人福岡工業大学 | 表面検査装置および表面検査方法 |
JP5633719B2 (ja) * | 2009-09-18 | 2014-12-03 | 学校法人福岡工業大学 | 三次元情報計測装置および三次元情報計測方法 |
JP5728699B2 (ja) * | 2010-03-01 | 2015-06-03 | 学校法人福岡工業大学 | 表面検査装置、表面検査方法および表面検査プログラム |
DE102010015689B4 (de) * | 2010-04-21 | 2019-05-23 | Aktiebolaget Skf | Verfahren und Vorrichtung zur Vermessung eines Lagerbauteils |
JP5567738B2 (ja) * | 2010-05-07 | 2014-08-06 | 深▲せん▼泰山在線科技有限公司 | 構造化光測定方法及びシステム |
WO2012050107A1 (ja) * | 2010-10-12 | 2012-04-19 | グローリー株式会社 | 硬貨処理装置及び硬貨処理方法 |
CN102175172B (zh) * | 2010-12-30 | 2012-07-04 | 南京理工大学 | 一种基于图像识别的机动车辆外形尺寸检测系统 |
TW201315962A (zh) * | 2011-10-05 | 2013-04-16 | Au Optronics Corp | 投影式影像辨識裝置及其影像辨識方法 |
JP6079333B2 (ja) | 2013-03-15 | 2017-02-15 | 株式会社リコー | 校正装置、方法及びプログラム |
EP3828496A1 (en) * | 2013-04-08 | 2021-06-02 | SNAP Inc. | Distance estimation using multi-camera device |
CN103246141B (zh) * | 2013-05-03 | 2015-03-04 | 苏州佳世达光电有限公司 | 光源校正系统 |
CN103241527B (zh) * | 2013-05-20 | 2016-04-20 | 无锡集聚智能纺织机械有限公司 | 自动理管装置 |
CN104183010A (zh) * | 2013-05-22 | 2014-12-03 | 上海迪谱工业检测技术有限公司 | 多视角三维在线重建的方法 |
FR3008522B1 (fr) * | 2013-07-15 | 2016-11-11 | European Aeronautic Defence & Space Co Eads France | Procede de mesure multi-echelles de forme, de deplacement et/ou de deformation d’une piece de structure soumise a des sollicitations par creation d’une pluralite de mouchetis colorimetriques |
JP7005175B2 (ja) * | 2017-05-30 | 2022-01-21 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
GB201710705D0 (en) * | 2017-07-04 | 2017-08-16 | Optoscale As | Structured-Light Illumination |
JP6970376B2 (ja) * | 2017-12-01 | 2021-11-24 | オムロン株式会社 | 画像処理システム、及び画像処理方法 |
JP7121622B2 (ja) * | 2018-09-28 | 2022-08-18 | 芝浦メカトロニクス株式会社 | 錠剤印刷装置及び錠剤印刷方法 |
CN112955844A (zh) * | 2020-06-30 | 2021-06-11 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、设备、系统及存储介质 |
CN112697258A (zh) * | 2020-12-17 | 2021-04-23 | 天津大学 | 一种基于单帧编码照明的视觉振动测量方法 |
TWI795111B (zh) * | 2021-12-06 | 2023-03-01 | 財團法人金屬工業研究發展中心 | 交錯光源取像系統 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03289505A (ja) * | 1990-04-06 | 1991-12-19 | Nippondenso Co Ltd | 3次元形状測定装置 |
EP1067362A1 (en) * | 1999-07-09 | 2001-01-10 | Hewlett-Packard Company | Document imaging system |
JP3884321B2 (ja) * | 2001-06-26 | 2007-02-21 | オリンパス株式会社 | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 |
JP2004077290A (ja) * | 2002-08-19 | 2004-03-11 | Fuji Xerox Co Ltd | 3次元形状計測装置および方法 |
CN1176351C (zh) * | 2002-10-09 | 2004-11-17 | 天津大学 | 动态多分辨率的三维数字成像的方法及装置 |
JP4883517B2 (ja) * | 2004-11-19 | 2012-02-22 | 学校法人福岡工業大学 | 三次元計測装置および三次元計測方法並びに三次元計測プログラム |
-
2007
- 2007-03-29 JP JP2007089764A patent/JP4986679B2/ja active Active
-
2008
- 2008-03-17 WO PCT/JP2008/000619 patent/WO2008120457A1/ja active Application Filing
- 2008-03-17 CN CN200880010126XA patent/CN101646919B/zh active Active
-
2010
- 2010-05-24 HK HK10105102.2A patent/HK1139199A1/xx unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9441958B2 (en) | 2013-08-12 | 2016-09-13 | Ricoh Company, Ltd. | Device, method, and non-transitory computer-readable recording medium to calculate a parameter for calibration |
CN110553584A (zh) * | 2019-08-30 | 2019-12-10 | 长春理工大学 | 一种小型复杂零件的测量工装、自动测量系统及测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101646919B (zh) | 2011-04-20 |
JP2008249432A (ja) | 2008-10-16 |
WO2008120457A1 (ja) | 2008-10-09 |
CN101646919A (zh) | 2010-02-10 |
HK1139199A1 (en) | 2010-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4986679B2 (ja) | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム | |
JP4883517B2 (ja) | 三次元計測装置および三次元計測方法並びに三次元計測プログラム | |
JP6429772B2 (ja) | 3d走査および位置決めシステム | |
US9858682B2 (en) | Device for optically scanning and measuring an environment | |
US10288418B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US9115986B2 (en) | Device for optically scanning and measuring an environment | |
CN104769389B (zh) | 用于确定物体的三维坐标的方法和装置 | |
US9217637B2 (en) | Device for optically scanning and measuring an environment | |
JP5132832B1 (ja) | 計測装置および情報処理装置 | |
JP3624353B2 (ja) | 3次元形状計測方法およびその装置 | |
JP2012215394A (ja) | 三次元計測装置および三次元計測方法 | |
US11710289B2 (en) | Information processing apparatus, information processing system, and material identification method | |
CN111031897A (zh) | 用于分析皮肤状况的系统和方法 | |
CN102538708A (zh) | 任意表面三维形貌测量系统 | |
KR20160121509A (ko) | 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭 | |
JP6282377B2 (ja) | 3次元形状計測システムおよびその計測方法 | |
JP2013079854A (ja) | 3次元計測システム及び3次元計測方法 | |
JP4379626B2 (ja) | 3次元形状計測方法及びその装置 | |
JP5633719B2 (ja) | 三次元情報計測装置および三次元情報計測方法 | |
KR100943218B1 (ko) | 컬러 교정을 이용한 3차원 모델 생성 방법 | |
US20240175677A1 (en) | Measuring system providing shape from shading | |
JP6867766B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
JP7028814B2 (ja) | 外形認識装置、外形認識システム及び外形認識方法 | |
EP4078221A1 (en) | Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method | |
JP2018063161A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4986679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |