JP5462093B2 - 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム - Google Patents
点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム Download PDFInfo
- Publication number
- JP5462093B2 JP5462093B2 JP2010153318A JP2010153318A JP5462093B2 JP 5462093 B2 JP5462093 B2 JP 5462093B2 JP 2010153318 A JP2010153318 A JP 2010153318A JP 2010153318 A JP2010153318 A JP 2010153318A JP 5462093 B2 JP5462093 B2 JP 5462093B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- cloud data
- unit
- reacquisition
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 219
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000004364 calculation method Methods 0.000 claims description 146
- 238000000034 method Methods 0.000 claims description 130
- 238000005259 measurement Methods 0.000 claims description 121
- 230000008569 process Effects 0.000 claims description 74
- 238000002372 labelling Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000010586 diagram Methods 0.000 description 42
- 239000013598 vector Substances 0.000 description 32
- 230000006870 function Effects 0.000 description 26
- 230000003287 optical effect Effects 0.000 description 15
- 238000003860 storage Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Analysis (AREA)
Description
以下、点群データ処理装置の一例について、図面を参照して説明する。本実施形態の点群処理装置は、測定対象物の二次元画像と、この二次元画像に対応させた複数の点の三次元座標データとを関連付けた点群データの中から、演算の負担の大きい非面領域に係る点群データを除去する非面領域除去部を備えている。また、非面領域のデータが除去された後の点群データに対して、面を指定するラベルを付与する面ラベリング部と、ラベルが付与された面から連続した局所領域に基づく局所平面を利用して、対象物の輪郭線を算出する輪郭線算出部を備えている。また、点群データを再取得に係る処理を行う点群データ再取得要求処理部106を備えている。
図1は、点群データ処理装置のブロック図である。点群データ処理装置100は、測定対象物の点群データに基づいて、測定対象物の特徴を抽出し、当該特徴に基づく三次元形状を生成する。点群データは、測定対象物にレーザー光を捜査して照射し、その反射光を検出することで、測定対象物の3次元座標のデータを点群データとして得る三次元位置測定装置(三次元レーザースキャナ)や複数の撮像装置を用いて立体画像情報を取得し、それに基づいて測定対象物の3次元座標のデータを点群データとして得る立体画像情報取得装置から得られる。三次元レーザースキャナについては実施形態2で、立体画像情報取得装置については、実施形態3で説明する。
Logic Device)等を用いて構成した専用のハードウェアによって点群処理装置100を構成することも可能である。
まず、点群処理装置100における輪郭線を算出する処理を行う構成を説明する。点群処理装置100は、非面領域除去部101、面ラベリング部102、輪郭線算出部103を備えている。以下、これら各機能部について説明する。
図2は、点群データ処理装置100において行われる処理の一例を示すフローチャートである。図2のステップS202〜S204の処理が非面領域除去部101において行われる。非面領域除去部101は、局所領域を取得する局所領域取得部101a、局所領域の法線ベクトルを算出する法線ベクトル算出部101b、局所領域の局所曲率を算出する局所曲率算出部101c、局所領域にフィッティングする局所平面を算出する局所平面算出部101dを備える。以下、処理の流れに従って、これらの機能部について説明する。
ステップS203で求めた局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面(平面および曲率の小さい曲面)ではその値が小さく、面以外(非面)ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。
局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。
ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる2つの局所領域のそれぞれにフィッティングする2つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が0であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、2つの局所平面が同一面上にない程度がより顕著であると判定される。
次に面ラベリング部102の機能について、図2を参照して説明する。面ラベリング部102は、非面領域除去部101で処理された点群データを対象として、図2のステップS206以下の処理を実行する。
輪郭線算出部103は、隣接する面の点群データに基づき、輪郭線を算出(推定)する(図2のステップS211)。以下、具体的な算出方法について説明する。
図5には、輪郭線を算出する方法の原理の一つが示されている。図5には、平面131と平面132の境の付近が概念的に示されている。この場合、非面領域除去の処理により、曲率の小さい非面領域133が除去され、隣接する平面131と132が面としてラベルが貼られる。この際、平面131の平面132側の外縁131aと平面132の平面131側の外縁132aの間の点群データは、非面領域として除去されているので、非面領域133にあるはずの輪郭線のデータを点群データから直接得ることはできない。
図6には、輪郭線を算出する方法の原理が示されている。図6(A)には、図5と同じ面を垂直に切った断面を見る視点からの概念図が示され、図6(B)には、2つの面とその間の輪郭線を俯瞰して見た状態の概念図(モデル図)が示されている。図6には、図5の場合と同様な平面131と平面132の境の付近が概念的に示されている。この場合も非面領域除去の処理により、曲率の小さい非面領域133が除去され、隣接する平面131と132が面としてラベルが貼られている。この点は、図5の場合と同じである。
この方法では、最初の段階で非面領域と判定された領域に対して、閾値を変更しての再度の非面領域の除去およびラベリングを行い、より限定された非面領域の除去とし、その後に再度「算出方法その1」または「算出方法その2」のいずれかを用いての輪郭線の算出を行う。
算出方法その2と同様な考え方として、局所平面ではなく、局所直線(一次元の局所空間)を用いる方法もある。この場合、図1の局所平面算出部101dは、一次元の局所空間を取得する局所空間取得部である局所直線算出部として機能する。以下、図6を用いて説明する。この場合、まず図6の概念図において、符号135と137を局所直線として把握する。ここで、局所直線は、局所平面の幅を1点分の幅(数学的には、幅はない)に狭めた形態として把握できる。考え方は、局所平面の場合と同じで、平面131に連続した局所領域を取得し、この局所領域にフィッティングし、平面132の方向に延びる局所直線を算出する。そしてこの局所直線により平面131と132を接続する接続線(この場合、面ではなく線となる)を構成する。
局所平面の交線を求めることで輪郭線を予想する方法の別バージョンとして、接続面の中央部分で輪郭線を設定する手法が挙げられる。この場合、接続面の中央を算出する方法として、(1)距離的な中央の部分を輪郭線が通るとして輪郭線を算出する方法、(2)局所面の法線の変化(面の方向の変化)に基づき、その変化範囲の中央の法線(またはそこに近い法線)を有する局所面の中心点を輪郭線の通過点とする方法、(3)局所面の法線の変化(面の方向の変化)に基づき、その変化率の最も大きな部分を輪郭線の通過点とする方法等が挙げられる。局所面として局所曲面を採用することもできる。この場合、データとして扱いやすい曲面を選定し、それを上述した局所平面の代わりに利用する。また、局所面を複数種類用意し、その中から局所領域へのフィッティング性の高いものを選択する方法も可能である。
以下、算出した輪郭線の一例を説明する。図8は、図4に対応する概念図である。図8には、図4に示す状態において、本実施形態で説明した輪郭線算出処理(輪郭線算出方法その2)を施し、輪郭線150を算出した場合が示されている。この場合、非面領域として除去された領域において、ラベルが付与された平面123の外縁123a、および平面124の外縁124bに基づいて「輪郭線算出方法その2」により両平面を接続する接続面を算出し(図6参照)、この接続面を構成する2つの局所平面の公線を求めることで輪郭線150が算出される。輪郭線150が算出されることで、不明瞭であった図3の測定対象物(この場合は、立体120)の輪郭の画像が明確となる。こうして、三次元CADデータに取り込むことで、CADデータとして活用するのに適した画像データを点群データから得ることができる。
次に図2のステップS212の処理を行う図1の二次元エッジ算出部104について説明する。以下、二次元エッジ算出部104で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化(区分け)された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ(z値)と、その近傍の輪郭線(三次元エッジ)を構成する点の三次元座標の高さ(z値)とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。
点群データ処理装置100は、点群データの再取得を要求する処理に係る構成として、点群データ再取得要求処理部106を備えている。点群データ再取得要求処理部106は、非面領域除去部101、面ラベリング部102、輪郭線算出部103の少なくとも一つの処理の結果に基づいて、点群データの再取得の要求に係る処理を行う。以下、点群データ再取得要求処理部106で行われる処理について説明する。
この場合、点群データ再取得要求処理部106は、非面領域除去部101の処理の結果に基づいて、非面領域として処理された領域の点群データを再度得るための処理を行う。つまり、非面領域の点群データを再取得する要求を行う。以下この処理の一例を説明する。まず、最初に得る点群データの密度を相対的に粗く設定する。そして最初の段階で面としてラベリングされた部分以外の部分(つまり非面領域)に対して、再度の点群データの取得を指示する。こうすることで、効率よく点群データを取得でき、且つ、演算の精度を高めることができる。また、上記の処理において、設定する点群データの密度を段階的に複数設定し、点群データを繰り返し取得し、徐々により非面度が大きい領域の点群データをよりデータ密度が高い状態で取得する形態を採用してもよい。つまり、徐々により細かく点群データを得る必要がある領域を絞り込んでゆく手法を採用することもできる。
点群データ再取得要求処理部106は、輪郭線算出部103の処理の結果に基づいて、輪郭線およびその近傍における再度の点群データの取得を行う処理を行う。この場合、輪郭線の部分とその周辺(例えば、測定点で捉えて4〜10点分の幅)に対して、再度の点群データの取得が要求される。この処理によれば、より精度の高い輪郭線の画像データを得ることができる。また、輪郭線に加えて二次元エッジの部分およびその周辺を再度の点群データの取得対象として選択する設定も可能である。
点群データ再取得要求処理部106は、面ラベリング部102の処理の結果に基づき、面のフィッティング精度の悪い部分に対して再度の点群データの取得を要求する処理を行う。この場合、ラベリングされた面のフィッティング精度の良し悪しを閾値により判定し、フィッティングの精度が悪いと判定された面の点群データを再度取得する要求が行われる。
オクルージョン(手前の物体に遮られて奥の物体が見えなくなっている状態)によって発生する三次元エッジのような非面領域は、特に誤差が生じやすい。点群データ再取得要求処理部106は、そのような領域を局所平面のフィッティング精度や共平面性を判定することで抽出し、その領域に限定して再度の点群データの取得を行う処理を行う。この場合、非面領域除去部101における処理の結果に基づいて、点群データの再取得の要求に係る処理が行われる。
何らかの理由により、面のラベリングや輪郭線の算出が行えず、空白となる部分が生じる場合がある。例えば、オクルージョン(手前の物体に遮られて奥の物体が見えなくなっている状態)の部分や、スキャン光が極めて浅い角度で(面やエッジの延在方向に対して平行に近い角度)測定対象物に入射する部分では、この問題が生じ易い。点群データ再取得要求処理部106は、このような領域を検出し、当該領域に対する点群データの再取得を行う処理を行う。上述した空白の部分の検出は、ラベルの有無、稜線の有無、他の領域との間におけるデータの連続性によって判別される。この場合、非面領域除去部101、面ラベリング部102、輪郭線算出部103の少なくとも一つの処理の結果に基づいて、点群データの再取得の要求に係る処理が行われる。
点群データ再取得要求処理部106は、エッジ統合部105で得られた輪郭線と二次元エッジを統合した画像(線で構成された画像:線図の画像)の精度を判定する。この場合、点群データ再取得要求処理部106は、図示するように精度判定部106’の機能を有する。具体的には、線のぼけ、途切れ、不自然な折れ曲がり(ギザギザ表示)といった線の表現として不自然な表示を検出する。この処理では、予め選択しておいた基準となる比較対象をデータとして用意しておき、このデータと比較することで不自然な表示か否かを判定する。この場合、輪郭線算出部103および二次元エッジ算出部104の処理の結果に基づいて、点群データの再取得の要求に係る処理が行われる。
点群データ処理装置100は、点群データの再取得を要求する処理に係る構成として、点群データ再取得要求信号出力部107、操作入力部110、操作入力受け付け部111を備えている。点群データ再取得要求信号出力部107は、点群データ再取得要求処理部106における処理に基づき、点群データの再取得を要求する信号を生成し、外部に出力する。例えば、点群データ再取得要求処理部106における処理の結果を受け、指定された領域における点群データの再取得を要求する信号を、点群データ処理装置100を構成するパーソナルコンピュータに接続された三次元レーザースキャナに対して出力する。
点群データ処理装置100は、画像表示制御部108と画像表示装置109を備えている。画像表示制御部108は、表示された画像の移動や回転、表示画面の切り替え、拡大縮小表示、スクロール、その他公知のGUIに係る画像表示装置109における画面表示の制御を行う。画像表示装置109としては、例えば液晶ディスプレイ等が挙げられる。エッジ統合部105で得られた線図のデータは、画像表示制御部108に送られ、画像表示制御部108は、この線図のデータに基づく図面表示(線図の表示)を画像表示装置109上で行う。
以上説明した構成の動作の一例を説明する。図9には、点群データ処理装置100で行われる動作の一例が示されている。ここでは、点群データ処理装置100に点群データの取得を行うための三次元レーザースキャナが接続されている構成を前提とする。処理が開始されると(ステップS301)、まず粗点群データの取得が三次元レーザースキャナに対して指示され、粗点群データの取得が行われる(ステップS302)。粗点群データは、相対的に測定点の密度が小さい設定(スキャン密度が小さい設定)とされたスキャン条件で得られるデータであり、面の抽出には充分であるが、輪郭線の算出には、やや不十分である密度で点群データを得る設定である。粗点群データの点の密度(スキャン密度)は、実験的に求めた値を利用する。
以下、三次元レーザースキャナを備えた点群データ処理装置について説明する。この例において、点群データ処理装置は、測定対象物に対して測距光(レーザー光)を走査しつつ照射し、レーザー光の飛行時間に基づいて自身の位置から測定対象物上の多数の測定点までの距離を測距する。また、点群データ処理装置は、レーザー光の照射方向(水平角および高低角)を検出し、距離および照射方向に基づいて測定点の三次元座標を演算する。また、点群データ処理装置は、測定対象物を撮像した二次元画像(各測定点におけるRGB強度)を取得し、二次元画像と三次元座標とを結び付けた点群データを形成する。さらに、点群データ処理装置は、形成した点群データから輪郭線により構成された対象物の三次元輪郭線を示す線図を形成する。さらに、点群データ処理装置は、第1の実施形態で説明した点群データの再取得機能を有する。
図10および図11は、点群データ処理装置1の構成を示す断面図である。点群データ処理装置1は、整準部22、回転機構部23、本体部27、および回転照射部28を備えている。本体部27は、測距部24、撮像部25、制御部26等から構成されている。なお、図11は、説明の便宜のため、図10に示す断面方向に対して、回転照射部28のみ側方から見た状態を示している。
制御部26の構成において、グリッド形成部9から点群データが出力される形態とすると、第1の実施形態の点群データ処理装置と組み合わせて使用可能な三次元レーザースキャナとなる。また、グリッド形成部9から点群データが出力される形態とした三次元スキャナと、この三次元スキャナの出力を受け付け、実施形態1において説明した動作を行う図1の点群データ処理装置1とを組み合わせたシステムとすることで、本発明を利用した点群データ処理システムが得られる。
以下、ステレオカメラを備えた画像計測装置を備えた点群データ処理装置について説明する。第1および第2の実施形態と同様の構成については、同じ符号を用いて、その説明を省略する。
図16には、点群データ処理装置200が示されている。点群データ処理装置200は、ステレオカメラを備えた画像計測機能と、本発明を利用した点群データ処理機能を統合した構成を有している。点群データ処理装置200は、異なる方向から重複した撮影領域で測定対象物を撮影し、重複画像内の特徴点を対応づけ、予め求めた撮影部の位置および姿勢と重複画像内における特徴点の位置とに基づいて、特徴点の三次元座標を演算する。また、点群データ処理装置200は、重複画像における特徴点の視差、計測空間、および基準形態に基づいて、二次元画像と三次元座標が結び付けられている点群データを形成する。さらに、点群データ処理装置200は、得られた点群データに基づいて、面ラベリング処理および輪郭線データの算出を行う。また、点群データ処理装置200は、第1の実施形態で説明した点群データの再取得およびそれに基づく再演算を行う機能を有する。
Semiconductor Camera)等を用いる。撮影部76、77は、異なる撮影位置から重複した撮影領域で測定対象物を撮影するステレオカメラとして機能する。なお、撮像部の数は2台に限定されず、3台以上であってもよい。
Claims (10)
- 測定対象物の点群データに基づいて非面領域の点を除去する非面領域除去部と、
前記非面領域除去部によって除去された点以外の点に対して、同一面上の点に同一ラベルを付与する面ラベリング部と、
前記非面領域を間に挟み、異なるラベルが付与された第1の面および第2の面の間の部分において、前記第1の面と前記第2の面とを区別する輪郭線を算出する輪郭線算出部と、
前記非面領域除去部、前記面ラベリング部および前記輪郭線算出部の少なくとも一つの処理の結果に基づいて前記点群データの再取得を要求する処理を行う点群データ再取得要求処理部と
を備え、
前記点群データ再取得要求処理部は、前記非面領域の点群データの再取得を要求する処理を行い、
前記点群データの再取得を要求する処理は、その前の点群データの取得時に比較して、点の密度の高い点群データの再取得を要求する処理である
ことを特徴とする点群データ処理装置。 - 前記輪郭線算出部は、
前記非面領域の点群データに基づく局所領域の取得と、
前記局所領域にフィッティングし、前記第1の面から前記第2の面に向かって繋がる複数の局所面または局所線、および前記第2の面から前記第1の面に向かって繋がる複数の局所面または局所線の取得と、
前記第1の面から前記第2の面に向かって繋がる複数の局所面または局所線の先頭と前記第2の面から前記第1の面に向かって繋がる複数の局所面または局所線の先頭との間の隙間が閾値以下となった状態において前記隙間を介して隣接する一対の局所面または一対の局所線に基づいて前記輪郭線の算出を行うことを特徴とする請求項1に記載の点群データ処理装置。 - 前記同一ラベルの付与および前記輪郭線の算出の精度を判定する精度判定部を備え、
前記点群データ再取得要求処理部は、前記精度判定部の判定に基づいて前記点群データの再取得を要求する処理を行うことを特徴とする請求項1または2に記載の点群データ処理装置。 - 前記点群データの再取得を要求する領域の指定を受け付ける受け付け部を備えることを特徴とする請求項1〜3のいずれか一項に記載の点群データ処理装置。
- 前記点群データは、対象物からの反射光の強度に関する情報を含み、
前記反射光の強度に関する情報に基づいて、前記同一ラベルを付与された面内における模様を構成する二次元エッジを算出する二次元エッジ算出部を更に備え、
前記点群データ再取得要求処理部は、前記二次元エッジ算出部の算出結果に基づいて前記点群データの再取得を要求する処理を行うことを特徴とする請求項1〜4のいずれか一項に記載の点群データ処理装置。 - 測定対象物に対して測距光を回転照射する回転照射部と、
前記測距光の飛行時間に基づいて自身の位置から測定対象物上の測定点までの距離を測距する測距部と、
前記測距光の照射方向を検出する照射方向検出部と、
前記距離および前記照射方向に基づいて、前記測定点の三次元座標を算出する三次元座標算出部と、
前記三次元座標算出部が算出した結果に基づいて前記測定対象物の点群データを取得する点群データ取得部と、
測定対象物の点群データに基づいて非面領域の点を除去する非面領域除去部と、
前記非面領域除去部によって除去された点以外の点に対して、同一面上の点に同一ラベルを付与する面ラベリング部と、
前記非面領域を間に挟み、異なるラベルが付与された第1の面および第2の面の間の部分において、前記第1の面と前記第2の面とを区別する輪郭線を算出する輪郭線算出部と、
前記非面領域除去部、前記面ラベリング部および前記輪郭線算出部の少なくとも一つの処理の結果に基づいて前記点群データの再取得を要求する処理を行う点群データ再取得要求処理部と
を備え、
前記点群データ再取得要求処理部は、前記非面領域の点群データの再取得を要求する処理を行い、
前記点群データの再取得を要求する処理は、その前の点群データの取得時に比較して、点の密度の高い点群データの再取得を要求する処理である
ことを特徴とする点群データ処理装置。 - 異なる方向から重複した撮影領域で測定対象物を撮影する撮影部と、
前記撮影部によって得られた重複画像内の特徴点を対応づける特徴点対応付部と、
前記撮影部の位置および姿勢を測定する撮影位置姿勢測定部と、
前記撮影部の位置および姿勢と前記重複画像内における特徴点の位置とに基づいて特徴点の三次元座標を算出する三次元座標算出部と、
前記三次元座標算出部が算出した結果に基づいて前記測定対象物の点群データを取得する点群データ取得部と、
測定対象物の点群データに基づいて非面領域の点を除去する非面領域除去部と、
前記非面領域除去部によって除去された点以外の点に対して、同一面上の点に同一ラベルを付与する面ラベリング部と、
前記非面領域を間に挟み、異なるラベルが付与された第1の面および第2の面の間の部分において、前記第1の面と前記第2の面とを区別する輪郭線を算出する輪郭線算出部と、
前記非面領域除去部、前記面ラベリング部および前記輪郭線算出部の少なくとも一つの処理の結果に基づいて前記点群データの再取得を要求する処理を行う点群データ再取得要求処理部と
を備え、
前記点群データ再取得要求処理部は、前記非面領域の点群データの再取得を要求する処理を行い、
前記点群データの再取得を要求する処理は、その前の点群データの取得時に比較して、点の密度の高い点群データの再取得を要求する処理である
ことを特徴とする点群データ処理装置。 - 測定対象物の点群データを光学的に得る点群データ取得手段と、
測定対象物の点群データに基づいて非面領域の点を除去する非面領域除去手段と、
前記非面領域除去手段によって除去された点以外の点に対して、同一面上の点に同一ラベルを付与する面ラベリング手段と、
前記非面領域を間に挟み、異なるラベルが付与された第1の面および第2の面の間の部分において、前記第1の面と前記第2の面とを区別する輪郭線を算出する輪郭線算出手段と、
前記非面領域除去手段、前記面ラベリング手段および前記輪郭線算出手段の少なくとも一つの処理の結果に基づいて前記点群データの再取得を要求する処理を行う点群データ再取得要求処理手段と
を備え、
前記点群データ再取得要求処理手段は、前記非面領域の点群データの再取得を要求する処理を行い、
前記点群データの再取得を要求する処理は、その前の点群データの取得時に比較して、点の密度の高い点群データの再取得を要求する処理である
ことを特徴とする点群データ処理システム。 - 測定対象物の点群データに基づいて非面領域の点を除去する非面領域除去ステップと、
前記非面領域除去ステップによって除去された点以外の点に対して、同一面上の点に同一ラベルを付与する面ラベリングステップと、
前記非面領域を間に挟み、異なるラベルが付与された第1の面および第2の面の間の部分において、前記第1の面と前記第2の面とを区別する輪郭線を算出する輪郭線算出ステップと、
前記非面領域除去ステップ、前記面ラベリングステップおよび前記輪郭線算出ステップの少なくとも一つの処理の結果に基づいて前記点群データの再取得を要求する処理を行う点群データ再取得要求処理ステップと
を備え、
前記点群データ再取得要求処理ステップは、前記非面領域の点群データの再取得を要求する処理を行い、
前記点群データの再取得を要求する処理は、その前の点群データの取得時に比較して、点の密度の高い点群データの再取得を要求する処理である
ことを特徴とする点群データ処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに、
測定対象物の点群データに基づいて非面領域の点を除去する非面領域除去機能と、
前記非面領域除去機能によって除去された点以外の点に対して、同一面上の点に同一ラベルを付与する面ラベリング機能と、
前記非面領域を間に挟み、異なるラベルが付与された第1の面および第2の面の間の部分において、前記第1の面と前記第2の面とを区別する輪郭線を算出する輪郭線算出機能と、
前記非面領域除去機能、前記面ラベリング機能および前記輪郭線算出機能の少なくとも一つの処理の結果に基づいて前記点群データの再取得を要求する処理を行う点群データ再取得要求処理機能と
を実行させ、
前記点群データ再取得要求処理機能は、前記非面領域の点群データの再取得を要求する処理を行い、
前記点群データの再取得を要求する処理は、その前の点群データの取得時に比較して、点の密度の高い点群データの再取得を要求する処理である
ことを特徴とする点群データ処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010153318A JP5462093B2 (ja) | 2010-07-05 | 2010-07-05 | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム |
PCT/JP2011/064756 WO2012005140A1 (ja) | 2010-07-05 | 2011-06-28 | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム |
CN201180033217.7A CN102959355B (zh) | 2010-07-05 | 2011-06-28 | 点群数据处理装置、点群数据处理系统、点群数据处理方法及点群数据处理程序 |
US13/733,643 US20130121564A1 (en) | 2010-07-05 | 2013-01-03 | Point cloud data processing device, point cloud data processing system, point cloud data processing method, and point cloud data processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010153318A JP5462093B2 (ja) | 2010-07-05 | 2010-07-05 | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012013660A JP2012013660A (ja) | 2012-01-19 |
JP5462093B2 true JP5462093B2 (ja) | 2014-04-02 |
Family
ID=45441123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010153318A Active JP5462093B2 (ja) | 2010-07-05 | 2010-07-05 | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130121564A1 (ja) |
JP (1) | JP5462093B2 (ja) |
CN (1) | CN102959355B (ja) |
WO (1) | WO2012005140A1 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5389964B2 (ja) * | 2012-02-21 | 2014-01-15 | 株式会社パスコ | 地図情報生成装置 |
JP6192938B2 (ja) * | 2013-01-15 | 2017-09-06 | 株式会社東芝 | 三次元合成処理システムおよび三次元合成処理方法 |
US9984177B2 (en) | 2013-05-31 | 2018-05-29 | Panasonic Intellectual Property Management Co., Ltd. | Modeling device, three-dimensional model generation device, modeling method, program and layout simulator |
JP6156922B2 (ja) * | 2013-06-07 | 2017-07-05 | Necソリューションイノベータ株式会社 | 三次元データ生成装置、三次元データ生成方法、及びプログラム |
CN103295239B (zh) * | 2013-06-07 | 2016-05-11 | 北京建筑工程学院 | 一种基于平面基准影像的激光点云数据的自动配准方法 |
JP6259262B2 (ja) * | 2013-11-08 | 2018-01-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US11080286B2 (en) * | 2013-12-02 | 2021-08-03 | Autodesk, Inc. | Method and system for merging multiple point cloud scans |
WO2015146658A1 (ja) * | 2014-03-28 | 2015-10-01 | 株式会社日立産機システム | 画像データ編集装置および画像データ編集方法ならびに画像データ編集プログラム |
JP6468757B2 (ja) * | 2014-08-25 | 2019-02-13 | 株式会社ミツトヨ | 三次元モデル生成方法、三次元モデル生成システム及び三次元モデル生成プログラム |
JPWO2016035181A1 (ja) | 2014-09-03 | 2017-06-22 | 株式会社ニコン | 撮像装置、情報処理装置、及び撮像システム |
DE102014115851A1 (de) * | 2014-10-30 | 2016-05-04 | Physikalisch - Technische Bundesanstalt | Verfahren und Vorrichtung zur Berechnung, Darstellung und Weiterverarbeitung von lokalen Gütemaßen aus einem Volumenbilddatensatz |
EP3226212B1 (en) * | 2014-11-28 | 2020-07-08 | Panasonic Intellectual Property Management Co., Ltd. | Modeling device, three-dimensional model generating device, modeling method, and program |
JP2016217941A (ja) * | 2015-05-22 | 2016-12-22 | 株式会社東芝 | 3次元データ評価装置、3次元データ測定システム、および3次元計測方法 |
CN105261061B (zh) * | 2015-09-07 | 2018-10-26 | 深圳市易尚展示股份有限公司 | 一种识别冗余数据的方法及装置 |
US10268740B2 (en) * | 2015-10-14 | 2019-04-23 | Tharmalingam Satkunarajah | 3D analytics actionable solution support system and apparatus |
KR101693811B1 (ko) * | 2015-12-08 | 2017-01-06 | 한국기술교육대학교 산학협력단 | 밸브 모델링 방법 및 장치 |
EP3428877A4 (en) | 2016-03-09 | 2019-10-30 | Nikon Corporation | DETECTION DEVICE, INFORMATION PROCESSING DEVICE, METHOD, PROGRAM, AND DETECTION SYSTEM |
JP6691837B2 (ja) * | 2016-06-27 | 2020-05-13 | 株式会社キーエンス | 測定装置 |
US10325403B2 (en) * | 2016-08-24 | 2019-06-18 | Google Llc | Image based rendering techniques for virtual reality |
CN108573522B (zh) * | 2017-03-14 | 2022-02-25 | 腾讯科技(深圳)有限公司 | 一种标志数据的展示方法及终端 |
JP6392922B1 (ja) | 2017-03-21 | 2018-09-19 | ファナック株式会社 | 検査システムの検査対象外となる領域を算出する装置、および検査対象外となる領域を算出する方法 |
EP3415866B1 (en) | 2017-06-12 | 2020-06-03 | Hexagon Technology Center GmbH | Device, system, and method for displaying measurement gaps |
JP6981802B2 (ja) * | 2017-08-03 | 2021-12-17 | 東芝テック株式会社 | 寸法測定装置 |
US11348265B1 (en) * | 2017-09-15 | 2022-05-31 | Snap Inc. | Computing a point cloud from stitched images |
US10334232B2 (en) | 2017-11-13 | 2019-06-25 | Himax Technologies Limited | Depth-sensing device and depth-sensing method |
US11561283B2 (en) | 2017-11-16 | 2023-01-24 | Nec Corporation | Distance measurement apparatus, distance measurement method and program |
US11042146B2 (en) * | 2017-11-17 | 2021-06-22 | Kodak Alaris Inc. | Automated 360-degree dense point object inspection |
US10989795B2 (en) * | 2017-11-21 | 2021-04-27 | Faro Technologies, Inc. | System for surface analysis and method thereof |
TWI646504B (zh) * | 2017-11-21 | 2019-01-01 | 奇景光電股份有限公司 | 深度感測裝置及深度感測方法 |
JP2019113553A (ja) * | 2017-12-25 | 2019-07-11 | シナノケンシ株式会社 | 三次元レーザー光走査装置 |
CN110163960A (zh) * | 2018-02-08 | 2019-08-23 | 河南工业大学 | 一种快速精准非接触测绘古建筑的方法 |
JP6880512B2 (ja) | 2018-02-14 | 2021-06-02 | オムロン株式会社 | 3次元測定装置、3次元測定方法及び3次元測定プログラム |
CN109102569A (zh) * | 2018-06-13 | 2018-12-28 | 东莞时谛智能科技有限公司 | 一种重构脚部点云模型处理方法及系统 |
SG11201811410RA (en) * | 2018-06-25 | 2020-01-30 | Beijing Didi Infinity Technology & Development Co Ltd | Integrated sensor calibration in natural scenes |
CN109191584B (zh) * | 2018-08-16 | 2020-09-18 | Oppo广东移动通信有限公司 | 三维模型处理方法、装置、电子设备及可读存储介质 |
JP7112929B2 (ja) * | 2018-09-28 | 2022-08-04 | 株式会社トプコン | 点群データ表示システム |
US11200430B2 (en) * | 2018-11-05 | 2021-12-14 | Tusimple, Inc. | Systems and methods for detecting trailer angle |
JP7242431B2 (ja) * | 2019-05-31 | 2023-03-20 | 公益財団法人かずさDna研究所 | 三次元計測装置、三次元計測方法および三次元計測用プログラム |
US11158075B2 (en) * | 2019-06-03 | 2021-10-26 | Zebra Technlogies Corporation | Method, system and apparatus for depth sensor artifact removal |
US11393127B2 (en) | 2019-09-13 | 2022-07-19 | Toyota Research Institute, Inc. | 2D to 3D line-based registration with unknown associations |
JP7314447B2 (ja) * | 2019-10-25 | 2023-07-26 | 株式会社トプコン | スキャナシステム及びスキャン方法 |
CN111127312B (zh) * | 2019-12-25 | 2023-08-22 | 武汉理工大学 | 一种复杂物体点云提取圆的方法及扫描装置 |
US11074708B1 (en) * | 2020-01-06 | 2021-07-27 | Hand Held Products, Inc. | Dark parcel dimensioning |
CN111241353B (zh) * | 2020-01-16 | 2023-08-22 | 支付宝(杭州)信息技术有限公司 | 一种图数据的分区方法、装置以及设备 |
CN111325138B (zh) * | 2020-02-18 | 2023-04-07 | 中国科学院合肥物质科学研究院 | 一种基于点云局部凹凸特征的道路边界实时检测方法 |
CN111445385B (zh) * | 2020-03-28 | 2023-06-09 | 哈尔滨工程大学 | 一种基于rgb色彩模式的三维物体平面化方法 |
US11354547B2 (en) | 2020-03-31 | 2022-06-07 | Toyota Research Institute, Inc. | Systems and methods for clustering using a smart grid |
CN111612902B (zh) * | 2020-04-20 | 2023-07-11 | 杭州鼎控自动化技术有限公司 | 一种基于雷达点云数据的煤矿巷道三维模型构建方法 |
JP7447661B2 (ja) | 2020-04-23 | 2024-03-12 | Tdk株式会社 | 板状対象物の配列検出装置およびロードポート |
CN111813882B (zh) * | 2020-06-18 | 2024-05-14 | 浙江华睿科技股份有限公司 | 一种机器人地图构建方法、设备及存储介质 |
CN112199802A (zh) * | 2020-08-15 | 2021-01-08 | 中建安装集团有限公司 | 基于轨行区点云大数据的管线预制安装方法 |
US11740360B2 (en) * | 2020-11-02 | 2023-08-29 | Motional Ad Llc | Light detection and ranging (LiDaR) scan smoothing |
CN112767319B (zh) * | 2020-12-30 | 2024-06-25 | 无锡祥生医疗科技股份有限公司 | 基于点云数据分割的乳腺超声成像方法、装置及存储介质 |
EP4279957A4 (en) * | 2021-01-13 | 2024-06-19 | Panasonic Intellectual Property Management Co., Ltd. | DISTANCE MEASUREMENT SYSTEM |
CN112818776B (zh) * | 2021-01-20 | 2023-07-21 | 中铁二院工程集团有限责任公司 | 一种基于机载LiDAR点云的铁路既有线横断面测量方法 |
CN113291847A (zh) * | 2021-03-31 | 2021-08-24 | 湖南千盟工业智能系统股份有限公司 | 一种基于三维成像的散料智能堆取料方法 |
CN113516695B (zh) * | 2021-05-25 | 2023-08-08 | 中国计量大学 | 激光轮廓仪平面度测量中的点云配准策略 |
CN113344866B (zh) * | 2021-05-26 | 2024-06-14 | 长江水利委员会水文局长江上游水文水资源勘测局 | 一种点云综合精度评价方法 |
CN114609591B (zh) * | 2022-03-18 | 2022-12-20 | 湖南星晟智控科技有限公司 | 一种基于激光点云数据的数据处理方法 |
CN114627020B (zh) * | 2022-03-18 | 2023-06-20 | 易思维(杭州)科技有限公司 | 一种曲面工件反光噪点去除方法 |
CN115423835B (zh) * | 2022-11-02 | 2023-03-24 | 中汽创智科技有限公司 | 杆状物点云数据处理方法、装置、电子设备及存储介质 |
CN116167668B (zh) * | 2023-04-26 | 2023-07-14 | 山东金至尊装饰工程有限公司 | 基于bim的绿色节能建筑施工质量评价方法及系统 |
CN117525763B (zh) * | 2023-11-08 | 2024-05-14 | 金寨国轩新能源有限公司 | 一种软包电芯分层式极耳及其弯折检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08252668A (ja) * | 1995-03-15 | 1996-10-01 | Nippon Steel Corp | 鋼片の開先突合せ点検出方法 |
US5988862A (en) * | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
JP4427656B2 (ja) * | 2003-07-01 | 2010-03-10 | 学校法人東京電機大学 | 測量データの処理方法 |
JP5057734B2 (ja) * | 2006-09-25 | 2012-10-24 | 株式会社トプコン | 測量方法及び測量システム及び測量データ処理プログラム |
-
2010
- 2010-07-05 JP JP2010153318A patent/JP5462093B2/ja active Active
-
2011
- 2011-06-28 WO PCT/JP2011/064756 patent/WO2012005140A1/ja active Application Filing
- 2011-06-28 CN CN201180033217.7A patent/CN102959355B/zh not_active Expired - Fee Related
-
2013
- 2013-01-03 US US13/733,643 patent/US20130121564A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN102959355B (zh) | 2016-03-02 |
WO2012005140A1 (ja) | 2012-01-12 |
CN102959355A (zh) | 2013-03-06 |
JP2012013660A (ja) | 2012-01-19 |
US20130121564A1 (en) | 2013-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5462093B2 (ja) | 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム | |
JP5343042B2 (ja) | 点群データ処理装置および点群データ処理プログラム | |
JP6236118B2 (ja) | 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム | |
JP5465128B2 (ja) | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム | |
JP5711039B2 (ja) | 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム | |
JP5593177B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
JP5620200B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
JP5480914B2 (ja) | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム | |
US10699476B2 (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
US9117281B2 (en) | Surface segmentation from RGB and depth images | |
US9396542B2 (en) | Method of estimating imaging device parameters | |
JP5963353B2 (ja) | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム | |
JP2004117078A (ja) | 障害物検出装置及び方法 | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2006098256A (ja) | 3次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体 | |
Altuntas | Pair-wise automatic registration of three-dimensional laser scanning data from historical building by created two-dimensional images | |
Chidambaram | Edge Extraction of Color and Range Images | |
KR20180034793A (ko) | 차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5462093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |