JP6108383B2 - Piping position measuring system and piping position measuring method - Google Patents

Piping position measuring system and piping position measuring method Download PDF

Info

Publication number
JP6108383B2
JP6108383B2 JP2012195151A JP2012195151A JP6108383B2 JP 6108383 B2 JP6108383 B2 JP 6108383B2 JP 2012195151 A JP2012195151 A JP 2012195151A JP 2012195151 A JP2012195151 A JP 2012195151A JP 6108383 B2 JP6108383 B2 JP 6108383B2
Authority
JP
Japan
Prior art keywords
point cloud
dimensional
cloud data
measuring instrument
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012195151A
Other languages
Japanese (ja)
Other versions
JP2014052212A (en
Inventor
紀功仁 川末
紀功仁 川末
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Miyazaki
Original Assignee
University of Miyazaki
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Miyazaki filed Critical University of Miyazaki
Priority to JP2012195151A priority Critical patent/JP6108383B2/en
Publication of JP2014052212A publication Critical patent/JP2014052212A/en
Application granted granted Critical
Publication of JP6108383B2 publication Critical patent/JP6108383B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、配管の三次元位置を計測するのに好適な配管位置計測システムに関する。   The present invention relates to a pipe position measurement system suitable for measuring a three-dimensional position of a pipe.

従来、化学プラント等に設けられている配管の三次元位置を計測するためには、スキャンニングを利用した固定型の計測器が使用されている。しかしながら、従来の計測器では、計測に必要なその他の機器を必要としており重装備になっていた。このため、現場での作業を考えると手軽に計測できる携帯型の配管位置計測システムが望まれていた。
一方、近年市販されたキネクト(登録商標)(以下、三次元計測器という)は低価格かつ手軽に三次元計測ができるため、世界的に注目集めている。この三次元計測器を化学プラントなどに設けられている配管の三次元位置の計測に利用できれば、配管の計測器として、携帯性に優れた計測システムとなる。
Conventionally, in order to measure a three-dimensional position of a pipe provided in a chemical plant or the like, a fixed measuring instrument using scanning is used. However, the conventional measuring instrument requires other equipment necessary for measurement and is heavy equipment. For this reason, a portable piping position measurement system that can easily measure the work in the field has been desired.
On the other hand, Kinect (registered trademark) (hereinafter referred to as a three-dimensional measuring instrument) commercially available in recent years has been attracting worldwide attention because it can perform three-dimensional measurement easily at a low price. If this three-dimensional measuring instrument can be used for measuring a three-dimensional position of a pipe provided in a chemical plant or the like, it becomes a measurement system with excellent portability as a pipe measuring instrument.

従来、他の三次元計測手法としては、レーザ光をスリットを介して測定対象物に照射する光切断法が知られており、非常に高精度な計測が可能である。本願発明者らは、三次元磁気センサと組み合わせることで計測器自体の位置を検出し、測定対象物の三次元計測が可能な、ハンドスキャンタイプの計測器を開発した。
光切断法に係わる技術としては特許文献1が報告されている。特許文献1には、CCDカメラからの画像信号からレーザ輝線の座標をリアルタイムに演算するレーザ位置検出回路と、トンネルにレーザスリット光又はスポット光を照射するレーザ投光器と、このレーザ投光器により対象物の表面に照射された光を撮像する撮像装置と、所定のエリアに磁界ベクトルを形成するトランスミッタと、CCDカメラにより撮像された画像データをPCが処理し易いように変換するイメージプロセッサと、レーザ投光器に配置された磁気センサ、CCDカメラに配置された磁気センサの信号から三次元位置情報及び姿勢情報を検出するまたレーザ位置検出回路と、データに基づいて、トンネルの三次元画像を再生するパーソナルコンピュータ(PC)を備えて構成された技術が開示されている。
Conventionally, as another three-dimensional measurement method, an optical cutting method in which a measurement target is irradiated with laser light through a slit is known, and extremely high-precision measurement is possible. The inventors of the present application have developed a hand-scan type measuring instrument capable of detecting the position of the measuring instrument itself by combining it with a three-dimensional magnetic sensor and capable of three-dimensional measurement of an object to be measured.
Patent Document 1 has been reported as a technique related to the light cutting method. In Patent Document 1, a laser position detection circuit that calculates in real time the coordinates of a laser emission line from an image signal from a CCD camera, a laser projector that irradiates a laser slit light or spot light to a tunnel, and an object of the object by this laser projector. An image pickup device that picks up light irradiated on the surface, a transmitter that forms a magnetic field vector in a predetermined area, an image processor that converts image data picked up by a CCD camera so that the PC can easily process, and a laser projector A laser sensor for detecting three-dimensional position information and attitude information from signals of the magnetic sensor arranged, a magnetic sensor arranged in the CCD camera, and a personal computer for reproducing a three-dimensional image of the tunnel based on the data ( A technology configured with a PC) is disclosed.

しかしながら、この計測器では磁気を用いるため、周辺に金属が多い化学プラント等の現場環境では利用できないことが予想される。
一方、上述した三次元計測器は、リアルタイムで対象の三次元形状を検出できることから、三次元計測器を手中に保持して画角を移動させた場合に、三次元計測器から見た対象物の三次元位置を追跡することが可能である。また、対象物が動いていない場合には、対象物から見た三次元計測器の移動方向および姿勢を検出できるので磁気センサに代って用いることが可能となる。
上述した三次元計測器に係る技術としては、特許文献2が報告されている。特許文献2には、コヒーレント光を放射して点群パターンを投影するプロジェクタと、基準面の上に投影される点群パターンの参照画像を取り込むイメージセンサーと、イメージセンサー取り込んだ参照画像をメモリに保存するように構成された技術が開示されている。
また、非特許文献1には、上述した三次元計測器により被写体までの距離の求め方について開示されている。
However, since this measuring instrument uses magnetism, it cannot be used in a field environment such as a chemical plant where there are many metals in the vicinity.
On the other hand, since the 3D measuring device described above can detect the 3D shape of the target in real time, the object viewed from the 3D measuring device when the angle of view is moved while holding the 3D measuring device in the hand. It is possible to track the three-dimensional position. Further, when the object is not moving, the moving direction and posture of the three-dimensional measuring instrument viewed from the object can be detected, so that it can be used instead of the magnetic sensor.
As a technique related to the above-described three-dimensional measuring instrument, Patent Document 2 has been reported. Patent Document 2 discloses a projector that emits coherent light to project a point cloud pattern, an image sensor that captures a reference image of a point cloud pattern projected on a reference plane, and a reference image captured by the image sensor in a memory. A technique configured to preserve is disclosed.
Non-Patent Document 1 discloses how to obtain the distance to the subject using the above-described three-dimensional measuring instrument.

特開2008−14882公報JP 2008-14882 A 米国特許出願20100225746号US Patent Application No. 20120274646

トランジスタ技術2012年8月P62〜P68Transistor Technology August 2012 P62-P68

しかしながら、三次元計測器から得られる三次元点群データには、約数mmのばらつきがあり、計測精度が著しく低いので、実際に、配管を対象にした三次元位置計測に利用することができないといった問題があった。
そこで、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる携帯型の配管位置計測システムの提供が切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる携帯型の配管位置計測システムを提供することにある。
However, the three-dimensional point cloud data obtained from the three-dimensional measuring instrument has a variation of about several millimeters, and the measurement accuracy is remarkably low, so that it cannot be actually used for three-dimensional position measurement for pipes. There was a problem.
Accordingly, there is an urgent need to provide a portable piping position measurement system that eliminates the variation that has been a drawback of three-dimensional measuring instruments and enables highly accurate position and orientation detection.
The present invention has been made in view of the above, and as its purpose, a portable piping position measurement system that eliminates the variation that was a drawback of a three-dimensional measuring instrument and enables highly accurate position and orientation detection. Is to provide.

上記課題を解決するため、請求項1記載の発明は、管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、前記三次元点群データからレーザ輝線領域の抽出を行う抽出手段と、前記抽出手段により抽出された前記レーザ輝線領域の前記三次元点群データを切り出し、該切り出した前記三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器の座標系が一致した高精度実座標データを取得するマッチング手段と、前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチング手段により取得された高精度実座標データに差し換えて表示する差し換え処理手段と、を備えたことを特徴とする管体位置計測システムである。   In order to solve the above-mentioned problem, the invention according to claim 1 is characterized in that a light spot in a random infrared band is projected onto a tubular body, and reflected light reflected by the tubular body is imaged to obtain three-dimensional point cloud data. A three-dimensional measuring device to be acquired, a light projecting unit disposed on the three-dimensional measuring device and projecting slit laser light onto the tube, and a reflection disposed on the three-dimensional measuring device and reflected by the tube Imaging means for imaging light in a visible band and acquiring image data including a bright spot by the slit laser beam, display means for displaying the three-dimensional point cloud data acquired by the three-dimensional measuring instrument, and the tertiary Extraction means for extracting a laser emission line area from original point cloud data, and extracting the 3D point cloud data of the laser emission line area extracted by the extraction means, and extracting the extracted 3D point cloud data and the imaging means Obtained by High-accuracy real coordinate data in which the coordinate system of the three-dimensional measuring instrument is matched by matching processing with high-accuracy real coordinate data calculated from the image data including the bright spot by the slit laser beam using the principle of the light cutting method. A matching unit for obtaining, and a replacement processing unit for replacing the three-dimensional point cloud data of the laser emission line area displayed on the display unit with the high-accuracy real coordinate data acquired by the matching unit. This is a tubular body position measuring system.

本発明によれば、表示された三次元点群データに対してレーザ輝線の三次元点群データを切り出し、該切り出した三次元点群データと取得されたスリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器と座標系が一致した高精度三次元座標データを取得し、表示されたレーザ輝線の三次元点群データを、取得された高精度三次元座標データ差し換えて表示することで、三次元計測器に一体に組み合わせが可能で、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる。   According to the present invention, three-dimensional point cloud data of a laser emission line is cut out from the displayed three-dimensional point cloud data, and the image data includes the cut-out three-dimensional point cloud data and the acquired bright spot by slit laser light. The high-accuracy real coordinate data calculated using the principle of the light section method is matched to obtain the high-accuracy 3D coordinate data in which the 3D measuring instrument and the coordinate system match, and the 3rd order of the displayed laser emission line By displaying the original point cloud data by replacing the acquired high-accuracy 3D coordinate data, it can be combined with the 3D measuring instrument in an integrated manner, eliminating the variation that was a drawback of the 3D measuring instrument and achieving high accuracy. Position and orientation can be detected.

本発明の実施形態に係る配管位置計測システム1の構成を示す図である。It is a figure showing the composition of piping position measuring system 1 concerning the embodiment of the present invention. 図1に示すスリットレーザ光投光器10の内部構成を示す図である。It is a figure which shows the internal structure of the slit laser beam projector 10 shown in FIG. 図1に示すプロジェクタ16の構成を示す図である。It is a figure which shows the structure of the projector 16 shown in FIG. 本発明の実施形態に係る配管位置計測システム1の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the piping position measuring system 1 which concerns on embodiment of this invention. 図1に示す三次元計測器14で取得された三次元点群データを示す図である。It is a figure which shows the three-dimensional point cloud data acquired with the three-dimensional measuring device 14 shown in FIG. 図5に示す画像データからレーザ光による輝点部分を抽出したことを示す図である。It is a figure which shows having extracted the bright spot part by a laser beam from the image data shown in FIG. プロジェクタと赤外線カメラとの間隔dおよび深度Zについて説明するための図である。It is a figure for demonstrating the space | interval d and the depth Z of a projector and an infrared camera. カメラの光学系において深度Zdを求めるための説明図である。It is explanatory drawing for calculating | requiring the depth Zd in the optical system of a camera. 配管に投光されたスリットレーザ光の様子の写真を示す図である。It is a figure which shows the photograph of the state of the slit laser beam projected on piping. 光切断法で得られる画像データから光切断法の原理を利用して算出した高精度実座標データを示す図である。It is a figure which shows the highly accurate real coordinate data calculated using the principle of the light cutting method from the image data obtained by the light cutting method. (a)〜(c)マッチング処理の前後の状態を模式的に示した説明図である。(A)-(c) It is explanatory drawing which showed typically the state before and behind a matching process. (a)(b)はICPアルゴリズムの代表的な一手法について説明するための説明図である。(A) (b) is explanatory drawing for demonstrating one typical method of an ICP algorithm. (a)は高解像度カメラ12のカメラ座標系、(b)は三次元計測器14のワールド座表系を示す図である。(A) is a camera coordinate system of the high-resolution camera 12, and (b) is a diagram showing a world coordinate system of the three-dimensional measuring instrument 14. レーザシート30を測定対象の上方から照射し、物体表面上に現れる曲線を計測する場合の説明図である。It is explanatory drawing in the case of irradiating the laser sheet 30 from above the measurement object and measuring a curve appearing on the object surface. キャリブレーション時の説明図であり、レーザシート30面上にマーク(方眼紙)の刻んであるキャリブレーションシート40を設置したことを示す説明図である。It is explanatory drawing at the time of calibration, and is explanatory drawing which shows having installed the calibration sheet 40 which the mark (graph paper) carved on the laser sheet 30 surface. 横方向に配置されている2本の配管を示す図である。It is a figure which shows two piping arrange | positioned in the horizontal direction. (a)(b)は三次元計測器14により得られた三次元点群データD1,D2を示す図である。(A) (b) is a figure which shows the three-dimensional point cloud data D1, D2 obtained by the three-dimensional measuring device 14. FIG. 重複領域を用いて連結された点群データを示す図である。It is a figure which shows the point cloud data connected using the overlapping area | region. 三次元計測器の座標系(X,Y,Z)と光切断法で取得する高精度実座標系(x’,y’)の関係を示す図である。It is a figure which shows the relationship between the coordinate system (X, Y, Z) of a three-dimensional measuring device, and the highly accurate real coordinate system (x ', y') acquired by the light cutting method. 実際の計測作業において、配管の計測したい箇所にスリットレーザ光投光器10からのスリットレーザ光を投光した様子と三次元計測器の一例を示す図である。It is a figure which shows an example of a mode which projected the slit laser beam from the slit laser beam projector 10 to the location to measure on piping in an actual measurement operation | work, and a three-dimensional measuring device. ステップS50での差し換え処理によって、得られた三次元点群データの一例を示す図である。It is a figure which shows an example of the three-dimensional point cloud data obtained by the replacement process in step S50.

本実施形態によれば、三次元計測器は、測定される点群の位置には約数mmのばらつきがあるので、誤差1mm以下の精度を有するスリットレーザ光を用いる光切断法と組み合わせることで、欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になることを特徴とする。
詳しくは、三次元計測器で得られた、点群データ内のレーザ輝線の三次元点群データを、スリットレーザ光が投光されている箇所の計測結果に置き換える処理を行い、スリットレーザ光による計測結果を利用した高精度な計測を実現することができる。その際に、スリットレーザ光投光器の位置および姿勢は三次元計測器で得られた点群データより算出する。
According to this embodiment, the three-dimensional measuring instrument has a variation of about several millimeters in the position of the point cloud to be measured. Therefore, the three-dimensional measuring instrument can be combined with an optical cutting method using a slit laser beam with an accuracy of 1 mm or less. The feature is that the variation which has been a defect is eliminated, and the position and orientation can be detected with high accuracy.
Specifically, the 3D point cloud data of the laser emission line in the point cloud data obtained by the 3D measuring device is replaced with the measurement result of the spot where the slit laser beam is projected. High-precision measurement using the measurement result can be realized. At that time, the position and orientation of the slit laser beam projector are calculated from point cloud data obtained by a three-dimensional measuring instrument.

以下、本発明の実施形態に係る配管位置計測システム1について、図面を参照して説明する。
図1は、本発明の実施形態に係る配管位置計測システム1の構成を示す図である。
図1に示すスリットレーザ光投光器10は、図2に示すように、可視光帯域の半導体レーザ素子10bと、スリット10aとを有し、半導体レーザ素子10bから出射されたコヒーレント光であるレーザ光10cがスリット10aを通過する過程で回折され、スリット10aの開口方向(長手方向)と直交方向に所定の角度αの広がりを有するビーム光、すなわち、スリットレーザ光10dがスリット10aから放射される。スリットレーザ光投光器10は、パーソナルコンピュータ22から制御信号をケーブル10zを介して受信するI/Fユニットなどを備えて構成される。
なお、スリットレーザ光投光器10は、図1に示すように、三次元計測器14の筐体に一体として固定する。
Hereinafter, a piping position measurement system 1 according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration of a piping position measurement system 1 according to an embodiment of the present invention.
As shown in FIG. 2, the slit laser light projector 10 shown in FIG. 1 has a semiconductor laser element 10b in the visible light band and a slit 10a, and laser light 10c that is coherent light emitted from the semiconductor laser element 10b. Is diffracted in the process of passing through the slit 10a, and beam light having a spread of a predetermined angle α in the direction orthogonal to the opening direction (longitudinal direction) of the slit 10a, that is, slit laser light 10d is emitted from the slit 10a. The slit laser beam projector 10 includes an I / F unit that receives a control signal from the personal computer 22 via the cable 10z.
The slit laser beam projector 10 is fixed integrally to the housing of the three-dimensional measuring instrument 14 as shown in FIG.

図1に示す高解像度カメラ12は、数百万画素の解像度を有するカメラであり、被写体からの光を撮像レンズ12aで受光し、撮像レンズ12aによって結像された撮像対象の光学像をアナログ電気信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの画像センサと、アナログ電気信号をA/D変換してデジタル信号であるフレーム画像に対して各種画像処理を行うISP(Image Signal Processor)などから構成される画像処理ユニットと、フレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などをパーソナルコンピュータ22との間でケーブル12zを介して送受信するI/Fユニットなどを備えて構成される。
なお、高解像度カメラ12は、図1に示すように、三次元計測器14の筐体に一体として固定する。
A high-resolution camera 12 shown in FIG. 1 is a camera having a resolution of several million pixels, receives light from a subject with an imaging lens 12a, and converts an optical image of the imaging target imaged by the imaging lens 12a to analog electrical. An image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) that converts the signal to an signal, and an ISP (A / D converter that converts an analog electrical signal into a frame image that is a digital signal) An image processing unit including an image signal processor) and an I / F unit that transmits and receives frame images, various image processed frame images, other data, control signals, and the like to and from the personal computer 22 via the cable 12z. And so on.
The high-resolution camera 12 is fixed integrally to the housing of the three-dimensional measuring instrument 14 as shown in FIG.

図1に示す三次元計測器14は、プロジェクタ16と、RGBカラーカメラ18と、赤外線カメラ20を備えている。
プロジェクタ16は、図3に示すように、光源となる赤外帯域の光を発光する高輝度赤外線LED16bと、高輝度赤外線LED16bから発光された赤外線光を略並行なビーム光に変換するレンズ16cと、レンズ16cからのビーム光の照度むらを抑制し均質な光に調整する光拡散素子(ディフーザ)16dと、複数のマイクロレンズを配置し、複数のマイクロレンズにより複数のランダムな光点を形成するマイクロレンズアレー16eと、マイクロレンズアレー16eにより形成された点光を所定の角度βの広がりを有する複数の点光として前方に投光するレンズ16aとを備えて構成される。
The three-dimensional measuring instrument 14 shown in FIG. 1 includes a projector 16, an RGB color camera 18, and an infrared camera 20.
As shown in FIG. 3, the projector 16 includes a high-intensity infrared LED 16b that emits light in the infrared band serving as a light source, and a lens 16c that converts infrared light emitted from the high-intensity infrared LED 16b into substantially parallel beam light. A light diffusing element (diffuser) 16d that suppresses uneven illuminance of the beam light from the lens 16c and adjusts to uniform light and a plurality of microlenses are arranged, and a plurality of random light spots are formed by the plurality of microlenses. The microlens array 16e and a lens 16a that projects forward the spotlight formed by the microlens array 16e as a plurality of spotlights having a predetermined angle β spread.

RGBカラーカメラ18は、数百万画素の解像度を有する可視光帯域のRGBカラーカメラであり、被写体からの光を撮像レンズ18aで受光し、撮像レンズ18aによって結像された撮像対象の光学像をアナログ電気信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの画像センサと、アナログ電気信号をA/D変換してデジタル信号であるフレーム画像に対して各種画像処理を行うISP(Image Signal Processor)などから構成される画像処理ユニットとを備えて構成される。   The RGB color camera 18 is an RGB color camera in the visible light band having a resolution of several million pixels, and receives light from a subject with an imaging lens 18a, and an optical image of an imaging target imaged by the imaging lens 18a. Various image processing is performed on image signals such as CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor) that convert analog electrical signals, and frame images that are digital signals by A / D converting analog electrical signals. And an image processing unit including an ISP (Image Signal Processor).

赤外線カメラ20は、低解像度を有する赤外帯域のカメラであり、被写体から反射された点光である赤外光を撮像レンズ20aで受光し、撮像レンズ20aによって結像された撮像対象の光学像をアナログ電気信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの画像センサと、アナログ電気信号をA/D変換してデジタル信号であるフレーム画像に対して各種画像処理を行うISP(Image Signal Processor)などから構成される画像処理ユニットとを備えている。
なお、三次元計測器14は、プロジェクタ16と、RGBカラーカメラ18と、赤外線カメラ20に対して入出力する制御信号および画像データをパーソナルコンピュータ22との間でケーブル14zを介して送受信するI/Fユニットなどを備えて構成される。
パーソナルコンピュータ22は、OSおよびアプリケーションソフトウエアを記憶するハードディスクと、プログラムを実行するCPUと、画像データや処理データを記憶するRAMと、VRAM上に展開されている画像データを表示するモニタ上の表示画面22mと、外部とのデータの送受信を行うI/F部とを備えている。
The infrared camera 20 is a low-resolution infrared-band camera, and receives infrared light, which is spot light reflected from a subject, by the imaging lens 20a, and forms an optical image of the imaging target formed by the imaging lens 20a. Image sensors such as CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor) that convert analog signals to analog electrical signals, and analog image A / D conversion to various image processing for frame images that are digital signals And an image processing unit composed of an image signal processor (ISP) or the like.
The three-dimensional measuring instrument 14 transmits / receives control signals and image data to / from the projector 16, RGB color camera 18, and infrared camera 20 to and from the personal computer 22 via the cable 14z. An F unit is provided.
The personal computer 22 includes a hard disk that stores an OS and application software, a CPU that executes a program, a RAM that stores image data and processing data, and a display on a monitor that displays image data developed on the VRAM. A screen 22m and an I / F unit for transmitting and receiving data to and from the outside are provided.

以下に光切断法による装置のキャリブレーション方法について説明する。本キャリブレーションは一度行うと高解像度カメラとレーザ面の位置関係が変更されなければ、再度行う必要はない。
図13は、高解像度カメラ12のカメラ座標系(図13(a))と、三次元計測器14のワールド座表系(図13(b))の関係を示す図である。
ここで、本実施形態に用いる座標系を以下のように分けることとする。
(1)三次元計測器は実座標系(x,y,z)で固定されている。
(2)高解像度カメラを用いた光切断法で取得される高精度実座標系(x’,y’,0)はレーザ面と一致している。本実施形態において「高精度実座標系(あるいは座標データ)」とは、光切断法により取得される座標系(あるいは座標データ)を意味し、具体的には誤差1mm以下の高精度の位置データであり、三次元計測器(誤差は約数mm)と比較して十分に高精度である。
(3)高解像度カメラは画像上の座標として(u,v)を用いる。
上記(1)(2)は実座標であり、(2)はスリット(平面)上に存在するためにz=0で無視できる。(2)の座標系をマッチング処理によって、(1)の座標系に一致させる。
一般的に、カメラ座標(u,v)とワールド座標(実座標:三次元計測器14に固定された座標系)の関係は以下の式で表される。
A method for calibrating the apparatus by the light cutting method will be described below. Once this calibration is performed, it is not necessary to perform it again unless the positional relationship between the high-resolution camera and the laser surface is changed.
FIG. 13 is a diagram showing the relationship between the camera coordinate system of the high-resolution camera 12 (FIG. 13A) and the world coordinate system of the three-dimensional measuring instrument 14 (FIG. 13B).
Here, the coordinate system used in this embodiment is divided as follows.
(1) The three-dimensional measuring instrument is fixed in the real coordinate system (x, y, z).
(2) The high-accuracy real coordinate system (x ′, y ′, 0) obtained by the light cutting method using a high-resolution camera coincides with the laser surface. In the present embodiment, “high-accuracy real coordinate system (or coordinate data)” means a coordinate system (or coordinate data) acquired by a light cutting method, and specifically, high-accuracy position data with an error of 1 mm or less. It is sufficiently accurate compared with a three-dimensional measuring instrument (error is about several mm).
(3) The high resolution camera uses (u, v) as coordinates on the image.
The above (1) and (2) are real coordinates, and (2) exists on the slit (plane) and can be ignored when z = 0. The coordinate system of (2) is matched with the coordinate system of (1) by matching processing.
In general, the relationship between camera coordinates (u, v) and world coordinates (actual coordinates: a coordinate system fixed to the three-dimensional measuring instrument 14) is expressed by the following equation.

Figure 0006108383
図14に示すようにレーザシート30を測定対象の上方(紙面上方)から照射し、物体表面上に現れる曲線を計測する場合、レーザシート30面上に座標軸を置けばz=一定により式(1)は、
Figure 0006108383
As shown in FIG. 14, when the laser sheet 30 is irradiated from above the measurement target (above the paper surface) and a curve appearing on the object surface is measured, if the coordinate axis is placed on the surface of the laser sheet 30, z = constant. )

Figure 0006108383
と簡単化できる。これが、レーザシート30上のワールド座標(x,y)とカメラ(画像データ)座標(u,v)の関係式となる。式(2)の係数k11〜k32までを次のキャリブレーション処理によって求める。
Figure 0006108383
And can be simplified. This is a relational expression between world coordinates (x, y) on the laser sheet 30 and camera (image data) coordinates (u, v). The coefficients k11 to k32 in equation (2) are obtained by the following calibration process.

キャリブレーション処理では、式(2)の係数を求めるために、予め座標が既知であるワールド座標(x,y)とカメラ座標(u,v)の複数の組み合わせを式(2)に代入し、係数k11〜k32を算出する。
式(2)より、
In the calibration process, in order to obtain the coefficient of equation (2), a plurality of combinations of world coordinates (x, y) and camera coordinates (u, v) whose coordinates are known in advance are substituted into equation (2), The coefficients k11 to k32 are calculated.
From equation (2)

Figure 0006108383
次いで、sを消去して、
Figure 0006108383
Then erase s,

Figure 0006108383
これを変形して、
Figure 0006108383
Transform this,

Figure 0006108383
となる。
Figure 0006108383
It becomes.

図19および図15に示すように、レーザシート30面上にマーク(方眼紙)の刻んであるキャリブレーションシート40を設置する。例えば高解像度カメラ12で前方に設置されたキャリブレーションシート40を撮影する。
パーソナルコンピュータ22の表示画面22m上にはキャリブレーションシート40の画像データが表示されている。この表示画面22m上の所望の位置にマウス24の操作に応じてカーソルを移動させ、当該位置に対して、マウス24でクリック操作することでカメラ座標(ui,vi)を読み取る。また、レーザシート30面上の座標(xi,yi)も読み取る。この処理を繰り返し、所望領域を示す4点の座標を読み取り、式(5)に代入する。
なお、可能な限り広い範囲で4点を指示する方が望ましい、これらのデータより、以下の行列を作成し、k11〜k32を計算する。
As shown in FIGS. 19 and 15, a calibration sheet 40 in which marks (graph paper) are engraved is placed on the surface of the laser sheet 30. For example, the calibration sheet 40 set in front is photographed by the high resolution camera 12.
On the display screen 22m of the personal computer 22, the image data of the calibration sheet 40 is displayed. The cursor is moved to a desired position on the display screen 22m according to the operation of the mouse 24, and the camera coordinates (ui, vi) are read by clicking the mouse 24 with respect to the position. Further, coordinates (xi, yi) on the surface of the laser sheet 30 are also read. This process is repeated, and the coordinates of the four points indicating the desired area are read and substituted into equation (5).
It is desirable to indicate four points in the widest possible range. From these data, the following matrix is created and k11 to k32 are calculated.

Figure 0006108383
式(4)を変形して、
Figure 0006108383
By transforming equation (4),

Figure 0006108383
となる。式(7)を行列で表すと、
Figure 0006108383
It becomes. When Expression (7) is represented by a matrix,

Figure 0006108383
となる。よってワールド座標(x’,y’)は、
Figure 0006108383
It becomes. Therefore, the world coordinates (x ', y') are

Figure 0006108383
となる。
Figure 0006108383
It becomes.

式(9)が、カメラ座標(u,v)からワールド座標(x’,y’)への変換式であり,この手続きが光切断法の原理である。三次元計測器14の赤外線カメラ20で対象を撮影し、対象に照射されたスリットレーザ光による曲線の画像データ(ui,vi)を読み取り、式(9)にカメラ座標(ui,vi)を代入してワールド座標(xi’,yi’)を計算する。このワールド座標(xi’,yi’)が光切断法による計測結果(高精度実座標データ)となる。計測作業では、スリットレーザ光投光器10と高解像度カメラ12とが三次元計測器14に配置されている状態で、配管の計測したい箇所にスリットレーザ光投光器10からのスリットレーザ光を投光することで計測を行う。そのときの様子を図20に示す。なお、図20は実際の計測作業において、配管の計測したい箇所にスリットレーザ光投光器10からのスリットレーザ光を投光した様子と三次元計測器の一例を示す図である。   Expression (9) is a conversion expression from the camera coordinates (u, v) to the world coordinates (x ′, y ′), and this procedure is the principle of the light cutting method. The object is photographed by the infrared camera 20 of the three-dimensional measuring instrument 14, the image data (ui, vi) of the curve by the slit laser light irradiated on the object is read, and the camera coordinates (ui, vi) are substituted into the equation (9). The world coordinates (xi ′, yi ′) are calculated. The world coordinates (xi ′, yi ′) are measurement results (high-precision actual coordinate data) by the light cutting method. In the measurement work, the slit laser beam from the slit laser beam projector 10 is projected to a position to be measured on the pipe in a state where the slit laser beam projector 10 and the high resolution camera 12 are arranged in the three-dimensional measuring device 14. Measure with. The state at that time is shown in FIG. FIG. 20 is a diagram illustrating an example of a three-dimensional measuring instrument and a state in which slit laser light from the slit laser light projector 10 is projected onto a portion of a pipe to be measured in actual measurement work.

次に、図4に示すフローチャートを参照して、本発明の実施形態に係る配管位置計測システム1の動作を説明する。なお、パーソナルコンピュータ22は、電源が投入されると例えばハードディスクに記憶されているオペレーティングシステムOSがCPUによりRAM上ブートされて起動され、次いで、このOS上で複数種類のアプリケーションソフトウエアが実行可能になる。
図4に示すフローチャートで示されるプログラムをOS上でCPUが実行することで、配管位置計測システム1が動作するように構成されている。
また、後述するステップS10〜S20は、三次元計測器14を動作するための専用のアプリケーションソフトウエアのプログラムを示している。一方、後述するステップS30〜S70は、三次元計測器14を動作するための専用のアプリケーションソフトウエアとは別のアプリケーションソフトウエアのプログラムを示しており、両方のアプリケーションソフトウエアは、CPUにより並列処理されるようにOSの管理下で実行される。
Next, with reference to the flowchart shown in FIG. 4, operation | movement of the piping position measuring system 1 which concerns on embodiment of this invention is demonstrated. When the personal computer 22 is turned on, for example, the operating system OS stored in the hard disk is booted on the RAM by the CPU and started, and then a plurality of types of application software can be executed on the OS. Become.
The pipe position measurement system 1 is configured to operate by the CPU executing the program shown in the flowchart shown in FIG. 4 on the OS.
Steps S10 to S20 described later indicate a dedicated application software program for operating the three-dimensional measuring instrument 14. On the other hand, steps S30 to S70 described later show a program of application software different from dedicated application software for operating the three-dimensional measuring instrument 14, and both application software are processed in parallel by the CPU. As described above, it is executed under the management of the OS.

まず、ステップS10では、CPUは、三次元点群データの取得処理を行う。すなわち、三次元計測器14を動作するための専用のアプリケーションソフトウエアのプログラムをOS上で実行する。
詳しくは、CPUは、投光開始信号をI/F部からケーブル14zを介して三次元計測器14に設けられたプロジェクタ16に送信する。投光開始指示を受信した三次元計測器14は、プロジェクタ16に設けられた高輝度赤外線LED16bに電源を投入する。これに応じて、高輝度赤外線LED16bが発光し、高輝度赤外線LED16bからの赤外線光をレンズ16cにより略並行なビーム光に変換し、レンズ16cからのビーム光の照度むらを光拡散素子16dにより抑制し均質な光に調整する。次いで、光拡散素子16dにより抑制された均質な光がマイクロレンズアレー16eに入射され、複数のマイクロレンズにより複数のランダムな光点が形成され、複数の点光を所定の角度βの広がりを有する複数の点光としてレンズ16aから前方に投光される。
First, in step S10, the CPU performs 3D point cloud data acquisition processing. That is, a dedicated application software program for operating the three-dimensional measuring instrument 14 is executed on the OS.
Specifically, the CPU transmits a light projection start signal from the I / F unit to the projector 16 provided in the three-dimensional measuring instrument 14 via the cable 14z. The three-dimensional measuring instrument 14 that has received the light projection start instruction turns on the high-intensity infrared LED 16 b provided in the projector 16. Accordingly, the high-intensity infrared LED 16b emits light, the infrared light from the high-intensity infrared LED 16b is converted into substantially parallel beam light by the lens 16c, and the illuminance unevenness of the beam light from the lens 16c is suppressed by the light diffusion element 16d. And adjust to a homogeneous light. Next, the homogeneous light suppressed by the light diffusing element 16d is incident on the microlens array 16e, and a plurality of random light spots are formed by the plurality of microlenses. A plurality of spot lights are projected forward from the lens 16a.

次いで、CPUは、撮像開始信号をI/F部からケーブル14zを介して三次元計測器14に設けられた赤外線カメラ20に送信する。撮像開始指示を受信した三次元計測器14は、赤外線カメラ20を起動する。このとき、プロジェクタ16から投光され、被写体から反射された点光である赤外光を撮像レンズ20aで受光し、撮像レンズ20aによって結像された撮像対象の光学像を画像センサによりアナログ電気信号に変換し、アナログ電気信号を画像処理ユニットによりA/D変換してデジタル信号であるフレーム画像に対して、画像処理ユニットにより各種画像処理を行う。次いで、画像処理ユニットから出力される画像データをI/Fユニットからケーブル14zを介してパーソナルコンピュータ22に送信する。
これにより、三次元計測器14から出力される画像データをパーソナルコンピュータ22のI/F部からRAM上に取得し、RAMからVRAM上に画像データを展開することで表示画面22m上に表示することができる。三次元計測器14から取得して表示画面22m上に表示される画像データは、図5に示すような三次元点群データである。
図5は、管体から取得した三次元点群データを示す図であり、データ数は約250,000個であり、個々の三次元点群データは(x,y,z)座標と、管体表面のRGBカラーデータからなる。
Next, the CPU transmits an imaging start signal from the I / F unit to the infrared camera 20 provided in the three-dimensional measuring instrument 14 via the cable 14z. The three-dimensional measuring instrument 14 that has received the imaging start instruction activates the infrared camera 20. At this time, infrared light, which is spot light projected from the projector 16 and reflected from the subject, is received by the imaging lens 20a, and an optical image of the imaging target formed by the imaging lens 20a is converted into an analog electrical signal by the image sensor. The analog electrical signal is A / D converted by the image processing unit, and various image processes are performed on the frame image which is a digital signal by the image processing unit. Next, the image data output from the image processing unit is transmitted from the I / F unit to the personal computer 22 via the cable 14z.
Thereby, the image data output from the three-dimensional measuring instrument 14 is acquired on the RAM from the I / F unit of the personal computer 22, and displayed on the display screen 22m by expanding the image data from the RAM onto the VRAM. Can do. Image data acquired from the three-dimensional measuring instrument 14 and displayed on the display screen 22m is three-dimensional point cloud data as shown in FIG.
FIG. 5 is a diagram showing three-dimensional point cloud data acquired from a tubular body. The number of data is about 250,000, and each three-dimensional point cloud data includes (x, y, z) coordinates and a tube. Consists of RGB color data on the body surface.

次いで、ステップS20では、CPUは、レーザ輝線部の抽出処理をRAM上で行う。すなわち、三次元計測器14からRAM上に取得した三次元点群データには、後述するスリットレーザ光投光器10から投光されるスリットレーザ光の輝線として例えば赤色輝線が含まれている。そこで、例えば赤色輝線の色成分を利用して、三次元計測器14から取得したRAM上にある三次元点群データに対して、赤色輝線の色成分のみを有する三次元点群データを抽出してRAM上の他の記憶エリアに記憶する。色の他に輝度による抽出も可能である。この抽出処理の結果、図6に示すような点群データを取得できる。
図6は、図5に示す三次元点群データの内のレーザ軌跡部分(赤色)を抽出した三次元点群データであり、三次元計測器14により得られた三次元点群データには、約数mmのばらつきがあり、本来、直線や円弧になる部分のデータに乱れがあることを確認できる。
Next, in step S20, the CPU performs extraction processing of the laser bright line portion on the RAM. That is, the three-dimensional point cloud data acquired from the three-dimensional measuring instrument 14 on the RAM includes, for example, a red bright line as a bright line of slit laser light projected from the slit laser light projector 10 described later. Therefore, for example, using the color component of the red bright line, 3D point cloud data having only the color component of the red bright line is extracted from the 3D point cloud data on the RAM acquired from the three-dimensional measuring instrument 14. To be stored in another storage area on the RAM. In addition to color, extraction by luminance is also possible. As a result of this extraction processing, point cloud data as shown in FIG. 6 can be acquired.
FIG. 6 is three-dimensional point cloud data obtained by extracting a laser locus portion (red) from the three-dimensional point cloud data shown in FIG. 5, and the three-dimensional point cloud data obtained by the three-dimensional measuring instrument 14 includes There is a variation of about several millimeters, and it can be confirmed that there is a disturbance in the data of the portion that is originally a straight line or an arc.

次に、被写体までの距離の求め方について説明する。なお、被写体までの距離の求め方は、以下のよういな周知の手法(非特許文献1)が知られている。
ここで、CPUは三次元計測器14により得られたRAM上の三次元点群データに対して、所定の画像数の小領域(Nx×Ny画素)を定め、水平にずれた位置についての相互相関値を算出し、最も高い相関値を示すシフト量を求め、求めたシフト量から位置を算出する。
例えば、被写体の位置がスクリーン位置に近い程、水平シフト量は小さくなり、逆に三次元計測器14に近い程、水平シフト量は大きくなる。そこで、赤外線カメラ20から得られたRAM上の三次元点群データに基づいて、小領域(Nx×Ny画素)で構成されるブロック単位で、元のランダムドットパターンが水平方向にどの程度シフトしたかを求めれば、数学的にそのブロックの深度(Z値)を取得することができる。
Next, how to obtain the distance to the subject will be described. As a method for obtaining the distance to the subject, the following well-known method (Non-Patent Document 1) is known as follows.
Here, the CPU defines a small area (Nx × Ny pixels) of a predetermined number of images with respect to the three-dimensional point cloud data on the RAM obtained by the three-dimensional measuring instrument 14, and the mutual positions of the horizontally shifted positions are determined. A correlation value is calculated, a shift amount indicating the highest correlation value is obtained, and a position is calculated from the obtained shift amount.
For example, the closer the subject position is to the screen position, the smaller the horizontal shift amount. Conversely, the closer the subject is to the three-dimensional measuring instrument 14, the greater the horizontal shift amount. Therefore, based on the three-dimensional point cloud data on the RAM obtained from the infrared camera 20, how much the original random dot pattern is shifted in the horizontal direction in units of blocks composed of small areas (Nx × Ny pixels). Can be obtained mathematically to obtain the depth (Z value) of the block.

図7に示すように、プロジェクタ16と赤外線カメラ20とは間隔dだけ離れている。図8に示すように、カメラの光学系において、L離れた距離でLxの幅がNx画像になるように作られている場合、被写体までの距離Zd、部分パターンの本来のビット位置をx0、シフトしたビット位置をx1とすれば、幾何学的な相似関係から、以下の式が成り立つ。   As shown in FIG. 7, the projector 16 and the infrared camera 20 are separated by a distance d. As shown in FIG. 8, in the camera optical system, when the Lx width is made to be an Nx image at a distance L, the distance Zd to the subject, the original bit position of the partial pattern is x0, If the shifted bit position is x1, the following equation is established from the geometric similarity.

Figure 0006108383
Figure 0006108383

Figure 0006108383
これにより、被写体までの距離Zdを求めることができる。
Figure 0006108383
Thereby, the distance Zd to the subject can be obtained.

一方、ステップS30では、CPUは、レーザ輝線の取得処理を行う。
詳しくは、CPUは、投光開始信号をI/F部からケーブル10zを介してI/Fユニットに送信し、スリットレーザ光投光器10を起動する。
スリットレーザ光投光器10は、図2に示すように、可視光帯域の半導体レーザ素子10bを発光させ、半導体レーザ素子10bから出射されたレーザ光10cがスリット10aを通過する過程で回折され、スリット10aからスリットレーザ光10dを被写体である配管に放射する。
次いで、CPUは、撮像開始信号をI/F部からケーブル12zを介してI/Fユニットに送信し、高解像度カメラ12を起動する。
高解像度カメラ12は、被写体からの光を撮像レンズ12aで受光し、撮像レンズ12aによって結像された撮像対象の光学像を画像センサによりアナログ電気信号に変換し、アナログ電気信号を画像処理ユニットによりA/D変換してデジタル信号であるフレーム画像を出力し、フレーム画像をI/Fユニットからケーブル12zを介してパーソナルコンピュータ22に送信する。
これにより、高解像度カメラ12から出力されるフレーム画像を画像データとしてI/F部からRAM上に取得しVRAM上に展開することができる。高解像度カメラ12から取得した画像データは、図9に示すようなレーザ輝線を含む画像データであり、この画像データはパーソナルコンピュータ22の表示画面22mに表示される。なお、図9は、配管に投光されたスリットレーザ光の様子を示す図である。
On the other hand, in step S30, the CPU performs a laser emission line acquisition process.
Specifically, the CPU transmits a light projection start signal from the I / F unit to the I / F unit via the cable 10z, and activates the slit laser light projector 10.
As shown in FIG. 2, the slit laser beam projector 10 causes the semiconductor laser element 10b in the visible light band to emit light, the laser beam 10c emitted from the semiconductor laser element 10b is diffracted in the process of passing through the slit 10a, and the slit 10a Then, the slit laser beam 10d is radiated to the pipe as the subject.
Next, the CPU transmits an imaging start signal from the I / F unit to the I / F unit via the cable 12z, and activates the high-resolution camera 12.
The high-resolution camera 12 receives light from a subject with an imaging lens 12a, converts an optical image of an imaging target formed by the imaging lens 12a into an analog electrical signal by an image sensor, and converts the analog electrical signal by an image processing unit. A / D conversion is performed to output a frame image as a digital signal, and the frame image is transmitted from the I / F unit to the personal computer 22 via the cable 12z.
As a result, the frame image output from the high-resolution camera 12 can be acquired as image data from the I / F unit onto the RAM and developed on the VRAM. The image data acquired from the high resolution camera 12 is image data including a laser emission line as shown in FIG. 9, and this image data is displayed on the display screen 22 m of the personal computer 22. In addition, FIG. 9 is a figure which shows the mode of the slit laser beam projected on piping.

次いで、ステップS40では、CPUは、高解像度カメラ12からRAM上に得られた画像データに対して、三次元実座標への変換処理をRAM上で行う。前述の式(9)が、カメラ座標(u,v)からワールド座標(x’,y’)への変換式である。三次元計測器14の赤外線カメラ20で対象を撮影し、対象に照射されたスリットレーザ光による曲線の画像データ(ui,vi)を読み取り、式(9)にカメラ座標(ui,vi)を代入してワールド座標(xi’,yi’)を計算する。このワールド座標(xi’,yi’)が光切断法による計測結果(高精度実座標データ)となる。計測作業では、スリットレーザ光投光器10と高解像度カメラ12とが三次元計測器14に配置されている状態で、配管の計測したい箇所にスリットレーザ光投光器10からのスリットレーザ光を投光することで計測を行う。CPUは、撮影されたRAM上の画像データから、輝度とレーザ色を考慮してレーザ輝線の位置(ui,vi)を抽出し,高精度実座標データ(x’,y’)を算出しRAM上に記憶する。三次元計測器の座標(x,y,z)と光切断法による座標データの関係を(x,y,0)を図19に示す。
なお、ステップS10〜S20およびステップS30〜S40は、上述したようにCPUにより並列処理されることとする。
Next, in step S40, the CPU performs a conversion process on the RAM on the image data obtained on the RAM from the high resolution camera 12 on the RAM. The above equation (9) is a conversion equation from the camera coordinates (u, v) to the world coordinates (x ′, y ′). The object is photographed by the infrared camera 20 of the three-dimensional measuring instrument 14, the image data (ui, vi) of the curve by the slit laser light irradiated on the object is read, and the camera coordinates (ui, vi) are substituted into the equation (9). The world coordinates (xi ′, yi ′) are calculated. The world coordinates (xi ′, yi ′) are measurement results (high-precision actual coordinate data) by the light cutting method. In the measurement work, the slit laser beam from the slit laser beam projector 10 is projected to a position to be measured on the pipe in a state where the slit laser beam projector 10 and the high resolution camera 12 are arranged in the three-dimensional measuring device 14. Measure with. The CPU extracts the position (ui, vi) of the laser emission line from the captured image data on the RAM in consideration of the luminance and the laser color, calculates high-precision real coordinate data (x ′, y ′), and calculates the RAM. Remember above. FIG. 19 shows the relationship between the coordinates (x, y, z) of the three-dimensional measuring instrument and the coordinate data obtained by the light cutting method (x, y, 0).
Note that steps S10 to S20 and steps S30 to S40 are processed in parallel by the CPU as described above.

ここで、図10は、高解像度カメラ12で得られる画像データから光切断法の原理を利用して算出した高精度実座標データのイメージを示す図であり、座標系が傾いている。三次元計測器14の座標系(図6参照)と、高解像度カメラ12で得られる座標系(図10参照)の原点位置および傾きが必ずしも一致していないことを示している。
また、図6および図10は説明のために、二次元で示しているが三次元であっても、その方法は拡張できるものである。図10の時点で、最小自乗法に従った近似により、円弧より、円全体の位置や形状を算出することも可能である。
Here, FIG. 10 is a diagram showing an image of high-accuracy real coordinate data calculated from image data obtained by the high-resolution camera 12 using the principle of the light cutting method, and the coordinate system is inclined. It is shown that the origin position and the inclination of the coordinate system (see FIG. 6) of the three-dimensional measuring instrument 14 and the coordinate system (see FIG. 10) obtained by the high resolution camera 12 do not always match.
6 and 10 are shown in two dimensions for the sake of explanation, the method can be extended even in three dimensions. At the time of FIG. 10, the position and shape of the entire circle can be calculated from the circular arc by approximation according to the method of least squares.

ここで、ステップS40において、CPUは、マッチング処理に利用されるICP(Iterative Closet Point)アルゴリズムについて説明する。
三次元計測器14から出力されRAM上に得られた三次元点群データは、ばらつきが多く不連続である。一方、高解像度カメラ12(光切断法)により取得された画像データから光切断法の原理を利用して算出してRAM上に得られた高精度実座標データは、高精度かつ連続的である。
そこで、三次元計測器14から得られた三次元点群データのうちレーザ輝線領域のみ、光切断法により取得されたデータにRAM上で置き換えればよい。しかし、三次元計測器14により得られた三次元点群データと、光切断法により取得されたデータとでは、座標系の原点位置および傾きが必ずしも一致していないため、回転処理と平行移動処理が必要である。
そこで、ICPアルゴリズムを利用して、高解像度カメラ12(光切断法)により取得された画像データから光切断法の原理を利用して算出してRAM上に得られた高精度実座標データ(図11(a))に対して、CPUがRAM上で回転処理および平行移動処理を行い、回転処理および平行移動処理後に得られたRAM上の高精度実座標データを三次元点群データの当該レーザ輝線領域のデータ(図11(b))とマッチング処理し、マッチング結果(図11(c))を得て、RAM上で置き換え処理を行い、回転処理および平行移動処理後に得られた高精度実座標データを、管体の位置データとして扱う。これにより、数mm程度低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、高精度の位置データをRAM上に取得することができる。
Here, in step S40, the CPU describes an ICP (Iterative Closet Point) algorithm used for the matching process.
The three-dimensional point cloud data output from the three-dimensional measuring instrument 14 and obtained on the RAM has many variations and is discontinuous. On the other hand, the high-precision real coordinate data obtained on the RAM calculated from the image data obtained by the high-resolution camera 12 (light-cutting method) using the principle of the light-cutting method is highly accurate and continuous. .
Therefore, only the laser emission line region in the three-dimensional point cloud data obtained from the three-dimensional measuring instrument 14 may be replaced on the RAM with data obtained by the light cutting method. However, the three-dimensional point cloud data obtained by the three-dimensional measuring instrument 14 and the data obtained by the light cutting method do not necessarily match the origin position and the inclination of the coordinate system. is necessary.
Therefore, using the ICP algorithm, high-accuracy real coordinate data (figure shown in FIG. 5) obtained on the RAM by calculating using the principle of the light cutting method from the image data acquired by the high resolution camera 12 (light cutting method). 11 (a)), the CPU performs a rotation process and a parallel movement process on the RAM, and the high-precision real coordinate data on the RAM obtained after the rotation process and the parallel movement process is converted into the laser of the three-dimensional point group data. Matching processing with the bright line area data (FIG. 11B), obtaining the matching result (FIG. 11C), performing replacement processing on the RAM, and obtaining the high-accuracy actual data obtained after the rotation processing and translation processing. Coordinate data is treated as pipe position data. As a result, the 3D point cloud data with low accuracy of several millimeters is replaced with high-accuracy actual coordinate data (after rotation processing and translation processing) only in the laser emission line region, so high-accuracy position data is acquired on the RAM. can do.

ここで、ICPアルゴリズムの代表的な一手法について説明する。
図12において、高解像度カメラ12を用いて光切断法に従ってRAM上に得られた高精度実座標データ(図12(a))内に存在する輝点による軌跡上の点(1〜n)を抽出する。まず、CPUは1番目の点に最も近い点を三次元計測器14から得られたRAM上の三次元点群データ(図12(b))の中から探す。その時の距離をLlとする。同じ処理を2番目の点以降について行い、距離L2〜Lnを求め、これらの合計を評価値θとする。高解像度カメラ12を用いて光切断法に従って得られたRAM上の高精度実座標データの傾きおよび位置を変更しながら、上述の処理を繰り返し、評価値θが最も小さくなる位置と姿勢を検出することでマッチングを行う。
Here, one typical technique of the ICP algorithm will be described.
In FIG. 12, the points (1 to n) on the locus by the bright points existing in the high-precision real coordinate data (FIG. 12A) obtained on the RAM according to the light cutting method using the high-resolution camera 12 are shown. Extract. First, the CPU searches for the point closest to the first point from the three-dimensional point cloud data (FIG. 12B) on the RAM obtained from the three-dimensional measuring instrument 14. Let the distance at that time be Ll. The same processing is performed for the second and subsequent points, distances L2 to Ln are obtained, and the sum of these is taken as the evaluation value θ. While changing the inclination and position of the high-precision real coordinate data on the RAM obtained according to the light cutting method using the high-resolution camera 12, the above processing is repeated to detect the position and orientation at which the evaluation value θ is minimized. Match by doing that.

ステップS50では、CPUは、差し換え処理をRAM上で行う。RAM上にある三次元点群データ内のレーザ輝線箇所を、マッチング処理により取得された高精度実座標データに差し換える。差し換え処理によってRAM上に得られた結果画像データをVRAM上に展開して表示画面22m上に表示する。
これにより、誤差数ミリ程度の低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、誤差1mm以下の高精度の位置データを取得することができる。図21にステップS50での差し換え処理によって、表示画面22m上に表示された三次元点群データの例を示す。
In step S50, the CPU performs a replacement process on the RAM. The laser emission line location in the three-dimensional point cloud data on the RAM is replaced with high-precision real coordinate data acquired by the matching process. Result image data obtained on the RAM by the replacement process is developed on the VRAM and displayed on the display screen 22m.
As a result, the three-dimensional point cloud data with low accuracy of about several millimeters of error is replaced with high-accuracy actual coordinate data (after rotation processing and translation processing) only in the laser emission line region, so that a high-precision position with an error of 1 mm or less Data can be acquired. FIG. 21 shows an example of the three-dimensional point group data displayed on the display screen 22m by the replacement process in step S50.

次いで、ステップS60では、CPUは、画角の移動か否かを判断する。すなわち、CPUはRAM上にある時刻T1の三次元点群データと時刻T2の三次元点群データとを画素単位で比較し、一致した画素の割合が第1基準値以下の場合に画角が移動したこととみなす判断を行う。さらに、CPUは画角の移動があったと見なした後に、再度、同様の判断処理を行い、一致した画素の割合が第2基準値以上の場合に画角の移動が停止したこととみなす判断を行う。なお、画素単位の比較に代わって、複数の画素を有するブロックの平均値を比較してもよい。
ここで、画角の移動がまったくない場合にはステップS10およびステップ30に処理を戻す(S60でN)。一方、画角の移動があってから画角の移動が停止状態になった場合にはステップS70に進む。
Next, in step S60, the CPU determines whether or not the angle of view is moving. That is, the CPU compares the three-dimensional point cloud data at time T1 and the three-dimensional point cloud data at time T2 on the RAM in units of pixels, and the angle of view is determined when the proportion of matched pixels is equal to or less than the first reference value. Judgment is considered to have moved. Further, after determining that the angle of view has been moved, the CPU performs the same determination process again, and determines that the movement of the angle of view has been stopped when the proportion of matched pixels is equal to or greater than the second reference value. I do. In place of the pixel unit comparison, average values of blocks having a plurality of pixels may be compared.
If there is no movement of the angle of view, the process returns to step S10 and step 30 (N in S60). On the other hand, if the movement of the angle of view is stopped after the movement of the angle of view, the process proceeds to step S70.

次に、図16を参照して、配管の位置計測について説明する。
図16に示すように、横方向に配置されている2本の配管位置を計測する場合について考える。この場合の計測は2回にわけ、それぞれ点線内の領域について計測する。2回の計測(撮影)では、計測器を平行に移動する必要はないが、図16に示すように、移動量を検出するために必ず重複領域を設ける必要がある。それぞれの計測において、三次元計測器14により得られた三次元点群データD1、D2を図17に示す。図17において、斜線領域は2枚の画像(点群)間での重複領域を示す。この重複領域を自動的に探す方法は数多く提案(情報処理学会報告IPSJ SIG Technical Report Vol2009 CVIM 168.No23など)されており、その方法の説明を省略する。
Next, piping position measurement will be described with reference to FIG.
As shown in FIG. 16, consider the case of measuring the positions of two pipes arranged in the horizontal direction. In this case, the measurement is performed twice, and the measurement is performed for each area within the dotted line. In the second measurement (photographing), it is not necessary to move the measuring instrument in parallel, but as shown in FIG. FIG. 17 shows three-dimensional point group data D1 and D2 obtained by the three-dimensional measuring instrument 14 in each measurement. In FIG. 17, a hatched area indicates an overlapping area between two images (point clouds). Many methods for automatically searching for the overlapping area have been proposed (IPSJ SIG Technical Report Vol 2009 CVIM 168.No23, etc.), and description of the method is omitted.

ステップS70では、CPUは、連結処理をRAM上で行う。すなわち、RAM上の記憶エリアに記憶した時刻T1の三次元点群データD1と別の記憶エリアに記憶した時刻T2の三次元点群データD2との重複領域を探し、両者の重複領域が重なるように、三次元点群データD1と三次元点群データD2とをRAM上で合成して連結し、連結実座標データを生成する。
図18は、重複領域を用いて連結された点群データを示す図である。連結後にスリットレーザ光が照射された箇所のデータを用いることで配管の傾き、および位置、各配管の位置関係を正確に測定できる。
本実施形態では、三次元点群データD1、D2にはスリットレーザ光が投光されており、スリットレーザ光が投光されている箇所は光切断法の原理により高精度に測定される。
これにより、誤差数mm程度の低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、誤差1mm以下の高精度の位置データを取得することができる。
In step S70, the CPU performs a connection process on the RAM. That is, an overlapping area between the three-dimensional point cloud data D1 at the time T1 stored in the storage area on the RAM and the three-dimensional point cloud data D2 at the time T2 stored in another storage area is searched, and the two overlapping areas overlap. Then, the three-dimensional point group data D1 and the three-dimensional point group data D2 are combined and combined on the RAM to generate connected real coordinate data.
FIG. 18 is a diagram illustrating point cloud data connected using overlapping regions. By using the data of the portion irradiated with the slit laser light after the connection, the inclination and position of the pipe and the positional relationship between the pipes can be accurately measured.
In the present embodiment, slit laser light is projected onto the three-dimensional point group data D1 and D2, and the portion where the slit laser light is projected is measured with high accuracy by the principle of the light cutting method.
As a result, the three-dimensional point cloud data with low accuracy of about several millimeters of error is replaced with high-accuracy actual coordinate data (after rotation processing and translation processing) only in the laser emission line region, so that a high-precision position with an error of 1 mm or less. Data can be acquired.

1…配管位置計測システム、10…スリットレーザ光投光器、10a…スリット、10b…半導体レーザ素子、10c…レーザ光、10d…スリットレーザ光、12…高解像度カメラ、12a…撮像レンズ、14…三次元計測器、16…プロジェクタ、18…RGBカラーカメラ、18a…撮像レンズ、20…赤外線カメラ、22…パーソナルコンピュータ、22m…表示画面、24…マウス、30…レーザシート、40…キャリブレーションシート   DESCRIPTION OF SYMBOLS 1 ... Pipe position measurement system, 10 ... Slit laser beam projector, 10a ... Slit, 10b ... Semiconductor laser element, 10c ... Laser beam, 10d ... Slit laser beam, 12 ... High resolution camera, 12a ... Imaging lens, 14 ... Three-dimensional Measuring instrument, 16 ... projector, 18 ... RGB color camera, 18a ... imaging lens, 20 ... infrared camera, 22 ... personal computer, 22m ... display screen, 24 ... mouse, 30 ... laser sheet, 40 ... calibration sheet

Claims (6)

管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、
前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、
前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、
前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、
前記三次元点群データからレーザ輝線領域の抽出を行う抽出手段と、
前記抽出手段により抽出された前記レーザ輝線領域の前記三次元点群データを切り出し、該切り出した前記三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器の座標系が一致した高精度実座標データを取得するマッチング手段と、
前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチング手段により取得された高精度実座標データに差し換えて表示する差し換え処理手段と、を備えたことを特徴とする管体位置計測システム。
A three-dimensional measuring instrument that projects a random infrared light point on the tube, images the reflected light reflected by the tube, and acquires three-dimensional point cloud data;
A light projecting means that is disposed in the three-dimensional measuring instrument and projects a slit laser beam on the tube;
An imaging means that is arranged in the three-dimensional measuring instrument, images reflected light reflected by the tubular body in a visible band, and acquires image data including a bright spot by the slit laser light;
Display means for displaying the three-dimensional point cloud data acquired by the three-dimensional measuring instrument;
Extraction means for extracting a laser emission line region from the three-dimensional point cloud data;
The three-dimensional point cloud data of the laser bright line region extracted by the extraction means is cut out, and the cut-out three-dimensional point cloud data and image data including the bright spot by the slit laser light acquired by the imaging means are used. Matching means for obtaining high-precision real coordinate data in which the coordinate system of the three-dimensional measuring instrument is matched by matching high-precision real coordinate data calculated using the principle of the light section method;
Replacement processing means for replacing the three-dimensional point cloud data of the laser emission line area displayed on the display means with high-accuracy real coordinate data acquired by the matching means. Tube position measurement system.
前記マッチング手段は、前記撮像手段により取得された画像データから光切断法の原理を利用して算出した高精度実座標データ内に存在する複数の輝点に対して、前記三次元計測器により取得された前記三次元点群データの中の最も近い夫々の点とがなす距離を求め、高精度実座標データの傾きおよび位置を変更しながら、夫々の距離の合計を示す評価値が最も小さくなる位置と姿勢を検出するようにしてマッチング処理を行う、ことを特徴とする請求項1記載の管体位置計測システム。   The matching means is acquired by the three-dimensional measuring instrument for a plurality of bright spots existing in high-accuracy real coordinate data calculated from the image data acquired by the imaging means using the principle of the light cutting method. The evaluation value indicating the sum of the respective distances becomes the smallest while the distance between each closest point in the three-dimensional point cloud data is obtained and the inclination and position of the high-precision real coordinate data are changed. 2. The tubular body position measuring system according to claim 1, wherein matching processing is performed so as to detect a position and a posture. 前記三次元計測器により取得される前記三次元点群データに関する画角の移動があったか否かを判断する画角移動判断手段と、
前記画角移動判断手段により画角の移動があったと判断された場合に、前記三次元計測器により取得された異なる画角の前記三次元点群データに重複領域が存在するときには、当該重複領域を連結して連結実座標データを生成する連結処理手段を備えることを特徴とする請求項1記載の管体位置計測システム。
An angle-of-view movement determining means for determining whether or not there is an angle of view movement related to the three-dimensional point cloud data acquired by the three-dimensional measuring instrument;
When it is determined that the angle of view has been moved by the angle of view movement determining means , if there is an overlapping area in the 3D point cloud data of different angles of view acquired by the three-dimensional measuring device, the overlapping 2. The tubular body position measuring system according to claim 1, further comprising connection processing means for connecting the regions to generate connected real coordinate data.
管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、
前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、
前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、
前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、を備えたシステムの管体位置計測方法であって、
前記表示手段に表示された前記三次元点群データに対してレーザ輝線領域の三次元点群データを検出する検出ステップと、
前記検出ステップにより検出された三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器と座標系が一致した高精度実座標データを取得するマッチングステップと、
前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチングステップにより取得された高精度実座標データに差し換えて表示する差し換え処理ステップと、を含むことを特徴とする管体位置計測方法。
A three-dimensional measuring instrument that projects a random infrared light point on the tube, images the reflected light reflected by the tube, and acquires three-dimensional point cloud data;
A light projecting means that is disposed in the three-dimensional measuring instrument and projects a slit laser beam on the tube;
An imaging means that is arranged in the three-dimensional measuring instrument, images reflected light reflected by the tubular body in a visible band, and acquires image data including a bright spot by the slit laser light;
A display unit for displaying the three-dimensional point cloud data acquired by the three-dimensional measuring instrument, and a tubular body position measuring method of a system comprising:
A detection step of detecting three-dimensional point cloud data of a laser emission line region with respect to the three-dimensional point cloud data displayed on the display means;
High-accuracy real coordinate data calculated using the principle of the light cutting method from the three-dimensional point cloud data detected by the detection step and image data including a bright spot by the slit laser beam acquired by the imaging means. A matching step for obtaining high-accuracy real coordinate data in which the coordinate system and the coordinate system are matched by performing a matching process,
A replacement processing step for replacing the three-dimensional point cloud data of the laser emission line area displayed on the display means with the high-accuracy real coordinate data acquired by the matching step. Body position measurement method.
前記マッチングステップは、前記撮像手段により取得された画像データから光切断法の原理を利用して算出した高精度実座標データ内に存在する複数の輝点に対して、前記三次元計測器により取得された前記三次元点群データの中の最も近い夫々の点とがなす距離を求め、高精度実座標データの傾きおよび位置を変更しながら、夫々の距離の合計を示す評価値が最も小さくなる位置と姿勢を検出するようにしてマッチング処理を行う、ことを特徴とする請求項4記載の管体位置計測方法。   The matching step is acquired by the three-dimensional measuring device with respect to a plurality of bright spots existing in high-accuracy real coordinate data calculated from the image data acquired by the imaging means using the principle of a light cutting method. The evaluation value indicating the sum of the respective distances becomes the smallest while the distance between each closest point in the three-dimensional point cloud data is obtained and the inclination and position of the high-precision real coordinate data are changed. 5. The tubular body position measuring method according to claim 4, wherein the matching process is performed so as to detect the position and orientation. 前記三次元計測器により取得される前記三次元点群データに関する画角の移動があったか否かを判断する画角移動判断ステップと、
前記画角移動判断ステップにより画角の移動があったと判断された場合に、前記三次元計測器により取得された異なる画角の前記三次元点群データに重複領域が存在するときには、当該重複領域を連結して連結実座標データを生成する連結処理ステップを備えることを特徴とする請求項4記載の管体位置計測方法。
An angle-of-view movement determination step for determining whether or not there is an angle of view movement related to the three-dimensional point cloud data acquired by the three-dimensional measuring instrument;
When it is determined that the angle of view has moved in the angle of view movement determination step , if there is an overlapping area in the 3D point cloud data of different angles of view acquired by the three-dimensional measuring device, the overlapping The tubular body position measuring method according to claim 4, further comprising a connection processing step of connecting the regions to generate connected real coordinate data.
JP2012195151A 2012-09-05 2012-09-05 Piping position measuring system and piping position measuring method Expired - Fee Related JP6108383B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012195151A JP6108383B2 (en) 2012-09-05 2012-09-05 Piping position measuring system and piping position measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012195151A JP6108383B2 (en) 2012-09-05 2012-09-05 Piping position measuring system and piping position measuring method

Publications (2)

Publication Number Publication Date
JP2014052212A JP2014052212A (en) 2014-03-20
JP6108383B2 true JP6108383B2 (en) 2017-04-05

Family

ID=50610819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012195151A Expired - Fee Related JP6108383B2 (en) 2012-09-05 2012-09-05 Piping position measuring system and piping position measuring method

Country Status (1)

Country Link
JP (1) JP6108383B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200482574Y1 (en) * 2015-05-18 2017-02-10 (주)리트로핏코리아 Target structure for 3d measurement of bwts retrofit
CN111739093A (en) * 2020-06-18 2020-10-02 中国神华能源股份有限公司国华电力分公司 Method and device for monitoring displacement of steam pipeline and electronic equipment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1038531A (en) * 1996-07-19 1998-02-13 Mitsubishi Heavy Ind Ltd Method and device for automatically measuring pipe shape
JP5297779B2 (en) * 2008-12-02 2013-09-25 株式会社トプコン Shape measuring apparatus and program

Also Published As

Publication number Publication date
JP2014052212A (en) 2014-03-20

Similar Documents

Publication Publication Date Title
JP5123932B2 (en) Camera-equipped 6-degree-of-freedom target measurement device and target tracking device with a rotating mirror
JP4885584B2 (en) Rangefinder calibration method and apparatus
JP5051493B2 (en) 3D measurement marker and 3D measurement method using the same
EP2634747A1 (en) A method and system for projecting a visible representation of infrared radiation
JP2012058076A (en) Three-dimensional measurement device and three-dimensional measurement method
US20110317879A1 (en) Measurement of Positional Information for a Robot Arm
JP2009534658A (en) Camera-based 6-degree-of-freedom target measurement device and target tracking device
WO2004044522A1 (en) Three-dimensional shape measuring method and its device
JP2012215394A (en) Three-dimensional measuring apparatus and three-dimensional measuring method
JP2019113393A (en) Optical tracking system and optical tracking method
WO2014171418A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP2008241643A (en) Three-dimensional shape measuring device
JP2011106899A (en) Method of processing image
JP2007093412A (en) Three-dimensional shape measuring device
JP2007508557A (en) Device for scanning three-dimensional objects
JP2008014882A (en) Three-dimensional measuring device
JP6108383B2 (en) Piping position measuring system and piping position measuring method
JP2010048553A (en) Inspecting method of compound-eye distance measuring device and chart used for same
JP2011095131A (en) Image processing method
JP6368593B2 (en) Image processing program, information processing system, and image processing method
JP2011112379A (en) Image processing device and image processing program
JP2011033428A (en) Pantograph height measuring device
JP2019207127A (en) Laser calibration device, calibration method therefor, and image input device including laser calibration device
JP5342977B2 (en) Image processing method
JP2008009916A (en) Measuring device and measuring method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170301

R150 Certificate of patent or registration of utility model

Ref document number: 6108383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees