JP6108383B2 - Piping position measuring system and piping position measuring method - Google Patents
Piping position measuring system and piping position measuring method Download PDFInfo
- Publication number
- JP6108383B2 JP6108383B2 JP2012195151A JP2012195151A JP6108383B2 JP 6108383 B2 JP6108383 B2 JP 6108383B2 JP 2012195151 A JP2012195151 A JP 2012195151A JP 2012195151 A JP2012195151 A JP 2012195151A JP 6108383 B2 JP6108383 B2 JP 6108383B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- dimensional
- cloud data
- measuring instrument
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、配管の三次元位置を計測するのに好適な配管位置計測システムに関する。 The present invention relates to a pipe position measurement system suitable for measuring a three-dimensional position of a pipe.
従来、化学プラント等に設けられている配管の三次元位置を計測するためには、スキャンニングを利用した固定型の計測器が使用されている。しかしながら、従来の計測器では、計測に必要なその他の機器を必要としており重装備になっていた。このため、現場での作業を考えると手軽に計測できる携帯型の配管位置計測システムが望まれていた。
一方、近年市販されたキネクト(登録商標)(以下、三次元計測器という)は低価格かつ手軽に三次元計測ができるため、世界的に注目集めている。この三次元計測器を化学プラントなどに設けられている配管の三次元位置の計測に利用できれば、配管の計測器として、携帯性に優れた計測システムとなる。
Conventionally, in order to measure a three-dimensional position of a pipe provided in a chemical plant or the like, a fixed measuring instrument using scanning is used. However, the conventional measuring instrument requires other equipment necessary for measurement and is heavy equipment. For this reason, a portable piping position measurement system that can easily measure the work in the field has been desired.
On the other hand, Kinect (registered trademark) (hereinafter referred to as a three-dimensional measuring instrument) commercially available in recent years has been attracting worldwide attention because it can perform three-dimensional measurement easily at a low price. If this three-dimensional measuring instrument can be used for measuring a three-dimensional position of a pipe provided in a chemical plant or the like, it becomes a measurement system with excellent portability as a pipe measuring instrument.
従来、他の三次元計測手法としては、レーザ光をスリットを介して測定対象物に照射する光切断法が知られており、非常に高精度な計測が可能である。本願発明者らは、三次元磁気センサと組み合わせることで計測器自体の位置を検出し、測定対象物の三次元計測が可能な、ハンドスキャンタイプの計測器を開発した。
光切断法に係わる技術としては特許文献1が報告されている。特許文献1には、CCDカメラからの画像信号からレーザ輝線の座標をリアルタイムに演算するレーザ位置検出回路と、トンネルにレーザスリット光又はスポット光を照射するレーザ投光器と、このレーザ投光器により対象物の表面に照射された光を撮像する撮像装置と、所定のエリアに磁界ベクトルを形成するトランスミッタと、CCDカメラにより撮像された画像データをPCが処理し易いように変換するイメージプロセッサと、レーザ投光器に配置された磁気センサ、CCDカメラに配置された磁気センサの信号から三次元位置情報及び姿勢情報を検出するまたレーザ位置検出回路と、データに基づいて、トンネルの三次元画像を再生するパーソナルコンピュータ(PC)を備えて構成された技術が開示されている。
Conventionally, as another three-dimensional measurement method, an optical cutting method in which a measurement target is irradiated with laser light through a slit is known, and extremely high-precision measurement is possible. The inventors of the present application have developed a hand-scan type measuring instrument capable of detecting the position of the measuring instrument itself by combining it with a three-dimensional magnetic sensor and capable of three-dimensional measurement of an object to be measured.
しかしながら、この計測器では磁気を用いるため、周辺に金属が多い化学プラント等の現場環境では利用できないことが予想される。
一方、上述した三次元計測器は、リアルタイムで対象の三次元形状を検出できることから、三次元計測器を手中に保持して画角を移動させた場合に、三次元計測器から見た対象物の三次元位置を追跡することが可能である。また、対象物が動いていない場合には、対象物から見た三次元計測器の移動方向および姿勢を検出できるので磁気センサに代って用いることが可能となる。
上述した三次元計測器に係る技術としては、特許文献2が報告されている。特許文献2には、コヒーレント光を放射して点群パターンを投影するプロジェクタと、基準面の上に投影される点群パターンの参照画像を取り込むイメージセンサーと、イメージセンサー取り込んだ参照画像をメモリに保存するように構成された技術が開示されている。
また、非特許文献1には、上述した三次元計測器により被写体までの距離の求め方について開示されている。
However, since this measuring instrument uses magnetism, it cannot be used in a field environment such as a chemical plant where there are many metals in the vicinity.
On the other hand, since the 3D measuring device described above can detect the 3D shape of the target in real time, the object viewed from the 3D measuring device when the angle of view is moved while holding the 3D measuring device in the hand. It is possible to track the three-dimensional position. Further, when the object is not moving, the moving direction and posture of the three-dimensional measuring instrument viewed from the object can be detected, so that it can be used instead of the magnetic sensor.
As a technique related to the above-described three-dimensional measuring instrument,
Non-Patent
しかしながら、三次元計測器から得られる三次元点群データには、約数mmのばらつきがあり、計測精度が著しく低いので、実際に、配管を対象にした三次元位置計測に利用することができないといった問題があった。
そこで、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる携帯型の配管位置計測システムの提供が切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる携帯型の配管位置計測システムを提供することにある。
However, the three-dimensional point cloud data obtained from the three-dimensional measuring instrument has a variation of about several millimeters, and the measurement accuracy is remarkably low, so that it cannot be actually used for three-dimensional position measurement for pipes. There was a problem.
Accordingly, there is an urgent need to provide a portable piping position measurement system that eliminates the variation that has been a drawback of three-dimensional measuring instruments and enables highly accurate position and orientation detection.
The present invention has been made in view of the above, and as its purpose, a portable piping position measurement system that eliminates the variation that was a drawback of a three-dimensional measuring instrument and enables highly accurate position and orientation detection. Is to provide.
上記課題を解決するため、請求項1記載の発明は、管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、前記三次元点群データからレーザ輝線領域の抽出を行う抽出手段と、前記抽出手段により抽出された前記レーザ輝線領域の前記三次元点群データを切り出し、該切り出した前記三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器の座標系が一致した高精度実座標データを取得するマッチング手段と、前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチング手段により取得された高精度実座標データに差し換えて表示する差し換え処理手段と、を備えたことを特徴とする管体位置計測システムである。
In order to solve the above-mentioned problem, the invention according to
本発明によれば、表示された三次元点群データに対してレーザ輝線の三次元点群データを切り出し、該切り出した三次元点群データと取得されたスリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器と座標系が一致した高精度三次元座標データを取得し、表示されたレーザ輝線の三次元点群データを、取得された高精度三次元座標データ差し換えて表示することで、三次元計測器に一体に組み合わせが可能で、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる。 According to the present invention, three-dimensional point cloud data of a laser emission line is cut out from the displayed three-dimensional point cloud data, and the image data includes the cut-out three-dimensional point cloud data and the acquired bright spot by slit laser light. The high-accuracy real coordinate data calculated using the principle of the light section method is matched to obtain the high-accuracy 3D coordinate data in which the 3D measuring instrument and the coordinate system match, and the 3rd order of the displayed laser emission line By displaying the original point cloud data by replacing the acquired high-accuracy 3D coordinate data, it can be combined with the 3D measuring instrument in an integrated manner, eliminating the variation that was a drawback of the 3D measuring instrument and achieving high accuracy. Position and orientation can be detected.
本実施形態によれば、三次元計測器は、測定される点群の位置には約数mmのばらつきがあるので、誤差1mm以下の精度を有するスリットレーザ光を用いる光切断法と組み合わせることで、欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になることを特徴とする。
詳しくは、三次元計測器で得られた、点群データ内のレーザ輝線の三次元点群データを、スリットレーザ光が投光されている箇所の計測結果に置き換える処理を行い、スリットレーザ光による計測結果を利用した高精度な計測を実現することができる。その際に、スリットレーザ光投光器の位置および姿勢は三次元計測器で得られた点群データより算出する。
According to this embodiment, the three-dimensional measuring instrument has a variation of about several millimeters in the position of the point cloud to be measured. Therefore, the three-dimensional measuring instrument can be combined with an optical cutting method using a slit laser beam with an accuracy of 1 mm or less. The feature is that the variation which has been a defect is eliminated, and the position and orientation can be detected with high accuracy.
Specifically, the 3D point cloud data of the laser emission line in the point cloud data obtained by the 3D measuring device is replaced with the measurement result of the spot where the slit laser beam is projected. High-precision measurement using the measurement result can be realized. At that time, the position and orientation of the slit laser beam projector are calculated from point cloud data obtained by a three-dimensional measuring instrument.
以下、本発明の実施形態に係る配管位置計測システム1について、図面を参照して説明する。
図1は、本発明の実施形態に係る配管位置計測システム1の構成を示す図である。
図1に示すスリットレーザ光投光器10は、図2に示すように、可視光帯域の半導体レーザ素子10bと、スリット10aとを有し、半導体レーザ素子10bから出射されたコヒーレント光であるレーザ光10cがスリット10aを通過する過程で回折され、スリット10aの開口方向(長手方向)と直交方向に所定の角度αの広がりを有するビーム光、すなわち、スリットレーザ光10dがスリット10aから放射される。スリットレーザ光投光器10は、パーソナルコンピュータ22から制御信号をケーブル10zを介して受信するI/Fユニットなどを備えて構成される。
なお、スリットレーザ光投光器10は、図1に示すように、三次元計測器14の筐体に一体として固定する。
Hereinafter, a piping
FIG. 1 is a diagram illustrating a configuration of a piping
As shown in FIG. 2, the slit
The slit
図1に示す高解像度カメラ12は、数百万画素の解像度を有するカメラであり、被写体からの光を撮像レンズ12aで受光し、撮像レンズ12aによって結像された撮像対象の光学像をアナログ電気信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの画像センサと、アナログ電気信号をA/D変換してデジタル信号であるフレーム画像に対して各種画像処理を行うISP(Image Signal Processor)などから構成される画像処理ユニットと、フレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などをパーソナルコンピュータ22との間でケーブル12zを介して送受信するI/Fユニットなどを備えて構成される。
なお、高解像度カメラ12は、図1に示すように、三次元計測器14の筐体に一体として固定する。
A high-
The high-
図1に示す三次元計測器14は、プロジェクタ16と、RGBカラーカメラ18と、赤外線カメラ20を備えている。
プロジェクタ16は、図3に示すように、光源となる赤外帯域の光を発光する高輝度赤外線LED16bと、高輝度赤外線LED16bから発光された赤外線光を略並行なビーム光に変換するレンズ16cと、レンズ16cからのビーム光の照度むらを抑制し均質な光に調整する光拡散素子(ディフーザ)16dと、複数のマイクロレンズを配置し、複数のマイクロレンズにより複数のランダムな光点を形成するマイクロレンズアレー16eと、マイクロレンズアレー16eにより形成された点光を所定の角度βの広がりを有する複数の点光として前方に投光するレンズ16aとを備えて構成される。
The three-
As shown in FIG. 3, the
RGBカラーカメラ18は、数百万画素の解像度を有する可視光帯域のRGBカラーカメラであり、被写体からの光を撮像レンズ18aで受光し、撮像レンズ18aによって結像された撮像対象の光学像をアナログ電気信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの画像センサと、アナログ電気信号をA/D変換してデジタル信号であるフレーム画像に対して各種画像処理を行うISP(Image Signal Processor)などから構成される画像処理ユニットとを備えて構成される。
The RGB color camera 18 is an RGB color camera in the visible light band having a resolution of several million pixels, and receives light from a subject with an
赤外線カメラ20は、低解像度を有する赤外帯域のカメラであり、被写体から反射された点光である赤外光を撮像レンズ20aで受光し、撮像レンズ20aによって結像された撮像対象の光学像をアナログ電気信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの画像センサと、アナログ電気信号をA/D変換してデジタル信号であるフレーム画像に対して各種画像処理を行うISP(Image Signal Processor)などから構成される画像処理ユニットとを備えている。
なお、三次元計測器14は、プロジェクタ16と、RGBカラーカメラ18と、赤外線カメラ20に対して入出力する制御信号および画像データをパーソナルコンピュータ22との間でケーブル14zを介して送受信するI/Fユニットなどを備えて構成される。
パーソナルコンピュータ22は、OSおよびアプリケーションソフトウエアを記憶するハードディスクと、プログラムを実行するCPUと、画像データや処理データを記憶するRAMと、VRAM上に展開されている画像データを表示するモニタ上の表示画面22mと、外部とのデータの送受信を行うI/F部とを備えている。
The
The three-
The
以下に光切断法による装置のキャリブレーション方法について説明する。本キャリブレーションは一度行うと高解像度カメラとレーザ面の位置関係が変更されなければ、再度行う必要はない。
図13は、高解像度カメラ12のカメラ座標系(図13(a))と、三次元計測器14のワールド座表系(図13(b))の関係を示す図である。
ここで、本実施形態に用いる座標系を以下のように分けることとする。
(1)三次元計測器は実座標系(x,y,z)で固定されている。
(2)高解像度カメラを用いた光切断法で取得される高精度実座標系(x’,y’,0)はレーザ面と一致している。本実施形態において「高精度実座標系(あるいは座標データ)」とは、光切断法により取得される座標系(あるいは座標データ)を意味し、具体的には誤差1mm以下の高精度の位置データであり、三次元計測器(誤差は約数mm)と比較して十分に高精度である。
(3)高解像度カメラは画像上の座標として(u,v)を用いる。
上記(1)(2)は実座標であり、(2)はスリット(平面)上に存在するためにz=0で無視できる。(2)の座標系をマッチング処理によって、(1)の座標系に一致させる。
一般的に、カメラ座標(u,v)とワールド座標(実座標:三次元計測器14に固定された座標系)の関係は以下の式で表される。
A method for calibrating the apparatus by the light cutting method will be described below. Once this calibration is performed, it is not necessary to perform it again unless the positional relationship between the high-resolution camera and the laser surface is changed.
FIG. 13 is a diagram showing the relationship between the camera coordinate system of the high-resolution camera 12 (FIG. 13A) and the world coordinate system of the three-dimensional measuring instrument 14 (FIG. 13B).
Here, the coordinate system used in this embodiment is divided as follows.
(1) The three-dimensional measuring instrument is fixed in the real coordinate system (x, y, z).
(2) The high-accuracy real coordinate system (x ′, y ′, 0) obtained by the light cutting method using a high-resolution camera coincides with the laser surface. In the present embodiment, “high-accuracy real coordinate system (or coordinate data)” means a coordinate system (or coordinate data) acquired by a light cutting method, and specifically, high-accuracy position data with an error of 1 mm or less. It is sufficiently accurate compared with a three-dimensional measuring instrument (error is about several mm).
(3) The high resolution camera uses (u, v) as coordinates on the image.
The above (1) and (2) are real coordinates, and (2) exists on the slit (plane) and can be ignored when z = 0. The coordinate system of (2) is matched with the coordinate system of (1) by matching processing.
In general, the relationship between camera coordinates (u, v) and world coordinates (actual coordinates: a coordinate system fixed to the three-dimensional measuring instrument 14) is expressed by the following equation.
キャリブレーション処理では、式(2)の係数を求めるために、予め座標が既知であるワールド座標(x,y)とカメラ座標(u,v)の複数の組み合わせを式(2)に代入し、係数k11〜k32を算出する。
式(2)より、
In the calibration process, in order to obtain the coefficient of equation (2), a plurality of combinations of world coordinates (x, y) and camera coordinates (u, v) whose coordinates are known in advance are substituted into equation (2), The coefficients k11 to k32 are calculated.
From equation (2)
図19および図15に示すように、レーザシート30面上にマーク(方眼紙)の刻んであるキャリブレーションシート40を設置する。例えば高解像度カメラ12で前方に設置されたキャリブレーションシート40を撮影する。
パーソナルコンピュータ22の表示画面22m上にはキャリブレーションシート40の画像データが表示されている。この表示画面22m上の所望の位置にマウス24の操作に応じてカーソルを移動させ、当該位置に対して、マウス24でクリック操作することでカメラ座標(ui,vi)を読み取る。また、レーザシート30面上の座標(xi,yi)も読み取る。この処理を繰り返し、所望領域を示す4点の座標を読み取り、式(5)に代入する。
なお、可能な限り広い範囲で4点を指示する方が望ましい、これらのデータより、以下の行列を作成し、k11〜k32を計算する。
As shown in FIGS. 19 and 15, a
On the
It is desirable to indicate four points in the widest possible range. From these data, the following matrix is created and k11 to k32 are calculated.
式(9)が、カメラ座標(u,v)からワールド座標(x’,y’)への変換式であり,この手続きが光切断法の原理である。三次元計測器14の赤外線カメラ20で対象を撮影し、対象に照射されたスリットレーザ光による曲線の画像データ(ui,vi)を読み取り、式(9)にカメラ座標(ui,vi)を代入してワールド座標(xi’,yi’)を計算する。このワールド座標(xi’,yi’)が光切断法による計測結果(高精度実座標データ)となる。計測作業では、スリットレーザ光投光器10と高解像度カメラ12とが三次元計測器14に配置されている状態で、配管の計測したい箇所にスリットレーザ光投光器10からのスリットレーザ光を投光することで計測を行う。そのときの様子を図20に示す。なお、図20は実際の計測作業において、配管の計測したい箇所にスリットレーザ光投光器10からのスリットレーザ光を投光した様子と三次元計測器の一例を示す図である。
Expression (9) is a conversion expression from the camera coordinates (u, v) to the world coordinates (x ′, y ′), and this procedure is the principle of the light cutting method. The object is photographed by the
次に、図4に示すフローチャートを参照して、本発明の実施形態に係る配管位置計測システム1の動作を説明する。なお、パーソナルコンピュータ22は、電源が投入されると例えばハードディスクに記憶されているオペレーティングシステムOSがCPUによりRAM上ブートされて起動され、次いで、このOS上で複数種類のアプリケーションソフトウエアが実行可能になる。
図4に示すフローチャートで示されるプログラムをOS上でCPUが実行することで、配管位置計測システム1が動作するように構成されている。
また、後述するステップS10〜S20は、三次元計測器14を動作するための専用のアプリケーションソフトウエアのプログラムを示している。一方、後述するステップS30〜S70は、三次元計測器14を動作するための専用のアプリケーションソフトウエアとは別のアプリケーションソフトウエアのプログラムを示しており、両方のアプリケーションソフトウエアは、CPUにより並列処理されるようにOSの管理下で実行される。
Next, with reference to the flowchart shown in FIG. 4, operation | movement of the piping
The pipe
Steps S10 to S20 described later indicate a dedicated application software program for operating the three-
まず、ステップS10では、CPUは、三次元点群データの取得処理を行う。すなわち、三次元計測器14を動作するための専用のアプリケーションソフトウエアのプログラムをOS上で実行する。
詳しくは、CPUは、投光開始信号をI/F部からケーブル14zを介して三次元計測器14に設けられたプロジェクタ16に送信する。投光開始指示を受信した三次元計測器14は、プロジェクタ16に設けられた高輝度赤外線LED16bに電源を投入する。これに応じて、高輝度赤外線LED16bが発光し、高輝度赤外線LED16bからの赤外線光をレンズ16cにより略並行なビーム光に変換し、レンズ16cからのビーム光の照度むらを光拡散素子16dにより抑制し均質な光に調整する。次いで、光拡散素子16dにより抑制された均質な光がマイクロレンズアレー16eに入射され、複数のマイクロレンズにより複数のランダムな光点が形成され、複数の点光を所定の角度βの広がりを有する複数の点光としてレンズ16aから前方に投光される。
First, in step S10, the CPU performs 3D point cloud data acquisition processing. That is, a dedicated application software program for operating the three-
Specifically, the CPU transmits a light projection start signal from the I / F unit to the
次いで、CPUは、撮像開始信号をI/F部からケーブル14zを介して三次元計測器14に設けられた赤外線カメラ20に送信する。撮像開始指示を受信した三次元計測器14は、赤外線カメラ20を起動する。このとき、プロジェクタ16から投光され、被写体から反射された点光である赤外光を撮像レンズ20aで受光し、撮像レンズ20aによって結像された撮像対象の光学像を画像センサによりアナログ電気信号に変換し、アナログ電気信号を画像処理ユニットによりA/D変換してデジタル信号であるフレーム画像に対して、画像処理ユニットにより各種画像処理を行う。次いで、画像処理ユニットから出力される画像データをI/Fユニットからケーブル14zを介してパーソナルコンピュータ22に送信する。
これにより、三次元計測器14から出力される画像データをパーソナルコンピュータ22のI/F部からRAM上に取得し、RAMからVRAM上に画像データを展開することで表示画面22m上に表示することができる。三次元計測器14から取得して表示画面22m上に表示される画像データは、図5に示すような三次元点群データである。
図5は、管体から取得した三次元点群データを示す図であり、データ数は約250,000個であり、個々の三次元点群データは(x,y,z)座標と、管体表面のRGBカラーデータからなる。
Next, the CPU transmits an imaging start signal from the I / F unit to the
Thereby, the image data output from the three-
FIG. 5 is a diagram showing three-dimensional point cloud data acquired from a tubular body. The number of data is about 250,000, and each three-dimensional point cloud data includes (x, y, z) coordinates and a tube. Consists of RGB color data on the body surface.
次いで、ステップS20では、CPUは、レーザ輝線部の抽出処理をRAM上で行う。すなわち、三次元計測器14からRAM上に取得した三次元点群データには、後述するスリットレーザ光投光器10から投光されるスリットレーザ光の輝線として例えば赤色輝線が含まれている。そこで、例えば赤色輝線の色成分を利用して、三次元計測器14から取得したRAM上にある三次元点群データに対して、赤色輝線の色成分のみを有する三次元点群データを抽出してRAM上の他の記憶エリアに記憶する。色の他に輝度による抽出も可能である。この抽出処理の結果、図6に示すような点群データを取得できる。
図6は、図5に示す三次元点群データの内のレーザ軌跡部分(赤色)を抽出した三次元点群データであり、三次元計測器14により得られた三次元点群データには、約数mmのばらつきがあり、本来、直線や円弧になる部分のデータに乱れがあることを確認できる。
Next, in step S20, the CPU performs extraction processing of the laser bright line portion on the RAM. That is, the three-dimensional point cloud data acquired from the three-
FIG. 6 is three-dimensional point cloud data obtained by extracting a laser locus portion (red) from the three-dimensional point cloud data shown in FIG. 5, and the three-dimensional point cloud data obtained by the three-
次に、被写体までの距離の求め方について説明する。なお、被写体までの距離の求め方は、以下のよういな周知の手法(非特許文献1)が知られている。
ここで、CPUは三次元計測器14により得られたRAM上の三次元点群データに対して、所定の画像数の小領域(Nx×Ny画素)を定め、水平にずれた位置についての相互相関値を算出し、最も高い相関値を示すシフト量を求め、求めたシフト量から位置を算出する。
例えば、被写体の位置がスクリーン位置に近い程、水平シフト量は小さくなり、逆に三次元計測器14に近い程、水平シフト量は大きくなる。そこで、赤外線カメラ20から得られたRAM上の三次元点群データに基づいて、小領域(Nx×Ny画素)で構成されるブロック単位で、元のランダムドットパターンが水平方向にどの程度シフトしたかを求めれば、数学的にそのブロックの深度(Z値)を取得することができる。
Next, how to obtain the distance to the subject will be described. As a method for obtaining the distance to the subject, the following well-known method (Non-Patent Document 1) is known as follows.
Here, the CPU defines a small area (Nx × Ny pixels) of a predetermined number of images with respect to the three-dimensional point cloud data on the RAM obtained by the three-
For example, the closer the subject position is to the screen position, the smaller the horizontal shift amount. Conversely, the closer the subject is to the three-
図7に示すように、プロジェクタ16と赤外線カメラ20とは間隔dだけ離れている。図8に示すように、カメラの光学系において、L離れた距離でLxの幅がNx画像になるように作られている場合、被写体までの距離Zd、部分パターンの本来のビット位置をx0、シフトしたビット位置をx1とすれば、幾何学的な相似関係から、以下の式が成り立つ。
As shown in FIG. 7, the
一方、ステップS30では、CPUは、レーザ輝線の取得処理を行う。
詳しくは、CPUは、投光開始信号をI/F部からケーブル10zを介してI/Fユニットに送信し、スリットレーザ光投光器10を起動する。
スリットレーザ光投光器10は、図2に示すように、可視光帯域の半導体レーザ素子10bを発光させ、半導体レーザ素子10bから出射されたレーザ光10cがスリット10aを通過する過程で回折され、スリット10aからスリットレーザ光10dを被写体である配管に放射する。
次いで、CPUは、撮像開始信号をI/F部からケーブル12zを介してI/Fユニットに送信し、高解像度カメラ12を起動する。
高解像度カメラ12は、被写体からの光を撮像レンズ12aで受光し、撮像レンズ12aによって結像された撮像対象の光学像を画像センサによりアナログ電気信号に変換し、アナログ電気信号を画像処理ユニットによりA/D変換してデジタル信号であるフレーム画像を出力し、フレーム画像をI/Fユニットからケーブル12zを介してパーソナルコンピュータ22に送信する。
これにより、高解像度カメラ12から出力されるフレーム画像を画像データとしてI/F部からRAM上に取得しVRAM上に展開することができる。高解像度カメラ12から取得した画像データは、図9に示すようなレーザ輝線を含む画像データであり、この画像データはパーソナルコンピュータ22の表示画面22mに表示される。なお、図9は、配管に投光されたスリットレーザ光の様子を示す図である。
On the other hand, in step S30, the CPU performs a laser emission line acquisition process.
Specifically, the CPU transmits a light projection start signal from the I / F unit to the I / F unit via the
As shown in FIG. 2, the slit
Next, the CPU transmits an imaging start signal from the I / F unit to the I / F unit via the cable 12z, and activates the high-
The high-
As a result, the frame image output from the high-
次いで、ステップS40では、CPUは、高解像度カメラ12からRAM上に得られた画像データに対して、三次元実座標への変換処理をRAM上で行う。前述の式(9)が、カメラ座標(u,v)からワールド座標(x’,y’)への変換式である。三次元計測器14の赤外線カメラ20で対象を撮影し、対象に照射されたスリットレーザ光による曲線の画像データ(ui,vi)を読み取り、式(9)にカメラ座標(ui,vi)を代入してワールド座標(xi’,yi’)を計算する。このワールド座標(xi’,yi’)が光切断法による計測結果(高精度実座標データ)となる。計測作業では、スリットレーザ光投光器10と高解像度カメラ12とが三次元計測器14に配置されている状態で、配管の計測したい箇所にスリットレーザ光投光器10からのスリットレーザ光を投光することで計測を行う。CPUは、撮影されたRAM上の画像データから、輝度とレーザ色を考慮してレーザ輝線の位置(ui,vi)を抽出し,高精度実座標データ(x’,y’)を算出しRAM上に記憶する。三次元計測器の座標(x,y,z)と光切断法による座標データの関係を(x,y,0)を図19に示す。
なお、ステップS10〜S20およびステップS30〜S40は、上述したようにCPUにより並列処理されることとする。
Next, in step S40, the CPU performs a conversion process on the RAM on the image data obtained on the RAM from the
Note that steps S10 to S20 and steps S30 to S40 are processed in parallel by the CPU as described above.
ここで、図10は、高解像度カメラ12で得られる画像データから光切断法の原理を利用して算出した高精度実座標データのイメージを示す図であり、座標系が傾いている。三次元計測器14の座標系(図6参照)と、高解像度カメラ12で得られる座標系(図10参照)の原点位置および傾きが必ずしも一致していないことを示している。
また、図6および図10は説明のために、二次元で示しているが三次元であっても、その方法は拡張できるものである。図10の時点で、最小自乗法に従った近似により、円弧より、円全体の位置や形状を算出することも可能である。
Here, FIG. 10 is a diagram showing an image of high-accuracy real coordinate data calculated from image data obtained by the high-
6 and 10 are shown in two dimensions for the sake of explanation, the method can be extended even in three dimensions. At the time of FIG. 10, the position and shape of the entire circle can be calculated from the circular arc by approximation according to the method of least squares.
ここで、ステップS40において、CPUは、マッチング処理に利用されるICP(Iterative Closet Point)アルゴリズムについて説明する。
三次元計測器14から出力されRAM上に得られた三次元点群データは、ばらつきが多く不連続である。一方、高解像度カメラ12(光切断法)により取得された画像データから光切断法の原理を利用して算出してRAM上に得られた高精度実座標データは、高精度かつ連続的である。
そこで、三次元計測器14から得られた三次元点群データのうちレーザ輝線領域のみ、光切断法により取得されたデータにRAM上で置き換えればよい。しかし、三次元計測器14により得られた三次元点群データと、光切断法により取得されたデータとでは、座標系の原点位置および傾きが必ずしも一致していないため、回転処理と平行移動処理が必要である。
そこで、ICPアルゴリズムを利用して、高解像度カメラ12(光切断法)により取得された画像データから光切断法の原理を利用して算出してRAM上に得られた高精度実座標データ(図11(a))に対して、CPUがRAM上で回転処理および平行移動処理を行い、回転処理および平行移動処理後に得られたRAM上の高精度実座標データを三次元点群データの当該レーザ輝線領域のデータ(図11(b))とマッチング処理し、マッチング結果(図11(c))を得て、RAM上で置き換え処理を行い、回転処理および平行移動処理後に得られた高精度実座標データを、管体の位置データとして扱う。これにより、数mm程度低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、高精度の位置データをRAM上に取得することができる。
Here, in step S40, the CPU describes an ICP (Iterative Closet Point) algorithm used for the matching process.
The three-dimensional point cloud data output from the three-
Therefore, only the laser emission line region in the three-dimensional point cloud data obtained from the three-
Therefore, using the ICP algorithm, high-accuracy real coordinate data (figure shown in FIG. 5) obtained on the RAM by calculating using the principle of the light cutting method from the image data acquired by the high resolution camera 12 (light cutting method). 11 (a)), the CPU performs a rotation process and a parallel movement process on the RAM, and the high-precision real coordinate data on the RAM obtained after the rotation process and the parallel movement process is converted into the laser of the three-dimensional point group data. Matching processing with the bright line area data (FIG. 11B), obtaining the matching result (FIG. 11C), performing replacement processing on the RAM, and obtaining the high-accuracy actual data obtained after the rotation processing and translation processing. Coordinate data is treated as pipe position data. As a result, the 3D point cloud data with low accuracy of several millimeters is replaced with high-accuracy actual coordinate data (after rotation processing and translation processing) only in the laser emission line region, so high-accuracy position data is acquired on the RAM. can do.
ここで、ICPアルゴリズムの代表的な一手法について説明する。
図12において、高解像度カメラ12を用いて光切断法に従ってRAM上に得られた高精度実座標データ(図12(a))内に存在する輝点による軌跡上の点(1〜n)を抽出する。まず、CPUは1番目の点に最も近い点を三次元計測器14から得られたRAM上の三次元点群データ(図12(b))の中から探す。その時の距離をLlとする。同じ処理を2番目の点以降について行い、距離L2〜Lnを求め、これらの合計を評価値θとする。高解像度カメラ12を用いて光切断法に従って得られたRAM上の高精度実座標データの傾きおよび位置を変更しながら、上述の処理を繰り返し、評価値θが最も小さくなる位置と姿勢を検出することでマッチングを行う。
Here, one typical technique of the ICP algorithm will be described.
In FIG. 12, the points (1 to n) on the locus by the bright points existing in the high-precision real coordinate data (FIG. 12A) obtained on the RAM according to the light cutting method using the high-
ステップS50では、CPUは、差し換え処理をRAM上で行う。RAM上にある三次元点群データ内のレーザ輝線箇所を、マッチング処理により取得された高精度実座標データに差し換える。差し換え処理によってRAM上に得られた結果画像データをVRAM上に展開して表示画面22m上に表示する。
これにより、誤差数ミリ程度の低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、誤差1mm以下の高精度の位置データを取得することができる。図21にステップS50での差し換え処理によって、表示画面22m上に表示された三次元点群データの例を示す。
In step S50, the CPU performs a replacement process on the RAM. The laser emission line location in the three-dimensional point cloud data on the RAM is replaced with high-precision real coordinate data acquired by the matching process. Result image data obtained on the RAM by the replacement process is developed on the VRAM and displayed on the
As a result, the three-dimensional point cloud data with low accuracy of about several millimeters of error is replaced with high-accuracy actual coordinate data (after rotation processing and translation processing) only in the laser emission line region, so that a high-precision position with an error of 1 mm or less Data can be acquired. FIG. 21 shows an example of the three-dimensional point group data displayed on the
次いで、ステップS60では、CPUは、画角の移動か否かを判断する。すなわち、CPUはRAM上にある時刻T1の三次元点群データと時刻T2の三次元点群データとを画素単位で比較し、一致した画素の割合が第1基準値以下の場合に画角が移動したこととみなす判断を行う。さらに、CPUは画角の移動があったと見なした後に、再度、同様の判断処理を行い、一致した画素の割合が第2基準値以上の場合に画角の移動が停止したこととみなす判断を行う。なお、画素単位の比較に代わって、複数の画素を有するブロックの平均値を比較してもよい。
ここで、画角の移動がまったくない場合にはステップS10およびステップ30に処理を戻す(S60でN)。一方、画角の移動があってから画角の移動が停止状態になった場合にはステップS70に進む。
Next, in step S60, the CPU determines whether or not the angle of view is moving. That is, the CPU compares the three-dimensional point cloud data at time T1 and the three-dimensional point cloud data at time T2 on the RAM in units of pixels, and the angle of view is determined when the proportion of matched pixels is equal to or less than the first reference value. Judgment is considered to have moved. Further, after determining that the angle of view has been moved, the CPU performs the same determination process again, and determines that the movement of the angle of view has been stopped when the proportion of matched pixels is equal to or greater than the second reference value. I do. In place of the pixel unit comparison, average values of blocks having a plurality of pixels may be compared.
If there is no movement of the angle of view, the process returns to step S10 and step 30 (N in S60). On the other hand, if the movement of the angle of view is stopped after the movement of the angle of view, the process proceeds to step S70.
次に、図16を参照して、配管の位置計測について説明する。
図16に示すように、横方向に配置されている2本の配管位置を計測する場合について考える。この場合の計測は2回にわけ、それぞれ点線内の領域について計測する。2回の計測(撮影)では、計測器を平行に移動する必要はないが、図16に示すように、移動量を検出するために必ず重複領域を設ける必要がある。それぞれの計測において、三次元計測器14により得られた三次元点群データD1、D2を図17に示す。図17において、斜線領域は2枚の画像(点群)間での重複領域を示す。この重複領域を自動的に探す方法は数多く提案(情報処理学会報告IPSJ SIG Technical Report Vol2009 CVIM 168.No23など)されており、その方法の説明を省略する。
Next, piping position measurement will be described with reference to FIG.
As shown in FIG. 16, consider the case of measuring the positions of two pipes arranged in the horizontal direction. In this case, the measurement is performed twice, and the measurement is performed for each area within the dotted line. In the second measurement (photographing), it is not necessary to move the measuring instrument in parallel, but as shown in FIG. FIG. 17 shows three-dimensional point group data D1 and D2 obtained by the three-
ステップS70では、CPUは、連結処理をRAM上で行う。すなわち、RAM上の記憶エリアに記憶した時刻T1の三次元点群データD1と別の記憶エリアに記憶した時刻T2の三次元点群データD2との重複領域を探し、両者の重複領域が重なるように、三次元点群データD1と三次元点群データD2とをRAM上で合成して連結し、連結実座標データを生成する。
図18は、重複領域を用いて連結された点群データを示す図である。連結後にスリットレーザ光が照射された箇所のデータを用いることで配管の傾き、および位置、各配管の位置関係を正確に測定できる。
本実施形態では、三次元点群データD1、D2にはスリットレーザ光が投光されており、スリットレーザ光が投光されている箇所は光切断法の原理により高精度に測定される。
これにより、誤差数mm程度の低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、誤差1mm以下の高精度の位置データを取得することができる。
In step S70, the CPU performs a connection process on the RAM. That is, an overlapping area between the three-dimensional point cloud data D1 at the time T1 stored in the storage area on the RAM and the three-dimensional point cloud data D2 at the time T2 stored in another storage area is searched, and the two overlapping areas overlap. Then, the three-dimensional point group data D1 and the three-dimensional point group data D2 are combined and combined on the RAM to generate connected real coordinate data.
FIG. 18 is a diagram illustrating point cloud data connected using overlapping regions. By using the data of the portion irradiated with the slit laser light after the connection, the inclination and position of the pipe and the positional relationship between the pipes can be accurately measured.
In the present embodiment, slit laser light is projected onto the three-dimensional point group data D1 and D2, and the portion where the slit laser light is projected is measured with high accuracy by the principle of the light cutting method.
As a result, the three-dimensional point cloud data with low accuracy of about several millimeters of error is replaced with high-accuracy actual coordinate data (after rotation processing and translation processing) only in the laser emission line region, so that a high-precision position with an error of 1 mm or less. Data can be acquired.
1…配管位置計測システム、10…スリットレーザ光投光器、10a…スリット、10b…半導体レーザ素子、10c…レーザ光、10d…スリットレーザ光、12…高解像度カメラ、12a…撮像レンズ、14…三次元計測器、16…プロジェクタ、18…RGBカラーカメラ、18a…撮像レンズ、20…赤外線カメラ、22…パーソナルコンピュータ、22m…表示画面、24…マウス、30…レーザシート、40…キャリブレーションシート
DESCRIPTION OF
Claims (6)
前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、
前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、
前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、
前記三次元点群データからレーザ輝線領域の抽出を行う抽出手段と、
前記抽出手段により抽出された前記レーザ輝線領域の前記三次元点群データを切り出し、該切り出した前記三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器の座標系が一致した高精度実座標データを取得するマッチング手段と、
前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチング手段により取得された高精度実座標データに差し換えて表示する差し換え処理手段と、を備えたことを特徴とする管体位置計測システム。 A three-dimensional measuring instrument that projects a random infrared light point on the tube, images the reflected light reflected by the tube, and acquires three-dimensional point cloud data;
A light projecting means that is disposed in the three-dimensional measuring instrument and projects a slit laser beam on the tube;
An imaging means that is arranged in the three-dimensional measuring instrument, images reflected light reflected by the tubular body in a visible band, and acquires image data including a bright spot by the slit laser light;
Display means for displaying the three-dimensional point cloud data acquired by the three-dimensional measuring instrument;
Extraction means for extracting a laser emission line region from the three-dimensional point cloud data;
The three-dimensional point cloud data of the laser bright line region extracted by the extraction means is cut out, and the cut-out three-dimensional point cloud data and image data including the bright spot by the slit laser light acquired by the imaging means are used. Matching means for obtaining high-precision real coordinate data in which the coordinate system of the three-dimensional measuring instrument is matched by matching high-precision real coordinate data calculated using the principle of the light section method;
Replacement processing means for replacing the three-dimensional point cloud data of the laser emission line area displayed on the display means with high-accuracy real coordinate data acquired by the matching means. Tube position measurement system.
前記画角移動判断手段により画角の移動があったと判断された場合に、前記三次元計測器により取得された異なる画角の前記三次元点群データに重複領域が存在するときには、当該重複領域を連結して連結実座標データを生成する連結処理手段を備えることを特徴とする請求項1記載の管体位置計測システム。 An angle-of-view movement determining means for determining whether or not there is an angle of view movement related to the three-dimensional point cloud data acquired by the three-dimensional measuring instrument;
When it is determined that the angle of view has been moved by the angle of view movement determining means , if there is an overlapping area in the 3D point cloud data of different angles of view acquired by the three-dimensional measuring device, the overlapping 2. The tubular body position measuring system according to claim 1, further comprising connection processing means for connecting the regions to generate connected real coordinate data.
前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、
前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、
前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、を備えたシステムの管体位置計測方法であって、
前記表示手段に表示された前記三次元点群データに対してレーザ輝線領域の三次元点群データを検出する検出ステップと、
前記検出ステップにより検出された三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器と座標系が一致した高精度実座標データを取得するマッチングステップと、
前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチングステップにより取得された高精度実座標データに差し換えて表示する差し換え処理ステップと、を含むことを特徴とする管体位置計測方法。 A three-dimensional measuring instrument that projects a random infrared light point on the tube, images the reflected light reflected by the tube, and acquires three-dimensional point cloud data;
A light projecting means that is disposed in the three-dimensional measuring instrument and projects a slit laser beam on the tube;
An imaging means that is arranged in the three-dimensional measuring instrument, images reflected light reflected by the tubular body in a visible band, and acquires image data including a bright spot by the slit laser light;
A display unit for displaying the three-dimensional point cloud data acquired by the three-dimensional measuring instrument, and a tubular body position measuring method of a system comprising:
A detection step of detecting three-dimensional point cloud data of a laser emission line region with respect to the three-dimensional point cloud data displayed on the display means;
High-accuracy real coordinate data calculated using the principle of the light cutting method from the three-dimensional point cloud data detected by the detection step and image data including a bright spot by the slit laser beam acquired by the imaging means. A matching step for obtaining high-accuracy real coordinate data in which the coordinate system and the coordinate system are matched by performing a matching process,
A replacement processing step for replacing the three-dimensional point cloud data of the laser emission line area displayed on the display means with the high-accuracy real coordinate data acquired by the matching step. Body position measurement method.
前記画角移動判断ステップにより画角の移動があったと判断された場合に、前記三次元計測器により取得された異なる画角の前記三次元点群データに重複領域が存在するときには、当該重複領域を連結して連結実座標データを生成する連結処理ステップを備えることを特徴とする請求項4記載の管体位置計測方法。 An angle-of-view movement determination step for determining whether or not there is an angle of view movement related to the three-dimensional point cloud data acquired by the three-dimensional measuring instrument;
When it is determined that the angle of view has moved in the angle of view movement determination step , if there is an overlapping area in the 3D point cloud data of different angles of view acquired by the three-dimensional measuring device, the overlapping The tubular body position measuring method according to claim 4, further comprising a connection processing step of connecting the regions to generate connected real coordinate data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012195151A JP6108383B2 (en) | 2012-09-05 | 2012-09-05 | Piping position measuring system and piping position measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012195151A JP6108383B2 (en) | 2012-09-05 | 2012-09-05 | Piping position measuring system and piping position measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014052212A JP2014052212A (en) | 2014-03-20 |
JP6108383B2 true JP6108383B2 (en) | 2017-04-05 |
Family
ID=50610819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012195151A Expired - Fee Related JP6108383B2 (en) | 2012-09-05 | 2012-09-05 | Piping position measuring system and piping position measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6108383B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200482574Y1 (en) * | 2015-05-18 | 2017-02-10 | (주)리트로핏코리아 | Target structure for 3d measurement of bwts retrofit |
CN111739093A (en) * | 2020-06-18 | 2020-10-02 | 中国神华能源股份有限公司国华电力分公司 | Method and device for monitoring displacement of steam pipeline and electronic equipment |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1038531A (en) * | 1996-07-19 | 1998-02-13 | Mitsubishi Heavy Ind Ltd | Method and device for automatically measuring pipe shape |
JP5297779B2 (en) * | 2008-12-02 | 2013-09-25 | 株式会社トプコン | Shape measuring apparatus and program |
-
2012
- 2012-09-05 JP JP2012195151A patent/JP6108383B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014052212A (en) | 2014-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5123932B2 (en) | Camera-equipped 6-degree-of-freedom target measurement device and target tracking device with a rotating mirror | |
JP4885584B2 (en) | Rangefinder calibration method and apparatus | |
JP5051493B2 (en) | 3D measurement marker and 3D measurement method using the same | |
EP2634747A1 (en) | A method and system for projecting a visible representation of infrared radiation | |
JP2012058076A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
US20110317879A1 (en) | Measurement of Positional Information for a Robot Arm | |
JP2009534658A (en) | Camera-based 6-degree-of-freedom target measurement device and target tracking device | |
WO2004044522A1 (en) | Three-dimensional shape measuring method and its device | |
JP2012215394A (en) | Three-dimensional measuring apparatus and three-dimensional measuring method | |
JP2019113393A (en) | Optical tracking system and optical tracking method | |
WO2014171418A1 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
JP2008241643A (en) | Three-dimensional shape measuring device | |
JP2011106899A (en) | Method of processing image | |
JP2007093412A (en) | Three-dimensional shape measuring device | |
JP2007508557A (en) | Device for scanning three-dimensional objects | |
JP2008014882A (en) | Three-dimensional measuring device | |
JP6108383B2 (en) | Piping position measuring system and piping position measuring method | |
JP2010048553A (en) | Inspecting method of compound-eye distance measuring device and chart used for same | |
JP2011095131A (en) | Image processing method | |
JP6368593B2 (en) | Image processing program, information processing system, and image processing method | |
JP2011112379A (en) | Image processing device and image processing program | |
JP2011033428A (en) | Pantograph height measuring device | |
JP2019207127A (en) | Laser calibration device, calibration method therefor, and image input device including laser calibration device | |
JP5342977B2 (en) | Image processing method | |
JP2008009916A (en) | Measuring device and measuring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150902 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150902 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6108383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |