JP6485616B2 - Appearance measurement system, image processing method, and program - Google Patents

Appearance measurement system, image processing method, and program Download PDF

Info

Publication number
JP6485616B2
JP6485616B2 JP2014115774A JP2014115774A JP6485616B2 JP 6485616 B2 JP6485616 B2 JP 6485616B2 JP 2014115774 A JP2014115774 A JP 2014115774A JP 2014115774 A JP2014115774 A JP 2014115774A JP 6485616 B2 JP6485616 B2 JP 6485616B2
Authority
JP
Japan
Prior art keywords
light
medium
boundary surface
image
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014115774A
Other languages
Japanese (ja)
Other versions
JP2015230209A (en
Inventor
塘中　哲也
哲也 塘中
哲徳 井上
哲徳 井上
宅原　雅人
雅人 宅原
明生 近藤
明生 近藤
成寿 亀尾
成寿 亀尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2014115774A priority Critical patent/JP6485616B2/en
Publication of JP2015230209A publication Critical patent/JP2015230209A/en
Application granted granted Critical
Publication of JP6485616B2 publication Critical patent/JP6485616B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、外観計測システム、画像処理方法及びプログラムに関する。 The present invention, appearance measurement system, an image processing method, and a program.

原子力炉の設備内の調査を行う場合、カメラで撮影した２次元情報だけではなく３次元情報を取得したいというニーズがある。３次元情報を得る手段として、例えば光切断法（スリット光投影法）が存在する。光切断法とは、シート状の光を用いて対象物を走査し、シート光の反射位置を三角測量の原理で算出することによって、対象物の形状を測定する三次元計測手法である。
なお、特許文献１には、原子炉などの構造物内の形状を高精度かつ効率的に計測する形状計測装置が記載されている。 When investigating the inside of a nuclear reactor facility, there is a need to acquire not only two-dimensional information photographed by a camera but also three-dimensional information. As means for obtaining three-dimensional information, for example, there is a light cutting method (slit light projection method). The light cutting method is a three-dimensional measurement method for measuring the shape of an object by scanning the object using sheet-like light and calculating the reflection position of the sheet light by the principle of triangulation.
Patent Document 1 describes a shape measuring device that measures the shape in a structure such as a nuclear reactor with high accuracy and efficiency.

ところで、原子力炉の設備内には、気体で満たされた空間と水で満たされた空間とが存在する。一般的に用いられる光切断法は、調査対象物も計測装置も気体に置かれた状態で実施される。仮に調査対象物及び計測装置が水中に存在する場合、気中と水中とでは屈折率が異なるため、補正が必要となる。このような場合、事前試験によって気中と水中との補正値を算出し、検証することで個別に対応することができる。   By the way, in the facility of the nuclear reactor, there are a space filled with gas and a space filled with water. The light cutting method generally used is carried out in a state where both the object to be investigated and the measuring device are placed in gas. If the object to be investigated and the measuring device exist in water, correction is necessary because the refractive index is different between the air and the water. In such a case, it is possible to cope individually by calculating and verifying correction values for air and water by a preliminary test.

特許第５０７５３９４号公報Japanese Patent No. 5075394

しかし、測定装置が気中に存在し対象物が水中に存在するような場面では、気中の測定装置から照射されたシート光が水面で屈折するため、正しい計測ができなかった。この、水面での屈折による影響は、測定装置と対象物の両方が水中に存在する場合とは違い、計測装置と水面との位置関係により異なるため、事前試験で補正データを用意することは現実的ではない。   However, in a situation where the measuring device is present in the air and the object is present in the water, the sheet light irradiated from the measuring device in the air is refracted on the water surface, and thus correct measurement cannot be performed. The effect of refraction on the water surface differs depending on the positional relationship between the measurement device and the water surface, unlike when both the measurement device and the object are present in water. Not right.

そこでこの発明は、上述の課題を解決することのできる外観計測システム、画像処理方法及びプログラムを提供することを目的としている。 Therefore this invention, appearance measurement system that can solve the problems described above, and its object is to provide an image processing method and a program.

本発明の第１の態様は、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から照射する平面状の光の光源と、前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する前記第二媒質中に設置された計測装置と、前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、画像処理装置と、を備え、前記画像処理装置は、前記撮像装置が前記対象物を撮像した画像を取得する画像取得部と、前記画像に写し出された前記対象物における前記光の反射位置を検出する反射位置検出部と、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する視線経路算出部と、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する光経路算出部と、前記撮像装置の光学中心の位置情報と前記画像に写し出された前記境界面における前記光の反射位置とから前記第二媒質における前記境界面への前記視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す前記境界面における反射点の位置情報を算出する境界面検出部と、を備え、前記境界面の位置情報を取得する前記所定の方法は、前記反射位置検出部が、前記境界面おける前記光の反射位置を検出し、前記境界面検出部が、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い３つ以上の前記反射点の位置情報を算出することにより、前記境界面の位置情報を算出する方法であり、前記光源が、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、前記境界面検出部は、前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する、外観計測システムである。 According to a first aspect of the present invention, there is provided a planar light source that irradiates an object surrounded by a first medium from a second medium having a refractive index different from that of the first medium; A measuring device installed in the second medium having a rotatable mirror that reflects light and irradiates the object with light, and an imaging device that images the object, and changes the angle of the mirror. A control device that instructs the imaging device to capture an image while scanning the object with the light, and an image processing device, the image processing device acquiring an image obtained by imaging the object On the basis of the position information of the optical center and the position information of the reflection position of the imaging device, the reflection position detection section for detecting the reflection position of the light on the object projected in the image From the optical center in the second medium A travel path of the line of sight of the imaging device to the object is calculated, and further, positional information of a boundary surface between the first medium and the second medium acquired by a predetermined method, the first medium, and the first medium Using a refractive index of the two mediums, obtaining a line-of-sight path calculation unit that calculates a path of travel of the line of sight in the first medium, and information indicating the path of light travel in the predetermined second medium; Using the positional information of the boundary surface and the refractive indexes of the first medium and the second medium, an optical path calculation unit that calculates a traveling path of the light in the first medium, and an optical center of the imaging device The path of travel of the line of sight to the boundary surface of the second medium is calculated from the position information of the image and the reflection position of the light on the boundary surface projected on the image, and the path of travel of the line of vision is predetermined. In the second medium A boundary surface detection unit that calculates position information of a reflection point on the boundary surface indicated by an intersection with a light travel path, and the predetermined method of acquiring the position information of the boundary surface includes detecting the reflection position A detection unit that detects a reflection position of the light on the boundary surface, and the boundary surface detection unit is not collinear from an image captured when the light is irradiated on the object at a plurality of different angles. by calculating more than three positional information of the reflection point, Ri methods der of calculating the position information of the boundary surface, the light source comprises a first light source for emitting a light to be irradiated to the object, the first A second light source that emits light having a wavelength shorter than that of light emitted from one light source, and the boundary surface detection unit obtains positional information of the boundary surface based on a traveling path of light emitted from the second light source. It is an appearance measurement system to calculate .

本発明の第２の態様は、前記第一媒質における前記光の進行経路と前記視線の進行経路との交点の位置情報を算出する復元部を備え、前記画像取得部は、前記対象物に異なる角度から前記光を照射して撮像した複数の画像を取得し、前記復元部は、前記複数の画像について算出した交点の位置情報に基づいて前記対象物の３次元形状を復元することを特徴とする。   According to a second aspect of the present invention, the image acquisition unit includes a restoration unit that calculates position information of an intersection between the light travel path and the line-of-sight travel path in the first medium, and the image acquisition unit is different from the object. A plurality of images obtained by irradiating the light from an angle are acquired, and the restoration unit restores a three-dimensional shape of the object based on position information of intersections calculated for the plurality of images. To do.

本発明の第３の態様における前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、前記境界面検出部が、前記光学中心と前記境界面における反射点とを結ぶ直線と前記境界面とのなす角度の情報を取得し、前記同一直線上に無い３つ以上の反射点の位置情報に代えて、少なくとも１枚の前記画像から得られる２つ以上の前記反射点の位置情報を算出することにより求めた前記光と前記境界面の交線と、前記角度の情報を用いて前記境界面の位置情報を算出する方法である。 The predetermined method for acquiring positional information of a boundary surface between the first medium and the second medium according to the third aspect of the present invention is such that the boundary surface detection unit includes the optical center and a reflection point on the boundary surface. Information of an angle formed by a straight line connecting the boundary surface and the boundary surface, and instead of position information of three or more reflection points not on the same straight line, two or more of the two or more of the images obtained from at least one of the images In this method, the position information of the boundary surface is calculated using the information on the intersection of the light and the boundary surface obtained by calculating the position information of the reflection point and the angle.

本発明の第４の態様は、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から照射する平面状の光の光源と、前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する前記第二媒質中に設置された計測装置と、前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、画像処理装置と、を備える外観計測システムによる画像処理方法であって、前記撮像装置が前記対象物を撮像した画像を取得するステップと、前記画像に写し出された前記対象物における前記光の反射位置を検出するステップと、前記撮像装置の光学中心の位置情報と前記画像に写し出された前記第一媒質と前記第二媒質との境界面における前記光の反射位置とから前記第二媒質における前記境界面への、前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す前記境界面における反射点の位置情報を算出するステップと、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記視線の進行経路を算出し、さらに、所定の方法によって取得した前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出するステップと、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出するステップと、を有し、前記境界面の位置情報を取得する前記所定の方法は、前記反射位置を検出するステップで、前記境界面おける前記光の反射位置を検出し、前記境界面における反射点の位置情報を算出するステップで、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い３つ以上の前記反射点の位置情報を算出することにより、前記境界面の位置情報を算出する方法であり、前記光源が、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する、ことを特徴とする画像処理方法である。 According to a fourth aspect of the present invention, there is provided a planar light source that irradiates an object surrounded by a first medium from a second medium having a refractive index different from that of the first medium; A measuring device installed in the second medium having a rotatable mirror that reflects light and irradiates the object with light, and an imaging device that images the object, and changes the angle of the mirror. An image processing method by an appearance measurement system comprising: a control device that instructs the imaging device to capture an image while scanning the object with the light; and an image processing device, wherein the imaging device images the object Obtaining a captured image, detecting a reflection position of the light on the object projected on the image, position information of an optical center of the imaging device, and the first medium projected on the image Boundary with the second medium A path of the line of sight of the imaging device from the optical center to the object from the reflection position of the light on the surface to the boundary surface of the second medium is calculated, and the path of the line of sight is determined in advance. Based on the step of calculating the position information of the reflection point at the boundary surface indicated by the intersection with the light traveling path in the second medium, the position information of the optical center of the imaging device, and the position information of the reflection position Calculating the path of travel of the line of sight in the second medium, and using the positional information of the boundary surface obtained by a predetermined method and the refractive indices of the first medium and the second medium, Calculating a traveling path of the line of sight in one medium, obtaining information indicating a traveling path of the light in the second medium determined in advance, position information of the boundary surface, and the first medium And calculating the traveling path of the light in the first medium using the refractive index of the second medium, and the predetermined method of acquiring positional information of the boundary surface includes the reflection In the step of detecting the position, the reflection position of the light on the boundary surface is detected, and the position information of the reflection point on the boundary surface is calculated, and the light is irradiated on the object at a plurality of different angles. by calculating the position information of three or more of the reflection point not on the same straight line from the image captured when, Ri methods der of calculating the position information of the boundary surface, the light source, irradiating the object A first light source that emits light and a second light source that emits light having a wavelength shorter than the wavelength of light emitted by the first light source, and the boundary based on a traveling path of light emitted by the second light source This calculates the position information of the surface. An image processing method characterized by the above.

本発明の第５の態様は、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から照射する平面状の光の光源と、前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する前記第二媒質中に設置された計測装置と、前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、画像処理装置と、を備える外観計測システムのコンピュータを、前記撮像装置が前記対象物を撮像した画像を取得する手段、前記画像に写し出された前記対象物における前記光の反射位置を検出する手段、前記撮像装置の光学中心の位置情報と前記画像に写し出された前記第一媒質と前記第二媒質との境界面における前記光の反射位置とから前記第二媒質における前記境界面への、前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す前記境界面における反射点の位置情報を算出する手段、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記視線の進行経路を算出し、さらに、所定の方法によって取得した前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する手段、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する手段、として機能させるためのプログラムであって、前記境界面の位置情報を取得する前記所定の方法は、前記反射位置を検出する手段が、前記境界面おける前記光の反射位置を検出し、前記境界面における反射点の位置情報を算出する手段が、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い３つ以上の前記反射点の位置情報を算出することにより、前記境界面の位置情報を算出するプログラムであって、前記光源が、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する、プログラムである。 According to a fifth aspect of the present invention, there is provided a planar light source that irradiates an object surrounded by the first medium from a second medium having a refractive index different from that of the first medium; A measuring device installed in the second medium having a rotatable mirror that reflects light and irradiates the object with light, and an imaging device that images the object, and changes the angle of the mirror. A computer of an appearance measurement system comprising: a control device that instructs the imaging device to capture an image while scanning the object with the light; and an image processing device, and obtains an image in which the imaging device images the object Means for detecting a reflection position of the light on the object projected on the image, position information on the optical center of the imaging device, and the first medium and the second medium projected on the image. Anti-light on the interface A travel path of the line of sight of the imaging device from the optical center to the target object from the position to the boundary surface in the second medium, and the path of travel of the visual line and the predetermined second medium Means for calculating position information of a reflection point on the boundary surface indicated by an intersection with the light travel path, the position information of the optical center of the imaging device and the position information of the reflection position based on the position information of the reflection position; The line-of-sight progression path is calculated, and the position information of the boundary surface obtained by a predetermined method and the refractive index of the first medium and the second medium are used to calculate the line-of-sight progression in the first medium. A means for calculating a path, acquiring information indicating a path of the light in the second medium determined in advance, and using the position information of the boundary surface and the refractive indices of the first medium and the second medium; The A program for functioning as a means for calculating a traveling path of the light in the first medium, wherein the predetermined method for obtaining the position information of the boundary surface includes the means for detecting the reflection position, The means for detecting the reflection position of the light on the boundary surface and calculating the position information of the reflection point on the boundary surface is identical from the image captured when the light is irradiated on the object at a plurality of different angles. A program for calculating positional information of the boundary surface by calculating positional information of three or more reflection points that are not on a line , wherein the light source emits light that irradiates the object. And a second light source that emits light having a wavelength shorter than the wavelength of the light emitted by the first light source, and calculating positional information of the boundary surface based on a traveling path of the light emitted by the second light source . Program Is.

本発明によれば、計測装置と対象物が空気中、水中の何れに存在するかにかかわらず対象物の３次元形状を計測することができる。   According to the present invention, it is possible to measure the three-dimensional shape of an object regardless of whether the measuring device and the object exist in the air or in water.

本発明に係る第一実施形態における外観計測システムの一例を示す概要図である。It is a schematic diagram showing an example of an appearance measuring system in the first embodiment according to the present invention. 本発明に係る第一実施形態における計測ヘッドの一例を示す図である。It is a figure which shows an example of the measurement head in 1st embodiment which concerns on this invention. 本発明に係る第一実施形態における外観計測システムの一例を示すブロック図である。It is a block diagram which shows an example of the external appearance measurement system in 1st embodiment which concerns on this invention. 本発明に係る第一実施形態における画像処理装置の一例を示すブロック図である。It is a block diagram which shows an example of the image processing apparatus in 1st embodiment which concerns on this invention. 本発明に係る第一実施形態の外観計測システムによる異なる媒質中に存在する対象物の計測を説明するための図である。It is a figure for demonstrating the measurement of the target object which exists in a different medium by the external appearance measurement system of 1st embodiment which concerns on this invention. 本発明に係る第一実施形態における外観計測システムの撮像装置で対象物を撮像した画像の一例を示す図である。It is a figure which shows an example of the image which imaged the target object with the imaging device of the external appearance measurement system in 1st embodiment which concerns on this invention. 本発明に係る第一実施形態における対象物の計測処理を説明するための図である。It is a figure for demonstrating the measurement process of the target object in 1st embodiment which concerns on this invention. 本発明に係る第一実施形態における画像処理装置における処理の一例を示す第一のフローチャートである。It is a 1st flowchart which shows an example of the process in the image processing apparatus in 1st embodiment which concerns on this invention. 本発明に係る第一実施形態における画像処理装置における処理の一例を示す第二のフローチャートである。It is a 2nd flowchart which shows an example of the process in the image processing apparatus in 1st embodiment which concerns on this invention. 本発明に係る第一実施形態における外観計測システムの運用形態の一例を示す図である。It is a figure which shows an example of the operation | use form of the external appearance measurement system in 1st embodiment which concerns on this invention.

＜第一実施形態＞
以下、本発明の一実施形態による外観計測装置を図１〜図９を参照して説明する。
図１は本実施形態における外観計測システムの一例を示す概要図である。
符号１は、外観計測システムを示している。外観計測システム１は、計測ヘッド１００と制御装置２００と画像処理装置３００とを含んで構成される。外観計測システム１は、原子炉設備内の存在物や対象物などを計測するための計測システムである。符号２０１は、原子炉設備の壁であって、計測ヘッド１００は、当該設備内に挿入され、制御装置２００及び画像処理装置３００は、当該設備の外に設置される。
計測ヘッド１００にはシート光照射部とカメラが搭載されている。シート光照射部は、対象物４００にシート状（平面状）の光１１０を照射する。カメラは、シート光１１０が照射された対象物４００を撮像する。制御装置２００は、計測ヘッド１００の動作を制御する。例えば、制御装置２００は、シート光照射部がシート光１１０を発する方向を符号１１１の矢印が示す方向に変化させ、シート光１１０によって対象物４００を走査する。また、制御装置２００は、シート光１１０によって対象物４００を走査する間、所定のタイミングでカメラに対し対象物４００の撮像指示を行う。画像処理装置３００は、カメラが撮像した複数の画像を取得し、その画像を光切断法によって解析し、原子炉設備内の対象物の３次元形状を再現する。 <First embodiment>
Hereinafter, an appearance measuring apparatus according to an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a schematic diagram showing an example of an appearance measurement system in the present embodiment.
Reference numeral 1 denotes an appearance measurement system. The appearance measurement system 1 includes a measurement head 100, a control device 200, and an image processing device 300. The appearance measurement system 1 is a measurement system for measuring a presence or an object in a nuclear reactor facility. Reference numeral 201 denotes a wall of a nuclear reactor facility. The measurement head 100 is inserted into the facility, and the control device 200 and the image processing device 300 are installed outside the facility.
The measurement head 100 is equipped with a sheet light irradiation unit and a camera. The sheet light irradiation unit irradiates the object 400 with sheet-like (planar) light 110. The camera images the object 400 irradiated with the sheet light 110. The control device 200 controls the operation of the measurement head 100. For example, the control device 200 changes the direction in which the sheet light irradiation unit emits the sheet light 110 to the direction indicated by the arrow 111 and scans the object 400 with the sheet light 110. Further, the control device 200 instructs the camera to take an image of the object 400 at a predetermined timing while scanning the object 400 with the sheet light 110. The image processing apparatus 300 acquires a plurality of images captured by the camera, analyzes the images by a light cutting method, and reproduces the three-dimensional shape of the object in the reactor facility.

図２は、本発明に係る第一実施形態における計測ヘッドの一例を示す図である。図２は、計測ヘッド１００の正面図である。計測ヘッド１００は、走査装置１０１と、カメラ１０２と、パン・チルト機構装置１０３とを備えている。走査装置１０１とカメラ１０２は支柱板１０４で固定され、パン・チルト機構装置１０３と接続されている。走査装置１０１は、シート光を発するレーザ装置に光ファイバ等で接続されたシート光照射部と、図の垂直方向を軸に回転可能なミラーを備えている。シート光照射部は、レーザ装置からの光をスリットを通過させてシート状の光にして照射する。走査装置１０１は、シート光照射部から照射されたシート光１１０をミラーの角度を変化させながら反射させ、対象物４００へ照射する。カメラ１０２は、ＣＭＯＳやＣＣＤ等の画像素子を用いたカメラモジュールである。カメラ１０２は、対象物４００を撮像する。パン・チルト機構装置１０３は、走査装置１０１とカメラ１０２を固定する支柱板１０４を図の水平方向を軸に回転させるチルト機構と、垂直方向を軸に回転させるパン機構とを有している。制御装置２００が、パン・チルト機構装置１０３を制御することにより、支柱板１０４を移動させ原子炉設備内の測定対象を変更することができる。   FIG. 2 is a diagram showing an example of a measurement head in the first embodiment according to the present invention. FIG. 2 is a front view of the measurement head 100. The measurement head 100 includes a scanning device 101, a camera 102, and a pan / tilt mechanism device 103. The scanning device 101 and the camera 102 are fixed by a support plate 104 and connected to a pan / tilt mechanism device 103. The scanning device 101 includes a sheet light irradiation unit connected to a laser device that emits sheet light by an optical fiber or the like, and a mirror that can rotate about a vertical direction in the figure. The sheet light irradiating unit irradiates the light from the laser device as a sheet-shaped light passing through the slit. The scanning device 101 reflects the sheet light 110 irradiated from the sheet light irradiation unit while changing the angle of the mirror, and irradiates the object 400. The camera 102 is a camera module using an image element such as a CMOS or a CCD. The camera 102 images the object 400. The pan / tilt mechanism device 103 includes a tilt mechanism that rotates the column plate 104 that fixes the scanning device 101 and the camera 102 about the horizontal direction in the figure, and a pan mechanism that rotates the vertical direction about the axis. The control device 200 controls the pan / tilt mechanism device 103 to move the column plate 104 and change the measurement target in the reactor facility.

図３は、本発明に係る第一実施形態における外観計測システムの一例を示すブロック図である。
計測ヘッド１００は、走査装置１０１と、カメラ１０２と、パン・チルト機構装置１０３と、支柱板１０４を備えている。走査装置１０１は、シート光照射装置１０５とミラー１０６を備えている。計測ヘッド１００については、図２を用いて説明したとおりである。 FIG. 3 is a block diagram showing an example of an appearance measuring system according to the first embodiment of the present invention.
The measurement head 100 includes a scanning device 101, a camera 102, a pan / tilt mechanism device 103, and a support plate 104. The scanning device 101 includes a sheet light irradiation device 105 and a mirror 106. The measurement head 100 is as described with reference to FIG.

制御装置２００は、ＣＰＵ（Central Processing Unit）を備えたコンピュータである。制御装置２００は、シート光走査制御部２１、レーザ装置２２、カメラ制御部２３、パン・チルト機構制御部２４を備えている。
シート光走査制御部２１は、ミラー１０６を回転させ所定の角度に設定する。レーザ装置２２は、レーザ光源と駆動部を含んでいる。駆動部は、レーザ光源の起動停止やレーザ光の発射を制御する。カメラ制御部２３は、カメラ１０２へ撮像指示を行う。パン・チルト機構制御部２４は、例えばユーザの指示操作に基づいて、対象物４００の３次元形状を測定できる位置に支柱板１０４を移動・回転させる。 The control device 200 is a computer having a CPU (Central Processing Unit). The control device 200 includes a sheet light scanning control unit 21, a laser device 22, a camera control unit 23, and a pan / tilt mechanism control unit 24.
The sheet light scanning control unit 21 rotates the mirror 106 to set a predetermined angle. The laser device 22 includes a laser light source and a drive unit. The drive unit controls the start / stop of the laser light source and the emission of the laser light. The camera control unit 23 issues an imaging instruction to the camera 102. The pan / tilt mechanism control unit 24 moves / rotates the column plate 104 to a position where the three-dimensional shape of the object 400 can be measured, for example, based on a user's instruction operation.

制御装置２００は、例えば次のように動作する。ユーザが、制御装置２００の備えるユーザインタフェースを介して撮像指示操作を入力すると、駆動部がレーザ装置２２を起動し、レーザ光を発射する。また、シート光走査制御部２１は、所定のタイミングでミラー１０６の角度を変化させ、シート光１１０の進行経路を変化させる。カメラ制御部２３は、ミラー１０６の角度が変わるたびにカメラ１０２に撮像指示を行う。これにより対象物４００をシート光１１０によって走査しながら撮像した画像を得ることが可能になる。なお、ミラー１０６の角度変化、角度を変化させるタイミング、カメラ１０２が撮像するタイミングなどの情報は、予め制御装置２００が備える記憶部に記憶されているものとする。   For example, the control device 200 operates as follows. When the user inputs an imaging instruction operation via a user interface included in the control device 200, the drive unit activates the laser device 22 and emits laser light. Further, the sheet light scanning control unit 21 changes the angle of the mirror 106 at a predetermined timing to change the traveling path of the sheet light 110. The camera control unit 23 instructs the camera 102 to take an image whenever the angle of the mirror 106 changes. This makes it possible to obtain an image captured while scanning the object 400 with the sheet light 110. It is assumed that information such as the angle change of the mirror 106, the timing for changing the angle, and the timing when the camera 102 takes an image is stored in advance in a storage unit included in the control device 200.

画像処理装置３００は、カメラ１０２が撮像した各画像から光切断法によって対象物４００の３次元形状を計測する。カメラ１０２が撮像した各画像には、対象物４００によるシート光１１０の反射光が線状に写っており、画像処理装置３００は、カメラ１０２とシート光照射装置１０５と対象物４００によって反射された反射光の幾何学的な位置関係に基づいて、対象物４００のシート光１１０が照射された部分の位置情報を算出する。さらにカメラ１０２の角度を変化させながらシート光１１０によって対象物４００を走査して得た画像のそれぞれに対し同様の算出を行って対象物４００の表面の３次元形状を計測する。次に、図４を用いて画像処理装置３００について説明する。   The image processing apparatus 300 measures the three-dimensional shape of the object 400 from each image captured by the camera 102 by a light cutting method. In each image captured by the camera 102, the reflected light of the sheet light 110 from the object 400 is reflected in a line shape, and the image processing apparatus 300 is reflected by the camera 102, the sheet light irradiation apparatus 105, and the object 400. Based on the geometric positional relationship of the reflected light, position information of the portion of the object 400 irradiated with the sheet light 110 is calculated. Further, the same calculation is performed on each of the images obtained by scanning the object 400 with the sheet light 110 while changing the angle of the camera 102 to measure the three-dimensional shape of the surface of the object 400. Next, the image processing apparatus 300 will be described with reference to FIG.

図４は、本発明に係る第一実施形態における画像処理装置の一例を示すブロック図である。
画像処理装置３００は、画像取得部３１と、反射位置検出部３２と、視線経路算出部３３と、光経路算出部３４と、境界面検出部３５と、復元部３６と、記憶部３７と、を備えている。画像処理装置３００は、ＣＰＵを備えたコンピュータである。
画像取得部３１は、カメラ１０２が撮像した画像を取得し、記憶部３７にその画像を記録する。画像取得部３１が取得する画像は、対象物４００を走査したときに制御装置２００が撮像指示を行ったタイミングでカメラ１０２が撮像した画像である。 FIG. 4 is a block diagram showing an example of an image processing apparatus according to the first embodiment of the present invention.
The image processing apparatus 300 includes an image acquisition unit 31, a reflection position detection unit 32, a line-of-sight path calculation unit 33, an optical path calculation unit 34, a boundary surface detection unit 35, a restoration unit 36, a storage unit 37, It has. The image processing apparatus 300 is a computer having a CPU.
The image acquisition unit 31 acquires an image captured by the camera 102 and records the image in the storage unit 37. The image acquired by the image acquisition unit 31 is an image captured by the camera 102 at the timing when the control device 200 issues an imaging instruction when the object 400 is scanned.

反射位置検出部３２は、画像取得部３１が取得した画像からシート光１１０の反射光が写った位置を検出し、その位置情報を求める。シート光１１０の反射光とは、例えば、対象物４００や原子炉設備の内壁による反射光である。また、計測ヘッド１００と対象物４００がそれぞれ異なる媒質の中に存在する場合、それらの媒質の境界面で生じるシート光１１０の反射光である。原子炉設備内には、空気（第二媒質）で満たされた空間と水（第一媒質）で満たされた空間があり、計測ヘッド１００が空気中に存在し、対象物４００が水中にある場合や、計測ヘッド１００が水中に存在し、対象物４００が空気中に存在する場合がある。そのような場合、画像取得部３１が取得した画像には空気と水の境界面で反射した光と、対象物４００等によって反射した光が映し出される。反射位置検出部３２は、画像処理によって境界面での反射光と対象物４００による反射光が写し出されている位置を検出し、この位置情報（座標情報）を求める。この反射光が映し出された位置をピーク位置（輝度のピーク位置）とよび、空気と水の境界面の反射光に対応するピーク位置を水面ピーク位置、水中に存在する対象物４００による反射光に対応するピーク位置を水中ピーク位置という。   The reflection position detection unit 32 detects the position where the reflected light of the sheet light 110 is reflected from the image acquired by the image acquisition unit 31, and obtains the position information. The reflected light of the sheet light 110 is, for example, reflected light from the object 400 or the inner wall of the reactor facility. Further, when the measurement head 100 and the object 400 exist in different media, the reflected light of the sheet light 110 is generated at the boundary surface between the media. In the nuclear reactor equipment, there are a space filled with air (second medium) and a space filled with water (first medium), the measuring head 100 exists in the air, and the object 400 is in water. In some cases, the measurement head 100 may exist in water, and the object 400 may exist in air. In such a case, the image acquired by the image acquisition unit 31 reflects the light reflected by the boundary surface of air and water and the light reflected by the object 400 or the like. The reflection position detection unit 32 detects a position where the reflected light from the boundary surface and the reflected light from the object 400 are projected by image processing, and obtains this position information (coordinate information). The position where the reflected light is projected is called a peak position (brightness peak position), the peak position corresponding to the reflected light at the boundary surface between air and water is the water surface peak position, and the reflected light from the object 400 existing in the water. The corresponding peak position is called the underwater peak position.

視線経路算出部３３は、カメラ１０２の光学中心と反射位置検出部３２が検出したピーク位置の位置情報から、カメラ１０２の光学中心とピーク位置上の点を結ぶ直線を算出する。このカメラ１０２からピーク位置の点を結ぶ直線は、反射光がカメラ１０２へ入光する入光経路を示しているが、以下ではこの経路を、カメラ１０２の視線進行経路と呼ぶ。特に、計測ヘッド１００が空気中に存在し、対象物４００が水中に存在するような場合、視線経路算出部３３は、カメラ１０２の光学中心と水中ピーク位置の位置情報とに基づいて空気中におけるカメラの視線進行経路を算出し、その視線の進行経路と、後述する境界面検出部３５が算出した水面の位置情報（水面の平面方程式）とから、カメラ１０２の視線進行経路の水面への入射角を算出する。さらに、視線経路算出部３３は、空気と水の屈折率に基づいてカメラ１０２の視線進行経路の水中への出射角を算出し、空気中におけるカメラ１０２の視線進行経路と水面との交点の始点とする水中におけるカメラ１０２の視線進行経路を算出する。   The line-of-sight path calculation unit 33 calculates a straight line connecting the optical center of the camera 102 and a point on the peak position from the position information of the optical center of the camera 102 and the peak position detected by the reflection position detection unit 32. A straight line connecting the points of the peak positions from the camera 102 indicates a light incident path through which reflected light enters the camera 102. Hereinafter, this path is referred to as a line of sight progression path of the camera 102. In particular, when the measurement head 100 is present in the air and the target object 400 is present in the water, the line-of-sight path calculation unit 33 is based on the optical center of the camera 102 and the position information of the underwater peak position. The line-of-sight progression path of the camera 102 is calculated, and the line-of-sight progression path of the camera 102 is incident on the water surface from the path of the line-of-sight and water surface position information (water plane equation) calculated by the boundary surface detection unit 35 described later. Calculate the corner. Further, the line-of-sight path calculation unit 33 calculates the exit angle of the camera's line-of-sight traveling path into water based on the refractive index of air and water, and the start point of the intersection of the line-of-sight traveling path of the camera 102 and the water surface in the air. The line-of-sight traveling path of the camera 102 in water is calculated.

光経路算出部３４は、計測ヘッド１００が空気中に存在し、対象物４００が水中に存在するような場合、予め算出された空気中におけるシート光１１０によって形成される平面の位置情報と、後述する境界面検出部３５が算出した水面の位置情報とから、シート光１１０の水面への入射角を算出する。さらに、光経路算出部３４は、予め定められた空気と水の屈折率に基づいて光の水中への出射角を算出し、出射角と、シート光１１０と水面との交線の位置情報とから水中におけるシート光１１０の進行経路を算出する。   When the measurement head 100 is present in the air and the target object 400 is present in the water, the optical path calculation unit 34 calculates the position information of the plane formed by the sheet light 110 in the air calculated in advance and The incident angle of the sheet light 110 on the water surface is calculated from the water surface position information calculated by the boundary surface detection unit 35. Further, the light path calculation unit 34 calculates the exit angle of light into water based on a predetermined refractive index of air and water, and the exit angle and position information of the intersection line between the sheet light 110 and the water surface To calculate the traveling path of the sheet light 110 in water.

境界面検出部３５は、カメラ１０２の光学中心の位置情報と水面ピーク位置の位置情報とから水面へのカメラ１０２の視線進行経路を算出し、その視線進行経路と予め算出された空気中におけるシート光１１０によって形成される平面の位置情報とに基づいて水面への視線進行経路とシート光１１０が形成する平面の交点である反射点の位置情報を算出する。境界面検出部３５は、水面ピーク位置の線を構成する各反射点について位置情報を算出する。そして境界面検出部３５は、画像取得部３１が取得した複数の画像について同様の処理を行い、同一直線上に無い少なくとも３つの反射点の位置座情報から水面の位置情報を算出する。   The boundary surface detection unit 35 calculates the line-of-sight advance path of the camera 102 to the water surface from the position information of the optical center of the camera 102 and the position information of the water surface peak position, and the line-of-sight advance path and the pre-calculated seat in the air Based on the position information of the plane formed by the light 110, the position information of the reflection point that is the intersection of the line-of-sight traveling path to the water surface and the plane formed by the sheet light 110 is calculated. The boundary surface detection unit 35 calculates position information for each reflection point constituting the line of the water surface peak position. And the boundary surface detection part 35 performs the same process about the several image which the image acquisition part 31 acquired, and calculates the positional information on a water surface from the position information of the at least 3 reflection point which is not on the same straight line.

復元部３６は、視線経路算出部３３が算出した水中でのカメラ１０２の視線進行経路と、光経路算出部３４が算出した水中でのシート光１１０が形成する平面との交点の位置情報を算出する。この交点は、水中ピーク位置を示す線上の一点である。復元部３６は、１枚の画像から水中ピーク位置上の全ての点について位置情報を算出する。復元部３６は、さらに計測ヘッド１００を掃引しながら撮像した全ての画像について同様の処理を行い、対象物４００の表面の３次元座標情報を求める。   The restoration unit 36 calculates position information of an intersection point between the line-of-sight traveling path of the camera 102 calculated by the line-of-sight path calculation unit 33 and the plane formed by the sheet light 110 in water calculated by the light path calculation unit 34. To do. This intersection is a point on the line indicating the underwater peak position. The restoration unit 36 calculates position information for all points on the underwater peak position from one image. The restoration unit 36 further performs the same process on all images taken while sweeping the measurement head 100 to obtain three-dimensional coordinate information on the surface of the object 400.

記憶部３７は、画像取得部３１が取得した画像や、予めキャリブレーションを実施して取得したカメラパラメータ、ミラー１０６の角度ごとのシート光１１０によって形成される平面の位置情報（平面方程式）を記憶している。   The storage unit 37 stores the image acquired by the image acquisition unit 31, the camera parameters acquired by performing calibration in advance, and the position information (plane equation) of the plane formed by the sheet light 110 for each angle of the mirror 106. doing.

図５は、本発明に係る第一実施形態の外観計測システムによる異なる媒質中に存在する対象物の計測を説明するための図である。
対象物４００は、水（第一媒質）が入っている容器７０の底に設置されている。符号７１の部分は水で満たされており、対象物４００は、水中に存在する。符号６１は、ミラー１０６をある角度に設定したときのシート光１１０の空気中における進行経路を示す直線である。符号６２は、シート光１１０の水中での進行経路を示す直線である。直線６１、６２が示すようにシート光１１０は、水面で屈折して進行経路を変える。符号６３は、シート光１１０が水面で屈折しないと仮定した場合のシート光１１０の進行経路を示す直線である。符号５０は、対象物４００の表面上のある点を示している。符号５１は、点５０への空気中におけるカメラ１０２の視線進行経路を示す直線（視線直線）である。符号５２は、点５０への水中におけるカメラ１０２の視線直線である。直線５１、５２が示すようにカメラ１０２の視線直線は、水面で屈折して進行経路を変える。符号５３は、カメラ１０２の視線直線が水面で屈折しないと仮定した場合の経路を示す直線である。符号５４は、水面ピーク位置に対応するカメラ１０２の視線直線である。符号６０は、視線直線５４とシート光１１０の空気中における進行経路を示す直線６１の交点である。 FIG. 5 is a diagram for explaining measurement of an object existing in different media by the appearance measurement system according to the first embodiment of the present invention.
The object 400 is installed at the bottom of the container 70 containing water (first medium). The part of the code | symbol 71 is satisfy | filled with water, and the target object 400 exists in water. Reference numeral 61 denotes a straight line indicating a traveling path of the sheet light 110 in the air when the mirror 106 is set at a certain angle. Reference numeral 62 is a straight line indicating a traveling path of the sheet light 110 in water. As indicated by the straight lines 61 and 62, the sheet light 110 is refracted on the water surface to change the traveling path. Reference numeral 63 denotes a straight line indicating a traveling path of the sheet light 110 when it is assumed that the sheet light 110 is not refracted on the water surface. Reference numeral 50 indicates a certain point on the surface of the object 400. Reference numeral 51 denotes a straight line (line of sight) indicating the line of sight progression path of the camera 102 in the air to the point 50. Reference numeral 52 is a line of sight of the camera 102 to the point 50 in water. As shown by the straight lines 51 and 52, the line of sight of the camera 102 is refracted on the water surface to change the traveling path. Reference numeral 53 is a straight line indicating a path when it is assumed that the line of sight of the camera 102 is not refracted on the water surface. Reference numeral 54 is a line of sight of the camera 102 corresponding to the water surface peak position. Reference numeral 60 denotes an intersection of a line of sight line 54 and a straight line 61 indicating a traveling path of the sheet light 110 in the air.

ここで、水面での光の屈折を考慮せずに、三角測量の原理に基づいて対象物４００による反射光の反射点を算出すると、直線５３と直線６３の交点が求める反射点となる。符号４０１は、水面での光の屈折を考慮せずに光切断法によって対象物４００を計測したときの計測結果を示している。図５が示すように、実際の対象物４００は、容器７０の底に存在しており、光の屈折を考慮しないと、対象物４００の位置を計測ヘッド１００側から見て手前に存在するものと誤って計測してしまう。本実施形態では、計測ヘッド１００と対象物４００が異なる媒質中に存在する場合、それら異なる媒質の境界面でのシート光１１０、カメラ１０２の視線進行経路の屈折を考慮し、異なる媒質中におけるシート光１１０の進行経路、カメラ１０２の視線の進行経路を補正して正確な対象物４００の計測を行う。   Here, when the reflection point of the reflected light by the object 400 is calculated based on the principle of triangulation without considering the refraction of light on the water surface, the intersection of the straight line 53 and the straight line 63 becomes a reflection point to be obtained. Reference numeral 401 indicates a measurement result when the object 400 is measured by a light cutting method without considering refraction of light on the water surface. As shown in FIG. 5, the actual object 400 is present at the bottom of the container 70, and is present in front of the position of the object 400 when viewed from the measurement head 100 side unless light refraction is taken into consideration. It will be measured by mistake. In the present embodiment, when the measurement head 100 and the object 400 exist in different media, the sheet light 110 at the boundary surface between the different media and the refraction of the line of sight of the camera 102 are taken into account, and the sheets in the different media. The traveling path of the light 110 and the traveling path of the line of sight of the camera 102 are corrected to accurately measure the object 400.

図６は、本発明に係る第一実施形態における外観計測システムの撮像装置で対象物を撮像した画像の一例を示す図である。
図６は、図５の状態でカメラ１０２が撮像した画像の一例である。符号７３は、シート光１１０の対象物４００や容器７０の底面によって反射された光が写し出された線（水中ピーク位置）である。符号７４は、シート光１１０の水面によって反射した光が写し出された線（水面ピーク位置）である。図５で示した状況では、シート光１１０は、右側から照射されるので、水面による反射光の線７４は、対象物４００による反射光の線７３よりも右側に表示されている。本実施形態では、反射位置検出部３２が水面ピーク位置の線７４を検出すると、境界面検出部３５がカメラ座標における水面の位置情報を算出し、視線経路算出部３３が、カメラ座標における水中におけるカメラ１０２の視線進行経路を算出する。また、光経路算出部３４が、水中においてシート光１１０が形成する平面のカメラ座標における位置情報を算出する。 FIG. 6 is a diagram illustrating an example of an image obtained by capturing an object with the imaging device of the appearance measurement system according to the first embodiment of the present invention.
FIG. 6 is an example of an image captured by the camera 102 in the state of FIG. Reference numeral 73 denotes a line (underwater peak position) in which light reflected by the object 400 of the sheet light 110 and the bottom surface of the container 70 is projected. Reference numeral 74 denotes a line (water surface peak position) in which light reflected by the water surface of the sheet light 110 is projected. In the situation shown in FIG. 5, since the sheet light 110 is irradiated from the right side, the reflected light line 74 of the water surface is displayed on the right side of the reflected light line 73 of the object 400. In the present embodiment, when the reflection position detection unit 32 detects the line 74 of the water surface peak position, the boundary surface detection unit 35 calculates the position information of the water surface in the camera coordinates, and the line-of-sight path calculation unit 33 The line-of-sight progression path of the camera 102 is calculated. Further, the light path calculation unit 34 calculates position information in camera coordinates of a plane formed by the sheet light 110 in water.

図７は、本発明に係る第一実施形態における対象物の計測処理を説明するための図である。
図７を用いて、画像取得部３１が取得した画像から対象物４００の３次元形状を計測する処理について説明する。
図７の座標は、カメラ１０２の光学中心を原点Ｏｃとし、レンズの中心を通りレンズ面と直交する方向をＺ軸、光学中心とシート光照射装置１０５のシート光照射口の中心を結ぶ線をＸ軸、それらに直交する方向をＹ軸とする３次元の座標系（カメラ座標系）である。画像面７５はＺ軸と直交し、ＸＹ平面と平行になる。原点Ｏｃと画像面７５の距離が、レンズの焦点距離ｆに相当する。対象物４００の表面（符号７６）上の点Ｐ０（Ｘ０、Ｙ０、Ｚ０）の画像面７５上の点ｐ１（ｘ１、ｙ１、ｚ１）は、原点Ｏｃと点Ｐ０を通るカメラの視線直線（符号７７）と画像面７５の交点となる。点ｐ１と点Ｐ０の関係は次式で表すことができる。
ｘ１＝ｆ×Ｘ０／Ｚ０、ｙ１＝ｆ×Ｙ０／Ｚ０、ｚ１＝ｆ ・・・ 式１
従って、画像面７５の座標（ｘ１、ｙ１、ｆ）から対象物４００の表面上の点Ｐ０（Ｘ（ｔ）、Ｙ（ｔ）、ｔ）の視線の直線方程式を得ることができる。
Ｘ（ｔ）＝ｘ１×ｔ／ｆ、Ｙ（ｔ）＝ｙ１×ｔ／ｆ、Ｚ（ｔ）＝ｔ ・・・ 式２ FIG. 7 is a diagram for explaining the measurement processing of the object in the first embodiment according to the present invention.
Processing for measuring the three-dimensional shape of the object 400 from the image acquired by the image acquisition unit 31 will be described with reference to FIG.
In the coordinates of FIG. 7, the optical center of the camera 102 is the origin Oc, the direction passing through the center of the lens and perpendicular to the lens surface is the Z axis, and the line connecting the optical center and the center of the sheet light irradiation port of the sheet light irradiation device 105 is a line. This is a three-dimensional coordinate system (camera coordinate system) having an X axis and a direction perpendicular to the X axis as a Y axis. The image plane 75 is orthogonal to the Z axis and parallel to the XY plane. The distance between the origin Oc and the image plane 75 corresponds to the focal length f of the lens. A point p1 (x1, y1, z1) on the image plane 75 of the point P0 (X0, Y0, Z0) on the surface (reference numeral 76) of the object 400 is a line of sight line (reference numeral) of the camera passing through the origin Oc and the point P0. 77) and the image plane 75. The relationship between the points p1 and P0 can be expressed by the following equation.
x1 = f × X0 / Z0, y1 = f × Y0 / Z0, z1 = f Expression 1
Therefore, a linear equation of the line of sight of the point P0 (X (t), Y (t), t) on the surface of the object 400 can be obtained from the coordinates (x1, y1, f) of the image plane 75.
X (t) = x1 * t / f, Y (t) = y1 * t / f, Z (t) = t Expression 2

次にシート光１１０の平面方程式について説明する。シート光１１０が発射される点をＯｓ（Ｘｓ、Ｙｓ、Ｚｓ）とし、シート光１１０が形成する平面の法線ベクトルをＮｓ（Ｘｎ、Ｙｎ、Ｘｎ）とする。するとシート光１１０の平面方程式は、以下の式で表すことができる。
（Ｘ−Ｘｓ）×Ｘｎ ＋（Ｙ−Ｙｓ）×Ｙｎ＋（Ｚ−Ｚｓ）×Ｚｎ＝０ ・・・式３
シート光１１０の反射位置Ｐ０は、カメラの視線直線とシート光１１０の交点である。
従って式２を式３に代入して変数ｔを求め、式２からＰ０の座標を求めることができる。以上がシート光１１０の対象物４００における１つの反射点について、座標情報を求める方法である。従って、画像取得部３１が取得した１枚の画像から、対象物４００における反射光によってできる線の各点について同様の手順で座標情報を求めることで、対象物４００のシート光１１０が照射された線状の部分の形状を把握することができる。走査装置１０１が、シート光１１０を用いて対象物４００の表面を走査し、その都度取得した画像を解析すれば対象物４００の表面の３次元座標を得ることができる。計測ヘッド１００と対象物４００が共に空気中に存在するような場合、このようにして対象物４００の形状を計測することができる。 Next, the plane equation of the sheet light 110 will be described. A point where the sheet light 110 is emitted is Os (Xs, Ys, Zs), and a normal vector of a plane formed by the sheet light 110 is Ns (Xn, Yn, Xn). Then, the plane equation of the sheet light 110 can be expressed by the following equation.
(X−Xs) × Xn + (Y−Ys) × Yn + (Z−Zs) × Zn = 0 Formula 3
The reflection position P <b> 0 of the sheet light 110 is an intersection of the line of sight of the camera and the sheet light 110.
Therefore, the variable t is obtained by substituting Equation 2 into Equation 3, and the coordinates of P0 can be obtained from Equation 2. The above is the method for obtaining the coordinate information for one reflection point on the object 400 of the sheet light 110. Therefore, the sheet light 110 of the object 400 is irradiated by obtaining coordinate information from a single image acquired by the image acquisition unit 31 for each point of a line formed by reflected light on the object 400 in the same procedure. The shape of the linear part can be grasped. If the scanning device 101 scans the surface of the object 400 using the sheet light 110 and analyzes the acquired image each time, the three-dimensional coordinates of the surface of the object 400 can be obtained. When both the measuring head 100 and the object 400 exist in the air, the shape of the object 400 can be measured in this way.

次に、計測ヘッド１００が空気中に存在し、対象物４００が水中に存在する場合について説明する。この場合、水中におけるカメラの視線直線及びシート光１１０による平面を求め、それらの交点を算出する。その為に以下の手順を行う。
（１）最初に水面の平面方程式を求める。（１−ａ）この方程式を求める処理においては、まず、画像から水面での反射光による線７４を特定する。（１−ｂ）そして線７４上の１点を図７におけるｐ１、水面を符号７６が示す面として、上記で説明した手順で、シート光１１０と水面の交線（水面ピーク位置）の位置情報を算出する。同様の手順で複数の画像から、それぞれシート光１１０と水面の交線の位置情報を算出する。（１−ｃ）このようにして得られた複数の交線の位置情報から水面の平面方程式を推定することができる。例えば、複数の反射点と推定する水面との距離の二乗和が最小となるような水面を最小二乗法で求めてもよい。 Next, a case where the measurement head 100 exists in the air and the target object 400 exists in the water will be described. In this case, a line of sight line of the camera in water and a plane by the sheet light 110 are obtained, and an intersection point thereof is calculated. For this purpose, the following procedure is performed.
(1) First, the plane equation of the water surface is obtained. (1-a) In the process of obtaining this equation, first, the line 74 due to the reflected light on the water surface is specified from the image. (1-b) Then, the position information of the intersection line (water surface peak position) of the sheet light 110 and the water surface in the procedure described above, with one point on the line 74 as p1 in FIG. Is calculated. In the same procedure, the position information of the intersection line between the sheet light 110 and the water surface is calculated from the plurality of images. (1-c) The plane equation of the water surface can be estimated from the positional information of the plurality of intersecting lines obtained in this way. For example, the water surface that minimizes the sum of squares of the distances between the plurality of reflection points and the estimated water surface may be obtained by the least square method.

（２）次に水面での屈折を考慮したカメラの視線直線を求める。（２−ａ）まず、式２と同様にカメラ１０２から水面への直線方程式を設定する。（２−ｂ）次に、水面への直線方程式と水面の平面方程式からカメラの視線直線の水面への入射角を求める。（２−ｃ）次に空気中と水中の屈折角からカメラ視線の水中への出射角を求める。光の空気中と水中における屈折角は予め与えられているものとする。（２−ｄ）次に、（２−ａ）の直線と（１）で求めた水面の交点を求める。（２−ｅ）（２−ｄ）で求めた交点と（２−ｃ）で求めた出射角からカメラの視線進行経路の水中における直線方程式を求める。 (2) Next, the line of sight of the camera in consideration of refraction on the water surface is obtained. (2-a) First, a linear equation from the camera 102 to the water surface is set in the same manner as in Expression 2. (2-b) Next, the incident angle to the water surface of the line of sight of the camera is obtained from the linear equation to the water surface and the plane equation of the water surface. (2-c) Next, the exit angle of the camera line of sight into water is determined from the refraction angles in air and water. It is assumed that the refraction angle of light in air and in water is given in advance. (2-d) Next, the intersection of the straight line (2-a) and the water surface obtained in (1) is obtained. (2-e) From the intersection obtained in (2-d) and the exit angle obtained in (2-c), a linear equation in water of the line-of-sight travel path of the camera is obtained.

（３）同様に水面での屈折を考慮して、水中を進行するシート光１１０が形成する平面の平面方程式を算出する。（３−ａ）まず、予め算出した空気中でのシート光１１０の平面方程式と（１）で算出した水面の平面方程式との交線を求める。また、水面に対するシート光１１０の入射角を求める。（３−ｂ）次に空気中と水中の屈折角からシート光１１０の水中への出射角を求める。光の空気中と水中における屈折角は予め与えられているものとする。（３−ｃ）次に、（３−ａ）の交線と（１）で求めた水面の平面方程式及び（３−ｂ）で求めた出射角から水中におけるシート光１１０の平面方程式を求める。 (3) Similarly, taking into account refraction at the water surface, the plane equation of the plane formed by the sheet light 110 traveling in water is calculated. (3-a) First, an intersection line between the plane equation of the sheet light 110 calculated in advance in the air and the plane equation of the water surface calculated in (1) is obtained. Further, the incident angle of the sheet light 110 with respect to the water surface is obtained. (3-b) Next, the exit angle of the sheet light 110 into the water is determined from the refraction angles in the air and water. It is assumed that the refraction angle of light in air and in water is given in advance. (3-c) Next, the plane equation of the sheet light 110 in water is obtained from the intersection line of (3-a) and the plane equation of the water surface obtained in (1) and the emission angle obtained in (3-b).

なお、水面の平面方程式の算出方法は、上記の（１）の方法に限らない。例えば、計測ヘッド１００の所定の部分と水面との位置関係が既知である場合、その所定の部分とカメラ１０２（光学中心）との相対的位置関係を用いて、カメラ座標系での水面の平面方程式を求めることができる。この場合、予め算出した水面の平面方程式を記憶部３７に記録しておき、計測の際には（１）の処理を行わず、代わりに記憶部３７に記録した水面の平面方程式を用いることで対象物４００の形状を計測できる。また、計測ヘッド１００に３軸加速度センサや傾斜センサが備えられている場合、このセンサによって計測ヘッド１００の地面に対する傾きを計測する。水面は、水平であるから、計測ヘッド１００の水面に対する傾きを得ることができる。次に、ミラー１０６をある角度に設定してシート光１１０を照射したときの画像を１枚撮像する。その画像の水面ピーク位置の座標情報と、ミラー１０６をその角度に設定した場合における予め記憶されたシート光１１０の平面方程式から、水面とシート光１１０の交線を求める。この交線と、計測ヘッド１００の水面に対する傾きから水面の平面方程式を求めることができる。この方法であれば、シート光１１０を走査させながら撮像した画像が１枚あれば水面の平面方程式を求めることができる。   The method for calculating the plane equation of the water surface is not limited to the method (1). For example, when the positional relationship between a predetermined portion of the measuring head 100 and the water surface is known, the plane of the water surface in the camera coordinate system is used by using the relative positional relationship between the predetermined portion and the camera 102 (optical center). An equation can be obtained. In this case, the plane equation of the water surface calculated in advance is recorded in the storage unit 37, and the processing of (1) is not performed at the time of measurement. Instead, the plane equation of the water surface recorded in the storage unit 37 is used. The shape of the object 400 can be measured. When the measurement head 100 is provided with a triaxial acceleration sensor or an inclination sensor, the inclination of the measurement head 100 with respect to the ground is measured by this sensor. Since the water surface is horizontal, the inclination of the measuring head 100 with respect to the water surface can be obtained. Next, the mirror 106 is set at a certain angle, and one image when the sheet light 110 is irradiated is taken. The intersection line of the water surface and the sheet light 110 is obtained from the coordinate information of the water surface peak position of the image and the plane equation of the sheet light 110 stored in advance when the mirror 106 is set to the angle. The plane equation of the water surface can be obtained from this intersection line and the inclination of the measuring head 100 with respect to the water surface. With this method, the plane equation of the water surface can be obtained if there is one image captured while scanning the sheet light 110.

このようにして水中におけるカメラ視線の直線方程式と、水中におけるシート光１１０の平面方程式を算出すると、それらの交点を求めることで水面での屈折を考慮した対象物４００の表面の正確な位置情報を求めることができる。この手順をシート光１１０を走査することで得た全ての画像について行えば、対象物４００全体の計測を行うことができる。   Thus, when the linear equation of the camera line of sight in water and the plane equation of the sheet light 110 in water are calculated, accurate position information of the surface of the object 400 in consideration of refraction on the water surface can be obtained by obtaining the intersection of them. Can be sought. If this procedure is performed for all the images obtained by scanning the sheet light 110, the entire object 400 can be measured.

図８は、本発明に係る第一実施形態における画像処理装置における処理の一例を示す第一のフローチャートである。
図８を用いて、走査装置１０１が対象物４００を走査しながら撮像した画像を用いて水面の平面方程式を算出する処理について説明する。
前提として、予めキャリブレーションを実施し、カメラ１０２の光軸中心、焦点距離、レンズの歪に対する補正係数などのカメラパラメータを取得しているものとする。また、走査装置１０１が発するシート光１１０の発射角度を、所定の角度とした場合のそれぞれの角度に対するシート光１１０の平面方程式も予め算出してあるものとする。また、カメラパラメータや平面方程式は、記憶部３７に記録されているものとする。また、画像取得部３１は、カメラ１０２が撮像した一連の画像を全て記憶部３７へ記録したものとする。
まず、反射位置検出部３２が、記憶部３７より１枚の画像を読み出す（ステップＳ１）。反射位置検出部３２は、シート光１１０の反射位置を示す２つの線（ピーク位置）を検出する。例えば、反射位置検出部３２は、読み出した画像を所定の閾値により２値化して、白い線状の個所をピーク位置として検出する。次に反射位置検出部３２は、検出したピーク位置のうち、水面による反射光を示す水面ピーク位置を特定する（ステップＳ２）。水面ピーク位置を特定する方法は、例えば、図５で図示した状況において図６の画像を撮像した場合であれば、シート光照射装置１０５の位置に近い方を水面ピーク位置に特定する。反射位置検出部３２は、画像と特定した水面ピーク位置の位置情報を境界面検出部３５に出力する。 FIG. 8 is a first flowchart showing an example of processing in the image processing apparatus according to the first embodiment of the present invention.
A process of calculating a plane equation of the water surface using an image captured by the scanning apparatus 101 while scanning the object 400 will be described with reference to FIG.
As a premise, it is assumed that calibration is performed in advance and camera parameters such as the optical axis center of the camera 102, the focal length, and a correction coefficient for lens distortion are acquired. In addition, it is assumed that the plane equation of the sheet light 110 with respect to each angle when the emission angle of the sheet light 110 emitted by the scanning device 101 is a predetermined angle is calculated in advance. The camera parameters and plane equations are recorded in the storage unit 37. Further, it is assumed that the image acquisition unit 31 records all the series of images captured by the camera 102 in the storage unit 37.
First, the reflection position detection unit 32 reads one image from the storage unit 37 (step S1). The reflection position detection unit 32 detects two lines (peak positions) indicating the reflection position of the sheet light 110. For example, the reflection position detection unit 32 binarizes the read image with a predetermined threshold, and detects a white linear portion as a peak position. Next, the reflection position detection part 32 specifies the water surface peak position which shows the reflected light by a water surface among the detected peak positions (step S2). For example, when the image of FIG. 6 is captured in the situation illustrated in FIG. 5, the method for identifying the water surface peak position identifies the water surface peak position closer to the position of the sheet light irradiation device 105. The reflection position detection unit 32 outputs the position information of the identified water surface peak position to the boundary surface detection unit 35.

次に、境界面検出部３５は、記憶部３７から読み込んだカメラパラメータによって取得した画像の歪み補正などを行う。そして、境界面検出部３５は、補正後の水面ピーク位置の座標情報を算出し、カメラ１０２の光学中心から水面ピーク位置へのカメラ視線の直線方程式（式２）を算出する（ステップＳ３）。次に、境界面検出部３５は、記憶部３７から、現在解析している画像に対応したシート光１１０の平面方程式を読み出す。現在解析している画像に対応した平面方程式とは、現在解析している画像を撮像したときと同じ角度にミラー１０６を設定してシート光１１０を照射したときに撮像した画像から算出した平面方程式であって、予め記憶部３７に記憶されている。境界面検出部３５は、平面方程式を読み出すと、この平面方程式とステップＳ２で求めた直線方程式との交点の座標情報を算出する（ステップＳ４）。境界面検出部３５は、同様の手順で水面ピーク位置に対応する水面上の線の各点について交点の座標情報を算出する。   Next, the boundary surface detection unit 35 corrects the distortion of the image acquired based on the camera parameters read from the storage unit 37. And the boundary surface detection part 35 calculates the coordinate information of the water surface peak position after correction | amendment, and calculates the linear equation (Formula 2) of the camera gaze from the optical center of the camera 102 to a water surface peak position (step S3). Next, the boundary surface detection unit 35 reads the plane equation of the sheet light 110 corresponding to the image currently analyzed from the storage unit 37. The plane equation corresponding to the currently analyzed image is the plane equation calculated from the image captured when the sheet light 110 is irradiated with the mirror 106 set at the same angle as when the currently analyzed image is captured. It is stored in the storage unit 37 in advance. When reading the plane equation, the boundary surface detection unit 35 calculates the coordinate information of the intersection of this plane equation and the linear equation obtained in step S2 (step S4). The boundary surface detection unit 35 calculates the coordinate information of the intersection for each point of the line on the water surface corresponding to the water surface peak position in the same procedure.

次に反射位置検出部３２は、記憶部３７に記録された一連の走査においてカメラ１０２が撮像した全ての画像に対してステップＳ１〜ステップＳ４の処理を行ったかどうかを判定する（ステップＳ５）。全ての画像に対して処理を行っていなければステップＳ１からの処理を繰り返す。全ての画像に対する処理が終了している場合、境界面検出部３５は、算出した複数の交線から水面の平面方程式を求める（ステップＳ６）。境界面検出部３５は、算出した水面の平面方程式を記憶部３７に出力する。このステップＳ１〜Ｓ６の処理は図７を用いて説明した（１）の処理に相当する。なお、ステップＳ５にて全画像について処理を行ったかどうかの判定を行っているが、必ずしも全画像について処理を行わなくてもよい。例えば同一直線上に無い３つ以上の点の座標情報を算出し水面の平面方程式を算出してもよい。   Next, the reflection position detection unit 32 determines whether or not the processing of step S1 to step S4 has been performed on all images captured by the camera 102 in a series of scans recorded in the storage unit 37 (step S5). If all the images have not been processed, the processing from step S1 is repeated. When the processing for all the images has been completed, the boundary surface detection unit 35 obtains a plane equation of the water surface from the plurality of calculated intersection lines (step S6). The boundary surface detection unit 35 outputs the calculated water plane equation to the storage unit 37. The processes in steps S1 to S6 correspond to the process (1) described with reference to FIG. Note that although it is determined in step S5 whether or not processing has been performed for all images, it is not necessary to perform processing for all images. For example, the coordinate information of three or more points that are not on the same straight line may be calculated to calculate the plane equation of the water surface.

図９は、本発明に係る第一実施形態における画像処理装置における処理の一例を示す第二のフローチャートである。
図９を用いて、図８の処理後に対象物４００の形状の測定を行う処理について説明する。
前提条件は、図８と同様であるが、さらに記憶部３７には水面の平面方程式が記憶されているものとする。
まず、反射位置検出部３２が、記憶部３７より１枚の画像を読み出す（ステップＳ７）。反射位置検出部３２は、シート光１１０の反射光を示す線が写っている個所（ピーク位置）を検出し、対象物４００による反射光を示す水中ピーク位置を特定する（ステップＳ８）。例えば、図５で図示した状況において図６の画像を撮像した場合であれば、シート光照射装置１０５の位置から遠い方を水中ピーク位置に特定する。反射位置検出部３２は、画像と特定した水中ピーク位置の位置情報を視線経路算出部３３へ出力する。 FIG. 9 is a second flowchart showing an example of processing in the image processing apparatus according to the first embodiment of the present invention.
A process of measuring the shape of the object 400 after the process of FIG. 8 will be described with reference to FIG.
The precondition is the same as that in FIG. 8, but it is further assumed that the storage unit 37 stores a plane equation of the water surface.
First, the reflection position detection unit 32 reads one image from the storage unit 37 (step S7). The reflection position detection unit 32 detects a portion (peak position) where a line indicating the reflected light of the sheet light 110 is reflected, and specifies the underwater peak position indicating the reflected light from the object 400 (step S8). For example, if the image of FIG. 6 is captured in the situation illustrated in FIG. 5, the farther from the position of the sheet light irradiation device 105 is specified as the underwater peak position. The reflection position detection unit 32 outputs the position information of the underwater peak position specified as an image to the line-of-sight path calculation unit 33.

次に、視線経路算出部３３は、記憶部３７からカメラパラメータを読み込んで反射位置検出部３２から取得した画像を補正し、補正後の水中ピーク位置の位置情報を取得する。視線経路算出部３３は、補正後の水中ピーク位置の位置情報を用いて図７の（２）で説明した手順で水中におけるカメラ視線の直線方程式を求める（ステップＳ９）。視線経路算出部３３は、直線方程式を復元部３６へ出力する。
また、光経路算出部３４は、記憶部３７から読み込んだ現在解析中の画像に対応したシート光１１０の平面方程式と、記憶部３７から読み込んだ水面の平面方程式に基づいて水中でのシート光１１０の平面方程式を図７の（３）で説明した手順で算出する（ステップＳ１０）。光経路算出部３４は、シート光１１０の水中における平面方程式を復元部３６へ出力する。 Next, the line-of-sight path calculation unit 33 reads the camera parameters from the storage unit 37, corrects the image acquired from the reflection position detection unit 32, and acquires the position information of the corrected underwater peak position. The line-of-sight path calculation unit 33 uses the corrected position information of the underwater peak position to obtain a linear equation of the camera line-of-sight underwater in the procedure described in (2) of FIG. 7 (step S9). The line-of-sight path calculation unit 33 outputs the linear equation to the restoration unit 36.
The light path calculation unit 34 also reads the sheet light 110 underwater based on the plane equation of the sheet light 110 corresponding to the image currently being analyzed read from the storage unit 37 and the plane equation of the water surface read from the storage unit 37. Is calculated according to the procedure described in (3) of FIG. 7 (step S10). The optical path calculation unit 34 outputs the plane equation of the sheet light 110 in water to the restoration unit 36.

復元部３６は、水中でのカメラの視線直線とシート光１１０の平面の交点の座標情報を算出する（ステップＳ１１）。また、復元部３６は、水中ピーク位置に対応する線の各点に対して同様に座標情報を算出し、シート光１１０と対象物４００の光線の座標情報を求める。次に反射位置検出部３２は、カメラ１０２が撮像した全ての画像に対してステップＳ７〜ステップＳ１１の処理を行ったかどうかを判定する（ステップＳ１２）。全ての画像に対して処理を行っていなければステップＳ７からの処理を繰り返す。全ての画像に対する処理が終了している場合、復元部３６は、算出した複数の交線の座標情報から対象物４００の３次元形状を復元する（ステップＳ１３）。   The restoration unit 36 calculates the coordinate information of the intersection of the line of sight of the camera in water and the plane of the sheet light 110 (step S11). Further, the restoration unit 36 similarly calculates coordinate information for each point of the line corresponding to the underwater peak position, and obtains coordinate information of the sheet light 110 and the light beam of the object 400. Next, the reflection position detection unit 32 determines whether or not the processing in steps S7 to S11 has been performed on all the images captured by the camera 102 (step S12). If all the images have not been processed, the processing from step S7 is repeated. When the processing for all the images has been completed, the restoration unit 36 restores the three-dimensional shape of the object 400 from the calculated coordinate information of the plurality of intersection lines (step S13).

図１０は、本発明に係る第一実施形態における外観計測システムの運用形態の一例を示す図である。
図１０（ａ）は、計測ヘッド１００と対象物４００が共に空気（第一媒質）中に存在する場合の測定の様子を示している。計測ヘッド１００と対象物４００が同じ媒質中に存在し、計測ヘッド１００と対象物４００の間にも光の屈折率の異なる媒質が存在しない場合、走査装置１０１が発した光の形成する平面もカメラ１０２の視線直線も屈折することが無い。従ってそれらの交点を求めることにより対象物４００の表面形状を算出することができる。
図１０（ｂ）は、計測ヘッド１００と対象物４００が共に水（第二媒質）中に存在する場合の測定の様子を示している。この場合、ミラー１０６の角度に対するシート光１１０の平面方程式やカメラの視線直線を水中用に補正することで図１０（ａ）と同様にして対象物４００の表面形状を算出することができる。
図１０（ｃ）は、計測ヘッド１００と対象物４００がそれぞれ異なる媒質中に存在する場合の測定の様子を示している。図８、９を用いて説明した処理フローで対象物４００の表面形状を算出することができる。また、計測ヘッド１００が水中に存在し、対象物４００が空気中に存在する場合にも、図８、９を用いて説明した処理を応用して、対象物４００の表面形状を測定することができる。
外観計測システム１は、これらの運用形態に合わせて例えば、図１０（ａ）のような環境で計測を行う「空気中計測モード」、図１０（ｂ）のような環境で計測を行う「水中計測モード」、図１０（ｃ）のような環境で計測を行う「気中から水中計測モード」の動作モードを備えており、ユーザの指示操作により切り替えることができる。 FIG. 10 is a diagram illustrating an example of an operation mode of the appearance measurement system according to the first embodiment of the present invention.
FIG. 10A shows a state of measurement when the measurement head 100 and the object 400 are both present in the air (first medium). When the measuring head 100 and the target object 400 exist in the same medium, and there is no medium having a different refractive index of light between the measuring head 100 and the target object 400, the plane formed by the light emitted by the scanning device 101 is also present. The line of sight of the camera 102 is also not refracted. Therefore, the surface shape of the object 400 can be calculated by obtaining the intersections thereof.
FIG. 10B shows a state of measurement when the measuring head 100 and the object 400 are both present in water (second medium). In this case, the surface shape of the object 400 can be calculated in the same manner as in FIG. 10A by correcting the plane equation of the sheet light 110 with respect to the angle of the mirror 106 and the line of sight of the camera for underwater use.
FIG. 10C shows a state of measurement when the measurement head 100 and the object 400 are in different media. The surface shape of the object 400 can be calculated by the processing flow described with reference to FIGS. Further, even when the measurement head 100 exists in water and the object 400 exists in the air, the surface shape of the object 400 can be measured by applying the processing described with reference to FIGS. it can.
The appearance measurement system 1 is adapted to these operational forms, for example, “in-air measurement mode” in which measurement is performed in an environment as illustrated in FIG. 10A, and “underwater” in which measurement is performed in an environment as illustrated in FIG. An operation mode of “measurement mode” and “air-to-underwater measurement mode” for measuring in an environment as shown in FIG. 10C is provided, and can be switched by a user's instruction operation.

本実施形態によれば、計測ヘッド１００と対象物４００がそれぞれ同じ媒質中に存在する場合だけではなく、それぞれ異なる媒質中に存在する場合でも対象物４００の表面形状を計測することができる。また、事前に準備した計測ヘッド１００が存在する媒質におけるミラー１０６の走査に用いる角度ごとのシート光１１０の平面方程式、カメラパラメータ、各媒質における光の屈折率の情報を用いて、異なる媒質の境界面の平面方程式を撮像した画像から求めることができるので、計測ヘッド１００と境界面との距離や角度が変化しても対象物の計測を適宜行うことができる。また、計測ヘッド１００だけを計測を行う空間内に挿入できればよいので、原子炉設備内のような制限が多い空間でも計測を行うことができる。また、本実施形態の外観計測システム１は原子炉設備のような高放射線環境下でも使用することができる。   According to the present embodiment, the surface shape of the object 400 can be measured not only when the measurement head 100 and the object 400 are present in the same medium but also when they are present in different media. Further, the boundary between different media is obtained by using the plane equation of the sheet light 110 for each angle used for scanning of the mirror 106 in the medium in which the measurement head 100 prepared in advance, the camera parameters, and the information on the refractive index of light in each medium. Since the plane equation of the surface can be obtained from the imaged image, even if the distance or angle between the measuring head 100 and the boundary surface changes, the object can be measured appropriately. Further, since only the measurement head 100 needs to be inserted into the space for measurement, the measurement can be performed even in a space with many restrictions such as in the reactor facility. Moreover, the appearance measuring system 1 of the present embodiment can be used even in a high radiation environment such as a nuclear reactor facility.

なお、上記では、１種類のシート光を用いて計測を行う場合を例として説明を行ったが、外観計測システム１は、対象物４００の測定用の第一光源と水面検出用の第二光源とを備えた構成としてもよい。対象物４００を計測するためのシート光には水中を透過しやすい波長の光を用い、水面の検出用には、相対的に波長の短い水面で散乱しやすい光を用いる。これにより、水面の位置情報をより正確に把握し、対象物４００の計測精度を向上させることができる。   In the above description, the case where measurement is performed using one type of sheet light has been described as an example. However, the appearance measurement system 1 includes a first light source for measuring the object 400 and a second light source for detecting the water surface. It is good also as a structure provided with. As the sheet light for measuring the object 400, light having a wavelength that easily passes through water is used, and for detecting the water surface, light that is easily scattered on the water surface having a relatively short wavelength is used. Thereby, the positional information on the water surface can be grasped more accurately, and the measurement accuracy of the object 400 can be improved.

また、シート光１１０を走査させながら画像を撮像する一連の工程を繰り返し行い、工程を繰り返すことによって得られた異なる時刻における水面の位置情報の平均を求め、水面の平面方程式を算出する実施形態も考えられる。これにより、水面の波立ちが水面ピーク位置に与える影響を低減し、より正確な水面の平面方程式を算出することができる。
また、シート光１１０の代わりに、例えば、ビーム状の光を、そのビーム状の光が走査方向と垂直な平面を形成するように首振りさせて、対象物４００を照射するようにしてもよい。 In addition, an embodiment in which a series of steps of capturing an image while scanning the sheet light 110 is repeated, an average of water surface position information at different times obtained by repeating the steps, and a plane equation of the water surface is calculated. Conceivable. Thereby, the influence which the ripple of a water surface gives to a water surface peak position can be reduced, and a more exact plane equation of a water surface can be calculated.
Further, instead of the sheet light 110, for example, the object 400 may be irradiated by swinging the beam-shaped light so that the beam-shaped light forms a plane perpendicular to the scanning direction. .

なお上述の画像処理装置３００は内部に、コンピュータシステムを有している。そして、上述した画像処理装置３００における各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒質に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒質とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。   The image processing apparatus 300 described above has a computer system inside. Each process in the image processing apparatus 300 described above is stored in a computer-readable recording medium in the form of a program, and the above-described processing is performed by the computer reading and executing the program. Here, the computer-readable recording medium is a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。   In addition, it is possible to appropriately replace the components in the above-described embodiments with known components without departing from the spirit of the present invention. The technical scope of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.

１・・・外観計測装置
２１・・・シート光走査制御部
２２・・・レーザ装置
２３・・・カメラ制御部
２４・・・パン・チルト機構制御部
３１・・・画像取得部
３２・・・反射位置検出部
３３・・・視線経路算出部
３４・・・光経路算出部
３５・・・境界面検出部
３６・・・復元部
３７・・・記憶部
１００・・・計測ヘッド
１０１・・・走査装置
１０２・・・カメラ
１０３・・・パン・チルト機構装置
１０４・・・支柱板
１０５・・・シート光照射装置
１０６・・・ミラー
２００・・・制御装置
３００・・・画像処理装置 DESCRIPTION OF SYMBOLS 1 ... Appearance measuring device 21 ... Sheet light scanning control part 22 ... Laser apparatus 23 ... Camera control part 24 ... Pan / tilt mechanism control part 31 ... Image acquisition part 32 ... Reflection position detection unit 33 ... Gaze path calculation unit 34 ... Light path calculation unit 35 ... Boundary surface detection unit 36 ... Restore unit 37 ... Storage unit 100 ... Measurement head 101 ... Scanning device 102 ... Camera 103 ... Pan / tilt mechanism device 104 ... Still plate 105 ... Sheet light irradiation device 106 ... Mirror 200 ... Control device 300 ... Image processing device

Claims (5)

第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から照射する平面状の光の光源と、
前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する前記第二媒質中に設置された計測装置と、
前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、
画像処理装置と、
を備え、
前記画像処理装置は、前記撮像装置が前記対象物を撮像した画像を取得する画像取得部と、
前記画像に写し出された前記対象物における前記光の反射位置を検出する反射位置検出部と、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する視線経路算出部と、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する光経路算出部と、
前記撮像装置の光学中心の位置情報と前記画像に写し出された前記境界面における前記光の反射位置とから前記第二媒質における前記境界面への前記視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す前記境界面における反射点の位置情報を算出する境界面検出部と、
を備え、
前記境界面の位置情報を取得する前記所定の方法は、
前記反射位置検出部が、前記境界面おける前記光の反射位置を検出し、
前記境界面検出部が、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い３つ以上の前記反射点の位置情報を算出することにより、前記境界面の位置情報を算出する方法であり、
前記光源が、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、
前記境界面検出部は、前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する、
外観計測システム。 A planar light source that irradiates an object surrounded by the first medium from a second medium having a refractive index different from that of the first medium;
A measuring device installed in the second medium, having a rotatable mirror that reflects light from the light source and irradiates the object with light, and an imaging device that images the object;
A control device that changes the angle of the mirror and scans an object with the light, and issues an imaging instruction to the imaging device;
An image processing device;
With
The image processing device includes an image acquisition unit that acquires an image obtained by capturing the object by the imaging device;
A reflection position detection unit for detecting a reflection position of the light on the object projected on the image;
Based on the position information of the optical center of the image pickup device and the position information of the reflection position, a travel path of the line of sight of the image pickup device from the optical center in the second medium to the object is calculated, and Using the positional information of the boundary surface between the first medium and the second medium obtained by the method and the refractive indexes of the first medium and the second medium, the path of the line of sight in the first medium is determined. A line-of-sight path calculation unit to calculate,
The information indicating the traveling path of the light in the predetermined second medium is acquired, and the first medium is obtained by using the positional information of the boundary surface and the refractive indices of the first medium and the second medium. An optical path calculation unit for calculating a traveling path of the light in
The path of the line of sight to the boundary surface in the second medium is calculated from the position information of the optical center of the imaging device and the reflection position of the light on the boundary surface projected in the image, and the line of sight travels. A boundary surface detection unit that calculates position information of a reflection point on the boundary surface indicated by an intersection of a path and a predetermined traveling path of the light in the second medium;
With
The predetermined method for obtaining the position information of the boundary surface is:
The reflection position detection unit detects the reflection position of the light at the boundary surface;
The boundary surface detection unit calculates positional information of three or more reflection points that are not on the same straight line from an image captured when the object is irradiated with the light at a plurality of different angles. Ri methods der to calculate the position information of the boundary surface,
The light source comprises a first light source that emits light that irradiates the object, and a second light source that emits light having a wavelength shorter than the wavelength of the light emitted by the first light source,
The boundary surface detection unit calculates positional information of the boundary surface based on a traveling path of light emitted from the second light source;
Appearance measurement system. 前記第一媒質における前記光の進行経路と前記視線の進行経路との交点の位置情報を算出する復元部を備え、
前記画像取得部は、前記対象物に異なる角度から前記光を照射して撮像した複数の画像を取得し、
前記復元部は、前記複数の画像について算出した前記交点の位置情報に基づいて前記対象物の３次元形状を復元する
ことを特徴とする請求項１に記載の外観計測システム。 A restoration unit that calculates position information of an intersection point of the traveling path of the light and the traveling path of the line of sight in the first medium;
The image acquisition unit acquires a plurality of images captured by irradiating the object with the light from different angles,
The appearance measurement system according to claim 1, wherein the restoration unit restores a three-dimensional shape of the object based on position information of the intersection calculated for the plurality of images. 前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、
前記境界面検出部が、前記光学中心と前記境界面における反射点とを結ぶ直線と前記境界面とのなす角度の情報を取得し、前記同一直線上に無い３つ以上の反射点の位置情報に代えて、少なくとも１枚の前記画像から得られる２つ以上の前記反射点の位置情報を算出することにより求めた前記光と前記境界面の交線と、前記角度の情報を用いて前記境界面の位置情報を算出する方法である
ことを特徴とする請求項１または請求項２に記載の外観計測システム。 The predetermined method for obtaining positional information of a boundary surface between the first medium and the second medium is:
The boundary surface detection unit acquires information on an angle formed by a straight line connecting the optical center and a reflection point on the boundary surface and the boundary surface, and positional information on three or more reflection points that are not on the same straight line. Instead of using the information on the intersection of the light and the boundary surface obtained by calculating the positional information of two or more reflection points obtained from at least one image, the boundary information is used. The appearance measurement system according to claim 1 or 2, wherein the method is a method of calculating position information of a surface. 第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から照射する平面状の光の光源と、前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する前記第二媒質中に設置された計測装置と、前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、画像処理装置と、を備える外観計測システムによる画像処理方法であって、
前記撮像装置が前記対象物を撮像した画像を取得するステップと、
前記画像に写し出された前記対象物における前記光の反射位置を検出するステップと、
前記撮像装置の光学中心の位置情報と前記画像に写し出された前記第一媒質と前記第二媒質との境界面における前記光の反射位置とから前記第二媒質における前記境界面への、前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す前記境界面における反射点の位置情報を算出するステップと、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記視線の進行経路を算出し、さらに、所定の方法によって取得した前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出するステップと、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出するステップと、
を有し、
前記境界面の位置情報を取得する前記所定の方法は、
前記反射位置を検出するステップで、前記境界面おける前記光の反射位置を検出し、
前記境界面における反射点の位置情報を算出するステップで、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い３つ以上の前記反射点の位置情報を算出することにより、前記境界面の位置情報を算出する方法であり、
前記光源が、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、
前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する、
ことを特徴とする画像処理方法。 A planar light source that irradiates an object surrounded by the first medium from a second medium having a refractive index different from that of the first medium, and reflects light from the light source to the object. A measuring device installed in the second medium having a rotatable mirror for irradiating light and an imaging device for imaging the object, and changing the angle of the mirror to scan the object with the light. However, it is an image processing method by an appearance measurement system comprising a control device that gives an imaging instruction to the imaging device, and an image processing device,
Acquiring an image in which the imaging device imaged the object,
Detecting a reflection position of the light on the object projected on the image;
The optical from the position information of the optical center of the imaging device and the reflection position of the light on the boundary surface between the first medium and the second medium projected on the image to the boundary surface in the second medium The path of travel of the imaging device from the center to the object is calculated, and the reflection point at the boundary surface indicated by the intersection of the path of travel of the line of sight and the path of travel of the light in the predetermined second medium Calculating location information of
Based on the position information of the optical center of the imaging device and the position information of the reflection position, the path of travel of the line of sight in the second medium is calculated, and the position information of the boundary surface acquired by a predetermined method; Using the refractive indexes of the first medium and the second medium to calculate a travel path of the line of sight in the first medium;
The information indicating the traveling path of the light in the predetermined second medium is acquired, and the first medium is obtained by using the positional information of the boundary surface and the refractive indices of the first medium and the second medium. Calculating a traveling path of the light at
Have
The predetermined method for obtaining the position information of the boundary surface is:
Detecting the reflection position of the light at the boundary surface in the step of detecting the reflection position;
In the step of calculating position information of reflection points on the boundary surface, positions of three or more reflection points that are not on the same straight line from an image captured when the light is irradiated onto the object at a plurality of different angles by calculating the information, Ri methods der of calculating the position information of the boundary surface,
The light source comprises a first light source that emits light that irradiates the object, and a second light source that emits light having a wavelength shorter than the wavelength of the light emitted by the first light source,
Calculating positional information of the boundary surface based on a traveling path of light emitted from the second light source;
An image processing method. 第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から照射する平面状の光の光源と、前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する前記第二媒質中に設置された計測装置と、前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、画像処理装置と、を備える外観計測システムのコンピュータを、
前記撮像装置が前記対象物を撮像した画像を取得する手段、
前記画像に写し出された前記対象物における前記光の反射位置を検出する手段、
前記撮像装置の光学中心の位置情報と前記画像に写し出された前記第一媒質と前記第二媒質との境界面における前記光の反射位置とから前記第二媒質における前記境界面への、前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す前記境界面における反射点の位置情報を算出する手段、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記視線の進行経路を算出し、さらに、所定の方法によって取得した前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する手段、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する手段、
として機能させ、
前記境界面の位置情報を取得する前記所定の方法は、
前記反射位置を検出する手段が、前記境界面おける前記光の反射位置を検出し、
前記境界面における反射点の位置情報を算出する手段が、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い３つ以上の前記反射点の位置情報を算出することにより、前記境界面の位置情報を算出するプログラムであって、
前記光源が、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、
前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する、
プログラム。 A planar light source that irradiates an object surrounded by the first medium from a second medium having a refractive index different from that of the first medium, and reflects light from the light source to the object. A measuring device installed in the second medium having a rotatable mirror for irradiating light and an imaging device for imaging the object, and changing the angle of the mirror to scan the object with the light. However, a computer of an appearance measurement system comprising a control device that gives an imaging instruction to the imaging device, and an image processing device ,
It means for obtaining an image the imaging device imaged the object,
Means for detecting a reflection position of the light on the object projected on the image;
The optical from the position information of the optical center of the imaging device and the reflection position of the light on the boundary surface between the first medium and the second medium projected on the image to the boundary surface in the second medium The path of travel of the imaging device from the center to the object is calculated, and the reflection point at the boundary surface indicated by the intersection of the path of travel of the line of sight and the path of travel of the light in the predetermined second medium Means for calculating the position information of
Based on the position information of the optical center of the imaging device and the position information of the reflection position, the path of travel of the line of sight in the second medium is calculated, and the position information of the boundary surface acquired by a predetermined method; Means for calculating a travel path of the line of sight in the first medium using the refractive indexes of the first medium and the second medium;
The information indicating the traveling path of the light in the predetermined second medium is acquired, and the first medium is obtained by using the positional information of the boundary surface and the refractive indices of the first medium and the second medium. Means for calculating a traveling path of the light in
To function as,
The predetermined method for obtaining the position information of the boundary surface is:
Means for detecting the reflection position detects the reflection position of the light at the boundary surface;
Positions of three or more reflection points that are not on the same straight line from an image captured when the light is irradiated on the object at a plurality of different angles, the means for calculating the position information of the reflection points on the boundary surface A program for calculating position information of the boundary surface by calculating information ,
The light source comprises a first light source that emits light that irradiates the object, and a second light source that emits light having a wavelength shorter than the wavelength of the light emitted by the first light source,
Calculating positional information of the boundary surface based on a traveling path of light emitted from the second light source;
program.
JP2014115774A 2014-06-04 2014-06-04 Appearance measurement system, image processing method, and program Active JP6485616B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014115774A JP6485616B2 (en) 2014-06-04 2014-06-04 Appearance measurement system, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014115774A JP6485616B2 (en) 2014-06-04 2014-06-04 Appearance measurement system, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2015230209A JP2015230209A (en) 2015-12-21
JP6485616B2 true JP6485616B2 (en) 2019-03-20

Family

ID=54887057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014115774A Active JP6485616B2 (en) 2014-06-04 2014-06-04 Appearance measurement system, image processing method, and program

Country Status (1)

Country Link
JP (1) JP6485616B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6907566B2 (en) * 2017-02-03 2021-07-21 大日本印刷株式会社 3D shape measuring device and program
JP7075765B2 (en) * 2018-01-25 2022-05-26 広和株式会社 Liquid content measuring device and method
JP2021063708A (en) * 2019-10-11 2021-04-22 国立大学法人京都大学 Shape measurement device, shape measurement method, shape measurement program, and endoscope system
JP6697150B1 (en) * 2019-10-30 2020-05-20 株式会社Ｑｏｎｃｅｐｔ Orbit calculation device, orbit calculation method, orbit calculation program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57147004A (en) * 1981-03-08 1982-09-10 Nippon Telegr & Teleph Corp <Ntt> Method for optical measurement of semiconductor plate dimension
JP2922250B2 (en) * 1990-03-27 1999-07-19 キヤノン株式会社 Shape measuring device
JP2970335B2 (en) * 1993-09-20 1999-11-02 日産自動車株式会社 Shape measuring device
JPH08233535A (en) * 1995-02-24 1996-09-13 Nippon Telegr & Teleph Corp <Ntt> Distance measuring apparatus
JP2000028317A (en) * 1998-07-08 2000-01-28 Omron Corp Optical sensor
AUPS022002A0 (en) * 2002-02-01 2002-02-21 Tenix Lads Corporation Pty Ltd An apparatus and method for the measurement of water depth using a controlled receiver
JP5594923B2 (en) * 2005-12-08 2014-09-24 富士機械製造株式会社 Substrate surface height measuring method and apparatus
DE102007011877A1 (en) * 2007-03-13 2008-09-18 Eppendorf Ag Optical sensor system on a device for the treatment of liquids

Also Published As

Publication number Publication date
JP2015230209A (en) 2015-12-21

Similar Documents

Publication Publication Date Title
JP6579181B2 (en) Image acquisition device
US9602811B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US20170287166A1 (en) Camera calibration method using a calibration target
US8923603B2 (en) Non-contact measurement apparatus and method
CN106595519B (en) A kind of flexible 3 D contour measuring method and device based on laser MEMS projection
US20170160077A1 (en) Method of inspecting an object with a vision probe
JP2020500310A5 (en)
US20170339396A1 (en) System and method for adjusting a baseline of an imaging system with microlens array
JP2013101045A (en) Recognition device and recognition method of three-dimensional position posture of article
JP2010259605A (en) Visual line measuring device and visual line measuring program
US9551570B2 (en) Three dimensional optical sensing through optical media
US20160156899A1 (en) Three-dimensional measurement apparatus and control method for the same
JP2016166815A (en) Object detection device
JP6485616B2 (en) Appearance measurement system, image processing method, and program
JP2016099140A (en) Water bottom observation system
JP2021193400A (en) Method for measuring artefact
van der Lucht et al. Structured-light based 3D laser scanning of semi-submerged structures
JP6614905B2 (en) Three-dimensional measuring apparatus and control method thereof
CN109391758A (en) Sample in sample retainer is imaged
ES2933452T3 (en) Method and device for measuring the local refractive power and/or the distribution of the refractive power of a spectacle lens
JP5533739B2 (en) Optical information reader
US9818021B2 (en) Method for determining a local refractive power and device therefor
JP2006308452A (en) Method and apparatus for measuring three-dimensional shape
CN109073371B (en) Apparatus and method for tilt detection
KR102423217B1 (en) Crack investigation device using 3D distance distribution information of ToF sensor and method of deriving crack information using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6485616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150