JP6722522B2 - Three-dimensional measuring device and control method thereof - Google Patents

Three-dimensional measuring device and control method thereof Download PDF

Info

Publication number
JP6722522B2
JP6722522B2 JP2016126088A JP2016126088A JP6722522B2 JP 6722522 B2 JP6722522 B2 JP 6722522B2 JP 2016126088 A JP2016126088 A JP 2016126088A JP 2016126088 A JP2016126088 A JP 2016126088A JP 6722522 B2 JP6722522 B2 JP 6722522B2
Authority
JP
Japan
Prior art keywords
angle
imaging
measurement
shape data
angles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016126088A
Other languages
Japanese (ja)
Other versions
JP2017227609A (en
Inventor
中務 貴司
貴司 中務
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2016126088A priority Critical patent/JP6722522B2/en
Publication of JP2017227609A publication Critical patent/JP2017227609A/en
Application granted granted Critical
Publication of JP6722522B2 publication Critical patent/JP6722522B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、三次元測定装置及びその制御方法に係り、さらに詳しくは、データ取得時の撮像アングルが互いに異なる複数の三次元形状データを連結してより死角の少ない三次元形状データを生成する三次元測定装置の改良に関する。 The present invention relates to a three-dimensional measuring apparatus and a control method thereof, and more specifically, a third-order method for connecting a plurality of three-dimensional shape data having different imaging angles at the time of data acquisition to generate three-dimensional shape data with less blind spots. Regarding improvement of original measuring device.

三次元測定装置は、測定対象物の立体形状を光学的に測定する測定器であり、三角測距の原理等を利用して三次元形状データが取得される。例えば、ステージ上に載置された測定対象物に対し、縞状のパターン光を投影し、この状態でステージ上の測定対象物がカメラにより撮影される。測定対象物の高さ情報は、撮影画像を解析し、パターンのずれやゆがみ具合から求められる。 The three-dimensional measuring device is a measuring device that optically measures the three-dimensional shape of the measuring object, and three-dimensional shape data is acquired by utilizing the principle of triangulation and the like. For example, the striped pattern light is projected onto the measurement target placed on the stage, and the measurement target on the stage is photographed by the camera in this state. The height information of the object to be measured is obtained from the pattern deviation and the degree of distortion by analyzing the photographed image.

上述した三次元測定装置では、撮影画像に基づいて三次元形状データを取得することから、測定対象物の側面や背面のような死角になっている領域の形状データを取得することができない。また、測定対象物の表面の法線方向とカメラの受光軸とのなす角度が大きくなるほど測定精度が低下する。この様な問題を解決する測定方法として、連結測定法が知られている。連結測定法では、撮像アングルが異なる複数の撮影画像のそれぞれから三次元形状データを求め、これらの三次元形状データを合成することによってより死角の少ない三次元形状データが求められる。 Since the above-described three-dimensional measuring apparatus acquires three-dimensional shape data based on a captured image, it cannot acquire shape data of a blind area such as a side surface or a back surface of a measurement target. Further, the larger the angle formed by the normal line direction of the surface of the measuring object and the light receiving axis of the camera, the lower the measurement accuracy. As a measurement method for solving such a problem, a connection measurement method is known. In the connection measurement method, three-dimensional shape data is obtained from each of a plurality of photographed images having different imaging angles, and these three-dimensional shape data are combined to obtain three-dimensional shape data with a smaller blind spot.

撮像アングルは、カメラと測定対象物との相対的な位置関係に対応し、例えば、ステージを回転させることによって切り替えられ、ステージの回転角としてユーザにより個別に指定される。
Toni F. Schenk, "Remote Sensing and Reconstruction for Three-Dimensional Objects and Scenes", Proceedings of SPIE, Volume 2572, pp. 1-9 (1995) Sabry F. El-Hakim and Armin Gruen, "Videometrics and Optical Methods for 3D Shape Measurement", Proceedings of SPIE, Volume 4309, pp. 219-231 (2001)
The imaging angle corresponds to the relative positional relationship between the camera and the measurement target, and is switched by rotating the stage, for example, and is individually designated by the user as the rotation angle of the stage.
Toni F. Schenk, "Remote Sensing and Reconstruction for Three-Dimensional Objects and Scenes", Proceedings of SPIE, Volume 2572, pp. 1-9 (1995) Sabry F. El-Hakim and Armin Gruen, "Videometrics and Optical Methods for 3D Shape Measurement", Proceedings of SPIE, Volume 4309, pp. 219-231 (2001)

上述した様な従来の三次元測定装置では、複数の撮像アングルを個別に指定しなければならず、連結測定のための設定作業が煩雑であるという問題があった。 In the conventional three-dimensional measuring device as described above, a plurality of imaging angles have to be individually designated, and there is a problem that the setting work for connection measurement is complicated.

また、熟練したオペレータでなければ、連結測定のための各撮像アングルを適切に指定することが容易ではないという問題があった。例えば、連結測定では、隣接する2つの撮影画像間に適切な重複領域が生じている必要があり、この様な重複領域が確保されるように複数の撮像アングルを指定する必要がある。また、測定対象物の一部領域が高精度で測定したい重要領域である場合、複数の撮像アングルの中に、当該重要領域がカメラに略正対するような撮像アングルが含まれている必要がある。この様な条件を満たすように複数の撮像アングルをユーザが指定することは容易ではないという問題があった。 Moreover, there is a problem in that it is not easy for a skilled operator to appropriately specify each imaging angle for connection measurement. For example, in the connection measurement, an appropriate overlapping area needs to occur between two adjacent captured images, and it is necessary to specify a plurality of imaging angles so as to secure such an overlapping area. In addition, when a partial area of the measurement target is an important area that is desired to be measured with high accuracy, it is necessary that the plurality of imaging angles include an imaging angle at which the important area substantially faces the camera. .. There is a problem that it is not easy for the user to specify a plurality of imaging angles so as to satisfy such a condition.

さらに、この様な設定作業を自動化しようとした場合にも、同様の理由により、適切な撮像アングルを指定することが容易ではないという問題があった。例えば、自動的に指定された複数の撮像アングルに、ユーザが希望する重要領域を精度良く測定できる撮像アングルが含まれているか否かが判別できないという問題があった。 Further, even when attempting to automate such setting work, there is a problem that it is not easy to specify an appropriate imaging angle for the same reason. For example, there is a problem in that it is not possible to determine whether or not the plurality of automatically specified imaging angles include imaging angles with which the user can accurately measure the important area.

本発明は、上記の事情に鑑みてなされたものであり、連結測定のための設定作業を簡素化することができる三次元測定装置を提供することを目的とする。特に、連結測定のための撮像アングルを個別に指定することなく、連結測定を行うことができる三次元測定装置を提供することを目的とする。また、自動的に決定された撮像アングルの中に、重要領域を高精度で測定可能な撮像アングルが含まれていることを容易に確認することができる三次元測定装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a three-dimensional measuring device that can simplify setting work for connection measurement. In particular, it is an object of the present invention to provide a three-dimensional measuring device capable of performing connection measurement without individually specifying an imaging angle for connection measurement. Another object of the present invention is to provide a three-dimensional measuring device capable of easily confirming that the automatically determined imaging angle includes an imaging angle capable of measuring an important region with high accuracy. To do.

また、本発明は、上述した様な三次元測定装置の制御方法を提供することを目的とする。 Another object of the present invention is to provide a control method for the above-described coordinate measuring apparatus.

本発明の第1の態様による三次元測定装置は、データ取得時の撮像アングルが互いに異なる複数の三次元形状データを連結して連結形状データを生成する三次元測定装置であって、測定対象物が載置されるステージと、上記ステージ上の上記測定対象物に検出光を照射する投光手段と、上記ステージに対して受光軸が傾斜するように配置され、上記測定対象物により反射された上記検出光を受光して撮影画像を生成する撮像手段と、鉛直方向の回転軸を中心として上記ステージを回転させることにより、上記撮像アングルを切り替える回転駆動手段と、上記撮影画像に基づいて、上記測定対象物の上記三次元形状データを求める形状データ算出手段と、複数の上記撮像アングルを決定し、上記回転駆動手段を制御して上記ステージをいずれかの上記撮像アングルに切り替えた後、上記撮影画像を取得して画面表示するプレビュー制御手段と、上記回転駆動手段を制御して上記ステージを上記複数の撮像アングルに順次に切り替え、各撮像アングルにおける上記撮影画像から求められた上記三次元形状データを上記撮像アングルに基づいて連結し、上記連結形状データを求める測定制御手段と、上記連結形状データに対する位置の指定を受け付けて幾何学的特徴を抽出し、抽出された幾何学的特徴に基づいて、上記測定対象物の形状を測定する形状測定手段とを備える。 A three-dimensional measuring apparatus according to a first aspect of the present invention is a three-dimensional measuring apparatus that connects a plurality of three-dimensional shape data having mutually different imaging angles at the time of data acquisition to generate a connected shape data. On which the stage is mounted, a light projecting means for irradiating the measuring object on the stage with detection light, and a light receiving axis inclined with respect to the stage and reflected by the measuring object. Based on the photographed image, an image pickup unit that receives the detection light to generate a photographed image, a rotation driving unit that switches the image pickup angle by rotating the stage around a rotation axis in the vertical direction, Shape data calculation means for obtaining the three-dimensional shape data of the measurement object and a plurality of the imaging angles are determined, and the rotation driving means is controlled to switch the stage to one of the imaging angles, and then the imaging is performed. The preview control means for acquiring an image and displaying it on the screen, and the rotation drive means for controlling the stage to sequentially switch to the plurality of imaging angles, and the three-dimensional shape data obtained from the captured image at each imaging angle. Is connected based on the imaging angle, measurement control means for obtaining the connected shape data, and geometrical features are extracted by accepting designation of a position for the connected shape data, and based on the extracted geometrical features. And a shape measuring unit that measures the shape of the measurement object.

この様な構成によれば、複数の撮像アングルが自動的に決定されるため、連結測定のための撮像アングルを個別に指定することなく、連結測定を行うことができる。従って、各撮像アングルをユーザがそれぞれ指定する煩雑な作業が不要になり、連結測定のための設定作業を簡素化することができる。 According to such a configuration, since a plurality of imaging angles are automatically determined, it is possible to perform the connection measurement without individually specifying the imaging angles for the connection measurement. Therefore, a complicated work for the user to specify each imaging angle is unnecessary, and the setting work for connection measurement can be simplified.

また、自動的に決定された撮像アングルのいずれかにステージを切り替えて撮影画像が画面表示されるため、自動的に決定された撮像アングルの中に、重要領域を高精度で測定可能な撮像アングルが含まれていることを容易に確認することができる。 In addition, since the captured image is displayed on the screen by switching the stage to one of the automatically determined imaging angles, it is possible to accurately measure the important area within the automatically determined imaging angles. It can be easily confirmed that is included.

本発明の第2の態様による三次元測定装置は、上記構成に加え、撮像アングル範囲の指定を受け付けるアングル情報指定手段を更に備え、上記プレビュー制御手段が、上記撮像アングル範囲内で上記複数の撮像アングルを決定するように構成される。この様な構成によれば、撮像アングル範囲を指定することにより、連結測定を行うことができる。 In addition to the above configuration, the three-dimensional measuring apparatus according to the second aspect of the present invention further includes angle information designating means for accepting designation of an imaging angle range, and the preview control means includes the plurality of imagings within the imaging angle range. Configured to determine the angle. According to such a configuration, the linked measurement can be performed by specifying the imaging angle range.

本発明の第3の態様による三次元測定装置は、上記構成に加え、上記アングル情報指定手段が、複数の注目アングルの指定を受け付け、上記プレビュー制御手段が、上記注目アングル間の回転角に基づいて、補間アングルを指定し、上記複数の注目アングル及び上記補間アングルを含むように上記複数の撮像アングルを決定するように構成される。この様な構成によれば、複数の注目アングルを指定することにより、連結測定を行うことができる。また、撮影画像間に適切な重複領域が生じるように補間アングルを自動的に追加して連結測定が行われるため、三次元形状データに抜けが生じるのを抑制することができる。 In the three-dimensional measuring apparatus according to the third aspect of the present invention, in addition to the above configuration, the angle information designating means accepts designation of a plurality of attention angles, and the preview control means is based on a rotation angle between the attention angles. Then, an interpolation angle is designated, and the plurality of imaging angles are determined so as to include the plurality of attention angles and the interpolation angle. According to such a configuration, it is possible to perform connection measurement by designating a plurality of attention angles. Further, since the interpolated angle is automatically added so that an appropriate overlapping area is generated between the captured images and the connection measurement is performed, it is possible to suppress the omission in the three-dimensional shape data.

本発明の第4の態様による三次元測定装置は、上記構成に加え、上記アングル情報指定手段が、上記撮像アングルの変更を受け付け、上記測定制御手段が、変更後の上記撮像アングルに基づいて、上記ステージの切替を行うように構成される。この様な構成によれば、自動的に決定された撮像アングルを撮影画像の画面表示によって確認した後、ユーザは、重要領域が高精度で測定されるように撮像アングルを変更することができる。 In the three-dimensional measuring apparatus according to the fourth aspect of the present invention, in addition to the above configuration, the angle information designating means accepts a change in the imaging angle, and the measurement control means, based on the imaging angle after the change, The stage is configured to be switched. With such a configuration, after confirming the automatically determined imaging angle by the screen display of the captured image, the user can change the imaging angle so that the important area is measured with high accuracy.

本発明の第5の態様による三次元測定装置は、上記構成に加え、上記アングル情報指定手段が、上記複数の撮像アングルの中からプレビューアングルの指定を受け付け、上記プレビュー制御手段が、上記プレビューアングルとして指定された撮像アングルに切り替えて上記撮影画像を取得するように構成される。この様な構成によれば、ユーザは、連結測定のための複数の撮像アングルの中からプレビューアングルを任意に指定して撮影画像を確認することができる。 In the three-dimensional measuring apparatus according to the fifth aspect of the present invention, in addition to the above configuration, the angle information designating means accepts designation of a preview angle from the plurality of imaging angles, and the preview control means comprises the preview angle. Is configured to acquire the captured image by switching to the imaging angle designated as. According to such a configuration, the user can confirm the captured image by arbitrarily designating the preview angle from the plurality of capturing angles for the connection measurement.

本発明の第6の態様による三次元測定装置は、上記構成に加え、上記投光手段が、上記撮像手段の上記受光軸に対して投光軸が傾斜するように配置された2以上の照明装置からなり、上記プレビュー制御手段が、上記照明装置を順次に点灯させて複数の上記撮影画像を取得し、これらの撮影画像を合成した合成画像を画面表示するとともに、上記複数の撮影画像に基づいて、影領域を検出し、上記合成画像上に重畳して表示するように構成される。この様な構成によれば、ユーザは、高精度で測定したい重要領域について、三次元形状データが得られるか否かを容易に確認することができる。 In the three-dimensional measuring apparatus according to the sixth aspect of the present invention, in addition to the above configuration, two or more illuminations in which the light projecting means is arranged so that the light projecting axis is inclined with respect to the light receiving axis of the image pickup means. The preview control means sequentially lights the lighting device to acquire the plurality of captured images, displays a composite image obtained by combining the captured images on the screen, and based on the plurality of captured images. The shadow area is detected, and the shadow area is superimposed and displayed on the composite image. With such a configuration, the user can easily confirm whether or not the three-dimensional shape data can be obtained for the important region that the user wants to measure with high accuracy.

本発明の第7の態様による三次元測定装置は、上記構成に加え、上記プレビュー制御手段が、受光量が飽和している飽和領域を上記合成画像上に重畳して表示するように構成される。この様な構成によれば、ユーザは、高精度で測定したい重要領域について、三次元形状データが得られるか否かを容易に確認することができる。 In the three-dimensional measuring apparatus according to the seventh aspect of the present invention, in addition to the above configuration, the preview control unit is configured to display a saturated region in which the amount of received light is saturated in an overlapping manner on the composite image. .. With such a configuration, the user can easily confirm whether or not the three-dimensional shape data can be obtained for the important region that the user wants to measure with high accuracy.

本発明の第8の態様による三次元測定装置は、上記構成に加え、ワンショット測定モード及び連結測定モードのいずれかを指定するユーザ操作を受け付ける測定モード指定手段と、測定開始の指示を受け付ける測定指示受付手段とを更に備え、上記測定制御手段が、上記ワンショット測定モードが指定された場合に、上記測定開始の指示受付時における上記ステージの回転位置に対応する撮像アングルで撮像された上記撮影画像を取得して上記三次元形状データを求め、上記連結測定モードが指定された場合に、上記測定開始の指示受付前に決定された上記複数の撮像アングルに順次に切り替え、各撮像アングルで撮像された上記撮影画像を取得して上記連結形状データを求めるように構成される。この様な構成によれば、ユーザは、ワンショット測定モードと連結測定モードとのいずれかを任意に指定して測定を行うことができる。 The three-dimensional measuring apparatus according to an eighth aspect of the present invention is, in addition to the above configuration, a measurement mode designating unit that receives a user operation that designates one of the one-shot measurement mode and the linked measurement mode, and a measurement that receives a measurement start instruction. Further, the measurement control means, when the one-shot measurement mode is designated, further includes an instruction receiving means, and the imaging imaged at an imaging angle corresponding to the rotational position of the stage at the time of receiving the instruction to start the measurement. When an image is acquired and the three-dimensional shape data is obtained, and the connection measurement mode is designated, the plurality of imaging angles determined before the acceptance of the measurement start instruction is sequentially switched, and imaging is performed at each imaging angle. It is configured to obtain the captured image thus obtained and obtain the connection shape data. With such a configuration, the user can arbitrarily specify one of the one-shot measurement mode and the linked measurement mode to perform measurement.

本発明の第9の態様による三次元測定装置は、データ取得時の撮像アングルが互いに異なる複数の三次元形状データを連結して連結形状データを生成する三次元測定装置であって、測定対象物が載置されるステージと、上記ステージ上の上記測定対象物に検出光を照射する投光手段と、上記測定対象物により反射された上記検出光を受光して撮影画像を生成する撮像手段と、上記ステージを水平方向又は鉛直方向に移動させることにより、上記撮像アングルを切り替えるステージ駆動手段と、上記撮影画像に基づいて、上記測定対象物の上記三次元形状データを求める形状データ算出手段と、複数の上記撮像アングルを決定し、上記ステージ駆動手段を制御して上記ステージをいずれかの上記撮像アングルに切り替えた後、上記撮影画像を取得して画面表示するプレビュー制御手段と、上記ステージ駆動手段を制御して上記ステージを上記複数の撮像アングルに順次に切り替え、各撮像アングルにおける上記撮影画像から求められた上記三次元形状データを上記撮像アングルに基づいて連結し、上記連結形状データを求める測定制御手段と、上記連結形状データに対する位置の指定を受け付けて幾何学的特徴を抽出し、抽出された幾何学的特徴に基づいて、上記測定対象物の形状を測定する形状測定手段とを備える。 A three-dimensional measuring apparatus according to a ninth aspect of the present invention is a three-dimensional measuring apparatus that connects a plurality of three-dimensional shape data having different imaging angles at the time of data acquisition to generate connected shape data, A stage on which is mounted, a light projecting unit that irradiates the measurement target on the stage with detection light, and an imaging unit that receives the detection light reflected by the measurement target and generates a captured image. A stage driving unit that switches the imaging angle by moving the stage in a horizontal direction or a vertical direction; and a shape data calculating unit that obtains the three-dimensional shape data of the measurement object based on the captured image. A preview control unit that determines a plurality of the imaging angles, controls the stage driving unit to switch the stage to one of the imaging angles, then acquires the captured image and displays it on the screen, and the stage driving unit. Control to sequentially switch the stages to the plurality of imaging angles, connect the three-dimensional shape data obtained from the captured images at each imaging angle based on the imaging angles, and obtain the connected shape data. The control unit includes a control unit and a shape measuring unit that receives a designation of a position with respect to the connected shape data, extracts a geometric feature, and measures the shape of the measurement object based on the extracted geometric feature.

本発明の第10の態様による三次元測定装置の制御方法は、データ取得時の撮像アングルが互いに異なる複数の三次元形状データを連結して連結形状データを生成する三次元測定装置の制御方法であって、ステージ上に載置された測定対象物に検出光を照射する投光ステップと、上記測定対象物により反射された上記検出光を受光して撮影画像を生成する撮像ステップと、鉛直方向の回転軸を中心として上記ステージを回転させることにより、上記撮像アングルを切り替えるアングル切替ステップと、上記撮影画像に基づいて、上記測定対象物の上記三次元形状データを求める形状データ算出ステップと、複数の上記撮像アングルを決定し、上記ステージをいずれかの上記撮像アングルに切り替えた後、上記撮影画像を取得して画面表示するプレビューステップと、上記ステージを上記複数の撮像アングルに順次に切り替え、各撮像アングルにおける上記撮影画像から求められた上記三次元形状データを上記撮像アングルに基づいて連結し、上記連結形状データを求める測定制御ステップと、上記連結形状データに対する位置の指定を受け付けて幾何学的特徴を抽出し、抽出された幾何学的特徴に基づいて、上記測定対象物の形状を測定する形状測定ステップとを備える。 A control method of a three-dimensional measuring apparatus according to a tenth aspect of the present invention is a control method of a three-dimensional measuring apparatus for connecting a plurality of three-dimensional shape data having different imaging angles at the time of data acquisition to generate connected shape data. Then, a light projecting step of irradiating the measurement object placed on the stage with the detection light, an imaging step of receiving the detection light reflected by the measurement object to generate a captured image, and a vertical direction. An angle switching step of switching the imaging angle by rotating the stage about the rotation axis of the, and a shape data calculation step of obtaining the three-dimensional shape data of the measurement object based on the captured image, After determining the imaging angle of, and switching the stage to one of the imaging angles, a preview step of acquiring the captured image and displaying it on the screen, and sequentially switching the stage to the plurality of imaging angles, The measurement control step of connecting the three-dimensional shape data obtained from the captured image at the imaging angle based on the imaging angle and obtaining the connected shape data, and accepting the designation of the position for the connected shape data to geometrically A shape measuring step of extracting a feature and measuring the shape of the measurement object based on the extracted geometric feature.

本発明によれば、連結測定のための設定作業を簡素化することができる。特に、複数の撮像アングルが自動的に決定されるため、連結測定のための撮像アングルを個別に指定することなく、連結測定を行うことができる。また、自動的に決定された撮像アングルのいずれかにステージを切り替えて撮影画像が画面表示されるため、自動的に決定された撮像アングルの中に、重要領域を高精度で測定可能な撮像アングルが含まれていることを容易に確認することができる。 According to the present invention, setting work for connection measurement can be simplified. In particular, since a plurality of image pickup angles are automatically determined, the joint measurement can be performed without individually specifying the image pickup angles for the joint measurement. In addition, since the captured image is displayed on the screen by switching the stage to one of the automatically determined imaging angles, it is possible to accurately measure the important area within the automatically determined imaging angles. It can be easily confirmed that is included.

本発明の実施の形態による三次元測定装置1の一構成例を示したシステム図である。It is a system diagram showing an example of 1 composition of three-dimensional measuring device 1 by an embodiment of the invention. 図1の測定部2の一構成例を模式的に示した説明図である。It is explanatory drawing which showed typically an example of 1 structure of the measurement part 2 of FIG. 三次元測定装置1における寸法測定時の動作の一例を示したフローチャートである。6 is a flowchart showing an example of an operation at the time of dimension measurement in the three-dimensional measuring apparatus 1. 図3のステップS101(投光照明の明るさ調整)について、詳細動作の一例を示したフローチャートである。4 is a flowchart showing an example of detailed operations regarding step S101 (brightness adjustment of floodlight) of FIG. 3. 図3のステップS102(テクスチャ照明の明るさ調整)について、詳細動作の一例を示したフローチャートである。4 is a flowchart showing an example of detailed operation regarding step S102 (brightness adjustment of texture illumination) in FIG. 3. 図3のステップS113(データ解析)について、詳細動作の一例を示したフローチャートである。4 is a flowchart showing an example of detailed operation regarding step S113 (data analysis) in FIG. 3. 図1の情報処理端末5内の機能構成の一例を示したブロック図である。FIG. 2 is a block diagram showing an example of a functional configuration in information processing terminal 5 in FIG. 1. 図7の情報処理端末5の動作の一例を示した図であり、表示部51に表示される測定設定画面6が示されている。FIG. 8 is a diagram showing an example of the operation of the information processing terminal 5 in FIG. 7, in which a measurement setting screen 6 displayed on the display unit 51 is shown. 図7の情報処理端末5の動作の一例を示した図であり、撮像アングル範囲RKをアングル設定円68上で指定する場合が示されている。FIG. 8 is a diagram showing an example of an operation of the information processing terminal 5 in FIG. 7, showing a case where the imaging angle range RK is designated on the angle setting circle 68. 図7の情報処理端末5の動作の一例を示した図であり、補間アングルCAが終了アングル(終了位置EP)に近い場合が示されている。FIG. 8 is a diagram showing an example of the operation of the information processing terminal 5 in FIG. 7, and shows a case where the interpolation angle CA is close to the end angle (end position EP). 図7の情報処理端末5の動作の一例を示した図であり、注目アングルをアングル設定円68上で指定する場合が示されている。FIG. 8 is a diagram showing an example of an operation of the information processing terminal 5 in FIG. 7, and shows a case where the attention angle is designated on the angle setting circle 68. 図7の情報処理端末5における連結測定時の動作の一例を示したフローチャートである。8 is a flowchart showing an example of an operation at the time of connection measurement in the information processing terminal 5 in FIG. 7.

まず、本発明による三次元測定装置の概略構成について、図1〜図6を用いて以下に説明する。 First, the schematic configuration of the three-dimensional measuring apparatus according to the present invention will be described below with reference to FIGS.

<三次元測定装置1>
図1は、本発明の実施の形態による三次元測定装置1の一構成例を示したシステム図である。この三次元測定装置1は、測定対象物Wの立体形状を光学的に測定する測定器であり、測定部2、コントローラ4及び情報処理端末5により構成される。
<3D measuring device 1>
FIG. 1 is a system diagram showing a configuration example of a coordinate measuring apparatus 1 according to an embodiment of the present invention. The three-dimensional measuring device 1 is a measuring device that optically measures the three-dimensional shape of the measuring object W, and includes a measuring unit 2, a controller 4, and an information processing terminal 5.

<測定部2>
測定部2は、ステージ21上の測定対象物Wに可視光からなる検出光を照射し、測定対象物Wにより反射された検出光を受光して撮影画像を生成するヘッドユニットであり、ステージ21、回転駆動部22、撮像部23、投光部24、テクスチャ照明出射部25及び制御基板26により構成される。この測定部2は、ステージ21、撮像部23、投光部24及びテクスチャ照明出射部25が一体型の筐体に搭載される。
<Measurement unit 2>
The measurement unit 2 is a head unit that irradiates the measurement target W on the stage 21 with detection light composed of visible light and receives the detection light reflected by the measurement target W to generate a captured image. The rotation driving unit 22, the image pickup unit 23, the light projecting unit 24, the texture illumination emitting unit 25, and the control board 26. The measuring unit 2 has a stage 21, an imaging unit 23, a light projecting unit 24, and a texture illumination emitting unit 25 mounted in an integrated housing.

ステージ21は、測定対象物Wを載置するための水平かつ平坦な載置面を有する作業台である。このステージ21は、円板状のステージプレート211と、ステージプレート211を支持するステージベース212とにより構成される。 The stage 21 is a work table having a horizontal and flat mounting surface for mounting the measurement target W. The stage 21 includes a disc-shaped stage plate 211 and a stage base 212 that supports the stage plate 211.

ステージプレート211は、中央付近で折り曲げて固定することができ、測定対象物Wを撮像部23に正対させるための傾斜台として機能させることができる。回転駆動部22は、ステージ21上の測定対象物Wに対する撮像アングルを調整するために、鉛直方向の回転軸を中心としてステージ21を回転させる。 The stage plate 211 can be bent and fixed in the vicinity of the center, and can function as an inclined table for directly facing the measurement target W to the image capturing unit 23. The rotation drive unit 22 rotates the stage 21 about the vertical rotation axis in order to adjust the imaging angle of the measurement target W on the stage 21.

撮像部23は、ステージ21上の測定対象物Wを撮影する固定倍率のカメラであり、受光レンズ231及び撮像素子232により構成される。撮像素子232は、受光レンズ231を介して測定対象物Wからの検出光を受光し、撮影画像を生成する。撮像素子232には、例えば、CCD(Charge Coupled Devices:電荷結合素子)、CMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化物半導体)などのイメージセンサが用いられる。この撮像素子232は、例えば、モノクロイメージセンサである。 The image capturing unit 23 is a fixed-magnification camera that captures the measurement target W on the stage 21, and includes a light receiving lens 231 and an image capturing element 232. The image sensor 232 receives the detection light from the measurement object W via the light receiving lens 231, and generates a captured image. As the image sensor 232, for example, an image sensor such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor) is used. The image sensor 232 is, for example, a monochrome image sensor.

投光部24は、ステージ21上の測定対象物Wに検出光を照射する照明装置であり、投光用光源241、コレクタレンズ242、パターン生成ユニット243及び投光レンズ244により構成される。投光用光源241には、例えば、単色の検出光を生成するLED(発光ダイオード)又はハロゲンランプが用いられる。色収差補正等が容易であることから、白色光源を用いる場合に比べ、単色の投光用光源241を用いる方が有利である。また、波長は短い方が三次元形状データの解像度を上げるのに有利であることから、青色の光源、例えば、青色LEDを投光用光源241として用いることが好ましい。ただし、撮像素子232が良好なS/Nで受光することができる波長が選択される。 The light projecting unit 24 is an illuminating device that irradiates the measuring object W on the stage 21 with detection light, and includes a light source 241, a collector lens 242, a pattern generation unit 243, and a light projecting lens 244. As the light source 241 for projecting light, for example, an LED (light emitting diode) or a halogen lamp that generates monochromatic detection light is used. Since it is easy to correct chromatic aberration and the like, it is more advantageous to use the monochromatic light emitting source 241 than to use a white light source. Since a shorter wavelength is more advantageous for increasing the resolution of the three-dimensional shape data, it is preferable to use a blue light source, for example, a blue LED as the light projecting light source 241. However, a wavelength that allows the image sensor 232 to receive light with a good S/N is selected.

なお、単色の投光用光源241を使用する場合、撮像素子232がカラーイメージセンサであれば、RGの受光素子が利用できないため、Bの受光素子のみの利用となり、利用できる画素数が減ることになる。従って、画素サイズや画素数をそろえた場合、撮像素子232には、モノクロイメージセンサを用いる方が有利である。 When the light source 241 for projecting light of a single color is used, if the image sensor 232 is a color image sensor, the light receiving element of RG cannot be used. Therefore, only the light receiving element of B is used, and the number of usable pixels is reduced. become. Therefore, when the pixel size and the number of pixels are made uniform, it is more advantageous to use a monochrome image sensor for the image sensor 232.

投光用光源241から出射された検出光は、コレクタレンズ242を介してパターン生成ユニット243に入射する。そして、パターン生成ユニット243から出射された検出光は、投光レンズ244を介してステージ21上の測定対象物Wに照射される。 The detection light emitted from the light source 241 for projecting is incident on the pattern generation unit 243 via the collector lens 242. Then, the detection light emitted from the pattern generation unit 243 is applied to the measuring object W on the stage 21 via the light projecting lens 244.

パターン生成ユニット243は、構造化照明用のパターン光を生成するための装置であり、均一な検出光と、二次元パターンからなる検出光とを切り替えることができる。パターン生成ユニット243には、例えば、DMD(Digital Micromirror Device)又は液晶パネルが用いられる。DMDは、多数の微小なミラーが2次元状に整列配置され、各ミラーの傾きを制御することにより、画素ごとに明状態と暗状態とを切り替えることができる表示素子である。 The pattern generation unit 243 is a device for generating pattern light for structured illumination, and can switch between uniform detection light and detection light having a two-dimensional pattern. For the pattern generation unit 243, for example, a DMD (Digital Micromirror Device) or a liquid crystal panel is used. The DMD is a display element in which a large number of minute mirrors are arranged two-dimensionally and the tilt state of each mirror is controlled to switch between a bright state and a dark state for each pixel.

三角測距の原理を利用して測定対象物Wの立体形状を測定するための構造化照明法には、正弦波位相シフト法、マルチスリット法、空間コード法等がある。正弦波位相シフト法は、測定対象物Wに正弦波状の縞パターンを投影し、正弦波の周期よりも短いピッチで縞パターンを移動させるごとに撮影画像を取得する照明法である。各撮影画像の輝度値から各画素における位相値を求めて高さ情報に変換することにより、三次元形状データが求められる。 The structured illumination method for measuring the three-dimensional shape of the measuring object W using the principle of triangulation includes a sine wave phase shift method, a multi-slit method, a spatial code method, and the like. The sine wave phase shift method is an illumination method in which a sine wave-shaped stripe pattern is projected on the measurement target W and a captured image is acquired every time the stripe pattern is moved at a pitch shorter than the cycle of the sine wave. The three-dimensional shape data is obtained by obtaining the phase value in each pixel from the brightness value of each captured image and converting it into height information.

マルチスリット法は、測定対象物Wに細線状の縞パターンを投影し、縞と縞との間隔よりも狭いピッチで縞パターンを移動させるごとに撮影画像を取得する照明法である。各撮影画像の輝度値から各画素における最大輝度の撮影タイミングを求めて高さ情報に変換することにより、三次元形状データが求められる。 The multi-slit method is an illumination method in which a thin line-shaped stripe pattern is projected on the measurement object W and a captured image is acquired every time the stripe pattern is moved at a pitch narrower than the interval between stripes. The three-dimensional shape data is obtained by obtaining the photographing timing of the maximum luminance in each pixel from the luminance value of each photographed image and converting it to height information.

空間コード法は、測定対象物Wに対し、白黒のデューティ比が50%であり、パターン幅が異なる複数の縞パターンを順次に投影し、撮影画像を取得する照明法である。各撮影画像の輝度値から各画素におけるコード値を求めて高さ情報に変換することにより、三次元形状データが求められる。 The space code method is an illumination method in which a plurality of striped patterns having a black-and-white duty ratio of 50% and different pattern widths are sequentially projected onto a measurement target W and a captured image is acquired. The three-dimensional shape data is obtained by obtaining the code value in each pixel from the brightness value of each captured image and converting it to height information.

パターン生成ユニット243では、上述した縞パターンを二次元パターンとして生成することができる。この三次元測定装置1では、マルチスリット法と空間コード法とを組み合わせることにより、高分解能かつ高精度に三次元形状データが取得される。 The pattern generation unit 243 can generate the above-mentioned striped pattern as a two-dimensional pattern. In this three-dimensional measuring apparatus 1, by combining the multi-slit method and the spatial code method, three-dimensional shape data can be acquired with high resolution and high accuracy.

また、この三次元測定装置1では、撮像部23を挟んで2つの投光部24が左右対称に配置されている。各投光部24の投光軸J2及びJ3は、三角測距の原理を利用するために、撮像部23の受光軸J1に対して傾斜している。この投光部24では、投光用光源241、コレクタレンズ242及びパターン生成ユニット243の光軸に対し、投光レンズ244を受光軸J1側にオフセットさせることにより、投光軸J2及びJ3を傾斜させている。この様な構成を採用することにより、投光部24全体を傾斜させる場合に比べ、測定部2を小型化することができる。 In addition, in the three-dimensional measuring apparatus 1, the two light projecting units 24 are arranged symmetrically with the image capturing unit 23 interposed therebetween. The light projecting axes J2 and J3 of each light projecting section 24 are inclined with respect to the light receiving axis J1 of the image capturing section 23 in order to use the principle of triangulation. In the light projecting unit 24, the light projecting lenses 244, the collector lens 242, and the pattern generating unit 243 are offset from the light projecting lens 244 toward the light receiving axis J1 to tilt the light projecting axes J2 and J3. I am making it. By adopting such a configuration, the measuring unit 2 can be downsized as compared with the case where the entire light projecting unit 24 is tilted.

テクスチャ照明出射部25は、測定対象物Wの色や模様を表面テクスチャ情報として検知するための可視光からなる均一な照明光をステージ21上の測定対象物Wに向けて出射する。このテクスチャ照明出射部25は、投光軸が撮像部23の受光軸J1と略平行であり、撮像部23の受光レンズ231を取り囲むように配置される。このため、投光部24からの照明と比べて測定対象物W上での影ができにくく、撮影時の死角が少なくなる。 The texture illumination emitting unit 25 emits uniform illumination light, which is visible light, for detecting the color or pattern of the measurement target W as surface texture information toward the measurement target W on the stage 21. The texture illumination emitting unit 25 has a projection axis substantially parallel to the light receiving axis J1 of the image capturing unit 23, and is arranged so as to surround the light receiving lens 231 of the image capturing unit 23. Therefore, as compared with the illumination from the light projecting unit 24, a shadow is less likely to be formed on the measurement target W, and the blind spot at the time of photographing is reduced.

制御基板26は、回転駆動部22を制御する制御回路、投光部24の投光用光源241及びパターン生成ユニット243を駆動する駆動回路、撮像部23の撮像素子232からの検出信号を処理する処理回路等が設けられた回路基板である。 The control board 26 processes a control circuit for controlling the rotation drive unit 22, a drive circuit for driving the light source 241 for projecting light of the light projecting unit 24 and a pattern generating unit 243, and a detection signal from the image sensor 232 of the image capturing unit 23. A circuit board provided with a processing circuit and the like.

コントローラ4は、測定部2用の制御装置であり、テクスチャ照明用の照明光を生成するテクスチャ光源41と、テクスチャ光源41用の駆動回路等が設けられた制御基板42と、測定部2内の各デバイスに電力を供給する電源43とにより構成される。テクスチャ光源41は、撮影画像からカラーのテクスチャ画像が得られるようにするために、例えば、R(赤)、G(緑)、B(青)の各色の照明光を順次に点灯する。撮像素子232がモノクロイメージセンサであることから、テクスチャ光源41に白色光源を用いてテクスチャ情報を取得する場合、カラー情報を取得することができない。このため、テクスチャ光源41ではRGBを切り替えて照明している。 The controller 4 is a control device for the measurement unit 2, and includes a texture light source 41 that generates illumination light for texture illumination, a control board 42 provided with a drive circuit for the texture light source 41, and the like in the measurement unit 2. It is configured by a power source 43 that supplies power to each device. The texture light source 41 sequentially turns on illumination light of each color of R (red), G (green), and B (blue) in order to obtain a color texture image from a captured image. Since the image sensor 232 is a monochrome image sensor, color information cannot be acquired when texture information is acquired using a white light source as the texture light source 41. Therefore, the texture light source 41 illuminates by switching RGB.

なお、モノクロのテクスチャ画像で十分な場合は、テクスチャ光源41に白色光源、例えば、白色LEDを用い、或いは、RGBの単色光を同時に照射する光源を用いても良い。また、測定精度の低下をある程度許容する場合には、撮像素子232にカラーイメージセンサを用いても良い。照明光は、ライトガイド3を介して測定部2のテクスチャ照明出射部25に伝送される。制御基板42及び電源43は、測定部2の制御基板26に接続されている。 If a monochrome texture image is sufficient, a white light source such as a white LED may be used as the texture light source 41, or a light source that simultaneously emits RGB monochromatic light may be used. A color image sensor may be used as the image sensor 232 when the decrease in measurement accuracy is allowed to some extent. The illumination light is transmitted to the texture illumination emitting unit 25 of the measuring unit 2 via the light guide 3. The control board 42 and the power supply 43 are connected to the control board 26 of the measuring unit 2.

情報処理端末5は、測定部2を制御し、撮影画像の画面表示、寸法測定のための設定情報の登録、三次元形状テータの生成、測定対象部Wの寸法算出等を行う端末装置であり、表示部51、キーボード52及びマウス53が接続されている。表示部51は、撮影画像や設定情報を画面に表示するモニタ装置である。キーボード52及びマウス53は、ユーザが操作入力を行う入力装置である。この情報処理端末は、例えば、パーソナルコンピュータであり、測定部2の制御基板26に接続されている。 The information processing terminal 5 is a terminal device that controls the measuring unit 2 to display a captured image on the screen, register setting information for dimension measurement, generate a three-dimensional shape data, calculate the dimension of the measurement target portion W, and the like. , A display unit 51, a keyboard 52 and a mouse 53 are connected. The display unit 51 is a monitor device that displays captured images and setting information on the screen. The keyboard 52 and the mouse 53 are input devices with which the user inputs operations. The information processing terminal is, for example, a personal computer, and is connected to the control board 26 of the measuring unit 2.

図2は、図1の測定部2の一構成例を模式的に示した説明図である。この測定部2は、撮影倍率が互いに異なる2つの撮像部23a及び23bを備え、ステージ21と撮像部23a及び23bとの相対的な位置関係が変化しないようにベース筐体27に取り付けられている。このため、ステージ21の回転角が互いに異なる複数の撮影画像の連結合成が容易である。 FIG. 2 is an explanatory diagram schematically showing a configuration example of the measuring unit 2 in FIG. The measuring unit 2 includes two image capturing units 23a and 23b having different photographing magnifications, and is attached to the base housing 27 so that the relative positional relationship between the stage 21 and the image capturing units 23a and 23b does not change. .. For this reason, it is easy to combine and combine a plurality of captured images having different rotation angles of the stage 21.

撮像部23aは、低倍率の撮像部23である。撮像部23bは、撮像部23aよりも高倍率の撮像部23である。撮像部23a及び23bは、測定対象物全体の三次元形状データが得られるようにするために、いずれもステージ21に対して受光軸J11及びJ12が傾斜するように配置されている。 The imaging unit 23a is a low-magnification imaging unit 23. The imaging unit 23b is an imaging unit 23 having a higher magnification than the imaging unit 23a. The imaging units 23a and 23b are both arranged such that the light receiving axes J11 and J12 are inclined with respect to the stage 21 in order to obtain three-dimensional shape data of the entire measurement target.

例えば、ステージ21に対する受光軸J11及びJ12の傾斜角は、45°程度である。また、撮像部23bは、焦点位置FPがステージ21の回転軸J4上において撮像部23aの焦点位置FPよりも下側となるように、撮像部23aの下方に配置され、受光軸J12は、受光軸J11と略平行である。 For example, the inclination angle of the light receiving axes J11 and J12 with respect to the stage 21 is about 45°. The image pickup unit 23b is arranged below the image pickup unit 23a so that the focus position FP is below the focus position FP of the image pickup unit 23a on the rotation axis J4 of the stage 21, and the light receiving axis J12 receives the light. It is substantially parallel to the axis J11.

この様な構成を採用することにより、撮像部23aの測定可能領域R1と撮像部23bの測定可能領域R2とをステージ21上に適切に形成することができる。測定可能領域R1及びR2は、いずれもステージ21の回転軸J4を中心とする円柱状の領域であり、測定可能領域R2は、測定可能領域R1内に形成される。 By adopting such a configuration, the measurable region R1 of the imaging unit 23a and the measurable region R2 of the imaging unit 23b can be appropriately formed on the stage 21. The measurable regions R1 and R2 are both columnar regions centered on the rotation axis J4 of the stage 21, and the measurable region R2 is formed in the measurable region R1.

図3のステップS101〜S113は、三次元測定装置1における寸法測定時の動作の一例を示したフローチャートである。まず、三次元測定装置1は、ステージ21上に載置された測定対象物Wを撮像部23により撮影して撮影画像を表示部51に表示し、投光照明の明るさ調整を行う(ステップS101)。この明るさ調整は、投光部24から均一な検出光を照射し、或いは、パターン光を照射して行われる。 Steps S<b>101 to S<b>113 of FIG. 3 are a flowchart showing an example of the operation of the coordinate measuring apparatus 1 at the time of dimension measurement. First, the three-dimensional measuring apparatus 1 photographs the measuring object W placed on the stage 21 by the image pickup unit 23, displays the photographed image on the display unit 51, and adjusts the brightness of the floodlight (step). S101). This brightness adjustment is performed by emitting uniform detection light from the light projecting unit 24 or irradiating pattern light.

次に、三次元測定装置1は、テクスチャ照明に切り替えて撮影画像を取得し、表示部51に表示してテクスチャ照明の明るさ調整を行う(ステップS102)。この明るさ調整は、テクスチャ照明出射部25からR(赤)、G(緑)、B(青)の各色の照明光を順次に照射し、或いは、同時に照射して行われる。ステップS101とステップS102とは、順序を入れ替えても良い。 Next, the three-dimensional measuring apparatus 1 switches to texture illumination, acquires a captured image, displays it on the display unit 51, and adjusts the brightness of texture illumination (step S102). This brightness adjustment is performed by irradiating the texture illumination emitting section 25 with illumination light of each color of R (red), G (green), and B (blue) sequentially or simultaneously. The order of step S101 and step S102 may be interchanged.

三次元測定装置1は、照明条件が確定されるまで、ステップS101及びS102の処理手順を繰り返し、照明条件の確定後、ユーザにより測定開始が指示されれば(ステップS103)、投光部24からパターン光を投影し(ステップS104)、パターン画像を取得する(ステップS105)。このパターン画像は、ステージ21上の測定対象物Wが撮影された撮影画像である。パターン光の投影及び撮影画像の取得は、パターン生成ユニット243と撮像部23とを同期させて行われる。 The three-dimensional measuring apparatus 1 repeats the processing procedure of steps S101 and S102 until the illumination condition is determined, and after the illumination condition is determined, if the user gives an instruction to start the measurement (step S103), the light projecting unit 24 outputs. Pattern light is projected (step S104), and a pattern image is acquired (step S105). This pattern image is a captured image of the measuring object W on the stage 21. The projection of the pattern light and the acquisition of the captured image are performed by synchronizing the pattern generation unit 243 and the imaging unit 23.

次に、三次元測定装置1は、テクスチャ照明に切り替えてテクスチャ画像を取得する(ステップS106,S107)。このテクスチャ画像は、R(赤)、G(緑)、B(青)の各色の照明光を順次に照射させて取得された複数の撮影画像を合成することによって得られる。連結測定時には、ステージ21を予め指定された複数の撮像アングルに順次に切り替えながら、ステップS104からステップS107までの処理手順が繰り返される(ステップS108)。 Next, the coordinate measuring apparatus 1 switches to texture illumination and acquires a texture image (steps S106 and S107). This texture image is obtained by sequentially irradiating R (red), G (green), and B (blue) illumination lights of different colors to synthesize a plurality of captured images. At the time of connection measurement, the processing procedure from step S104 to step S107 is repeated while sequentially switching the stage 21 to a plurality of imaging angles designated in advance (step S108).

次に、三次元測定装置1は、ステップS105において取得されたパターン画像を所定の計測アルゴリズムにより解析し、三次元形状データを生成する(ステップS109)。この三次元形状データの生成ステップでは、撮像アングルが異なる複数の撮影画像から求めた三次元形状データが必要に応じて合成される。そして、三次元測定装置1は、生成された三次元形状データにテクスチャ画像をマッピングし(ステップS110)、測定対象物Wの立体形状として表示部51に表示する(ステップS111)。 Next, the three-dimensional measuring apparatus 1 analyzes the pattern image acquired in step S105 by a predetermined measurement algorithm to generate three-dimensional shape data (step S109). In the step of generating the three-dimensional shape data, the three-dimensional shape data obtained from a plurality of captured images with different imaging angles are combined as necessary. Then, the three-dimensional measuring apparatus 1 maps the texture image on the generated three-dimensional shape data (step S110) and displays it on the display unit 51 as the three-dimensional shape of the measurement object W (step S111).

三次元測定装置1は、所望の測定箇所について、三次元形状データが得られるまで、撮像アングルや撮影条件等を変更しながらステップS101からステップS111までの処理手順を繰り返し(ステップS112)、所望のデータが得られ、ユーザによりデータ解析が指示されれば、寸法測定用のアプリケーションプログラムにより、三次元形状データのデータ解析を行い、測定対象物Wの寸法を算出する(ステップS113)。 The three-dimensional measuring apparatus 1 repeats the processing procedure from step S101 to step S111 while changing the imaging angle, the imaging condition, and the like until the three-dimensional shape data is obtained for the desired measurement location (step S112). When the data is obtained and the user instructs the data analysis, the dimension measurement application program analyzes the data of the three-dimensional shape data and calculates the dimension of the measurement object W (step S113).

図4のステップS201〜S211は、図3のステップS101(投光照明の明るさ調整)について、詳細動作の一例を示したフローチャートであり、三次元測定装置1の動作が示されている。まず、三次元測定装置1は、左側の投光部24を点灯し(ステップS201)、ユーザによる明るさの調整を受け付ける(ステップS202)。 Steps S201 to S211 in FIG. 4 are flowcharts showing an example of detailed operation regarding step S101 (brightness adjustment of the floodlight) in FIG. 3, and the operation of the coordinate measuring apparatus 1 is shown. First, the three-dimensional measuring apparatus 1 turns on the left light projecting unit 24 (step S201), and accepts the brightness adjustment by the user (step S202).

次に、三次元測定装置1は、ユーザによる撮影倍率の選択を受け付け、撮影倍率が変更されれば、対応する撮像部23に切り替える(ステップS203)。このとき、三次元測定装置1は、所望の測定箇所に照明が当たっていなければ、ユーザ操作に基づいてステージ21を回転させることにより、測定対象物Wの位置及び姿勢の調整を行う(ステップS204,S205)。位置及び姿勢の調整は、左右の投光部24を同時に点灯させて行っても良い。 Next, the coordinate measuring apparatus 1 receives the selection of the photographing magnification by the user, and when the photographing magnification is changed, switches to the corresponding imaging unit 23 (step S203). At this time, the three-dimensional measuring apparatus 1 adjusts the position and orientation of the measuring object W by rotating the stage 21 based on a user operation if the desired measurement location is not illuminated (step S204). , S205). The position and orientation may be adjusted by turning on the left and right light projecting portions 24 at the same time.

そして、三次元測定装置1は、測定箇所の明るさが適切でなければ、ユーザによる明るさの調整を再度受け付ける(ステップS206,S207)。三次元測定装置1は、ユーザにより設定終了が指示されるまで、ステップS203からステップS207までの処理手順を繰り返す(ステップS208)。 Then, the three-dimensional measuring apparatus 1 accepts the brightness adjustment by the user again if the brightness of the measurement location is not appropriate (steps S206 and S207). The coordinate measuring apparatus 1 repeats the processing procedure from step S203 to step S207 until the user instructs the end of setting (step S208).

次に、三次元測定装置1は、ユーザにより設定終了が指示されれば、ユーザにより指定された照明条件を設定情報として登録し、右側の投光部24に切り替えて(ステップS209)、ユーザによる明るさの調整を受け付ける(ステップS210)。三次元測定装置1は、ユーザにより設定終了が指示されるまで、ステップS210の処理手順を繰り返し、ユーザにより設定終了が指示されれば、ユーザにより指定された照明条件を設定情報として登録し、この処理を終了する(ステップS211)。 Next, when the user gives an instruction to end the setting, the coordinate measuring apparatus 1 registers the illumination condition designated by the user as the setting information and switches to the light projecting unit 24 on the right side (step S209). The brightness adjustment is accepted (step S210). The three-dimensional measuring apparatus 1 repeats the processing procedure of step S210 until the user gives an instruction to end the setting. When the user gives an instruction to end the setting, the illumination condition designated by the user is registered as the setting information. The process ends (step S211).

図5のステップS301〜S313は、図3のステップS102(テクスチャ照明の明るさ調整)について、詳細動作の一例を示したフローチャートであり、三次元測定装置1の動作が示されている。まず、三次元測定装置1は、テクスチャ照明を点灯し(ステップS301)、ユーザによる明るさの調整を受け付ける(ステップS302)。三次元測定装置1は、測定箇所の明るさが適切でなければ(ステップS303)、ステップS302の処理手順を繰り返し、ユーザによる明るさの調整を再度受け付ける。 Steps S<b>301 to S<b>313 of FIG. 5 are flowcharts showing an example of detailed operations regarding step S<b>102 (brightness adjustment of texture illumination) of FIG. 3, and the operations of the three-dimensional measuring apparatus 1 are shown. First, the three-dimensional measuring apparatus 1 turns on the texture illumination (step S301) and receives the brightness adjustment by the user (step S302). If the brightness of the measurement location is not appropriate (step S303), the three-dimensional measuring apparatus 1 repeats the processing procedure of step S302 and accepts the brightness adjustment by the user again.

次に、三次元測定装置1は、ユーザによるテクスチャ画像の画質の選択を受け付け(ステップS304)、通常画質が選択されれば、通常画質を指定し、ユーザにより指定された照明条件及び撮影条件を設定情報として登録し、この処理を終了する(ステップS313)。 Next, the three-dimensional measuring apparatus 1 receives the selection of the image quality of the texture image by the user (step S304), and if the normal image quality is selected, the normal image quality is designated, and the illumination condition and the shooting condition designated by the user are set. It is registered as setting information, and this processing ends (step S313).

一方、三次元測定装置1は、ユーザによりフルフォーカス画質が選択されれば、フルフォーカス画質を指定する(ステップS305,S306)。フルフォーカス画質は、深度合成処理により得られる画質であり、焦点位置を異ならせながら取得された複数の撮影画像を合成することにより、画像全体においてピントの合った画像が得られる。 On the other hand, if the user selects the full-focus image quality, the coordinate measuring apparatus 1 specifies the full-focus image quality (steps S305 and S306). The full-focus image quality is an image quality obtained by depth combination processing, and by combining a plurality of captured images obtained by changing the focus position, an image in focus on the entire image can be obtained.

そして、三次元測定装置1は、ユーザによりHDR(ハイダイナミックレンジ)画質が選択されれば、HDR画質を指定する(ステップS307,S308)。HDR画質は、露光時間を異ならせながら取得された複数の撮影画像を合成することにより、ダイナミックレンジの広い画像が得られる。 Then, the coordinate measuring apparatus 1 specifies the HDR image quality if the HDR (high dynamic range) image quality is selected by the user (steps S307 and S308). As for HDR image quality, an image with a wide dynamic range can be obtained by synthesizing a plurality of photographed images acquired with different exposure times.

次に、三次元測定装置1は、ユーザによりテクスチャ画像の確認が指示されれば(ステップS309)、ユーザにより指定された照明条件及び撮影条件に基づいて、撮影画像を取得し(ステップS310)、テクスチャ画像を作成して表示部51に表示する(ステップS311)。 Next, when the user gives an instruction to check the texture image (step S309), the three-dimensional measuring apparatus 1 acquires a captured image based on the illumination condition and the imaging condition designated by the user (step S310), A texture image is created and displayed on the display unit 51 (step S311).

三次元測定装置1は、ユーザにより設定終了が指示されるまで、ステップS305からステップS311までの処理手順を繰り返し、ユーザにより設定終了が指示されれば、ユーザにより指定された照明条件及び撮影条件を設定情報として登録し、この処理を終了する(ステップS312)。 The three-dimensional measuring apparatus 1 repeats the processing procedure from step S305 to step S311 until the user instructs the end of the setting, and when the user instructs the end of the setting, the lighting condition and the imaging condition designated by the user are set. It is registered as the setting information, and this process ends (step S312).

図6のステップS401〜S413は、図3のステップS113(データ解析)について、詳細動作の一例を示したフローチャートであり、三次元測定装置1の動作が示されている。まず、三次元測定装置1は、ユーザ操作に基づいて、三次元形状データを所定のデータ形式で読み込み、測定対象物Wの立体形状を表示部51に表示する(ステップS401,S402)。 Steps S401 to S413 in FIG. 6 are flowcharts showing an example of detailed operation regarding step S113 (data analysis) in FIG. 3, and the operation of the coordinate measuring apparatus 1 is shown. First, the three-dimensional measuring apparatus 1 reads three-dimensional shape data in a predetermined data format based on a user operation, and displays the three-dimensional shape of the measuring object W on the display unit 51 (steps S401 and S402).

次に、三次元測定装置1は、ノイズの除去、穴埋め、不要データの削除等の前処理を行い(ステップS403)、ユーザによる表示倍率及び姿勢の調整を受け付ける(ステップS404)。 Next, the coordinate measuring apparatus 1 performs preprocessing such as noise removal, hole filling, and unnecessary data deletion (step S403), and accepts the user's adjustment of the display magnification and orientation (step S404).

次に、三次元測定装置1は、表示中の立体形状上において、測定箇所の幾何要素を特定するための点群の指定を受け付ける(ステップS405)。そして、三次元測定装置1は、測定対象の幾何要素について、形状種別の指定を受け付ける(ステップS406)。形状種別には、点、線、面、球面、円筒面、円錐面等がある。ステップS405とステップS406とは、順序を入れ替えても良い。 Next, the three-dimensional measuring apparatus 1 accepts designation of a point group for specifying the geometric element of the measurement location on the displayed three-dimensional shape (step S405). Then, the coordinate measuring apparatus 1 receives the designation of the shape type for the geometric element to be measured (step S406). Shape types include points, lines, surfaces, spherical surfaces, cylindrical surfaces, conical surfaces, and the like. The order of step S405 and step S406 may be interchanged.

三次元測定装置1は、測定対象の全ての幾何要素について、点群及び形状種別の指定が完了するまで、ステップS405及びS406の処理手順を繰り返し(ステップS407)、点群及び形状種別の指定が完了すれば、ユーザによる幾何要素の選択を受け付ける(ステップS408)。そして、三次元測定装置1は、選択された幾何要素について、寸法種別の選択を受け付ける(ステップS409)。寸法種別には、距離、角度、幾何公差、直径等がある。ステップS408とステップS409とは、順序を入れ替えても良い。 The three-dimensional measuring apparatus 1 repeats the processing procedure of steps S405 and S406 (step S407) until designation of the point cloud and the shape type is completed for all geometric elements to be measured, until the point cloud and the shape type are designated. When completed, the selection of the geometric element by the user is accepted (step S408). Then, the coordinate measuring apparatus 1 receives the selection of the dimension type for the selected geometric element (step S409). Dimension types include distance, angle, geometrical tolerance, diameter, and the like. The order of steps S408 and S409 may be interchanged.

次に、三次元測定装置1は、選択された幾何要素について、点群にユーザにより指定された形状種別の基本立体をフィッティングさせることによって幾何要素の位置を特定し、幾何要素間の寸法値を算出する(ステップS410)。次に、三次元測定装置1は、寸法値を測定対象物Wの立体形状上の測定箇所に対応づけて表示する(ステップS411)。三次元測定装置1は、所望の測定箇所が他にもあれば、ステップS408からステップS411までの処理手順を繰り返し(ステップS412)、所望の測定箇所が他になければ、測定結果を出力してこの処理を終了する(ステップS413)。 Next, the coordinate measuring apparatus 1 specifies the position of the geometric element by fitting the basic solid of the shape type specified by the user to the point group for the selected geometric element, and determines the dimension value between the geometric elements. Calculate (step S410). Next, the coordinate measuring apparatus 1 displays the dimension value in association with the measurement point on the three-dimensional shape of the measurement object W (step S411). If there are other desired measurement points, the three-dimensional measuring apparatus 1 repeats the processing procedure from step S408 to step S411 (step S412). If there are no other desired measurement points, the measurement result is output. This process ends (step S413).

次に、本発明による三次元測定装置1のさらに詳細な構成について、図7〜図12を用いて以下に説明する。 Next, a more detailed configuration of the coordinate measuring apparatus 1 according to the present invention will be described below with reference to FIGS. 7 to 12.

<情報処理端末5>
図7は、図1の情報処理端末5内の機能構成の一例を示したブロック図である。この情報処理端末5は、アングル情報指定部10、測定設定記憶部11、プレビュー制御部12、測定制御部13、撮影画像記憶部14、形状データ算出部15、形状データ記憶部16、測定モード指定部17、測定指示受付部18及び形状測定部19により構成される。
<Information processing terminal 5>
FIG. 7 is a block diagram showing an example of a functional configuration in the information processing terminal 5 of FIG. The information processing terminal 5 includes an angle information designation unit 10, a measurement setting storage unit 11, a preview control unit 12, a measurement control unit 13, a captured image storage unit 14, a shape data calculation unit 15, a shape data storage unit 16, and a measurement mode designation. It is composed of a unit 17, a measurement instruction receiving unit 18, and a shape measuring unit 19.

アングル情報指定部10は、キーボード52又はマウス53によるユーザ操作に基づいて、立体形状の測定を行うためのアングル指定情報の指定を受け付け、指定されたアングル指定情報を測定設定記憶部11内に格納する。三次元測定装置1では、ワンショット測定モード及び連結測定モードのいずれかを指定することができる。 The angle information designation unit 10 receives designation of angle designation information for measuring a three-dimensional shape based on a user operation with the keyboard 52 or the mouse 53, and stores the designated angle designation information in the measurement setting storage unit 11. To do. The three-dimensional measuring apparatus 1 can specify either one-shot measurement mode or connection measurement mode.

ワンショット測定モードは、ユーザにより測定開始が指示された際の撮像アングルに基づいて、三次元形状データを求める測定モードである。撮像アングルは、撮像部23の撮像視野内における測定対象物Wの位置及び姿勢であり、ステージ21を回転させることによって切り替えられる。 The one-shot measurement mode is a measurement mode in which three-dimensional shape data is obtained based on the imaging angle when the user gives an instruction to start measurement. The imaging angle is the position and orientation of the measuring object W within the imaging field of the imaging unit 23, and can be switched by rotating the stage 21.

一方、連結測定モードは、ステージ21を複数の撮像アングルに順次に切り替えながら撮影画像を取得して三次元形状データをそれぞれ求め、これらの三次元形状データを連結合成することにより、より死角が少ない三次元形状データを求める測定モードである。 On the other hand, in the connection measurement mode, the captured image is acquired while sequentially switching the stage 21 to a plurality of imaging angles to obtain the three-dimensional shape data, and these three-dimensional shape data are connected and combined to reduce the blind spot. This is a measurement mode for obtaining three-dimensional shape data.

アングル情報指定部10は、撮像アングル範囲の指定を受け付ける。撮像アングル範囲は、連結測定のための回転角度の範囲であり、例えば、開始アングル及び終了アングルによって規定される。開始アングル及び終了アングルは、ユーザにより指定される注目アングルである。連結測定のための撮像アングル範囲や撮像アングルは、測定設定情報として測定設定記憶部11に登録される。 The angle information designation unit 10 receives designation of an imaging angle range. The imaging angle range is a range of rotation angles for connection measurement and is defined by, for example, a start angle and an end angle. The start angle and the end angle are attention angles designated by the user. The imaging angle range and the imaging angle for connection measurement are registered in the measurement setting storage unit 11 as measurement setting information.

連結測定モードには、以下の(1)〜(3)に示す3つの方式があり、いずれかを任意に指定することができる。(1)撮像アングル範囲が360°に自動的に指定され、現在のステージ21の回転位置に対応する撮像アングルを基準にして、一定の回転角、例えば、60°ごとに複数の補間アングルが指定される。(2)撮像アングル範囲がユーザにより指定されれば、この撮像アングル範囲内に補間アングルが指定される。(3)ユーザが連結測定のための複数の撮像アングルを全て指定する。 The connection measurement mode includes the following three methods (1) to (3), and any one of them can be designated. (1) The imaging angle range is automatically specified to 360°, and a fixed rotation angle, for example, a plurality of interpolation angles is specified every 60° with reference to the imaging angle corresponding to the current rotation position of the stage 21. To be done. (2) If the imaging angle range is specified by the user, the interpolation angle is specified within this imaging angle range. (3) The user specifies all of the plurality of imaging angles for connection measurement.

プレビュー制御部12は、測定設定記憶部11内の測定設定情報に基づいて、測定部2の回転駆動部22及び投光部24を制御し、撮像部23から撮影画像を取得して表示部51に表示する。すなわち、プレビュー制御部12は、撮像アングル範囲内で複数の撮像アングルを決定し、回転駆動部22を制御してステージ21をいずれかの撮像アングルに切り替えた後、撮影画像を取得して画面表示する。 The preview control unit 12 controls the rotation drive unit 22 and the light projecting unit 24 of the measurement unit 2 based on the measurement setting information in the measurement setting storage unit 11, acquires a captured image from the image capturing unit 23, and displays the display unit 51. To display. That is, the preview control unit 12 determines a plurality of imaging angles within the imaging angle range, controls the rotation driving unit 22 to switch the stage 21 to one of the imaging angles, acquires a captured image, and displays the captured image on the screen. To do.

具体的には、開始アングルから終了アングルまでの回転角度範囲内に1又は2以上の補間アングルが自動的に指定される。補間アングルは、刻み角ρ又は分割数n(nは2以上の整数)に基づいて、指定される。例えば、開始アングルから終了アングルまでの間において、刻み角ρごとに補間アングルが指定される。また、開始アングルから終了アングルまでの間を分割数nで分割することによって補間アングルが指定される。分割方法、刻み角ρ及び分割数nは、測定設定情報としてデフォルトで指定されているが、ユーザが指定することもできる。なお、開始アングルから終了アングルまでの回転角度範囲が小さい場合は、補間アングルを指定せず、開始アングル及び終了アングルの2つの撮像アングルで撮影画像が取得される。 Specifically, one or more interpolation angles are automatically designated within the rotation angle range from the start angle to the end angle. The interpolation angle is specified based on the step angle ρ or the division number n (n is an integer of 2 or more). For example, an interpolation angle is designated for each step angle ρ between the start angle and the end angle. Further, the interpolation angle is designated by dividing the range from the start angle to the end angle by the division number n. The division method, the division angle ρ, and the division number n are designated as the measurement setting information by default, but can be designated by the user. If the rotation angle range from the start angle to the end angle is small, the interpolated angle is not designated, and the captured image is acquired at two imaging angles, the start angle and the end angle.

開始アングル、補間アングル及び終了アングルの各撮像アングルでは、左右の投光部24を順次に点灯させて撮影画像がそれぞれ取得される。すなわち、左側の投光部24から均一な検出光を照射させて撮影画像を取得した後、右側の投光部24から均一な検出光を照射させて撮影画像が取得される。表示部51には、これらの撮影画像を合成した合成画像がプレビュー画像として表示される。なお、テクスチャ照明により取得したテクスチャ画像をプレビュー画像として表示しても良い。 At each imaging angle of the start angle, the interpolation angle, and the end angle, the left and right light projecting units 24 are sequentially turned on and the captured images are respectively acquired. That is, after a uniform detection light is emitted from the left light projecting unit 24 to obtain a captured image, a uniform detection light is emitted from the right light projecting unit 24 to obtain a captured image. On the display unit 51, a combined image obtained by combining these captured images is displayed as a preview image. The texture image acquired by the texture illumination may be displayed as a preview image.

アングル情報指定部10は、複数の撮像アングルの中からプレビューアングルの指定を受け付ける。プレビュー制御部12は、プレビューアングルとして指定された撮像アングルに切り替えて撮影画像を取得し、画面表示する。ユーザは、連結測定のための複数の撮像アングルの中からプレビューアングルを任意に指定して撮影画像を確認することができる。 The angle information designation unit 10 receives designation of a preview angle from a plurality of imaging angles. The preview control unit 12 switches to the imaging angle designated as the preview angle, acquires the captured image, and displays it on the screen. The user can arbitrarily specify a preview angle from a plurality of imaging angles for connection measurement and confirm the captured image.

測定指示受付部18は、キーボード52又はマウス53によるユーザ操作に基づいて、測定開始の指示を受け付ける。測定制御部13は、測定開始が指示されれば、測定設定記憶部11内の測定設定情報に基づいて、回転駆動部22及び投光部24を制御し、撮像部23から撮影画像を取得して撮影画像記憶部14内に格納する。すなわち、測定制御部13は、回転駆動部22を制御してステージ21をプレビュー制御部12より決定された複数の撮像アングルに順次に切り替え、撮影画像をそれぞれ取得する。 The measurement instruction receiving unit 18 receives a measurement start instruction based on a user operation with the keyboard 52 or the mouse 53. When the measurement start is instructed, the measurement control unit 13 controls the rotation drive unit 22 and the light projecting unit 24 based on the measurement setting information in the measurement setting storage unit 11, and acquires a captured image from the image capturing unit 23. And stores it in the captured image storage unit 14. That is, the measurement control unit 13 controls the rotation drive unit 22 to sequentially switch the stage 21 to a plurality of imaging angles determined by the preview control unit 12, and acquires captured images respectively.

開始アングル、補間アングル及び終了アングルの各撮像アングルでは、左右の投光部24を順次に点灯させて撮影画像がそれぞれ取得される。すなわち、左側の投光部24からパターン光を照射させて撮影画像を取得した後、右側の投光部24からパターン光を照射させて撮影画像が取得される。 At each imaging angle of the start angle, the interpolation angle, and the end angle, the left and right light projecting units 24 are sequentially turned on and the captured images are respectively acquired. That is, after the pattern light is emitted from the left light projecting unit 24 to acquire the captured image, the pattern light is emitted from the right light projecting unit 24 to acquire the captured image.

形状データ算出部15は、撮影画像記憶部14内の撮影画像に基づいて、測定対象物Wの三次元形状データを求め、形状データ記憶部16内に格納する。三次元形状データは、多数の測定点の三次元位置情報からなる。この形状データ算出部15は、1つの撮像アングルについて、左右の投光部24を順次に点灯させて取得された複数の撮影画像から三次元形状データを算出する。このため、左側又は右側の投光部24だけでは影になるような測定箇所についても、三次元形状データを取得することができる。 The shape data calculation unit 15 obtains three-dimensional shape data of the measuring object W based on the captured image in the captured image storage unit 14, and stores it in the shape data storage unit 16. The three-dimensional shape data is composed of three-dimensional position information of many measurement points. The shape data calculation unit 15 calculates three-dimensional shape data from a plurality of captured images obtained by sequentially turning on the left and right light projecting units 24 for one imaging angle. Therefore, it is possible to acquire the three-dimensional shape data even for a measurement point where only the left or right light projecting unit 24 produces a shadow.

測定制御部13は、各撮像アングルにおける撮影画像から求められた三次元形状データを撮像アングルに基づいて連結し、より死角が少ない三次元形状データとして連結形状データを求め、形状データ記憶部16内に格納する。 The measurement control unit 13 connects the three-dimensional shape data obtained from the captured images at each imaging angle based on the imaging angle, obtains the connected shape data as the three-dimensional shape data with less blind spots, and stores it in the shape data storage unit 16. To store.

形状測定部19は、連結形状データに対する位置の指定を受け付けて幾何学的特徴を抽出し、抽出された幾何学的特徴に基づいて、測定対象物Wの形状を測定し、測定結果を出力する。ユーザにより測定箇所の位置が指定されれば、2以上の測定点からなる点群を選択し、点群に基本立体をフィッティングさせることにより、幾何要素が特定される。この様にして特定される幾何要素間の寸法、角度、平面度等が測定結果として出力される。 The shape measuring unit 19 receives the designation of the position for the connected shape data, extracts the geometrical feature, measures the shape of the measurement object W based on the extracted geometrical feature, and outputs the measurement result. .. When the position of the measurement point is designated by the user, the geometric element is specified by selecting a point group composed of two or more measurement points and fitting the basic solid to the point group. The dimensions, angles, flatness, etc. between the geometric elements specified in this way are output as the measurement results.

アングル情報指定部10は、撮像アングルの変更を受け付け、測定設定記憶部11内の測定設定情報を更新する。測定制御部13は、変更後の撮像アングルに基づいて、ステージ21の切替を行う。この様な構成を採用することにより、プレビュー制御部12により自動指定された撮像アングルを撮影画像の画面表示によって確認した後、ユーザは、重要領域が高精度で測定されるように撮像アングルを変更することができる。重要領域とは、測定対象物Wの一部の領域であって、ユーザが高精度で測定することを希望する領域をいう。 The angle information designation unit 10 receives the change in the imaging angle and updates the measurement setting information in the measurement setting storage unit 11. The measurement control unit 13 switches the stage 21 based on the changed imaging angle. By adopting such a configuration, after confirming the imaging angle automatically designated by the preview control unit 12 on the screen display of the captured image, the user changes the imaging angle so that the important area is measured with high accuracy. can do. The important region is a partial region of the measuring object W and is a region that the user desires to measure with high accuracy.

また、アングル情報指定部10は、複数の注目アングルの指定を受け付ける。プレビュー制御部12は、注目アングル間の回転角に基づいて、補間アングルを指定し、複数の注目アングル及び補間アングルを含むように複数の撮像アングルを決定する。例えば、開始アングルと終了アングルとで撮像アングル範囲が指定され、この撮像アングル範囲を分割する1又は2以上の注目アングルが指定されている場合に、これらの注目アングル間に補間アングルが自動的に指定される。 Moreover, the angle information designation unit 10 receives designation of a plurality of attention angles. The preview control unit 12 specifies the interpolation angle based on the rotation angle between the attention angles, and determines the plurality of imaging angles so as to include the plurality of attention angles and the interpolation angles. For example, when the imaging angle range is specified by the start angle and the ending angle, and one or more attention angles that divide the imaging angle range are designated, an interpolation angle is automatically set between these attention angles. It is specified.

複数の注目アングルがユーザにより指定されれば、撮影画像間に適切な重複領域が生じるように補間アングルを自動的に追加して連結測定が行われるため、三次元形状データに抜けが生じるのを防止することができる。 When multiple angles of interest are specified by the user, interpolated angles are automatically added so that an appropriate overlapping area is created between the captured images, and linked measurement is performed. Can be prevented.

プレビュー制御部12は、左右の投光部24を順次に点灯させて取得された複数の撮影画像に基づいて、影領域を検出し、合成画像上に重畳して表示する。また、プレビュー制御部12は、受光量が飽和している飽和領域を合成画像上に重畳して表示する。例えば、影領域及び飽和領域は、互いに異なる表示色によって色付けして表示される。影領域及び飽和領域を合成画像上に重畳して表示することにより、ユーザは、高精度で測定したい重要領域について、三次元形状データが得られるか否かを容易に確認することができる。 The preview control unit 12 detects a shadow region based on a plurality of captured images obtained by sequentially turning on the left and right light projecting units 24, and superimposes and displays the shadow region on the composite image. Further, the preview control unit 12 superimposes and displays the saturated area in which the received light amount is saturated on the composite image. For example, the shadow area and the saturated area are displayed with different display colors. By superimposing and displaying the shadow area and the saturated area on the composite image, the user can easily confirm whether or not the three-dimensional shape data can be obtained for the important area to be measured with high accuracy.

測定モード指定部17は、ワンショット測定モード及び連結測定モードのいずれかを指定するユーザ操作を受け付け、測定設定記憶部11内のモード指定情報を更新する。測定制御部13は、ワンショット測定モードが指定された場合に、測定開始の指示受付時におけるステージ21の回転位置に対応する撮像アングルで撮像された撮影画像を取得して三次元形状データを求める。一方、測定制御部13は、連結測定モードが指定された場合に、測定開始の指示受付前に決定された複数の撮像アングルに順次に切り替え、各撮像アングルで撮像された撮影画像を取得して連結形状データを求める。ユーザは、ワンショット測定モードと連結測定モードとのいずれかを任意に指定して測定を行うことができる。 The measurement mode designation unit 17 receives a user operation designating one of the one-shot measurement mode and the linked measurement mode, and updates the mode designation information in the measurement setting storage unit 11. When the one-shot measurement mode is designated, the measurement control unit 13 obtains a captured image captured at an imaging angle corresponding to the rotation position of the stage 21 at the time of accepting a measurement start instruction and obtains three-dimensional shape data. .. On the other hand, when the linked measurement mode is designated, the measurement control unit 13 sequentially switches to a plurality of imaging angles determined before receiving the instruction to start the measurement, and acquires captured images captured at each imaging angle. Find connection shape data. The user can arbitrarily specify one of the one-shot measurement mode and the linked measurement mode for measurement.

図8は、図7の情報処理端末5の動作の一例を示した図であり、表示部51に表示される測定設定画面6が示されている。測定設定画面6は、測定設定情報を編集するための編集画面であり、測定設定情報を新たに作成して登録し、或いは、既に登録されている測定設定情報を変更することができる。 FIG. 8 is a diagram showing an example of the operation of the information processing terminal 5 of FIG. 7, and the measurement setting screen 6 displayed on the display unit 51 is shown. The measurement setting screen 6 is an edit screen for editing the measurement setting information, and it is possible to newly create and register the measurement setting information, or change the already registered measurement setting information.

この測定設定画面6には、撮影画像が表示される表示欄61と、測定モードや撮影条件を指定するための入力欄65とが設けられている。表示欄61の上段には、撮影倍率を指定するための入力欄62と、表示倍率を指定するための入力欄63とが設けられている。撮影倍率は、低倍率又は高倍率のいずれかを選択することができる。 The measurement setting screen 6 is provided with a display field 61 in which a captured image is displayed and an input field 65 for designating a measurement mode and shooting conditions. An input field 62 for designating the photographing magnification and an input field 63 for designating the display magnification are provided in the upper part of the display field 61. The photographing magnification can be selected from low magnification and high magnification.

また、表示欄61内には、ステージ21を回転させて撮像アングルを切り替えるためのアングル調整ボタン64a〜64cが配置されている。アングル調整ボタン64aは、ステージ21を現在の位置から180°回転させるための操作アイコンである。 Further, in the display field 61, angle adjustment buttons 64a to 64c for rotating the stage 21 to switch the imaging angle are arranged. The angle adjustment button 64a is an operation icon for rotating the stage 21 from the current position by 180°.

アングル調整ボタン64bは、ステージ21を反時計回り又は時計回りに回転させるための操作アイコンである。アングル調整ボタン64cは、ステージ21を基準位置まで回転させるための操作アイコンである。これらのアングル調整ボタン64a〜64cは、マウスポインタ7をアングル調整ボタン64a〜64c上に移動させることによって操作することができる。 The angle adjustment button 64b is an operation icon for rotating the stage 21 counterclockwise or clockwise. The angle adjustment button 64c is an operation icon for rotating the stage 21 to the reference position. These angle adjustment buttons 64a to 64c can be operated by moving the mouse pointer 7 onto the angle adjustment buttons 64a to 64c.

入力欄65には、測定モードを指定するためのモード選択ボタン66と、投光方向を指定するためのメニューボタン67と、撮像アングル範囲や注目アングルを指定するためのアングル設定円68等が設けられている。モード選択ボタン66を操作することにより、ワンショット測定モード又は連結測定モードのいずれかを測定モードに指定することができる。 The input field 65 is provided with a mode selection button 66 for designating a measurement mode, a menu button 67 for designating a projection direction, an angle setting circle 68 for designating an imaging angle range and an attention angle, and the like. Has been. By operating the mode selection button 66, either the one-shot measurement mode or the linked measurement mode can be designated as the measurement mode.

メニューボタン67を操作することにより、両側、左側又は右側のいずれかを投光方向として指定することができる。投光方向「両側」では、左右の投光部24を順次に点灯させて撮影画像がそれぞれ取得される。投光方向「左側」では、左側の投光部24を点灯させて撮影画像が取得され、投光方向「右側」では、右側の投光部24を点灯させて撮影画像が取得される。 By operating the menu button 67, either side, left side, or right side can be designated as the projection direction. In the light projecting direction “both sides”, the left and right light projecting units 24 are sequentially turned on and the captured images are respectively acquired. In the projection direction “left side”, the left projection part 24 is turned on to acquire a captured image, and in the projection direction “right”, the right projection part 24 is switched on to acquire a captured image.

アングル設定円68は、ステージ21に対応する円周上の位置をマウスポインタ7で指示することによって撮像アングルを指定することができる表示オブジェクトである。例えば、開始アングルに対応する開始位置SPと終了アングルに対応する終了位置EPとをアングル設定円68上で指定すれば、撮像アングル範囲が決定される。 The angle setting circle 68 is a display object capable of designating an imaging angle by pointing the position on the circumference corresponding to the stage 21 with the mouse pointer 7. For example, if the start position SP corresponding to the start angle and the end position EP corresponding to the end angle are designated on the angle setting circle 68, the imaging angle range is determined.

図9は、図7の情報処理端末5の動作の一例を示した図であり、撮像アングル範囲RKをアングル設定円68上で指定する場合が示されている。開始位置SP及び終了位置EPがユーザにより指定されれば、開始位置SPから反時計回り又は時計回りに終了位置EPまでの角度範囲が撮像アングル範囲RKとして登録される。また、刻み角ρに基づいて、撮像アングル範囲RKを分割することにより、1又は2以上の補間アングルCAが自動的に指定される。ただし、撮像アングル範囲RKによっては補間アングルCAが生成されないこともある。 FIG. 9 is a diagram showing an example of the operation of the information processing terminal 5 in FIG. 7, and shows a case where the imaging angle range RK is designated on the angle setting circle 68. When the start position SP and the end position EP are designated by the user, the angle range from the start position SP to the end position EP in the counterclockwise or clockwise direction is registered as the imaging angle range RK. Further, by dividing the imaging angle range RK based on the step angle ρ, one or two or more interpolation angles CA are automatically designated. However, the interpolation angle CA may not be generated depending on the imaging angle range RK.

刻み角ρは、撮像アングル範囲RKを分割するためのステージ21の回転角であり、予め定められた値(デフォルト値)を使用しても良いし、ユーザが指定した値を使用することもできる。例えば、刻み角ρは、45°又は60°である。 The step angle ρ is a rotation angle of the stage 21 for dividing the imaging angle range RK, and a predetermined value (default value) may be used or a value specified by the user may be used. .. For example, the step angle ρ is 45° or 60°.

補間アングルCAは、開始位置SPから刻み角ρごとに指定される。つまり、開始位置SPと1番目の補間アングルCAとの間の回転角と、k番目の補間アングルCAと(k+1)番目の補間アングルCAとの間の回転角とは、刻み角ρと一致する。 The interpolation angle CA is designated for each step angle ρ from the start position SP. That is, the rotation angle between the start position SP and the first interpolation angle CA and the rotation angle between the kth interpolation angle CA and the (k+1)th interpolation angle CA match the step angle ρ. ..

また、開始位置SPと終了位置EPとでは、刻み角ρの値にかかわらず三次元形状データが取得される。なお、終了位置EPを超えず、終了位置EPに最も近い補間アングルCAが終了位置EPに対して所定の角度差以下である場合、当該補間アングルCAを終了アングルとみなすことにより、三次元形状データの取得数を削減し、連結測定に要する時間を短縮する方法を選択することもできる。 Further, at the start position SP and the end position EP, three-dimensional shape data is acquired regardless of the value of the step angle ρ. If the interpolation angle CA that does not exceed the end position EP and is closest to the end position EP is less than or equal to a predetermined angle difference with respect to the end position EP, the interpolation angle CA is regarded as the end angle, and thus the three-dimensional shape data is obtained. It is also possible to select a method that reduces the number of acquisitions of the data and the time required for the linked measurement.

測定対象物Wの特定部分の形状は、当該特定部分と正対する撮像アングルで撮像されたときに最も正確に測定することができる。連結測定のための撮像アングルを連結測定の前にプレビュー画像によって確認することにより、重要な部分に正対する撮像アングルが含まれているか否かを容易に確認することができる。 The shape of the specific portion of the measurement object W can be measured most accurately when the image is captured at an imaging angle that is directly opposite to the specific portion. By confirming the imaging angle for the coupling measurement with the preview image before the coupling measurement, it is possible to easily confirm whether or not the imaging angle facing the important portion is included.

また、各撮像アングルにおいて複数のパターン光を順次に照射して撮影画像をそれぞれ取得する必要があることから、連結測定に要する時間は、プレビュー画像の取得に要する時間よりも長い。この様な連結測定を行う前に、プレビュー画像によって撮像アングルを確認し、必要に応じて撮像アングルを微調整することにより、高精度の三次元形状データが取得されるまでの時間を短縮することができる。 Further, since it is necessary to sequentially irradiate a plurality of pattern lights at each imaging angle to acquire each captured image, the time required for connection measurement is longer than the time required to acquire a preview image. Before performing such connection measurement, check the image capture angle with the preview image and fine-tune the image capture angle as necessary to shorten the time until high-precision 3D shape data is acquired. You can

図10は、図7の情報処理端末5の動作の一例を示した図であり、補間アングルCAが終了アングル(終了位置EP)に近い場合が示されている。刻み角ρに基づいて撮像アングル範囲RKを分割することにより、複数の補間アングルCAが自動指定される。 FIG. 10 is a diagram showing an example of the operation of the information processing terminal 5 in FIG. 7, and shows a case where the interpolation angle CA is close to the end angle (end position EP). A plurality of interpolation angles CA are automatically designated by dividing the imaging angle range RK based on the step angle ρ.

これらの補間アングルCAのうち、終了位置EPに最も近い補間アングルCAが終了位置EPに対して角度差Δρが所定値以下である場合、当該補間アングルと終了位置EPとの両撮像アングルにおいて三次元形状データを取得するのか、或いは、いずれかの撮像アングルにおいて三次元形状データの取得を行わないのかを選択することができる。 Of these interpolation angles CA, when the interpolation angle CA closest to the end position EP has an angle difference Δρ that is equal to or smaller than a predetermined value with respect to the end position EP, three-dimensional imaging is performed at both imaging angles of the interpolation angle and the end position EP. It is possible to select whether to acquire the shape data or whether to acquire the three-dimensional shape data at any imaging angle.

一方、終了位置EPに最も近い補間アングルCAが終了位置EPに対して角度差Δρが所定値を超える場合には、当該補間アングルと終了位置EPとの両撮像アングルにおいて三次元形状データが取得される。 On the other hand, if the angle difference Δρ of the interpolation angle CA closest to the end position EP exceeds the predetermined value with respect to the end position EP, the three-dimensional shape data is acquired at both imaging angles of the interpolation angle and the end position EP. It

なお、分割数nに基づいて、撮像アングル範囲RKを分割することにより、1又は2以上の補間アングルCAを自動指定する場合には、撮像アングル範囲RKを分割数nで除算した際の商を刻み角ρとして撮像アングル範囲RKが等分割される。 When one or more interpolation angles CA are automatically designated by dividing the imaging angle range RK based on the division number n, the quotient when the imaging angle range RK is divided by the division number n is calculated. The imaging angle range RK is equally divided as the step angle ρ.

アングル設定円68上にマウスポインタ7を移動させ、いずれかの撮像アングルをプレビューアングルとして指定することにより、ステージ21が対応する撮像アングルに切り替えられ、撮影画像を取得してプレビュー画像が測定設定画面6に表示される。このため、ユーザは、撮像アングル範囲RKを分割して自動指定された任意の補間アングルCAについて、測定対象物Wの位置や姿勢が適切であるか否かをプレビュー画像によって確認することができる。 By moving the mouse pointer 7 on the angle setting circle 68 and designating one of the imaging angles as the preview angle, the stage 21 is switched to the corresponding imaging angle, the captured image is acquired, and the preview image is displayed on the measurement setting screen. 6 is displayed. Therefore, the user can confirm by the preview image whether or not the position or orientation of the measuring object W is appropriate for an arbitrary interpolation angle CA that is automatically specified by dividing the imaging angle range RK.

なお、ユーザがプレビューアングルを指定しなくても、撮像アングルを順次に切り替えながら撮影画像を取得し、プレビュー画像として測定設定画面6に一覧表示することもできる。 Even if the user does not specify the preview angle, the captured images can be acquired while sequentially switching the imaging angles and displayed as a list on the measurement setting screen 6 as a preview image.

図11は、図7の情報処理端末5の動作の一例を示した図であり、注目アングルをアングル設定円68上で指定する場合が示されている。開始位置SP及び終了位置EPと、注目アングルに対応する注目位置APとがユーザにより指定されれば、開始位置SPから反時計回り又は時計回りに終了位置EPまでの角度範囲が撮像アングル範囲RKとして登録される。また、隣り合う2つの注目アングル間の回転角に基づいて、1又は2以上の補間アングルCAが自動的に指定される。従って、注目アングル間の回転角によっては補間アングルCAが生成されないこともある。 FIG. 11 is a diagram showing an example of the operation of the information processing terminal 5 in FIG. 7, and shows a case where the attention angle is designated on the angle setting circle 68. When the start position SP and the end position EP and the attention position AP corresponding to the attention angle are designated by the user, the angle range from the start position SP counterclockwise or clockwise to the end position EP is set as the imaging angle range RK. be registered. Further, one or more interpolation angles CA are automatically designated based on the rotation angle between two adjacent attention angles. Therefore, the interpolation angle CA may not be generated depending on the rotation angle between the attention angles.

注目位置APは、開始位置SPから終了位置EPまでの撮像アングル範囲RK内において指定される。補間アングルCAは、開始位置SPと注目位置APとの間、2つの注目位置APの間、又は、注目位置APと終了位置EPとの間の角度差が所定の閾値以上である場合、1又は2以上の補間アングルCAが自動的に指定される。 The attention position AP is designated within the imaging angle range RK from the start position SP to the end position EP. The interpolation angle CA is 1 or 2 when the angle difference between the start position SP and the attention position AP, between the two attention positions AP, or between the attention position AP and the end position EP is equal to or more than a predetermined threshold value. Two or more interpolation angles CA are automatically designated.

例えば、角度差に応じた分割数nにより、アングル間を等分割して補間アングルCAが指定される。一方、角度差が所定の閾値未満であるアングル間には、補間アングルは指定されない。 For example, the interpolation angle CA is designated by equally dividing the angles by the division number n according to the angle difference. On the other hand, no interpolated angle is designated between angles whose angle difference is less than a predetermined threshold value.

測定精度を確保するには、撮影画像間に一定の重複領域が生じている必要がある。アングル間の角度差に応じて補間アングルを自動的に指定することにより、撮像アングルの間隔が広くなり過ぎて三次元形状データに抜けが生じ、或いは、測定精度の低下を防止することができる。 In order to secure the measurement accuracy, it is necessary that a certain overlapping area is generated between the captured images. By automatically specifying the interpolating angle according to the angle difference between the angles, it is possible to prevent the interval between the imaging angles from becoming too wide and the three-dimensional shape data to be missing, or to prevent the measurement accuracy from deteriorating.

図11に示した例では、3つの注目位置APがアングル設定円68上でユーザにより指定され、3つの補間アングルCAが自動指定されている。開始位置SPと1番目の注目位置APとの間の角度差と、1番目の注目位置APと2番目の注目位置APとの間の角度差とは、閾値未満である。これに対し、2番目の注目位置APと3番目の注目位置APとの間の角度差と、3番目の注目位置APと終了位置EPとの間の角度差とは、閾値以上であり、補間アングルCAがアングル間に指定されている。 In the example shown in FIG. 11, three attention positions AP are designated by the user on the angle setting circle 68, and three interpolation angles CA are automatically designated. The angle difference between the start position SP and the first attention position AP and the angle difference between the first attention position AP and the second attention position AP are less than a threshold value. On the other hand, the angle difference between the second attention position AP and the third attention position AP and the angle difference between the third attention position AP and the end position EP are equal to or greater than the threshold value, and are interpolated. Angle CA is specified between the angles.

2番目の注目位置APと3番目の注目位置APとの間は刻み角ρで2つに等分割され、1つの補間アングルCAが指定されている。また、3番目の注目位置APと終了位置EPとの間は刻み角ρで3つに等分割され、2つの補間アングルCAが指定されている。 The space between the second attention position AP and the third attention position AP is equally divided into two at a step angle ρ 1 , and one interpolation angle CA is designated. Further, the third attention position AP and the end position EP are equally divided into three at a step angle ρ 2 , and two interpolation angles CA are designated.

なお、刻み角ρに基づいて、アングル間を分割して補間アングルCAを指定しても良い。分割数nや刻み角ρは、予め定められた値(デフォルト値)を使用しても良いし、ユーザが指定した値を使用することもできる。 Note that the interpolation angle CA may be specified by dividing the angles based on the step angle ρ. As the number of divisions n and the step angle ρ, a predetermined value (default value) may be used, or a value designated by the user may be used.

アングル設定円68上にマウスポインタ7を移動させ、いずれかの補間アングルCAをプレビューアングルとして指定することにより、ステージ21が対応する撮像アングルに切り替えられ、撮影画像を取得してプレビュー画像が測定設定画面6に表示される。このため、ユーザは、自動指定された任意の補間アングルCAについて、測定対象物Wの位置や姿勢が適切であるか否かをプレビュー画像によって確認することができる。 By moving the mouse pointer 7 on the angle setting circle 68 and designating one of the interpolation angles CA as the preview angle, the stage 21 is switched to the corresponding imaging angle, the captured image is acquired, and the preview image is measured and set. Displayed on screen 6. Therefore, the user can confirm by the preview image whether or not the position and orientation of the measuring object W is appropriate for the automatically specified arbitrary interpolation angle CA.

図12のステップS501〜S514は、図7の情報処理端末5における連結測定時の動作の一例を示したフローチャートである。まず、情報処理端末5は、ユーザにより撮像アングル範囲RKが指定されれば(ステップS501)、撮像アングル範囲RKを分割して補間アングルCAを指定することにより、複数の撮像アングルを決定する(ステップS502)。 Steps S501 to S514 of FIG. 12 are flowcharts showing an example of the operation at the time of the connection measurement in the information processing terminal 5 of FIG. First, when the user specifies the imaging angle range RK (step S501), the information processing terminal 5 determines a plurality of imaging angles by dividing the imaging angle range RK and specifying the interpolation angle CA (step S501). S502).

次に、情報処理端末5は、ユーザによりプレビューアングルが指定されれば(ステップS503)、測定部2のステージ21を回転させてプレビューアングルに切り替える(ステップS504)。そして、情報処理端末5は、測定部2の撮像部23から撮影画像を取得し(ステップS505)、プレビュー画像として測定設定画面6上に表示する(ステップS506)。 Next, when the preview angle is designated by the user (step S503), the information processing terminal 5 rotates the stage 21 of the measuring unit 2 to switch to the preview angle (step S504). Then, the information processing terminal 5 acquires the captured image from the image capturing unit 23 of the measuring unit 2 (step S505) and displays it on the measurement setting screen 6 as a preview image (step S506).

一方、情報処理端末5は、ユーザによるプレビューアングルの指定がなければ、いずれかの撮像アングルをプレビューアングルに指定し、ステージ21をプレビューアングルに切り替えて撮影画像を取得し(ステップS503,S505)、プレビュー画像として測定設定画面6上に表示する(ステップS506)。 On the other hand, if no preview angle is designated by the user, the information processing terminal 5 designates one of the imaging angles as the preview angle, switches the stage 21 to the preview angle, and acquires the captured image (steps S503 and S505). A preview image is displayed on the measurement setting screen 6 (step S506).

次に、情報処理端末5は、ユーザにより所望の撮像アングルが存在しないと判断されれば(ステップS507)、開始アングル、終了アングル、注目アングル、補間アングル、刻み角ρ及び分割数nからなるアングル設定情報の変更を受け付ける(ステップS508)。情報処理端末5は、変更後のアングル設定情報に基づいて、撮像アングルを再度決定し(ステップS509)、ステップS503以降の処理手順を繰り返す。 Next, if the user determines that the desired imaging angle does not exist (step S507), the information processing terminal 5 starts from the start angle, the end angle, the attention angle, the interpolation angle, the step angle ρ, and the division number n. A change in setting information is accepted (step S508). The information processing terminal 5 determines the imaging angle again based on the changed angle setting information (step S509), and repeats the processing procedure from step S503.

情報処理端末5は、ユーザにより所望の撮像アングルが全て存在すると判断されれば(ステップS507)、測定部2の回転駆動部22を制御してステージ21をいずれかの撮像アングルに切り替える(ステップS510)。次に、情報処理端末5は、撮影画像を取得し(ステップS511)、三次元形状データを算出する(ステップS512)。 When the information processing terminal 5 determines that all the desired imaging angles are present by the user (step S507), the rotation driving unit 22 of the measuring unit 2 is controlled to switch the stage 21 to any imaging angle (step S510). ). Next, the information processing terminal 5 acquires a captured image (step S511) and calculates three-dimensional shape data (step S512).

情報処理端末5は、全ての撮像アングルについて、測定が終了するまで、撮像アングルを順次に切り替えながらステップS510からステップS512までの処理手順を繰り返す(ステップS513)。そして、情報処理端末5は、全ての撮像アングルについて、測定が終了すれば、各撮像アングルにおける撮影画像から求められた複数の三次元形状データを撮像アングルに基づいて合成し、連結形状データを求める(ステップS514)。 The information processing terminal 5 repeats the processing procedure from step S510 to step S512 while sequentially switching the imaging angles for all imaging angles until the measurement is completed (step S513). Then, when the measurement is completed for all the imaging angles, the information processing terminal 5 synthesizes a plurality of three-dimensional shape data obtained from the captured images at each imaging angle based on the imaging angles to obtain the connected shape data. (Step S514).

本実施の形態によれば、複数の撮像アングルが自動的に決定されるため、連結測定のための撮像アングルを個別に指定することなく、連結測定を行うことができる。従って、各撮像アングルをユーザがそれぞれ指定する煩雑な作業が不要になり、連結測定のための設定作業を簡素化することができる。また、自動的に決定された撮像アングルのいずれかにステージ21を切り替えて撮影画像が表示部51に画面表示されるため、自動的に決定された撮像アングルの中に、重要領域を高精度で測定可能な撮像アングルが含まれていることを容易に確認することができる。 According to the present embodiment, since a plurality of imaging angles are automatically determined, it is possible to perform connection measurement without individually specifying the imaging angles for connection measurement. Therefore, a complicated work for the user to specify each imaging angle is unnecessary, and the setting work for connection measurement can be simplified. Further, since the captured image is displayed on the screen of the display unit 51 by switching the stage 21 to one of the automatically determined imaging angles, the important area can be highly accurately located in the automatically determined imaging angle. It is possible to easily confirm that the measurable imaging angle is included.

また、撮影画像間に適切な重複領域が生じるように補間アングルを自動的に追加して連結測定が行われるため、三次元形状データに抜けが生じるのを抑制することができる。 Further, since the interpolated angle is automatically added so that an appropriate overlapping area is generated between the captured images and the connection measurement is performed, it is possible to suppress the omission in the three-dimensional shape data.

なお、本実施の形態では、鉛直方向の回転軸J4を中心としてステージ21を回転させることによって撮像アングルが切り替えられる場合の例について説明したが、本発明は、撮像アングルの切替方法をこれに限定するものではない。例えば、ステージ21を水平方向又は鉛直方向に移動させることによって撮像アングルを切り替える装置にも本発明は適用可能である。また、鉛直方向以外の回転軸を中心としてステージ21を回転させることによって撮像アングルを切り替えるような構成であっても良い。 In the present embodiment, an example in which the imaging angle is switched by rotating the stage 21 about the vertical rotation axis J4 has been described, but the present invention limits the imaging angle switching method to this. Not something to do. For example, the present invention can be applied to an apparatus that switches the imaging angle by moving the stage 21 in the horizontal direction or the vertical direction. Alternatively, the imaging angle may be switched by rotating the stage 21 around a rotation axis other than the vertical direction.

また、本実施の形態では、マルチスリット法と空間コード法とを組み合わせた投影法により三次元形状データが取得される場合の例について説明したが、本発明は、構造化のための投影法をこれに限定するものではない。例えば、正弦波位相シフト法、ライン状のパターン光を投影して一方向にスキャンする光切断法、或いは、縞状のパターン光を投影して一方向にスキャンする縞投影法によって、三次元形状データを取得するような構成であっても良い。 In addition, in the present embodiment, an example in which three-dimensional shape data is acquired by a projection method that combines the multi-slit method and the spatial code method has been described, but the present invention provides a projection method for structuring. It is not limited to this. For example, a three-dimensional shape can be obtained by a sine wave phase shift method, a light cutting method of projecting linear pattern light and scanning in one direction, or a stripe projection method of projecting striped pattern light and scanning in one direction. It may be configured to acquire data.

また、本実施の形態では、撮像部23を挟むように2つの投光部24が配置される場合の例について説明したが、本発明は、撮像部23及び投光部24の構成をこれに限定するものではない。撮像部23及び投光部24をそれぞれ1つずつ備えるものや、1つの投光部24を挟むように2つの撮像部23が配置されるようなものにも本発明は適用可能である。 Further, in the present embodiment, an example in which the two light projecting units 24 are arranged so as to sandwich the image capturing unit 23 has been described, but the present invention uses the configurations of the image capturing unit 23 and the light projecting unit 24. It is not limited. The present invention is also applicable to a device including one image capturing unit 23 and one light projecting unit 24, and a device including two image capturing units 23 sandwiching one light projecting unit 24.

1 三次元測定装置
2 測定部
21 ステージ
22 回転駆動部
23,23a,23b 撮像部
24 投光部
25 テクスチャ照明出射部
26 制御基板
27 ベース筐体
3 ライトガイド
4 コントローラ
41 テクスチャ光源
42 制御基板
43 電源
5 情報処理端末
51 表示部
52 キーボード
53 マウス
10 アングル情報指定部
11 測定設定記憶部
12 プレビュー制御部
13 測定制御部
14 撮影画像記憶部
15 形状データ算出部
16 形状データ記憶部
17 測定モード指定部
18 測定指示受付部
19 形状測定部
6 測定設定画面
J1,J11,J12 受光軸
J2,J3 投光軸
J4 回転軸
W 測定対象物
DESCRIPTION OF SYMBOLS 1 Three-dimensional measuring device 2 Measuring part 21 Stage 22 Rotation drive parts 23, 23a, 23b Imaging part 24 Light projecting part 25 Texture illumination emitting part 26 Control board 27 Base housing 3 Light guide 4 Controller 41 Texture light source 42 Control board 43 Power supply 5 information processing terminal 51 display unit 52 keyboard 53 mouse 10 angle information designation unit 11 measurement setting storage unit 12 preview control unit 13 measurement control unit 14 photographed image storage unit 15 shape data calculation unit 16 shape data storage unit 17 measurement mode designation unit 18 Measurement instruction receiving unit 19 Shape measuring unit 6 Measurement setting screen J1, J11, J12 Light receiving axis J2, J3 Light emitting axis J4 Rotation axis W Measurement object

Claims (8)

測定対象物の三次元形状データ取得時の当該測定対象物に対する撮像アングルが互いに異なる複数の三次元形状データを連結して連結形状データを生成する三次元測定装置において、
測定対象物が載置されるステージと、
上記ステージ上の上記測定対象物に検出光を照射する投光手段と、
上記ステージに対して受光軸が傾斜するように配置され、上記測定対象物により反射された上記検出光を受光して撮影画像を生成する撮像手段と、
鉛直方向の回転軸を中心として上記ステージを回転させることにより、上記ステージに載置された測定対象物に対する上記撮像アングルを切り替える回転駆動手段と、
上記撮影画像に基づいて、上記測定対象物の上記三次元形状データを求める形状データ算出手段と、
指定入力に従ってアングル指定情報を受け付けるアングル情報指定手段と、
上記アングル指定情報に基づき複数の上記撮像アングルを決定し、上記回転駆動手段を制御して上記ステージをいずれかの上記撮像アングルに切り替えた後、当該撮像アングルにおける上記撮影画像を取得して画面表示するプレビュー制御手段と、
測定指示に従って、上記回転駆動手段を制御して上記ステージを決定された上記複数の撮像アングルに順次に切り替え、各撮像アングルにおける上記撮影画像から求められた上記三次元形状データを上記撮像アングルに基づいて連結し、上記連結形状データを求める測定制御を実行する測定制御手段と、
上記連結形状データに対する位置の指定を受け付けて幾何要素を抽出し、抽出された幾何要素に基づいて、上記測定対象物の形状を測定する形状測定手段とを備え、
上記プレビュー制御手段により上記撮像アングルを決定後、上記測定制御手段により上記測定制御を実行する前に、指定入力を受け付けると、上記アングル情報指定手段は、当該指定入力に従って上記アングル指定情報を変更し、
上記プレビュー制御手段は、上記アングル情報指定手段により変更された上記アングル指定情報に基づき上記撮像アングルを再決定し、
上記測定制御手段は、再決定された上記撮像アングルに基づき上記測定制御を実行することを特徴とする三次元測定装置。
In a three-dimensional measuring device that generates a connected shape data by connecting a plurality of three-dimensional shape data having different imaging angles with respect to the measurement object when acquiring the three-dimensional shape data of the measurement object ,
A stage on which the object to be measured is placed,
Projection means for irradiating the measurement object on the stage with detection light,
An image pickup unit that is arranged so that the light receiving axis is inclined with respect to the stage, receives the detection light reflected by the measurement object, and generates a captured image,
By rotating the stage about a vertical rotation axis, a rotation driving unit that switches the imaging angle with respect to the measurement object placed on the stage ,
Shape data calculation means for obtaining the three-dimensional shape data of the measurement object based on the photographed image,
Angle information specifying means for receiving angle specification information according to specification input,
After determining the plurality of imaging angles based on the angle designation information and controlling the rotation driving means to switch the stage to one of the imaging angles, the captured image at the imaging angle is acquired and displayed on the screen. Preview control means for
According to the measurement instruction, the rotation driving means is controlled to sequentially switch the stages to the determined plurality of imaging angles, and the three-dimensional shape data obtained from the captured image at each imaging angle is based on the imaging angle. Measurement control means for executing measurement control for obtaining the connection shape data,
Extracting the geometrical element accepts the designation of position relative to the coupling shape data, based on the extracted geometrical element, e Bei the shape measuring means for measuring the shape of the measurement object,
When the designation input is accepted after the preview control unit determines the imaging angle and before the measurement control unit executes the measurement control, the angle information designation unit changes the angle designation information according to the designation input. ,
The preview control means re-determines the imaging angle based on the angle designation information changed by the angle information designation means,
The three-dimensional measuring apparatus , wherein the measurement control means executes the measurement control based on the re-determined imaging angle .
上記アングル情報指定手段は、撮像アングル範囲の指定を受け付け、
上記プレビュー制御手段は、上記撮像アングル範囲内で上記複数の撮像アングルを決定することを特徴とする請求項1に記載の三次元測定装置。
The angle information specifying means, with the designation under the imaging angle range,
The three-dimensional measuring apparatus according to claim 1, wherein the preview control unit determines the plurality of imaging angles within the imaging angle range.
上記アングル情報指定手段は、複数の注目アングルの指定を受け付け、
上記プレビュー制御手段は、上記注目アングル間の回転角に基づいて、補間アングルを指定し、上記複数の注目アングル及び上記補間アングルを含むように上記複数の撮像アングルを決定することを特徴とする請求項2に記載の三次元測定装置。
The angle information designating means accepts designation of a plurality of attention angles,
The preview control means specifies an interpolation angle based on a rotation angle between the attention angles, and determines the plurality of imaging angles so as to include the plurality of attention angles and the interpolation angles. Item 3. The three-dimensional measuring device according to item 2.
上記アングル情報指定手段は、上記複数の撮像アングルの中からプレビューアングルの指定を受け付け、
上記プレビュー制御手段は、上記プレビューアングルとして指定された撮像アングルに切り替えて上記撮影画像を取得することを特徴とする請求項1〜のいずれかに記載の三次元測定装置。
The angle information designating means accepts designation of a preview angle from the plurality of imaging angles,
The preview control means, the three-dimensional measuring apparatus according to any one of claims 1 to 3 to switch the imaging angle designated as the preview angle and acquires the captured image.
上記投光手段は、上記撮像手段の上記受光軸に対して投光軸が傾斜するように配置された2以上の照明装置からなり、
上記プレビュー制御手段は、上記照明装置を順次に点灯させて複数の上記撮影画像を取得し、これらの撮影画像を合成した合成画像を画面表示するとともに、上記複数の撮影画像に基づいて、影領域を検出し、上記合成画像上に重畳して表示することを特徴とする請求項1〜のいずれかに記載の三次元測定装置。
The light projecting means is composed of two or more illuminating devices arranged such that the light projecting axis is inclined with respect to the light receiving axis of the image pickup means,
The preview control means sequentially lights the lighting device to acquire a plurality of the captured images, displays a composite image obtained by combining the captured images on a screen, and, based on the plurality of captured images, a shadow area. detecting a three-dimensional measuring apparatus according to any one of claims 1 to 4, characterized in that superimposed and displayed on the on the composite image.
上記プレビュー制御手段は、受光量が飽和している飽和領域を上記合成画像上に重畳して表示することを特徴とする請求項に記載の三次元測定装置。 The three-dimensional measuring apparatus according to claim 5 , wherein the preview control means displays a saturated region in which the amount of received light is saturated in a superimposed manner on the composite image. ワンショット測定モード及び連結測定モードのいずれかを指定するユーザ操作を受け付ける測定モード指定手段と、
測定開始の指示を受け付ける測定指示受付手段とを更に備え、
上記測定制御手段は、上記ワンショット測定モードが指定された場合に、上記測定開始の指示受付時における上記ステージの回転位置に対応する撮像アングルで撮像された上記撮影画像を取得して上記三次元形状データを求め、上記連結測定モードが指定された場合に、上記測定開始の指示受付前に決定された上記複数の撮像アングルに順次に切り替え、各撮像アングルで撮像された上記撮影画像を取得して上記連結形状データを求めることを特徴とする請求項1〜のいずれかに記載の三次元測定装置。
A measurement mode designating means for accepting a user operation for designating one of the one-shot measurement mode and the linked measurement mode,
Further comprising a measurement instruction receiving means for receiving a measurement start instruction,
When the one-shot measurement mode is designated, the measurement control means acquires the captured image captured at an imaging angle corresponding to the rotational position of the stage at the time of receiving the instruction to start the measurement, and acquires the three-dimensional image. Shape data is obtained, and when the connected measurement mode is designated, the plurality of imaging angles determined before receiving the instruction to start the measurement are sequentially switched, and the captured images captured at each imaging angle are acquired. The three-dimensional measuring device according to any one of claims 1 to 7 , wherein the connection shape data is obtained by the above.
測定対象物の三次元形状データ取得時の当該測定対象物に対する撮像アングルが互いに異なる複数の三次元形状データを連結して連結形状データを生成する三次元測定装置の制御方法であって、
ステージ上に載置された測定対象物に検出光を照射する投光ステップと、
上記測定対象物により反射された上記検出光を受光して撮影画像を生成する撮像ステップと、
鉛直方向の回転軸を中心として上記ステージを回転させることにより、上記ステージに載置された測定対象物に対する上記撮像アングルを切り替えるアングル切替ステップと、
上記撮影画像に基づいて、上記測定対象物の上記三次元形状データを求める形状データ算出ステップと、
指定入力に従ってアングル指定情報を受け付ける指定ステップと、
上記アングル指定情報に基づき複数の上記撮像アングルを決定する決定ステップと、
決定された上記複数の撮像アングルのいずれかの上記撮像アングルに、上記アングル切替ステップにより上記ステージを切り替えた後、上記撮像ステップにより上記撮影画像を取得して画面表示するプレビューステップと、
指定入力に従ってアングル指定情報を変更する変更ステップと、
変更後の上記アングル指定情報に基づき複数の上記撮像アングルを再決定する再決定ステップと、
再決定された上記複数の撮像アングルに、上記アングル切替ステップにより上記ステージを順次に切り替え、上記撮像ステップにより各撮像アングルにおける上記撮影画像から求められた上記三次元形状データを上記撮像アングルに基づいて連結し、上記連結形状データを求める測定制御ステップと、
上記連結形状データに対する位置の指定を受け付けて幾何要素を抽出し、抽出された幾何要素に基づいて、上記測定対象物の形状を測定する形状測定ステップとを備えることを特徴とする三次元測定装置の制御方法。
A control method of a three-dimensional measuring device, which generates a connected shape data by connecting a plurality of three-dimensional shape data having different imaging angles with respect to the measurement object when the three-dimensional shape data of the measurement object is obtained,
A light projecting step of irradiating the measuring object placed on the stage with the detection light,
An imaging step of receiving the detection light reflected by the measurement object to generate a captured image,
An angle switching step of switching the imaging angle with respect to the measurement object placed on the stage by rotating the stage about a vertical rotation axis,
A shape data calculation step of obtaining the three-dimensional shape data of the measurement object based on the captured image;
A specification step that receives angle specification information according to the specification input,
A determination step of determining a plurality of the imaging angles based on the angle designation information ,
A preview step of acquiring the captured image and displaying the captured image on the screen by the imaging step after switching the stage by the angle switching step to the imaging angle of any of the plurality of determined imaging angles ;
A change step to change the angle designation information according to the designation input,
A re-determining step of re-determining a plurality of the imaging angles based on the changed angle designation information,
The stage is sequentially switched to the plurality of re-determined imaging angles by the angle switching step, and the three-dimensional shape data obtained from the captured image at each imaging angle by the imaging step is based on the imaging angle. A measurement control step of connecting and obtaining the connection shape data;
Extracting the geometrical element accepts the designation of position relative to the coupling shape data, based on the extracted geometrical element, three-dimensional measuring device, characterized in that it comprises a shape measuring step of measuring the shape of the measurement object Control method.
JP2016126088A 2016-06-24 2016-06-24 Three-dimensional measuring device and control method thereof Active JP6722522B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016126088A JP6722522B2 (en) 2016-06-24 2016-06-24 Three-dimensional measuring device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016126088A JP6722522B2 (en) 2016-06-24 2016-06-24 Three-dimensional measuring device and control method thereof

Publications (2)

Publication Number Publication Date
JP2017227609A JP2017227609A (en) 2017-12-28
JP6722522B2 true JP6722522B2 (en) 2020-07-15

Family

ID=60891444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016126088A Active JP6722522B2 (en) 2016-06-24 2016-06-24 Three-dimensional measuring device and control method thereof

Country Status (1)

Country Link
JP (1) JP6722522B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7257113B2 (en) * 2018-08-01 2023-04-13 株式会社キーエンス Three-dimensional coordinate measuring device
JP7000380B2 (en) * 2019-05-29 2022-01-19 Ckd株式会社 3D measuring device and 3D measuring method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002031513A (en) * 2000-07-14 2002-01-31 Minolta Co Ltd Three-dimensional measuring device
US8849620B2 (en) * 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
JP2014109489A (en) * 2012-11-30 2014-06-12 Keyence Corp Measurement microscope device and image photographing method employing the same
JP6091866B2 (en) * 2012-11-30 2017-03-08 株式会社キーエンス Measurement microscope apparatus, image generation method, measurement microscope apparatus operation program, and computer-readable recording medium
JP6325877B2 (en) * 2014-04-18 2018-05-16 株式会社キーエンス Optical coordinate measuring device

Also Published As

Publication number Publication date
JP2017227609A (en) 2017-12-28

Similar Documents

Publication Publication Date Title
JP6736423B2 (en) Three-dimensional measuring device
US10262431B2 (en) Three-dimensional measurement device
JP6029394B2 (en) Shape measuring device
US8743374B2 (en) Shape measuring device, shape measuring method, and shape measuring program
JP5170154B2 (en) Shape measuring apparatus and calibration method
US9151600B2 (en) Shape measuring device, shape measuring method, and shape measuring program
JP5547105B2 (en) Dimension measuring apparatus, dimension measuring method and program for dimension measuring apparatus
US11009344B2 (en) Image observing device, image observing method, image observing program, and computer-readable recording medium
US10415958B2 (en) Measuring device
JP2017203975A (en) Method, apparatus, system and software for focusing camera
JP6279048B2 (en) Shape measuring device
JP6736383B2 (en) measuring device
JP6736424B2 (en) Three-dimensional measuring device
JP6722522B2 (en) Three-dimensional measuring device and control method thereof
JP7152223B2 (en) Image measuring device
JP2014106094A (en) Shape measurement device
JP7154069B2 (en) Image inspection device
JP2014092491A (en) Shape measurement device, shape measurement method and shape measurement program
JP6799893B2 (en) Three-dimensional measuring device
JP2017227610A (en) Three-dimensional measurement device
JP2009092409A (en) Three-dimensional shape measuring device
JP7154084B2 (en) Three-dimensional shape measuring device and three-dimensional shape measuring program
JP6748520B2 (en) Calibration tool manufacturing method and three-dimensional measuring apparatus
JP6695747B2 (en) measuring device
JP2011252835A (en) Three dimensional shape measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6722522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250