WO2014109146A1 - ３次元計測装置 - Google Patents

３次元計測装置 Download PDF

Info

Publication number
WO2014109146A1
WO2014109146A1 PCT/JP2013/082585 JP2013082585W WO2014109146A1 WO 2014109146 A1 WO2014109146 A1 WO 2014109146A1 JP 2013082585 W JP2013082585 W JP 2013082585W WO 2014109146 A1 WO2014109146 A1 WO 2014109146A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
measurement
texture
processing unit
Prior art date
Application number
PCT/JP2013/082585
Other languages
English (en)
French (fr)
Inventor
松尾　順向
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2014109146A1 publication Critical patent/WO2014109146A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • This invention relates to a three-dimensional measuring apparatus using a stereo camera, for example.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-147110
  • This three-dimensional measuring device projects a pattern onto an object and performs three-dimensional measurement. More specifically, the three-dimensional measuring device calculates a pattern suitability index value indicating the suitability as a pattern of the light projection pattern generated by the light projection pattern generation means based on the generated light projection pattern, By comparing the calculated pattern suitability index value with a predetermined threshold value, it is determined whether or not the generated projection pattern has suitability as a projection pattern for three-dimensional shape measurement.
  • the measurement time can be greatly reduced by specifying the desired part and measuring only that part rather than measuring the entire object.
  • a method called template matching as a method for specifying a desired part. Template matching using a desired part as a registered image is performed to specify the position of the part in the image, and only that part may be three-dimensionally processed.
  • an object of the present invention is to provide a three-dimensional measurement apparatus that enables partial three-dimensional measurement of an object, greatly reduces the measurement time, and enables template matching and three-dimensional measurement with a single photographing. It is to provide.
  • the three-dimensional measurement apparatus of the present invention An imaging means for imaging an object; Illumination means for projecting a texture onto the object; Image registration means for storing, as a registered image, an image captured by the imaging means in a state in which at least a part including the measurement point of the object is not projected from the illumination means and the texture; Pre-processing means for performing a process of reducing the spatial frequency on the original image captured by the imaging means in a state where the texture is projected from the illumination means on the object; Image position detecting means for detecting a position corresponding to the registered image from the original image processed by the preprocessing means; 3D processing means for calculating 3D information of the object based on the original image picked up by the image pickup means and a detection result detected by the image position detection means.
  • the image registration means stores a registered image of an object on which no texture is projected.
  • the preprocessing means performs a process of reducing the spatial frequency on the original image of the target object on which the texture is projected.
  • the image position detecting means detects a position corresponding to the registered image from the original image processed by the preprocessing means.
  • the three-dimensional processing means calculates three-dimensional information of the object based on the original image picked up by the image pickup means and the detection result detected by the image position detecting means.
  • an image on which no texture is projected is prepared as the registered image.
  • the texture component is reduced by the process of reducing the spatial frequency of the original image.
  • template matching between the processed original image and the registered image can be performed.
  • the three-dimensional processing unit is configured to apply the object only to a position corresponding to the measurement point of the object detected by the image position detection unit and a peripheral portion of the position. Calculate three-dimensional information of an object.
  • the three-dimensional processing unit is configured to detect only the position corresponding to the measurement point of the target detected by the image position detection unit and the peripheral portion of the target. Three-dimensional information is calculated. Thereby, a target object can be partially measured three-dimensionally and measurement time can be further shortened.
  • the three-dimensional processing unit performs three-dimensional measurement in a measurement area including a position corresponding to the measurement point of the object detected by the image position detection unit. Then, from the three-dimensional measurement value in this measurement area, the three-dimensional measurement value of the position corresponding to the measurement point of the object detected by the image position detection means is calculated.
  • the three-dimensional processing means performs three-dimensional measurement in a measurement area including a position corresponding to the measurement point of the object detected by the image position detection means.
  • a three-dimensional measurement value at a position corresponding to the measurement point detected by the image position detection means is calculated from the three-dimensional measurement value in the measurement area.
  • the process of reducing the spatial frequency of the preprocessing unit is a spatial filter process or a resolution reduction process.
  • the process of reducing the spatial frequency of the preprocessing means is a spatial filter process or a resolution reduction process.
  • the processing time can be shortened.
  • the imaging means is a stereo camera including two two-dimensional cameras
  • the preprocessing means performs a process of reducing the spatial frequency on the right image or the left image of the original image of the object from the stereo camera
  • the image position detecting means detects a position corresponding to the registered image from the right image or the left image processed by the preprocessing means.
  • the imaging unit is a stereo camera
  • the preprocessing unit calculates a spatial frequency with respect to the right image or the left image of the original image of the object from the stereo camera. Apply processing to reduce.
  • the image position detecting means detects a position corresponding to the registered image from the right image or the left image processed by the preprocessing means. Thereby, based on the right image or the left image from a stereo camera, the partial three-dimensional measurement of a target object is attained.
  • the image registration means stores a registered image of an object on which no texture is projected.
  • the preprocessing means performs a process of reducing the spatial frequency on the original image of the target object on which the texture is projected.
  • the image position detecting means detects a position corresponding to the registered image from the original image processed by the preprocessing means.
  • the three-dimensional processing means calculates three-dimensional information of the object based on the original image picked up by the image pickup means and the detection result detected by the image position detecting means. As a result, partial three-dimensional measurement of the target object is possible, the measurement time is greatly shortened, and template matching and three-dimensional measurement can be performed by one shooting.
  • FIG. 1 is a block diagram showing a three-dimensional measuring apparatus according to the first embodiment of the present invention.
  • the three-dimensional measuring apparatus includes a stereo camera 10 as an imaging unit, a projector 3 as an illumination unit, an image registration unit 26 as an image registration unit, and a filter processing unit as a preprocessing unit. 25, a template matching processing unit 27 as an image position detecting unit, and a three-dimensional processing unit 28 as a three-dimensional processing unit.
  • the stereo camera 10 has an L camera 1 for the left image and an R camera 2 for the right image.
  • the L camera 1 and the R camera 2 are two-dimensional cameras and pick up an image of the workpiece 5 as an object.
  • a CCD or CMOS sensor may be used as the image sensor of the cameras 1 and 2, and an image is formed on the image sensor using an appropriate optical system such as a lens.
  • the projector 3 projects illumination light onto an area captured by the L camera 1 and the R camera 2.
  • Each of the left and right images captured by the L camera 1 and the R camera 2 is input to the gray scale conversion unit 21 and the image is converted to a gray scale.
  • Gray scale makes it possible to reduce the amount of information compared to processing with a color image, so that the processing load can be reduced and the cost of the processing unit can be reduced and the processing time can be shortened. If there is no problem with the processing capability, the gray scale unit 21 may be omitted and the subsequent processing may be performed with a color image.
  • the left and right grayscale images are corrected by the parallelization processing unit 22 into a parallelized image that is easily subjected to lens distortion and stereo matching.
  • the left parallelized image 23 obtained here is subjected to low-pass filter processing by the filter processing unit 25.
  • the image registration unit 26 stores an image for template matching.
  • the image registered in the image registration unit 26 is the most similar to the image processed by the filter processing unit 25. Extract the location of a close image.
  • the three-dimensional processing unit 28 executes a stereo three-dimensional measurement process from the left parallelized image 23 and the right parallelized image 24. However, the three-dimensional measurement process execution area is executed only in the area matched by template matching.
  • the measurement result output unit 29 is a part that outputs 3D measurement result data to the overall control unit 30.
  • the robot arm 6 is for moving and fixing the L camera 1, the R camera 2, and the projector 3 attached to the tip of the arm to a predetermined position with respect to the work 5.
  • the overall control unit 30 performs appropriate execution control of each member.
  • the image which performs the filter process part 25 was made into the left parallelization image, it is good also as a right parallelization image.
  • FIG. 2 shows an arrangement example of the L camera 1, the R camera 2, the projector 3, and the work 5.
  • the L camera 1, the R camera 2, and the projector 3 constitute a camera unit 4. Since the L camera 1 and the R camera 2 constitute a stereo camera, the imaging ranges of the cameras 1 and 2 are optically arranged so that a common imaging portion exists. Further, the projection range by the projector 3 is projected so as to include the imaging range of the L camera 1 and the R camera 2 or the common imaging part of the cameras 1 and 2.
  • the illumination light from the projector 3 projects a figure including a texture (pattern).
  • FIG. 3 shows an example of the texture. This is a texture in which dots are arranged at random positions in a plane.
  • the effect of the texture projected by the projector 3 will be described.
  • the projection range of the projector 3 needs to be projected so as to include the imaging range of the L camera 1 and the R camera 2 or the common imaging part of the cameras 1 and 2.
  • FIG. 4 shows a block diagram of the three-dimensional processing unit 28.
  • the three-dimensional processing unit 28 includes a differentiation processing unit 32, a corresponding point search processing unit 33, and a distance image generation processing unit 34.
  • the corresponding point search processing unit 33 searches for the same feature point from the right and left parallelized images 23 and 24 as the original image using the texture projected by the projector 3 as a feature point (referred to as a corresponding point search process).
  • the corresponding point search process is a process for specifying the coordinates of the same feature point on the left and right images, and there is a correlation block matching method or the like as the method.
  • the differential processing unit 32 can emphasize edge information that tends to be a feature point by executing the differential processing before the corresponding point search processing, and is effective in ensuring the accuracy of the corresponding point search processing.
  • the position of each feature point on the left and right images is specified, the position of each feature point from the camera (generally, the optical center of either the left or right camera is the origin based on the optical specifications of the camera and the principle of stereo measurement. 3D coordinates) is calculated by the distance image generation processing unit 34, and three-dimensional data, that is, a distance image is obtained by the distance image generation processing unit 34.
  • the image registration unit 26 stores a registered image. This registered image will be described with reference to FIGS. 5A to 5D. Assume that the workpiece 5 has a shape as shown in the three views of FIG. 5A, and the three-dimensional position from the cameras 1 and 2 is measured at a point indicated as a measurement point P in the workpiece 5. Assume that the cameras 1 and 2 are arranged so as to photograph the upper surface of the work 5 as shown in FIG. An example of a registration image generation procedure in this case will be described.
  • the registered image may be used as a whole instead of the part.
  • FIGS. 6A to 6C A method for measuring the three-dimensional position of the measurement point P of the workpiece 5 using the registered image will be described with reference to FIGS. 6A to 6C.
  • FIG. 2 it is assumed that the work 5 is imaged in a state in which a texture is projected from the projector 3, and the left parallelized image 23 (as an original image) obtained by this is shown in FIG. 6A.
  • the image processing unit 25 executes a low pass filter on the image 23 to obtain an image with reduced texture contrast as shown in FIG. 6B.
  • the sharpness of the contour of the workpiece 5 is somewhat reduced. If necessary, the sharpness of the contour of the workpiece 5 may be restored by performing a sharpening process as shown in FIG. 6C. However, it is necessary not to increase the texture contrast too much.
  • a template matching process with an image registered in the image registration unit 26 is performed from the image obtained by the filter processing by the filter processing unit 25.
  • the coordinates corresponding to the measurement point P can be detected from the image obtained by the filtering process, that is, the left parallelized image 23.
  • the coordinates in the image of the measurement point P can be detected, the coordinates in the three-dimensional space of the measurement point P can be measured by executing the three-dimensional measurement already described for the measurement point P.
  • the reason for using normal lighting instead of shooting under texture lighting when creating the above registered image will be described.
  • texture illumination is projected.
  • the texture position projected on the workpiece and the texture position of the registered image are different, template matching will not be performed well, and matching position detection will not be performed. Inaccurate or undetectable.
  • the texture position projected on the workpiece can be made the same position as the registered image, template matching will be successful, but in order to project the texture to the same position as the registered image, a fine adjustment mechanism for the relative position between the workpiece and the projector And an automatic mechanism for determining the degree of coincidence of texture positions is required, resulting in a very complicated device. Therefore, in the present invention, the registered image is an image without a texture, and the template matching process can be performed by adopting a method of reducing the texture component from the image used for measurement.
  • the image registration unit 26 registers an image captured by the stereo camera 10 in a state in which at least a part including the measurement point P of the workpiece 5 is not projected from the projector 3.
  • the filter processing unit 25 performs a process of reducing the spatial frequency on the original images (left and right parallelized images 23 and 24) captured by the stereo camera 10 in a state where the texture of the workpiece 5 is projected from the projector 3.
  • the template matching processing unit 27 detects a position corresponding to the registered image from the original images 23 and 24 processed by the filter processing unit 25.
  • the three-dimensional processing unit 28 calculates three-dimensional information of the work 5 based on the original images 23 and 24 captured by the stereo camera 10 and the detection result detected by the template matching processing unit 27.
  • an image on which a texture is not projected is prepared as a registered image.
  • the processing of reducing the spatial frequency of the original images 23 and 24 is performed.
  • template matching between the processed original images 23 and 24 and the registered image can be performed.
  • the three-dimensional processing unit 28 calculates the three-dimensional information of the workpiece 5 only for the position corresponding to the measurement point P of the workpiece 5 detected by the template matching processing unit 27 and the peripheral portion of this position. Thereby, the workpiece
  • work 5 can be partially measured three-dimensionally and measurement time can be shortened further.
  • FIG. 8 is a block diagram showing a three-dimensional measuring apparatus according to the second embodiment of the present invention.
  • the second embodiment is different from the first embodiment only in the configuration of the image processing unit. Only this different configuration will be described below.
  • the same reference numerals as those in the first embodiment are the same as those in the first embodiment, and the description thereof is omitted.
  • the image processing unit 20A includes a resolution reduction processing unit 35 instead of the filter processing unit 25 of the image processing unit 20 of the first embodiment.
  • the resolution reduction processing unit 35 performs resolution reduction processing on the left parallelized image 23. 9A and 9B, when there is a texture in units of one pixel in the 8 ⁇ 10 pixels as shown in FIG. 9A, the adjacent four pixels in the image are regarded as one pixel, and the pixels are changed. When the value is converted into an image obtained by averaging the density values of the original four pixels, it becomes as shown in FIG. 9B.
  • the number of pixels in FIG. 9B is reduced to 4 ⁇ 5 pixels, and since the unit is 4 pixels of the original image, the spatial frequency is reduced and the texture contrast is reduced. Thereby, the same effect as a low-pass filter is acquired.
  • the reduction in resolution can reduce the number of pixels, an effect of shortening the processing time can be obtained.
  • FIG. 10 is an explanatory diagram for explaining the three-dimensional processing of the three-dimensional measuring apparatus according to the third embodiment of the present invention.
  • the third embodiment is different from the first embodiment in three-dimensional processing. Only this different configuration will be described below.
  • the in-image coordinates of the measurement point P are detected by template matching, three-dimensional measurement is performed for the point P.
  • the three-dimensional measurement is accurate. The measured value cannot be obtained.
  • the pixels in the surrounding measurement area including the coordinates of the detected measurement point P in the image are also three-dimensionally measured, and the average value is set as the three-dimensional measurement value of the measurement point P, thereby affecting the influence of noise and the like. Can be reduced.
  • a predetermined measurement area Z centering on the measurement point P is set, and the inside of the measurement area Z is measured three-dimensionally.
  • An invalid pixel MG is extracted from the obtained three-dimensional coordinates of each pixel.
  • the invalid pixel MG is, for example, a pixel that is clearly measured to be out of the position where the workpiece 5 exists as a distance value.
  • the average value of the three-dimensional measurement values of the remaining effective pixels YG is calculated and used as the measurement result of the measurement point P.
  • the measurement area Z it is desirable to keep the measurement area P at a site where the difference in distance is small.
  • the three-dimensional processing unit of the third embodiment performs three-dimensional measurement in the measurement area Z including the position corresponding to the measurement point P of the workpiece 5 detected by the template matching processing unit 27, and this measurement area A three-dimensional measurement value at a position corresponding to the measurement point P detected by the template matching processing unit 27 is calculated from the three-dimensional measurement value in Z.

Abstract

　画像登録部(２６)は、ワーク(５)の一部分を、テクスチャを投影しない状態で撮像した画像を、登録画像として、格納する。フィルタ処理部(２５)は、ワーク(５)をテクスチャを投影した状態で撮像した元画像(２３，２４)に対して、空間周波数を低下させる処理を施す。テンプレートマッチング処理部(２７)は、フィルタ処理部(２５)によって処理された元画像(２３，２４)内から登録画像に対応する位置を検出する。３次元処理部(２８)は、テンプレートマッチング処理部(２７)によって検出された検出結果に基づいて、ワーク(５)の３次元情報を算出する。

Description

３次元計測装置
　この発明は、例えば、ステレオカメラを用いた３次元計測装置に関する。
　従来、３次元計測装置としては、特開２００１－１４７１１０号公報（特許文献１）に記載されたものがある。この３次元計測装置は、パターンを対象物に投光して３次元計測を行なう。具体的に述べると、この３次元計測装置は、投光パターン生成手段の生成した投光パターンのパターンとしての適性度を示すパターン適性度指標値を、生成投光パターンに基づいて算出し、この算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用の投光パターンとして適性を持つか否かを判定する。
特開２００１－１４７１１０号公報
　ところで、上記従来の３次元計測装置では、対象物をステレオカメラで３次元計測するに当たり左右画像の対応点を得やすくするためにパターンを投影しているが、パターンやテクスチャ（模様）を投影して３次元計測を行なう場合、以下の課題を有する。
　対象物の所望の部位のみ計測したい場合、対象物全体を計測するよりも所望の部位を特定してその部分のみ計測を行なう事で計測時間が大幅に短縮できる。所望の部位を特定する方法としてテンプレートマッチングという手法がある。所望の部位を登録画像とするテンプレートマッチングを行って画像内の部位の位置を特定し、その部分のみ３次元処理すれば良い。
　この場合、登録画像としてパターンやテクスチャを投光された画像を準備する場合と投光されない画像を準備する場合が考えられるが、登録画像としてパターンやテクスチャ投光された画像を準備すると、３次元計測時に所望の部位に投光されるパターンやテクスチャの位置と登録画像上のパターンやテクスチャの位置が合うように投光せねばならず、その調整に非常に煩雑な工程が必要となる。
　一方、登録画像としてテクスチャ投光されない画像を準備すると、３次元計測時に所望の部位に投光されるテクスチャがテンプレートマッチングの邪魔となり、正確なマッチング結果が得られなくなる。これを避けるのに、３次元計測時にはテクスチャを投光しない画像を１度撮像してテンプレートマッチングを行い、その後テクスチャ投光した画像を再度撮像して３次元計測を行なう必要がある。即ち、２回撮影を行う必要がある。
　そこで、この発明の課題は、対象物の部分的な３次元計測を可能とし、計測時間が大幅に短縮されると共に、一度の撮影でテンプレートマッチングと３次元計測が可能となる３次元計測装置を提供することにある。
　上記課題を解決するため、この発明の３次元計測装置は、
　対象物を撮像する撮像手段と、
　上記対象物にテクスチャを投影する照明手段と、
　上記対象物の計測ポイントを含む少なくとも一部分を、上記照明手段から上記テクスチャを投影しない状態で、上記撮像手段によって撮像した画像を、登録画像として、格納する画像登録手段と、
　上記対象物を上記照明手段から上記テクスチャを投影した状態で上記撮像手段によって撮像した元画像に対して、空間周波数を低下させる処理を施す前処理手段と、
　上記前処理手段によって処理された上記元画像内から上記登録画像に対応する位置を検出する画像位置検出手段と、
　上記撮像手段によって撮像された上記元画像、および、上記画像位置検出手段によって検出された検出結果に基づいて、上記対象物の３次元情報を算出する３次元処理手段と
を備えることを特徴としている。
　この発明の３次元計測装置によれば、上記画像登録手段は、テクスチャを投影されていない対象物の登録画像を格納する。上記前処理手段は、テクスチャを投影された対象物の元画像に対して、空間周波数を低下させる処理を施す。上記画像位置検出手段は、前処理手段によって処理された元画像内から登録画像に対応する位置を検出する。上記３次元処理手段は、上記撮像手段によって撮像された元画像、および、上記画像位置検出手段によって検出された検出結果に基づいて、対象物の３次元情報を算出する。
　このように、上記登録画像として、テクスチャを投影されない画像を準備するが、上記元画像は、テクスチャを投影された状態であるため、この元画像の空間周波数を低下させる処理にてテクスチャ成分を低減することで、この処理された元画像と登録画像とのテンプレートマッチングを行うことができる。
　したがって、上記対象物の部分的な３次元計測を可能とし、計測時間が大幅に短縮される。また、一度の撮影でテンプレートマッチングと３次元計測が可能となる。
　また、一実施形態の３次元計測装置では、上記３次元処理手段は、上記画像位置検出手段によって検出された上記対象物の上記計測ポイントに対応する位置およびこの位置の周辺部分についてのみ、上記対象物の３次元情報を算出する。
　この実施形態の３次元計測装置によれば、上記３次元処理手段は、上記画像位置検出手段によって検出された対象物の計測ポイントに対応する位置およびこの位置の周辺部分についてのみ、上記対象物の３次元情報を算出する。これにより、対象物を部分的に３次元計測できて、計測時間を一層短縮できる。
　また、一実施形態の３次元計測装置では、上記３次元処理手段は、上記画像位置検出手段によって検出された上記対象物の上記計測ポイントに対応する位置を含む計測エリア内の３次元計測を行い、この計測エリア内の３次元計測値から、上記画像位置検出手段によって検出された上記対象物の上記計測ポイントに対応する位置の３次元計測値を演算する。
　この実施形態の３次元計測装置によれば、上記３次元処理手段は、上記画像位置検出手段によって検出された対象物の計測ポイントに対応する位置を含む計測エリア内の３次元計測を行い、この計測エリア内の３次元計測値から、画像位置検出手段によって検出された計測ポイントに対応する位置の３次元計測値を演算する。
　これにより、画像位置検出手段によって検出された計測ポイントに対応する位置にノイズ等が存在していても、この画像位置検出手段によって検出された計測ポイントに対応する位置のみを３次元計測しないので、ノイズ等の影響を低減することができる。
　また、一実施形態の３次元計測装置では、上記前処理手段の上記空間周波数を低下させる処理は、空間フィルタ処理または低解像度化処理である。
　この実施形態の３次元計測装置によれば、上記前処理手段の上記空間周波数を低下させる処理は、空間フィルタ処理または低解像度化処理である。低解像度化処理の場合、処理時間を短縮できる。
　また、一実施形態の３次元計測装置では、
　上記撮像手段は、２つの２次元カメラを含むステレオカメラであり、
　上記前処理手段は、上記ステレオカメラからの上記対象物の上記元画像の右画像又は左画像に対して、空間周波数を低下させる処理を施し、
　上記画像位置検出手段は、上記前処理手段によって処理された上記右画像又は上記左画像内から上記登録画像に対応する位置を検出する。
　この実施形態の３次元計測装置によれば、上記撮像手段は、ステレオカメラであり、上記前処理手段は、ステレオカメラからの対象物の元画像の右画像又は左画像に対して、空間周波数を低下させる処理を施す。上記画像位置検出手段は、前処理手段によって処理された右画像又は左画像内から登録画像に対応する位置を検出する。これにより、ステレオカメラからの右画像又は左画像に基づいて、対象物の部分的な３次元計測が可能となる。
　この発明の３次元計測装置によれば、上記画像登録手段は、テクスチャを投影されていない対象物の登録画像を格納する。上記前処理手段は、テクスチャを投影された対象物の元画像に対して、空間周波数を低下させる処理を施す。上記画像位置検出手段は、前処理手段によって処理された元画像内から登録画像に対応する位置を検出する。上記３次元処理手段は、上記撮像手段によって撮像された元画像、および、上記画像位置検出手段によって検出された検出結果に基づいて、対象物の３次元情報を算出する。これにより、対象物の部分的な３次元計測を可能とし、計測時間が大幅に短縮されると共に、一度の撮影でテンプレートマッチングと３次元計測が可能となる。
本発明の第１実施形態の３次元計測装置を示すブロック図である。 Ｌカメラ、Ｒカメラ、プロジェクタ及びワークの配置を説明する説明図である。 テクスチャを説明する説明図である。 ３次元処理部を示すブロック図である。 登録画像を説明する説明図である。 登録画像を説明する説明図である。 登録画像を説明する説明図である。 登録画像を説明する説明図である。 フィルタ処理部によるフィルタ処理を説明する説明図である。 フィルタ処理部によるフィルタ処理を説明する説明図である。 フィルタ処理部によるフィルタ処理を説明する説明図である。 テンプレートマッチング処理部によるテンプレートマッチング処理を説明する説明図である。 本発明の第２実施形態の３次元計測装置を示すブロック図である。 低解像度化処理部による低解像度化処理を説明する説明図である。 低解像度化処理部による低解像度化処理を説明する説明図である。 本発明の第３実施形態の３次元計測装置の３次元処理を説明する説明図である。
　以下、この発明を図示の実施の形態により詳細に説明する。
　（第１の実施形態）
　図１は、この発明の第１実施形態の３次元計測装置を示すブロック図である。図１に示すように、この３次元計測装置は、撮像手段としてのステレオカメラ１０と、照明手段としてのプロジェクタ３と、画像登録手段としての画像登録部２６と、前処理手段としてのフィルタ処理部２５と、画像位置検出手段としてのテンプレートマッチング処理部２７と、３次元処理手段としての３次元処理部２８とを備える。
　上記ステレオカメラ１０は、左画像用のＬカメラ１と右画像用のＲカメラ２とを有する。Ｌカメラ１とＲカメラ２は、２次元カメラであり、対象物としてのワーク５を撮像する。カメラ１，２の撮像素子としては、ＣＣＤ或いはＣＭＯＳセンサを用いれば良く、適切なレンズ等の光学系にて像を撮像素子に結像する。
　上記プロジェクタ３は、Ｌカメラ１とＲカメラ２で撮像するエリアに照明光を投影するものである。Ｌカメラ１とＲカメラ２で撮像された左右画像の各々は、グレースケール化部２１に入力され、画像がグレースケール化される。グレースケール化により、カラー画像で処理するよりも情報量を削減出来るので処理負荷が軽くでき、処理部の低コスト化や処理時間短縮が可能となる。なお、処理能力に問題なければ、グレースケール化部２１を省略して、カラー画像で以降の処理をしても良い。
　次に、左右の各グレースケール画像は、平行化処理部２２にてレンズ歪みおよびステレオマッチングし易い平行化画像に補正される。ここで得られた左平行化画像２３は、フィルタ処理部２５でローパスフィルタ処理が実行される。
　上記画像登録部２６は、テンプレートマッチング用の画像が格納されており、上記テンプレートマッチング処理部２７に於いて、フィルタ処理部２５で処理された画像内から画像登録部２６に格納された画像と最も近い画像の位置を抽出する。
　上記３次元処理部２８では、左平行化画像２３及び右平行化画像２４からステレオ３次元計測処理を実行する。但し、３次元計測処理実行エリアは、テンプレートマッチングにてマッチングしたエリアのみ実行する。
　計測結果出力部２９は、３次元計測結果データを全体制御部３０に出力する部分である。ロボットアーム６は、アーム先端に取り付けられたＬカメラ１、Ｒカメラ２及びプロジェクタ３を、ワーク５に対して所定の位置に移動及び固定する為のものである。全体制御部３０は、上記各部材の適切なる実行制御を行なう。なお、フィルタ処理部２５を実行する画像を左平行化画像としたが、右平行化画像としてもよい。
　図２は、Ｌカメラ１、Ｒカメラ２、プロジェクタ３及びワーク５の配置例を示す。図２に示すように、Ｌカメラ１、Ｒカメラ２およびプロジェクタ３は、カメラユニット４を構成する。Ｌカメラ１およびＲカメラ２は、ステレオカメラを構成するために、各カメラ１，２の撮像範囲は、共通の撮像部分が存在するように光軸配置される。また、プロジェクタ３による投影範囲は、Ｌカメラ１及びＲカメラ２の撮像範囲または各カメラ１，２の共通の撮像部分を含むように投影される。プロジェクタ３による照明光は、テクスチャ（模様）を含む図形等が投影される。図３にテクスチャの例を示す。これは、平面内のランダムな位置にドットを配置したテクスチャである。
　ここで、プロジェクタ３により投影されるテクスチャの効果について説明する。左右カメラ画像からステレオ計測する場合には、左右画像上の特徴点について計測するが、画像内で特徴点が少ない場合は、計測点が少なくなる。即ち、３次元計測点の平面解像度が粗くなる。平面解像度が粗くなると、十分にワーク５の形状が計測されないことになる。そこで、十分な数の特徴点が得られるように、外部から特徴点となり得るテクスチャを被写体に投影する。これを投影するのがプロジェクタ３である。プロジェクタ３の投影範囲は、Ｌカメラ１およびＲカメラ２の撮像範囲または各カメラ１，２の共通の撮像部分を含むように投影する必要がある。
　図４は、３次元処理部２８のブロック図を示す。図４に示すように、３次元処理部２８は、微分処理部３２と対応点探索処理部３３と距離画像生成処理部３４とを有する。対応点探索処理部３３は、プロジェクタ３によって投影されたテクスチャを特徴点として、元画像としての左右平行化画像２３，２４から同じ特徴点を探索する（対応点探索処理という）。対応点探索処理は、左右画像上の同じ特徴点の座標を特定する処理であり、その方法としては相関ブロックマッチング法等がある。微分処理部３２は、対応点探索処理の前に微分処理を実行することで、特徴点となり易いエッジ情報を強調することができ、対応点探索処理の精度確保に効果的となる。
　左右画像上の各特徴点の座標が特定されれば、カメラの光学的仕様からステレオ計測の原理により、各特徴点のカメラからの位置（一般的には左右どちらかのカメラの光学中心を原点とした３次元座標）が、距離画像生成処理部３４によって計算され、３次元データ即ち距離画像が、距離画像生成処理部３４によって得られる。
　上記画像登録部２６は、登録画像を格納する。この登録画像について、図５Ａから図５Ｄを用いて説明する。図５Ａの三面図に示すような形状のものをワーク５とし、このワーク５の中の計測ポイントＰと示した点について、カメラ１，２からの３次元位置を計測するものとする。ワーク５に対してカメラ１，２は、図２に示すように、ワーク５の上面を撮影するように配置されるものとする。この場合の登録画像の生成手順例を述べる。
　まず、第１に、実際のワーク或いはサンプルワークの上面を撮影して、図５Ｂの画像を得る。この時、テクスチャ照明下での撮影は行わず、通常照明下とする。第２に、形状の特長を強調する為にエッジ強調処理（微分処理）を施して、図５Ｃの画像を得る。第３に、得られた画像から計測ポイントＰを含む一部分を切出した図５Ｄの画像を、登録画像として、画像登録部２６に格納する。ここで、一部分の切出しでは十分な特徴が得られない場合等では、一部分でなく全体を登録画像としても良い。
　上記登録画像を用いてワーク５の計測ポイントＰの３次元位置を計測する方法を、図６Ａから図６Ｃを用いて説明する。図２に示すようにワーク５をプロジェクタ３からテクスチャを投影した状態で撮像し、これにより得られた（元画像としての）左平行化画像２３が、図６Ａであったとする。この画像２３をフィルタ処理部２５にてローパスフィルタを実行し、図６Ｂの如くテクスチャのコントラストを低減した画像を得る。この時点で、ワーク５の輪郭の鮮鋭度がいくらか低下するが、必要があれば、図６Ｃに示すように、鮮鋭化処理を施して、ワーク５の輪郭の鮮鋭度を回復させても良い。但し、テクスチャのコントラストを上げ過ぎないようにする必要がある。
　次に、図７に示すように、フィルタ処理部２５によるフィルタ処理で得られた画像から、画像登録部２６に登録されている画像とのテンプレートマッチング処理を行う。これにより、フィルタ処理で得られた画像、即ち左平行化画像２３内から、計測ポイントＰに対応する座標を検出できる。計測ポイントＰの画像内座標が検出できると、その計測ポイントＰについて既に記した３次元計測を実行する事で、計測ポイントＰの３次元空間内座標が計測できる。
　上記登録画像の作成時にテクスチャ照明下での撮影は行わず、通常照明下とする理由を述べる。実際に、３次元計測を実施する場合、テクスチャ照明を投光するが、その場合のワークに投影されたテクスチャ位置と登録画像のテクスチャ位置が違うと、テンプレートマッチングがうまく行なわれず、マッチング位置検出が不正確或いは検出不能となる。或いは、ワークに投光されたテクスチャ位置を登録画像と同じ位置に出来ればテンプレートマッチングはうまく行くが、登録画像と同じ位置にテクスチャを投影するには、ワークとプロジェクタとの相対位置の微調整機構やテクスチャ位置の一致度を判断する自動的な仕組み等を要し、非常に複雑な装置となる。それ故、本発明では、登録画像はテクスチャなしの画像とし、計測に使用する画像からテクスチャ成分を低減する方法を採ることにより、テンプレートマッチング処理を可能としている。
　上記構成の３次元計測装置によれば、上記画像登録部２６は、ワーク５の計測ポイントＰを含む少なくとも一部分を、プロジェクタ３からテクスチャを投影しない状態で、ステレオカメラ１０によって撮像した画像を、登録画像として、格納する。上記フィルタ処理部２５は、ワーク５をプロジェクタ３からテクスチャを投影した状態でステレオカメラ１０によって撮像した元画像（左右平行化画像２３，２４）に対して、空間周波数を低下させる処理を施す。上記テンプレートマッチング処理部２７は、フィルタ処理部２５によって処理された元画像２３，２４内から登録画像に対応する位置を検出する。上記３次元処理部２８は、ステレオカメラ１０によって撮像された元画像２３，２４、および、テンプレートマッチング処理部２７によって検出された検出結果に基づいて、ワーク５の３次元情報を算出する。
　このように、登録画像として、テクスチャを投影されない画像を準備するが、元画像２３，２４は、テクスチャを投影された状態であるため、この元画像２３，２４の空間周波数を低下させる処理にてテクスチャ成分を低減することで、この処理された元画像２３，２４と登録画像とのテンプレートマッチングを行うことができる。
　したがって、ワーク５の部分的な３次元計測を可能とし、計測時間が大幅に短縮される。また、一度の撮影でテンプレートマッチングと３次元計測が可能となる。
　また、上記３次元処理部２８は、テンプレートマッチング処理部２７によって検出されたワーク５の計測ポイントＰに対応する位置およびこの位置の周辺部分についてのみ、ワーク５の３次元情報を算出する。これにより、ワーク５を部分的に３次元計測できて、計測時間を一層短縮できる。
　（第２の実施形態）
　図８は、この発明の第２実施形態の３次元計測装置を示すブロック図である。この第２の実施形態は、上記第１の実施形態とは、画像処理部の構成のみが相違する。この相違する構成のみを以下に説明する。なお、この第２の実施形態において、上記第１の実施形態と同一の符号は、上記第１の実施形態と同じ構成であるため、その説明を省略する。
　図８に示すように、この画像処理部２０Ａは、上記第１実施形態の画像処理部２０のフィルタ処理部２５に代えて低解像度化処理部３５を有する。
　上記低解像度化処理部３５は、左平行化画像２３に対して低解像度化処理を行う。画像変化を図９Ａと図９Ｂで説明すると、図９Ａのような８×１０画素の中に１画素を単位としたテクスチャがあった場合、画像内の隣り合う４画素を１画素として、その画素値は、元の４画素の濃度値の平均とした画像に変換すると、図９Ｂのようになる。図９Ｂの画素数は、４×５画素に低減されており、元の画像の４画素を単位とするため、空間周波数は低減しており、テクスチャコントラストが低下している。これにより、ローパスフィルタと同じ効果が得られる。また、低解像度化は、画素数を削減できるので、処理時間の短縮化の効果が得られる。
　（第３の実施形態）
　図１０は、この発明の第３実施形態の３次元計測装置の３次元処理を説明する説明図である。この第３の実施形態は、上記第１の実施形態とは、３次元処理が相違する。この相違する構成のみを以下に説明する。
　上記第１実施形態では、テンプレートマッチングにより計測ポイントＰの画像内座標を検出すると、そのポイントＰについて３次元計測を実行したが、何らかの要因でそのポイントＰ上にノイズ等が存在すると正確な３次元計測値が得られない。
　これを防ぐために、検出された計測ポイントＰの画像内座標を含む周辺の計測エリアの画素も３次元計測し、その平均値を計測ポイントＰの３次元計測値とすることで、ノイズ等の影響を低減することができる。
　図１０に示すように、計測ポイントＰを中心とする所定の計測エリアＺを設定し、計測エリアＺ内を３次元計測する。得られた各画素の３次元座標から、無効画素ＭＧを抽出する。無効画素ＭＧは、例えば、明らかに距離値としてワーク５の存在位置から外れていると計測された画素とする。残りの有効画素ＹＧの３次元計測値の平均値を計算して、計測ポイントＰの計測結果とする。計測エリアＺとしては、計測ポイントＰに対して距離的に差が小さい部位に留める事が望ましい。
　要するに、この第３の実施形態の３次元処理部は、テンプレートマッチング処理部２７によって検出されたワーク５の計測ポイントＰに対応する位置を含む計測エリアＺ内の３次元計測を行い、この計測エリアＺ内の３次元計測値から、テンプレートマッチング処理部２７によって検出された計測ポイントＰに対応する位置の３次元計測値を演算する。
　これにより、テンプレートマッチング処理部２７によって検出された計測ポイントＰに対応する位置にノイズ等が存在していても、このテンプレートマッチング処理部２７によって検出された計測ポイントＰに対応する位置のみを３次元計測しないので、ノイズ等の影響を低減することができる。
　なお、この発明は上述の実施形態に限定されない。例えば、上記第１から上記第３の実施形態のそれぞれの特徴点を様々に組み合わせてもよい。
　１　Ｌカメラ
　２　Ｒカメラ
　３　プロジェクタ（照明手段）
　５　ワーク（対象物）
　１０　ステレオカメラ（撮像手段）
　２０，２０Ａ　画像処理部
　２３　左平行化画像（元画像）
　２４　右平行化画像（元画像）
　２５　フィルタ処理部（前処理手段）
　２６　画像登録部（画像登録手段）
　２７　テンプレートマッチング処理部（画像位置検出手段）
　２８　３次元処理部（３次元処理手段）
　３５　低解像度化処理部（前処理手段）
　Ｐ　計測ポイント
　Ｚ　計測エリア

Claims (5)

  1. 　対象物（５）を撮像する撮像手段（１０）と、
    　上記対象物（５）にテクスチャを投影する照明手段（３）と、
    　上記対象物（５）の計測ポイント（Ｐ）を含む少なくとも一部分を、上記照明手段（３）から上記テクスチャを投影しない状態で、上記撮像手段（１０）によって撮像した画像を、登録画像として、格納する画像登録手段（２６）と、
    　上記対象物（５）を上記照明手段（３）から上記テクスチャを投影した状態で上記撮像手段（１０）によって撮像した元画像（２３，２４）に対して、空間周波数を低下させる処理を施す前処理手段（２５，３５）と、
    　上記前処理手段（２５，３５）によって処理された上記元画像（２３，２４）内から上記登録画像に対応する位置を検出する画像位置検出手段（２７）と、
    　上記撮像手段（１０）によって撮像された上記元画像（２３，２４）、および、上記画像位置検出手段（２７）によって検出された検出結果に基づいて、上記対象物（５）の３次元情報を算出する３次元処理手段（２８）と
    を備えることを特徴とする３次元計測装置。
  2. 　請求項１に記載の３次元計測装置において、
    　上記３次元処理手段（２８）は、上記画像位置検出手段（２７）によって検出された上記対象物（５）の上記計測ポイント（Ｐ）に対応する位置およびこの位置の周辺部分についてのみ、上記対象物（５）の３次元情報を算出することを特徴とする３次元計測装置。
  3. 　請求項１または２に記載の３次元計測装置において、
    　上記３次元処理手段（２８）は、上記画像位置検出手段（２７）によって検出された上記対象物（５）の上記計測ポイント（Ｐ）に対応する位置を含む計測エリア（Ｚ）内の３次元計測を行い、この計測エリア（Ｚ）内の３次元計測値から、上記画像位置検出手段（２７）によって検出された上記対象物（５）の上記計測ポイント（Ｐ）に対応する位置の３次元計測値を演算することを特徴とする３次元計測装置。
  4. 　請求項１から３の何れか一つに記載の３次元計測装置において、
    　上記前処理手段（２５，３５）の上記空間周波数を低下させる処理は、空間フィルタ処理または低解像度化処理であることを特徴とする３次元計測装置。
  5. 　請求項１から４の何れか一つに記載の３次元計測装置において、
    　上記撮像手段（１０）は、２つの２次元カメラを含むステレオカメラであり、
    　上記前処理手段（２５，３５）は、上記ステレオカメラからの上記対象物（５）の上記元画像（２３，２４）の右画像又は左画像に対して、空間周波数を低下させる処理を施し、
    　上記画像位置検出手段（２７）は、上記前処理手段（２５，３５）によって処理された上記右画像又は上記左画像内から上記登録画像に対応する位置を検出することを特徴とする３次元計測装置。
PCT/JP2013/082585 2013-01-09 2013-12-04 ３次元計測装置 WO2014109146A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-001831 2013-01-09
JP2013001831A JP5981353B2 (ja) 2013-01-09 2013-01-09 ３次元計測装置

Publications (1)

Publication Number Publication Date
WO2014109146A1 true WO2014109146A1 (ja) 2014-07-17

Family

ID=51166808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/082585 WO2014109146A1 (ja) 2013-01-09 2013-12-04 ３次元計測装置

Country Status (2)

Country Link
JP (1) JP5981353B2 (ja)
WO (1) WO2014109146A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3422285A4 (en) * 2016-02-22 2019-03-06 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, MOBILE BODY APPARATUS CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147110A (ja) * 1999-11-22 2001-05-29 Sony Corp ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体
JP2008304225A (ja) * 2007-06-05 2008-12-18 Topcon Corp 絵画表面計測装置及びその計測方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147110A (ja) * 1999-11-22 2001-05-29 Sony Corp ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体
JP2008304225A (ja) * 2007-06-05 2008-12-18 Topcon Corp 絵画表面計測装置及びその計測方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3422285A4 (en) * 2016-02-22 2019-03-06 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, MOBILE BODY APPARATUS CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM
US11064177B2 (en) 2016-02-22 2021-07-13 Ricoh Company, Ltd. Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and recording medium

Also Published As

Publication number Publication date
JP2014134426A (ja) 2014-07-24
JP5981353B2 (ja) 2016-08-31

Similar Documents

Publication Publication Date Title
GB2564794B (en) Image-stitching for dimensioning
JP6363863B2 (ja) 情報処理装置および情報処理方法
US20210063144A1 (en) Method for the three dimensional measurement of moving objects during a known movement
JP6299111B2 (ja) レーザ加工装置
CN106469448B (zh) 利用3d视觉进行自动化工业检查
JP6112769B2 (ja) 情報処理装置、情報処理方法
JP6519265B2 (ja) 画像処理方法
JP2005072888A (ja) 画像投影方法、及び画像投影装置
JP4055998B2 (ja) 距離検出装置、距離検出方法、及び距離検出プログラム
JP5342413B2 (ja) 画像処理方法
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
JP7353757B2 (ja) アーチファクトを測定するための方法
JP2010133751A (ja) 形状測定装置およびプログラム
JP4837538B2 (ja) 端部位置測定方法および寸法測定方法
JP3696336B2 (ja) カメラのキャリブレーション方法
JP5336325B2 (ja) 画像処理方法
KR101913705B1 (ko) 라인 레이저를 이용한 원통 부착물의 심도 측정 방법 및 장치
JP2008298589A (ja) 位置検出装置及び位置検出方法
JP5981353B2 (ja) ３次元計測装置
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5136108B2 (ja) 三次元形状計測方法および三次元形状計測装置
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
JP6371742B2 (ja) 計測装置および取得方法
JP2015081894A (ja) 表面形状測定装置及び表面形状測定方法
JP2020129187A (ja) 外形認識装置、外形認識システム及び外形認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13871006

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13871006

Country of ref document: EP

Kind code of ref document: A1