KR100383816B1 - A 3-D shape measuring method and system using a adaptive area clustering - Google Patents
A 3-D shape measuring method and system using a adaptive area clustering Download PDFInfo
- Publication number
- KR100383816B1 KR100383816B1 KR10-2000-0035278A KR20000035278A KR100383816B1 KR 100383816 B1 KR100383816 B1 KR 100383816B1 KR 20000035278 A KR20000035278 A KR 20000035278A KR 100383816 B1 KR100383816 B1 KR 100383816B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- linear
- value
- region
- laser beam
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/59—Transmissivity
- G01N21/5907—Densitometers
- G01N2021/5957—Densitometers using an image detector type detector, e.g. CCD
Abstract
본 발명은 적응적 영역분할기를 이용한 3차원 표면 형상 측정 방법 및 장치에관한 것이며; 그 목적은 레이저광이 선형의 패턴으로 측정대상체에 조사된 후 CCD카메라에 획득된 측정대상체 영상에서 적응적 영역분할기를 사용하여 적응적으로 레이저 빔의 유사한 강도분포별로 영역을 분할한 후, 분할된 영역에 대해 독립적으로 레이저빔을 추출한 후 레이저빔의 중심선을 추출함으로써 중심선 추출 정밀도를 높이는 3차원 표면 형상 측정 장치 및 방법을 제공하는데 있다.The present invention relates to a method and an apparatus for measuring a three-dimensional surface shape using an adaptive region divider; The objective is to adaptively segment an area of similar intensity distribution of a laser beam using an adaptive region splitter in a measurement object image acquired by a CCD camera after a laser beam is irradiated onto a measurement object in a linear pattern, Dimensional surface shape measuring apparatus and method for extracting a center line of a laser beam after extracting a laser beam independently of a region, thereby improving centerline extraction precision.
상기 목적을 달성하기 위한 본 발명은 점 광을 생성하는 다이오드레이저(1a)와 생성된 점 광을 선형 광원으로 변환시켜 조사시키는 집속렌즈(1b) 및 원통형렌즈(1c)로 구성된 선형 광 조사장치(1)와 측정면적을 줄이지 않으면서 측정분해능을 향상시키는 볼록원통형렌즈(2a)와 오목원통형렌즈(2b)로 구성된 광학적분해능향상장치(2)와 광의 과도한 난반사에 의해 유입되는 광량을 감소시키기 위한 편광필터(3)와 파장대역은 통과시키고 그 외의 파장대역을 갖는 광의 유입을 차단하는 색필터(4)와 측정대상체 영상을 획득하는 CCD촬상센서(5)와 아날로그 영상을 디지털화 시켜 디지털화된 영상을 컴퓨터의 메모리로 옮겨 획득한 영상에서 선형 광 영상의 중심선을 추출하는 신호처리를 수행하는 영상처리전용보드(10)와 획득한 디지털화된 측정대상체 영상을 복사한 후 복사된 영상에 대해 선형 광 영상의 강도 분포에 따라 적응적으로 영역을 분할하는 적응적영역분할기(11)와 3차원 표면 형상을 재구성하는 컴퓨터 시스템(12)으로 구성됨으로써 달성된다.In order to achieve the above object, the present invention provides a linear light irradiator (1) comprising a diode laser (1a) for generating a point light, a focusing lens (1b) for converting the generated point light into a linear light source and irradiating the same, and a cylindrical lens (2) composed of a convex cylindrical lens (2a) and a concave cylindrical lens (2b) for improving measurement resolution without reducing the measurement area, and a polarization enhancing device (2) for reducing the amount of light introduced by excessive diffuse reflection of light A filter 3, a color filter 4 for passing a wavelength band and blocking light having other wavelength bands, a CCD image sensor 5 for acquiring a measurement object image, and a digital image obtained by digitizing the analog image, (10) for performing signal processing for extracting a center line of a linear optical image from an image acquired by moving to a memory of a digital camera An adaptive region splitter 11 for adaptively dividing the region according to the intensity distribution of the linear optical image with respect to the copied image, and a computer system 12 for reconstructing the three-dimensional surface shape.
Description
본 발명은 적응적 영역분할기를 이용한 3차원 표면 형상 측정 방법 및 장치에 관한 것으로, 보다 상세하게는 레이저광이 선형의 패턴으로 측정대상체에 조사된 후 CCD카메라에 획득된 측정대상체 영상에서 적응적 영역분할기를 사용하여 적응적으로 레이저 빔의 유사한 강도분포별로 영역을 분할한 후, 분할된 영역에 대해 독립적으로 레이저빔을 추출한 후 레이저빔의 중심선을 추출함으로써 중심선 추출 정밀도를 높이는 3차원 표면 형상 측정 장치에 관한 것이다.The present invention relates to a three-dimensional surface shape measuring method and apparatus using an adaptive region dividing device, and more particularly, to a method and apparatus for measuring a three-dimensional surface shape using an adaptive region dividing device, A three-dimensional surface shape measuring device for enhancing the accuracy of center line extraction by extracting the center line of the laser beam after extracting the laser beam independently for the divided regions, adaptively dividing the region by the similar intensity distribution of the laser beam using a divider .
주어진 물체의 형상을 측정하는 기술은 자동화 시스템에 의해 대상체의 크기와 형태를 전산화 하는 기계적 시각(machine vision) 시스템의 구성에서 중요한 부분 중의 하나이다. 광학적인 방법을 이용한 3차원 형상 측정 기술은 접촉식의 기계적 방법보다 경제적이면서도 측정속도가 빠르고 원격 비접촉식이며 고정밀 측정이 가능하여 이 분야에 많은 발전이 있어 왔다.The technique of measuring the shape of a given object is an important part of the construction of a machine vision system that automates the size and shape of an object by an automated system. The 3D shape measurement technique using the optical method is more economical than the contact type mechanical method, the measurement speed is quick, the remote contactless type, and the high precision measurement can be performed, and the field has been improved.
대한민국 특허 출원 번호 92-17287, 특허등록번호 USA 4,705,401 발명에서는여러개의 광원을 물체의 수직면에 대해 각각 소정의 각도에 위치 시켜 선형 광을 측정대상체에 조사시키고 하나의 카메라를 사용한 영상선형광을 이용한 물체의 3차원 형상측정 방법은 자동화 시스템의 발달과 함께 정보를 획득하여 광삼각법을 사용하여 3차원 형상 정보를 획득하였고, 특허등록번호 USA 4,653,104 발명에서는 이진형이면서 2의 보수형태를 갖는 2차원 줄무늬 패턴을 측정대상체에 조사시켜서 하나의 카메라로 영상을 획득하여 3차원 형상정보를 추출하였으며, 특허등록번호 USA 5,589,942 발명에서는 여러개의 선형 줄무늬 공 패턴을 측정대상체에 조사하여 서로다른 각도에 위치한 두 대의 카메라로 영상을 획득하여 광삼각법을 사용하여 측정대상체 3차원 표면 형상을 추출하였고, 특허등록번호 USA 5,589,941 발명에서는 하나의 선형 광을 측정대상체에 조사시키고 90°각도에 위치한 카메라를 사용하여 영상을 획득하여 평면상에 존재하는 양각형태의 글자형태를 측정하는 이동형 장치를 발명하였다. "물체의 단면형상 및 윤곽의 측정방법 및 장치"(대한민국특허출원번호 87-700131, 오스트레일리아 87638/82, 유럽 82902344, 일본 502438/82, 미국 476,869)란 제목의 발명에서는 4개의 선형 프로젝트와 4대의 카메라를 각각 서로 90°각도에 위치시키며 중심선 추출 방법을 사용하여 압연이나 압출물의 형상정보 및 치수 데이터를 획득하였다. 일본 특허 2000-74637에서는 여러 가지 색깔의 선형빔을 구조적으로 주사하여 형상을 측정하였고, 11-230727에서는 광의 투과율 제어가 가능한 필터와 점광원을 사용하여 측정대상체의 표면 3차원 형상을 효율적으로 측정하였으며, 11-101621에서는 선명한 선형의 슬릿 상을 획득하여 효과적으로 3차원 형상정보를 획득하였고, 10-307914에서는 2차원 줄무늬 패턴을 주사하여 한번에3차원 형상을 측정하였으며, 10-246612에서는 구조화된 2차원 격자무늬를 측정대상체에 조사하여 형상을 측정하였다. 또한 일본특허 10-122834에서는 강도변조되고 위상이 다른 여러 주무늬 패턴에 각각의 다른 파장을 갖는 빛을 통과시켜 효과적으로 3차원 형상정보를 획득하였다.Korean Patent Application No. 92-17287, Patent Registration No. USA No. 4,705,401. In the present invention, a plurality of light sources are positioned at predetermined angles with respect to the vertical plane of an object to irradiate the linear light onto the object to be measured, The 3D shape measurement method of the present invention acquires information together with the development of an automation system and acquires three-dimensional shape information using a photo-trigonometry method. In the patent registration No. US 4,653,104, a two-dimensional stripe pattern having a binary form and a two- In the patent registration No. USA 5,589,942, a plurality of linear stripe patterns are irradiated on a measurement target object, and two cameras positioned at different angles are used for imaging To obtain the three-dimensional surface shape of the measurement object by using the photo-trigonometry In patent No. US 5,589,941, invented a portable device for irradiating a linear light to a measurement object and acquiring an image using a camera positioned at a 90 ° angle to measure the shape of the embossed letter existing on the plane . In the invention entitled " Method and Apparatus for Measuring Sectional Shape and Contour of an Object "(Korean Patent Application No. 87-700131, Australia 87638/82, Europe 82902344, Japan 502438/82, US 476,869), four linear projects and four The camera was positioned at 90 ° to each other and the shape information and dimensional data of the rolled or extruded material were obtained using the center line extraction method. In Japanese Patent No. 2000-74637, various shapes of linear beams are structurally scanned to measure shapes. 11-230727 efficiently measures the three-dimensional surface shape of a measurement object using a filter and a point light source capable of controlling light transmittance , 11-101621 obtained a clear linear slit image to obtain three-dimensional shape information effectively. In 10-307914, a three-dimensional shape was measured at one time by scanning a two-dimensional stripe pattern. At 10-246612, a structured two- And the pattern was irradiated to the measurement object to measure the shape. In Japanese Patent No. 10-122834, three-dimensional shape information is obtained effectively by passing light having different wavelengths to various main pattern patterns having different intensity and modulated phases.
그러나 이러한 광학적 방법의 3차원 형상 측정장치는 측정 대상체의 표면 굴곡이 심하거나 난 반사가 심한 지역 등에서 재현성과 측정 정밀도가 떨어지는 문제점이 있었다.However, such an optical three-dimensional shape measuring apparatus has a problem that the reproducibility and the measurement accuracy are inferior in areas where the surface curvature of the measurement object is severe or the reflection of the light is severe.
종래의 광학식 3차원 형상측정 방법 중 레이저 점(spot)을 사용하는 장치는 물체 표면의 색깔이나 반사각, 난반사 등으로 인하여 센서에 입사되는 빛의 강도값이 변하여도 능동적으로 레이저 출력을 가변 시킴으로써 에러를 보정할 수 있으나 측정 속도가 느린 단점이 있었다.Among the conventional optical three-dimensional shape measuring methods, a device using a laser spot actively varies the laser output even when the intensity of light incident on the sensor changes due to color, reflection angle, or diffuse reflection on the surface of the object, But the measurement speed is slow.
또한, 선형의 레이저빔을 사용하는 광삼각법의 3차원 형상측정 방법은 CCD 카메라를 사용하여 획득한 선형 레이저빔이 조사된 측정대상체 영상으로부터 한번에 한 줄에 대한 형상 정보를 추출하므로 측정속도는 빠르나 물체 표면의 색상이나 굴곡에 의한 반사각 변화 등에 의하여 CCD 카메라에 획득된 선형레이저빔의 강도분포는 균일하지가 않아 시스템의 측정 정밀도가 떨어지는 단점이 있었다.In addition, the three-dimensional shape measuring method using a linear laser beam extracts shape information for one line at a time from a measurement target image irradiated with a linear laser beam obtained by using a CCD camera, The intensity distribution of the linear laser beam obtained by the CCD camera is not uniform due to the change of the reflection angle due to the color or bending of the surface, and the measurement accuracy of the system is inferior.
이러한 단점들을 개선시키기 위하여 레이저빔의 중심 픽셀에 위치정보 가중치를 증가시키는 방법과 측정대상체에 대한 정보를 미리 데이터베이스화 시켜 참고하는 등 여러 가지 방법의 연구가 있어왔고 각 방법의 측정 결과는 측정 대상체의 종류나 측정 환경에 따라 장단점들이 있다.In order to improve these disadvantages, various methods have been studied such as a method of increasing the position information weight at the center pixel of the laser beam and a method of referring to the information of the measurement object in advance in a database. There are advantages and disadvantages depending on the type and measurement environment.
본 발명은 이와 같은 종래의 문제점을 해결하기 위하여 안출되는 것으로,SUMMARY OF THE INVENTION The present invention has been made in view of the above problems,
하나의 선형레이저빔을 측정대상체에 조사한 후 광 삼각법을 이용하여 3차원 표면 형상을 측정하는 3차원 측정 시스템에서 가장 중요한 기술은 카메라에 획득된 영상에서 레이저빔의 중심선 위치를 정확히 추출하는 것이다. 평면이면서 단색의 대상체 형상을 측정하는 경우에 카메라에 획득되는 선형 레이저빔 영상의 강도분포는 일정하다고 가정할 수 있으나, 실제 측정 환경에서 획득되는 선형 레이저빔 영상은 다양한 색상으로부터 반사되어 온 다양한 강도 분포를 가지며 난반사나 유도반사 등 여러 조건에 의하여 레이저빔의 강도 분포가 일정하지 않다.The most important technique in a 3D measurement system that measures a three-dimensional surface shape by irradiating a linear laser beam onto a measurement object is to accurately extract the centerline position of the laser beam from the image acquired by the camera. It is assumed that the intensity distribution of the linear laser beam image acquired by the camera is constant when measuring the shape of the flat and monochromatic object. However, the linear laser beam image obtained in the actual measurement environment may have various intensity distributions And the intensity distribution of the laser beam is not constant due to various conditions such as diffuse reflection and guided reflection.
따라서, 본 발명은 카메라에 획득된 측정대상체 영상의 레이저빔의 강도분포가 일정하지 않은 환경에서도 선형레이저빔의 위치를 정확히 찾아내는 레이저빔 추출 효율을 높이는 적응적 영역분할기를 이용한 3차원 표면 형상 측정 장치를 제공함을 목적으로 한다.Accordingly, the present invention provides a three-dimensional surface shape measuring device using an adaptive region dividing device for enhancing the efficiency of extracting a laser beam to accurately locate the linear laser beam even in an environment where the intensity distribution of the laser beam of the measurement object image acquired by the camera is not constant. .
또한, 적응적 영역분할기를 활용하여 카메라에 획득된 영상의 선형레이져빔 부위에 대해 강도분포에 따라 비슷한 강도분포를 갖는 영역을 독립적으로 분할 한 후 분할된 영역에 대해 독립적으로 레이저빔의 위치를 추출함으로써 측정대상체의 중심선 추출 효율을 높이는 적응적 영역분할기를 이용한 3차원 표면 형상 측정 방법을 제공함을 목적으로 한다.In addition, by using the adaptive region dividing unit, the region having a similar intensity distribution according to the intensity distribution is independently divided for the linear laser beam portion of the image acquired by the camera, and the position of the laser beam is independently extracted for the divided region Dimensional surface shape measuring method using an adaptive region dividing device for increasing the efficiency of extracting a center line of a measurement object.
상기 목적을 달성하기 위한 본 발명은 점 광을 생성하는 다이오드레이저향상시키는 볼록원통형렌즈(2a)와 오목원통형렌즈(2b)로 구성된 광학적분해능향상장치(2)와According to an aspect of the present invention, there is provided an optical resolution enhancing device (2) composed of a convex cylindrical lens (2a) and a concave cylindrical lens (2b)
선형 광 조사장치(1)에서 조사된 선형 광이 측정대상체(6)에 조사된 후 반사되어 CCD촬상센서(5)에 맺히는 과정에서 광의 과도한 난반사에 의해 유입되는 광량을 감소시키기 위한 편광필터(3)와A polarizing filter 3 for reducing the amount of light introduced due to excessive diffuse reflection of light in the course of the linear light irradiated from the linear light irradiating device 1 being irradiated on the measurement target object 6 and then being reflected on the CCD imaging sensor 5 )Wow
선형 광 조사장치(1)에서 조사된 선형 광이 측정대상체(6)에 조사된 후 반사되어 CCD촬상센서(5)에 맺히는 과정에서 조사된 광의 파장대역은 통과시키고 그 외의 파장대역을 갖는 광의 유입을 차단하는 색필터(4)와The linear light irradiated from the linear light irradiating device 1 is irradiated onto the measurement target object 6 and then reflected and reflected on the CCD imaging sensor 5 to pass the wavelength band of the irradiated light and to enter the light wave having the other wavelength band A color filter 4 for blocking off
선형 광 조사장치(1)에서 조사된 선형 광이 측정대상체(6)에 조사되고 선형광이 조사된 측정대상체 영상을 획득하는 CCD촬상센서(5)와A CCD image sensor 5 for acquiring a measurement object image irradiated with the linear light irradiated from the linear light irradiating device 1 onto the measurement target object 6,
CCD촬상센서(5)에 획득된 아날로그 영상을 디지털화 시켜 디지털화된 영상을 컴퓨터의 메모리로 옮겨 획득한 영상에서 선형 광 영상의 중심선을 추출하는 신호처리를 수행하는 영상처리전용보드(10)와A dedicated image processing board 10 for performing signal processing for digitizing the analog image obtained in the CCD image sensor 5 and transferring the digitized image to a memory of a computer and extracting a center line of the linear optical image from the acquired image,
획득한 디지털화된 측정대상체 영상을 복사한 후 복사된 영상에 대해 선형 광 영상의 강도 분포에 따라 적응적으로 영역을 분할하는 적응적영역분할기(11)와An adaptive region dividing unit 11 for dividing the obtained adaptive image according to the intensity distribution of the linear optical image with respect to the copied image after copying the digitized measured object image,
적응적영역분할기(11)로 획득한 분할된 영역을 영상처리전용보드(10)상에 획득한 측정대상체영상에 대해 같이 적용한 후 선형 광 영상의 중심선을 추출하여 측정대상체(6)의 3차원 표면 형상을 재구성하는 컴퓨터 시스템(12)으로 구성되어 광이 선형의 패턴으로 측정대상체에 조사된 후 CCD카메라에 획득된 측정대상체 영상에서 적응적 영역분할기를 사용하여 적응적으로 광의 유사한 강도분포별로 영역을분할한 후, 분할된 영역에 대해 독립적으로 레이저빔을 추출한 후 레이저빔의 중심선을 추출함으로써 달성된다.The divided regions obtained by the adaptive region dividing unit 11 are applied to the measurement object image acquired on the image processing dedicated board 10 and then the center line of the linear optical image is extracted and the three- And a computer system 12 for reconstructing the shape. After the light is irradiated on the measurement object in a linear pattern, the measurement object image acquired by the CCD camera is adaptively divided into regions by similar intensity distributions using an adaptive region splitter And extracting the laser beam independently for the divided regions and then extracting the center line of the laser beam.
또한, 이상적인 측정 환경에서 획득되는 선형 레이저빔 영상의 강도분포는 일정하다고 가정할 수 있으나, 실제 측정 환경에서 획득되는 선형 레이저빔 영상은 난반사나 유도반사 등 여러 조건에 의하여 강도 분포가 일정하지 않다. 따라서 본 발명의 적응적 영역분할기를 이용한 3차원 표면 형상 측정 방법의 신호처리 알고리즘은 측정 대상체로부터 반사되어 CCD 카메라에 촬상된 강도 분포가 일정하지 않은 선형 레이저빔 영상을 비슷한 강도 분포를 갖는 영역별로 측정 영역을 분할하고, 분할된 영역에서 독립적으로 중심선을 추출함으로써 달성된다.In addition, the intensity distribution of the linear laser beam image obtained in the ideal measurement environment is assumed to be constant, but the intensity distribution of the linear laser beam image obtained in the actual measurement environment is not constant due to various conditions such as diffuse reflection and guided reflection. Therefore, the signal processing algorithm of the three-dimensional surface shape measuring method using the adaptive region dividing device of the present invention is characterized in that a linear laser beam image which is reflected from a measurement object and imaged by a CCD camera and whose intensity distribution is not constant, By dividing the area, and extracting the center line independently in the divided area.
도 1 은 광삼각법을 기초로한 3차원 표면 형상 측정 장치의 원리도Fig. 1 is a view showing the principle of a three-dimensional surface shape measuring apparatus based on a photo-
도 2 는 본 발명의 적응적 영역분할기를 이용한 3차원 표면 형상측정 장치의 구성도2 is a block diagram of a three-dimensional surface shape measuring apparatus using an adaptive region dividing device of the present invention
도 3 은 본 발명의 3차원 표면형상 측정을 위한 신호처리 순서도Fig. 3 is a flowchart of a signal processing procedure for three-dimensional surface shape measurement of the present invention
도 4 는 본 발명의 선형 레이저빔의 중심선추출을 위한 도식적 신호처리 흐름도4 is a schematic diagram of a signal processing process for extracting a center line of a linear laser beam according to the present invention
도 5 는 발명된 중심선 추출 방법과 전통적인 중심선 추출 방법의 측정결과 비교도FIG. 5 is a schematic diagram illustrating a comparison between measured centerline extraction methods and conventional centerline extraction methods.
도 6 은 전통적인 방법을 활용한 3차원 형상측정 결과도6 is a graph showing the results of three-dimensional shape measurement using a conventional method
도 7 은 적응적 영역분할기를 활용한 3차원 형상측정 결과도Fig. 7 is a graph showing the results of three-dimensional shape measurement using an adaptive region dividing device
<도면의 주요부분에 대한 부호의 설명>Description of the Related Art
1 : 선형 광 조사장치 1a : 다이오드 레이저1: linear light irradiation device 1a: diode laser
1b : 집속렌즈 1c : 원통형 렌즈1b: focusing lens 1c: cylindrical lens
2 : 광학적 분해능 향상장치 2a : 볼록 원통형 렌즈2: Optical resolution enhancement device 2a: convex cylindrical lens
2b : 오목 원통형 렌즈 3 : 편광필터2b: concave cylindrical lens 3: polarizing filter
4 : 색필터 5 : CCD 촬상센서4: color filter 5: CCD image sensor
6 : 측정 대상체 10 : 영상처리 전용보드6: Measurement object 10: Image processing board
10a : 영상처리전용보드에 획득된 영상10a: Image acquired on dedicated video processing board
10b : 전처리수행된 영상(가) 10c : 열별 히스토그램 추출10b: Preprocessed image (a) 10c: Histogram extraction by column
10d : 열별 경계값 추출 10e : 분활된 영역정보 및 영역분할10d: Boundary value extraction by column 10e: Split area information and area division
10f : 독립된 영역으로부터 추출된 레이저 빔 영상10f: laser beam image extracted from independent region
10g : 중심선 추출 영상 10h : 세부 중심선 추출 및 보간된 영상10g: center line extraction image 10h: detail center line extraction and interpolated image
11 : 적응적 영역 분할기 11a : 적응적 영역분할기에 복사된 영상11: adaptive domain divider 11a: image copied to the adaptive domain divider
11b : 전처리수행된 영상(나) 11c : 변환된 이진영상11b: pre-processed image (b) 11c: converted binary image
11d : 획득된 열방향 프로파일 11e : 영역분활된 영상11d: obtained column direction profile 11e: region divided image
12 : 컴퓨터 시스템 13 : 자동 이송 장치12: Computer system 13: Automatic transfer device
14 : 레이저 빔 15 : 카메라 렌즈14: laser beam 15: camera lens
16 : 대상체 삼각형 17 : 영상 삼각형16: object triangle 17: image triangle
18 : 기준선18: Baseline
a : 조사된 선형레이저빔 영상a: irradiated linear laser beam image
b : 전통적방법에 의하여 추출된 레이저 빔의 중심선b: Center line of the laser beam extracted by the conventional method
c : b로부터 선형 보간된 영상Linear interpolated image from c: b
d : 적응적영역분할기를 활용하여 추출된 레이저빔의 중심선d: the centerline of the extracted laser beam using the adaptive region splitter
e : d로부터 선형 보간된 영상e: Linear interpolated image from d
A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q : 분할된 영역A, B, C, D, E, F, G, H, I, J, K, L, M, N,
①, ② : 검은 배경영상으로부터 반사되어 CCD 센서에 맺혀진 레이저빔 영상①, ②: Laser beam image reflected from black background image and formed on CCD sensor
상기 목적을 달성하기 위한 본 발명은 점 광을 생성하는 다이오드레이저(1a)와 생성된 점 광을 선형 광원으로 변환시켜 조사시키는 집속렌즈(1b) 및 원통형렌즈(1c)로 구성된 선형 광 조사장치(1)와In order to achieve the above object, the present invention provides a linear light irradiator (1) comprising a diode laser (1a) for generating a point light, a focusing lens (1b) for converting the generated point light into a linear light source and irradiating the same, and a cylindrical lens 1) and
선형 광 조사장치(1)에서 조사된 선형 광이 측정대상체(6)에 조사된 후 반사되어 CCD촬상센서(5)에 맺히는 과정에서 측정면적을 줄이지 않으면서 측정분해능을 향상시키는 볼록원통형렌즈(2a)와 오목원통형렌즈(2b)로 구성된 광학적분해능향상장치(2)와A convex cylindrical lens 2a for improving the measurement resolution without reducing the measurement area in the course of the linear light irradiated from the linear light irradiating device 1 being irradiated on the measurement target object 6 and then being reflected on the CCD imaging sensor 5 ) And a concave cylindrical lens 2b. The optical resolution enhancing device 2 comprises:
선형 광 조사장치(1)에서 조사된 선형 광이 측정대상체(6)에 조사된 후 반사되어 CCD촬상센서(5)에 맺히는 과정에서 광의 과도한 난반사에 의해 유입되는 광량을 감소시키기 위한 편광필터(3)와A polarizing filter 3 for reducing the amount of light introduced due to excessive diffuse reflection of light in the course of the linear light irradiated from the linear light irradiating device 1 being irradiated on the measurement target object 6 and then being reflected on the CCD imaging sensor 5 )Wow
선형 광 조사장치(1)에서 조사된 선형 광이 측정대상체(6)에 조사된 후 반사되어 CCD촬상센서(5)에 맺히는 과정에서 조사된 광의 파장대역은 통과시키고 그 외의 파장대역을 갖는 광의 유입을 차단하는 색필터(4)와The linear light irradiated from the linear light irradiating device 1 is irradiated onto the measurement target object 6 and then reflected and reflected on the CCD imaging sensor 5 to pass the wavelength band of the irradiated light and to enter the light wave having the other wavelength band A color filter 4 for blocking off
선형 광 조사장치(1)에서 조사된 선형 광이 측정대상체(6)에 조사되고 선형광이 조사된 측정대상체 영상을 획득하는 CCD촬상센서(5)와A CCD image sensor 5 for acquiring a measurement object image irradiated with the linear light irradiated from the linear light irradiating device 1 onto the measurement target object 6,
CCD촬상센서(5)에 획득된 아날로그 영상을 디지털화 시켜 디지털화된 영상을 컴퓨터의 메모리로 옮겨 획득한 영상에서 선형 광 영상의 중심선을 추출하는 신호처리를 수행하는 영상처리전용보드(10)와A dedicated image processing board 10 for performing signal processing for digitizing the analog image obtained in the CCD image sensor 5 and transferring the digitized image to a memory of a computer and extracting a center line of the linear optical image from the acquired image,
획득한 디지털화된 측정대상체 영상을 복사한 후 복사된 영상에 대해 선형 광 영상의 강도 분포에 따라 적응적으로 영역을 분할하는 적응적영역분할기(11)와An adaptive region dividing unit 11 for dividing the obtained adaptive image according to the intensity distribution of the linear optical image with respect to the copied image after copying the digitized measured object image,
적응적영역분할기(11)로 획득한 분할된 영역을 영상처리전용보드(10)상에 획득한 측정대상체영상에 대해 같이 적용한 후 선형 광 영상의 중심선을 추출하여 측정대상체(6)의 3차원 표면 형상을 재구성하는 컴퓨터 시스템(12)으로 구성되는 것이다.The divided regions obtained by the adaptive region dividing unit 11 are applied to the measurement object image acquired on the image processing dedicated board 10 and then the center line of the linear optical image is extracted and the three- And a computer system 12 for reconstructing the shape.
이하 본 발명에 대하여 첨부도면에 연계시켜 상세히 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 광삼각법에 기초한 선형레이저빔을 이용한 3차원 표면 형상 측정 장치의 원리도로서,Fig. 1 is a principle diagram of a three-dimensional surface shape measuring apparatus using a linear laser beam based on a photon trigonometry,
선형레이저 빔 중 한 점(spot)이 측정대상체에 조사되어 CCD센서에 영상이 맺히는 과정을 도시한 것이다. 선형 광 조사장치로부터 조사된 레이저 빔(14)은 측정대상체에 조사된 후 반사되어 카메라렌즈(15)를 통과한 후 CCD센서에 측정대상체 영상이 촬상된다. 이 과정에서 대상체삼각형(16)과 영상삼각형(17)이 형성되므로 사용자는 CCD카메라에서 얻어진 영상으로부터 y'값을 구한 후 식 (1)과 같은 삼각법을 이용하여 측정대상체의 실제 높이 값인 h 값을 획득할 수 있다. 여기서 y'값은 기준선 으로부터 반사되어 CCD센서에 맺히는 위치와 대상체의 일정 위치에서 반사되어 CCD센서에 맺히는 위치의 차이값을 서브픽셀 단위로 추출한 값을 의미한다. 여기서 레이저 입사각에 대한 CCD 카메라의 관측각도 θ 및 배율 m(m=f'/f)은 알려진 변수이다.그러므로 사용자는 CCD 카메라에 획득된 선형레이저빔이 조사된 측정 대상체 영상에서 기준선과 선형레이저빔의 중심점 사이의 거리값인 y,값을 구함으로써 실제 측정 대상체의 높이 값인 h값을 식 (1)로부터 구할 수 있다.And a spot of a linear laser beam is irradiated onto a measurement object to form an image on the CCD sensor. The laser beam 14 irradiated from the linear light irradiating device is irradiated to the measurement object, reflected and then passed through the camera lens 15, and the measurement object image is captured by the CCD sensor. Since the object triangle 16 and the image triangle 17 are formed in this process, the user obtains the y 'value from the image obtained from the CCD camera, and then uses the trigonometry as in equation (1) Can be obtained. Here, the y 'value refers to a value obtained by subtracting the difference between the positions of the CCD sensor reflected from the reference line and the position of the CCD sensor reflected at a predetermined position of the object in units of subpixels. Here, the observation angle θ and magnification m (m = f '/ f) of the CCD camera with respect to the laser incident angle are known variables. Therefore, the user obtains the value h, which is the height value of the actual measurement object, from the equation (1) by obtaining y , which is the distance value between the reference line and the center point of the linear laser beam, in the measurement object image irradiated with the linear laser beam obtained by the CCD camera. Can be obtained.
도 2 는 본 발명의 적응적 영역분할기를 이용한 3차원 표면 형상측정 장치의 구성도로서,2 is a configuration diagram of a three-dimensional surface shape measuring apparatus using the adaptive region dividing device of the present invention,
적응적 영역분할기를 이용한 3차원 표면 형상 측정 장치는 전체 장치를 운영하는 컴퓨터(12), 영상의 획득 및 신호처리를 담당하는 영상처리전용보드(10), 측정환경에 따라 적응적으로 영역을 분할하는 적응적영역분할기(11), 영상을 획득하는 CCD카메라(5), 레이저 빔 파장만을 획득하고 다른 파장을 갖는 잡신호를 제거하기 위한 색필터(4), 난반사되어 유입되는 레이저 빔의 강도를 줄이기 위한 편광필터(3), 측정면적의 감소없이 분해능을 향상시키기 위한 광학적분해능향상장치(2), 선형레이저빔(14)을 생성하여 조사하기 위한 선형레이저빔조사장치(1), 형상 측정을 위한 측정대상체(6) 및 대상체의 위치 이동을 위한 자동이송장치(13)로 구성되어 있다. 선형레이저빔조사장치(1)에서 다이오드 레이저빔(1a)은 집속렌즈(1b)와 원통형 렌즈(1c)를 통과하여 측정 대상체의 표면에 선형의 일정한 강도 분포로 집속되어 조사된다. 측정 대상체(6)에 조사된 선형 레이저빔 영상의 각 점은 그 위치에서의 높이 값에 비례하여 기준면의 수직방향으로 변형이 된다. 표면의 높이 변화에 의하여 변형된 선형의 레이저빔은 광학식 분해능 향상 장치(2)[기등록:대한민국특허등록번호0236674]와 편광 필터(3) 및 색 필터(4)를 통과하여 CCD촬상센서(5)에 영상이 맺힌다.The three-dimensional surface shape measuring device using the adaptive region dividing device includes a computer 12 for operating the entire apparatus, a dedicated image processing board 10 for image acquisition and signal processing, A CCD camera 5 for acquiring an image, a color filter 4 for acquiring only a laser beam wavelength and for removing a signal having a different wavelength, a method for reducing the intensity of the laser beam A linear laser beam irradiating device 1 for generating and irradiating a linear laser beam 14, a polarizing filter 3 for measuring the shape of the linear laser beam 14, an optical resolution enhancing device 2 for improving the resolution without reducing the measuring area, A measurement object 6 and an automatic transfer device 13 for moving the object. In the linear laser beam irradiating apparatus 1, the diode laser beam 1a passes through the focusing lens 1b and the cylindrical lens 1c and is converged on the surface of the object to be measured with a linear intensity distribution. Each point of the linear laser beam image irradiated on the measurement target 6 is deformed in the vertical direction of the reference plane in proportion to the height value at the position. The linear laser beam deformed by the height change of the surface passes through the optical resolution enhancing device 2 (original registration: Korea Patent Registration No. 0236674), the polarizing filter 3 and the color filter 4, ).
컴퓨터 시스템(12)의 신호처리기는 CCD 카메라(5)에 획득된 표면 형상의 변화에 의하여 변형된 선모양을 한 레이저빔 영상에서 3차원 형상 정보를 추출할 수 있다. 측정대상체(6)에 대한 하나의 완전한 3차원 형상정보는 자동이송장치(13)를 이용하여 측정대상체(6)를 이동시켜 획득한다. CCD 촬상센서(5)에 맺힌 영상은 영상처리 전용보드(10)의 버퍼에 저장이 된다. 영상처리 보드(10)에 저장된 영상은 640x480 픽셀 행렬에 256단계의 밝기 강도값으로 구성되어 있고 영상의 각 열에는 측정대상체(6)의 높이 정보를 가지고 있는 픽셀이 하나씩 존재하므로 하나의 영상에는 640개의 높이 정보를 가지고 있는 픽셀이 존재한다.The signal processor of the computer system 12 can extract the three-dimensional shape information from the linear laser beam image deformed by the change of the surface shape acquired by the CCD camera 5. [ One complete three-dimensional shape information about the measurement target object 6 is acquired by moving the measurement target object 6 using the automatic transfer device 13. [ The image formed on the CCD image sensor 5 is stored in the buffer of the image processing dedicated board 10. Since the image stored in the image processing board 10 is composed of 256 intensity levels in a matrix of 640 x 480 pixels and one pixel having height information of the measurement object 6 is included in each column of the image, There are pixels with height information.
배경 영상으로부터 레이저빔의 구분이 용이한 측정 환경에서는 낮은 출력의 광원을 사용하여도 무방하나 획득된 영상에서 레이저빔의 구분이 어려운 측정환경에서는 출력이 높은 레이저빔을 사용하여 구분이 용이하도록 하여야 한단. 본 발명의 구성에서는 파장 670nm, 출력 10mW의 다이오드 레이저(1a)를 사용하였고 난반사되어 카메라로 유입되는 빛을 줄이기 위한 편광필터(3)와 레이저 빔 이외의 잡신호인 주변광을 차단하기 위한 색유리 필터(4)를 사용하였다. 또한 선형레이저빔조사장치(1)로부터 조사되는 레이저빔은 정전류 제어방식의 다이오드레이저 전용 전원장치(ED lab: ED330)를 사용하여 전원을 공급하였다. 선형레이저빔조사장치(1)는 다이오드레이저(1a)와 집속 렌즈(1b) 및 원통형 렌즈(1c)로 구성되어 있다.In a measurement environment where it is easy to distinguish a laser beam from a background image, it is possible to use a low-power light source. However, in a measurement environment where it is difficult to distinguish a laser beam from an acquired image, . In the configuration of the present invention, a diode laser 1a having a wavelength of 670 nm and an output of 10 mW is used, and a polarizing filter 3 for reducing light introduced into the camera by irregular reflection and a color filter (not shown) 4) was used. Further, the laser beam irradiated from the linear laser beam irradiating device 1 was supplied with power by using a diode laser exclusive power source device (ED lab: ED330) of a constant current control type. The linear laser beam irradiating apparatus 1 comprises a diode laser 1a, a focusing lens 1b and a cylindrical lens 1c.
본 발명에서는 IBM PC(인텔 CPU 400MHz)를 사용한 컴퓨터 시스템(12)에 고속의 표면 형상측정을 위하여 영상처리를 담당하는 영상처리 전용보드(10)와 CCD카메라(5)에 획득된 영상에서 측정환경에 따라 적응적으로 영역을 분할하는 DSP칩으로 구성한 적응적영역분할기(11) 및 RS170방식의 흑백 CCD 카메라(5)를 사용하여 영상을 획득 및 신호처리를 수행하였다.In the present invention, a computer system 12 using an IBM PC (Intel CPU 400 MHz) is provided with a dedicated image processing board 10 for image processing and a CCD camera 5 for performing high-speed surface shape measurement, An adaptive region dividing unit 11 composed of a DSP chip adaptively dividing a region according to the input image signal and a monochrome CCD camera 5 of RS170 method.
도 3 은 3차원 표면형상 측정을 위한 신호처리 순서도로서,3 is a signal processing flowchart for three-dimensional surface shape measurement,
CCD 카메라(5)로 획득한 선형 레이저빔 영상(a)에 대해 영상신호처리를 통하여 측정 대상체(6)의 3차원 위치 좌표를 추출하는 과정에서 가장 중요한 부분은 정확히 선형 레이저빔의 중심선 위치 정보를 추출하는 것이다. 도 2 에서 단색의 평면구조를 갖는 측정대상체(6)에 대해 측정을 수행하면 조사되는 선형 레이저빔의 길이방향인 X축 방향으로 강도분포는 일정하다고 가정할 수 있다. 그러나 일반적인 경우 측정 대상체에 조사된 후 반사되어 CCD 카메라(5)에 맺혀진 영상에서 선형 레이저빔의 길이 방향으로 강도 분포는 대응되는 측정 대상체(6) 상에서의 색상이나 반사 각, 유도반사 등에 의하여 일정하지 않다. 이러한 불규칙 반사는 특히 반사가 심한 표면이나 굴곡의 변화가 심한 측정 대상체 등의 경우에 심하고 이러한 불규칙 반사 문제는 실제 측정 과정에서 쉽게 해결되지 않는 문제이다.The most important part in the process of extracting the three-dimensional position coordinates of the measurement object 6 through the image signal processing on the linear laser beam image (a) acquired by the CCD camera 5 is exactly the center line position information of the linear laser beam . 2, when the measurement is performed on the measurement object 6 having a monochromatic plane structure, it can be assumed that the intensity distribution is constant in the X axis direction, which is the longitudinal direction of the linear laser beam to be irradiated. However, in general, the intensity distribution in the longitudinal direction of the linear laser beam in the image reflected on the measurement target object and reflected on the CCD camera 5 is determined by the color, reflection angle, and induced reflection on the corresponding measurement target object 6 I do not. These irregular reflections are particularly serious in the case of a surface having a large reflection or a measurement object having a large change in bending, and such irregular reflection problems are not easily solved in the actual measurement process.
본 발명에서 제안한 3차원 표면 형상 측정 신호처리 알고리즘은 측정환경에 따라 능동적으로 선형 레이저빔 영상(a)을 비슷한 강도분포를 갖는 여러개의 독립적인 측정 영역(A∼Q)으로 분할한 후, 분할된 영역에 대해 독립적으로 레이저빔 중심선(d)의 위치를 추출함으로써 시스템의 측정 효율을 높인다. 또한 먼저 찾아진 중심선의 위치 정보로부터 세분하여 다시 정밀 중심선의 위치(e)를 추출하여 서브 픽셀 분해능을 제공한다.The three-dimensional surface shape measurement signal processing algorithm proposed in the present invention is a method of processing a linear laser beam image (a) actively in accordance with a measurement environment into a plurality of independent measurement regions (A to Q) having similar intensity distributions, By extracting the position of the laser beam center line d independently of the region, the measurement efficiency of the system is enhanced. In addition, subpixel resolution is obtained by subdividing the position information of the centerline previously found and extracting the position (e) of the centerline again.
도 3 의 신호처리 순서도에 보이는 바와같이 사용자는 측정을 시작하기 전에 다음과 같이 입력환경을 설정하여야 한다. 전체 획득된 영상에서 실제 신호처리 하고자 하는 영역은 측정대상체의 최소 변이와 최대 변이 사이의 영역이므로 효율적인 신호처리를 위하여 신호처리 영역에 해당하는 영역인 바닥선(base line) 값과 윗선(top line) 값을 설정한다. 또한 영상 획득 후 선형 레이저빔을 추출하기 위한 변수의 하나인 선폭(line width) 값을 설정한다. 이 값은 CCD 센서(5)에 촬상된 영상에서 레이저빔 폭이 위치하는 평균 픽셀 수를 의미하고 사용자는 소프트웨어가제공하는 프로파일 기능 등을 활용하여 전체 영상에서 선형레이저 빔의 평균 픽셀 폭 값을 측정한 후 수동으로 설정한다. 또한 사용자는 측정 대상체(6)의 이동 속도인 모터의 속도와 이동 거리를 설정할 수 있다.As shown in the signal processing flowchart of FIG. 3, the user must set the input environment as follows before starting the measurement. In order to efficiently process the signal, the base line value and the top line, which correspond to the signal processing region, are used for the actual signal processing in the entire acquired image, since the region to be processed is the region between the minimum variation and the maximum variation of the measurement object. Set the value. Also, a line width value, which is one of parameters for extracting a linear laser beam after image acquisition, is set. This value means the average number of pixels in which the laser beam width is located in the image captured by the CCD sensor 5 and the user uses the profile function provided by the software to measure the average pixel width value of the linear laser beam in the entire image Then set it manually. Further, the user can set the speed and moving distance of the motor, which is the moving speed of the measuring object 6. [
도 4 는 도 3의 순서도의 CCD 카메라에 획득된 영상으로부터 최종 보간 단계까지 선형 레이저빔 영상의 중심선을 추출하는 신호처리 순서도의 과정을 그림으로 도시한 것으로서, 신호처리 영역인 영상처리전용보드(10)와 DSP칩으로 구성된 적응적영역분할기(11)에 의하여 처리되는 신호처리 영역을 보여준다.FIG. 4 is a diagram illustrating a process of a signal processing flowchart for extracting a center line of a linear laser beam image from an image obtained in a CCD camera in the flowchart of FIG. 3 to a final interpolation step. ) And a DSP chip, which are processed by an adaptive region divider 11.
선형 레이저빔(14)이 조사된 상태에서 일정한 속도로 이동되는 측정 대상체(6)에 대하여 컴퓨터는 CCD 카메라(5)를 사용하여 도 4 의 영상처리전용보드에 하나의 영상(10a)을 획득한 후, 이를 적응적 영역분할기(11)로 복사한다. 적응적 영역분할기(11)는 복사된 획득영상(11a)에서 임펄스 노이즈등의 유입노이즈를 제거하는 전처리(나) 기능을 수행한 후의 영상(11b)에 대해 이진영상(11c)을 얻기 위하여 적응역 영역 분할기(11)는 다음 식 (2)를 만족하는 픽셀 강도값 i의 최대값에 해당하는 값인 경계값을 계산한다.The computer acquires one image 10a on the dedicated image processing board of FIG. 4 using the CCD camera 5 with respect to the measurement object 6, which is moved at a constant speed in a state in which the linear laser beam 14 is irradiated And then copies it to the adaptive region divider 11. [ The adaptive region dividing unit 11 performs adaptive region dividing processing for obtaining the binary image 11c with respect to the image 11b after performing the preprocessing (b) function for removing influential noises such as impulse noise from the copied acquired image 11a The area divider 11 calculates a boundary value that is a value corresponding to the maximum value of the pixel intensity value i satisfying the following equation (2).
SUM[i]≥(선폭값)x(선길이값) ------------- (2)SUM [i] ≥ (line width value) x (line length value) ------------- (2)
여기서 SUM[i]는 획득된 영상에 대한 픽셀 강도값 i의 히스토그램(histogram)값을 누적 합산 한 값으로, 이때 픽셀 강도값 i는 최대값 255부터 0으로 1씩 순차적으로 감소되는 값이다. 선폭 값은 사용자에 의해 설정된 값으로 선형 레이저 빔이 선폭 방향으로 평균적으로 차지하는 픽셀 수를 의미하고, 선길이 값은 획득된 영상에서 행 방향으로의 픽셀 수(640)를 의미한다.Here, SUM [i] is a value obtained by cumulatively adding histogram values of the pixel intensity value i to the acquired image, and the pixel intensity value i is sequentially decremented by 1 from the maximum value 255 to 0. The line width value is a value set by the user, and means the number of pixels in which the linear laser beam occupies an average in the line width direction, and the line length value means the number of pixels (640) in the line direction in the acquired image.
경계 값을 계산한 후, 적응적영역분할기(11)는 선형 레이저 빔의 적응적 패턴 분할 과정에서 시간 손실을 최소화 하기 위하여 경계값을 기준으로 0과 1의 값을 갖는 이진 영상(11c)을 획득한 후, 획득된 영상의 열 방향에 대한 선형 프로파일(11d)을 획득한다. 신호처리기는 획득한 열 방향 프로파일(11d)에 대하여 행 방향으로 설정된 값(기본:2픽셀) 이상의 0값을 갖는 지역을 제외하고 1x3창 혹은 1x5창의 저주파 통과 필터를 사용하여 신호처리기능을 수행한다.After calculating the boundary value, the adaptive region dividing unit 11 obtains a binary image 11c having a value of 0 and 1 based on the boundary value in order to minimize the time loss in the adaptive pattern dividing process of the linear laser beam , And obtains a linear profile 11d for the column direction of the acquired image. The signal processor performs a signal processing function using a low-pass filter of 1x3 window or 1x5 window except an area having a value of 0 or more set in the row direction (base: 2 pixels) or more with respect to the obtained column direction profile 11d .
신호처리가 수행된 열 방향 프로파일에 대하여 적응적영역분할기(11) 기준 설정값(기본:0) 이하의 값을 갖는 위치를 경계면으로 선형 레이저빔의 패턴 영역 분할(11e)을 수행한다. 영역이 분할되면 적응적영역분할기(11)는 분할된 영역 정보(11e)를 영상처리 보드(10)에 전송한다.And performs a pattern region division 11e of the linear laser beam at a boundary with a position having a value equal to or smaller than the adaptive region splitter 11 reference set value (base: 0) with respect to the column direction profile in which the signal processing is performed. When the area is divided, the adaptive area divider 11 transmits the divided area information 11e to the image processing board 10.
적응적영역분할기(11)가 영역을 분할하는 시간 동안 영상처리전용보드(10)는 획득된 영상(10a)으로부터 전처리(가) 기능인 저주파 통과필터(3x3, 5x5창)를 사용하여 획득한 영상의 유입 노이즈를 제거한다(10b). 그런 후 영상처리전용보드(10)는 영상의 각각의 열에 대해 각각의 열 히스토그램(10c)을 획득한다. 획득한 각각의 열 히스토그램으로부터 영상처리 전용보드(10)는 선길이 값이 1인 식 (2)를 만족하는 각각의 경계값(10d)을 구한다. 그런 후 영상처리전용보드(10)는 적응적영역분할기(11)로부터 수신한 영역정보를 그대로 사용하여 영상처리 전용보드의 영상에 대해 영역분할(10e)을 한다. 그런다음 영상처리 전용보드(10)는 분할된 영상의 각각의 영역에 대해 독립적으로 평균 경계값을 구한 후 경계값 이상의 강도값을 갖는 레이저 빔 위치 정보 추출(10f)을 수행한다. 여기서 평균 경계값은 행방향으로 픽셀수 만큼 분할된 영역에서 각각의 열방향 경계값을 픽셀 수 만큼 더한 후 이를 픽셀 수로 나눈 값이다. 도 4 의 전처리 수행된 영상(11b)의 B영역에 보이는 바와 같이 추출되지 않던 레이저빔의 위치 정보가 분할된 영역(A∼Q)에 대해 독립적으로 레이저빔의 위치 정보가 추출(10f)됨을 알 수 있다. 이는 측정대상체(6)의 어두운 배경에서 역 반사되는 레이저빔의 강도가 밝은 배경에서 역 반사되는 레이저빔의 강도보다 상대적으로 약하므로, 밝은 배경 영역과 어두운 배경 영역을 분할하고, 각 영역에 대해 독립적으로 레이저빔의 위치 정보를 추출함으로써 즉, 배경에 대한 상대적인 밝기에 기초하여 레이저빔의 위치를 탐색함으로써 레이저빔 추출 효율을 높였다.During the time that the adaptive region dividing unit 11 divides the region, the image processing dedicated board 10 extracts the image obtained using the low pass filter (3x3, 5x5 window), which is a preprocessing function, from the acquired image 10a The incoming noise is removed (10b). Then, the image processing dedicated board 10 acquires each column histogram 10c for each column of the image. From each of the obtained column histograms, the image processing exclusive board 10 obtains each boundary value 10d that satisfies the expression (2) in which the line length value is 1. Then, the dedicated image processing board 10 performs area division 10e on the image of the dedicated image processing board using the area information received from the adaptive region dividing unit 11 as it is. Then, the image processing dedicated board 10 obtains an average boundary value independently for each region of the divided image, and then performs laser beam position information extraction 10f having an intensity value equal to or greater than the boundary value. Here, the average boundary value is a value obtained by adding each column boundary value by the number of pixels in the area divided by the number of pixels in the row direction and dividing by the number of pixels. As shown in the B region of the preprocessed image 11b in FIG. 4, the position information of the laser beam, which has not been extracted, is extracted (10f) independently of the divided regions A to Q . This is because the intensity of the laser beam retroreflected on the dark background of the measurement object 6 is relatively weaker than the intensity of the laser beam retroreflected on the bright background so that the bright background region and the dark background region are divided, The laser beam extraction efficiency is improved by extracting the position information of the laser beam by searching the position of the laser beam based on the brightness relative to the background.
추출된 레이저빔의 위치 정보(10f)로부터 레이저빔의 상승경계선과 하강경계선 사이의 중앙에 위치한 중심점을 추출(10g)한다. 획득된 한 영상의 중심선 추출(10g)과정에서 영상처리전용보드(10)는 배경으로부터 구분이 분명한 레이저빔의 위치부터 우선하여 추출하고, 점차로 구분이 약한 레이저빔의 위치를 추출하며, 이 과정에서 기존에 추출한 주위의 중심선 위치를 참고한다. 명확하지 않는 중심점이나 하나의 열에 여러개의 중심점 후보가 있는 경우 이웃하는 중심점 픽셀의 위치 정보 값은 유사하다는 가정하에 이웃 픽셀의 명확한 위치 정보로부터 가장 가까운 값을 선택한다. 중심선 추출과정에서 중심선 정보의 강도 값이 사용자가 설정하는 값 이하로 배경으로부터 분명하지 않는 레이저빔 중심선은 추출을 포기하고 추출된 주위 정보로부터 추후 선형 보간 법으로 위치 정보를 채워 넣는다.A center point located at the center between the rising boundary line and the falling boundary line of the laser beam is extracted (10g) from the extracted position information 10f of the laser beam. In the center line extraction (10g) of the obtained image, the dedicated image processing board 10 extracts the position of the laser beam which is clearly distinguished from the background, and extracts the position of the laser beam which is gradually weakened. Refer to the position of the center line of the surroundings extracted previously. If there are multiple center point candidates in an unclear center point or column, the closest value is selected from the clear position information of neighboring pixels, assuming that the position information values of neighboring center pixel points are similar. In the center line extraction process, the laser beam center line which is not clear from the background is less than the value set by the user, the intensity value of the center line information is abandoned and the position information is filled in by the linear interpolation method from the extracted surrounding information.
추출된 레이저빔의 중심선 위치를 중심으로 영상처리전용보드(10)는 원 영상에 대해 식 (3)을 적용하여 높은 분해능 (sub-pixel resolution)으로 세부 중심선 추출 및 보간된 영상(10h)를 추출한다.Centering on the position of the center line of the extracted laser beam, the image processing dedicated board 10 extracts the center line extraction and interpolated image 10h with high resolution (sub-pixel resolution) by applying equation (3) do.
여기서 Ii,j는 j번째 열과 i번째 행 픽셀의 강도 값이고, Pi,j는 j번째 열과 i번째 행 픽셀의 위치 값이다. Pio는 i번째 행에서 픽셀 분해능으로 찾아진 중심선의 위치이고 W는 선폭 값이다.Where I i, j is the intensity value of the j-th column and i-th row pixel, and P i, j is the position value of the j-th column and i-th row pixel. P io is the position of the centerline found in pixel resolution in the ith row and W is the linewidth value.
사용자에 의하여 설정된 값 이하로 배경으로부터 분명하지 않는 레이저빔의 중심선은 도 4 의 세부중심선 추출 및 보간된 영상(10f)에 보이는 것과 같이 추출된 주위 정보로부터 선형 보간법으로 채워진다.The centerline of the laser beam, which is less than the value set by the user and unclear from the background, is filled with linear interpolation from the extracted ambient information as shown in the detail centerline extraction and interpolated image 10f of FIG.
최종적으로 영상처리전용보드(10)는 식 (1)에 따라 추출된 중심선의 위치 정보로부터 측정 대상체의 실제 높이 값을 계산한 후 이를 메모리에 저장한다. 입력환경에서 설정된 모터의 이동속도와 설정된 거리만큼 측정 대상체를 이동시키면서 형상 측정을 수행한 후, 신호처리기는 전체영상을 조합하여 형상을 재구성한다.Finally, the image processing board 10 calculates the actual height value of the measurement object from the positional information of the center line extracted according to equation (1), and stores it in the memory. After performing the shape measurement while moving the object to be measured by the movement speed and set distance of the motor set in the input environment, the signal processor reconstructs the shape by combining the entire images.
도 5 는 발명된 중심선 추출 방법과 전통적인 중심선 추출 방법의 측정결과 비교도로서,FIG. 5 is a comparative diagram of measurement results of the invented center line extraction method and conventional center line extraction method,
선형 레이저빔(14)을 측정 대상체(6)의 기준 수직면에 대하여 45°각도로 조사시킨후, 실험을 위하여 측정대상체(6) 기준 수직면에 대하여 -45°각도로 기울어진 CCD 카메라(TM-7CN, PULNIX)(5)와 초점거리 105mm의 렌즈(니콘 마크로)(1b), 볼록(f:100mm)(2a) 및 오목(f:-150mm)(2b) 원통형 렌즈, 편광필터(3) 및 색필터(4)를 사용하고, 측정대상체(6)로는 검은 글자로 음각된 레이저 시스템의 앞 팬널(W40xL5.5xH0.1mm)을 사용하여 적응적 패턴 분할에 의한 중심선 추출 방법과 수식 (2)를 적용한 전통적인 중심선 추출 방법에 의한 결과들을 도 5 에서 서로 비교하였다.The linear laser beam 14 was irradiated at an angle of 45 degrees with respect to the reference vertical plane of the measurement target object 6 and then a CCD camera (TM-7CN (registered trademark)) tilted at an angle of -45 degrees with respect to the reference vertical plane of the measurement object 6 (Nikon mark) 1b, convex (f: 100 mm) 2a and concave (f: -150 mm) 2b having a focal length of 105 mm and cylindrical lens, polarizing filter 3 and color The center line extraction method using the adaptive pattern division and the equation (2) are applied using the filter 4 and the front panel (W40xL5.5xH0.1 mm) of the laser system engraved with black letters as the measurement object 6 The results of the conventional center line extraction method are compared with each other in FIG.
도 5 의 a는 선형레이저 빔이 조사된 측정 대상체인 검은색으로 음각된 팬널 샘플 영상을 보여주며 세로선으로 구분된 도 5 의 A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q는 적응적 영역분할기에 의하여 독립적으로 분할된 영역을 보여준다. 도 5 의 b는 수식 (2)를 적용한 전통적인 중심선 추출 방법에 의하여 서브픽셀 분해능으로 얻어진 중심선 추출 결과이다. 도 5 의 d는 본 발명에서 제안한 선형 레이저빔의 적응적인 패턴 분할 방법에 의하여 서브픽셀 분해능으로 추출된 중심선 추출 결과이다. 도 5 에서 볼 수 있듯이, 음각된 검은 글자로부터 반사되어 CCD 카메라에 촬상된 선형 레이저빔의 강도는 회색의 배경부로 반사된 부분의 강도 보다 낮다. 특히 검은색 음각 부위인 ①, ② 영역에서, 전통적인 중심선 추출 방법은 레이저빔의 위치를 찾지 못한다. 그러나 본 발명에서 제안된 중심선 추출 방법은 영역 ①, ②에서 독립적으로 중심선을 추출함으로써 레이저빔의 위치를 찾아낸다. 도 5 의 c, e는 도 5의 b와 d로부터 레이저빔을 찾지 못한 부분에 대하여 선형 보간된 결과를 보여준다.5A shows a fan-shaped sample image imprinted with black, which is a measurement object to which a linear laser beam is irradiated, and FIG. 5B shows a fan- J, K, L, M, N, O, P, and Q show regions that are independently partitioned by the adaptive region dividers. FIG. 5B shows the centerline extraction result obtained by the sub pixel resolution by the conventional center line extraction method using the equation (2). FIG. 5D shows the centerline extraction result extracted by the sub-pixel resolution by the adaptive pattern division method of the linear laser beam proposed in the present invention. As can be seen from FIG. 5, the intensity of the linear laser beam reflected from the engraved black characters and imaged by the CCD camera is lower than the intensity of the portion reflected to the background portion of the gray. In particular, in the areas of ① and ②, which are black intaglio regions, the conventional center line extraction method can not locate the laser beam. However, the center line extraction method proposed in the present invention finds the position of the laser beam by independently extracting the center line in the areas? And?. 5C and 5E show the result of linear interpolation of the portion where the laser beam is not found from b and d of FIG.
도 6 은 전통적인 중심선 추출 방법을 사용하여 형상을 측정한 후 재 구성한3차원 표면 형상 측정 결과이다. 도 7 은 본 발명에서 제안된 적응적인 영역 분할에 의한 중심선 추출 방법을 사용하여 측정한 결과이다. 도 6와 7에서 볼 수 있듯이, 제안된 적응적인 영역 분할에 의한 중심선 추출 방법은 전통적인 중심선 추출 방법보다 가변적인 반사율을 보이는 측정 대상체에서 특히 보다 나은 분해능을 제공함을 알 수 있다.FIG. 6 shows the results of the reconstruction of the three-dimensional surface shape after measuring the shape using the conventional center line extraction method. FIG. 7 is a result of measurement using a center line extraction method according to the present invention. As can be seen from FIGS. 6 and 7, it can be seen that the proposed centerline extraction by adaptive region segmentation provides better resolution, especially for measurement objects with variable reflectance than the conventional centerline extraction method.
본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims and their equivalents. Of course, such modifications are within the scope of the claims.
상기와 같은 구성 및 작용에 의해 기대할 수 있는 본 발명의 효과는 다음과 같다.The effects of the present invention, which can be expected from the above-described configuration and operation, are as follows.
본 발명에서는 선형 레이저빔을 이용한 3차원 표면 형상 측정 시스템에서 측정 환경에 따라 적응적으로 레이저빔 패턴을 강도 분포에 따라 영역 분할한 후, 분할된 영역에 대해 독립적으로 중심선을 추출함으로써 측정대상체의 높이 정보에 대하여 개선된 분해능을 제공하는 신호처리 알고리듬을 제안하였고 중심선 추출 능력 향상을 실험적으로 확인하였다. 즉 제안된 방법은 측정대상체의 어두운 배경에서 역 반사되어 카메라에 맺히는 레이저 빔 영상의 강도가 밝은 배경에서 역 반사되어 카메라에 맺히는 레이저빔 영상의 강도보다 상대적으로 약하므로, 밝은 배경 영역과 어두운 배경 영역을 각각으로 독립적으로 영역 분할하고, 각 영역에 대해 독립적으로 레이저빔의 위치 정보를 추출함으로써 즉, 배경에 대한 상대적인 밝기에 기초하여 레이저빔의 위치를 탐색함으로써 레이저빔 추출 효율을 높였다.In the present invention, in a three-dimensional surface shape measurement system using a linear laser beam, a laser beam pattern is adaptively divided according to an intensity distribution, and then a center line is independently extracted for each divided region, We propose a signal processing algorithm that provides improved resolution for the information and experimentally confirmed the improvement of the center line extraction ability. That is, since the intensity of the laser beam image reflected back from the dark background of the measurement object is relatively weaker than the intensity of the laser beam image reflected back to the camera due to the reflection of the bright background image, And extracting the position information of the laser beam independently for each region, that is, by searching the position of the laser beam based on the relative brightness to the background, the laser beam extraction efficiency is enhanced.
즉, 제안된 알고리즘은 국부적으로 표면 반사율 및 밝기 차이가 심한 측정 대상체의 형상 측정에 큰 효과가 있었다.In other words, the proposed algorithm has a great effect on the measurement of the shape of the object to be measured, which has a large surface reflectance and brightness difference locally.
따라서 제안된 방법을 활용한 3차원 표면 형상 측정 장치는 실제 산업현장에서의 활용이 용이하고 고속의 측정이 가능한 효율적인 장치이다.Therefore, the 3D surface shape measuring device using the proposed method is an efficient device that can be easily used in a real industrial field and can measure at a high speed.
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0035278A KR100383816B1 (en) | 2000-06-26 | 2000-06-26 | A 3-D shape measuring method and system using a adaptive area clustering |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0035278A KR100383816B1 (en) | 2000-06-26 | 2000-06-26 | A 3-D shape measuring method and system using a adaptive area clustering |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020000443A KR20020000443A (en) | 2002-01-05 |
| KR100383816B1 true KR100383816B1 (en) | 2003-05-16 |
Family
ID=19673872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0035278A KR100383816B1 (en) | 2000-06-26 | 2000-06-26 | A 3-D shape measuring method and system using a adaptive area clustering |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100383816B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101676479B1 (en) | 2015-12-11 | 2016-11-21 | 주식회사 이티스 | Pence |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100577954B1 (en) * | 2004-03-17 | 2006-05-10 | 강영준 | Apparatus and method for the non-contact adaptive dimension measurement |
| KR101394436B1 (en) * | 2012-08-20 | 2014-05-13 | (주) 루켄테크놀러지스 | Apparatus and method for measuring 3d surface shape |
| TWI595445B (en) * | 2016-08-31 | 2017-08-11 | 致茂電子股份有限公司 | Anti-noise three dimensional scanning system |
| CN106813574A (en) * | 2016-11-02 | 2017-06-09 | 北京信息科技大学 | A kind of joint arm gauge head optical system based on polarised light |
| CN109813236A (en) * | 2019-03-16 | 2019-05-28 | 南京华群光电技术有限公司 | A kind of laser displacement sensor and its measurement method |
| CN109855542A (en) * | 2019-03-16 | 2019-06-07 | 南京华群光电技术有限公司 | A kind of displacement measuring device |
| CN109870816A (en) * | 2019-03-16 | 2019-06-11 | 南京华群光电技术有限公司 | A kind of optical system and its displacement measurement method of laser displacement sensor |
| KR102404828B1 (en) | 2019-05-14 | 2022-06-07 | 서울대학교산학협력단 | Methods for selecting genetically modified cells from undifferentiated pluripotent stem cells |
| CN116499362B (en) * | 2023-06-26 | 2023-09-15 | 太原科技大学 | Steel plate size online measurement system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0814844A (en) * | 1994-06-29 | 1996-01-19 | Matsushita Electric Works Ltd | Three-dimensional measurement method for contour |
| JPH11183125A (en) * | 1997-12-19 | 1999-07-09 | Hitachi Plant Eng & Constr Co Ltd | Non-contact type solid shape measuring device |
| JPH11211443A (en) * | 1998-01-27 | 1999-08-06 | Matsushita Electric Works Ltd | Three-dimensional shape measuring device |
| JPH11281322A (en) * | 1998-03-27 | 1999-10-15 | Suzuki Motor Corp | Three dimensional shape measuring apparatus |
| US6064759A (en) * | 1996-11-08 | 2000-05-16 | Buckley; B. Shawn | Computer aided inspection machine |
-
2000
- 2000-06-26 KR KR10-2000-0035278A patent/KR100383816B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0814844A (en) * | 1994-06-29 | 1996-01-19 | Matsushita Electric Works Ltd | Three-dimensional measurement method for contour |
| US6064759A (en) * | 1996-11-08 | 2000-05-16 | Buckley; B. Shawn | Computer aided inspection machine |
| JPH11183125A (en) * | 1997-12-19 | 1999-07-09 | Hitachi Plant Eng & Constr Co Ltd | Non-contact type solid shape measuring device |
| JPH11211443A (en) * | 1998-01-27 | 1999-08-06 | Matsushita Electric Works Ltd | Three-dimensional shape measuring device |
| JPH11281322A (en) * | 1998-03-27 | 1999-10-15 | Suzuki Motor Corp | Three dimensional shape measuring apparatus |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101676479B1 (en) | 2015-12-11 | 2016-11-21 | 주식회사 이티스 | Pence |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020000443A (en) | 2002-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wust et al. | Surface profile measurement using color fringe projection | |
| US7986321B2 (en) | System and method for generating structured light for 3-dimensional image rendering | |
| US6549288B1 (en) | Structured-light, triangulation-based three-dimensional digitizer | |
| JP4913597B2 (en) | High-speed multiple line 3D digitization method | |
| Rushmeier et al. | Acquiring input for rendering at appropriate levels of detail: Digitizing a pieta | |
| JP2006528770A (en) | Method and system for three-dimensional surface reconstruction of an object | |
| KR100383816B1 (en) | A 3-D shape measuring method and system using a adaptive area clustering | |
| JP2009511897A (en) | Object reconstruction method and system | |
| CN1534294A (en) | Textile surface analysis method and its system | |
| US20070041008A1 (en) | Three-dimensional reconstruction of surface profiles | |
| EP0736167B1 (en) | Contour measurement system | |
| CN115330958A (en) | Real-time three-dimensional reconstruction method and device based on laser radar | |
| Wang et al. | Relief texture from specularities | |
| CN113124771B (en) | Imaging system with calibration target object | |
| US6046812A (en) | Shape-measuring laser apparatus using anisotropic magnification optics | |
| CN110567959A (en) | Self-adaptive aberration correction image scanning microscopic imaging method and device | |
| Munoz-Rodriguez et al. | Direct object shape detection based on skeleton extraction of a light line | |
| KR100236674B1 (en) | Shape measuring apparatus using laser of non spherical optical system | |
| Herzog et al. | Restoration of three-dimensional quasi-binary images from confocal microscopy and its application to dendritic trees | |
| CN112734916B (en) | Color confocal parallel measurement three-dimensional morphology reduction method based on image processing | |
| Lv et al. | Build 3D laser scanner based on binocular stereo vision | |
| CN110310371B (en) | Method for constructing three-dimensional contour of object based on vehicle-mounted monocular focusing sequence image | |
| JP2002131031A (en) | Method and device for measuring three-dimensional shape | |
| KR100422987B1 (en) | Sensor for acquiring 3d image data | |
| Mcleod | Illumination techniques for 3-D machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130401 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20140401 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20150417 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20160422 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20170404 Year of fee payment: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20180403 Year of fee payment: 16 |
|
| FPAY | Annual fee payment |
Payment date: 20190424 Year of fee payment: 17 |