KR20220020068A - System and method for measuring target location using image recognition - Google Patents

System and method for measuring target location using image recognition Download PDF

Info

Publication number
KR20220020068A
KR20220020068A KR1020200100569A KR20200100569A KR20220020068A KR 20220020068 A KR20220020068 A KR 20220020068A KR 1020200100569 A KR1020200100569 A KR 1020200100569A KR 20200100569 A KR20200100569 A KR 20200100569A KR 20220020068 A KR20220020068 A KR 20220020068A
Authority
KR
South Korea
Prior art keywords
target
measurement
reference point
optical waveguide
posture
Prior art date
Application number
KR1020200100569A
Other languages
Korean (ko)
Inventor
윤여운
권대용
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020200100569A priority Critical patent/KR20220020068A/en
Publication of KR20220020068A publication Critical patent/KR20220020068A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02083—Interferometers characterised by particular signal processing and presentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

A system and a method for measuring a target using image recognition are disclosed. The system for measuring a target comprises: an optical wave; and a compensating device for controlling the posture and operation of the optical wave so that the optical wave generates and transmits image data and measurement data for a target attached to the surface of a target block, thereby capable of performing efficient work when measuring a large number of points.

Description

이미지 인식에 의한 타겟 계측 시스템 및 방법{System and method for measuring target location using image recognition}Target measurement system and method by image recognition {System and method for measuring target location using image recognition}

본 발명은 이미지 인식에 의한 타겟 계측 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for target metrology by image recognition.

조선 산업에서는 생산성을 높이기 위해, 블록 단위로 나누어 작업한 후, 작업된 블록들을 서로 쌓거나 연결하는 조립 과정을 통해 선박 및 해양 구조물을 제작한다. In the shipbuilding industry, in order to increase productivity, ships and offshore structures are manufactured through an assembly process in which the blocks are divided into blocks and then stacked or connected to each other.

각 블록은 용접에 의해 상호 조립되므로, 소형 블록부터 대형 블록에 이르기까지 각 블록에 대한 제작 정확도는 매우 중요한 품질 관리 대상이다. Since each block is inter-assembled by welding, the fabrication accuracy for each block, from small blocks to large blocks, is a very important quality control subject.

따라서, 블록이 제작되어 다른 블록과 조립되기 이전에, 제작된 블록의 치수가 설계된 대로 제작되었는지 검사되어야 하고, 또한 조립 및 탑재 과정에서 블록의 위치가 오차 범위 이내에 있는지 확인될 필요가 있다. Therefore, before the block is manufactured and assembled with other blocks, it is necessary to check whether the dimensions of the manufactured block are manufactured as designed, and also it is necessary to check whether the position of the block is within an error range during assembly and mounting.

이를 위해, 현장에서는 블록의 정도 관리를 위해 광파기를 이용하고 있다. 즉, 관리가 필요한 위치에 타겟을 부착하고, 작업자가 직접 눈으로 시준하며 광파기를 이용하여 타겟에 대한 계측을 진행하고 있다. To this end, in the field, a light wave is used to control the quality of the block. That is, the target is attached to a location requiring management, the operator directly collimates with the eye, and the target is measured using a light wave.

그러나, 광파기를 이용한 타겟 계측은 작업자의 기량에 따라 계측 시간과 정밀도에서 많은 차이가 발생되고 있다. 또한, 메가블록 이상의 블록인 경우에는, 약 600 내지 800 포인트의 많은 타겟이 계측되어야 하며, 이때 중첩되거나 누락되는 포인트가 다수 발생되고 있고, 작업자가 장시간 작업을 해야 하기 때문에 집중력 저하로 인한 계측 정밀도도 떨어지는 문제점이 있다. However, there are many differences in measurement time and precision in target measurement using the optical wave machine depending on the skill of the operator. In addition, in the case of a block of megablock or larger, many targets of about 600 to 800 points must be measured. There is a problem with falling.

대한민국등록특허 제10-1034543호Republic of Korea Patent No. 10-1034543

본 발명은 3차원 설계 모델 기반으로 지정된 기준 좌표점에 대응되도록 부착된 타겟의 위치가 자동화된 프로세스로 정밀하게 계측될 수 있어, 다량의 포인트 계측시 효율적인 작업 수행이 가능해지는 이미지 인식에 의한 타겟 계측 시스템 및 방법을 제공하기 위한 것이다. According to the present invention, the position of an attached target to correspond to a specified reference coordinate point based on a three-dimensional design model can be precisely measured with an automated process, so target measurement by image recognition that enables efficient operation when measuring a large number of points To provide systems and methods.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Objects other than the present invention will be easily understood through the following description.

본 발명의 일 측면에 따르면, 광파기; 및 상기 광파기가 대상 블록의 표면에 부착된 타겟들에 대한 상기 영상 데이터 및 상기 계측 데이터를 생성하여 전송하도록 상기 광파기의 자세와 동작을 제어하는 보정 장치를 포함하는 타겟 계측 시스템이 제공된다. According to one aspect of the present invention, the optical wave; and a compensating device for controlling the posture and operation of the optical waveguide so that the optical waveguide generates and transmits the image data and the measurement data for targets attached to the surface of the target block.

상기 보정 장치는, 3차원 설계 모델에 미리 지정된 가상 측정점들에 대응하는 상기 대상 블록의 측정점들 각각에 대한 계측 데이터를 이용하여, 상기 3차원 설계 모델에 관한 가상 좌표계와 상기 광파기에 관한 광파기 좌표계를 서로 매칭시키는 변환 행렬을 산출하는 좌표 매칭부; 상기 영상 데이터에 포함된 타겟의 타겟 기준점과 미리 지정된 계측 기준점의 오차값을 산출하는 오차 산출부; 및 상기 변환 행렬을 이용하여, 상기 광파기가 상기 측정점들과 타겟들 각각에 대한 영상 데이터들을 생성하기 위한 자세로 변환되도록 하는 자세 조정 명령을 상기 광파기로 전송하고, 상기 오차값이 상쇄되어 상기 타겟 기준점과 상기 계측 기준점이 동일하게 위치되도록 상기 광파기의 자세를 변환시키기 위한 자세 조정 명령을 상기 광파기로 전송하며, 상기 타겟 기준점과 상기 계측 기준점이 동일하게 위치되면 상기 타겟 기준점에 대한 계측 데이터의 생성을 위해 상기 광파기로 계측 명령을 전송하는 컨트롤러를 포함할 수 있다. The correction device is configured to use measurement data for each of the measurement points of the target block corresponding to the virtual measurement points specified in advance in the 3D design model to obtain a virtual coordinate system for the 3D design model and a light destruction coordinate system for the optical wave machine. a coordinate matching unit that calculates a transformation matrix that matches each other; an error calculation unit for calculating an error value between a target reference point of a target included in the image data and a predetermined measurement reference point; and using the transformation matrix, transmits a posture adjustment command to the optical waveguide for converting the optical waveguide into a posture for generating image data for each of the measurement points and targets, and the error value is canceled to cancel the target reference point and a posture adjustment command for changing the posture of the optical waveguide so that the measurement reference point and the measurement reference point are positioned identically to the optical waveguide, and when the target reference point and the measurement reference point are located at the same location It may include a controller that transmits a measurement command to the optical waveguide.

상기 광파기는, 상기 계측 명령에 따라, 상기 자세 조정 명령에 의해 변환된 자세에 대응하는 대상 위치에 대한 계측 데이터를 생성하는 계측부; 상기 자세 조정 명령에 의해 변환된 자세에 대응하는 대상 위치에 대한 실시간 영상 데이터를 생성하는 촬영부; 및 상기 자세 조정 명령에 의해 상기 광파기의 자세를 변환시키는 자세 조정부를 포함할 수 있다. The optical wave device may include, in response to the measurement command, a measurement unit configured to generate measurement data for a target position corresponding to the attitude converted by the attitude adjustment command; a photographing unit generating real-time image data for a target position corresponding to the posture converted by the posture adjustment command; and a posture adjustment unit configured to change the posture of the light wave device according to the posture adjustment command.

본 발명의 다른 측면에 따르면, 타겟 계측 방법을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, (a) 3차원 설계 모델 내의 가상 측정점들에 대응되어 광파기로부터 수신되는 대상 블록의 각 측정점에 대한 계측 데이터를 이용하여 가상 좌표계와 광파기 좌표계를 매칭시키기 위한 변환 행렬을 산출하는 단계; (b) 상기 변환 행렬을 이용하여, 상기 광파기가 상기 3차원 설계 모델에 설정된 기준 좌표점에 해당하는 상기 대상 블록의 영역을 촬영하도록 하는 자세 조정 명령을 생성하여 상기 광파기로 전송하는 단계; (c) 상기 광파기에서 수신되는 실시간 영상 데이터에 포함된 타겟의 타겟 기준점과 미리 설정된 계측 기준점 사이의 오차값을 산출하는 단계; (d) 상기 오차값을 상쇄시키기 위해, 상기 계측 기준점과 상기 타겟 기준점이 동일하게 위치되도록 하는 자세 조정 명령을 생성하여 상기 광파기로 전송하는 단계; 및 (e) 상기 광파기로 상기 타겟 기준점에 대한 계측 데이터를 생성하여 전송하도록 계측 명령을 전송하는 단계를 포함하되, 상기 단계 (b) 내지 (e)는 상기 3차원 설계 모델에 설정된 기준 좌표점들 각각에 대한 계측 데이터가 생성되어 수신될 때까지 반복되는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다. According to another aspect of the present invention, there is provided a computer program stored in a computer-readable medium for performing a target metrology method, the computer program causing the computer to perform the following steps, the steps comprising: (a) 3 calculating a transformation matrix for matching the virtual coordinate system and the optical wave coordinate system by using measurement data for each measurement point of a target block that corresponds to the virtual measurement points in the dimensional design model and is received from the optical wave machine; (b) using the transformation matrix, generating a posture adjustment command for the optical waveguide to photograph the area of the target block corresponding to the reference coordinate point set in the three-dimensional design model, and transmitting it to the optical waveguide; (c) calculating an error value between a target reference point of a target included in the real-time image data received from the optical waveguide and a preset measurement reference point; (d) generating a posture adjustment command so that the measurement reference point and the target reference point are positioned to be the same in order to cancel the error value, and transmitting it to the optical wave machine; and (e) transmitting a measurement command to generate and transmit measurement data for the target reference point to the optical waveguide, wherein the steps (b) to (e) include reference coordinate points set in the three-dimensional design model. A computer program stored on a computer-readable medium is provided, wherein metrology data for each is generated and repeated until received.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예에 따르면, 3차원 설계 모델 기반으로 지정된 기준 좌표점에 대응되도록 부착된 타겟의 위치가 자동화된 프로세스로 정밀하게 계측되는 효과가 있다. According to an embodiment of the present invention, there is an effect that the position of the target attached to correspond to the reference coordinate point designated based on the three-dimensional design model is precisely measured by an automated process.

또한, 다량의 포인트 계측시 효율적인 작업 수행이 가능해지고, 작업자의 숙련도에 무관하게 정밀한 타겟 계측이 가능한 효과도 있다. In addition, it becomes possible to perform an efficient operation when measuring a large number of points, and there is an effect that precise target measurement is possible regardless of the skill level of the operator.

도 1은 본 발명의 일 실시예에 따른 이미지 인식에 의한 타겟 계측 시스템의 블록 구성도.
도 2는 본 발명의 일 실시예에 따른 이미지 인식 기법을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 이미지 인식에 의한 타겟 계측 방법을 나타낸 순서도.1 is a block diagram of a target measurement system by image recognition according to an embodiment of the present invention.
2 is a view for explaining an image recognition technique according to an embodiment of the present invention.
3 is a flowchart illustrating a method for measuring a target by image recognition according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 이미지 인식에 의한 타겟 계측 시스템의 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 이미지 인식 기법을 설명하기 위한 도면이다.1 is a block diagram of a target measurement system by image recognition according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining an image recognition technique according to an embodiment of the present invention.

도 1을 참조하면, 타겟 계측 시스템은 광파기(110) 및 보정 장치(120)를 포함할 수 있다. 광파기(100)와 보정 장치(120)는 예를 들어 블루투스 등과 같은 근거리 무선 통신 방식으로 서로 연결될 수 있다. Referring to FIG. 1 , the target measurement system may include an optical waveguide 110 and a correction device 120 . The optical waveguide 100 and the compensating device 120 may be connected to each other through a short-range wireless communication method such as Bluetooth, for example.

광파기(100)는 계측부(112), 촬영부(114) 및 자세 조정부(116)를 포함할 수 있다. The optical waveguide 100 may include a measuring unit 112 , a photographing unit 114 , and a posture adjusting unit 116 .

계측부(112)는 타겟(145)을 향해 레이저를 조사하여 타겟(145)에서 반사되는 신호를 입사받아 분석함으로써 타겟(145)의 위치에 관한 계측 데이터를 생성한다. 생성된 계측 데이터는 보정 장치(120)로 전송될 수 있다. The measurement unit 112 generates measurement data regarding the position of the target 145 by irradiating a laser toward the target 145 and receiving and analyzing a signal reflected from the target 145 . The generated measurement data may be transmitted to the calibration device 120 .

타겟(145)은 제작된 대상 블록(140)의 미리 지정된 위치(예를 들어, 설계상의 기준 좌표점에 대응되는 위치)에 각각 부착되는 광파 프리즘일 수 있고, 금속 재질인 대상 블록(140)의 블록 접합면에 자력(磁力)으로 부착되도록 자석 재질로 형성될 수 있다. 또한, 타겟(145)은 예를 들어 중심점이 타겟 기준점으로 용이하게 해석될 수 있도록 원형 과녁, 반원형 과녁 등의 형상으로 형성될 수 있다. The target 145 may be a light wave prism attached to a predetermined position (eg, a position corresponding to a design reference coordinate point) of the manufactured target block 140 , and may be a metal target block 140 . It may be formed of a magnetic material so as to be attached to the block bonding surface by magnetic force. In addition, the target 145 may be formed in the shape of a circular target, a semi-circular target, etc. so that the center point can be easily interpreted as a target reference point, for example.

계측부(112)는 보정 장치(120)가 3차원 설계 모델에 관한 기준 좌표계(즉, 가상 좌표계)와 광파기(100)에 관한 광파기 좌표계를 매칭시킬 수 있도록 하기 위해, 제작된 대상 블록(140)에서의 복수의 측정점 각각에 대한 계측 데이터를 더 생성할 수 있다. 측정점에 대한 계측 데이터 생성은 현장 작업자가 수동으로 실시할 수 있으며, 측정점의 수는 예를 들어 둘 이상일 수 있다. The measurement unit 112 allows the compensating device 120 to match the reference coordinate system (ie, virtual coordinate system) regarding the three-dimensional design model and the optical destruction coordinate system for the optical destruction 100 in the manufactured target block 140 . Measurement data for each of the plurality of measurement points may be further generated. The generation of measurement data for the measurement points may be performed manually by a field worker, and the number of measurement points may be, for example, two or more.

촬영부(114)는 대상 블록(140)에 부착된 타겟(145)을 실시간으로 촬영하여 상응하는 영상 데이터를 생성한다. 실시간 생성되는 영상 데이터는 보정 장치(120)로 제공될 수 있다. The photographing unit 114 generates corresponding image data by photographing the target 145 attached to the target block 140 in real time. The image data generated in real time may be provided to the correction device 120 .

촬영부(114)는 카메라를 포함하여 구성될 수 있으며, 현장 작업자가 눈으로 타겟 위치를 파악하기 위한 광파기(100)의 렌즈 영역에 장착될 수 있다. The photographing unit 114 may be configured to include a camera, and may be mounted on a lens area of the light destroyer 100 for a field worker to identify a target position with his or her eyes.

현장 작업자가 대상 블록(140)의 측정점을 광파기(100)의 렌즈를 통해 시준하여 계측할 수 있도록 하기 위해, 촬영부(114)는 필요에 따라 광파기(100)의 렌즈 영역에 장착과 탈착이 가능한 형태일 수 있다. In order for the field worker to measure the measurement point of the target block 140 by collimating it through the lens of the optical waveguide 100, the photographing unit 114 can be mounted and detached in the lens area of the optical waveguide 100 as needed. may be in the form

자세 조정부(116)는 보정 장치(120)로부터 수신되는 자세 조정 명령에 따라 광파기(100)를 3차원 공간 상에서 수직 또는 수평 방향으로 이동시키거나 소정의 각도로 회전시킨다. The posture adjusting unit 116 moves the optical waveguide 100 in a vertical or horizontal direction in a three-dimensional space or rotates it at a predetermined angle according to a posture adjustment command received from the correcting device 120 .

자세 조정 명령은 예를 들어 광파기(100)가 미리 설정된 복수의 측정점 각각에 대한 계측 데이터를 생성하고, 또한 설계상의 기준 좌표점에 대응되는 타겟(145)의 타겟 기준점에 대한 계측 데이터를 생성하기 위한 적절한 자세를 가지도록 하기 위해 보정 장치(120)로부터 제공될 수 있다. The posture adjustment command, for example, generates measurement data for each of a plurality of measurement points where the optical waveguide 100 is preset, and also for generating measurement data for a target reference point of the target 145 corresponding to the design reference coordinate point. It may be provided from the correction device 120 in order to have an appropriate posture.

보정 장치(120)는 표시부(122), 좌표 매칭부(124), 오차 산출부(126) 및 컨트롤러(128)를 포함할 수 있다. 보정 장치(120)는 도 2의 (c)에 예시된 바와 같이, 광파기(100)와 근거리 무선 통신(예를 들어, 블루투스 등) 방식으로 연결된 스마트폰일 수 있으나, 보정 장치(120)의 유형이 이에 제한되지 않음은 당연하다. The correction device 120 may include a display unit 122 , a coordinate matching unit 124 , an error calculation unit 126 , and a controller 128 . As illustrated in (c) of FIG. 2 , the correction device 120 may be a smartphone connected to the optical wave device 100 and a short-range wireless communication (eg, Bluetooth, etc.) method, but the type of the correction device 120 is different. It goes without saying that the present invention is not limited thereto.

표시부(122)는 광파기(100)의 촬영부(114)에 의해 실시간 생성되는 영상 데이터와 광파기(100)의 계측 기준선을 표시한다. The display unit 122 displays image data generated in real time by the photographing unit 114 of the optical destroyer 100 and a measurement reference line of the optical destroyer 100 .

표시부(122)는 각각의 측정점, 각각의 타겟 기준점에 대한 계측 데이터(예를 들어, 계측된 위치의 좌표 정보 등)를 더 표시할 수도 있다. The display unit 122 may further display measurement data (eg, coordinate information of a measured position, etc.) for each measurement point and each target reference point.

또한, 표시부(122)는 오차 산출부(126)에 의해 산출된 계측 기준점(즉, 직교하는 계측 기준선들간의 교점)과 촬영된 타겟(145)의 타겟 기준점 사이의 오차값(예를 들어, x축 및 y축상의 편차값)을 더 표시할 수도 있다. In addition, the display unit 122 may display an error value (eg, x) between the measurement reference point (ie, the intersection between orthogonal measurement reference lines) calculated by the error calculation unit 126 and the target reference point of the photographed target 145 . (deviation values on the axis and y-axis) may be further displayed.

좌표 매칭부(124)는 3차원 설계 모델 내의 가상 측정점들에 대응되는 대상 블록(140)의 측정점들 각각에 대한 계측 데이터를 이용하여 3차원 설계 모델에 관한 가상 좌표계와 광파기(100)에 관한 광파기 좌표계를 서로 매칭시키기 위한 변환 행렬을 산출한다. The coordinate matching unit 124 uses the measurement data for each of the measurement points of the target block 140 corresponding to the virtual measurement points in the 3D design model, the virtual coordinate system for the 3D design model and the optical destruction for the optical wave machine 100 . A transformation matrix for matching coordinate systems with each other is calculated.

산출된 변환 행렬은 저장부(도시되지 않음)에 저장될 수 있다. 또한 저장부에는 광파기(100)에서 생성된 측정점과 타겟 기준점에 대한 계측 데이터, 오차 산출부(126)에 의해 생성된 오차값 등이 더 저장될 수 있다. The calculated transformation matrix may be stored in a storage unit (not shown). Also, the storage unit may further store measurement data for the measurement point and the target reference point generated by the optical waveguide 100 , an error value generated by the error calculator 126 , and the like.

좌표 매칭부(124)에 의해 산출된 변환 행렬을 이용하여 3차원 설계 모델과 광파기(100)에 의해 촬영되는 현실 객체 간의 좌표가 서로 매칭되도록 변환 산출될 수 있다. 가상 측정점 등의 좌표 정보를 이용하여 변환 행렬을 산출하여 가상 좌표계와 광파기 좌표계를 매칭시키는 것은 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.By using the transformation matrix calculated by the coordinate matching unit 124 , the transformation may be calculated so that the coordinates between the 3D design model and the real object photographed by the optical waveguide 100 are matched with each other. Matching the virtual coordinate system and the optical wave coordinate system by calculating a transformation matrix using coordinate information such as a virtual measurement point is obvious to those skilled in the art, and thus a description thereof will be omitted.

오차 산출부(126)는 계측 기준점과 촬영부(114)에 의해 생성된 영상 데이터 내의 타겟(145)의 타겟 기준점 사이의 오차값을 산출한다. The error calculating unit 126 calculates an error value between the measurement reference point and the target reference point of the target 145 in the image data generated by the photographing unit 114 .

오차 산출부(126)는 예를 들어, 영상 데이터 내에서 미리 지정된 영상 해석 기법으로 타겟(145)을 검출하고, 검출된 타겟(145)의 중심점(즉, 타겟 기준점)을 검출하며, 검출된 타겟 기준점과 계측 기준점 사이의 x축 및 y축상의 편차값(예를 들어, 픽셀수)을 각각 산출하는 방식 등으로 타겟 기준점과 계측 기준점 사이의 오차값을 산출할 수 있다(도 2의 (a) 참조). 계측 기준점은 영상 데이터의 가로 중심선과 세로 중심선으로 표시되는 계측 기준선의 교점(즉, 영상 데이터의 화면 중심점)일 수 있다.The error calculating unit 126 detects the target 145 by, for example, a predetermined image analysis technique in the image data, detects a center point (ie, a target reference point) of the detected target 145 , and the detected target The error value between the target reference point and the measurement reference point may be calculated by a method of calculating the deviation values (eg, number of pixels) on the x-axis and the y-axis between the reference point and the measurement reference point, respectively (FIG. 2(a)) Reference). The measurement reference point may be an intersection point (ie, a screen center point of the image data) of the measurement reference line indicated by the horizontal center line and the vertical center line of the image data.

컨트롤러(128)는 광파기(100)의 동작을 제어하기 위한 제어 명령을 생성하여 광파기(100)로 전송한다. 예를 들어, 컨트롤러(128)는 광파기(100)로 자세 조정 명령, 계측 명령을 전송할 수 있다. The controller 128 generates a control command for controlling the operation of the optical waveguide 100 and transmits it to the optical waveguide 100 . For example, the controller 128 may transmit a posture adjustment command and a measurement command to the optical wave device 100 .

즉, 컨트롤러(128)는 광파기(100)가 미리 설정된 복수의 측정점 각각에 대한 계측 데이터를 생성하고, 또한 설계상의 기준 좌표점에 대응되는 타겟(145)의 타겟 기준점에 대한 계측 데이터를 생성하기 위한 적절한 자세를 가지도록 하는 자세 조정 명령을 생성하여 광파기(100)로 전송할 수 있다. 컨트롤러(128)는 대상 블록(140)에 대해 계측 데이터가 생성되어야 하는 3차원 설계 모델의 가상 측정점들과 기준 좌표점들 각각에 상응하는 자세 조정 명령을 광파기(100)로 전송할 수 있을 것이다. That is, the controller 128 generates measurement data for each of the plurality of measurement points set in advance by the optical waveguide 100, and also for generating measurement data for the target reference point of the target 145 corresponding to the design reference coordinate point. A posture adjustment command to have an appropriate posture may be generated and transmitted to the optical wave device 100 . The controller 128 may transmit a posture adjustment command corresponding to each of virtual measurement points and reference coordinate points of the 3D design model for which measurement data is to be generated for the target block 140 to the optical wave device 100 .

또한, 컨트롤러(128)는 타겟(145)에 대한 계측 데이터 생성 과정에서, 오차 산출부(126)에 의해 산출된 오차값을 상쇄시켜 계측 기준점과 타겟 기준점이 동일하게 위치되도록 하는 자세 조정 명령을 더 생성하여 광파기(100)로 전송할 수 있다. In addition, in the process of generating measurement data for the target 145 , the controller 128 offsets the error value calculated by the error calculation unit 126 to further provide a posture adjustment command to position the measurement reference point and the target reference point to be the same. It can be generated and transmitted to the optical wave device 100 .

또한, 컨트롤러(128)는 자세 조정 명령에 의해 오차 산출부(126)에 계측 기준점과 타겟 기준점의 오차값이 0(zero)로 산출되면(도 2의 (b) 참조), 광파기(100)로 계측 명령을 전송할 수 있다. 계측 명령에 의해, 광파기(100)의 계측부(112)는 해당 타겟(145)에 대한 계측 데이터를 생성하게 될 것이다. In addition, when the error value between the measurement reference point and the target reference point is calculated as 0 (zero) in the error calculation unit 126 by the controller 128 by the posture adjustment command (refer to (b) of FIG. 2), the optical wave machine 100 Measurement commands can be sent. According to the measurement command, the measurement unit 112 of the optical waveguide 100 will generate measurement data for the target 145 .

도 3은 본 발명의 일 실시예에 따른 이미지 인식에 의한 타겟 계측 방법을 나타낸 순서도이다.3 is a flowchart illustrating a method for measuring a target by image recognition according to an embodiment of the present invention.

도 3을 참조하면, 단계 310에서 보정 장치(120)는 3차원 설계 모델 내의 가상 측정점들에 대응되어 광파기(100)로부터 수신되는 대상 블록(140)의 각 측정점에 대한 계측 데이터를 이용하여 가상 좌표계와 광파기 좌표계를 매칭시키기 위한 변환 행렬을 산출한다. 여기서, 대상 블록(140)의 측정점은 적어도 2개 이상일 수 있다. Referring to FIG. 3 , in step 310 , the calibration device 120 corresponds to the virtual measurement points in the 3D design model and uses the measurement data for each measurement point of the target block 140 received from the optical waveguide 100 in a virtual coordinate system. and a transformation matrix for matching the optical wave coordinate system is calculated. Here, there may be at least two measurement points of the target block 140 .

단계 320에서, 보정 장치(120)는 광파기(100)가 3차원 설계 모델에 설정된 기준 좌표점에 해당하는 대상 블록(140)의 영역을 촬영하도록 하기 위한 자세 조정 명령을 생성하여 광파기(100)로 전송한다. 3차원 설계 모델에 설정된 기준 좌표점의 좌표는 변환 행렬에 의해 광파기 좌표계의 좌표로 변환될 수 있으며, 기준 좌표점에 대응되는 대상 블록(140)의 위치에는 타겟(145)이 미리 부착된다. In step 320, the compensating device 120 generates a posture adjustment command for the optical waveguide 100 to photograph the area of the target block 140 corresponding to the reference coordinate point set in the three-dimensional design model, and uses the optical waveguide 100 send. The coordinates of the reference coordinate points set in the 3D design model may be converted into coordinates of the optical destruction coordinate system by the transformation matrix, and the target 145 is pre-attached to the position of the target block 140 corresponding to the reference coordinate point.

단계 330에서, 보정 장치(120)는 자세 조정 명령에 의해 자세 변환된 광파기(100)로부터 실시간 생성되어 수신되는 영상 데이터를 표시부(122)에 표시한다. 표시부(122)에 영상 데이터를 표시하는 처리는 광파기(100)와 보정 장치(120)의 동작 상황을 현장 작업자가 확인할 수 있도록 하기 위한 것으로서, 후술되는 단계들의 수행을 위해 필수적인 과정이 아니라면 생략될 수도 있다. In step 330 , the correcting device 120 displays image data generated and received in real time from the optical waveguide 100 that has been converted by the posture adjustment command on the display unit 122 . The process of displaying the image data on the display unit 122 is for a field worker to check the operation status of the optical destroyer 100 and the compensating device 120, and may be omitted if it is not an essential process for performing the steps to be described later. there is.

단계 340에서, 보정 장치(120)는 광파기(100)에서 수신된 영상 데이터에 포함된 타겟(145)의 타겟 기준점과 계측 기준점 사이의 오차값을 산출한다. 계측 기준점은 예를 들어 영상 데이터의 화면 중심점으로 미리 설정될 수 있다. In operation 340 , the correction device 120 calculates an error value between the target reference point and the measurement reference point of the target 145 included in the image data received from the optical waveguide 100 . The measurement reference point may be preset as, for example, a screen center point of image data.

보정 장치(120)는 예를 들어, 영상 데이터 내에서 미리 지정된 영상 해석 기법으로 타겟(145)을 검출하고, 검출된 타겟(145)의 중심점(즉, 타겟 기준점)을 검출하며, 검출된 타겟 기준점과 계측 기준점 사이의 x축 및 y축상의 편차값(예를 들어, 픽셀수)을 각각 산출하는 방식 등으로 타겟 기준점과 계측 기준점 사이의 오차값을 산출할 수 있다.The calibrating apparatus 120 detects the target 145 using a predetermined image analysis technique in the image data, detects a center point (ie, a target reference point) of the detected target 145 , and the detected target reference point An error value between the target reference point and the measurement reference point may be calculated by a method of respectively calculating deviation values (eg, the number of pixels) on the x-axis and the y-axis between the reference point and the measurement reference point.

단계 350에서, 보정 장치(120)는 오차값을 상쇄시켜 계측 기준점과 타겟 기준점을 동일하게 위치시키기 위한 자세 조정 명령을 생성하여 광파기(100)로 전송한다. In step 350 , the compensating device 120 cancels the error value to generate a posture adjustment command for positioning the measurement reference point and the target reference point to be the same, and transmits it to the optical waveguide 100 .

단계 360에서, 보정 장치(120)는 광파기(100)로 계측 명령을 전송하여 타겟 기준점에 대해 생성된 계측 데이터를 수신한다. 수신된 계측 데이터는 저장부에 저장될 수 있다. In operation 360 , the calibration device 120 transmits a measurement command to the optical waveguide 100 to receive measurement data generated with respect to a target reference point. The received measurement data may be stored in the storage unit.

단계 360은 자세 조정 명령에 의해 계측 기준점과 타겟 기준점 사이의 오차값이 0(zero)으로 산출된 경우 수행되도록 할 수 있다. 따라서, 만일 여전히 계측 기준점과 타겟 기준점 사이의 오차값이 존재하는 경우에는, 오차값이 0으로 산출될 때까지 단계 350이 반복 수행될 수도 있다.Step 360 may be performed when the error value between the measurement reference point and the target reference point is calculated as 0 (zero) by the posture adjustment command. Accordingly, if there is still an error value between the measurement reference point and the target reference point, step 350 may be repeatedly performed until the error value is calculated to be 0.

전술한 단계 320 내지 단계 360은 3차원 설계 모델에 설정된 모든 기준 좌표점들 각각에 대한 계측 데이터가 생성되어 수신될 때까지 반복 수행될 수 있다. Steps 320 to 360 described above may be repeatedly performed until measurement data for each of all reference coordinate points set in the 3D design model is generated and received.

상술한 이미지 인식에 의한 타겟 계측 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램, 어플리케이션 등으로 구현되어 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램 등을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. It goes without saying that the above-described target measurement method by image recognition may be implemented as a software program, an application, etc. embedded in a digital processing device, and may be performed as an automated procedure according to a time-series sequence. Codes and code segments constituting the program or the like can be easily inferred by a computer programmer in the art. In addition, the program is stored in a computer readable medium (computer readable media), read and executed by the computer to implement the method.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments of the present invention, those of ordinary skill in the art can variously modify the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. and may be changed.

110 : 광파기 112 : 계측부
114 : 촬영부 116 : 자세 조정부
120 : 보정 장치 122 : 표시부
124 : 좌표 매칭부 126 : 오차 산출부
128 : 컨트롤러 140 : 대상 블록
145 : 타겟110: light wave device 112: measurement unit
114: photographing unit 116: posture adjustment unit
120: correction device 122: display unit
124: coordinate matching unit 126: error calculation unit
128: controller 140: target block
145: target

Claims (4)

광파기; 및
상기 광파기가 대상 블록의 표면에 부착된 타겟들에 대한 상기 영상 데이터 및 상기 계측 데이터를 생성하여 전송하도록 상기 광파기의 자세와 동작을 제어하는 보정 장치를 포함하는 타겟 계측 시스템.light wave; and
and a compensating device for controlling the posture and operation of the optical waveguide so that the optical waveguide generates and transmits the image data and the measurement data for targets attached to the surface of the target block. 제1항에 있어서,
상기 보정 장치는,
3차원 설계 모델에 미리 지정된 가상 측정점들에 대응하는 상기 대상 블록의 측정점들 각각에 대한 계측 데이터를 이용하여, 상기 3차원 설계 모델에 관한 가상 좌표계와 상기 광파기에 관한 광파기 좌표계를 서로 매칭시키는 변환 행렬을 산출하는 좌표 매칭부;
상기 영상 데이터에 포함된 타겟의 타겟 기준점과 미리 지정된 계측 기준점의 오차값을 산출하는 오차 산출부; 및
상기 변환 행렬을 이용하여, 상기 광파기가 상기 측정점들과 타겟들 각각에 대한 영상 데이터들을 생성하기 위한 자세로 변환되도록 하는 자세 조정 명령을 상기 광파기로 전송하고, 상기 오차값이 상쇄되어 상기 타겟 기준점과 상기 계측 기준점이 동일하게 위치되도록 상기 광파기의 자세를 변환시키기 위한 자세 조정 명령을 상기 광파기로 전송하며, 상기 타겟 기준점과 상기 계측 기준점이 동일하게 위치되면 상기 타겟 기준점에 대한 계측 데이터의 생성을 위해 상기 광파기로 계측 명령을 전송하는 컨트롤러를 포함하는 타겟 계측 시스템.The method of claim 1,
The correction device is
A transformation matrix for matching the virtual coordinate system for the 3D design model and the optical wave coordinate system for the optical wave machine with each other by using measurement data for each of the measurement points of the target block corresponding to the virtual measurement points designated in advance in the 3D design model a coordinate matching unit that calculates
an error calculation unit for calculating an error value between a target reference point of a target included in the image data and a predetermined measurement reference point; and
Using the transformation matrix, a posture adjustment command is transmitted to the optical waveguide for converting the optical waveguide into a posture for generating image data for each of the measurement points and targets, and the error value is canceled so that the target reference point and the target reference point A posture adjustment command for changing the posture of the optical waveguide is transmitted to the optical waveguide so that the measurement reference point is positioned at the same location, and when the target reference point and the measurement reference point are located at the same location, the measurement data for the target reference point is generated. A target metrology system comprising a controller that transmits metrology commands to the optical waveguide. 제2항에 있어서,
상기 광파기는,
상기 계측 명령에 따라, 상기 자세 조정 명령에 의해 변환된 자세에 대응하는 대상 위치에 대한 계측 데이터를 생성하는 계측부;
상기 자세 조정 명령에 의해 변환된 자세에 대응하는 대상 위치에 대한 실시간 영상 데이터를 생성하는 촬영부; 및
상기 자세 조정 명령에 의해 상기 광파기의 자세를 변환시키는 자세 조정부를 포함하는 타겟 계측 시스템.3. The method of claim 2,
The light wave is
a measurement unit configured to generate measurement data for a target position corresponding to the posture converted by the posture adjustment instruction according to the measurement command;
a photographing unit generating real-time image data for a target position corresponding to the posture converted by the posture adjustment command; and
and a posture adjusting unit configured to change the posture of the light wave device according to the posture adjusting command. 타겟 계측 방법을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
(a) 3차원 설계 모델 내의 가상 측정점들에 대응되어 광파기로부터 수신되는 대상 블록의 각 측정점에 대한 계측 데이터를 이용하여 가상 좌표계와 광파기 좌표계를 매칭시키기 위한 변환 행렬을 산출하는 단계;
(b) 상기 변환 행렬을 이용하여, 상기 광파기가 상기 3차원 설계 모델에 설정된 기준 좌표점에 해당하는 상기 대상 블록의 영역을 촬영하도록 하는 자세 조정 명령을 생성하여 상기 광파기로 전송하는 단계;
(c) 상기 광파기에서 수신되는 실시간 영상 데이터에 포함된 타겟의 타겟 기준점과 미리 설정된 계측 기준점 사이의 오차값을 산출하는 단계;
(d) 상기 오차값을 상쇄시키기 위해, 상기 계측 기준점과 상기 타겟 기준점이 동일하게 위치되도록 하는 자세 조정 명령을 생성하여 상기 광파기로 전송하는 단계; 및
(e) 상기 광파기로 상기 타겟 기준점에 대한 계측 데이터를 생성하여 전송하도록 계측 명령을 전송하는 단계를 포함하되,
상기 단계 (b) 내지 (e)는 상기 3차원 설계 모델에 설정된 기준 좌표점들 각각에 대한 계측 데이터가 생성되어 수신될 때까지 반복되는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.A computer program stored on a computer-readable medium for performing a target metrology method, the computer program causing the computer to perform the following steps, the steps comprising:
(a) calculating a transformation matrix for matching the virtual coordinate system and the optical wave coordinate system by using measurement data for each measurement point of the target block received from the optical waveguide corresponding to the virtual measuring points in the three-dimensional design model;
(b) using the transformation matrix to generate and transmit a posture adjustment command for the optical waveguide to photograph the area of the target block corresponding to the reference coordinate point set in the three-dimensional design model, and transmit it to the optical waveguide;
(c) calculating an error value between a target reference point of a target included in the real-time image data received from the optical waveguide and a preset measurement reference point;
(d) generating a posture adjustment command so that the measurement reference point and the target reference point are positioned to be the same in order to cancel the error value, and transmitting it to the optical wave machine; and
(e) transmitting a measurement command to generate and transmit measurement data for the target reference point with the optical waveguide,
The steps (b) to (e) are repeated until measurement data for each of the reference coordinate points set in the three-dimensional design model are generated and received.
KR1020200100569A 2020-08-11 2020-08-11 System and method for measuring target location using image recognition KR20220020068A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200100569A KR20220020068A (en) 2020-08-11 2020-08-11 System and method for measuring target location using image recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200100569A KR20220020068A (en) 2020-08-11 2020-08-11 System and method for measuring target location using image recognition

Publications (1)

Publication Number Publication Date
KR20220020068A true KR20220020068A (en) 2022-02-18

Family

ID=80495262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200100569A KR20220020068A (en) 2020-08-11 2020-08-11 System and method for measuring target location using image recognition

Country Status (1)

Country Link
KR (1) KR20220020068A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687346A (en) * 2024-02-01 2024-03-12 中国科学院长春光学精密机械与物理研究所 Space image stabilization control system and control method of carrier-based photoelectric theodolite

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034543B1 (en) 2008-09-29 2011-05-12 한국전력공사 Method for measurement transformation of structure

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034543B1 (en) 2008-09-29 2011-05-12 한국전력공사 Method for measurement transformation of structure

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687346A (en) * 2024-02-01 2024-03-12 中国科学院长春光学精密机械与物理研究所 Space image stabilization control system and control method of carrier-based photoelectric theodolite

Similar Documents

Publication Publication Date Title
US10035268B2 (en) Measurement system used for calibrating mechanical parameters of robot
US11565427B2 (en) Robot system
CN101239469B (en) Calibration device and method for robot mechanism
JP4267005B2 (en) Measuring apparatus and calibration method
JP3946716B2 (en) Method and apparatus for recalibrating a three-dimensional visual sensor in a robot system
US9199379B2 (en) Robot system display device
US10189161B2 (en) Calibration system and calibration method calibrating mechanical parameters of wrist part of robot
JP7102115B2 (en) Calibration method, calibration device, 3D measuring device, 3D visual measuring device, robot end effector, program, recording medium
JP2011031346A (en) Apparatus and method for measuring position of tool end point of robot
JP6235664B2 (en) Measuring device used to calibrate mechanism parameters of robot
EP1315056A2 (en) Simulation apparatus for working machine
US20190145769A1 (en) Surveying device, and calibration checking method and calibration checking program for surveying device
US20150377606A1 (en) Projection system
CN110006361B (en) Automatic part detection method and system based on industrial robot
JP2008021092A (en) Simulation apparatus of robot system
JP3644991B2 (en) Coordinate system coupling method in robot-sensor system
JP7191309B2 (en) Automatic Guidance, Positioning and Real-time Correction Method for Laser Projection Marking Using Camera
US10935968B2 (en) Robot, robot system, and method for setting coordinate system of robot
JPH1063317A (en) Method for combining coordinate system in robot and visual sensor system
CN108465900B (en) System and method for target distance detection and location
KR20220020068A (en) System and method for measuring target location using image recognition
KR20190083661A (en) Measurement system and method of industrial robot
US20230405850A1 (en) Device for adjusting parameter, robot system, method, and computer program
WO2017068836A1 (en) Processing device and program
US20230278196A1 (en) Robot system