WO2018026186A1 - 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법 - Google Patents

단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법 Download PDF

Info

Publication number
WO2018026186A1
WO2018026186A1 PCT/KR2017/008328 KR2017008328W WO2018026186A1 WO 2018026186 A1 WO2018026186 A1 WO 2018026186A1 KR 2017008328 W KR2017008328 W KR 2017008328W WO 2018026186 A1 WO2018026186 A1 WO 2018026186A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinates
coordinate
imaging
feature point
feature points
Prior art date
Application number
PCT/KR2017/008328
Other languages
English (en)
French (fr)
Inventor
이승학
Original Assignee
이승학
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이승학 filed Critical 이승학
Priority claimed from KR1020170097991A external-priority patent/KR101944339B1/ko
Publication of WO2018026186A1 publication Critical patent/WO2018026186A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to an apparatus for extracting three-dimensional coordinates of an object using a single camera and a method thereof, and more particularly, to capture an object at various positions through an imaging means provided in the ejecting means, and to coordinate the feature points of the object through an imaging screen.
  • the present invention relates to a three-dimensional coordinate extraction apparatus of a target object and a method using a single camera to discharge the liquid substance to the target point of the target object through the calculated coordinates.
  • An object of the present invention devised to solve the problems described above is to capture an object at various positions while moving the imaging means, extract feature points from a plurality of photographed images, and derive three-dimensional coordinates of each feature point. It is to provide a three-dimensional coordinate extraction apparatus and method of the object using a single camera that can improve the accuracy of the liquid discharge by deriving the coordinates for the contour of the object.
  • another object of the present invention when deriving the three-dimensional coordinates of the feature points extracted from the photographed picture, the coordinate correction to calculate the average value of two or more different coordinates by deriving the coordinates of the same feature point from different imaging screens
  • the coordinate correction to calculate the average value of two or more different coordinates by deriving the coordinates of the same feature point from different imaging screens
  • the present invention in the liquid discharge device for calculating the three-dimensional coordinates of the feature points located on the object mounted on the mounting means, and using the calculated coordinates to discharge the liquid material to the target point of the object,
  • Discharge means for discharging the liquid substance
  • Imaging means provided in the discharge means for imaging the object at a plurality of positions
  • the coordinate calculation unit calculates the coordinate calculation unit
  • the control unit controls the driving unit
  • It may include a three-dimensional surface generating unit for generating a 3D three-dimensional surface by using a polygon mesh from the plurality of feature point coordinates or a set of correction coordinates.
  • the moving means The moving means,
  • X-axis moving means, Y-axis moving means and Z-axis moving means may be characterized.
  • the imaging means The imaging means,
  • the object may be photographed at a plurality of positions while moving in the X-axis, Y-axis, or Z-axis, and the coordinate values of the feature points may be extracted in an area of 1/2 of the imaging area.
  • control unit moving the moving means to discharge the liquid substance to the target point of the object through the coordinates of the feature points, and discharging the liquid substance through the discharge means;
  • step (c)
  • (c1) a coordinate calculating unit selecting two different imaging screens having the same feature point and calculating first coordinates of the same feature point by using a triangulation method
  • (c2) a coordinate calculation unit including the same feature point but selecting two imaging screens different from the first coordinate and calculating a second coordinate of the same feature point by using a triangulation method
  • It may be characterized in that it comprises a.
  • the control unit controls the driving unit
  • It may include a three-dimensional surface generating unit for generating a 3D three-dimensional surface by using a polygon mesh from the plurality of feature point coordinates or a set of correction coordinates.
  • the moving means The moving means,
  • X-axis moving means, Y-axis moving means and Z-axis moving means may be characterized.
  • the imaging means The imaging means,
  • the object may be photographed at a plurality of positions while moving in the X-axis, Y-axis, or Z-axis, and the coordinate values of the feature points may be extracted in an area of 1/2 of the imaging area.
  • the coordinate correction step when deriving the three-dimensional coordinates of the feature points extracted from the photographed picture, the coordinate correction step of calculating the average value of two or more different coordinates by deriving the coordinates of the same feature point from different imaging screens.
  • FIG. 1 is an exemplary view showing a liquid discharge apparatus according to a preferred embodiment of the present invention.
  • Figure 2 is an exemplary view showing the X-axis, Y-axis and Z-axis movement of the moving means and the imaging means according to a preferred embodiment of the present invention.
  • 3 is an exemplary view showing a relationship between a position of an image pickup means and a photographing range
  • FIG. 4 is an exemplary diagram illustrating a method of calculating the coordinates of a feature point using a trigonometry according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram illustrating generating a correction coordinate according to an embodiment of the present invention.
  • FIG. 6 is an exemplary view in which feature points are included in the object of the cube and the object of the triangular pyramid.
  • FIG. 7 is a simplified illustration of a method for determining an image of FIG. 6.
  • FIG. 8 is a block diagram according to a preferred embodiment of the present invention.
  • FIG. 9 is a flowchart in accordance with an embodiment of the present invention.
  • the feature point described in this specification is a point which should calculate a three-dimensional coordinate, and becomes a point contained in two images, respectively.
  • This feature point is included in 1/2 of the image in the Y-axis direction taken by the imaging means.
  • the feature point may be included in the right half of the image when the position of the image pickup means is on the left side, and may be included in the left half of the image when the position of the image pickup means is on the right side.
  • FIG. 1 is an exemplary view showing a liquid discharge apparatus according to a preferred embodiment of the present invention.
  • the apparatus for extracting three-dimensional coordinates of an object using a single camera of the object of the present invention includes a mounting means 100, a discharge means 300, a moving means 310, an imaging means 330, and an object 130.
  • Mounting means 100 is the object 130 is mounted on the upper surface.
  • the discharge means 300 discharges the liquid substance.
  • the liquid material is supplied from the outside through the inlet, and the liquid is discharged through the nozzle provided in the discharge means 300.
  • the imaging means 330 is provided in the discharge means 300. More specifically, the imaging means 330 is preferably installed at the position as close as possible to the nozzle for discharging the liquid.
  • the reason for this is that in the present invention in which the image pickup means 330 moves to image the object 130, and derives the three-dimensional coordinates of the object 130 from the image pickup screen, the image pickup means 330 moves to a position as close as possible to the nozzle which discharges the liquid phase substantially. This is because the accuracy increases as it is installed.
  • the configuration and operation principle of the discharge means 300 and the nozzle is the same as the configuration of the discharge means 300 and the nozzle used in the conventional liquid discharge device and robot dispenser, a detailed description thereof will be omitted.
  • the moving unit 310 includes an X-axis moving unit 310, a Y-axis moving unit 310, and a Z-axis moving unit 310.
  • the moving principle of the moving unit may be used a variety of methods, such as the movement method by the timing belt, the movement method by the ball screw, which is already well known, so a detailed description thereof will be omitted.
  • the image pickup means 330 moves in the X-axis, Y-axis or Z-axis and picks up the object 130 at various positions.
  • the coordinate extraction apparatus 10 further includes an external input / output device.
  • the movement of the moving means 310 and the imaging means 330 when imaging the object 130 is the object 130 that can be imaged only by moving in the X-axis, and moving the image in various axial directions It may be necessary, so adjust the operation according to the situation.
  • FIG. 2 is an exemplary view showing the X-axis, Y-axis and Z-axis movement of the moving unit 310 and the imaging unit 330 according to a preferred embodiment of the present invention.
  • the X-axis, Y-axis, and Z-axis are generally the same as the X, Y, and Z axes representing three-dimensional coordinates.
  • the coordinates calculated by the coordinate calculator 510 also represent coordinates of (X, Y, Z).
  • the image pickup means 330 may move in the X-axis, Y-axis, and Z-axis in the state placed on the coordinates as shown in FIG. 2B to change the imaging range.
  • the image pickup means 330 may capture a length of 100 mm of the Y-axis.
  • the image pickup means 330 may capture the entire length of the Y axis, that is, 200 mm.
  • the image pickup means 330 moves 50mm in the Z-axis and can capture twice the range of the Y-axis imaging range.
  • the imaging unit 330 moves 100 mm in the Y-axis direction and may photograph all of the feature points.
  • FIG. 4 is an exemplary diagram illustrating a method of calculating coordinates of a feature point using a trigonometric method according to an embodiment of the present invention.
  • the coordinate extraction apparatus 10 includes a coordinate calculator 510.
  • the coordinate calculator 510 extracts a plurality of feature points from the captured screens picked up by the imaging unit 330.
  • the feature point may correspond to corners of the object 130 existing in the imaging screen or other various feature points.
  • an embodiment of the present invention uses a SURF (Speeded Up Robus Features) feature point detection method
  • the feature point detection security is not necessarily limited thereto.
  • the coordinate calculator 510 selects two different image pickup screens having the same feature point and calculates coordinates of the same feature point by using a triangulation method.
  • the image pickup means 330 moves to image the object 130.
  • N feature points P 1 , P 2 , P 3... P N are extracted from the captured images captured by the imaging unit 330.
  • Two different picked-up screens including the feature point P 1 are selected to calculate the coordinates of the feature point P 1 from the N feature points.
  • the moving distance of the imaging means 330 is B
  • the parallax: d the distance from the imaging means 330 to the characteristic point, Z
  • the focal length through the imaging screen which captures the same feature point at two different positions.
  • FIG. 4 is an exemplary diagram illustrating generating a correction coordinate according to an embodiment of the present invention.
  • the coordinate calculator 510 selects two different imaging screens having the same feature point and calculates first coordinates of the same feature point by using a triangulation method.
  • the coordinate calculator 510 After calculating the first coordinate, the coordinate calculator 510 includes the same feature point, selects two imaging screens different from the first coordinate, and calculates a second coordinate of the same feature point by using a triangulation method.
  • the coordinate corrector 530 generates a correction coordinate for the feature point by calculating an average value of two or more different coordinate values calculated for the same feature point.
  • correction coordinates are generated for all the feature points of the object 130.
  • FIG. 5 illustrates that the image pickup means 330 moves and picks up the object 130 mounted on the mounting means 100.
  • L 1 , L 2 , L 3 , L 4 It will be exemplified that the imaging was performed at positions L 5 and L 6 .
  • L image pickup screen of 1 ⁇ L 6 contains all the characteristic point P 2.
  • the method of calculating the coordinates by selecting two different imaging screens is (L 1 , L 2 ), (L 1 , L 3). ), (L 1 , L 4 ), (L 1 , L 5 ), (L 1 , L 6 ), (L 2 , L 3 ), (L 2 , L 4 ), (L 2 , L 5 ), (L 2 , L 6 ), (L 3 , L 4 ), (L 3 , L 5 ), (L 3 , L 6 ), (L 4 , L 5 ), (L 4 , L 6 ), (L 5 , L 6 )
  • the coordinates calculated at the positions L 1 and L 4 the coordinates calculated at the positions L 2 and L 5 , the coordinates calculated at L 3 and L 6 , and a total of three coordinates (19.28, 480.1, 92.12) If calculated as (19.24, 480.12, 92.14), (19.26, 480.14, 92.13), it is preferable to generate the correction coordinates with three average values (19.26, 480.12, 92.13).
  • the generation of the correction coordinates as described above is intended to prevent errors that may occur when the coordinates are calculated using only one piece of imaging information.
  • the accuracy is improved as the number of coordinate values is calculated and corrected for the same feature point. Since a burden may be imposed on the driving of the software, it is preferable that the inventor of the present invention be set according to the situation.
  • control unit 500 further includes a three-dimensional surface generating unit 550.
  • the stereoscopic surface generation unit 550 generates a 3D stereoscopic surface using a polygon mesh from a plurality of calculated feature point coordinates or correction coordinates.
  • the 3D stereoscopic surface is generated and output through the external I / O device 1000.
  • the extraction of a plurality of feature points adjacent to the target may use the Delaunay triangulation method, and the Delaunay triangulation method divides the space by connecting the points on the plane with a triangle and divides the space. It is the partition that makes the minimum value of the cabinet maximum. According to this Delaunay triangulation, the triangles are divided into as close to equilateral triangles as possible, rather than elongated and ragged triangles.
  • the present invention can generate a 3D solid surface by a three-dimensional computer graphics method such as the above method.
  • the coordinate calculation unit 510 has a P 1 , P 2 , P 3.
  • the three-dimensional coordinates of P N are calculated, and the calculated coordinates A 1 , A 2 , A 3.
  • the three-dimensional surface generating unit 550 generates P 1 , P 2 , P 3. P N or A 1 , A 2 , A 3. It means to create a three-dimensional surface through A N.
  • FIG. 6 is an exemplary view in which feature points are included in the object of the cube and the object of the triangular pyramid
  • FIG. 7 is a simplified illustration of the method of determining the image of FIG. 6.
  • one feature point may be included in an object of a cube placed on the left side, and one feature point may be included in an object of a triangular pyramid placed on the right side.
  • the actual calculation detects the feature points using the range of the lower right rectangle of FIG. 1 and the range of the lower left rectangle of FIG.
  • the imaging means 330 of the present invention is not fixed between the cameras as in the conventional stereo camera, it is possible to adjust the distance optimal to the target feature point (which can be photographed in the half region of each image). Furthermore, the imaging means 330 adjusts the shooting distance, and can minimize the error.
  • the coordinate calculation unit 510 may calculate coordinates through a determinant. For example, if the feature point of FIG. 1 is referred to as P1 and the feature point of FIG. 2 is referred to as P2, the coordinate calculation unit 510 can calculate the coordinates using the following determinant.
  • Tx is the distance between the imaging means
  • f is the focal length (F) of Figure 3
  • cx1 is the x coordinate of Figure 1
  • cx2 is the x coordinate in Figure 2
  • cy is the y coordinate, respectively.
  • the coordinates obtained from the image pickup means are the x-axis, the y-axis, and the z-axis as the three-dimensional actual coordinates, the following relation is established.
  • t is limited to the distortion constant peculiar to the imaging means, and the actual coordinate value can be extracted.
  • FIG. 8 is a block diagram according to a preferred embodiment of the present invention.
  • the coordinate extracting apparatus 10 includes a mounting means 100, a discharge means 300, a moving means 310, an imaging means 330, a coordinate extractor, a coordinate corrector 530, and a three-dimensional surface generation.
  • the unit 550 includes a control unit 500.
  • Mounting means 100 is the object 130 is mounted on the upper surface.
  • the discharge means 300 is a means for discharging the liquid material, preferably the control unit controls the discharge means 300 and the moving means 310 to the liquid phase at the target point of the object 130 mounted on the mounting means 100 Discharge the material.
  • the imaging means 330 is provided in the discharge means 300 to image the object 130 from a plurality of positions.
  • the moving means 310 moves the discharge means 300.
  • the moving means 310 provided in the discharge means 300 is moved together, and is movable in the X axis, the Y axis, and the Z axis.
  • the coordinate calculator 510 extracts a plurality of feature points from the image pickup screens of the image pickup means 330, selects two image pickup screens including the same feature point, and calculates coordinates of the same feature point by using a trigonometry.
  • the controller 500 moves the moving unit 310 to discharge the liquid substance to the target point of the object 130 through the coordinates of the feature points, and discharges the liquid substance through the discharge means 300.
  • the coordinate corrector 530 generates a correction coordinate for the feature point by calculating an average value of two or more different coordinate values calculated for the same feature point among the plurality of feature points calculated by the coordinate calculator 510.
  • the stereoscopic surface generator 550 generates a 3D stereoscopic surface using a polygon mesh from a plurality of feature point coordinates or a set of correction coordinates.
  • FIG. 9 is a flowchart according to an embodiment of the present invention.
  • the image pickup means 330 moves to image the object 130. (Step S510)
  • the imaging means 330 is provided in the discharge means 300, the moving means 310 moves the discharge means 300, the imaging means 330 is moved together and the object ( 130 means imaging.
  • the coordinate calculation unit 510 extracts a plurality of feature points from the imaging screens of the imaging unit 330. (Step S520)
  • Coordinate calculation unit 510 is means for extracting a characteristic point (P 1, P 2, P 3 ... P N) for the information on the object's surface (130).
  • the coordinate calculator 510 calculates coordinates of the plurality of feature points extracted in operation S520. (Step S530)
  • the coordinate calculator 510 selects two different imaging screens including the same feature point, calculates coordinates of the feature points through trigonometric methods, and calculates coordinates of all feature points in the same manner.
  • Step S540 The moving means 310 is moved, and the liquid material is discharged to the target point of the object 130 through the discharge means 300.
  • the control unit 500 moves the moving unit 310 to discharge the liquid substance to the target point of the object 130 through the coordinates of the feature points calculated by the coordinate calculating unit 510, and the liquid phase through the discharge unit 300 By discharging the substance, it is preferable to discharge the liquid substance to a target point of the object 130 according to data input by the operator of the equipment or preset data through the external input and output means.
  • step S530 the coordinate calculation unit 510 selects two different imaging screens having the same feature point, and calculates the first coordinates of the same feature point using a trigonometric method.
  • step S533 including the same feature point, selecting two imaging screens different from the first coordinate, and calculating a second coordinate of the same feature point by using a triangulation method, calculated by the coordinate calculation unit 510. Correcting the coordinates by calculating an average value of two or more different coordinate values calculated for the same feature point among a plurality of feature points, and performing steps (c1) to (c3) for all feature points to correct the coordinates.
  • the step S537 may be further included to correct the coordinates of the feature points.
  • the stereoscopic surface generating unit 550 may further transmit the 3D stereoscopic surface to the external I / O apparatus 1000 by further including an operation S539 of generating a 3D stereoscopic surface using a polygon mesh from a set of coordinates or correction coordinates of feature points. have.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Materials Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법에 관한 것이다. 본 발명은 거치수단 상에 거치된 대상물에 위치하는 특징점들의 3차원 좌표를 산출하고 산출된 좌표를 이용하여 상기 대상물의 목표 지점에 액상 물질을 토출하는 액상 토출 장치에 있어서, 액상 물질을 토출시키는 토출수단; 토출수단을 이동시키는 이동수단, 토출수단에 구비되어 대상물을 다수의 위치에서 촬상하는 촬상수단, 촬상수단의 촬상 화면들로부터 서로 다른 다수 개의 특징점을 추출하고, 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하고 삼각법을 이용하여 동일한 특징점의 좌표를 산출하여 모든 특징점들의 좌표를 산출하는 좌표 산출부 및 특징점들의 좌표를 통해 대상물의 목표 지점에 액상 물질을 토출하도록 이동수단을 이동시키고, 토출수단을 통해 액상물질을 토출하는 제어부를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법에 관한 것이다. 또한, 본 발명에 따르면, 토출수단에 마련된 촬상수단을 통해 대상물을 다양한 위치에서 촬상하고, 촬상 화면을 통해 대상물의 특징점들의 좌표를 산출하고, 산출된 좌표를 통해 대상물의 목표 지점에 액상 물질을 토출하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법을 제공할 수 있다.

Description

단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법
본 발명은 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법에 관한 것으로, 보다 상세하게는 토출수단에 마련된 촬상수단을 통해 대상물을 다양한 위치에서 촬상하고, 촬상 화면을 통해 대상물의 특징점들의 좌표를 산출하고, 산출된 좌표를 통해 대상물의 목표 지점에 액상 물질을 토출하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법에 관한 것이다.
일반적으로, 대상물의 목표 지점에 정량의 액상 물질을 토출하기 위해서는 액상 토출 장치에 대상물 외곽면에 대한 좌표를 입력해야 한다. 이때, 좌표를 입력하는 과정에서 대상물과 입력한 좌표에서 오차가 발생하여 정밀함을 요하는 액상 토출 장치에서 그 오차로 인해 정밀도가 떨어진다는 단점이 있다.
또한, 대상물을 교체할 경우 매번 대상물의 좌표를 새로 입력하고, 그 좌표를 검증하는 과정을 거쳐야하는 단점이 있다.
본 발명의 배경이 되는 기술은 대한민국 등록특허 제10-1198308호 등에 개시되어 있으나, 상술한 문제점에 대한 근본적인 해결책은 제시되고 있지 못하는 실정이다.
상술한 바와 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 촬상수단을 이동시키면서 대상물을 다양한 위치에서 촬상하고, 촬상된 다수 개의 사진으로부터 특징점들을 추출하고, 각각의 특징점들의 3차원 좌표를 도출하여 대상물의 윤곽에 대한 좌표를 도출하여 액상 토출의 정밀도를 향상시킬 수 있는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법을 제공하기 위함이다.
또한, 본 발명의 다른 목적은, 촬상된 사진으로부터 추출된 특징점들의 3차원 좌표를 도출할 때, 동일한 특징점을 서로 다른 촬상 화면으로부터 좌표를 도출하여 서로 다른 2개 이상의 좌표들의 평균값을 계산하는 좌표 보정 단계를 거침으로써, 특징점의 좌표를 보다 정밀하게 도출할 수 있는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법을 제공하기 위함이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면,
본 발명은, 거치수단 상에 거치된 대상물에 위치하는 특징점들의 3차원 좌표를 산출하고, 산출된 좌표를 이용하여 상기 대상물의 목표 지점에 액상물질을 토출하는 액상 토출 장치에 있어서,
액상 물질을 토출시키는 토출수단;
상기 토출수단을 이동시키는 이동수단;
상기 토출수단에 구비되어 상기 대상물을 다수의 위치에서 촬상하는 촬상수단;
상기 좌표 산출부는,
상기 촬상수단의 촬상 화면들로부터 다수 개의 특징점을 추출하고,
동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하고 삼각법을 이용하여 상기 동일한 특징점의 제1좌표를 산출하고,
상기 동일한 특징점을 포함하되, 상기 제1좌표와 다른 2개의 촬상 화면을 선택하고 삼각법을 이용하여 상기 동일한 특징점의 제2좌표를 산출하고,
상기 좌표 산출부를 통해 산출된 다수개의 특징점 중에서 동일한 특징점에 대하여 산출된 서로 다른 2 이상의 좌표값들의 평균값을 산출하고, 상기 촬상수단의 특유의 왜곡 상수를 합산하여 상기 특징점에 대한 보정좌표를 생성하는 좌표 보정부를 더 포함하는 것을 특징으로 한다.
상기 제어부는,
상기 다수 개의 특징점 좌표 또는 보정좌표들의 집합으로부터 폴리곤 메시를 이용해 3D 입체표면을 생성하는 입체표면 생성부를 포함하는 것을 특징으로 할 수 있다.
상기 이동수단은,
X축 이동수단, Y축 이동수단 및 Z축 이동수단을 포함하는 것을 특징으로 할 수 있다.
상기 촬상수단은,
X축, Y축 또는 Z축으로 이동하며 상기 대상물을 다수의 위치에서 촬상하며, 촬상영역의 1/2의 영역에서 상기 특징점의 좌표값을 추출하는 것을 특징으로 할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 대상물의 삼차원 좌표 추출 및 이를 이용한 액상 토출 방법은, 거치수단 상에 거치된 대상물에 위치하는 특징점들의 3차원 좌표를 산출하고, 산출된 좌표를 이용하여 상기 대상물의 목표 지점에 액상 물질을 토출하는 액상 토출 방법에 있어서,
(a) 토출수단에 구비된 촬상수단이 상기 대상물을 다수의 위치에서 촬상하는 단계;
(b) 좌표 산출부가 상기 촬상수단의 촬상 화면들로부터 다수 개의 특징점을 추출하는 단계;
(c) 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하여 삼각법을 통해 상기 동일한 특징점에 대한 좌표를 산출하여 모든 특징점들의 좌표를 산출하는 단계; 및
(d) 제어부가 상기 특징점들의 좌표를 통해 대상물의 목표 지점에 액상 물질을 토출하도록 이동수단을 이동시키고, 토출수단을 통해 액상물질을 토출하는 단계;
를 포함하는 것을 특징으로 한다.
상기 (c) 단계는,
(c1) 좌표 산출부가 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하고, 삼각법을 이용하여 상기 동일한 특징점의 제1좌표를 산출하는 단계;
(c2) 좌표 산출부가 상기 동일한 특징점을 포함하되, 상기 제1좌표와 다른 2개의 촬상 화면을 선택하고, 삼각법을 이용하여 상기 동일한 특징점의 제2좌표를 산출하는 단계;
(c3) 상기 좌표 산출부를 통해 산출된 다수 개의 특징점 중에서 동일한 특징점에 대하여 산출된 서로 다른 2 이상의 좌표값들의 평균값을 산출하여 좌표를 보정하는 단계; 및
(c4) 모든 특징점들에 대하여 상기 (c1) 내지 (c3) 단계를 수행하여 좌표를 보정하는 단계;
를 포함하는 것을 특징으로 할 수 있다.
상기 제어부는,
상기 다수 개의 특징점 좌표 또는 보정좌표들의 집합으로부터 폴리곤 메시를 이용해 3D 입체표면을 생성하는 입체표면 생성부를 포함하는 것을 특징으로 할 수 있다.
상기 이동수단은,
X축 이동수단, Y축 이동수단 및 Z축 이동수단을 포함하는 것을 특징으로 할 수 있다.
상기 촬상수단은,
X축, Y축 또는 Z축으로 이동하며 상기 대상물을 다수의 위치에서 촬상하며, 촬상영역의 1/2의 영역에서 상기 특징점의 좌표값을 추출하는 것을 특징으로 할 수 있다.
이상 살펴본 바와 같은 본 발명에 따르면, 촬상수단을 이동시키면서 대상물을 다양한 위치에서 촬상하고, 촬상된 다수 개의 사진으로부터 특징점들을 추출하고, 각각의 특징점들의 3차원 좌표를 도출하여 대상물의 윤곽에 대한 좌표를 도출하여 액상 토출의 정밀도를 향상시킬 수 있는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명에 따르면, 촬상된 사진으로부터 추출된 특징점들의 3차원 좌표를 도출할 때, 동일한 특징점을 서로 다른 촬상 화면으로부터 좌표를 도출하여 서로 다른 2개 이상의 좌표들의 평균값을 계산하는 좌표 보정 단계를 거침으로써, 특징점의 좌표를 보다 정밀하게 도출할 수 있는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법을 제공할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 액상 토출 장치를 나타낸 예시도.
도 2는 본 발명의 바람직한 실시예에 따른 이동수단 및 촬상수단의 X축, Y축 및 Z축 이동을 나타낸 예시도.
도 3은 촬상수단의 위치 및 촬영 범위의 관계를 나타낸 예시도.
도 4는 본 발명의 실시예에 따른 삼각법을 이용한 특징점의 좌표를 산출하는 방법을 예시한 예시도.
도 5는 본 발명의 실시예에 따른 보정좌표를 생성하는 것을 예시한 예시도.
도 6은 특징점이 입방체의 대상물과 삼각뿔의 대상물 각각에 포함된 예시도.
도 7은 도 6의 이미지의 결정 방법에 대해 단순화한 예시도.
도 8은 본 발명의 바람직한 실시예에 따른 블록도.
도 9는 본 발명의 실시예에 따른 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
아울러, 본 명세서 상에 기술되는 특징점은 삼차원 좌표를 산출해야 할 점이며, 2개의 영상에 각각 내포되는 점이 된다. 이러한 특징점은 촬상수단이 촬영한 Y축 방향의 영상 가운데 1/2에 포함된다. 일례로, 특징점은 촬상수단의 위치가 왼쪽에 있는 경우 영상의 오른쪽 절반에 포함될 수 있고, 촬상수단의 위치가 오른쪽에 있는 경우 영상의 왼쪽 절반에 포함될 수 있다.
이하, 본 발명의 실시예들에 의하여 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 바람직한 실시예에 따른 액상 토출 장치를 나타낸 예시도이다.
본 발명인 대상물의 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치는 거치수단(100), 토출수단(300), 이동수단(310), 촬상수단(330), 대상물(130)을 포함한다.
거치수단(100)은 상면에 대상물(130)이 거치 된다.
토출수단(300)은 액상 물질을 토출한다.
보다 상세하게는, 유입부를 통해 외부로부터 액상 물질을 공급받고, 토출수단(300)에 마련된 노즐을 통해 액상을 토출하도록 한다.
촬상수단(330)은 토출수단(300)에 마련된다. 보다 상세하게는, 촬상수단(330)은 액상을 토출하는 노즐과 최대한 가까운 위치에 설치하는 것이 바람직하다. 그 이유는 촬상수단(330)이 이동하며 대상물(130)을 촬상하고, 촬상 화면으로부터 대상물(130)의 3차원 좌표를 도출하는 본 발명에 있어서, 실질적으로 액상을 토출하는 노즐과 최대한 가까운 위치에 설치될수록 그 정밀도가 높아지기 때문이다.
이때, 토출수단(300) 및 노즐의 구성 및 작동 원리는 종래의 액상 토출 장치 및 로봇 디스펜서에서 사용되는 토출수단(300) 및 노즐의 구성과 동일하므로 이에 대한 구체적인 설명은 생략하기로 한다.
이동수단(310)은, X축 이동수단(310), Y축 이동수단(310) 및 Z축 이동수단(310)을 포함한다.
이때, 이동부의 이동원리는 타이밍벨트에 의한 이동 방법, 볼 스크류에 의한 이동 방법 등 다양한 방법이 사용될 수 있으며, 이는 이미 널리 공지된 사항이므로 이에 관한 구체적인 설명은 생략하기로 한다.
촬상수단(330)은 X축, Y축 또는 Z축으로 이동하며 다양한 위치에서 대상물(130)을 촬상한다. 또한, 좌표 추출 장치(10)는 외부 입출력장치를 더 포함한다.
이때, 대상물(130)을 촬상할 때 이동수단(310) 및 촬상수단(330)의 이동은 X축으로 이동하는 것만으로도 촬상 가능한 대상물(130)이 있고, 다양한 축 방향으로 이동하며 촬상하는 것이 필요한 경우가 있으므로, 장비운용에 있어 상황에 맞게 조절하도록 한다.
도 2는 본 발명의 바람직한 실시예에 따른 이동수단(310) 및 촬상수단(330)의 X축, Y축 및 Z축 이동을 나타낸 예시도이다.
도 2를 참고하면, 본 발명에서 X축, Y축, Z축이란, 일반적으로 3차원 좌표를 나타내는 X, Y, Z축과 동일함을 알 수 있다.
또한, 좌표 산출부(510)를 통해 산출된 좌표 또한, (X, Y, Z)의 좌표를 나타낸다.
예를 들어, 좌표 (10.23, 14.89, 103.17) (단위 mm)의 경우 기 설정된 기준점 (0, 0, 0)으로부터 X축으로 10.23mm, Y축으로 14.89mm, Z축으로 103.17 떨어진 곳에 위치하고 있는 것을 나타낸다.
특히, 촬상수단(330)은 도 2b에 도시된 바와 같이 좌표 상에 놓여진 상태에서 X축, Y축 및 Z축으로 이동하며 촬상범위를 변경할 수 있다. 일례로, 촬상수단(330)이 200mm의 길이가 되는 X축, Y축 및 Z축 상의 좌표 100, 100, 100에 놓여지는 경우, 촬상수단(330)은 Y축의 100mm 길이를 촬영할 수 있다. 아울러, 촬상수단(330)이 좌표 100, 100, 150에 놓여지는 경우, 촬상수단(330)은 Y축의 전체 즉 200mm의 길이를 촬영할 수 있다.
이와 같이, 촬상수단(330)은 Z축으로 50mm 이동하며 Y축 촬상범위를 2배의 범위를 촬영할 수 있다. 촬상수단(330)은 Y축 방향으로 100mm 이동하며 대상이 되는 특징점을 모두 촬영할 수 있다.
도 4는 본 발명의 실시예에 따른 삼각법을 이용한 특징점의 좌표를 산출하는 방법을 예시한 예시도이다.
본 발명의 실시예에 따른 좌표 추출 장치(10)는 좌표 산출부(510)를 포함한다.
좌표 산출부(510)는 촬상수단(330)이 촬상한 촬상 화면들로부터 다수 개의 특징점을 추출한다.
이때, 특징점이란 촬상 화면 내에 존재하는 대상물(130)의 모서리들 또는 그 밖의 다양한 특징점에 해당될 수 있다.
본 발명의 실시예에서는 SURF(Speeded Up Robus Features) 특징점 검출 방법을 사용하나, 특징점 검출 방범이 반드시 이에 한정되는 것은 아니다.
좌표 산출부(510)는 동일한 특징점을 포함하고 있는 2개의 서로 다른 촬상 화면을 선택하고 삼각법을 이용하여 상기 동일한 특징점의 좌표를 산출한다.
도 3을 참고하여 보충 설명하면, 촬상수단(330)이 이동하며 대상물(130)을 촬상한다.
촬상수단(330)을 통해 촬상된 촬상 화면들로부터 N개의 특징점(P1, P2, P3 … PN)을 추출한다.
N개의 특징점 중에서 특징점 P1의 좌표를 산출하기 위해 특징점 P1을 포함하는 2개의 서로 다른 촬상 화면을 선택한다.
이때, 2개의 서로 다른 촬상 화면이 도 3에서 L8 및 L9 위치에서 촬상한 촬상 화면이다.
이와 같이, 동일한 특징점을 2개의 서로 다른 위치에서 촬상한 촬상 화면을 통해 촬상수단(330) 이동거리: B, 시차(視差): d, 촬상수단(330)에서 특징점까지의 거리: Z, 초점 거리: F와 삼각법을 이용하여 특징점의 좌표를 산출한다.
이때, 삼각법을 통한 좌표의 계산 방법은 이는 이미 널리 공지된 사항이므로 이에 관한 구체적인 설명은 생략하기로 한다.
도 4는 본 발명의 실시예에 따른 보정좌표를 생성하는 것을 예시한 예시도이다.
좌표 산출부(510)는 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하고 삼각법을 이용하여 동일한 특징점의 제1좌표를 산출한다.
좌표 산출부(510)는 제1좌표를 산출한 후, 상기 동일한 특징점을 포함하되, 상기 제1좌표와 다른 2개의 촬상 화면을 선택하고 삼각법을 이용하여 상기 동일한 특징점의 제2좌표를 산출한다.
좌표 보정부(530)는 동일한 특징점에 대하여 산출된 서로 다른 2 이상의 좌표값들의 평균값을 산출하여 특징점에 대한 보정좌표를 생성한다.
또한, 대상물(130)의 모든 특징점에 대해서 보정좌표를 생성한다.
바람직하게는, 동일한 특징점에 대하여 서로 다른 2개 이상의 좌표를 생성하고, 좌표들의 평균값을 산출하여 보정좌표를 생성하는 것을 의미한다.
도 5는 거치수단(100)에 거치된 대상물(130)을 촬상수단(330)이 이동하며 촬상하는 것을 예시하고 있으며, 본 발명의 설명을 위하여 각각 L1, L2, L3, L4, L5, L6의 위치에서 촬상하였다고 예시하도록 하겠다.
이때, L1~L6의 촬상 화면은 특징점 P2를 모두 포함하고 있다.
그렇다면, 좌표 산출부(510)가 특징점 P2의 좌표를 산출할 때, 서로 다른 2개의 촬상 화면을 선택하여 좌표를 산출할 수 있는 방법은 (L1, L2), (L1, L3), (L1, L4), (L1, L5), (L1, L6), (L2, L3), (L2, L4), (L2, L5), (L2, L6), (L3, L4), (L3, L5), (L3, L6), (L4, L5), (L4, L6), (L5, L6)과 같이 15가지의 방법이 있다.
여기서, L1과 L4의 위치에서 산출한 좌표와, L2와 L5의 위치에서 산출한 좌표, L3과 L6에서 산출한 좌표, 총 3개의 좌표가 각각 (19.28, 480.1, 92.12), (19.24, 480.12, 92.14), (19.26, 480.14, 92.13)로 산출되었다면, 3개의 평균값인 (19.26, 480.12, 92.13)으로 보정좌표를 생성하는 것이 바람직하다.
이와 같이 보정좌표를 생성하는 것은 1개의 촬상정보만으로 좌표를 산출했을 경우 발생할 수 있는 오차를 방지하기 위한 것으로, 동일한 특징점에 대해 많은 수의 좌표값을 산출하여 보정할수록 그 정밀도가 향상되지만, 장치 또는 소프트웨어의 구동에 부담이 가해질 수 있으므로, 발명의 실시자가 상황에 맞게 설정하는 것이 바람직하다.
또한, 제어부(500)는 입체표면 생성부(550)를 더 포함한다.
입체표면 생성부(550)는 산출된 다수 개의 특징점 좌표 또는 보정좌표들의 집합으로부터 폴리곤 메시를 이용해 3D 입체표면을 생성한다.
바람직하게는, 3D 입체표면을 생성하여 외부입출력장치(1000)를 통해 출력하도록 한다.
이때, 타겟과 인접하여 존재하는 복수의 특징점 추출은 들로네 삼각화 기법(Delaunay triangulation method)을 사용할 수 있으며, 들로네 삼각화 기법은 평면 위의 점들을 삼각형으로 연결하여 공간을 분할할 때, 이 삼각형의 내각의 최소값이 최대가 되도록 하는 분할이다. 이러한 들로네 삼각분할에 의하면 각각의 삼각형들이 길쭉하고 홀쭉한 삼각형이 아닌 최대한 정삼각형에 가깝도록 분할하게 된다.
본 발명은 위와 방법과 같은 3차원 컴퓨터 그래픽스 방법에 의해 3D 입체표면을 생성할 수 있다.
바람직하게는, 좌표 산출부(510)가 P1, P2, P3 … PN 의 3차원 좌표를 산출하고, 산출된 좌표를 통해 A1, A2, A3 … AN의 보정좌표를 생성하면, 입체표면 생성부(550)가 P1, P2, P3 … PN 또는 A1, A2, A3 … AN를 통해 입체표면을 생성하는 것을 의미한다.
이하, 도 6 및 도 7을 참조하여, 특징점이 이미지에 포함되었을 때, 특징점을 검출하는 것에 대해 설명하도록 한다.
도 6은 특징점이 입방체의 대상물과 삼각뿔의 대상물 각각에 포함된 예시도 이고, 도 7은 도 6의 이미지의 결정 방법에 대해 단순화한 예시도이다.
도 6에 도시된 바와 같이, 좌측에 놓인 입방체의 대상물에 하나의 특징점이 포함되고, 우측에 놓인 삼각뿔의 대상물에 하나의 특징점이 포함될 수 있다.
이와 같이, 좌우측에 특징점을 갖는 대상물이 위치하였을 때, 실제 계산은 대상물의 범위를 고려하여 그림 1의 오른쪽 아래 사각형의 범위 그리고 그림 1의 왼쪽 아래 사각형의 범위를 이용하여 특징점을 검출한다.
특히, 본 발명의 촬상수단(330)은 종래의 스테레오 카메라처럼 카메라 사이를 고정하는 것이 아니라 대상 특징점에 최적(각각의 이미지의 절반 영역에 촬영할 수 있는) 거리 조절이 가능하다. 더욱이, 촬상수단(330)은 촬영거리를 조절하며, 오차를 최소한으로 줄일 수 있다.
좌표산출부(510)는 행렬식을 통해 좌표를 산출할 수 있다. 예를 들어, 그림 1의 특징점을 P1이라고 하고, 그림 2의 특징점을 P2라고 한다면, 좌표산출부(510)는 아래와 같은 행렬식을 이용해 좌표를 산출할 수 있다. 여기에서, Tx는 촬상수단 간의 거리, f는 도 3의 초점 거리(F) 그리고 cx1은 그림 1의 x좌표, cx2는 그림 2에서 x좌표 그리고 cy는 각각의 y좌표이다.
Figure PCTKR2017008328-appb-I000001
좀 더 구체적으로 삼차원의 실제 좌표를 x축, y축 및 z축으로 촬상수단에서 얻은 좌표를 x축, y축 및 z축으로 한 경우에는 다음의 관계식이 성립된다.
Figure PCTKR2017008328-appb-I000002
여기서 t는 촬상수단 특유의 왜곡 상수로 한정하여, 실제 좌표값을 추출할 수 있다.
도 8은 본 발명의 바람직한 실시예에 따른 블록도이다.
도 8를 참조하면 좌표 추출 장치(10)는 거치수단(100), 토출수단(300), 이동수단(310), 촬상수단(330), 좌표 추출부, 좌표 보정부(530), 입체표면 생성부(550), 제어부(500)를 포함한다.
거치수단(100)은 상면에 대상물(130)이 거치된다.
토출수단(300)은 액상 물질을 토출시키는 수단이며, 바람직하게는 제어부가 토출수단(300) 및 이동수단(310)을 제어하여 거치수단(100)에 거치된 대상물(130)의 목표 지점에 액상 물질을 토출한다.
촬상수단(330)은 토출수단(300)에 구비되어 대상물(130)을 다수의 위치에서 촬상한다.
이동수단(310)은 토출수단(300)을 이동시킨다.
바람직하게는, 토출수단(300)에 마련된 이동수단(310)을 함께 이동시키며, X축, Y축, Z축으로 이동 가능하다.
좌표 산출부(510)는 촬상수단(330)의 촬상 화면들로부터 다수 개의 특징점을 추출하고, 동일한 특징점을 포함하는 2개의 촬상 화면을 선택하여 삼각법을 이용하여 상기 동일한 특징점의 좌표를 산출한다.
제어부(500)는 특징점들의 좌표를 통해 대상물(130)의 목표 지점에 액상 물질을 토출하도록 이동수단(310)을 이동시키고, 토출수단(300)을 통해 액상물질을 토출한다.
좌표 보정부(530)는 좌표 산출부(510)를 통해 산출된 다수개의 특징점 중에서 동일한 특징점에 대하여 산출된 2 이상의 서로 다른 좌표값들의 평균값을 산출하여 특징점에 대한 보정좌표를 생성한다.
입체표면 생성부(550)는 다수 개의 특징점 좌표 또는 보정좌표들의 집합으로부터 폴리곤 메시를 이용해 3D 입체표면을 생성한다.
도 9는 본 발명의 실시예에 따른 흐름도이다.
도 9을 참고하여 본 발명의 흐름에 대해서 설명하도록 한다.
촬상수단(330)이 이동하며 대상물(130)을 촬상한다. (S510단계)
바람직하게는, 촬상수단(330)은 토출수단(300)에 구비되어 있고, 이동수단(310)이 토출수단(300)을 이동시키며, 촬상수단(330)이 함께 이동되며 다수의 위치에서 대상물(130)을 촬상하는 것을 의미한다.
좌표 산출부(510)가 촬상수단(330)의 촬상 화면들로부터 다수 개의 특징점을 추출한다. (S520단계)
좌표 산출부(510)가 대상물(130)의 표면에 대한 정보를 위해 특징점(P1, P2, P3 … PN)을 추출하는 것을 의미한다.
좌표 산출부(510)가 S520단계에서 추출된 다수 개의 특징점들의 좌표를 산출한다. (S530단계)
이때, 좌표 산출부(510)는 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하여 삼각법을 통해 특징점의 좌표를 산출하고, 같은 방식으로 모든 특징점들의 좌표를 산출한다.
이동수단(310)을 이동시키고, 토출수단(300)을 통해 대상물(130)의 목표지점에 액상물질을 토출한다. (S540단계)
제어부(500)가 좌표 산출부(510)를 통해 산출된 특징점들의 좌표를 통해 대상물(130)의 목표 지점에 액상 물질을 토출하도록 이동수단(310)을 이동시키고, 토출수단(300)을 통해 액상물질을 토출하는 것으로, 바람직하게는, 외부입출력수단을 통해 장비의 운용자가 입력한 데이터 또는 미리 설정된 데이터에 따라서 대상물(130)의 목표 지점에 액상 물질을 토출하도록 하는 것을 의미한다.
이때, S530단계는, 좌표 산출부(510)가 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하고, 삼각법을 이용하여 상기 동일한 특징점의 제1좌표를 산출하는 S531단계, 좌표 산출부(510)가 상기 동일한 특징점을 포함하되, 상기 제1좌표와 다른 2개의 촬상 화면을 선택하고, 삼각법을 이용하여 상기 동일한 특징점의 제2좌표를 산출하는 S533단계, 좌표 산출부(510)를 통해 산출된 다수 개의 특징점 중에서 동일한 특징점에 대하여 산출된 서로 다른 2개 이상의 좌표값들의 평균값을 산출하여 좌표를 보정하는 S535단계, 및 모든 특징점들에 대하여 상기 (c1) 내지 (c3) 단계를 수행하여 좌표를 보정하는 S537단계를 더 포함하여 특징점들의 좌표를 보정하는 단계를 수행할 수 있다.
또한, 입체표면 생성부(550)가 특징점들의 좌표 또는 보정좌표들읭 집합으로부터 폴리곤 메시를 이용해 3D 입체표면을 생성하는 S539단계를 더 포함하여 3D 입체표면을 외부입출력장치(1000)로 송신할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 거치수단 상에 거치된 대상물에 위치하는 특징점들의 3차원 좌표를 산출하고, 산출된 좌표를 이용하여 상기 대상물의 목표 지점에 액상 물질을 토출하는 액상 토출 장치에 있어서,
    액상 물질을 토출시키는 토출수단;
    상기 토출수단을 이동시키는 이동수단;
    상기 토출수단에 구비되어 상기 대상물을 다수의 위치에서 촬상하는 촬상수단;
    상기 촬상수단의 촬상 화면들로부터 서로 다른 다수 개의 특징점을 추출하고, 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하고 삼각법을 이용하여 상기 동일한 특징점의 좌표를 산출하여 모든 특징점들의 좌표를 산출하는 좌표 산출부; 및
    상기 특징점들의 좌표를 통해 대상물의 목표 지점에 액상 물질을 토출하도록 상기 이동수단을 이동시키고, 상기 토출수단을 통해 액상물질을 토출하는 제어부;
    를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치.
  2. 제1항에 있어서,
    상기 좌표 산출부는,
    상기 촬상수단의 촬상 화면들로부터 다수 개의 특징점을 추출하고,
    동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하고 삼각법을 이용하여 상기 동일한 특징점의 제1좌표를 산출하고,
    상기 동일한 특징점을 포함하되, 상기 제1좌표와 다른 2개의 촬상 화면을 선택하고 삼각법을 이용하여 상기 동일한 특징점의 제2좌표를 산출하고,
    상기 좌표 산출부를 통해 산출된 다수개의 특징점 중에서 동일한 특징점에 대하여 산출된 서로 다른 2 이상의 좌표값들의 평균값을 산출하고, 상기 촬상수단의 특유의 왜곡 상수를 합산하여 상기 특징점에 대한 보정좌표를 생성하는 좌표 보정부를 더 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 다수 개의 특징점 좌표 또는 보정좌표들의 집합으로부터 폴리곤 메시를 이용해 3D 입체표면을 생성하는 입체표면 생성부를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치.
  4. 제1항에 있어서,
    상기 이동수단은,
    X축 이동수단, Y축 이동수단 및 Z축 이동수단을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치.
  5. 제1항에 있어서,
    상기 촬상수단은,
    X축, Y축 또는 Z축으로 이동하며 상기 대상물을 다수의 위치에서 촬상하며, 촬상영역의 1/2의 영역에서 상기 특징점의 좌표값을 추출하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치.
  6. 거치수단 상에 거치된 대상물에 위치하는 특징점들의 3차원 좌표를 산출하고, 산출된 좌표를 이용하여 상기 대상물의 목표 지점에 액상 물질을 토출하는 액상 토출 방법에 있어서,
    (a) 토출수단에 구비된 촬상수단이 상기 대상물을 다수의 위치에서 촬상하는 단계;
    (b) 좌표 산출부가 상기 촬상수단의 촬상 화면들로부터 다수 개의 특징점을 추출하는 단계;
    (c) 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하여 삼각법을 통해 상기 동일한 특징점에 대한 좌표를 산출하여 모든 특징점들의 좌표를 산출하는 단계; 및
    (d) 제어부가 상기 특징점들의 좌표를 통해 대상물의 목표 지점에 액상 물질을 토출하도록 이동수단을 이동시키고, 토출수단을 통해 액상물질을 토출하는 단계;
    를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 방법.
  7. 제6항에 있어서,
    상기 (c) 단계는,
    (c1) 좌표 산출부가 동일한 특징점을 포함하는 서로 다른 2개의 촬상 화면을 선택하고, 삼각법을 이용하여 상기 동일한 특징점의 제1좌표를 산출하는 단계;
    (c2) 좌표 산출부가 상기 동일한 특징점을 포함하되, 상기 제1좌표와 다른 2개의 촬상 화면을 선택하고, 삼각법을 이용하여 상기 동일한 특징점의 제2좌표를 산출하는 단계;
    (c3) 상기 좌표 산출부를 통해 산출된 다수 개의 특징점 중에서 동일한 특징점에 대하여 산출된 서로 다른 2 이상의 좌표값들의 평균값을 산출하여 좌표를 보정하는 단계; 및
    (c4) 모든 특징점들에 대하여 상기 (c1) 내지 (c3) 단계를 수행하여 좌표를 보정하는 단계;
    를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 방법.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 다수 개의 특징점 좌표 또는 보정좌표들의 집합으로부터 폴리곤 메시를 이용해 3D 입체표면을 생성하는 입체표면 생성부를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 방법.
  9. 제6항에 있어서,
    상기 이동수단은,
    X축 이동수단, Y축 이동수단 및 Z축 이동수단을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 방법.
  10. 제6항에 있어서,
    상기 촬상수단은,
    X축, Y축 또는 Z축으로 이동하며 상기 대상물을 다수의 위치에서 촬상하며, 촬상영역의 1/2의 영역에서 상기 특징점의 좌표값을 추출하는 것을 특징으로 하는 단일 카메라를 이용한 대상물의 3차원 좌표 추출 방법.
PCT/KR2017/008328 2016-08-03 2017-08-02 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법 WO2018026186A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0099158 2016-08-03
KR20160099158 2016-08-03
KR10-2017-0097991 2017-08-02
KR1020170097991A KR101944339B1 (ko) 2016-08-03 2017-08-02 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2018026186A1 true WO2018026186A1 (ko) 2018-02-08

Family

ID=61073093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/008328 WO2018026186A1 (ko) 2016-08-03 2017-08-02 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법

Country Status (1)

Country Link
WO (1) WO2018026186A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070062944A (ko) * 2004-10-12 2007-06-18 데지타루 팟숀 가부시키가이샤 가상 형지 작성프로그램, 가상 형지 작성장치 및 가상 형지작성방법
KR100964950B1 (ko) * 2008-09-19 2010-06-21 주식회사 탑 엔지니어링 액정방울 토출위치 교정방법
KR101198308B1 (ko) * 2010-12-21 2012-11-07 주식회사 탑 엔지니어링 디스펜서
JP2013188737A (ja) * 2012-02-16 2013-09-26 Tdk Corp 液体材料吐出装置
KR20150067163A (ko) * 2012-10-05 2015-06-17 베크만 컬터, 인코포레이티드 카메라 기반 자동 정렬을 위한 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070062944A (ko) * 2004-10-12 2007-06-18 데지타루 팟숀 가부시키가이샤 가상 형지 작성프로그램, 가상 형지 작성장치 및 가상 형지작성방법
KR100964950B1 (ko) * 2008-09-19 2010-06-21 주식회사 탑 엔지니어링 액정방울 토출위치 교정방법
KR101198308B1 (ko) * 2010-12-21 2012-11-07 주식회사 탑 엔지니어링 디스펜서
JP2013188737A (ja) * 2012-02-16 2013-09-26 Tdk Corp 液体材料吐出装置
KR20150067163A (ko) * 2012-10-05 2015-06-17 베크만 컬터, 인코포레이티드 카메라 기반 자동 정렬을 위한 시스템 및 방법

Similar Documents

Publication Publication Date Title
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2020101103A1 (ko) 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2017008224A1 (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2011052826A1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
WO2014109545A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2009151292A2 (ko) 영상 변환 방법 및 장치
WO2017022994A1 (ko) 그린에서의 퍼팅정보 제공방법
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2013077522A1 (en) Apparatus and method for hierarchical stereo matching
WO2017039418A1 (ko) 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
WO2018026186A1 (ko) 단일 카메라를 이용한 대상물의 3차원 좌표 추출 장치 및 그 방법
WO2015167262A1 (en) System and method for correcting distortion image due to curved surface
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2016148351A1 (ko) 의료 영상 재구성 장치 및 그 방법
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
WO2019083068A1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
KR101341632B1 (ko) 줌 카메라의 광축 오차 보상 시스템, 그 보상 방법
WO2017034321A1 (ko) 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치
WO2019139303A1 (ko) 영상 합성 방법 및 장치
WO2022211377A1 (ko) 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17837237

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17837237

Country of ref document: EP

Kind code of ref document: A1