WO2020230921A1 - 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇 - Google Patents

레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇 Download PDF

Info

Publication number
WO2020230921A1
WO2020230921A1 PCT/KR2019/005800 KR2019005800W WO2020230921A1 WO 2020230921 A1 WO2020230921 A1 WO 2020230921A1 KR 2019005800 W KR2019005800 W KR 2019005800W WO 2020230921 A1 WO2020230921 A1 WO 2020230921A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pattern
laser
control unit
features
Prior art date
Application number
PCT/KR2019/005800
Other languages
English (en)
French (fr)
Inventor
남문식
김정식
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/005800 priority Critical patent/WO2020230921A1/ko
Priority to US16/489,313 priority patent/US11493931B2/en
Priority to KR1020190089665A priority patent/KR20190094302A/ko
Publication of WO2020230921A1 publication Critical patent/WO2020230921A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present invention relates to a method for extracting features in an image using a laser pattern and a robot to which the same is applied.
  • a measurement method has been proposed that outputs a predetermined signal and uses the time it is reflected.
  • a method of measuring a distance by calculating a depth image including 3D distance information using a depth camera has also been proposed.
  • depth measurement which measures the distance to an object by using an image, has a limitation in that it must have a depth camera separate from the computational amount.
  • the present specification proposes a method of extracting features based on objects disposed in a short distance in extracting features by identifying images.
  • the present specification proposes a method of removing objects placed at a distance from within an image by generating a mask using a laser pattern disposed on an object.
  • the identification device for extracting features in an image using a laser pattern includes a first camera unit and a first camera unit for generating a first image including a pattern in which the laser is reflected from an object by combining a laser filter.
  • a second camera unit that photographs an area overlapping the area photographed by the camera unit to generate a second image and a mask that divides the effective area using the pattern included in the first image is applied to the second image.
  • a control unit for extracting features from the second image.
  • a laser filter is selectively disposed, and a first image including a pattern reflected from an object by the laser and a first image not including a pattern.
  • a camera unit that generates an image
  • a filter control unit that selectively arranges a laser filter on the camera unit, and a mask that divides the effective area using a pattern included in the first image are generated, and the mask is applied to the second image.
  • a control unit for extracting features from the image is
  • the control unit of the identification device for extracting features in an image using a laser pattern generates an effective area by generating a boundary line of a distance spaced based on a pattern located at the outer side of the pattern.
  • Features in the image are extracted using a laser pattern, which creates a mask so that only the effective area remains in one image.
  • the control unit of the identification device for extracting features in the image using the laser pattern calculates the distance of the area where the pattern is reflected in inverse proportion to the size of the pattern.
  • a robot including an identification device for extracting features in an image using a laser pattern is a movement path of the robot based on a feature selected by an obstacle sensor and an identification device that senses objects placed around it. It includes a robot control unit for generating a and a moving unit for moving the robot along the movement path.
  • a method of extracting features in an image using a laser pattern includes the step of outputting a laser by a laser output unit and a pattern in which the laser is reflected from an object by using a laser filter by the first camera unit.
  • extracting features from the second image by generating a mask and applying the mask to the second image.
  • the time in the feature matching process can be reduced by extracting features of objects arranged in a short distance.
  • an image including a laser-reflected object may be captured by outputting a laser, and an object disposed in a short distance may be identified using a laser pattern reflected in the image.
  • a mask for removing objects placed at a distant distance in the image may be generated using a laser pattern disposed on the object.
  • FIG. 1 shows a configuration of an identification device according to an embodiment of the present invention.
  • FIG. 2 shows a process of operating two camera units according to an embodiment of the present invention.
  • FIG 3 shows the appearance of the device according to an embodiment of the present invention.
  • 4 to 8 illustrate a process of extracting features from an image by an identification device according to an embodiment of the present invention.
  • 9 to 12 show various methods of generating a mask according to an embodiment of the present invention.
  • FIG 13 and 14 show an identification device including one camera unit according to another embodiment of the present invention.
  • FIG. 15 shows an image generated by the identification device of FIGS. 13 and 14.
  • FIG 16 shows an example in which the identification device according to an embodiment of the present invention is implemented in a robot.
  • first, second, A, B, (a), (b) may be used. These terms are only for distinguishing the component from other components, and the nature, order, order, or number of the component is not limited by the term.
  • a component is described as being “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to that other component, but other components between each component It is to be understood that is “interposed”, or that each component may be “connected”, “coupled” or “connected” through other components.
  • components may be subdivided and described for convenience of description, but these components may be implemented in one device or module, or one component may be a plurality of devices or modules. It can also be implemented by being divided into.
  • the identification device 100 includes two camera units 110 and 120, a laser output unit 130, and a control unit 150.
  • the two camera units 110 and 120 are gray cameras.
  • the two camera units 110 and 120 are not gray cameras but color cameras.
  • the laser output unit 130 outputs a laser of a specific pattern, which touches and reflects an object in front.
  • the first camera unit 110 is a combination of a laser filter and is output by the laser output unit 130 to recognize a laser pattern reflected from an object, and generate a first image including the reflected pattern.
  • the second camera unit 120 continuously generates a 2D image to generate a matching result between the images.
  • the second camera unit 120 generates a second image by capturing an area overlapping the area captured by the first camera unit 110.
  • the first camera unit 110 operates according to a preset period, and generates a laser pattern according to the photographing period.
  • the laser of a specific pattern output by the laser output unit 130 is not reflected in the first image photographed by the first camera unit 110 because the reflected amount may be very small or there may be no reflector from objects that are more than a certain distance apart. . This is because light is scattered and becomes thinner as the distance increases according to the general physical characteristics of the laser, so that when the laser is reflected from a distant object, it is not included in the image captured by the first camera unit 110.
  • 3 shows the appearance of the device according to an embodiment of the present invention. 3 shows an exemplary appearance of the identification device of the present invention, but the present invention is not limited thereto.
  • the laser output unit 130 is disposed between the first camera unit 110 and the second camera unit 120.
  • the image captured by the first camera unit 110 and the second camera unit 120 are captured according to the distance between the first camera unit 110 and the second camera unit 120 (camera_d) or the orientation angle of the two camera units There may be some differences in one image.
  • the first camera unit 110 includes a laser filter 115 required to capture an image of a laser output from the laser output unit 130 reflected from an object.
  • 4 to 8 illustrate a process of extracting features from an image by an identification device according to an embodiment of the present invention.
  • FIG. 4 shows an image 21 photographed by the first camera unit 110.
  • 5 shows an image 22 photographed by the second camera unit 120.
  • 21 is an embodiment of the image (k) taken in step S2 of FIG. 22 is an embodiment of the image i_n captured in step S11 of FIG. 2.
  • the circles arranged in the regions 21 to 21a are laser patterns.
  • the reflection of the laser output by the laser output unit 130 from the object was photographed by the first camera unit 110.
  • the laser output unit 130 is turned on by the control of the control unit 150 or the control of the first camera unit 110 to output a laser of a specific pattern, and the first camera unit ( 110) photographs the reflected laser pattern.
  • the area 21b is a distant object, these objects do not reflect the laser or reflect only a very small size and are not photographed by the first camera unit 110.
  • 22 is an image captured by the second camera unit 120.
  • the image on the edge side is partially inconsistent.
  • FIG. 6 is a result of generating a mask according to an embodiment of the present invention.
  • the area in which the laser is not identified is a distant object. Therefore, these objects are objects in a domain that is unnecessary or meaningless in extracting features.
  • control unit 150 or the first camera unit 110 generates a mask (m in FIG. 2) for removing a region in which the laser is not identified from the image indicated by 21 as shown in 31.
  • FIG. 7 is a diagram illustrating a common area in an image captured by two camera units according to an embodiment of the present invention.
  • the controller 150 identifies a common area between the image 21 captured by the first camera unit 110 and the image 22 captured by the second camera unit 120.
  • the common area may vary according to a distance or a photographing angle between the two camera units of FIG. 3.
  • the first camera unit 110 may selectively delete the laser pattern from the image 21.
  • the first camera unit 110 may capture one image immediately before outputting the laser pattern, output the laser pattern immediately thereafter, and then take another image on which the laser pattern is displayed.
  • the controller 150 applies the mask of FIG. 6 after identifying the common area. As a result, as shown in FIG. 8, after distant objects in the common area are removed, only near objects are included in the image.
  • the controller 150 may extract a feature point from the image 35 of FIG. 8. As a result, the control unit 150 may extract features of objects in a significant area (near-range area).
  • the 9 to 12 show various methods of generating a mask according to an embodiment of the present invention.
  • the mask is created based on the laser marked area.
  • the control unit 150 generates an effective area by generating a boundary line of a distance separated from the pattern of the first image captured by the first camera unit 110 based on a pattern located at the outer side.
  • the controller 150 may generate a mask so as to leave only the effective area in the first image.
  • 9 shows a mean method of setting a mast based on a pattern interval using regularity of each of the laser patterns.
  • 9 shows an embodiment in which the control unit 150 determines a distance apart by reflecting the distances of the patterns when a plurality of patterns are disposed in the first image captured by the first camera unit 110.
  • the circle in FIG. 9 denotes a laser pattern. If the interval of the laser pattern identified on the image 40 is d, the controller 150 determines the effective area 41 based on the interval d/2 in the outermost laser pattern. As a result, the controller 150 may set the mask 42 for removing areas other than the effective area from the image 40.
  • the controller 150 may determine the effective area up to the boundary line.
  • control unit 150 may determine the boundary line of the object including the laser patterns as shown in 44. In this case, the controller 150 may generate a mask 45a that removes other areas by being an effective area based on the boundary line 44 of the object.
  • the controller 150 may generate a mask 45b for removing other areas by setting both the boundary line of the object and the distance d/2 between the laser pattern and the boundary line of the object as an effective area.
  • 11 illustrates an embodiment in which the controller 150 determines that the laser pattern is disposed on the boundary line of the object and sets the boundary of the effective area based on this when the laser pattern is distorted.
  • control unit 150 extends the cross section of the pattern of the different shape. It shows an example of creating an effective area.
  • the control unit 150 checks the laser pattern 52 in which the circle is maintained and the laser patterns 51a to 51f in which the cut surface is generated. And the patterns with the cut surface are connected with other adjacent patterns to form a line. For example, the control unit 150 may set the effective area based on the reference that the cut surface is parallel.
  • the controller 150 connects both cut surfaces of 51a with 51b and 51c, respectively.
  • the controller 150 connects the cut surfaces of 51d, 51e, and 51f into one.
  • the control unit 150 confirms that the region 53 connecting these cut surfaces includes the laser pattern 52.
  • the controller 150 determines that the shape of the object has a boundary line such as 53, and generates an effective area based on 53. In an embodiment, the controller 150 creates an effective area 54 including a predetermined interval based on 53. The controller 150 may create a mask 55 for removing areas other than the effective area 54.
  • control unit 150 sets the effective area differently according to the size of the laser pattern.
  • the controller 150 may calculate the distance of the area where the pattern is reflected in inverse proportion to the size of the pattern, or may reflect this distance to set the effective area.
  • the control unit 150 can check the distance between the area where the laser pattern is displayed and the identification device using the size of the laser pattern included in the captured image. have.
  • the controller 150 determines that the object reflected by the laser pattern is disposed close to the identification device. Likewise, when the size of the laser pattern is small, the controller 150 determines that the object reflected by the laser pattern is disposed away from the identification device.
  • the controller 150 may increase the distance between the boundary line between the nearby object and the effective area and decrease the distance between the distant object and the boundary line of the effective area.
  • FIG. 12 is an image in which four laser patterns 60a, 60b, 60c, and 60d are displayed.
  • R1, r2, r3, r4 in each laser pattern is the size of the laser pattern.
  • the relationship between the size of the laser pattern is r1 ⁇ r2 ⁇ r3 ⁇ r4.
  • the control unit 150 determines the area in which the laser pattern 60d at the lower left is reflected as the area of the object disposed closest to it.
  • the control unit 150 sets a boundary line of the effective area around 60d by d4. d4 is proportional to r4.
  • the control unit 150 sets the boundary line of the effective area around 60c by d3.
  • d3 has a value less than d4.
  • the control unit 150 sets the boundary line of the effective area around 60b by d2.
  • d2 has a value less than d3.
  • the control unit 150 sets the boundary line of the effective area around 60a by d1.
  • d1 has a value less than d2.
  • the controller 150 may differently set an interval spaced apart from the laser pattern according to the size of the laser pattern such as d1 ⁇ d2 ⁇ d3 ⁇ d4. And based on this interval, the controller 150 sets an effective area such as 62.
  • the controller 150 may generate a mask 63 for removing areas other than the effective area 62.
  • control unit 150 may calculate a distance between the object based on the size of the laser pattern. For example, the controller 150 stores spaced distances of objects according to the size of the laser pattern. Then, when the size of the laser pattern included in the image is r1, the controller 150 may determine that the distance between the object on which the laser is displayed and the identification device 100 is 10 m.
  • the figures are exemplary.
  • the controller 150 may determine that the distance between the object on which the laser is displayed and the identification device 100 is 7m.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇에 관한 것으로, 본 발명의 일 실시예에 의한 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치는 레이저 필터가 결합되어 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지를 생성하는 제1카메라부와 제1카메라부가 촬영하는 영역과 중첩되는 영역을 촬영하여 제2이미지를 생성하는 제2카메라부와 제1이미지에 포함된 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 제2이미지에 마스크를 적용하여 제2이미지로부터 특징을 추출하는 제어부를 포함한다.

Description

레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
본 발명은 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 로봇에 관한 기술이다.
최근 자율 주행 과정에서 로봇이나 자율 주행 장치가 외부 사물과의 거리를 측정하거나, 외부 사물 중에서 주행에 영향을 미치는 사물을 확인하는 것의 필요성이 대두되면서, 다양한 방식의 거리 측정과 사물 감지 방식이 제안되었다.
예를 들어 소정의 신호를 출력하고 그것이 반사된 시간을 이용하는 측정 방식이 제시되었다. 또는 뎁스 카메라를 이용하여 3차원 거리 정보가 포함된 뎁스 영상(depth image)을 산출하여 거리를 측정하는 방식도 제시되었다.
한편, 영상을 이용하여 사물과의 거리를 측정하는 뎁스 측정(depth measurement)은 연산량과 별도의 뎁스 카메라를 보유해야 한다는 한계가 있었다.
그런데, 자율 주행 과정에서 사물의 정확한 뎁스 정보 대신 로봇에 근접한 사물을 판단하는 경우에는 3차원 뎁스 카메라를 사용할 경우 비용의 증가와 연산 시간의 증가라는 문제가 발생한다.
이에, 본 명세서에서는 레이저 패턴을 이용하여 영상 내의 특징을 추출하는 방법에 대해 살펴본다.
본 명세서는 전술한 문제점을 해결하기 위한 것으로, 이미지를 식별하여 특징을 추출함에 있어서 근거리에 배치된 사물들에 기반한 특징을 추출하는 방안을 제시한다.
본 명세서는 근거리에 배치된 사물을 식별하기 위해 레이저를 출력하여 레이저가 반사된 사물을 포함한 이미지를 촬영하고 이미지 내에서 반사된 레이저 패턴을 이용하는 방안을 제시한다.
본 명세서는 사물에 배치된 레이저 패턴을 이용하여 마스크를 생성하여 이미지 내에서 원거리에 배치된 사물들을 제거하는 방안을 제시한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의한 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치는 레이저 필터가 결합되어 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지를 생성하는 제1카메라부와 제1카메라부가 촬영하는 영역과 중첩되는 영역을 촬영하여 제2이미지를 생성하는 제2카메라부와 제1이미지에 포함된 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 제2이미지에 마스크를 적용하여 제2이미지로부터 특징을 추출하는 제어부를 포함한다.
본 발명의 일 실시예에 의한 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치는 레이저 필터가 선택적으로 배치되며, 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지 및 패턴을 포함하지 않는 제2이미지를 생성하는 카메라부와 카메라부에 레이저 필터를 선택적으로 배치하는 필터 제어부와 제1이미지에 포함된 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 제2이미지에 마스크를 적용하여 제2이미지로부터 특징을 추출하는 제어부를 포함한다.
본 발명의 일 실시예에 의한 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치의 제어부는 패턴 중 외곽에 위치한 패턴을 기준으로 이격된 거리의 경계선을 생성하여 유효 영역을 생성하며, 제어부는 제1이미지에서 유효 영역만을 남기도록 마스크는 생성하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출한다.
본 발명의 일 실시예에 의한 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치의 제어부는 제어부는 패턴의 크기에 반비례하여 패턴이 반사된 영역의 거리를 산출한다.
본 발명의 일 실시예에 의한 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별 장치를 포함하는 로봇은 주변에 배치된 사물을 센싱하는 장애물 센서와 식별 장치가 선별한 특징에 기반하여 로봇의 이동 경로를 생성하는 로봇 제어부와 이동 경로를 따라 로봇을 이동시키는 이동부를 포함한다.
본 발명의 일 실시예에 의한 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법은 레이저 출력부가 레이저를 출력하는 단계와 제1카메라부가 레이저 필터를 이용하여 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지를 생성하는 단계와, 제2카메라부가 제1카메라부가 촬영하는 영역과 중첩되는 영역을 촬영하여 제2이미지를 생성하는 단계와 제어부가 제1이미지에 포함된 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 제2이미지에 마스크를 적용하여 제2이미지로부터 특징을 추출하는 단계를 포함한다.
본 발명의 실시예들을 적용할 경우, 근거리에 배치된 사물들의 특징들을 추출함으로써 특징 매칭 과정에서의 시간을 줄일 수 있다.
본 발명의 실시예들을 적용할 경우, 레이저를 출력하여 레이저가 반사된 사물을 포함한 이미지를 촬영하고 이미지 내에서 반사된 레이저 패턴을 이용하여 근거리에 배치된 사물을 식별할 수 있다.
본 발명의 실시예들을 적용할 경우, 사물에 배치된 레이저 패턴을 이용하여 이미지 내의 원거리에 배치된 사물들을 제거하는 마스크를 생성할 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 본 발명의 일 실시예에 의한 식별 장치의 구성을 보여준다.
도 2는 본 발명의 일 실시예에 의한 두 개의 카메라부가 동작하는 과정을 보여준다.
도 3은 본 발명의 일 실시예에 의한 장치의 외관을 보여준다.
도 4 내지 도 8은 본 발명의 일 실시예에 의한 식별 장치가 이미지에서 특징을 추출하는 과정을 보여준다.
도 9 내지 도 12는 본 발명의 일 실시예에 의한 마스크를 생성하는 다양한 방식을 보여준다.
도 13 및 도 14는 본 발명의 다른 실시예에 의한 하나의 카메라부를 포함하는 식별 장치를 보여준다.
도 15는 도 13 및 도 14의 식별장치가 생성한 이미지를 보여준다.
도 16은 본 발명의 일 실시예에 의한 식별 장치가 로봇에 구현된 예시를 보여준다.
도 17은 본 발명의 일 실시예에 의한 식별 장치가 이미지에서 특징을 추출하는 과정을 보여준다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
도 1은 본 발명의 일 실시예에 의한 식별 장치의 구성을 보여준다. 도 1의 장치는 그 자체로 동작할 수 있고, 로봇과 같은 자율 주행 장치에 결합하여 동작할 수 있다. 식별 장치(100)는 두 개의 카메라부(110, 120), 레이저 출력부(130), 제어부(150)를 포함한다.
본 발명의 일 실시예에 의하면 두 개의 카메라부(110, 120)는 그레이 카메라(grey camera)인 것을 일 실시예로 한다. 또는 본 발명의 다른 실시예에 의하면 두 개의 카메라부(110, 120)는 그레이 카메라가 아닌 컬러 카메라인 것을 실시예로 한다. 레이저 출력부(130)는 특정 패턴의 레이저를 출력하고, 이는 전방의 사물에 닿아 반사한다.
제1카메라부(110)는 레이저 필터가 결합된 것으로 레이저 출력부(130)가 출력하여 사물로부터 반사된 레이저 패턴(laser pattern)을 인식하고, 반사된 패턴을 포함하는 제1이미지를 생성한다.
제2카메라부(120)는 지속적으로 2차원 이미지를 생성하여 이미지 간의 매칭 결과를 생성한다. 제2카메라부(120)는 제1카메라부(110)가 촬영하는 영역과 중첩되는 영역을 촬영하여 제2이미지를 생성한다.
제1카메라부(110)는 미리 설정된 주기에 따라 동작하며, 촬영 주기에 맞추어 레이저 패턴을 발생시킨다.
레이저 출력부(130)가 출력한 특정 패턴의 레이저는 특정 거리 이상 떨어져 있는 사물에서는 반사된 양이 매우 작거나 반사체가 없을 수 있으므로 제1카메라부(110)가 촬영하는 제1이미지에 반영되지 않는다. 이는 레이저의 일반적인 물리 특성에 따라 거리가 멀어지면 빛이 산란되어 옅어지기 때문에 레이저가 멀리 있는 사물에서 반사된 경우 제1카메라부(110)가 촬영하는 이미지에 포함되지 않는다.
따라서, 제어부(150)는 두 개의 카메라부(110, 120)가 촬영한 이미지(제1, 제2 이미지)를 매칭하는 구간(이미지 매칭 구간)에 대한 마스크를 생성하여 제1카메라부(110)가 촬영한 이미지에서 레이저 패턴이 포함되지 않은 부분은 멀리 떨어진 사물이라 판단한다. 그 결과 제어부(150)는 레이저 패턴이 포함되지 않은 부분은 유효하지 않은 영역(not valid, outlier)로 판단한다. 그리고 마스크를 이용하여 두 개의 카메라부가 촬영한 영상을 매칭한 결과에서 유효하지 않은 부분을 제거한다.
즉, 제어부(150)는 제1이미지에 포함된 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 제2이미지에 마스크를 적용하여 제2이미지로부터 특징을 추출한다. 이는 영상에서 근접하지 않은 사물을 제거함으로써 의미있는 사물의 특징만을 추출할 수 있도록 한다.
도 2는 본 발명의 일 실시예에 의한 두 개의 카메라부가 동작하는 과정을 보여준다.
제1카메라부(110)는 레이저 출력부(130)와 연동하여 동작하여 마스크를 지속적으로 업데이트한다. 즉, 제어부(150)의 제어에 따라 레이저 출력부(130)가 턴온 한다(S1). 그리고 제1카메라부(110)는 전방의 사물들을 촬영하여 이미지(k)를 생성한다(S2). 그리고 촬영이 완료되면 역시 제어부(150)의 제어에 따라 레이저 출력부(130)가 턴오프 한다(S3).
그리고 제1카메라부(110) 또는 제어부(150)는 S2에서 촬영된 이미지에서 유효 영역(R)을 계산한다. 유효 영역이란 레이저 출력부(130)가 출력한 레이저가 포함된 영역, 즉 레이저가 표시될 정도의 근접 거리의 사물들의 영역을 포함한다.
그리고 제1카메라부(110) 또는 제어부(150)는 마스크(m)를 업데이트한다(S5).
한편 제2카메라부(120) 역시 n차 시점에서 전방의 사물들을 촬영하여 이미지(i_n)를 생성한다(S11). n차 시점이란 제2카메라부(120)가 지속적으로 사물들을 촬영하는 시점들이며, n차 시점은 n-2, n-1 시점 이후의 시점을 의미한다.
제2카메라부(120) 또는 제어부(150)는 n차 시점의 촬영된 이미지 i_n으로부터 특징을 추출한다(S12). 추출된 특징은 n차 시점의 특징(E_n)이다.
그리고 제2카메라부(120) 또는 제어부(150)는 현재의 마스크를 확인한다(S13). 이는 제2카메라부(120) 또는 제어부(150)가 현재 시점을 기준으로 S5 단계에서 생성된 마스크 m을 현재의 마스크 m_cur로 설정하는 것을 일 실시예로 한다.
이후, 업데이트된 마스크를 이용하여 제2카메라부(120) 또는 제어부(150)는 앞서 추출된 특징(E_n)으로부터 새로운 특징(E_n')를 재생성한다.
그리고 제2카메라부(120) 또는 제어부(150)는 이전 시점(n-1 차 시점)에서 재생성되었던 E_n-1'과 E_n'을 매칭한다(S15).
그리고 제2카메라부(120) 또는 제어부(150)는 n차 시점의 이미지에 대한 새로운 제약 조건을 생성한다(S16).
제2카메라부(120)는 특징을 추출하는 과정에서 중요한 사물로부터 특징을 추출할 수 있도록 S5의 마스크를 적용한다. S5의 마스크를 제2카메라부(120)가 촬영한 이미지에 적용할 경우 원거리에 있는 사물들은 이미지에서 제거된다. 따라서, 원거리에 있는 사물들을 제거한 결과 근거리의 사물들의 특징만 추출된다.
도 2의 프로세스를 적용할 경우, 제1카메라부(110)는 레이저 출력부(130)와 지속적으로 연동하여 동작한다. 그 결과 제1카메라부(110) 또는 제어부(150)는 레이저가 반사된 영역을 근거리의 사물이 배치된 것으로 판단한다. 그리고 제1카메라부(110) 또는 제어부(150)는 레이저가 반사되지 않은 영역, 즉 원거리의 사물들의 영역을 이미지에서 제거하는 마스크를 지속적으로 업데이트할 수 있다. 그리고 제2카메라부(120) 또는 제어부(150)는 업데이트된 마스크를 제2카메라부(120)가 촬영한 이미지에 적용하여 특징 매칭(feature matching)하는 과정에서 유효 영역의 특징들만 선별한다.
각 구성요소들(제1, 2 카메라부, 레이저 출력부) 간의 동기화는 미리 설정된 간격 또는 장치의 이동 속도 등에 따라 변화될 수 있다. 또는 제어부(150)는 제2카메라부(120)가 촬영한 이미지 간에 공통된 특징의 수와 촬영 간격을 반비례로 설정할 수 있다.
공통된 특징의 수가 많을 경우, 제어부(150)는 외부의 사물들의 변화가 크지 않으므로 카메라부의 촬영 간격을 증가시킨 결과 카메라부는 긴 간격으로 촬영할 수 있다. 반대로 공통된 특징의 수가 적을 경우, 제어부(150)는 외부의 사물들의 변화가 크므로 카메라부의 촬영 간격을 줄인 결과 카메라부는 짧은 간격으로 촬영할 수 있다.
전술한 실시예를 적용할 경우, 출력된 레이저 패턴을 이용하여 근접한 사물들을 선별할 수 있으므로 유사 레이저 뎁스(pseudo laser depth) 기능을 구현할 수 있다.
비주얼 오도메트리(Visual Odometry)를 구현함에 있어서 촬영된 이미지 내에서 중요한 영역에서만 특징을 추출하여 이를 매칭할 수 있다. 이는 비주얼 오도메트리 과정에서 매칭 속도를 증가시킨다.
도 2의 프로세스에서 S12 단계 없이 마스크를 적용하여 이미지에서 불필요한 영역을 소거한 후, S14 단계에서 새롭게 특징을 추출할 수도 있다.
즉, 제2카메라부(120)가 촬영한 제2이미지에서 제어부(150)는 N개의 특징을 산출할 수 있다(S12). 그 후, 제어부(150)는 제1카메라부(110)가 촬영한 제1이미지 및 제2카메라부(120)가 촬영한 제2이미지를 비교하여 중첩된 영역을 산출하고 S5의 마스크를 중첩된 영역에 적용한다. 그 결과 제2이미지에서 불필요한 부분들이 삭제되므로 제어부(150)는 N 개의 특징 중 M 개의 특징을 선별한다. 여기서 M <= N이다.
도 3은 본 발명의 일 실시예에 의한 장치의 외관을 보여준다. 도 3은 본 발명의 식별 장치의 예시적 외관을 보여주며, 본 발명이 이에 한정되는 것은 아니다.
레이저 출력부(130)는 제1카메라부(110) 및 제2카메라부(120) 사이에 배치된다. 제1카메라부(110) 및 제2카메라부(120) 사이의 거리(camera_d) 또는 두 카메라부의 지향각도에 따라 제1카메라부(110)가 촬영한 이미지 및 제2카메라부(120)가 촬영한 이미지에 약간의 차이가 발생할 수 있다.
제1카메라부(110)는 레이저 출력부(130)가 출력한 레이저가 사물로부터 반사된 것을 이미지로 촬영하는데 필요한 레이저 필터(115)를 포함한다.
도 4 내지 도 8은 본 발명의 일 실시예에 의한 식별 장치가 이미지에서 특징을 추출하는 과정을 보여준다.
도 4는 제1카메라부(110)가 촬영한 이미지(21)를 도시한다. 도 5는 제2카메라부(120)가 촬영한 이미지(22)를 도시한다. 21은 도 2의 S2 단계에서 촬영한 이미지(k)의 일 실시예이며. 22는 도 2의 S11 단계에서 촬영한 이미지(i_n)의 일 실시예이다.
21에서 21a의 영역에 배치된 동그라미는 레이저 패턴들이다. 레이저 출력부(130)가 출력한 레이저가 사물로부터 반사된 것이 제1카메라부(110)에 의해 촬영되었다. 제1카메라부(110)가 촬영하기 전 제어부(150)의 제어 또는 제1카메라부(110)의 제어에 의해 레이저 출력부(130)가 턴온 되어 특정한 패턴의 레이저를 출력하고 제1카메라부(110)가 반사된 레이저 패턴을 촬영한다.
21b 영역은 먼 거리에 있는 사물들이므로 이들 사물들은 레이저를 반사하지 않거나 극히 작은 크기로만 반사하여 제1카메라부(110)에 촬영되지 않는다.
한편, 22는 제2카메라부(120)가 촬영한 영상이다. 21과 22를 비교할 때, 가장자리 쪽의 이미지가 일부 불일치한다.
도 6은 본 발명의 일 실시예에 의한 마스크를 생성한 결과이다. 도 4의 21이 지시하는 이미지에서 레이저가 확인되지 않은 영역은 원거리에 있는 사물이다. 따라서, 이 사물들은 특징을 추출함에 있어서 불필요하거나 의미가 없는 영역의 사물들이다.
그 결과 제어부(150) 또는 제1카메라부(110)는 21이 지시하는 이미지에서 레이저가 확인되지 않은 영역을 제거하는 마스크(도 2의 m)를 31과 같이 생성한다.
도 7은 본 발명의 일 실시예에 의한 두 개의 카메라부가 촬영한 이미지에서 공통된 영역을 표시한 것이다. 도 6의 마스크를 적용하기 위해 제어부(150)는 제1카메라부(110)가 촬영한 이미지(21), 제2카메라부(120)가 촬영한 이미지(22) 사이의 공통 영역을 식별한다.
공통 영역은 도 3의 두 카메라부 사이의 거리 또는 촬영각도에 따라 달라질 수 있다. 이 과정에서 선택적으로 제1카메라부(110)는 이미지(21) 에서 레이저 패턴을 삭제할 수 있다. 또는 제1카메라부(110)는 레이저 패턴을 출력하기 직전에 하나의 이미지를 촬영하고, 그 직후에 레이저 패턴을 출력한 후 레이저 패턴이 표시된 또다른 이미지를 촬영할 수 있다.
제어부(150)는 공통 영역을 식별한 후 도 6의 마스크를 적용한다. 그 결과 도 8과 같이 공통 영역 내의 원거리의 사물들이 제거된 후 근거리의 사물들만 이미지 내에 포함된다.
제어부(150)는 도 8의 이미지(35)에서 특징점을 추출할 수 있다. 그 결과 제어부(150)는 유의미한 영역(근거리 영역)의 사물들에 대한 특징을 추출할 수 있다.
그리고 제어부(150)는 이전 시점에 추출된 특징점들과 이번에 추출된 특징점들을 비교하여 제약 조건을 생성할 수 있다. 제약 조건이란 로봇이나 차량 등이 비주얼 오도메트리를 수행하는 과정에서 현재 위치를 확인하는데 필요한 제약 조건들을 일 실시예로 한다.
도 9 내지 도 12는 본 발명의 일 실시예에 의한 마스크를 생성하는 다양한 방식을 보여준다. 마스크는 레이저가 표시된 영역을 기준으로 생성된다. 제어부(150)는 제1카메라부(110)가 촬영한 제1이미지의 패턴 중 외곽에 위치한 패턴을 기준으로 이격된 거리의 경계선을 생성하여 유효 영역을 생성한다. 그리고 제어부(150)는 제1이미지에서 유효 영역만을 남기도록 마스크를 생성할 수 있다.
도 9는 레이저 패턴들 각각의 규칙성을 이용하여 패턴 간격에 기반하여 마스트를 설정하는 평균(mean) 방식을 제시한다. 도 9는 제어부(150)가 제1카메라부(110)가 촬영한 제1이미지 내에 다수의 패턴이 배치된 경우, 패턴들의 거리를 반영하여 이격된 거리를 결정하는 실시예를 보여준다.
도 9의 원은 레이저 패턴을 의미한다. 이미지(40) 상에 확인된 레이저 패턴의 간격을 d라고 하면, 제어부(150)는 최외곽의 레이저 패턴에서 d/2 간격을 기준으로 유효 영역(41)으로 판단한다. 그 결과 제어부(150)는 이미지(40)에서 유효 영역 이외의 영역을 제거하는 마스크(42)를 설정할 수 있다.
도 10에서 43는 제어부(150)가 레이저 패턴 외에도 레이저 패턴이 포함된 이미지의 경계선(44)을 기준으로 유효 영역을 판단한 실시예이다. 도 10은 제어부(150)가 제1카메라부(110)가 촬영한 제1이미지 내에 동일한 사물의 경계선 내에 패턴이 포함된 경우 경계선 내의 영역을 유효 영역에 포함시키는 실시예를 보여준다.
즉, 레이저 패턴으로 확인된 유효 영역에서 사물의 경계선이 확인되는 경우, 제어부(150)는 경계선까지 유효 영역으로 판단할 수 있다.
도 10에서 레이저 패턴으로 확인된 영역은 41이지만, 제어부(150)가 44와 같이 레이저 패턴들을 포함하는 사물의 경계선을 판단할 수 있다. 이 경우, 제어부(150)는 해당 사물의 경계선(44)을 기준으로 유효 영역하여 그 외의 영역을 제거하는 마스크(45a)를 생성할 수 있다.
또는 제어부(150)는 해당 사물의 경계선 및 레이저 패턴과의 간격(d/2)을 모두 유효 영역으로 설정 하여 그 외의 영역을 제거하는 마스크(45b)를 생성할 수 있다.
도 11은 레이저 패턴이 왜곡된 경우 제어부(150)가 해당 레이저 패턴을 사물의 경계선에 배치된 것으로 판단하고 이를 기준으로 유효 영역의 경계를 설정한 실시예이다.
도 11은 제1카메라부(110)가 촬영한 제1이미지 내에 레이저 출력부(130)가 출력한 패턴과 상이한 형상의 패턴이 포함된 경우 제어부(150)는 상이한 형상의 패턴의 단면을 연장하여 유효 영역을 생성하는 실시예를 보여준다.
도 11의 이미지(50)에서 제어부(150)는 원형이 유지된 레이저 패턴(52)과 절단면이 발생한 레이저 패턴(51a~51f)를 확인한다. 그리고 절단면이 생긴 패턴들은 인접한 다른 패턴들과 연결하여 선을 구성한다. 예를 들어 절단면이 평행한 기준으로 제어부(150)는 유효 영역을 설정할 수 있다.
제어부(150)는 51a의 양쪽 절단면을 각각 51b 및 51c와 연결한다. 제어부(150)는 51d, 51e, 51f의 절단면을 하나로 연결한다. 그리고 제어부(150)는 이들 절단면들을 연결한 영역(53)이 레이저 패턴(52)을 포함함을 확인한다.
제어부(150)는 사물의 형상이 53과 같은 경계선을 가지는 것으로 판단하고, 53을 기준으로 유효영역을 생성한다. 일 실시예로 제어부(150)는 53을 기준으로 일정한 간격을 포함하는 유효 영역(54)를 생성한다. 제어부(150)는 유효 영역(54) 이외의 영역을 제거하는 마스크(55)를 생성할 수 있다.
도 12는 레이저 패턴의 크기에 따라 제어부(150)가 유효 영역을 달리 설정하는 실시예이다. 도 12에서 제어부(150)는 제어부는 패턴의 크기에 반비례하여 패턴이 반사된 영역의 거리를 산출할 수 있으며, 또는 이러한 거리를 반영하여 유효 영역을 설정할 수 있다.
레이저 출력부(130)가 동일한 크기의 패턴으로 레이저를 출력한 경우, 제어부(150)는 촬영된 이미지에 포함된 레이저 패턴의 크기를 이용하여 레이저 패턴이 표시된 영역과 식별 장치와의 거리를 확인할 수 있다.
즉, 제어부(150)는 레이저 패턴의 크기가 큰 경우 해당 레이저 패턴이 반사된 사물이 식별 장치로부터 가까이 배치된 것으로 판단한다. 마찬가지로, 제어부(150)는 레이저 패턴의 크기가 작은 경우 해당 레이저 패턴이 반사된 사물이 식별 장치로부터 멀리 배치된 것으로 판단한다.
제어부(150)는 유효 영역의 경계선을 설정함에 있어서 가까운 사물과 유효 영역의 경계선 간의 간격을 증가시키고 멀리 있는 사물과 유효 영역의 경계선 간의 간격을 감소시킬 수 있다.
도 12의 61은 4개의 레이저 패턴(60a, 60b, 60c, 60d)이 표시된 이미지이다. 각각의 레이저 패턴 내의 r1, r2, r3, r4는 레이저 패턴의 크기이다. 레이저 패턴의 크기의 관계는 r1 < r2 < r3 < r4 이다.
제어부(150)는 좌측 하단의 레이저 패턴(60d)이 반사된 영역을 가장 가까이 배치된 사물의 영역으로 판단한다. 제어부(150)는 60d를 중심으로 유효 영역의 경계선을 d4 만큼 이격하여 설정한다. d4는 r4에 비례한다.
제어부(150)는 60c를 중심으로 유효 영역의 경계선을 d3 만큼 이격하여 설정한다. 여기서 d3은 d4 보다 작은 값을 가진다.
제어부(150)는 60b를 중심으로 유효 영역의 경계선을 d2 만큼 이격하여 설정한다. 여기서 d2는 d3 보다 작은 값을 가진다.
제어부(150)는 60a를 중심으로 유효 영역의 경계선을 d1 만큼 이격하여 설정한다. 여기서 d1은 d2 보다 작은 값을 가진다.
제어부(150)는 d1 < d2 < d3 < d4 와 같이 레이저 패턴의 크기에 따라 레이저 패턴으로부터 이격하는 간격을 상이하게 설정할 수 있다. 그리고 이러한 간격에 기반하여 제어부(150)는 62와 같은 유효 영역을 설정한다.
제어부(150)는 유효 영역(62) 이외의 영역을 제거하는 마스크(63)를 생성할 수 있다.
또한, 제어부(150)는 레이저 패턴의 크기에 기반하여 사물의 이격된 거리를 산출할 수 있다. 예를 들어 제어부(150)는 레이저 패턴의 크기 별로 사물의 이격된 거리를 저장한다. 그리고 제어부(150)는 이후 이미지 내에 포함된 레이저 패턴의 크기가 r1인 경우 레이저가 표시된 사물과 식별장치(100)와의 거리가 10 m 인 것으로 판단할 수 있다. 수치는 예시적이다.
마찬가지로, 제어부(150)는 이후 이미지 내에 포함된 레이저 패턴의 크기가 r2인 경우 레이저가 표시된 사물과 식별장치(100)와의 거리가 7m 인 것으로 판단할 수 있다.
도 13 및 도 14는 본 발명의 다른 실시예에 의한 하나의 카메라부를 포함하는 식별 장치를 보여준다. 도 15는 도 13 및 도 14의 식별장치가 생성한 이미지를 보여준다.
도 1 및 도 2의 구성과 비교할 때, 도 13 및 도 14는 하나의 카메라부(110)가 영상을 촬영할 수 있는 구성을 제시한다. 이를 위해 필터 제어부(117)가 추가된다. 필터 제어부(117)는 카메라부(110)에 레이저 필터(115)를 선택적으로 배치한다. 즉, 필터 제어부(117)는 카메라부(110) 전면에 레이저 필터(115)를 배치한 후 다시 레이저 필터(115)를 카메라부(110) 전면에서 이동시킬 수 있다.
도 14의 71은 필터 제어부(117)에 의해 레이저 필터(115)가 카메라부(110) 앞에 배치된 상태이다. 이때 레이저 출력부(130)는 레이저를 출력한다. 71과 같은 상태에서 카메라부(110)가 사물을 촬영하면 도 16의 73과 같이 레이저 패턴이 이미지에 표시된다.
반면, 도 14의 72와 같이 필터 제어부(117)가 카메라부(110) 앞의 레이저 필터(115)를 다른 영역으로 이동시킨 경우에 카메라부(110)는 레이저 필터 없이 영상을 촬영할 수 있다. 이때, 레이저 출력부(130)는 레이저를 출력하지 않는다.
72와 같은 상태에서 카메라부(110)가 사물을 촬영하면 도 15의 74와 같이 레이저 패턴이 없는 이미지가 생성된다.
따라서, 제어부(150)는 필터 제어부(117)의 제어에 따라 동일한 방향에 대해 레이저 패턴이 포함된 이미지(73)과 레이저 패턴이 포함되지 않은 이미지(74)에 기반하여 마스크를 생성할 수 있다. 73과 74의 이미지의 차이는 이미지의 생성 시간차이에 따라 달라질 수 있다. 필터 제어부(117)가 레이저 필터(115)를 카메라부(110) 앞에서 플립(flip)시키는 시간을 짧게 할 경우, 73 및 74의 차이는 0으로 수렴한다.
전술한 식별 장치는 다양한 장치들 속에 포함될 수 있다. 예를 들어 자율 주행하는 로봇이나 차량에 전술한 식별 장치가 배치될 수 있다. 또한 이들 식별 장치는 휴대폰이나 스마트폰을 일 실시예로 하며, 식별장치(100)는 스마트폰이나 휴대폰, 카메라와 같은 장치들이 촬영한 이미지를 다양하게 분류할 수 있다.
도 13 및 도 14를 정리하면, 하나의 카메라부(110)에는 레이저 필터가 선택적으로 배치되며, 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지 및 패턴을 포함하지 않는 제2이미지를 생성한다. 그리고 제어부(150)는 제1이미지에 포함된 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 제2이미지에 마스크를 적용하여 제2이미지로부터 특징을 추출한다.
여기서 제1이미지와 제2이미지는 동일한 카메라부(110)에서 촬영된 이미지이며 시간을 달리하고 레이저 패턴이 포함되느냐 되지 않느냐의 차이가 있을 뿐이다. 따라서 제1이미지와 제2이미지에 포함되는 사물은 큰 변화가 없다.
도 13 및 도 14의 식별 장치 역시 전술한 패턴을 기준으로 하는 유효 영역 판단과 마스크의 생성을 수행할 수 있다.
카메라부(110)가 레이저 필터 없이 촬영한 제2이미지에서 제어부(150)는 N개의 특징을 산출할 수 있다. 그 후, 제어부(150)는 카메라부(110)가 레이저 필터를 적용하여 촬영한 제1이미지(레이저 패턴이 포함되는 이미지) 및 앞서의 제2이미지를 비교하여 중첩된 영역을 산출하고 마스크를 제2이미지에 적용한다. 그 결과 제2이미지에서 불필요한 부분들이 삭제되므로 제어부(150)는 N 개의 특징 중 M 개의 특징을 선별한다. 여기서 M <= N이다.
도 16은 본 발명의 일 실시예에 의한 식별 장치가 로봇에 구현된 예시를 보여준다.
식별 장치는 로봇(1000)에 탑재될 수 있다. 로봇(1000)은 식별 장치(100)를 이용하여 근거리에 배치된 사물들을 인식한다. 로봇(1000)은 안내로봇, 카트로봇, 청소로봇 등을 일 실시예로 한다. 로봇(1000)은 식별 장치(100)의 제어에 따라 자율적으로 이동할 수 있다.
이동부(1090)는 로봇제어부(1050)가 생성한 이동 경로를 따라 로봇을 이동시킨다. 이동부(1090)는 구성요소인 바퀴를 회전시킴으로써 로봇을 이동시킬 수 있다. 로봇제어부(1050)는 식별장치(100)가 선별한 전방 이미지 내의 특징에 기반하여 로봇의 이동 경로를 생성할 수 있다.
장애물 센서(1020)는 로봇의 주변에 배치된 장애물을 센싱한다. 장애물 센서(1020)는 사람, 벽, 사물, 고정물 또는 설치물(installed object) 등과 로봇과의 거리를 센싱할 수 있다. 또는 장애물 센서(1020)는 로봇 주변의 사물/사람/설치물 등의 영상을 촬영할 수 있다.
인터페이스부(1030)는 디스플레이 화면을 포함하며 로봇(1000)이 소정의 정보를 출력하거나, 사용자로부터 지시를 받는다. 마이크를 포함하며 사용자로부터 음성 명령을 수신할 수 있다.
통신부(1080)는 외부와 정보를 송수신한다.
도 16의 로봇제어부(1050)는 인공지능모듈을 추가로 탑재할 수 있다. 로봇제어부(1050)는 식별 장치(100)가 생성한 마스크 및 이미지 내의 특징점과 장애물 센서(1020)가 센싱한 장애물과의 거리를 로봇제어부(1050) 내의 인공지능모듈에 입력하여 로봇의 주변 상황을 확인할 수 있다.
인공지능모듈은 기계학습(machine learning) 또는 딥러닝 네트워크(Deep Learning Network)를 일 실시예로 한다.
로봇제어부(1050)는 인공지능 모듈을 이용하여 상황인식(Context Awareness)을 수행할 수 있다. 마찬가지로, 센싱된 값들, 사용자의 제어, 또는 다른 카트로봇들이나 서버로부터 수신된 정보 등을 인공지능 모듈의 입력값으로 하여 로봇제어부(1050)는 로봇(1000)의 상황을 인식할 수 있다.
또한, 로봇제어부(1050)는 인공지능 모듈을 이용하여 식별 장치(100)가 생성한 마스크 및 이미지 내의 특징점의 정확도를 판독할 수 있다. 즉, 로봇제어부(1050)는 이미지 프로세싱(image processing)을 수행할 수 있다.
전술한 인공지능모듈은 추론 엔진(inference engine), 뉴럴 네트워크(neural network), 확률모델(probability model)을 포함할 수 있다. 그리고 인공지능 모듈은 다양한 데이터에 기반한 지도학습(supervised learning) 또는 비지도학습(unsupervised learning)을 수행할 수 있다.
또한, 인공지능모듈은 사용자의 음성을 인식하여 이로부터 정보를 추출하기 위해 자연어 처리(natural language processing)을 수행할 수 있다.
도 17은 본 발명의 일 실시예에 의한 식별 장치가 이미지에서 특징을 추출하는 과정을 보여준다.
식별 장치(100)의 레이저 출력부(130)가 레이저를 출력한다(S81). 제1카메라부(110)가 레이저 필터(115)를 이용하여 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지를 생성한다(S82).
한편 제2카메라부(120)는 제1카메라부(110)가 촬영하는 영역과 중첩되는 영역을 촬영하여 제2이미지를 생성한다(S83).
제어부(150)는 제1이미지에 포함된 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성한다. 그리고 제어부(150)는 제2이미지에 마스크를 적용하여 제2이미지로부터 특징을 추출한다(S84).
도 17의 플로우는 도 13 및 도 14의 구성에도 적용될 수 있다.
전술한 실시예들을 적용할 경우, 2차원의 이미지를 촬영하는 카메라부를 이용하여 촬영한 이미지를 이용하여 특징 매칭(feature matching)을 수행한다. 특징 매칭 과정에서 중요한 사물들의 특징들을 추출하여 매칭하기 위해, 제어부(150)는 이미지 내에서 의미없는 데이터(멀리 있는 사물의 이미지)를 아웃라이어(outlier)로 설정하여 이미지에서 제거하거나, 멀리 있는 사물로부터 특징을 추출하지 않도록 제어할 수 있다.
그리고 제어부(150)는 촬영된 이미지 내에서 멀리 배치된 사물과 가까이 배치된 사물을 구분하기 위해 레이저 패턴을 이용할 수 있다. 레이저가 사물에서 반사되는 물리적 특성에 기반할 경우, 식별장치(100) 또는 이를 포함하는 로봇(1000)은 유사 레이저 뎁스(pseudo laser depth) 기능을 제공하여 사물의 이미지에서 뎁스 정보를 확인할 수 있다.
그리고 제어부(150)는 가까이 배치된(레이저 패턴이 반사될 정도의 거리) 사물들의 이미지에서 특징을 추출하므로 중요한 특징들만 추출할 수 있다. 그 결과 제어부(150)는 매칭 성능을 향상시킬 수 있다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

Claims (17)

  1. 레이저를 출력하는 레이저 출력부;
    레이저 필터가 결합되어 상기 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지를 생성하는 제1카메라부;
    상기 제1카메라부가 촬영하는 영역과 중첩되는 영역을 촬영하여 제2이미지를 생성하는 제2카메라부; 및
    상기 제1이미지에 포함된 상기 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 상기 제2이미지에 상기 마스크를 적용하여 상기 제2이미지로부터 특징을 추출하는 제어부를 포함하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 패턴 중 외곽에 위치한 패턴을 기준으로 이격된 거리의 경계선을 생성하여 유효 영역을 생성하며,
    상기 제어부는 상기 제1이미지에서 상기 유효 영역만을 남기도록 상기 마스크는 생성하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 제1이미지 내에 다수의 패턴이 배치된 경우, 패턴들의 거리를 반영하여 상기 이격된 거리를 결정하거나 또는
    상기 제어부는 상기 제1이미지 내에서 동일한 사물의 경계선 내에 상기 패턴이 포함된 경우 상기 경계선 내의 영역을 상기 유효 영역에 포함시키는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  4. 제2항에 있어서,
    상기 레이저 출력부가 출력한 패턴과 상이한 형상의 패턴이 상기 제1이미지에 포함된 경우, 상기 제어부는 상기 상이한 형상의 패턴의 단면을 연장하여 상기 유효 영역을 생성하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  5. 제1항에 있어서,
    상기 제어부는 상기 패턴의 크기에 반비례하여 상기 패턴이 반사된 영역의 거리를 산출하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  6. 제1항에 있어서,
    상기 제2이미지는 N개의 특징을 포함하며,
    상기 제어부는 상기 제1이미지 및 상기 제2이미지를 비교하여 중첩된 영역을 산출하고, 상기 마스크를 상기 중첩된 영역에 적용하여 상기 N 개의 특징 중 M 개의 특징을 선별하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  7. 레이저를 출력하는 레이저 출력부;
    레이저 필터가 선택적으로 배치되며, 상기 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지 및 상기 패턴을 포함하지 않는 제2이미지를 생성하는 카메라부;
    상기 카메라부에 레이저 필터를 선택적으로 배치하는 필터 제어부;
    상기 제1이미지에 포함된 상기 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 상기 제2이미지에 상기 마스크를 적용하여 상기 제2이미지로부터 특징을 추출하는 제어부를 포함하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  8. 제7항에 있어서,
    상기 제어부는 상기 패턴 중 외곽에 위치한 패턴을 기준으로 이격된 거리의 경계선을 생성하여 유효 영역을 생성하며,
    상기 제어부는 상기 제1이미지에서 상기 유효 영역만을 남기도록 상기 마스크는 생성하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  9. 제8항에 있어서,
    상기 제어부는 상기 제1이미지 내에 다수의 패턴이 배치된 경우, 패턴들의 거리를 반영하여 상기 이격된 거리를 결정하거나 또는
    상기 제어부는 상기 제1이미지 내에서 동일한 사물의 경계선 내에 상기 패턴이 포함된 경우 상기 경계선 내의 영역을 상기 유효 영역에 포함시키는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  10. 제8항에 있어서,
    상기 레이저 출력부가 출력한 패턴과 상이한 형상의 패턴이 상기 제1이미지에 포함된 경우, 상기 제어부는 상기 상이한 형상의 패턴의 단면을 연장하여 상기 유효 영역을 생성하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  11. 제7항에 있어서,
    상기 제어부는 상기 패턴의 크기에 반비례하여 상기 패턴이 반사된 영역의 거리를 산출하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  12. 제7항에 있어서,
    상기 제2이미지는 N개의 특징을 포함하며,
    상기 제어부는 상기 마스크를 상기 제2이미지에 적용하여 상기 N 개의 특징 중 M 개의 특징을 선별하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 식별장치.
  13. 제1항 또는 제7항의 식별 장치를 포함하는 로봇에 있어서,
    주변에 배치된 사물을 센싱하는 장애물 센서;
    상기 식별 장치가 선별한 특징에 기반하여 상기 로봇의 이동 경로를 생성하는 로봇 제어부; 및
    상기 이동 경로를 따라 상기 로봇을 이동시키는 이동부를 포함하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 로봇.
  14. 레이저 출력부가 레이저를 출력하는 단계;
    제1카메라부가 레이저 필터를 이용하여 상기 레이저가 사물에서 반사된 패턴을 포함하는 제1이미지를 생성하는 단계;
    제2카메라부가 상기 제1카메라부가 촬영하는 영역과 중첩되는 영역을 촬영하여 제2이미지를 생성하는 단계; 및
    제어부가 상기 제1이미지에 포함된 상기 패턴을 이용하여 유효 영역을 구분하는 마스크를 생성하여 상기 제2이미지에 상기 마스크를 적용하여 상기 제2이미지로부터 특징을 추출하는 단계를 포함하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법.
  15. 제14항에 있어서,
    상기 제어부는 상기 패턴을 포함하며 상기 패턴 중 외곽에 위치한 패턴을 기준으로 이격된 거리의 경계선을 생성하여 유효 영역을 생성하며,
    상기 제어부는 상기 제1이미지에서 상기 유효 영역만을 남기도록 상기 마스크는 생성하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법.
  16. 제14항에 있어서,
    상기 제어부는 상기 패턴의 크기에 반비례하여 상기 패턴이 반사된 영역의 거리를 산출하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법.
  17. 제14항에 있어서,
    상기 제2이미지는 N개의 특징을 포함하며,
    상기 제어부는 상기 제1이미지 및 상기 제2이미지를 비교하여 중첩된 영역을 산출하고, 상기 마스크를 상기 중첩된 영역에 적용하여 상기 N 개의 특징 중 M 개의 특징을 선별하는 단계를 더 포함하는, 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법.
PCT/KR2019/005800 2019-05-14 2019-05-14 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇 WO2020230921A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/005800 WO2020230921A1 (ko) 2019-05-14 2019-05-14 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
US16/489,313 US11493931B2 (en) 2019-05-14 2019-05-14 Method of extracting feature from image using laser pattern and device and robot of extracting feature thereof
KR1020190089665A KR20190094302A (ko) 2019-05-14 2019-07-24 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/005800 WO2020230921A1 (ko) 2019-05-14 2019-05-14 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇

Publications (1)

Publication Number Publication Date
WO2020230921A1 true WO2020230921A1 (ko) 2020-11-19

Family

ID=67624615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005800 WO2020230921A1 (ko) 2019-05-14 2019-05-14 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇

Country Status (3)

Country Link
US (1) US11493931B2 (ko)
KR (1) KR20190094302A (ko)
WO (1) WO2020230921A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897334B (zh) * 2020-08-02 2022-06-14 珠海一微半导体股份有限公司 一种基于边界的机器人区域划分方法、芯片及机器人
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008873A1 (ko) * 2013-07-15 2015-01-22 엘지전자 주식회사 이종 카메라를 이용한 3차원 영상 인식 장치 및 방법
WO2017007166A1 (ko) * 2015-07-08 2017-01-12 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US20180059248A1 (en) * 2016-05-18 2018-03-01 James Thomas O'Keeffe Dynamically steered laser range finder
KR20180074976A (ko) * 2016-12-26 2018-07-04 황인복 멀티 카메라를 이용한 3차원 스캐너
KR101902969B1 (ko) * 2017-09-05 2018-11-07 최병찬 레이저 가공 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3867512B2 (ja) * 2000-06-29 2007-01-10 富士ゼロックス株式会社 画像処理装置および画像処理方法、並びにプログラム
JP3984018B2 (ja) * 2001-10-15 2007-09-26 ペンタックス株式会社 3次元画像検出装置及び3次元画像検出用アダプタ
KR100575708B1 (ko) * 2004-11-11 2006-05-03 엘지전자 주식회사 로봇청소기의 거리감지장치 및 방법
US20080123929A1 (en) * 2006-07-03 2008-05-29 Fujifilm Corporation Apparatus, method and program for image type judgment
KR100914961B1 (ko) * 2008-01-23 2009-09-02 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8311973B1 (en) * 2011-09-24 2012-11-13 Zadeh Lotfi A Methods and systems for applications for Z-numbers
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
CN103796004B (zh) * 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
US9612687B2 (en) * 2014-07-01 2017-04-04 Microsoft Technology Licensing, Llc Auto-aligned illumination for interactive sensing in retro-reflective imaging applications
JP6426968B2 (ja) * 2014-10-08 2018-11-21 キヤノン株式会社 情報処理装置およびその方法
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008873A1 (ko) * 2013-07-15 2015-01-22 엘지전자 주식회사 이종 카메라를 이용한 3차원 영상 인식 장치 및 방법
WO2017007166A1 (ko) * 2015-07-08 2017-01-12 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US20180059248A1 (en) * 2016-05-18 2018-03-01 James Thomas O'Keeffe Dynamically steered laser range finder
KR20180074976A (ko) * 2016-12-26 2018-07-04 황인복 멀티 카메라를 이용한 3차원 스캐너
KR101902969B1 (ko) * 2017-09-05 2018-11-07 최병찬 레이저 가공 장치 및 방법

Also Published As

Publication number Publication date
US20210365026A1 (en) 2021-11-25
KR20190094302A (ko) 2019-08-13
US11493931B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
WO2011052826A1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
WO2017030259A1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
WO2018230845A1 (ko) 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2011013862A1 (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2015194865A1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2020241930A1 (ko) 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
WO2019172645A1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
WO2020251099A1 (ko) 사용자의 현재 위치로 차량을 호출하는 방법
WO2023120831A1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2020145517A1 (en) Method for authenticating user and electronic device thereof
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2020204219A1 (ko) 인공지능을 이용한 사물 인식 학습에서 아웃라이어를 분류하는 방법 및 분류장치와 로봇
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2017007077A1 (ko) 감시 방법
WO2019225925A1 (ko) 객체 위치 추정 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19928571

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19928571

Country of ref document: EP

Kind code of ref document: A1