WO2020159024A1 - 비동일 카메라 기반 영상 처리 장치 - Google Patents
비동일 카메라 기반 영상 처리 장치 Download PDFInfo
- Publication number
- WO2020159024A1 WO2020159024A1 PCT/KR2019/010745 KR2019010745W WO2020159024A1 WO 2020159024 A1 WO2020159024 A1 WO 2020159024A1 KR 2019010745 W KR2019010745 W KR 2019010745W WO 2020159024 A1 WO2020159024 A1 WO 2020159024A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- camera
- image
- information
- pixel
- specific object
- Prior art date
Links
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 20
- 229920006395 saturated elastomer Polymers 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Definitions
- the present invention relates to a non-same camera based image processing apparatus. More specifically, it is applicable to a technical field of extracting at least one of two-dimensional information and three-dimensional information based on an RGB camera and an infrared camera.
- FIG. 1 shows an embodiment of a conventional stereo vision camera.
- the stereo vision camera is provided with two cameras 101 and 102 spaced apart at a predetermined distance d1.
- the stereo vision camera photographs the subject 300 present in the area 500 where each camera overlaps and calculates the disparity between the images of each camera to calculate the distance between the cameras 101 and 102 and the subject 300 ( d2) can be calculated.
- epipolar geometry may be used as a known technique.
- stereo vision using an RGB camera has a night vision problem
- stereo vision using an infrared camera has a problem in color recognition.
- the dual-band stereo vision system is a stereo vision system that includes both stereo vision using an RGB camera and stereo vision using an infrared camera.
- the dual-band stereo vision system includes the disadvantages of increasing the volume and weight of the sound image processing apparatus, there is a disadvantage that the cost increases, and there is difficulty in matching the images acquired in each band.
- the present invention is a non-same camera-based image processing apparatus, which aims to acquire complementary 2D information through each camera and 3D information through matched image information.
- a first camera for capturing a subject and obtaining a true color image a second camera provided at a distance from the first camera, and capturing an object to obtain an infrared image
- It includes a camera, a control unit connected to the first camera and the second camera, and the control unit matches the true color image and the infrared image, and matches the matched region in an area corresponding to an effective pixel of the matched true color image. It provides an image processing apparatus characterized by obtaining the three-dimensional information of the subject through the infrared image.
- the effective pixel provides an image processing apparatus characterized by being a pixel having a minimum amount of light and less than a saturated amount of light capable of distinguishing objects.
- control unit matches the representative pixel of the subject among the effective pixels to the ultraviolet image, and obtains the 3D information through a stereovision operation.
- the representative pixel provides an image processing apparatus comprising at least one of a contour pixel of the subject and a center pixel of the subject.
- the controller when the shape of a specific object is recognized in an area corresponding to the effective pixel, the controller forms the shape of the specific object based on information of a corresponding area in the matched ultraviolet image. It provides an image processing apparatus characterized in that it detects whether or not it corresponds to the actual specific object.
- control unit provides an image processing apparatus characterized by obtaining two-dimensional information of an area corresponding to an abnormal pixel of the matched true color image through the matched infrared image.
- the two-dimensional information provides an image processing apparatus characterized by including information related to the presence or absence of a specific object in an area corresponding to the abnormal pixel.
- the controller when the controller detects that the specific object exists through the 2D information, the controller adjusts the aperture of the first camera to convert the abnormal pixel into an effective pixel. It provides an image processing apparatus characterized by.
- the controller adjusts the aperture of the first camera, and then obtains 3D information of the specific object existing in an area corresponding to the abnormal pixel.
- a processing device is provided.
- the controller when the controller detects that the specific object exists through the two-dimensional information, the abnormal pixel is converted into a marked pixel through raw data for acquiring the true color image.
- an image processing apparatus characterized by switching and acquiring 3D information of the specific object existing in an area corresponding to the converted pay pixel.
- the control unit when the controller detects that the specific object exists through the 2D information, the control unit informs the user of the specific object through an output unit included in the image processing apparatus. It provides an image processing apparatus characterized in that the output.
- the output unit includes a display module for outputting the true color image, and the controller overlaps an infrared image corresponding to the specific object in an area corresponding to the abnormal pixel. It provides an image processing apparatus characterized in that the output.
- the first camera provides an image processing apparatus characterized in that it is a camera that detects visible light and near-infrared (NIR).
- NIR near-infrared
- the second camera is a far-infrared (Far-Infra-Red, FIR) or short-wavelength infrared (Short-Wave-Infra-Red, SWIR) to detect the camera, characterized in that An image processing apparatus is provided.
- FIR far-infrared
- SWIR short-wavelength infrared
- the present invention provides a solution for obtaining two-dimensional information that is complementary to each other by having a non-identical camera.
- the present invention provides a solution for obtaining 3D information through a non-identical camera.
- FIG. 1 shows an embodiment of a conventional stereo vision camera.
- FIG. 2 shows an embodiment of a non-identical stereo vision camera according to the present invention.
- FIG. 3 is a flowchart illustrating a method of acquiring 2D information and 3D information through a non-identical stereo vision camera according to the present invention.
- FIG. 4 shows a true color image and an infrared image matched by a non-identical stereo vision camera according to the present invention.
- 5 and 6 are diagrams for explaining effective pixels and abnormal pixels of a true color image obtained from a non-identical stereo vision camera according to the present invention.
- FIG. 7 is a view for explaining a method for acquiring 3D information through a true color image and an infrared image obtained from a non-identical stereo vision camera according to the present invention.
- FIG. 8 is a view for explaining a method of discriminating when a specific shape exists in a true color image obtained from a non-identical stereo vision camera according to the present invention.
- FIG. 9 is a diagram illustrating an embodiment of emphasizing and outputting a specific object through an infrared image when a specific object is detected in a true color image obtained from a non-identical stereo vision camera according to the present invention.
- FIG. 2 shows an embodiment of a non-identical stereo vision camera according to the present invention.
- the non-identical stereo vision camera of the present invention may include two non-identical cameras that detect different wavelength bands.
- One of the two non-identical cameras is a first camera 201 that captures the subject 300 to obtain a true color image, and the other is provided at a distance d1 from the first camera 201 to provide a subject. It may be a second camera 202 that captures 300 and acquires an infrared image.
- the first camera 201 may be a camera that detects visible light or a camera that detects visible light and near-infra-red (NIR). That is, the true color image may be an image obtained by sensing visible light or an image obtained by sensing visible light and near infrared rays.
- NIR near-infra-red
- near-infrared rays refer to wavelengths in the range of 0.7 to 1.0 um.
- the first camera 201 may include a CMOS image sensor (CIS) that detects visible light, and may be a camera that increases the visibility by extending a wavelength monitored from visible light to near infrared rays.
- CIS CMOS image sensor
- the second camera 202 is a far-infra-red (FIR)-sensing camera, or a middle-wave-infra-red (MWIR) or short-wave infrared (Shord-Wave-Infra-Red) , SWIR).
- FIR far-infra-red
- MWIR middle-wave-infra-red
- SWIR short-wave infrared
- the far-infrared refers to a wavelength near the 8-14um range
- the mid-wavelength infrared refers to the wavelength near the 3 ⁇ 5um range
- the short-wavelength infrared refers to the wavelength near the 1.0-2.5um range.
- Cameras that detect far-infrared and short-wavelength infrared light show excellent performance in identifying day/night pedestrians, and can be used as night vision equipment.
- the angles of view Fov1 and Fov2 of the first camera 201 and the second camera 202 are not necessarily the same. However, when the angle of view is different, it is necessary to compare each image information by matching through the feature points of the acquired image. In this regard, it will be described in detail through FIG. 4 below.
- the image image obtained by the first camera 201 and the second camera 202 may be obtained through disparity of.
- the method of acquiring the distance d2 to the subject 300 through stereo calculation corresponds to the correspondence of the subject 300 in the true color image acquired by the first camera 201 and the infrared image acquired by the second camera 202. Pixels may be extracted and distance d2 information may be obtained through disparity between corresponding pixels.
- the corresponding pixel may be at least one of pixels constituting the outline of the subject 300 or may be a central pixel. In this regard, it will be described in detail through FIG. 7 below.
- FIG. 2 shows an embodiment in which the second region 502 is photographed only by the second camera 202.
- the second region 502 only two-dimensional information included in the infrared image may be acquired.
- the second region 502 is photographed only by the first camera 201, only the two-dimensional information included in the true color image may be acquired in the second region 502.
- the second camera 202 may acquire the 2D information complementarily when the 2D information cannot be acquired by the first camera 101. Alternatively, it may be used for the purpose of confirming the 2D information acquired through the first camera 101. In this regard, it will be described in detail through FIG. 3 below.
- FIG. 3 is a flowchart illustrating a method of acquiring 2D information and 3D information through a non-identical stereo vision camera according to the present invention.
- FIG. 3 is a flowchart illustrating a method of acquiring 2D information and 3D information through the non-identical stereo vision camera of the present invention shown in FIG. 2.
- the non-identical stereo vision camera may acquire image data from the first camera 201 and the second camera 202.
- the first camera 201 is an RGB camera or detects near-infrared wavelengths. It may be a camera with an extended wavelength.
- the second camera 202 is an infrared camera that detects infrared wavelengths, and may be a far infrared or short wavelength infrared camera.
- the first camera 201 and the second camera 202 need to match the image data obtained with the same camera, respectively.
- S302 This is a process of matching the corresponding pixel in the image data. In the matching process, singularities of each image data may be used.
- 3D information or 2D information may be obtained according to a pixel value from image data acquired by the first camera 201.
- the 2D information may include moving object recognition information such as pedestrians and vehicles, fixed background object recognition information such as building traffic lights, and the like, additionally identify signals and signs, and may include text information.
- 3D information may be acquired through the image data acquired by the second camera 202.
- 2D information may be acquired through the image data acquired through the second camera 201.
- the effective pixel may be a pixel that absorbs an amount of light equal to or greater than a minimum light amount and a saturation light amount capable of distinguishing objects.
- the amount of light means the amount of light in a visible light band or a band including near infrared rays.
- the second camera 202 is a camera that acquires an infrared image, and has a low dependence on visible light illuminance to distinguish objects from rain in the first camera.
- a passive element that does not require an external light source is used.
- a clear image can be obtained even when the visible light is low, or a clear image can be obtained through the use of a separate transmitter. Therefore, it can be used to distinguish objects in place of the first camera 201 in the light saturation area or the area below the minimum light amount.
- the subject 300 when the subject 300 exists in an area corresponding to an effective pixel among the image data acquired by the first camera 201, the subject 300 is transmitted through the first camera 201 and the second camera 202. It can be distinguished, and distance information of the subject 300, that is, 3D information, can be obtained through binocular disparity of both cameras.
- the second camera may not be able to distinguish the subject 300 with the first camera 201.
- the subject 300 can be distinguished through 202. At this time, it is difficult to obtain 3D information because the object 300 is distinguished through one camera, but it may be useful in obtaining complementary 2D information.
- the object 300 when the object 300 cannot be distinguished from the image data acquired by the second camera 202, the object 300 may be distinguished through the first camera 101. That is, complementary two-dimensional information may be obtained from image data acquired by the second camera 202 through the first camera 101.
- FIG. 4 shows a true color image and an infrared image matched by a non-identical stereo vision camera according to the present invention.
- FIG. 4(a) shows an embodiment in which the non-identical stereo vision camera according to the present invention is provided in the vehicle 400
- FIG. 4(b) shows the stereo vision camera according to the present invention while driving the vehicle 400. It is a diagram showing matching image data obtained through.
- FIG. 4(b) is a diagram illustrating an infrared image 2021 obtained by the second camera 202 superimposed on a true color image 2011 obtained by the first camera 201.
- FIG. 4(b) visually easily represents the image data corresponding to the second region 502 by matching the true color image 2011 and the infrared image 2021 to the first region 501 It is for the purpose of not providing a video image as shown in FIG. 4(b) to the user.
- the true color image 2011 and the infrared image 2021 may be matched through singularities constituting the subjects 301 and 302. However, since the first camera 201 and the second camera 202 are spaced a certain distance and photograph the subjects 301 and 302, disparity may occur at the matching singularity.
- FIG. 5 illustrates an embodiment in which the angle of view of the first camera 201 is wider than that of the second camera 202, and in the second area 502 photographing only with the first camera 201, the first camera 201 Only two-dimensional information can be acquired through the acquired true color image.
- the signboard 303 existing in the second area 502 is distinguished, and text information included in the signboard 303 is extracted. Can.
- the first region 501 photographed through the first camera 201 and the second camera 202 may acquire three-dimensional information on the subjects 301 and 302.
- the traffic light 301 and the vehicle 302 are distinguished, respectively, and distance information can be obtained. Also, complementary 2D information can be obtained through each camera. For example, the color of the traffic light 301 may be distinguished through the true color image acquired by the first camera 201, and the vehicle 302 may be identified through the infrared image acquired through the second camera 202. Additional information can be obtained.
- the objects 301 and 302 cannot be distinguished from the first area 501 through the first camera 201.
- the first camera 201 is difficult to distinguish the objects 301 and 302.
- the present invention classifies effective pixels based on the amount of light in a true color image acquired through the first camera 201, obtains 3D information in an area corresponding to the effective pixel, and 2 in an area corresponding to the abnormal pixel. It is intended to disclose a technical idea of complementarily acquiring dimensional information.
- 5 and 6 are diagrams for explaining effective pixels and abnormal pixels of a true color image obtained from a non-identical stereo vision camera according to the present invention.
- FIG. 5(b) shows the true color image 2011 obtained from the vehicle 400 corresponding to FIG. 5(a).
- the true color image 2011 illustrated in FIG. 5B is regarded as an image corresponding to the first region 501.
- the true color image 2011 shown in FIG. 5( b) it includes an area 2013 in which the amount of light is insufficient to distinguish the object and an area 2012 in which the amount of light is suitable for distinguishing the object.
- the region 2013 in which objects cannot be distinguished from the region suitable for distinguishing objects may be regions in which the first region 501 is divided without overlapping.
- the region 2012 which is suitable for distinguishing an object from the amount of light, is an area corresponding to an effective pixel, and through the second camera 202, three-dimensional information of the subject 300 existing in the area may be obtained.
- the region 2013 where it is difficult to distinguish an object due to insufficient light amount is an area corresponding to an abnormal pixel, and it is difficult to obtain 2D information through the first camera 201. Therefore, in the area, the 2D information can be complementarily obtained through the second camera 202.
- the second camera 202 may recognize this.
- FIG. 6 illustrates an embodiment in which an area 2013 in which objects cannot be distinguished occurs in the true color image 2011 due to light saturation.
- the headlight 401 of the vehicle 400b that faces and runs as described in FIG. 6(a) is strong, or the backlight 600 In some cases, it may be caused by strong lighting around the outside.
- the two-dimensional information of the region 2013 in which objects cannot be distinguished from the true color image 2011 due to light saturation may be acquired through the second camera 202.
- the second camera 202 complements the 2D information that cannot be obtained through the first camera 201 It can be obtained through the feature.
- the area corresponding to the abnormal pixel (2013) by adjusting the aperture of the first camera 201 May be converted to an area 2012 corresponding to an effective pixel.
- the infrared rays obtained from the second camera 202 the 3D information of the specific object in the converted region It can be obtained through the image 2012.
- the infrared image obtained by the second camera 202 obtains the 3D information of the specific object in the converted area (2012).
- three-dimensional information (distance information) of the subject 300 is obtained through the true color image 2011 acquired through the first camera 201 and the infrared image 2012 acquired through the second camera 202. Let's see how.
- FIG. 7 is a view for explaining a method for acquiring 3D information through a true color image and an infrared image obtained from a non-identical stereo vision camera according to the present invention.
- the non-identical stereo vision camera extracts a representative pixel of the subject 300 from an area corresponding to an effective pixel in the true color image 2011, and uses the representative pixel to convert the true color image 2011 to an infrared image ( 2012), and obtain 3D information of the subject 300 through stereo vision calculation.
- the representative pixel may be one of pixels constituting the outline of the object 300 or a pixel constituting the frame 300a having the same shape surrounding the object 300.
- the representative pixel may be a center pixel 300b in which a distance difference is minimum in a pixel constituting the contour.
- the center pixel 300b may be a pixel selected by giving a different weight to a distance from a pixel representing the appearance of the subject.
- the distance of the subject 300 may be calculated through binocular disparity of the representative pixel.
- the non-uniform stereo vision camera according to the present invention may classify an object into the shape of the subject 300 based on data formed through machine learning.
- the present invention can be calculated by classifying only the distance of the main object.
- the present invention may use the infrared image 2012 acquired by the second camera 202 to distinguish objects in an area corresponding to the effective pixels.
- a method of recognizing an object supplementally using an infrared image 2012 obtained from the second camera 202 will be described.
- FIG. 8 is a view for explaining a method of discriminating when a specific shape exists in a true color image obtained from a non-identical stereo vision camera according to the present invention.
- the true color image 2011 may distinguish colors and feature points, thereby define the shape of the subject, and discriminate objects corresponding to the shape.
- FIG. 9 is a diagram illustrating an embodiment of emphasizing and outputting a specific object through an infrared image when a specific object is detected in a true color image obtained from a non-identical stereo vision camera according to the present invention.
- the non-identical stereo vision camera according to the present invention can extract distance information of the subject 300 through the infrared image 2012 when the subject 300 exists in an area corresponding to an effective pixel in the true color image 2011. have.
- the extracted distance information may be provided to the user through an output unit.
- a method of outputting a specific object may transmit a warning message through at least one of a speaker and a display.
- the display may output at least one of a true color image 2011 and an infrared image 2012 through a display, or may be provided by merging the two images.
- the subject 300 when the subject 300 exists in an area corresponding to an abnormal pixel in the true color image 2011, the subject 300 is checked in the infrared image 2012, and the infrared image 2012 corresponds to the area ) Can be displayed by overlapping.
- FIG. 9(a) is a true color image 2011 obtained through the first camera 201
- FIG. 9(b) is an infrared image 2012 obtained through the second camera 202
- 9(c) shows an image output through the display.
- FIG. 9 As shown in c), in the infrared image 212, some images including the specific object 300 may be displayed by overlapping the true color image 2011.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Vascular Medicine (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명은 피사체를 캡쳐하여 트루컬러 이미지를 획득하는 제1 카메라, 상기 제1 카메라에 이격되어 구비되고, 피사체를 캡쳐하여 적외선 이미지를 획득하는 제2 카메라, 상기 제1 카메라 및 상기 제2 카메라에 연결된 제어부를 포함하고, 상기 제어부는 상기 트루컬러 이미지와 상기 적외선 이미지를 매칭하고, 상기 매칭된 트루컬러 이미지와 유효픽셀에 대응되는 영역에서 상기 매칭된 자외선 이미지를 통해 상기 피사체의 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리장치를 제공한다.
Description
본 발명은 비동일 카메라 기반 영상 처리 장치에 관한 것이다. 보다 상세하게는, RGB 카메라 및 적외선 카메라 기반으로 이차원 정보 및 삼차원 정보 중 적어도 하나를 추출하는 기술 분야에 적용이 가능하다.
인간은 두 개의 눈의 시차를 이용해 사물을 입체적으로 볼 수 있다. 이와 같은 원리를 활용하여 두 대의 카메라를 사용하여 거리정보를 계산하는 스테레오 비전 카메라의 활용이 증가하고 있는 추세이다.
도 1은 기존 스테레오 비전 카메라의 일 실시예를 도시하고 있다.
스테레오 비전 카메라는 두 대의 카메라(101, 102)를 일정 거리(d1) 이격하여 구비한다. 스테레오 비전 카메라는 각 카메라가 겹쳐서 촬영 하는 영역(500)에 존재하는 피사체(300)를 촬영하고 각 카메라의 이미지간 시차(disparity)를 계산하여 카메라(101, 102)와 피사체(300)간 거리(d2)를 산출할 수 있다.
양안 시차(disparity)를 이용하여 피사체와의 거리를 측정하는 방법은 공지의 기술로 에피폴라 기하학(epipolar geometry)가 이용될 수 있다.
다만, 기존의 스테레오 비전 카메라는 동일 카메라를 기반으로 두 개의 이미지를 정합하고 있어, 단일 카메라 종류(단일 밴드(band)가 가지는 한계를 극복하는데 어려움이 있다.
예를 들어, RGB 카메라를 이용한 스테레오 비전은 야간 가시도 문제를 가지고 있으며, 적외선 카메라를 이용한 스테레오 비전은 색 인식에 문제를 가지고 있다.
이에 따라, 듀얼 밴드(dual-band) 스테레오 비전 시스템을 시도하고 있는 실정이다. 듀얼 밴드(dual-band) 스테레오 비전 시스템은 RGB 카메라를 이용한 스테레오 비전과 적외선 카메라를 이용한 스테레오 비전을 모두 포함하는 스테레오 비전 시스템이다.
다만, 이러한 듀얼 밴드 스테레오 비전 시스템음 영상 처리 장치의 부피 및 무게가 증가하는 단점을 포함하고 있으며, 비용이 증가하고, 각 밴드에서 획득한 영상을 정합하는데 어려움이 있다는 단점이 있다.
본 발명은 비동일 카메라 기반 영상 처리 장치로, 각각의 카메라를 통해 상호 보완적인 2차원 정보를 획득하고, 정합된 영상 정보를 통해 3차원 정보를 획득하는데 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따라, 피사체를 캡쳐하여 트루컬러 이미지를 획득하는 제1 카메라, 상기 제1 카메라에 이격되어 구비되고, 피사체를 캡쳐하여 적외선 이미지를 획득하는 제2 카메라, 상기 제1 카메라 및 상기 제2 카메라에 연결된 제어부를 포함하고, 상기 제어부는 상기 트루컬러 이미지와 상기 적외선 이미지를 매칭하고, 상기 매칭된 트루컬러 이미지의 유효 픽셀에 대응되는 영역에서 상기 매칭된 적외선 이미지를 통해 상기 피사체의 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 유효 픽셀은 사물을 분간할 수 있는 최소 광량 이상 및 포화 광량 이하의 픽셀인 것을 특징으로 하는 영상 처리 장치를 제공한다,
또한, 본 발명의 다른 실시예에 따라, 상기 제어부는 상기 유효픽셀 중 상기 피사체의 대표 픽셀을 상기 자외선 이미지에 정합하고, 스테레오비전 연산을 통해 상기 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 대표 픽셀은 상기 피사체의 윤곽 픽셀 및 상기 피사체의 중심 픽셀 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 제어부는 상기 유효 픽셀에 대응되는 영역에서 특정 대상물의 형상이 인지되는 경우, 상기 매칭된 자외선 이미지에서 대응되는 영역의 정보를 기초로 상기 특정 대상물의 형상이 실제 특정 대상물에 대응되는지 여부를 감지하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 제어부는 상기 매칭된 트루컬러 이미지의 이상 픽셀에 대응되는 영역의 2차원 정보를 상기 매칭된 적외선 이미지를 통해 획득하는 것을 특징으로 하는 영상 처리 장치를 제공하다.
또한, 본 발명의 다른 실시예에 따라, 상기 2차원 정보는 상기 이상 픽셀에 대응되는 영역에 특정 대상물의 유무에 관련된 정보를 포함하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 제어부는 상기 2차원 정보를 통해 상기 특정 대상물이 존재하는 것으로 감지한 경우, 상기 제1 카메라의 조리개를 조절하여 상기 이상 픽셀을 유효 픽셀로 전환하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 제어부는 상기 제1 카메라의 조리개를 조절한 후, 상기 이상픽셀에 대응되는 영역에 존재하는 상기 특정 대상물의 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 제어부는 상기 2차원 정보를 통해 상기 특정 대상물이 존재하는 것으로 감지한 경우, 상기 트루칼러 이미지를 획득하기 위한 로우 데이터를 통해 상기 이상 픽셀을 유표 픽셀로 전환하고, 상기 전환된 유료 픽셀에 대응되는 영역에 존재하는 상기 특정 대상물의 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명에 따른 다른 실시예에 따라, 상기 제어부는 상기 2차원 정보를 통해 상기 특정 대상물이 존재하는 것으로 감지한 경우, 상기 영상 처리 장치에 포함된 출력부를 통해 사용자에게 상기 특정 대상물에 대한 정보를 출력하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명에 따른 다른 실싱예에 따라, 상기 출력부는 상기 트루컬러 이미지를 출력하는 디스플레이 모듈을 포함하고, 상기 제어부는 상기 이상 픽셀에 대응되는 영역에 상기 특정 대상물에 대응되는 적외선 이미지를 오버랩하여 출력하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 제1 카메라는 가시광 및 근적외선(Near-Infra-Red, NIR)을 감지하는 카메라인 것을 특징으로 하는 영상 처리 장치를 제공한다.
또한, 본 발명에 따른 다른 실시예에 따라, 상기 제2 카메라는 원적외선(Far-Infra-Red, FIR) 또는 단파장 적외선(Short-Wave-Infra-Red, SWIR)을 감지하는 카메라인 것을 특징으로 하는 영상 처리 장치를 제공한다.
본 발명은 비 동일 카메라를 구비하여 상호 보완적인 2차원 정보를 획득하는 솔루션을 제공한다.
본 발명은 비 동일 카메라를 통해 3차원 정보를 획득하는 솔루션을 제공한다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 기존 스테레오 비전 카메라의 일 실시예를 도시하고 있다.
도 2는 본 발명에 따른 비동일 스테레오 비전 카메라의 일 실시예를 도시하고 있다.
도 3은 본 발명에 따른 비동일 스테레오 비전 카메라를 통해 2차원 정보 및 3차원 정보를 획득하는 방법을 나타낸 흐름도이다.
도 4는 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지와 적외선 이미지를 매칭하여 도시하고 있다.
도 5 및 6은 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지의 유효 픽셀과 이상 픽셀을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지와 적외선 이미지를 통해 3차원 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 8 은 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지에 특정 형상이 존재하는 경우 이를 감별하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지에 특정 대상을 감지한 경우, 적외선 이미지를 통해 특정 대상을 강조하여 출력하는 실시예를 도시하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
도 2는 본 발명에 따른 비동일 스테레오 비전 카메라의 일 실시예를 도시하고 있다.
본 발명의 비동일 스테레오 비전 카메라는 상이한 파장대를 감지하는 두 대의 비동일 카메라를 포함할 수 있다.
상기 두 개의 비동일 카메라 중 하나는 피사체(300)를 캡쳐하여 트루컬러 이미지를 획득하는 제1 카메라(201)이고, 다른 하나는 제1 카메라(201)에 일정 거리(d1) 이격되어 구비되어 피사체(300)를 캡쳐하여 적외선 이미지를 획득하는 제2 카메라(202) 일 수 있다.
구체적으로, 제1 카메라(201)는 가시광을 감지하는 카메라이거나, 가시광과 근적외선(Near-Infra-Red, NIR)을 감지하는 카메라일 수 있다. 즉, 상기 트루컬러 이미지는 가시광을 감지하여 획득한 이미지이거나, 가시광과 근적외선을 감지하여 획득한 이미지일 수 있다. 여기서 근적외선은 0.7~1.0um 범위 인근의 파장을 말한다.
제1 카메라(201)는 가시광을 감지하는 CMOS Image sensor(CIS)를 포함할 수 있으며, 감시하는 파장을 가시광에서 근적외선까지 확장하여 가시도를 높인 카메라일 수 있다.
또한, 제2 카메라(202)는 원적외선(Far-Infra-Red, FIR)를 감지하는 카메라이거나, 중파장 적외선(Middle-Wave-Infra-Red, MWIR) 또는 단파장 적외선(Shord-Wave-Infra-Red, SWIR)을 감지하는 카메라 일 수 있다. 여기서 원적외선 8~14um 범위 인근의 파장을 지칭하며, 중파장 적외선은 3~5um 범위 인근의 파장을 말하며, 단파장 적외선은 1.0~2.5um 범위 인근의 파장을 말한다.
원적외선 및 단파장 적외선을 감지하는 카메라는 주/야간 보행자를 식별하는데 탁월한 성능을 보이며, 야시장비로 활용이 가능하다.
제1 카메라(201)과 제2 카메라(202)의 화각(Fov1, Fov2)는 반드시 동일할 필요가 없다. 다만, 화각이 상이한 경우 획득한 이미지의 특징점을 통해 매칭하여 각 영상 정보를 비교할 필요가 있다. 이와 관련하여서는 이하 도 4를 통해 구체적으로 살펴본다.
제1 카메라(201)와 제2 카메라(202)가 겹쳐서 촬영하는 제1 영역(501)에 피사체(300)가 존재하는 경우 제1 카메라(201)와 제2 카메라(202)에서 획득한 영상 이미지의 시차(disparity)를 통해 비동일 스테레오 카메라에서부터 피사체(300)까지의 거리(d2)를 획득할 수 있다.
스테레오 연산을 통해 피사체(300)까지의 거리(d2)를 획득하는 방법은 제1 카메라(201)에서 획득한 트루컬러 이미지와 제2 카메라(202)에서 획득한 적외선 이미지에서 피사체(300)의 대응 픽셀을 추출하고, 대응 픽셀간 시차(disparity)를 통해 거리(d2) 정보를 획득할 수 있다.
여기서, 대응 픽셀은 피사체(300)의 윤곽을 구성하는 픽셀 중 적어도 하나이거나, 중심 픽셀일 수 있다. 이와 관련하여서는 이하 도 7을 통해 구체적으로 살펴본다.
제1 카메라(201)와 제2 카메라(202) 중 하나만 촬영하는 제2 영역(502)에서는, 촬영하는 카메라를 통해 2차원 정보를 획득할 수 있다. 도 2는 제2 영역(502)을 제2 카메라(202)로만 촬영하는 실시예를 도시하며, 이러한 경우 제2영역(502)에서는 적외선 이미지에 포함된 2차원 정보만을 획득할 수 있다. 이와 반대로, 제2 영역(502)을 제1 카메라(201)로만 촬영하는 경우, 제2 영역(502)에서는 트루컬러 이미지에 포함된 2차원 정보만을 획득할 수 있다.
제1영역(501)에서 제2 카메라(202)는 제1 카메라(101)로 2차원 정보를 획득할 수 없는 경우 보완적으로 2차원 정보를 획득할 수 있다. 또는, 제1 카메라(101)를 통해 획득한 2차원 정보를 확인하는 용도로 이용될 수 있다. 이와 관련하여 이하 도 3을 통해 구체적으로 살펴본다.
도 3은 본 발명에 따른 비동일 스테레오 비전 카메라를 통해 2차원 정보 및 3차원 정보를 획득하는 방법을 나타낸 흐름도이다.
구체적으로, 도 3은 도 2에 도시된 본 발명의 비동일 스테레오 비전 카메라를 통해 2차원 정보 및 3차원 정보를 획득하는 방법을 나타낸 흐름도이다.
본 발명에 따른 비동일 스테레오 비전 카메라는 제1 카메라(201) 및 제2 카메라(202)에서 영상 데이터를 획득할 수 있다.(S301) 제1 카메라(201)는 RGB 카메라 이거나 근적외선 파장까지 감지할 수 있는 파장이 확장된 카메라일 수 있다. 제2 카메라(202)는 적외선 파장을 감지하는 적외선 카메라로, 원적외선 또는 단파장 적외선을 감지하는 카메라일 수 있다.
제1 카메라(201) 및 제2 카메라(202)는 비동일 카메라로 각각 획득한 영상 데이터를 매칭시킬 필요가 있다.(S302) 영상 데이터에서 대응되는 픽셀을 매칭하는 과정이다. 매칭하는 과정은 각 영상 데이터의 특이점을 이용할 수 있다.
본 발명은 제1 카메라(201)에서 획득한 영상 데이터에서 픽셀 값에 따라 3D 정보 또는 2D 정보를 획득할 수 있다. 여기서, 2D 정보는 보행자, 차량 등의 이동 객체 인식 정보, 건물 신호등 등의 고정 배경 사물 인식 정보를 포함할 수 있으며, 추가적으로 신호 및 표지판을 식별하고, 텍스트 정보를 포함할 수 있다.
구체적으로, 제1 카메라(201)에서 획득한 영상 데이터의 픽셀 값이 유효한 경우(S303, Yes), 제2 카메라(202)에서 획득한 영상 데이터를 통해 3D 정보를 획득할 수 있다.
또한, 제1 카메라(201)에서 획득한 영상 데이터의 픽셀 값이 유효하지 않는 경우(S303, No) 제2 카메라(201)를 통해 획득한 영상 데이터를 통해 2D 정보를 획득할 수 있다.
여기서, 제1 카메라(201)에서 획득한 영상데이터의 픽셀 값이 유효한지 여부는 픽셀이 흡수한 광량을 통해 분간할 수 있다. 즉, 유효 픽셀은 사물을 분간할 수 있는 최소 광량 이상 및 포화 광량 이하의 광량을 흡수한 픽셀일 수 있다.
제1 카메라(201)는 트루컬러 이미지를 획득하는 카메라로 사물을 분간하는데 광량이 중요한 요인이 된다. 트루컬러 이미지에서 너무 밝은 영역(=광포화 픽셀에 대응되는 영역) 또는 너무 어두운 영역(=최소 광량 이하 픽셀에 대응되는 영역)에서는 사물을 분간하기 어렵다. 여기서의 광량은 가시광 대역 또는 근적외선을 포함하는 대역의 광량을 의미한다.
반면, 제2 카메라(202)는 적외선 이미지를 획득하는 카메라로 제1 카메라에 비에 사물을 분간하는데 가시광 조도에 대한 의존도가 낮다. 특히, 원적외선 카메라의 경우 외부 광원이 필요없는 passive 소자를 사용한다. 중파장 적외선 카메라 및 단파장 적외선 카메라의 경우 가시광 조도가 낮은 경우에도 선명한 이미지를 얻을 수 있거나, 별도의 트렌스미터(Transmitter) 사용을 통해 선명한 이미지를 얻을 수 있다. 따라서, 광포화 영역 또는 최소 광량 이하 영역에서 제1 카메라(201) 대신에 사물을 분간하는데 이용될 수 있다.
따라서, 제1 카메라(201)에서 획득한 영상 데이터 중 유효 픽셀에 대응되는 영역에 피사체(300)가 존재하는 경우, 제1 카메라(201) 및 제2 카메라(202)를 통해 피사체(300)를 분간할 수 있고, 양 카메라의 양안 시차(disparity)를 통해 피사체(300)의 거리 정보 즉, 3차원 정보를 획득할 수 있다.
다만, 제1 카메라(201)에서 획득한 영상 데이터 중 이상 픽셀에 대응되는 영역에 피사체(300)가 존재하는 경우, 제1 카메라(201)로는 피사체(300)를 분간할 수 없으므로, 제2 카메라(202)를 통해 피사체(300)를 분간할 있다. 이때는 하나의 카메라를 통해 피사체(300)를 분간하는 것이기 때문에 3차원 정보를 획득하기 어렵지만, 보완적인 2차원 정보를 획득하는 점에서 유용할 수 있다.
이와 마찬가지로, 제2 카메라(202)에서 획득한 영상 데이터에서 피사체(300)를 분간할 수 없는 경우, 제1 카메라(101)를 통해 피사체(300)를 분간할 있다. 즉, 제1 카메라(101)를 통해 제2 카메라(202)에서 획득한 영상 데이터에서 보완적인 2차원 정보를 획득할 수 있다.
도 4는 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지와 적외선 이미지를 매칭하여 도시하고 있다.
도 4(a)는 본 발명에 따른 비동일 스테레오 비전 카메라를 자동차(400)에 구비하는 실시예를 도시하고 있으며, 도 4(b) 는 자동차(400) 주행 중에 본 발명에 따른 스테레오 비전 카메라를 통해 획득한 영상 데이터를 매칭하여 도시한 도면이다.
구체적으로, 도 4(b)는 제1 카메라(201)로 획득한 트루컬러 이미지(2011)에 제2 카메라(202)로 획득한 적외선 이미지(2021)를 겹쳐 도시한 도면이다. 도 4(b)는 트루컬러 이미지(2011)와 적외선 이미지(2021)가 매칭되어 제1 영역(501)에 대응되는 영상 데이터 제2 영역(502)에 대응되는 영상 데이터를 시각적으로 용이하게 표현하기 위한 것으로 사용자에게 도 4(b)와 같은 영상 이미지가 제공되는 것은 아니다.
트루컬러 이미지(2011)와 적외선 이미지(2021)는 피사체(301, 302)를 구성하는 특이점을 통해 매칭할 수 있다. 다만, 제1 카메라(201)와 제2 카메라(202)는 일정 거리 이격되어 피사체(301, 302)를 촬영하는바 매칭되는 특이점에 시차(disparity)가 발생할 수 있다.
도 5는 제1 카메라(201)의 화각이 제2 카메라(202) 보다 넓은 실시예를 도시하고 있어, 제1 카메라(201)로만 촬영하는 제2 영역(502)에서는 제1 카메라(201)로 획득한 트루컬러 이미지를 통해 2차원 정보만을 획득할 수 있다.
구체적으로, 제1 카메라(201)를 통해 획득한 트루컬러 이미지(2011)를 통해 제2 영역(502)에 존재하는 간판(303)를 분간하고, 간판(303)에 포함된 텍스트 정보를 추출할 수 있다.
제1 카메라(201)와 제2 카메라(202)를 통해 촬영하는 제1 영역(501)은 피사체(301, 302)에 대한 3차원 정보를 획득할 수 있다.
구체적으로, 신호등(301) 및 자동차(302)를 각각 분간하고, 거리 정보를 획득할 수 있다. 또한, 각각의 카메라를 통해 상호 보완적인 2차원 정보를 획득할 수 있다. 예를 들어, 제1 카메라(201)로 획득한 트루컬러 이미지를 통해 신호등(301)의 색을 분간할 수 있으며, 제2 카메라(202)를 통해 획득한 적외선 이미지를 통해 자동차(302)임을 분별하기 위한 추가 정보를 획득할 수 있다.
다만, 경우에 따라서 제1 영역(501)에서 제1 카메라(201)를 통해 피사체(301, 302)를 분간할 수 없는 경우가 발생할 수 있다. 피사체(301, 302)가 너무 어두운 영역 또는 너무 밝은 영역에 위치하는 경우 제1 카메라(201)는 피사체(301, 302)를 분간하기 어렵다.
따라서, 본 발명은 제1 카메라(201)를 통해 획득한 트루컬러 이미지에서 광량을 기초로 유효픽셀을 구분하고, 유효 픽셀에 대응되는 영역에서 3차원 정보를 획득하고 이상 픽셀에 대응되는 영역에서 2차원 정보를 보완적으로 획득하는 기술적 사상을 개시하고자 한다.
도 5 및 6은 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지의 유효 픽셀과 이상 픽셀을 설명하기 위한 도면이다.
야간에 자동차(400)가 주행하는 경우, 도 5(a)에 도시된 바와 같이 헤드라이트 빔(401, 402, 403)의 도달 거리 및 주변 조명에 의해서 제1 카메라를 통해 획득한 트루컬러 이미지(2011)에서 유효 픽셀이 달라질 수 있다.
도 5(b)는 도 5(a)에 대응하여 자동차(400)에서 획득한 트루컬러 이미지(2011)의 도시하고 있다. 설명의 편의를 위해 도5(b)에 도시된 트루컬러 이미지(2011)는 제1 영역(501)에 대응되는 이미지로 간주한다.
도 5(b)에 도시된 트루컬러 이미지(2011)를 살펴보면, 광량이 부족하여 사물을 분간할 수 없는 영역(2013)과 광량이 사물을 분간하기에 적합한 영역 (2012)을 포함하고 있다. 사물을 분간할 수 없는 영역(2013)과 사물을 분간하기에 적합한 영역은 오버랩되지 않으면서, 제1 영역(501)를 분할하는 영역일 수 있다.
광량이 사물을 분간하기에 적합한 영역(2012)는 유효 픽셀에 대응되는 영역으로, 제2 카메라(202)를 통해 상기 영역에 존재하는 피사체(300)의 3차원 정보를 획득할 수 있다.
광량이 부족하여 사물을 분간하기 어려운 영역(2013)은 이상 픽셀에 대응되는 영역으로, 제1 카메라(201)를 통해 2차원 정보를 획득하기 어렵다. 따라서, 상기 영역에서는 제2 카메라(202)를 통해 2차원 정보를 보완적으로 획득할 수 있다.
예를 들어, 광량이 부족하여 제1 카메라(201)로 사물을 분간하기 어려운 영역(2013)에 사람이 지나가는 경우 제2 카메라(202)를 통해 이를 인지할 수 있다.
도 6는 광포화로 인해 트루컬러 이미지(2011)에서 사물을 분간할 수 없는 영역(2013)이 발생하는 실시예를 도시하고 있다.
광포화로 인해 트루컬러 이미지(2011)에서 사물을 분간할 수 없는 경우는 도 6(a)에서 설명한 바와 같이 마주하여 달리는 자동차(400b)의 헤드라이트(401)가 강한 경우, 또는 역광(600)에 의한 경우 외 주변의 강한 조명에 의한 경우가 있다.
광포화로 인해 트루컬러 이미지(2011)에서 사물을 분간할 수 없는 영역(2013)의 2차원 정보는 제2 카메라(202)를 통해 획득할 수 있다.
즉, 본 발명에 따른 비동일 스테레오 비전 카메라는 광량이 최고 기준 이하이거나, 광량이 포화 기준 이상인 경우 제1 카메라(201)를 통해 획득할 수 없는 2 차원 정보를 보완적으로 제2 카메라(202)를 통해 획득할 수 있는데 특징이 있다.
이상픽셀에 대응되는 영역의 광량을 조절하여 유효픽셀로 전환하는 경우를 고려할 수 있다.
이를 위해, 이상픽셀에 대응되는 영역(2013)에 제2 카메라(202)를 통해 특정 대상물이 존재하는 것으로 판단된 경우, 제1 카메라(201)의 조리개를 조절하여 이상픽셀에 대응되는 영역(2013)을 유효 픽셀에 대응되는 영역(2012)로 전환할 수 있다.
조리개의 조절을 통해 이상픽셀에 대응되는 영역(2013)이 유효 픽셀에 대응되는 영역(2012)로 전환된 경우, 전환된 영역에서 특정 대상물의 3차원 정보를 제2 카메라(202)에서 획득한 적외선 이미지(2012)를 통해 획득할 수 있다.
또한, 이상픽셀에 대응되는 영역(2013)에 제2 카메라(202)를 통해 특정 대상물이 존재하는 것으로 판단된 경우, 획득한 트루컬러 이미지의 로우 데이터를 통해 해당 영역을 유효 픽셀에 대응되는 영역(2012)로 전환할 수 있다.
로우 데이터를 통해 이상픽셀에 대응되는 영역(2013)이 유효 픽셀에 대응되는 영역(2012)로 전환된 경우, 전환된 영역에서 특정 대상물의 3차원 정보를 제2 카메라(202)에서 획득한 적외선 이미지(2012)를 통해 획득할 수 있다.
이하에서 제1 카메라(201)를 통해 획득한 트루 컬러 이미지(2011)와 제2 카메라(202)를 통해 획득한 적외선 이미지(2012)를 통해 피사체(300)의 3차원 정보(거리 정보)를 획득하는 방법을 살펴본다.
도 7은 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지와 적외선 이미지를 통해 3차원 정보를 획득하는 방법을 설명하기 위한 도면이다.
본 발명에 따른 비동일 스테레오 비전 카메라는 트루컬러 이미지(2011)에서 유효픽셀에 대응되는 영역에서 피사체(300)의 대표 픽셀 추출하고, 상기 대표 픽셀를 이용하여 상기 트루컬러 이미지(2011)를 적외선 이미지(2012)에 정합하고, 스테레오 비전 연산을 통해 상기 피사체(300)의 3차원 정보를 획득할 수 있다.
상기 대표 픽셀은 피사체(300)의 윤곽을 구성하는 픽셀 중의 하나이거나, 상기 피사체(300)를 감싸는 동일 형상의 프레임(300a)을 구성하는 픽셀일 수 있다. 또한, 경우에 따라서는 상기 대표 픽셀은 상기 윤곽을 구성하는 픽셀에서 거리 차가 최소가 되는 중심픽셀(300b)일 수 있다. 또는, 상기 중심 픽셀(300b)은 상기 피사체의 외형을 나타내는 픽셀과의 거리에 상이한 웨이트를 부여하여 선택된 픽셀일 수 있다.
상기 대표 픽셀의 양안 시차(disparity)를 통해 피사체(300)의 거리를 산출할 수 있다.
본 발명에 따른 비동일 스테레오 비전 카메라는 머신러닝을 통해 형성된 데이터에 기초하여, 피사체(300)의 형상으로 대상을 분별할 수 있다. 또한, 본 발명은 주요 대상의 거리만을 분별하여 산출할 수 있다.
본 발명은 유효픽셀에 대응되는 영역에서 사물을 분간하기 위해 제2 카메라(202)에서 획득한 적외선 이미지(2012)를 이용할 수 있다. 이하에서 제2 카메라(202)에서 획득한 적외선 이미지(2012)를 이용하여 사물을 보충적으로 분간하는 방법을 살펴본다.
도 8 은 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지에 특정 형상이 존재하는 경우 이를 감별하는 방법을 설명하기 위한 도면이다.
트루 컬러 이미지(2011)가 유효픽셀로만 구성되는 경우 제1 카메라(201)를 통해 2차원 정보를 용이하게 획득할 수 있다.
다만, 트루 컬러 이미지(2011)는 색상과 특징점을 분별하고 이를 통해 피사체의 형상을 정의하고, 해당 형상에 대응되는 대상물을 분별할 수 있다.
다만, 도 8에서 예시한 바와 같이 해당 형상이 그림이거나 간판인 경우에는 제1 카메라를 통해 실제 대상물이 존재하는지 여부를 구분하기 어려울 수 있다.
즉, 제1 카메라를 통해 사람(301) 및 동물(302)이 존재한 것으로 판단한 경우 이에 기초하여 사용자에게 잘못된 정보를 제공할 수 있다. 따라서, 제1 카메라를 통해 확인한 대상이 실제 대상에 해당하는지 여부를 제2 카메라(202)를 통해 획득한 2차원 정보를 통해 확인할 수 있다.
예를 들어, 제1 카메라(201)를 통해 사람(201)의 형상을 확인하였더라도, 제2 카메라(202)를 통해 획득한 열 분포 정보를 이용하여 해당 형상이 실제 사람에 대응되는 것이 아님을 분별할 수 있다.
도 9는 본 발명에 따른 비동일 스테레오 비전 카메라에서 획득한 트루컬러 이미지에 특정 대상을 감지한 경우, 적외선 이미지를 통해 특정 대상을 강조하여 출력하는 실시예를 도시하기 위한 도면이다.
본 발명에 따른 비동일 스테레오 비전 카메라는 트루컬러 이미지(2011) 에서 유효 픽셀에 대응되는 영역에 피사체(300)가 존재하는 경우 적외선 이미지(2012)를 통해 피사체(300)의 거리 정보를 추출할 수 있다.
상기 추출된 거리 정보는 출력부를 통해 사용자에게 제공될 수 있다.
또한, 본 발명에 따른 비동일 스테레오 비전 카메라는 트루컬러 이미지(2011)에서 이상 픽셀에 대응되는 영역에 피사체(300)가 존재하는 경우 적외선 이미지(2012)를 통해 피사체(300)의 형상 및 대상 분별하고, 출력부를 통해 사용자에게 상기 특정 대상물에 대한 정보를 출력할 수 있다. 특정 대상물을 출력하는 방법은 스피커 및 디스플레이 중 적어도 하나를 통해 경고 메시지 전달할 수 있다.
또한, 본 발명에 따른 비동일 스테레오 카메라는 디스플레이를 통해 디스플레이는 트루컬러 이미지(2011) 및 적외선 이미지(2012) 중 적어도 하나를 출력하건, 상기 두 개의 이미지를 병합하여 제공할 수 있다
예를 들어, 트루 컬러 이미지(2011)에서 이상 픽셀에 대응되는 영역에 피사체(300)가 존재하는 경우, 적외선 이미지(2012)에서 피사체(300)를 확인하고, 상기 영역에 대응되도록 적외선 이미지(2012)의 일부를 오버랩하여 표시할 수 있다.
또는, 트루 컬러 이미지(2011)에서 유효 픽셀에 대응되는 영역에 피사체(300)가 존재하더라도, 사용자가 쉽게 분간할 수 없는 광량인 경우, 적외선 이미지에서 피사체(300)를 포함하는 일부 이미지를 오버랩하여 표시할 수 있다.
구체적으로, 도 9(a)는 제1 카메라(201)를 통해 획득한 트루컬러 이미지(2011)이고, 도 9(b)는 제2 카메라(202)를 통해 획득한 적외선 이미지(2012)이며, 도 9(c)는 디스플레이를 통해 출력되는 이미지를 도시하고 있다.
트루컬러 이미지(2011)에서 이상픽셀에 대응되는 영역에 특정 대상물(300)이 존재하거나, 유효픽셀에 대응되는 영역에 특정 대상물(300)이 존재하더라도 사용자기 쉽게 분간할 수 없는 경우, 도 9(c)와 같이 적외선 이미지(212)에서 특정 대상물(300)를 포함하는 일부 이미지를 트루컬러 이미지(2011)에 오버랩하여 디스플레이 할 수 있다.
이러한 경우, 보다 사용자가 시각적으로 특정 대상물의 유무를 확인할 수 있다는 점에서 사용자가 대처하기 용이하다는 장점이 있을 수 있다
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
Claims (14)
- 피사체를 캡쳐하여 트루컬러 이미지를 획득하는 제1 카메라;상기 제1 카메라에 이격되어 구비되고, 피사체을 캡쳐하여 적외선 이미지를 획득하는 제2 카메라;상기 제1 카메라 및 상기 제2 카메라에 연결된 제어부;를 포함하고,상기 제어부는상기 트루컬러 이미지와 상기 적외선 이미지를 매칭하고,상기 매칭된 트루컬러 이미지의 유효 픽셀에 대응되는 영역에서 상기 매칭된 적외선 이미지를 통해 상기 피사체의 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리 장치.
- 제1항에 있어서,상기 유효 픽셀은사물을 분간할 수 있는 최소 광량 이상 및 포화 광량 이하의 광량을 흡수한 픽셀인 것을 특징으로 하는 영상 처리 장치.
- 제1항에 있어서,상기 제어부는상기 유효픽셀 중 상기 피사체의 대표 픽셀을 상기 자외선 이미지에 정합하고, 스테레오비전 연산을 통해 상기 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리 장치.
- 제 3항에 있어서,상기 대표 픽셀은상기 피사체의 윤곽 픽셀 및 상기 피사체의 중심 픽셀 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 장치.
- 제1항에 있어서,상기 제어부는상기 유효 픽셀에 대응되는 영역에서 특정 대상물의 형상이 인지되는 경우, 상기 매칭된 자외선 이미지에서 대응되는 영역의 정보를 기초로 상기 특정 대상물의 형상이 실제 특정 대상물에 대응되는지 여부를 감지하는 것을 특징으로 하는 영상 처리 장치.
- 제1항에 있어서,상기 제어부는상기 매칭된 트루컬러 이미지의 이상 픽셀에 대응되는 영역의 2차원 정보를 상기 매칭된 적외선 이미지를 통해 획득하는 것을 특징으로 하는 영상 처리 장치.
- 제6항에 있어서,상기 2차원 정보는상기 이상 픽셀에 대응되는 영역에 특정 대상물의 유무에 관련된 정보를 포함하는 것을 특징으로 하는 영상 처리 장치.
- 제7항에 있어서,상기 제어부는상기 2차원 정보를 통해 상기 특정 대상물이 존재하는 것으로 감지한 경우, 상기 제1 카메라의 조리개, 노출시간 또는 ISO 중 적어도 하나를 조절하여 상기 이상 픽셀을 유효 픽셀로 전환하는 것을 특징으로 하는 영상 처리 장치.
- 제8항에 있어서,상기 제어부는상기 제1 카메라의 조리개, 노출시간 또는 ISO 중 적어도 하나를 조절한 후, 상기 이상픽셀에 대응되는 영역에 존재하는 상기 특정 대상물의 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리 장치.
- 제7항에 있어서,상기 제어부는상기 2차원 정보를 통해 상기 특정 대상물이 존재하는 것으로 감지한 경우, 상기 트루컬러 이미지를 획득하기 위한 로우 데이터를 통해 상기 이상 픽셀을 유효 픽셀로 전환하고,상기 전환된 유효 픽셀에 대응되는 영역에 존재하는 상기 특정 대상물의 3차원 정보를 획득하는 것을 특징으로 하는 영상 처리 장치.
- 제7항에 있어서,상기 제어부는상기 2차원 정보를 통해 상기 특정 대상물을 감지한 경우, 상기 영상 처리 장치에 포함된 출력부를 통해 사용자에게 상기 특정 대상물에 대한 정보를 출력하는 것을 특징으로 하는 영상 처리 장치.
- 제11항에 있어서,상기 출력부는 상기 트루컬러 이미지를 출력하는 디스플레이 모듈을 포함하고,상기 제어부는상기 이상픽셀에 대응되는 영역에서 상기 특정 대상물에 대응되는 적외선 이미지를 오버랩하여 출력하는 것을 특징으로 하는 영상 처리 장치.
- 제1항에 있어서,상기 제1 카메라는가시광 및 근적외선(Near-Infra-Red, NIR)을 감지하는 카메라인 것을 특징으로 하는 영상 처리 장치.
- 제1항에 있어서,상기 제2 카메라는원적외선(Far-Infra-Red, FIR), 중파장 적외선(Middle-Wave-Infra-Red, MWIR) 및 단파장 적외선(Short-Wave-Infra-Red, SWIR) 중 적어도 하나를 감지하는 카메라인 것을 특징으로 하는 영상 처리 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/418,185 US11589028B2 (en) | 2019-02-01 | 2019-08-23 | Non-same camera based image processing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0013518 | 2019-02-01 | ||
KR1020190013518A KR102614494B1 (ko) | 2019-02-01 | 2019-02-01 | 비동일 카메라 기반 영상 처리 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020159024A1 true WO2020159024A1 (ko) | 2020-08-06 |
Family
ID=71841439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2019/010745 WO2020159024A1 (ko) | 2019-02-01 | 2019-08-23 | 비동일 카메라 기반 영상 처리 장치 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11589028B2 (ko) |
KR (1) | KR102614494B1 (ko) |
WO (1) | WO2020159024A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023210940A1 (ko) * | 2022-04-26 | 2023-11-02 | 삼성전자 주식회사 | 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법 |
KR20240136049A (ko) | 2023-03-06 | 2024-09-13 | 임강민 | 실화상과 열화상 이미지 사이의 픽셀차 보정 장치 및 보정 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150068550A (ko) * | 2013-12-11 | 2015-06-22 | 삼성전자주식회사 | 전경 물체 정보 획득 방법 및 장치. |
KR20150079638A (ko) * | 2012-10-24 | 2015-07-08 | 엘에스아이 코포레이션 | 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치 |
KR101796523B1 (ko) * | 2015-12-30 | 2017-11-15 | (주)이더블유비엠 | 가변조명 하의 깊이정보 정확도 향상방법 및 시스템 |
US9976967B2 (en) * | 2013-03-29 | 2018-05-22 | Snecma | System for detecting defects on an object |
JP2018106239A (ja) * | 2016-12-22 | 2018-07-05 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法、及び画像処理プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120090507A (ko) * | 2011-02-08 | 2012-08-17 | 엘지디스플레이 주식회사 | 집적 영상 방식의 입체 영상 표시 장치 |
KR102029335B1 (ko) | 2012-10-25 | 2019-10-07 | 에스케이텔레콤 주식회사 | 왜곡 영상 보정 장치 및 방법 |
KR101601475B1 (ko) * | 2014-08-25 | 2016-03-21 | 현대자동차주식회사 | 야간 주행 시 차량의 보행자 검출장치 및 방법 |
US10719727B2 (en) * | 2014-10-01 | 2020-07-21 | Apple Inc. | Method and system for determining at least one property related to at least part of a real environment |
-
2019
- 2019-02-01 KR KR1020190013518A patent/KR102614494B1/ko active IP Right Grant
- 2019-08-23 US US17/418,185 patent/US11589028B2/en active Active
- 2019-08-23 WO PCT/KR2019/010745 patent/WO2020159024A1/ko active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150079638A (ko) * | 2012-10-24 | 2015-07-08 | 엘에스아이 코포레이션 | 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치 |
US9976967B2 (en) * | 2013-03-29 | 2018-05-22 | Snecma | System for detecting defects on an object |
KR20150068550A (ko) * | 2013-12-11 | 2015-06-22 | 삼성전자주식회사 | 전경 물체 정보 획득 방법 및 장치. |
KR101796523B1 (ko) * | 2015-12-30 | 2017-11-15 | (주)이더블유비엠 | 가변조명 하의 깊이정보 정확도 향상방법 및 시스템 |
JP2018106239A (ja) * | 2016-12-22 | 2018-07-05 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法、及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20200095758A (ko) | 2020-08-11 |
US11589028B2 (en) | 2023-02-21 |
US20220070435A1 (en) | 2022-03-03 |
KR102614494B1 (ko) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020235819A1 (ko) | 인공지능을 이용한 영상 기반의 실시간 침입 감지 방법 및 감시카메라 | |
WO2014035128A1 (en) | Image processing system | |
WO2020159024A1 (ko) | 비동일 카메라 기반 영상 처리 장치 | |
WO2014035127A1 (en) | Apparatus for generating depth image | |
WO2012005387A1 (ko) | 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템 | |
WO2020045946A1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
WO2020159165A1 (ko) | 적외선 스테레오 카메라 | |
WO2013051786A1 (en) | Apparatus and method for measuring road flatness | |
WO2016024680A1 (ko) | 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스 | |
WO2017195965A1 (ko) | 차량 속도에 따른 영상 처리 장치 및 방법 | |
WO2020096263A1 (ko) | 이동체에 포함된 카메라 시스템 및 그 제어방법 | |
EP2109061B1 (en) | Image processing apparatus for vehicle | |
KR20160034064A (ko) | 차량 번호 인식 장치 및 그 방법 | |
WO2014051335A1 (ko) | 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법 | |
WO2012002601A1 (ko) | 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치 | |
WO2013022153A1 (en) | Apparatus and method for detecting lane | |
CN205249392U (zh) | 一种辅助驾驶设备的视频采集系统 | |
WO2021261724A1 (ko) | 인공치아 제조정보 생성방법 및 인공치아 제조 시스템 | |
JP2007045336A (ja) | 障害物検出システム及び障害物検出方法 | |
WO2021187775A1 (ko) | 이동 통신 단말기 | |
WO2020218716A1 (ko) | 자동 주차 장치 및 자동 주차 방법 | |
WO2022050742A1 (ko) | 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치 | |
WO2019031802A1 (ko) | 밝기 구간별 화질 보상 시스템 및 방법 | |
WO2016035931A1 (ko) | 차량의 운전 사각 모니터링 장치 및 그 방법 | |
WO2013024920A1 (ko) | 이미지 처리 방법 및 그 전자 기기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19914036 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19914036 Country of ref document: EP Kind code of ref document: A1 |