KR102086594B1 - Apparatus for stereo matching - Google Patents

Apparatus for stereo matching Download PDF

Info

Publication number
KR102086594B1
KR102086594B1 KR1020190038722A KR20190038722A KR102086594B1 KR 102086594 B1 KR102086594 B1 KR 102086594B1 KR 1020190038722 A KR1020190038722 A KR 1020190038722A KR 20190038722 A KR20190038722 A KR 20190038722A KR 102086594 B1 KR102086594 B1 KR 102086594B1
Authority
KR
South Korea
Prior art keywords
unit
image
stereo matching
rgb
target
Prior art date
Application number
KR1020190038722A
Other languages
Korean (ko)
Other versions
KR20190039051A (en
Inventor
이준서
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020190038722A priority Critical patent/KR102086594B1/en
Publication of KR20190039051A publication Critical patent/KR20190039051A/en
Priority to KR1020200026470A priority patent/KR102284187B1/en
Application granted granted Critical
Publication of KR102086594B1 publication Critical patent/KR102086594B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

스테레오 매칭장치가 개시된다. 본 발명의 일실시예에 따른 스테레오 매칭장치에 의하면, RGB 영상 및/또는 IR 영상을 취득하여 이를 깊이맵 추출에 이용함으로써, 저조도의 경우에도 정확하게 스테레오 매칭을 수행할 수 있다.A stereo matching device is disclosed. According to the stereo matching apparatus according to the embodiment of the present invention, by matching the RGB image and / or IR image and extracting the depth map, it is possible to accurately perform stereo matching even in low light.

Description

스테레오 매칭장치{APPARATUS FOR STEREO MATCHING}Stereo Matching Device {APPARATUS FOR STEREO MATCHING}

본 발명은 스테레오 매칭장치에 관한 것이다.The present invention relates to a stereo matching device.

잘 알려진 바와 같이, 사람의 시각은 주위 환경의 정보를 얻기 위한 감각의 하나로서, 두 눈을 통해 사물의 위치와 멀고 가까움을 인지할 수 있다. 즉, 두 눈을 통해 들어오는 시각정보들이 하나의 거리정보로 합성되면서 자유롭게 활동하는 것이다.As is well known, the human vision is one of the senses for obtaining information of the surrounding environment, and through the two eyes, one can recognize that the object is far and near. In other words, the visual information coming from both eyes is synthesized into one distance information and free to work.

이러한 시각구조를 기계로 구현할 때 사용되는 것이 스테레오 카메라 시스템이다. The stereo camera system is used to implement such a visual structure with a machine.

스테레오 카메라 시스템에서는 두 개의 카메라를 이용하여 얻은 영상에 대하여 스테레오 매칭(stereo matching)을 수행하는데, 이러한 스테레오 매칭 과정에서 스테레오 카메라는 두개의 카메라의 양안차를 이용하여 깊이맵(depth map)을 구한다. 이 깊이맵 데이터는 인식을 위해 사용된다. In a stereo camera system, stereo matching is performed on an image obtained by using two cameras. In this stereo matching process, a stereo camera obtains a depth map using binocular differences between two cameras. This depth map data is used for recognition.

본 발명이 해결하고자 하는 기술적 과제는, 저조도인 경우 IR 영상을 취득하여 스테레오 매칭에 사용하는 스테레오 매칭장치를 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in an effort to provide a stereo matching apparatus that uses IR matching to acquire an IR image in low light.

어느 하나를 취득하도록 제어하고, 상기 카메라부로부터 수신한 좌/우영상에 대해 스테레오 매칭을 수행하는 스테레오 매칭부를 포함할 수 있다.It may include a stereo matching unit that controls to acquire any one, and performs stereo matching on the left / right image received from the camera unit.

본 발명의 일실시예에서, 상기 카메라부는, 타겟에 대한 좌/우의 RGB 영상, RGB/IR 영상 및 IR 영상 중 어느 하나를 취득하는 좌영상 취득부; 타겟에 대한 좌/우의 RGB 영상, RGB/IR 영상 및 IR 영상 중 어느 하나를 취득하는 우영상 취득부; 조도를 검출하는 수광부; 및 상기 스테레오 매칭부의 제어에 의해, 타겟에 대해 적외선을 방사하는 적어도 하나 이상의 방사부를 포함할 수 있다.In one embodiment of the present invention, the camera unit, the left image acquisition unit for obtaining any one of the left and right RGB image, RGB / IR image and IR image for the target; A right image acquisition unit for acquiring any one of a left / right RGB image, an RGB / IR image, and an IR image with respect to the target; A light receiving unit for detecting illuminance; And at least one radiator radiating infrared rays to a target under the control of the stereo matching unit.

본 발명의 일실시예에서, 상기 방사부는, 단수 또는 복수의 적외선 소자를 포함할 수 있다.In one embodiment of the present invention, the radiator may include a single or a plurality of infrared elements.

본 발명의 일실시예에서, 상기 적외선 소자는, LD 또는 LED 중 어느 하나일 수 있다.In one embodiment of the present invention, the infrared device may be either LD or LED.

본 발명의 일실시예에서, 상기 카메라부는, 상기 방사부의 전단에 배치되며, 상기 방사부에서 방사되는 적외선을 소정 패턴으로 퍼지게 하는 스플리터를 더 포함할 수 있다.In one embodiment of the present invention, the camera unit, disposed in front of the radiator, may further include a splitter for spreading the infrared radiation emitted from the radiator in a predetermined pattern.

본 발명의 일실시예에서, 상기 스테레오 매칭부는, 상기 수광부가 검출한 조도가 소정 조도 이하인 경우, 상기 방사부를 온상태로 변경하도록 제어하는 제어부; 상기 좌영상 취득부 및 우영상 취득부로부터 수신한 좌/우영상이 동일한 시간에 수신되도록 조정하는 동기화부; 동기화된 좌/우영상이 동일한 에피폴라라인에 위치하도록 교정하는 정렬부; 및 정렬된 좌영상 및 우영상에 대하여 스테레오 매칭을 수행하여 깊이맵을 추출하는 매칭부를 포함할 수 있다.In one embodiment of the present invention, the stereo matching unit, the control unit for controlling to change the radiator to the on state when the illuminance detected by the light receiving unit is less than a predetermined illuminance; A synchronization unit for adjusting left and right images received from the left image acquisition unit and the right image acquisition unit at the same time; An alignment unit for correcting the synchronized left / right images to be located at the same epipolar line; And a matching unit extracting a depth map by performing stereo matching on the aligned left and right images.

본 발명의 일실시예에서, 상기 스테레오 매칭부는, 상기 제어부의 제어에 의해, 상기 방사부의 온/오프를 스위칭하는 스위칭부를 더 포함할 수 있다.In one embodiment of the present invention, the stereo matching unit may further include a switching unit for switching the on / off of the radiator under the control of the controller.

본 발명의 일실시예에서, 상기 카메라부로부터 교정과 관련된 데이터를 수신하여, 이를 정렬 파라미터로 변환하는 인코더부를 더 포함할 수 있다.In one embodiment of the present invention, it may further include an encoder for receiving the data related to the calibration from the camera unit, and converts it to an alignment parameter.

본 발명의 일실시예에서, 상기 정렬부는, 상기 인코더부로부터 수신한 상기 정렬 파라미터를 이용하여 좌/우영상을 교정할 수 있다.In one embodiment of the present invention, the alignment unit may correct the left / right image using the alignment parameter received from the encoder unit.

본 발명의 일실시예에서, 상기 제어부는, 상기 수광부가 검출한 조도가 소정 조도 이하인 경우 상기 방사부를 온상태로 변경하도록 제어하고, 상기 좌영상 취득부 및 우영상 취득부가 RGB/IR 영상 또는 IR 영상을 취득하도록 제어할 수 있다.In one embodiment of the present invention, the controller controls the radiator to be turned on when the illuminance detected by the light receiver is equal to or less than a predetermined illuminance, and the left image acquisition unit and the right image acquisition unit are RGB / IR image or IR It can be controlled to acquire an image.

또한, 상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예에 따른 스테레오 매칭장치는, 타겟에 대한 좌/우의 RGB 영상, 또는 RGB 영상 및 IR 영상(RGB/IR 영상)을 취득하는 카메라부; 및 상기 카메라부가 RGB 영상 또는 RGB/IR 영상을 취득하도록 제어하고, 상기 카메라부로부터 수신한 좌/우영상에 대해 스테레오 매칭을 수행하는 스테레오 매칭부를 포함할 수 있다.In addition, in order to solve the above technical problem, the stereo matching apparatus according to an embodiment of the present invention, the camera for acquiring the left and right RGB image, or RGB image and IR image (RGB / IR image) for the target part; And a stereo matching unit configured to control the camera unit to acquire an RGB image or an RGB / IR image, and perform stereo matching on the left / right image received from the camera unit.

본 발명의 일실시예에서, 상기 카메라부는, 타겟에 대한 좌/우의 RGB 영상 또는 RGB/IR 영상을 취득하는 좌영상 취득부; 타겟에 대한 좌/우의 RGB 영상 또는 RGB/IR 영상을 취득하는 우영상 취득부; 및 상기 스테레오 매칭부의 제어에 의해, 타겟에 대해 적외선을 방사하는 적어도 하나 이상의 방사부를 포함할 수 있다.In one embodiment of the present invention, the camera unit, the left image acquisition unit for acquiring the left / right RGB image or RGB / IR image for the target; A right image acquisition unit for acquiring a left / right RGB image or an RGB / IR image with respect to the target; And at least one radiator radiating infrared rays to a target under the control of the stereo matching unit.

본 발명의 일실시예에서, 상기 방사부는, 단수 또는 복수의 적외선 소자를 포함할 수 있다.In one embodiment of the present invention, the radiator may include a single or a plurality of infrared elements.

본 발명의 일실시예에서, 상기 적외선 소자는, LD 또는 LED 중 어느 하나일 수 있다.In one embodiment of the present invention, the infrared device may be either LD or LED.

본 발명의 일실시예에서, 상기 카메라부는, 상기 방사부의 전단에 배치되며, 상기 방사부에서 방사되는 적외선을 소정 패턴으로 퍼지게 하는 스플리터를 더 포함할 수 있다.In one embodiment of the present invention, the camera unit, disposed in front of the radiator, may further include a splitter for spreading the infrared radiation emitted from the radiator in a predetermined pattern.

본 발명의 일실시예에서, 상기 스테레오 매칭부는, 상기 좌영상 취득부 및 우영상 취득부로부터 수신한 좌/우영상이 동일한 시간에 수신되도록 조정하는 동기화부; 동기화된 좌/우영상이 동일한 에피폴라라인에 위치하도록 교정하는 정렬부; 정렬된 좌/우영상에 대하여 스테레오 매칭을 수행하여 깊이맵을 추출하는 매칭부; 및 좌/우영상의 픽셀의 평균이 임계값 이하인 경우, 상기 방사부를 온상태로 변경하도록 제어하는 광도검출부를 포함할 수 있다.In one embodiment of the present invention, the stereo matching unit, the synchronization unit for adjusting the left / right image received from the left image acquisition unit and the right image acquisition unit at the same time; An alignment unit for correcting the synchronized left / right images to be located at the same epipolar line; A matching unit which extracts a depth map by performing stereo matching on the aligned left / right images; And a light detector configured to control the radiator to be turned on when the average of the pixels of the left and right images is equal to or less than a threshold.

본 발명의 일실시예에서, 상기 스테레오 매칭부는, 상기 광도검출부의 제어에 의해, 상기 방사부의 온/오프를 스위칭하는 스위칭부를 더 포함할 수 있다.In one embodiment of the present invention, the stereo matching unit may further include a switching unit for switching the on / off of the radiator under the control of the light detector.

본 발명의 일실시예에서, 상기 카메라부로부터 교정과 관련된 데이터를 수신하여, 이를 정렬 파라미터로 변환하는 인코더부를 더 포함할 수 있다.In one embodiment of the present invention, it may further include an encoder for receiving the data related to the calibration from the camera unit, and converts it to an alignment parameter.

본 발명의 일실시예에서, 상기 정렬부는, 상기 인코더부로부터 수신한 상기 정렬 파라미터를 이용하여 좌/우영상을 교정할 수 있다.In one embodiment of the present invention, the alignment unit may correct the left / right image using the alignment parameter received from the encoder unit.

본 발명의 일실시예에서, 상기 제어부는, 좌/우영상의 픽셀의 평균이 임계값 이하인 경우, 상기 방사부를 온상태로 변경하도록 제어하고, 상기 좌영상 취득부 및 우영상 취득부가 RGB/IR 영상을 취득하도록 제어할 수 있다. In one embodiment of the present invention, the control unit, if the average of the pixel of the left / right image is less than the threshold value, controls to change the radiator to the on state, the left image acquisition unit and the right image acquisition unit RGB / IR It can be controlled to acquire an image.

타겟에 대하여 적외선을 방사하여, RGB 영상 및 IR 영상을 동시에 취득하여, 저조도의 경우에도 정확하게 깊이맵을 추출하고, 이에 의해 3차원 스테레오 매칭을 정확하게 수행하도록 하는 효과가 있다.By radiating infrared rays to a target, an RGB image and an IR image are simultaneously acquired, and even in low light, a depth map can be accurately extracted, thereby accurately performing three-dimensional stereo matching.

또한, 정상조도 상태에서는 일반동작을 수행하다가, 저조도시 이를 감지하고 RGB 영상에 더하여 IR 영상을 취득하거나, 또는 IR 영상만을 취득하고, 이를 이용하여 정확하게 깊이맵을 추출하고, 이에 의해 3차원 스테레오 매칭을 정확하게 수행하도록 하는 효과가 있다.In addition, while performing normal operation in a normal illumination state, it detects the low light and acquires an IR image in addition to an RGB image, or acquires only an IR image, and extracts a depth map using the 3D stereo matching. This has the effect of correctly performing.

도 1은 본 발명의 제1실시예에 따른 스테레오 매칭장치의 구성도이다.
도 2는 본 발명의 제2실시예에 따른 스테레오 매칭장치의 구성도이다.
도 3은 본 발명의 제3실시예에 따른 스테레오 매칭장치의 구성도이다.1 is a block diagram of a stereo matching apparatus according to a first embodiment of the present invention.
2 is a block diagram of a stereo matching apparatus according to a second embodiment of the present invention.
3 is a block diagram of a stereo matching apparatus according to a third embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 일실시예를 상세히 설명한다. Hereinafter, with reference to the accompanying drawings will be described an embodiment according to the present invention;

도 1은 본 발명의 제1실시예에 따른 스테레오 매칭장치의 구성도이다.1 is a block diagram of a stereo matching apparatus according to a first embodiment of the present invention.

도면에 도시된 바와 같이, 본 발명의 일실시예에 따른 스테레오 매칭장치는, 카메라부(1) 및 스테레오 매칭부(2)를 포함하며, 스테레오 매칭부(2)에서 추출된 스테레오 영상의 깊이맵이 인코더부(3)로 제공된다. 인코더부(3)는, 예를 들어 H.264로 수신되는 스테레오 영상을 코딩하는 것으로서, 영상코딩과 관련한 기술에 대해서는, 이미 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다 할 것이므로, 그 상세한 설명은 생략하기로 한다. 이하 본 발명의 일실시예의 설명에서, 같다.As shown in the figure, the stereo matching apparatus according to an embodiment of the present invention includes a camera unit 1 and a stereo matching unit 2, the depth map of the stereo image extracted from the stereo matching unit 2 This is provided to the encoder section 3. The encoder unit 3 encodes a stereo image, for example, received in H.264. As for the technique related to image coding, it is obvious to those skilled in the art. The detailed description thereof will be omitted. In the following description of one embodiment of the present invention, the same.

본 발명의 일실시예의 설명에서, 카메라부(1), 스테레오 매칭부(2) 및 인코더부(3)는 별도의 하드웨어로 구성되는 것과 같이 도시되어 있지만, 이에 한정되는 것은 아니며, 동일한 하드웨어(예를 들어, 카메라 등) 내에서 별도의 칩으로 구현되거나, 또는 하나의 칩으로 구현될 수 있다. In the description of one embodiment of the present invention, the camera unit 1, the stereo matching unit 2 and the encoder unit 3 are shown as being constituted by separate hardware, but are not limited thereto, and the same hardware (example For example, the camera may be implemented as a separate chip or a single chip.

본 발명의 일실시예에 따른 카메라부(1)는, 좌영상 취득부(11), 적외선 방사부(12) 및 우영상 취득부(13)를 포함하며, 타겟(target)에 대한 적녹청(Red-Green-Blue; RGB) 영상 및 적외선(Infrared; IR) 영상을 취득한다. 본 발명의 일실시예에서, 카메라부(1)의 구성요소는 도면에 도시된 방식으로 정렬되는 것에 한정되는 것이 아님은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다 할 것이다. The camera unit 1 according to an embodiment of the present invention includes a left image acquisition unit 11, an infrared radiation unit 12, and a right image acquisition unit 13, and include a red cyan ( Red-Green-Blue (RGB) images and infrared (IR) images are acquired. In an embodiment of the present invention, the components of the camera unit 1 are not limited to those arranged in the manner shown in the drawings, which will be apparent to those of ordinary skill in the art. will be.

좌영상 취득부(11) 및 우영상 취득부(13)는 예를 들어, 전하결합소자(Charge Coupled Device; CCD), 상보형 금속산화반도체(Complementary Metal-Oxide Semiconductor; CMOS) 센서 등의 카메라 센서로서, 각각 좌측 및 우측의 RGB 영상 및 IR 영상을 취득한다. 다만, 본 발명의 좌영상 취득부(11) 및 우영상 취득부(13)가 CCD 또는 CMOS센서에 한정되는 것을 의미하는 것은 아니며, 그와 유사한 기능을 수행하는 다른 소자의 적용을 배제하는 것이 아님은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다. The left image acquisition unit 11 and the right image acquisition unit 13 are, for example, a camera sensor such as a charge coupled device (CCD), a complementary metal-oxide semiconductor (CMOS) sensor, or the like. As a result, the left and right RGB images and the IR images are acquired, respectively. However, this does not mean that the left image acquisition unit 11 and the right image acquisition unit 13 of the present invention are not limited to the CCD or the CMOS sensor, and do not exclude the application of other elements that perform a similar function. Is obvious to those skilled in the art.

적외선 방사부(12)는 단수 또는 복수의 적외선 소자로 구성되어, 타겟에 대하여 적외선을 방사한다. 본 발명의 일실시예에서, 적외선 방사부(12)는 예를 들어, 레이저 다이오드(Laser Diode; LD) 또는 발광 다이오드(Light Emitting Diode; LED)와 같은 적외선 소자로 구성될 수 있지만, 적외선 소자가 이에 한정되는 것은 아니며, 적외선을 타겟에 대하여 방사할 수 있는 어떠한 적외선 소자의 적용을 배제하는 것은 아니다. The infrared radiation unit 12 is composed of a single or a plurality of infrared elements to emit infrared rays to the target. In one embodiment of the present invention, the infrared radiation unit 12 may be composed of, for example, an infrared device such as a laser diode (LD) or a light emitting diode (LED), It is not limited to this, and does not exclude the application of any infrared element capable of emitting infrared rays to the target.

본 발명의 일실시예에서는, 적외선 방사부(12)가 하나 배치되는 경우를 도시하였으나, 이에 한정되는 것이 아니다. 즉, 적외선 방사부(12)의 개수가 많을수록 출력이 높아지며, 이는 적외선의 인식범위를 늘리는 결과를 가져오므로, 저조도 및 원거리까지도 인식이 가능하며, 적절한 인식거리에 따라 적외선 방사부(12)의 개수를 결정할 수 있다. In one embodiment of the present invention, it is illustrated that one infrared radiation unit 12 is disposed, but is not limited thereto. That is, the greater the number of infrared radiation units 12, the higher the output, which results in increasing the recognition range of the infrared light, it is possible to recognize even low light and long distance, according to the appropriate recognition distance of the infrared radiation unit 12 The number can be determined.

한편, LD로 구성되는 적외선 방사부(12)는 직진성을 가지므로, 본 발명의 일실시예에 따른 스테레오 매칭장치는, 적외선 방사부(12)의 전단에 하드웨어적으로 스플리터(splitter)(도시되지 않음)를 더 포함하여, 적외선 방사부(12)에서 방사되는 적외선을 일정 패턴으로 퍼지도록 할 수 있다. On the other hand, since the infrared radiation unit 12 composed of LD has a straightness, the stereo matching device according to an embodiment of the present invention, the splitter (hard splitter) (not shown) in front of the infrared radiation unit 12 in hardware Not included), the infrared rays emitted from the infrared radiation unit 12 may be spread in a predetermined pattern.

본 발명의 제1실시예에 따른 좌영상 취득부(11) 및 우영상 취득부(13)는 RGB 영상 뿐 아니라, 적외선 방사부(12)에 의하여 방사된 적외선에 의한 IR 영상을 동시에 취득할 수 있다. The left image acquisition unit 11 and the right image acquisition unit 13 according to the first embodiment of the present invention may simultaneously acquire not only an RGB image but also an IR image by infrared rays emitted by the infrared radiation unit 12. have.

도 1의 스테레오 매칭부(2)는, 동기화부(21), 정렬부(22) 및 매칭부(23)를 포함한다. The stereo matching unit 2 of FIG. 1 includes a synchronization unit 21, an alignment unit 22, and a matching unit 23.

동기화부(21)는, 좌영상 취득부(11) 및 우영상 취득부(13)로부터 좌영상 및 우영상을 수신한다. 동기화부(21)는 수신한 좌영상 및 우영상의 동기화를 수행한다. 동기화란, 영상이 수신되는 시간을 동일하게 조정(align)하는 것을 말한다. 즉, 동기화부(21)는 수신되는 좌영상 및 우영상이 동일한 시간에 수신되도록 조정한다.The synchronization unit 21 receives the left image and the right image from the left image acquisition unit 11 and the right image acquisition unit 13. The synchronizer 21 synchronizes the received left and right images. Synchronization means to align the time the image is received equally. That is, the synchronization unit 21 adjusts the received left image and the right image at the same time.

정렬부(22)는, 동기화된 좌영상 및 우영상이 동일한 에피폴라라인(epipolarline)에 위치하도록 교정을 수행한다. 정렬부(22)의 정렬 수행과정에서, 인코더부(3)는 카메라부(1)의 좌영상 취득부(11) 및 우영상 취득부(13)로부터 캘리브레이션 데이터를 수신하고, 이를 정렬 파라미터로 변환하여 정렬부(22)에 전달한다. 정렬부(22)는 인코더부(3)로부터 수신한 정렬 파라미터를 이용하여, 동기화부(21)로부터 수신한 동기화가 수행된 영상에 대하여 교정을 수행할 수 있다.The alignment unit 22 performs correction so that the synchronized left image and the right image are located at the same epipolar line. In the alignment process of the alignment unit 22, the encoder unit 3 receives calibration data from the left image acquisition unit 11 and the right image acquisition unit 13 of the camera unit 1, and converts it into alignment parameters. To the alignment unit 22. The alignment unit 22 may calibrate the image on which the synchronization received from the synchronization unit 21 is performed using the alignment parameter received from the encoder unit 3.

매칭부(23)는, 정렬된 좌영상 및 우영상에 대하여 스테레오 매칭을 수행하여, 깊이맵(depth map)을 추출한다.The matching unit 23 extracts a depth map by performing stereo matching on the aligned left and right images.

정렬부(22) 및 매칭부(23)의 동작에 대해서는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명한 사항이므로, 그 상세한 설명은 생략하기로 한다.Operations of the alignment unit 22 and the matching unit 23 are obvious to those skilled in the art, and detailed descriptions thereof will be omitted.

이하, 도 1의 본 발명의 제1실시예에 따른 스테레오 매칭장치의 동작을 설명한다.Hereinafter, the operation of the stereo matching apparatus according to the first embodiment of the present invention of FIG.

본 발명의 제1실시예에 따른 스테레오 매칭장치에서, 적외선 방사부(12)는 항상 온상태로서, 타겟에 대하여 적외선을 방사하고, 좌영상 취득부(11) 및 우영상 취득부(13)는 각각 RGB 영상 및 IR 영상을 취득한다.In the stereo matching apparatus according to the first embodiment of the present invention, the infrared radiation unit 12 is always on, and emits infrared rays to the target, and the left image acquisition unit 11 and the right image acquisition unit 13 Acquire RGB image and IR image, respectively.

이후, 동기화부(21)는 좌우의 RGB 및 IR 영상에 대해 동기화를 수행하고, 이를 정렬부(22)로 출력한다. 정렬부(22)는 좌/우영상을 정렬하여, 이에 대해 매칭부(23)가 깊이맵을 추출하는 것에 의해 3차원 스테레오 매칭을 수행한다.Thereafter, the synchronization unit 21 synchronizes the left and right RGB and IR images, and outputs the same to the alignment unit 22. The alignment unit 22 aligns the left and right images, and the matching unit 23 performs 3D stereo matching by extracting the depth map.

이와 같이, 본 발명의 제1실시예에 의하면, 적외선 방사부(12)가 적외선을 방사하고, 좌영상 취득부(11) 및 우영상 취득부(13)는 RGB 영상 및 IR 영상을 취득하여 이를 이용해 스테레오 매칭을 수행함으로써, 저조도인 경우에도 정확하게 깊이맵을 추출하여, 이에 의해 정확하게 3차원 스테레오 매칭을 수행할 수 있다.As described above, according to the first exemplary embodiment of the present invention, the infrared radiation unit 12 emits infrared rays, and the left image acquisition unit 11 and the right image acquisition unit 13 acquire an RGB image and an IR image. By performing stereo matching, the depth map can be accurately extracted even in low light, thereby accurately performing 3D stereo matching.

도 2는 본 발명의 제2실시예에 따른 스테레오 매칭장치의 구성도이다.2 is a block diagram of a stereo matching apparatus according to a second embodiment of the present invention.

도면에 도시된 바와 같이, 본 발명의 제2실시예에 따른 스테레오 매칭장치는, 카메라부(1) 및 스테레오 매칭부(2)를 포함하며, 스테레오 매칭부(2)에서 추출된 스테레오 영상의 깊이맵이 인코더부(3)로 제공된다. As shown in the figure, the stereo matching apparatus according to the second embodiment of the present invention includes a camera unit 1 and a stereo matching unit 2, the depth of the stereo image extracted from the stereo matching unit 2 The map is provided to the encoder section 3.

본 발명의 제2실시예의 카메라부(1)는 좌영상 취득부(11), 적외선 방사부(12), 수광부(14) 및 우영상 취득부(13)를 포함하고, 스테레오 매칭부(2)는 동기화부(21), 정렬부(22), 매칭부(23), 제어부(24) 및 스위치부(25)를 포함한다. 본 발명의 제2실시예는, 도 1의 제1실시예와 카메라부(1)의 수광부(14) 및 스테레오 매칭부(2)의 제어부(24)와 스위치부(25)의 구성이 상이한 것으로서, 도 1의 제1실시예와의 상이점을 중점적으로 설명하기로 한다.The camera unit 1 of the second embodiment of the present invention includes a left image acquisition unit 11, an infrared radiation unit 12, a light receiving unit 14 and a right image acquisition unit 13, and a stereo matching unit 2 The synchronization unit 21 includes an alignment unit 22, a matching unit 23, a control unit 24, and a switch unit 25. The second embodiment of the present invention is different from the first embodiment of FIG. 1 in the configuration of the control unit 24 and the switch unit 25 of the light receiving unit 14 and the stereo matching unit 2 of the camera unit 1. The differences from the first embodiment of FIG. 1 will be mainly described.

카메라부(1)의 좌영상 취득부(11) 및 우영상 취득부(13)는 각각 좌측 및 우측의 RGB 영상 및/또는 IR 영상을 취득한다.The left image acquisition unit 11 and the right image acquisition unit 13 of the camera unit 1 acquire the left and right RGB images and / or IR images, respectively.

적외선 방사부(12)는 정상적인 조도에서는 오프(OFF)되어 있다가, 수광부(14)가 조도가 소정 조도 이하인 것을 검출한 경우, 제어부(21)의 제어에 의해 온(ON) 상태로 변경된다. 이에 대해서는, 추후 더욱 상세히 설명하기로 한다.The infrared radiation unit 12 is turned off under normal illuminance, and when the light receiving unit 14 detects that the illuminance is below a predetermined illuminance, the infrared radiating unit 12 changes to the on state under the control of the control unit 21. This will be described later in more detail.

수광부(14)는 카메라부(1)가 배치되는 장소의 빛을 수신하여, 수신한 빛의 조도를 후술하는 스테레오 매칭부(2)의 제어부(24)에 전달한다. 수광부(14)는, 예를 들어, 수광센서 또는 조도센서이지만, 이에 한정되는 것은 아니다. The light receiving unit 14 receives the light of the place where the camera unit 1 is disposed and transmits the illuminance of the received light to the control unit 24 of the stereo matching unit 2 described later. The light receiving unit 14 is, for example, a light receiving sensor or an illuminance sensor, but is not limited thereto.

스테레오 매칭부(2)의 제어부(24)는, 수광부(14)로부터 조도를 수신하여, 수신된 조도가 일정 조도 이하인 경우에는, 적외선 방사부(12)를 온하도록 스위치부(22)를 제어한다. 스위치부(22)는, 제어부(21)의 제어에 의해, 적외선 방사부(12)의 온/오프를 스위칭한다. The control unit 24 of the stereo matching unit 2 receives illuminance from the light receiving unit 14, and controls the switch unit 22 to turn on the infrared radiation unit 12 when the received illuminance is equal to or less than a predetermined illuminance. . The switch unit 22 switches the on / off of the infrared radiation unit 12 under the control of the control unit 21.

본 발명의 제2실시예에 따른 동기화부(21)는, 좌영상 취득부(11) 및 우영상 취득부(13)로부터 정상조도인 경우에는 RGB 영상을 수신하며, 소정 조도 이하인 경우에는 RGB 영상 및 IR 영상을 수신하거나, 또는 IR 영상만을 수신할 수도 있다. The synchronization unit 21 according to the second embodiment of the present invention receives the RGB image from the left image acquisition unit 11 and the right image acquisition unit 13 in the case of normal illumination, and in the case of the predetermined illumination or less, the RGB image. And an IR image or only an IR image.

이하에서는, 본 발명의 제2실시예에 따른 스테레오 매칭장치의 동작을 설명한다.Hereinafter, the operation of the stereo matching apparatus according to the second embodiment of the present invention will be described.

정상조도 상태에서는, 즉 수광부(14)가 검출한 조도가 정상범위인 경우, 본 발명의 제2실시예의 스테레오 매칭장치는, 좌영상 취득부(11) 및 우영상 취득부(13)가 취득한 RGB 영상에 대하여, 동기화부(21)가 동기화를 수행하고, 정렬부(22)가 좌/우영상을 정렬하여, 이에 대해 매칭부(23)가 깊이맵을 추출하는 것에 의해 3차원 스테레오 매칭을 수행한다. 이때, 적외선 방사부(12)의 전원은 오프상태이다.In the normal illuminance state, that is, when the illuminance detected by the light receiving unit 14 is in the normal range, the stereo matching device of the second embodiment of the present invention uses the RGB acquired by the left image acquisition unit 11 and the right image acquisition unit 13. For the image, the synchronization unit 21 performs synchronization, the alignment unit 22 aligns the left and right images, and the matching unit 23 performs 3D stereo matching by extracting a depth map. do. At this time, the power source of the infrared radiation unit 12 is off.

그러나, 수광부(14)가 검출한 빛의 조도가 소정 조도 이하인 경우, 제어부(24)는 스위치부(25)를 제어하여, 적외선 방사부(12)의 전원을 온상태로 변경한다.However, when the illuminance of the light detected by the light receiving portion 14 is equal to or less than the predetermined illuminance, the control section 24 controls the switch section 25 to change the power supply of the infrared radiating section 12 to the on state.

적외선 방사부(12)가 온상태로 변경되어, 타겟에 대하여 적외선을 방사한 경우, 좌영상 취득부(11) 및 우영상 취득부(13)는 각각 RGB 영상 및 IR 영상, 또는 IR 영상만을 취득한다. When the infrared radiation unit 12 is turned on and emits infrared rays to the target, the left image acquisition unit 11 and the right image acquisition unit 13 respectively acquire only an RGB image and an IR image or an IR image. do.

이후, 동기화부(21)는 좌우의 RGB 및 IR 영상, 또는 IR 영상에 대해 동기화를 수행하고, 정렬부(22)가 좌/우영상을 정렬하여, 이에 대해 매칭부(23)가 깊이맵을 추출하는 것에 의해 3차원 스테레오 매칭을 수행한다.Thereafter, the synchronizer 21 synchronizes the left and right RGB and IR images or the IR image, and the alignment unit 22 aligns the left and right images, and the matching unit 23 adjusts the depth map. Three-dimensional stereo matching is performed by extraction.

본 발명의 제2실시예에 의하면, 정상조도 상태에서는 일반동작을 수행하다가, 저조도시 이를 감지하고 RGB 영상에 더하여 IR 영상을 취득하거나 또는 IR 영상만을 이용하여, 정확하게 깊이맵을 추출하고, 이에 의해 3차원 스테레오 매칭을 정확하게 수행할 수 있다.According to the second embodiment of the present invention, while performing a normal operation in a normal illumination state, it detects the low light and acquires an IR image in addition to the RGB image, or extracts the depth map accurately using only the IR image. Three-dimensional stereo matching can be performed accurately.

도 3은 본 발명의 제3실시예에 따른 스테레오 매칭장치의 구성도이다.3 is a block diagram of a stereo matching apparatus according to a third embodiment of the present invention.

도면에 도시된 바와 같이, 본 발명의 제3실시예에 따른 스테레오 매칭장치는, 카메라부(1) 및 스테레오 매칭부(2)를 포함하며, 스테레오 매칭부(2)에서 추출된 스테레오 영상의 깊이맵이 인코더부(3)로 제공된다. As shown in the figure, the stereo matching apparatus according to the third embodiment of the present invention includes a camera unit 1 and a stereo matching unit 2, the depth of the stereo image extracted from the stereo matching unit 2 The map is provided to the encoder section 3.

본 발명의 제3실시예의 카메라부(1)는 좌영상 취득부(11), 적외선 방사부(12) 및 우영상 취득부(13)를 포함하고, 스테레오 매칭부(2)는 동기화부(21), 정렬부(22), 매칭부(23), 광도검출부(26) 및 스위치부(27)를 포함한다. 본 발명의 제3실시예는, 도 1의 제1실시예와 스테레오 매칭부(2)의 광도검출부(26)와 스위치부(27)의 구성이 상이한 것으로서, 도 1의 제1실시예와의 상이점을 중점적으로 설명하기로 한다.The camera unit 1 of the third embodiment of the present invention includes a left image acquisition unit 11, an infrared radiation unit 12 and a right image acquisition unit 13, and the stereo matching unit 2 includes a synchronization unit 21 ), An alignment unit 22, a matching unit 23, a light detector 26, and a switch unit 27. The third embodiment of the present invention is different from the first embodiment of FIG. 1 in that the light detector 26 and the switch 27 of the stereo matching unit 2 are different from each other. The differences will be explained mainly.

카메라부(1)의 좌영상 취득부(11) 및 우영상 취득부(13)는 각각 좌측 및 우측의 RGB 영상 및/또는 IR 영상을 취득한다.The left image acquisition unit 11 and the right image acquisition unit 13 of the camera unit 1 acquire the left and right RGB images and / or IR images, respectively.

적외선 방사부(12)는 정상적인 조도에서는 오프(OFF)되어 있다가, 스테레오 매칭부(2)의 광도검출부(26)가 소정 조도 이하인 것을 검출한 경우, 스위치부(27)의 스위칭에 의해 온(ON) 상태로 변경된다. When the infrared radiating unit 12 is turned off under normal illuminance and detects that the light intensity detecting unit 26 of the stereo matching unit 2 is below a predetermined illuminance, the infrared radiating unit 12 is turned on by switching of the switching unit 27. ON) state.

스테레오 매칭부(2)의 광도검출부(26)는, 동기화부(21)가 동기화를 수행한 RGB 영상을 수신하여, 영상의 픽셀값의 평균을 모니터링하고, 픽셀의 평균이 임계값 이하인 경우, 저조도로 판단하고, 스위치부(27)가 적외선 방사부(12)을 온상태로 변경하도록 한다. 광도검출부(26)는 스테레오 매칭부(2)에 제공되는 것으로, 소프트웨어 형식으로 제공될 수도 있다.The brightness detector 26 of the stereo matching unit 2 receives an RGB image synchronized by the synchronization unit 21, monitors an average of pixel values of the image, and when the average of pixels is equal to or less than a threshold, low light intensity The switch unit 27 changes the infrared radiation unit 12 to the on state. The light detector 26 is provided to the stereo matching unit 2 and may be provided in a software form.

스위치부(27)는, 광도검출부(26)의 제어에 의해, 적외선 방사부(12)의 온/오프를 스위칭한다. The switch unit 27 switches the on / off of the infrared radiation unit 12 under the control of the light intensity detection unit 26.

본 발명의 제3실시예에 따른 동기화부(21)는, 좌영상 취득부(11) 및 우영상 취득부(13)로부터 정상조도인 경우에는 RGB 영상을 수신하며, 소정 조도 이하인 경우에는 RGB 영상 및 IR 영상을 수신할 수 있다. 본 발명의 제3실시예에서는, 광도검출부(26)가 RGB 영상의 픽셀을 이용하여 광도의 평균을 검출하므로, RGB 영상은 조도에 관계없이 수신한다. The synchronization unit 21 according to the third embodiment of the present invention receives the RGB image from the left image acquisition unit 11 and the right image acquisition unit 13 in the case of normal illumination, and in the case of less than the predetermined illumination, the RGB image. And IR images. In the third embodiment of the present invention, since the light detector 26 detects the average of the light intensity using the pixels of the RGB image, the RGB image is received regardless of the illuminance.

본 발명의 제3실시예에 따른 스테레오 매칭장치의 상세한 동작을 설명하면 다음과 같다.The detailed operation of the stereo matching apparatus according to the third embodiment of the present invention will be described below.

정상조도 상태에서는, 즉 광도검출부(26)가 동기화부(21)로부터 수신한 RGB 영상의 픽셀의 평균값으로부터 정상조도로 판단한 경우, 본 발명의 제3실시예의 스테레오 매칭장치는, 좌영상 취득부(11) 및 우영상 취득부(13)가 취득한 RGB 영상에 대하여, 동기화부(21)가 동기화를 수행하고, 정렬부(22)가 좌/우영상을 정렬하여, 이에 대해 매칭부(23)가 깊이맵을 추출하는 것에 의해 3차원 스테레오 매칭을 수행한다. 이때, 적외선 방사부(12)의 전원은 오프상태이다.In the normal illuminance state, that is, when the light intensity detector 26 judges the normal illuminance from the average value of the pixels of the RGB image received from the synchronizer 21, the stereo matching apparatus of the third embodiment of the present invention uses the left image acquirer 11 ), The synchronization unit 21 synchronizes the RGB image acquired by the right image acquisition unit 13, the alignment unit 22 aligns the left and right images, and the matching unit 23 depths the image. Three-dimensional stereo matching is performed by extracting the map. At this time, the power source of the infrared radiation unit 12 is off.

그러나, 광도검출부(26)가 동기화부(21)로부터 수신한 RGB 영상의 픽셀의 평균값이 임계값 이하인 것으로 판단한 경우, 광도검출부(26)는 스위치부(27)를 제어하여, 적외선 방사부(12)의 전원을 온상태로 변경한다.However, when the light detector 26 determines that the average value of the pixels of the RGB image received from the synchronizer 21 is equal to or less than the threshold value, the light detector 26 controls the switch unit 27 to control the infrared emitter 12. Change the power to ON.

적외선 방사부(12)가 온상태로 변경되어, 타겟에 대하여 적외선을 방사한 경우, 좌영상 취득부(11) 및 우영상 취득부(13)는 각각 RGB 영상 및 IR 영상을 취득한다. When the infrared radiation unit 12 is turned on and emits infrared rays to the target, the left image acquisition unit 11 and the right image acquisition unit 13 acquire an RGB image and an IR image, respectively.

이후, 동기화부(21)는 좌우의 RGB 영상 및 IR 영상에 대해 동기화를 수행하고, 정렬부(22)가 좌/우영상을 정렬하여, 이에 대해 매칭부(23)가 깊이맵을 추출하는 것에 의해 3차원 스테레오 매칭을 수행한다.After that, the synchronization unit 21 synchronizes the left and right RGB image and the IR image, and the alignment unit 22 aligns the left and right images, and the matching unit 23 extracts the depth map. 3D stereo matching is performed.

본 발명의 제3실시예에 의하면, 정상조도 상태에서는 일반동작을 수행하다가, 저조도시 이를 감지하고 RGB 영상에 더하여 IR 영상을 취득하여, 정확하게 깊이맵을 추출하고, 이에 의해 3차원 스테레오 매칭을 정확하게 수행할 수 있다.According to the third embodiment of the present invention, while performing normal operation in a normal illuminance state, it detects this low light and acquires an IR image in addition to the RGB image, and accurately extracts a depth map, thereby accurately correcting three-dimensional stereo matching. Can be done.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.Although embodiments according to the present invention have been described above, these are merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent embodiments of the present invention are possible therefrom. Therefore, the true technical protection scope of the present invention will be defined by the following claims.

1: 카메라부 11: 좌영상 취득부
12: 적외선 방사부 13: 우영상 취득부
14: 수광부 2: 스테레오 매칭부
21: 동기화부 22: 정렬부
23: 매칭부 24: 제어부
25, 27: 스위치부 26: 광도검출부
3: 인코더부1: Camera unit 11: Left image acquisition unit
12: infrared radiation unit 13: right image acquisition unit
14: light receiver 2: stereo matching unit
21: synchronization unit 22: alignment unit
23: matching unit 24: control unit
25, 27: switch section 26: light detection section
3: encoder section

Claims (20)

조도를 검출하는 수광부;
타켓에 적외선을 방사하는 적어도 하나 이상의 방사부;
상기 수광부에 의해 검출된 조도 값을 기초로 상기 방사부의 작동을 제어하는 제어부;
상기 타겟에 대한 좌/우의 RGB 영상 및 IR 영상 중 적어도 하나의 좌/우 영상을 취득하는 카메라부;
상기 수광부에 의해 검출된 조도 값에 기초하여 상기 카메라부가 취득한 상기 타겟에 대한 좌/우 RGB 영상 및 IR 영상 중 적어도 하나를 수신하고, 수신한 영상을 이용하여 깊이맵을 추출하는 방식으로 스테레오 매칭을 수행하는 스테레오 매칭부를 포함하고
상기 스테레오 매칭부는,
상기 조도가 소정 조도 초과인 경우, 상기 타겟의 좌/우 RGB 영상만을 수신하여 깊이맵을 추출하고 상기 조도가 소정 조도 이하인 경우, 상기 타켓의 좌/우 RGB 영상 및 좌/우 IR 영상을 수신하여 깊이맵을 추출하는 스테레오 매칭장치.
A light receiving unit for detecting illuminance;
At least one radiation unit for emitting infrared rays to the target;
A controller for controlling the operation of the radiator based on the illuminance value detected by the light receiver;
A camera unit which acquires at least one left / right image of the left / right RGB image and the IR image of the target;
Stereo matching is performed by receiving at least one of a left / right RGB image and an IR image of the target acquired by the camera unit based on the illuminance value detected by the light receiving unit, and extracting a depth map using the received image. Includes a stereo matching unit to perform
The stereo matching unit,
When the illuminance exceeds a predetermined illuminance, only a left / right RGB image of the target is received to extract a depth map, and when the illuminance is below a predetermined illuminance, a left / right RGB image and a left / right IR image of the target are received. Stereo matching device to extract the depth map.
청구항 1에 있어서,
상기 제어부는,
상기 수광부에 의해 검출된 조도가 소정 조도 이하인 경우 상기 적외선이 방사되되도록 상기 방사부를 제어하는 스테레오 매칭장치.
The method according to claim 1,
The control unit,
And a stereo matching device controlling the radiator to emit the infrared rays when the illuminance detected by the light receiver is equal to or less than a predetermined illuminance.
삭제delete 삭제delete 청구항 1에 있어서,
상기 카메라부는,
상기 타겟에 대한 상기 RGB 영상과 상기 IR 영상 중 적어도 하나의 좌영상을 취득하는 좌영상 취득부; 및
상기 타겟에 대한 상기 RGB 영상과 상기 IR 영상 중 적어도 하나의 우영상을 취득하는 우영상 취득부를 포함하고
상기 좌영상 취득부 및 상기 우영상 취득부는 상기 RGB 영상과 상기 IR 영상을 동시에 취득하는 스테레오 매칭장치.
The method according to claim 1,
The camera unit,
A left image acquisition unit configured to acquire at least one left image of the RGB image and the IR image of the target; And
A right image acquisition unit configured to acquire at least one right image of the RGB image and the IR image of the target;
And the left image acquisition unit and the right image acquisition unit simultaneously acquire the RGB image and the IR image.
청구항 5에 있어서,
상기 스테레오 매칭부는,
상기 좌영상 취득부 및 상기 우영상 취득부로부터 수신한 상기 좌/우영상이 동일한 시간에 수신되도록 조정하는 동기화부를 포함하는 스테레오 매칭장치.
The method according to claim 5,
The stereo matching unit,
And a synchronization unit for adjusting the left / right images received from the left image acquisition unit and the right image acquisition unit to be received at the same time.
청구항 6에 있어서,
상기 스테레오 매칭부는,
동기화된 상기 좌/우영상이 동일한 에피폴라라인에 위치하도록 교정하는 정렬부; 및
정렬된 상기 좌/우영상에 대하여 매칭을 수행하여 상기 깊이맵을 추출하는 매칭부를 포함하는 스테레오 매칭장치.
The method according to claim 6,
The stereo matching unit,
An alignment unit to correct the synchronized left / right images to be located at the same epipolar line; And
And a matching unit configured to extract the depth map by performing matching on the aligned left / right images.
청구항 1에 있어서,
상기 스테레오 매칭부는,
상기 제어부의 제어에 의해, 상기 방사부를 온/오프를 스위칭하는 스위칭부를 포함하는 스테레오 매칭장치.
The method according to claim 1,
The stereo matching unit,
And a switching unit for switching the radiating unit on / off under the control of the controller.
청구항 1에 있어서,
상기 방사부는,
레이저 다이오드(LD) 및 발광 다이오드(LED) 중 적어도 하나를 포함하는 스테레오 매칭장치.
The method according to claim 1,
The radiating part,
Stereo matching device comprising at least one of a laser diode (LD) and a light emitting diode (LED).
청구항 5에 있어서,
상기 카메라부는 상기 방사부의 전단에 배치되고, 상기 방사부에서 방사되는 적외선을 소정 패턴으로 퍼지게 하는 스플리터를 포함하는 스테레오 매칭장치.
The method according to claim 5,
The camera unit is disposed in front of the radiator, the stereo matching device including a splitter for spreading the infrared radiation emitted from the radiator in a predetermined pattern.
타겟에 대한 좌/우의 RGB 영상 및 IR 영상 중 적어도 하나의 좌/우 영상을 취득하는 카메라부;
상기 타켓에 적외선을 방사하는 적어도 하나 이상의 방사부;
상기 좌/우 영상의 픽셀값의 평균이 임계값 이하인 경우, 상기 적외선이 방사되도록 제어하는 광도검출부; 및
상기 좌/우 영상의 픽셀값을 기초로 상기 카메라부가 취득한 상기 타겟에 대한 좌/우 RGB 영상 및 IR 영상 중 적어도 하나를 수신하고, 수신한 영상을 기초로 깊이맵을 추출하는 방식으로 스테레오 매칭을 수행하는 스테레오 매칭부를 포함하고,
상기 스트레오 매칭부는,
상기 좌/우 영상의 픽셀값의 평균이 상기 임계값을 초과하는 경우, 상기 타켓의 좌/우 RGB 영상만을 수신하여 깊이맵을 추출하고, 상기 좌/우 영상의 픽셀값의 평균이 상기 임계값을 이하인 경우, 상기 타켓의 좌/우 RGB 영상 및 좌/우 IR 영상을 수신하여 상기 깊이맵을 추출하는 스테레오 매칭장치.
A camera unit which acquires at least one left / right image of a left / right RGB image and an IR image of a target;
At least one radiation unit emitting infrared rays to the target;
A light detector for controlling the infrared rays to be emitted when an average of pixel values of the left and right images is equal to or less than a threshold value; And
Stereo matching is performed by receiving at least one of a left / right RGB image and an IR image of the target acquired by the camera unit based on pixel values of the left / right image, and extracting a depth map based on the received image. Includes a stereo matching unit to perform,
The stereo matching unit,
When the average of pixel values of the left and right images exceeds the threshold, only the left and right RGB images of the target are received to extract a depth map, and the average of pixel values of the left and right images is the threshold value. In the following case, the stereo matching device for extracting the depth map by receiving the left / right RGB image and the left / right IR image of the target.
삭제delete 삭제delete 청구항 11에 있어서,
상기 카메라부는,
상기 타겟에 대한 좌측의 상기 RGB 영상 또는 상기 RGB/IR 영상을 취득하는 좌영상 취득부; 및
상기 타겟에 대한 우측의 상기 RGB 영상 또는 상기 RGB/IR 영상을 취득하는 우영상 취득부를 포함하는 스테레오 매칭장치.
The method according to claim 11,
The camera unit,
A left image acquisition unit which acquires the RGB image or the RGB / IR image on the left side of the target; And
And a right image acquisition unit for acquiring the RGB image or the RGB / IR image on the right side of the target.
청구항 14에 있어서,
상기 스테레오 매칭부는,
상기 좌영상 취득부 및 상기 우영상 취득부로부터 수신한 상기 좌/우영상이 동일한 시간에 수신되도록 조정하는 동기화부;
동기화된 상기 좌/우영상이 동일한 에피폴라라인에 위치하도록 교정하는 정렬부; 및
정렬된 상기 좌/우영상에 대하여 스테레오 매칭을 수행하여 상기 깊이맵을 추출하는 매칭부를 포함하는 스테레오 매칭장치.
The method according to claim 14,
The stereo matching unit,
A synchronization unit for adjusting the left / right images received from the left image acquisition unit and the right image acquisition unit at the same time;
An alignment unit to correct the synchronized left / right images to be located at the same epipolar line; And
And a matching unit which extracts the depth map by performing stereo matching on the aligned left / right images.
청구항 15에 있어서,
상기 광도검출부는,
상기 동기화부에서 동기화를 수행한 상기 RGB 영상을 수신하여 상기 RGB 영상의 픽셀값의 평균을 모니터링하는 스테레오 매칭장치.
The method according to claim 15,
The light detection unit,
And receiving the RGB image synchronized by the synchronization unit to monitor the average of pixel values of the RGB image.
청구항 7 또는 청구항 15에 있어서,
상기 카메라부로부터 교정과 관련된 데이터를 수신하여, 이를 정렬 파라미터로 변환하는 인코더부를 포함하는 스테레오 매칭장치.
The method according to claim 7 or 15,
And an encoder unit which receives data related to calibration from the camera unit and converts the data related to the calibration into an alignment parameter.
청구항 17에 있어서,
상기 정렬부는,
상기 인코더부로부터 수신한 상기 정렬 파라미터를 이용하여 상기 좌/우영상을 교정하는 스테레오 매칭장치.
The method according to claim 17,
The alignment unit,
Stereo matching device for correcting the left / right image using the alignment parameter received from the encoder.
제1항의 스테레오 매칭장치를 포함하는 카메라 모듈.
Camera module comprising a stereo matching device of claim 1.
제19항의 카메라 모듈을 포함하는 이동 단말기.




A mobile terminal comprising the camera module of claim 19.




KR1020190038722A 2019-04-02 2019-04-02 Apparatus for stereo matching KR102086594B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190038722A KR102086594B1 (en) 2019-04-02 2019-04-02 Apparatus for stereo matching
KR1020200026470A KR102284187B1 (en) 2019-04-02 2020-03-03 Apparatus for stereo matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190038722A KR102086594B1 (en) 2019-04-02 2019-04-02 Apparatus for stereo matching

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120097101A Division KR101966975B1 (en) 2012-09-03 2012-09-03 Apparatus for stereo matching

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026470A Division KR102284187B1 (en) 2019-04-02 2020-03-03 Apparatus for stereo matching

Publications (2)

Publication Number Publication Date
KR20190039051A KR20190039051A (en) 2019-04-10
KR102086594B1 true KR102086594B1 (en) 2020-03-10

Family

ID=66163880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190038722A KR102086594B1 (en) 2019-04-02 2019-04-02 Apparatus for stereo matching

Country Status (1)

Country Link
KR (1) KR102086594B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117566A (en) * 2020-03-19 2021-09-29 삼성전자주식회사 Electronic device shooting by using flash

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101040121B1 (en) * 2008-12-22 2011-06-09 한국전자통신연구원 Method for measuring distance and system for stereo matching
KR101652393B1 (en) * 2010-01-15 2016-08-31 삼성전자주식회사 Apparatus and Method for obtaining 3D image

Also Published As

Publication number Publication date
KR20190039051A (en) 2019-04-10

Similar Documents

Publication Publication Date Title
KR101966975B1 (en) Apparatus for stereo matching
KR101966976B1 (en) 3-dimensional image processing system
KR20210090134A (en) Apparatus and method for extracting depth map
US20170034499A1 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
US6876392B1 (en) Rangefinder for obtaining information from a three-dimensional object
US10218960B2 (en) Stereoscopic imaging apparatus
CN104935790A (en) Imaging system
CN109035193A (en) A kind of image processing method and imaging processing system based on binocular solid camera
TW201724027A (en) Generating a disparity map having reduced over-smoothing
KR102086594B1 (en) Apparatus for stereo matching
US20170156590A1 (en) Line-of-sight detection apparatus
KR101407818B1 (en) Apparatus and method for extracting depth image and texture image
KR102284187B1 (en) Apparatus for stereo matching
KR102442594B1 (en) cost volume calculation apparatus stereo matching system having a illuminator and method therefor
US11589028B2 (en) Non-same camera based image processing apparatus
KR102147120B1 (en) 3-dimensional image processing system
KR102135372B1 (en) Structured light system
KR101945969B1 (en) object color independence camera communication system and method thereof
KR101932411B1 (en) Method of gaining of blended image using stereo visible light camera and thermal image camera
KR20170032158A (en) Imaging apparatus
KR101082329B1 (en) Apparatus for object position estimation and estimation method using the same
US20200273194A1 (en) Three-dimensional imaging device and three-dimensional imaging condition adjusting method
JP2019117162A (en) Test object detection device
KR20150104846A (en) Method and apparatus for generating three dimensional image using a monoscopic camera

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant