KR20210096517A

KR20210096517A - RGB-LiDAR Device and the method for controlling the Device

Info

Publication number: KR20210096517A
Application number: KR1020200010073A
Authority: KR
Inventors: 황대환
Original assignee: 한국전자통신연구원
Priority date: 2020-01-28
Filing date: 2020-01-28
Publication date: 2021-08-05

Abstract

An RGB-LiDAR device in accordance with an embodiment disclosed in the present document comprises: a first camera and a second camera capable of capturing a visible light image and an invisible light image having the same sight of view; a projector capable of projecting invisible light; and a processor. The processor can be configured to: project an invisible light texture through the projector; obtain a first visible light image and a first invisible light image through the first camera, while the invisible light texture is projected; obtain a second visible light image and a second invisible light image through the second camera, while acquiring the first visible light image and the first invisible light image; and determine a depth value based on a parallax disparity value between the first visible light image and the first invisible light image and a parallax disparity value between the second visible light image and the second invisible light image. The present invention can increase the reliability of depth calculation based on the visible light image and the invisible light image.

Description

RGB-LiDAR Device and the method for controlling the Device

본 문서에서 개시되는 다양한 실시 예들은, 거리 산출 기술과 관련된다.Various embodiments disclosed in this document relate to a distance calculation technique.

사람은 두 개의 눈으로 주변 환경을 총 천연색으로 3차원 인식할 수 있다. 이러한 총 천연색은 레드(R), 그린(R), 블루(B)로 구성되고 태양에 의해 방사되는 파장(이하, “태양 방사 파장”이라 함)의 극히 일부인 가시광 대역(400nm~700nm)에 해당된다. 도 1을 참조하면, 파장 대역 별 이미지는 각기 다른 반사 및 투과 특성을 가질 수 있다. 이와 마찬가지로, 태양 방사 파장은 파장 대역 별로 각기 고유한 특성을 가질 수 있다. 태양 방사 파장 중 사람이 볼 수 없는 감마광, x-ray, 적외선 및 테라헬즈는 각기 고유한 반사 및 투과 특성을 가진다. 예를 들어, 열적외선 대역(MWIR, LWIR)은 물체의 온도를 감지하고 별도의 조명 없이도 주변 환경을 온도 색으로 가시화할 수 있다. 또한, 열적외선 대역은 특정 주파수 대역은 구름 및 안개를 통과하여 악천후에 강건한 특성을 가진다. With two eyes, a person can perceive the environment in three dimensions in full color. These total natural colors are composed of red (R), green (R), and blue (B) and correspond to the visible light band (400 nm to 700 nm), which is only a fraction of the wavelength emitted by the sun (hereinafter referred to as “solar radiation wavelength”). do. Referring to FIG. 1 , an image for each wavelength band may have different reflection and transmission characteristics. Likewise, solar radiation wavelengths may have unique characteristics for each wavelength band. Among the wavelengths of solar radiation, gamma rays, x-rays, infrared rays, and terahels, which cannot be seen by humans, each have their own reflection and transmission characteristics. For example, thermal infrared bands (MWIR, LWIR) can detect the temperature of an object and visualize the surrounding environment as a temperature color without additional lighting. In addition, a specific frequency band of the thermal infrared band passes through clouds and fog, and has a robust characteristic in bad weather.

최근, 태양 방사 파장의 특성을 분석하여 사람의 인식 한계를 극복하려는 추세가 다중파장 영상(Multi-spectral Image), 하이퍼파장 영상(Hyper-spectral Image) 센싱 기술과 그 응용 분야로 확대되고 있다. 예를 들어, 2차원에 한정된 영상을 실제 세계에 대응하는 3차원으로 확대하려는 개발도 활발히 진행되고 있다. Recently, the trend of overcoming the recognition limit of humans by analyzing the characteristics of solar radiation wavelength is expanding to multi-spectral image and hyper-spectral image sensing technologies and their application fields. For example, development of expanding an image limited in 2D to 3D corresponding to the real world is also being actively conducted.

본 문서에 개시되는 다양한 실시 예들은 가시광 영상 및 비가시광 영상에 기반하여 뎁스 산출의 신뢰도를 높일 수 있는 RGB-LiDAR 장치 및 그 제어 방법을 제공할 수 있다.Various embodiments disclosed in this document may provide an RGB-LiDAR device capable of increasing the reliability of depth calculation based on a visible light image and a non-visible light image, and a method for controlling the same.

본 문서에 개시되는 일 실시 예에 따른 RGB-LiDAR 장치는, 동일한 시점(sight of view)을 갖는 가시광 영상 및 비가시광 영상을 각기 촬영 가능한 제1 카메라와 제2 카메라; 비가시광을 투사 가능한 투사기; 및 프로세서를 포함하고, 상기 프로세서는, 상기 투사기를 통해 비가시광 텍스처를 투사하고, 상기 비가시광 텍스처가 투사되는 동안에, 상기 제1 카메라를 통해 제1 가시광 영상 및 제1 비가시광 영상을 획득하고, 상기 제1 가시광 영상 및 상기 제1 비가시광 영상을 획득하는 동안에, 상기 제2 카메라를 통해 제2 가시광 영상 및 제2 비가시광 영상을 획득하고, 상기 제1 가시광 영상과 상기 제1 비가시광 영상 간의 시차 변이 값 및 상기 제2 가시광 영상과 상기 제2 비가시광 영상 간의 시차 변이 값에 기반하여 뎁스 값을 결정할 수 있다.An RGB-LiDAR device according to an embodiment disclosed in this document includes: a first camera and a second camera capable of respectively capturing a visible light image and a non-visible light image having the same sight of view; Projector capable of projecting invisible light; and a processor, wherein the processor projects an invisible light texture through the projector, and while the invisible light texture is projected, obtains a first visible light image and a first invisible light image through the first camera, While acquiring the first visible light image and the first non-visible light image, a second visible light image and a second invisible light image are obtained through the second camera, and between the first visible light image and the first non-visible light image A depth value may be determined based on a parallax disparity value and a parallax disparity value between the second visible light image and the second non-visible light image.

또한, 본 문서에 개시되는 일 실시 예에 따른 RGB-LiDAR 장치는, 동일한 시점(sight of view)을 갖는 가시광 영상 및 비가시광 영상을 촬영 가능한 카메라; 상기 카메라와 일정 간격 이격되어 나란히 배치된 투사기; 기준 텍스처 영상을 저장하는 메모리; 및 프로세서를 포함하고, 상기 프로세서는, 상기 투사기를 통해 비가시광 텍스처를 투사하고, 상기 비가시광 텍스처가 투사되는 동안에, 상기 카메라를 통해 가시광 영상 및 상기 비가시광 텍스처를 포함하는 비가시광 영상을 획득하고, 상기 기준 텍스처 영상과 상기 비시광 영상 간의 시차 변이 값에 기반하여 뎁스 값을 결정할 수 있다.In addition, an RGB-LiDAR device according to an embodiment disclosed in this document includes a camera capable of capturing a visible light image and a non-visible light image having the same sight of view; Projectors spaced apart from the camera and arranged side by side; a memory for storing a reference texture image; and a processor, wherein the processor projects an invisible light texture through the projector, and while the invisible light texture is projected, obtains a visible light image and an invisible light image including the invisible light texture through the camera, , a depth value may be determined based on a parallax shift value between the reference texture image and the non-visible light image.

또한, 본 문서에 개시되는 일 실시 예에 따른 RGB-LiDAR 장치의 제어 방법은, 투사기를 통해 비가시광 텍스처를 투사하는 동작; 상기 비가시광 텍스처가 투사되는 동안에, 상기 제1 카메라를 통해 제1 가시광 영상 및 제1 비가시광 영상을 획득하는 동작; 상기 제1 가시광 영상 및 상기 제1 비가시광 영상을 획득하는 동안에, 상기 제2 카메라를 통해 제2 가시광 영상 및 제2 비가시광 영상을 획득하는 동작; 및 상기 제1 가시광 영상과 상기 제1 비가시광 영상 간의 시차 변이 값 및 상기 제2 가시광 영상과 상기 제2 비가시광 영상 간의 시차 변이 값에 기반하여 뎁스 값을 결정하는 동작을 포함할 수 있다. In addition, the control method of the RGB-LiDAR device according to an embodiment disclosed in this document may include: projecting an invisible light texture through a projector; acquiring a first visible light image and a first invisible light image through the first camera while the invisible light texture is projected; acquiring a second visible light image and a second invisible light image through the second camera while acquiring the first visible light image and the first non-visible light image; and determining a depth value based on a parallax disparity value between the first visible light image and the first non-visible light image and a parallax disparity value between the second visible light image and the second non-visible light image.

본 문서에 개시되는 다양한 실시 예들에 따르면, 가시광 영상 및 비가시광 영상에 기반하여 뎁스 산출의 신뢰도를 높일 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.According to various embodiments disclosed in this document, reliability of depth calculation may be increased based on a visible light image and a non-visible light image. In addition, various effects directly or indirectly identified through this document may be provided.

도 1은 다양한 파장 대역의 영상을 나타낸다.
도 2는 일 실시예에 따른 스테레오 카메라 시스템을 나타낸다.
도 3, 도 4 및 도 5는 일 실시예에 따른 LiDAR 장치를 나타낸다.
도 6은 일 실시예에 따른 다중파장 카메라 모듈을 나타낸다.
도 7은 일 실시예에 따른 가시광-근적외선 카메라 모듈을 나타낸다. 도 8은 일 실시예에 따른 이미지 센서의 픽셀 구조를 나타낸다.
도 9는 일 실시예에 따른 투사기를 나타낸다.
도 10은 일 실시예에 따른 RGB-LiDAR 장치의 일 예를 나타낸다.
도 11은 일 실시예에 따른 도 10의 RGB-LiDAR 장치에 의한 뎁스 산출 방법을 나타낸다.
도 12는 일 실시예에 따른 캘리브레이션 관련 영상을 나타낸다.
도 13은 일 실시예에 따른 뎁스 산출을 위한 촬영 영상들을 나타낸다.
도 14는 일 실시예에 따른 뎁스 영상을 나타낸다.
도 15는 일 실시예에 따른 RGB-LiDAR 장치의 다른 예를 나타낸다.
도 16은 일 실시예에 따른 도 15의 RGB-LiDAR 장치에 의한 뎁스 산출 방법을 나타낸다.
도 17은 일 실시예에 따른 캘리브레이션 관련 영상들을 나타낸다.
도 18은 일 실시예에 따른 뎁스 산출을 위한 영상들을 나타낸다.
도 19는 일 실시예에 따른 뎁스 영상을 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.1 shows images of various wavelength bands.
2 illustrates a stereo camera system according to an embodiment.
3, 4 and 5 illustrate a LiDAR device according to an embodiment.
6 shows a multi-wavelength camera module according to an embodiment.
7 illustrates a visible light-near-infrared camera module according to an embodiment. 8 illustrates a pixel structure of an image sensor according to an exemplary embodiment.
9 shows a projector according to an embodiment.
10 illustrates an example of an RGB-LiDAR device according to an embodiment.
11 illustrates a depth calculation method by the RGB-LiDAR device of FIG. 10 according to an exemplary embodiment.
12 shows a calibration related image according to an embodiment.
13 illustrates captured images for calculating a depth according to an exemplary embodiment.
14 illustrates a depth image according to an exemplary embodiment.
15 illustrates another example of an RGB-LiDAR device according to an embodiment.
16 illustrates a depth calculation method by the RGB-LiDAR device of FIG. 15 according to an exemplary embodiment.
17 shows images related to calibration according to an embodiment.
18 illustrates images for calculating depth according to an embodiment.
19 illustrates a depth image according to an exemplary embodiment.
In connection with the description of the drawings, the same or similar reference numerals may be used for the same or similar components.

LiDAR(Light Detect and Range) 기술은 빛을 탐지하여, 거리를 센싱하는 기술로서, 단안 기술과 양안 기술로 대별될 수 있다. LiDAR (Light Detect and Range) technology detects light and senses a distance, and can be roughly divided into monocular technology and binocular technology.

단안 기술(monocular vision)은 초점으로 거리감은 감지하는 방법(Depth of Focus), 임의의 약속한 패턴을 투사하고, 투사된 패턴을 촬영하여 변이된 값을 삼각법으로 거리를 계산하는 방법(Active Triangle) 및 신호를 투사하고 투사한 신호의 반사 시간으로 거리를 감지하는 ToF(Time of Flight) 기술이 있다. Monocular vision is a method of detecting a sense of distance with focus (Depth of Focus), a method of projecting an arbitrary promised pattern, photographing the projected pattern, and calculating the distance using the displaced value by triangulation (Active Triangle) and Time of Flight (ToF) technology for projecting a signal and detecting a distance based on a reflection time of the projected signal.

양안 기술(binocular vision)은 자연계의 사람을 포함한 생명체의 두 개의 눈을 모사한 거리 인식 방법으로 사람은 2개의 동공을 통해 대략 5~6억 디지털 화소(사람의 시력을 디지털 분해능으로 환산)와 수평 175°, 수직: 120°의 시야각으로 환경을 3차원으로 인지하는 것으로 알려져 있으며, 이를 스테레오 비전 방식이라 칭한다. 액티브 스테레오 비전(Active Stereo Vision)은 두 개의 카메라로 거리를 감지하는데 도움이 되도록 질감(Texture)과 무늬(Pattern)를 빛으로 투사하는 방식으로 촬영하는 영상의 특성에 부합하는 Texture/ Pattern을 원래의 영상의 고유한 특징을 보완하도록 투사하는 것이 성능 개선의 관건이다. 액티브 스테레오 비전은 카메라 두 개로 거리를 감지하는데 도움이 되도록 질감(Texture), 무늬(Pattern)를 빛으로 투사하는 방식으로 촬영하는 영상의 특성에 부합하는 Texture/ Pattern을 원래의 영상의 고유한 특징을 보완하도록 투사하는 것이 성능개선의 관건이다. Binocular vision is a distance recognition method that mimics the two eyes of living creatures including humans in the natural world. Humans use two pupils to generate approximately 500 to 600 million digital pixels (converting human vision to digital resolution) and horizontal 175°, vertical: It is known to perceive the environment in three dimensions with a viewing angle of 120°, which is called stereo vision. Active Stereo Vision is a method of projecting texture and pattern as light to help detect the distance with two cameras. Projecting to complement the unique characteristics of the image is the key to improving performance. Active stereo vision uses a method of projecting texture and pattern as light to help detect the distance with two cameras. Projecting to complement is the key to performance improvement.

도 2는 일 실시예에 따른 스테레오 카메라 시스템을 나타낸다.2 illustrates a stereo camera system according to an embodiment.

도 2를 참조하면, 2개의 카메라들을 포함하는 스테레오 카메라 시스템은 좌우 카메라 시야 중에서 겹치는 부분(overlapped view)을 대상으로 좌우 카메라의 영상들에서 동일 화소의 시차 변이(Disparity) 값을 산출할 수 있다. 스테레오 카메라 시스템은 시차 변이 값을 거리값으로 환산함에 따라 3차원 거리를 계산할 수 있다. 예를 들어, 스테레오 카메라 시스템은 좌우 카메라에서 영상들을 입력 받고, 좌/우 영상들에 대하여 카메라의 위치 정렬 왜곡 및 렌즈 왜곡을 보정할 수 있다. 스테레오 카메라 시스템은 잡음 제거 및 윤곽선 개선과 같은 성능 개선을 위한 전처리 후에, 좌우 카메라의 수평축의 동일선 중에서 같은 시점을 갖는 화소를 찾기 위한 후보군을 탐색할 수 있다. 예를 들어, 스테레오 카메라 시스템은 좌측(Left) 카메라 영상의 화소에서 우측(Right) 영상 화소 값 차이의 절대값(Absolute Difference)를 산출하거나, 좌우 영상의 조명 차이에 강건한 CT(Census Transform) 처리값의 차이를 통해 후보군을 검출할 수 있다. 스테레오 카메라 시스템은 검출된 후보군에 대하여 유사한 특성이 있는 주변 픽셀 값을 사용하거나, 후보군의 주변 픽셀의 색과 위치 정보를 활용하여 해당 후보군 신호의 특성으로 강화하여 SNR(Signal to Noise Ratio)를 증대할 수 있다. 스테레오 카메라 시스템은 Local Optimization(WTA: Winner Takes All), Semi-Global Optimization(SGBM: Semi-Global Block Matching, DP: Dynamic Programming) 및 Global Optimizaiotn(BP: Belief Propagation, GC: Graph cut)과 같은 방법으로 시차 변이(Disparity) 값을 결정할 수 있다. 그 중, Local Optimization 방식인 WTA은 계산이 간단하여 많이 사용되며, 입력 후보값 중에서 ‘0’과 같거나, ‘0’에 가장 근접한 값을 Disparity로 결정할 수 있다. 스테레오 카메라 시스템은 Disparity 값의 오류를 보정하며, 좌우 시차에 의한 폐색구간(Occlusion) 처리, 잡음제거 그리고 결과치의 정확도를 높이기 위한 서브픽셀(Sub-Pixel) 계산을 수행하고, 삼각법을 통해 Disparity에 기반하여 3차원 거리(Depth)를 다시 계산할 수 있다. Referring to FIG. 2 , a stereo camera system including two cameras may calculate a disparity value of the same pixel from images of the left and right cameras with respect to an overlapping view of the left and right camera views. The stereo camera system may calculate a three-dimensional distance by converting the parallax disparity value into a distance value. For example, the stereo camera system may receive images from left and right cameras, and correct position alignment distortion and lens distortion of the camera with respect to the left and right images. After preprocessing for performance improvement such as noise removal and contour improvement, the stereo camera system may search a candidate group for finding pixels having the same viewpoint among the same horizontal axis of the left and right cameras. For example, a stereo camera system calculates an absolute difference between a pixel value of a right image and a pixel of a left camera image, or a CT (Census Transform) processing value that is robust to the difference in illumination between the left and right images. A candidate group can be detected through the difference in . The stereo camera system can increase the signal to noise ratio (SNR) by using values of neighboring pixels having similar characteristics with respect to the detected candidate group, or by enhancing the characteristics of the corresponding candidate group signal by utilizing the color and position information of the neighboring pixels of the candidate group. can The stereo camera system uses methods such as Local Optimization (WTA: Winner Takes All), Semi-Global Optimization (SGBM: Semi-Global Block Matching, DP: Dynamic Programming) and Global Optimizaiotn (BP: Belief Propagation, GC: Graph cut). A disparity value may be determined. Among them, WTA, which is a local optimization method, is widely used because of its simple calculation, and a value equal to or closest to ‘0’ among input candidate values can be determined as disparity. The stereo camera system corrects the error of the disparity value, processes occlusion due to the left and right parallax, removes noise, and performs sub-pixel calculation to increase the accuracy of the result value, and is based on disparity through trigonometry. Thus, the three-dimensional distance (Depth) can be recalculated.

LiDAR 기술들은 자동차와 드론의 자율 이동을 위해, 주변의 거리를 센싱하여 Point Cloud 정보로 표현할 수 있다. 대표적인 LiDAR 기술은 근적외선(800nm~900nm) 신호를 사용하여 실내외 거리를 측정하는 기술이 있다. LiDAR technologies can sense the surrounding distance for autonomous movement of cars and drones and express them as point cloud information. A typical LiDAR technology is a technology for measuring indoor and outdoor distances using near-infrared (800 nm to 900 nm) signals.

도 3, 도 4 및 도 5는 일 실시예에 따른 LiDAR 장치를 나타낸다.3, 4 and 5 illustrate a LiDAR device according to an embodiment.

도 3 내지 5를 참조하면, LiDAR 장치는 삼각법 측정방식(Active Stereo, Active Mono Vision)과 반사 시간을 측정하는 ToF 방식 등을 사용하여 카메라 시점에서 주번 환경과의 거리를 측정할 수 있다. LiDAR 장치는 눈 안전(Eye-Safety) 측면에서 제한된 광원 투사와 야외 태양광의 영향으로 실내 응용이 국한된다. 이에, RGB 이미지 센서는 거리 계산을 위한 센서와 별도로 실장되고, 거리 영상(Depth Image)과 다른 시점 정보를 가질 수 있다. Referring to FIGS. 3 to 5 , the LiDAR device may measure the distance from the camera viewpoint to the main environment using a triangulation measurement method (Active Stereo, Active Mono Vision) and a ToF method for measuring reflection time. In terms of eye-safety, LiDAR devices are limited to indoor applications due to the limited projection of light sources and the influence of outdoor sunlight. Accordingly, the RGB image sensor may be mounted separately from the sensor for distance calculation, and may have viewpoint information different from the depth image.

도 6은 일 실시예에 따른 다중파장 카메라 모듈을 나타낸다.6 shows a multi-wavelength camera module according to an embodiment.

도 6을 참조하면, 일 실시예에 따른 다중파장 카메라 모듈(600)(multi-spectral camera module: MCM)은 통합 렌즈(610), 파장 분할 필터(620), 제1 프리즘(630a), 제1 초점 렌즈(640a), 제1 대역통과 필터(650a), 제1 이미지 센서(660a), 제2 프리즘(630b), 제2 초점 렌즈(640b), 제2 대역통과 필터(650b) 및 제2 이미지 센서(660b)를 포함할 수 있다.Referring to FIG. 6 , a multi-spectral camera module (MCM) according to an embodiment includes an integrated lens 610 , a wavelength division filter 620 , a first prism 630a , and a first The focus lens 640a, the first bandpass filter 650a, the first image sensor 660a, the second prism 630b, the second focus lens 640b, the second bandpass filter 650b, and the second image A sensor 660b may be included.

통합 렌즈(610)는 촬영 대상으로부터 반사되어 통합 렌즈(610)에 입사된 입사 광원(L1)을 파장 분할 필터(620)의 방향으로 집광할 수 있다.The integrated lens 610 may focus the incident light source L1 reflected from the photographing target and incident on the integrated lens 610 in the direction of the wavelength division filter 620 .

파장 분할 필터(620)는 입사 광원(L1) 중 가시광(L2)을 제1 방향(예: 가시광(L2)을 나타내는 화살표 방향)으로 반사시키고, 입사 광원(L1) 중 제1 방향과 상이한 제2 방향(예: 비가시광(L3)을 나타내는 화살표 방향)으로 반사시킬 수 있다. 상기 제1 방향은 제1 이미지 센서(660a)를 향하는 방향이고, 상기 제2 방향은 제2 이미지 센서(660b)를 향하는 방향일 수 있다.The wavelength division filter 620 reflects the visible light L2 among the incident light sources L1 in a first direction (eg, the arrow direction indicating the visible light L2 ), and reflects a second direction different from the first direction among the incident light sources L1 . It can be reflected in a direction (eg, in the direction of the arrow indicating the invisible light L3). The first direction may be a direction toward the first image sensor 660a, and the second direction may be a direction toward the second image sensor 660b.

제1 프리즘(630a)은 파장 분할 필터(620)를 거쳐 입사된 가시광(L2)을 제1 방향으로 반사 또는 굴절시킬 수 있다. The first prism 630a may reflect or refract the visible light L2 incident through the wavelength division filter 620 in the first direction.

제1 초점 렌즈(640a)는 제1 프리즘(630a)을 통과한 가시광의 초점을 제1 방향으로 정합할 수 있다. 예를 들여, 제1 초점 렌즈(640a)는 제1 이미지 센서(660a)에 근접하는 방향 또는 제1 이미지 센서(660a)로부터 이격되는 방향으로 이동함에 따라 가시광(L2)의 초점을 맞출 수 있다.The first focusing lens 640a may match the focus of the visible light passing through the first prism 630a in the first direction. For example, the first focusing lens 640a may focus the visible light L2 as it moves in a direction closer to the first image sensor 660a or a direction spaced apart from the first image sensor 660a.

제1 대역통과 필터(650a)는 광 중 가시광의 파장 대역을 통과시키는 대역통과 필터로서, 제1 초점 렌즈(640a)를 통과한 광원 중 가시광만을 통과시킬 수 있다.The first bandpass filter 650a is a bandpass filter that passes a wavelength band of visible light among lights, and may pass only visible light among light sources that have passed through the first focus lens 640a.

제1 이미지 센서(660a)는 제1 대역통과 필터(650a)를 통과한 가시광에 기반하여 촬영 대상을 포함하는 제1 해상도(예: 1280*720)의 디지털 픽셀 정보로 변환할 수 있다. 제1 이미지 센서(660a)는 제1 해상도의 가시광 영상을 생성할 수 있다. The first image sensor 660a may convert the visible light that has passed through the first bandpass filter 650a into digital pixel information of a first resolution (eg, 1280*720) including a photographing target. The first image sensor 660a may generate a visible light image having a first resolution.

제2 프리즘(630b)은 파장 분할 필터(620)를 거쳐 입사된 비가시광(L3)을 제2 방향으로 반사 또는 굴절시킬 수 있다. 상기 비가시광(L3)은 예를 들면, 근적외선광을 포함할 수 있다. The second prism 630b may reflect or refract the invisible light L3 incident through the wavelength division filter 620 in the second direction. The invisible light L3 may include, for example, near-infrared light.

제2 초점 렌즈(640b)는 제2 프리즘(630b)을 통과한 비가시광(L3)의 초점을 제2 방향으로 정합(또는, 집광)할 수 있다. 예를 들여, 제2 초점 렌즈(640b)는 제2 이미지 센서(660b)에 근접하는 방향 또는 제2 이미지 센서(660b)로부터 이격되는 방향으로 이동함에 따라 비가시광(L3)의 초점을 맞출 수 있다. The second focusing lens 640b may match (or focus) the focus of the invisible light L3 passing through the second prism 630b in the second direction. For example, the second focus lens 640b may focus the invisible light L3 as it moves in a direction close to the second image sensor 660b or a direction spaced apart from the second image sensor 660b. .

제2 대역통과 필터(650b)는 비가시광의 파장 대역을 통과시키는 협대역통과 필터로서, 제2 초점 렌즈(640b)를 통과한 광원 중 가시광만을 통과시킬 수 있다.The second bandpass filter 650b is a narrow bandpass filter that passes the wavelength band of invisible light, and may pass only visible light among the light sources that have passed through the second focusing lens 640b.

제2 이미지 센서(660b)는 제2 대역통과 필터(650b)를 통과한 비가시광에 기반하여 촬영 대상을 포함하는 제2 해상도(예: 320*240)의 디지털 픽셀 정보로 변환할 수 있다. 제2 이미지 센서(660b)는 제2 해상도의 비가시광 영상을 생성할 수 있다. 상기 제2 해상도는 제1 해상도 이하의 해상도일 수 있다. 상기 비가시광은 근적외선(NIR), 단파적외선(SWIR), 중파적외선(MWIR), 원파적외선(LWIR) 및 테라헬즈(THz) 중 적어도 하나의 파장대역 광을 포함할 수 있다.The second image sensor 660b may convert the invisible light that has passed through the second bandpass filter 650b into digital pixel information of a second resolution (eg, 320*240) including a photographing target. The second image sensor 660b may generate an invisible light image having a second resolution. The second resolution may be a resolution less than or equal to the first resolution. The invisible light may include light in at least one wavelength band of near-infrared (NIR), short-wave infrared (SWIR), mid-wave infrared (MWIR), far-wave infrared (LWIR), and teraheltz (THz).

상술한 실시예에 따르면, 다중파장 카메라 모듈(600)은 제1 프리즘(630a) 및 제2 프리즘(630b)을 이용하여 촬영 대상에 반사된 가시광과 비가시광을 각기 굴절 또는 반사시켜 제1 이미지 센서(660a) 및 제2 이미지 센서(660b)에 집광시킴에 따라 서로 시점이 동일한 가시광 영상 및 비가시광 영상을 생성할 수 있다. According to the above-described embodiment, the multi-wavelength camera module 600 refracts or reflects the visible light and the invisible light reflected by the photographing target using the first prism 630a and the second prism 630b, respectively, to the first image sensor. As light is focused on the 660a and the second image sensor 660b, a visible light image and a non-visible light image having the same viewpoints may be generated.

다양한 실시예에 따르면, 일 실시예에 따른 다중파장 카메라 모듈(600)(multi-spectral camera module: "MCM"이라 언급될 수 있음) 중 적어도 일부 구성요소는 하나의 모듈로 구성될 수 있다. 예를 들어, 파장 분할 필터(620), 제1 프리즘(630a) 및 제2 프리즘(630b)은 하나의 모듈(파장 분할 모듈)로 구성될 수 있다.According to various embodiments, at least some components of the multi-spectral camera module 600 (which may be referred to as “MCM”) according to an embodiment may be configured as one module. For example, the wavelength division filter 620 , the first prism 630a , and the second prism 630b may be configured as one module (wavelength division module).

도 7은 일 실시예에 따른 가시광-근적외선 카메라 모듈을 나타낸다. 도 8은 일 실시예에 따른 이미지 센서의 픽셀 구조를 나타낸다.7 illustrates a visible light-near-infrared camera module according to an embodiment. 8 illustrates a pixel structure of an image sensor according to an exemplary embodiment.

도 7을 참조하면, 일 실시예에 따른 가시광-근적외선 카메라 모듈(700)(RGB-NIR camera module, "RNCM"으로 언급될 수 있음)은 렌즈(710), 이중 대역통과 필터(720) 및 이미지 센서(730)를 포함할 수 있다.Referring to FIG. 7 , a visible light-near-infrared camera module 700 (which may be referred to as an RGB-NIR camera module, “RNCM”) according to an embodiment includes a lens 710 , a dual bandpass filter 720 and an image. A sensor 730 may be included.

렌즈(710)는 입사 광원을 이중 대역통과 필터(720)를 향하는 방향으로 집광할 수 있다. 렌즈(710)는 이미지 센서(730)에 근접하는 방향 또는 이미지 센서(730)로부터 이격되는 방향으로 이동됨에 따라 가시광 및 근적외선의 초점을 조절할 수 있다. 상기 근적외선은 단파장 적외선 SWIR 및 테라헤르즈파(THz)를 포함할 수 있다.The lens 710 may focus the incident light source in a direction toward the dual bandpass filter 720 . The lens 710 may adjust the focus of the visible light and the near-infrared light as the lens 710 moves in a direction close to the image sensor 730 or a direction away from the image sensor 730 . The near-infrared may include short-wavelength infrared SWIR and terahertz wave (THz).

이중 대역통과 필터(DBP: dual bandpass filter)(720)는 가시광과 근적외선을 통과하고 그 외 광을 차단할 수 있다. The dual bandpass filter (DBP) 720 may pass visible light and near-infrared light and block other light.

이미지 센서(730)는 동일한 시점(sight of view)에 초점을 맞춘 가시광 영상 및 비가시광 영상을 획득할 수 있다. 이미지 센서(730)는 가시광 영상 센서 및 도 8의 820 픽셀 구조를 갖는 비가시광 영상 센서를 포함할 수 있다. 가시광 영상 센서는 도 8의 810 픽셀 구조를 가지고, 810 구조의 픽셀에 의하여 가시광 영상을 생성할 수 있다. 비가시광 영상 센서는 도 8의 820 픽셀 구조를 가지고, 820 구조의 픽셀에 의하여 비가시광 영상을 생성할 수 있다. 비가시광 영상 센서의 각 픽셀은 가시광 영상 센서의 4 픽셀의 조합에 대응할 수 있다. The image sensor 730 may acquire a visible light image and a non-visible light image focused on the same sight of view. The image sensor 730 may include a visible light image sensor and a non-visible light image sensor having the 820 pixel structure of FIG. 8 . The visible light image sensor has the 810 pixel structure of FIG. 8 and may generate a visible light image by the 810 pixel structure. The invisible light image sensor has the 820 pixel structure of FIG. 8 , and may generate an invisible light image by the 820 pixel structure. Each pixel of the invisible light image sensor may correspond to a combination of 4 pixels of the visible light image sensor.

도 9는 일 실시예에 따른 투사기를 나타낸다.9 shows a projector according to an embodiment.

도 9를 참조하면, 일 실시예에 따른 투사기(900)는 지정된 방향으로 텍스처 및 조명 중 적어도 하나의 투사 수단을 투사할 수 있다. 상기 텍스처는 지정된 패턴 또는 무늬를 포함할 수 있다. 상기 조명은 면 광원 조명을 포함할 수 있다. 예를 들어, 투사기(900)는 지정된 방향(예: D9)으로 사람의 눈에 보이지 않는 비가시광 텍스처를 투사할 수 있다. 다른 예를 들어, 투사기(900)는 다중파장 영상을 획득하기 위하여 지정된 방향으로 가시광 조명 및 비가시광 조명을 투사할 수 있다. 도 9에서는 20가지(도 9의 (1) 내지 (20))의 투사 수단들을 각각 투사 가능한 투사기(900)를 예로 들어 도시하였다. 하지만, 이에 한정되지 않는다.Referring to FIG. 9 , the projector 900 according to an embodiment may project at least one projection means of a texture and a light in a specified direction. The texture may include a designated pattern or pattern. The illumination may include a surface light source illumination. For example, the projector 900 may project an invisible light texture invisible to the human eye in a specified direction (eg, D9). As another example, the projector 900 may project visible light and non-visible light in a designated direction to obtain a multi-wavelength image. In FIG. 9 , the projector 900 capable of projecting each of the 20 projection means ((1) to (20) in FIG. 9) is illustrated as an example. However, the present invention is not limited thereto.

도 10은 일 실시예에 따른 RGB-LiDAR 장치의 일 예를 나타낸다.10 illustrates an example of an RGB-LiDAR device according to an embodiment.

도 10을 참조하면, 일 실시예에 따른 RGB-LiDAR 장치(1000)는 좌측 카메라(1010), 우측 카메라(1020), 투사기(1030)(예: 도 9의 투사기(900)), 메모리(1040) 및 프로세서(1050)를 포함할 수 있다. 일 실시 예에서, RGB-LiDAR 장치(1000)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 또한, RGB-LiDAR 장치(1000)의 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. Referring to FIG. 10 , the RGB-LiDAR device 1000 according to an embodiment includes a left camera 1010 , a right camera 1020 , a projector 1030 (eg, the projector 900 of FIG. 9 ), and a memory 1040 . ) and a processor 1050 . In an embodiment, the RGB-LiDAR device 1000 may omit some components or further include additional components. In addition, some of the components of the RGB-LiDAR device 1000 are combined to form a single entity, and functions of the components prior to the combination may be performed identically.

일 실시예에 따르면, 좌측 카메라(1010) 및 우측 카메라(1020)는 서로 일정 간격 이격되어 나란히 배치되어, 제1 방향을 촬영 가능하도록 마련될 수 있다. 좌측 카메라(1010)와 우측 카메라(1020)는 각각 동일한 시점을 갖는 가시광 영상 및 비가시광 영상을 획득할 수 있다. 예를 들어, 좌측 카메라(1010) 및 우측 카메라(1020)는 각기 다중파장 카메라 모듈(도 6의 600) 또는 가시광-근적외선 카메라 모듈(도 7의 700)일 수 있다. 좌측 카메라(1010) 및 우측 카메라(1020)는 각기 제1 해상도(예: 1280*720)의 가시광 영상 및 제2 해상도(예: 320*240)의 비가시광 영상을 촬영할 수 있다. 상기 제2 해상도는 제1 해상도 이하일 수 있다.According to an embodiment, the left camera 1010 and the right camera 1020 may be arranged side by side spaced apart from each other by a predetermined interval, so that the first direction may be photographed. The left camera 1010 and the right camera 1020 may acquire a visible light image and a non-visible light image having the same viewpoint, respectively. For example, the left camera 1010 and the right camera 1020 may each be a multi-wavelength camera module (600 in FIG. 6 ) or a visible light-near-infrared camera module ( 700 in FIG. 7 ). The left camera 1010 and the right camera 1020 may photograph a visible light image of a first resolution (eg, 1280*720) and a non-visible image of a second resolution (eg, 320*240), respectively. The second resolution may be less than or equal to the first resolution.

일 실시예에 따르면, 투사기(1030)는 좌측 카메라(1010)와 우측 카메라(1020) 사이에 배치되어, 제1 방향을 향하여 텍스처 및 조명 중 적어도 하나의 광을 투사할 수 있다. 예를 들어, 투사기(1030)는 제1 방향으로 사람의 눈에 보이지 않는 비가시광 텍스처, 가시광 조명 및 비가시광 조명 중 적어도 하나의 광을 투사할 수 있다. 상기 비가시광은 근적외선(NIR), 단파적외선(SWIR), 중파적외선(MWIR), 원파적외선(LWIR) 및 테라헬즈(THz) 중 적어도 하나의 파장대역 광을 포함할 수 있다.According to an embodiment, the projector 1030 may be disposed between the left camera 1010 and the right camera 1020 to project light of at least one of texture and illumination in a first direction. For example, the projector 1030 may project at least one of a non-visible light texture, visible light, and invisible light, which is invisible to the human eye in the first direction. The invisible light may include light in at least one wavelength band of near-infrared (NIR), short-wave infrared (SWIR), mid-wave infrared (MWIR), far-wave infrared (LWIR), and teraheltz (THz).

메모리(1040)는 RGB-LiDAR 장치(1000)의 적어도 하나의 구성요소(예: 프로세서(1050))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는 예를 들어, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 예를 들어, 메모리(1040)는 뎁스 산출을 위한 적어도 하나의 인스트럭션(instruction)을 저장할 수 있다. 메모리(1040)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.The memory 1040 may store various data used by at least one component (eg, the processor 1050 ) of the RGB-LiDAR device 1000 . Data may include, for example, input data or output data for software and related instructions. For example, the memory 1040 may store at least one instruction for calculating the depth. The memory 1040 may include a volatile memory or a non-volatile memory.

프로세서(1050)는 적어도 하나의 인스트럭션을 실행함에 따라 RGB-LiDAR 장치(1000)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(1050)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다. 이하, 도 11을 참조하여 프로세서(1050)의 구성에 대하여 설명한다.The processor 1050 may control at least one other component (eg, a hardware or software component) of the RGB-LiDAR device 1000 by executing at least one instruction, and perform various data processing or operations. can The processor 1050 may include, for example, a central processing unit (CPU), a graphic processing unit (GPU), a microprocessor, an application processor, an application specific integrated circuit (ASIC), or field programmable gate arrays (FPGA). )), and may have a plurality of cores. Hereinafter, the configuration of the processor 1050 will be described with reference to FIG. 11 .

도 11은 일 실시예에 따른 RGB-LiDAR 장치에 의한 뎁스 산출 방법을 나타낸다. 11 illustrates a depth calculation method by an RGB-LiDAR device according to an exemplary embodiment.

도 11을 참조하면, 동작 1110에서, 프로세서(1050)는 투사기(1030), 좌측 카메라(1010) 및 우측 카메라(1020)를 통해 각기 제1 가시광 영상(좌안 가시광 영상), 제2 가시광 영상(우안 가시광 영상), 제1 비가시광 영상(좌안 비가시광 영상) 및 제2 비가시광 영상(우안 비가시광 영상)을 획득할 수 있다. 예를 들어, 프로세서(1050)는 투사기(1030)를 통해 제1 방향으로 비가시광 텍스처를 투사할 수 있다. 상기 비가시광 텍스처는 예를 들면, 지정된 패턴 또는 무늬를 갖는 비가시광 조명일 수 있다. 프로세서(1050)는 비가시광 텍스처가 투사되는 동안에, 좌측 카메라(1010)를 통해 제1 가시광 영상 및 비가시광 텍스처를 포함하는 제1 비가시광 영상(이하, "제1 비가시광 영상"으로 칭함)을 획득하고, 우측 카메라(1020)를 통해 제2 가시광 영상 및 비가시광 텍스처를 포함하는 제2 비가시광 영상(이하, "제2 비가시광 영상"으로 칭함)을 획득할 수 있다. 상기 제1 가시광 영상 및 제2 가시광 영상은 제1 해상도(예: 1280*720)의 영상들일 수 있다. 상기 제1 비가시광 영상 및 제2 비가시광 영상은 제1 해상도 이하의 제2 해상도(예: 320*240)의 영상들일 수 있다.Referring to FIG. 11 , in operation 1110 , the processor 1050 performs a first visible light image (left eye visible light image) and a second visible light image (right eye) through the projector 1030 , the left camera 1010 , and the right camera 1020 , respectively. visible light image), a first invisible light image (left eye invisible light image), and a second invisible light image (right eye invisible light image) may be acquired. For example, the processor 1050 may project the invisible light texture in the first direction through the projector 1030 . The invisible light texture may be, for example, invisible light illumination having a specified pattern or pattern. While the invisible light texture is projected, the processor 1050 receives a first visible light image and a first invisible light image including the invisible light texture through the left camera 1010 (hereinafter, referred to as a “first invisible light image”). and a second non-visible light image (hereinafter, referred to as a “second non-visible light image”) including a second visible light image and a non-visible light texture may be obtained through the right camera 1020 . The first visible light image and the second visible light image may be images having a first resolution (eg, 1280*720). The first non-visible light image and the second non-visible light image may be images having a second resolution (eg, 320*240) equal to or less than the first resolution.

동작 1120에서, 프로세서(1050)는 제1 가시광 영상, 제1 비가시광 영상, 제2 가시광 영상 및 제2 비가시광 영상에 대해서 교정(rectification), 윤곽선 개선(edge shaping) 및 잡음 제거(noise reduction)를 수행하여 등극선(epipolar line)에 맞게 전처리할 수 있다. 예를 들어, 프로세서(1050)는 기 결정된 켈리브레이션 값에 기반하여 상기 전처리를 수행할 수 있다. In operation 1120 , the processor 1050 performs rectification, edge shaping, and noise reduction with respect to the first visible light image, the first non-visible light image, the second visible light image, and the second non-visible light image. It can be pre-processed according to the epipolar line by performing For example, the processor 1050 may perform the preprocessing based on a predetermined calibration value.

동작 1130에서, 프로세서(1050)는 제1 비가시광 영상 및 제2 비가시광 영상 간의 매칭 코스트를 산출할 수 있다. 또한, 프로세서(1050)는 제1 가시광 영상 및 제2 가시광 영상 간의 매칭 코스트를 산출할 수 있다. In operation 1130 , the processor 1050 may calculate a matching cost between the first invisible light image and the second invisible light image. Also, the processor 1050 may calculate a matching cost between the first visible light image and the second visible light image.

프로세서(1050)는 제1 가시광 영상 및 제2 가시광 영상 중 하나를 기준 영상으로 설정하고, 다른 영상을 등극선을 따라 최대 시차까지 수평 이동하며 다양한 방식으로 제1 로우 코스트 볼륨(raw cost volume)을 산출할 수 있다. 상기 다양한 방식은 절대차(Absolute difference), 센서스 트랜스폼(Census transform)및 해밍 디스턴스(Hamming distance) 중 적어도 하나를 포함할 수 있다. 프로세서(1050)는 제1 가시광 영상 및 제2 가시광 영상을 통해 산출된 제1 로우 코스트 볼륨 중에서 제1 지정된 범위에 속하는 시차 변이 값을 갖는 가시광 후보군을 제1 후보 코스트 볼륨으로 검출할 수 있다. 상기 제1 지정된 범위는 예를 들면, 128 이상 및 256 이하일 수 있다. 상기 후보군은 예를 들면, 뎁스 품질의 기준점으로 활용될 수 있다. The processor 1050 sets one of the first visible light image and the second visible light image as a reference image, horizontally moves the other image along the isopolar line to the maximum parallax, and calculates the first raw cost volume in various ways. can be calculated. The various methods may include at least one of an absolute difference, a census transform, and a Hamming distance. The processor 1050 may detect a visible light candidate group having a parallax disparity value belonging to a first designated range from among the first low cost volumes calculated through the first visible light image and the second visible light image as the first candidate cost volume. The first designated range may be, for example, 128 or more and 256 or less. The candidate group may be used, for example, as a reference point of depth quality.

이와 유사하게, 프로세서(1050)는 제1 비가시광 영상 및 제2 비가시광 영상을 이용하여 제2 로우 코스트 볼륨을 산출할 수 있다. 프로세서(1050)는 제2 로우 코스트 볼륨 중에서 제1 지정된 범위에 속하는 시차 변이 값을 갖는 비가시광 후보군을 제2 선별 코스트 볼륨으로 검출할 수 있다. Similarly, the processor 1050 may calculate the second low cost volume by using the first non-visible light image and the second non-visible light image. The processor 1050 may detect an invisible light candidate group having a parallax disparity value belonging to the first designated range from among the second low cost volumes as the second selection cost volume.

동작 1140에서, 프로세서(1050)는 제1 가시광 영상과 제2 가시광 영상의 속성(예: 각 픽셀의 RGB 정보)을 이용하여` 코스트 어그리게이션(cost aggregation)을 통해서 상기 제1 선별 코스트 볼륨의 변별력 및 SNR(Signal to Noise Ratio)을 개선함에 따라 제1 최종 코스트 볼륨을 검출할 수 있다. 예를 들어, 프로세서(1050)는 주변 픽셀에서의 색과 위치 특성을 활용하는 에지 어웨어 필터(edge-aware filter) 방식에 기반하여 제2 선별 코스트 볼륨에 대한 가중치를 결정할 수 있다. 프로세서(1050)는 결정된 가중치를 제2 선별 코스트 볼륨과 벡터 곱함에 따라 상기 가시광 후보군의 변별력 및 SNR을 강화할 수 있다. 이와 유사하게, 프로세서(1050)는 제1 비가시광 영상 및 제2 비가시광 영상에 대해서도 제2 선별 코스트 볼륨의 변별력 및 SNR을 강화함에 따라 제2 최종 코스트 볼륨을 검출할 수 있다.In operation 1140, the processor 1050 determines the first selection cost volume through cost aggregation using properties of the first visible light image and the second visible light image (eg, RGB information of each pixel). The first final cost volume may be detected by improving discrimination power and signal to noise ratio (SNR). For example, the processor 1050 may determine a weight for the second selection cost volume based on an edge-aware filter method that utilizes color and position characteristics in neighboring pixels. The processor 1050 may enhance the discrimination power and SNR of the visible light candidate group by vector multiplying the determined weight by the second selection cost volume. Similarly, the processor 1050 may detect the second final cost volume by reinforcing the discrimination power and SNR of the second screening cost volume for the first non-visible light image and the second non-visible light image.

동작 1150에서, 프로세서(1050)는 Local Optimization(예: WTA(Winner Takes All)), Semi-Global Optimization(예: SGBM(Semi-Global Block Matching), DP(Dynamic Programming)) 및 Global Optimization(예: BP(Belief Propagation), GC(Graph cut))과 같은 방법으로 제1 최종 코스트 볼륨에 기반하여 시차 변이(Disparity) 값을 결정할 수 있다. 그 중, WTA은 계산이 간단하여 많이 사용되며, 검출된 후보군 중에서 ‘0’ 또는 ‘0’에 가장 근접한 값을 시차 변이 값으로 결정할 수 있다. 예를 들어, 프로세서(1050)는 제1 최종 코스트 볼륨 중에서 0에 가장 가까운 코스트 값에 대응하는 시차 변이 값을 가시광 영상들에 대한 시차 변이 값으로 결정할 수 있다. 또한, 프로세서(1050)는 제2 최종 코스트 볼륨 중에서 0에 가장 가까운 코스트 값에 대응하는 시차 변이 값을 비가시광 영상들에 대한 시차 변이 값으로 결정할 수 있다. 상기 결정된 시차 변이 값은 동일한 시점에 대한 좌안/우안 영상의 x축 차분 값으로서, 제1 지정된 범위 이내의 값일 수 있다. 그런데, 결정된 시차 변이 값은 좌안/우안 영상의 조도 불일치, 왜곡, 무늬, 모양의 부족 등으로 인해 오류를 포함할 수 있다. 따라서, 프로세서(1050)는 동작 1160을 통해 오류를 보정할 수 있다. In operation 1150 , the processor 1050 performs Local Optimization (eg, Winner Takes All (WTA)), Semi-Global Optimization (eg, SGBM (Semi-Global Block Matching), DP (Dynamic Programming)), and Global Optimization (eg, A disparity value may be determined based on the first final cost volume by a method such as belief propagation (BP) or graph cut (GC). Among them, WTA is widely used because of its simple calculation, and among the detected candidate groups, a value closest to '0' or '0' can be determined as a disparity value. For example, the processor 1050 may determine a parallax disparity value corresponding to a cost value closest to 0 among the first final cost volumes as a disparity value for visible light images. Also, the processor 1050 may determine a parallax disparity value corresponding to a cost value closest to zero among the second final cost volumes as the parallax disparity value for the invisible light images. The determined disparity value is an x-axis difference value of the left eye/right eye image for the same viewpoint, and may be within a first designated range. However, the determined parallax disparity value may include an error due to a lack of illuminance mismatch, distortion, pattern, or shape of the left eye/right eye image. Accordingly, the processor 1050 may correct the error through operation 1160 .

동작 1160에서, 프로세서(1050)는 좌우 시차에 의한 폐색구간(Occlusion) 처리, 잡음 제거 그리고 정확도를 높이기 위한 서브픽셀(Sub-Pixel) 계산을 통해 상기 가시광 영상의 시차 변이 값 및 상기 비가시광 영상의 시차 변이 값의 오류를 보정할 수 있다. 예를 들어, 프로세서(1050)는 영상에 급격한 변화가 없다는 가정에서, 결정된 시차 변이 값과 그 주변값을 비교하고, 가중치 중간(Weighted Median) 값으로 필터링할 수 있다. 다른 예를 들어, 프로세서(1050)는 가이드 필터링 방법을 적용함에 따라 원영상(예: 제1 및 제2 가시광 영상 및 제1 및 제2 비가시광 영상)의 색 및 경계와 같은 정보를 참조하여 시차 변이 값의 품질을 개선할 수 있다. 또 다른 예로, 프로세서(1050)는 서브픽셀 추정을 통해 시차 변이 값의 정밀도를 개선하고, 인접한 시차 변이 값을 세분할 수 있다. 프로세서(1050)는 동작 1140의 결과를 활용하여 시차 변이 값의 오류를 보정할 수 있다. 예를 들어, 프로세서(1050)는 제1 및 제2 비가시광 영상들에서 텍스처의 존재 유무, 가시광 영상들의 경계 정보와 비가시광 영상들의 경계 정보 중 적어도 하나를 활용하여 시차 변이 값의 신뢰도를 확인할 수 있다. 프로세서(1050)는 확인된 신뢰도에 기반하여 임계 신뢰도 이상의 시차 변이 값만을 선택할 수 있다. 상기 오류가 보정된 시차 변이 값은 정밀도 증대로 인하여 제2 지정된 범위(제1 지정된 범위 + △)로 변화될 수 있다. △값은 응용에 따라, 가변할 수 있다.In operation 1160, the processor 1050 calculates the parallax disparity value of the visible light image and the invisible light image through occlusion processing by left-right parallax, noise removal, and sub-pixel calculation to increase accuracy. An error in the parallax disparity value can be corrected. For example, the processor 1050 may compare the determined parallax disparity value with a peripheral value on the assumption that there is no abrupt change in the image, and may filter the image with a weighted median value. As another example, the processor 1050 refers to information such as color and boundary of an original image (eg, first and second visible light images and first and second non-visible light images) as the guide filtering method is applied to disparity The quality of the variance values can be improved. As another example, the processor 1050 may improve the precision of the parallax disparity value through sub-pixel estimation, and may subdivide adjacent disparity values. The processor 1050 may correct an error in the parallax disparity value by using the result of operation 1140 . For example, the processor 1050 may check the reliability of the parallax disparity value by using at least one of the presence or absence of a texture in the first and second non-visible light images, boundary information of visible light images, and boundary information of invisible light images. there is. The processor 1050 may select only a parallax disparity value greater than or equal to a threshold reliability based on the confirmed reliability. The parallax disparity value for which the error is corrected may be changed into a second designated range (first designated range + Δ) due to an increase in precision. The Δ value may vary depending on the application.

동작 1170에서, 프로세서(1050)는 삼각법에 기반하여 가시광 영상의 시차 변이값 및 비가시광 영상의 시차 변이 값에 각기 대응하는 3차원 거리(Depth)를 계산할 수 있다. 예를 들어, 프로세서(1050)는 카메라 파라미터를 이용하여 삼각법에 따라 가시광 영상의 시차 변이 값 및 비가시광 영상의 시차 변이 값을 각기 대상 물체에 대한 뎁스 값(3차원 거리)으로 변환할 수 있다. 프로세서(1050)는 가시광 영상의 뎁스 값들을 포함하는 가시광 뎁스 영상 및 비가시광 영상의 뎁스 값을 포함하는 비가시광 뎁스 영상을 생성할 수 있다. 상기 카메라 파라미터는 예를 들면, 좌측 카메라(1010) 및 우측 카메라(1020) 간의 거리, 좌측 카메라(1010)의 초점 거리 및 우측 카메라(1020)의 초점 거리를 포함할 수 있다. 다른 예를 들어, 프로세서(1050)는 비가시광 뎁스 영상을 뎁스 기준값(DGTR: depth ground truth reference)으로 하여 가시광 뎁스 영상을 보정함에 따라 최종 뎁스 영상을 생성할 수 있다. 프로세서(1050)는 예를 들면, 결합 양방향 필터(joint bilateral filter)와 같은 가이드 이미징 방법에 따라 비가시광 뎁스 영상을 가이드 이미지로 하여 가시광 뎁스 영상을 보정함에 따라 최종 뎁스 영상을 생성할 수 있다. 대체적으로, 프로세서(1050)는 비가시광 뎁스 영상을 가시광 뎁스 영상의 해상도(제1 해상도)에 맞추어 보간하고 보간된 비가시광 뎁스 영상에 따른 뎁스 값에 기반하여 가시광 뎁스 영상을 보정함에 따라 최종 뎁스 영상을 생성할 수 있다. 이 같이, 프로세서(1050)는 비가시광 영상들에 기반하여 뎁스 영상의 기본 골격을 구성하고, 가시광 영상들에 기반하여 풍부한 윤곽 및 모양 정보를 포함하는 부분의 정보를 모아, 코스트 어그리게이션을 수행함에 따라 고품질 뎁스 영상을 생성할 수 있다. 가시광 뎁스 영상은 깨끗하지 않거나 가시광 영상들의 영상 특징에 따라 뎁스 값의 신뢰도가 낮을 수 있지만, 비가시광 뎁스 영상에 비해 해상도가 높으므로 원거리에 유리할 수 있다. 반면, 비가시광 뎁스 영상은 깨끗하지만, 상대적으로 해상도가 낮으므로 근거리에 유리할 수 있다. 이에, 프로세서(1050)는 가시광 뎁스 영상 및 비가시광 뎁스 영상을 혼합하여 계측 가능한 거리 탐지 범위를 확대하고 뎁스 값의 정확도를 높일 수 있다. In operation 1170 , the processor 1050 calculates a three-dimensional distance (Depth) corresponding to a parallax disparity value of a visible light image and a parallax disparity value of a non-visible light image, respectively, based on trigonometry. For example, the processor 1050 may convert a parallax disparity value of a visible light image and a parallax disparity value of a non-visible light image into a depth value (three-dimensional distance) with respect to the target object according to trigonometry using the camera parameter. The processor 1050 may generate a visible light depth image including depth values of the visible light image and a non-visible light depth image including depth values of the invisible light image. The camera parameter may include, for example, a distance between the left camera 1010 and the right camera 1020 , a focal length of the left camera 1010 , and a focal length of the right camera 1020 . As another example, the processor 1050 may generate a final depth image by correcting the visible light depth image by using the non-visible light depth image as a depth ground truth reference (DGTR). The processor 1050 may generate a final depth image by correcting the visible light depth image using the invisible light depth image as the guide image according to a guide imaging method such as a joint bilateral filter, for example. In general, the processor 1050 interpolates the invisible light depth image to match the resolution (first resolution) of the visible light depth image, and corrects the visible light depth image based on the depth value according to the interpolated invisible light depth image, so that the final depth image can create As such, the processor 1050 configures a basic skeleton of a depth image based on invisible light images, collects information on a portion including rich contour and shape information based on visible light images, and performs cost aggregation. Accordingly, a high-quality depth image may be generated. The visible light depth image may not be clear or the reliability of the depth value may be low depending on image characteristics of the visible light images, but it may be advantageous for a long distance because the resolution is higher than that of the invisible light depth image. On the other hand, although the invisible light depth image is clear, the resolution is relatively low, so it may be advantageous in a short distance. Accordingly, the processor 1050 may mix the visible light depth image and the invisible light depth image to expand a measurable distance detection range and increase the accuracy of the depth value.

동작 1180에서, 프로세서(1050)는 RGB 영상 및 최종 뎁스 영상을 출력(예: 디스플레이에 표시)할 수 있다. 상기 RGB 영상은 제1 가시광 영상과 제2 가시광 영상 중에서 기준 영상일 수 있다.In operation 1180 , the processor 1050 may output (eg, display) an RGB image and a final depth image. The RGB image may be a reference image among the first visible light image and the second visible light image.

다양한 실시예에 따르면, 프로세서(1050)는 동작 1110에서 비가시광 조명과 비가시광 텍스처를 번갈아 투사할 수 있다. 프로세서(1050)는 비가시광 조명이 투사된 상태에서 제1 및 제2 비가시광 조명 영상들을 획득하고, 비가시광 텍스처가 투사된 상태에서, 제1 및 제2 비가시광 영상들을 획득할 수 있다. 프로세서(1050)는 제1 비가시광 조명 영상과 제1 비가시광 영상을 혼합하여 제1 비가시광 영상을 생성하고, 제2 비가시광 조명 영상과 제2 비가시광 영상을 혼합하여 제2 비가시광 영상을 생성할 수 있다. 이 경우, 프로세서(1050)는 제1 및 제2 비가시광 영상들에 기반하여 시차 정밀도를 더욱 높일 수 있다. According to various embodiments, the processor 1050 may alternately project the invisible light and the invisible light texture in operation 1110 . The processor 1050 may acquire first and second non-visible illumination images in a state in which invisible light is projected, and obtain first and second invisible images in a state in which invisible light texture is projected. The processor 1050 generates a first invisible light image by mixing the first invisible light illumination image and the first invisible light image, and mixes the second invisible light illumination image and the second invisible light image to generate a second invisible light image. can create In this case, the processor 1050 may further increase parallax precision based on the first and second non-visible light images.

상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 두 개의 다중파장 카메라 모듈(600)들을 통해서 시점이 정확히 일치하는 총천연색의 시차 정보(뎁스 값)를 제공할 수 있어, 스테레오 영상의 특성(예: 경계 포함 여부)에 따라 뎁스 품질이 크게 차이 나는 종래 스테레오 비전 기술의 문제점을 개선할 수 있다. According to the above-described embodiment, the RGB-LiDAR device 1000 may provide disparity information (depth value) of the full color that the viewpoints exactly match through the two multi-wavelength camera modules 600, so that the characteristics of the stereo image ( For example, it is possible to improve the problem of the conventional stereo vision technology, in which the quality of the depth varies greatly depending on whether or not the boundary is included.

또한, 상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 가시광 영상보다 해상도가 낮은 비가시광 영상에 기반하여 가시광 영상의 해상도에 대응하는 뎁스 영상을 생성할 수 있다.Also, according to the above-described embodiment, the RGB-LiDAR device 1000 may generate a depth image corresponding to the resolution of the visible light image based on the invisible light image having a lower resolution than the visible light image.

뿐만 아니라, 상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 가시광 영상들 및 비가시광 영상들에 기반하여 거리 탐지 범위를 증대시킬 수 있고, 보다 정확도 높은 뎁스 값(거리)을 제공할 수 있다.In addition, according to the above-described embodiment, the RGB-LiDAR device 1000 may increase the range detection range based on visible light images and non-visible light images, and may provide a more accurate depth value (distance). there is.

또한, 상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 2차원 RGB 영상(가시광 영상들)과 휘도(luminance) 기반의 2차원 영상(비가시광 영상들)에 기반하여 3차원 복셀(voxel: volume of pixel)을 구성함에 따라 사람의 눈으로 인지하듯이 뎁스를 확인할 수 있다.Also, according to the above-described embodiment, the RGB-LiDAR device 1000 is a 3D voxel based on a 2D RGB image (visible light images) and a luminance-based 2D image (invisible light images). : By composing the volume of pixel), the depth can be checked as if perceived by the human eye.

더 나아가, 상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 자동차, 드론, 휴대 단말, 웨어러블 기기 및 무안경 입체 영상의 3D 카메라 장비와 같은 다양한 전자 장치에 적용되어, 뎁스 값 검출에 불리한 다양한 실내외 환경에서 보다 정확히 뎁스를 검출할 수 있다.Furthermore, according to the above-described embodiment, the RGB-LiDAR device 1000 is applied to various electronic devices such as automobiles, drones, portable terminals, wearable devices, and 3D camera equipment for glasses-free stereoscopic images, which is disadvantageous in detecting depth values. Depth can be detected more accurately in various indoor and outdoor environments.

이하, 도 12 내지 도 14을 참조하여 일 실시예에 따른 RGB-LiDAR 장치(1000)에 의해 처리된 영상들에 대하여 설명한다.Hereinafter, images processed by the RGB-LiDAR device 1000 according to an embodiment will be described with reference to FIGS. 12 to 14 .

도 12는 일 실시예에 따른 캘리브레이션 관련 영상을 나타낸다.12 shows a calibration related image according to an embodiment.

도 12를 참조하면, RGB-LiDAR 장치(1000)는 좌측 카메라(1010) 및 우측 카메라(1020)를 통해 체커보드(check board)와 같은 기준 객체를 포함하는 제1 가시광 영상(1210), 제2 가시광 영상(1220), 제1 비가시광 영상(1230) 및 제2 비가시광 영상(1240)을 획득할 수 있다. 프로세서(1050)는 제1 가시광 영상(1210) 및 제2 비가시광 영상(1240)을 스케일 다운하고, 기준 객체를 참조하여 스케일 다운된 제1 가시광 영상(1210), 스케일 다운된 제2 가시광 영상(1220), 제1 비가시광 영상(1230) 및 제2 비가시광 영상(1240)의 라인 정렬이 정확히 이루어지도록 좌측 카메라(1010)와 우측 카메라(1020)의 캘리브레이션 값을 결정할 수 있다. 상기 결정된 캘리브레이션 값은 상기 동작 1120의 전처리에 이용될 수 있다. 상기 제1 가시광 영상(1210), 제2 가시광 영상(1220), 제1 비가시광 영상(1230) 및 제2 비가시광 영상(1240)은 다중파장 조명 상태(예: 가시광 및 텍스처를 포함하지 않은 비가시망 조명이 투사된 상태)에서 획득될 수 있다. Referring to FIG. 12 , the RGB-LiDAR device 1000 includes a first visible light image 1210 including a reference object such as a check board through a left camera 1010 and a right camera 1020 , and a second A visible light image 1220 , a first non-visible light image 1230 , and a second non-visible light image 1240 may be acquired. The processor 1050 scales down the first visible light image 1210 and the second non-visible light image 1240 , and the first visible light image 1210 scaled down with reference to the reference object, and the scaled down second visible light image ( Calibration values of the left camera 1010 and the right camera 1020 may be determined so that the lines 1220 , the first non-visible light image 1230 , and the second non-visible light image 1240 are accurately aligned. The determined calibration value may be used for pre-processing in operation 1120 . The first visible light image 1210 , the second visible light image 1220 , the first non-visible light image 1230 , and the second non-visible light image 1240 are multi-wavelength illumination states (eg, visible light and non-texture-free ratios). It can be obtained in a state in which the view mesh illumination is projected).

도 13은 일 실시예에 따른 뎁스 산출을 위한 촬영 영상들을 나타낸다.13 illustrates captured images for calculating a depth according to an exemplary embodiment.

도 13을 참조하면, RGB-LiDAR 장치(1000)는 좌측 카메라(1010) 및 우측 카메라(1020)를 통해서 각기 제1 가시광 영상(1310) 및 제2 가시광 영상(1320)을 획득할 수 있다. 상기 제1 가시광 영상(1310) 및 제2 가시광 영상(1320)은 별도의 조명을 투사하지 않은 상태에서 획득된 것일 수 있다. 또는, 제1 가시광 영상(1310) 및 제2 가시광 영상(1320)은 투사기(1030)를 통해 가시광을 투사한 상태에서 획득된 것일 수 있다.Referring to FIG. 13 , the RGB-LiDAR device 1000 may acquire a first visible light image 1310 and a second visible light image 1320 through a left camera 1010 and a right camera 1020 , respectively. The first visible light image 1310 and the second visible light image 1320 may be obtained in a state in which a separate light is not projected. Alternatively, the first visible light image 1310 and the second visible light image 1320 may be obtained in a state in which visible light is projected through the projector 1030 .

RGB-LiDAR 장치(1000)는 제1 가시광 영상(1310) 및 제2 가시광 영상(1320)을 획득하는 동안에, 투사기(1030)를 통해 비가시광 텍스처를 투사하고, 비가시광 텍스처를 각기 포함하는 제1 비가시광 영상(1330) 및 제2 비가시광 영상(1340)을 획득할 수 있다.The RGB-LiDAR device 1000 projects the invisible light texture through the projector 1030 while acquiring the first visible light image 1310 and the second visible light image 1320 , and first including the invisible light texture, respectively. A non-visible light image 1330 and a second non-visible light image 1340 may be obtained.

상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 특정 무늬와 모양을 포함하는 비가시광 패턴에 기반하여 촬영 대상에 텍스처가 없거나, 반복되는 모양이 포함되는 경우에 뎁스 품질이 크게 저하되는 종래의 수동적인 스테레오 비전 기술의 문제점을 개선할 수 있다.According to the above-described embodiment, in the RGB-LiDAR device 1000 , the depth quality is greatly reduced when a photographing target has no texture or a repeated shape is included based on an invisible light pattern including a specific pattern and shape. It can improve the problems of passive stereo vision technology of

또한, 상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 시간적인 시점(time)이면서 시각적인 시점(sight of view)이 동일한 가시광 영상들(제1 가시광 영상 및 제2 가시광 영상) 및 비가시광 영상들(제1 비가시광 영상 및 제2 비가시광 영상)에 기반하여 시간축 및 공간축의 영상 정보를 모두 사용하여 뎁스를 산출함에 따라 실내외 열악한 환경(예: 저조도 환경, 텍스처 없는 환경)에서도 보다 정확히 뎁스를 산출할 수 있다.Also, according to the above-described embodiment, the RGB-LiDAR device 1000 includes visible light images (the first visible light image and the second visible light image) having the same visual point of view (time) and the ratio. Based on the visible light images (the first non-visible light image and the second non-visible light image), the depth is calculated using both image information of the time axis and the spatial axis, so that it is more accurate even in poor indoor/outdoor environments (eg, low-light environment, texture-free environment). Depth can be calculated.

도 14는 일 실시예에 따른 뎁스 영상을 나타낸다.14 illustrates a depth image according to an exemplary embodiment.

도 14를 참조하면, RGB-LiDAR 장치(1000)는 시점(sight of view)이 일치하고, 해상도가 동일한 RGB 영상(1410) 및 뎁스 영상(1420)(도 11의 최종 뎁스 영상)을 생성하고, 생성된 RGB 영상(1410) 및 뎁스 영상(1420)을 출력할 수 있다.Referring to FIG. 14 , the RGB-LiDAR device 1000 generates an RGB image 1410 and a depth image 1420 (the final depth image of FIG. 11 ) having the same sight of view and the same resolution, The generated RGB image 1410 and the depth image 1420 may be output.

상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 가시광 영상들(RGB 영상)에 비해서 해상도가 낮은 비가시광 영상들에 기반하여 가시광 영상의 해상도에 대응하는 뎁스 영상을 생성할 수 있다. According to the above-described embodiment, the RGB-LiDAR device 1000 may generate a depth image corresponding to the resolution of the visible light image based on invisible light images having a lower resolution than the visible light images (RGB image).

또한, 상술한 실시예에 따르면, RGB-LiDAR 장치(1000)는 가시광 영상과 시점이 일치하는 뎁스 영상을 제공할 수 있어, 뎁스 품질을 향상시킬 수 있다.In addition, according to the above-described embodiment, the RGB-LiDAR device 1000 may provide a depth image in which a view point coincides with a visible light image, and thus depth quality may be improved.

도 15는 일 실시예에 따른 RGB-LiDAR 장치의 다른 예를 나타낸다.15 illustrates another example of an RGB-LiDAR device according to an embodiment.

도 15를 참조하면, 일 실시예에 따른 RGB-LiDAR 장치(1500)는 단안 카메라(1510) 및 투사기(1030)(예: 도 9의 투사기(900)), 메모리(1530) 및 프로세서(1540)를 포함할 수 있다. 일 실시 예에서, RGB-LiDAR 장치(1500)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 또한, RGB-LiDAR 장치(1500)의 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. Referring to FIG. 15 , the RGB-LiDAR device 1500 according to an embodiment includes a monocular camera 1510 and a projector 1030 (eg, the projector 900 of FIG. 9 ), a memory 1530 and a processor 1540 . may include. In an embodiment, the RGB-LiDAR device 1500 may omit some components or further include additional components. In addition, some of the components of the RGB-LiDAR device 1500 are combined to form a single entity, and functions of the components prior to the combination may be performed identically.

일 실시예에 따르면, 단안 카메라(1510)는 동일한 시점을 갖는 가시광 영상 및 비가시광 영상을 획득할 수 있다. 예를 들어, 단안 카메라(1510)는 가시광 영상을 획득 가능한 제1 이미지 센서 및 비가시광 영상을 획득 가능한 제2 이미지 센서를 포함하는 다중파장 카메라 모듈(600)일 수 있다. 대체적으로, 단안 카메라(1510)는 가시광-근적외선 카메라 모듈(700)일 수 있다.According to an embodiment, the monocular camera 1510 may acquire a visible light image and a non-visible light image having the same viewpoint. For example, the monocular camera 1510 may be a multi-wavelength camera module 600 including a first image sensor capable of acquiring a visible light image and a second image sensor capable of acquiring an invisible light image. Alternatively, the monocular camera 1510 may be a visible-near-infrared camera module 700 .

일 실시예에 따르면, 투사기(1030)는 단안 카메라(1510)와 일정 간격 이격되고, 제1 방향을 향하여 텍스처 및 조명 중 적어도 하나의 광을 투사할 수 있다. 예를 들어, 투사기(1030)는 제1 방향으로 사람의 눈에 보이지 않는 비가시광 텍스처, 가시광 조명 및 비가시광 조명 중 적어도 하나의 광을 투사할 수 있다. According to an embodiment, the projector 1030 may be spaced apart from the monocular camera 1510 by a predetermined interval, and may project light of at least one of texture and illumination in a first direction. For example, the projector 1030 may project at least one of a non-visible light texture, visible light, and invisible light, which is invisible to the human eye in the first direction.

메모리(1530)는 RGB-LiDAR 장치(1500)의 적어도 하나의 구성요소(예: 프로세서(1540))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는 예를 들어, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 예를 들어, 메모리(1530)는 뎁스 산출을 위한 적어도 하나의 인스트럭션(instruction)을 저장할 수 있다. 다른 예를 들어, 메모리(1530)는 기준 텍스처 영상을 저장할 수 있다. 메모리(1530)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.The memory 1530 may store various data used by at least one component (eg, the processor 1540 ) of the RGB-LiDAR device 1500 . Data may include, for example, input data or output data for software and related instructions. For example, the memory 1530 may store at least one instruction for calculating the depth. As another example, the memory 1530 may store a reference texture image. The memory 1530 may include a volatile memory or a non-volatile memory.

프로세서(1540)는 적어도 하나의 인스트럭션을 실행함에 따라 RGB-LiDAR 장치(1500)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(1540)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다. 이하, 도 16을 참조하여 프로세서(1540)의 구성에 대하여 설명한다.The processor 1540 may control at least one other component (eg, a hardware or software component) of the RGB-LiDAR device 1500 by executing at least one instruction, and perform various data processing or operations. can The processor 1540 may include, for example, a central processing unit (CPU), a graphics processing unit (GPU), a microprocessor, an application processor, an application specific integrated circuit (ASIC), or field programmable gate arrays (FPGA). )), and may have a plurality of cores. Hereinafter, the configuration of the processor 1540 will be described with reference to FIG. 16 .

도 16은 일 실시예에 따른 도 15의 RGB-LiDAR 장치에 의한 뎁스 산출 방법을 나타낸다. 16 illustrates a depth calculation method by the RGB-LiDAR device of FIG. 15 according to an exemplary embodiment.

동작 1610에서, 프로세서(1540)는 투사기(1030)를 통해 제1 방향으로 비가시광 텍스처를 투사하고, 비가시광 텍스처가 투사되는 동안에 단안 카메라(1510)를 통해 가시광 영상 및 비가시광 영상을 획득할 수 있다. 상기 가시광 영상은 제1 해상도(예: 1280*720)의 영상이고, 비가시광 영상은 제2 해상도(예: 320*240)의 영상일 수 있다.In operation 1610, the processor 1540 projects the invisible light texture in the first direction through the projector 1030, and while the invisible light texture is projected, the visible light image and the invisible light image can be obtained through the monocular camera 1510. there is. The visible light image may be an image of a first resolution (eg, 1280*720), and the invisible light image may be an image of a second resolution (eg, 320*240).

동작 1620에서, 프로세서(1540)는 가시광 영상 및 비가시광 영상에 대해서 교정(rectification), 윤곽선 개선(edge shaping) 및 잡음 제거(noise reduction)를 수행하여 등극선(epipolar line)에 맞게 전처리할 수 있다. 예를 들어, 프로세서(1540)는 기 결정된 켈리브레이션 값에 기반하여 상기 전처리를 수행할 수 있다. In operation 1620, the processor 1540 may preprocess the visible light image and the non-visible light image according to an epipolar line by performing rectification, edge shaping, and noise reduction. . For example, the processor 1540 may perform the pre-processing based on a predetermined calibration value.

동작 1630에서, 프로세서(1540)는 비가시광 영상의 매칭 코스트를 산출할 수 있다. 예를 들어, 프로세서(1540)는 기준 텍스처 영상과 비가시광 영상을 비교하고, 기준 텍스처 영상과 비가시광 영상 간의 복수의 시차들 각각에 관련된 로우 코스트 볼륨(raw cost volume)을 다양한 방식으로 산출할 수 있다. 상기 다양한 방식은 절대차(Absolute difference), 센서스 트랜스폼(Census transform)및 해밍 디스턴스(Hamming distance) 중 적어도 하나를 포함할 수 있다. 상기 기준 텍스처 영상은 예를 들면, 투사기(1030)의 위치에서 촬영된 비가시광 텍스처를 포함하는 비가시광 영상일 수 있다. In operation 1630, the processor 1540 may calculate a matching cost of the invisible light image. For example, the processor 1540 may compare the reference texture image and the invisible light image, and calculate a raw cost volume related to each of a plurality of disparities between the reference texture image and the invisible light image in various ways. there is. The various methods may include at least one of an absolute difference, a census transform, and a Hamming distance. The reference texture image may be, for example, an invisible light image including an invisible light texture photographed at the position of the projector 1030 .

동작 1640에서, 프로세서(1540)는 가시광 영상의 속성(예: 각 픽셀의 RGB 정보)을 이용하여` 코스트 어그리게이션(cost aggregation)을 통해서 검출된 로우 코스트 볼륨의 변별력 및 SNR(Signal to Noise Ratio)을 개선할 수 있다. 예를 들어, 프로세서(1540)는 주변 픽셀에서의 색과 위치 특성을 활용하는 에지 어웨어 필터(edge-aware filter) 방식에 기반하여 로우 코스트 볼륨에 대한 가중치를 결정할 수 있다. 프로세서(1540)는 결정된 가중치를 로우 코스트 볼륨과 벡터 곱함에 따라 보정된 코스트 볼륨을 생성할 수 있다. In operation 1640 , the processor 1540 determines the discriminative power and signal to noise ratio (SNR) of the low-cost volume detected through cost aggregation using properties of the visible light image (eg, RGB information of each pixel). ) can be improved. For example, the processor 1540 may determine a weight for the low-cost volume based on an edge-aware filter method that utilizes color and location characteristics of neighboring pixels. The processor 1540 may generate a corrected cost volume by vector multiplying the determined weight by the low cost volume.

동작 1650에서, 프로세서(1540)는 Local Optimization(예: WTA(Winner Takes All)), Semi-Global Optimization(예: SGBM(Semi-Global Block Matching), DP(Dynamic Programming)) 및 Global Optimization(예: BP(Belief Propagation), GC(Graph cut))과 같은 방법으로 보정된 코스트 볼륨에 기반하여 시차 변이(Disparity) 값을 결정할 수 있다. 예를 들어, 프로세서(1540)는 보정된 코스트 볼륨 중에서 0에 가장 가까운 코스트 값을 갖는 시차 변이 값을 가시광 영상들에 대한 시차 변이 값으로 결정할 수 있다. In operation 1650 , the processor 1540 performs Local Optimization (eg, Winner Takes All (WTA)), Semi-Global Optimization (eg, Semi-Global Block Matching (SGBM), Dynamic Programming (DP)) and Global Optimization (eg: A disparity value may be determined based on the corrected cost volume by a method such as BP (Belief Propagation) or GC (Graph Cut). For example, the processor 1540 may determine a parallax disparity value having a cost value closest to zero among the corrected cost volumes as a disparity value for visible light images.

동작 1660에서, 프로세서(1540)는 좌우 시차에 의한 폐색구간(Occlusion) 처리, 잡음 제거 그리고 정확도를 높이기 위한 서브픽셀(Sub-Pixel) 계산을 통해 결정된 시차 변이 값의 오류를 보정할 수 있다. 예를 들어, 프로세서(1540)는 영상에 급격한 변화가 없다는 가정에서, 결정된 시차 변이 값과 그 주변값을 비교하고, 가중치 중간(Weighted Median) 값으로 필터링함에 따라 시차 변이 값의 윤곽과 오류를 개선할 수 있다. 다른 예를 들어, 프로세서(1540)는 가이드 필터링 방법에 따라 가시광 영상의 색 및 경계와 같은 정보를 참조하여 비가시광 영상에 기반하여 결정된 시차 변이 값의 품질을 개선할 수 있다. 또 다른 예로, 프로세서(1540)는 서브픽셀 추정을 통해 시차 변이 값의 정밀도를 개선하고, 인접한 시차 변이 값을 세분할 수 있다. 이 같이, 프로세서(1540)는 물체의 윤곽 및 색을 포함하는 풍부한 이미지 속성을 가지고 있는 가시광 영상에 기반하여 비가시광 영상에 의해 생성된 시차 변이 값의 보정함에 따라 종래의 스테레오 비전에 비해서 시차 변이 값의 정확도가 높을 수 있다.In operation 1660, the processor 1540 may correct an error in the parallax disparity value determined through occlusion processing due to the left and right parallax, noise removal, and sub-pixel calculation for increasing accuracy. For example, the processor 1540 compares the determined parallax disparity value with its surrounding values under the assumption that there is no abrupt change in the image, and improves the contour and error of the parallax disparity value by filtering with a weighted median value. can do. As another example, the processor 1540 may improve the quality of the parallax disparity value determined based on the invisible light image by referring to information such as color and boundary of the visible light image according to the guide filtering method. As another example, the processor 1540 may improve the precision of the parallax disparity value through subpixel estimation, and may subdivide adjacent disparity values. As such, the processor 1540 corrects the parallax value generated by the invisible light image based on the visible light image having rich image properties including the outline and color of the object, so that the parallax disparity value compared to conventional stereo vision is corrected. may have high accuracy.

동작 1670에서, 프로세서(1540)는 삼각법을 이용하여 결정된 시차 변이값에 대응하는 3차원 거리(Depth)를 계산할 수 있다. 예를 들어, 프로세서(1540)는 단안 카메라(1510)와 투사기(1030)의 근간 거리(baseline) 및 단안 카메라(1510)의 초점 거리에 기반하여 삼각법에 따라 상기 시차 변이 값을 뎁스 값(3차원 거리)으로 변환할 수 있다. 추가적으로, 동작 1670에서, 프로세서(1540)는 뎁스 영상을 가시광 영상의 해상도(제1 해상도)에 맞추어 보간하고 보간된 뎁스 영상을 최종 뎁스 영상으로 결정할 수 있다. 이와 달리, 프로세서(1540)는 비가시광 영상을 디모자익(demosiac)함에 따라 최종 뎁스 영상을 생성(또는, 결정)할 수 있다.In operation 1670 , the processor 1540 may calculate a three-dimensional distance (Depth) corresponding to the determined parallax disparity value using trigonometry. For example, the processor 1540 converts the parallax disparity value to a depth value (three-dimensional) based on a baseline of the monocular camera 1510 and the projector 1030 and a focal length of the monocular camera 1510 according to trigonometry. distance) can be converted to Additionally, in operation 1670 , the processor 1540 interpolates the depth image to match the resolution (first resolution) of the visible light image, and determines the interpolated depth image as the final depth image. Alternatively, the processor 1540 may generate (or determine) a final depth image by demosaicing the invisible light image.

동작 1680에서, 프로세서(1540)는 RGB 영상(가시광 영상) 및 최종 뎁스 영상을 출력(예: 디스플레이에 표시)할 수 있다. In operation 1680, the processor 1540 may output (eg, display on a display) an RGB image (visible light image) and a final depth image.

상술한 실시예에 따르면, RGB-LiDAR 장치(1500)는 하나의 다중파장 카메라 모듈(600)을 통해서 RGB 영상과 시점이 일치하는 뎁스 영상을 제공함에 따라 종래의 스테레오 영상의 특성(예: 경계 포함 여부)에 따라 뎁스 품질 오차가 큰 종래 스테레오 비전 기술의 문제점을 개선할 수 있다. According to the above-described embodiment, the RGB-LiDAR device 1500 provides a depth image in which the RGB image and the viewpoint match through one multi-wavelength camera module 600, so that the characteristics of the conventional stereo image (eg, including the boundary) According to the present invention, the problem of the conventional stereo vision technology, which has a large error in depth quality, can be improved.

또한, 상술한 실시예에 따르면, RGB-LiDAR 장치(1500)는 가시광 영상보다 해상도가 낮은 비가시광 영상에 기반하여 가시광 영상의 해상도에 대응하는 뎁스 영상을 생성할 수 있다.Also, according to the above-described embodiment, the RGB-LiDAR device 1500 may generate a depth image corresponding to the resolution of the visible light image based on the invisible light image having a lower resolution than the visible light image.

더 나아가, 상술한 실시예에 따르면, RGB-LiDAR 장치(1500)는 자동차, 드론 및 휴대 단말과 같은 다양한 전자 장치에 적용되어, 뎁스 값 검출에 불리한 다양한 실내외 환경에서 보다 정확히 뎁스를 검출할 수 있다.Furthermore, according to the above-described embodiment, the RGB-LiDAR device 1500 is applied to various electronic devices such as automobiles, drones, and portable terminals, so that depth can be more accurately detected in various indoor and outdoor environments that are unfavorable to depth value detection. .

도 17은 일 실시예에 따른 캘리브레이션 관련 영상들을 나타낸다.17 shows images related to calibration according to an embodiment.

도 17을 참조하면, RGB-LiDAR 장치(1500)는 캘리브레이션 과정에서 단안 카메라(1510)를 통해서 체커보드(check board)와 같은 기준 객체를 포함하는 가시광 영상(1710) 및 비가시광 영상(1720)을 획득할 수 있다. 상기 결정된 캘리브레이션 값은 상기 동작 1620의 전처리에 이용될 수 있다. 상기 가시광 영상(1710) 및 비가시광 영상(1720)은 다중파장 조명 상태(예: 가시광 면광원 조명 및 텍스처를 포함하지 않은 비가시망 면광원이 투사된 상태)에서 획득될 수 있다.Referring to FIG. 17 , the RGB-LiDAR device 1500 generates a visible light image 1710 and a non-visible light image 1720 including a reference object such as a checker board through a monocular camera 1510 in a calibration process. can be obtained The determined calibration value may be used for pre-processing of operation 1620 . The visible light image 1710 and the non-visible light image 1720 may be obtained in a multi-wavelength illumination state (eg, in a state in which the visible light surface light source is illuminated and the non-visible surface light source that does not include a texture is projected).

도 18은 일 실시예에 따른 뎁스 산출을 위한 영상들을 나타낸다.18 illustrates images for calculating depth according to an embodiment.

도 18을 참조하면, RGB-LiDAR 장치(1500)는 단안 카메라(1510)를 통해서 가시광 영상(1810) 및 비가시광 영상(1820)을 획득할 수 있다. 상기 가시광 영상(1810)은 자연광 상태 또는 투사기(1030)를 통해 가시광을 투사한 상태에서 획득된 것일 수 있다. RGB-LiDAR 장치(1500)는 가시광 영상(1810)을 획득하는 동안에 투사기(1030)를 통해 비가시광 텍스처를 투사하고 비가시광 텍스처를 포함하는 비가시광 영상(1820)을 획득할 수 있다.Referring to FIG. 18 , the RGB-LiDAR device 1500 may acquire a visible light image 1810 and a non-visible light image 1820 through a monocular camera 1510 . The visible light image 1810 may be obtained in natural light or in a state in which visible light is projected through the projector 1030 . The RGB-LiDAR device 1500 may project an invisible light texture through the projector 1030 while acquiring the visible light image 1810 and may acquire an invisible light image 1820 including the invisible light texture.

상술한 실시예에 따르면, RGB-LiDAR 장치(1500)는 특정 무늬와 모양을 포함하는 비가시광 패턴(비가시광 텍스처)에 기반하여 촬영 대상에 텍스처가 없거나, 반복되는 모양이 포함되는 경우에 뎁스 품질이 크게 저하되는 종래의 수동적인 스테레오 비전 기술의 문제점을 개선할 수 있다.According to the above-described embodiment, the RGB-LiDAR device 1500 performs depth quality when an object to be photographed has no texture or a repeated shape is included based on an invisible light pattern (non-visible light texture) including a specific pattern and shape. It is possible to improve the problem of the conventional passive stereo vision technology, which is greatly degraded.

또한, 상술한 실시예에 따르면, RGB-LiDAR 장치(1500)는 시간적인 시점(time)이면서 시각적인 시점(sight of view)이 동일한 가시광 영상 및 비가시광 영상에 기반하여 시간축 및 공간축의 영상 정보를 모두 사용하여 뎁스를 산출함에 따라 실내외 열악한 환경(예: 저조도 환경, 텍스처 없는 환경)에서도 보다 정확히 뎁스를 산출할 수 있다.In addition, according to the above-described embodiment, the RGB-LiDAR device 1500 transmits image information on a time axis and a space axis based on a visible light image and a non-visible light image having the same visual point of view as the time. As the depth is calculated by using all of them, the depth can be more accurately calculated even in poor indoor and outdoor environments (eg, low-light environment, texture-free environment).

도 19는 일 실시예에 따른 뎁스 영상을 나타낸다.19 illustrates a depth image according to an exemplary embodiment.

도 19를 참조하면, RGB-LiDAR 장치(1500)는 시점(sight of view)이 일치하고, 해상도가 동일한 RGB 영상(1910) 및 뎁스 영상(1920)(도 11의 최종 뎁스 영상)을 생성하고, 생성된 RGB 영상(1910) 및 뎁스 영상(1920)을 출력할 수 있다.Referring to FIG. 19 , the RGB-LiDAR device 1500 generates an RGB image 1910 and a depth image 1920 (the final depth image of FIG. 11 ) having the same sight of view and the same resolution, The generated RGB image 1910 and the depth image 1920 may be output.

상술한 실시예에 따르면, RGB-LiDAR 장치(1500)는 가시광 영상들(RGB 영상)에 비해서 해상도가 낮은 비가시광 영상들에 기반하여 가시광 영상의 해상도에 대응하는 뎁스 영상을 생성할 수 있다. According to the above-described embodiment, the RGB-LiDAR device 1500 may generate a depth image corresponding to the resolution of the visible light image based on invisible light images having a lower resolution than the visible light images (RGB image).

일 실시예에 따르면, RGB-LiDAR 장치(예: 도 10의 1000)는, 동일한 시점(sight of view)을 갖는 가시광 영상 및 비가시광 영상을 각기 촬영 가능한 제1 카메라(예: 도 10의 1010)와 제2 카메라(예: 도 10의 1020); 비가시광을 투사 가능한 투사기(예: 도 10의 1030); 및 프로세서(예: 도 10의 1050)를 포함하고, 상기 프로세서는, 상기 투사기를 통해 비가시광 텍스처를 투사하고, 상기 비가시광 텍스처가 투사되는 동안에, 상기 제1 카메라를 통해 제1 가시광 영상 및 제1 비가시광 영상을 획득하고, 상기 제1 가시광 영상 및 상기 제1 비가시광 영상을 획득하는 동안에, 상기 제2 카메라를 통해 제2 가시광 영상 및 제2 비가시광 영상을 획득하고, 상기 제1 가시광 영상과 상기 제1 비가시광 영상 간의 시차 변이 값 및 상기 제2 가시광 영상과 상기 제2 비가시광 영상 간의 시차 변이 값에 기반하여 뎁스 값을 결정할 수 있다. According to an embodiment, the RGB-LiDAR device (eg, 1000 in FIG. 10 ) is a first camera (eg, 1010 in FIG. 10 ) capable of capturing a visible light image and a non-visible light image having the same sight of view. and a second camera (eg, 1020 in FIG. 10 ); a projector capable of projecting invisible light (eg, 1030 in FIG. 10 ); and a processor (eg, 1050 in FIG. 10 ), wherein the processor projects an invisible light texture through the projector, and while the invisible light texture is projected, a first visible light image and a second image through the first camera acquiring a first non-visible light image, and while acquiring the first visible light image and the first non-visible light image, a second visible light image and a second invisible light image are obtained through the second camera, and the first visible light image A depth value may be determined based on a parallax disparity value between the first non-visible light image and a parallax disparity value between the second visible light image and the second non-visible light image.

상기 제1 카메라 및 상기 제2 카메라 각각은, 촬영 대상으로부터 반사된 광을 집광하는 통합 렌즈(예: 도 6의 통합 렌즈(610)); 상기 집광된 광 중에서 가시광을 제1 방향으로 전달하고 상기 집광된 광 중에서 비가시광을 제2 방향으로 전달하는 분할 모듈(예: 도 6의 파장 분할 필터(620), 제1 프리즘(630a) 및 제2 프리즘(630b)), 상기 분할 모듈을 통해 상기 제1 방향으로 전달된 가시광에 기반하여 상기 촬영 대상을 포함하는 가시광 영상을 촬영하는 제1 이미지 센서(예: 도 6의 제1 이미지 센서(660a)), 및 상기 분할 모듈을 통해 상기 제2 방향으로 전달된 비가시광에 기반하여 상기 촬영 대상을 포함하는 비가시광 영상을 촬영하는 제2 이미지 센서(예: 도 6의 제1 이미지 센서(660b))를 포함하고, 상기 제1 이미지 센서에 의해 촬영된 가시광 영상 및 상기 제2 이미지 센서에 의해 촬영된 비가시광 영상은 동일한 시점을 가질 수 있다. Each of the first camera and the second camera may include an integrated lens (eg, the integrated lens 610 of FIG. 6 ) for condensing light reflected from a photographing target; A division module (eg, the wavelength division filter 620 of FIG. 6 , the first prism 630a and the first 2 prism 630b), a first image sensor (eg, the first image sensor 660a of FIG. 6 ) for capturing a visible light image including the photographing target based on the visible light transmitted in the first direction through the division module )), and a second image sensor (eg, the first image sensor 660b of FIG. 6 ) that captures the invisible light image including the photographing target based on the invisible light transmitted in the second direction through the division module. ), and the visible light image photographed by the first image sensor and the invisible light image photographed by the second image sensor may have the same viewpoint.

상기 분할 모듈은, 상기 집광된 광 중에서 가시광을 상기 제1 방향으로 비가시광을 상기 제2 방향으로 반사시키는 파장 분할 필터(예: 도 6의 파장 분할 필터(620)), 상기 파장 분할 필터를 거친 가시광을 상기 제1 방향으로 굴절시키는 제1 프리즘(예: 도 6의 제1 프리즘(630a)), 상기 파장 분할 필터를 거친 비가시광을 상기 제2 방향으로 굴절시키는 제2 프리즘(예: 제2 프리즘(630b))을 포함할 수 있다. The division module includes a wavelength division filter (eg, the wavelength division filter 620 of FIG. 6 ) that reflects visible light among the collected light in the first direction and invisible light in the second direction, and passes through the wavelength division filter. A first prism that refracts visible light in the first direction (eg, the first prism 630a of FIG. 6 ), and a second prism that refracts invisible light that has passed through the wavelength division filter in the second direction (eg, a second prism) a prism 630b).

상기 분할 모듈과 상기 제1 이미지 센서 사이 및 상기 분할 모듈과 상기 제2 이미지 센서 사이에는, 상기 제1 이미지 센서 및 상기 제2 이미지 센서의 초점을 각기 조절 가능한 제1 초점 렌즈(예: 도 6의 제1 초점 렌즈(640a)) 및 제2 초점 렌즈(예: 도 6의 제1 초점 렌즈(640b))가 각기 마련될 수 있다.Between the division module and the first image sensor and between the division module and the second image sensor, a first focusing lens (eg, in FIG. 6 ) capable of adjusting the focus of the first image sensor and the second image sensor A first focus lens 640a) and a second focus lens (eg, the first focus lens 640b of FIG. 6 ) may be provided, respectively.

상기 제1 초점 렌즈와 상기 제1 이미지 센서 사이 및 상기 제2 초점 렌즈와 상기 제1 이미지 센서 사이에는, 가시광 파장 대역의 광만 통과시키는 제1 대역통과 필터(예: 도 6의 제1 대역통과 필터(650a)) 및 비가시광 대역의 광만 통과시키는 제2 대역통과 필터(예: 도 6의 제1 대역통과 필터(650a))가 각기 마련될 수 있다. Between the first focus lens and the first image sensor and between the second focus lens and the first image sensor, a first bandpass filter that passes only light in a visible wavelength band (eg, the first bandpass filter of FIG. 6 ) (650a)) and a second bandpass filter (eg, the first bandpass filter 650a of FIG. 6 ) passing only light in the invisible light band may be provided, respectively.

상기 비가시광 텍스처는, 지정된 패턴 또는 무늬를 갖는 비가시광 조명일 수 있다. The invisible light texture may be invisible light illumination having a specified pattern or pattern.

상기 비가시광은, 근적외선(NIR), 단파적외선(SWIR), 중파적외선(MWIR), 원파적외선(LWIR) 및 테라헬즈(THz) 중 적어도 하나의 파장대역 광을 포함할 수 있다. The invisible light may include light in at least one wavelength band of near-infrared (NIR), short-wave infrared (SWIR), medium-wave infrared (MWIR), far-wave infrared (LWIR), and teraheltz (THz).

상기 제1 가시광 영상 및 상기 제2 가시광 영상은, 제1 해상도의 영상이고, 상기 제1 비가시광 영상 및 상기 제2 비가시광 영상은, 상기 제1 해상도 이하의 제2 해상도의 영상일 수 있다. The first visible light image and the second visible light image may be images of a first resolution, and the first invisible light image and the second non-visible light image may be images of a second resolution equal to or less than the first resolution.

상기 프로세서는, 상기 제1 가시광 영상 및 상기 제2 가시광 영상에 기반하여 제1 지정된 범위에 속하는 시차 변이 값을 갖는 제1 선별 코스트 볼륨을 검출하고, 상기 제1 비가시광 영상 및 상기 제2 비가시광 영상에 기반하여 상기 제1 지정된 범위에 속하는 시차 변이 값을 갖는 제2 선별 코스트 볼륨을 검출하고, 상기 제1 선별 코스트 볼륨 및 상기 제2 선별 코스트 볼륨에 기반하여 상기 뎁스 값을 결정할 수 있다. The processor is configured to detect a first selection cost volume having a parallax disparity value belonging to a first specified range based on the first visible light image and the second visible light image, and the first non-visible light image and the second non-visible light image A second selected cost volume having a disparity value belonging to the first designated range may be detected based on an image, and the depth value may be determined based on the first selected cost volume and the second selected cost volume.

상기 프로세서는, 상기 제1 선별 코스트 볼륨 및 상기 제2 선별 코스트 볼륨에서 각기 임계 신뢰도 이상의 시차 변이 값을 선택하고, 상기 임계 신뢰도 이상의 시차 변이 값에 기반하여 상기 뎁스 값을 결정할 수 있다. The processor may select a parallax disparity value equal to or greater than a threshold reliability from each of the first selection cost volume and the second selection cost volume, and determine the depth value based on the parallax disparity value equal to or greater than the threshold reliability.

상기 프로세서는, 상기 제1 선별 코스트 볼륨 및 상기 제2 선별 코스트 볼륨에 기반하여 제1 뎁스 영상 및 제2 뎁스 영상을 각기 결정하고, 상기 제1 뎁스 영상 및 상기 제2 뎁스 영상을 혼합함에 따라 상기 뎁스 값을 포함하는 최종 뎁스 영상을 생성할 수 있다. The processor determines, respectively, a first depth image and a second depth image based on the first selection cost volume and the second selection cost volume, and mixes the first depth image and the second depth image. A final depth image including a depth value may be generated.

상기 프로세서는, 가이드 이미징 방법에 따라 상기 제2 뎁스 영상을 가이드 이미지로 하여 상기 제1 뎁스 영상을 보정함에 따라 상기 최종 뎁스 영상을 생성할 수 있다. The processor may generate the final depth image by correcting the first depth image using the second depth image as a guide image according to a guide imaging method.

상기 프로세서는, 상기 제2 뎁스 영상의 해상도가 상기 제1 뎁스 영상의 해상도 미만이면, 디모자익(de-mosiac) 또는 보간을 통해 상기 제1 뎁스 영상에 맞추어 제2 뎁스 영상의 해상도를 조절하고, 상기 제1 뎁스 영상 및 상기 보정된 제2 뎁스 영상에 기반하여 상기 제1 뎁스 영상의 해상도에 대응하는 상기 최종 뎁스 영상을 생성할 수 있다. If the resolution of the second depth image is less than the resolution of the first depth image, the processor adjusts the resolution of the second depth image to match the first depth image through de-mosiac or interpolation, The final depth image corresponding to the resolution of the first depth image may be generated based on the first depth image and the corrected second depth image.

일 실시예에 따르면, RGB-LiDAR 장치(예: 도 15의 1500)는, 동일한 시점(sight of view)을 갖는 가시광 영상 및 비가시광 영상을 촬영 가능한 카메라(도 15의 1510); 상기 카메라와 일정 간격 이격되어 나란히 배치된 투사기(예: 도 15의 1520); 기준 텍스처 영상을 저장하는 메모리(예: 도 15의 1530); 및 프로세서(예: 도 15의 1540)를 포함하고, 상기 프로세서는, 상기 투사기를 통해 비가시광 텍스처를 투사하고, 상기 비가시광 텍스처가 투사되는 동안에, 상기 카메라를 통해 가시광 영상 및 상기 비가시광 텍스처를 포함하는 비가시광 영상을 획득하고, 상기 기준 텍스처 영상과 상기 비시광 영상 간의 시차 변이 값에 기반하여 뎁스 값을 결정할 수 있다. According to an embodiment, the RGB-LiDAR device (eg, 1500 of FIG. 15 ) may include a camera ( 1510 of FIG. 15 ) capable of capturing a visible light image and a non-visible light image having the same sight of view; a projector (eg, 1520 of FIG. 15 ) arranged side by side spaced apart from the camera; a memory for storing a reference texture image (eg, 1530 in FIG. 15 ); and a processor (eg, 1540 in FIG. 15 ), wherein the processor projects an invisible light texture through the projector, and while the invisible light texture is projected, a visible light image and the invisible light texture through the camera A non-visible light image including

상기 카메라는, 촬영 대상으로부터 반사된 광을 집광하는 통합 렌즈; 상기 집광된 광 중에서 가시광을 제1 방향으로 전달하고 상기 집광된 광 중에서 비가시광을 제2 방향으로 전달하는 분할 모듈; 상기 분할 모듈을 통해 상기 제1 방향으로 전달된 가시광에 기반하여 상기 촬영 대상을 포함하는 가시광 영상을 촬영하는 제1 이미지 센서; 및 상기 분할 모듈을 통해 상기 제2 방향으로 전달된 비가시광에 기반하여 상기 촬영 대상을 포함하는 비가시광 영상을 촬영하는 제2 이미지 센서를 포함하고, 상기 제1 이미지 센서에 의해 촬영된 가시광 영상 및 상기 제2 이미지 센서에 의해 촬영된 비가시광 영상은 동일한 시점을 가질 수 있다. The camera may include: an integrated lens for condensing light reflected from a photographing target; a splitting module for transmitting visible light from the focused light in a first direction and transmitting invisible light from the focused light in a second direction; a first image sensor configured to capture a visible light image including the photographing target based on the visible light transmitted in the first direction through the division module; and a second image sensor configured to capture an invisible light image including the photographing target based on the invisible light transmitted in the second direction through the division module, wherein the visible light image captured by the first image sensor and The invisible light images captured by the second image sensor may have the same viewpoint.

상기 분할 모듈은, 상기 집광된 광 중에서 가시광을 상기 제1 방향으로 비가시광을 상기 제2 방향으로 반사시키는 파장 분할 필터; 상기 파장 분할 필터를 거친 가시광을 상기 제1 방향으로 굴절시키는 제1 프리즘; 및 상기 파장 분할 필터를 거친 비가시광을 상기 제2 방향으로 굴절시키는 제2 프리즘을 포함할 수 있다. The division module may include: a wavelength division filter configured to reflect visible light from the focused light in the first direction to invisible light in the second direction; a first prism for refracting visible light passing through the wavelength division filter in the first direction; and a second prism configured to refract invisible light passing through the wavelength division filter in the second direction.

상기 프로세서는, 가이드 필터링 방법에 따라 상기 비가시광 영상에 기반하여 생성된 뎁스 값을 상기 가시광 영상의 영상 속성에 기반하여 보정함에 따라 최종 뎁스 값을 결정할 수 있다. The processor may determine the final depth value by correcting the depth value generated based on the invisible light image based on the image property of the visible light image according to the guide filtering method.

상기 프로세서는, 상기 투사기와 상기 카메라 간의 근간 거리 및 상기 카메라의 초점 거리를 이용하여 상기 결정된 시차 변이 값을 상기 뎁스 값으로 변환할 수 있다. The processor may convert the determined parallax disparity value into the depth value using a focal distance between the projector and the camera and a focal length of the camera.

일 실시예에 따르면, RGB-LiDAR 장치의 제어 방법은, 상기 RGB-LiDAR 장치는, 동일한 시점(sight of view)을 갖는 가시광 영상 및 비가시광 영상을 각기 촬영 가능한 제1 카메라와 제2 카메라; 비가시광을 투사 가능한 투사기; 및 프로세서를 포함하고, 상기 투사기를 통해 비가시광 텍스처를 투사하는 동작; 상기 비가시광 텍스처가 투사되는 동안에, 상기 제1 카메라를 통해 제1 가시광 영상 및 제1 비가시광 영상을 획득하는 동작; 상기 제1 가시광 영상 및 상기 제1 비가시광 영상을 획득하는 동안에, 상기 제2 카메라를 통해 제2 가시광 영상 및 제2 비가시광 영상을 획득하는 동작; 및 상기 제1 가시광 영상과 상기 제1 비가시광 영상 간의 시차 변이 값 및 상기 제2 가시광 영상과 상기 제2 비가시광 영상 간의 시차 변이 값에 기반하여 뎁스 값을 결정하는 동작을 포함할 수 있다.According to an embodiment, a method of controlling an RGB-LiDAR device includes: a first camera and a second camera capable of capturing a visible light image and a non-visible light image having the same sight of view; Projector capable of projecting invisible light; and a processor, comprising: projecting an invisible light texture through the projector; acquiring a first visible light image and a first invisible light image through the first camera while the invisible light texture is projected; acquiring a second visible light image and a second invisible light image through the second camera while acquiring the first visible light image and the first non-visible light image; and determining a depth value based on a parallax disparity value between the first visible light image and the first non-visible light image and a parallax disparity value between the second visible light image and the second non-visible light image.

상기 결정하는 동작은, 가이드 이미징 방법에 따라 상기 제1 비가시광 영상 및 제2 비가시광 영상에 기반하여 생성된 뎁스 값을 상기 제1 가시광 영상 및 상기 제2 가시광 영상의 영상 속성에 기반하여 보정함에 따라 최종 뎁스 값을 결정할 수 있다. The determining may include correcting a depth value generated based on the first non-visible light image and the second non-visible light image based on image properties of the first visible light image and the second visible light image according to the guide imaging method. Accordingly, the final depth value may be determined.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.It should be understood that the various embodiments of this document and the terms used therein are not intended to limit the technical features described in this document to specific embodiments, and include various modifications, equivalents, or substitutions of the embodiments. In connection with the description of the drawings, like reference numerals may be used for similar or related components. The singular form of the noun corresponding to the item may include one or more of the item, unless the relevant context clearly dictates otherwise. As used herein, “A or B”, “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C” and “A, Each of the phrases "at least one of B, or C" may include any one of, or all possible combinations of, items listed together in the corresponding one of the phrases. Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish the component from other such components, and refer to the component in another aspect (e.g., importance or order) is not limited. that one (e.g., first) component is "coupled" or "connected" to another (e.g., second) component with or without the terms "functionally" or "communicatively" When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.

본 문서에서 사용된 용어 "모듈", "부" 및 "수단"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.As used herein, the terms “module,” “part,” and “means” may include units implemented in hardware, software, or firmware, and include terms such as, for example, logic, logical blocks, components, or circuits; They can be used interchangeably. A module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).

본 문서의 다양한 실시예들은 기기(machine)(예: RGB-LiDAR 장치(1000))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)(메모리(1040))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: RGB-LiDAR 장치(1000, 1500))의 프로세서(예: 프로세서(1050, 1540)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document are stored in a storage medium (eg, internal memory or external memory) (memory 1040) readable by a machine (eg, RGB-LiDAR device 1000). It may be implemented as software (eg, a program) including one or more instructions. For example, the processor (eg, the processor 1050 , 1540 ) of the device (eg, the RGB-LiDAR device 1000 or 1500 ) calls at least one of the one or more instructions stored from the storage medium, and executes it. This enables the device to be operated to perform at least one function according to the at least one instruction called.The one or more instructions include code generated by a compiler or code that can be executed by an interpreter. A device-readable storage medium may be provided in the form of a non-transitory storage medium, where 'non-transitory' is a device in which the storage medium is tangible, and a signal ( signal) (eg, electromagnetic waves), and this term does not distinguish between a case in which data is semi-permanently stored in a storage medium and a case in which data is temporarily stored.

일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product). Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store ^TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones). In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, a module or a program) of the above-described components may include a singular or a plurality of entities. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or a program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.

Claims

An RGB-LiDAR device comprising:
a first camera and a second camera capable of respectively capturing a visible light image and a non-visible light image having the same sight of view;
Projector capable of projecting invisible light; and
A processor comprising:
projecting an invisible light texture through the projector;
while the invisible light texture is projected, a first visible light image and a first invisible light image are obtained through the first camera;
while acquiring the first visible light image and the first non-visible light image, acquiring a second visible light image and a second non-visible light image through the second camera;
and determining a depth value based on a parallax disparity value between the first visible light image and the first non-visible light image and a parallax disparity value between the second visible light image and the second non-visible light image.

The method according to claim 1, Each of the first camera and the second camera,
an integrated lens for condensing light reflected from a photographing object;
a splitting module for transmitting visible light from the focused light in a first direction and transmitting invisible light from the focused light in a second direction;
a first image sensor configured to capture a visible light image including the photographing target based on the visible light transmitted in the first direction through the division module; and
and a second image sensor for capturing an invisible light image including the photographing target based on the invisible light transmitted in the second direction through the division module,
The visible light image photographed by the first image sensor and the invisible light image photographed by the second image sensor have the same viewpoint.

The method according to claim 2, The dividing module,
a wavelength division filter configured to reflect visible light among the collected light in the first direction and invisible light in the second direction;
a first prism for refracting visible light passing through the wavelength division filter in the first direction;
and a second prism for refracting invisible light passing through the wavelength division filter in the second direction.

The method according to claim 3, Between the division module and the first image sensor and between the division module and the second image sensor
The RGB-LiDAR device of claim 1, wherein a first focus lens and a second focus lens capable of adjusting the focus of the first image sensor and the second image sensor, respectively, are provided.

The method according to claim 4, Between the first focus lens and the first image sensor and between the second focus lens and the first image sensor,
An RGB-LiDAR device, each provided with a first bandpass filter passing only light of a visible wavelength band and a second bandpass filter passing only light of a non-visible light band.

The method according to claim 1, The invisible light texture,
An RGB-LiDAR device, which is a non-visible light having a specified pattern or pattern.

The method according to claim 1, The invisible light,
An RGB-LiDAR device comprising light in at least one wavelength band of near-infrared (NIR), short-wave infrared (SWIR), mid-wave infrared (MWIR), far-wave infrared (LWIR), and teraheltz (THz).

The method according to claim 1,
The first visible light image and the second visible light image are images of a first resolution,
The first invisible light image and the second invisible light image are images having a second resolution equal to or less than the first resolution.

The method according to claim 1, wherein the processor,
detecting a first selection cost volume having a parallax disparity value belonging to a first designated range based on the first visible light image and the second visible light image,
detecting a second selection cost volume having a parallax disparity value belonging to the first designated range based on the first non-visible light image and the second non-visible light image;
and determining the depth value based on the first selection cost volume and the second selection cost volume.

The method according to claim 9, wherein the processor,
selecting a lag variance value equal to or greater than a threshold reliability from the first screening cost volume and the second screening cost volume,
and determining the depth value based on a parallax disparity value equal to or greater than the threshold reliability.

The method according to claim 9, wherein the processor,
determining a first depth image and a second depth image based on the first selection cost volume and the second selection cost volume, respectively;
An RGB-LiDAR device for generating a final depth image including the depth value by mixing the first depth image and the second depth image.

The method according to claim 11, wherein the processor,
An RGB-LiDAR device for generating the final depth image by correcting the first depth image using the second depth image as a guide image according to a guide imaging method.

The method according to claim 11, wherein the processor,
When the resolution of the second depth image is less than the resolution of the first depth image, the resolution of the second depth image is adjusted to match the first depth image through de-mosiac or interpolation;
The RGB-LiDAR device for generating the final depth image corresponding to the resolution of the first depth image based on the first depth image and the corrected second depth image.

An RGB-LiDAR device comprising:
a camera capable of photographing a visible light image and a non-visible light image having the same sight of view;
Projectors spaced apart from the camera and arranged side by side;
a memory for storing a reference texture image; and
A processor comprising:
projecting an invisible light texture through the projector;
while the invisible light texture is projected, a visible light image and an invisible light image including the invisible light texture are obtained through the camera;
and determining a depth value based on a parallax shift value between the reference texture image and the non-visual light image.

The method according to claim 14, The camera,
an integrated lens for condensing light reflected from a photographing object;
a splitting module for transmitting visible light from the focused light in a first direction and transmitting invisible light from the focused light in a second direction;
a first image sensor configured to capture a visible light image including the photographing target based on the visible light transmitted in the first direction through the division module; and
and a second image sensor for capturing an invisible light image including the photographing target based on the invisible light transmitted in the second direction through the division module,
The visible light image photographed by the first image sensor and the invisible light image photographed by the second image sensor have the same viewpoint.

The method according to claim 15, The dividing module,
a wavelength division filter configured to reflect visible light among the collected light in the first direction and invisible light in the second direction;
a first prism for refracting visible light passing through the wavelength division filter in the first direction;
and a second prism for refracting invisible light passing through the wavelength division filter in the second direction.

The method of claim 14, wherein the processor,
An RGB-LiDAR device for determining a final depth value by correcting a depth value generated based on the invisible light image based on an image property of the visible light image according to a guide filtering method.

The method of claim 14, wherein the processor,
and converting the determined parallax disparity value into the depth value using a focal distance between the projector and the camera and a focal length of the camera.

A method for controlling an RGB-LiDAR device, the method comprising:
The RGB-LiDAR device comprises:
a first camera and a second camera capable of respectively capturing a visible light image and a non-visible light image having the same sight of view; Projector capable of projecting invisible light; and a processor;
projecting an invisible light texture through the projector;
acquiring a first visible light image and a first invisible light image through the first camera while the invisible light texture is projected;
acquiring a second visible light image and a second invisible light image through the second camera while acquiring the first visible light image and the first non-visible light image; and
and determining a depth value based on a parallax disparity value between the first visible light image and the first non-visible light image and a parallax disparity value between the second visible light image and the second non-visible light image. control method.

The method according to claim 19, The determining operation,
A final depth value is determined by correcting a depth value generated based on the first non-visible light image and the second non-visible light image based on the image properties of the first visible light image and the second visible light image according to the guide imaging method , RGB-LiDAR device control method.