KR20220014495A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220014495A
KR20220014495A KR1020200094153A KR20200094153A KR20220014495A KR 20220014495 A KR20220014495 A KR 20220014495A KR 1020200094153 A KR1020200094153 A KR 1020200094153A KR 20200094153 A KR20200094153 A KR 20200094153A KR 20220014495 A KR20220014495 A KR 20220014495A
Authority
KR
South Korea
Prior art keywords
depth image
image
depth
electronic device
confidence map
Prior art date
Application number
KR1020200094153A
Other languages
English (en)
Inventor
이태희
김성원
김세영
이유정
이정환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200094153A priority Critical patent/KR20220014495A/ko
Priority to PCT/KR2021/008433 priority patent/WO2022025458A1/ko
Priority to CN202180058359.2A priority patent/CN116097306A/zh
Priority to EP21850284.7A priority patent/EP4148671A4/en
Publication of KR20220014495A publication Critical patent/KR20220014495A/ko
Priority to US18/102,527 priority patent/US20230177709A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

전자 장치가 개시된다. 전자 장치는 제1 이미지 센서, 제2 이미지 센서 및 프로세서를 포함하고, 프로세서는, 제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 컨피던스 맵(confidence map)을 획득하고, 제2 이미지 센서를 이용하여 RGB 이미지를 획득하고, 컨피던스 맵 및 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하고, 컨피던스 맵의 픽셀값을 바탕으로 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득할 수 있다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 뎁스 이미지를 획득하는 전자 장치 및 그 제어 방법에 관한 것이다.
근래에는 전자 기술의 발달에 힘입어 자율주행 로봇에 대한 연구가 활발히 진행되고 있다. 로봇의 원활한 주행을 위해서는 로봇 주변에 대한 정확한 뎁스 정보를 획득하는 것이 중요하다. 뎁스 정보를 획득하기 위한 센서로는, 광의 비행 시간이나 위상 정보를 바탕으로 뎁스 이미지(Depth image)를 획득하는 ToF(Time of Flight) 센서, 두 개의 카메라를 통해 촬상된 이미지를 바탕으로 뎁스 이미지를 획득하는 스테레오 카메라 등이 있다.
한편, ToF센서는 스테레오 카메라에 비해 원거리에 대한 각도 분해능이 우수하나, 다중 반사 등으로 인하여 근거리 정보에 대한 정확도가 상대적으로 낮다는 한계가 있다. 또한, 스테레오 카메라는 상대적으로 정확도가 높은 근거리 정보를 획득할 수 있으나, 원거리 측정을 위해서는 두 개의 카메라가 서로 멀리 떨어져야 하므로 소형화 제작이 불리하다는 단점을 갖는다.
따라서, 소형화 제작이 용이하면서 근거리 정보의 정확도가 높은 뎁스 이미지를 획득하기 위한 기술에 대한 필요성이 대두된다.
본 발명이 해결하고자 하는 일 기술적 과제는, 소형화 제작이 용이하며 근거리에 대한 거리 정보의 정확도가 개선된 전자 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치에 있어서, 제1 이미지 센서; 제2 이미지 센서; 및 프로세서;를 포함하고, 상기 프로세서는, 제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 상기 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하고, 제2 이미지 센서를 이용하여 상기 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득하고, 상기 컨피던스 맵 및 상기 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하고, 상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는 전자 장치가 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 상기 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하는 단계; 제2 이미지 센서를 이용하여 상기 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득하는 단계; 상기 컨피던스 맵 및 상기 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하는 단계; 및 상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 종래의 ToF 센서에 비해 근거리에 대한 거리 정보의 정확도가 향상된 거리 정보를 획득할 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 일 실시 예에 따른 뎁스 이미지 획득 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 제1 뎁스 이미지의 뎁스값에 따른 제1 합성비 및 제2 합성비를 나타낸 그래프이다.
도 3은 본 개시의 일 실시 예에 따른 컨피던스 맵의 픽셀값에 따른 제1 합성비 및 제2 합성비를 나타낸 그래프이다.
도 4는 본 개시의 일 실시 예에 따른 제3 뎁스 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 RGB 이미지를 도시한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 도시한 순서도이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 사시도이다.
도 8a는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 8b는 본 개시의 일 실시 예에 따른 프로세서의 구성을 도시한 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 뎁스 이미지 획득 방법을 설명하기 위한 도면이다.
전자 장치(100)는 제1 이미지 센서(110)를 이용하여 제1 뎁스 이미지(10)를 획득할 수 있다. 구체적으로, 전자 장치(100)는 제1 이미지 센서(110)로부터 출력되는 신호를 바탕으로 제1 뎁스 이미지(10)를 획득할 수 있다. 여기서, 제1 뎁스 이미지(10)는, 전자 장치(100)로부터 오브젝트까지의 거리를 나타내는 이미지로서, 제1 뎁스 이미지의 각 픽셀의 뎁스값(또는 거리값)은, 전자 장치(100)로부터 각 픽셀에 대응되는 오브젝트까지의 거리를 의미할 수 있다.
전자 장치(100)는 제1 이미지 센서(110)를 이용하여 컨피던스 맵(confidence map)(20)을 획득할 수 있다. 여기서, 컨피던스 맵(또는 컨피던스 이미지)(20)이란, 제1 뎁스 이미지(10)의 각 영역별 뎁스값에 대한 신뢰도를 나타내는 이미지를 의미한다. 이 때, 컨피던스 맵(20)은 제1 뎁스 이미지(10)에 대응되는 적외선(IR) 이미지일 수 있다. 그리고, 전자 장치(100)는 컨피던스 맵(20)을 바탕으로 제1 뎁스 이미지(10)의 각 영역별 뎁스값의 신뢰도를 판단할 수 있다.
한편, 전자 장치(100)는 제1 이미지 센서(110)로부터 출력되는 신호를 바탕으로 컨피던스 맵(20)을 획득할 수 있다. 구체적으로, 제1 이미지 센서(110)는 기 설정된 시간 차이를 두고 활성화되는 복수의 센서를 포함할 수 있다. 이 때, 전자 장치(100)는 복수의 센서 각각을 통해 복수의 이미지 데이터를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 복수의 이미지 데이터를 컨피던스 맵(20)을 획득할 수 있다. 예로, 전자 장치(100)는 [수학식 1]을 통해 컨피던스 맵(20)을 획득할 수 있다.
[수학식 1]
Figure pat00001
여기서, I1 내지 I4는 각각 제1 내지 제4 이미지 데이터를 의미한다.
한편, 제1 이미지 센서(110)는 ToF(Time of Flight) 센서 또는 구조광(structured light) 센서로 구현될 수 있다.
전자 장치(100)는 제2 이미지 센서(120)를 이용하여 RGB 이미지(30)를 획득할 수 있다. 구체적으로, 전자 장치(100)는 제2 이미지 센서(120)로부터 출력되는 신호를 바탕으로 RGB 이미지를 획득할 수 있다. 이 때, RGB 이미지(30)는 제1 뎁스 이미지(10) 및 컨피던스 맵(20)에 각각 대응될 수 있다. 예로, RGB 이미지(30)는 제1 뎁스 이미지(10) 및 컨피던스 맵(20)와 동일한 시점에 대한 이미지일 수 있다.
전자 장치(100)는 제1 이미지 센서(110) 및 제2 이미지 센서(120)의 활성화 시점을 조절하여 제1 뎁스 이미지(10) 및 컨피던스 맵(20)에 대응되는 RGB 이미지(30)를 획득할 수 있다. 그리고, 전자 장치(100)는 RGB 이미지(30) 의 R, G, B 값을 바탕으로 그레이스케일 이미지(40)를 생성할 수 있다. 한편, 제2 이미지 센서(120)는 CMOS(Complementary Metal-Oxide-Semiconductor), CCD(Charge-Coupled Device) 등의 이미지 센서로 구현될 수 있다.
전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40)를 바탕으로 제2 뎁스 이미지(50)를 획득할 수 있다. 특히, 전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40)에 대해 스테레오 매칭(stereo matching)을 수행하여 제2 뎁스 이미지(50)를 획득할 수 있다. 여기서, 스테레오 매칭이란, 한쪽 이미지의 임의의 한 점이 다른 쪽 이미지의 어느 위치에 있는지를 검출하고, 검출된 결과 점의 이동된 량을 구하여 뎁스 값을 산출하는 방법을 말한다. 전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40)에서 대응점을 식별할 수 있다. 이 때, 전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40)에 포함된 오브젝트의 형태나 윤곽을 식별하여 대응점을 식별할 수 있다. 그리고, 전자 장치(100)는 컨피던스 맵(20) 및 그레이스케일 이미지(40) 각각에서 식별된 대응점 간의 디스패리티(disparity)와 베이스라인의 길이(즉, 제1 이미지 센서(100)와 제2 이미지 센서(200) 사이의 거리)를 바탕으로 제2 뎁스 이미지(50)를 생성할 수 있다.
한편, IR 이미지인 컨피던스 맵(20)과 RGB 이미지(30)를 바탕으로 스테레오 매칭을 수행할 경우, 픽셀값의 차이로 인하여 정확한 대응점을 찾는 것이 어려울 수 있다. 따라서, 전자 장치(100)는 RGB 이미지(30)가 아닌 그레일스케일 이미지(40)를 바탕으로 스테레오 매칭을 수행할 수 있다. 이에 따라, 전자 장치(100)는 대응점을 보다 정확히 식별할 수 있으며, 제2 뎁스 이미지(50)에 포함된 뎁스 정보의 정확도가 향상될 수 있다. 한편, 전자 장치(100)는 스테레오 매칭을 수행하기 전에 컨피던스 맵(20) 및 그레이스케일 이미지(40)의 밝기 차이를 보정하는 등의 전처리를 수행할 수도 있다.
한편, ToF 센서는 기설정된 거리(예로, ToF 센서로부터 5m 이내 거리) 밖에서는 스테레오 센서에 비해 각도 분해능(즉, 서로 떨어져 있는 두 물체를 서로 구별할 수 있는 능력) 및 거리 정확도가 높으나, 기설정된 거리 이내에서는 스테레오 센서에 비해 각도 분해능 및 거리 정확도가 낮을 수 있다. 예로, 반사광의 세기가 임계값보다 큰 경우 발생되는 렌즈 플레어(lens flare) 또는 고스트 현상으로 뎁스 이미지 상에 근거리의 허상이 나타나는 현상이 발생하기도 하며, 이에 따라, ToF 센서를 통해 획득되는 뎁스 이미지는 근거리 오차를 포함하는 문제가 있었다. 이에, 전자 장치(100)는 스테레오매칭을 통해 획득된 제2 뎁스 이미지(50)를 이용하여 제1 뎁스 이미지(10)보다 근거리 정확도가 향상된 제3 뎁스 이미지(60)를 획득할 수 있다.
전자 장치(100)는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 바탕으로 제3 뎁스 이미지(60)를 획득할 수 있다. 구체적으로, 전자 장치(100)는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성하여 제3 뎁스 이미지(60)를 생성할 수 있다. 이 때, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값 및 컨피던스 맵(20)의 픽셀값 중 적어도 하나를 바탕으로 제1 뎁스 이미지(10)의 제1 합성비(
Figure pat00002
) 및 제2 뎁스 이미지(50)의 제2 합성비(
Figure pat00003
)를 결정할 수 있다. 여기서, 제1 합성비(
Figure pat00004
) 및 제2 합성비(
Figure pat00005
)는 0에서 1사이의 값으로, 제1 합성비(
Figure pat00006
) 및 제2 합성비(
Figure pat00007
)의 합은 1이될 수 있다. 예로, 제1 합성비(
Figure pat00008
) 0.6(또는 60%)인 경우, 제2 합성비(
Figure pat00009
)는 0.4(또는 40%)가 될 수 있다. 이하에서는, 제1 합성비(
Figure pat00010
) 및 제2 합성비(
Figure pat00011
)를 결정하는 방법에 대해 보다 상세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 제1 뎁스 이미지의 뎁스값에 따른 제1 합성비 및 제2 합성비를 나타낸 그래프이다. 도 2를 참조하면, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값(D)을 바탕으로 제1 합성비(
Figure pat00012
) 및 제2 합성비(
Figure pat00013
)를 결정할 수 있다.
전자 장치(100)는 제1 뎁스 이미지(10)의 복수의 영역 중 뎁스값(D)이 제1 임계 거리(예로, 20cm)(Dth1)보다 작은 제1 영역(R1)에 대해서는 제1 합성비(
Figure pat00014
)를 0으로 제2 합성비(
Figure pat00015
)를 1로 결정할 수 있다. 즉, 전자 장치(100)는 복수의 영역 중 뎁스값(D)이 제1 임계 거리(Dth1)보다 작은 영역에 대해서는 제2 뎁스 이미지(50)의 뎁스값을 제3 뎁스 이미지(60)의 뎁스값으로 획득할 수 있다. 이에 따라, 전자 장치(100)는 제1 뎁스 이미지(10)에 비해 근거리 정확도가 향상된 제3 뎁스 이미지(60)를 획득할 수 있다.
전자 장치(100)는 제1 뎁스 이미지(10)의 복수의 영역 중 뎁스값(D)이 제2 임계 거리(예로, 3m)(Dth2)보다 큰 제2 영역(R2)에 대해서는 제1 합성비(
Figure pat00016
)를 1로 제2 합성비(
Figure pat00017
)를 0으로 결정할 수 있다. 즉, 전자 장치(100)는 복수의 영역 중 뎁스값(D)이 제2 임계 거리(Dth2)보다 큰 영역에 대해서는 제1 뎁스 이미지(50)의 뎁스값(D)을 제3 뎁스 이미지(60)의 뎁스값으로 획득할 수 있다.
전자 장치(100)는 제1 뎁스 이미지(10)의 복수의 영역 중 뎁스값(D)이 제1 임계 거리(Dth1)보다 크고 제2 임계 거리(Dth2)보다 작은 제3 영역(R3)에 대해서는 뎁스값(D)이 증가할수록 제1 합성비(
Figure pat00018
)가 증가하고 제2 합성비(
Figure pat00019
)가 감소하도록 제1 합성비(
Figure pat00020
) 및 제2 합성비(
Figure pat00021
)를 결정할 수 있다. 제1 이미지 센서(110)는 제2 이미지 센서(120)보다 원거리 각도 분해능이 높으므로, 뎁스값(D)이 클수록 제1 합성비(
Figure pat00022
)를 증가시켰을 때 제3 뎁스 이미지(60)의 뎁스값에 대한 정확도가 향상될 수 있다.
한편, 전자 장치(100)는 컨피던스 맵(20)의 픽셀값(P)을 바탕으로 제1 합성비(
Figure pat00023
) 및 제2 합성비(
Figure pat00024
)를 결정할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 컨피던스 맵의 픽셀값에 따른 제1 합성비 및 제2 합성비를 나타낸 그래프이다.
전자 장치(100)는 컨피던스 맵(20)의 복수의 영역 중 픽셀값(P)이 제1 임계값(Pth1)보다 작은 제4 영역(R4)을 식별할 수 있다. 그리고, 전자 장치(100)는 제4 영역(R4)에 대응되는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)의 각 영역을 합성할 때, 제1 합성비(
Figure pat00025
)를 0으로 제2 합성비(
Figure pat00026
)를 1로 결정할 수 있다. 즉, 전자 장치(100)는 제1 뎁스 이미지(10)의 신뢰도가 제1 임계값(Pth1)보다 작다고 판단되면, 제2 뎁스 이미지(50)의 뎁스값을 제3 뎁스 이미지(60)의 뎁스값으로 획득할 수 있다. 이에 따라, 전자 장치(100)는 제1 뎁스 이미지(10)보다 거리 정확도가 향상된 제3 뎁스 이미지(60)를 획득할 수 있다.
전자 장치(100)는 컨피던스 맵(20)의 복수의 영역 중 픽셀값이 제2 임계값(Pth2)보다 큰 제5 영역(R5)을 식별할 수 있다. 그리고, 전자 장치(100)는 제5 영역(R5)에 대응되는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)의 각 영역을 합성할 때, 제1 합성비(
Figure pat00027
)를 1로 제2 합성비(
Figure pat00028
)를 0으로 결정할 수 있다. 즉, 전자 장치(100)는 제1 뎁스 이미지(10)의 신뢰도가 제2 임계값(Pth2)보다 크다고 판단되면, 제1 뎁스 이미지(10)의 뎁스값을 제3 뎁스 이미지(60)의 뎁스값으로 획득할 수 있다.
전자 장치(100)는 컨피던스 맵(20)의 복수의 영역 중 픽셀값(P)이 제1 임계값(Pth1)보다 크고 제2 임계값(Pth2)보다 작은 제6 영역(R6)을 식별할 수 있다. 그리고, 전자 장치(100)는 제6 영역(R6)에 대응되는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)의 각 영역을 합성할 때, 픽셀값(P)이 증가할수록 제1 합성비(
Figure pat00029
)가 증가하고 제2 합성비(
Figure pat00030
)가 감소하도록 제1 합성비(
Figure pat00031
) 및 제2 합성비(
Figure pat00032
)를 결정할 수 있다. 즉, 전자 장치(100)는 제1 뎁스 이미지(10)에 대한 신뢰도가 높을수록 제1 합성비(
Figure pat00033
)를 증가시킬 수 있다. 이에 따라, 제3 뎁스 이미지(60)의 뎁스값에 대한 정확도가 향상될 수 있다.
한편, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값(D) 및 컨피던스 맵(20)의 픽셀값(P)을 바탕으로 제1 합성비(
Figure pat00034
) 및 제2 합성비(
Figure pat00035
)를 결정할 수 있다. 특히, 전자 장치(100)는 제3 영역(R3)에 대한 제1 합성비(
Figure pat00036
) 및 제2 합성비(
Figure pat00037
)를 결정할 때, 컨피던스 맵(20)의 픽셀값(P)을 고려할 수 있다. 예를 들어, 전자 장치(100)는 제3 영역(R3)에 대응되는 컨피던스 맵(20)의 픽셀값이 기설정된 값보다 크면, 제1 합성비(
Figure pat00038
)가 제2 합성비(
Figure pat00039
)보다 크도록 제1 합성비(
Figure pat00040
) 및 제2 합성비(
Figure pat00041
)를 결정할 수 있다. 반면에, 전자 장치(100)는 제3 영역(R3)에 대응되는 컨피던스 맵(20)의 픽셀값이 기설정된 값보다 작으면, 제1 합성비(
Figure pat00042
)가 제2 합성비(
Figure pat00043
)보다 작도록 제1 합성비(
Figure pat00044
) 및 제2 합성비(
Figure pat00045
)를 결정할 수 있다. 전자 장치(100)는 제3 영역(R3)에 대응되는 컨피던스 맵(20)의 픽셀값이 클수록 제1 합성비(
Figure pat00046
)를 증가시킬 수 있다. 즉, 전자 장치(100)는 제1 뎁스 이미지(10)의 신뢰도가 높을수록, 제3 영역(R3)에 대한 제1 합성비(
Figure pat00047
)를 증가시킬 수 있다.
이와 같이 획득된 제1 합성비(
Figure pat00048
) 및 제2 합성비(
Figure pat00049
)를 바탕으로 전자 장치(100)는 제3 뎁스 이미지(60)를 획득할 수 있다. 전자 장치(100)는 제3 뎁스 이미지(60)를 바탕으로 오브젝트에 대한 거리 정보를 획득할 수 있다. 또는, 전자 장치(100)는 제3 뎁스 이미지(60)를 바탕으로 전자 장치(100)의 주행 경로를 생성할 수 있다. 한편, 도 2 및 도 3에서는 제1 합성비(
Figure pat00050
) 및 제2 합성비(
Figure pat00051
)가 선형적으로 변하는 것으로 도시하였으나, 이는 일 실시 예에 불과하며, 제1 합성비(
Figure pat00052
) 및 제2 합성비(
Figure pat00053
)는 비선형적으로 변할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 제3 뎁스 이미지를 획득하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 제1 뎁스 이미지(10)는 제1-1 영역(R1-1), 제2-1 영역(R2-1) 및 제3-1 영역(R3-1)을 포함할 수 있다. 제1-1 영역(R1-1)은 도 2의 제1 영역(R1)에 대응되며, 제2-1 영역(R2-1)은 도 2의 제2 영역(R2)에 대응될 수 있다. 즉, 제1-1 영역(R1-1)의 뎁스값(D11)은 제1 임계 거리(Dth1)보다 작으며, 제2-1 영역(R2-1)의 뎁스값(D12)은 제2 임계 거리(Dth2)보다 클 수 있다. 또한, 제3-1 영역(R3-1)은 도 2의 제3 영역(R3)에 대응될 수 있다. 즉, 제3-1 영역(R3-1)의 뎁스값(D13)은 제1 임계 거리(Dth1)보다 크며 제2 임계 거리(Dth2)보다 작을 수 있다.
전자 장치(100)는 제1-1 영역(R1-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 제1 합성비(
Figure pat00054
)를 0으로 제2 합성비(
Figure pat00055
)를 1로 결정할 수 있다. 따라서, 전자 장치(100)는 제2 뎁스 이미지(50)의 뎁스값(D21) 을 제3 뎁스 이미지(60)의 뎁스값(D31)으로 획득할 수 있다.
전자 장치(100)는 제2-1 영역(R2-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 제1 합성비(
Figure pat00056
)를 1로 제2 합성비(
Figure pat00057
)를 0으로 결정할 수 있다. 따라서, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값(D12) 을 제3 뎁스 이미지(60)의 뎁스값(D32)으로 획득할 수 있다.
전자 장치(100)는 제3-1 영역(R3-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 컨피던스 맵(20)을 바탕으로 제1 합성비(
Figure pat00058
) 및 제2 합성비(
Figure pat00059
)를 결정할 수 있다. 일 예로, 컨피던스 맵(20)의 뎁스값(P3)이 기 설정된 값보다 작으면, 전자 장치(100)는 제3-1 영역(R3-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 제1 합성비(
Figure pat00060
)가 제2 합성비(
Figure pat00061
)보다 작도록 제1 합성비(
Figure pat00062
)가 제2 합성비(
Figure pat00063
)를 결정할 수 있다. 다른 일 예로, 컨피던스 맵(20)의 뎁스값(P3)이 기 설정된 값보다 크면, 전자 장치(100)는 제3-1 영역(R3-1)에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 제1 합성비(
Figure pat00064
)가 제2 합성비(
Figure pat00065
)보다 크도록 제1 합성비(
Figure pat00066
)가 제2 합성비(
Figure pat00067
)를 결정할 수 있다. 이와 같이, 전자 장치(100)는 제1 뎁스 이미지(10)의 뎁스값(D13)에 제1 합성비(
Figure pat00068
)를 적용하고, 제2 뎁스 이미지(50)의 뎁스값(D23)에 제2 합성비(
Figure pat00069
)를 적용하여 제3 뎁스 이미지(60)의 뎁스값(D33)을 획득할 수 있다.
한편, 전자 장치(100)는 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)에 포함된 동일한 오브젝트에 대해서는 일정한 합성비를 적용하여 제3 뎁스 이미지(60)를 획득할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 RGB 이미지를 도시한 도면이다. 도 5를 참조하면, RGB 이미지(30)에는 제1 오브젝트(ob1) 및 제2 오브젝트(ob2)가 포함될 수 있다.
전자 장치(100)는 RGB 이미지(30)를 분석하여 제1 오브젝트(ob1)를 식별할 수 있다. 이 때, 전자 장치(100)는 오브젝트 인식 알고리즘을 이용하여 제1 오브젝트(ob1)를 식별할 수 있다. 또는, 전자 장치(100)는 RGB 이미지(30)를 이미지에 포함된 오브젝트를 식별하도록 학습된 신경망 모델에 입력하여 제1 오브젝트(ob1)를 식별할 수 있다.
전자 장치(100)는 제1 오브젝트(ob1)에 대응되는 영역에 대해 제1 뎁스 이미지(10) 및 제2 뎁스 이미지(50)를 합성할 때, 일정한 합성비를 적용할 수 있다. 예를 들어, 전자 장치(100)는 제1 오브젝트(ob1)에 대응되는 영역에 대해 고정된 값인 제1-1 합성비(
Figure pat00070
) 및 제2-1 합성비(
Figure pat00071
)를 적용할 수 있다. 이에 따라, 전자 장치(100)는 제1 오브젝트(ob1)에 대한 거리 오차가 개선된 제3 뎁스 이미지(60)를 획득할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 도시한 순서도이다.
전자 장치(100)는 제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하고(S610), 제2 이미지 센서를 이용하여 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득할 수 있다(S620). 이에 대한 상세한 설명은 도 1에서 설명한 바 중복되는 설명은 생략하도록 한다.
전자 장치(100)는 컨피던스 맵 및 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득할 수 있다(S630). 전자 장치(100)는 RGB 이미지에 대한 그레이 스케일(greyscale) 이미지를 획득하고, 컨피던스 맵 및 그레이 스케일 이미지를 스테레오 매칭(stereo matching)하여 제2 뎁스 이미지를 획득할 수 있다. 이 때, 전자 장치(100)는 컨피던스 맵 및 그레이 스케일 이미지에 포함된 오브젝트의 형태를 바탕으로 컨피던스 맵 및 그레이 스케일 이미지를 스테레오 매칭하여 상기 제2 뎁스 이미지를 획득할 수 있다.
전자 장치(100)는 컨피던스 맵의 픽셀값을 바탕으로 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득할 수 있다(S640). 전자 장치(100)는 컨피던스 맵의 픽셀값을 바탕으로 제1 뎁스 이미지 및 제2 뎁스 이미지의 합성비를 결정하고, 결정된 합성비를 바탕으로 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득할 수 있다. 이 때, 전자 장치(100)는 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 큰 영역에 대해서는 제1 뎁스 이미지의 제1 합성비가 제2 뎁스 이미지의 제2 합성비보다 크도록 제1 합성비 및 제2 합성비를 결정할 수 있다. 그리고, 전자 장치(100)는 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 작은 영역에 대해서는 제1 합성비가 제2 합성비보다 작도록 제1 합성비 및 제2 합성비를 결정할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 사시도이다.
전자 장치(100)는 제1 이미지 센서(110) 및 제2 이미지 센서(120)를 포함할 수 있다. 이 때, 제1 이미지 센서(110) 및 제2 이미지 센서(120) 사이의 거리는 베이스라인의 길이(L)로 정의될 수 있다.
두 개의 카메라를 이용하는 종래의 스테레오 센서는 베이스라인의 길이가 제한적이므로 원거리에 대한 각도 분해능이 떨어진다는 한계가 있었다. 또한, 원거리에 대한 각도 분해능을 증가하려면, 베이스라인의 길이가 증가되어야 하므로, 종래의 스테레오 센서는 소형화 제작이 어렵다는 문제가 있었다.
이에 반해, 본 개시에 따른 전자 장치(100)는 전술한 바와 같이 스테레오 센서에 비해 원거리에 대한 각도 분해능이 높은 제1 이미지 센서(110)를 이용함으로써 베이스라인의 길이(L)를 증가시키지 않더라도 원거리 정보를 획득할 수 있다. 이에 따라, 전자 장치(100)는 종래의 스테레오 센서에 비해 소형화 제작이 유리하다는 기술적 효과를 가질 수 있다.
도 8a는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다. 도 8a를 참조하면, 전자 장치(100)는 발광부(105), 제1 이미지 센서(110), 제2 이미지 센서(120), 메모리(130), 통신 인터페이스(140), 주행부(150) 및 프로세서(160)를 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른 전자 장치(100)는 이동 가능한 로봇으로 구현될 수 있다.
발광부(105)는 오브젝트를 향해 광을 출사(emitting)할 수 있다. 이 때, 발광부(105)로부터 출사되는 광(이하, 출사광)은 정현파(sinusoidal wave) 형태의 파형을 가질 수 있다. 다만 이는 일 실시 예에 불과하며 출사광은 구형파(square wave) 형태의 파형을 가질 수 있다. 또한, 발광부(105)는 다양한 종류의 레이저 소자를 포함할 수 있다. 예로, 발광부(105)는 빅셀(VCSEL: Vertical Cavity Surface Emitting Laser) 또는 레이저 다이오드(LD: Laser Diode)를 포함할 수 있다. 한편, 발광부(105)는 다수의 레이저 소자를 포함할 수 있다. 이 때, 다수의 레이저 소자는 어레이 형태로 배열될 수 있다. 또한, 발광부(105)는 다양한 주파수 대역의 광을 출사할 수 있다. 예로, 발광부(105)는 100MHz의 주파수를 갖는 레이저 빔을 출사할 수 있다.
제1 이미지 센서(110)는 뎁스 이미지(depth image)를 획득하기 위한 구성이다. 제1 이미지 센서(110)는 발광부(105)로부터 출사된 후 오브젝트로부터 반사되는 반사광을 획득할 수 있다. 프로세서(160)는 제1 이미지 센서(110)가 획득한 반사광을 바탕으로 뎁스 이미지를 획득할 수 있다. 예를 들어, 프로세서(160)는 발광부(105)로부터 출사된 광의 출사 시점과 이미지 센서(110)가 반사광을 수신한 시점간의 차이(즉, 광의 비행 시간)를 바탕으로 뎁스 이미지를 획득할 수 있다. 또는, 프로세서(160)는 발광부(105)로부터 출사된 광의 위상과 이미지 센서(110)가 획득한 반사광의 위상 간의 차이를 바탕으로 뎁스 이미지를 획득할 수 있다. 한편, 제1 이미지 센서(110)는 ToF(Time of Flight) 센서 또는 구조광(structured light) 센서로 구현될 수 있다.
제2 이미지 센서(120)는 RGB 이미지를 획득하기 위한 구성이다. 예를 들어, 제2 이미지 센서(120)는 CMOS(Complementary Metal-Oxide-Semiconductor), CCD(Charge-Coupled Device) 등의 이미지 센서로 구현될 수 있다.
메모리(130)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(130)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
통신 인터페이스(140)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(140)는 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 예로, 전자 장치(100)는 제2 이미지 센서(120)를 이용하여 획득된 이미지를 통신 인터페이스(140)를 통해 사용자 단말로 전송할 수 있다.
주행부(150)는 전자 장치(100)를 이동시키기 위한 구성이다. 특히, 주행부(150)는 전자 장치(100)의 주행을 위한 액츄에이터(actuator)를 포함할 수 있다. 또한, 주행부(150)는 전자 장치(100)의 다른 물리적 구성(예로, 암(arm) 등)의 모션을 구동하기 위한 액츄에이터를 포함할 수 있다. 예로, 전자 장치(100)는 제1 이미지 센서(110) 및 제2 이미지 센서(120)를 통해 획득되는 뎁스 정보를 바탕으로 이동하거나 움직이도록 주행부(150)를 제어할 수 있다.
프로세서(160)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
도 8b를 참조하면, 프로세서(160)는 제1 뎁스 이미지 획득 모듈(161), 컨피던스 맵 획득 모듈(162), RGB 이미지 획득 모듈(163), 그레이스케일 이미지 획득 모듈(164), 제2 뎁스 이미지 획득 모듈(165) 및 제3 뎁스 이미지 획득 모듈(166)을 포함할 수 있다. 한편, 프로세서(160)의 각 모듈은 소프트웨어 모듈로 구현될 수 있으나, 소트웨어와 하드웨어가 결합된 형태로도 구현될 수 있다.
제1 뎁스 이미지 획득 모듈(161)은 제1 이미지 센서(110)로부터 출력되는 신호를 바탕으로 제1 뎁스 이미지를 획득할 수 있다. 구체적으로, 제1 이미지 센서(110)는 기 설정된 시간 차이를 두고 활성화되는 복수의 센서를 포함할 수 있다. 이 때, 제1 뎁스 이미지 획득 모듈(161)은 복수의 센서를 통해 획득되는 복수의 이미지 데이터를 바탕으로 광의 비행 시간을 산출하고, 산출된 광의 비행 시간을 바탕으로 제1 뎁스 이미지를 획득할 수 있다.
컨피던스 맵 획득 모듈(162)은 제1 이미지 센서(110)로부터 출력되는 신호를 바탕으로 컨피던스 맵을 획득할 수 있다. 구체적으로, 제1 이미지 센서(110)는 기 설정된 시간 차이를 두고 활성화되는 복수의 센서를 포함할 수 있다. 이 때, 컨피던스 맵 획득 모듈(162)은 복수의 센서 각각을 통해 복수의 이미지 데이터를 획득할 수 있다. 그리고, 컨피던스 맵 획득 모듈(162)은 획득된 복수의 이미지 데이터를 컨피던스 맵(20)을 획득할 수 있다. 예로, 컨피던스 맵 획득 모듈(162)은 상술한 [수학식 1]을 바탕으로 컨피던스 맵(20)을 획득할 수 있다.
RGB 이미지 획득 모듈(163)은 제2 이미지 센서(120)로부터 출력되는 신호를 바탕으로 RGB 이미지를 획득할 수 있다. 이 때, 획득되는 RGB 이미지는 제1 뎁스 이미지 및 컨피던스 맵에 대응될 수 있다.
그레이스케일 이미지 획득 모듈(164)은 RGB 이미지 획득 모듈(163)에 의해 획득되는 RGB 이미지를 바탕으로 그레이스케일(greyscale) 이미지를 획득할 수 있다. 구체적으로, 그레이스케일 이미지 획득 모듈(164)은 RGB 이미지의 R, G, B 값을 바탕으로 그레이스케일 이미지를 생성할 수 있다.
제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 획득 모듈(162)에 의해 획득된 컨피던스 맵 및 그레이스케일 이미지 획득 모듈(164)에 의해 획득된 그레이스케일 이미지를 바탕으로 제2 뎁스 이미지를 획득할 수 있다. 구체적으로, 제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 및 그레이스케일 이미지에 대해 스테레오 매칭(stereo matching)을 수행하여 제2 뎁스 이미지를 생성할 수 있다. 제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 및 그레이스케일 이미지에서 대응점을 식별할 수 있다. 이 때, 제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 및 그레이스케일 이미지에 포함된 오브젝트의 형태나 윤곽을 식별하여 대응점을 식별할 수 있다. 그리고, 제2 뎁스 이미지 획득 모듈(165)은 컨피던스 맵 및 그레이스케일 이미지 각각에서 식별된 대응점 간의 디스패리티(disparity)와 베이스라인의 길이를 바탕으로 제2 뎁스 이미지를 생성할 수 있다.
이와 같이 제2 뎁스 이미지 획득 모듈(165)은 RGB 이미지가 아닌 그레일스케일 이미지를 바탕으로 스테레오 매칭을 수행함으로써 대응점을 보다 정확히 식별할 수 있다. 이에 따라, 제2 뎁스 이미지에 포함된 뎁스 정보의 정확도가 향상될 수 있다. 한편, 제2 뎁스 이미지 획득 모듈(165)은 스테레오 매칭을 수행하기 전에 컨피던스 맵 및 그레이스케일 이미지의 밝기 차이를 보정하는 등의 전처리를 수행할 수도 있다.
제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지 및 제2 뎁스 이미지를 바탕으로 제3 뎁스 이미지를 획득할 수 있다. 구체적으로, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 생성할 수 있다. 이 때, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지의 뎁스값을 바탕으로 제1 뎁스 이미지에 대한 제1 합성비 및 제2 뎁스 이미지에 대한 제2 합성비를 결정할 수 있다. 예를 들어, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 작은 제1 영역에 대해서는 제1 합성비를 0으로 제2 합성비를 1로 결정할 수 있다. 또한, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제2 임계 거리보다 큰 제2 영역에 대해서는 제1 합성비를 1로 제2 합성비를 0으로 결정할 수 있다.
한편, 제3 뎁스 이미지 획득 모듈(166)은 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 크고 제2 임계 거리보다 작은 제3 영역에 대해서는 컨피던스 맵의 픽셀값을 바탕으로 합성비를 결정할 수 있다. 예를 들어, 제3 뎁스 이미지 획득 모듈(166)은 제3 영역에 대응되는 컨피던스 맵의 픽셀값이 기설정된 값보다 작으면 제1 합성비가 제2 합성비보다 작도록 제1 합성비 및 제2 합성비를 결정할 수 있다. 제3 뎁스 이미지 획득 모듈(166)은 제3 영역에 대응되는 컨피던스 맵의 픽셀값이 기설정된 값보다 크면 제1 합성비가 제2 합성비보다 크도록 제1 합성비 및 제2 합성비를 결정할 수 있다. 즉, 제3 뎁스 이미지 획득 모듈(166)은 제3 영역에 대응되는 컨피던스 맵의 픽셀값이 클수록 제1 합성비가 증가하고 제2 합성비가 감소하도록 제1 합성비 및 제2 합성비를 결정할 수 있다.
한편, 제3 뎁스 이미지 획득 모듈(166)은 동일한 오브젝트에 대해서는 일정한 합성비로 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성할 수 있다. 예로, 제3 뎁스 이미지 획득 모듈(166)은 RGB 이미지를 분석하여 RGB 이미지에 포함된 오브젝트를 식별할 수 있다. 그리고, 제3 뎁스 이미지 획득 모듈(166)은 식별된 오브젝트에 대응되는 제1 뎁스 이미지의 제1 영역 및 제2 뎁스 이미지의 제2 영역에 대해서는 일정한 합성비를 적용하여 제1 뎁스 이미지 및 제2 뎁스 이미지를 합성할 수 있다.
한편, 프로세서(160)는 제1 이미지 센서(110) 및 제2 이미지 센서(120)의 싱크를 조절할 수 있다. 이에 따라, 제1 뎁스 이미지, 컨피던스 맵 및 제2 뎁스 이미지는 서로 대응될 수 있다. 즉, 제1 뎁스 이미지, 컨피던스 맵 및 제2 뎁스 이미지는 동일한 시점에 대한 이미지일 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
전자 장치 100 발광부 105
제1 이미지 센서 110 제2 이미지 센서 120
메모리 130 통신 인터페이스 140
주행부 150 프로세서160

Claims (16)

  1. 전자 장치에 있어서,
    제1 이미지 센서;
    제2 이미지 센서; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 상기 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하고,
    제2 이미지 센서를 이용하여 상기 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득하고,
    상기 컨피던스 맵 및 상기 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하고,
    상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는
    전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 RGB 이미지에 대한 그레이 스케일(greyscale) 이미지를 획득하고,
    상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭(stereo matching)하여 상기 제2 뎁스 이미지를 획득하는
    전자 장치.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 컨피던스 맵 및 상기 그레이 스케일 이미지에 포함된 오브젝트의 형태를 바탕으로 상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭하여 상기 제2 뎁스 이미지를 획득하는
    전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 합성비를 결정하고,
    상기 결정된 합성비를 바탕으로 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는
    전자 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 큰 영역에 대해서는 상기 제1 뎁스 이미지의 제1 합성비가 상기 제2 뎁스 이미지의 제2 합성비보다 크도록 상기 제1 합성비 및 상기 제2 합성비를 결정하고,
    상기 컨피던스 맵의 복수의 영역 중 픽셀값이 상기 기설정된 값보다 작은 영역에 대해서는 상기 제1 합성비가 상기 제2 합성비보다 작도록 상기 제1 합성비 및 상기 제2 합성비를 결정하는
    전자 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 작은 제1 영역에 대해서는, 상기 제2 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하고,
    상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제2 임계 거리보다 큰 제2 영역에 대해서는, 상기 제1 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하는
    전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 RGB 이미지에 포함된 오브젝트를 식별하고.
    상기 식별된 오브젝트에 대응되는 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 각각의 영역을 식별하고,
    상기 각각의 영역에 대해서는 일정한 합성비로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 상기 제3 뎁스 이미지를 획득하는
    전자 장치.
  8. 제1 항에 있어서,
    상기 제1 이미지 센서는 ToF(Time of Flight) 센서이고,
    상기 제2 이미지 센서는 RGB 센서인 것을 특징으로하는
    전자 장치.
  9. 전자 장치의 제어 방법에 있어서,
    제1 이미지 센서를 이용하여 제1 뎁스 이미지 및 상기 제1 뎁스 이미지에 대응되는 컨피던스 맵(confidence map)을 획득하는 단계;
    제2 이미지 센서를 이용하여 상기 제1 뎁스 이미지에 대응되는 RGB 이미지를 획득하는 단계;
    상기 컨피던스 맵 및 상기 RGB 이미지를 바탕으로 제2 뎁스 이미지를 획득하는 단계; 및
    상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는 단계;를 포함하는
    제어 방법.
  10. 제9 항에 있어서,
    상기 제2 뎁스 이미지를 획득하는 단계는,
    상기 RGB 이미지에 대한 그레이 스케일(greyscale) 이미지를 획득하고,
    상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭(stereo matching)하여 상기 제2 뎁스 이미지를 획득하는
    제어 방법.
  11. 제10 항에 있어서,
    상기 제2 뎁스 이미지를 획득하는 단계는,
    상기 컨피던스 맵 및 상기 그레이 스케일 이미지에 포함된 오브젝트의 형태를 바탕으로 상기 컨피던스 맵 및 상기 그레이 스케일 이미지를 스테레오 매칭하여 상기 제2 뎁스 이미지를 획득하는
    제어 방법.
  12. 제9 항에 있어서,
    상기 제3 뎁스 이미지를 획득하는 단계는,
    상기 컨피던스 맵의 픽셀값을 바탕으로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 합성비를 결정하고,
    상기 결정된 합성비를 바탕으로 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 제3 뎁스 이미지를 획득하는
    제어 방법.
  13. 제12 항에 있어서,
    상기 합성비를 결정하는 단계는,
    상기 컨피던스 맵의 복수의 영역 중 픽셀값이 기설정된 값보다 큰 영역에 대해서는 상기 제1 뎁스 이미지의 제1 합성비가 상기 제2 뎁스 이미지의 제2 합성비보다 크도록 상기 제1 합성비 및 상기 제2 합성비를 결정하고,
    상기 컨피던스 맵의 복수의 영역 중 픽셀값이 상기 기설정된 값보다 작은 영역에 대해서는 상기 제1 합성비가 상기 제2 합성비보다 작도록 상기 제1 합성비 및 상기 제2 합성비를 결정하는
    제어 방법.
  14. 제9 항에 있어서,
    상기 제3 뎁스 이미지를 획득하는 단계는,
    상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제1 임계 거리보다 작은 제1 영역에 대해서는, 상기 제2 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하고,
    상기 제1 뎁스 이미지의 복수의 영역 중 뎁스값이 제2 임계 거리보다 큰 제2 영역에 대해서는, 상기 제1 뎁스 이미지의 뎁스값을 상기 제3 뎁스 이미지의 뎁스값으로 획득하는
    제어 방법.
  15. 제9 항에 있어서,
    상기 제3 뎁스 이미지를 획득하는 단계는,
    상기 RGB 이미지에 포함된 오브젝트를 식별하는 단계,
    상기 식별된 오브젝트에 대응되는 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지의 각각의 영역을 식별하는 단계,
    상기 식별된 각각의 영역에 대해서는 일정한 합성비로 상기 제1 뎁스 이미지 및 상기 제2 뎁스 이미지를 합성하여 상기 제3 뎁스 이미지를 획득하는
    제어 방법.
  16. 제9 항에 있어서,
    상기 제1 이미지 센서는 ToF(Time of Flight) 센서이고,
    상기 제2 이미지 센서는 RGB 센서인 것을 특징으로하는
    제어 방법.
KR1020200094153A 2020-07-29 2020-07-29 전자 장치 및 그 제어 방법 KR20220014495A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200094153A KR20220014495A (ko) 2020-07-29 2020-07-29 전자 장치 및 그 제어 방법
PCT/KR2021/008433 WO2022025458A1 (ko) 2020-07-29 2021-07-02 전자 장치 및 그 제어 방법
CN202180058359.2A CN116097306A (zh) 2020-07-29 2021-07-02 电子装置及其控制方法
EP21850284.7A EP4148671A4 (en) 2020-07-29 2021-07-02 ELECTRONIC DEVICE AND METHOD FOR CONTROLLING SAME
US18/102,527 US20230177709A1 (en) 2020-07-29 2023-01-27 Electronic device and method for controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200094153A KR20220014495A (ko) 2020-07-29 2020-07-29 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220014495A true KR20220014495A (ko) 2022-02-07

Family

ID=80035582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094153A KR20220014495A (ko) 2020-07-29 2020-07-29 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US20230177709A1 (ko)
EP (1) EP4148671A4 (ko)
KR (1) KR20220014495A (ko)
CN (1) CN116097306A (ko)
WO (1) WO2022025458A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457099B (zh) * 2022-09-09 2023-05-09 梅卡曼德（北京）机器人科技有限公司 深度补全方法、装置、设备、介质及产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
KR101272574B1 (ko) * 2011-11-18 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
KR101714224B1 (ko) * 2015-09-21 2017-03-08 현대자동차주식회사 센서 융합 기반 3차원 영상 복원 장치 및 방법
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质

Also Published As

Publication number Publication date
EP4148671A1 (en) 2023-03-15
WO2022025458A1 (ko) 2022-02-03
CN116097306A (zh) 2023-05-09
US20230177709A1 (en) 2023-06-08
EP4148671A4 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
US10334151B2 (en) Phase detection autofocus using subaperture images
CN108377380B (zh) 影像扫描系统及其方法
US8446492B2 (en) Image capturing device, method of searching for occlusion region, and program
US20130063401A1 (en) Projector device and operation detecting method
JP2018534699A (ja) 誤りのある深度情報を補正するためのシステムおよび方法
US8730302B2 (en) Method and system for enhancing 3D effects for 3D video rendering
US8477198B2 (en) Interaction control system, method for detecting motion of object, host apparatus and control method thereof
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
US20120026319A1 (en) Distance measuring system and distance measuring method
US10055881B2 (en) Video imaging to assess specularity
WO2023015880A1 (zh) 训练样本集的获取方法、模型训练方法及相关装置
TWI522968B (zh) 手持式電子裝置、影像擷取裝置及景深資訊的獲取方法
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
US10775242B2 (en) Tracking and ranging system and method thereof
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
US20230177709A1 (en) Electronic device and method for controlling same
JPWO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
CN109031333B (zh) 距离测量方法和装置、存储介质、电子设备
US10735665B2 (en) Method and system for head mounted display infrared emitter brightness optimization based on image saturation
US11921216B2 (en) Electronic apparatus and method for controlling thereof
JP5803534B2 (ja) 光通信装置及びプログラム
US20220244392A1 (en) High resolution lidar scanning
KR20210074153A (ko) 전자 장치 및 그 제어 방법
US11967117B2 (en) Cloud-based training and camera correction
WO2022213288A1 (zh) 一种深度图像处理方法、装置及存储介质