KR102641108B1 - 깊이맵 완성 장치 및 방법 - Google Patents

깊이맵 완성 장치 및 방법 Download PDF

Info

Publication number
KR102641108B1
KR102641108B1 KR1020210101957A KR20210101957A KR102641108B1 KR 102641108 B1 KR102641108 B1 KR 102641108B1 KR 1020210101957 A KR1020210101957 A KR 1020210101957A KR 20210101957 A KR20210101957 A KR 20210101957A KR 102641108 B1 KR102641108 B1 KR 102641108B1
Authority
KR
South Korea
Prior art keywords
image
depth map
stereo
map
disparity
Prior art date
Application number
KR1020210101957A
Other languages
English (en)
Other versions
KR20230020187A (ko
Inventor
손광훈
최근훈
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210101957A priority Critical patent/KR102641108B1/ko
Priority to PCT/KR2021/019074 priority patent/WO2023013829A1/ko
Publication of KR20230020187A publication Critical patent/KR20230020187A/ko
Application granted granted Critical
Publication of KR102641108B1 publication Critical patent/KR102641108B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 단안 이미지와 희소 깊이맵을 인가받고, 희소 깊이맵의 깊이 정보를 이용하여 스테레오 이미지의 2개의 이미지에 대응하는 2개의 디스패리티맵을 획득하고, 2개의 디스패리티맵 중 대응하는 디스패리티맵을 이용하여 단안 이미지가 스테레오 이미지의 상대 이미지에 대응하도록 변환하여 가상 대안 이미지를 획득하는 가상 대안 이미지 획득부 및 단안 이미지와 가상 대안 이미지 및 2개의 디스패리티맵을 인가받고, 미리 학습된 스테레오 매칭 기법에 따라 단안 이미지의 다수의 픽셀 각각에 대한 깊이값을 추정하여 고밀도의 스테레오 깊이맵을 획득하는 스테레오 매칭부를 포함하여, 깊이 섞임 문제를 억제하면서 고밀도의 깊이맵을 획득할 수 있는 깊이맵 완성 장치 및 방법을 제공한다.

Description

깊이맵 완성 장치 및 방법{Apparatus and Method for Completing Depth Map}
본 발명은 깊이맵 완성 장치 및 방법에 관한 것으로, 단안 이미지와 라이다에서 획득된 희소 깊이맵을 이용하여 고밀도의 깊이맵을 완성할 수 있는 깊이맵 완성 장치 및 방법에 관한 것이다.
깊이 정보는 다양한 센서를 이용하여 취득될 수 있으며, 다양한 컴퓨터 비전 응용 분야에서 활용되고 있다. 대표적으로 자율주행차, 로봇의 경로 탐색, 3D 재구성(3D reconstruction) 등과 같은 분야에 이용되고 있다. 깊이 정보는 스테레오 카메라(Stereo camera)와 에피폴라 기하(Epipolar Geometry)를 이용한 스트레오 매칭 기법이 널리 활용되지만, 이 방법은 각 점마다 매칭점을 탐색해야 하기 때문에 상당한 시간이 소요되며, 카메라 위치에 따른 폐색(Occlusion)에 대응하지 못하는 한계점을 가진다.
이에 최근에는 라이다(LiDAR) 센서를 이용하여 깊이를 취득하는 경우가 증가하고 있다. 라이다 센서는 레이저를 다양한 높이 및 각도 방향으로 회전시키며 깊이를 취득하는 구조를 가지고 있으나, 센서의 특성 상 모든 대응점에 대하여 깊이를 얻지 못하고 점군(Point cloud) 형태로 낮은 밀도 갖는 희소 깊이맵을 얻게 된다. 이와 같이 라이다를 이용하여 획득된 깊이맵은 높은 정확도를 갖지만 낮은 밀도로 인해서 활용 가능한 응용 분야가 제한된다는 문제가 있다.
이러한 문제를 극복하기 위해 딥러닝 기반의 인공 신경망을 이용하여 라이다에서 획득되는 깊이 정보의 낮은 밀도를 이미지 정보와 융합하여 고밀도의 깊이맵을 얻어내는 깊이 완성(Depth completion) 기법이 제안된 바 있다.
기존의 딥러닝 기반의 깊이 완성 기법은 단순히 RGB 컬러 이미지와 해당 시점의 LiDAR 측정 값을 채널(Channel) 방향으로 두고, 기지정된 횟수로 컨볼루션(Convolution) 연산을 수행하며, 이를 통해 이종(카메라와 LiDAR 센서)간의 센서 값을 융합시키고, 이를 후속 회기(Regression) 과정을 통해 최종적으로 고밀도 깊이맵(Dense Depth Image)을 얻게 된다.
그러나 기존의 깊이 완성 기법은 두 센서 사이의 서로 다른 모달리티를 고려치 않기 때문에, 깊이 변화가 급격한 물체와 배경의 경계부에서 깊이를 모호한 중간값으로 추정해버리는 깊이 섞임 문제(Depth Mixing Problem)가 발생하게 되는 문제가 있다.
한국 등록 특허 제10-2229861호 (2021.03.15 등록)
본 발명의 목적은 단안 이미지와 라이다 깊이맵을 이용하여 가상의 대안 이미지를 생성하여 깊이를 추정함으로써 깊이 섞임 문제를 방지할 수 있는 깊이맵 완성 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 증류 기법을 적용하여 학습을 수행하고, 역와핑에 기반하여 가상 대안 이미지의 오차를 반영하여 정확한 고밀도 깊이맵을 획득할 수 있는 깊이맵 완성 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 깊이맵 완성 장치는 단안 이미지와 희소 깊이맵을 인가받고, 상기 희소 깊이맵의 깊이 정보를 이용하여 스테레오 이미지의 2개의 이미지에 대응하는 2개의 디스패리티맵을 획득하고, 상기 2개의 디스패리티맵 중 대응하는 디스패리티맵을 이용하여 상기 단안 이미지가 스테레오 이미지의 상대 이미지에 대응하도록 변환하여 가상 대안 이미지를 획득하는 가상 대안 이미지 획득부; 및 상기 단안 이미지와 상기 가상 대안 이미지 및 상기 2개의 디스패리티맵을 인가받고, 미리 학습된 스테레오 매칭 기법에 따라 상기 단안 이미지의 다수의 픽셀 각각에 대한 깊이값을 추정하여 고밀도의 스테레오 깊이맵을 획득하는 스테레오 매칭부를 포함한다.
상기 가상 대안 이미지 획득부는 삼각 측량 기법을 이용하여 상기 희소 깊이맵의 깊이 정보를 스테레오 이미지의 좌, 우 이미지로 투영한 후, 좌, 우 이미지에서 서로 대응하는 픽셀들의 상대적 위치 변화를 분석하여 상기 2개의 희소 디스패리티맵을 획득하는 디스패리티 획득부; 상기 2개의 희소 디스패리티맵 중 대응하는 희소 디스패리티맵의 디스패리티를 이용하여 상기 단안 이미지에서 대응하는 픽셀의 위치를 이동시켜 희소 픽셀을 갖는 와핑 이미지를 획득하는 와핑 이미지 획득부; 및 상기 와핑 이미지를 인가받고, 미리 학습된 인공 신경망으로 구현되어, 학습된 방식에 따라 상기 와핑 이미지에서 픽셀값이 지정되지 않은 나머지 픽셀의 픽셀값을 채워 상기 가상 대안 이미지를 획득하는 가상 이미지 획득부를 포함할 수 있다.
상기 스테레오 매칭부는 미리 학습된 인공 신경망으로 구현되어 상기 단안 이미지와 상기 가상 대안 이미지 및 상기 2개의 디스패리티맵의 특징을 추출하여 2개의 특징맵을 획득하는 특징 추출부; 기지정된 탐색 범위 내에서 특징맵을 이동시키면서 이동 거리별로 2개의 특징맵의 대응하는 위치의 픽셀의 픽셀값을 비교하여 매칭 코스트를 계산하여 코스트 볼륨을 획득하는 코스트 볼륨 계산부; 및 미리 학습된 인공 신경망으로 구현되어 상기 코스트 볼륨으로부터 학습된 방식에 따라 상기 단안 이미지의 다수의 픽셀 각각에 대한 깊이값을 추정하여 상기 스테레오 깊이맵을 획득하는 코스트 집계부를 포함할 수 있다.
상기 스테레오 매칭부는 상기 단안 이미지와 상기 가상 대안 이미지 각각을 상기 2개의 디스패리티맵 중 대응하는 디스패리티맵과 각각 결합하여 2개의 디스패리티 결합 이미지를 획득하고, 획득된 2개의 디스패리티 결합 이미지를 상기 특징 추출부의 입력으로 인가하는 디스패리티 결합부를 더 포함할 수 있다.
상기 깊이맵 완성 장치는 상기 스테레오 깊이맵을 이용하여 상기 가상 대안 이미지가 상기 단안 이미지에 대응하는 이미지가 되도록 역와핑하여 역와핑 이미지를 획득하고, 상기 역와핑 이미지와 상기 단안 이미지 사이의 차이로 나타나는 절대 오차를 계산하여 획득하는 절대 오차 계산부를 더 포함할 수 있다.
상기 절대 오차 계산부는 상기 가상 대안 이미지의 각 픽셀을 상기 스테레오 깊이맵의 각 픽셀의 깊이값에 따라 대응하는 위치로 와핑하여 상기 역와핑 이미지를 획득하는 역와핑부; 및 상기 역와핑 이미지의 각 픽셀과 상기 단안 이미지의 대응하는 픽셀 사이의 차이를 계산하여 상기 절대 오차를 획득하는 상기 오차 계산부를 포함할 수 있다.
상기 깊이맵 완성 장치는 상기 단안 이미지와 상기 희소 깊이맵 및 상기 절대 오차를 이용하여 상기 스테레오 깊이맵의 오류를 추정하고, 보상하여 깊이맵을 획득하는 깊이맵 획득부를 더 포함할 수 있다.
상기 깊이맵 획득부는 상기 단안 이미지와 상기 희소 깊이맵, 상기 절대 오차 및 상기 스테레오 깊이맵이 결합되어 인가되고, 미리 학습된 인공 신경망으로 구현되어, 상기 스테레오 깊이맵의 오류를 나타내는 잔차맵을 획득하는 깊이 정제부; 및 상기 잔차맵을 상기 스테레오 깊이맵에 가산하여 획득되는 상기 깊이맵을 출력하는 깊이맵 출력부를 포함할 수 있다.
상기 가상 이미지 획득부는 진리 대안 이미지와 상기 가상 대안 이미지 사이의 구조 유사도와 픽셀값 사이의 차이에 따라 유사도 손실을 계산하고 역전파하여 학습될 수 있다.
상기 스테레오 매칭부는 미리 준비된 학습 데이터의 스테레오 이미지와 희소 깊이맵으로부터 획득되는 희소 디스패리티맵을 이용하여 상기 스테레오 매칭부와 동일 구조를 갖는 교사 네트워크를 우선 학습시키고, 지식 증류 기법에 따라 학습된 교사 네트워크에서 추출되는 특징맵과 상기 특징 추출부에서 추출된 특징맵 사이의 차이와 상기 교사 네트워크에서 획득된 스테레오 깊이맵과 상기 코스트 집계부에서 획득된 스테레오 깊이맵 사이의 차이를 손실로 계산하여 학습될 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 깊이맵 완성 방법은 단안 이미지와 희소 깊이맵을 인가받고, 상기 희소 깊이맵의 깊이 정보를 이용하여 스테레오 이미지의 2개의 이미지에 대응하는 2개의 디스패리티맵을 획득하고, 상기 2개의 디스패리티맵 중 대응하는 디스패리티맵을 이용하여 상기 단안 이미지가 스테레오 이미지의 상대 이미지에 대응하도록 변환하여 가상 대안 이미지를 획득하는 단계; 및 상기 단안 이미지와 상기 가상 대안 이미지 및 상기 2개의 디스패리티맵을 인가받고, 미리 학습된 스테레오 매칭 기법에 따라 상기 단안 이미지의 다수의 픽셀 각각에 대한 깊이값을 추정하여 고밀도의 스테레오 깊이맵을 획득하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 깊이맵 완성 장치 및 방법은 단안 이미지와 라이다 깊이맵을 인가받아 가상의 대안 이미지를 생성하여 스테레오 이미지를 획득하고, 획득된 스테레오 이미지에 대해 스테레오 매칭을 수행하여 깊이맵을 완성함으로써, 깊이 섞임 문제를 억제하면서 고밀도의 깊이맵을 획득할 수 있다. 또한 증류 기법을 적용하여 인공 신경망을 학습시키고, 가상 대안 이미지에 대해 역와핑을 수행하여 가상 대안 이미지의 오차가 반영된 정제된 깊이값을 획득함으로써 정확한 고밀도 깊이맵을 획득할 수 있다.
도 1은 본 발명의 일 실시예에 따른 깊이맵 완성 장치의 개략적 구조를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 깊이맵 완성 장치가 깊이맵을 완성하는 개념을 설명하기 위한 도면이다.
도 3은 도 2의 깊이맵 완성 장치의 상세 구성의 일 예를 나타낸다.
도 4는 도 2의 깊이맵 완성 장치의 구성별 동작을 설명하기 위한 도면이다.
도 5는 도 2의 역와핑부의 동작을 설명하기 위한 도면이다.
도 6은 본 실시예에 따른 깊이맵 완성 장치의 실제 적용 예를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 깊이맵 완성 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 깊이맵 완성 장치의 개략적 구조를 나타내고, 도 2는 본 발명의 일 실시예에 따른 깊이맵 완성 장치가 깊이맵을 완성하는 개념을 설명하기 위한 도면이다.
도 1을 참조하면, 본 실시예에 따른 깊이맵 완성 장치는 입력 정보 획득부(100), 가상 대안 이미지 획득부(200), 디스패리티 결합부(300), 스테레오 매칭부(400), 절대 오차 계산부(500) 및 깊이맵 획득부(600)를 포함할 수 있다.
입력 정보 획득부(100)는 고밀도 깊이맵을 완성하기 위해 깊이가 추정되어야 하는 단안 이미지와 깊이 정보를 획득한다. 입력 정보 획득부(100)는 이미지 획득부(110)와 깊이 정보 획득부(120)를 포함할 수 있다. 이미지 획득부(110)는 도 2의 (a)와 같은 단일 RGB 이미지인 단안 이미지(Il)를 획득한다. 이미지 획득부(110)는 스테레오 카메라가 아닌 일반적인 카메라로 구현되거나, 카메라에서 획득된 이미지가 저장된 저장 매체 또는 카메라에서 획득된 이미지를 전송받는 통신 모듈 등으로 구현될 수 있다. 그리고 깊이 정보 획득부(120)는 도 2의 (b)에 도시된 바와 같이, 저밀도의 점군 형태(Point cloud)로 깊이 정보가 포함된 희소 깊이맵(Sparse Depth Map)()을 획득한다. 깊이 정보 획득부(120)는 일 예로 라이다(LiDAR) 센서로 구현되거나 라이다 센서가 감지한 깊이 정보에 따른 희소 깊이맵()을 인가받거나 저장하는 저장 매체 또는 통신 모듈로 구현될 수 있다.
가상 대안 이미지 획득부(200)는 입력 정보 획득부(100)에서 획득된 단안 이미지(Il)와 희소 깊이맵()을 인가받아 가상의 대안 이미지()를 획득한다. 상기한 바와 같이, 깊이맵 완성 기법에서 대표적인 기법은 스테레오 매칭 기법이며, 스테레오 매칭 기법에서는 인간이 양안 시차를 이용하여 깊이를 추정하는 방식과 유사하게 기지정된 간격만큼 이격된 2개의 카메라에서 촬영된 좌이미지와 우이미지의 스테레오 이미지를 이용하여 고밀도의 깊이맵을 획득한다. 그러나 본 실시예에서는 입력 정보 획득부(100)가 단안 이미지(Il)와 희소 깊이맵()을 획득한다. 이에 가상 대안 이미지 획득부(200)는 입력 정보 획득부(100)에서 획득된 단안 이미지(Il)를 스테레오 이미지 중 하나(여기서는 일 예로 좌이미지)로 설정하고, 희소 깊이맵()을 이용하여 단안 이미지(Il)를 와핑시킴으로써 스테레오 이미지의 나머지 이미지를 가상으로 모의한 가상 대안 이미지()를 도 2의 (c)에 도시된 바와 같이 획득한다. 본 발명에서 가상 대안 이미지 획득부(200)는 미리 학습된 인공 신경망을 이용하여, 단안 이미지(Il)와 희소 깊이맵()으로부터 가상 대안 이미지()를 획득할 수 있다. 이때 가상 대안 이미지 획득부(200)는 희소 깊이맵()으로부터 스테레오 이미지의 좌이미지 및 우이미지에서 상호간의 차이를 나타내는 2개의 희소 디스패리티맵(, )을 획득하고, 획득된 2개의 희소 디스패리티맵(, ) 중 대응하는 희소 디스패리티맵(여기서는 일예로 좌 디스패리티맵())을 이용하여 단안 이미지(Il)를 와핑시켜 가상 대안 이미지()를 획득할 수 있다.
디스패리티 결합부(300)는 단안 이미지(Il)와 가상 대안 이미지()를 각각 대응하는 희소 디스패리티맵(, )과 결합(concatenate)하여 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ ))를 출력한다. 여기서 ⊙는 결합(concatenation) 연산자이다.
가상 대안 이미지()가 획득되면, 단안 이미지(Il)와 함께 스테레오 이미지를 구성할 수 있으므로, 스테레오 매칭부(400)는 디스패리티 결합 이미지에 대해 미리 학습된 방식에 따라 스테레오 매칭을 수행하여 고밀도의 스테레오 깊이맵(DS)을 추정한다. 기존의 스테레오 매칭 기법에서는 스테레오 이미지(Il, Ir)만을 인가받아 2개의 디스패리티맵(dl, dr)을 획득하도록 구성된다. 그러나 본 발명에서는 라이다 등을 이용하여 미리 측정되어 획득된 깊이 정보를 갖는 희소 깊이맵()이 이미 존재한다. 희소 깊이맵()은 비록 희소한 깊이 정보를 갖고 있으나, 각각의 깊이 정보는 실제 측정을 통해 획득된 깊이 정보로서 매우 신뢰도 있는 깊이 정보이다. 따라서 스테레오 매칭부(400)는 희소 깊이맵()으로부터 획득된 희소 디스패리티맵(, )를 최대한 이용하여 더욱 정확한 스테레오 깊이맵(DS)을 추정할 수 있도록, 디스패리티 결합부(300)로부터 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ ))를 인가받아 스테레오 매칭을 수행한다.
절대 오차 계산부(500)는 스테레오 매칭부(400)에서 획득된 스테레오 깊이맵(DS)을 기반으로 가상 대안 이미지()를 역와핑하고, 역와핑 이미지()와 단안 이미지(Il) 사이의 차이를 분석하여 절대 오차(e)를 획득한다. 단안 이미지(Il)가 와핑되어 획득되는 가상 대안 이미지()는 스테레오 매칭부(400)에서 스테레오 깊이맵(DS)이 이상적으로 추정된 경우, 스테레오 깊이맵(DS)을 이용하여 역와핑되면 단안 이미지(Il)와 동일하게 나타나야 한다. 그러나 스테레오 깊이맵(DS)이 비정상적으로 획득된 경우, 스테레오 깊이맵(DS)을 기반으로 역와핑 이미지()는 단안 이미지(Il)와 차이가 발생하게 된다. 이에 절대 오차 계산부(500)는 추정된 스테레오 깊이맵(DS)에서 더욱 정확한 고밀도 깊이맵(D)을 획득하기 위해 절대 오차(e)를 계산한다.
깊이맵 획득부(600)는 실제 측정으로 획득된 단안 이미지(Il)와 희소 깊이맵()과 절대 오차(e)를 이용하여 스테레오 매칭부(400)에서 추정된 스테레오 깊이맵(DS)에서 잔차맵(residual map)(r)을 추정하고, 스테레오 깊이맵(DS)에 잔차맵(r)을 가산하여 정확도가 개선된 고정밀 고밀도의 깊이맵(D)을 도 2의 (d)와 같이 획득한다.
즉 본 실시예에 따른 깊이맵 완성 장치는 단안 이미지(Il)와 희소 깊이맵()을 인가받아 가상의 대안 이미지()를 생성하여 스테레오 이미지(Il, )를 획득하고, 획득된 스테레오 이미지(Il, )에 대해 스테레오 매칭을 수행하여 고밀도의 깊이맵(D)을 완성함으로써, 깊이 섞임 문제를 억제된 정확한 깊이맵을 획득할 수 있다. 그리고 이와 같이 정확한 고밀도의 깊이맵(D)은 도 2의 (e)와 같이 3D 재구성 등의 다양한 응용 프로그램에 이용될 수 있다.
이하에서는 도 3 내지 도 5를 참조하여, 본 실시예의 깊이맵 완성 장치의 각 구성별 동작을 더욱 상세하게 설명한다.
도 3은 도 2의 깊이맵 완성 장치의 상세 구성의 일 예를 나타내고, 도 4는 도 2의 깊이맵 완성 장치의 구성별 동작을 설명하기 위한 도면이며, 도 5는 도 2의 역와핑부의 동작을 설명하기 위한 도면이다.
도 1을 참조하여 도 3의 각 구성을 살펴보면, 우선 입력 정보 획득부(100)는 도 1에서와 동일하다. 그리고 가상 대안 이미지 획득부(200)는 디스패리티 획득부(210), 와핑 이미지 획득부(220) 및 가상 이미지 획득부(230)를 포함할 수 있다.
디스패리티 획득부(210)는 희소 깊이맵()으로부터 스테레오 이미지의 좌이미지 및 우이미지에서 상호간의 차이를 나타내는 2개의 희소 디스패리티맵(, )을 획득한다. 디스패리티 획득부(210)는 삼각 측량 기법을 이용하여 희소 깊이맵()을 스테레오 이미지의 좌, 우 이미지(Il, Ir)로 투영한 후, 좌,우 이미지(Il, Ir)에서 서로 대응하는 픽셀들의 상대적 위치 변화를 분석함으로써, 2개의 희소 디스패리티맵(, )을 획득할 수 있다. 여기서 2개의 희소 디스패리티맵(, )은 희소 깊이맵()의 깊이 정보에 따라 획득되므로, 희소 깊이맵()에 깊이 정보가 포함된 픽셀의 디스패리티가 포함되고 깊이 정보가 포함되지 않은 픽셀 위치에서는 디스패리티가 포함되지 않은 희소 맵으로 나타난다.
와핑 이미지 획득부(220)는 이미지 획득부(110)에서 획득된 단안 이미지(Il)와 디스패리티 획득부(210)에서 획득된 2개의 희소 디스패리티맵(, ) 중 스테레오 이미지의 좌이미지로 설정된 단안 이미지(Il)에 대응하는 희소 디스패리티맵()를 인가받아, 희소 디스패리티맵()을 이용하여 단안 이미지(Il)가 우이미지에 대응하는 형태의 이미지로 변환되도록 와핑시켜 와핑 이미지()를 획득한다. 와핑 이미지 획득부(220)는 단안 이미지(Il)의 다수의 픽셀 중 희소 디스패리티맵()에 대응하는 디스패리티값이 존재하는 픽셀을 디스패리티값에 따라 이동시킴으로써 와핑 이미지()를 획득할 수 있다. 와핑 이미지()가 희소 디스패리티맵()을 이용하여 획득되므로, 도 4에 도시된 바와 같이, 와핑 이미지() 또한 희소한 픽셀을 갖는 희소 이미지 형태로 획득된다.
가상 이미지 획득부(230)는 단안 이미지(Il)와 와핑 이미지()를 인가받고, 미리 학습된 인공 신경망으로 구현되어 인가된 단안 이미지(Il)와 와핑 이미지()로부터 스테레오 이미지의 대안 이미지(여기서는 우이미지(Ir))에 대응하는 가상 대안 이미지()를 추정한다. 가상 이미지 획득부(230)는 학습된 방식에 따라 모든 픽셀에 대한 정보가 포함된 단안 이미지(Il)를 이용하여 희소한 픽셀 만이 픽셀값을 포함하는 와핑 이미지()에서 픽셀값이 지정되지 않은 나머지 픽셀의 필셀값을 채움으로써, 도 4에서와 같이 모든 픽셀에 대해 픽셀값이 설정된 가상의 대안 이미지인 가상 대안 이미지()를 획득할 수 있다. 이때, 가상 이미지 획득부(230)는 도 4에 도시된 바와 같이, 인가된 단안 이미지(Il)와 와핑 이미지() 각각의 특징을 학습된 방식에 따라 추출하고, 추출된 특징을 학습된 방식에 따라 결합하여 디코딩함으로써 가상 대안 이미지()를 획득할 수 있다.
가상 대안 이미지 획득부(200)는 스테레오 카메라를 이용하여 획득된 스테레오 이미지(Il, Ir)와 라이다를 이용하여 획득된 희소 깊이맵()을 포함하는 학습 데이터셋을 이용하여 사전에 학습될 수 있으며, 깊이맵 완성 장치의 나머지 구성과 독립적으로 미리 학습될 수 있다. 가상 대안 이미지 획득부(200)는 학습 데이터의 진리 대안 이미지인 우안 이미지(Ir)와 가상 대안 이미지() 사이의 구조 유사도(SSIM)와 L1 놈 함수로 계산되는 픽셀값 사이의 차이에 따라 수학식 1에 따라 계산되는 유사도 손실(Lim)을 역전파함으로써 학습이 수행될 수 있다.
디스패리티 결합부(300)는 도 1에서 설명한 바와 같이, 단안 이미지(Il)와 가상 대안 이미지()를 각각 대응하는 희소 디스패리티맵(, )과 결합(concatenate)하여 2개의 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ ))를 출력한다. 경우에 따라서 디스패리티 결합부(300)는 2개의 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ ))를 다시 결합하여 스테레오 결합 이미지를 출력할 수도 있다.
스테레오 매칭부(400)는 특징 추출부(410), 코스트 볼륨 계산부(420) 및 코스트 집계부(430)를 포함할 수 있다.
특징 추출부(410)는 2개의 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ ))를 인가받고, 미리 학습된 인공 신경망으로 구현되어 인가된 2개의 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ ))의 특징을 추출하여 대응하는 2개의 특징맵을 획득한다.
그리고 코스트 볼륨 계산부(420)는 기지정된 탐색 범위 내에서 특징맵을 이동시키면서 이동 거리별로 2개의 특징맵의 대응하는 위치의 픽셀의 픽셀값을 비교하여 매칭 코스트를 계산함으로써 코스트 볼륨을 획득한다. 통상적으로 스테레오 매칭부는 스테레오 이미지의 2개의 2D 이미지를 비교하여, 3차원의 코스트 볼륨을 획득하지만, 본 실시예에서는 스테레오 매칭부(400)가 2개의 2D 이미지인 단안 이미지(Il)와 가상 대안 이미지() 각각에 희소 디스패리티맵(, )이 결합된 이미지를 인가받으므로, 4차원의 코스트 볼륨을 출력할 수 있다.
한편 코스트 집계부(430)는 코스트 볼륨 계산부(420)에서 획득된 코스트 볼륨을 인가받고, 미리 학습된 인공 신경망으로 구현되어 코스트 볼륨으로부터 학습된 방식에 따라 스테레오 깊이맵(DS)을 획득한다. 코스트 집계부(430)는 코스트 볼륨으로부터 2개의 디스패리티맵(dl, dr)을 추출하고, 추출된 2개의 디스패리티맵(dl, dr)으로부터 고밀도 스테레오 깊이맵(DS)을 추출하도록 구성될 수 있다. 그러나 본 실시예에서는 코스트 집계부(430)는 코스트 볼륨으로부터 직접 고밀도 스테레오 깊이맵(DS)을 추출하여 획득하도록 학습될 수도 있다.
여기서 스테레오 매칭부(400)는 일반적인 지도 학습 기법으로 학습될 수도 있으나, 지식 증류 기법에 따라 학습이 수행될 수도 있다. 지식 증류 (Knowledge Distillation) 기법을 이용하여 학습을 수행하는 경우, 우선 스테레오 매칭부(400)와 동일 구조의 교사 네트워크(Teacher network)를 학습시키고, 이후, 학습에 의해 획득된 가중치를 학생 네트워크인 스테레오 매칭부(400)에 적용시키는 방식으로 스테레오 매칭부(400)를 학습시킬 수 있다.
이때, 교사 네트워크는 학습 데이터의 스테레오 이미지(Il, Ir)와 희소 깊이맵()으로부터 획득되는 희소 디스패리티맵(, )를 인가받아 교사 깊이맵(dT)을 출력하고, 출력된 교사 네트워크에서 출력된 교사 깊이맵(dT)과 학습을 위해 미리 준비된 진리 깊이맵(dgt) 사이의 차이를 디스패리티 손실(Ldisp)로 수학식 2와 같이 계산하여 역전파함으로써 학습될 수 있다.
수학식 2의 디스패리티 손실(Ldisp)에 따라 교사 네트워크가 학습되면, 교사 네트워크를 기반으로 학생 네트워크인 스테레오 매칭부(400)를 학습시키기 위해, 교사 네트워크의 특징 추출부에서 출력되는 교사 특징맵(FT)과 특징 추출부(410)에서 출력되는 학생 특징맵(FS) 사이의 차이로 나타나는 KL 발산(Kullback-Leibler(KL)-Divergence) 손실(LKL)을 수학식 3에 따라 계산하여 역전파할 수 있다.
또한 교사 네트워크의 코스트 집계부에서 출력되는 교사 깊이맵(dT)과 학생 네트워크인 스테레오 매칭부(400)의 코스트 집계부(430)에서 출력되는 학생 깊이맵(dS) 사이의 차이로 나타나는 증류 손실(Ldistill)을 수학식 4에 따라 계산하여 역전파함으로써 학습을 수행할 수 있다.
여기서 는 교사 네트워크의 신뢰도맵을 나타내고, τ는 신뢰도 문턱값을 나타낸다.
절대 오차 계산부(500)는 역와핑부(510) 및 오차 계산부(520)를 포함할 수 있아. 역와핑부(510)는 스테레오 매칭부(400)에서 스테레오 깊이맵(DS)이 추출되면, 스테레오 깊이맵(DS)을 이용하여 가상 대안 이미지()가 단안 이미지(Il)에 대응하는 형태의 이미지가 되도록 역와핑을 수행한다.
상기한 바와 같이, 가상 대안 이미지()는 단안 이미지(Il)를 대응하는 희소 디스패리티맵()를 기반으로 와핑한 와핑 이미지()에서 나머지 픽셀의 픽셀값을 추정하여 채운 이미지이다. 가상 대안 이미지()와 스테레오 깊이맵(DS)이 정상적으로 획득되었는지 판별하기 위해서는 스테레오 깊이맵(DS)을 이용하여 가상 대안 이미지()를 다시 역와핑시킬 필요가 있다. 이에 역와핑부(510)는 스테레오 깊이맵(DS)을 이용하여 가상 대안 이미지()가 대안 이미지()에 대응하는 이미지가 되도록 역와핑을 수행하여 역와핑 이미지를 획득한다.
역와핑부(510)에 의해 역와핑 이미지가 획득되면, 오차 계산부(520)는 대안 이미지()와 역와핑 이미지의 대응하는 픽셀값의 차이를 기반으로 절대 오차(e)를 계산한다.
도 5에 도시된 바와 같이, 스테레오 이미지의 좌이미지와 우이미지 중 적어도 하나의 깊이 정보(여기서는 좌 깊이)를 알고 있다면, 좌이미지와 우이미지에서 동일한 픽셀값을 가져야 하는 픽셀의 위치를 확인할 수 있으며, 해당 픽셀의 피셀값 사이에 차이가 있다면, 이는 폐색과 같은 특별한 경우이거나, 좌이미지 또는 우이미지 중 하나의 이미지 또는 깊이 정보에 오류가 있는 것으로 볼 수 있다. 이에 본 발명에서는 이와 같은 오류를 검출하여 보상하기 위해, 오차 계산부(520)가 대안 이미지()와 역와핑 이미지의 대응하는 픽셀값의 차이를 기반으로 절대 오차(e)를 계산한다. 도 5를 참조하면, 여기서 절대 오차(e)는 수학식 5와 같이 계산될 수 있다.
한편, 깊이맵 획득부(600)는 깊이 정제부(610) 및 깊이맵 출력부(620)를 포함할 수 있다.
깊이 정제부(610)는 단안 이미지(Il)와 희소 깊이맵()과 절대 오차(e) 및 스테레오 깊이맵(DS)을 인가받고, 미리 학습된 인공 신경망으로 구현되어 잔차맵(r)을 추정한다. 깊이 정제부(610) 또한 미리 학습된 인공 신경망으로 구현될 수 있으며, 단안 이미지(Il)와 희소 깊이맵()과 절대 오차(e) 및 스테레오 깊이맵(DS)은 도 4에 도시된 바와 같이, 미리 결합(concatenate)되어 인공 신경망에 입력될 수 있다. 여기서 잔차맵(r)은 단안 이미지(Il)와 희소 깊이맵() 및 절대 오차(e)를 기반으로 스테레오 매칭부(400)에서 획득된 스테레오 깊이맵(DS)의 다수의 픽셀 각각에 대한 픽셀값 오차를 추정하여 구성되는 맵이다. 이에 깊이맵 출력부(620)는 깊이 정제부(610)에서 획득된 잔차맵(r)을 스테레오 매칭부(400)에서 획득된 스테레오 깊이맵(DS)에 가산하여 고정밀 고밀도의 깊이맵(D)을 획득하여 출력한다.
여기서 깊이맵 획득부(600)의 깊이 정제부(610)는 획득된 깊이맵(D)과 진리 깊이맵(Dgt) 사이의 오차에 따른 참조 손실(Lref)을 수학식 6에 따라 계산하고 역전파함으로써 학습될 수 있다.
상기에서는 설명의 편의를 위하여 디스패리티 결합부(300)와 스테레오 매칭부(400)를 구분하여 도시하였으나, 디스패리티 결합부(300)는 스테레오 매칭부(400)에 포함되어 구성될 수 있다.
도 6은 본 실시예에 따른 깊이맵 완성 장치의 실제 적용 예를 나타낸다.
도 6에서 (a)는 라이다를 이용하여 획득된 저밀도의 희소 깊이맵()을 나타내고, (b)는 단안 이미지(Il)를 나타내며, (c)는 단안 이미지(Il)와 희소 깊이맵()을 이용하여 획득된 가상 대안 이미지()를 나타낸다. 그리고 (d)는 본 실시예의 깊이맵 완성 장치에서 출력되는 고밀도의 깊이맵(D)을 나타낸다.
도 6에 도시된 바와 같이, 본 실시예에서는 단안 이미지(Il)와 희소 깊이맵()으로부터 가상 대안 이미지()를 생성하고, 단안 이미지(Il)와 가상 대안 이미지() 뿐만 아니라 희소 깊이맵()으로부터 획득되는 희소 디스패리티맵(, )까지 이용하여 스테레오 매칭 기법을 적용할 뿐만 아니라, 스테레오 매칭 기법으로 획득되는 스테레오 깊이맵(DS)의 오차를 추가로 정제하여 고밀도의 깊이맵(D)을 완성함으로써, 정확한 고밀도 깊이맵을 획득할 수 있으며, 깊이 섞임 문제를 억제할 수 있다.
도 7은 본 발명의 일 실시예에 따른 깊이맵 완성 방법을 나타낸다.
도 1 내지 도 6을 참조하여, 도 7에 도시된 본 실시예의 깊이맵 완성 방법을 설명하면, 우선 단안 이미지(Il)와 희소 깊이맵()을 획득한다(S11). 여기서 단안 이미지(Il)는 카메라 등을 이용하여 획득할 수 있으며, 희소 깊이맵()은 라이다 센서 등을 이용하여 획득할 수 있다. 단안 이미지(Il)와 희소 깊이맵()이 획득되면, 희소 깊이맵()을 이용하여 단안 이미지(Il)를 와핑시켜 와핑 이미지()를 획득한다(S20). 와핑 이미지()는 삼각 측량 기법을 이용하여 스테레오 이미지의 좌, 우 이미지에 투영하고, 서로 대응하는 픽셀들의 상대적 위치 변화를 분석하여 희소 디스패리티맵(, )을 획득하며, 단안 이미지(Il)의 다수의 픽셀 중 희소 디스패리티맵()에 대응하는 디스패리티값이 존재하는 픽셀을 디스패리티값에 따라 이동시킴으로써 와핑 이미지()를 획득할 수 있다. 여기서 와핑 이미지()는 희소 깊이맵()에서 획득된 희소 디스패리티맵()에 따라 희소한 픽셀을 갖는 희소 이미지 형태로 획득된다.
와핑 이미지()가 획득되면, 미리 학습된 인공 신경망을 이용하여, 단안 이미지(Il)와 와핑 이미지()로부터 스테레오 이미지의 대안 이미지에 대응하는 가상 대안 이미지()를 추정한다(S30). 가상 대안 이미지()는 희소한 픽셀을 갖는 희소 이미지인 와핑 이미지()에서 나머지 픽셀의 픽셀값을 추정하여 채움으로써 획득될 수 있다.
가상 대안 이미지()가 획득되면, 단안 이미지(Il)와 가상 대안 이미지()를 각각 대응하는 희소 디스패리티맵(, )과 결합하여 2개의 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ ))를 획득한다(S40).
그리고 2개의 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ ))를 스테레오 매칭 기법이 미리 학습된 인공 신경망에 입력하여 고밀도의 스테레오 깊이맵(DS)을 추정한다(S50). 여기서 스테레오 깊이맵(DS)은 미리 학습된 인공 신경망을 이용하여 2개의 디스패리티 결합 이미지((Il ⊙ ), ( ⊙ )) 각각의 특징맵을 추출하고, 추출된 2개의 특징맵을 이동시키면서 이동 거리별로 2개의 특징맵의 대응하는 위치의 픽셀의 픽셀값을 비교하여 매칭 코스트를 계산함으로써 코스트 볼륨을 획득한 후, 획득된 코스트 볼륨을 미리 학습된 인공 신경망에 입력하여 단안 이미지(Il)의 각 픽셀에 대한 깊이 정보를 추정함으로써 획득될 수 있다.
스테레오 깊이맵(DS)이 획득되면, 획득된 스테레오 깊이맵(DS)을 이용하여 가상 대안 이미지()를 역와핑시키고, 역와핑 이미지()와 단안 이미지(Il) 사이의 차이를 계산하여 절대 오차(e)를 획득한다(S60).
단안 이미지(Il)와 희소 깊이맵()과 절대 오차(e) 및 스테레오 깊이맵(DS)이 획득되면, 획득된 단안 이미지(Il)와 희소 깊이맵()과 절대 오차(e) 및 스테레오 깊이맵(DS)을 결합하고, 미리 학습된 인공 신경망에 입력하여, 스테레오 깊이맵(DS)의 오차를 정제하기 위한 잔차맵(r)을 획득한다(S70). 그리고 획득된 잔차맵(r)을 스테레오 깊이맵(DS)에 가산하여 고정밀 고밀도의 깊이맵(D)을 획득한다(S80).
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 입력 정보 획득부 110: 이미지 획득부
120: 깊이 정보 획득부 200: 가상 대안 이미지 획득부
210: 디스패리티 획득부 220: 와핑 이미지 획득부
230: 가상 이미지 획득부 300: 디스패리티 결합부
400: 스테레오 매칭부 410: 특징 추출부
420: 코스트 볼륨 계산부 430: 코스트 집계부
500: 절대 오차 계산부 510: 역와핑부
520: 오차 계산부 600: 깊이맵 획득부
610: 깊이 정제부 620: 깊이맵 출력부

Claims (18)

  1. 단안 이미지와 희소 깊이맵을 인가받고, 상기 희소 깊이맵의 깊이 정보를 이용하여 스테레오 이미지의 2개의 이미지에 대응하는 2개의 디스패리티맵을 획득하고, 상기 2개의 디스패리티맵 중 대응하는 디스패리티맵을 이용하여 상기 단안 이미지가 스테레오 이미지의 상대 이미지에 대응하도록 변환하여 가상 대안 이미지를 획득하는 가상 대안 이미지 획득부; 및
    상기 단안 이미지와 상기 가상 대안 이미지 및 상기 2개의 디스패리티맵을 인가받고, 미리 학습된 스테레오 매칭 기법에 따라 상기 단안 이미지의 다수의 픽셀 각각에 대한 깊이값을 추정하여 고밀도의 스테레오 깊이맵을 획득하는 스테레오 매칭부를 포함하는 깊이맵 완성 장치.
  2. 제1항에 있어서, 상기 가상 대안 이미지 획득부는
    삼각 측량 기법을 이용하여 상기 희소 깊이맵의 깊이 정보를 스테레오 이미지의 좌, 우 이미지로 투영한 후, 좌, 우 이미지에서 서로 대응하는 픽셀들의 상대적 위치 변화를 분석하여 상기 2개의 희소 디스패리티맵을 획득하는 디스패리티 획득부;
    상기 2개의 희소 디스패리티맵 중 대응하는 희소 디스패리티맵의 디스패리티를 이용하여 상기 단안 이미지에서 대응하는 픽셀의 위치를 이동시켜 희소 픽셀을 갖는 와핑 이미지를 획득하는 와핑 이미지 획득부; 및
    상기 와핑 이미지를 인가받고, 미리 학습된 인공 신경망으로 구현되어, 학습된 방식에 따라 상기 와핑 이미지에서 픽셀값이 지정되지 않은 나머지 픽셀의 픽셀값을 채워 상기 가상 대안 이미지를 획득하는 가상 이미지 획득부를 포함하는 깊이맵 완성 장치.
  3. 제2항에 있어서, 상기 스테레오 매칭부는
    미리 학습된 인공 신경망으로 구현되어 상기 단안 이미지와 상기 가상 대안 이미지 및 상기 2개의 디스패리티맵의 특징을 추출하여 2개의 특징맵을 획득하는 특징 추출부;
    기지정된 탐색 범위 내에서 특징맵을 이동시키면서 이동 거리별로 2개의 특징맵의 대응하는 위치의 픽셀의 픽셀값을 비교하여 매칭 코스트를 계산하여 코스트 볼륨을 획득하는 코스트 볼륨 계산부; 및
    미리 학습된 인공 신경망으로 구현되어 상기 코스트 볼륨으로부터 학습된 방식에 따라 상기 단안 이미지의 다수의 픽셀 각각에 대한 깊이값을 추정하여 상기 스테레오 깊이맵을 획득하는 코스트 집계부를 포함하는 깊이맵 완성 장치.
  4. 제3항에 있어서, 상기 스테레오 매칭부는
    상기 단안 이미지와 상기 가상 대안 이미지 각각을 상기 2개의 디스패리티맵 중 대응하는 디스패리티맵과 각각 결합하여 2개의 디스패리티 결합 이미지를 획득하고, 획득된 2개의 디스패리티 결합 이미지를 상기 특징 추출부의 입력으로 인가하는 디스패리티 결합부를 더 포함하는 깊이맵 완성 장치.
  5. 제3항에 있어서, 상기 깊이맵 완성 장치는
    상기 스테레오 깊이맵을 이용하여 상기 가상 대안 이미지가 상기 단안 이미지에 대응하는 이미지가 되도록 역와핑하여 역와핑 이미지를 획득하고, 상기 역와핑 이미지와 상기 단안 이미지 사이의 차이로 나타나는 절대 오차를 계산하여 획득하는 절대 오차 계산부를 더 포함하는 깊이맵 완성 장치.
  6. 제5항에 있어서, 상기 절대 오차 계산부는
    상기 가상 대안 이미지의 각 픽셀을 상기 스테레오 깊이맵의 각 픽셀의 깊이값에 따라 대응하는 위치로 와핑하여 상기 역와핑 이미지를 획득하는 역와핑부; 및
    상기 역와핑 이미지의 각 픽셀과 상기 단안 이미지의 대응하는 픽셀 사이의 차이를 계산하여 상기 절대 오차를 획득하는 상기 오차 계산부를 포함하는 깊이맵 완성 장치.
  7. 제5항에 있어서, 상기 깊이맵 완성 장치는
    상기 단안 이미지와 상기 희소 깊이맵 및 상기 절대 오차를 이용하여 상기 스테레오 깊이맵의 오류를 추정하고, 보상하여 깊이맵을 획득하는 깊이맵 획득부를 더 포함하는 깊이맵 완성 장치.
  8. 제7항에 있어서, 상기 깊이맵 획득부는
    상기 단안 이미지와 상기 희소 깊이맵, 상기 절대 오차 및 상기 스테레오 깊이맵이 결합되어 인가되고, 미리 학습된 인공 신경망으로 구현되어, 상기 스테레오 깊이맵의 오류를 나타내는 잔차맵을 획득하는 깊이 정제부; 및
    상기 잔차맵을 상기 스테레오 깊이맵에 가산하여 획득되는 상기 깊이맵을 출력하는 깊이맵 출력부를 포함하는 깊이맵 완성 장치.
  9. 제2항에 있어서, 상기 가상 이미지 획득부는
    진리 대안 이미지와 상기 가상 대안 이미지 사이의 구조 유사도와 픽셀값 사이의 차이에 따라 유사도 손실을 계산하고 역전파하여 학습되는 깊이맵 완성 장치.
  10. 제3항에 있어서, 상기 스테레오 매칭부는
    미리 준비된 학습 데이터의 스테레오 이미지와 희소 깊이맵으로부터 획득되는 희소 디스패리티맵을 이용하여 상기 스테레오 매칭부와 동일 구조를 갖는 교사 네트워크를 우선 학습시키고, 지식 증류 기법에 따라 학습된 교사 네트워크에서 추출되는 특징맵과 상기 특징 추출부에서 추출된 특징맵 사이의 차이와 상기 교사 네트워크에서 획득된 스테레오 깊이맵과 상기 코스트 집계부에서 획득된 스테레오 깊이맵 사이의 차이를 손실로 계산하여 학습되는 깊이맵 완성 장치.
  11. 단안 이미지와 희소 깊이맵을 인가받고, 상기 희소 깊이맵의 깊이 정보를 이용하여 스테레오 이미지의 2개의 이미지에 대응하는 2개의 디스패리티맵을 획득하고, 상기 2개의 디스패리티맵 중 대응하는 디스패리티맵을 이용하여 상기 단안 이미지가 스테레오 이미지의 상대 이미지에 대응하도록 변환하여 가상 대안 이미지를 획득하는 단계; 및
    상기 단안 이미지와 상기 가상 대안 이미지 및 상기 2개의 디스패리티맵을 인가받고, 미리 학습된 스테레오 매칭 기법에 따라 상기 단안 이미지의 다수의 픽셀 각각에 대한 깊이값을 추정하여 고밀도의 스테레오 깊이맵을 획득하는 단계를 포함하는 깊이맵 완성 방법.
  12. 제11항에 있어서, 상기 가상 대안 이미지를 획득하는 단계는
    삼각 측량 기법을 이용하여 상기 희소 깊이맵의 깊이 정보를 스테레오 이미지의 좌, 우 이미지로 투영한 후, 좌, 우 이미지에서 서로 대응하는 픽셀들의 상대적 위치 변화를 분석하여 상기 2개의 희소 디스패리티맵을 획득하는 단계;
    상기 2개의 희소 디스패리티맵 중 대응하는 희소 디스패리티맵의 디스패리티를 이용하여 상기 단안 이미지에서 대응하는 픽셀의 위치를 이동시켜 희소 픽셀을 갖는 와핑 이미지를 획득하는 단계; 및
    미리 학습된 인공 신경망을 이용하여, 학습된 방식에 따라 상기 가상 대안 이미지를 획득하기 위해 상기 와핑 이미지에서 픽셀값이 지정되지 않은 나머지 픽셀의 픽셀값을 채우는 단계를 포함하는 깊이맵 완성 방법.
  13. 제12항에 있어서, 상기 스테레오 깊이맵을 획득하는 단계는
    미리 학습된 인공 신경망을 이용하여 상기 단안 이미지와 상기 가상 대안 이미지 및 상기 2개의 디스패리티맵의 특징을 추출하여 2개의 특징맵을 획득하는 단계;
    기지정된 탐색 범위 내에서 특징맵을 이동시키면서 이동 거리별로 2개의 특징맵의 대응하는 위치의 픽셀의 픽셀값을 비교하여 매칭 코스트를 계산하여 코스트 볼륨을 획득하는 단계; 및
    상기 스테레오 깊이맵을 획득하기 위해, 미리 학습된 인공 신경망을 이용하여 상기 코스트 볼륨으로부터 학습된 방식에 따라 상기 단안 이미지의 다수의 픽셀 각각에 대한 깊이값을 추정하는 단계를 포함하는 깊이맵 완성 방법.
  14. 제13항에 있어서, 상기 스테레오 깊이맵을 획득하는 단계는
    상기 2개의 특징맵을 획득하는 단계 이전, 상기 단안 이미지와 상기 가상 대안 이미지 각각을 상기 2개의 디스패리티맵 중 대응하는 디스패리티맵과 각각 결합하여 2개의 디스패리티 결합 이미지를 획득하고, 획득된 2개의 디스패리티 결합 이미지를 2개의 특징맵을 획득하는 인공 신경망의 입력으로 인가하는 단계를 더 포함하는 깊이맵 완성 방법.
  15. 제13항에 있어서, 상기 깊이맵 완성 방법은
    상기 스테레오 깊이맵을 이용하여 상기 가상 대안 이미지가 상기 단안 이미지에 대응하는 이미지가 되도록 역와핑하여 역와핑 이미지를 획득하고, 상기 역와핑 이미지와 상기 단안 이미지 사이의 차이로 나타나는 절대 오차를 계산하여 획득하는 단계를 더 포함하는 깊이맵 완성 방법.
  16. 제15항에 있어서, 상기 절대 오차를 계산하여 획득하는 단계는
    상기 가상 대안 이미지의 각 픽셀을 상기 스테레오 깊이맵의 각 픽셀의 깊이값에 따라 대응하는 위치로 와핑하여 상기 역와핑 이미지를 획득하는 단계; 및
    상기 역와핑 이미지의 각 픽셀과 상기 단안 이미지의 대응하는 픽셀 사이의 차이를 계산하여 상기 절대 오차를 획득하는 단계를 포함하는 깊이맵 완성 방법.
  17. 제15항에 있어서, 상기 깊이맵 완성 방법은
    상기 단안 이미지와 상기 희소 깊이맵 및 상기 절대 오차를 이용하여 상기 스테레오 깊이맵의 오류를 추정하고, 보상하여 깊이맵을 획득하는 단계를 더 포함하는 깊이맵 완성 방법.
  18. 제17항에 있어서, 상기 깊이맵을 획득하는 단계는
    상기 단안 이미지와 상기 희소 깊이맵, 상기 절대 오차 및 상기 스테레오 깊이맵이 결합되어 인가되고, 미리 학습된 인공 신경망으로 구현되어, 상기 스테레오 깊이맵의 오류를 나타내는 잔차맵을 획득하는 단계; 및
    상기 잔차맵을 상기 스테레오 깊이맵에 가산하여 획득되는 상기 깊이맵을 출력하는 단계를 포함하는 깊이맵 완성 방법.
KR1020210101957A 2021-08-03 2021-08-03 깊이맵 완성 장치 및 방법 KR102641108B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210101957A KR102641108B1 (ko) 2021-08-03 2021-08-03 깊이맵 완성 장치 및 방법
PCT/KR2021/019074 WO2023013829A1 (ko) 2021-08-03 2021-12-15 깊이맵 완성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210101957A KR102641108B1 (ko) 2021-08-03 2021-08-03 깊이맵 완성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230020187A KR20230020187A (ko) 2023-02-10
KR102641108B1 true KR102641108B1 (ko) 2024-02-27

Family

ID=85156049

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210101957A KR102641108B1 (ko) 2021-08-03 2021-08-03 깊이맵 완성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102641108B1 (ko)
WO (1) WO2023013829A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123114A (ja) 2019-01-30 2020-08-13 日本電信電話株式会社 深度超解像装置、深度超解像方法、及びプログラム
US20200273192A1 (en) 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
US20200410699A1 (en) 2018-03-13 2020-12-31 Magic Leap, Inc. Image-enhanced depth sensing using machine learning
KR102229861B1 (ko) 2019-10-24 2021-03-18 연세대학교 산학협력단 저채널 라이다와 스테레오 카메라를 이용한 깊이 추정 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335322B (zh) * 2018-02-01 2021-02-12 深圳市商汤科技有限公司 深度估计方法和装置、电子设备、程序和介质
CN112446909B (zh) * 2019-08-30 2022-02-01 上海商汤临港智能科技有限公司 一种深度图像补全方法及装置、计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200410699A1 (en) 2018-03-13 2020-12-31 Magic Leap, Inc. Image-enhanced depth sensing using machine learning
JP2020123114A (ja) 2019-01-30 2020-08-13 日本電信電話株式会社 深度超解像装置、深度超解像方法、及びプログラム
US20200273192A1 (en) 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
KR102229861B1 (ko) 2019-10-24 2021-03-18 연세대학교 산학협력단 저채널 라이다와 스테레오 카메라를 이용한 깊이 추정 장치 및 방법

Also Published As

Publication number Publication date
KR20230020187A (ko) 2023-02-10
WO2023013829A1 (ko) 2023-02-09

Similar Documents

Publication Publication Date Title
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN111060101B (zh) 视觉辅助的距离slam方法及装置、机器人
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
EP3779881A1 (en) Method for determining depth information and related device
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
KR20200049833A (ko) 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
KR102219561B1 (ko) 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법
US20210397907A1 (en) Methods and Systems for Object Detection
KR20160010120A (ko) 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
US11222237B2 (en) Reinforcement learning model for labeling spatial relationships between images
US20240169712A1 (en) Image data processing method and apparatus
KR102310789B1 (ko) 다양한 시점에서 연속적으로 획득된 영상을 활용한 카메라 자세 및 깊이 추정 장치 및 방법
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
KR20230049969A (ko) 글로벌 측위 장치 및 방법
KR20140118083A (ko) 입체 영상 제작 시스템 및 깊이 정보 획득방법
KR102641108B1 (ko) 깊이맵 완성 장치 및 방법
KR102186764B1 (ko) 사이클 일관성 기반 옵티컬플로우 및 디스패리티 추정 장치 및 방법
CN111179331A (zh) 深度估计方法、装置、电子设备及计算机可读存储介质
CN109658452A (zh) 一种轨距检测方法及装置
CN111656404A (zh) 图像处理方法、系统及可移动平台
US11798288B2 (en) System and method for generating a training set for improving monocular object detection
KR102609829B1 (ko) 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법
AU2017300877B2 (en) Method and device for aiding the navigation of a vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant