KR20230049334A - 깊이 지도 및 법선 지도 생성 장치 및 방법 - Google Patents

깊이 지도 및 법선 지도 생성 장치 및 방법 Download PDF

Info

Publication number
KR20230049334A
KR20230049334A KR1020210132345A KR20210132345A KR20230049334A KR 20230049334 A KR20230049334 A KR 20230049334A KR 1020210132345 A KR1020210132345 A KR 1020210132345A KR 20210132345 A KR20210132345 A KR 20210132345A KR 20230049334 A KR20230049334 A KR 20230049334A
Authority
KR
South Korea
Prior art keywords
cost volume
map
feature points
generating
pair
Prior art date
Application number
KR1020210132345A
Other languages
English (en)
Other versions
KR102654608B1 (ko
Inventor
임성훈
황규민
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020210132345A priority Critical patent/KR102654608B1/ko
Publication of KR20230049334A publication Critical patent/KR20230049334A/ko
Application granted granted Critical
Publication of KR102654608B1 publication Critical patent/KR102654608B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 깊이 지도 및 법선 지도를 생성하는 기술에 관한 것이다. 본 발명의 측면에 따르면, 기준 이미지의 특징점들(이하, 제1 특징점들) 및 기준 이미지와 상이한 카메라 시점을 갖는 페어 이미지의 특징점들(이하, 제2 특징점들)을 추출하는 특징점 추출부; 제1 특징점들 및 제2 특징점들을 기반으로 기준 이미지의 카메라 시점에서의 비용 볼륨(이하, 기준 비용 볼륨)을 생성하는 비용 볼륨 생성부; 기준 비용 볼륨으로부터 초기 깊이 지도 및 초기 법선 지도를 생성하는 초기 깊이 및 법선 지도 생성부; 초기 깊이 지도 및 초기 법선 지도를 기반으로 일치 지도를 생성하는 일치 지도 생성부; 및 정제 모듈을 기반으로 초기 깊이 지도, 법선 지도 및 일치 지도로부터 정제된 최종 깊이 지도 및 최종 법선 지도를 생성하는 최종 깊이 및 법선 지도 생성부를 포함하는, 깊이 지도 및 법선 지도 생성 장치가 개시된다.

Description

깊이 지도 및 법선 지도 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING DEPTH MAP AND NORMAL MAP}
본 발명은 스테레오 정합(stereo matching)에 있어서 깊이 지도 및 법선 지도를 생성하는 기술에 관한 것이다.
자동차의 자율주행, 무인기 제어, 가상 현실 컨텐츠의 수요에 따라 2차원 이미지로부터 3차원 공간을 구성하는 스테레오 정합에 대한 기술이 주목받고 있다. 이러한, 스테레오 정합에 있어서 종래에는 일치 손실 함수(consistency loss)를 이용하여 정제 모듈을 학습시켰으나, 이러한 방법은 기하 정보의 손실로 인한 깊이 및 법선 정보가 과평활화(over-smoothing)되는 문제가 있었다.
공개 논문 1 : End-to-end deep plane sweep stereo(International Conference on Learning Representations 2019)
공개 논문 2 : Normal assisted Stereo Depth Estimation(IEEE Computer Vision and Pattern Recognition 2020)
본 발명의 목적은 향상된 깊이 지도 및 법선 지도를 생성하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 일치 지도를 기반으로 학습된 정제 모듈을 기반으로 깊이 지도 및 법선 지도를 생성하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 2 이상의 시점에서의 비용 볼륨을 기반으로 깊이 지도 및 법선 지도를 생성하는 기술을 제공하는 것이다.
본 발명의 측면에 따르면, 기준 이미지의 특징점들(이하, 제1 특징점들) 및 기준 이미지와 상이한 카메라 시점을 갖는 페어 이미지의 특징점들(이하, 제2 특징점들)을 추출하는 특징점 추출부; 제1 특징점들 및 제2 특징점들을 기반으로 기준 이미지의 카메라 시점에서의 비용 볼륨(이하, 기준 비용 볼륨)을 생성하는 비용 볼륨 생성부; 기준 비용 볼륨으로부터 초기 깊이 지도 및 초기 법선 지도를 생성하는 초기 깊이 및 법선 지도 생성부; 초기 깊이 지도 및 초기 법선 지도를 기반으로 일치 지도를 생성하는 일치 지도 생성부; 및 정제 모듈을 기반으로 초기 깊이 지도, 법선 지도 및 일치 지도로부터 정제된 최종 깊이 지도 및 최종 법선 지도를 생성하는 최종 깊이 및 법선 지도 생성부를 포함하는, 깊이 지도 및 법선 지도 생성 장치가 개시된다.
일 실시예에서, 비용 볼륨 생성부는 제1 특징점들 및 제2 특징점들을 기반으로 기준 이미지의 카메라 시점에서의 기준 비용 볼륨을 생성하는 기준 비용 볼륨 생성 모듈; 제1 특징점들 및 제2 특징점들을 기반으로 페어 이미지의 카메라 시점에서의 비용 볼륨(이하, 페어 비용 볼륨)을 생성하는 페어 비용 볼륨 생성 모듈; 및 기준 비용 볼륨 및 페어 비용 볼륨을 병합하여 하나의 비용 볼륨(이하, 병합 비용 볼륨)을 생성하는 병합 비용 볼륨 생성 모듈을 포함하되, 일치 지도 생성부는 병합 비용 볼륨으로부터 초기 깊이 지도 및 초기 법선 지도를 생성할 수 있다.
일 실시예에서, 기준 비용 볼륨 생성 모듈은 제2 특징점들을 기준 이미지의 좌표계로 변환하고, 제1 특징점들 및 기준 이미지의 좌표계로 변환된 제2 특징점들을 기반으로 기준 비용 볼륨을 생성하고, 페어 비용 볼륨 생성 모듈은 제1 특징점들을 페어 이미지의 좌표계로 변환하고, 페어 이미지의 좌표계로 변환된 제1 특징점들 및 제2 특징점들을 기반으로 비용 볼륨을 생성하고, 생성된 비용 볼륨을 기준 이미지의 좌표계로 변환하여 페어 비용 볼륨을 생성할 수 있다.
일 실시예에서, 특징점 추출부는 상이한 카메라 시점을 갖는 복수의 페어 이미지 각각에서 제2 특징점들을 추출하고, 기준 비용 볼륨 생성 모듈은 복수의 페어 이미지 각각에서 추출된 제2 특징점들을 기반으로 기준 비용 볼륨을 생성하고, 페어 비용 볼륨 생성 모듈은 복수의 페어 이미지 각각에 대해 페어 비용 볼륨을 생성하며, 병합 비용 볼륨 생성부는 복수의 기준 비용 볼륨 및 복수의 페어 비용 볼륨을 병합하여 병합 비용 볼륨을 생성할 수 있다.
일 실시예에서, 정제 모듈은 초기 깊이 지도, 초기 법선 지도 및 일치 지도를 포함하는 데이터 셋을 기반으로 최종 깊이 지도 및 최종 법선 지도를 생성하도록 미리 학습될 수 있다.
본 발명의 다른 측면에 따르면, 기준 이미지의 특징점들(이하, 제1 특징점들) 및 기준 이미지와 상이한 카메라 시점을 갖는 페어 이미지의 특징점들(이하, 제2 특징점들)을 추출하는 단계; 제1 특징점들 및 제2 특징점들을 기반으로 기준 이미지의 카메라 시점에서의 비용 볼륨(이하, 기준 비용 볼륨)을 생성하는 단계; 기준 비용 볼륨으로부터 초기 깊이 지도 및 초기 법선 지도를 생성하는 단계; 초기 깊이 지도 및 초기 법선 지도를 기반으로 일치 지도를 생성하는 단계; 정제 모듈을 기반으로 초기 깊이 지도, 법선 지도 및 일치 지도로부터 정제된 최종 깊이 지도 및 최종 법선 지도를 생성하는 단계;를 포함하는 방법이 개시된다.
본 발명의 일 측면에 따르면, 향상된 깊이 지도 및 법선 지도를 생성하는 것이 가능하게 된다.
또한, 본 발명의 다른 측면에 따르면, 일치 지도를 기반으로 학습된 정제 모듈을 기반으로 깊이 지도 및 법선 지도를 생성하는 것이 가능하게 된다.
또한, 본 발명의 또 다른 측면에 따르면, 2 이상의 시점에서의 비용 볼륨을 기반으로 깊이 지도 및 법선 지도를 생성하는 것이 가능하게 된다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 깊이 지도 및 법선 지도 생성 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 깊이 지도 및 법선 지도 생성 방법의 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 깊이 지도 및 법선 지도 생성 장치의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 깊이 지도 및 법선 지도를 생성하는 과정을 도시화한 도면이다.
도 6은 본 발명의 일 실시예에 따른 법선 지도를 종래 기술과 비교한 도면이다.
도 7은 본 발명의 일 실시예에 따른 깊이 지도를 종래 기술과 비교한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 깊이 지도를 종래 기술과 비교한 도면이다.
도 9 내지 도 12는 본 발명과 종래 기술에 따른 결과를 비교한 표를 나타낸다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
이하 사용되는 '..부', '..기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 깊이 지도 및 법선 지도 생성 장치의 블록도이다.
도 1을 참조하면, 깊이 지도 및 법선 지도 생성 장치(1000)는 특징점 추출부(1100), 비용 볼륨 생성부(1200), 초기 깊이 및 법선 지도 생성부(1300), 일치 지도 생성부(1400) 및 최종 깊이 및 법선 지도 생성부(1500)를 포함할 수 있다.
또한, 도 2를 참조하면, 비용 볼륨 생성부(1200)는 기준 비용 볼륨 생성 모듈, 페어 비용 볼륨 생성 모듈 및 병합 비용 볼륨 생성 모듈을 포함할 수 있다.
특징점 추출부(1100)는 이미지로부터 특징점(feature)을 추출할 수 있다. 구체적으로, 특징점 추출부(1100)는 기준 이미지(reference image)로부터 특징점들(이하, 제1 특징점들)을 추출하고, 페어 이미지(pair image)로부터 특징점들(이하, 제2 특징점들)을 추출할 수 있다. 여기서, 페어 이미지는 기준 이미지의 카메라 시점과 상이한 카메라 시점을 갖는 이미지일 수 있다.
일 실시예에서, 특징점 추출부(1100)는 SPP(Spatial Pyramid Pooling) 모듈을 이용하여 기준 이미지 및 페어 이미지로부터 특징점들을 추출할 수 있다.
일 실시예에서, 특징점 추출부(1100)는 페어 이미지가 복수인 경우에는 복수의 페어 이미지 각각으로부터 제2 특징점들을 추출할 수 있다. 여기서, 복수의 페어 이미지는 서로 상이한 카메라 시점을 가질 수 있다.
비용 볼륨 생성부(1200)는 기준 이미지의 카메라 시점에서의 비용 볼륨(cost volume)을 생성할 수 있다. 즉, 비용 볼륨 생성부(1200)는 기준 이미지 및 페어 이미지로부터 추출된 특징점들을 기반으로 비용 볼륨(이하, 기준 비용 볼륨)을 생성할 수 있다. 구체적으로, 비용 볼륨 생성부(1200)는 페어 이미지로부터 추출된 제2 특징점들을 페어 이미지의 좌표계에서 기준 이미지의 좌표계로 변환할 수 있다. 비용 볼륨 생성부(1200)는 기준 이미지로부터 추출된 제1 특징점들과 기준 이미지의 좌표계로 변환된 페어 이미지로부터 추출된 제2 특징점들을 기반으로 비용 볼륨을 생성할 수 있다. 이를 위해 비용 볼륨 생성부(1200)는 기준 비용 볼륨을 생성하기 위한 기준 비용 볼륨 모듈을 포함할 수 있다.
일 실시예에서, 비용 볼륨 생성부(1200)는 페어 이미지가 복수인 경우, 복수의 페어 이미지 각각으로부터 추출된 추출된 제2 특징점들을 기준 이미지의 좌표계로 변환하여, 기준 비용 볼륨을 생성할 수 있다.
또한, 비용 볼륨 생성부(1200)는 페어 이미지의 카메라 시점에서의 비용 볼륨(페어 비용 볼륨)을 생성할 수 있다. 구체적으로, 비용 볼륨 생성부(1200)는 기준 이미지로부터 추출된 제1 특징점들을 페어 이미지의 좌표계로 변환할 수 있다. 비용 볼륨 생성부(1200)는 페어 이미지의 좌표계로 변환된 제1 특징점들 및 페어 이미지로부터 추출된 제2 특징점들을 기반으로 비용 볼륨을 생성할 수 있다. 비용 볼륨 생성부(1200)는 페어 이미지의 좌표계에서의 비용 볼륨을 기준 이미지의 좌표계로 변환함으로써 기준 이미지의 좌표계에서의 페어 비용 볼륨을 생성할 수 있다. 이를 위해 비용 볼륨 생성부(1200)는 페어 비용 볼륨 생성 모듈을 포함할 수 있다.
일 실시예에서, 비용 볼륨 생성부(1200)는 페어 이미지가 복수인 경우, 복수의 페어 이미지 각각에 대한 페어 비용 볼륨을 생성할 수 있다. 구체적으로, 비용 볼륨 생성부(1200)는 기준 이미지로부터 추출된 제1 특징점들을 복수의 페어 이미지 각각의 좌표계로 변환할 수 있다. 비용 볼륨 생성부(1200)는 복수의 페어 이미지 각각의 좌표계로 변환된 제1 특징점들 및 복수의 페어 이미지 각각으로부터 추출된 제2 특징점들을 기반으로 복수의 페어 비용 볼륨을 생성할 수 있다.
또한, 비용 볼륨 생성부(1200)는 기준 비용 볼륨 및 페어 비용 볼륨을 병합하여 비용 볼륨(병합 비용 볼륨)을 생성할 수 있다. 이를 위해 비용 볼륨 생성부(1200)는 병합 볼륨을 생성하기 위한 병합 비용 생성 모듈을 포함할 수 있다.
일 실시예에서, 비용 볼륨 생성부(1200)는 복수의 페어 이미지로 인해 복수의 페어 비용 볼륨이 생성된 경우, 기준 비용 볼륨 및 복수의 페어 비용 볼륨을 병합하여 병합 비용 볼륨을 생성할 수 있다.
또한, 비용 볼륨 생성부(1200)는 homography warping을 통해 기준 이미지의 좌표계와 페어 이미지의 좌표계 상호간을 변환할 수 있다. 예를 들어, 비용 볼륨 생성부(1200)는 페어 이미지로부터 추출된 제2 특징점들을 homography warping시켜 페어 이미지의 좌표계에서 기준 이미지의 좌표계로 변환할 수 있다.
또한, 비용 볼륨 생성부(1200)는 비용 볼륨을 생성한 후에 비용 볼륨의 좌표계를 변환할 수 있다.
일 실시예에서, homography warping은 아래 수학식 1에 따라 수행될 수 있다.
Figure pat00001
여기서,
Figure pat00002
는 이미지를 촬영한 카메라의 내부 변수,
Figure pat00003
는 이미지를 촬영한 카메라의 외부 변수를 의미한다.
Figure pat00004
는 이미지의 좌표계에서 2차원 포인트를 의미하며, x 및 y는 0에서부터 이미지의 폭과 높이까지의 범위를 값을 가질 수 있다.
또한, 비용 볼륨 생성부(1200)는 아래 수학식 2에 따라 복수의 페어 이미지의 비용 볼륨을 기준 이미지의 좌표계로 변환할 수 있다.
Figure pat00005
여기서,
Figure pat00006
는 homography matrix,
Figure pat00007
는 복수의 페어 이미지 중 i번째 이미지의 비용 볼륨, 는
Figure pat00008
는 3차원 포인트를 의미한다.
초기 깊이 및 법선 지도 생성부(1300)는 비용 볼륨으로부터 초기 깊이 지도(initial depth map) 및 초기 법선 지도(initial normal map)를 추정할 수 있다. 구체적으로, 초기 깊이 및 법선 지도 생성부(1300)는 비용 볼륨(페어 비용 볼륨을 생성하지 않는 경우) 또는 병합 비용 볼륨으로부터 초기 깊이 지도 및 초기 깊이 지도를 생성할 수 있다.
일 실시예에서, 초기 깊이 및 법선 지도 생성부(1300)는 초기 깊이 지도를 생성함에 있어, 기준 비용 볼륨에 대한 비용 볼륨 정합(cost aggregation)를 통해 노이즈가 제거된 초기 깊이 지도를 생성할 수 있다.
일 실시예에서, 초기 깊이 및 법선 지도 생성부(1300)는 초기 법선 지도를 생성함에 있어, 기준 비용 볼륨에 대한 비용 볼륨 정합(cost aggregation)를 통해 노이즈가 제거된 초기 법선 지도를 생성할 수 있다.
일 실시예에서, 비용 볼륨 정합은 DPSNet의 Context-aware cost aggregation이 사용될 수 있다.
일 실시예에서, 초기 깊이 및 법선 지도 생성부(1300)는 아래 수학식 3에 따라 깊이 지도를 추정할 수 있다.
Figure pat00009
여기서,
Figure pat00010
는 깊이 레벨,
Figure pat00011
는 시차
Figure pat00012
에서의 negative cost map
Figure pat00013
의 soft operation을 의미할 수 있다.
일치 지도 생성부(1400)는 초기 깊이 지도 및 초기 법선 지도를 기반으로 일치 지도(consistency map)을 생성할 수 있다.
일 실시예에서, 일치 지도 생성부(1400)는 아래 수학식 4 및 수학식 5에 따라 생성될 수 있다.
Figure pat00014
Figure pat00015
여기서,
Figure pat00016
는 일치 맵,
Figure pat00017
는 2차원에서 (상대)깊이의 gradient,
Figure pat00018
는 3차원에서 (절대) 깊이의 gradient,
Figure pat00019
는 깊이 맵,
Figure pat00020
는 법선 지도를 의미할 수 있다.
최종 깊이 및 법선 지도 생성부(1500)는 초기 깊이 지도, 초기 법선 지도 및 일치 지도를 기반으로 최종 깊이 지도(final depth map) 및 최종 법선 지도(final normal map)를 생성할 수 있다.
일 실시예에서, 최종 깊이 및 법선 지도 생성부(1500)는 미리 학습된 정제(refine) 모듈을 이용하여, 초기 깊이 지도, 초기 법선 지도 및 일지 지도로부터 최종 깊이 지도 및 최종 법선 지도를 생성할 수 있다.
일 실시예에서, 최종 깊이 및 법선 지도 생성부(1500)는 최종 깊이 지도, 법선 지도, 일치 지도 등을 포함하는 데이터 셋을 학습 데이터로 하여 정제 모듈을 사전에 미리 학습될 수 있다. 여기서, 정제 모듈은 NAStereo의 정제 모듈이 이용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 깊이 지도 및 법선 지도 생성 방법의 흐름도이다.
이하, 도 3에 도시된 방법은 도 1 및 도 2에 도시된 깊이 지도 및 법선 지도 생성 장치(1000)에 의해 수행되는 것을 예시로 이하 설명한다.
단계 S3100에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 스테레오 정합을 위한 기준 이미지 및 페어 이미지를 입력 받을 수 있다.
단계 S3200에서, 이미지로부터 특징점(feature)이 추출된다. 구체적으로, 깊이 지도 및 법선 지도 생성 장치(1000)는 기준 이미지(reference image)로부터 특징점들(이하, 제1 특징점들)을 추출하고, 페어 이미지(pair image)로부터 특징점들(이하, 제2 특징점들)을 추출할 수 있다. 여기서, 페어 이미지는 기준 이미지의 카메라 시점과 상이한 카메라 시점을 갖는 이미지일 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 SPP(Spatial Pyramid Pooling) 모듈을 이용하여 기준 이미지 및 페어 이미지로부터 특징점들을 추출할 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 페어 이미지가 복수인 경우에는 복수의 페어 이미지 각각으로부터 제2 특징점들을 추출할 수 있다. 여기서, 복수의 페어 이미지는 서로 상이한 카메라 시점을 가질 수 있다.
단계 S3300에서, 비용 볼륨이 생성된다. 구체적으로, 깊이 지도 및 법선 지도 생성 장치(1000)는 기준 이미지의 카메라 시점에서의 비용 볼륨(cost volume)을 생성할 수 있다. 즉, 깊이 지도 및 법선 지도 생성 장치(1000) 기준 이미지 및 페어 이미지로부터 추출된 특징점들을 기반으로 비용 볼륨(이하, 기준 비용 볼륨)을 생성할 수 있다. 예를 들어, 깊이 지도 및 법선 지도 생성 장치(1000)는 페어 이미지로부터 추출된 제2 특징점들을 페어 이미지의 좌표계에서 기준 이미지의 좌표계로 변환할 수 있다. 깊이 지도 및 법선 지도 생성 장치(1000)는 기준 이미지로부터 추출된 제1 특징점들과 기준 이미지의 좌표계로 변환된 페어 이미지로부터 추출된 제2 특징점들을 기반으로 비용 볼륨을 생성할 수 있다. 이를 위해 깊이 지도 및 법선 지도 생성 장치(1000)는 기준 비용 볼륨을 생성하기 위한 기준 비용 볼륨 모듈을 포함할 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 페어 이미지가 복수인 경우, 복수의 페어 이미지 각각으로부터 추출된 추출된 제2 특징점들을 기준 이미지의 좌표계로 변환하여, 기준 비용 볼륨을 생성할 수 있다.
또한, 깊이 지도 및 법선 지도 생성 장치(1000)는 페어 이미지의 카메라 시점에서의 비용 볼륨(페어 비용 볼륨)을 생성할 수 있다. 구체적으로, 깊이 지도 및 법선 지도 생성 장치(1000)는 기준 이미지로부터 추출된 제1 특징점들을 페어 이미지의 좌표계로 변환할 수 있다. 깊이 지도 및 법선 지도 생성 장치(1000)는 페어 이미지의 좌표계로 변환된 제1 특징점들 및 페어 이미지로부터 추출된 제2 특징점들을 기반으로 비용 볼륨을 생성할 수 있다. 깊이 지도 및 법선 지도 생성 장치(1000)는 페어 이미지의 좌표계에서의 비용 볼륨을 기준 이미지의 좌표계로 변환함으로써 기준 이미지의 좌표계에서의 페어 비용 볼륨을 생성할 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 페어 이미지가 복수인 경우, 복수의 페어 이미지 각각에 대한 페어 비용 볼륨을 생성할 수 있다. 구체적으로, 깊이 지도 및 법선 지도 생성 장치(1000)는 기준 이미지로부터 추출된 제1 특징점들을 복수의 페어 이미지 각각의 좌표계로 변환할 수 있다. 깊이 지도 및 법선 지도 생성 장치(1000)는 복수의 페어 이미지 각각의 좌표계로 변환된 제1 특징점들 및 복수의 페어 이미지 각각으로부터 추출된 제2 특징점들을 기반으로 복수의 페어 비용 볼륨을 생성할 수 있다.
또한, 깊이 지도 및 법선 지도 생성 장치(1000)는 기준 비용 볼륨 및 페어 비용 볼륨을 병합하여 비용 볼륨(병합 비용 볼륨)을 생성할 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 복수의 페어 이미지로 인해 복수의 페어 비용 볼륨이 생성된 경우, 기준 비용 볼륨 및 복수의 페어 비용 볼륨을 병합하여 병합 비용 볼륨을 생성할 수 있다.
또한, 깊이 지도 및 법선 지도 생성 장치(1000)는 homography warping을 통해 기준 이미지의 좌표계와 페어 이미지의 좌표계 상호간을 변환할 수 있다. 예를 들어, 깊이 지도 및 법선 지도 생성 장치(1000)는 페어 이미지로부터 추출된 제2 특징점들을 homography warping시켜 페어 이미지의 좌표계에서 기준 이미지의 좌표계로 변환할 수 있다.
또한, 깊이 지도 및 법선 지도 생성 장치(1000)는 비용 볼륨을 생성한 후에 비용 볼륨의 좌표계를 변환할 수 있다.
단계 S3400에서, 초기 깊이 지도 및 초기 법선 지도가 추정된다. 깊이 지도 및 법선 지도 생성 장치(1000)는 비용 볼륨으로부터 초기 깊이 지도(initial depth map) 및 초기 법선 지도(initial normal map)를 추정할 수 있다. 구체적으로, 초기 깊이 및 법선 지도 생성부(1300)는 비용 볼륨(페어 비용 볼륨을 생성하지 않는 경우) 또는 병합 비용 볼륨으로부터 초기 깊이 지도 및 초기 깊이 지도를 생성할 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 초기 깊이 지도를 생성함에 있어, 기준 비용 볼륨에 대한 비용 볼륨 정합(cost aggregation)를 통해 노이즈가 제거된 초기 깊이 지도를 생성할 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 초기 법선 지도를 생성함에 있어, 기준 비용 볼륨에 대한 비용 볼륨 정합(cost aggregation)를 통해 노이즈가 제거된 초기 법선 지도를 생성할 수 있다.
일 실시예에서, 비용 볼륨 정합은 DPSNet의 Context-aware cost aggregation이 사용될 수 있다.
단계 S3500에서, 일치 지도가 생성된다. 깊이 지도 및 법선 지도 생성 장치(1000)는 초기 깊이 지도 및 초기 법선 지도를 기반으로 일치 지도(consistency map)을 생성할 수 있다.
단계 S3600에서, 최종 깊이 지도 및 최종 법선 지도가 생성된다. 깊이 지도 및 법선 지도 생성 장치(1000)는 초기 깊이 지도, 초기 법선 지도 및 일치 지도를 기반으로 최종 깊이 지도 및 최종 법선 지도를 생성할 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 미리 학습된 정제(refine) 모듈을 이용하여, 초기 깊이 지도, 초기 법선 지도 및 일지 지도로부터 최종 깊이 지도 및 최종 법선 지도를 생성할 수 있다.
일 실시예에서, 깊이 지도 및 법선 지도 생성 장치(1000)는 최종 깊이 지도, 법선 지도, 일치 지도 등을 포함하는 데이터 셋을 학습 데이터로 하여 정제 모듈을 사전에 미리 학습될 수 있다. 여기서, 정제 모듈은 NAStereo의 정제 모듈이 이용될 수 있다.
도 4는 본 발명의 다른 실시예에 따른 깊이 지도 및 법선 지도 생성 장치의 블록도이다.
도 4에 도시된 바와 같이, 깊이 지도 및 법선 지도 생성 장치(1000)는 프로세서(4100), 메모리(4200), 저장부(4300), 사용자 인터페이스 입력부(4400) 및 사용자 인터페이스 출력부(4500) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(4600)를 통해 서로 통신할 수 있다. 또한, 깊이 지도 및 법선 지도 생성 장치(1000)는 네트워크에 접속하기 위한 네트워크 인터페이스(4700)를 또한 포함할 수 있다. 프로세서(7100)는 메모리(4200) 및/또는 저장소(4300)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(4200) 및 저장부(4300)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(4240) 및 RAM(4250)을 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 깊이 지도 및 법선 지도를 생성하는 과정을 도시화한 도면이다.
도 5를 참조하면, 기준 이미지
Figure pat00021
및 복수의 페어 이미지
Figure pat00022
가 블록 (a)에 입력되면, 블록 (a)에서는 이미지로부터 특징점들을 추출하고, 기준 비용 볼륨 및 페어 비용 볼륨을 생성할 수 있다. 블록 (a)에서는 기준 비용 볼륨 및 페어 비용 볼륨을 병합하여 병합 비용 볼륨을 최종적으로 생성할 수 있다. 블록 (b)에서는 비용 정합을 통해 노이즈를 제거하여 초기 깊이 지도 및 초기 법선 지도를 생성할 수 있다. 블록 (b)에서는 초기 깊이 지도 및 초기 법선 지도를 기반으로 일치 지도를 생성할 수 있다. 블록 (c)에서는 미리 학습된 정제 모듈을 이용하여, 초기 깊이 지도, 초기 법선 지도 및 일치 지도를 기반으로 최종적으로 깊이 지도 및 법선 지도를 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 법선 지도를 종래 기술과 비교한 도면이다.
도 6의 법선 지도는 MVS 및 RGBD 데이터 셋을 기반으로 수행된 결과이며, (a)는 입력된 이미지, (b)는 본 발명에 따른 법선 지도 및 (C)는 종래 기술(NAStereo)에 따른 번선 추정 결과를 나타낸다. 도 6의 (b)와 (c)의 비교로부터 본 발명에 따라 추정된 법선 지도는 종래 기술에 의해 추정된 법선 지도 보다 기하 정보의 왜곡이 적음을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 깊이 지도를 종래 기술과 비교한 도면이다.
도 7의 깊이 지도는 SUN3D의 데이터 셋을 기반으로 수행된 결과이며, (a)는 입력 이미지, (b)는 종래 기술(NAStereo)에 따른 깊이 지도 추정 결과이며, (c)는 본 발명에 따른 깊이 지도 추정 결과를 나타낸다. 도 7의 (b)와 (c)의 비교로부터 본 발명에 따라 추정된 깊이 지도는 종래 기술에 의해 추정된 깊이 지도 보다 기하 정보의 왜곡이 적음을 확인할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 깊이 지도를 종래 기술과 비교한 도면이다.
도 8의 깊이 지도는 ETH3D의 데이터 셋을 기반으로 수행된 결과이며, (a)는 입력 이미지, (b)는 종래 기술에 따른 깊이 지도 추정 결과이며, (c)는 본 발명에 따른 깊이 지도 추정 결과를 나타낸다. 도 8의 (b)와 (c)의 비교로부터 본 발명에 따라 추정된 깊이 지도는 종래 기술에 의해 추정된 깊이 지도 보다 기하 정보의 왜곡이 적음을 확인할 수 있다.
도 9 내지 도 12는 본 발명과 종래 기술에 따른 결과를 비교한 표를 나타낸다.
도 9의 테이블 1은 DeMoN과 ETH3D 데이터 셋 각각에 대해 종래 기술과 본 발명(Ours)를 비교한 결과를 나타낸다.
도 10의 테이블 2는 ScanNet 세이터 셋을 기반으로 수행된 법선 지도 추정 결과를 비교한 결과를 나타낸다.
도 11에 도시된 테이블 3는 SUN3D 데이터 셋에 대한 종래 기술과 본 발명의 비교 결과를 나타낸다.
도 12에 도시된 테이블 4는 DeMoN 데이터 셋에 대해, 페어 비용 볼륨의 생성 개수에 따른 깊이 지도 추정 결과를 나타낸다. 이를 통해서 확인할 수 있는 바와 같이, 페어 비용 볼륨의 개수 즉, 비용 볼륨이 생성되는 시점의 수가 증가할수록 깊이 지도 추정 결과가 향상됨을 확인할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.
또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1000: 깊이 지도 및 법선 지도 생성 장치
1100: 특징점 추출부 1200: 비용 볼륨 생성부 1300: 초기 깊이 및 법선 지도 생성부 1400: 일치 지도 생성부
1500: 최종 깊이 및 법선 지도 생성부

Claims (10)

  1. 기준 이미지의 특징점들(이하, 제1 특징점들) 및 상기 기준 이미지와 상이한 카메라 시점을 갖는 페어 이미지의 특징점들(이하, 제2 특징점들)을 추출하는 특징점 추출부;
    상기 제1 특징점들 및 상기 제2 특징점들을 기반으로 상기 기준 이미지의 카메라 시점에서의 비용 볼륨(이하, 기준 비용 볼륨)을 생성하는 비용 볼륨 생성부;
    상기 기준 비용 볼륨으로부터 초기 깊이 지도 및 초기 법선 지도를 생성하는 초기 깊이 및 법선 지도 생성부;
    상기 초기 깊이 지도 및 상기 초기 법선 지도를 기반으로 일치 지도를 생성하는 일치 지도 생성부; 및
    정제 모듈을 기반으로 상기 초기 깊이 지도, 상기 법선 지도 및 상기 일치 지도로부터 정제된 최종 깊이 지도 및 최종 법선 지도를 생성하는 최종 깊이 및 법선 지도 생성부
    를 포함하는, 깊이 지도 및 법선 지도 생성 장치.
  2. 제1항에 있어서,
    상기 비용 볼륨 생성부는,
    상기 제1 특징점들 및 상기 제2 특징점들을 기반으로 상기 기준 이미지의 카메라 시점에서의 상기 기준 비용 볼륨을 생성하는 기준 비용 볼륨 생성 모듈;
    상기 제1 특징점들 및 상기 제2 특징점들을 기반으로 상기 페어 이미지의 카메라 시점에서의 비용 볼륨(이하, 페어 비용 볼륨)을 생성하는 페어 비용 볼륨 생성 모듈; 및
    상기 기준 비용 볼륨 및 상기 페어 비용 볼륨을 병합하여 하나의 비용 볼륨(이하, 병합 비용 볼륨)을 생성하는 병합 비용 볼륨 생성 모듈을 포함하되,
    상기 일치 지도 생성부는,
    상기 병합 비용 볼륨으로부터 상기 초기 깊이 지도 및 상기 초기 법선 지도를 생성하는, 깊이 지도 및 법선 지도 생성 장치.
  3. 제1항에 있어서,
    상기 기준 비용 볼륨 생성 모듈은,
    상기 제2 특징점들을 상기 기준 이미지의 좌표계로 변환하고, 상기 제1 특징점들 및 상기 기준 이미지의 좌표계로 변환된 상기 제2 특징점들을 기반으로 상기 기준 비용 볼륨을 생성하고,
    상기 페어 비용 볼륨 생성 모듈은,
    상기 제1 특징점들을 상기 페어 이미지의 좌표계로 변환하고, 상기 페어 이미지의 좌표계로 변환된 상기 제1 특징점들 및 상기 제2 특징점들을 기반으로 비용 볼륨을 생성하고, 생성된 비용 볼륨을 상기 기준 이미지의 좌표계로 변환하여 상기 페어 비용 볼륨을 생성하는, 깊이 지도 및 법선 지도 생성 장치.
  4. 제2항에 있어서,
    상기 특징점 추출부는,
    상이한 카메라 시점을 갖는 복수의 상기 페어 이미지 각각에서 상기 제2 특징점들을 추출하고,
    상기 기준 비용 볼륨 생성 모듈은,
    상기 복수의 페어 이미지 각각에서 추출된 제2 특징점들을 기반으로 상기 기준 비용 볼륨을 생성하고,
    상기 페어 비용 볼륨 생성 모듈은,
    상기 복수의 페어 이미지 각각에 대해 상기 페어 비용 볼륨을 생성하며,
    상기 병합 비용 볼륨 생성부는,
    복수의 상기 기준 비용 볼륨 및 복수의 상기 페어 비용 볼륨을 병합하여 상기 병합 비용 볼륨을 생성하는, 깊이 지도 및 법선 지도 생성 장치.
  5. 제1항에 있어서,
    상기 정제 모듈은,
    초기 깊이 지도, 초기 법선 지도 및 일치 지도를 포함하는 데이터 셋을 기반으로 최종 깊이 지도 및 최종 법선 지도를 생성하도록 미리 학습된 것을 특징으로 하는, 깊이 지도 및 법선 지도 생성 장치.
  6. 깊이 지도 및 법선 지도 생성 장치의 동작 방법으로서,
    기준 이미지의 특징점들(이하, 제1 특징점들) 및 상기 기준 이미지와 상이한 카메라 시점을 갖는 페어 이미지의 특징점들(이하, 제2 특징점들)을 추출하는 단계;
    상기 제1 특징점들 및 상기 제2 특징점들을 기반으로 상기 기준 이미지의 카메라 시점에서의 비용 볼륨(이하, 기준 비용 볼륨)을 생성하는 단계;
    상기 기준 비용 볼륨으로부터 초기 깊이 지도 및 초기 법선 지도를 생성하는 단계;
    상기 초기 깊이 지도 및 상기 초기 법선 지도를 기반으로 일치 지도를 생성하는 단계; 및
    정제 모듈을 기반으로 상기 초기 깊이 지도, 상기 법선 지도 및 상기 일치 지도로부터 정제된 최종 깊이 지도 및 최종 법선 지도를 생성하는 단계;
    를 포함하는, 방법.
  7. 제6에 있어서,
    상기 비용 볼륨을 생성하는 단계는,
    상기 제1 특징점들 및 상기 제2 특징점들을 기반으로 상기 기준 이미지의 카메라 시점에서의 상기 기준 비용 볼륨을 생성하는 단계;
    상기 제1 특징점들 및 상기 제2 특징점들을 기반으로 상기 페어 이미지의 카메라 시점에서의 비용 볼륨(이하, 페어 비용 볼륨)을 생성하는 단계; 및
    상기 기준 비용 볼륨 및 상기 페어 비용 볼륨을 병합하여 하나의 비용 볼륨(이하, 병합 비용 볼륨)을 생성하는 단계를 포함하되,
    상기 일치 지도를 생성하는 단계는,
    상기 병합 비용 볼륨으로부터 상기 초기 깊이 지도 및 상기 초기 법선 지도를 생성하는, 방법.
  8. 제6항에 있어서,
    상기 기준 비용 볼륨 생성을 생성하는 단계는,
    상기 제2 특징점들을 상기 기준 이미지의 좌표계로 변환하고, 상기 제1 특징점들 및 상기 기준 이미지의 좌표계로 변환된 상기 제2 특징점들을 기반으로 상기 기준 비용 볼륨을 생성하고,
    상기 페어 비용 볼륨을 생성하는 단계는,
    상기 제1 특징점들을 상기 페어 이미지의 좌표계로 변환하고, 상기 페어 이미지의 좌표계로 변환된 상기 제1 특징점들 및 상기 제2 특징점들을 기반으로 비용 볼륨을 생성하고, 생성된 비용 볼륨을 상기 기준 이미지의 좌표계로 변환하여 상기 페어 비용 볼륨을 생성하는, 방법.
  9. 제7항에 있어서,
    상기 특징점을 추출하는 단계는,
    상이한 카메라 시점을 갖는 복수의 상기 페어 이미지 각각에서 상기 제2 특징점들을 추출하고,
    상기 기준 비용 볼륨을 생성하는 단계는,
    상기 복수의 페어 이미지 각각에서 추출된 제2 특징점들을 기반으로 상기 기준 비용 볼륨을 생성하고,
    상기 페어 비용 볼륨을 생성하는 단계는,
    상기 복수의 페어 이미지 각각에 대해 상기 페어 비용 볼륨을 생성하며,
    상기 병합 비용 볼륨을 생성하는 단계는,
    복수의 상기 기준 비용 볼륨 및 복수의 상기 페어 비용 볼륨을 병합하여 상기 병합 비용 볼륨을 생성하는, 방법.
  10. 제6항에 있어서,
    상기 정제 모듈은,
    초기 깊이 지도, 초기 법선 지도 및 일치 지도를 포함하는 데이터 셋을 기반으로 최종 깊이 지도 및 최종 법선 지도를 생성하도록 미리 학습된 것을 특징으로 하는, 방법.
KR1020210132345A 2021-10-06 2021-10-06 깊이 지도 및 법선 지도 생성 장치 및 방법 KR102654608B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210132345A KR102654608B1 (ko) 2021-10-06 2021-10-06 깊이 지도 및 법선 지도 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210132345A KR102654608B1 (ko) 2021-10-06 2021-10-06 깊이 지도 및 법선 지도 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230049334A true KR20230049334A (ko) 2023-04-13
KR102654608B1 KR102654608B1 (ko) 2024-04-04

Family

ID=85978782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210132345A KR102654608B1 (ko) 2021-10-06 2021-10-06 깊이 지도 및 법선 지도 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102654608B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101937585B1 (ko) * 2017-09-08 2019-04-09 연세대학교 산학협력단 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101937585B1 (ko) * 2017-09-08 2019-04-09 연세대학교 산학협력단 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Huang, Baichuan, et al. (2021). "M3VSNet: Unsupervised multi-metric multi-view stereo network." 2021 IEEE International Conference on Image Processing (ICIP). IEEE. *
Im, Sunghoon, et al. (2019). "Dpsnet: End-to-end deep plane sweep stereo." arXiv preprint arXiv:1905.00538. *
Kusupati, Uday, et al. (2020). "Normal assisted stereo depth estimation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.* *
Yao, Yao, et al. (2018). "Mvsnet: Depth inference for unstructured multi-view stereo." Proceedings of the European conference on computer vision (ECCV). *
공개 논문 1 : End-to-end deep plane sweep stereo(International Conference on Learning Representations 2019)
공개 논문 2 : Normal assisted Stereo Depth Estimation(IEEE Computer Vision and Pattern Recognition 2020)

Also Published As

Publication number Publication date
KR102654608B1 (ko) 2024-04-04

Similar Documents

Publication Publication Date Title
EP3816929A1 (en) Method and apparatus for restoring image
CN107958446B (zh) 信息处理设备和信息处理方法
WO2014003081A1 (en) Method for registering data
US9697581B2 (en) Image processing apparatus and image processing method
JP2015079505A (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
JP2020524355A (ja) 単眼画像の深度回復方法及び装置、コンピュータ機器
KR20160053749A (ko) 얼굴 영상의 다양성에 강인한 얼굴 표정 특징 분류 방법 및 시스템
JP2021174554A (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
Junayed et al. HiMODE: A hybrid monocular omnidirectional depth estimation model
EP2741503A1 (en) Method and apparatus for color transfer between images
KR102654608B1 (ko) 깊이 지도 및 법선 지도 생성 장치 및 방법
CN111723626B (zh) 用于活体检测的方法、装置和电子设备
JP2017126264A (ja) 情報処理装置、情報処理方法およびプログラム
CN111179331A (zh) 深度估计方法、装置、电子设备及计算机可读存储介质
Wang et al. Data-driven tight frame for multi-channel images and its application to joint color-depth image reconstruction
CN113436269B (zh) 图像稠密立体匹配方法、装置和计算机设备
US11430150B2 (en) Method and apparatus for processing sparse points
CN103077396B (zh) 一种彩色图像的向量空间特征点提取方法及装置
KR102581211B1 (ko) 스케치 이미지 스타일 변환 장치 및 방법
KR20220083628A (ko) 깊이 이미지 생성 장치 및 그 동작 방법
JP2018013462A (ja) 視差情報生成装置、視差情報生成方法、およびプログラム
CN113592940B (zh) 基于图像确定目标物位置的方法及装置
KR102641358B1 (ko) 이미지 도메인 적응 장치 및 방법
Liu et al. Joint gaze-correction and beautification of DIBR-synthesized human face via dual sparse coding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant