KR20230082230A - 깊이지도 및 노말지도 정제 방법 및 장치 - Google Patents

깊이지도 및 노말지도 정제 방법 및 장치 Download PDF

Info

Publication number
KR20230082230A
KR20230082230A KR1020210169952A KR20210169952A KR20230082230A KR 20230082230 A KR20230082230 A KR 20230082230A KR 1020210169952 A KR1020210169952 A KR 1020210169952A KR 20210169952 A KR20210169952 A KR 20210169952A KR 20230082230 A KR20230082230 A KR 20230082230A
Authority
KR
South Korea
Prior art keywords
map
depth
normal
dense
value
Prior art date
Application number
KR1020210169952A
Other languages
English (en)
Inventor
임한신
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210169952A priority Critical patent/KR20230082230A/ko
Publication of KR20230082230A publication Critical patent/KR20230082230A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 깊이지도 및 노말지도 정제 방법은 패치매치(patchmatch) 기법을 이용하여 제1 조밀 깊이지도 및 제1 조밀 노말지도를 생성하는 단계, 분할 기법을 이용하여 제2 조밀 깊이지도 및 제2 조밀 노말지도를 생성하는 단계, 상기 제1 조밀 깊이지도 내 깊이값들의 신뢰도를 나타내는 조밀 신뢰지도를 생성하는 단계, 및 상기 제1 조밀 깊이지도, 제1 조밀 노말지도, 제2 조밀 깊이지도, 제2 조밀 노말지도, 및 조밀 신뢰지도를 이용하여 결합 깊이지도 및 결합 노말지도를 생성하는 단계를 포함한다.

Description

깊이지도 및 노말지도 정제 방법 및 장치{METHOD AND APPARATUS FOR REFINING DEPTH MAP AND NORMAL MAP}
본 발명은 컴퓨터 비전, 3D 영상처리, 가상현실 등 분야에서 사용되는 깊이지도 및 노말지도의 정제 기술에 관한 것이다.
구체적으로, 본 발명은 기존 깊이지도 생성 방법들의 장점을 합친 결합 깊이지도를 생성하는 방법에 관한 것이다.
포스트 코로나 이후 메타버스 및 VR/AR 콘텐츠 및 관련 디바이스와 기술들에 대한 관심이 이전보다 매우 커지고 있다. 메타버스 및 VR/AR 콘텐츠 제작을 위해서는 고품질의 3D 모델이 필수적이다. 다시점 영상으로부터 3D 모델 생성 기술은 효율적으로 3D 모델을 생성할 수 있는 기술로 이전부터 많은 주목을 받았던 분야이고 최근 들어 적용범위도 점차 넓어지고 있다.
한 장면이나 물체를 다양한 시점에서 찍은 다시점 영상들로부터 원래의 장면이나 물체의 정확한 3D 구조를 복원하고 모델링하는 기술은 일반적으로 크게 특징점 추출 및 매칭, 영상의 카메라 파라미터 추정, 조밀 포인트 클라우드(dense point cloud) 생성, 3D 표면 복원으로 이루어진다. 이 중에서 조밀 포인트 클라우드 생성 단계에서는 다시점 영상과 structure-from-motion(SFM) 등의 방법으로 구한 카메라 파라미터를 입력으로 하여 다시점 영상 안의 장면 및 객체들의 구조를 3D 포인트 클라우드 형태로 정확하게 표현하는 것을 목표로 한다. 다시점 영상으로부터 조밀 포인트 클라우드를 생성하는 과정에서 가장 핵심적인 단계는 다시점 영상들로부터 고품질의 조밀 깊이지도를 얻어내는 과정이다.
최근 다시점 영상들로부터 고품질 깊이지도를 생성하는 방법 중 가장 많이 쓰이고 있는 방법의 하나가 패치매치(PatchMatch) 방법이다.
다시점 영상에서는 하나의 기준 영상과 주변 여러 영상들 간의 컬러값의 유사성 등으로부터 깊이값을 추정하는데, 깊이값의 후보들을 최대한 정확하고 효율적으로 줄이는 것이 중요하다. 패치매치에서는 이러한 깊이값의 후보들의 모임인 solution space를 효율적으로 줄여주어서 다시점 영상에서의 깊이지도 생성에 성공적으로 적용될 수 있었다.
하지만 패치매치 기반 방법들은 텍스처 정보가 부족한 영역과 같이 컬러값의 유사성 등으로 깊이값을 추정하기 어려운 영역에서 깊이값 추정의 정확도가 매우 떨어지는 것으로 알려져 있다. 또한 이러한 영역에서 깊이값 정확도가 떨어지면 영상들 간의 깊이값의 일치성 또한 떨어지게 되어 해당 영역에는 조밀 포인트 클라우드가 생성될 수 없다.
그 가장 큰 이유 중 하나는 패치매치 방법은 각 픽셀에서의 solution space가 근접한 영역에서의 깊이값과 노말값들만 반영하고 영상의 전체적인 구조에 따른 깊이값과 노말값들을 반영하는 데는 한계가 있기 때문이다.
다시점 영상들로부터 고품질 깊이지도를 생성하는 또 다른 대표적인 방법은 영상을 메쉬 등의 분할 기법을 적용하여 분할된 영역 단위로 깊이값을 구하는 것이다. 이러한 방법은 패치매치 방법에 비해 텍스처 정보가 부족한 영역 등의 컬러값의 유사성 등으로 깊이값 추정이 어려운 영역에서 좀 더 안정적인 값을 얻을 수 있다. 하지만 표현상의 문제로 세밀한 영역에서는 깊이값 추정에 한계가 있다.
국내 공개특허공보 제2015-0037203호(발명의 명칭: 3차원 입체 영상용 깊이지도 보정장치 및 보정방법)
본 발명의 목적은 기존의 패치매치 기반 깊이지도 생성 방법에서 낮은 깊이값 추정 정확도를 보인 영역들의 추정 정확도를 높이는 것이다.
또한, 본 발명의 목적은 텍스처가 부족한 영역 및 세밀한 영역에서의 깊이값 추정 정확도를 높일 수 있는 방법을 제공하는 것이다.
또한, 본 발명의 목적은 패치매치 기법 및 분할 기법에 상응하는 조밀 깊이지도들의 장점을 합친 고품질의 결합 조밀 깊이지도를 생성하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 깊이지도 및 노말지도 정제 방법은 패치매치(patchmatch) 기법을 이용하여 제1 조밀 깊이지도 및 제1 조밀 노말지도를 생성하는 단계, 분할 기법을 이용하여 제2 조밀 깊이지도 및 제2 조밀 노말지도를 생성하는 단계, 상기 제1 조밀 깊이지도 내 깊이값들의 신뢰도를 나타내는 조밀 신뢰지도를 생성하는 단계, 및 상기 제1 조밀 깊이지도, 제1 조밀 노말지도, 제2 조밀 깊이지도, 제2 조밀 노말지도, 및 조밀 신뢰지도를 이용하여 결합 깊이지도 및 결합 노말지도를 생성하는 단계를 포함한다.
이때, 상기 결합 깊이지도 및 결합 노말지도를 생성하는 단계는 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계, 및 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값을 업데이트하는 단계를 포함할 수 있다.
이때, 상기 조밀 신뢰지도는 제1 조밀 깊이지도 내 각각의 픽셀에 상응하는 깊이값에 대하여 주변 영상들의 픽셀들과의 컬러일관성을 이용하여 계산된 비용에 상응하는 신뢰도를 나타낼 수 있다.
이때, 업데이트하는 단계는 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값에 대한 후보쌍들을 생성하는 단계, 상기 후보쌍들에 대하여 주변 픽셀들과의 컬러일관성을 이용하여 비용을 재계산하는 단계, 및 상기 재계산한 비용에 기반하여 상기 후보쌍들 중 가장 작은 비용 값을 갖는 후보쌍을 선택하는 단계를 포함할 수 있다.
이때, 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계는 상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 이상이면 상기 제1 조밀 깊이지도의 깊이값 및 제1 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당할 수 있다.
이때, 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계는 상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 미만이면 상기 제2 조밀 깊이지도의 깊이값 및 제2 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당할 수 있다.
이때, 상기 생성된 후보쌍들은 상기 초기 결합 깊이지도의 현재 깊이값, 이전 깊이값, 및 랜덤 깊이값 중 어느 하나의 값과 상기 초기 결합 노말지도의 현재 노말값, 이전 노말값, 및 랜덤 노말값 중 어느 하나의 값으로 구성된 후보쌍을 포함할 수 있다.
이때, 상기 비용을 재계산하는 단계는 현재 픽셀과 이전 픽셀의 컬러값 변화량 및 현재 픽셀과 이전 픽셀의 깊이값 변화량을 이용하여 비용을 재계산할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 깊이지도 및 노말지도 정제 장치는 패치매치(patchmatch) 기법을 이용하여 제1 조밀 깊이지도 및 제1 조밀 노말지도를 생성하는 제1 지도 생성부, 분할 기법을 이용하여 제2 조밀 깊이지도 및 제2 조밀 노말지도를 생성하는 제2 지도 생성부, 상기 제1 조밀 깊이지도 내 깊이값들의 신뢰도를 나타내는 조밀 신뢰지도를 생성하는 신뢰지도 생성부, 및 상기 제1 조밀 깊이지도, 제1 조밀 노말지도, 제2 조밀 깊이지도, 제2 조밀 노말지도, 및 조밀 신뢰지도를 이용하여 결합 깊이지도 및 결합 노말지도를 생성하는 결합지도 생성부를 포함한다.
이때, 상기 결합지도 생성부는 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하고, 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값을 업데이트할 수 있다.
이때, 상기 조밀 신뢰지도는 제1 조밀 깊이지도 내 각각의 픽셀에 상응하는 깊이값에 대하여 주변 영상들의 픽셀들과의 컬러일관성을 이용하여 계산된 비용에 상응하는 신뢰도를 나타낼 수 있다.
이때, 상기 결합지도 생성부는 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값에 대한 후보쌍들을 생성하고, 상기 후보쌍들에 대하여 주변 픽셀들과의 컬러일관성을 이용하여 비용을 재계산하고, 상기 재계산한 비용에 기반하여 상기 후보쌍들 중 가장 작은 비용 값을 갖는 후보쌍을 선택할 수 있다.
이때, 상기 결합지도 생성부는 상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 이상이면 상기 제1 조밀 깊이지도의 깊이값 및 제1 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당할 수 있다.
이때, 상기 결합지도 생성부는 상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 미만이면 상기 제2 조밀 깊이지도의 깊이값 및 제2 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당할 수 있다.
이때, 상기 생성된 후보쌍들은 상기 초기 결합 깊이지도의 현재 깊이값, 이전 깊이값, 및 랜덤 깊이값 중 어느 하나의 값과 상기 초기 결합 노말지도의 현재 노말값, 이전 노말값, 및 랜덤 노말값 중 어느 하나의 값으로 구성된 후보쌍을 포함할 수 있다.
이때, 상기 결합지도 생성부는 현재 픽셀과 이전 픽셀의 컬러값 변화량 및 현재 픽셀과 이전 픽셀의 깊이값 변화량을 이용하여 비용을 재계산할 수 있다.
본 발명에 따르면, 기존의 패치매치 기반 깊이지도 생성 방법에서 낮은 깊이값 추정 정확도를 보인 영역들의 추정 정확도를 높일 수 있다.
또한, 본 발명은 텍스처가 부족한 영역 및 세밀한 영역에서의 깊이값 추정 정확도를 높일 수 있는 방법을 제공할 수 있다.
또한, 본 발명은 패치매치 기법 및 분할 기법에 상응하는 조밀 깊이지도들의 장점을 합친 고품질의 결합 조밀 깊이지도를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 깊이지도 및 노말지도 생성 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 조밀 깊이지도 정제 기술의 전체 순서도이다.
도 3은 본 발명의 일 실시예에 따른 깊이지도 정제 방법에서 원본 영상을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 깊이지도 정제 방법에서 패치매치 기법을 통해 생성된 조밀 깊이지도를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 깊이지도 정제 방법에서 분할 기법을 통해 생성된 조밀 깊이지도를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 깊이지도 정제 방법을 통해 생성된 정제된 조밀 깊이지도를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 깊이지도 및 노말지도 생성 장치를 나타낸 블록도이다.
도 8은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 깊이지도 및 노말지도 생성 방법을 나타낸 흐름도이다.
도 1을 참조하면, 영상 처리 장치에서 수행되는 실시예에 따른 깊이지도 및 노말지도 생성 방법은 패치매치(patchmatch) 기법을 이용하여 제1 조밀 깊이지도 및 제1 조밀 노말지도를 생성하는 단계(S110), 분할 기법을 이용하여 제2 조밀 깊이지도 및 제2 조밀 노말지도를 생성하는 단계(S120), 상기 제1 조밀 깊이지도 내 깊이값들의 신뢰도를 나타내는 조밀 신뢰지도를 생성하는 단계(S130), 및 상기 제1 조밀 깊이지도, 제1 조밀 노말지도, 제2 조밀 깊이지도, 제2 조밀 노말지도, 및 조밀 신뢰지도를 이용하여 결합 깊이지도 및 결합 노말지도를 생성하는 단계(S140)를 포함한다.
이때, 상기 결합 깊이지도 및 결합 노말지도를 생성하는 단계(S140)는 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계, 및 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값을 업데이트하는 단계를 포함할 수 있다.
이때, 상기 조밀 신뢰지도는 제1 조밀 깊이지도 내 각각의 픽셀에 상응하는 깊이값에 대하여 주변 영상들의 픽셀들과의 컬러일관성을 이용하여 계산된 비용에 상응하는 신뢰도를 나타낼 수 있다.
이때, 업데이트하는 단계는 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값에 대한 후보쌍들을 생성하는 단계, 상기 후보쌍들에 대하여 주변 픽셀들과의 컬러일관성을 이용하여 비용을 재계산하는 단계, 및 상기 재계산한 비용에 기반하여 상기 후보쌍들 중 가장 작은 비용 값을 갖는 후보쌍을 선택하는 단계를 포함할 수 있다.
이때, 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계는 상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 이상이면 상기 제1 조밀 깊이지도의 깊이값 및 제1 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당할 수 있다.
이때, 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계는 상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 미만이면 상기 제2 조밀 깊이지도의 깊이값 및 제2 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당할 수 있다.
이때, 상기 생성된 후보쌍들은 상기 초기 결합 깊이지도의 현재 깊이값, 이전 깊이값, 및 랜덤 깊이값 중 어느 하나의 값과 상기 초기 결합 노말지도의 현재 노말값, 이전 노말값, 및 랜덤 노말값중 어느 하나의 값으로 구성된 후보쌍을 포함할 수 있다.
이때, 상기 비용을 재계산하는 단계는 현재 픽셀과 이전 픽셀의 컬러값 변화량 및 현재 픽셀과 이전 픽셀의 깊이값 변화량을 이용하여 비용을 재계산할 수 있다.
본 발명의 기술적 과제를 달성하기 위해 본 발명에서는 다시점 영상 및 각 영상의 카메라 파라미터가 주어졌을 때 패치매치 기법을 통해 조밀 깊이지도, 조밀 노말지도를 생성 및 분할 기법을 통해 조밀 깊이지도, 조밀 노말지도를 생성한다.
이후 조밀 신뢰지도(confidence map)를 생성한다. 이후 신뢰지도를 바탕으로 패치매치 기법의 조밀 깊이지도, 조밀 노말지도와 분할 기법의 조밀 깊이지도, 조밀 노말지도의 초기 결합 깊이지도 및 초기 결합 노말지도를 생성한다. 이후 각 픽셀에서 원래 픽셀과 주변 픽셀에서의 깊이값, 노말값들로 업데이트를 위한 후보들을 만든다. 이후 각각의 후보들에 대해서 깊이값, 노말값, 컬러값들을 바탕으로 비용을 계산한다.
이후 가장 최적의 비용을 가지는 후보값으로 각 픽셀의 깊이값과 노말값을 업데이트한다. 이를 통해 패치매치 기법 및 분할 기법의 조밀 깊이지도들의 장점을 합친 결합 조밀 깊이지도를 생성함으로써 고품질의 조밀 깊이지도를 생성한다. 이하 도 2를 참조하여, 본 발명을 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 조밀 깊이지도 정제 기술의 전체 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 조밀 깊이지도 정제 기술은 크게 패치매치 기반 지도생성 및 분할 기반 지도 생성 단계(S210), 신뢰지도 생성 단계(S220), 초기 결합 깊이지도 및 노말지도 생성 단계(S230), 및 픽셀 별 깊이지도 및 노말지도 업데이트 단계(S240)로 구성된다. 이하, 각각의 단계에 대하여 상세히 설명한다.
본 발명에서는 다시점 영상 및 각 영상의 카메라 파라미터가 주어졌을 때 먼저 패치매치 기법을 통해 조밀 깊이지도, 조밀 노말지도를 생성 및 분할 기법을 통해 조밀 깊이지도, 조밀 노말지도를 생성한다(S210). 이때, 패치매치 기반 조밀 깊이지도 및 조밀 노말지도 생성 및 분할 기반 조밀 깊이지도 및 조밀 노말지도 생성은 병렬적으로 또는 순차적으로 진행될 수 있다.
다음으로, 패치매치 기법을 통해 생성된 조밀 깊이지도에서의 각 픽셀에서의 깊이 값들의 신뢰도의 정도를 나타내는 조밀 신뢰지도를 생성한다(S220). 이때, 깊이값의 신뢰도는 다양한 방법으로 측정될 수 있다. 예를 들어, 각 픽셀에서의 깊이값에 대한 주변 영상들과의 컬러일관성에 기반한 비용들을 계산하고 이를 평균한 값을 신뢰도라고 판단할 수 있다. 조밀 신뢰지도의 생성은 패치매치 기법을 통해 조밀 깊이지도, 조밀 노말지도의 생성과 순차적으로 또는 병렬적으로 진행될 수 있다.
다음으로, 패치매치 기법과 분할 기법으로 각각 생성된 조밀 깊이지도와 조밀 노말 지도를 조밀 신뢰지도를 바탕으로 결합하여 초기 결합 깊이지도 및 초기 결합 노말지도를 생성한다(S230). 이때, 조밀 신뢰지도의 각 픽셀에서 신뢰값이 일정 수준 이상이면 패치매치 기법을 통해 생성된 조밀 깊이지도와 조밀 노말지도에서의 동일 위치에서의 깊이값과 노말값을 초기 결합 깊이지도 및 결합 노말지도의 값으로 할당할 수 있다. 만일 조밀 신뢰지도의 신뢰값이 일정 수준 아래이면 분할 기법을 통해 생성된 조밀 깊이지도와 조밀 노말지도에서의 동일 위치에서의 깊이값과 노말값을 초기 결합 깊이지도 및 결합 노말지도의 값으로 할당할 수 있다.
다음으로, 각 픽셀에서 현재 픽셀의 깊이값, 노말값과 이전 픽셀의 깊이값, 노말값들로 업데이트할 깊이값과 노말값의 후보쌍을 만든다(S240). 이때, 후보쌍들의 예시는 아래와 같이 구성될 수 있다.
{(dcur, ncur), (dcur, nprev), (dprev, ncur), (dprev, nprev), (dcur, nrand), (dprev, nrand)}
이때, dcur, ncur 은 각각 현재 픽셀에서의 깊이값, 노말값을 나타낸다. 그리고 dprev, nprev은 각각 이전 픽셀에서의 깊이값, 노말값을 나타낸다. nrand은 랜덤하게 선택된 노말값을 나타낸다.
각 깊이값과 노말값의 후보쌍들로부터 주변 영상들과의 컬러일관성에 기반한 비용(cost)을 재계산한다. 여기서 후보쌍의 깊이값이 현재 깊이값인지의 여부와 후보쌍의 노말값이 랜덤인지의 여부에 따라 컬러일관성에 기반한 원래의 비용에 추가적인 값을 더한 업데이트된 비용을 구한다. 업데이트된 비용을 구하는 과정의 예시는 하기 [수학식 1] 내지 [수학식 4]와 같을 수 있다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
[수학식 4]
Figure pat00004
이때, 상기 [수학식 1] 내지 [수학식 4]의 Cost(d, n) 함수는 깊이값 d, 노말값 n일 때 컬러일관성에 기반한 원래의 비용이고 α는 기설정된 상수이다. wc와 wd는 각각 현재 픽셀과 이전 픽셀의 컬러값 및 깊이값의 변화 정도를 나타낼 수 있다. 예를 들어, wc와 wd는 하기의 [수학식 5] 및 [수학식 6]의 과정을 통해 계산될 수 있다.
[수학식 5]
Figure pat00005
[수학식 6]
Figure pat00006
이때, Ccur와 Cprev는 각각 현재 픽셀과 이전 픽셀에서의 컬러값이다. σc와 σd는 각각 상수이다.
각 픽셀의 후보쌍들에 대해서 업데이트된 비용을 구하고 가장 비용이 큰 값을 가진 후보쌍을 결합 깊이지도 및 결합 노말지도의 해당되는 픽셀에서의 깊이값 및 노말값으로 업데이트한다. 이러한 과정을 모든 픽셀에 대해서 수행한다.
도 3은 본 발명의 일 실시예에 따른 깊이지도 정제 방법에서 원본 영상을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 깊이지도 정제 방법에서 패치매치 기법을 통해 생성된 조밀 깊이지도를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 깊이지도 정제 방법에서 분할 기법을 통해 생성된 조밀 깊이지도를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 깊이지도 정제 방법을 통해 생성된 정제된 조밀 깊이지도를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 깊이지도 및 노말지도 생성 장치를 나타낸 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 깊이지도 및 노말지도 정제 장치는 패치매치(patchmatch) 기법을 이용하여 제1 조밀 깊이지도 및 제1 조밀 노말지도를 생성하는 제1 지도 생성부(310), 분할 기법을 이용하여 제2 조밀 깊이지도 및 제2 조밀 노말지도를 생성하는 제2 지도 생성부(320), 상기 제1 조밀 깊이지도 내 깊이값들의 신뢰도를 나타내는 조밀 신뢰지도를 생성하는 신뢰지도 생성부(330), 및 상기 제1 조밀 깊이지도, 제1 조밀 노말지도, 제2 조밀 깊이지도, 제2 조밀 노말지도, 및 조밀 신뢰지도를 이용하여 결합 깊이지도 및 결합 노말지도를 생성하는 결합지도 생성부(340)를 포함한다.
이때, 상기 결합지도 생성부(340)는 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하고, 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값을 업데이트할 수 있다.
이때, 상기 조밀 신뢰지도는 제1 조밀 깊이지도 내 각각의 픽셀에 상응하는 깊이값에 대하여 주변 영상들의 픽셀들과의 컬러일관성을 이용하여 계산된 비용에 상응하는 신뢰도를 나타낼 수 있다.
이때, 상기 결합지도 생성부(340)는 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값에 대한 후보쌍들을 생성하고, 상기 후보쌍들에 대하여 주변 픽셀들과의 컬러일관성을 이용하여 비용을 재계산하고, 상기 재계산한 비용에 기반하여 상기 후보쌍들 중 가장 작은 비용 값을 갖는 후보쌍을 선택할 수 있다.
이때, 상기 결합지도 생성부(340)는 상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 이상이면 상기 제1 조밀 깊이지도의 깊이값 및 제1 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당할 수 있다.
이때, 상기 결합지도 생성부(340)는 상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 미만이면 상기 제2 조밀 깊이지도의 깊이값 및 제2 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당할 수 있다.
이때, 상기 생성된 후보쌍들은 상기 초기 결합 깊이지도의 현재 깊이값, 이전 깊이값, 및 랜덤 깊이값 중 어느 하나의 값과 상기 초기 결합 노말지도의 현재 노말값, 이전 노말값, 및 랜덤 노말값 중 어느 하나의 값으로 구성된 후보쌍을 포함할 수 있다.
이때, 상기 결합지도 생성부(340)는 현재 픽셀과 이전 픽셀의 컬러값 변화량 및 현재 픽셀과 이전 픽셀의 깊이값 변화량을 이용하여 비용을 재계산할 수 있다.
다시점 영상 및 각 영상의 카메라 파라미터가 주어졌을 때 패치매치 기반 방법들은 텍스처 정보가 부족한 영역과 같이 컬러값의 유사성 등으로 깊이값을 추정하기 어려운 영역에서 깊이값 추정의 정확도가 매우 떨어지는 것으로 알려져 있다. 또한 이러한 영역에서 깊이값 정확도가 떨어지면 영상들 간의 깊이값의 일치성 또한 떨어지게 되어 해당 영역에는 조밀 포인트 클라우드가 생성될 수 없다.
메쉬 등의 분할 기반 방법은 패치매치 방법에 비해 텍스처 정보가 부족한 영역 등의 컬러값의 유사성 등으로 깊이값 추정이 어려운 영역에서 좀 더 안정적인 값을 얻을 수 있다. 하지만 세밀한 영역에서는 깊이값 추정에 한계가 있다.
본 발명은 이러한 두 가지 방법으로 구한 조밀 깊이지도에서 각 영역별로 신뢰성이 더욱 높다고 판단되는 깊이값을 각 픽셀에 할당하는 작업을 수행한다. 그리고 이를 통해 각 방법의 단점인 텍스처 정보가 부족한 영역 및 세밀한 영역에서의 깊이값 추정 정확도를 모두 향상시킨다. 이를 통해 기존보다 고품질의 조밀 깊이지도를 생성할 수 있다.
도 8은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
실시예에 따른 깊이지도 및 노말지도 정제 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
310: 제1 지도 생성부
320: 제2 지도 생성부
330: 신뢰지도 생성부
340: 결합지도 생성부
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크

Claims (16)

  1. 패치매치(patchmatch) 기법을 이용하여 제1 조밀 깊이지도 및 제1 조밀 노말지도를 생성하는 단계;
    분할 기법을 이용하여 제2 조밀 깊이지도 및 제2 조밀 노말지도를 생성하는 단계;
    상기 제1 조밀 깊이지도 내 깊이값들의 신뢰도를 나타내는 조밀 신뢰지도를 생성하는 단계; 및
    상기 제1 조밀 깊이지도, 제1 조밀 노말지도, 제2 조밀 깊이지도, 제2 조밀 노말지도, 및 조밀 신뢰지도를 이용하여 결합 깊이지도 및 결합 노말지도를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 방법.
  2. 청구항 1에 있어서,
    상기 결합 깊이지도 및 결합 노말지도를 생성하는 단계는
    초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계; 및
    상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값을 업데이트하는 단계;
    를 포함하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 방법.
  3. 청구항 1에 있어서,
    상기 조밀 신뢰지도는
    제1 조밀 깊이지도 내 각각의 픽셀에 상응하는 깊이값에 대하여 주변 영상들의 픽셀들과의 컬러일관성을 이용하여 계산된 비용에 상응하는 신뢰도를 나타내는 것을 특징으로 하는 깊이지도 및 노말지도 정제 방법.
  4. 청구항 2에 있어서,
    상기 업데이트하는 단계는
    상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로부터 후보쌍들을 생성하는 단계;
    상기 후보쌍들에 대하여 주변 영상들의 픽셀들과의 컬러일관성을 이용하여 비용을 재계산하는 단계; 및
    상기 재계산한 비용에 기반하여 상기 후보쌍들 중 가장 작은 비용 값을 갖는 후보쌍을 선택하는 단계;
    를 포함하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 방법.
  5. 청구항 2에 있어서,
    상기 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계는
    상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 이상이면 상기 제1 조밀 깊이지도의 깊이값 및 제1 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 방법.
  6. 청구항 2에 있어서,
    상기 초기 결합 깊이지도 및 초기 결합 노말지도를 생성하는 단계는
    상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 미만이면 상기 제2 조밀 깊이지도의 깊이값 및 제2 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 방법.
  7. 청구항 4에 있어서,
    상기 생성된 후보쌍들은
    상기 초기 결합 깊이지도의 현재 깊이값, 이전 깊이값, 및 랜덤 깊이값 중 어느 하나의 값과 상기 초기 결합 노말지도의 현재 노말값, 이전 노말값, 및 랜덤 노말값 중 어느 하나의 값으로 구성된 후보쌍을 포함하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 방법.
  8. 청구항 4에 있어서,
    상기 비용을 재계산하는 단계는
    현재 픽셀과 이전 픽셀의 컬러값 변화량 및 현재 픽셀과 이전 픽셀의 깊이값 변화량을 이용하여 비용을 재계산하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 방법.
  9. 패치매치(patchmatch) 기법을 이용하여 제1 조밀 깊이지도 및 제1 조밀 노말지도를 생성하는 제1 지도 생성부;
    분할 기법을 이용하여 제2 조밀 깊이지도 및 제2 조밀 노말지도를 생성하는 제2 지도 생성부;
    상기 제1 조밀 깊이지도 내 깊이값들의 신뢰도를 나타내는 조밀 신뢰지도를 생성하는 신뢰지도 생성부; 및
    상기 제1 조밀 깊이지도, 제1 조밀 노말지도, 제2 조밀 깊이지도, 제2 조밀 노말지도, 및 조밀 신뢰지도를 이용하여 결합 깊이지도 및 결합 노말지도를 생성하는 결합지도 생성부;
    를 포함하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 장치.
  10. 청구항 9에 있어서,
    상기 결합지도 생성부는
    초기 결합 깊이지도 및 초기 결합 노말지도를 생성하고, 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값을 업데이트하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 장치.
  11. 청구항 9에 있어서,
    상기 조밀 신뢰지도는
    제1 조밀 깊이지도 내 각각의 픽셀에 상응하는 깊이값에 대하여 주변 영상들의 픽셀들과의 컬러일관성을 이용하여 계산된 비용에 상응하는 신뢰도를 나타내는 것을 특징으로 하는 깊이지도 및 노말지도 정제 장치.
  12. 청구항 10에 있어서,
    상기 결합지도 생성부는
    상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로부터 후보쌍들을 생성하고, 상기 후보쌍들에 대하여 주변 영상들의 픽셀들과의 컬러일관성을 이용하여 비용을 재계산하고, 상기 재계산한 비용에 기반하여 상기 후보쌍들 중 가장 작은 비용 값을 갖는 후보쌍을 선택하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 장치.
  13. 청구항 10에 있어서,
    상기 결합지도 생성부는
    상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 이상이면 상기 제1 조밀 깊이지도의 깊이값 및 제1 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 장치.
  14. 청구항 10에 있어서,
    상기 결합지도 생성부는
    상기 조밀 신뢰지도 내 픽셀의 신뢰도가 기설정된 값 미만이면 상기 제2 조밀 깊이지도의 깊이값 및 제2 조밀 노말지도의 노말값을 각각 상기 초기 결합 깊이지도의 깊이값 및 상기 초기 결합 노말지도의 노말값으로 할당하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 장치.
  15. 청구항 12에 있어서,
    상기 생성된 후보쌍들은
    상기 초기 결합 깊이지도의 현재 깊이값, 이전 깊이값, 및 랜덤 깊이값 중 어느 하나의 값과 상기 초기 결합 노말지도의 현재 노말값, 이전 노말값, 및 랜덤 노말값 중 어느 하나의 값으로 구성된 후보쌍을 포함하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 장치.
  16. 청구항 12에 있어서,
    상기 결합지도 생성부는
    현재 픽셀과 이전 픽셀의 컬러값 변화량 및 현재 픽셀과 이전 픽셀의 깊이값 변화량을 이용하여 비용을 재계산하는 것을 특징으로 하는 깊이지도 및 노말지도 정제 장치.
KR1020210169952A 2021-12-01 2021-12-01 깊이지도 및 노말지도 정제 방법 및 장치 KR20230082230A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210169952A KR20230082230A (ko) 2021-12-01 2021-12-01 깊이지도 및 노말지도 정제 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210169952A KR20230082230A (ko) 2021-12-01 2021-12-01 깊이지도 및 노말지도 정제 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230082230A true KR20230082230A (ko) 2023-06-08

Family

ID=86765714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210169952A KR20230082230A (ko) 2021-12-01 2021-12-01 깊이지도 및 노말지도 정제 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230082230A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037203A (ko) 2013-09-30 2015-04-08 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037203A (ko) 2013-09-30 2015-04-08 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Similar Documents

Publication Publication Date Title
CN105374019B (zh) 一种多深度图融合方法及装置
RU2504010C2 (ru) Способ и устройство заполнения зон затенения карты глубин или несоответствий, оцениваемой на основании по меньшей мере двух изображений
CN110049303B (zh) 立体图像的视觉风格化
CN110660131B (zh) 一种基于深度背景建模的虚拟视点空洞填补方法
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
KR20210082857A (ko) 위성영상을 이용한 수치표면모델 생성 방법 및 장치
KR100926520B1 (ko) 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
WO2020187339A1 (zh) 一种裸眼3d的虚拟视点图像生成方法及便携式终端
BR112019011254A2 (pt) método para gerar uma imagem de intensidade de luz, aparelho para gerar uma imagem de intensidade de luz, e produto de programa de computador
JP2018180687A (ja) 画像処理装置、画像処理方法、及びプログラム
CN115222889A (zh) 基于多视图图像的3d重建方法、装置及相关设备
CN107155100A (zh) 一种基于图像的立体匹配方法及装置
KR20230082230A (ko) 깊이지도 및 노말지도 정제 방법 및 장치
CN114677393B (zh) 深度图像处理方法、装置、摄像设备、会议系统及介质
Jorissen et al. Multi-camera epipolar plane image feature detection for robust view synthesis
CN107204013B (zh) 应用于双目立体视觉中的像素点视差值计算方法及装置
KR102665543B1 (ko) 다시점 영상으로부터의 깊이지도 생성 장치 및 방법
KR102469228B1 (ko) 가상 시점 영상 생성 장치 및 방법
CN113808185B (zh) 图像深度恢复方法、电子设备及存储介质
CN110740308B (zh) 时间一致可靠度传递系统
KR101233398B1 (ko) 깊이 지도 생성 방법 및 장치
CN110298782B (zh) 一种rgb显著性到rgbd显著性的转换方法
CN107194931A (zh) 一种基于双目图像匹配获取目标深度信息的方法和系统
KR101850649B1 (ko) 센서스 변환 기반의 스테레오 정합 장치 및 방법
CN109816711B (zh) 一种采用自适应结构的立体匹配方法