KR20210001005A - 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치 - Google Patents

깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치 Download PDF

Info

Publication number
KR20210001005A
KR20210001005A KR1020190076386A KR20190076386A KR20210001005A KR 20210001005 A KR20210001005 A KR 20210001005A KR 1020190076386 A KR1020190076386 A KR 1020190076386A KR 20190076386 A KR20190076386 A KR 20190076386A KR 20210001005 A KR20210001005 A KR 20210001005A
Authority
KR
South Korea
Prior art keywords
image
depth map
depth
information
vanishing point
Prior art date
Application number
KR1020190076386A
Other languages
English (en)
Other versions
KR102220769B1 (ko
Inventor
이성원
김원진
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020190076386A priority Critical patent/KR102220769B1/ko
Publication of KR20210001005A publication Critical patent/KR20210001005A/ko
Application granted granted Critical
Publication of KR102220769B1 publication Critical patent/KR102220769B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치에 관한 것이다. 본 발명의 일 실시예에 따른 깊이 지도 생성 방법은, 2차원의 단안 이미지를 3차원으로 재구성하기 위한 깊이 지도 생성 방법으로서, 이미지 내의 소실점을 추정하는 소실점 추정 단계; 추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성 단계; 상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당 단계; 및 각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성 단계를 포함할 수 있다.

Description

깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치{DEPTH MAP CREATING METHOD, DEPTH MAP CREATING DEVICE, IMAGE CONVERTING METHOD AND IMAGE CONVERTING DEVICE}
본 발명은 이미지 처리에 관한 것으로서, 더욱 상세하게는, 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치에 관한 것이다.
최근 증강, 가상현실 또는 로봇과 자율주행 자동차 등 3차원 정보가 필요한 기술들이 크게 대두되고 있다. 이에 따라, 저비용의 효과를 기대할 수 있는 카메라를 이용해 3차원으로 재구성하는 영상 처리가 요구된다. 3차원 재구성은 카메라로부터 얻은 2차원 영상 데이터들을 양안 시차 단서와 단안 영상 단서를 추출하고 결합하여 깊이정보를 구성한다. 양안 시차를 이용하는 스테레오 방법은 영상 간의 시각적 차이를 활용하여 화소 단위의 깊이정보를 상대적으로 정확히 얻을 수 있다. 이 방법에서는 화소 단위 별로 정합하여 시차를 계산하게 되는데, 정합 시 오류가 나타날 경우 주변의 다른 화소들에 영향을 미칠 수 있어 제대로 동작할 수 없는 경우가 발생한다. 이렇게 나타나는 오류를 보완하기 위해 전체적인 깊이정보를 구성할 때, 단안 영상의 깊이정보도 필요한 것이다. 단안 영상에서는 스테레오 영상에 비해 깊이정보를 판단할 수 있는 정보가 부족하기 때문에, 먼저 영상 내 깊이단서를 이용하여 상대적인 깊이정보를 구성한다. 그 후에, 스테레오 영상에서 생성한 깊이정보와 결합하거나 카메라 매개변수를 이용하여 절대적인 깊이정보를 계산한다.
그러나, 2차원 단안 영상에서는 상대적으로 정보량이 부족하고, 일정한 정보만을 사용하기 때문에 많은 영역에서 심한 오차가 발생한다. 또한, 종래의 기법들은 사전 정보를 필요로 하거나, 계산량이 매우 많기 때문에, 처리에 장시간이 소요되었다.
본 발명이 이루고자 하는 기술적 과제는, 오차를 최소화하여 높은 정확도를 가지면서도 적은 연산량에 의해 처리 속도가 향상된 깊이 지도 생성 방법 및 영상 변환 방법을 제공하는 것이다.
본 발명의 다른 실시예에 따르면, 상기 이점을 갖는 깊이 지도 생성 장치 및 영상 변환 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 깊이 지도 생성 방법은, 2차원의 단안 이미지를 3차원으로 재구성하기 위한 깊이 지도 생성 방법으로서, 이미지 내의 소실점을 추정하는 소실점 추정 단계; 추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성 단계; 상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당 단계; 및 각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성 단계를 포함할 수 있다.
일 실시예에서, 상기 초기 깊이 지도 생성 단계에서는 직선 원근과 관계없는 사각 형태구조를 검출하고, 검출된 상기 사각 형태 구조에 대하여는 동일한 깊이 값을 할당할 수 있다.
일 실시예에서, 상기 기하학적 정보는 상기 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 분류 정보를 포함할 수 있다.
일 실시예에서, 상기 깊이 정보 할당 단계에서 하늘에 대응하는 분할 영역의 깊이 값이 0으로 설정되고, 상기 깊이 정보 할당 단계에서 수평 성분에 대응하는 분할 영역의 깊이 값이 직선 원근법에 의한 깊이 값과 동일한 값으로 설정되고, 상기 깊이 정보 할당 단계에서 수직 성분에 대응하는 분할 영역의 깊이 값이 해당 분할 영역의 평균 깊이 값으로 설정될 수 있다.
일 실시예에서, 결정 트리(decision tree) 학습법을 이용하여 상기 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 상기 분류 정보가 결정되고, 결정 트리 학습법에 의한 오류는 얕은 구조의 컨볼루션 신경망(Convolutional Neural Network; CNN)에 의한 학습 모델에 의해 보완될 수 있다.
일 실시예에서, 상기 기하학적 정보는 상기 이미지의 분할 영역이 직선 원근과 관계없는 사각 형태구조에 대응하는지 여부를 나타내는 그래디언트 발생 정보를 포함할 수 있다.
일 실시예에서, 상기 깊이 정보 할당 단계에서는, 상기 기하학적 정보에 추가하여, 상기 이미지 내의 직선의 강도를 반영하여 상기 분할 영역을 생성하고 각 분할 영역에 깊이 정보를 할당할 수 있다.
일 실시예에서, 상기 보정 깊이 지도에서 불연속적인 영역을 보정하는 스무딩 처리 단계를 더 포함할 수 있다.
일 실시예에서, 상기 소실점 추정 단계에서는 맨해튼 월드(Manhattan World:MW)의 특성을 이용한 RANSAC 기반 알고리즘을 이용하여 상기 이미지 내의 소실점이 추정되고, RANSAC 기반 알고리즘에 의한 오류는 얕은 구조의 컨볼루션 신경망에 의한 학습 모델에 의해 보완될 수 있다.
본 발명의 일 실시예에 따른 깊이 지도 생성 장치는, 2차원의 단안 이미지를 3차원으로 재구성하기 위한 깊이 지도 생성 장치로서, 이미지 내의 소실점을 추정하는 소실점 추정부; 추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성부; 상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당부; 및 각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성부를 포함할 수 있다.
일 실시예에서, 상기 초기 깊이 지도 생성부는, 직선 원근과 관계없는 사각 형태구조를 검출하고, 검출된 상기 사각 형태 구조에 대하여는 동일한 깊이 값을 부여할 수 있다.
일 실시예에서, 상기 기하학적 정보는 상기 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 분류 정보를 포함할 수 있다. 또한, 일 실시예에서, 상기 깊이 정보 할당부는, 하늘에 대응하는 분할 영역의 깊이 값을 0으로 설정하고, 수평 성분에 대응하는 분할 영역의 깊이 값을 직선 원근법에 의한 깊이 값과 동일한 값으로 설정하며, 수직 성분에 대응하는 분할 영역의 깊이 값을 해당 분할 영역의 평균 깊이 값으로 설정할 수 있다.
일 실시예에서, 결정 트리(decision tree) 학습법을 이용하여 상기 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 상기 분류 정보가 결정되고, 결정 트리 학습법에 의한 오류는 얕은 구조의 컨볼루션 신경망에 의한 학습 모델에 의해 보완될 수 있다.
일 실시예에서, 상기 기하학적 정보는 상기 이미지의 분할 영역이 직선 원근과 관계없는 사각 형태구조에 대응하는지 여부를 나타내는 그래디언트 발생 정보를 포함할 수 있다.
일 실시예에서, 상기 깊이 정보 할당부는 상기 기하학적 정보에 추가하여 상기 이미지 내의 직선의 강도를 반영하여 상기 분할 영역을 생성하고 각 분할 영역에 깊이 정보를 할당할 수 있다.
일 실시예에서, 상기 보정 깊이 지도에서 불연속적인 영역을 보정하는 스무딩 처리부를 더 포함할 수 있다.
일 실시예에서, 상기 소실점 추정부는 맨해튼 월드(Manhattan World:MW)의 특성을 이용한 RANSAC 기반 알고리즘을 이용하여 상기 이미지 내의 소실점을 추정하고, RANSAC 기반 알고리즘에 의한 오류을 얕은 구조의 컨볼루션 신경망에 의한 학습 모델에 의해 보완할 수 있다.
본 발명의 다른 실시예에 따른 영상 변환 방법은, 2차원의 단안 이미지를 3차원으로 재구성하기 위한 영상 변환 방법으로서, 이미지 내의 소실점을 추정하는 소실점 추정 단계; 추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성 단계; 상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당 단계; 각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성 단계; 및 상기 보정 깊이 지도에 근거하여 3차원 영상을 생성하는 입체 영상 생성 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 변환 장치는, 2차원의 단안 이미지를 3차원으로 재구성하기 위한 영상 변환 장치로서, 이미지 내의 소실점을 추정하는 소실점 추정부; 추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성부; 상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당부; 각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성부; 및 상기 보정 깊이 지도에 근거하여 3차원 영상을 생성하는 입체 영상 생성부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 2차원 단안 이미지로부터 강한 기하학적 규칙성을 보여주는 인공 환경의 맨해튼 월드(Manhattan World:MW)의 특성을 추출하여, 2차원 단안 이미지로부터 맨해튼 월드의 특성을 반영한 깊이 지도를 생성함으로써, 오차를 최소화하여 높은 정확도를 가지면서도 적은 연산량에 의해 처리 속도가 향상된 깊이 지도 생성 방법 및 깊이 지도 생성 장치를 제공할 수 있다.
본 발명의 다른 실시예에 따르면, 2차원 단안 이미지로부터 강한 기하학적 규칙성을 보여주는 인공 환경의 맨해튼 월드(Manhattan World:MW)의 특성을 추출하여, 2차원 단안 이미지로부터 맨해튼 월드의 특성을 반영한 깊이 지도를 생성하고 생성된 깊이 지도에 의해 3차원 영상을 생성함으로써, 오차를 최소화하여 높은 정확도를 가지면서도 적은 연산량에 의해 처리 속도가 향상된 영상 변환 방법 및 영상 변환 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 깊이 지도 생성 장치의 구성을 도시한다.
도 2는 본 발명의 일 실시예에 따라 직선 원근과 관계 없는 사각 형태 구조의 검출 방법을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 깊이 그래디언트와 관련 있는 영역과 깊이 그래디언트와 관련 없는 영역이 나눠진 이미지를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 기하학적 정보를 반영한 최종 깊이 지도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 소실점 추정을 위한 컨볼루션 신경망의 구성을 도시한다.
도 6은 본 발명의 실시예에 따른 소실점 추정 모델의 손실률을 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 기하학적 정보의 분류를 위한 컨볼루션 신경망의 구성을 도시한다.
도 8은 본 발명의 실시예에 다른 영상 기하학 분할의 손실률을 나타내는 그래프이다.
도 9a는 기하학 분할 알고리즘을 적용하기 전의 원본 영상이고, 도 9b는 원본 영상의 실제 깊이 지도이고, 도 9c는 Sky, Vertical, Horizontal 성분의 분류에 따른 기하학적 정보가 반영된 깊이 지도이며, 9d는 기하학적 정보에 추가하여 컨볼루션 신경망을 이용하여 얻은 깊이 지도를 도시한다.
도 10은 본 발명의 일 실시예에 따른 깊이 지도 생성 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도면에서 동일 부호는 동일한 요소를 지칭한다. 또한, 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위하여 사용되며, 본 발명의 범위를 제한하기 위한 것이 아니다. 또한, 본 명세서에서 단수로 기재되어 있다 하더라도, 문맥상 단수를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이란 용어는 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 실시예들을 설명함에 있어 관련된 공지 기능 또는 구성에 관한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그에 관한 상세한 설명은 생략할 것이다.
본 발명의 실시예에서는 영상에 포함된 인위적인 요소를 분석하여 3차원 재구성 요소를 기하학적인 정보와 함께 고려할 수 있다. 단안 영상 기반에서의 3차원 재구성 문제를 해결하기 위해 건물과 도로정보가 포함된 영상인 맨해튼 월드(Manhattan World:MW)에서 얻을 수 있는 영상 정보를 활용하여 소실점을 추정할 수 있다. 또한 소실점과 영상 내 직선의 상대적 위치 및 방향성을 활용해 Sky, Vertical, Horizontal의 기하학 분류와 소실점과 관련 없는 영역 검출과 같은 3D 기하정보를 추정하고, 3D 기하정보에 따라 보다 정확한 깊이 지도를 생성할 수 있다. 또한, 본 발명의 실시예에서는 영상의 3D 기하정보에 근거하여 영상의 영역 별로 깊이 값을 다르게 할당할 수 있고, 인공지능 기술을 접목하여 알고리즘에서 돌발적인 오류가 발생하는 문제를 대처할 수 있다. 인공지능 기술은 소실점 검출과 영상의 3D 기하정보 추정에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 깊이 지도 생성 장치의 구성을 도시한다.
도 1을 참조하면, 깊이 지도 생성 장치는 소실점 추정부(10), 초기 깊이 지도 생성부(20), 깊이 정보 할당부(30), 보정 깊이 지도 생성부(40) 및 스무딩 처리부(50)을 포함할 수 있다.
소실점 추정부(10)는 깊이 지도 생성 장치로 입력되는 2차원 단안 이미지 내에 존재하는 소실점을 추정할 수 있다. 소실점은 이미지 내에서 직선을 추출한 후, 복수의 직선의 교차점으로부터 추정될 수 있다. 직선 추출을 위해서는 허프 변환 또는 Line Segment Detector 등의 직선 추출 방식을 이용할 수있다. 텍스쳐와 노이즈에 민감한 허프 변환 보다는 텍스쳐와 노이즈에 민감하지 않고 상대적으로 허프 변환보다 빠른 Line Segment Detector 방식에 의해 소실점을 추정하는 것이 바람직하다.
직선을 이용한 소실점 추정 알고리즘으로는, Gaussian Sphere 알고리즘, Expectation-Maximization(EM) 기반의 알고리즘, RANSAC 기반의 알고리즘 등을 이용할 수 있다. Gaussian Sphere 알고리즘은 Gaussian Sphere에 대해 Great Circle을 이용해 소실점을 추정하는 방법이지만, 잡음에 매우 민감하다. EM 기반 알고리즘은 영상의 영역을 함께 이용하기 때문에 초기 영역에 대한 설정에 따라 성능이 좌우된다. RANSAC 기반의 알고리즘은 휴리스틱 기준을 사용하여 사전에 설정한 가설과 직선의 교차점을 이용한다. RANSAC 방식은 가설에 대한 신뢰도를 반복적으로 평가하지만, 임계 신뢰도를 만족하면 알고리즘은 종료된다. 본 발명의 실시예에서는 RANSAC 방법에 MW의 특성을 활용하여 NW 영상에서 높은 소실점 추정 성능을 나타내는 Triplet-RANSAC 알고리즘이 사용될 수 있다.
초기 깊이 지도 생성부(20)는 소실점 추정부(10)에 의해 추정된 소실점에 기초하여 2차원 단안 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성할 수 있다.
소실점을 이용하여 초기 깊이 지도를 생성하기 위해서 수직(Vertical) 영역과 수평(Horizontal) 영역을 나눌 수 있도록 소실점을 추정한 수렴선 중 주 수렴선을 검출한다. 주 수렴선을 검출한 뒤, Horizontal 영역은 행을 기준으로, Vertical 영역은 열을 기준으로 깊이 그래디언트를 계산하여 초기 깊이 정보를 할당한다. 또한, 초기 깊이 지도는 영상에서 상대적으로 아래 부분은 가깝고 위의 부분은 멀다는 기하학적 특징을 고려한 깊이 정보로 다시 구성될 수 있다. 아래의 [수학식 1]과 같이 기하학 정보를 활용한 깊이 지도를 생성 후 초기 깊이 지도와 결합함으로써 기하학적 특징을 고려한 깊이 정보가 구성될 수 있다.
[수학식 1]
Figure pat00001
여기서 Dh(x,y)는 해당 좌표에서의 기하학적 깊이 정보를 나타내며, H는영상의 높이이다. 따라서 기하학적인 깊이 정보는 영상의 높이와 y 좌표에 의해 결정된다.
초기 깊이 지도 생성부(20)는 직선 원근과 관계없는 사각 형태구조를 검출하고, 검출된 상기 사각 형태 구조에 대하여는 동일한 깊이 값을 부여할 수 있다.
소실점을 이용하여 초기 깊이 지도를 생성하면 자연스럽게 그래디언트가 발생한다. 하지만 직선 원근의 성질과 무관한 영역에서는 그래디언트가 나타날 수 없다. 이러한 영역은 MW에서 주로 인위적인 사각 형태로 나타나기 때문에 해당 형태가 소실점 방향으로 향하는지 아닌지를 판단하면 3D구조를 파악할 수 있다. 따라서 본 발명의 실시예에서는 LSD로 검출한 직선을 활용하여 3D구조를 파악하였다.
도 2는 본 발명의 일 실시예에 따라 직선 원근과 관계 없는 사각 형태 구조의 검출 방법을 설명하는 도면이다.
도 2를 참조하면, 먼저 (a) 검출한 직선들 중 사각형을 구성하는 주된 성분인 수평선 선분과 수직선 선분을 선별한다. 그 후, (b) 수직선은 하나의 직선으로 연결하고 연결된 수직선과 교차하지 않는 가장 작은 거리의 3D구조 추정에 기준이 되는 수평선 선분(Base Lines, 기준선)을 검출한다. 마지막으로 (c) 기준선과 수직선, 나머지 수평선 선분만 나타낸 뒤, 기준선과 수직선을 활용하여 3D 구조를 추정한다. 추정된 3D 구조에 대응하는 영역은 깊이 그래디언트와 관련 없는 영역으로 설정될 수 있다.
도 3은 본 발명의 일 실시예에 따라 깊이 그래디언트와 관련 있는 영역과 깊이 그래디언트와 관련 없는 영역이 나눠진 이미지를 나타내는 도면이다. 수직 성분에 대해 3D구조 추정이 완료되면, 도 3에 도시된 바와 같이 그래디언트가 발생하는 영역과 그렇지 않은 영역으로 나눌 수 있다.
깊이 정보 할당부(30)는 2차원 단안 이미지로부터 검출된 기하학적 정보를 반영하여 2차원 단안 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당할 수 있다.
소실점에 기초하여 얻은 깊이정보는 영상 내 물체에 대한 정보를 포함하고 있지 않다. 그렇기 때문에 물체를 판단할 수 있는 핵심 영역 간의 불연속성을 나타내야 할 필요가 있다. 영역 간 불연속성을 나타내기 위해 영상을 영역별로 분할한다. 영상분할은 큰 영역들을 분할해 나가는 Top-down 방식과 잘게 나누어진 작은 영역들을 합치는 Bottom-up 방식으로 나뉜다. Bottom-up 방식의 단계적인 알고리즘은 Top-down 방식보다 고성능을 나타낸다. Bottom-up 방식은 영상을 먼저 과분할한 뒤, 분할된 영역에 대해 기하정보와 특징 값을 계산하여 병합하게 된다.
과분할 단계에서 많은 영역으로 잘게 나눌 경우, 각 영역의 특징이 부족하기 때문에 영역에 대한 기하정보를 얻기 어렵다. 따라서 기하정보를 고려한 과분할 방법을 활용해야 한다.
과분할 방법으로는 그래프 기반의 분할 방법인 Efficient Graph-Based(EGB) 방식과 화소별 특징 분할인 Simple Linear Iterative Clustering(SLIC), Quickshift 등을 사용할 수 있다. 상대적으로 세밀하게 분할하는 SLIC, Quickshift 방식과는 달리 EGB 방식은 각 영역에서 기하정보를 얻을 수 있다.
영역에 대한 기하정보를 할당하기 위한 알고리즘으로는 Hoiem이 제안한 Surface Layout 방식을 사용할 수 있다. 이 방식은 다양한 영상 특징에 대해 미리 학습한 boosted decision tree 분류기를 사용하여 영상을 Horizontal, Vertical, 그리고 Sky로 나눌 수 있다.
EGB 방식을 사용하여 과분할된 영역들이 유사한 특징 값을 가진 영역과 병합될 수 있고, 이를 위해 본 발명의 실시예에서는 기존 HFS 방식에서 사용한 특징 외에 기하학 정보와 직선의 정보를 특징으로 활용하여 확장된 영상 분할 방법(Modified HFS; M-HFS)이 사용될 수 있다. 병합 단계에서는 분할된 영역을 그래프로 재구성하고 각 인접 영역에 대한 특징 값을 비교하여 병합하는 EGB 병합 방법을 사용할 수 있다. 인접 영역들이 더 이상 유사하지 않을 때까지 반복 병합이 수행될 수 있다.
본 발명에서 제안된 M-HFS기법은 기존 HFS에 직선의 강도(Straight Line Strength)와 기하학적 정보(Geometric features)를 새롭게 사용하였다. 제안된 M-HFS기법에서 특징으로 이용한 직선의 강도는 MW 특성에서 나타나는 직선의 특징 값으로써, 이 값을 표현하기 위해 Average boundary gradient와 Canny 경계 검출, 그리고 LSD 알고리즘을 결합하였다. 또한, 제안된 M-HFS기법에서 특징으로 이용한 기하학적 정보는 Hoiem의 Surface Layout 기법에서 나타나는 기하정보 3가지(SKY, HORIZONTAL, VERTICAL)에 대한 특징값과 사각 형태의 3D 구조 추정에서 나타나는 2개의 특징값인 소실점 관련 영역과 그렇지 않은 영역에 관한 특징값(그래디언트 발생 정보)을 더하여 모두 5가지의 기하학적 정보에 대한 특징 값을 포함할 수 있다.
[표 1]
Figure pat00002
위의 [표 1]은 NYU Depth V2 데이터셋의 MW 영상을 이용하여 본 발명에서 제안된 영상 분할 알고리즘(Modified HFS)과 다른 알고리즘(gPb 및 HFS)을 비교한 것이다. 경계선에 대한 평가지표인 F-measure은 아래의 [수학식 2]와 같이 계산된다.
[수학식 2]
Figure pat00003
분할된 영역에 대한 성능 평가는 데이터 셋에서의 최적 값(Optimal Dataset Scale; ODS)와 영상 하나 당 최적 값(Optimal Image Scale; OIS), 그리고 gPb에서 활용한 지표를 이용하였다. 확률적 Rand Index(Probability Rand Index; PRI)와 겹치는 정도를 판단하는 Covering, 그리고 조건부 엔트로피 관점에서 두 영역의 거리를 판단하는 Variation of Information(VI)으로 평가했다. 경계선 관점에서 M-HFS 알고리즘이 다른 알고리즘 보다 월등하게 고성능을 나타냈으며, 영역 관점에서는 M-HFS 알고리즘이 gPb 알고리즘과 대등한 성능을 보였다. 시간 복잡도를 고려하였을 때, M-HFS가 gPb보다 매우 우수한 성능을 나타낸 것을 확인할 수 있다.
깊이 정보 할당부(30)가 각 분할 영역에 깊이 정보를 할당할 때 반영되는 기하학적 정보는 영상의 분할 영역이 하늘(SKY), 수직 성분(VERTICAL) 또는 수평 성분(HORIZONTAL)에 대응하는지를 나타내는 분류 정보를 포함할 수 있다. 깊이 정보 할당부(30)는 하늘에 대응하는 분할 영역의 깊이 값을 0으로 설정하고, 수평 성분에 대응하는 분할 영역의 깊이 값을 직선 원근법에 의한 깊이 값과 동일한 값으로 설정하며, 수직 성분에 대응하는 분할 영역의 깊이 값을 해당 분할 영역의 평균 깊이 값으로 설정할 수 있다.
영상분할이 완료된 후, 최종적으로 얻은 기하정보에 따라 다르게 깊이 값을 할당하여 영역 간의 불연속성을 나타낼 수 있다. 불연속성을 나타내기 위한 가장 중요한 성분은 수직성분이다. Vertical, 즉 수직성분으로 분류된 영역은 모두 같은 깊이 값을 갖는다. 먼저, 각 기하정보에 따른 깊이 값 할당 방법은 아래의 [수학식 3]과 같다.
[수학식 3]
Figure pat00004
여기서 p는 영상 내 픽셀을 나타내며, D vp은 소실점을 활용하여 생성된 초기 깊이 지도를 나타낸다. 수직성분의 깊이 값인 D building은 아래의 [수학식 4]에 의해 계산할 수 있다.
[수학식 4]
Figure pat00005
먼저, 영상의 열을 기준으로 깊이 값(D cols)을 계산한다. 수직성분인 건물이 다른 건물에 의해 폐색영역이 나타나면, 기하학 구조에 의해 위의 건물은 아래의 건물보다 더 멀리 떨어져 있게 된다. 그러므로 열을 기준으로 다른 영역으로 나누어져 있다면, 다른 깊이 레벨을 부여해야 한다. 깊이 레벨(d level)은 각 영역의 불연속성을 나타내는 임의 값이다. 깊이 레벨(d level)은 3 내지 10 사이의 범위가 바람직하며, 본 발명의 실시예에서는 5로 설정하였다. 여기서 R(x,y)는 영상 좌표에서의 영역 값을 나타낸다. 따라서 전체적인 D building은 아래의 [수학식 5]와 같이 영역의 평균 깊이 값으로 할당될 수 있다.
[수학식 5]
Figure pat00006
여기서, pixel_num(R)은 영역 R의 전체 픽셀 수를 나타낸다.
보정 깊이 지도 생성부(40)는 2차원 단안 이미지의 각 분할 영역에 대하여 깊이 정보 할당부(30)에 의해 할당된 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성할 수 있다.
보정 깊이 지도는 소실점을 통해 얻은 초기 깊이 지도와 기하학적 정보에 기초하여 얻은 깊이 지도를 아래의 [수학식 6]과 같이 합산하여 얻을 수 있다. 일정한 값의 가중치를 이용하여 영상 깊이 지도의 불연속성과 그래디언트를 함께 표현할 수 있다. 기하학적 정보에 기초하여 얻은 깊이 지도에 대한 가중치 값을 높일수록 수직 성분이 더 선명하게 나타난다. ωGeo + ωvp =1 이고, 본 발명의 실시예에서는 ωGeo를 0.6으로 설정하고, ωvp를 0.4로 설정하였다. 그러나, 다른 실시예에서는 필요에 따라 적절하게 다른 ωvp 값을 설정할 수 있따.
[수학식 6]
Figure pat00007
스무딩 처리부(50)는 보정 깊이 지도 생성부(40)에 의해 생성된 보정 깊이 지도에서 불연속적인 영역을 보정할 수 있다.
실제 영상에서는 같은 영역이지만 깊이 지도에서는 서로 다른 깊이 값을 가질 수 있다. 이것은 원래 하나의 영역을 더 세밀하게 분할하여 나타나는 현상으로 인위적인 요소들의 영향을 받는다. 그래서 원 영상과 해당 픽셀의 깊이 값을 동시에 고려하는 Cross bilateral filter를 이용하여 [수학식 7]과 같이 최종 깊이 값을 보정할 수 있다.
[수학식 7]
Figure pat00008
여기서, p는 영상 내 픽셀을 나타내고, q는 p의 인접한 픽셀들을 나타낸다. Wp는 정규화 계수이고 아래의 [수학식 8]로부터 얻을 수 있다.
[수학식 8]
Figure pat00009
Ωp은 p와 인접한 픽셀들을 의미하며,
Figure pat00010
는 scale factor을
Figure pat00011
로 갖는 가우시안 함수를 나타낸다. I는 원 영상을 나타내고, D init은 최종적으로 생성된 깊이 지도를, Dfinal은 Cross bilateral filter를 이용한 스무딩 처리를 수행한 후의 깊이 지도를 나타낸다. 이러한 스무딩 처리는 유사한 intensity 영역에서 깊이 값의 불연속성이 나타나는 것을 방지한다.
도 4는 본 발명의 일 실시예에 따라 기하학적 정보를 반영한 최종 깊이 지도를 도시한다. 도 4의 (a)는 원본 영상이고, (b)는 전술한 그래디언트, 불연속성 및 수직 성분 구조의 특징을 모두 나타낸 최종 깊이 지도를 도시한다.
종래 기술에서는 기하학적 정보를 사용하지 않고 영역에 같은 깊이 값을 할당하였기 때문에, 소실점과 가까운 영역에서는 큰 오차가 발생하였다, 본 발명의 실시예에서는 기하학적 정보를 고려하여 그래디언트를 할당하였기 때문에, 종래 기술에서 나타났던 오차를 현저히 줄일 수 있다. 도 4의 (b)에 도시된 기하학적 정보를 고려한 깊이 지도가 도 4의 (a)에 도시된 원본 영상의 실제 깊이 지도에 근접하고 있는 점으로부터 본 발명의 실시예가 오차를 최소화하여 높은 정확도를 나타낸다는 것을 확인할 수 있다.
도 5는 본 발명의 일 실시예에 따른 소실점 추정을 위한 컨볼루션 신경망의 구성을 도시한다.
본 발명의 실시예에서, 소실점 추정부(10)는 이미지 내의 소실점 추정에 얕은 구조의 컨볼루션 신경망(Convolutional Neural Network; CNN)에 의한 학습을 이용할 수 있다.
딥러닝 구조에서는 학습 시간이 오래 걸리므로, 영상 내 주요 특징을 추출하고, 추출된 특징을 이용하여 인공지능 모델을 학습하면 깊은 구조가 아닌 얕은 구조의 컨볼루션 신경망에 의한 학습을 이용할 수 있다.
영상에서 소실점을 추정하기 위해 직선에 많이 의존한다. 따라서 직접적으로 계산할 수 있는 직선에 대한 특징 값을 모델의 입력 값으로 설정할 수 있다. 직선은 전술한 LSD 알고리즘을 사용하여 검출될 수 있고, 아래의 [표 2]는 각 직선의 특징 값을 나타낸다.
[표 2]
Figure pat00012
각 직선의 특징에서 인접한 영역 내 직선을 고려하기에는 모호하므로, 학습 모델은 컨볼루션(Convolution) 계층을 포함하는 Convolutional Neural Network(CNN)으로 구성할 수 있고, 컨볼루션 계층은 제공받은 각 직선의 정보를 이용하여 소실점 추정을 위한 고유의 특징을 검출할 수 있다.
소실점 추정 모델은 좌표와 같이 연속적인 값을 계산하기 때문에, 분류 문제가 아닌 회귀(regression) 문제를 해결할 수 있도록 설계될 수 있다. 실수값을 계산하므로 쉽게 수렴하지 않을 가능성이 존재한다. 따라서 영상의 왼쪽 상단을 [0, 0]으로, 오른쪽 상단을 [1, 0]으로 가정하여 입력 값을 정규화할 수 있다.
도 5를 참조하면, 소실점 추정 모델은 1개의 컨볼루션 계층과 3개의 완전연결(Fully-Connected;FC)계층으로 구성될 수 있다. 소실점에 대한 좌표 x, y를 계산하기 위해 마지막 FC계층의 뉴런 수는 2개로 설정할 수 있다. 그 외 각 완전연결 계층의 뉴런의 수는 2,048개로 설정하고, 컨볼루션은 4 X 4의 필터로 128개의 특징 지도를 갖도록 설정할 수 있다. 모델의 초매개변수(Hyperparameter)는 아래의 [표 3]와 같이 설정하였고, 활성화 함수로는 Tanh를 사용할 수 있다.
[표 3]
Figure pat00013
도 6은 본 발명의 실시예에 따른 소실점 추정 모델의 손실률을 나타내는 그래프이다.
도 6을 참조하면, 학습후의 손실 함수 결과 값으로부터 손실률은 최대 0.075까지 떨어진 것을 알 수 있다. 이것은 소실점 추정시 최대 오차가 11인 것을 의미한다. Triplet-RANSAC은 NormDist Error가 0.143이 결과를 나타낸 반면, 인공지능을 활용한 소실점 추정의 NormDist Error는 0.028로 뛰어난 성능 개선을 나타냈다.
도 7은 본 발명의 일 실시예에 따른 기하학적 정보의 분류를 위한 컨볼루션 신경망의 구성을 도시한다.
본 발명의 실시예에서, 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 분류 정보는 얕은 구조의 컨볼루션 신경망(Convolutional Neural Network; CNN)에 의한 학습을 이용하여 결정될 수 있다.
영상의 기하학 분할 학습 모델은 과분할 후 각 영역에 대해 Horizontal, Vertical, 그리고 Sky로 분류하는 알고리즘을 따른다. 따라서 소실점 추정과 는 달리, 기하학 분할 학습 모델은 분류(Classification) 문제를 해결할 수 있도록 설계될 수 있다. 해당 모델의 입력은 과분할된 영역에서의 특징 값으로 설정할 수 있다. 아래의 [표 4]는 영역 내의 특징 값을 나타낸다.
[표 4]
Figure pat00014
도 6을 참조하면, 기하학 분할 학습 모델의 구조는 컨볼루션(Convolution) 계층을 포함하여 세부 특징을 추출할 수 있도록 CNN의 형태로 구현될 수 있다. 한 개의 영역에 대한 15개의 특징 값을 입력으로 하여 모델을 학습할 수 있다.
두 개의 FC 계층과 하나의 Softmax 계층을 이용하여 Horizontal, Vertical, Sky, 그리고 미분류에 대해 총 4가지의 분류를 수행할 수 있다. FC계층의 뉴런 수는 각각 2,048개, 1,024개로 설정하며, 컨볼루션은 1 X 15의 필터로 256개의 특징 지도를 갖도록 설정할 수 있다. 모델의 초매개변수는 아래의 [표 5]와 같이 설정하고, 활성화 함수로는 ReLU를 사용할 수 있다.
[표 5]
Figure pat00015
도 8은 본 발명의 실시예에 따른 영상 기하학 분할의 손실률을 나타내는 그래프이다.
도 8을 참조하면, 학습후의 손실 함수 결과 값으로부터 손실률은 최대 0.55까지 떨어졌다. 분류 정확도는 86%를 나타낸다. KITTI SEMANTIC 데이터에서 M-HFS에서의 기하학 분류 알고리즘의 정확도는 유사하게 86%를 나타냈는데, 깊이 할당의 핵심 부분에서 기하학 분류의 차이가 있음을 확인할 수 있다.
도 9a는 기하학 분할 알고리즘을 적용하기 전의 원본 영상이고, 도 9b는 원본 영상의 실제 깊이 지도이고, 도 9c는 Sky, Vertical, Horizontal 성분의 분류에 따른 기하학적 정보가 반영된 깊이 지도이며, 9d는 기하학적 정보에 추가하여 컨볼루션 신경망을 이용하여 얻은 깊이 지도를 도시한다. 컨볼루션 신경망을 이용하여 얻은 도 9d에 도시된 깊이 지도가 9c에 도시된 깊이 지도보다 원본 영상의 실제 깊이 지도인 도 9b에 더 근접한 것을 확인할 수 있다.
본 발명의 다른 실시예에 따른 영상 변환 장치는 도 1에 도시된 깊이 지도 생성 장치가 구비하는 소실점 추정부(10), 초기 깊이 지도 생성부(20), 깊이 정보 할당부(30) 및 보정 깊이 지도 생성부(40)에 추가하여, 보정 깊이 지도 생성부(40)에 의해 생성된 보정 깊이 지도에 근거하여 3차원 영상을 생성하는 입체 영상 생성부(60)를 포함할 수 있다. 입체 영상 생성부(60)는 입력된 2차원 단안 이미지와 생성된 보정 깊이 지도를 합성하여 3차원 입체 영상을 생성할 수 있다. 또한, 영상 변환 장치는 도 1에 도시된 스무딩 처리부(50)를 더 포함할 수 있다.
영상 변환 장치가 구비하는 소실점 추정부(10), 초기 깊이 지도 생성부(20), 깊이 정보 할당부(30), 보정 깊이 지도 생성부(40) 및 스무딩 처리부(50)의 상세에 대하여는 도 1에 도시된 깊이 지도 생성 장치의 소실점 추정부(10), 초기 깊이 지도 생성부(20), 깊이 정보 할당부(30) 및 보정 깊이 지도 생성부(40)에 대한 설명이 참조될 수 있다.
도 10은 본 발명의 일 실시예에 따른 깊이 지도 생성 방법을 나타내는 순서도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 깊이 지도 생성 방법은, 소실점 추정부(10)가 이미지 내의 소실점을 추정하는 소실점 추정 단계(S10)와, 초기 깊이 지도 생성부(20)가 추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성 단계(S20)와, 깊이 정보 할당부(30)가 상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당 단계(S30)와, 보정 깊이 지도 생성부(40)가 각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성 단계(S40)와, 스무딩 처리부(50)가 상기 보정 깊이 지도에서 불연속적인 영역을 보정하는 스무딩 처리 단계(S50)를 포함할 수 있다. 소실점 추정부(10)이 수행하는 소실점 추정 단계(S10), 초기 깊이 지도 생성부(20)가 수행하는 초기 깊이 지도 생성 단계(S20), 깊이 지도 정보 할당부(30)이 수행하는 깊이 정보 할당 단계(S30), 보정 깊이 지도 생성부(40)이 수행하는 보정 깊이 지도 생성 단계(S40) 및 스무딩 처리부(50)이 수행하는 스무딩 처리 단계(S50)의 상세에 대하여는 전술한 지도 생성 장치의 소실점 추정부(10), 초기 깊이 지도 생성부(20), 깊이 정보 할당부(30) 및 보정 깊이 지도 생성부(40)에 대한 설명이 참조될 수 있다.
본 발명의 다른 실시예에 따른 2차원의 단안 이미지를 3차원으로 재구성하기 위한 영상 변환 방법은, 도 10에 도시된 깊이 지도 생성 방법이 포함하는 소실점 추정 단계(S10), 초기 깊이 지도 생성 단계(S20), 깊이 정보 할당 단계(S30), 보정 깊이 지도 생성 단계(S40)에 추가하여, 보정 깊이 지도 생성 단계(S40)에 의해 생성된 보정 깊이 지도에 근거하여 3차원 영상을 생성하는 입체 영상 생성 단계(S60)를 포함할 수 있다. 입체 영상 생성 단계(S60)는 입력된 2차원 단안 이미지와 생성된 보정 깊이 지도를 합성하여 3차원 입체 영상을 생성할 수 있다. 또한, 영상 변환 방법은 도 10에 도시된 스무딩 처리 단계(S50)를 더 포함할 수 있다.
영상 변환 방법이 포함하는 소실점 추정 단계(S10), 초기 깊이 지도 생성 단계(S20), 깊이 정보 할당 단계(S30), 보정 깊이 지도 생성 단계(S40) 및 스무딩 처리 단계(S50)의 상세에 대하여는 도 1에 도시된 깊이 지도 생성 방법의 소실점 추정 단계(S10), 초기 깊이 지도 생성 단계(S20), 깊이 정보 할당 단계(S30), 보정 깊이 지도 생성 단계(S40) 및 스무딩 처리 단계(S50)에 대한 설명이 참조될 수 있다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims (20)

  1. 2차원의 단안 이미지를 3차원으로 재구성하기 위한 깊이 지도 생성 방법으로서,
    이미지 내의 소실점을 추정하는 소실점 추정 단계;
    추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성 단계;
    상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당 단계; 및
    각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성 단계를 포함하는 깊이 지도 생성 방법.
  2. 제 1 항에 있어서,
    상기 초기 깊이 지도 생성 단계에서는 직선 원근과 관계없는 사각 형태구조를 검출하고, 검출된 상기 사각 형태 구조에 대하여는 동일한 깊이 값을 할당하는 깊이 지도 생성 방법.
  3. 제 1 항에 있어서,
    상기 기하학적 정보는 상기 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 분류 정보를 포함하는 깊이 지도 생성 방법.
  4. 제 3 항에 있어서,
    상기 깊이 정보 할당 단계에서는,
    하늘에 대응하는 분할 영역의 깊이 값이 0으로 설정되고,
    수평 성분에 대응하는 분할 영역의 깊이 값이 직선 원근법에 의한 깊이 값과 동일한 값으로 설정되며,
    수직 성분에 대응하는 분할 영역의 깊이 값이 해당 분할 영역의 평균 깊이 값으로 설정되는 깊이 지도 생성 방법.
  5. 제 3 항에 있어서,
    결정 트리(decision tree) 학습법을 이용하여 상기 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 상기 분류 정보가 결정되고, 결정 트리 학습법에 의한 오류는 얕은 구조의 컨볼루션 신경망(Convolutional Neural Network; CNN)에 의한 학습 모델에 의해 보완되는 깊이 지도 생성 방법.
  6. 제 1 항에 있어서,
    상기 기하학적 정보는 상기 이미지의 분할 영역이 직선 원근과 관계없는 사각 형태구조에 대응하는지 여부를 나타내는 그래디언트 발생 정보를 포함하는 깊이 지도 생성 방법.
  7. 제 1 항에 있어서,
    상기 깊이 정보 할당 단계에서는, 상기 기하학적 정보에 추가하여, 상기 이미지 내의 직선의 강도를 반영하여 상기 분할 영역을 생성하고 각 분할 영역에 깊이 정보를 할당하는 깊이 지도 생성 방법.
  8. 제 1 항에 있어서,
    상기 보정 깊이 지도에서 불연속적인 영역을 보정하는 스무딩 처리 단계를 더 포함하는 깊이 지도 생성 방법.
  9. 제 1 항에 있어서,
    상기 소실점 추정 단계에서는 맨해튼 월드(Manhattan World:MW)의 특성을 이용한 RANSAC 기반 알고리즘을 이용하여 상기 이미지 내의 소실점이 추정되고, RANSAC 기반 알고리즘에 의한 오류는 얕은 구조의 컨볼루션 신경망에 의한 학습 모델에 의해 보완되는 깊이 지도 생성 방법.
  10. 2차원의 단안 이미지를 3차원으로 재구성하기 위한 깊이 지도 생성 장치로서,
    이미지 내의 소실점을 추정하는 소실점 추정부;
    추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성부;
    상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당부; 및
    각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성부를 포함하는 깊이 지도 생성 장치.
  11. 제 10 항에 있어서,
    상기 초기 깊이 지도 생성부는, 직선 원근과 관계없는 사각 형태구조를 검출하고, 검출된 상기 사각 형태 구조에 대하여는 동일한 깊이 값을 부여하는 깊이 지도 생성 장치.
  12. 제 10 항에 있어서,
    상기 기하학적 정보는 상기 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 분류 정보를 포함하는 깊이 지도 생성 장치.
  13. 제 12 항에 있어서,
    상기 깊이 정보 할당부는,
    하늘에 대응하는 분할 영역의 깊이 값을 0으로 설정하고,
    수평 성분에 대응하는 분할 영역의 깊이 값을 직선 원근법에 의한 깊이 값과 동일한 값으로 설정하며,
    수직 성분에 대응하는 분할 영역의 깊이 값을 해당 분할 영역의 평균 깊이 값으로 설정하는 깊이 지도 생성 장치.
  14. 제 12 항에 있어서,
    결정 트리(decision tree) 학습법을 이용하여 상기 이미지의 분할 영역이 하늘, 수직 성분 또는 수평 성분에 대응하는지를 나타내는 상기 분류 정보가 결정되고, 결정 트리 학습법에 의한 오류는 얕은 구조의 컨볼루션 신경망에 의한 학습 모델에 의해 보완되는 깊이 지도 생성 장치.
  15. 제 10 항에 있어서,
    상기 기하학적 정보는 상기 이미지의 분할 영역이 직선 원근과 관계없는 사각 형태구조에 대응하는지 여부를 나타내는 그래디언트 발생 정보를 포함하는 깊이 지도 생성 장치.
  16. 제 10 항에 있어서,
    상기 깊이 정보 할당부는 상기 기하학적 정보에 추가하여 상기 이미지 내의 직선의 강도를 반영하여 상기 분할 영역을 생성하고 각 분할 영역에 깊이 정보를 할당하는 깊이 지도 생성 장치.
  17. 제 10 항에 있어서,
    상기 보정 깊이 지도에서 불연속적인 영역을 보정하는 스무딩 처리부를 더 포함하는 깊이 지도 생성 장치.
  18. 제 10 항에 있어서,
    상기 소실점 추정부는 맨해튼 월드(Manhattan World:MW)의 특성을 이용한 RANSAC 기반 알고리즘을 이용하여 상기 이미지 내의 소실점을 추정하고, RANSAC 기반 알고리즘에 의한 오류를 얕은 구조의 컨볼루션 신경망에 의한 학습 모델에 의해 보완하는 깊이 지도 생성 장치.
  19. 2차원의 단안 이미지를 3차원으로 재구성하기 위한 영상 변환 방법으로서,
    이미지 내의 소실점을 추정하는 소실점 추정 단계;
    추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성 단계;
    상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당 단계;
    각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성 단계; 및
    상기 보정 깊이 지도에 근거하여 3차원 영상을 생성하는 입체 영상 생성 단계를 포함하는 영상 변환 방법.
  20. 2차원의 단안 이미지를 3차원으로 재구성하기 위한 영상 변환 장치로서,
    이미지 내의 소실점을 추정하는 소실점 추정부;
    추정된 소실점에 기초하여 상기 이미지에 대하여 직선 원근법에 의한 초기 깊이 지도를 생성하는 초기 깊이 지도 생성부;
    상기 이미지로부터 검출된 기하학적 정보를 반영하여 상기 이미지를 복수개로 분할한 분할 영역을 생성하고, 각 분할 영역에 깊이 정보를 할당하는 깊이 정보 할당부;
    각 분할 영역에 대한 상기 깊이 정보에 기초하여 상기 초기 깊이 지도를 보정한 보정 깊이 지도를 생성하는 보정 깊이 지도 생성부; 및
    상기 보정 깊이 지도에 근거하여 3차원 영상을 생성하는 입체 영상 생성부를 포함하는 영상 변환 장치.
KR1020190076386A 2019-06-26 2019-06-26 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치 KR102220769B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190076386A KR102220769B1 (ko) 2019-06-26 2019-06-26 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190076386A KR102220769B1 (ko) 2019-06-26 2019-06-26 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치

Publications (2)

Publication Number Publication Date
KR20210001005A true KR20210001005A (ko) 2021-01-06
KR102220769B1 KR102220769B1 (ko) 2021-02-25

Family

ID=74128905

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190076386A KR102220769B1 (ko) 2019-06-26 2019-06-26 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치

Country Status (1)

Country Link
KR (1) KR102220769B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051372A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image
KR102555165B1 (ko) * 2022-10-04 2023-07-12 인하대학교 산학협력단 단안 비디오에서 뉴럴 레이디언스 기반의 라이트필드 합성 방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. Hoiem외 2인, "Recovering surface layout from an image", International Journal of Computer vision 75(1), (2007.02.16.) 1부.* *
Kyuseo Han외 1인, "Geometric and texture cue based depth-map estimation for 2D to 3D image conversion", 2011 IEEE ICCE, (2011.01.12.) 1부.* *
Seon Ho Oh외 1인, "RANSAC-based Orthogonal Vanishing Point Estimation in the Equirectangular Images", Journal of Korea Multimedia Society Vol.15, No. 12, (2012.12.31.) 1부.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051372A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image
KR102555165B1 (ko) * 2022-10-04 2023-07-12 인하대학교 산학협력단 단안 비디오에서 뉴럴 레이디언스 기반의 라이트필드 합성 방법 및 시스템

Also Published As

Publication number Publication date
KR102220769B1 (ko) 2021-02-25

Similar Documents

Publication Publication Date Title
JP7181977B2 (ja) ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
CN109325998B (zh) 一种基于点云数据的室内3d建模方法、系统及相关装置
JP6261489B2 (ja) ３次元点群から平面を抽出する、方法、画像処理装置およびプログラムを記憶した非一次的なコンピュータ可読媒体
Hu et al. Visualization of convolutional neural networks for monocular depth estimation
Han et al. Stereo matching using genetic algorithm with adaptive chromosomes
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
Ben-Ari et al. Stereo matching with Mumford-Shah regularization and occlusion handling
KR102393345B1 (ko) 3차원 점군 처리 시스템 및 방법
Lu et al. PatchMatch filter: edge-aware filtering meets randomized search for visual correspondence
KR102220769B1 (ko) 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치
Rossi et al. Joint graph-based depth refinement and normal estimation
Psota et al. A local iterative refinement method for adaptive support-weight stereo matching
Men et al. A stereo matching algorithm based on four‐moded census and relative confidence plane fitting
Geetha et al. An improved method for segmentation of point cloud using minimum spanning tree
Hamzah et al. Stereo matching algorithm based on illumination control to improve the accuracy
Wang et al. Improving deep stereo network generalization with geometric priors
Damjanović et al. Local stereo matching using adaptive local segmentation
CN116912515A (zh) 一种基于LoD的VSLAM特征点检测方法
CN112489204A (zh) 基于rgb图像的3d房间布局重建系统
Liu et al. A novel method for stereo matching using Gabor Feature Image and Confidence Mask
Fan et al. Photo Hull regularized stereo
Miyama Fast stereo matching with super-pixels using one-way check and score filter
Seo et al. Multi-layer superpixel-based MeshStereo for accurate stereo matching
Käck Robust stereo correspondence using graph cuts

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant