KR102438853B1 - 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템 - Google Patents

평면 정보를 활용한 깊이 영상 추정 방법 및 시스템 Download PDF

Info

Publication number
KR102438853B1
KR102438853B1 KR1020200072698A KR20200072698A KR102438853B1 KR 102438853 B1 KR102438853 B1 KR 102438853B1 KR 1020200072698 A KR1020200072698 A KR 1020200072698A KR 20200072698 A KR20200072698 A KR 20200072698A KR 102438853 B1 KR102438853 B1 KR 102438853B1
Authority
KR
South Korea
Prior art keywords
plane
depth image
planar
parameter set
region
Prior art date
Application number
KR1020200072698A
Other languages
English (en)
Other versions
KR20210073435A (ko
Inventor
박민규
윤주홍
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to PCT/KR2020/017963 priority Critical patent/WO2021256642A1/ko
Publication of KR20210073435A publication Critical patent/KR20210073435A/ko
Application granted granted Critical
Publication of KR102438853B1 publication Critical patent/KR102438853B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

두 대 이상의 카메라를 이용해 고품질의 깊이 영상을 획득하거나 공간을 복원하기 위해, 평면 정보를 활용하여 깊이 영상을 추정하는 방법 및 시스템이 제공된다. 본 발명의 일 실시예에 따른, 깊이 영상 추정 방법은, 깊이 영상 추정 시스템이, 초기 깊이 영상으로부터 평면 파라미터 집합을 추정하는 단계; 및 깊이 영상 추정 시스템이, 추정된 평면 파라미터 집합을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함한다. 이에 의해, 두 대 이상의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고 다양한 평면 정보를 추정함으로써, 두 장 혹은 두 장 이상의 영상에서 정교한 깊이 영상을 추정할 수 있으며, 모호함이 큰 환경에서도 정교한 깊이 영상을 획득할 수 있다. 이를 통해, 가상/증강 현실, 자율 주행 등 다양한 응용 기술에 사용될 수 있는, 보다 정교한 깊이 영상을 추정할 수 있다.

Description

평면 정보를 활용한 깊이 영상 추정 방법 및 시스템{Method and system for depth image estimation using flat information}
본 발명은 3D 영상 기술에 관한 것으로, 더욱 상세하게는 두 대 이상의 카메라를 이용해 고품질의 깊이 영상을 획득하거나 공간을 복원하기 위해, 평면 정보를 활용하여 깊이 영상을 추정하는 방법 및 시스템에 관한 것이다.
3D 영상을 구성하기 위해 가장 중요한 정보 중 하나는 깊이 영상이다. 영상 기반 깊이 추정 기술은 두 장 이상의 영상 간 대응점을 탐색하고, 카메라의 위치 정보를 기반으로 거리 정보를 계산하는 접근 방법이다.
따라서, 영상 간 대응점을 잘 탐색하는 것이 중요하며, 조밀한 대응점을 잘 탐색하기 위해 지금까지 수많은 연구가 진행되어 왔다.
하지만, 평면 정보를 이용하여 깊이 영상을 구성할 경우, 도 1에 나타난 바와 같이 평면이 아닌 영역에서 과도하게 평활하게 만드는(over-simplification) 문제가 발생할 가능성이 높으며, 장면에 대한 평면 파라미터가 충분하게 추정이 되지 않아서 다른 평면 정보를 활용하여 복원이 되는 문제가 발생할 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 두 대 이상의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고 다양한 평면 정보를 추정하여 보다 정교한 깊이 영상을 추정하는 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 깊이 영상 추정 방법은, 깊이 영상 추정 시스템이, 초기 깊이 영상으로부터 평면 파라미터 집합을 추정하는 단계; 및 깊이 영상 추정 시스템이, 추정된 평면 파라미터 집합을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함한다.
이때, 추정 단계는, 초기 깊이 영상을 기설정된 단위 영역으로 분할하고, 분할된 각각의 단위 영역을 대상으로 전역적 평면(global) 파라미터, 지역적 평면(local) 파라미터, 비평면(non-plane) 파라미터 영역, 상기 세 파라미터 중 어느 파라미터에도 해당하지 않아 판단을 유보하는 아웃라이어(outlier) 파라미터 중 어느 하나로 분류하여, 각각 평면의 방정식을 추정할 수 있다.
그리고, 추정 단계는, 각각의 단위 영역별을 전역적 평면 파라미터 집합 추정 결과, 지역적 평면 파라미터 집합 추정 결과, 비평면 파라미터 집합 추정 결과 및 아웃라이어 파라미터 집합 추정 결과를 이용하여, 평면 영역과 평면이 아닌 비평면 영역으로 구분하고, 비평면 영역인 경우, 비평면 파라미터에 적용되는 평면의 방정식을 통해 산출되는 디스패리티 값(disparity values)을 이용하여, 초기 깊이 영상이 개선되어, 최종 깊이 영상이 생성되도록 할 수 있다.
삭제
삭제
삭제
그리고 추정 단계는, 기설정된 단위 영역에 대한 정보만을 이용하여 지역적 평면 파라미터 집합을 추정하고, 평면 파라미터 집합이 추정된 단위 영역이 다른 단위 영역보다 상대적으로 중요도가 높은 관심 영역인 경우, 관심 영역의 지역적 평면 파라미터 집합 추정 결과에 관심 영역의 주변에 위치하는 주변 단위 영역들의 평면 파라미터 집합 추정 결과를 융합하여, 관심 영역의 전역적 평면 파라미터 집합을 추정할 수 있다.
또한, 추정 단계는, 관심 영역의 지역적 평면 파라미터 집합 추정 결과와 전역적 평면 파라미터 집합 추정 결과를 이용하여, 평면 영역과 평면이 아닌 비평면 영역을 구분하고, 생성 단계는, 관심 영역이 평면 영역인 경우, 평면 정보를 통해 최종 깊이 영상이 생성되도록 하고, 관심 영역이 비평면 영역인 경우, 픽셀 간 비교를 통해 초기 깊이 영상이 개선되어, 최종 깊이 영상이 생성되도록 할 수 있다.
그리고 생성 단계는, 관심 영역이 불확실성이 임계값 이상인 영역인 경우, 후처리 과정을 통해 깊이 정보가 추정되도록, 평면 파라미터 집합을 이용하지 않고, 초기 깊이 영상을 유지할 수 있다.
또한, 추정 단계는, 평면 영역과 비평면 영역이 구분되면, 동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하고, 생성된 평면들 중 벽면, 바닥, 천장으로 판단되는 평면 파라미터 집합을 선정할 수 있다.
그리고 추정 단계는, 동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하도록, 평면 영역을 대상으로 추정되는 각각의 평면의 방정식들 중 동일한 평면에 속하는 영역의 평면의 방정식들을 그래프 최적화 기법을 이용하여 하나로 융합할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 깊이 영상 추정 시스템은, 스테레오 영상을 생성하는 생성부; 및 스테레오 영상으로부터 초기 깊이 영상을 추정하고, 추정된 초기 깊이 영상으로부터 평면 파라미터 집합을 추정하며, 추정된 평면 파라미터 집합을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 프로세서;를 포함한다.
그리고 본 발명의 다른 실시예에 따른, 깊이 영상 추정 방법은, 깊이 영상 추정 시스템이, 초기 깊이 영상으로부터 지역적 평면 파라미터 집합 및 전역적 평면 파라미터 집합을 추정하는 단계; 및 깊이 영상 추정 시스템이, 추정된 지역적 평면 파라미터 집합 및 전역적 평면 파라미터 집합을 이용하여, 평면 영역과 평면이 아닌 비평면 영역을 구분하고, 구분 결과에 따라, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함한다.
또한, 본 발명의 다른 실시예에 따른, 깊이 영상 추정 시스템은, 스테레오 영상을 생성하는 생성부; 및 스테레오 영상으로부터 초기 깊이 영상을 추정하고, 추정된 초기 깊이 영상으로부터 지역적 평면 파라미터 집합 및 전역적 평면 파라미터 집합을 추정하고, 추정된 지역적 평면 파라미터 집합 및 전역적 평면 파라미터 집합을 이용하여, 평면 영역과 평면이 아닌 비평면 영역을 구분하고, 구분 결과에 따라, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 두 대 이상의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고 다양한 평면 정보를 추정함으로써, 두 장 혹은 두 장 이상의 영상에서 정교한 깊이 영상을 추정할 수 있으며, 모호함이 큰 환경에서도 정교한 깊이 영상을 획득할 수 있다.
이를 통해, 가상/증강 현실, 자율 주행 등 다양한 응용 기술에 사용될 수 있는, 보다 정교한 깊이 영상을 추정할 수 있다.
도 1은, 부정확한 깊이 영상을 추정한 경우를 나타낸 도면,
도 2는, 본 발명의 일 실시예에 따른 평면 정보를 활용한 깊이 영상 추정 시스템의 설명에 제공된 도면,
도 3 내지 도 4는, 본 발명의 일 실시예에 따른 평면 정보를 활용한 깊이 영상 추정 방법의 설명에 제공된 도면,
도 5는, 지역적 평면 파라미터 집합 추정 결과(Local-plane regions)와 전역적 평면 파라미터 집합 추정 결과(Global-plane regions)가 예시된 도면, 그리고
도 6은, 비평면 영역(Non-plane regions) 및 최종 깊이 영상이 예시된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는, 본 발명의 일 실시예에 따른 평면 정보를 활용한 깊이 영상 추정 시스템(이하에서는 '깊이 영상 추정 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이다.
본 실시예에 따른 깊이 영상 추정 시스템은, 두 대 이상의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고 다양한 평면 정보를 추정하여 보다 정교한 깊이 영상을 추정할 수 있다.
이를 위해, 깊이 영상 추정 시스템은, 생성부(110), 프로세서(120), 출력부(130) 및 저장부(140)를 포함할 수 있다.
생성부(110)는, 두대의 카메라로 스테레오 영상을 생성할 수 있으며, 출력부(130)는, 생성된 스테레오 영상과 깊이 영상을 디스플레이, 외부기기, 네트워크 등으로 출력할 수 있다.
저장부(140)는, 생성된 영상들을 저장하고, 프로세서(120)가 영상 처리를 수행함에 있어 필요한 저장공간을 제공할 수 있다.
프로세서(120)는, 스테레오 영상으로부터 초기 깊이 영상을 추정하고, 추정된 초기 깊이 영상으로부터 평면 파라미터 집합을 추정하며, 추정된 평면 파라미터 집합을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성할 수 있다.
예를 들면, 프로세서(120)는, 평면 파라미터 집합을 이용하여, 깊이 영상을 후처리 하는데, 평면 영역과 평면이 아닌 비평면 영역을 구분하고, 구분 결과에 따라 서로 다른 방법을 적용하여, 초기 깊이 영상을 개선하고, 이를 통해 최종 깊이 영상을 생성할 수 있다.
구체적으로, 프로세서(120)는, 초기 깊이 영상을 기설정된 단위 영역으로 분할하고, 분할된 각각의 단위 영역을 대상으로 배경에 해당하는 파라미터인 전역적 평면(global) 파라미터, 객체에 해당하는 파라미터인 지역적 평면(local) 파라미터, 비평면(non-plane) 파라미터, 상기 세 파라미터 중 어느 파라미터에도 해당하지 않아 판단을 유보하는 아웃라이어(outlier) 파라미터 중 어느 하나로 분류하여, 각각 평면의 방정식을 추정하고, 각각의 단위 영역별을 전역적 평면 파라미터 집합 추정 결과, 지역적 평면 파라미터 집합 추정 결과, 비평면 파라미터 집합 추정 결과 및 아웃라이어 파라미터 집합 추정 결과를 이용하여, 평면 영역과 평면이 아닌 비평면 영역으로 구분하고, 비평면 영역인 경우, 비평면 파라미터에 적용되는 평면의 방정식을 통해 산출되는 디스패리티 값(disparity values)을 이용하여, 초기 깊이 영상이 개선되어, 최종 깊이 영상이 생성되도록 할 수 있다.
여기서, 디스패리티 값(disparity values)은, 스테레오 영상에서의 픽셀의 x축 차이 값을 의미한다.
즉, 프로세서(120)는, 추정된 지역적 평면 파라미터 집합 및 전역적 평면 파라미터 집합을 이용하여, 평면 영역과 평면이 아닌 비평면 영역을 구분하고, 구분 결과에 따라, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성할 수 있다.
구체적으로, 평면의 방정식(
Figure 112020061553354-pat00012
)은,
Figure 112020061553354-pat00013
가, 초기 디스패리티 맵(initial disparity map)이고,
Figure 112020061553354-pat00014
가, 전역적 평면 파라미터 집합 추정 결과이고,
Figure 112020061553354-pat00015
가, 지역적 평면 파라미터 집합 추정 결과인 경우,
Figure 112020061553354-pat00016
가,
Figure 112020061553354-pat00017
이며,
Figure 112020061553354-pat00018
가,
Figure 112020061553354-pat00019
이며,
Figure 112020061553354-pat00020
가
Figure 112020061553354-pat00021
에서의 초기 디스패리티 값이며,
Figure 112020061553354-pat00022
가, 재구성된 최종 디스패리티 값이고,
Figure 112020061553354-pat00023
가,
Figure 112020061553354-pat00024
인 경우,
Figure 112020061553354-pat00025
이고, 그 외 경우,
Figure 112020061553354-pat00026
이며,
Figure 112020061553354-pat00027
는 상수 값인 경우, 하기 수식 1을 이용할 수 있다.
(수식 1)
Figure 112020061553354-pat00028
또한, 프로세서(120)는, H가, 디스패리티 맵(disparity map)인 경우, 픽셀의 디스패리티 값(
Figure 112020061553354-pat00029
)이 과도하게 매개 변수화(over-parameterized)되는 경우,
Figure 112020061553354-pat00030
로 추정하고, 디스패리티 값이, 초기 디스패리티 값인 경우,
Figure 112020061553354-pat00031
로 추정하고, 디스패리티 값이, 아웃라이어(outlier)인 경우,
Figure 112020061553354-pat00032
로 추정할 수 있다. 여기서,
Figure 112020061553354-pat00033
는 후 처리를 통해 정제 된 빈 값을 갖는 픽셀을 의미한다.
즉, 프로세서(120)는, 기설정된 단위 영역에는, 전역적 평면 파라미터, 지역적 평면 파라미터, 비평면 파라미터, 상기 세 파라미터 중 어느 파라미터에도 해당하지 않아 판단을 유보하는 아웃라이어 파라미터 중 둘 이상의 파라미터가 포함되는 경우, 포함된 둘 이상의 파라미터를 기반으로 보다 정교한 깊이 영상을 추정하기 위해, 평면의 방정식(
Figure 112022501849487-pat00037
)을 정의할 수 있다.
삭제
삭제
삭제
여기서, dissimilarity 함수
Figure 112020061553354-pat00038
는 레퍼런스 이미지로부터 2 개의 이미지 패치를 비교할 수 있다.
예를 들어, 프로세서(120)는, dissimilarity 함수를 이용하여, P의 중심의 왼쪽 이미지, P의 이동된 위치의 대상 이미지로부터 스캔 라인을 따라
Figure 112020061553354-pat00039
또는
Figure 112020061553354-pat00040
의 양만큼 시프트된 위치를 비교할 수 있다.
도 3 내지 도 4는, 본 발명의 일 실시예에 따른 평면 정보를 활용한 깊이 영상 추정 방법(이하에서는 '깊이 영상 추정 방법'의 설명에 제공된 도면이다.
본 실시예에 따른 깊이 영상 추정 방법을 이용하는 깊이 영상 추정 방법은, 두 대의 카메라를 이용하여 스테레오 영상을 생성하고(S310), 스테레오 영상으로부터 초기 깊이 영상을 추정하며(S320), 추정된 초기 깊이 영상으로부터 평면 파라미터 집합을 추정할 수 있다(S330).
그리고 깊이 영상 추정 방법은, 이후, 추정된 평면 파라미터 집합을 이용하여, 초기 깊이 영상을 개선하여, 최종 깊이 영상을 생성할 수 있다(S340).
평면 파라미터 집합의 추정 단계에서는 도 4에 예시된 바와 같이, 초기 깊이 영상을 다수의 기설정된 단위 영역으로 분할하고, 분할된 각각의 단위 영역을 대상으로 전역적 평면(global) 파라미터, 지역적 평면(local) 파라미터, 비평면(non-plane) 파라미터, 상기 세 파라미터 중 어느 파라미터에도 해당하지 않아 판단을 유보하는 아웃라이어(outlier) 파라미터 중 어느 하나로 분류하고, 분류 결과에 따라 분할된 영역들을 합치거나(Merging) 클러스터링(Clustering) 하여 평면들을 생성한 후에, 평면들 중 가장 두드러지게 관찰되는 평면들을 레이아웃에 해당하는 평면 파라미터 집합으로 선정하는 과정에 의해 수행된다.
여기서, 선정되는 주요 평면 파라미터 집합은, 평면들 사이의 호환성이 기준이 되며, 주로 벽면, 바닥, 천장 등으로 레이아웃에 해당하는 평면들이 선정되며, 이들은 일반적으로, 깊이 영상에서 깊이가 가장 깊은 부분들, 즉, 장면의 배경에 해당하는 부분들이다.
즉, 깊이 영상 추정 방법은, 프로세서(120)가, 기설정된 단위 영역에 대한 정보만을 이용하여 지역적 평면 파라미터 집합을 추정하고, 평면 파라미터 집합이 추정된 단위 영역이 다른 단위 영역보다 상대적으로 중요도가 높은 관심 영역인 경우, 관심 영역의 지역적 평면 파라미터 집합 추정 결과에 관심 영역의 주변에 위치하는 주변 단위 영역들의 평면 파라미터 집합 추정 결과를 융합하여, 관심 영역의 전역적 평면 파라미터 집합을 추정할 수 있다.
그리고 이때, 프로세서(120)는, 추정 단계에서, 도 5에 예시된 관심 영역의 전역적 평면 파라미터 집합 추정 결과, 지역적 평면 파라미터 집합 추정 결과, 비평면 파라미터 집합 추정 결과 및 아웃라이어 파라미터 집합 추정 결과를 이용하여, 평면 영역과 평면이 아닌 비평면 영역으로 구분할 수 있다.
또한, 프로세서(120)는, 생성 단계에서, 도 6에 예시된 바와 같이 관심 영역이 평면 영역인 경우, 평면 정보를 통해 최종 깊이 영상이 생성되도록 하고, 관심 영역이 비평면 영역인 경우, 비평면 파라미터에 적용되는 평면의 방정식을 통해 산출되는 디스패리티 값(disparity values)을 이용하여, 초기 깊이 영상을 개선하여, 최종 깊이 영상이 생성되도록 할 수 있다. 여기서, 도 6의 f는 최종 깊이 영상이 예시된 도면이다.
또한, 프로세서(120)는, 관심 영역이 불확실성이 임계값 이상인 영역인 경우, 후처리 과정을 통해 깊이 정보가 추정되도록, 평면 파라미터 집합을 이용하지 않고, 초기 깊이 영상을 유지할 수 있으며, 평면 영역과 비평면 영역이 구분되면, 동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하고, 생성된 평면들 중 벽면, 바닥, 천장으로 판단되는 평면 파라미터 집합을 선정할 수 있다.
예를 들면, 프로세서(120)는, 동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하도록, 평면 영역을 대상으로 추정되는 각각의 평면의 방정식들 중 동일한 평면에 속하는 영역의 평면의 방정식들을 그래프 최적화 기법을 이용하여 하나로 융합할 수 있다. 결과적으로, 연산을 최소화하는 동시에, 장면을 표현할 수 있는 가장 적은 수의 평면 파라미터 정보를 획득할 수 있다.
즉, 프로세서(120)는, 연산을 최소화하는 동시에, 장면을 표현할 수 있는 가장 적은 수의 평면 파라미터 정보를 획득하기 위해, 분류 결과에 따라, 전역적 평면 파라미터들의 평면의 방정식을 융합하여, 전역적 평면 파라미터에 대한 하나의 평면의 방정식을 추정하고, 지역적 평면 파라미터들의 평면의 방정식을 융합하여, 지역적 평면 파라미터에 대한 하나의 평면의 방정식을 추정하고, 비평면 파라미터 및 아웃라이어 파라미터 역시 동일하게 각각 하나의 평면의 방정식을 추정할 수 있다.
또한, 프로세서(120)는, 동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하도록, 평면 영역을 대상으로 추정되는 각각의 평면의 방정식들 중 동일한 평면에 속하는 영역의 평면의 방정식들을 그래프 최적화 기법을 이용하여 하나로 융합할 수 있다. 결과적으로, 장면을 표현할 수 있는 가장 적은 수의 평면 파라미터 정보를 얻을 수 있다.
그리고 프로세서(120)는, 평면 파라미터 집합 추정이 완료되면, 추정된 평면 파라미터 집합을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하기 위해, 추정된 평면 파라미터 집합의 평면 방정식을 이용하여, 평면 파라미터 집합에 포함된 픽셀의 깊이를 추정하는데, 구체적으로, 각 평면 파라미터 집합은 평면의 방정식을 갖으므로 해당 평면의 방정식을 이용하여 모든 픽셀을 와핑(warping)한 다음 영상 간 비교를 수행한다.
평면 파라미터 집합은 평면 영역이므로 평면 파라미터 집합에 대해서는 평면 정보를 이용하여 패치간 비교를 수행하는 것이다.
한편, 평면 파라미터 집합 영역에 포함되지 않은 영역에 대해서는 잡음을 제거한 후에 픽셀들의 깊이를 추정한다. 평면 파라미터 집합이 아닌 영역에 대해서는 깊이 경계 영역의 정확도를 향상시키는 것이다.
이를 위해, 깊이 영상에서 영역들을 평면 파라미터 집합, 로컬 평면, 비평면 영역 등으로 레이블링하는 것이 필요하여, Likelihood 함수를 이용할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 생성부
120 : 프로세서
130 : 출력부
140 : 저장부

Claims (12)

  1. 깊이 영상 추정 시스템이, 초기 깊이 영상으로부터 평면 파라미터 집합을 추정하는 단계; 및
    깊이 영상 추정 시스템이, 추정된 평면 파라미터 집합을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함하며,
    추정 단계는,
    초기 깊이 영상을 기설정된 단위 영역으로 분할하고, 분할된 각각의 단위 영역을 대상으로 전역적 평면(global) 파라미터, 지역적 평면(local) 파라미터, 비평면(non-plane) 파라미터, 상기 세 파라미터 중 어느 파라미터에도 해당하지 않아 판단을 유보하는 아웃라이어(outlier) 파라미터 중 어느 하나로 분류하여, 각각 평면의 방정식을 추정하며,
    추정 단계는,
    기설정된 단위 영역에 대한 정보만을 이용하여 지역적 평면 파라미터 집합을 추정하고,
    평면 파라미터 집합이 추정된 단위 영역이 다른 단위 영역보다 상대적으로 중요도가 높은 관심 영역인 경우, 관심 영역의 지역적 평면 파라미터 집합 추정 결과에 관심 영역의 주변에 위치하는 주변 단위 영역들의 평면 파라미터 집합 추정 결과를 융합하여, 관심 영역의 전역적 평면 파라미터 집합을 추정하고,
    추정 단계는,
    관심 영역의 지역적 평면 파라미터 집합 추정 결과와 전역적 평면 파라미터 집합 추정 결과를 이용하여, 평면 영역과 평면이 아닌 비평면 영역을 구분하고,
    생성 단계는,
    관심 영역이 평면 영역인 경우, 평면 정보를 통해 최종 깊이 영상이 생성되도록 하고,
    관심 영역이 비평면 영역인 경우, 픽셀 간 비교를 통해 초기 깊이 영상이 개선되어, 최종 깊이 영상이 생성되도록 하며,
    생성 단계는,
    관심 영역이 불확실성이 임계값 이상인 영역인 경우, 후처리 과정을 통해 깊이 정보가 추정되도록, 평면 파라미터 집합을 이용하지 않고, 초기 깊이 영상을 유지하고,
    추정 단계는,
    평면 영역과 비평면 영역이 구분되면, 동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하고, 생성된 평면들 중 벽면, 바닥, 천장으로 판단되는 평면 파라미터 집합을 선정하며,
    추정 단계는,
    동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하도록, 평면 영역을 대상으로 추정되는 각각의 평면의 방정식들 중 동일한 평면에 속하는 영역의 평면의 방정식들을 그래프 최적화 기법을 이용하여 하나로 융합하고,
    추정 단계는,
    연산을 최소화하는 동시에, 장면을 표현할 수 있는 가장 적은 수의 평면 파라미터 정보를 획득하기 위해, 분할된 각각의 단위 영역의 분류 결과에 따라, 전역적 평면 파라미터들의 평면의 방정식을 융합하여, 전역적 평면 파라미터에 대한 하나의 평면의 방정식을 추정하고,
    지역적 평면 파라미터들의 평면의 방정식을 융합하여, 지역적 평면 파라미터에 대한 하나의 평면의 방정식을 추정하고,
    비평면 파라미터 및 아웃라이어 파라미터에 대한 각각의 평면의 방정식을 추정하며,
    추정 단계는,
    평면 파라미터 집합 추정이 완료되면, 추정된 평면 파라미터 집합을 이용하여 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하기 위해, 추정된 평면 파라미터 집합의 평면 방정식을 이용하여 모든 픽셀을 와핑(warping)한 다음 영상 간 비교를 수행함으로써, 평면 파라미터 집합에 포함된 픽셀의 깊이를 추정하는 것을 특징으로 하는 깊이 영상 추정 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    추정 단계는,
    각각의 단위 영역을 전역적 평면 파라미터 집합 추정 결과, 지역적 평면 파라미터 집합 추정 결과, 비평면 파라미터 집합 추정 결과 및 아웃라이어 파라미터 집합 추정 결과를 이용하여, 평면 영역과 평면이 아닌 비평면 영역으로 구분하고,
    비평면 영역인 경우, 비평면 파라미터에 적용되는 평면의 방정식을 통해 산출되는 디스패리티 값(disparity values)을 이용하여, 초기 깊이 영상이 개선되어, 최종 깊이 영상이 생성되도록 하는 것을 특징으로 하는 깊이 영상 추정 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 스테레오 영상을 생성하는 생성부; 및
    스테레오 영상으로부터 초기 깊이 영상을 추정하고, 추정된 초기 깊이 영상으로부터 평면 파라미터 집합을 추정하며, 추정된 평면 파라미터 집합을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 프로세서;를 포함하고,
    프로세서는,
    초기 깊이 영상을 기설정된 단위 영역으로 분할하고, 분할된 각각의 단위 영역을 대상으로 전역적 평면(global) 파라미터, 지역적 평면(local) 파라미터, 비평면(non-plane) 파라미터, 상기 세 파라미터 중 어느 파라미터에도 해당하지 않아 판단을 유보하는 아웃라이어(outlier) 파라미터 중 어느 하나로 분류하여, 각각 평면의 방정식을 추정하며,
    프로세서는,
    기설정된 단위 영역에 대한 정보만을 이용하여 지역적 평면 파라미터 집합을 추정하고,
    평면 파라미터 집합이 추정된 단위 영역이 다른 단위 영역보다 상대적으로 중요도가 높은 관심 영역인 경우, 관심 영역의 지역적 평면 파라미터 집합 추정 결과에 관심 영역의 주변에 위치하는 주변 단위 영역들의 평면 파라미터 집합 추정 결과를 융합하여, 관심 영역의 전역적 평면 파라미터 집합을 추정하고,
    프로세서는,
    관심 영역의 지역적 평면 파라미터 집합 추정 결과와 전역적 평면 파라미터 집합 추정 결과를 이용하여, 평면 영역과 평면이 아닌 비평면 영역을 구분하고,
    생성부는,
    관심 영역이 평면 영역인 경우, 평면 정보를 통해 최종 깊이 영상이 생성되도록 하고,
    관심 영역이 비평면 영역인 경우, 픽셀 간 비교를 통해 초기 깊이 영상이 개선되어, 최종 깊이 영상이 생성되도록 하며,
    생성부는,
    관심 영역이 불확실성이 임계값 이상인 영역인 경우, 후처리 과정을 통해 깊이 정보가 추정되도록, 평면 파라미터 집합을 이용하지 않고, 초기 깊이 영상을 유지하고,
    프로세서는,
    평면 영역과 비평면 영역이 구분되면, 동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하고, 생성된 평면들 중 벽면, 바닥, 천장으로 판단되는 평면 파라미터 집합을 선정하며,
    프로세서는,
    동일한 평면상에 존재하는 평면 영역들을 합쳐 평면들을 생성하도록, 평면 영역을 대상으로 추정되는 각각의 평면의 방정식들 중 동일한 평면에 속하는 영역의 평면의 방정식들을 그래프 최적화 기법을 이용하여 하나로 융합하고,
    프로세서는,
    연산을 최소화하는 동시에, 장면을 표현할 수 있는 가장 적은 수의 평면 파라미터 정보를 획득하기 위해, 분할된 각각의 단위 영역의 분류 결과에 따라, 전역적 평면 파라미터들의 평면의 방정식을 융합하여, 전역적 평면 파라미터에 대한 하나의 평면의 방정식을 추정하고,
    지역적 평면 파라미터들의 평면의 방정식을 융합하여, 지역적 평면 파라미터에 대한 하나의 평면의 방정식을 추정하고,
    비평면 파라미터 및 아웃라이어 파라미터에 대한 각각의 평면의 방정식을 추정하며,
    프로세서는,
    평면 파라미터 집합 추정이 완료되면, 추정된 평면 파라미터 집합을 이용하여 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하기 위해, 추정된 평면 파라미터 집합의 평면 방정식을 이용하여 모든 픽셀을 와핑(warping)한 다음 영상 간 비교를 수행함으로써, 평면 파라미터 집합에 포함된 픽셀의 깊이를 추정하는 것을 특징으로 하는 깊이 영상 추정 시스템.

  11. 삭제
  12. 삭제
KR1020200072698A 2019-12-10 2020-06-16 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템 KR102438853B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/017963 WO2021256642A1 (ko) 2019-12-10 2020-12-09 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190163236 2019-12-10
KR20190163236 2019-12-10

Publications (2)

Publication Number Publication Date
KR20210073435A KR20210073435A (ko) 2021-06-18
KR102438853B1 true KR102438853B1 (ko) 2022-09-06

Family

ID=76623576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200072698A KR102438853B1 (ko) 2019-12-10 2020-06-16 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102438853B1 (ko)
WO (1) WO2021256642A1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
KR101896301B1 (ko) * 2013-01-03 2018-09-07 삼성전자주식회사 깊이 영상 처리 장치 및 방법
KR102085228B1 (ko) * 2014-03-27 2020-03-05 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
KR101869605B1 (ko) * 2016-09-29 2018-06-21 전자부품연구원 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법
KR101817140B1 (ko) * 2016-12-30 2018-01-10 동의대학교 산학협력단 평면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치
KR102264962B1 (ko) * 2017-12-18 2021-06-15 한국전자기술연구원 레이아웃 정보를 이용한 깊이 영상 후처리 방법
KR102494552B1 (ko) * 2017-12-28 2023-02-03 광주과학기술원 실내 복원 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Min-Gyu Park 등, As-planar-as-possible depth map estimation, Computer Vision and Image Understanding(2019.02.11.)*

Also Published As

Publication number Publication date
KR20210073435A (ko) 2021-06-18
WO2021256642A1 (ko) 2021-12-23

Similar Documents

Publication Publication Date Title
JP7173772B2 (ja) 深度値推定を用いた映像処理方法及び装置
US9405359B2 (en) Plane-characteristic-based markerless augmented reality system and method for operating same
JP6261489B2 (ja) ３次元点群から平面を抽出する、方法、画像処理装置およびプログラムを記憶した非一次的なコンピュータ可読媒体
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
US9098908B2 (en) Generating a depth map
US8487926B2 (en) Method and apparatus for generating 3D image using 2D photograph images
US8737723B1 (en) Fast randomized multi-scale energy minimization for inferring depth from stereo image pairs
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
JP5425897B2 (ja) 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法
KR102380862B1 (ko) 영상 처리 방법 및 장치
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
US8599199B2 (en) Stereoscopic image generation method of background terrain scenes, system using the same, and recording medium for the same
US20170272724A1 (en) Apparatus and method for multi-view stereo
US9342867B2 (en) Apparatus and method for reconstructing super-resolution three-dimensional image from depth image
US10708505B2 (en) Image processing apparatus, method, and storage medium
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
KR20200107217A (ko) 영상 처리 방법 및 장치
JPWO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
KR20160098012A (ko) 영상 매칭 방법 및 장치
JP5200042B2 (ja) 視差推定装置およびそのプログラム
JP7185194B2 (ja) ポイントクラウドグローバルテトリスパッキング
KR102438853B1 (ko) 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템
KR20180073976A (ko) 다중 시점 카메라 기반 깊이 영상 추정 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant