KR102264962B1 - 레이아웃 정보를 이용한 깊이 영상 후처리 방법 - Google Patents

Abstract

두 대의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고, 장면에 대한 사전지식을 바탕으로 보다 정교한 깊이 영상을 추정하는 방법이 제공된다. 본 발명의 실시예에 따른 깊이 영상 후처리 방법은 초기 깊이 영상으로부터 레이아웃을 추정하는 단계; 및 추정된 레이아웃을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함한다.
이에 의해, 두 장의 영상에서 추정한 장면에 대한 레이아웃으로부터 보다 정교한 깊이 영상을 추정할 수 있게 된다.

Description

레이아웃 정보를 이용한 깊이 영상 후처리 방법{Stereo Depth Map Post-processing Method with Scene Layout}

본 발명은 3D 영상 기술에 관한 것으로, 더욱 상세하게는 양안 영상을 이용한 깊이 추정 방법에 관한 것이다.

3D 영상을 구성하기 위해 가장 중요한 정보 중 하나는 깊이 영상이다. 영상 기반 깊이 추정 기술은 두 장 이상의 영상 간 대응점을 탐색하고, 카메라의 위치 정보를 기반으로 거리 정보를 계산하는 접근 방법이다.

따라서, 영상 간 대응점을 잘 탐색하는 것이 중요하며, 조밀한 대응점을 잘 탐색하기 위해 지금까지 수많은 연구가 진행되어 왔다.

하지만, 역설적이게도, 고해상도 영상에서 정확한 깊이 영상을 얻지 못하는 경우가 빈번한데, 도 1에 이같은 상황을 나타내었다. 도 1에는 입력 영상(a)과 그에 대한 깊이 영상(b)을 제시하였는데, 바닥부분의 깊이 정보가 많이 부정확하게 산출되었음을 확인할 수 있다

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 두 대의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고, 장면에 대한 사전지식을 바탕으로 보다 정교한 깊이 영상을 추정하는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 깊이 영상 후처리 방법은 초기 깊이 영상으로부터 레이아웃을 추정하는 단계; 및 추정된 레이아웃을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함한다.

레이아웃은, 평면일 수 있다.

레이아웃 추정 단계는, 초기 깊이 영상을 다수의 영역으로 분할하는 단계; 분할된 영역들을 합쳐 평면들을 생성하는 단계; 생성된 평면들 중 레이아웃을 선정하는 단계;를 포함할 수 있다.

평면 생성 단계는, 분할된 영역들의 평면의 방정식들을 추정하는 단계; 평면의 방정식들로부터 동일한 평면상에 존재하는 것으로 판단되는 영역들을 합쳐 평면들을 생성하는 단계;를 포함할 수 있다.

선정단계는, 벽면, 바닥, 천장으로 판단되는 평면들을 선정하는 것일 수 있다.

최종 깊이 영상 생성단계는, 추정된 레이아웃의 평면 방정식을 이용하여, 레이아웃에 포함된 픽셀의 깊이를 추정하는 것일 수 있다.

레이아웃 영역에 포함되지 않은 영역에 대해서는 잡음을 제거한 후에 픽셀들의 깊이를 추정할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 영상 시스템은 스테레오 영상을 생성하는 생성부; 및 스테레오 영상으로부터 초기 깊이 영상을 추정하고, 초기 깊이 영상으로부터 레이아웃을 추정하며, 추정된 레이아웃을 이용하여 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 두 장의 영상에서 추정한 장면에 대한 레이아웃으로부터 보다 정교한 깊이 영상을 추정할 수 있게 된다.

특히, 본 발명의 실시예들에 따르면, 흰 벽면과 같이 모호함이 아주 큰 환경에서도 강건하게 깊이 영상을 추정할 수 있게 된다.

도 1은 부정확한 깊이 영상을 추정한 경우를 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 깊이 영상 후처리 방법의 설명에 제공되는 도면,
도 3은 레이아웃 선정 방법의 부연 설명에 제공되는 도면,
도 4는 레이아웃 추정 과정을 예시한 도면,
도 5는 다양한 레이아웃 추정 결과들을 예시한 도면,
도 6은 레이블링의 부연 설명에 제공되는 도면, 그리고,
도 7은 본 발명의 다른 실시예에 따른 영상 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는 레이아웃 정보를 이용한 깊이 영상 후처리 방법을 제시한다. 본 발명의 실시예에 따른 깊이 영상 후처리 방법은, 두 대의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고, 장면에 대한 사전지식을 바탕으로 보다 정교한 깊이 영상을 추정한다.

본 발명의 실시예에 따른 깊이 영상 후처리 방법은, 장면에 대한 사전 지식(man-made environment, 복수 개의 평면이 존재하는 환경)을 바탕으로 레이아웃을 추정한다.

그리고, 본 발명의 실시예에 따른 깊이 영상 후처리 방법은, 레이아웃 정보를 이용하여 깊이 영상을 후처리 하는데, 레이아웃 영역과 레이아웃이 아닌 영역에 대해 다른 방법을 적용한다.

구체적으로, 레이아웃의 경우, 평면 영역이므로 평면 정보를 이용하여 패치간 비교를 수행하고, 레이아웃이 아닌 영역의 경우 깊이 경계 영역의 정확도를 향상시키는 접근 방법을 갖는다.

도 2는 본 발명의 일 실시예에 따른 깊이 영상 후처리 방법의 설명에 제공되는 도면이다.

도 2에 도시된 바와 같이, 먼저 두 대의 카메라를 이용하여 스테레오 영상이 생성되고, 스테레오 영상으로부터 초기 깊이 영상이 추정된다. 다음, 초기 깊이 영상으로부터 장면의 레이아웃을 추정한다. 이후, 추정된 레이아웃을 이용하여 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성한다.

레이아웃 추정은, 도 2에 도시된 바와 같이, 초기 깊이 영상을 다수의 영역으로 분할하고 분할된 영역들을 합치거나(Merging) 클러스터링(Clustering) 하여 평면들을 생성한 후에, 평면들 중 가장 두드러지게 관찰되는 평면들을 레이아웃으로 선정하는 과정에 의해 수행된다.

평면 생성을 위해, 먼저, 분할된 영역들의 평면의 방정식들을 추정하고, 추정된 평면의 방정식들로부터 동일한 평면상에 존재하는 것으로 판단되는 영역들을 합쳐 평면들을 생성한다.

선정되는 주요 레이아웃은, 평면들 사이의 호환성이 기준이 된다. 이를 테면, 도 3의 좌측에 도시된 경우는 평면들 간에 인간이 만든 구조물로서의 호환성이 있는 경우이고, 도 3의 우측에 도시된 경우는 평면들 간에 호환성이 없는 경우에 해당한다

이에 따라, 벽면, 바닥, 천장 등으로 판단되는 평면들이 선정되며, 이들은 일반적으로, 깊이 영상에서 깊이가 가장 깊은 부분들, 즉, 장면의 배경에 해당하는 부분들이다.

도 4에는 위에서 설명한 방법에 따라 초기 깊이 영상으로부터 장면의 레이아웃을 추정하는 실제 예를 나타내었고, 도 5에는 다양한 레이아웃 추정 결과들을 예시하였다.

다시, 도 2를 참조하여 설명한다.

레이아웃 추정이 완료되면, 추정된 레이아웃을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성한다.

이를 위해, 먼저, 추정된 레이아웃의 평면 방정식을 이용하여, 레이아웃에 포함된 픽셀의 깊이를 추정하는데, 구체적으로, 각 레이아웃은 평면의 방정식을 갖으므로 해당 평면의 방정식을 이용하여 모든 픽셀을 와핑(warping)한 다음 영상 간 비교를 수행한다.

레이아웃은 평면 영역이므로 레이아웃에 대해서는 평면 정보를 이용하여 패치간 비교를 수행하는 것이다.

한편, 레이아웃 영역에 포함되지 않은 영역에 대해서는 잡음을 제거한 후에 픽셀들의 깊이를 추정한다. 레이아웃이 아닌 영역에 대해서는 깊이 경계 영역의 정확도를 향상시키는 것이다.

이를 위해, 깊이 영상에서 영역들을 레이아웃, 로컬 평면, 비평면 영역 등으로 레이블링하는 것이 필요한데, 도 6에 도시된 바와 같이, Likelihood 함수를 이용할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 영상 시스템의 블럭도이다. 본 발명의 실시예에 따른 영상 시스템은, 도 6에 도시된 바와 같이, 스테레오 영상 생성부(110), 영상 프로세서(120), 영상 출력부(130) 및 저장부(140)를 포함한다.

스테레오 영상 생성부(110)는 두대의 카메라로 스테레오 영상을 생성하고, 영상 프로세서(120)는 스테레오 영상으로부터 초기 깊이 영상을 추정하고, 초기 깊이 영상에서 레이아웃을 추정하며, 추정한 레이아웃을 이용하여 초기 깊이 영상을 개선함으로써 최종 깊이 영상을 추정한다.

영상 출력부(130)는 생성된 스테레오 영상과 깊이 영상을 디스플레이, 외부기기, 네트워크 등으로 출력한다. 저장부(140)는 생성된 영상들을 저장하는 한편, 영상 프로세서(120)가 영상 처리를 수행함에 있어 필요한 저장공간을 제공한다.

지금까지, 레이아웃 정보를 이용한 깊이 영상 후처리 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

본 발명의 실시예에 따른 깊이 영상 후처리 방법은, 양안 영상을 이용해 획득한 깊이 영상의 품질을 향상시켜, 실내 환경이나 도심과 같이 사람이 만든 환경에서 고품질의 깊이 영상을 획득하는 것이 가능하다.

깊이 정보는 환경의 모델링, 가상/증강 현실, 자율 주행 등 다양한 응용 기술에 사용될 수 있다.

본 발명의 실시예에 따른 깊이 영상 후처리 방법으로, 두 장의 영상에서 정교한 깊이 영상과 함께 장면에 대한 레이아웃을 추정할 수 있고, 흰 벽면과 같이 모호함이 아주 큰 환경에서도 강건하게 깊이 영상을 추정할 수 있다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 스테레오 영상 생성부
120 : 영상 프로세서
130 : 영상 출력부
140 : 저장부

Claims (8)

1. 초기 깊이 영상으로부터 초기 깊이 영상에 대한 레이아웃을 추정하는 단계; 및
   추정된 레이아웃을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함하고,
   최종 깊이 영상 생성단계는,
   추정된 레이아웃의 평면 방정식을 이용하여, 레이아웃에 포함된 픽셀의 깊이를 추정하며,
   레이아웃 영역에 포함되지 않은 영역에 대해서는 잡음을 제거한 후에 픽셀들의 깊이를 추정하는 것을 특징으로 하는 깊이 영상 후처리 방법.
   
2. 청구항 1에 있어서,
   레이아웃은,
   평면인 것을 특징으로 하는 깊이 영상 후처리 방법.
   
3. 청구항 2에 있어서,
   레이아웃 추정 단계는,
   초기 깊이 영상을 다수의 영역으로 분할하는 단계;
   분할된 영역들을 합쳐 평면들을 생성하는 단계;
   생성된 평면들 중 레이아웃을 선정하는 단계;를 포함하는 것을 특징으로 하는 깊이 영상 후처리 방법.
   
4. 청구항 3에 있어서,
   평면 생성 단계는,
   분할된 영역들의 평면의 방정식들을 추정하는 단계;
   평면의 방정식들로부터 동일한 평면상에 존재하는 것으로 판단되는 영역들을 합쳐 평면들을 생성하는 단계;를 포함하는 것을 특징으로 하는 깊이 영상 후처리 방법.
   
5. 청구항 3에 있어서,
   선정단계는,
   벽면, 바닥, 천장으로 판단되는 평면들을 선정하는 것을 특징으로 하는 깊이 영상 후처리 방법.
   
6. 삭제
7. 삭제
8. 스테레오 영상을 생성하는 생성부; 및
   스테레오 영상으로부터 초기 깊이 영상을 추정하고, 초기 깊이 영상으로부터 초기 깊이 영상에 대한 레이아웃을 추정하며, 추정된 레이아웃을 이용하여 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 프로세서;를 포함하고,
   프로세서는,
   추정된 레이아웃의 평면 방정식을 이용하여, 레이아웃에 포함된 픽셀의 깊이를 추정하며,
   레이아웃 영역에 포함되지 않은 영역에 대해서는 잡음을 제거한 후에 픽셀들의 깊이를 추정하는 것을 특징으로 하는 영상 시스템.
   

Images