KR20180073020A - 임의시점 영상의 홀 채움 방법 - Google Patents

Abstract

임의시점 영상의 홀 채움 방법이 제공된다. 본 홀 채움 방법은 다시점 영상을 임의시점으로 투영시켜 임의시점 영상을 생성하는 단계; 생성된 임의시점 영상에 나타난 홀의 종류를 판별하는 단계; 및 판별된 종류에 따라 각기 다른 기법을 홀을 채우는 단계;를 포함한다.
이에 의해, 임의시점 영상의 홀을 그 발생한 원인에 따라 구분하고, 각 원인에 보다 적합하고 효율적인 홀 채움 알고리즘을 적용함으로써, 임의시점 영상 생성의 정확도를 높이고 속도를 향상시킬 수 있게 된다.

Description

임의시점 영상의 홀 채움 방법{Hole Filling Method for Arbitrary View Image}

본 발명은 홀 채움 기술에 관한 것으로, 더욱 상세하게는 초다시점 영상과 깊이맵을 이용해서 임의시점 영상을 생성하는 과정에서 발생하는 홀들을 채우는 방법에 관한 것이다.

실감 증강현실을 위해 상호작용이 가능한 3차원 자유시점 비디오가 필요해지면서 적은 수의 카메라로 더 많은 수의 시점을 정확하게 생성하는 임의시점 생성 기술이 중요해지고 있다.

정확한 임의시점 영상을 생성하는데 있어서 홀 채우기는 가장 핵심 문제 중 하나이다.

기존의 홀 채움 방법에서는, 임의시점의 영상을 생성할 때 발생한 모든 홀들을 기본적으로 동일한 종류의 홀로 간주하고, 이를 채우기 위해 모든 홀에 동일한 홀 채움 알고리즘을 적용한다.

하지만, 초다시점 영상과 깊이를 이용해서 생성한 임의시점 영상의 홀들은 그 발생한 원인이 다르며, 그 원인에 따라 임의시점 영상에서 매우 다른 특성의 패턴을 가진 홀들로 나타난다.

이와 같이 서로 다른 특성을 보이는 임의시점 영상의 홀들에 동일한 홀 채움 알고리즘을 적용하여 채우는 것은 특정 홀들에서 정확도와 효율성이 떨어지는 단점을 나타나는바, 이에 대한 개선이 필요하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 임의시점 영상의 홀을 그 발생한 원인에 따라 구분하고, 각 원인에 보다 적합하고 효율적인 홀 채움 알고리즘을 적용하는 홀 채움 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 홀 채움 방법은 다시점 영상을 임의시점으로 투영시켜 임의시점 영상을 생성하는 단계; 생성된 임의시점 영상에 나타난 홀의 종류를 판별하는 단계; 및 판별된 종류에 따라 각기 다른 기법을 홀을 채우는 단계;를 포함한다.

홀을 채우는 단계는, 화각에 의해 발생된 홀은 제1 기법으로 홀을 채울 수 있다.

제1 기법은, 홀이 발생한 장면의 배경으로 홀을 채우는 기법일 수 있다.

홀을 채우는 단계는, 임의시점에 투영된 3차원 점들의 밀집도가 임의시점 영상의 픽셀 밀집도보다 낮아 발생된 홀이면, 제2 기법으로 홀을 채울 수 있다.

제2 기법은, 임의시점 영상을 홀이 존재하지 않을 때까지 해상도를 다운 샘플링한 후 원래의 해상도가 될 때까지 업 샘플링하여 얻어진 영상을 이용하여 홀을 채우는 기법일 수 있다.

홀을 채우는 단계는, 임의시점에 투영될 3차원 점들이 깊이에 의한 오클루전으로 발생된 홀이면, 제3 기법으로 홀을 채울 수 있다.

제3 기법은, 깊이 기반의 인페인팅 기법일 수 있다.

한편, 본 발명의 다른 실시예에 따른, 다시점 영상 생성 시스템은 다시점 영상을 생성하는 생성부; 및 다시점 영상을임의시점으로 투영시켜 임의시점 영상을 생성하고, 생성된 임의시점 영상에 나타난 홀의 종류를 판별하며, 판별된 종류에 따라 각기 다른 기법을 홀을 채우는 영상 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 임의시점 영상의 홀을 그 발생한 원인에 따라 구분하고, 각 원인에 보다 적합하고 효율적인 홀 채움 알고리즘을 적용함으로써, 임의시점 영상 생성의 정확도를 높이고 속도를 향상시킬 수 있게 된다.

도 1은 3차원 공간 매칭을 나타낸 도면,
도 2는 임시시점 영상의 홀 발생을 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 임의시점 영상의 홀 채움 방법의 설명에 제공되는 흐름도,
도 4는 홀 마스크 이미지를 예시한 도면,
도 5 및 도 6은, 화각에 의한 홀에 대한 홀 채움의 설명에 제공되는 도면,
도 7 및 도 8은, 해상도에 의한 홀에 대한 홀 채움의 설명에 제공되는 도면, 그리고,
도 9는 오클루전에 의한 홀에 대한 홀 채움의 설명에 제공되는 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

초다시점 영상은 한 공간에서 다양한 위치에 존재하는 수십 대의 RGB 카메라로 획득한 영상들을 의미하고, 임의시점 영상은 그 공간의 임의의 가상 위치에서 획득한 가상의 RGB 영상을 의미한다.

따라서 초다시점 영상 기반의 임의시점 생성이란 한 공간에 다양한 위치에 존재하는 수십 대의 카메라로 획득한 영상들을 이용해서 그 공간에서 가상 위치에서의 영상을 생성해내는 것이다.

초다시점 영상 기반의 임의시점 영상 합성에는 초다시점 영상들의 깊이맵이 이용된다. 먼저, 초다시점 영상들의 픽셀들을 주어진 깊이 정보와 카메라 정보를 이용하여 3차원 공간의 점들로 변환하고, 이렇게 구해진 3차원 점들을 원하는 임의시점 위치로 투영시킨다. 이때, 초다시점 영상의 각 RGB 영상마다 3차원 점들을 구하기 때문에 이 3차원 점들을 3차원 공간에서 매칭을 해서 단일 3차원 점들로 만든 다음 (예시: 도 1) 임의시점으로 투영시킨다. 이렇게 만들어진 임의시점 영상은 홀 (예시: 도 2에서 어두운 부분) 이 발생한다.

본 발명의 일 실시예에 따른 임의시점 영상의 홀 채움 방법에서는, 초다시점 영상과 깊이를 이용해서 생성한 임의시점 영상의 홀들을 화각을 벗어나 발생한 홀, 낮은 밀집도로 인한 해상도 홀, 오클루전 홀로 구분하여, 각기 다른 홀 채움 알고리즘을 적용한다.

이를 위해, 먼저 임의시점 영상에서의 홀을 찾기 위하여 임의시점 영상을 생성할 때 마스크를 이용하고, 이렇게 찾아낸 홀들로부터 각 홀이 발생한 원인을 그 주변의 홀들을 통해서 판별한다.

그리고, 홀이 발생한 원인과 상관없이 모두 동일한 홀 채움 알고리즘을 적용한 종래기술과 달리, 각 홀이 발생한 연유에 따라 각기 다른 홀 채움 알고리즘을 적용하여 홀을 채운다.

도 3은 본 발명의 일 실시예에 따른 임의시점 영상의 홀 채움 방법의 설명에 제공되는 흐름도이다.

도 3에 도시된 바와 같이, 먼저, 임의시점 영상의 픽셀이 홀인지 아닌지를 빠르게 찾아내기 위해 홀 마스크 이미지를 생성한다(S110).

3차원 점들을 임의시점 영상으로 투영할 때 투영되지 않는 픽셀들은 모두 홀로 간주하여, 홀인지 아닌지 여부를 판별한다. 홀 마스크 이미지는 임의시점 영상과 동일한 해상도를 가지는 영상으로 각 픽셀은 0, 80, 160, 240 중 한 개의 값을 가진다. 초기에 마스크의 모든 픽셀은 0 값을 가지고 3차원 점이 투영될 때마다 80씩 증가한다. 따라서 최종 마스크의 픽셀 값은 (예시: 도 4) 그 픽셀이 홀인지 아닌지를 알려준다.

다음, 홀들이 발생한 원인을 판별하여, 홀 원인을 레이블링한다(S120). 임의시점 영상에 홀들이 발생하는 원인은 여러 가지가 존재하는데, 본 발명의 실시예에서는 홀들이 발생하는 원인의 종류를 다음의 4가지로 분류한다.

(1) 화각에 의한 홀

만일 임의시점 영상이 초다시점 영상에 존재하지 않는 장면을 필요로 한다면 이는 임의시점이 초다시점의 전체 화각을 벗어나서 발생한 홀이다. 즉, 임의시점에 투영될 3차원 점들이 초다시점의 영상 어디에도 존재하지 않음으로써 생기는 홀이다. 이러한 홀들은 그 특성상 임의시점 영상의 가장자리에 수직으로 혹은 수평으로 넓은 지역에 걸쳐 나타난다. 예시로 도 4의 가장자리 검은 부분들이 화각에 의한 홀이다. 따라서 화각에 의해 발생되는 홀은 홀 마스크 영상의 가장자리를 분석해서 홀의 크기가 (즉, 홀이 연속으로 나오는 영상의 크기) 일정 부분 이상이라면 화각에 의한 홀로 간주한다.

(2) 해상도에 의한 홀

만일 임의시점에 투영된 3차원 점들의 밀집도가 임의시점 영상의 픽셀 밀집도보다 낮으면 임의시점의 영상에 홀이 발생한다. 즉, 임의시점 영상이 더욱 조밀한 3차원 점들을 필요로 해서 생긴 홀이고, 이는 보통 임의시점이 초다시점보다 장면에 더욱 가까이 있는 경우에 발생한다. 이러한 홀들은 그 특성상 임의시점 영상에서 격자 모양으로 홀이 발생하는 패턴을 가진다. 예시로 도 4의 오른쪽 격자 모양의 검은 부분들이 해상도에 의한 홀이다. 이는 홀의 크기가 작고 특정 방향으로 연속성을 가지기 때문에 홀의 크기가 일정 부분 이하이고 방향성을 가진다면 해상도에 의한 홀로 간주한다.

(3) 오클루전에 의한 홀

만일 임의시점에 투영될 3차원 점들이 깊이에 의한 오클루전으로 인해 초다시점 영상에 존재하지 않는다면 임의시점의 영상에 홀이 발생한다. 즉, 화각에 의한 홀과 유사하게 초다시점의 영상 어디에도 투영될 픽셀이 존재하지 않아서 발생하는 홀이지만 이 홀은 임의시점 영상의 중간 부분에 장면과 밀접하게 연관되어 나타나기 때문에 중요하게 다루어져야 한다. 이러한 홀들은 장면에서 물체와 물체 사이의 경계 부분에 나타난다. 예시로 도 4의 구와 삼각뿔 그리고 삼각뿔과 배경의 경계선 부분의 검은 부분들이 오클루전에 의한 홀이다. 따라서 오클루전에 의한 홀은 임의시점의 영상과 깊이맵을 기반으로 경계선을 찾아내어 홀 마스크에서 그 경계선에 해당되는 부분 중 검은 부분들을 오클루전에 의한 홀로 간주한다.

(4) 기타 원인에 의한 홀

위 3가지에 해당되지 않는 홀은 기타 원인에 의한 홀로 간주한다.

이후, 홀들이 발생한 원인별로 각기 다른 홀 채움 알고리즘을 적용하여 홀을 채운다.

구체적으로, 화각에 의한 홀인 경우(S130-예), 그 홀이 발생한 장면의 배경으로 처리한다(S135). 임의시점 영상에서 홀이 아닌 부분으로부터 배경 검출 기법을 이용해서 배경을 검출해내고, 그 중 화각에 의한 홀과 가장 가까운 배경에 해당하는 픽셀들로 홀을 채운다(예시: 도 5 및 도 6).

그리고, 해상도에 의한 홀인 경우(S140-예) 초고해상도 기법을 이용한다(S145). 임의시점 영상을 해상도에 의한 홀이 존재하지 않을 때까지 해상도를 다운 샘플링 하는 것이다. 이 낮은 해상도의 임의시점 영상을 초고해상도(Super-resolution) 기법을 이용해서 원래의 해상도가 될 때까지 업 샘플링하고 이렇게 해서 얻어진 영상으로부터 해상도에 의한 홀 부분의 픽셀들을 가져와 채운다(예시: 도 7 & 8).

또한, 오클루전에 의한 홀인 경우(S150-예), 깊이 기반의 인페인팅 기법을 이용한다(S155). 임의시점 영상에서 현재 채우고자 하는 오클루전 홀과 가장 근접한 픽셀의 깊이를 찾고 이와 비슷한 깊이의 주변 픽셀들을 찾아내어 이 픽셀들의 픽셀값을 거리 가중치로 더해서 홀을 채운다(예시: 도 9).

한편, 기타 원인에 의한 홀(S160-예) : Joint Bilateral 필터를 이용하여 홀을 채운다(S165).

도 10은 본 발명의 다른 실시예에 따른 초다시점 영상 생성 시스템의 블럭도이다. 본 발명의 실시예에 따른 초다시점 영상 생성 시스템은, 도 10에 도시된 바와 같이, 초다시점 영상 생성부(210), 영상 프로세서(220), 영상 출력부(230) 및 저장부(240)를 포함한다.

초다시점 영상 생성부(210)는 다수의 카메라로 초다시점 영상들을 생성하고, 영상 프로세서(220)는 초다시점 영상들로부터 임의영상들을 생성하며, 영상 출력부(230)는 생성된 영상들을 디스플레이, 외부기기, 네트워크 등으로 출력한다.

저장부(240)는 생성된 영상들을 저장하는 한편, 영상 프로세서(220)가 임의시점 영상을 생성함에 있어 필요한 저장공간을 제공한다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

210 : 초다시점 영상 생성부
220 : 영상 프로세서
230 : 영상 출력부
240 : 저장부

Claims (8)

1. 다시점 영상을 임의시점으로 투영시켜 임의시점 영상을 생성하는 단계;
   생성된 임의시점 영상에 나타난 홀의 종류를 판별하는 단계; 및
   판별된 종류에 따라 각기 다른 기법을 홀을 채우는 단계;를 포함하는 것을 특징으로 하는 홀 채움 방법.
   
2. 청구항 1에 있어서,
   홀을 채우는 단계는,
   화각에 의해 발생된 홀은 제1 기법으로 홀을 채우는 것을 특징으로 하는 홀 채움 방법.
   
3. 청구항 2에 있어서,
   제1 기법은,
   홀이 발생한 장면의 배경으로 홀을 채우는 기법인 것을 특징으로 하는 홀 채움 방법.
   
4. 청구항 1에 있어서,
   홀을 채우는 단계는,
   임의시점에 투영된 3차원 점들의 밀집도가 임의시점 영상의 픽셀 밀집도보다 낮아 발생된 홀이면, 제2 기법으로 홀을 채우는 것을 특징으로 하는 홀 채움 방법.
   
5. 청구항 4에 있어서,
   제2 기법은,
   임의시점 영상을 홀이 존재하지 않을 때까지 해상도를 다운 샘플링한 후 원래의 해상도가 될 때까지 업 샘플링하여 얻어진 영상을 이용하여 홀을 채우는 기법인 것을 특징으로 하는 홀 채움 방법.
   
6. 청구항 1에 있어서,
   홀을 채우는 단계는,
   임의시점에 투영될 3차원 점들이 깊이에 의한 오클루전으로 발생된 홀이면, 제3 기법으로 홀을 채우는 것을 특징으로 하는 홀 채움 방법.
   
7. 청구항 6에 있어서,
   제3 기법은,
   깊이 기반의 인페인팅 기법인 것을 특징으로 하는 홀 채움 방법.
   
8. 다시점 영상을 생성하는 생성부; 및
   다시점 영상을임의시점으로 투영시켜 임의시점 영상을 생성하고, 생성된 임의시점 영상에 나타난 홀의 종류를 판별하며, 판별된 종류에 따라 각기 다른 기법을 홀을 채우는 영상 프로세서;를 포함하는 것을 특징으로 하는 다시점 영상 생성 시스템.

Images