KR101729924B1

KR101729924B1 - 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법

Info

Publication number: KR101729924B1
Application number: KR1020100074908A
Authority: KR
Inventors: 조양호; 박두식; 이호영; 황규영; 정영주
Original assignee: 삼성전자주식회사
Priority date: 2010-08-03
Filing date: 2010-08-03
Publication date: 2017-04-26
Also published as: US20120033872A1; US8634675B2; KR20120012873A

Abstract

소수의 입력 영상에서 다수의 가상 시점 영상을 생성하기 위한 뷰 외삽 장치 및 방법이 제공된다. 시간에 따른 프레임들로 구성된 참조 시점의 뷰를 출력하고, 출력된 참조 시점의 뷰의 프레임들의 크기를 조절하여 크기 조절된 프레임을 생성하며, 크기 조절된 프레임을 사용하여 가상 시점의 외삽 뷰를 생성한다.

Description

영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING EXTRAPOLATED VIEW BASED ON IMAGE RESIZING}

아래의 실시예들은 촬영 시점보다 바깥쪽에서의 시점을 기준으로 한 외삽 뷰 제공을 위한 장치 및 방법에 관한 것이다.

3D(3-dimensional) 영상(image) 장치는 2개 이상의 시점에서 피사체를 촬영하여 각각의 시점에 대한 입력(input) 뷰(view)를 생성한다.

입력 뷰는 프레임(frame)의 시퀀스(sequence)로 구성된다. 즉, 입력 뷰는 단위 시간 당 특정한 개수, 예컨대 30FPS(frames per second)로 출력되는 프레임들로 구성된다.

일반적으로, 상기의 프레임은 프레임을 구성하는 화소(pixel)들 각각에 대한 색상(color) 정보 및 깊이(depth) 정보를 갖는 3차원 영상이다. 깊이 정보는 상기 화소에 대응하는 객체(object) 또는 배경(background)과 촬영 시점 간의 거리를 나타낸다.

화소의 색상 정보는, 예컨대 RGB와 같은, 색상을 나타내기 위한 임의의 이진 표현일 수 있다.

화소의 깊이 정보는, 예컨대 정수 또는 부동소수점과 같은, 거리를 나타내기 위한 임의의 이진 표현일 수 있다.

3D 영상 장치는 입력 뷰들의 시점 외의, 다른 시점에서의 영상(image)을 사용자에게 제공해야 할 필요가 있다. 따라서, 3D 영상 장치는 입력 뷰들을 기반으로 상기 입력 뷰와 다른 시점에서의 출력 뷰(output view)를 생성할 수 있다.

뷰 내삽(view interpolation)은 입력 뷰들의 시점들의 사이에 있는 임의의 가상 시점에서의 출력 뷰를 생성하는 것을 의미한다. 뷰 내삽은 생성하고자 하는 가상 뷰 시점에 인접한 양쪽의 입력 뷰 영상을 참조하여 출력 뷰 영상을 생성할 수 있다. 뷰 내삽에 의해 생성된 출력 뷰를 내삽 뷰(interpolated view)라 한다.

뷰 외삽(view extrapolation)은 입력 뷰들의 시점들의 외각에 있는 임의의 시점에서의 출력 뷰를 생성하는 것을 의미한다. 즉, 뷰 외삽은 최좌측 입력 뷰의 시점보다 좌측 시점에서의 출력 뷰 또는 최우측 입력 뷰의 시점보다 우측 시점에서의 출력 뷰를 생성하는 것을 의미한다. 뷰 외삽에 의해 생성된 출력 뷰를 외삽 뷰(extrapolated view)라 한다.

뷰 외삽은 최외곽에 있는 하나의 입력 뷰만을 참조하여 출력 뷰 영상을 생성한다. 따라서 뷰 외삽을 위해 사용될 수 있는 정보는 상대적으로 적다. 이러한 이유로, 뷰 외삽으로 생성된 영상에서는 뷰 내삽으로 생성된 영상에 비해 많은 화질 열화가 발생한다.

내삽 뷰 및 외삽 뷰 또한 프레임의 시퀀스로 구성된다. 일반적으로, 내삽 뷰 또는 외삽 뷰의 프레임은 2차원 영상이다.

본 발명의 일측에 따르면, 참조 시점의 뷰를 출력하는 입력 뷰 생성부 - 상기 참조 시점의 뷰는 시간에 따른 참조 프레임들로 구성됨 -, 상기 참조 프레임을 구성하는 복수 개의 부분 영역들 각각의 중요도를 계산하는 중요도 계산부, 상기 중요도에 기반하여 상기 참조 프레임의 크기를 조절하여 크기 조절된 프레임을 생성하는 크기 조절부 및 상기 크기 조절된 프레임을 사용하여 가상 시점의 외삽 뷰를 생성하는 외삽 뷰 생성부를 포함하는, 영상 장치가 제공된다.

상기 영상 장치는 복수 개의 시점들로부터의 복수 개의 뷰들을 획득할 수 있고, 상기 입력 뷰 생성부는 상기 복수 개의 시점들 중 최좌측 또는 최우측 시점으로부터 획득되는 뷰를 출력할 수 있다.

상기 부분 영역들 각각은 상기 부분 영역들 각각에 포함되는 화소들의 색상 정보를 포함할 수 있고, 상기 중요도 계산부는 상기 부분 영역들 각각의 상기 색상 정보에 기반하여 상기 중요도를 계산할 수 있다.

상기 중요도 계산부는 상기 색상 정보의 변화도에 기반하여 상기 중요도를 계산할 수 있다.

상기 부분 영역들 각각은 상기 부분 영역들 각각에 포함되는 화소들의 깊이 정보를 포함할 수 있고, 상기 중요도 계산부는 상기 깊이 정보에 기반하여 상기 중요도를 계산할 수 있다.

상기 부분 영역들 각각은 상기 부분 영역들 각각에 포함되는 화소들이 전경 또는 배경인지 여부에 대한 정보를 포함할 수 있고, 상기 중요도 계산부는 상기 화소들이 전경 또는 배경인지 여부에 대한 정보에 기반하여 상기 중요도를 계산할 수 있다.

상기 부분 영역들은 상기 참조 프레임을 수직으로 분할한 영역들일 수 있다.

상기 중요도 계산부는 상기 부분 영역들의 상기 참조 프레임 내에서의 수평 위치에 기반하여 상기 중요도를 계산할 수 있다.

상기 크기 조절부는 상기 복수 개의 부분 영역들 중 중요도의 오름차순으로 적어도 하나의 부분 영역을 선택하고, 상기 선택된 적어도 하나의 부분 영역의 수평 크기를 조절함으로써 상기 참조 프레임의 크기를 조절할 수 있다.

상기 복수 개의 부분 영역들은 상기 참조 프레임의 수직 선들일 수 있다.

상기 크기 조절부는 상기 수직 선들 중 중요도의 오름차순으로 적어도 하나의 수직 선을 선택하고, 상기 선택된 적어도 하나의 수직 선과 동일한 수직 선을 상기 선택된 적어도 하나의 수직 선 옆에 삽입함으로써 상기 참조 프레임의 크기를 조절할 수 있다.

상기 크기 조절부는 상기 선택된 수직 선과 미리 정의된 특정 거리 내에 있는 수직 선은 이후의 선택에서 제외할 수 있다.

상기 외삽 뷰 생성부는 상기 통합된 프레임의 색상 정보 및 깊이 정보를 사용하여 상기 통합된 프레임의 화소의 위치를 이동시킴으로써 상기 외삽 뷰를 생성할 수 있다.

상기 외삽 뷰 생성부는 상기 참조 시점 및 상기 가상 시점 간의 거리에 비례하는 가중치를 사용하여 상기 화소의 위치를 이동시킴으로써 상기 외삽 뷰를 생성할 수 있다.

본 발명의 다른 일측에 따르면, 참조 시점의 뷰를 출력하는 입력 뷰 생성 단계 - 상기 참조 시점의 뷰는 시간에 따른 참조 프레임들로 구성됨 -, 상기 참조 프레임을 구성하는 복수 개의 수직 선들 각각의 중요도를 계산하는 중요도 계산 단계, 상기 중요도에 기반하여 상기 참조 프레임의 크기를 조절하여 크기 조절된 프레임을 생성하는 크기 조절 단계 및 상기 크기 조절된 프레임을 사용하여 가상 시점의 외삽 뷰를 생성하는 외삽 뷰 생성 단계를 포함하는, 외삽 뷰 생성 방법이 제공된다.

상기 중요도 계산 단계는 상기 수직 선들 각각의 상기 참조 프레임 내에서의 수평 위치, 상기 수직 선들 각각에 포함되는 화소들의 색상 정보, 상기 화소들의 깊이 정보 및 상기 화소들이 전경 또는 배경인지 여부 중 하나 이상에 기반하여 상기 수직 선들 각각의 중요도를 계산할 수 있다.

상기 크기 조절 단계는 상기 복수 개의 수직 선들 중 일부를 선택하고, 상기 선택된 수직 선들 각각과 동일한 수직 선들을 상기 선택된 수직 선들 옆에 삽입함으로써 상기 크기 조절된 프레임을 생성할 수 있다.

상기 크기 조절 단계는, 상기 복수 개의 수직 선들을 중요도의 오름차순으로 정렬하는 단계, 상기 정렬에 따른 첫 번째 수직 선을 선택하는 단계 및 상기 선택된 수직 선과 동일한 수직 선을 상기 선택된 수직 선 옆에 삽입하는 단계를 포함할 수 있고, 상기 선택된 수직 선과 미리 정의된 특정 거리 내에 있는 수직 선은 상기 정렬에서 제외됨으로써 상기 선택에서 제외될 수 있다.

상기 외삽 뷰 생성 단계는 상기 참조 시점 및 상기 가상 시점 간의 거리에 비례하는 가중치, 상기 크기 조절 프레임의 색상 정보 및 상기 크기 조절된 프레임의 깊이 정보를 사용하여 상기 크기 조절된 프레임의 화소의 위치를 이동시키는 영상 래핑 단계를 포함할 수 있다.

소수의 입력 영상에서 다수의 가상 시점 영상을 생성하기 위한 뷰 외삽 장치 및 방법이 제공된다.

도 1은 본 발명의 일 실시예에 따른 2개의 입력 뷰에 기반한 뷰 생성 방법을 도시한다.
도 2는 본 발명의 일 실시예에 따른 3개의 입력 뷰에 기반한 뷰 생성 방법을 도시한다.
도 3은 본 발명의 일 실시예에 따른 외삽 뷰의 프레임 생성 방법을 도시한다.
도 4는 본 발명의 일 실시예에 따른 입력 뷰의 복수 개의 프레임을 사용하여 외삽 뷰의 프레임을 생성하는 방법을 도시한다.
도 5는 본 발명의 일 실시예에 따른 입력 뷰의 프레임을 크기 조절(resize)하여 외삽 뷰의 프레임을 생성하는 방법을 도시한다.
도 6은 본 발명의 일 실시예에 따른 영상 장치의 구조도이다.
도 7은 본 발병의 일 예에 따른 외삽의 방향 및 부분 영역의 수평 위치에 따른 중요도 가중치를 도시한다.
도 8은 본 발명의 일 예에 따른 수직 선의 중요도에 기반한 크기 조절된 프레임 생성 방법을 도시한다.
도 9는 본 발명의 일 실시예에 따른 외삽 뷰 생성 방법을 도시하는 흐름도이다.
도 10은 본 발명의 일 예에 따른 크기 조절된 프레임 생성 방법을 도시하는 흐름도이다.

이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 2개의 입력 뷰에 기반한 뷰 생성 방법을 도시한다.

본 실시예에서, 촬영의 대상이 되는 피사체(110)는 전경(foreground) 및 배경(background)(112)으로 구성된다. 상기 전경은 제1 객체(object)(114) 및 제2 객체(116)를 포함한다.

관측자의 시점에 따라서, 제1 객체(114) 및 제2 객체(116)의 배경(112)에 대한 상대적 위치는 좌측 또는 우측으로 이동한다.

예컨대, 카메라와 같은 제1 입력 장치(120)는 제1 시점에서, 제2 입력 장치(130)는 제2 시점에서 상기 피사체(110)를 촬영한다.

제1 입력 장치(120)는 촬영을 통해 제1 입력 뷰(122)를 생성하고, 제2 입력 장치(130)는 촬영을 통해 제2 입력 뷰(132)를 생성한다. 즉, 제1 입력 뷰(122)는 시청자가 제1 시점에서 피사체(110)를 보았을 때의 영상을 제공하고, 제2 입력 뷰(132) 는 시청자가 제2 시점에서 피사체(110)를 보았을 때의 영상을 제공한다.

제1 입력 뷰(122) 및 제2 입력 뷰(132)는 프레임의 시퀀스로 구성된다. 특정 순간 t에서의 제1 입력 뷰(122)의 프레임(124) 및 제2 입력 뷰(132)의 프레임(134)이 사각형으로 도시되었다.

상기 제1 시점 및 상기 제2 시점 외의 임의의 가상 시점에서 시청자가 피사체(110)를 바라보았을 경우의 영상이 제공되기 위해서는, 상기 제1 뷰(122) 및/또는 상기 제1 뷰(132)에 의해 제공되는 프레임들을 사용하여 뷰 외삽 또는 뷰 내삽을 하여야 한다.

내삽 뷰 및 외삽 뷰 또한 프레임의 시퀀스로 구성된다.

도 1에서 도시된 삼각형들(140, 142, 150, 152, 160 및 162)은 각각 삼각형이 위치한 시점에서의 내삽 뷰 및 외삽 뷰의 프레임들을 나타낸다. 상기 프레임들은 특정 순간 t에서의 프레임들이다.

최좌측 입력 뷰, 즉 제1 입력 뷰(142)의 시점보다 더 좌측인 시점에서의 뷰는 외삽 뷰이다. 또한, 최우측 입력 뷰, 즉 제2 입력 뷰(142)의 시점보다 더 우측인 시점에서의 뷰는 외삽 뷰이다. 즉, 프레임들(140, 142, 160 및 162)은 상기 특정 순간 t에서의 외삽 뷰의 프레임이다.

입력 뷰들(122 및 132)의 시점들 사이에 있는 시점에서의 뷰는 내삽 뷰이다. 즉, 프레임들(150 및 152)은 상기 특정 순간 t에서의 내삽 뷰의 프레임이다.

도 2는 본 발명의 일 실시예에 따른 3개의 입력 뷰에 기반한 뷰 생성 방법을 도시한다.

입력 장치들(220, 230 및 240)은 각각의 시점에서 피사체(110)를 촬영하고, 각각 입력 뷰(222, 232 및 242)를 생성한다.

입력 장치들(220, 230 및 240)의 시점이 아닌 상이한 시점에서 시청자가 피사체(110)를 바라보았을 때의 영상이 제공되기 위해서는, 상기 입력 장치들에 의해 생성되는 입력 뷰(222, 232 및 242)에 의해 제공되는 프레임들을 사용하여 뷰 외삽 또는 뷰 내삽을 하여야 한다.

도 2에서 도시된 사각형들(224, 234 및 244)은 각각 입력 뷰의 프레임을 나타낸다.

도 2에서 도시된 삼각형들(250, 252, 260, 262, 270, 272, 280 및 282)은 각각 삼각형이 위치한 시점에서의 내삽 뷰 또는 외삽 뷰의 프레임을 나타낸다.

최좌측 입력 뷰(220)의 시점보다 더 좌측인 시점에서의 뷰는 외삽 뷰이다. 또한, 최우측 입력 뷰(242)의 시점보다 더 우측인 시점에서의 뷰는 외삽 뷰이다. 특정 순간 t에서의 상기 외삽 뷰의 프레임(250, 252, 280 및 282)이 도시되었다.

입력 뷰들(222, 232 및 242)의 시점들 사이에 있는 시점에서의 뷰는 내삽 뷰이다. 상기 특정 순간 t에서의 상기 내삽 뷰의 프레임(260, 262, 270 및 272)이 도시되었다.

상기 내삽 뷰 및 외삽 뷰는 프레임의 시퀀스로 구성된다.

도 1 및 도 2를 참조하여 전술 된 것처럼, N개의 입력 뷰에 기반하여, 상기 N개의 입력 뷰의 시점 및 이와 상이한 시점에서의 M개의 출력 뷰가 생성될 수 있다.

도 3은 본 발명의 일 실시예에 따른 외삽 뷰의 프레임 생성 방법을 도시한다

입력 뷰(310)를 통해 프레임의 시퀀스가 제공된다. 특정 순간 t에서의 입력 뷰(310)의 프레임(312)이 도시되었다.

입력 뷰(310)에 기반하여 입력 뷰(310)보다 더 우측 시점에서의 뷰 외삽을 통해, 제1 외삽 뷰 및 제2 외삽 뷰가 생성된다.

상기 특정 순간 t에서의 제1 외삽 뷰의 프레임(320) 및 제2 외삽 뷰의 프레임(330)이 입력 뷰(310)의 프레임(312)을 사용하여 생성된다.

입력 뷰(310)는 도 1의 피사체(110)를 촬영한 것이며, 입력 뷰(310)의 프레임(312)은 배경(314), 제1 객체(316) 및 제2 객체(318)로 구성된다.

제1 외삽 뷰의 프레임(320)도 배경(324), 제1 객체(326) 및 제2 객체(328)로 구성된다.

제1 외삽 뷰의 시점은 입력 뷰(310)의 시점보다 우측에 위치한다. 따라서, 제1 외삽 뷰의 프레임(320) 내의 배경(324), 제1 객체(326) 및 제2 객체(328)는 입력 뷰(310)의 프레임(312)에서보다 더 좌측에 위치한다.

상기의 배경(324)이 얼만큼 더 좌측에 위치할 것인지는 입력 뷰(310)의 시점으로부터 배경(324)까지의 거리에 의존하며, 입력 뷰(310)의 시점 및 제1 외삽 뷰의 시점 간의 거리에 의존한다.

전술된 것과 같이, 배경(324) 전체가 좌측으로 이동하기 때문에, 제1 외삽 뷰의 프레임(320)은 입력 뷰(310)의 프레임(312)에 의해 채워질 수 없는 프레임 경계 홀(344)을 갖는다.

전경을 구성하는 객체들(326 및 328)은 배경(324)이 이동함에 따라 함께 이동한다. 또한 객체들(326 및 328)은 배경(324)보다 더 좌측으로 이동한다.

상기의 객체들(326 및 328)이 배경(324)에 대비하여 얼만큼 더 좌측에 위치할 것인지는 입력 뷰(310)의 시점으로부터 객체들(326 및 328) 각각까지의 거리에 의존하며, 입력 뷰(310)의 시점 및 제1 외삽 뷰의 시점 간의 거리에 의존한다.

객체(326 및 328)가 배경(324)에 비해 더 좌측으로 이동하기 때문에, 제1 외삽 뷰의 프레임(320)은 입력 뷰(310)의 프레임(312)에 의해 채워질 수 없는 객체 경계 홀(346 및 348)을 갖는다.

외삽 뷰를 생성하기 위해, 상기 프레임 경계 홀(334) 및 상기 객체 경계 홀(346 및 348)에는 적절한 화소가 외삽되어야 한다.

제2 외삽 뷰의 프레임(330)도 프레임 경계 홀(354) 및 객체 경계 홀(356 및 358)을 갖는다.

제2 외삽 뷰의 시점은 제1 외삽 뷰의 시점에 비해, 입력 뷰(310)의 시점으로부터 더 멀리 떨어져 있다. 제2 외삽 뷰의 프레임(330) 내의 배경(334), 제1 객체(336) 및 제2 객체(338)는 각각 제1 외삽 뷰의 프레임(320) 내의 배경(324), 제1 객체(326) 및 제2 객체(328)에 비해 더 좌측에 위치한다.

제2 외삽 뷰의 프레임(330) 내의 프레임 경계 홀(354) 및 객체 경계 홀(356 및 358)은 각각 제1 외삽 뷰의 프레임(320) 내의 프레임 경계 홀(344) 및 객체 경계 홀(346 및 348)보다 좌우로 더 넓다.

따라서, 제2 외삽 뷰의 프레임(330) 내의 프레임 경계 홀(354) 및 객체 경계 홀(356 및 358)에는 더 많은 화소가 외삽되어야 한다.

도 4는 본 발명의 일 실시예에 따른 입력 뷰의 복수 개의 프레임을 사용하여 외삽 뷰의 프레임을 생성하는 방법을 도시한다.

외삽 뷰의 프레임을 생성하기 위해 사용되는 입력 뷰를 참조 뷰(reference view)라 한다.

상기 참조 뷰는 복수 개의 입력 뷰들 중 최좌측 시점의 입력 뷰 또는 최우측 시점의 입력 뷰일 수 있다.

복수 개의 외삽 뷰가 참조 뷰로부터의 거리에 따라 구분될 수 있다. 참조 뷰로부터 외삽 뷰까지의 거리를 나타내는 x 축을 공간 도메인(spatial domain)이라 한다.

참조 뷰 및 외삽 뷰는 단위 시간 당 특정한 개수의 프레임들을 출력한다. 출력되는 프레임들의 시간적 순서를 나타내는 y 축을 템포럴 도메인(temporal domain)이라 한다.

즉, 공간 도메인은 동일한 순간을 기준으로 뷰들의 시점들 간의 거리를 나타내는 공간축으로 볼 수 있다. 템포럴 도메인은 단일한 뷰를 기준으로 프레임들 사이의 시간적 순서를 나타내는 시간축으로 볼 수 있다.

특정 순간 t에서의 참조 뷰 프레임(420) 만을 사용하여 외삽 뷰 프레임(440)을 생성하면, 상기 외삽 뷰 프레임(440) 내에 전술된 배경 홀 영역(442) 및 객체 홀 영역(444 및 446)이 발생한다.

상기의 배경 홀 영역(442) 및 객체 홀 영역(444 및 446)에 적절한 화소를 외삽하여 적절한 외삽 뷰 프레임(440)을 생성하기 위해, 특정 순간 t에서의 참조 뷰 프레임(420) 외에 이전 또는 이후의 참조 뷰 프레임이 사용된다.

본 실시예에서는, 예시적으로, 상기 특정 순간 t의 이전(t-1) 프레임(410) 및 다음(t+1) 프레임(430)이 사용된다.

즉, 특정 순간 t에서의 외삽 뷰 프레임(440)을 생성하기 위해, 참조 뷰의 시간적으로 연속하는 3개의 프레임(410, 420 및 430)이 사용된다.

참조 뷰 프레임(410, 420 및 430) 내의 배경은 시간이 경과함에 따라 우측으로 이동한다. 따라서, 다른 순간(t-1 및 t+1)에서의 참조 뷰 프레임(410 및 430)의 배경 데이터가 외삽 뷰 프레임(440)의 배경 홀 영역(442)을 보상하기 위해 사용될 수 있다.

또한, 참조 뷰의 프레임(410, 420 및 430) 내의 객체는 시간이 경과함에 따라 우측으로 이동한다. 따라서, 특정 순간 t에서의 참조 뷰 프레임(420)에서는 객체에 의해 가려져 있던 배경 부분의 데이터가 다른 순간(t-1 및 t+1)에서의 참조 뷰 프레임(410 및 430)의 배경 데이터에 의해 획득될 수 있다. 획득된 가려져 있던 배경 부분의 데이터가 외삽 뷰 프레임(440)의 객체 홀 영역(444 및 446)을 보상하기 위해 사용될 수 있다.

즉, 복수 개의 참조 뷰 프레임(410, 420 및 430)이 템포럴 프레임 통합에 의해 외삽 뷰의 통합된 프레임을 생성한다.

상기 통합된 프레임은 참조 뷰 프레임(410, 420 및 430) 보다 더 큰 영상을 나타낼 수 있다.

예컨대, 본 실시예에서의 뷰 외삽은, 참조 뷰의 현재 프레임을 사용하여 공간 방향에 따른 외곽 뷰의 프레임 정보를 생성한다. 상기 프레임 정보 중 결여된 부분은 상기 참조 뷰의 현재 프레임에 인접한 템포럴 방향의 프레임들로부터 찾아진다.

복수 개의 이전 프레임 또는 이후 프레임을 참조하여, 뷰 외삽에서 복원하는 영역의 크기를 더 확장할 수 있다.

도 5는 본 발명의 일 실시예에 따른 입력 뷰의 프레임을 크기 조절하여 외삽 뷰의 프레임을 생성하는 방법을 도시한다.

만약, 참조 프레임 전체가 균일한 비율로 크기 조절되면, 참조 프레임 내의 모든 영역이 동일한 비율로 크기가 변경된다. 시청자가 최외곽 입력 뷰에 의해 제공되는 영상과 상기의 변경에 의해 제공되는 영상을 각각 좌우 영상으로서 시청할 경우, 시청자의 3D 입체 인지에 왜곡이 발생할 수 있다. 따라서, 입력 영상 내에서 중요한 영역은 그 크기를 유지하고, 상대적으로 중요도하지 않은 영역만 그 크기가 수평 방향으로 조절될 필요가 있다.

특정 순간 t에서의 참조 뷰 프레임(510)이 도시되었다. 참조 뷰 프레임(510)은 도 1의 피사체를 촬영하여 생성된 것이다. 입력 프레임은 색상 영상(512)에 대한 정보 및 깊이 영상(514)에 대한 정보를 포함할 수 있다.

선 분류(classification of line)된 프레임(520)은 참조 뷰 프레임(510)을 구성하는 수직 선들을 중요도에 따라 분류한 것이다.

상기 수직 선들은 중요도에 따라 중요 선(important line) 과 비중요 선(unimportant line)으로 분류된다. 예컨대, 중요도가 특정 임계값 이상인 선은 중요 선으로, 그렇지 않은 선은 비중요 선으로 분류될 수 있다.

수직 선의 중요도는 상기 수직 선을 구성하는 화소들의 색상 정보 및 깊이 정보에 의하여 결정될 수 있다. 수직 선들 각각의 중요도를 계산하기 위한 방법이 하기에서 상세히 설명된다.

본 실시예에서는 도 1의 피사체(100)의 객체(114 및 116)를 걸치는 수직 선은 중요 선으로, 그렇지 않은 선은 비중요 선으로 분류된다. 비중요 선들 중 일부(530, 532 및 534)가 점선으로 도시되었고, 중요한 선들 중 일부(540, 542 및 544)가 실선으로 도시되었다.

프레임은 복수 개의 부분 영역(region)(550, 552, 554, 556 및 558)으로 구성된다. 부분 영역은 중요 영역(552 및 556) 또는 비중요 영역(550, 554 및 558)으로 분류될 수 있다.

중요 영역은 중요 선들로 구성된 영역(region)일 수 있고, 비중요 영역은 비중요 선들로 구성된 영역일 수 있다. 이 경우, 부분 영역은 참조 프레임을 수직으로 분할한 영역이다.

단일한 중요 선만으로 하나의 중요 영역을 구성할 수 있으며, 연속된 복수 개의 중요 선들이 하나의 중요 영역을 구성할 수 있다. 이 경우, 부분 영역은 프레임의 수직 선이다.

또한, 단일한 비중요 선만으로 하나의 비중요 영역을 구성할 수 있으며, 연속된 복수 개의 비중요 선들이 하나의 비중요 영역을 구성할 수 있다. 크기 조절된(resized) 프레임(560)은 상기 선 분류된 프레임(520)의 중요도에 기반하여, 참조 프레임(510) 또는 선 분류된 프레임(520)의 크기를 조절함으로써 생성된 것이다.

선 분류된 프레임(520) 내의 비중요 영역(550, 554 및 558)의 수평 크기를 늘림으로써 크기 조절된 비중요 영역(562, 564 및 566)이 생성될 수 있다. 크기 조절된 비중요 영역(562, 564 및 566)에 의해 크기 조절된 프레임(560)이 생성될 수 있다.

크기 조절된 프레임(560)은 전술된 통합된 프레임과 같은 크기를 가질 수 있다.

크기 조절된 비중요 영역(562, 564 및 566)을 생성하기 위해 다양한 영상 확대 알고리즘이 상기 비중요 영역(550, 554 및 558)에 적용될 수 있다.

비중요 영역을 구성하는 수직 선들의 평균 중요도에 따라, 상기 비중요 영역의 중요도가 계산될 수 있고, 계산된 중요도의 오름차순으로 크기를 조절할 비중요 영역이 선택될 수 있다.

복수 개의 비중요 영역(550, 554 및 558)이 같은 비율로 크기 조절됨으로써 크기 조절된 프레임(560)이 생성될 수 있다.

크기 조절된 프레임(560)은 비중요 선을 반복함으로써 생성될 수 있다.

비중요 선의 반복은, 비중요 선과 동일한 수직 선을 상기 비중요 선의 바로 좌측(또는 우측에) 삽입하는 것을 의미한다. 삽입에 의해 상기 비중요 선의 좌측(또는 우측)에 있던 수직 선들은 한 화소씩 옆으로 밀리게 되고, 수평 방향으로 1만큼 크기가 커진 프레임이 생성된다.

크기 조절된 프레임(560) 및 참조 프레임(510)의 수평 방향의 크기 차이가 n이라 할 때, n 개의 비중요 선을 선택하고, 선택된 비중요 선을 반복함에 의하여 크기 조절된 프레임(560)이 생성될 수 있다.

비중요 선은 참조 프레임(510)을 구성하는 복수 개의 수직 선들 중 중요도가 상대적으로 낮은 n개의 수직 선일 수 있다.

상기 n개의 수직 선은 중요도의 오름차순에 따라 선택된 것일 수 있다. 예컨대, 중요도가 가장 낮은 수직 선 n개가 반복될 수직 선으로 선택될 수 있다.

하나의 비중요 선이 반복되면, 상기 반복된 선과 수평 방향으로 일정한 거리 내에 있는 수직 선은 반복에서 제외될 수 있다. 예컨대, 수평 위치 2의 수직 선이 반복되었으면, 수평 위치 1의 수직 선 및 수평 위치 3의 수직 선은 그 중요도와 무관하게 반복에서 제외될 수 있다. 특정 부분이 과도하게 늘어나는 것을 방지하기 위해서이다.

일반적으로, 배경과 같이, 특징점이 없거나 깊이 값이 작은 영역은 비중요 영역이 된다. 전술된 것과 같은 방법으로 크기 조절된 프레임(560)이 생성되면, 이러한 비중요 영역은 크기가 조절되고, 크기가 조절된 비중요 영역이 프레임 경계 홀 영역을 대체한다.

또한, 객체 영역과 같은 중요 영역은 그 크기가 변하지 않으므로, 크기 조절된 프레임을 생성하기 전과 동일한 깊이 감을 제공할 수 있다.

크기 조절된 프레임(560)에 기반하여 이미지 래핑(image warping)된 프레임(570)이 생성된다.

이미지 래핑된 프레임(570)은 참조 뷰의 시점 및 외삽 뷰의 시점 간의 차이를 반영하여, 영상 내의 화소의 위치를 이동시키는 것이다.

화소의 위치는 상기 화소의 깊이에 기반하여 이동된다. 예컨대, 깊이에 따라, 더 가까운 객체가 더 좌측으로 이동할 수 있다.

이미지 래핑된 프레임(570)을 원래의 참조 프레임과 같은 크기로 절단(crop)하여 외삽 뷰의 프레임(580)이 생성된다.

도 6은 본 발명의 일 실시예에 따른 영상 장치의 구조도이다.

영상 장치(600)는 입력 뷰 생성부(610), 중요도 계산부(640), 크기 조절부(650) 및 외삽 뷰 생성부(660)를 포함한다.

영상 장치(600)는 움직임 추정부(620) 및 통합 프레임 생성부(630)를 더 포함할 수 있다.

입력 뷰 생성부(610)는 입력 시퀀스를 생성하여 출력한다. 상기 입력 시퀀스는 전술된 참조 시점의 뷰를 나타낸다. 상기 입력 시퀀스는 시간적으로 연속된 프레임들로 구성된다.

입력 시퀀스를 구성하는 프레임을 참조 프레임으로 명명한다. "참조 프레임(t)"은 특정 순간 t에서의 참조 프레임을 의미한다. 마찬가지로, "통합된 프레임(t)"은 특정 순간 t에서의 통합된 프레임을 의미하고, "크기 조절된 프레임(t)"은 특정 순간 t에서의 크기 조절된 프레임을 의미한다.

일반적으로, 상기 참조 시점은 영상 장치(600)로 입력되는 복수 개의 입력 뷰들 중 촤좌측 입력 뷰의 시점 또는 최우측 입력 뷰의 시점이다.

하나의 화소는 색상 및 깊이로 표현될 수 있다. 입력 시퀀스는 프레임을 구성하는 화소들의 색상 정보를 나타내는 색상 시퀀스 및 상기 화소들의 깊이 정보를 나타내는 깊이 시퀀스를 포함할 수 있다.

움직임 추정부(620)는 입력 뷰 생성부(610)로부터 입력 시퀀스를 제공 받아, 참조 프레임(t)의 프레임 단위의 움직임을 추정한다. 움직임 추정부(620)는 상기의 추정된 프레임 단위의 움직임을 나타내는 움직임 정보를 생성하여 출력한다.

움직임 추정부(620)는 상기의 움직임 추정을 위해, 상기 참조 프레임(t)와 템포럴 방향으로 인접한(또는, 시간적으로 선후관계인) 프레임(예컨대, 참조 프레임의 이전 프레임(t-1) 또는 이후 프레임(t+1))들의 정보를 사용한다.

움직임 추정부(620)는 참조 프레임들의 색상 및 깊이 정보를 사용하여 움직임을 추정할 수 있고, 색상 정보 및 깊이 정보를 결합하여 이전의 참조 프레임(t-1) 또는 이후의 참조 프레임(t+1)에 대한 현재의 참조 프레임(t)의 이동 여부 또는 이동 정도를 추정할 수 있다.

움직임 추정부(620)는 참조 프레임(t)의 전역 움직임 벡터(global motion vector)를 움직임 정보로서 생성할 수 있다.

전역 움직임 벡터는 입력 시퀀스 내의 복수 개의 프레임들의 전체 영역의 시간에 따른 움직임을 나타내는 벡터이다.

전역 움직임 벡터는, 이전의 참조 프레임(t-1) 또는 이후의 참조 프레임(t+1)에 대한 현재의 참조 프레임(t) 전체의 움직임의 크기를 나타낸다.

예컨대, 피사체를 촬영하는 카메라가 촬영 중 빠른 속도로 이동하거나 회전(panning)하는 경우 피사체 전체가 함께 이동한다. 이러한 경우, 전역 움직임 벡터는 큰 값을 갖는다.

프레임 단위의 전역 움직임을 추정하는 다양한 방법이 있다. 예컨대, 움직임 추정부(620)는 공간(spatial) 영역에서 SAD(sum of absolute difference)가 최소가 되는 지점을 검출함으로써 전역 움직임 벡터를 생성할 수 있다. 또는 움직임 추정부(620)는 주파수(frequency) 영역에서 위상 상관(phase correlation)을 이용하여 전역 움직임 벡터를 생성할 수 있다.

하기의 수학식 1은 공간 영역에서 SAD를 이용하여 프레임 단위의 전역 움직임 벡터를 연산하는 일 예를 보인다.

여기서, x 및 y는 화소의 위치를 나타낸다. 계산 능력의 제한으로 인해, x 및 y는 (-S _x , S _x ), (-S _y , S _y )의 지정된 검색 범위(search range) 내로 제한될 수 있다.

α는 색상에 대한 SAD 가중치이고, β는 깊이에 대한 SAD 가중치이다.

전역 벡터를 구하는 것이므로, i 및 j는 전체 프레임을 나타낸다.

I는 프레임이 나타내는 영상의 색상 값이다. I ^t 는 현재 프레임(t)이 나타내는 영상의 색상 값이고, I ^t ^-n 은 현재 프레임(t)로부터 템포럴 방향으로 n 만큼의 이전 프레임(t-n)이 나타내는 영상의 색상 값이다. SAD(I ^t _i _,j , I ^t-n _i _{+x, j+y} )는 이전 프레임(t-n)을 (x, y) 만큼 이동한 프레임과 현재 프레임(t) 간의 색상의 SAD이다.

n이 음수라면, 이전의 프레임이 아닌 이후의 프레임이 비교 대상이 된다.

D는 프레임이 나타내는 영상의 깊이 값이다. D ^t 는 현재 프레임(t)이 나타내는 영상의 깊이 값이고, I ^t ^-n 은 현재 프레임(t)로부터 템포럴 방향으로 n 만큼 이전의 프레임(t-n)이 나타내는 영상의 깊이 값이다. SAD(I ^t _i _,j , I ^t-n _i _{+x, j+y} )는 이전 프레임(t-n)을 (x, y) 만큼 이동한 프레임과 현재 프레임(t) 간의 깊이의 SAD이다.

따라서, 상기 색상의 SAD 및 깊이의 SAD의 가중치가 적용된 합을 최소로 만드는 x 및 y가 MV _global (i, j)의 값이 된다.

입력 시퀀스 내에 회전 또는 확대(zooming)과 같은 프레임 단위의 움직임이 있으면, 외삽 과정에서 발생하는 홀 영역은 복수 개의 시간적으로 연속된 프레임들의 정보를 사용하여 복원될 수 있다.

입력 시퀀스 내에 프레임 단위의 움직임이 없으면, 뷰 외삽을 위해 추가적으로 사용될 수 있는 정보가 제한된다.

따라서, 정보가 제한된 경우, 외삽에 의해 생성된 프레임 내의 외삽 지점에서 화질의 열화가 발생하는 것을 감소시킬 필요가 있다.

참조 프레임 내의 부분 영역 중 중요도가 낮은 부분 영역의 크기를 조절함으로써 상기 참조 프레임의 크기를 조절할 수 있으며, 크기가 조절된 프레임을 사용함으로써 외삽 지점이 보정될 수 있다.

영상 장치(600)는 상기의 프레임 단위의 움직임, 예컨대 전역 움직임 벡터에 기반하여 외삽 뷰 생성부(650)가 통합된 프레임 및 크기 조절된 프레임 중 어느 것을 사용하여 외삽 뷰를 생성할지를 결정할 수 있다.

예컨대, 참조 프레임(t)의 프레임 단위의 움직임이 특정 임계값 이상일 경우, 통합 프레임 생성부(620)는 통합된 프레임(t)을 생성할 수 있고, 외삽 뷰 생성부(650)는 상기 생성된 통합된 프레임을 사용하여 외삽 뷰를 생성할 수 있다. 또한, 참조 프레임(t)의 프레임 단위의 움직임이 특정 임계값 이하일 경우, 중요도 계산부(630) 및 크기 조절부(640)는 크기 조절된 프레임(t)를 생성할 수 있고, 외삽 뷰 생성부(650)는 상기 생성된 크기 조절된 프레임을 사용하여 외삽 뷰를 생성할 수 있다.

통합 프레임 생성부(630)는, 도 4 및 도 5를 참조하여 전술된 것과 같은 방법으로, 입력 뷰 생성부(610)에 의해 생성된 참조 시점의 뷰의 연속된 복수 개의 프레임들을 통합하여 통합된 프레임을 생성한다.

상기 복수 개의 프레임들은 영상의 색상 정보 및 깊이 정보를 가질 수 있으며, 상기 통합된 프레임은 영상의 색상 정보 및 깊이 정보를 가질 수 있다.

통합 프레임 생성부(630)는 움직임 추정부(620)가 생성한 움직임 정보에 기반하여 통합된 프레임을 생성할 수 있다.

통합 프레임 생성부는 입력 생성부(610) 또는 움직임 추정부(620)로부터 입력 시퀀스를 입력 받으며, 움직임 추정부(620)로부터 움직임 정보를 제공받는다. 움직임 정보는 입력 시퀀스 내에 포함되어서 전송될 수 있다.

통합 프레임 생성부(630)는 특정 순간 t의 참조 프레임(t)의 정보, 상기 참조 프레임(t)의 이전 또는 이후 프레임의 정보 및 움직임 정보를 사용하여, 상기 특정 순간 t의 통합된 프레임(t)를 생성할 수 있다.

통합 프레임 생성부(630)는 특정 순간 t의 참조 프레임(t)의 정보, 상기 참조 프레임(t)의 이전 또는 이후 프레임의 정보 및 움직임 정보를 사용하여, 상기 통합된 프레임 내의 프레임 경계 홀 및 객체 경계 홀을 보상할 수 있다.

통합 프레임 생성부(630)는 깊이 정보를 이용하여, 프레임 내의 배경과 전경을 분리할 수 있다.

예컨대, 깊이 정보가 깊이 영상을 나타내는 경우, 통합 프레임 생성부(630)는 깊이 영상을 구성하는 화소 중, 깊이 값이 특정 기준치 이상인 것을 전경, 즉 객체가 차지하는 영역으로 간주할 수 있고, 상기 깊이 값이 상기 기준치 이하인 것을 배경으로 간주할 수 있다.

통합 프레임 생성부(630)는 복수 개의 프레임의 분리된 배경을 통합하여 통합된 배경 프레임을 생성할 수 있다.

참조 프레임(t)이 객체가 차지하는 전경 영역을 포함하는 경우, 상기 전경 영역의 뒷 배경은 상기 참조 프레임(t)의 정보만으로는 관측될 수 없다.

통합 프레임 생성부(630)는 참조 프레임(t)과 시간적으로 인접한 프레임들의 배경 정보를 사용하여 통합된 배경 프레임(t)를 생성할 수 있으며, 생성된 통합된 배경 프레임(t)을 사용하여 통합된 프레임(t) 내의 객체 경계 홀을 채울 수 있다.

중요도 계산부(640)는 도 5를 참조하여 전술된 것처럼 참조 프레임(t)를 구성하는 복수 개의 부분 영역들 각각의 중요도들 계산한다.

예컨대, 중요도 계산부(640)는 참조 뷰 프레임(510)을 입력받아 선 분류된 프레임(520)을 생성하여 복수 개의 부분 영역들 각각의 중요도를 계산할 수 있다.

중요도 계산부(640)는 입력 뷰 생성부(610) 또는 움직임 추정부(620)로부터 입력 시퀀스를 제공받는다.

상기 부분 영역은 참조 프레임(t) 내의 복수 개의 인접한 수직 선들 또는 단일한 수직 선일 수 있다.

부분 영역의 중요도는 부분 영역들 각각에 포함되는 화소들의 색상 정보에 기반하여 계산될 수 있다.

예컨대, 중요도 계산부(640)는 화소의 색상 값을 입력 값 중 하나로 갖는 특정한 중요도 계산 함수를 사용할 수 있다.

예컨대, 중요도 계산부(640)는 화소의 색상 값으로부터 모서리(edge)와 같은 특징점 성분을 검출할 수 있고, 부분 영역 내의 특징점의 개수에 기반하여 상기 부분 영역의 중요도를 계산할 수 있다.

예컨대, 중요도 계산부(640)는 상기 색상 정보의 변화도(gradient)에 기반하여 중요도를 계산할 수 있다. 화소의 색상 변화도는 인접한 화소들과 대비하였을 때 상기 화소의 색상의 변화 정도를 의미한다. 변화도가 높은 화소는 시각적으로 잘 인식되는 것일 수 있으며, 높은 중요도를 가질 수 있다.

부분 영역의 중요도는 부분 영역들 각각에 포함되는 화소들의 깊이 정보에 기반하여 계산될 수 있다.

예컨대, 중요도 계산부(640)는 화소의 깊이 값을 입력 값 중 하나로 갖는 특정한 중요도 계산 함수를 사용할 수 있다.

예컨대, 중요도 계산부(640)는 화소의 깊이 값으로부터 모서리(edge)와 같은 특징점 성분을 검출할 수 있고, 부분 영역 내의 특징점의 개수에 기반하여 상기 부분 영역의 중요도를 계산할 수 있다.

예컨대, 중요도 계산부(640)는 깊이 정보에 따라 배경으로 분류되는 화소에는 낮은 중요도를, 전경 또는 객체로 분류되는 화소에는 높은 중요도를 부여할 수 있다.

참조 프레임(t)은 전경 및 배경에 대한 정보를 포함할 수 있다.

예컨대, 입력 시퀀스는 객체에 대한 정보 및 배경에 대한 정보를 분리하여 제공할 수 있다. 또는, 입력 프레임에 세그멘테이션(segmentation)을 적용함으로써 전경과 배경이 분리될 수 있다. 이러한 경우, 중요도 계산부(640)는 부분 영역에 포함된 전경 및 배경의 개수를 척도(measure)로 사용하여 상기 부분 영역에 중요도를 부여할 수 있다.

부분 영역의 중요도는 상기 부분 영역의 참조 프레임(t) 내에서의 수평 위치에 기반하여 계산할 수 있다.

예컨대, 중요도 계산부(640)는 가운데에 위치한 부분 영역에는 높은 중요도를 부여할 수 있고, 외곽에 위치한 부분 영역에는 낮은 중요도를 부여할 수 있다.

예컨대, 중요도 계산부(640)는 외삽의 방향 및 부분 영역의 수평 위치에 따라 중요도를 부여할 수 있다. 외삽의 방향 및 부분 영역의 수평 위치에 따른 중요도 부여의 일 예가 하기에서 도 7을 참조하여 설명된다.

중요도 계산부(640)는 전술된 색상 정보, 깊이 정보, 배경 여부 및 수평 위치 중 하나 이상에 기반하여 부분 영역의 중요도를 계산할 수 있다.

부분 영역은 프레임의 수직 선일 수 있다. 이 경우, 중요도 계산부(640)는 각각의 수직 선의 중요도를 계산한다.

참조 프레임(t) 내의 수직 선들의 중요도를 계산하는 일 예가 도 8을 참조하여 하기에서 기술된다.

크기 조절부(650)는 도 5를 참조하여 전술된 것처럼 참조 프레임(t)을 구성하는 부분 영역의 크기를 조절함으로써 참조 프레임(t)의 크기를 조절한다. 크기 조절부(650)는 참조 프레임(t)의 크기를 조절하여 크기 조절된 프레임(t)(570)을 생성한다.

크기 조절부(650)는 부분 영역을 중요 영역 및 비중요 영역으로 분류할 수 있다.

크기 조절부(650)는 특정한 개수 또는 특정한 비율의 중요도가 낮은 부분 영역을 비중요 영역으로 분류하고, 다른 부분 영역을 중요 영역으로 분류할 수 있다.

크기 조절부(650)는 중요도가 미리 정의된 특정 값보다 낮은 부분 영역을 비중요 영역으로 분류하고, 그렇지 않은 부분 영역을 중요 영역으로 분류할 수 있다.

크기 조절부(650)는 적어도 하나의 비중요 영역의 크기를 조절함으로써 참조 프레임(t)의 크기를 조절할 수 있다.

크기 조절부(650)는 비중요 영역들을 수평 방향으로 같은 비율로 확대함으로써 참조 프레임(t)의 크기를 조절할 수 있다. 상기 비율은 참조 프레임(t) 및 크기 조절된 프레임(t) 간의 수평 방향의 크기의 비에 따라 결정된다.

크기 조절부(650)는 하나 이상의 비중요 영역을 수평 방향으로 일정한 비율로 확대함으로써 참조 프레임(t)의 크기를 조절할 수 있다. 크기 조절부(650)는 복수 개의 비중요 영역들을 중요도의 오름차순으로 정렬하고, 중요도가 가장 낮은 하나 이상의 비중요 영역을 선택하여 일정한 비율로 확대할 수 있다.

부분 영역이 프레임의 수직 선일 경우, 크기 조절부(650)는 크기 조절에 필요한 화소의 개수만큼 가장 중요도가 낮은 수직 선들을 선택하고, 선택된 수직 선들을 참조 프레임(t) 내에 삽입함으로써 크기 조절된 프레임(t) 을 생성할 수 있다. 상기 삽입의 위치는 선택된 수직 선들 각각의 바로 좌측 또는 바로 우측이다. 이는, 상기 선택된 수직 선들이 프레임 내에서 2번씩 반복되는 것이다.

크기 조절부(650)는 특정한 거리 내에 있는 수직 선들이 집중적으로 반복되지 않게 하기 위해 선택되는 수직 선들 간의 최소 거리를 제한할 수 있다. 즉, 수직 선들이 중요도에 따라 선택될 경우, 우선적으로 선택된 수직 선과 수평으로 일정 거리 내에 있는 수직 선은 자신의 중요도와는 무관하게 선택의 대상에서 제외될 수 있다.

크기 조절부(650)는 프레임을 구성하는 수직 선들을 중요도의 오름차순으로 정렬할 수 있다. 이 경우, 크기 조절부(650)는 정렬된 수직 선들 중 중요도가 가장 낮은 수직 선을 선택하여, 상기 수직 선과 동일한 수직 선을 참조 프레임(t) 에 삽입한다. 삽입된 수직 선은 이후의 선택에서 제외된다. 또한, 크기 조절부(650)는 크기 조절에 필요한 개수만큼 중요도의 오름차순으로 수직 선을 선택한다.

크기 조절부(650)는 상기 선택된 수직 선과 미리 정의된 특정 거리 내에 있는 수직 선은 그 중요도에 무관하게 이후의 선택에서 제외할 수 있다. 이러한 처리는, 특정 범위 내에 있는 수직 선들이 여러 번 반복되는 것을 방지한다.

참조 프레임(t) 내의 수직 선들의 중요도에 따라 크기 조절된 프레임(t)(560)을 생성하는 일 예가 도 8을 참조하여 하기에서 기술된다.

외삽 뷰 생성부(660)는 입력 프레임을 사용하여 가상 시점의 외삽 뷰를 생성한다. 입력 프레임은 통합된 프레임 또는 크기 조절된 프레임이다.

입력 프레임(t)은 참조 프레임(t)에 비해 수평 방향으로 크기 조절된 것일 수 있다. 또한 입력 프레임(t)은 색상 영상 및 깊이 영상을 포함할 수 있다.

외삽 뷰 생성부(660)는 입력 프레임(t)의 색상 정보 및 깊이 정보를 사용하여 상기 입력 프레임의 화소의 위치를 이동시킴으로써 외삽 뷰의 프레임(t)를 생성할 수 있다.

외삽 뷰 생성부(660)는 입력 프레임을 사용하는 이미지 래핑을 통해 외삽 뷰의 가상 시점에서의 영상을 생성할 수 있다.

외삽 뷰 생성부(660)는 참조 뷰의 시점에서부터 외삽 뷰의 가상 시점까지 떨어진 거리에 비례하는 가중치를 사용하여 화소의 위치를 이동시킬 수 있다.

하기의 수학식 2는 가상 시점의 뷰를 생성하는 일 예를 보인다.

여기서, I _{reference view} 는 입력 프레임이 나타내는 영상의 색상 값이고, I _{extrapolated view} 는 외삽 뷰의 프레임이 나타내는 영상의 색상 값이다.

x 및 x'는 각각 화소의 좌표 값을 나타내고, d는 입력 프레임이 나타내는 영상의 깊이 값으로부터 도출된 차이(disparity)이다.

특정한 깊이를 갖는 객체가 복수 개의 뷰들로 촬영될 경우, 상기 뷰들의 프레임에서 상기 객체에 대응하는 화소는 배경에 대하여 상이한 상대적인 위치를 갖는다. 외삽 뷰 생성부(660)는 화소의 깊이 값을 사용하여 이러한 위치들 간의 차이를 도출할 수 있다.

α는 거리에 비례하는 가중치 값이다.

상기와 같은 방법으로 화소의 위치를 이동함으로써 영상이 생성된다. 외삽 뷰 생성부(660)는 생성된 영상을 입력 해상도(즉 참조 뷰의 프레임의 해상도)로 절단(crop)하여, 프레임 경계 영역이 보상된 최종 뷰 외삽 결과 영상을 생성할 수 있다.

외삽 뷰 생성부(660)는 시간에 따라 생성된 외삽 뷰 프레임을 순차적으로 출력함으로써 외삽 시퀀스를 생성하고, 출력한다.

전술된 영상 장치(600)의 구성요소, 즉, 입력 뷰 생성부(610), 움직임 추정부(620), 통합 프레임 생성부(630), 중요도 계산부(640), 크기 조절부(650) 및 외삽 뷰 생성부(660)는 각각 독립적인 하드웨어 장치일 수 있다.

상기 구성요소(610 내지 660)의 기능은 단일한 제어부(도시되지 않음)에서 수행될 수 있다. 이때, 상기 제어부는 단일(single) 또는 복수(multi) 프로세서(processor)를 나타낼 수 있다. 상기 구성요소(610 내지 660) 는 상기 제어부에서 수행되는 서비스(service), 프로세스(process), 쓰레드(thread) 또는 모듈(module)일 수 있다.

도 7은 외삽의 방향 및 부분 영역의 수평 위치에 따른 중요도 가중치의 일 예를 도시한다.

좌측 외삽 가중치(710)는 외삽 뷰의 시점이 참조 뷰의 시점보다 좌측일 경우, 부분 영역의 수평 위치(x 축)에 대한 중요도 가중치(y 축)를 도시한다.

우측 외삽 가중치(720)는 외삽 뷰의 시점이 참조 뷰의 시점보다 우측일 경우, 부분 영역의 수평 위치(x 축)에 대한 중요도 가중치(y 축)를 도시한다.

입력 뷰의 시점보다 우측 시점에서의 뷰 외삽이 수행되는 경우, 우측의 프레임 경계 홀이 뷰 외삽 방법으로 보상되어야 한다. 따라서, 좌측에 위치한 부분 영역들보다 우측에 위치한 부분 영역들에 대해 주로 크기 조절이 적용되어야 한다.

우측 외삽의 경우 프레임의 좌측에 위치한 부분 영역들은 가중치가 상대적으로 높고, 프레임의 우측에 위치한 부분 영역들은 가중치가 상대적으로 낮다. 따라서, 프레임의 좌측에 위치한 부분 영역들은 다른 조건이 동일하다면 상대적으로 중요도가 높게 되고, 우측에 위치한 부분 영역들은 중요도가 낮게 된다.

외삽의 방향이 좌측인 경우, 부분 영역들에게 전술된 것과 반대로 가중치가 부여된다.

부분 영역이 수직 선일 경우, 전술된 것과 같이 외삽 방향 및 수직 선의 수평 위치에 따라 상기 수직 선에게 가중치가 부여된다.

도 8은 본 발명의 일 실시예에 따른 크기 조절된 프레임 생성 방법을 도시한다.

참조 프레임의 색상 영상(820) 및 깊이 영상(820)이 도시되었다.

상기 색상 영상(820)에 기반하여 상기 색상의 변화도 영상(830)이 생성될 수 있다.

변화도 프로파일(profile)(840)은 참조 프레임을 구성하는 수직 선들 각각에 대해 수직 선 내에 포함되는 화소들의 변화도의 평균 값을 나타낸 것이다. 변화도 프로파일 그래프에서, x 축은 수직 선의 수평 위치를 나타내고, y 축은 변화도의 평균 값을 나타낸다.

일반적으로, 변화도가 높을수록 시각적으로 잘 인지되는 화소이다, 따라서 변화도가 높은 화소를 많이 포함한 수직 선, 즉 변화도의 평균 값이 높은 수직 선은 높은 중요도를 가질 확률이 더 높다.

깊이 프로파일(850)은 참조 프레임을 구성하는 각각의 수직 선 별로 수직 선 내에 포함되는 화소들의 깊이의 평균 값을 나타낸 것이다. 깊이 프로파일 그래프에서, x 축은 수직 선의 수평 위치를 나타내고, y 축은 깊이의 평균 값을 나타낸다.

깊이 값이 큰 화소는 참조 시점으로부터 가까운 화소이다. 깊이 값이 큰 화소는 전경 또는 객체를 나타낼 가능성이 높다. 따라서 깊이 값이 큰 화소를 많이 포함한 수직 선, 즉 깊이의 평균 값이 높은 수직 선은 높은 중요도를 가질 확률이 더 높다.

위치 가중치(860)는 수직 선의 프레임 내 수평 위치에 따른 가중치를 나타내는 것이다.

상기 가중치는 생성될 외삽 뷰의 가상 시점이 참조 시점보다 좌측인지 또는 우측인지 여부에 따라 다르다. 본 예에서 도시된 위치 가중치(860)는 외삽 뷰의 시점이 참조 뷰의 시점보다 우측인 경우의 가중치를 나타낸다.

상기의 변화도 프로파일(840), 깊이 프로파일(850) 및 위치 가중치(860)에 기반하여 수직 선의 중요도(870)가 계산될 수 있다.

예컨대, 수직 선의 중요도(870)는 각각의 수직 선의 변화도 값 및 깊이 값의 합에 위치 가중치 값을 곱한 값일 수 있다.

수직 선들 중, 계산된 중요도(870)가 미리 정해진 임계 값(872) 이상인 수직 선은 중요 수직 선으로, 그렇지 않은 수직 선은 비중요 수직 선으로 분류될 수 있다.

비중요 수직 선들로 구성된 부분 영역(874 및 876)은 비중요 영역으로 분류될 수 있다.

계산된 중요도에 기반하여, 크기 조절된 영상(880)이 생성된다.

크기 조절된 영상(880)은 비중요 영역(874 및 876)을 가로 방향으로 확대함으로써 생성될 수 있다. 비중요 영역 내의 수직 선을 중복함으로써 가로 방향으로 확대된 비중요 영역이 생성될 수 있다.

크기 조절된 영상(880)은 비중요 선을 프레임 내에 중복함으로써 생성될 수 있다. 즉, 크기 조절된 영상(880)은 비중요 선을 크기 조절함으로써 생성될 수 있다. 상기의 크기 조절은 비중요 선을 가로 방향으로 2배 확대하는 것일 수 있다.

도 9는 본 발명의 일 실시예에 따른 외삽 뷰 생성 방법을 도시하는 흐름도이다.

단계(S910)에서, 입력 뷰가 생성된다. 상기 입력 뷰는 참조 시점의 뷰를 출력하는 것이고, 상기 참조 시점의 뷰는 시간에 따른 프레임들로 구성된다.

단계(S920)에서, 참조 시점의 뷰의 연속된 복수 개의 프레임들의 시간에 따른 움직임 정보가 생성된다.

단계(S930)에서, 움직임 정보에 기반하여 참조 프레임(t)의 움직임의 정도가 임계값과 비교된다.

참조 프레임(t)의 움직임이 임계값보다 크면 통합된 프레임을 생성하기 위해 단계(S940)가 수행된다.

상기의 단계(S920, S930 및 S940)은 선택적인 것으로, 단계(S910) 다음으로 단계(S950, S952, S954 및 S956)가 수행될 수도 있다.

참조 프레임(t)의 움직임이 임계값보다 크지 않으면 크기 조절된 프레임을 생성하기 위해 단계(S950, S952, S954, S956, S960, S962 및 S964)가 수행된다.

단계(S940)에서, 상기 복수 개의 프레임들을 통합하여 통합된 프레임이 생성된다. 상기 통합된 프레임을 생성하기 위하여 상기 움직임 정보가 사용될 수 있다.

단계(S950, S952, S954 및 S956)에서, 참조 프레임(t)를 구성하는 수직 선들의 중요도를 계산하기 위해 사용되는 값들이 계산된다. 단계(S950, S952, S954 및 S956)은 선택적인 것으로, 상기 단계(S950, S952, S954 및 S956) 중 일부만이 수행될 수 도 있다.

단계(S950)에서, 수직 선이 포함하는 화소들의 색상 특성이 추출되고, 색상 특성에 기반한 변화도 등이 추출된다.

단계(S952)에서, 수직 선이 포함하는 화소들의 깊이 특성 및 깊이 특성에 기반한 깊이 값이 추출된다.

단계(S954)에서, 수직 선의 수평 위치 및 수평 위치에 기반한 가중치가 추출된다.

단계(S956)에서, 수직 선이 포함하는 화소들에 대한 세그멘테이션이 수행된다. 즉, 단계(S956)에서 수직 선이 포함하는 화소들이 배경을 나타내는지 또는 전경을 나타내는지 여부가 판단된다.

단계(S960)에서, 수직 선들 각각의 수평 위치, 수직 선에 포함되는 화소들의 색상 정보, 수직 선에 포함되는 화소들의 깊이 정보, 수직 선에 포함되는 화소들에 대한 세그멘테이션 결과 중 하나 이상에 기반하여 수직 선들 각각의 중요도가 계산된다.

단계(S962)에서, 수직 선들 각각의 중요도에 기반하여 수직 선 각각은 중요 선 또는 비중요선으로 분류된다.

단계(S964)에서, 수직 선들의 중요도 또는 중요도에 따른 분류에 의해 크기 조절된 프레임이 생성된다. 본 발명의 일 예에 따른 크기 조절된 프레임 생성 방법이 도 10을 참조하여 하기에서 기술된다.

단계(S970)에서, 입력 프레임을 사용하여 가상 시점의 외삽 뷰가 생성된다.

입력 프레임은 단계(S940)에서 생성된 통합된 프레임 또는 단계(S964)에서 생성된 크기 조절된 프레임이다.

상기 외삽 뷰는 참조 시점 및 가상 시점 간의 거리에 비례하는 가중치, 입력 프레임의 색상 정보 및 입력 프레임의 깊이 정보를 사용하여 입력 프레임의 화소의 위치를 이동시킴으로써 생성될 수 있다.

앞서 도 1 내지 도 8을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.

도 10은 본 발명의 일 예에 따른 크기 조절된 프레임 생성 방법을 도시하는 흐름도이다.

단계(S1010)에서, 참조 프레임을 구성하는 복수 개의 수직 선들이 중요도의 오름차순으로 정렬된다. 또한, 상기 정렬에 따른 수직 선들의 정렬된 리스트가 생성된다.

단계(S1020)에서, 정렬된 리스트 내의 첫 번째 수직 선, 즉 가장 중요도가 낮은 수직 선이 선택된다.

단계(S1030)에서, 선택된 수직 선이 프레임 내에서 반복된다. 즉, 선택된 수직 선과 동일한 수직 선이 상기 선택된 수직 선의 바로 좌측 또는 바로 우측에 삽입된다. 상기 삽입에 의해 프레임의 크기가 가로 방향으로 1만큼 증가한다.

단계(S1040)에서, 선택된 수직 선과 가로 방향으로 미리 정의된 일정 거리 내에 있는 수직 선들은 상기 정렬된 리스트에세 제외된다. 따라서, 상기 일정 거리 내의 수직 선들은 이후의 선택에서 제외된다.

단계(S1050)에서, 삽입에 의해 생성된 프레임의 크기가 충분한지 여부가 검사된다. 즉, 삽입에 의해 증가된 프레임의 크기가 요구되는 크기 조절된 프레임의 크기와 같은지 여부가 검사된다.

만약, 삽입에 의해 생성된 프레임의 크기가 요구되는 크기와 같다면, 현재의 프레임이 크기 조절된 프레임이 되고, 절차가 종료한다.

삽입에 의해 생성된 프레임의 크기가 요구되는 크기보다 작다면, 다른 수직 선을 삽입하기 위해 단계(S1020)가 반복된다.

앞서 도 1 내지 도 9를 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

600: 영상 장치
610: 입력 뷰 생성부
620: 움직임 추정부
630: 통합 프레임 생성부
640: 중요도 계산부
650: 크기 조절부
660: 외삽 뷰 생성부

Claims

참조 시점의 뷰를 출력하는 입력 뷰 생성부 - 상기 참조 시점의 뷰는 시간에 따른 참조 프레임들로 구성됨 -;
상기 참조 프레임을 구성하는 복수 개의 부분 영역들 각각의 중요도를 계산하는 중요도 계산부;
상기 중요도에 기반하여 상기 참조 프레임의 크기를 조절하여 크기 조절된 프레임을 생성하는 크기 조절부;
상기 크기 조절된 프레임을 사용하여 가상 시점의 외삽 뷰를 생성하는 외삽 뷰 생성부
를 포함하는, 영상 장치.
제1항에 있어서,
상기 영상 장치는 복수 개의 시점들로부터의 복수 개의 뷰들을 획득하고,
상기 입력 뷰 생성부는 상기 복수 개의 시점들 중 최좌측 또는 최우측 시점으로부터 획득되는 뷰를 출력하는, 영상 장치.
제1항에 있어서,
상기 부분 영역들 각각은 상기 부분 영역들 각각에 포함되는 화소들의 색상 정보를 포함하고,
상기 중요도 계산부는 상기 부분 영역들 각각의 상기 색상 정보에 기반하여 상기 중요도를 계산하는, 영상 장치.
제3항에 있어서,
상기 중요도 계산부는 상기 색상 정보의 변화도에 기반하여 상기 중요도를 계산하는, 영상 장치.
제1항에 있어서,
상기 부분 영역들 각각은 상기 부분 영역들 각각에 포함되는 화소들의 깊이 정보를 포함하고,
상기 중요도 계산부는 상기 깊이 정보에 기반하여 상기 중요도를 계산하는, 영상 장치.
제1항에 있어서,
상기 부분 영역들 각각은 상기 부분 영역들 각각에 포함되는 화소들이 전경 또는 배경인지 여부에 대한 정보를 포함하고,
상기 중요도 계산부는 상기 화소들이 전경 또는 배경인지 여부에 대한 정보에 기반하여 상기 중요도를 계산하는, 영상 장치.
제1항에 있어서,
상기 부분 영역들은 상기 참조 프레임을 수직으로 분할한 영역들인, 영상 장치.
제7항에 있어서,
상기 중요도 계산부는 상기 부분 영역들의 상기 참조 프레임 내에서의 수평 위치에 기반하여 상기 중요도를 계산하는, 영상 장치.
제1항에 있어서,
상기 크기 조절부는 상기 복수 개의 부분 영역들 중 중요도의 오름차순으로 적어도 하나의 부분 영역을 선택하고, 상기 선택된 적어도 하나의 부분 영역의 수평 크기를 조절함으로써 상기 참조 프레임의 크기를 조절하는, 영상 장치.
제1항에 있어서,
상기 복수 개의 부분 영역들은 상기 참조 프레임의 수직 선들인, 영상 장치.
제10항에 있어서,
상기 크기 조절부는 상기 수직 선들 중 중요도의 오름차순으로 적어도 하나의 수직 선을 선택하고, 상기 선택된 적어도 하나의 수직 선과 동일한 수직 선을 상기 선택된 적어도 하나의 수직 선 옆에 삽입함으로써 상기 참조 프레임의 크기를 조절하는, 영상 장치.
제11항에 있어서,
상기 크기 조절부는 상기 선택된 수직 선과 미리 정의된 특정 거리 내에 있는 수직 선은 이후의 선택에서 제외하는, 영상 장치.
제1항에 있어서,
상기 외삽 뷰 생성부는 통합된 프레임의 색상 정보 및 깊이 정보를 사용하여 상기 통합된 프레임의 화소의 위치를 이동시킴으로써 상기 외삽 뷰를 생성하고,
상기 통합된 프레임은 상기 참조 프레임과 상기 참조 프레임에 인접한 프레임들을 통합한 프레임인 영상 장치.
제13항에 있어서
상기 외삽 뷰 생성부는 상기 참조 시점 및 상기 가상 시점 간의 거리에 비례하는 가중치를 사용하여 상기 화소의 위치를 이동시킴으로써 상기 외삽 뷰를 생성하는, 영상 장치.
참조 시점의 뷰를 출력하는 입력 뷰 생성 단계 - 상기 참조 시점의 뷰는 시간에 따른 참조 프레임들로 구성됨 -;
상기 참조 프레임을 구성하는 복수 개의 수직 선들 각각의 중요도를 계산하는 중요도 계산 단계;
상기 중요도에 기반하여 상기 참조 프레임의 크기를 조절하여 크기 조절된 프레임을 생성하는 크기 조절 단계; 및
상기 크기 조절된 프레임을 사용하여 가상 시점의 외삽 뷰를 생성하는 외삽 뷰 생성 단계
를 포함하는, 외삽 뷰 생성 방법.
제15항에 있어서,
상기 중요도 계산 단계는 상기 수직 선들 각각의 상기 참조 프레임 내에서의 수평 위치, 상기 수직 선들 각각에 포함되는 화소들의 색상 정보, 상기 화소들의 깊이 정보 및 상기 화소들이 전경 또는 배경인지 여부 중 하나 이상에 기반하여 상기 수직 선들 각각의 중요도를 계산하는, 외삽 뷰 생성 방법.
제15항에 있어서
상기 크기 조절 단계는 상기 복수 개의 수직 선들 중 일부를 선택하고, 상기 선택된 수직 선들 각각과 동일한 수직 선들을 상기 선택된 수직 선들 옆에 삽입함으로써 상기 크기 조절된 프레임을 생성하는, 외삽 뷰 생성 방법.
제16항에 있어서
상기 크기 조절 단계는,
상기 복수 개의 수직 선들을 중요도의 오름차순으로 정렬하는 단계;
상기 정렬에 따른 첫 번째 수직 선을 선택하는 단계; 및
상기 선택된 수직 선과 동일한 수직 선을 상기 선택된 수직 선 옆에 삽입하는 단계
를 포함하고, 상기 선택된 수직 선과 미리 정의된 특정 거리 내에 있는 수직 선은 상기 정렬에서 제외됨으로써 상기 선택에서 제외되는, 외삽 뷰 생성 방법.
제15항에 있어서,
상기 외삽 뷰 생성 단계는,
상기 참조 시점 및 상기 가상 시점 간의 거리에 비례하는 가중치, 상기 크기 조절 프레임의 색상 정보 및 상기 크기 조절된 프레임의 깊이 정보를 사용하여 상기 크기 조절된 프레임의 화소의 위치를 이동시키는 영상 래핑 단계
를 포함하는, 외삽 뷰 생성 방법.
제15항 내지 제19항 중 어느 한 항의 외삽 뷰 생성 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.