KR100517517B1

KR100517517B1 - 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치

Info

Publication number: KR100517517B1
Application number: KR10-2004-0011331A
Authority: KR
Inventors: 하태현
Original assignee: 삼성전자주식회사
Priority date: 2004-02-20
Filing date: 2004-02-20
Publication date: 2005-09-28
Also published as: JP2005235211A; US20050185048A1; KR20050082764A

Abstract

대칭적 변이 추정(Symmetric Disparity Estimation)을 이용한 중간 시점 영상 합성 방법 및 그 장치가 개시되어 있다. 본 발명은 좌 영상 및 우 영상의 중간 시점에서 가상 영상 영역을 설정하는 과정, 가상 영상을 일정 블록 단위로 분할하는 과정, 분할된 임의의 블록의 기준 좌표를 중심으로 좌 영상과 우 영상내 블록을 픽셀 단위로 좌우로 대칭적으로 이동하여 좌, 우 변이 벡터를 추정하는 과정, 추정된 좌, 우 변이 벡터가 지정하는 좌, 우 영상의 픽셀값으로 중간 영상을 생성하는 과정을 포함한다.

Description

중간 시점 영상 합성 방법 및 그를 적용한 3Ｄ 디스플레이 장치{Method for reconstructing intermediate video and 3D display using thereof}

본 발명은 중간 시점 영상 합성 기법에 관한 것이며, 대칭적 변이 추정(Symmetric Disparity Estimation)을 이용한 중간 시점 영상 합성 방법 및 그 장치에 관한 것이다.

일반적으로, 사람이 물체를 입체적으로 볼 수 있는 것은 양안 시차에 의한 것으로, 두 눈은 각기 다른 시점의 영상을 관측하고 인간의 뇌가 이 두 스테레오 영상의 차이를 합성하여 3차원 입체물체를 인식하게 된다. 그 동안, 이러한 인간시각 시스템 (HVS: human visual system)을 모방하여 다양한 형태의 양 안식 3차원 디스플레이 시스템이 구현되어 왔다. 그러나, 이러한 스테레오 양안 방식은 시점이 2안으로 제한되기 때문에 관찰자가 제한된 시역을 벗어나거나 초점이 맞지 않을 경우에는 입체감을 느낄 수 없고, 또한 눈의 피곤함 및 어지러움 등을 느끼기 때문에 실질적인 응용이 제한되고 있다. 따라서 이러한 기존의 스테레오 방식의 단점을 해결하기 위한 접근방법으로 여러 형태의 다시점 스테레오 3D 디스플레이 시스템에 관한 활발한 연구들이 진행되어 왔다. 이러한 시스템은 다안식 입체 카메라를 통해 다시점의 영상획득과 디스플레이가 이루어지기 때문에 시점의 개수가 증가됨에 따라 시역이 확대되고 보다 자연스러운 3D 디스플레이가 가능하다. 그러나, 시점의 개수가 증가됨에 따라 다 시점의 영상데이터도 동시에 증가하기 때문에 실시간의 영상처리 프로세서 및 초고속, 광대역의 전송채널이 요구되게 된다. 최근, 이러한 문제점을 해결하기 위한 새로운 접근방법으로 제한된 개수의 스테레오 영상만을 이용하여 여러 개의 임의 시점 스테레오 영상을 디지털 적으로 합성해내는 중간 시점 영상합성(intermediate video reconstruction:이하 IVR)기법이 연구개발 되고 있다. 이러한 중간시점 영상합성 기법은 제한된 스테레오 영상으로부터 임의의 다시점 스테레오 영상을 디지털적으로 합성해 내기 때문에 기존의 3차원 디스플레이 시스템의 문제점 해결과 동시에 시역이 확대된 자연스러운 3차원 입체 디스플레이의 구현 가능성을 제시하고 있다.

이러한 IVR을 구현하는 대표적인 방법중 하나는 MPEG1/2의 움직임 추정과 움직임 보상을 이용하는 것으로, 어느 한 시점의 영상과 인접한 시점의 영상을 대상으로 시점간의 변이(Disparity)를 추정한 후 그 추정된 변이값들중 중간 변이값에 해당하는 위치에 새로운 영상을 합성하는 것이다. 일반적으로 IVR에서 변이 추정(Disparity Estimation)은 픽셀 기반 DE와 블록 기반 DE로 구분된다

도 1은 블록 기반 변이 추정(Disparity Estimation:DE)에 의한 IVR의 일실시예이다.

먼저, 좌 영상을 NxN개의 균일한 블록으로 분할한다. 이어서, 좌 영상내 각 블록에 대한 가장 유사한 블록을 SAD(Sum of Absolute Difference)나 MAD(Mean of Absolute Difference)을 이용하여 우영상에서 추정한다. 이때 기준 블록과 추정된 블록과의 거리를 변이 벡터(Disparity Vector)라고 정의한다. DV는 일반적으로 기준 영상내의 모든 픽셀에 대해 별도로 주어질 수도 있다.

따라서 좌 영상의 각 픽셀과, 그 좌 영상의 각 픽셀에 매칭되는 우 영상의 픽셀과의 평균값으로 중간 영상을 생성한다. 즉, 중간 영상의 픽셀은 수학식 1과 같이 나타낼 수 있다.

여기서, I_i는 중간 영상의 픽셀값이고, I_l는 좌 영상의 픽셀값이고, I_r는 우 영상의 픽셀값이다.

그러나 종래의 블록 기반 DE는 추정될 영상의 가로축 픽셀 개수만큼 픽셀 단위로 이동하여 검색해야 하며, 좌영상과 우영상 사이의 감춰진 영역(occlusion area)때문에 도 2에 도시된바와 같이 중간 영상에서 홀(검정 블록으로 표시됨)이 발생하는 문제점이 있다.

본 발명이 이루고자하는 기술적 과제는 가상의 중간 영상을 기준으로 좌 및 우 영상을 참조하여 IVR을 구현하는 중간 시점 영상 합성 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 중간 시점 영상 합성 방법에 있어서,

(a) 좌 영상 및 우 영상의 중간 시점에서 가상 영상 영역을 설정하는 과정;

(b) 상기 가상 영상을 일정 블록 단위로 분할하는 과정;

(c) 상기 분할된 임의의 블록의 기준 좌표를 중심으로 좌 영상과 우 영상내 블록을 픽셀 단위로 좌우로 대칭적으로 이동하여 좌, 우 변이 벡터를 추정하는 과정;

(d) 상기 추정된 좌, 우 변이 벡터가 지정하는 좌, 우 영상의 픽셀값으로 중간 영상을 생성하는 과정을 포함하는 것을 특징으로 한다.

상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 3D 디스플레이 시스템에 있어서,

좌 영상과 우 영상으로 구분되는 스테레오 영상을 입력하는 스테레오 영상 입력 수단;

상기 스테레오 영상 입력부에서 출력되는 좌, 영상과 우 영상의 중간 시점에 가상 영상을 설정하고, 그 가상 영상을 기준으로 좌 영상과 우 영상을 대칭적으로 대칭시켜 중간 영상을 생성하는 IVR 수단을 포함하며,

상기 IVR 수단은

좌 영상과 우 영상으로 구분되는 스테레오 영상을 프레임 단위로 저장하는 버퍼부;

상기 버퍼부에 저장된 좌 영상 및 우 영상의 중간 시점에서 가상 영상 영역을 설정하고, 그 가상 영상을 일정 블록 단위로 분할하는 가상 영상 처리부;

상기 가상 영상 처리부에서 분할된 임의 블록의 기준 좌표를 중심으로 상기 버퍼부에 저장된 좌 영상과 우 영상내 블록을 픽셀 단위로 좌우로 대칭적으로 이동하여 변이 벡터를 추정하는 변이 벡터 처리부;

상기 변이 벡터 추정부에서 추정된 변이 벡터가 지정하는 좌, 우 영상의 픽셀값으로 중간 영상을 생성하는 중간 영상 생성부를 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 3은 본 발명에 따른 대칭적 DE를 이용한 중간 시점 영상 합성 방법의 흐름도이다. 도 4에 도시된 대칭적 변이 추정에 의한 IVR을 생성하는 개념도를 참조로하여 설명한다.

먼저, 좌 영상과 우 영상으로 구분되는 스테레오 영상을 프레임 단위로 저장한다.

이어서, 좌 영상 및 우 영상의 중간 시점에서 가상 영상 영역을 설정한다(310 과정).

이어서, 가상 영상 영역을 일정 블록 단위로 분할한다(320 과정).

이어서, 분할된 임의의 블록의 기준 좌표를 중심으로 좌 영상과 우 영상내 블록을 픽셀 단위로 좌우 대칭적으로 이동하여 변이 벡터(DV)를 추정한다(330 과정). 이때 변이 벡터는 가상 영상내 기준 블록과 좌, 우 영상의 탐색 영역내 모든 참조 블록들간의 SAD(Sum of Absolute Difference)값을 계산한 후 최소의 SAD값을 가지는 블록에 대한 공간적인 거리로 결정된다. 따라서 변이 벡터는 가상의 중간 영상의 블록을 기준으로 중간 영상의 블럭과 대칭적으로 매칭된 좌, 우 영상의 블록간의 거리이다. 변이 벡터 추정을 수학식으로 설명하면 다음과 같다. 먼저, SAD는 수학식 2와 같이 계산된다.

여기서, I_l과 I_r은 각각 좌영상의 픽셀값과 우영상의 픽셀값을 나타내며, (i,j)는 픽셀들의 공간 좌표를 나타내는 변수이며, (x,y)는 정합이 이루어지는 두 블록 사이의 공간적인 거리 차이를 나타내는 변수이다. (k,l)은 N₁x N₂ 개의 픽셀로 이루어진 두 블록의 공간좌표를 나타내는 변수이며, 여기서 N₁및 N₂ 는 각각 두 정합 블록의 수평과 수직 크기를 나타낸다.

수학 식 3과 같이 추정 영역내에서 최소의 SAD값을 가지는 블록에 대한 변이 벡터(DV)를 구한다.

(x,y)∈S

여기서, S는 변이 추정을 위한 탐색 범위를 나타내며, (x_m, y_m)는 최소의 SAD값을 갖는 블록에 대한 변이 벡터를 나타낸다. 이때, IVR에서는 영상입력 장치의 구조상, 수평 방향의 변이는 존재하지만, 수직 방향의 변이는 거의 존재하지 않기 때문에 수직성분, 즉 y 값은 0으로 설정하거나, 변이가 존재한다고 가정하였을 경우, ±1~±2정도로 설정한다.

결국, 가상 영상의 블록을 기준으로 좌 영상과 우 영상내에 매칭되는 블록을 추정한다.

이어서, 추정된 좌, 우 변이 벡터(-DV. +DV)가 가르키는 좌, 우 영상의 픽셀값으로 중간 영상을 생성한다(340 과정). 즉, 수학식 4에 도시된 바와 같이 좌 영상 및 우 영상의 중간 시점에서 가상 영상을 설정한다. 그 가상 영상을 기준으로 좌 영상 및 우 영상으로 향하는 좌, 우 변이 벡터가 주어지면, 그 좌, 우 변이 벡터가 가르키는 좌 영상과 우 영상의 픽셀 평균값으로 중간 영상(intermediate video)을 생성한다.

여기서, I_i는 중간 영상의 픽셀값이고, I_l는 좌 영상의 픽셀값이고, I_r는 우 영상의 픽셀값이며, DV(x,y)는 정합이 이루어지는 두 블록 사이의 공간적인 거리 차이를 나타내는 변수이다.

도 5는 본 발명의 중간 시점 영상 합성 방법을 적용하여 재구성된 이미지이다.

도 5를 참조하면, 스테레오로 입력되는 좌(Left Image)와 우 이미지(Right Image)사이에서 대칭적 DE(Symmetric Disparity Estimation)을 실행하여 중간 영상을 재구성한다.

도 6은 본 발명에 따른 3D 디스플레이 시스템의 전체 블록도이다.

스테레오 영상 입력부(610)는 좌 영상과 우 영상으로 구분되는 스테레오 영상을 입력한다.

IVR부(620)는 상기 스테레오 영상 입력부에서 출력되는 좌, 영상과 우 영상의 중간 시점에 가상 영상을 설정하고, 그 가상 영상을 기준으로 좌 영상과 우 영상을 대칭적으로 참조하여 중간 영상을 생성한다.

디스플레이부(630)는 IVR부(620)에서 생성되는 영상을 CRT등으로 디스플레이한다.

도 7은 도 6의 중간 시점 영상 합성부의 상세도이다.

버퍼(710)는 좌 영상과 우 영상으로 구분되는 스테레오 영상을 프레임 단위로 저장한다.

가상 영상 처리부(730)는 버퍼부(710)에 저장된 좌 영상 및 우 영상의 중간 시점에서 가상 영상 영역을 설정하고, 그 가상 영상을 일정 블록 단위로 분할한다.

변이 벡터 추정부(720)는 가상 영상 처리부(730)에서 분할된 임의 블록의 기준 좌표를 중심으로 버퍼부(710)에 저장된 좌 영상과 우 영상내 블록을 픽셀 단위로 좌우로 대칭적으로 이동하여 좌, 우 변이 벡터를 추정한다.

중간 영상 생성부(740)는 변이 벡터 추정부(720)에서 추정된 좌, 우 변이 벡터가 지정하는 좌, 우 영상의 픽셀 평균값으로 중간 영상을 생성한다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.

또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

상술한 바와 같이 본 발명에 의하면, 가상의 중간 영상을 기준으로 좌, 우 영상을 모두 참조하여 대칭적 변이 추정(Symmetric Disparity Estimation)을 수행함으로써 종래의 IVR에 의한 변이 추정의 복잡도를 줄이고 기존의 변이 추정에서 발생하였던 홀(hole)을 방지할 수 있다.

도 1은 블록 기반 변이 추정(Disparity Estimation: DE)에 의한 IVR의 일실시예이다.

도 2는 종래의 DE에 의해 재구성된 중간 영상 신호이다.

도 3은 본 발명에 따른 대칭적 DE를 이용한 중간 시점 영상 합성 방법의 흐름도이다.

도 4는 대칭적 변이 추정에 의한 IVR을 생성하는 개념도이다.

도 6은 본 발명에 따른 중간 시점 영상 합성 장치를 보이는 블록도이다.

Claims

중간 시점 영상 합성 방법에 있어서,

(a) 좌 영상 및 우 영상의 중간 시점에서 가상 영상 영역을 설정하는 과정;

(b) 상기 가상 영상을 일정 블록 단위로 분할하는 과정;

(c) 상기 분할된 임의의 블록의 기준 좌표를 중심으로 좌 영상과 우 영상내 블록을 픽셀 단위로 좌우로 대칭적으로 이동하여 좌, 우 변이 벡터를 추정하는 과정;

(d) 상기 추정된 좌, 우 변이 벡터가 지정하는 좌, 우 영상의 픽셀값으로 중간 영상을 생성하는 과정을 포함하는 중간 시점 영상 합성 방법.
제1항에 있어서, 상기 (d) 과정에서 중간 영상의 픽셀값은 좌 영상 및 우 영상의 중간 시점에서 가상 영상을 설정하고, 그 가상 영상을 기준으로 좌 영상 및 우 영상으로 향하는 좌, 우 변이 벡터를 추정하여, 그 좌, 우 변이 벡터가 지정하는 좌, 우 영상의 픽셀 평균값으로 생성됨을 특징으로 하는 중간 시점 영상 합성 방법.
제1항에 있어서, 상기 (c) 과정은

(c-1) 상기 가상 영상내 기준 블록과 좌, 우 영상의 참조 블록들간의 SAD(Sum of Absolute Difference)값들을 계산하는 과정;

(c-2) 상기 과정에서 계산된 SAD값들중에서 최소값을 갖는 SAD를 변이 벡터로 결정하는 과정을 포함하는 것을 특징으로 하는 중간 시점 영상 합성 방법.
제3항에 있어서, 상기 (c-1) 과정은

이며,

여기서, I_l과 I_r은 각각 좌영상의 픽셀값과 우영상의 픽셀값을 나타내며, (i,j)는 픽셀들의 공간 좌표를 나타내는 변수이며, (x,y)는 정합이 이루어지는 두 블록 사이의 공간적인 거리 차이를 나타내는 변수이며, (k,l)은 N₁x N₂ 개의 픽셀로 이루어진 두 블록의 공간좌표를 나타내는 변수이며, N₁및 N₂ 는 각각 두 정합 블록의 수평과 수직 크기를 나타내는 것임을 특징으로 하는 중간 시점 영상 합성 방법.
제3항에 있어서, 상기(c-2)는

(x,y)∈S

여기서, S는 변이 추정을 위한 탐색 범위를 나타내며, (x_m, y_m)는 최소의 SAD값을 갖는 블록에 대한 변이 벡터임을 특징으로 하는 중간 시점 영상 합성 방법.
제1항에 있어서, 상기 과정에서 보간될 프레임의 화소값은

여기서, I_i는 중간 영상의 픽셀이고, I_l는 좌 영상의 픽셀이고, I_r는 우 영상의 픽셀이며, DV(x,y)는 정합이 이루어지는 좌, 우 블록 사이의 공간적인 거리 차이를 나타내는 변수이며, DV는 변이 벡터임을 특징으로 하는 중간 시점 영상 합성 방법.
제1항 내지 제4항에 기재된 중간 시점 영상 합성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
3D 디스플레이 시스템에 있어서,

좌 영상과 우 영상으로 구분되는 스테레오 영상을 입력하는 스테레오 영상 입력 수단;

상기 스테레오 영상 입력부에서 출력되는 좌, 영상과 우 영상의 중간 시점에 가상 영상을 설정하고, 그 가상 영상을 기준으로 좌 영상과 우 영상을 대칭적으로 매칭시켜 중간 영상을 생성하는 IVR 수단을 포함하는 3D 디스플레이 시스템.
제8항에 있어서, 상기 IVR 수단은

좌 영상과 우 영상으로 구분되는 스테레오 영상을 프레임 단위로 저장하는 버퍼부;

상기 버퍼부에 저장된 좌 영상 및 우 영상의 중간 시점에서 가상 영상 영역을 설정하고, 그 가상 영상을 일정 블록 단위로 분할하는 가상 영상 처리부;

상기 가상 영상 처리부에서 분할된 임의 블록의 기준 좌표를 중심으로 상기 버퍼부에 저장된 좌 영상과 우 영상내 블록을 픽셀 단위로 좌우로 대칭적으로 이동하여 변이 벡터를 추정하는 변이 벡터 처리부;

상기 변이 벡터 추정부에서 추정된 변이 벡터가 지정하는 좌, 우 영상의 픽셀값으로 중간 영상을 생성하는 중간 영상 생성부를 포함하는 것을 특징으로 하는 3D 디스플레이 시스템.