KR100720722B1

KR100720722B1 - 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치

Info

Publication number: KR100720722B1
Application number: KR1020050053594A
Authority: KR
Inventors: 하태현; 박지용; 이원재; 김재석
Original assignee: 삼성전자주식회사
Priority date: 2005-06-21
Filing date: 2005-06-21
Publication date: 2007-05-22
Also published as: CN1885953A; US20060285595A1; NL1032014A1; KR20060133764A; NL1032014C

Abstract

본 발명에 따른 중간영상 생성방법은, 적어도 두개의 카메라들 중 제1 카메라로부터 연속하여 입력되는 제1, 제3 프레임과, 제2 카메라로부터 연속하여 입력되는 제2, 제4 프레임을 이용하여 제1 프레임과 제2 프레임의 중간영상을 생성하는 방법에 있어서, 제1 프레임과 제3 프레임간 화소값차를 블록별로 계산하여 합산하는 단계, 합산한 화소값차를 기초로 블록의 중심화소의 움직임 여부를 판단하는 단계, 제1 프레임과 제2 프레임간의 움직임 벡터에 해당하는 현재 변이벡터를 계산하며, 제3 프레임과 제4 프레임간의 움직임 벡터에 해당하는 이전 변이벡터를 계산하는 단계, 및 움직임 있는 화소로 판단된 경우에는 현재 변이벡터를 기초로 중간영상을 생성하며, 움직임이 없는 화소로 판단된 경우에는 이전 변이벡터의 중간값을 계산하여 중간영상을 생성하는 단계를 포함한다. 이에 의해, 정지한 물체에 대한 동영상에서 밝기값이 변하는 플리커링을 방지할 수 있다.

중간영상, 변이벡터, 플리커

Description

중간영상 생성방법 및 이 방법이 적용되는 입체영상 디스플레이장치{ Intermediate vector interpolation method and 3D display apparatus}

도 1은 본 발명의 일실시예에 따른 중간영상 생성방법이 적용되는 입체영상 디스플레이장치의 블록도,

도 2는 본 발명의 일실시예에 따른 중간영상 생성방법을 설명하기 위한 흐름도,

도 3은 도 2의 중간영상 생성방법을 상세하게 설명하기 위한 도면,

도 4는 도 2의 중간영상 생성방법에서 프레임의 화소별로 움직임이 있는지 여부를 판단하기 위한 방법을 설명하기 위한 도면, 그리고

도 5는 도 2의 중간영상 생성방법에서 변이벡터를 추정하는 방법을 설명하기 위한 도면이다.

* 도면의 주요 부분에 대한 부호의 설명 *

100: 저장부 200: 복호화부

300: 판단부 310: 제1 계산부

320: 제2 계산부 330: 움직임 판단부

400: 생성부 410: 변이벡터 계산부

410: 중간영상 생성부 500: 디스플레이부

본 발명은 입력영상에서 움직임이 없는 화소에 대해서는 현재 변이벡터를 이용하는 것이 아니라 이전 변이벡터를 이용하여 중간영상을 생성하는 중간영상 생성방법 및 이 방법이 적용되는 입체영상 디스플레이장치에 관한 것이다.

다시점 비디오 기술을 포함하는 3차원 비디오 기술 개발은 전 세계적으로 미국, 유럽 그리고 일본에서 연구활동이 활발하게 이루어지고 있다. 다시점 3차원 TV는, 관찰자의 위치에 따라 다른 입체 영상을 볼 수 있어 보다 자연스러운 입체감 있는 영상을 제공할 수 있다. 그러나, 모든 시점의 영상을 갖는 것은 현실적으로 불가능하며, 전송 측면에서도 모든 시점에 대한 다량의 데이터를 전송할 경우 큰 비용이 필요하다. 따라서, 존재하지 않는 시점에 대한 영상을 전송된 영상을 이용해 생성하는 중간 시점 영상 합성 기술(Intermediate Vector Interpolation)이 필요하다.

중간 시점 영상 합성은 두 영상의 유사점을 찾아 두 영상간의 변이를 벡터로 표현하는 변이 추정(Disparity Estimation)이다. 변이 추정은 영상의 특징점들을 검출하여 정합시키는 특징 기반 변이 추정 방법(Feature Based Disparity Estimation Scheme)과, 비용 함수(Cost Function)의 최단 경로를 찾아 매칭시키는 다이내믹 프로그래밍 변이 추정 기법(Dynamic Programming Disparity Estimation Scheme)이 있다. 그리고, 정합창(Window)의 상관성을 측정하여 매칭시키는 영역 기 반 변이 추정 기법(Area Based Disparity Estimation Scheme)이 있다.

그러나, 이러한 변이 추정 방법들을 동영상에 적용할 경우, 물체간 경계 부근에서 플리커링 현상이 발생하게 된다. 영상에서 정지한 물체의 경우, 매 초당 최소 45 프레임 동안 동일한 영상을 디스플레이해야 한다. 그러나, 동일한 영상이 매 초당 45 프레임이 되지 못하거나 동일한 영상들을 디스플레이하지 못할 경우, 관찰자는 정지된 물체에서 흔들림을 느끼게 된다.이러한 정지된 물체에서의 흔들림을 플리커(Flicker)라 한다.

동영상에서의 중간 시점 영상 합성의 경우 정지된 부분의 물체는 정지된 시간 동안 매 프레임에서 동일한 영상을 유지되어야 한다. 그러나, 스테레오 카메라의 미세한 떨림이나 조명의 변화 등에 의해 변이 벡터 추정이 부정확하게 될 수 있다. 부정확 변이 벡터로 인해 왜곡된 중간 시점의 영상 프레임이 삽입되면 관찰자는 그 정지된 물체를 동영상으로 볼 때, 흔들림을 느끼게 된다. 따라서, 동영상의 중간 시점 영상을 합성할 경우 플리커링을 방지할 수 있는 방법이 요구된다.

따라서, 본 발명의 목적은 적어도 두개의 카메라로부터 입력되는 영상의 움직임 여부에 따라 영역별로 현재 프레임의 변이벡터와 이전 프레임의 변이벡터 중 어느 하나를 적용하여 중간영상을 생성함으로써 플리커링을 방지할 수 있는 중간영상 생성방법 및 이 방법이 적용되는 입체영상 디스플레이장치를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 중간영상 생성방법은, 적어도 두개의 카메라들 중 제1 카메라로부터 연속하여 입력되는 제1, 제3 프레임과, 제2 카메라로부터 연속하여 입력되는 제2, 제4 프레임을 이용하여 제1 프레임과 제2 프레임의 중간영상을 생성하는 방법에 있어서, 제1 프레임과 제3 프레임간 화소값차를 블록별로 계산하여 합산하는 단계, 합산한 화소값차를 기초로 블록의 중심화소의 움직임 여부를 판단하는 단계, 제1 프레임과 제2 프레임간의 움직임 벡터에 해당하는 현재 변이벡터를 계산하며, 제3 프레임과 제4 프레임간의 움직임 벡터에 해당하는 이전 변이벡터를 계산하는 단계, 및 움직임 있는 화소로 판단된 경우에는 현재 변이벡터를 기초로 중간영상을 생성하며, 움직임이 없는 화소로 판단된 경우에는 이전 변이벡터의 중간값을 계산하여 중간영상을 생성하는 단계를 포함한다.

판단하는 단계는, 화소값차의 합과 제1 문턱값을 비교하여, 제1 문턱값 이상의 화소값차의 합 갖는 블록의 제1 중심화소는 움직임 있는 화소로 판단하며, 제1 문턱값 보다 작은 화소값차의 합을 갖는 블록의 제2 중심화소는 움직임이 없는 화소로 판단하는 단계, 제1 프레임의 소정영역에서 제1 중심화소의 수, 및 제2 중심화소의 수 중 어느 하나와 제2 문턱값과 비교하는 단계, 및 합산한 값이 제2 문턱값 이상인 경우에는 소정영역의 중심화소를 움직임 있는 화소인 제1 중심화소로 판단하며, 제2 문턱값 보다 작은 경우에는 소정역역의 중심화소를 움직임 없는 화소인 제2 중심화소로 판단하는 단계를 포함한다.

또한, 바람직하게는 비교하는 단계는, 제2 프레임과 제4 프레임간 화소값차를 블록별로 계산하여 합산한 후, 제1 문턱값과 비교하는 단계이다.

한편, 본 발명의 중간영상 생성방법에 적용되는 디스플레이장치는, 적어도 두개의 카메라들 중 제1 카메라로부터 연속하여 입력되는 제1, 제3 프레임과, 제2 카메라로부터 연속하여 입력되는 제2, 제4 프레임을 이용하여 제1 프레임과 제2 프레임의 중간영상을 생성하는 방법이 적용되는 입체영상 디스플레이장치에 있어서, 제1 프레임과 제3 프레임간 화소값차를 블록별로 계산하여 합산한 후, 제1 문턱값과 비교하는 제1 계산부, 제1 문턱값 이상의 화소값차의 합 갖는 블록의 제1 중심화소는 움직임 있는 화소로 판단하며, 제1 문턱값 보다 작은 화소값차의 합을 갖는 블록의 제2 중심화소는 움직임이 없는 화소로 판단하는 움직임 판단부, 제1 프레임과 제2 프레임간의 움직임 벡터에 해당하는 현재 변이벡터, 및 제3 프레임과 제4 프레임간의 움직임 벡터에 해당하는 이전 변이벡터를 계산하는 변이벡터 계산부, 및 움직임 있는 화소로 판단된 경우에는 현재 변이벡터를 기초로 중간영상을 생성하며, 움직임이 없는 화소로 판단된 경우에는 이전 변이벡터의 중간값을 계산하여 중간영상을 생성하는 중간영상 생성부를 포함한다.

바람직하게는 제1 프레임의 소정영역에서 제1 중심화소의 수, 및 제2 중심화소의 수 중 어느 하나와 제2 문턱값과 비교하는 제2 계산부를 더 포함한다.

또한, 바람직하게는 움직임 판단부는, 제2 계산부에서 합산한 값이 제2 문턱값 이상인 경우에는 소정영역의 중심화소를 움직임 있는 화소인 제1 중심화소로 판단하며, 제2 문턱값 보다 작은 경우에는 소정영역의 중심화소를 움직임 없는 화소인 제2 중심화소로 판단한다.

바람직하게는 제1 계산부는, 제1 프레임과 상기 제3 프레임간 화소값차를 블록별로 계산하여 합산한 후, 제1 문턱값과 비교한다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

이하에서는 소정 간격으로 이격되어 위치한 제1 카메라와 제2 카메라로부터 각각 캡쳐된 제1 프레임과 제2 프레임을 이용하여 제1 카메라와 제2 카메라의 중간시점에 해당하는 중간영상을 생성하는 동작을 예로 들어 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 중간영상 생성방법이 적용되는 입체영상 디스플레이장치의 블록도이다.

도 1을 참조하면, 본 발명에 따른 입체영상 디스플레이장치는, 저장부(100), 복호화부(200), 판단부(300), 생성부(400), 및 디스플레이부(500)를 포함한다.

저장부(100)는 시간적으로 연속하여 입력되는 영상들을 프레임별로 저장한다. 제1 카메라로부터 캡쳐된 영상인 제1 프레임, 제3 프레임, 제5 프레임 등을 순차적으로 저장하며, 제2 카메라로부터 캡쳐된 영상인 제2 프레임, 제4 프레임, 제6 프레임 등을 순차적으로 저장한다.

이때, 제1 프레임, 제3 프레임, 제5 프레임 등에서 제1 프레임은 제1 카메라로부터 캡쳐된 현재 프레임에 해당하며, 제3 프레임은 시간적으로 제1 프레임 이전에 입력된 프레임, 제5 프레임은 시간적으로 제3 프레임 이전에 입력된 프레임을 말한다.

그리고, 제2 프레임, 제4 프레임, 제6 프레임 등에서 제2 프레임은 제2 카메라로부터 캡쳐된 현재 프레임에 해당하며, 제4 프레임은 시간적으로 제2 프레임 이전에 입력된 프레임, 제6 프레임은 시간적으로 제4 프레임 이전에 입력되는 프레임을 말한다. 따라서, 제1 프레임과 제2 프레임, 제3 프레임과 제4 프레임, 및 제5 프레임과 제6 프레임은 각각 동일 시간에 제1 카메라와 제2 카메라로부터 캡쳐된 영상에 해당한다.

복화화부(200)는 부호화되어 전송된 입력영상들을 복호화한다.

생성부(300)는 제1 계산부(310), 제2 계산부(320), 및 움직임 판단부(330)를 포함하며, 현재 프레임인 제1 프레임 또는 제2 프레임에서 이전 프레임에 비해 움직임이 있는지 여부를 이전 프레임과의 화소값차를 이용하여 화소별로 판단한다. 즉, 생성부(300)는 제1 프레임과 제3 프레임간의 화소값차를 이용하거나, 제2 프레임과 제4 프레임간의 화소값차를 이용하여 현재 프레임의 화소가 움직임이 있는지 여부를 판단한다. 이하에서는 제1 프레임과 제3 프레임간의 화소값차를 이용하여 움직여부를 판단하는 경우를 예로 들어 설명한다.

구체적으로, 생성부(300)의 제1 계산부(310)는 제1 프레임과 제3 프레임간의 화소값차를 블록별로 계산하여 합산한 후, 제1 문턱값과 비교한다.

제2 계산부(320)는 제1 프레임의 소정영역에서 화소값차의 합이 제1 문턱값 이상인 블록의 중심화소의 수 또는 제1 문턱값 보다 작은 블록의 중심화소의 수와 제2 문턱값을 비교한다.

제1 프레임에서 블록별로 화소값차의 합이 제1 문턱값 이상인 경우에는 블록의 중심화소를 "1"로 결정하며, 화소값차의 합이 제1 문턱값 보다 작은 경우에는 블록의 중심화소를 "0"으로 결정한 경우에는, 화소값차의 합이 제1 문턱값 이상인 블록의 중심화소의 수와 제2 문턱값과 비교한다.

반면, 제1 프레임에서 블록별로 화소값차의 합이 제1 문턱값 이상인 경우에는 블록의 중심화소를 "0"로 결정하며, 화소값차의 합이 제1 문턱값 보다 작은 경 우에는 블록의 중심화소를 "1"으로 결정한 경우에는, 화소값차의 합이 제1 문턱값 보다 작은 블록의 중심화소의 수와 제2 문턱값과 비교한다.

즉, 제1 프레임의 소정영역의 화소들을 "1" 및 "0" 중 어느 하나로 결정한 후, 결정한 중심화소들을 합산하여 제2 문턱값과 비교한다.

움직임 판단부(330)는, 제2 계산부(320)에서 합산한 값이 제2 문턱값 이상인 경우에는 소정영역의 중심화소를 움직임 있는 화소로 판단하며, 제2 문턱값 보다 작은 경우에는 소정역역의 중심화소를 움직임 없는 화소로 판단한다.

따라서, 움직임 판단부(330)는 제1 계산부(310)에서 블록의 중심화소가 움직임 있는 화소로 판단되며, 소정영역 내에 움직임 있는 화소가 다수 있는 경우에는 블록의 중심화소인 소정영역의 중심화소를 움직임 있는 화소로 판단한다. 그리고, 블록의 중심화소가 움직임 없는 화소로 판단되며, 소정영역 내에 움직임 없는 화소가 다수 있는 경우에는 블록의 중심화소인 소정영역의 중심화소를 움직임 없는 화소로 판단한다.

한편, 움직임 판단부(330)는 제1 계산부(310)의 결과만을 이용하여 제1 프레임의 화소별로 움직임을 판단할 수 있다. 제1 계산부(310)에서 제1 문턱값 이상의 화소값차의 합 갖는 블록의 중심화소를 움직임 있는 화소로 판단하며, 제1 문턱값 보다 작은 화소값차의 합을 갖는 블록의 제2 중심화소를 움직임이 없는 화소로 판단할 수 있다. 그러나, 제2 계산부(320)의 결과를 이용함으로써 중심화소의 움직임 여부를 정확하게 검출할 수 있다.

생성부(400)는 변이벡터 계산부(410)와 중간영상 생성부(420)를 포함하며, 판단부(300)의 결과에 따라 현재 변이벡터(disparity vector) 또는 이전 변이벡터를 이용하여 제1 프레임과 제2 프레임간의 중간영상을 생성한다.

변이벡터 계산부(410)는 현재 프레임인 제1 프레임과 제2 프레임간의 변이벡터인 현재 변이벡터, 및 이전 프레임인 제3 프레임과 제4 프레임간의 변이벡터인 이전 변이벡터를 계산한다. 이때, 변이벡터는, 동일 시간에 동일 피사체에 대해 제1 카메라와 제2 카메라에서 캡쳐된 영상으로부터 카메라 위치에 의해 발생하는 차이를 추정하는 것으로 블록별로 계산된다.

중간영상 생성부(420)는 판단부(300)가 제1 프레임의 화소가 움직임 있는 화소로 판단한 경우에는 현재 변이벡터를 이용하여 중간영상을 생성하며, 움직임 없는 화소로 판단한 경우에는 이전 변이벡터를 이용하여 중간영상을 생성한다. 즉, 제1 프레임과 제2 프레임간의 중간영상은 제1 프레임의 움직임 여부에 따라, 화소별로 현재 변이벡터의 중간값을 중간영상의 화소값으로 결정하거나 이전 변이벡터의 중간값을 중간영상의 화소값으로 결정한다.

따라서, 움직임 있는 화소에 대해서도 현재 변이벡터를 이용하여 중간영상을 생성하는 것이 아니라 이전 변이벡터를 이용하여 중간영상의 생성함으로써, 밝기값의 차이가 변하는 플리커링 현상을 방지할 수 있다.

디스플레이부(500)는 제1, 제2 카메라로부터 캡쳐된 영상들과, 제1, 제2 카메라로부터 캡쳐된 영상들을 이용하여 생성된 제1 카메라와 제2 카메라의 중간시점에 해당하는 중간영상을 디스플레이한다.

도 2는 본 발명의 일실시예에 따른 중간영상 생성방법을 설명하기 위한 흐름 도이다. 도 3은 도 2의 중간영상 생성방법을 상세하게 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명에 따른 중간영상 생성방법은 동일한 시간에 연속하여 위치하는 제1 카메라인 C1 카메라와 제2 카메라인 C2 카메라로부터 캡쳐되는 영상을 이용하여 제1 카메라와 제2 카메라의 중간시점에 해당하는 중간영상을 생성하는 방법이다. 이때, 가로축은 카메라의 넘버를 나타내며, 세로축은 시간을 나타낸다. 따라서, 제1 카메라로부터는 시간적으로 연속하여 P1, P3, P5, P7 프레임 등이 캡쳐되며, 제2 카메라로부터는 시간적으로 연속하여 P2, P4, P6, P8 프레임 등이 캡쳐된다.

이하에서는 T4 시간에 제1 카메라와 제2 카메라로부터 각각 캡쳐된 P1 프레임와 P2 프레임의 중간영상을 생성하는 방법을 예로 들어 설명하기로 한다. 중간영상을 생성하기 위해서는 시간적으로 P1 프레임 이전에 제1 카메라로부터 캡쳐되는 P3 프레임, 및 P2 프레임 이전에 제2 카메라로부터 캡쳐되는 P4 프레임을 이용한다.

도 2를 참조하면, 먼저 제1 프레임과 제3 프레임간의 화소값차를 계산한다(S901). 제1 카메라와 제2 카메라로부터 캡쳐되는 영상은 프레임별로 저장되며, 제1 카메라로부터 시간적으로 연속하여 입력된 제1 프레임과 제3 프레임간과 화소값차를 계산한다. 화소값차를 계산하는 것은, 제1 프레임의 화소별로 움직임이 있는 화소인지 여부를 판단하기 위함이다. 이때, 제1 카메라와 상이한 위치에 있는 제2 카메라로부터 시간적으로 연속하여 입력된 제2 프레임과 제4 프레임간의 화소값차를 계산하여 움직임 여부를 판단할 수 있다.

이어, 제1 프레임의 블록별로 계산된 화소값차를 합산한 후, 화소값차의 합과 제1 문턱값을 비교한다(S903).

도 4는 도 2의 중간영상 생성방법에서 프레임의 화소별로 움직임이 있는지 여부를 판단하기 위한 방법을 설명하기 위한 도면이다. 도 4를 참조하면, T4 시간에 입력된 제1 프레임에서 중심화소인 S1이 T3 시간에 입력된 제3 프레임에서 동일한 위치에 있는 화소 S3 대해 움직였는지 판단하기 위해, 중심화소 S1를 중심으로 한 가로 bx, 세로 by 크기의 블록단위로 제1 프레임과 제3 프레임간의 화소값차를 합산한다. 따라서, 화소값차의 합은 다음의 수학식으로 나타낼 수 있다.

여기서, CV는 제1 프레임의 블록내 화소값차의 합을 나타내며, P1와 P3는 각각 제1 프레임과 제3 프레임을 나타내며, I_P1 와 I_P3는 각각 제1 프레임의 밝기와 제3 프레임의 밝기를 나타낸다. 그리고, bx와 by는 각각 제1 프레임의 블록의 가로, 세로 크기를 나타내며, (x,y)는 블록내 중심화소의 위치를 나타낸다.

그리고, 프레임에서 블록별로 계산된 화소값차의 합과 제1 문턱값을 비교한다. 이때, 제1 문턱값은 영상의 크기와 영상에서 움직임 정도를 기초로 실험적으로 결정되는 값을 말한다.

이어, 제1 프레임의 소정영역에서 제1 문턱값 이상의 화소값차의 합을 갖는 블록의 중심화소와, 제1 문턱값 보다 작은 화소값차의 합을 갖는 블록의 중심화소를 "1" 및 "0" 중 어느 하나로 결정한 후 결정한 값을 합산한다(S905). 제1 프레임의 소정영역에서 제1 문턱값 이상의 화소값차의 합을 갖는 블록의 중심화소인 제1 중심화소를 "1"로 결정하고, 제1 문턱값 보다 작은 화소값차의 합을 갖는 블록의 중심화소인 제2 중심화소를 "0"으로 결정한다. 따라서, 블록내 중심화소인 제1 중심화소 또는 제2 중심화소는 다음의 수학식을 나타낼 수 있다.

여기서, CM은 제1 프레임의 블록내 중심화소를 나타내며, (x,y)는 중심화소의 위치를 나타낸다. 그리고, CV는 제1 프레임과 제3 프레임간의 화소값차의 합을 나타내며, Th1은 제1 문턱값을 나타낸다.

이어, 화소별로 결정되는 "1"과 "0"를 소정영역 내에서 합산한 후, 합산한 값과 제2 문턱값을 비교한다(S907). 이때, 합산한 값은 다음의 수학식을 이용하여 계산할 수 있다.

여기서, SCM은 제1 프레임의 소정영역 내에서 화소별로 결정되는 중심화소의 값을 나타내며, (x,y)는 소정영역 내의 화소의 위치를 나타낸다. 그리고, CM은 수학식2에서 나타낸 바와 같은 블록내 중심화소로 제1 중심화소 또는 제2 중심화소가 될 수 있다. 또한, h와 w는 소정영역의 가로, 세로 크기를 나타낸다.

수학식3에 나타낸 바와 같이, 소정영역에 포함된 화소별로 제1 중심화소로 결정된 값과 제2 중심화소로 결정된 값을 합산한다. 합산한 값과 제2 문턱값을 비교하여 소정영역의 중심화소의 움직임 여부를 판단한다.

한편, 수학식2를 이용하여 블록내 화소값차의 합이 제1 문턱값 이상일 경우에 블록의 중심화소를 움직임이 있는 화소로 판단할 수 있으며, 화소값차의 합이 제1 문턱값 보다 작을 경우에는 블록의 중심화소를 움직임이 없는 화소로 판단할 수 있다. 그러나, 중심화소에 노이즈 등에 의해 실제로는 움직임이 없는 제2 중심화소임에도 불구하고 움직임이 있는 제1 중심화소로 판단될 수 있다. 중심화소가 움직임이 없는 화소임에도 움직임이 있는 화소로 판단하여 중간영상을 생성할 경우, 생성되는 중간영상에 의해 전에 존재하지 않던 플리커링 현상을 발생시킬 수도 있다.

따라서, 블록내 화소값차의 합만으로 제1 프레임의 화소별로 움직임 여부를 판단하는 것이 아니라, 수학식2를 이용하여 결정된 블록의 중심화소를 중심으로 다시 소정영역을 설정한다. 설정된 소정영역 내에서 수학식2를 이용하여 화소별로 결정된 값인 "1" 또는 "0"의 값을 합산하여 "1"의 값을 갖는 움직임 있는 화소가 소정영역 내에서 제2 문턱값 이상인 경우에는 소정영역의 중심화소를 움직임이 있는 화소로 판단한다. 즉, 블록내 중심화소가 움직임 있는 중심화소로 판단되며, 소정 영역내에 움직임 있는 화소가 제2 문턱값 이상 있는 경우, 중심화소를 움직임 있는 화소로 판단한다.

이어, 화소별로 결정되는 "1"과 "0"를 소정영역 내에서 합산한 값과 제2 문턱값을 비교한 결과, 합산한 값이 제2 문턱값 이상인 경우 현재 변이벡터(disparity vector)를 이용하여 중간영상을 생성한다(S909). 소정영역 내에서 합산한 값이 제2 문턱값 이상이 경우에는 소정영역 내 제1 문턱값 이상의 화소값차의 합을 갖는 화소가 제2 문턱값 이상인 경우로서, 소정영역의 중심화소는 움직임이 있는 화소로 판단할 수 있다. 따라서, 현재 프레임인 제1 프레임과 제2 프레임간의 변이벡터를 추정한 후, 추정된 현재 변이벡터를 이용하여 제1 프레임과 제2 프레임 간의 중간영상을 생성한다. 따라서, 제1 프레임과 제2 프레임 간의 중간영상은 현재 변이벡터의 중간값을 중간영상의 화소값을 결정하여 중간영상을 생성한다.

한편, 변이 벡터 추정은, 동일 시간에 동일 피사체에 대해 제1 카메라와 제2 카메라에서 캡쳐된 영상으로부터 카메라 위치에 의해 발생하는 차이를 추정하는 것이다. 그리고, 도 5는 도 2의 중간영상 생성방법에서 변이벡터를 추정하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 제1 프레임(P1)과 제2 프레임(P2)간의 변이 벡터(DV)는 블록별로 추정된다. 이때, 블록의 크기는 16×16으로 하는 것이 바람직하며, 영상의 특성에 따라 8×8, 8×8 이하의 블록 크기 단위로 변이 벡터를 추정할 수 있다.

반면, 화소별로 결정되는 "1"과 "0"를 소정영역 내에서 합산한 값과 제2 문턱값을 비교한 결과, 합산한 값이 제2 문턱값 보다 작은 경우 이전 변이벡터를 이 용하여 중간영상을 생성한다(S909). 소정영역 내에서 합산한 값이 제2 문턱값 보다 작은 경우는 소정영역 내 제1 문턱값 이상의 화소값차의 합을 갖는 화소가 제2 문턱값 보다 작은 경우로서 소정영역의 중심화소는 움직임 없는 화소로 판단할 수 있다.

따라서, 소정영역의 중심화소가 움직임 없는 화소로 판단된 경우, 제1 프레임과 제2 프레임간의 중간영상은 이전 변이벡터를 이용하여 생성된다. 이때, 이전 변이벡터는 제1 프레임의 이전영상인 제3 프레임과 제2 프레임의 이전영상인 제4 프레임간의 변이벡터이다. 제3 프레임과 제4 프레임간의 변이벡터인 이전 변이벡터는 상술한 도 5를 참조하여 상술한 바와 같다.

그리고, 이전 변이벡터의 중간값을 중간영상의 화소값으로 결정하여 제1 프레임과 제2 프레임간의 중간영상을 생성한다. 제1 프레임과 제2 프레임 간의 중간영상 생성시 제1 프레임의 화소가 이전 프레임인 제3 프레임에 대해 움직임 없는 화소로 판단될 경우 제1 프레임을 이용하여 생성된 현재 변이벡터를 이용하여 중간영상을 생성하는 것이 아니라, 이전 프레임인 제3 프레임을 이용하여 생성된 이전 변이벡터를 이용하여 중간영상을 생성한다.

한편, MPEG 등과 같은 압축된 동영상으로부터 정확한 움직임 정보를 입력받을 수 있는 경우에는, S901 단계 내지 S907 단계를 거쳐 화소의 움직임 여부를 판단하지 않고 입력받은 움직임 정보에 따라 S909 단계 및 S911 단계에 따라 중간영상을 생성할 수 있다.

이상에서는 두개의 카메라로부터 캡쳐된 영상을 디스플레이하는 양안식 (stereo-view) 디스플레이장치에서 중간영상을 생성하는 방법을 예로 들어 설명하였으나, 소정간격으로 연속하여 위치하는 다수의 카메라로부터 캡쳐된 영상을 디스플레이하는 다시점 (multi-view) 디스플레이장치에도 적용될 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면, 적어도 두개의 카메라로부터 입력되는 영상들로부터 중간영상을 생성할 경우 움직임이 없는 화소에 대해서는 이전 프레임을 이용하여 추정된 이전 변이벡터를 이용함으로써 정지한 물체에 대한 동영상에서 밝기값이 변하는 플리커링을 방지할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

적어도 두개의 카메라들 중 제1 카메라로부터 연속하여 입력되는 제1, 제3 프레임과, 제2 카메라로부터 연속하여 입력되는 제2, 제4 프레임을 이용하여 상기 제1 프레임과 상기 제2 프레임의 중간영상을 생성하는 방법에 있어서,

상기 제1 프레임과 상기 제3 프레임간 화소값차를 블록별로 계산하여 합산하는 단계;

합산한 상기 화소값차를 기초로 상기 블록의 중심화소의 움직임 여부를 판단하는 단계;

상기 제1 프레임과 상기 제2 프레임간의 움직임 벡터에 해당하는 현재 변이벡터를 계산하며, 상기 제3 프레임과 상기 제4 프레임간의 움직임 벡터에 해당하는 이전 변이벡터를 계산하는 단계; 및

상기 움직임 있는 화소로 판단된 경우에는 상기 현재 변이벡터를 기초로 상기 중간영상을 생성하며, 상기 움직임이 없는 화소로 판단된 경우에는 상기 이전 변이벡터의 중간값을 계산하여 상기 중간영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 중간영상 생성방법.
제1항에 있어서,

상기 판단하는 단계는,

상기 화소값차의 합과 제1 문턱값을 비교하여, 상기 제1 문턱값 이상의 화소값차의 합 갖는 블록의 제1 중심화소는 움직임 있는 화소로 판단하며, 상기 제1 문턱값 보다 작은 화소값차의 합을 갖는 블록의 제2 중심화소는 움직임이 없는 화소로 판단하는 단계;

상기 제1 프레임의 소정영역에서 상기 제1 중심화소의 수, 및 제2 중심화소의 수 중 어느 하나와 제2 문턱값과 비교하는 단계; 및

상기 합산한 값이 상기 제2 문턱값 이상인 경우에는 상기 소정영역의 중심화소를 움직임 있는 화소인 상기 제1 중심화소로 판단하며, 상기 제2 문턱값 보다 작은 경우에는 상기 소정역역의 중심화소를 움직임 없는 화소인 상기 제2 중심화소로 판단하는 단계;를 포함하는 것을 포함하는 것을 특징으로 하는 중간영상 생성방법.
제1항에 있어서,

상기 비교하는 단계는,

상기 제2 프레임과 상기 제4 프레임간 화소값차를 블록별로 계산하여 합산한 후, 제1 문턱값과 비교하는 단계인 것을 특징으로 하는 중간영상 생성방법.
적어도 두개의 카메라들 중 제1 카메라로부터 연속하여 입력되는 제1, 제3 프레임과, 제2 카메라로부터 연속하여 입력되는 제2, 제4 프레임을 이용하여 상기 제1 프레임과 상기 제2 프레임의 중간영상을 생성하는 방법이 적용되는 입체영상 디스플레이장치에 있어서,

상기 제1 프레임과 상기 제3 프레임간 화소값차를 블록별로 계산하여 합산한 후, 제1 문턱값과 비교하는 제1 계산부;

상기 제1 문턱값 이상의 화소값차의 합 갖는 블록의 제1 중심화소는 움직임 있는 화소로 판단하며, 상기 제1 문턱값 보다 작은 화소값차의 합을 갖는 블록의 제2 중심화소는 움직임이 없는 화소로 판단하는 움직임 판단부;

상기 제1 프레임과 상기 제2 프레임간의 움직임 벡터에 해당하는 현재 변이벡터, 및 상기 제3 프레임과 상기 제4 프레임간의 움직임 벡터에 해당하는 이전 변이벡터를 계산하는 변이벡터 계산부; 및

상기 움직임 있는 화소로 판단된 경우에는 상기 현재 변이벡터를 기초로 상기 중간영상을 생성하며, 상기 움직임이 없는 화소로 판단된 경우에는 상기 이전 변이벡터의 중간값을 계산하여 상기 중간영상을 생성하는 중간영상 생성부;를 포함 하는 것을 특징으로 하는 입체영상 디스플레이장치.
제4항에 있어서,

상기 제1 프레임의 소정영역에서 상기 제1 중심화소의 수, 및 제2 중심화소의 수 중 어느 하나와 제2 문턱값과 비교하는 제2 계산부;를 더 포함하는 것을 특징으로 하는 입체영상 디스플레이장치.
제5항에 있어서,

상기 움직임 판단부는, 상기 제2 계산부에서 합산한 값이 상기 제2 문턱값 이상인 경우에는 상기 소정영역의 중심화소를 움직임 있는 화소인 상기 제1 중심화소로 판단하며, 상기 제2 문턱값 보다 작은 경우에는 상기 소정영역의 중심화소를 움직임 없는 화소인 상기 제2 중심화소로 판단하는 것을 포함하는 것을 특징으로 하는 입체영상 디스플레이장치.
제4항에 있어서,

상기 제1 계산부는, 상기 제1 프레임과 상기 제3 프레임간 화소값차를 블록별로 계산하여 합산한 후, 제1 문턱값과 비교하는 것을 특징으로 하는 입체영상 디스플레이장치.