KR100433625B1

KR100433625B1 - 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치

Info

Publication number: KR100433625B1
Application number: KR10-2001-0071586A
Authority: KR
Inventors: 정홍; 오윤수
Original assignee: 학교법인 포항공과대학교
Priority date: 2001-11-17
Filing date: 2001-11-17
Publication date: 2004-06-02
Also published as: KR20030040920A; JP2003284097A; US20030095119A1; EP1313329A3; EP1313329A2; US6903735B2

Abstract

본 발명은 영상 처리와 시각화 처리를 수행하기 위하여, 실시간으로 한 쌍의 카메라로부터 얻은 영상을 처리하여 두 영상 사이의 가상의 카메라에서 얻어지는 영상을 만들어내는 스테레오 카메라의 두 영상과 양안차도를 이용한 다시점 영상 합성 장치에 관한 것으로,

본 발명의 특징은, 제1카메라 및 제2카메라로부터 각각 입력되는 영상신호를 디지털신호로 변환하는 다시점영상합성수단; 상기 다시점영상합성수단으로부터 전송되는 상기 디지털신호를 받아서, 사용자가 정한 가상카메라를 위한 영상 픽셀의 맵핑 인덱스를 계산하여 출력하는 다시점영상재투영수단; 및 상기 다시점영상재투영수단에서 출력되는 출력신호를 이용하여, 상기 다시점영상합성수단을 통하여 입력되는 상기 디지털신호의 중복 픽셀을 디스플레이하기 위하여 소정픽셀을 선택하는 픽셀선택수단을 포함하는데 있다.

이와 같이, 본 발명은 양안차도의 직렬 처리 과정과 재귀 알고리즘을 이용한 스테레오 영상 시퀀스를 이용함으로써 사용자가 정한 가상 카메라의 영상의 발생이 가능한 이점이 있다.

Description

스테레오 카메라의 두영상과 양안차도를 이용한 다시점 영상 합성 장치{Apparatus for reconstructing multiview image using stereo image and depth map}

본 발명은 스테레오 카메라의 두 영상과 양안차도를 이용한 다시점 영상 합성 장치에 관한 것으로, 보다 상세하게는 영상 처리와 시각화 처리를 수행하기 위하여 실시간으로 한 쌍의 카메라로부터 얻은 영상을 처리하여 두 영상 사이의 가상의 카메라에서 얻어지는 영상을 만들어내는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치에 관한 것이다.

시각화 분야나 엔터테인먼트(Entertainment)를 위한 영상 분야 등에서는 가상 또는 실제 카메라를 이용하여 임의의 위치로부터 관찰되는 영상을 필요로 하는 바, 이와 같은 영상을 얻기 위하여 모든 위치에 실제 카메라를 설치하거나 이동 카메라를 이용하여 영상을 얻는 시스템을 생각할 수 있으나, 이는 비현실적인 방법으로 카메라를 설치할 수 있는 위치가 한정되어 있을 경우에 이동 카메라 시스템을 설치하는 것은 불가능하기 때문이다. 일반적으로 임의의 위치로부터 관찰되는 영상을 만드는 방법은 몇몇의 고정된 위치에 카메라를 설치하고, 이로부터 얻어지는 영상을 혼합하거나 보간(Interpolation)하여 사용자가 원하는 영상을 만드는 방법이 이용되고 있는데, 영상의 혼합과 보간은 소프트웨어나 하드웨어로 수행된다. 그러나, 초당 30프레임의 영상으로 처리해야 하는 실시간 영상으로의 구현은 매우 어렵고, 매우 복잡하고 고비용의 하드웨어를 필요로 한다. 또한, 가상 시점에서의 영상을 만들기 위해서는 입력 영상의 3차원적 구조를 알아내야 하는데 실시간으로 3차원으로 복원하기에는 고 난이도의 기술을 필요로 하며, 시스템 하드웨어가 복잡하고 고비용이 발생하는 문제점이 있다.

따라서, 본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 실시간으로 출력되는 스테레오 영상 쌍의 양안차도(Depth Map)를 이용하여 두 개의 오리지널 카메라 사이에 위치하는 가상 카메라에 의한 영상을 실시간으로 만들 수있는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치를 제공하는데 그 목적이 있다.

도 1은 본 발명에 따른 스테레오 카메라의 두영상과 양안차도를 이용한 다시점 영상 합성 장치의 구성도,

도 2는 도 1에 도시된 다시점 영상 합성 수단의 상세 구성도,

도 3은 도 1에 도시된 픽셀 선택 수단의 상세 구성도.

<도면의 주요 부분에 대한 부호의 설명>

100 : 제1카메라 110 : 제2카메라

200 : 다시점영상합성수단 300 : 다시점영상재투영수단

400 : 픽셀선택수단

이와 같은 목적을 달성하기 위한 본 발명의 특징은, 고정된 위치에 설치된 제1카메라 및 제2카메라로부터 각각 입력되는 영상신호를 디지털신호로 변환하고, 상기 제1,2카메라로부터 얻어지는 두 영상 사이의 임의의 위치에 있는 가상카메라에 의한 영상을 얻기 위하여 상기 제1,2카메라에서 출력되는 영상신호들의 양안차도(Depth Map) 값을 산출하여 출력하는 다시점영상합성수단; 상기 다시점영상합성수단으로부터 전송되는 상기 디지털신호 및 양안차도 값을 받아서, 상기 가상카메라를 위한 재투영 영상의 매핑 픽셀 인덱스를 계산하여 출력하는 다시점영상재투영수단; 및 상기 다시점영상재투영수단에서 출력되는 출력신호를 이용하여, 상기 다시점영상합성수단을 통하여 입력되는 상기 디지털신호의 중복 픽셀을 디스플레이하기 위하여 소정픽셀을 선택하는 픽셀선택수단을 포함하는 데 있다.

바람직하게, 상기 다시점영상합성수단에서 변환된 상기 디지털신호는 오리지널 이미지쌍에 대한 양안차의 3차원 데이터임을 특징으로 한다.

바람직하게, 상기 다시점영상합성수단은 상기 제1카메라 및 상기 제2카메라에서 각각 입력되는 상기 영상신호를 상기 디지털신호로 변환하기 위하여, 상기 디지털신호의 디지털 영상 픽셀을 저장하는 저장부; 및 상기 저장부에 저장된 상기 디지털신호를 이용하여 양안차의 데이터를 출력하는 프로세싱부를 포함함을 특징으로 한다.

바람직하게, 상기 다시점영상합성수단의 저장부는 상기 제1카메라 및 상기 제2카메라 사이의 가상의 선을 같은 길이로 등분한 공간의 수를 나타내는 사용자의 제1입력신호(I)와 등분된 점을 나타내는 인덱스 중 가상 카메라가 위치하는 점의 인덱스를 나타내는 제2입력신호(M)를 이용하여 미리 정해진 수식에 따라 조합된 값을 이전 스탭의 재투영 영상의 인덱스와 더해 갱신된 인덱스값을 구하여 저장함을 특징으로 한다.

바람직하게, 상기 다시점영상합성장치는 상기 제1카메라 및 상기 제2카메라로부터 얻어지는 두 영상 사이에 임의의 위치에 있는 가상카메라에 의한 영상을 얻기 위하여, 상기 제1카메라 및 상기 제2카메라에서 각각 출력되는 상기 영상신호들의 양안차도를 이용함을 특징으로 한다.

바람직하게, 상기 다시점영상재투영수단은 상기 다시점영상합성수단에서 전송되는 상기 디지털신호를 받아 소정의 제어신호를 출력하는 제1제어부; 사용자의 제2입력신호(M)를 상기 제1제어부의 소정의 제어신호에 따라 양수 또는 음수로 바꾸어주는 부호부; 상기 제1제어부의 소정의 제어신호에 따라 상기 부호부에서 부호화된 사용자의 제2입력신호(M)를 “0 ”으로 만들어 주는 제1제로부; 사용자의 제1입력신호(I)를 상기 제1제어부의 소정의 제어신호에 따라 I/2로 바꾸어주는 쉬프트 레지스터(shift register)부; 상기 제 1 제어부의 소정의 제어신호에 따라 상기 쉬프트 레지스터(shift register)부에서 출력된 값을 '0'으로 만들어주는 제2제로부; 상기 제1입력신호의 제2제로부에서 출력되는 신호와 상기 제2입력신호의 제1제로부에서 출력되는 신호를 더하여 매핑될 재투영 영상 인덱스의 차이값을 출력하는 제1덧셈부; 상기 제1덧셈부에서 출력되는 인덱스의 차이값에 이전 스탭에서 재투영된 영상의 인덱스를 더하여 갱신된 인덱스값을 출력하는 제2덧셈부; 및 상기 제2덧셈부에서 출력되는 갱신된 인덱스값을 저장하는 레지스터부를 포함하고, 상기 제1제어부에서 출력되는 소정의 제어신호는 상기 부호부, 제1제로부, 쉬프트 레지스터부 및 제2제로부를 동작시키기 위한 인에이블(enable) 신호인 것을 특징으로 한다.

바람직하게, 상기 다시점영상재투영수단은 스캔라인당 소정갯수(N)의 좌측 영상 픽셀, 소정갯수(N)의 우측 영상 픽셀, 2 ×소정갯수(N)+1개의 중심 기준 양안차도 픽셀, 사용자의 (제1입력신호(I)×소정갯수(N))+1개의 임의의 가상 카메라 기준 영상 픽셀을 사용함을 특징으로 한다.

바람직하게, 상기 픽셀선택수단은 상기 제1카메라로부터 입력된 소정갯수(N)의 스캔라인 픽셀들을 저장하는 제1픽셀버퍼부; 맵핑(mapping)될 좌측 영상 픽셀이 들어있는 상기 제1픽셀버퍼부의 인덱스를 저장하는 제1픽셀포인터부; 상기 제2카메라로부터 입력된 소정갯수(N)의 스캔라인 펙셀들을 저장하는 제2픽셀버퍼부; 맵핑(mapping)될 우측 영상 픽셀이 들어있는 상기 제2픽셀버퍼부의 인덱스를 저장하는 제2픽셀포인터부; 입력되는 양안차의 차이값()을 기준으로 상기 제1픽셀포인터부와 상기 제2픽셀포인터부의 각각의 인덱스를 증가시키는 제2제어부; 및 임의의 가상 카메라의 영상의 픽셀을 출력시키는 출력부를 포함함을 특징으로 한다.

바람직하게, 상기 출력부는 다시점영상재투영수단에서 출력되는 재투영영상픽셀 인덱스와 좌우측의 픽셀포인터가 가르키는 픽셀을 이용하여 재투영된 영상을 만드는 것을 특징으로 한다.

바람직하게, 상기 제1픽셀버퍼부와 상기 제2픽셀버퍼부는 상기 다시점영상합성수단의 상기 프로세싱부에서 한 스캔 라인의 픽셀이 처리되면 초기화됨을 특징으로 한다.

이하, 본 발명의 바람직한 실시예에 대하여 첨부 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표기되었음에 유의하여야 한다.

도 1은 본 발명에 따른 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치의 구성도이며, 도 2는 도 1에 도시된 다시점영상재투영수단의 상세 구성도이며, 도 3은 도 1에 도시된 픽셀 선택 수단의 상세 구성도이다.

도 1 내지 도 3에 있어서, 본 발명은 제1카메라(100), 제2카메라(110), 다시점영상합성수단(200), 다시점영상재투영수단(300), 픽셀선택수단(400)을 포함한다.

다시점영상합성수단(200)은 제1카메라(100) 및 제2카메라(110)로부터 각각 입력되는 영상신호를 디지털신호로 변환하기 위하여, 디지털신호의 디지털 영상 픽셀을 저장하는 저장부(210) 및 저장부(210)에 저장된 디지털신호를 이용하여 양안차의 데이터를 출력하는 프로세싱부(220)를 포함한다. 이때, 다시점영상합성수단(200)에서 변환된 디지털신호는 양안차도의 3차원 데이터로서, 제1카메라(100) 및 제2카메라(110)로부터 얻어지는 두 영상 사이에 임의의 위치에 있는 가상카메라에 의한 영상을 얻기 위해서 제1카메라(100) 및 제2카메라(110)에서 각각 출력되는 영상신호들의 양안차도를 이용한다. 또한, 다시점영상합성수단(200)의 저장부(210)는 제1카메라(100) 및 제2카메라(110) 사이의 가상의 선을 같은 길이로 등분한 공간의 수를 나타내는 사용자의 제1입력신호(I)와 등분된 점을 나타내는 인덱스 중 가상 카메라가 위치하는 점의 인덱스를 나타내는 제2입력신호(M)를 이용하여 미리 정해진 수식에 따라 조합된 값을 이전 스탭의 재투영영상의 인덱스와 더하여 갱신된 인덱스값을 구하여 저장한다.

다시점영상재투영수단(300)은 다시점영상합성수단(200)으로부터 전송되는 디지털신호를 받아서, 사용자가 정한 가상카메라를 위한 재투영 영상의 매핑 픽셀 인덱스를 계산하여 출력하기 위하여, 도 2에 도시한 바와 같이 제1제어부(310)와, 부호부(320), 제1제로부(330), 쉬프트 레지스터(shift register)부(340), 제2제로부(350), 제1덧셈부(360), 제2덧셈부(370) 및 레지스터부(380)를 포함하여 구성된다.제1제어부(310)는 다시점영상합성수단(200)에서 전송되는 디지털신호를 받아 소정의 제어신호, 즉 부호부(320)와, 제1제로부(330), 쉬프트 레지스터부(340) 및 제2제로부(350)를 동작시키기 위한 인에이블(enable) 신호를 출력한다. 부호부(320)는 사용자의 제2입력신호(M)를 제1제어부(310)의 소정의 제어신호에 따라 양수 또는 음수로 바꾸어 주는 역할을 한다. 제1제로부(330)는 제1제어부(310)의 소정의 제어신호에 따라 부호부(320)에서 부호화된 사용자의 제2입력신호(M)를 “0 ”으로 만든다. 쉬프트 레지스터부(340)는 사용자의 제2입력신호(I)를 제1제어부(310)의 소정의 제어신호에따라 I/2로 바꾸어 주는 역할을 한다. 제2제로부(350)는 제1제어부(310)의 소정의 신호에 따라 쉬프트 레지스터(shift register)부(340)에서 출력되는 신호를 '0'으로 만드는 역할을 한다. 제1덧셈부(360)는 제2입력신호(M)의 제2제로부(330)에서 출력되는 신호와 제1입력신호(I)의 제2제로부(350)에서 출력되는 신호을 더하여 재투영 영사의 매핑 인덱스 차이값을 출력한다. 제2덧셈부(370)는 제1덧셈부(360)에서 출력되는 인덱스의 차이값에 이전스탭에서의 재투영 영상의 인덱스를 더하여 갱신된 인덱스값을 출력한다. 그리고, 레지스터부(380)는 제2덧셈부(370)에서 출력되는 갱신된 인덱스값을 저장한다.다시점영상재투영수단(300)은 스캔라인당 소정갯수(N)의 좌측 영상 픽셀, 소정갯수(N)의 우측 영상 픽셀, 2 ×소정갯수(N)+1개의 중심 기준 양안차도 픽셀, 사용자의 제1입력신호(I)×소정갯수(N)+1개의 임의의 가상 카메라 기준 영상 픽셀을 사용한다.

픽셀선택수단(400)은 다시점영상재투영수단(300)에서 출력되는 출력신호를 이용하여, 다시점영상합성수단(200)을 통하여 입력되는 디지털신호의 중복 픽셀을 디스플레이하기 위하여 소정픽셀을 선택하는데, 도 3에 도시한 바와 같이 제1픽셀버퍼부(410)와, 제1픽셀포인터부(420), 제2픽셀버퍼부(430), 제2픽셀포인터부(440), 제2제어부(450) 및 출력부(460)를 포함한다.제1픽셀버퍼부(410)는 제1카메라(100)로부터 입력된 소정갯수(N)의 스캔라인 픽셀들을 저장한다. 제1픽셀포인터부(420)는 맵핑(mapping)될 좌측 영상 픽셀이 들어있는 제1픽셀버퍼부(410)의 인덱스를 저장한다. 제2픽셀버퍼부(430)는 제2카메라(110)로부터 입력된 소정갯수(N)의 스캔라인 픽셀들을 저장한다. 제2픽셀포인터부(440)는 맵핑(mapping)될 우측 영상 픽셀이 들어있는 제2픽셀버퍼부(430)의 인덱스를 저장한다. 제2제어부(450)는 입력되는 양안차의 차이값()을 기준으로 제1픽셀포인터부(420)와 제2픽셀포인터부(440)의 각각의 인덱스값을 증가시키는 역할을 한다. 그리고, 출력부(460)는 임의의 가상 카메라의 영상 픽셀을 출력시키는 역할을 한다.상기에서 출력부(460)는 재투영영상의 매핑 인덱스값과 우측의 픽셀포인터가 가르키는 픽셀을 이용하여 재투영된 픽셀을 만들며, 제1픽셀버퍼부(410)와 제2픽셀버퍼부(430)는 다시점영상합성수단(200)의 프로세싱부(220)에서 한 스캔 라인의 픽셀이 처리되면 초기화된다.

보다 상세하게 설명하면, 제1카메라(100) 및 제2카메라(110)로부터 얻은 영상을 처리함으로써 두 영상 사이의 가상 카메라에서 얻어지는 영상을 만들어 내기 위해서, 가상 카메라를 사용자의 좌측에 설치된 제1카메라(100)와 사용자의 우측에 설치된 제2카메라(110)를 잇는 가상의 선 위에 있다고 가정하는데, 가상 카메라의 위치가 제2입력신호(M)/제1입력신호(I)로 표현되어질 수 있는 점이라면 가상의 선위에 어떤 점이라도 위치할 수 있다. 여기에서 보간 팩터로 불려지는 제1입력신호(I)는 가상의 선을 같은 길이로 등분하는 공간의 수를 나타내는 정수이고 정수인 제2입력신호(M)는 등분된 점을 나타내는 인덱스 중 가상 카메라가 위치하는 점의 인덱스를 나타낸다. 이때, 인덱스는 가장 왼쪽의 점을 “1 ”로 한다.

먼저, 제1카메라(100) 및 제2카메라(110)로부터 들어온 영상은 다시점영상합성수단(200)의 저장부(210)에 저장되는데, 제1카메라(100)의 영상 픽셀은 [수식1]에 벡터 형태로 표기된다.

[수식 1]

여기서 l은 왼쪽 이미지, a는 왼쪽 이미지 픽셀들의 좌측으로부터의 인덱스를 나타낸다.

또한, 제2카메라(110)의 영상 픽셀은 [수식2]에 벡터 형태로 표기된다.

[수식 2]

여기서 r은 오른쪽 이미지, b는 오른쪽 이미지 픽셀들의 좌측으로부터의 인덱스를 나타낸다.

제1카메라(100)와 제2카메라(110)로부터 각각 얻어지는 [수식1]과 [수식2]의 벡터를 갖는 영상을 제1카메라(100)와 제2카메라(110)의 중심점에 있는 가상 카메라 영상의 양안차도로 변환시킨다. 이때 사용되는 양안차도는 다시점영상합성수단(200)의 양안차 출력값()을 각 픽셀마다의 양안차의 차이값()으로 변환하여 양안차도로 저장한다. 즉, 중심 기준의 픽셀(i)에 대한 실시간 3차원 공간 복원의 양안차도 출력값은 양안차의 차이값()으로 나타내는데 +1, -1, 0 중에 하나의 값을 가지며 i=0...2N의 값을 가지게 된다. 이때의 양안차도 벡터는 [수식 3]으로 나타낸다.

[수식 3]

여기서 i는 양안차도 픽셀의 인덱스를 나타낸다.

즉, 좌우측 영상은 스캔라인마다 N개의 픽셀을 갖고 중심 기준의 양안차도는 2N+1개의 픽셀이 있으므로, 2N+1개의 양안차 정보를 가지고 있는 양안차도를 출력하게 된다. 이와 같은 양안차도를 이용하여 임의의 위치에 있는 가상 카메라의 영상을 다시점영상재투영수단(300)이 재투영하게 된다.한편, 새로 재투영된 영상은 스캔라인당 IN+1개의 픽셀수를 가지며 재영사된 영상의 각 스캔라인은 다음과 같은 [수식3]의 벡터로 표현할 수 있다.

[수식 4]

양안차의 차이값()에 대하여 적절한 재투영 픽셀은로 표시한다.

[수식 5]

[수식 6]

다시점영상재투영수단(300)에서 수행되는 스캔라인 쌍의 양안차 재투영 알고리즘은 다음과 같이 구현된다.

1. 초기화

i=0

j=0

2. 재귀

입력되는 양안차의 차이값()에 따라 각 영상 플레인 픽셀 인덱스 값의 변화는 다음과 같다.

if가 0이면

이경우엔 두가지 경우가 있을 수 있다.

i 에 해당하는 양안차값을 ()라 했을 때

값이 홀수이면

재투영영상 j의 픽셀은관계가 성립하므로 출력부는 다시점영상재투영 픽셀 라인의 인덱스가 j인 픽셀에 오른쪽 이미지의 a 번째 픽셀이나 왼쪽이미지의 b 번째 픽셀을 매핑한다.

값이 짝수이면

다음스탭으로 넘어간다.

if가 +1이면

이고 재투영영상의 j번째 픽셀은 이고

오른쪽영상의 b인덱스를 가진 영상픽셀이 매핑되고

if가 -1이면

이고 재투영영상의 j번째 픽셀은 이고

왼쪽영상의 a인덱스를 가진 영상픽셀이 매핑된다.

3, 종료

i=2N

가상 카메라의 영상 픽셀는 왼쪽 영상 픽셀와 오른쪽 영상에 매핑(Mapping)으로 결정되게 된다. 양안차의 차이값()이 “0 ”이면 좌우측 영상 픽셀은 가상 카메라의 상대적 위치에 따라 가중치를 두어 매핑한다. 왜냐하면, 가상 카메라가 오른쪽의 제2카메라(110)에 가까이 있을 때는 제2카메라(110)의 영상에 더 가깝게 보이고 왼쪽의 제1카메라(100)에 가까이 있을 때는 제1카메라(100)의 위치에 더 가깝게 보이므로가 된다. 양안차의 차이값()이 +1인 경우에는 오른쪽 영상 픽셀 매핑이 되며, 양안차의 차이값()이 -1인 경우에는 왼쪽 영상 픽셀이 매핑된다. 이와 같이 매핑된 가상 카메라 영상은 IN+1개의 픽셀을 가지므로 영상의 크기가 I배만큼 커지게 된다. 여기서 IN+1개 픽셀의 재투영 영상라인은 부분부분의 픽셀이 비어있는 형태를 가지게 된다. 따라서, 매 I픽셀마다 영상픽셀이 채워진 픽셀수로 나누게 되는 평균값을 취하여 이 값을 N개의 새 영상 픽셀에 저장함으로써 N픽셀 크기의 가상 카메라 영상을 얻게된다.

이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

결국, 본 발명에 의한 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치에 따르면 다음과 같은 이점이 발생한다.

즉, 양안차도의 직렬 처리 과정과 재귀 알고리즘을 이용한 스테레오 영상 시퀀스를 이용함으로써 실시간으로 사용자가 정한 가상 카메라의 영상의 발생이 가능하다.

Claims

고정된 위치에 설치된 제1카메라 및 제2카메라로부터 각각 입력되는 영상신호를 디지털신호로 변환하고, 상기 제1,2카메라로부터 얻어지는 두 영상 사이의 임의의 위치에 있는 가상카메라에 의한 영상을 얻기 위하여 상기 제1,2카메라에서 출력되는 영상신호들의 양안차도(Depth Map) 값을 산출하여 출력하는 다시점영상합성수단;

상기 다시점영상합성수단으로부터 전송되는 상기 디지털신호 및 양안차도 값을 받아서, 상기 가상카메라를 위한 재투영 영상의 매핑 픽셀 인덱스를 계산하여 출력하는 다시점영상재투영수단; 및

상기 다시점영상재투영수단에서 출력되는 출력신호를 이용하여, 상기 다시점영상합성수단을 통하여 입력되는 상기 디지털신호의 중복 픽셀을 디스플레이하기 위하여 소정픽셀을 선택하는 픽셀선택수단을 포함하는 것을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.
제 1 항에 있어서,

상기 다시점영상합성수단에서 변환된 상기 디지털신호는 양안차도의 3차원 데이터임을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.
제 1 항에 있어서, 상기 다시점영상합성수단은

상기 제1카메라 및 상기 제2카메라에서 각각 입력되는 상기 영상신호를 상기 디지털신호로 변환하기 위하여, 상기 디지털신호의 디지털 영상 픽셀을 저장하는저장부; 및

상기 저장부에 저장된 상기 디지털신호를 이용하여 양안차의 데이터를 출력하는 프로세싱부를 포함함을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.
제 1 항에 있어서, 상기 다시점영상합성수단의 저장부는

상기 제1카메라 및 상기 제2카메라 사이의 가상의 선을 같은 길이로 등분한 점의 인덱스를 나타내는 사용자의 제2입력신호(M)와 보간 벡터인 사용자의 제1입력신호(I)를 이용하여 미리 정해진 수식에 따라 조합된 값을 이전 스탭의 재투영 영상 픽셀의 인덱스와 더해 갱신된 인덱스값을 구하여 저장함을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성장치.
제 1 항에 있어서,

상기 제1카메라 및 상기 제2카메라로부터 얻어지는 두 영상 사이에 임의의 위치에 있는 가상카메라에 의한 영상을 얻기 위하여, 상기 제1카메라 및 상기 제2카메라에서 각각 출력되는 상기 영상신호의 양안차도를 이용함을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.
제 1 항에 있어서, 상기 다시점영상재투영수단은

상기 다시점영상합성수단에서 전송되는 상기 디지털신호를 받아 소정의 제어신호를 출력하는 제1제어부;

사용자의 제2입력신호(M)를 상기 제1제어부의 소정의 제어신호에 따라 양수 또는 음수로 바꾸어주는 부호부;

상기 제1제어부의 소정의 제어신호에 따라 상기 부호부에서 부호화된 사용자의 제2입력신호(M)를 “0 ”으로 만들어 주는 제1제로부;

사용자의 제1입력신호(I)를 상기 제1제어부의 소정의 제어신호에 따라 I/2로 변형시켜주는 쉬프트 레지스터(shift register)부;

상기 제1제어부의 소정의 제어신호에 따라 상기 쉬프트 레지스터(shift register)부에서 출력되는 값을 '0'으로 만들어 주는 제2제로부;

상기 제1입력신호의 제2제로부에서 출력되는 신호와 상기 제2입력신호의 제1제로부에서 출력되는 신호를 더하여 매핑된 재투영 영상 인덱스의 차이값으로 출력하는 제1덧셈부;

상기 제1덧셈부에서 출력되는 인덱스의 차이값에 재투영된 영상의 인덱스를 더하여 갱신된 인덱스값을 출력하는 제2덧셈부; 및

상기 제2덧셈부에서 출력되는 갱신된 인덱스값을 저장하는 레지스터부를 포함하고,

상기 제1제어부에서 출력되는 소정의 제어신호는 상기 부호부, 제1제로부, 쉬프트 레지스터부 및 제2제로부를 동작시키기 위한 인에이블(enable) 신호인 것을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.
제 1 항에 있어서, 상기 다시점영상재투영수단은

스캔라인당 소정갯수(N)의 좌측 영상 픽셀, 소정갯수(N)의 우측 영상 픽셀,2 ×소정갯수(N)+1개의 중심 기준 양안차도 픽셀, 사용자의 제1입력신호(I)×소정갯수(N)+1개의 임의의 가상 카메라 기준 영상 픽셀을 사용함을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.
제 1 항에 있어서, 상기 픽셀선택수단은

상기 제1카메라로부터 입력된 소정갯수(N)의 스캔라인 픽셀들을 저장하는 제1픽셀버퍼부;

맵핑(mapping)될 좌측 영상 픽셀이 들어있는 상기 제1픽셀버퍼부의 인덱스를 저장하는 제1픽셀포인터부;

상기 제2카메라로부터 입력된 소정갯수(N)의 스캔라인 펙셀들을 저장하는 제2픽셀버퍼부;

맵핑(mapping)될 우측 영상 픽셀이 들어있는 상기 제2픽셀버퍼부의 인덱스를 저장하는 제2픽셀포인터부;

입력되는 양안차의 차이값()을 기준으로 상기 제1픽셀포인터부와 상기 제2픽셀포인터부의 각각의 인덱스를 증가시키는 제2제어부; 및

임의의 가상 카메라의 영상의 픽셀을 출력시키는 출력부를 포함함을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.
제 8 항에 있어서, 상기 출력부는

양안차의 차이값()과 좌우측의 픽셀포인터가 가르키는 픽셀을 이용하여재투영된 픽셀을 만드는 것을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.
제 8 항에 있어서, 상기 제1픽셀버퍼부와 상기 제2픽셀버퍼부는

상기 다시점영상합성수단의 상기 프로세싱부에서 한 스캔 라인의 픽셀이 처리되면 초기화됨을 특징으로 하는 스테레오 카메라의 양안차도를 이용한 다시점 영상 합성 장치.