KR20030037140A

KR20030037140A - 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템

Info

Publication number: KR20030037140A
Application number: KR1020010068247A
Authority: KR
Inventors: 김제우; 정혁구; 최병호; 송혁; 백종호
Original assignee: 전자부품연구원
Priority date: 2001-11-02
Filing date: 2001-11-02
Publication date: 2003-05-12
Also published as: KR100424401B1

Abstract

본 발명은 다시점 영상통신 시스템에 관한 것으로 보다 상세하게는 여러 개의 영상입력장치로부터 입력된 원영상을 전처리, 압축, 다중화, 역다중화, 복원, 합성의 과정을 통해 원영상보다 더 많은 영상을 디스플레이장치에서 출력하는 것이 가능하고 다양한 각도와 다양한 거리에서 3차원 입체영상을 시청하며 검색기능을 포함한 3차원 입체영상을 위한 다시점 영상통신 시스템에 관한 것이다.

본 발명은 크게 송신단과 수신단으로 나뉘며, 송신단은 여러대의 카메라로부터 2차원 영상을 획득하는 영상 획득부와, 카메라의 특성차이로 인한 파라메타 등을 보정하는 다시점영상 전처리부(100)와, 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시(redundancy)를 제거하는 다시점영상 압축부(200)와, 상기 영상획득부에서 획득된 2차원 영상으로부터 바로 검색이 가능한 정보를 가지고 있는 메타데이터(Meta data)를 추출하는 다시점 영상검색시스템(300)과, 상기 다시점영상 압축부에서 압축된 각 영상 스트림과 상기 메타데이터를 하나의 스트림으로 다중화하는 다시점영상 다중화부(400)를 포함하며

수신단은 다중화된 영상스트림으로부터 메타데이터 및 각각의 독립된 영상스트림으로 복원하며 저장을 위해 메타데이터를 제외한 다중화된 스트림을 재생성하는 다시점영상 역다중화부(500)와, 상기 다시점영상 역다중화부(500)에서 생성된 메타데이터 및 메타데이터를 포함하지 않는 3DSS스트림을 임시저장하고 메타데이터를 이용하여 검색하는 멀티미디어 저장 및 검색 시스템(Multimedia Storage &Search system)과, 상기 다시점영상 역다중화부(500) 및 상기 멀티미디어 저장 및 검색 시스템에서 검색된 3DSS스트림의 압축된 각각의 영상을 압축해제하여 복원하는 다시점영상 복원부(600)와, 복원된 다시점 영상간의 중간영상을 생성하는 다시점 중간영상합성부(700)와, 전기단계에서 형성된 2차원영상을 3차원 디스플레이장치에 출력하는 3D 디스플레이 제어부(800)를 포함한다.

따라서 본 발명은 한정된 인원만이 3차원 영상을 볼 수 있었던 기존기술과는 달리 카메라로부터 얻을 수 있는 시점보다 많은 시점을 확보할 수 있으므로 많은 인원이 동시에 여러 각도 또는 여러 시점에서 시청할 수 있는 장점이 있다. 또한 본 발명을 구성하는 각 수단들은 3차원 다시점 비디오 시스템외에도 각각이 독립적으로 디지털 방송, 의료분야, 게임/오락분야 등의 제품에 적용이 가능하며 영상검색이 가능한 메타데이터를 다시점영상 통신시스템내에 함께 존재하도록 함으로써 무조건적인 재생 뿐만 아니라 사용자의 기호 및 선택에 따라서 3차원적으로 여러각도 및 여러시점에서 재생이 가능하다.

Description

검색기능을 포함한 3차원 입체영상을 위한 다시점 영상통신 시스템{3D Stereoscopic Multiview video system include Searching function }

도 1은 다시점으로 3차원 영상을 구현하는 일련의 방법을 제시하고 있다. 즉, 3차원 영상을 구현하는 방법의 하나로, 각각이 2차원적인 영상 데이터를 획득하는 여러 개의 카메라(1)로부터 2차원 영상데이타를 획득하고, 이를 적절히 가공하여 자체내의 복원 및 원격지로의 전송을 통한 원격 장치에서의 복원을 통하여 3차원 디스플레이장치(2), 즉 렌티큘라 방식의 장치를 통하여 3차원 영상을 구현한다. 기존의 다시점 비디오 시스템은 MPEG-2 표준안에 포함되어 있는 다시점 프로파일을 만족하는 입체비디오 시스템으로 도2에 도시한 바와 같다. 시스템 구성은 MPEG-2 MP@ML의 베이스층으로 구성된 좌안용 동작보상 DCT 인코더 블럭(3)과 우안용 동작보상 DCT 인코더 블럭(4), 부동 추정기(Disparity Estimator, DE)(5), 부동 보상기(Disparity Compensator, DC)(6) 등으로 구성된 동작 및 부동 보상 DCT 인코더 블럭(50)과 시스템 멀티플렉서(7)를 포함하는 입체 인코더 모듈과 마찬가지로 MPEG-2 MP@ML의 베이스 층으로 구성된 좌안용 동작보상 DCT 디코더 블럭(8)과 우안용 동작보상 DCT 디코더 블럭(9), 부동 보상기(10) 등으로 구성된 동작 및 부동 보상 DCT 디코더 블럭(60)과 시스템 디멀티플렉서(11)를 포함한 입체 디코더 모듈로 구성되어진다.

상기 시스템의 동작을 설명하면 다음과 같다. 시스템의 동작은 좌측영상을 기본 영상으로 선정하고, 좌안용 동작보상 DCT 인코더 블럭(3)에서 MPEG-2 표준알고리즘으로 부호화한 후 시스템 멀티플렉서(7)로 부호화된 스트림을 전송한다. 한편 상기 블럭에서는 다음 영상 및 우측영상의 부호화를 위해 복원영상을 생성하여 DE(5) 및 DC블럭(6)으로 전달한다. 우측 원영상은 우안용 동작보상 DCT 인코더블럭 (4)과 DE블럭(5)으로 전달되는데 DE블럭(5)에서는 좌측 영상의 복원영상과 우측영상의 원영상을 비교 평가하여 부동벡타(Disparity vector, DV)를 구하고 이를 우안동작보상 DCT 인코더블럭(4)과 DC블럭(6)으로 전달한다. DC블럭(6)으로 전달된 DV는 좌측복원영상을 참조하여 다음우측영상에 대한 보상영상을 생성하고 우안동작보상 DCT인코더블럭(4)으로 전달된 DV는 MPEG-2 표준의 MV와 동일하게 부호화된다. 그리고 우안동작보상 DCT 인코더블럭(4)에서는 DC블럭(6)에서 생성된 보상영상과 우측 원영상과의 차영상에 대한 DCT(디스크리트 코사인 트랜스폼, 이하 DCT)를 이용한 MPEG-2부호화 알고리즘을 통해 부호화된다. 우측영상에 대한 부호화 스트림은 좌측영상과 동일하게 시스템 멀티플렉서(7)로 개별적으로 전달된다. 상기 시스템 멀티플렉서(7)는 MPEG-2 시스템의 규격을 따른다. 시스템 멀티플렉서(7)에서 다중화된 스트림은 시스템 디멀티플렉서(11)로 전달되고 역다중화되어 다시 두 개의 영상부호화 스트림을 복원하여 각각의 스트림을 좌안동작보상 DCT디코더블럭(8)과 우안동작보상 DCT디코더블럭(9)으로 전달된다. 좌측영상의 부호화스트림을 획득한 좌안동작보상 DCT디코더블럭(8)은 MPEG-2 표준을 만족하는 알고리즘으로 영상을 복원하고, 복원된 영상을 출력 및 DC블럭(10)으로 전달한다. 또 우측영상에 대한 부호화 스트림을 전달받은 우안동작보상 DCT디코더블럭(9)은 스트림을 복호하여 DV와 DC블럭(10)에서 생성되는 좌측영상을 참조로 한 보상영상과 원영상과의 차영상을 획득한다. 획득된 DV는 DC블럭으로 전달되어 이전에 복원된 좌측영상을 참조하여 보상영상을 생성하고, DC블럭에서 생성된 보상영상은 다시 우안동작보상 DCT디코더블럭(9)으로 전달되어 복원된 차영상과 합성되어 우측영상을 복원한다.

시스템의 동작을 애플리케이션의 관점에서 보면 사람의 좌, 우 눈과 비슷한 간격의 거리를 두고 수평적으로 평행한 두 개의 카메라로부터 영상을 획득하고, 두 개의 영상이 각각의 부호화기를 통하여 부호화된 후 다중화기를 통해 원격지에 복호기로 전달한다. 복호기의 역다중화기를 통과한 후 복호화된 각각의 영상 부호화스트림은 복호기를 통해 영상으로 복원된다. 복원된 각각의 영상은 3차원 디스플레이장치를 통해 사용자에게 출력되는데 이 시스템은 단지 하나의 시점에서만 그리고 제한거리내에서만 3차원영상을 구현할 수 있다.

상기와 같이 기존의 방식은 양안시스템으로 3차원영상을 사용자 입장에서 볼 때 하나의 지점에서만 3차원영상으로 구축된다. 즉 디스플레이 장치에서 전면의 약 1∼2m지점에 시청자가 있을 경우에만 영상이 3차원으로 보인다. 그러므로 상기 기존의 기술은 시청각의 시계가 극히 한정되어 있어 한 사람 또는 극히 적은 숫자의 사람만이 3차원영상을 볼 수 있다. 결국 기존방식으로는 3차원 정보 단말기 및 3D TV등과 같은 다수의 사용자를 대상으로 하는 응용분야에는 적용이 불가능한 단점이 있다. 또한, 사용자가 저장 또는 전송되어지는 다시점 영상의 내용에 따른 선택적인 다시점 영상의 재생이 불가능하다.

상기와 같이 기존의 기술이 지니는 문제점에 대한 방안으로 본 발명자는 렌티큘라 방식의 3차원 디스플레이에 동시에 여러 각도에서 물체 및 장면을 볼 수 있는 3차원 다시점 비디오 시스템을 제시하고자 한다. 이를 위해 본 발명에서는 많은 양의 데이터를 현재 시점에서 가능한 채널환경에 적용할 수 있도록 압축하고 또한 획득된 시점보다 더 많은 시점의 영상을 생성하는 것이 가능하도록 함으로써 다양한 시점과 거리에서 3차원영상을 구현할 수 있도록 하는 데에 본 발명의 목적이 있다.

또한, 영상 검색 기능이 있는 장치를 다시점영상통신 시스템내에 부가하여 무조건적인 재생뿐만 아니라 사용자의 기호 및 선택에 따라서 재생되는 다시점 영상통신용 시스템을 제공하는데 있다.

도 1은 3차원 다시점 영상시스템의 개략적인 설명도.

도 2는 기존의 입체영상 시스템의 블록구성도.

도 3은 본 발명의 3차원 다시점 영상통신 시스템의 블록구성도.

도 4는 본 발명의 구체적 실시예(다시점영상 전처리부 및 다시점영상압축부)

도 5는 본 발명의 구체적 실시예(다시점영상 다중화부)

도 6은 본 발명의 구체적 실시예(다시점영상 역다중화부)

도 7은 본 발명의 구체적실시예(다시점영상복원부 및 다시점중간영상생성부)

<도면의 주요부분에 대한 부호의 설명>

1 : 카메라 2 : 3차원 디스플레이장치

3 : 좌안용 동작보상 DCT 인코더 블록

4 : 우안용 동작보상 DCT 인코더 블록

5 : 부동 추정기 6,10 : 부동 보상기

7 : 시스템 멀티플렉서

8 : 좌안용 동작보상 DCT 디코더 블록

9 : 우안용 동작보상 DCT 디코더 블록 11 : 시스템 디멀티플렉서

50 : 동작 및 부동 보상 DCT 인코더 블록

60 : 동작 및 부동 보상 DCT 디코더 블록

100 : 다시점영상 전처리부 101 : 불균형 감소필터

102 : 노이즈감소필터 200 : 다시점영상 압축부

201,204,207 : DCT 기반 인코더 202,205 : 부동추정기

203,206,602 : 부동보상기

300 : 다시점영상 검색시스템

310 : 다시점영상 특징 추출장치

320 : 다시저영상 특징기술장치

400 : 다시점영상 다중화부 410 : 메타데이터 프로세서

411 : 메타데이터 패킷화기 412 : 스트림 헤더분석기

413 : 비디오 패킷화기 414 : 버퍼 컨트롤러

415 : 시스템헤더 제조기 416 : DSS 패킷화기

500 : 다시점영상 역다중화부 511 : 패킷 동기부

512 : 에러검출기 513 : 시스템클록 추출기

514 : 시스템클록 복원기 515 : 프로그램정보 디코더

516 : PID 프로세서 517 : 시스템헤더 프로세서

518 : 비디오 패킷 헤더 프로세서

519 : 타이밍복구 및 저장버퍼

600 : 다시점영상 복원부 601 : DCT 기반 디코더

700 : 다시점 중간영상 합성부 701 : 적응점 추출기

702 : 폐색영역 제조기

703 : 최종중간 영상 생성기

800 : 3D 디스플레이 제어부

도 3은 본 발명의 3차원 다시점 영상통신 시스템의 블록구성도이며, 도 4는 본 발명의 구체적 실시예로서, 다시점영상 전처리부 및 다시점영상 압축부를 나타내며, 도 5는 본 발명의 다시점영상 다중화부를 나타내며 도 6은 본 발명의 다시점영상 역다중화부를 나타내며, 도 7은 본 발명의 다시점 영상 복원부 및 다시점 중간영상생성부를 나타낸다.

본 발명은 도3을 참조하면 상기 시스템은 크게 송신단과 수신단으로 구분되며 송신단은 여러대의 카메라로부터 2차원 영상을 획득하는 영상 획득부와, 카메라의 특성차이로 인한 파라메타 등을 보정하는 다시점영상 전처리부(100)와, 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시(redundancy)를 제거하는 다시점영상 압축부(200)와, 상기 영상획득부에서 획득된 2차원 영상으로부터 메타데이터(Meta data)를 추출하는 다시점 영상검색시스템(300)과, 상기 다시점영상 압축부(200)에서 압축된 각 영상스트림과 상기 메타데이타를 하나의 스트림으로 다중화하는 다시점영상 다중화부(400)를 포함하며

상기 수신단은 상기 다중화된 스트림(3DSS스트림)으로부터 메타데이터 및 각각의 독립된 영상스트림으로 복원하며 저장을 위해 메타데이터를 제외한 다중화된 스트림을 재생성하는 다시점영상 역다중화부(500)와, 상기 다시점영상 역다중화부(500)에서 생성된 메타데이터 및 메타데이터를 포함하지 않는 3DSS스트림을 임시저장하고 메타데이터를 이용하여 검색을 수행하는 멀티미디어 저장 및 검색 시스템(Multimedia Storage & Search system)과, 상기 다시점영상 역다중화부(500) 및 상기 멀티미디어 저장 및 검색 시스템에서 검색된 3DSS스트림의 압축된 각각의 영상을 압축해제하여 복원하는 다시점영상 복원부(600)와, 복원된 다시점 영상간의 중간영상을 생성하는 다시점 중간영상합성부(700)와, 전기단계에서 형성된 2차원영상을 3차원 디스플레이장치에 출력하는 3D 디스플레이 제어부(800)를 포함하여 구성되어진다.

도 4를 참조하면 획득된 다시점영상(도면에는 M시점으로 도시)은 각 카메라간의 특성차이로 인한 오류 등의 보정을 위해 하나의 참조카메라를 기준으로 하여 영상의 휘도 및 색도의 보정 등을 상기 다시점영상 전처리부(100)에서 담당하게 된다. 바람직하기로는 상기 다시점영상 전처리부(100)는 불균형 감소필터(101)와 노이즈 감소필터(102)를 포함하며 상기 불균형 감소필터(101)는 LSE(least square error)와 Affine Transform 계수를 이용하는 블록기반 균형알고리즘을 이용하여 평균값과 분산을 맞추는 방식으로 휘도 및 색도 등을 보정한다. 또한 상기 불균형 감소필터(101)를 통과한 영상신호는 다시 각각의 가우스 잡음(Gaussian noise)을 제거하기 위한 노이즈 감소필터(102)를 거쳐 다시점영상 압축부(200)에 전달된다.

상기 다시점영상 압축부(200)는 상기 다시점영상 전처리부(100)를 통해 보정된 다시점 영상들에 대해 각 카메라에 대한 인접한 영상간의 시간적, 공간적 리던던시 및 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시를 제거하는 영상압축과정을 수행한다. 이를 위해 바람직하기로는 상기 다시점영상 압축부(200)는 부동추정기(Overlapped Block Disparity Estimation)/부동보상기(Overlapped Block Disparity Compensation) 및 기존의 MPEG-2알고리즘을 포함한다.

도 4에 도시한 본 발명의 바람직한 실시예로서의 비디오 압축수단(200)은 동작추정기(Overlapped Block Motion Estimation)/동작보상기(Overlapped Block Moti on Compensation)(도면에는 미도시)을 포함하는 DCT 기반 인코더(201)와, 부동추정기(202)와, 부동보상기(203)를 포함한다. 상기 비디오 압축수단(200)은 각각의 카메라에서 연속적으로 입력되는 영상프레임들에 대하여 동시간에서 가장 인접한 카메라 영상간의 동질성에 따른 시간적, 공간적 리던던시를 상기 부동추정기(202)와, 부동보상기(203)에서 부호화하고, 나머지 DCT계수들에 대해서는 MPEG-2표준을 만족하는 부호화를 통해 압축한다. 또한 각 카메라에서 입력되는 연속적인 프레임간의 동질성에 따른 시간적, 공간적인 리던던시는 동작추정기/동작보상기를 이용해 부호화하고, 나머지 DCT계수들에 대해서는 MPEG-2표준을 만족하는 부호화를 통해 압축한다.

상기 도면에 도시된 실시예에 따른 예시로서 카메라 2(이하 Ca_2로 약칭함)에 의한 보정된 영상은 동작추정기/동작보상기를 포함하는 DCT 기반 인코더(26)에서 독립적으로 부호화하여 Ca_2 인코디드 스트림으로 출력하고, 복원된 영상은 부동추정기(202, 205)/부동보상기(203, 206)블록에 참조영상으로 제공된다. Ca_1 보정영상과 Ca_2보정영상에 대해 살펴보면 상기 영상은 부동추정기(202)와 DCT 기반 인코더(201)로 전달되어 부동추정기(202)에서는 Ca_2 보정영상에 대한 복원영상을 참조하여 부동벡터(Disparity Vector, 또는 DV)를 획득하고, 부동보상기(203) 및 DCT 기반 인코더(201)로 상기 DV를 전달한다. 부동보상기(203)에서는 Ca_2 보정영상에 대한 복원영상을 참조하고 DV를 이용하여 보상영상을 생성하여 동 영상정보를 DCT 기반 인코더(201)로 전달한다. 이 과정은 Ca_2와 Ca_3보정영상 사이에도 동일하게 적용되며 최종적으로 DCT 기반 인코더(201, 207)는 부동추정기로부터 전달된 DV와 원영상(Ca_1 또는 Ca_3보정영상)과 부동보상기에서 보상된 영상과의 차영상을 부호화하여 각각 Ca_1 인코디드 스트림, Ca_3 인코디드 스트림으로 출력한다.

상기 송신단의 메타데이터(meta data)는 여러대의 카메라부터 획득된 2차원영상을 다시점영상 특징추출장치(310) 및 다시점영상 특징기술장치(320)로 구성된 다시점영상 검색시스템(300)에 의해 추출된다.

도 5에 도시된 바와 같이 다시점 영상 다중화부(400)는 상기 압축된 각 영상 스트림과 상기 메타데이터를 하나의 스트림으로 다중화한 시스템으로, 각각의 독립된 영상스트림에 대해 식별자, 시간정보, 프로그램정보 등이 추가되며 그 구체적인 실시예로서의 상세구성은 도3에 나타난 바와 같다. 상기 도면에 제시된 다시점 영상 다중화부(400)는 바람직하기로는 스트림 헤더분석기(412), 비디오 버퍼, 비디오 패킷화기(413), 버퍼컨트롤러(414), 시스템 헤어제조기(415), DSS 패킷화기(416)그리고 메타데이터 패킷화기(411)를 포함하여 구성된다.

그 작용관계를 살펴보면, 상기 다시점영상 압축부(200)에서 독립적으로 인코딩된 영상스트림은 스트림 헤더분석기(412)에서 AU단위로 분리되어 순차적으로 비디오 버퍼로 전달된다. 다음으로 비디오 패킷화기(413)에서 각 AU에 대한 시간정보 및 스트림 정보 등을 헤더에 추가하여 패킷화한 후 비디오 버퍼로 전달하고 상기 비디오 버퍼는 버퍼 컨트롤러(414)의 제어를 받아 라운드로빈 방식으로 시스템 헤더제조기(415)로 전달되어 각 영상스트림에 대한 식별자 및 기타정보를 포함하는 시스템 헤더를 생성하고 DSS 패킷화기(416)에서 PES 패킷(PES_1, PES_2 등)을 다시 하나의 DSS패킷으로 생성하고 이를 시퀀스화한다.

한편, 상기 다시점영상 검색시스템(300)에 의해 추출된 메타데이터는 다시점 시스템 다중화기 내에 있는 메타데이터 프로세서(410)에 의해 3DSS 스트림에 삽입되어지는데 삽입과정을 살펴보면, 상기 메타데이터는 순차적으로 메타데이터버퍼에 저장되며 메타데이터 패킷화기(411)에 의해 일정한 크기로 패킷화되고 3DSS 스트림의 패킷의 페이로드(Payload)에 삽입됨으로써 삽입이 이루어지고 그 후 상기 시스템 헤더제조기(415)에 전달되고 DSS 패킷화기(416)을 거쳐 상기 3DSS스트림과 함께 출력된다. 여기서 데이터에 대한 식별은 고유의 식별자(Packet_ID)를 이용하여 구별되고 3DSS스트림내에 존재하는 PSI(Program Specific Information) 정보 내에 메타데이터에 대한 데이터의 종류 및 식별 정보가 삽입되어 구별이 가능하다.

상기 수신부에서는 메타데이터를 포함한 3DSS스트림을 세가지 방식에 의해 처리가 되어진다. 첫째로는 실시간으로 3DSS스트림을 처리하여 다시점 영상을 재생하는 경우이고, 둘째로는 3DSS스트림을 저장하는 경우이며 마지막으로는 재생과 저장이 동시에 이루어지는 경우이다. 첫째의 경우는 방송의 경우와 마찬가지로 이미 재생되고 있기 때문에 메타데이터를 3DSS스트림으로부터 추출하여 이를 검색시스템에서 검색기능을 수행할 필요가 없다. 둘째의 경우에는 검색기능이 중요한 역할을 담당하게 되는데 저장을 할 때 검색 기능을 포함하는 메타데이터를 따로 추출하고 메타데이터를 제외한 나머지 3DSS스트림을 재생성하여 저장 매체에 서로간의 연관성을 인식하는 기능을 포함하여 각각 독립적으로 저장을 하면 수신부의 검색시스템에서는 이 메타데이터를 처리하여 사용자가 원하는 다시점 영상만을 재생할수 있게 된다. 마지막으로 재생과 저장의 동시 실행인데, 이 경우에는 저장을 하는 과정에 메타데이터를 제외한 3DSS 스트림을 비디오 버퍼에 전달하는 과정을 동시에 수행하여 실시간으로 재생하도록 한다. 도6를 참조하여 세 가지 경우의 과정을 좀더 상세히 설명하겠다.

도 6에 도시된 바와 같이 다시점영상 역다중화부(500)는 상기 메타데이터가 포함된 다중화된 영상스트림으로부터 메타데이터 및 각각의 독립된 영상스트림으로 복원하며, 저장을 위해 메타데이터을 제외한 다중화된 영상스트림을 재생성하는 시스템으로서, 패킷 동기부(511), 에러검출기(512), 패킷버퍼, 시스템헤더 프로세서(517), PID 프로세서(516), 시스템 클록 추출기(513), 시스템클록복원기(514), 프로그램정보 디코더(515), 비디오 패킷헤더 프로세서(518), 비디오버퍼(V_버퍼) 그리고 타이밍복구 및 저장버퍼(519), 메타데이터를 저장하는 메타데이터 버퍼를 포함하여 구성되어진다.

첫번째로, 실질 재생되는 과정을 살펴보면 메타데이터를 포함하는 3DSS 스트림은 순차적으로 패킷 동기부(511)로 입력되며, 상기 패킷 동기부(511)에 의해 각 패킷의 동기화 바이트를 검색하고 동기화된 패킷을 에러검출기(512)로 전송한다. 상기 에러검출기(512)는 에러체크를 수행하고, 시스템 클럭 추출기(513)와 패킷 버퍼(FIFO)로 DSS패킷이 보내진다. 상기 시스템 클럭 추출기(513)에서는 프로그램정보 디코더(515)에서 PCR_PID를 받아서 해당하는 DSS패킷헤더에서 PCR정보를 추출하고 시스템 클록 복원기(514)를 이용해 정확한 시스템 클록을 복원한다. 상기 패킷버퍼(FIFO)에 저장된 3DSS스트림 패킷들은 순차적으로 PID 프로세서(516)로 전달되며 상기 PID 프로세서(516)에서 Packet_ID를 식별하여 3DSS 스트림 패킷의 유효성 여부를 판단하게 된다. 여기서 유효성 판단은 Packet_ID가 프로그램 인식정보를 식별하는 Packet_ID와 다시점 비디오 스트림들을 식별하는 Packet_ID인 경우에만 유효하고 나머지는 모두 유효하지 않다고 판단한다.

만약 유효하다고 판단하면 이 패킷은 시스템헤더 프로세서(517)로 전달되어 시스템 헤더 추출 및 분석이 이루어지고 페이로드(Payload)만을 비디오패킷 헤더 프로세서(518)로 전달된다. 그리고 만약 유효하지 않다고 판단하면 패킷은 무시된다. 상기 비디오패킷헤더 프로세서(518)로 전달된 데이터는 만약 비디오 패킷 헤더(PES header)를 분석하고 포함되어 있지 않으면 그대로 비디오버퍼(V_버퍼)로전달하여 다시점영상 복원부(600)를 거쳐 재생된다.

다음으로 3DSS스트림을 저장하는 과정을 살펴보면 상기 PID 프로세서(516) 에서 유효성여부 판단이 이루어지는데 메타데이터(Metadata)를 식별하는 Packet_ID인 경우에만 유효하고, 나머지는 모두 유효하지 않다고 판단하여 유효하지 않은 모든 패킷들은 타이밍복구 및 저장버퍼(Timing Reconstruction& Storage Buffer)(519)로 전달되어 3DSS스트림의 시간 정보들을 재구성하고 순차적으로 저장된다. 저장버퍼(Storage Buffer)가 일정한 양을 넘어서면 저장매체에 저장이 된다. 한편 유효한 패킷들은 시스템헤더 프로세서(517)로 전달되어 시스템 헤더(system header)를 추출 및 분석하고 페이로드(Payload) 부분에 있는 메타데이터(Meta data)를 추출하여 메타데이터 버퍼(Meta data buffer)에 저장하도록 한다. 그리고 나서 메타데이터버퍼에 저장된 메타데이터는 일정한 양으로 저장 매체에 저장이 된다.

다음으로 저장 및 재생이 동시에 이루어지는 과정을 살펴보면 상기 저장과정에 있어서, 상기 PID 프로세서(516)에서 유효성여부 판단이 프로그램 인식정보를 식별하는 Packet_ID, 다시점 비디오 스트림에 대한 Packet_ID, 메타데이터에 대한 Packet_ID 등을 식별하는 경우 유효하다고 판단하고, 다시점 비디오 스트림을 포함하는 3DSS 스트림 패킷은 시스템헤더 프로세서(517)와 타이밍복구 및 저장버퍼(519)로 동시에 전달되어 저장 및 재생이 동시에 이루어진다.

도 7에 도시된 바와 같이 상기 압축된 각각의 영상스트림은 다시점영상 복원부(600)를 통해 복원된다. 상기 다시점영상 복원부(600)는 바람직하기로는 DCT 기반 디코더(601)과 부동보상기(602)를 포함한다. 도 7은 본 발명의 다시점영상 복원부(600)의 구체적인 상세 구성예를 보여주고 있다. 상기 압축된 영상스트림은 동작보상기를 포함하는 DCT 기반 디코더(601)로 입력되고 상기 DCT 기반 디코더(601)는 DV와 차영상을 복원하여 DV를 부동보상기(602)로 전달하여 보상영상을 만든 후 보상영상을 차영상과 합하여 영상을 복원한다.

상기 다시점 중간영상 합성부(700)는 상기 다시점영상복원부(600)에 의해 복원된 다시점 영상간의 중간영상을 생성하는 과정을 수행한다. 이에 의하면 획득된 M시점 영상 사이에 새로운 영상(N-M개)을 하나씩 생성하여 N시점의 영상을 획득하는 것이 가능하다. 예를 들면 다시점영상 복원부(600)에서 복원된 영상이 9시점으로 구성된다면 각각 기반이 되는 영상(도 7상의 Ov2, Ov4, Ov5, Ov6, Ov8)으로부터 적용영상(Ov1, Ov3, Ov4, Ov6, Ov7, Ov9)에 대한 적응점 추출을 적응점추출기(701)에서 수행하고, 그후 폐색영역제조기(702)에서 적응점 추출데이터를 기반으로 폐색영역을 추출 및 생성한다. 다음으로 적응점에 해당하는 데이터와 보간된 폐색영역을 합성하여 최종중간 영상생성기(703)에서 새로운 중간영상을 생성하여 17시점을 획득할 수 있게 된다.

상기 다시점 중간영상 합성부(700)는 영상편집기 또는 영상 검색기 등에서 존재하지 않는 영상을 생성하거나 또는 잃어버린 영상을 복원하기 위해 독립적으로사용될 수도 있다.

전기 단계를 거쳐 형성된 2차원영상은 3D 디스플레이 제어부(800)에 의해 3차원 표시장치에 출력한다.

또한 상기 제시한 본 발명의 시스템은 각 구성수단 중에서 어느 하나의 수단을 특정수단으로 대체함으로써 2차원의 비디오 부호기인 HDTV 방송장비, 세톱박스 등 타 멀티미디어 관련분야에 적용하는 것도 가능하다. 예를 들면 다시점영상 압축부(200)는 일반적인 2차원 비디오 인코더로, 다시점영상 복원부(600)는 2차원 비디오 디코더로 대체하고, 다시점영상 중간영상 합성부(700)를 제거하면 된다. 따라서 당업자라면 본 발명의 구성에 의해 구성수단의 일부를 치환, 삭제 및 변경하는 것이 가능함을 알 수 있고, 이들 변형수단을 구비한 균등물의 발명은 본 발명의 권리 범위를 벗어나는 것이 아님은 자명하다.

본 발명에 의하면, 한정된 인원만이 3차원 영상을 볼 수 있었던 기존기술과는 달리 카메라로부터 얻을 수 있는 시점보다 많은 시점을 확보할 수 있으므로 많은 인원이 동시에 여러 각도 또는 여러 시점에서 시청할 수 있는 장점이 있다. 또한 본 발명을 구성하는 각 수단들은 3차원 다시점 비디오 시스템외에도 각각이 독립적으로 디지털 방송, 의료분야, 게임/오락분야 등의 제품에 적용이 가능하며 영상검색이 가능한 메타데이터를 다시점영상 통신시스템내에 함께 존재하도록 함으로써 무조건적인 재생 뿐만 아니라 사용자의 기호 및 선택에 따라서 3차원적으로 여러각도 및 여러시점에서 재생이 가능하다.

Claims

3차원 입체영상 구현을 위한 다시점을 이용한 영상시스템 장치에 있어서, 송신단은 여러대의 카메라로부터 2차원 영상을 획득하는 영상 획득부와, 카메라의 특성차이로 인한 파라메타 등을 보정하는 다시점영상 전처리부와, 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시를 제거하는 다시점영상 압축부와, 상기 영상획득부에서 획득된 2차원 영상으로부터 메타데이터를 추출하는 다시점 영상검색시스템과, 상기 다시점영상 압축부에서 압축된 각 영상 스트림과 상기 메타데이터를 하나의 스트림으로 다중화하는 다시점영상 다중화부를 포함하며

수신단은 다중화된 영상 스트림으로부터 메타데이터 및 각각의 독립된 영상스트림으로 복원하며 저장을 위해 메타데이터를 제외한 다중화된 스트림을 재생성하는 다시점영상 역다중화부와, 상기 다시점영상 역다중화부에서 생성된 메타데이터 및 메타데이터를 포함하지 않는 다중화된 영상스트림을 임시저장하고 메타데이터를 이용하여 검색하는 멀티미디어 저장 및 검색 시스템과, 상기 다시점영상 역다중화부 및 상기 멀티미디어 저장 및 검색 시스템에서 검색된 다중화된 영상스트림의 압축된 각각의 영상을 압축해제하여 복원하는 다시점영상 복원부와, 복원된 다시점 영상간의 중간영상을 생성하는 다시점 중간영상합성부와, 전기단계에서 형성된 2차원영상을 3차원 디스플레이장치에 출력하는 3D 디스플레이 제어부를 포함함을 특징으로 하는 검색기능을 포함한 3차원 입체영상을 위한 다시점 영상통신 시스템
제 1 항에 있어서, 다시점 영상 다중화부는 스트림 헤더분석기, 비디오 버퍼, 비디오 패킷화기, 버퍼컨트롤러, 시스템 헤어제조기, DSS 패킷화기 그리고 메타데이터 패킷화기를 포함하여 구성되며 독립적으로 인코딩된 영상스트림은 스트림 헤더분석기에서 AU단위로 분리되어 순차적으로 비디오 버퍼로 전달되고 비디오 패킷화기에서 각 AU에 대한 시간정보 및 스트림 정보 등을 헤더에 추가하여 패킷화한 후 비디오 버퍼로 전달하고 상기 비디오 버퍼는 버퍼 컨트롤러의 제어를 받아 라운드로빈 방식으로 시스템 헤더제조기로 전달되어 각 영상스트림에 대한 식별자 및 기타정보를 포함하는 시스템 헤더를 생성하고 DSS 패킷화기에서 PES 패킷을 다시 하나의 DSS패킷으로 생성하고 이를 시퀀스화하며, 메타데이터는 순차적으로 메타데이터버퍼에 저장되며 메타데이터 패킷화기에 의해 일정한 크기로 패킷화되고 다중화된 영상스트림의 패킷의 페이로드에 삽입됨으로써 삽입이 이루어지고 그 후 상기 시스템 헤더제조기에 전달되고 DSS 패킷화기를 거쳐 상기 다중화된 영상스트림과 함께 출력되며 데이터에 대한 식별은 고유의 식별자를 이용하여 구별되고 다중화된 영상스트림내에 존재하는 PSI 정보 내에 메타데이터에 대한 데이터의 종류 및 식별 정보가 삽입되어 구별이 가능함을 특징으로 하는 검색기능을 포함한 3차원 입체영상을 위한 다시점 영상통신 시스템
제 1 항에 있어서, 다시점영상 역다중화부(500)는 메타데이터를 포함한 다중화된 영상스트림을 받아 각 패킷의 동기화 바이트를 검색하는 패킷 동기부와, 다중화된 영상스트림의 에러를 체크하는 에러검출기와, 프로그램정보 디코더에서 PCR_PID를 받아서 해당하는 DSS 패킷헤더에서 PCR정보를 추출하는 PCR 추출기와, 추출된 PCR 정보에서 정확한 시스템클록을 복원하는 시스템 클록 복원기와, 버퍼를 통해 에러 체크된 다중화된 영상스트림을 Packet_ID를 식별하여 다중화된 영상스트림 패킷의 유효성 여부를 판단하는 PID프로세서와, 유효한 다중화된 영상스트림의 시스템 헤더 추출 및 분석을 하는 시스템헤더 프로세서와, 시스템헤더 프로세서에서 추출된 메타데이터를 임시 저장하는 메타데이터 버퍼와, PID프로세서에서 유효하지 않는 다중화된 영상스트림을 재구성하여 저장하는 타이밍 복구 및 저장 버퍼를 포함함을 특징으로 하는 검색기능을 포함한 3차원 입체영상을 위한 다시점 영상통신 시스템