KR100566100B1 - 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법 - Google Patents

3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법 Download PDF

Info

Publication number
KR100566100B1
KR100566100B1 KR1020030073241A KR20030073241A KR100566100B1 KR 100566100 B1 KR100566100 B1 KR 100566100B1 KR 1020030073241 A KR1020030073241 A KR 1020030073241A KR 20030073241 A KR20030073241 A KR 20030073241A KR 100566100 B1 KR100566100 B1 KR 100566100B1
Authority
KR
South Korea
Prior art keywords
image
presenter
information
view
video
Prior art date
Application number
KR1020030073241A
Other languages
English (en)
Other versions
KR20050038054A (ko
Inventor
김제우
정혁구
최병호
김태완
김용환
송혁
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020030073241A priority Critical patent/KR100566100B1/ko
Publication of KR20050038054A publication Critical patent/KR20050038054A/ko
Application granted granted Critical
Publication of KR100566100B1 publication Critical patent/KR100566100B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화 장치 및 그 방법에 관한 것으로, 보다 자세하게는 디지털 방송과 같은 응용분야에서와 같이 다시점 영상을 효율적으로 원격지의 수신기에게 보내고 원격지의 수신기에서 효율적으로 다시점 영상을 복원할 수 있는 장치 및 그 방법에 관한 것이다.
본 발명의 3차원 다시점 멀티미디어 처리용 적응형 다중화 방법은 소정의 카메라로부터 입력된 다시점 영상에 대해 카메라의 특성차이로 인한 파라메타 등의 보정과 노이즈를 제거하는 전처리 단계와 각 카메라에서 출력되는 영상들간의 시간적, 공간적 중복성을 제거하는 영상압축 단계 및 각각의 독립된 영상스트림을 하나의 다중화된 스트림으로 생성하는 다중화 단계로 이루어진 다시점을 이용한 비디오 다중화 방법에 있어서, 상기 다시점 영상은 다시점 영상 시스템 표현자, 다시점 영상 표현자 및 카메라 표현자로 이루어짐에 기술적 특징이 있다.
따라서, 본 발명의 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화 장치 및 그 방법은 다시점 영상에서 획득한 영상을 효과적으로 전송할 수 있는 장점이 있고, 종래의 시스템과 호환이 가능하여 효율적으로 다시점 영상을 규격화할 수 있는 효과가 있다.
다시점, 영상, 다중화 장치, 역다중화 장치

Description

3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화 장치 및 그 방법{Apparatus for adaptive multiplexing/demultiplexing for 3D multiview video processing and its method}
도 1은 종래기술인 양안식 스테레오 영상 시스템을 나타내는 블럭도이다.
도 2는 종래기술인 디지털 방송 기술에서의 다중화/역다중화 장치를 나타내는 블럭도이다.
도 3은 본 발명에 따른 3차원 다시점 영상 전송 시스템을 나타내는 블럭도이다.
도 4는 본 발명에 따른 3차원 다중화/역다중화 장치를 나타내는 블럭도이다.
도 5는 본 발명에 따른 3차원 다시점 영상의 전송 및 수신 방법을 나타내는 흐름도이다.
도 6은 본 발명에 따른 동작 모듈에서의 구문을 나타내는 도면이다.
<도면의 주요부분에 대한 부호의 설명>
100. 다시점 비디오 다중화 장치 105. 다시점 비디오 압축기
110. 다시점 비디오 전처리기 115. 카메라
120. 다시점 비디오 역다중화 장치 125. 다시점 비디오 복원기
130. 다시점 비디오 합성기 135. 디스플레이 제어부
140. 디스플레이 150. SL 패킷타이저
155. 플렉스 멀티플렉서 160. PES 패킷타이저
165. TS 멀티플렉서 170. SL 디패킷타이저
175. 디플렉스 멀티플렉서 180. PES 디패킷타이저
185. TS 디멀티플렉서
본 발명은 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화 장치 및 그 방법에 관한 것으로, 보다 자세하게는 디지털 방송과 같은 응용분야에서와 같이 다시점 영상을 효율적으로 원격지의 수신기에게 보내고 원격지의 수신기에서 효율적으로 다시점 영상을 복원할 수 있는 장치 및 그 방법에 관한 것이다.
인간이 인지하는 3차원 공간을 그대로 TV 또는 영화 등에서 보기 위한 3차원 영상에 대한 수요가 최근 급증하고 있다. 특히, 디지털 방송이 상용화된 이후 3D TV 및 3D 정보 단말기 등과 같은 분야에서 3D 영상에 대한 많은 연구가 있었다. 현재에는 사람의 눈과 같이 편광 등의 안경을 사용한 양안식(카메라 2대) 스테레오 영상을 통한 3D TV가 구현되고 있다. 그러나, 상기와 같은 양안식 방식은 항상 안 경을 사용하여야 하고, 초점 등의 문제와 많은 사람이 동시에 보기가 어려운 문제점을 가지고 있었다.
도 1은 종래기술인 양안식 스테레오 영상 시스템을 나타내는 블럭도이다. 도 1을 살펴보면, 시스템 구성은 좌안용 동작보상 DCT(Discrete Cosine Transform) 인코더(1)와 우안용 동작보상 DCT 인코더(2), 부동 추정기(Disparity Estimator, DE)(3), 부동 보상기(Disparity Compensator, DC)(4) 등으로 구성된 동작 및 부동 보상 DCT 인코더(10)와 시스템 다중화기(5)를 포함하는 입체 인코더 모듈과 좌안용 동작보상 DCT 디코더(6)와 우안용 동작보상 DCT 디코더(7), 부동 보상기(8) 등으로 구성된 동작 및 부동 보상 DCT 디코더(11)와 시스템 역다중화기(9)를 포함한 입체 디코더 모듈로 구성된다.
상기 시스템의 동작을 설명하면 다음과 같다. 시스템의 동작은 좌측영상을 기본 영상으로 선정하고, 좌안용 동작보상 DCT 인코더(1)에서 엠펙-2 표준 알고리즘으로 부호화한 후 시스템 다중화기(5)로 부호화된 스트림을 전송한다. 한편 상기 좌안용 동작보상 DCT 인코더(1)에서는 다음 영상 및 우측영상의 부호화를 위해 복원영상을 생성하여 부동 추정기(3) 및 부동 보상기(4)로 전달한다. 우측 원영상은 우안용 동작보상 DCT 인코더(2)와 부동 추정기(3)로 전달되는데 부동 추정기 블럭(3)에서는 좌측 영상의 복원영상과 우측영상의 원영상을 비교 평가하여 부동벡타(Disparity vector, DV)를 구하고 이를 우안동작보상 DCT 인코더 블럭(2)과 부동 보상기 블럭(4)으로 전달한다. 부동 보상기 블럭(4)으로 전달된 DV는 좌측복원영상을 참조하여 다음 우측영상에 대한 보상영상을 생성하고 우안동작보상 DCT 인코더 블럭(2)으로 전달된 DV는 엠펙-2 표준의 MV와 동일하게 부호화된다. 그리고 우안동작보상 DCT 인코더 블럭(2)에서는 부동 보상기 블럭(4)에서 생성된 보상영상과 우측 원영상과의 차영상에 대한 DCT를 이용한 엠펙-2 부호화 알고리즘을 통해 우측 원영상은 부호화된다. 우측영상에 대한 부호화 스트림은 좌측영상과 동일하게 시스템 다중화기(5)로 개별적으로 전달된다. 상기 시스템 다중화기(5)는 엠펙-2 시스템의 규격을 따른다. 상기 시스템 다중화기(5)에서 다중화된 스트림은 시스템 역다중화기(9)로 전달되고 역다중화되어 다시 두 개의 영상부호화 스트림으로 복원되고 각각의 스트림은 좌안동작보상 DCT 디코더 블럭(6)과 우안동작보상 DCT 디코더 블럭(7)으로 전달된다. 좌측영상의 부호화 스트림을 획득한 좌안동작보상 DCT 디코더 블럭(6)은 엠펙-2 표준을 만족하는 알고리즘으로 영상을 복원하고, 복원된 영상을 출력 및 부동 보상기 블럭(8)으로 전달한다. 또 우측영상에 대한 부호화 스트림을 전달받은 우안동작보상 DCT 디코더 블럭(7)은 스트림을 복원하여 DV와 부동 보상기 블럭(8)에서 생성되는 좌측영상을 참조로 한 보상영상과 원영상과의 차영상을 획득한다. 획득된 DV는 부동 보상기 블럭(8)으로 전달되어 이전에 복원된 좌측영상을 참조하여 보상영상을 생성하고, 상기 부동 보상기 블럭(8)에서 생성된 보상영상은 다시 우안동작보상 DCT 디코더 블럭(7)으로 전달되어 복원된 차영상과 합성되어 우측영상을 복원한다.
도 2는 종래기술인 디지털 방송 기술에서의 다중화/역다중화 장치를 나타내는 블럭도이다. 상기 다중화 장치의 동작을 설명하기로 한다. 비디오 인코더(12)와 오디오 인코더(14)의 출력인 비디오 기초 스트림(Elementary Stream : ES)과 오디 오 기초 스트림은 각각 비디오 패킷타이저(13)와 오디오 패킷타이저(15)로 입력되어 AU(Access Unit) 단위로 나뉘어지고 시간 및 동기 정보가 추가되어 패킷화된 ES(Packetized Elementary Stream : PES)로 만들어져 PES 패킷 단위로 출력된다. 상기 PES 패킷들은 TS(Transport Stream) 다중화기 또는 PS(Program Stream) 다중화기로 입력된다. TS 다중화기로 입력이 되는 경우 188 바이트의 TS 패킷으로 만들어져 출력된다. PS 다중화기는 여러 개의 비디오 PES와 오디오 PES를 하나 또는 여러 개의 팩으로 만들어 출력한다. 상기 역다중화 장치는 다중화 장치 동작의 역순으로 하나 또는 여러 개의 부호화된 스트림으로 복원한다.
그러나, 상기와 같이 종래기술인 엠펙-2 시스템은 27MHz의 시스템 클럭으로 동작하기 때문에 그 이상의 데이터율을 가진 시스템이 동작할 수 없고, 다시점 영상을 포함하는 여러개의 비디오 ES를 처리할 수 없으며, 다시점 영상을 수신부(디코더, 단말기)에서 효율적으로 복원할 수 없다는 문제점이 있었다.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 안경을 사용하지 않고 많은 사람들이 동시에 3차원 영상을 즐길 수 있는 다시점 영상 전송 시스템을 기반으로 하여 여러 개의 카메라에서 획득된 다시점 영상을 효과적으로 전송할 수 있고, 종래의 디지털 방송 시스템과 호환이 가능한 적응형의 다중화/역다중화 장치 및 그 동작 방법을 제공함에 본 발명의 목적이 있다.
본 발명의 상기 목적은 소정의 카메라로부터 입력된 다시점 영상에 대해 카메라의 특성차로 인한 파라메타 등을 보정하고 노이즈를 제거하는 전처리 단계; 각 카메라에서 출력되는 영상들간의 시간적, 공간적 중복성을 제거하여 압축하는 다시점 영상 압축 단계 및 상기 압축된 각각의 영상 스트림에 시간 및 동기 정보를 추가하고 AU 단위로 나누어 SL 패킷을 생성하는 단계, 여러 개의 SL 패킷들로부터 하나의 스트림인 플렉스 멀티플렉서 패킷을 생성하는 단계, 상기 플렉스 멀티플렉서 패킷을 엠펙-2 시스템의 규격에 맞게 각각 AU 단위로 분리하고 시간 및 동기 정보를 획득하여 PES 패킷을 생성하는 단계 및 상기 PES 패킷을 188 바이트의 TS 패킷화하여 수신부로 전송하는 단계를 포함하여 이루어지는 다중화 단계로 이루어진 3차원 다시점 멀티미디어 처리용 적응형 다중화 방법에 의해 달성된다.
본 발명의 다른 목적은 송신부로부터 전송된 TS로부터 TS 패킷을 추출하여 PES를 생성하는 단계, 상기 PES로부터 엠펙-4 시스템의 규격에 맞게 플렉스 멀티플렉서 패킷을 추출하는 단계, 상기 플렉스 멀티플렉서 패킷에서 SL 패킷을 추출하는 단계 및 상기 SL 패킷에서 비디오 영상 스트림을 복원하는 단계를 포함하여 이루어지는 역다중화 단계; 압축된 각각의 영상을 복원하는 다시점 영상 복원 단계 및 상기 다시점 영상 복원 단계에서 복원된 영상을 합성하는 다시점 영상 합성 단계로 이루어진 3차원 다시점 멀티미디어 처리용 적응형 역다중화 방법에 의해서도 달성된다.
또한, 본 발명의 또 다른 목적은 비디오 영상 스트림에 시간 및 동기 정보를 추가하고 AU 단위로 나누어 SL 패킷을 생성하는 SL 패킷타이저; 상기 SL 패들로부터 하나의 스트림인 플렉스 멀티플렉서 패킷을 생성하는 중간 단계의 다중화를 수행하는 플렉스 멀티플렉서; 상기 플렉스 멀티플렉서 패킷을 AU 단위로 분리하고 시간과 동기 정보를 획득하여 PES 패킷을 생성하는 PES 패킷타이저 및 상기 PES 패킷을 188 바이트로 TS 패킷화하여 전송하는 TS 멀티플렉서로 구성된 3차원 다시점 멀티미디어 처리용 적응형 다중화 장치에 의해서도 달성된다.
또한, 본 발명의 또 다른 목적은 TS로부터 TS 패킷을 추출하여 각 시점의 비디오 영상을 포함하고 있는 PES를 생성하는 TS 디멀티플렉서; 상기 비디오 PES로부터 플렉스 멀티플렉서 패킷을 추출하는 PES 디패킷타이저; 상기 플렉스 멀티플렉서 패킷에서 SL 패킷을 추출하는 디플렉스 멀티플렉서 및 상기 SL 패킷에서 비디오 영상 스트림을 복원하는 SL 디패킷타이저로 구성된 3차원 다시점 멀티미디어 처리용 적응형 역다중화 장치에 의해서도 달성된다.
또한, 본 발명의 또 다른 목적은 소정의 카메라로부터 입력된 다시점 영상에 대해 카메라의 특성차이로 인한 파라메타 등의 보정과 노이즈를 제거하는 전처리 단계와 각 카메라에서 출력되는 영상들간의 시간적, 공간적 중복성을 제거하는 영상압축 단계 및 각각의 독립된 영상스트림을 하나의 다중화된 스트림으로 생성하는 다중화 단계로 이루어진 다시점을 이용한 비디오 다중화 방법에 있어서, 상기 다시점 영상은 다시점 영상 시스템 표현자, 다시점 영상 표현자 및 카메라 표현자를 가지는 것을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 다중화 방법에 의해서도 달성된다.
또한, 본 발명의 또 다른 목적은 다중화된 영상스트림을 각각의 독립된 영상스트림으로 복원하는 역다중화 단계와 압축된 각각의 영상을 복원하는 다시점 영상 복원 단계 및 상기 다시점 영상 복원 단계에서 복원된 영상을 합성하는 다시점 영상 합성 단계로 이루어진 다시점을 이용한 비디오 역다중화 방법에 있어서, 상기 다시점 영상은 다시점 영상 시스템 표현자, 다시점 영상 표현자 및 카메라 표현자를 가지는 것을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 역다중화 방법에 의해서도 달성된다.
다중화/역다중화 장치의 기능은 크게 두 가지로 나뉘어지는데 첫번째는 물리적 논리적으로 여러 개의 데이터를 하나의 논리적 채널로 보내는 다중화이고, 두번째는 여러 개의 입력된 데이터들에 대한 동기화를 시키는 것이다. 상기의 기능은 각각 적용되는 환경, 즉 네트워크 환경과 응용분야에 따라서 그 방법을 달리하고 있다.
본 발명의 상기 목적과 기술적 구성 및 그에 따른 작용효과에 관한 자세한 사항은 본 발명의 바람직한 실시예를 도시하고 있는 도면을 참조한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
도 3은 본 발명에 따른 3차원 다시점 영상 전송 시스템을 나타내는 블럭도이다. 도 3과 같이, 여러 개의 카메라(115)로부터 영상을 입력받아 전처리기(110)에서 카메라의 특성 차이로 인한 파라메타(Parameter) 등의 보정을 하고, 각 시점의 영상들의 중복성을 최대한 제거하여 다시점 비디오 압축기(105)에서 여러 개의 비 디오 영상 스트림(Elementary Stream : ES)으로 압축하며, 이를 다시점 비디오 다중화 장치(100)로 입력하여 각각의 독립된 영상 스트림을 하나의 다중화된 스트림으로 생성한다.
수신부에서는 다시점 비디오 역다중화 장치(120)에서 효율적으로 다중화된 다시점 영상을 역다중화하여 각각의 비디오 영상 스트림을 수신부의 다시점 비디오 복원기(125) 내에 존재하는 각 시점에 맞는 비디오 디코더로 입력하여 상기 압축기(105)에서 압축된 각각의 영상을 복원한다. 다시점 비디오 합성기(130)에서 상기 복원된 다시점 영상간의 중간영상을 생성하고, 디스플레이 제어부(135)에서 제어하여 디스플레이(140)에 출력한다.
상기 전처리기(110)는 휘도 및 색도 등의 보정을 하는 불균형 감소필터와 노이즈를 제거한 영상신호를 다시점 비디오 압축기(105)에 전달하는 노이즈 감소필터로 구성되어 있다. 상기 다시점 비디오 압축기(105)는 각각의 카메라에서 연속적으로 입력되는 영상 프레임에 대하여 동시간에서 가장 인접한 카메라 영상간의 동질성에 따른 시간적, 공간적 중복성(Redundancy)을 부호화하고 엠펙-2 표준을 만족하는 부호화를 통해 압축한다.
상기 다시점 비디오 다중화 장치(100)는 다시점 비디오 압축기(105)에서 압축한 독립된 영상 스트림을 하나의 다중화된 스트림으로 만드는 장치로 각각의 독립된 영상 스트림에 대해 식별자, 시간 정보, 프로그램 정보 등을 추가한다. 상기 다시점 비디오 다중화 장치(100)의 상세한 구성은 도 4와 같다.
도 4는 본 발명에 따른 3차원 다중화/역다중화 장치를 나타내는 블럭도이다. 도 4(가)는 다시점 비디오 다중화 장치의 부분 블럭도로서, 엠펙-4 시스템의 SL(Synchronization Layer)-패킷타이저(150)와 플렉스(Flex) 멀티플렉서(155), 엠펙-2 시스템의 PES 패킷타이저(160) 및 TS 멀티플렉서(165)로 구성된다. 우선은 비디오만을 고려하였으나, 오디오로도 확장이 가능하다.
각 시점의 비디오 영상 스트림은 먼저 SL 패킷타이저(150)에서 시간 및 동기 정보가 추가되고 AU 단위로 나누어져 SL 패킷을 생성하며, 여러 개의 SL 패킷들을 하나의 스트림으로 만드는 중간단계의 다중화를 수행하는 플렉스 멀티플렉서(155)를 통과하여 플렉스 멀티플렉서 패킷을 생성한다. 상기 플렉스 멀티플렉서 패킷은 PES 패킷타이저(160)로 들어가 엠펙-2 시스템의 규격에 맞게 각각 AU 단위로 분리되어 시간/동기 정보를 획득하여 PES 패킷을 생성한다. 상기 PES 패킷을 TS 멀티플렉서(165)에서 188 바이트의 TS 패킷으로 생성하여 수신부로 전송한다.
도 4(나)는 다시점 비디오 역다중화 장치의 부분 블럭도로서, 그 구성은 엠펙-4 시스템의 SL 디패킷타이저(170)와 디플렉스 멀티플렉서(175), 엠펙-2 시스템의 PES 디패킷타이저(180) 및 TS 디멀티플렉서(185)로 이루어져 있다. 수신부에서는 송신부로부터 전송된 TS를 입력으로 하여 TS 디멀티플렉서(185)에서 TS 패킷을 추출하여 각 시점의 비디오 영상을 포함하고 있는 비디오 PES들과 프로그램 정보, 다시점 영상 정보 및 암호화 정보 등을 포함하고 있는 PSI(Program Specific Information) 정보들을 획득한다. 상기 PSI는 프로그램에 대한 정보를 갖고 있는 테이블로 PAT(Program Association Table), PMT(Program Map Table), NIT(Network Information Table), CAT(Conditional Access Table) 등의 4 종류로 나뉘어진다. PSI의 각 테이블들은 각기 서로 다른 PID를 가지며, 한 종류의 테이블만을 전송한다.
상기 비디오 PES들은 PES 디패킷타이저(180)에서 엠펙-4 시스템의 규격에 맞게 플렉스 멀티플렉서 패킷으로 추출되고, 상기 플렉스 멀티플렉서 패킷은 디플렉스 멀티플렉서(175)에서 SL 패킷으로 추출되어 SL 디패킷타이저(170)에서 비디오 영상 스트림으로 복원된다.
상기와 같이 본 발명은 엠펙-2와 엠펙-4 시스템을 모두 포함하는 방식이고, 비디오 압축 방식에 따라서 선택적으로 엠펙-2 시스템 또는 엠펙-4 시스템만을 적용할 수도 있다. 물론 엠펙-2 시스템과 엠펙-4 시스템을 그대로 적용하는 것은 아니고, 본 발명에서 정의된 새로운 규격을 포함하여야 한다.
도 5는 본 발명에 따른 3차원 다시점 영상의 전송 및 수신 방법을 나타내는 흐름도이다. 먼저, 다시점 영상을 효율적으로 전송하고, 이를 복원하기 위해서는 다시점 영상의 특징에 대한 정의가 필요하다. 이를 위해서 본 발명에서는 다시점 영상 시스템 측면에서 본 multi_view_system_descriptor, 각각의 시점 영상에 대한 mutli_view_video_descriptor, 각각의 카메라가 가지는 특징을 정의하는 camera_descriptor 등을 정의한다. 상기 정의된 표현자(Descriptor)들은 엠펙-2와 엠펙-4 시스템 모두에 적용이 가능하므로, 적응적으로 사용할 수 있다.
상기 정의된 표현자들을 중심으로 본 발명에 따른 3차원 다시점 영상의 전송 방법을 설명한다. 먼저, 여러 개의 카메라로부터 입력된 다시점 영상들은 카메라의 특성차로 인한 파라메타 등을 보정하고 노이즈를 제거하는 전처리 단계를 거친다. 그리고 각 카메라에서 출력되는 영상들간의 시간적, 공간적 중복성을 제거하여 압축하는 다시점 영상 압축 단계를 거쳐 압축된 각각의 독립된 영상 스트림들이 하나의 다중화된 스트림으로 다중화하는 다중화 단계로 되어 있다. 여기서 다시점 영상 압축을 하는 압축기에서 다시점 영상들을 압축하는 방법은 양안식, 3안식 및 5안식 등이 있고, 입력되는 다시점 영상의 시점 수도 다양할 수 있다. 상기 다중화 단계는 각 영상스트림에 시간 및 동기 정보를 추가하고 AU 단위로 나누어 SL 패킷을 생성하고, 여러 개의 SL 패킷들로부터 전송 스트림의 오버헤드를 줄이기 위한 하나의 스트림인 플렉스 멀티플렉서 패킷을 생성하며, 엠펙-2 시스템의 규격에 맞게 각각 AU 단위로 분리한 후 시간 및 동기 정보를 획득하여 PES 패킷을 생성하고 이를 188 바이트의 TS 패킷화하여 수신부로 전송한다.
이러한 정보들을 적응형 다중화 장치의 multi_view_system_descriptor의 비디오 수에 대한 Num_Video, 오디오 수에 대한 Num_Audio, 압축방식에 대한 Coding_Type 등의 필드를 이용하여 기술하고, 다시점 영상 전송 시스템에서 수신부의 역다중화 장치는 먼저 상기 multi_view_system_descriptor의 정보들을 이용하여 수신부에서 디코딩을 할 수 있는 프로그램 즉, 다시점 영상의 묶음인지를 판단한다. 그리고, 다시점 영상들을 압축할 때, 그 방법에 따라 기준 영상 또는 참조 영상이 되기도 하고, 기준 영상의 시점에 대한 구별 등의 정보가 필요하다. 상기 정보들은 multi_view_video_descriptor의 카메라 번호에 대한 camera_number, 참조 영상을 포함하는 카메라 번호에 대한 ref_camera_number, 현 비디오 영상이 기준 영상인지 판단하는 independence 등의 필드를 이용하여 기술한다. 디코더 시스템에 서 각 시점 영상을 디코딩할 때 각 영상 스트림과 다시점 영상 복원을 디코더와의 매핑 및 디코더간의 상호 연결을 위해서 사용한다. 그리고 각 시점 영상을 디코딩할 때 기준 영상과 참조 영상간의 시간적인 동기 유지가 필요하다.
이를 위해서 적응형 다중화/역다중화 장치는 PES 패킷 헤더 내의 frame_number 필드를 새로 정의하고, SL 패킷 헤더 내에 AU_sequence_Number 필드의 용법을 재정의함으로써 이를 가능하게 하였다. 또한 디코딩된 영상을 효율적으로 디스플레이하기 위해서 필요한 각 시점 영상을 획득하기 위한 카메라 정보 및 기하학 정보는 다중화/역다중화 장치에서 camera_descriptor를 이용하여 전송한다.
다음으로, 본 발명에 따른 3차원 다시점 영상의 수신 방법을 설명한다. 먼저, 송신부로부터 전송된 TS를 입력으로 하여 다중화된 영상 스트림을 각각의 독립된 영상스트림으로 복원하는 역다중화 단계를 거친다. 그리고 압축된 각각의 영상을 복원하는 다시점 영상 복원 단계를 거쳐 상기 다시점 영상 복원 단계에서 복원된 영상을 합성하는 다시점 영상 합성 단계를 거친다.
마지막으로, 상기 다시점 영상 합성 단계를 거쳐 디스플레이 제어부에서 제어된 영상을 출력한다. 여기서 상기 역다중화 단계는 TS 디멀티플렉서에서 TS 패킷을 추출하고, PES 디패킷타이저에서 플렉스 멀티플렉서 패킷을 추출한 후, 디플렉스 멀티플렉서에서 SL 패킷으로 추출하여 SL 디패킷타이저에서 비디오 영상 스트림을 복원한다.
상세히 살펴보면, 먼저 엠펙-2 TS 기반의 패킷들을 받아들이며, 0×47의 동기화 바이트를 찾는다. 그리고, PID=0×0000인 PAT를 찾아서 프로그램 테이블과 선 택된 프로그램과 매핑을 수행한다. 상기 매핑된 프로그램에서 multi_view_system_descriptor에 기술된 정보와 수신부의 성능과 비교하여 수신 및 디코딩이 가능한지의 여부를 판단한다. 상기 PAT는 현재 전송되고 있는 프로그램에 대한 정보를 나타내는 테이블로서, 프로그램 번호와 그 프로그램을 구성하는 비디오와 오디오 등의 PID를 갖고 있는 PMT의 PID를 포함하고 있다.
그 후, PMT를 찾아서 각 시점 영상의 압축된 스트림들에 대한 ES_PID를 획득하고, 이와 동시에 각 시점 영상들이 갖고 있는 다시점 영상의 복원 방법 및 그 복원 방법에 따른 디코더와 다시점 영상 스트림간의 매핑에 대한 정보를 multi_view_video_descriptor를 통해서 획득한다. 이 정보들은 다시점 영상 디코더와 연결되는 디코딩 버퍼, 트랜스포트(Transport) 버퍼와 각각의 압축된 스트림과의 매핑에 사용된다. 또한 각 시점 영상의 기하학 정보와 카메라 정보 등을 기술하고 있는 camera_descriptor를 획득하여 디스플레이 장치에 디코딩된 다시점 영상이 정확히 디스플레이되도록 정보를 제공한다.
ES_PID들을 이용하여 각각의 영상 스트림들은 PES 디패킷 단계, 디플렉스 멀티플렉서 단계, SL 디패킷 단계를 통하여 디코딩 버퍼에 순수 영상 스트림으로서 저장된다. 그리고 나서, 각 영상 스트림들은 다시점 영상 디코더에서 PES의 frame_number 필드 또는 SL 패킷의 AU_sequence_Number 필드에서 획득된 시간적 동기정보를 이용하여 각 기준 영상과 참조 영상간의 동기를 맞추고 디코딩을 수행한다. 각 디코딩된 영상들은 PMT 내에서 획득된 camera_descriptor를 이용하여 효율적으로 영상을 디스플레이한다.
마지막으로, 다시점 영상을 효율적으로 전송하기 위해서 규격화한 특징들에 대한 내용은 도 6에 설명되어 있다.
도 6은 본 발명에 따른 동작 모듈에서의 구문(Syntax)을 나타내는 도면이다. 도 6(가)는 multi_view_system_descriptor 즉, 다시점 영상 시스템 표현자의 구문을 설명하는 도로서, descriptor_tag는 표현자의 종류 정보, descriptor_length는 표현자의 길이 정보를 의미한다. 또한, Num_Video는 다시점 영상의 수 정보, 즉 카메라의 수를 의미하고, Num_Audio는 오디오 정보이며, reserved는 영상 구별 정보로서 2차원 동영상 스트림의 경우는 '0', 3차원 동영상 스트림의 경우는 '1'로 세팅한다.
도 6(나)는 multi_view_video_descriptor 즉, 다시점 영상 표현자의 구문을 설명하는 도로서, descriptor_tag는 표현자의 종류 정보, descriptor_length는 표현자의 길이 정보를 의미한다. Camera_number는 다시점 영상의 공간적인 시점을 의미하는 카메라 번호 정보, ref_Camera_number는 부동 추정기에 의한 참조 영상을 포함하는 카메라 번호 정보이다. independence는 현 비디오 영상이 기준 영상인지를 판단하는 기준 영상 정보이고, reserved는 영상 구별 정보이다.
도 6(다)는 camera_descriptor 즉 카메라 표현자의 구문을 설명하는 도로서, descriptor_tag는 표현자의 종류 정보, descriptor_length는 표현자의 길이 정보를 의미한다. Camera_id는 카메라 번호 정보, height_of_image_device는 카메라를 통해 영상을 바라볼 때 카메라에 보이는 1/1000 mm 단위인 영상의 높이 정보, vertical_angle_of_view는 1/10000 각도 단위인 시야의 수직각 정보를 의미한다. 카메라를 통해 영상을 바라볼 때, 카메라에 보이는 영상을 image plane이라고 정의하면, image_plane_center_X는 사용자에 의해 정의된 좌표계에서 image plane의 중앙의 1/1000 mm 단위인 가로 좌표 정보, image_plane_center_Y는 사용자에 의해 정의된 좌표계에서 image plane의 중앙의 세로 좌표 정보, image_plane_center_Z는 사용자에 의해 정의된 좌표계에서 image plane의 중앙의 Z축 좌표 정보이다.
optical_center_X는 image plane의 상이 카메라 렌즈의 한 점에 맺힐 때 중심점의 X축 좌표 정보이고, optical_center_Y는 image plane의 상이 카메라 렌즈의 한 점에 맺힐 때 중심점의 Y축 좌표 정보이며, optical_center_Z는 image plane의 상이 카메라 렌즈의 한 점에 맺힐 때 중심점의 Z축 좌표 정보이다. 마지막으로 image_plane_vertical_X, Y, Z는 image plane 중앙에서 시작하여 중심선(axis)에 수직하고, image plane의 모서리에 평행한 벡터를 이루는 공간상의 좌표 정보이다.
본 발명은 기존의 엠펙-2 시스템을 사용하는 디지털 방송에도 적용이 가능하고, 인터넷 스트리밍이나 기타 멀티미디어 서비스에 사용되는 엠펙-4 시스템에도 적용이 가능하다. 또한, 기존의 규격을 3차원 영상의 전송, 복원 및 디스플레이할 수 있도록 확장을 한 것이다.
본 발명은 이상에서 살펴본 바와 같이 바람직한 실시 예를 들어 도시하고 설명하였으나, 상기한 실시 예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
따라서, 본 발명의 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화 장치 및 그 방법은 다시점 영상에서 획득한 영상을 효과적으로 전송할 수 있는 장점이 있고, 종래의 시스템과 호환이 가능하여 효율적으로 다시점 영상을 규격화할 수 있는 효과가 있다.

Claims (12)

  1. 삭제
  2. 소정의 카메라로부터 입력된 다시점 영상에 대해 카메라의 특성차이로 인한 파라메타 등의 보정과 노이즈를 제거하는 전처리 단계와 각 카메라에서 출력되는 영상들간의 시간적, 공간적 중복성을 제거하는 영상압축 단계 및 각각의 독립된 영 상스트림을 하나의 다중화된 스트림으로 생성하는 다중화 단계로 이루어진 다시점을 이용한 비디오 다중화 방법에 있어서,
    상기 다시점 영상은 다시점 영상 시스템 표현자, 다시점 영상 표현자 및 카메라 표현자를 가지는 것을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 다중화 방법.
  3. 제 2항에 있어서,
    상기 다시점 영상 시스템 표현자는 표현자 종류 정보, 표현자 길이 정보, 비디오 수 정보, 오디오 수 정보 및 영상 스트림이 2차원 또는 3차원 동영상 데이터인지를 나타내는 영상 구별 정보를 포함하여 구성됨을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 다중화 방법.
  4. 제 2항에 있어서,
    상기 다시점 영상 표현자는 표현자 종류 정보, 표현자 길이 정보, 카메라 번호 정보, 참조 영상을 포함하는 카메라 번호를 나타내는 참조 카메라 번호 정보, 현 비디오 영상이 기준 영상인지를 판단하는 기준 영상 정보 및 영상 스트림이 2차원 또는 3차원 동영상 데이터인지를 나타내는 영상 구별 정보를 포함하여 구성됨을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 다중화 방법.
  5. 제 2항에 있어서,
    상기 카메라 표현자는 표현자 종류 정보, 표현자 길이 정보, 카메라 번호 정보, 영상 높이 정보, 시야의 수직각 정보, image plane의 중앙의 가로, 세로 및 Z축 좌표 정보, image plane의 상이 카메라 렌즈의 한 점에 맺힐 때 중심점의 X, Y 및 Z축 좌표 정보, image plane 중앙에서 시작하여 중심선에 수직하고 image plane의 모서리에 평행한 벡터를 이루는 공간상의 X, Y 및 Z축 좌표 정보를 포함하여 구성됨을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 다중화 방법.
  6. 삭제
  7. 다중화된 영상스트림을 각각의 독립된 영상스트림으로 복원하는 역다중화 단계와 압축된 각각의 영상을 복원하는 다시점 영상 복원 단계 및 상기 다시점 영상 복원 단계에서 복원된 영상을 합성하는 다시점 영상 합성 단계로 이루어진 다시점을 이용한 비디오 역다중화 방법에 있어서,
    상기 다시점 영상은 다시점 영상 시스템 표현자, 다시점 영상 표현자 및 카메라 표현자를 가지는 것을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 역다중화 방법.
  8. 제 7항에 있어서,
    상기 다시점 영상 시스템 표현자는 표현자 종류 정보, 표현자 길이 정보, 비디오 수 정보, 오디오 수 정보 및 영상 스트림이 2차원 또는 3차원 동영상 데이터인지를 나타내는 영상 구별 정보를 포함하여 구성됨을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 역다중화 방법.
  9. 제 7항에 있어서,
    상기 다시점 영상 표현자는 표현자 종류 정보, 표현자 길이 정보, 카메라 번호 정보, 참조 영상을 포함하는 카메라 번호를 나타내는 참조 카메라 번호 정보, 현 비디오 영상이 기준 영상인지를 판단하는 기준 영상 정보 및 영상 스트림이 2차원 또는 3차원 동영상 데이터인지를 나타내는 영상 구별 정보를 포함하여 구성됨을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 역다중화 방법.
  10. 제 7항에 있어서,
    상기 카메라 표현자는 표현자 종류 정보, 표현자 길이 정보, 카메라 번호 정보, 영상 높이 정보, 시야의 수직각 정보, image plane의 중앙의 가로, 세로 및 Z축 좌표 정보, image plane의 상이 카메라 렌즈의 한 점에 맺힐 때 중심점의 X, Y 및 Z축 좌표 정보, image plane 중앙에서 시작하여 중심선에 수직하고 image plane의 모서리에 평행한 벡터를 이루는 공간상의 X, Y 및 Z축 좌표 정보를 포함하여 구성됨을 특징으로 하는 3차원 다시점 멀티미디어 처리용 적응형 역다중화 방법.
  11. 삭제
  12. 삭제
KR1020030073241A 2003-10-21 2003-10-21 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법 KR100566100B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030073241A KR100566100B1 (ko) 2003-10-21 2003-10-21 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030073241A KR100566100B1 (ko) 2003-10-21 2003-10-21 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20050038054A KR20050038054A (ko) 2005-04-27
KR100566100B1 true KR100566100B1 (ko) 2006-03-31

Family

ID=37240549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030073241A KR100566100B1 (ko) 2003-10-21 2003-10-21 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100566100B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036384A1 (en) * 2018-08-12 2020-02-20 Lg Electronics Inc. An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
KR100636785B1 (ko) 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
JP5091143B2 (ja) * 2005-10-07 2012-12-05 韓國電子通信研究院 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
KR100763441B1 (ko) * 2006-09-30 2007-10-04 광주과학기술원 동기화된 다시점 입체 영상 전송 방법 및 그 시스템
KR101360264B1 (ko) * 2007-05-07 2014-02-21 한국전자통신연구원 방송 서비스 방법
KR100826519B1 (ko) * 2007-05-29 2008-04-30 한국전자통신연구원 Ｄｍｂ 기반의 3차원 정지영상 서비스를 위한 객체 기술 및다중화 방법과, 그에 따른 복호화 장치 및 그 방법
CN102625125A (zh) * 2012-03-15 2012-08-01 天津大学 一种实时传输高分辨率多视点立体视频的方法
CN109547768B (zh) * 2018-11-05 2021-04-27 万维科研有限公司 生成三维视频精准深度图的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036384A1 (en) * 2018-08-12 2020-02-20 Lg Electronics Inc. An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
US11677922B2 (en) 2018-08-12 2023-06-13 Lg Electronics Inc. Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video

Also Published As

Publication number Publication date
KR20050038054A (ko) 2005-04-27

Similar Documents

Publication Publication Date Title
KR100375708B1 (ko) 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
US5619256A (en) Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
US6055012A (en) Digital multi-view video compression with complexity and compatibility constraints
US6111596A (en) Gain and offset correction for efficient stereoscopic coding and improved display
KR100556826B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
KR101664419B1 (ko) 수신 시스템 및 데이터 처리 방법
EP0838959B1 (en) Synchronization of a stereoscopic video sequence
US8947504B2 (en) Broadcast receiver and video data processing method thereof
JP4417421B2 (ja) 両眼／多視点３次元動画像処理システム及びその方法
KR102343700B1 (ko) 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신
KR100424401B1 (ko) 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
KR20120036848A (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
KR20110064161A (ko) 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9544661B2 (en) Cable broadcast receiver and 3D video data processing method thereof
KR101960315B1 (ko) 3d 서비스 처리 방법 및 장치
US20120307006A1 (en) Receiving apparatus, transmitting apparatus, communication system, receiving apparatus control method, and program
KR100566100B1 (ko) 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법
AU2011333090A1 (en) Image data transmission device, image data transmission method, image data reception device, and image data reception method
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR101233161B1 (ko) 3차원 동영상을 다중화 방송 서비스로 송수신하는 시스템및 방법
WO2007007923A1 (en) Apparatus for encoding and decoding multi-view image
KR101556149B1 (ko) 수신 시스템 및 데이터 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee