KR20120026013A - 통신 시스템에서 데이터 송수신 장치 및 방법 - Google Patents

Abstract

본 발명은, 디지털 방송 시스템에서 3차원 영상을 제공하기 위한 3D 영상 데이터의 기준 영상 데이터와 3D 부가 영상 데이터를 송수신하는 장치 및 방법에 관한 것으로, 3D 방송 서비스의 3D 영상에서 기본 영상과 3D 부가 영상을 사이드-바이-사이드(side-by-side) 방식 및 탑-다운(top-down) 방식 중 하나 방식의 스테레오스코픽(stereoscopic) 영상 포맷으로 처리하고, 상기 스테레오스코픽 영상 포맷으로 처리된 기본 영상 및 3D 부가 영상을 인코딩하며, 상기 인코딩된 기본 영상 스트림 및 3D 부가 영상 스트림을 듀얼 스트림(dual stream) 방식에 따라 단일 스트림의 3D 영상 스트림으로 다중화하여 송신한다.

Description

통신 시스템에서 데이터 송수신 장치 및 방법{Apparatus and method for transmitting/receiving data in communication system}

본 발명은 통신 시스템에 관한 것으로서, 특히 디지털 방송 시스템에서 3차원 영상을 제공하기 위한 3D 영상 데이터의 기준 영상 데이터와 3D 부가 영상 데이터를 송수신하는 장치 및 방법에 관한 것이다.

현재 통신 시스템에서는 고속의 전송 속도를 가지는 다양한 서비스 품질(QoS: Quality of Service, 이하 'QoS'라 칭하기로 함)의 서비스들을 사용자들에게 제공하기 위한 활발한 연구가 진행되고 있다. 이러한 통신 시스템의 일 예로 디지털 방송 시스템은, 다양한 형태의 영상 및 음성 데이터 등을 한정된 자원을 통해 빠르게 전송하기 위한 방안들이 제안되고 있다. 다시 말해, 디지털 방송 시스템은, 다양한 형태의 영상 및 음성 데이터 등을 포함하는 방송 데이터의 전송 효율을 향상시키기 위해 많은 방안들이 제안되고 있다.

또한, 디지털 방송 시스템은, 다양한 형태의 고화질 및 고음질의 3D 디지털 방송을 사용자들에게 제공하기 위해, 사용자들에게 제공하고자 하는 3D 방송 서비스에서 3D 영상의 기준 영상에 해당하는 기준 영상 데이터 뿐만 아니라, 사용자들의 3D 방송 서비스 요구에 상응하여 3D 영상을 제공하기 위해, 상기 3D 영상의 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 효율적으로 송수신하기 위한 방안들이 제안되고 있다.

하지만, 현재 디지털 방송 시스템에서는, 전술한 바와 같이 고화질 및 고품질의 3D 방송 서비스뿐만 아니라, 다양한 부가 서비스를 제공받고자 하는 사용자들의 요구가 크게 증대하고 있으나, 이러한 사용자들의 요구를 충분히 만족시키지 못하고 있다. 다시 말해, 현재 디지털 방송 시스템에서는, 사용자들이 요구하는 다양한 고화질 및 고품질의 3D 방송 서비스를 제공하기 위한 방안, 즉 상기 3D 방송 서비스에 해당하는 3D 영상 데이터를 송수신하기 위한 구체적인 방안이 아직까지 제안되지 않고 있다. 특히, 최근에는 디지털 방송 시스템에서는, 3D 방송 서비스를 제공하기 위해 3D 영상 데이터를 송수신하는 방안이 개괄적으로 제안되고 있으나, 이는 사용자들의 고화질 및 고품질의 3D 방송 서비스 요구를 전혀 만족시키지 못하는 문제점이 있다.

따라서, 통신 시스템, 예컨대 디지털 방송 시스템에서 사용자들이 요구하는 고화질 및 고품질의 3D 방송 서비스를 안정적으로 제공하기 위해, 상기 3D 방송 서비스의 3D 영상에 해당하는 3D 영상 데이터, 다시 말해 상기 3D 영상에서 기준 영상에 해당하는 기준 영상 데이터와 상기 3D 영상에서 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 송수신하는 방안이 필요하다.

따라서, 본 발명의 목적은 통신 시스템에서 데이터 송수신 장치 및 방법을 제공함에 있다.

또한, 본 발명의 다른 목적은, 통신 시스템에서 3D 영상 데이터를 송수신하는 장치 및 방법을 제공함에 있다.

그리고, 본 발명의 다른 목적은, 통신 시스템에서 디지털 방송 시스템이 3D 방송 서비스를 제공하기 위해 상기 3D 방송 서비스의 3D 영상에서 기준 영상에 해당하는 기준 영상 데이터와 상기 3D 영상에서 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 송수신하는 장치 및 방법을 제공함에 있다.

아울러, 본 발명의 또 다른 목적은, 통신 시스템에서 듀얼 스트림(dual stream) 방식의 디지털 방송 시스템이 사이드-바이-사이드(side-by-side) 방식 또는 탑-다운(top-down) 방식의 스테레오스코픽(stereoscopic) 영상 포맷으로 3D 방송 서비스를 사용자들에게 제공하기 위해 3D 영상 데이터를 송수신하는 장치 및 방법을 제공함에 있다.

상기한 목적들을 달성하기 위한 본 발명의 장치는, 통신 시스템에서 데이터를 송신하는 장치에 있어서, 3D 방송 서비스의 3D 영상에서 기본 영상과 3D 부가 영상을 스테레오스코픽(stereoscopic) 영상 포맷으로 처리하는 영상 포맷 처리부; 상기 스테레오스코픽 영상 포맷으로 처리된 기본 영상에 해당하는 기본 영상 데이터를 인코딩하는 제1인코더; 상기 스테레오스코픽 영상 포맷으로 처리된 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 인코딩하는 제2인코더; 및 상기 인코딩된 기본 영상 데이터와 상기 인코딩된 3D 부가 영상 데이터를 단일 스트림의 3D 영상 데이터로 다중화하여 송신하는 다중화부;를 포함한다.

상기한 목적들을 달성하기 위한 본 발명의 다른 장치는, 통신 시스템에서 데이터를 수신하는 장치에 있어서, 3D 방송 서비스의 3D 영상에 해당하는 단일 스트림의 3D 영상 데이터를 수신하여, 상기 3D 영상의 기본 영상에 해당하는 기본 영상 데이터와 상기 3D 영상의 3D 부가 영상에 해당하는 3D 부가 영상 데이터로 역다중화하는 역다중화부; 상기 기본 영상 데이터를 디코딩하는 제1디코딩부; 상기 부가 영상 데이터를 디코딩하는 제2디코딩부; 및 상기 디코딩된 기본 영상 데이터에서 스테레오스코픽(stereoscopic) 영상 포맷의 기본 영상을 상기 3D 영상의 기본 영상으로 복원하고, 상기 디코딩 기본 영상 데이터에서 스테레오스코픽 영상 포맷의 3D 부가 영상을 상기 3D 영상의 3D 부가 영상으로 복원하는 영상 렌더링부;를 포함한다.

상기한 목적들을 달성하기 위한 본 발명의 방법은, 통신 시스템에서 데이터를 송신하는 방법에 있어서, 3D 방송 서비스의 3D 영상에서 기본 영상과 3D 부가 영상을 사이드-바이-사이드(side-by-side) 방식 및 탑-다운(top-down) 방식 중 하나 방식의 스테레오스코픽(stereoscopic) 영상 포맷으로 처리하는 단계; 상기 스테레오스코픽 영상 포맷으로 처리된 기본 영상 및 3D 부가 영상을 인코딩하는 단계; 및 상기 인코딩된 기본 영상 스트림 및 3D 부가 영상 스트림을 듀얼 스트림(dual stream) 방식에 따라 단일 스트림의 3D 영상 스트림으로 다중화하여 송신하는 단계;를 포함한다.

상기한 목적들을 달성하기 위한 본 발명의 다른 방법은, 통신 시스템에서 데이터를 수신하는 방법에 있어서, 3D 방송 서비스에 해당하는 단일 스트림의 3D 영상 데이터를 수신하여, 상기 3D 영상 데이터에서 듀얼 스트림(dual stream) 방식에 따라 3D 영상의 기본 영상과 상기 3D 영상의 3D 부가 영상으로 역다중화하는 단계; 상기 역다중화된 기본 영상과 3D 부가 영상을 디코딩하는 단계; 및 상기 디코딩된 기본 영상과 3D 부가 영상을, 사이드-바이-사이드(side-by-side) 방식 및 탑-다운(top-down) 방식 중 하나 방식의 스테레오스코픽(stereoscopic) 영상 포맷에 따라 복원하여 상기 3D 방송 서비스의 3D 영상을 제공하는 단계;를 포함한다.

본 발명은, 통신 시스템에서 듀얼 스트림 방식의 디지털 방송 시스템이 3D 영상에서 기준 영상 및 3D 부가 영상을 사이드-바이-사이드(side-by-side) 방식 또는 탑-다운(top-down) 방식의 스테레오스코픽(stereoscopic) 영상 포맷으로 3D 영상 데이터를 송수신함으로써, 상기 3D 영상의 좌우 기준 영상 및 상기 3D 영상의 좌우 3D 부가 영상을 사용자들에게 제공하여 사용자들에게 고화질 및 고품질의 3D 방송 서비스를 안정적으로 제공한다.

도 1 및 도 2는 본 발명의 실시 예에 따른 통신 시스템의 디지털 방송 시스템에서 스테레오스코픽 영상 포맷을 개략적으로 도시한 도면.
도 3은 본 발명의 실시 예에 따른 통신 시스템에서 디지털 방송 시스템의 구조를 개략적으로 도시한 도면.
도 4 내지 도 7은 본 발명의 다른 실시 예에 따른 통신 시스템의 디지털 방송 시스템에서 스테레오스코픽 영상 포맷을 개략적으로 도시한 도면.
도 8은 본 발명의 다른 실시 예에 따른 통신 시스템에서 디지털 방송 시스템의 구조를 개략적으로 도시한 도면.
도 9는 본 발명의 실시 예에 따른 통신 시스템에서 송신 장치의 동작 과정을 개략적으로 도시한 도면.
도 10은 본 발명의 실시 예에 따른 통신 시스템에서 수신 장치의 동작 과정을 개략적으로 도시한 도면.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.

본 발명은, 통신 시스템, 예컨대 디지털 방송 시스템에서 3D 방송 서비스를 제공하기 위한 데이터 송수신 장치 및 방법을 제안한다. 여기서, 본 발명의 실시 예에서는, 통신 시스템으로 디지털 방송 시스템에서 사용자들이 요구한 고화질 및 고품질의 3D 방송 서비스를 안정적으로 제공하기 위해, 3D 영상 데이터를 송수신는 장치 및 방법을 제안하며, 본 발명의 실시 예에서는, 디지털 방송 시스템에서 상기 3D 방송 서비스의 3D 영상에서 기준 영상에 해당하는 기준 영상 데이터와 상기 3D 영상에서 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 송수신한다.

또한, 본 발명의 실시 예에서는, 듀얼 스트림(dual stream) 방식의 스테레오스코픽(stereoscopic) 영상을 이용하여 3D 방송 서비스를 제공하는 디지털 방송 시스템에서, 사이드-바이-사이드(side-by-side) 방식 또는 탑-다운(top-down) 방식의 스테레오(stereo) 영상 포맷으로 고화질 및 고품질의 3D 방송 서비스를 사용자들에게 제공하기 위해, 3D 방송 서비스의 3D 영상에서 기준 영상에 해당하는 기준 영상 데이터와 상기 3D 영상에서 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 송수신한다. 즉, 본 발명의 실시 예에서는, 디지털 방송 시스템이 3D 영상의 기준 영상과 3D 부가 영상을 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오 영상 포맷으로 제공하도록 기준 영상 데이터와 3D 부가 영상 데이터를 송수신한다.

여기서, 본 발명의 실시 예에서는, 스테레오스코픽 영상을 이용한 3D 방송 서비스를 제공하며, 특히 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오 영상 포맷을 지원하는 3D 방송 수신 장치에도 듀얼 스트림 방식의 3D 디지털 방송 시스템을 통해 3D 방송 서비스로서 3D 디지털 영상 서비스를 제공한다. 아울러, 본 발명의 실시 예에서는, 듀얼 스트림 방식의 3D 디지털 방송 시스템을 통해, 3D 방송 서비스의 3D 영상에서 좌우 원본 영상뿐만 아니라, 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 콘텐츠를 제공하며, 특히 사이드-바이-사이드 방식 또는 탑-다운 방식의 3D 방송 수신 단말 사용자들에게 고화질 및 고품질의 3D 방송 서비스를 효과적으로 제공한다.

그리고, 본 발명의 실시 예에서는, 전술한 바와 같이, 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오 영상 포맷을 지원하는 3D 방송 수신 장치에도 듀얼 스트림 방식의 3D 디지털 방송 시스템을 통해 3D 방송 서비스를 제공함으로써, 상기 3D 방송 수신 장치가 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오 영상을 수신하여, 기존 품질의 3D 방송 서비스를 사용자들에게 제공할 뿐만 아니라, 듀얼 스트림 방식을 지원함으로써 보다 고품질 및 고화질의 3D 방송 서비스를 한다. 그러면 여기서, 도 1 및 도 2를 참조하여 본 발명의 실시 예에 따른 통신 시스템의 디지털 방송 시스템에서 3D 방송 서비스를 제공하기 위한 스테레오스코픽 영상 포맷을 보다 구체적으로 설명하기로 한다.

도 1 및 도 2는 본 발명의 실시 예에 따른 통신 시스템의 디지털 방송 시스템에서 스테레오스코픽 영상 포맷을 개략적으로 도시한 도면이다. 여기서, 도 1은, 디지털 방송 시스템에서 상기 사이드-바이-사이드 방식의 스테레오스코픽 영상 포맷을 개략적으로 도시한 도면이고, 도 2는 상기 탑-다운 방식의 스테레오스코픽 영상 포맷을 개략적으로 도시한 도면이다.

우선, 도 1에 도시한 바와 같이, 상기 사이드-바이-사이드 방식의 스테레오스코픽 영상 포맷은, 3D 영상에서 좌 영상(L)이 수평 방향으로 축소된 영상, 예컨대 1/2로 축소된 좌 영상(L')(110,120,130,140)과, 상기 3D 영상에서 우 영상(R)이 수평 방향으로 축소된 영상, 예컨대 1/2로 축소된 우 영상(R')(115,125,135,145)으로 나타낸다.

또한, 도 2에 도시한 바와 같이, 상기 탑-다운 방식의 스테레오스코픽 영상 포맷은, 3D 영상에서 좌 영상(L)이 수직 방향으로 축소된 영상, 예컨대 1/2로 축소된 좌 영상(L')(210,220,230,240)과, 상기 3D 영상에서 우 영상(R)이 수직 방향으로 축소된 영상, 예컨대 1/2로 축소된 우 영상(R')(215,225,235,245)으로 나타낸다. 그러면 여기서, 도 3을 본 발명의 실시 예에 따른 통신 시스템에서 디지털 방송 시스템에 대해 보다 구체적으로 설명하기로 한다.

도 3은 본 발명의 실시 예에 따른 통신 시스템에서 디지털 방송 시스템의 구조를 개략적으로 도시한 도면이다. 여기서, 도 3은 듀얼 스트림 방식의 디지털 방송 시스템의 구조를 개략적으로 도시한 도면이다.

도 3을 참조하면, 상기 디지털 방송 시스템은, 3D 영상의 좌 영상(L)(302) 및 우 영상(R)(304)에서 기준 영상에 해당하는 기준 영상 데이터를 인코딩하는 기준 영상 인코더(310), 상기 3D 영상의 좌 영상(L)(302) 및 우 영상(R)(304)에서 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 인코딩하는 3D 부가 영상 인코더(315), 상기 인코딩된 기준 영상 데이터와 3D 부가 영상 데이터를 3D 영상 데이터로 다중화한 후, 전송망(330)을 통해 상기 3D 영상 데이터를 송신하는 다중화 및 전송부(320), 상기 전송망(330)을 통해 상기 3D 영상 데이터를 수신하여 기준 영상 데이터와 3D 부가 영상 데이터로 역다중화하는 수신 및 역다중화부(340), 상기 역다중화된 기준 영상 데이터를 디코딩하는 기준 영상 디코더(350), 및 상기 역다중화된 3D 부가 영상 데이터를 디코딩하는 3D 부가 영상 디코더(355)를 포함한다.

여기서, 상기 기준 영상 디코더(350)와 상기 3D 부가 영상 디코더(355)는, 상기 역다중화된 기준 영상 데이터와 상기 역다중화된 3D 부가 영상 데이터를 디코딩하여, 3D 영상의 좌 영상(362) 및 우 영상(364)을 사용자들에게 제공한다. 또한, 상기 3D 영상에서의 기준 영상은, 일반적인 2차원 영상과 호환되는 영상, 예컨대 좌 영상 또는 우 영상을 의미하며, 상기 3D 영상에서의 3D 부가 영상은, 상기 기준 영상과 함께 스테레오스코픽 영상을 구성하기 위해 쌍을 이루는 영상으로서, 상기 기준 영상에 대응하는 영상, 예컨대 상기 기준 영상이 좌 영상일 경우 우 영상, 또는 상기 기준 영상에 대응하는 깊이(depth) 영상 및 변이(disparity) 영상 등이 해당한다.

그리고, 상기 디지털 방송 시스템은, 상기 기준 영상 인코더(310), 상기 3D 부가 영상 인코더(315), 및 상기 다중화 및 전송부(320)를 포함하는 송신 장치와, 상기 수신 및 역다중화부(340), 상기 기준 영상 디코더(350), 및 상기 3D 부가 영상 디코더(355)를 포함하는 수신 장치를 포함한다.

아울러, 상기 송신 장치의 기준 영상 인코더(310)는, 3D 방송 서비스를 제공하기 위해, 상기 3D 방송 서비스의 3D 영상에서 좌 영상(302)및 우 영상(304)의 기본 영상에 해당하는 기본 영상 데이터를 인코딩한다. 또한, 상기 송신 장치의 3D 부가 영상 인코더(315)는, 상기 3D 방송 서비스의 3D 영상에서 좌 영상(302) 및 우 영상(304)의 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 인코딩한다.

여기서, 상기 기준 영상 인코더(310)와 상기 3D 부가 영상 인코더(315)는, 상기 스테레오스코픽 영상 포맷의 좌 영상과 우 영상을 각각 듀얼 스트림 방식에 따라 독립적으로 인코딩하거나 상호 참조 인코딩하여 별개의 듀얼 영상 스트림을 출력, 즉 기본 영상 데이터 스트림과 3D 부가 영상 데이터 스트림을 출력한다. 또한, 상기 기준 영상 인코더(310)는, 3D 영상의 기준 영상을 인코딩하기 위한 일반적인 비디오 인코더이며, 상기 3D 부가 영상 인코더(315)는, 상기 3D 영상의 3D 부가 영상을 독립적으로 인코딩하거나 또는 상기 기준 영상 인코더(310)와 상호 참조하여 인코딩하기 위한 비디오 인코더이다.

그리고, 상기 송신 장치의 다중화 및 전송부(320)는, 상기 기준 영상 인코더(310)와 상기 3D 부가 영상 인코더(315)에서 인코딩되어 출력되는 기준 영상 데이터 스트림 및 3D 부가 영상 데이터 스트림을 단일 스트림으로 다중화한 후, 상기 다중화한 단일 스트림을 채널 인코딩, 변조 등의 과정을 거쳐 전송망(330)을 통해 송신한다. 여기서, 상기 다중화 및 전송부(320)는, 인코딩된 기본 영상 데이터와 3D 부가 영상 데이터를 단일의 3D 영상 데이터로 다중화하며, 이러한 3D 영상 데이터는 전송망(330)을 통해 수신 장치로 송신된다.

또한, 상기 수신 장치의 수신 및 역다중화부(340)는, 상기 전송망(330)을 통해 전송된 3D 방송 신호, 즉 3D 영상 데이터를 수신한 후, 상기 수신한 3D 영상 데이터를 복조, 채널 디코딩, 역다중화 등의 과정을 거쳐 기준 영상 데이터 스트림과 3D 부가 영상 데이터 스트림을 출력한다. 즉, 상기 수신 및 역다중화부(340)는, 상기 수신한 3D 영상 데이터를 역다중화하여 3D 영상에서 기준 영상에 해당하는 기준 영상 데이터와 상기 3D 영상에서 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 출력한다.

아울러, 상기 수신 장치의 기준 영상 디코더(350)와 3D 부가 영상 디코더(355)는, 상기 기본 영상 데이터와 상기 3D 부가 영상 데이터를 각각 디코딩하여, 상기 3D 영상의 좌 영상(362) 및 우 영상(364)이 디스플레이, 즉 3D 영상이 사용자에게 디스플레이되어 3D 방송 서비스를 제공한다. 여기서, 상기 기준 영상 디코더(350)와 3D 부가 영상 디코더(355)는, 독립적으로 디코딩하거나 상호 참조 디코딩, 다시 말해 상기 3D 부가 영상 디코더(355)는 상기 3D 영상의 3D 부가 영상을 독립적으로 디코딩하거나 또는 상기 기준 영상 디코더(350)와 상호 참조하여 디코딩한다.

이렇게 본 발명의 실시 예에 따른 듀얼 스트림 방식의 디지털 방송 시스템은, 예컨대 수신 장치에서 2차원 단말이 기본 영상 스트림, 즉 상기 기본 영상 데이터를 디코딩하여 안정적으로 일반적인 영상 화면을 구성하여 2차원 영상 시스템과의 역방향 호환성을 보장한다. 또한, 상기 디지털 방송 시스템은, 도 1 및 도 2에서 설명한 사이드-바이-사이드 방식 또는 탑-다운 방식에 따라 상기 좌 영상(302) 및 우 영상(304)을 수평 방향 또는 수직 방향으로 1/2 크기로 축소된 스테레오스코픽 영상 포맷의 좌 영상(L') 및 우 영상(R')을 인코딩하여 송신하고, 또한 이렇게 인코딩되어 송신된 스테레오스코픽 영상 포맷의 좌 영상(L') 및 우 영상(R')을 디코딩하여 3D 영상을 제공한다. 그러면 여기서, 도 4 내지 도 7을 참조하여 본 발명의 다른 실시 예에 따른 통신 시스템의 디지털 방송 시스템에서 3D 방송 서비스를 제공하기 위한 스테레오스코픽 영상 포맷을 보다 구체적으로 설명하기로 한다.

도 4 내지 도 7은 본 발명의 다른 실시 예에 따른 통신 시스템의 디지털 방송 시스템에서 스테레오스코픽 영상 포맷을 개략적으로 도시한 도면이다. 여기서, 도 4는, 디지털 방송 시스템에서 사이드-바이-사이드 방식의 스테레오스코픽 영상 포맷에서 기준 영상을 개략적으로 도시한 도면이고, 도 5는, 상기 사이드-바이-사이드 방식의 스테레오스코픽 영상 포맷에서 3D 부가 영상을 개략적으로 도시한 도면이며, 도 6은, 디지털 방송 시스템에서 탑-다운 방식의 스테레오스코픽 영상 포맷에서 기준 영상을 개략적으로 도시한 도면이고, 도 7은, 상기 탑-다운 방식의 스테레오스코픽 영상 포맷에서 3D 부가 영상을 개략적으로 도시한 도면이다.

우선, 도 4에 도시한 바와 같이, 상기 사이드-바이-사이드 방식의 스테레오스코픽 영상 포맷에서 기본 영상은, 3D 영상에서 좌 영상(L)이 수평 방향으로 축소된 영상, 예컨대 1/2로 축소된 좌 영상(L')(410,420,430,440)과, 상기 3D 영상에서 우 영상(R)이 수평 방향으로 축소된 영상, 예컨대 1/2로 축소된 우 영상(R')(415,425,435,445)으로 나타난다.

또한, 도 5에 도시한 바와 같이, 상기 사이드-바이-사이드 방식의 스테레오스코픽 영상 포맷에서 3D 부가 영상은, 3D 영상에서 좌 영상(L)이 수평 방향으로 축소된 영상, 예컨대 1/2로 축소된 좌 영상(L')과 상기 좌 영상(L) 간의 좌 영상 차이(ΔL)(510,520,530,540)와, 상기 3D 영상에서 우 영상(R)이 수평 방향으로 축소된 영상, 예컨대 1/2로 축소된 우 영상(R')과 상기 우 영상(R) 간의 우 영상 차이(ΔR)(515,525,535,545)로 나타난다.

여기서, 상기 3D 부가 영상은, 도 4에 도시한 바와 같은 사이드-바이-사이드 방식의 기준 영상에 보조적인 영상 정보로 구성되며, 보다 구체적으로 설명하면, 상기 3D 부가 영상은, 상기 축소된 좌 영상(L')(410,420,430,440)과 상기 축소된 우 영상(R')(415,425,435,445)이 다시 수신 장치에서 보간(interpolation)되어 원래 크기의 좌 영상(L)과 우 영상(R)로 복원될 경우, 발생하는 좌 영상(L)과 우 영상(R)의 화질 열화를 최소화하기 위한 보조 영상 정보로 구성된다.

다시 말해, 도 5에 도시한 바와 같은 상기 3D 부가 영상은, 좌 원본 영상, 즉 상기 기본 영상에서의 좌 영상(L) 및 우 원본 영상, 즉 상기 기본 영상에서의 우 영상(R)과, 도 4에 도시한 바와 같은 상기 축소된 좌 영상(L')(410,420,430,440) 및 상기 축소된 우 영상(R')(415,425,435,445)을 좌 원본 영상 및 우 원본 영상의 크기로 보간한 보간 영상 간의 차이 정보를 다시 축소한 정보로 구성된다. 즉, 상기 3D 부가 영상에 포함된 좌 영상 차이(ΔL)(510,520,530,540)는, 상기 축소된 좌 영상(L')(410,420,430,440)과, 상기 축소된 좌 영상(L')(410,420,430,440)의 보간 영상 간의 차이 정보가 축소된 보조 영상 정보를 포함한다. 또한, 상기 3D 부가 영상에 포함된 우 영상 차이(ΔR)(515,525,535,545)는, 상기 축소된 우 영상(R')(415,425,435,440)과, 상기 축소된 우 영상(R')(415,425,435,445)의 보간 영상 간의 차이 정보가 축소된 보조 영상 정보를 포함한다.

여기서, 상기 좌 영상 차이(ΔL)(510,520,530,540)는, 상기 좌 원본 영상(L)과, 상기 축소된 좌 영상(L')(410,420,430,440)의 수평 보간 간의 차이(L - 수평 보간(L'))의 수평 축소를 의미하고, 상기 우 영상 차이(ΔR)(515,525,535,545)는, 상기 우 원본 영상(R)과, 상기 축소된 우 영상(R')(415,425,435,445)의 수평 보간 간의 차이(R - 수평 보간(R'))의 수평 축소를 의미한다. 또한, 상기 수평 보간(L', R')은, 수평 방향으로 1/2크기로 축소 필터링(decimation filtering)된 좌 영상 또는 우 영상(L', R')을 보간 필터링(interpolation filtering)을 통해 원래의 크기로 확대하여 복원하는 과정을 의미한다. 그리고, 상기 수평 축소(ΔL, ΔR)는, 해당 좌 영상 또는 우 영상을 수평 방향으로 1/2크기로 축소 필터링하는 과정을 의미하며, 그에 따라 상기 좌 영상 차이(ΔL) 및 상기 우 영상 차이(ΔR)는, 상기 좌 원본 영상 및 우 원본 영상과, 수평 보간된 좌 영상 및 우 영상 간의 차이의 수평 축소된 좌 영상 및 우 영상을 의미한다.

아울러, 도 4에 도시한 바와 같은 상기 사이드-바이-사이드 방식의 스테레오스코픽 영상 포맷에서 기본 영상은, 상기 좌 영상(L)의 수평 축소에서 상기 좌 영상(L)의 홀수 번째 또는 짝수 번째 픽셀을 중심으로 서브샘플링(sub-sampling)하여 축소된 좌 영상(L')(410,420,430,440)으로 나타나고, 상기 우 영상(R)의 수평 축소에서 상기 우 영상(R)의 홀수 번째 또는 짝수 번째 픽셀을 중심으로 서브샘플링하여 축소된 우 영상(R')(415,425,435,445)으로 나타난다. 그리고, 도 5에 도시한 바와 같은 상기 사이드-바이-사이드 방식의 스테레오스코픽 영상 포맷에서 3D 부가 영상은, 상기 좌 영상(L)과 수평 보간 간 차이(L - 수평 보간(L'))의 수평 축소에서 좌 영상의 짝수 번째 또는 홀수 번째 픽셀을 중심으로 서브샘플링하여 축소된 좌 영상 차이(ΔL)(510,520,530,540)로 나타나고, 상기 우 영상(R)과 수평 보간 간 차이(R - 수평 보간(R'))의 수평 축소에서 우 영상의 짝수 번째 또는 홀수 번째 픽셀을 중심으로 서브샘플링하여 축소된 우 영상 차이(ΔR)(515,525,535,545)로 나타난다.

여기서, 상기 축소된 좌 영상(L')(410,420,430,440)과 축소된 우 영상(R')(415,425,435,445)이 홀수 번째 픽셀을 중심으로 서브샘플링하여 축소된 영상일 경우, 상기 축소된 좌 영상 차이(ΔL)(510,520,530,540)와 축소된 우 영상 차이(ΔR)(515,525,535,545)는 짝수 번째 픽셀을 중심으로 서브샘플링하여 축소된 영상이며, 이와 반대로 상기 축소된 좌 영상(L')(410,420,430,440)과 축소된 우 영상(R')(415,425,435,445)이 짝수 번째 중심으로 서브샘플링하여 축소된 영상일 경우, 상기 축소된 좌 영상 차이(ΔL)(510,520,530,540)와 축소된 우 영상 차이(ΔR)(515,525,535,545)는 홀수 번째 픽셀을 중심으로 서브샘플링하여 축소된 영상이다.

이렇게 상기 축소된 좌 영상(L')(410,420,430,440) 및 축소된 우 영상(R')(415,425,435,445)과, 상기 축소된 좌 영상 차이(ΔL)(510,520,530,540)와 축소된 우 영상 차이(ΔR)(515,525,535,545) 간이 교대로 서브샘플링하여 스테레오스코픽 영상 포맷을 구성함에 따라, 수신 장치는, 3D 영상의 기준 영상과 3D 부가 영상을 보간할 경우, 기준 영상의 홀수 번째 또는 짝수 번째 픽셀과 3D 부가 영상의 짝수 번째 또는 홀수 번째 픽셀을 서로 교대로 인터리빙(interleaving)한 후, 상기 3D 영상을 처리함으로써, 상기 기준 영상 및 3D 부가 영상의 축소 및 보간에서 발생하는 화질의 열화를 최소화한다. 여기서, 상기 3D 부가 영상은, 전술한 바와 같이 상기 기준 영상에 대응하는 영상, 예컨대 상기 기준 영상이 좌 영상일 경우 우 영상이거나, 또는 상기 기준 영상에 대응하는 깊이 영상 및 변이 영상 등이 해당한다. 즉, 도 5에 도시한 축소된 좌 영상 차이(ΔL)(510,520,530,540)와 축소된 우 영상 차이(ΔR)(515,525,535,545)는, 깊이 정보 또는 변이 정보 등의 보조 영상 정보를 포함한다.

다음으로, 도 6 및 도 7을 참조하여, 디지털 방송 시스템에서 탑-다운 방식의 스테레오스코픽 영상 포맷에 대해 보다 구체적으로 설명하면, 도 6에 도시한 바와 같이, 상기 탑-다운 방식의 스테레오스코픽 영상 포맷에서 기본 영상은, 3D 영상에서 좌 영상(L)이 수직 방향으로 축소된 영상, 예컨대 1/2로 축소된 좌 영상(L')(610,620,630,640)과, 상기 3D 영상에서 우 영상(R)이 수직 방향으로 축소된 영상, 예컨대 1/2로 축소된 우 영상(R')(615,625,635,645)으로 나타난다.

또한, 도 7에 도시한 바와 같이, 상기 탑-다운 방식의 스테레오스코픽 영상 포맷에서 3D 부가 영상은, 3D 영상에서 좌 영상(L)이 수직 방향으로 축소된 영상, 예컨대 1/2로 축소된 좌 영상(L')과 상기 좌 영상(L) 간의 좌 영상 차이(ΔL)(610,620,630,640)와, 상기 3D 영상에서 우 영상(R)이 수직 방향으로 축소된 영상, 예컨대 1/2로 축소된 우 영상(R')과 상기 우 영상(R) 간의 우 영상 차이(ΔR)(615,625,635,645)로 나타난다.

여기서, 상기 3D 부가 영상은, 도 6에 도시한 바와 같은 탑-다운 방식의 기준 영상에 보조적인 영상 정보로 구성되며, 보다 구체적으로 설명하면, 상기 3D 부가 영상은, 상기 축소된 좌 영상(L')(610,620,630,640)과 상기 축소된 우 영상(R')(615,625,635,645)이 다시 수신 장치에서 보간(interpolation)되어 원래 크기의 좌 영상(L)과 우 영상(R)로 복원될 경우, 발생하는 좌 영상(L)과 우 영상(R)의 화질 열화를 최소화하기 위한 보조 영상 정보로 구성된다.

다시 말해, 도 7에 도시한 바와 같은 상기 3D 부가 영상은, 좌 원본 영상, 즉 상기 기본 영상에서의 좌 영상(L) 및 우 원본 영상, 즉 상기 기본 영상에서의 우 영상(R)과, 도 6에 도시한 바와 같은 상기 축소된 좌 영상(L')(610,620,630,640) 및 상기 축소된 우 영상(R')(615,625,635,645)을 좌 원본 영상 및 우 원본 영상의 크기로 보간한 보간 영상 간의 차이 정보를 다시 축소한 정보로 구성된다. 즉, 상기 3D 부가 영상에 포함된 좌 영상 차이(ΔL)(710,720,730,740)는, 상기 축소된 좌 영상(L')(610,620,630,640)과, 상기 축소된 좌 영상(L')(610,620,630,640)의 보간 영상 간의 차이 정보가 축소된 보조 영상 정보를 포함한다. 또한, 상기 3D 부가 영상에 포함된 우 영상 차이(ΔR)(715,725,735,745)는, 상기 축소된 우 영상(R')(615,625,635,640)과, 상기 축소된 우 영상(R')(615,625,635,645)의 보간 영상 간의 차이 정보가 축소된 보조 영상 정보를 포함한다.

여기서, 도 6에 도시한 탑-다운 방식의 기본 영상, 즉 상기 축소된 좌 영상(L')(610,620,630,640)과 상기 축소된 우 영상(R')(615,625,635,640)은, 도 4에서 도시한 사이드-바이-사이드 방식의 기본 영상, 즉 상기 축소된 좌 영상(L')(410,420,430,440)과 상기 우 영상 차이(ΔR)(515,525,535,545)에서의 수평 축소와 달리 수직 축소를 통해 획득된 영상을 의미한다. 또한, 도 7에 도시한 탑-다운 방식의 3D 부가 영상, 즉 상기 좌 영상 차이(ΔL)(710,720,730,740)와 우 영상 차이(ΔR)(715,725,735,745)는, 도 5에서 도시한 사이드-바이-사이드 방식의 3D 부가 영상, 즉 상기 좌 영상 차이(ΔL)(510,520,530,540)와 상기 우 영상 차이(ΔR)(515,525,535,545)에서의 수평 보간 및 수평 축소와 다리 수직 보간 및 수직 축소를 통해 획득된 영상을 의미한다.

이때, 상기 수직 보간(L', R')은, 수직 방향으로 1/2크기로 축소 필터링된 좌 영상 또는 우 영상(L', R')을 보간 필터링을 통해 원래의 크기로 확대하여 복원하는 과정을 의미한다. 그리고, 상기 수직 축소(ΔL, ΔR)는, 해당 좌 영상 또는 우 영상을 수직 방향으로 1/2크기로 축소 필터링하는 과정을 의미하며, 그에 따라 상기 좌 영상 차이(ΔL) 및 상기 우 영상 차이(ΔR)는, 상기 좌 원본 영상 및 우 원본 영상과, 수직 보간된 좌 영상 및 우 영상 간의 차이의 수직 축소된 좌 영상 및 우 영상을 의미한다.

아울러, 도 6 및 도 7에 도시한 바와 같은 상기 탑-다운 방식의 스테레오스코픽 영상 포맷에서 기본 영상과 3D 부가 영상은, 앞서 도 4 및 도 5에서 설명한 사이드-바이-사이드 방식의 기본 영상과 3D 부가 영상에서와 같이 홀수 번째 또는 짝수 번째 픽셀을 중심으로 서브샘플링하여 축소된 영상들로 나타나며, 상기 서브샘플링하여 축소된 영상들에 대해서는, 상기 사이드-바이-사이드 방식의 기본 영상과 3D 부가 영상에서 구체적으로 설명하였음으로 여기서는 그에 관한 구체적인 설명을 생략하기로 한다.

즉, 도 6 및 도 7에 도시한 상기 탑-다운 방식의 스테레오스코픽 영상 포맷에서 기본 영상과 3D 부가 영상은, 앞서 도 4 및 도 5에서 설명한 사이드-바이-사이드 방식의 기본 영상과 3D 부가 영상에서의 수평 축소 및 수평 보간과는 달리 수직 축소 및 수직 보간을 통해 획득된 영상임이 다를 뿐 그 외에는 상기 사이드-바이-사이드 방식의 기본 영상과 3D 부가 영상과 유사하다. 또한, 상기 3D 부가 영상은, 전술한 바와 같이 상기 기준 영상에 대응하는 영상, 예컨대 상기 기준 영상이 좌 영상일 경우 우 영상이거나, 또는 상기 기준 영상에 대응하는 깊이 영상 및 변이 영상 등이 해당한다. 즉, 도 7에 도시한 축소된 좌 영상 차이(ΔL)(710,720,730,740)와 축소된 우 영상 차이(ΔR)(715,725,735,745)는, 깊이 정보 또는 변이 정보 등의 보조 영상 정보를 포함한다. 그러면 여기서, 도 8을 본 발명의 실시 예에 따른 통신 시스템에서 디지털 방송 시스템에 대해 보다 구체적으로 설명하기로 한다.

도 8은 본 발명의 다른 실시 예에 따른 통신 시스템에서 디지털 방송 시스템의 구조를 개략적으로 도시한 도면이다. 여기서, 도 8은 듀얼 스트림 방식의 디지털 방송 시스템의 구조를 개략적으로 도시한 도면이다.

도 8을 참조하면, 상기 디지털 방송 시스템은, 3D 영상의 좌 영상(L)(802) 및 우 영상(R)(804)에서 기준 영상과 3D 부가 영상을 도 4 내지 도 7에서 설명한 바와 같은 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 처리하는 3D 영상 포맷 처리부(810), 상기 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 처리된 기준 영상(812,814)에 해당하는 기준 영상 데이터를 인코딩하는 기준 영상 인코더(820), 상기 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 처리된 3D 부가 영상(816,818)에 해당하는 3D 부가 영상 데이터를 인코딩하는 3D 부가 영상 인코더(825), 상기 인코딩된 기준 영상 데이터와 3D 부가 영상 데이터를 3D 영상 데이터로 다중화한 후, 전송망(840)을 통해 상기 3D 영상 데이터를 송신하는 다중화 및 전송부(830), 상기 전송망(840)을 통해 상기 3D 영상 데이터를 수신하여 기준 영상 데이터와 3D 부가 영상 데이터로 역다중화하는 수신 및 역다중화부(850), 상기 역다중화된 기준 영상 데이터를 디코딩하는 기준 영상 디코더(860), 상기 역다중화된 3D 부가 영상 데이터를 디코딩하는 3D 부가 영상 디코더(865), 및 상기 디코딩된 기준 영상 데이터의 기준 영상(872,874) 및 상기 디코딩된 3D 부가 영상 데이터의 3D 부가 영상(876,878)을 복원하여 3D 영상의 좌 영상(L)(882)과 우 영상(R)(884)을 사용자들에게 제공하는 3D 영상 렌더링부(870)를 포함한다.

여기서, 상기 3D 영상에서의 기준 영상은, 일반적인 2차원 영상과 호환되는 영상, 예컨대 좌 영상 또는 우 영상을 의미하며, 상기 3D 영상에서의 3D 부가 영상은, 상기 기준 영상과 함께 스테레오스코픽 영상을 구성하기 위해 쌍을 이루는 영상으로서, 상기 기준 영상에 대응하는 영상, 예컨대 상기 기준 영상이 좌 영상일 경우 우 영상, 또는 상기 기준 영상에 대응하는 깊이 영상 및 변이 영상 등이 해당한다.

그리고, 상기 디지털 방송 시스템은, 상기 3D 영상 포맷 처리부(810), 상기 기준 영상 인코더(820), 상기 3D 부가 영상 인코더(825), 및 상기 다중화 및 전송부(830)를 포함하는 송신 장치와, 상기 수신 및 역다중화부(850), 상기 기준 영상 디코더(860), 상기 3D 부가 영상 디코더(865), 및 상기 3D 영상 렌더링부(870)를 포함하는 수신 장치를 포함한다.

아울러, 상기 송신 장치의 3D 영상 포맷 처리부(810)는, 3D 방송 서비스를 제공하기 위해, 상기 3D 방송 서비스의 3D 영상에서 좌 영상(302)및 우 영상(304)의 기본 영상 및 3D 부가 영상을, 앞선 도 4 내지 도 7에서 설명한 바와 같이, 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 처리한다. 즉, 상기 3D 영상 포맷 처리부(810)에 의해 좌 영상(302)및 우 영상(304)의 기본 영상 및 3D 부가 영상은, 도 4 내지 도 7에서 도시한 바와 같이 나타낼 수 있다. 여기서, 상기 3D 영상 포맷 처리부(810)에 의해 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷에서의 기본 영상과 3D 부가 영상에 대해서는 앞서 도 4 내지 도 7에서 구체적으로 설명하였음으로 여기서는 그에 관한 구체적인 설명을 생략하기로 한다. 또한, 도 8에서는 설명의 편의를 위해, 상기 3D 영상 포맷 처리부(810)가 사이드-바이-사이드 방식의 영상 포맷인 기본 영상(812,814)과 3D 부가 영상(816,818)을 출력하는 것을 중심으로 설명하기로 한다.

이렇게 상기 3D 영상 포맷 처리부(810)가 도 4 내지 도 7에 도시한 바와 같이 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 처리한 상기 기본 영상에 해당하는 기본 영상 데이터는 기준 영상 인코더(820)으로 출력되고 상기 3D 부가 영상에 해당하는 3D 부가 영상 데이터는 3D 부가 영상 인코더(830)로 출력된다.

또한, 상기 송신 장치의 기준 영상 인코더(820)는, 상기 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 처리된 기본 영상의 기본 영상 데이터를 인코딩한다. 또한, 상기 송신 장치의 3D 부가 영상 인코더(825)는, 상기 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 처리된 3D 부가 영상의 3D 부가 영상 데이터를 인코딩한다.

여기서, 상기 기준 영상 인코더(820)와 상기 3D 부가 영상 인코더(825)는, 상기 스테레오스코픽 영상 포맷의 좌 영상과 우 영상을 각각 듀얼 스트림 방식에 따라 독립적으로 인코딩하거나 상호 참조 인코딩하여 별개의 듀얼 영상 스트림을 출력, 즉 기본 영상 데이터 스트림과 3D 부가 영상 데이터 스트림을 출력한다. 또한, 상기 기준 영상 인코더(820)는, 3D 영상의 기준 영상을 인코딩하기 위한 일반적인 비디오 인코더이며, 상기 3D 부가 영상 인코더(825)는, 상기 3D 영상의 3D 부가 영상을 독립적으로 인코딩하거나 또는 상기 기준 영상 인코더(820)와 상호 참조하여 인코딩하기 위한 비디오 인코더이다.

그리고, 상기 송신 장치의 다중화 및 전송부(830)는, 상기 기준 영상 인코더(820)와 상기 3D 부가 영상 인코더(825)에서 인코딩되어 출력되는 기준 영상 데이터 스트림 및 3D 부가 영상 데이터 스트림을 단일 스트림으로 다중화한 후, 상기 다중화한 단일 스트림을 채널 인코딩, 변조 등의 과정을 거쳐 전송망(840)을 통해 송신한다. 여기서, 상기 다중화 및 전송부(830)는, 인코딩된 기본 영상 데이터와 3D 부가 영상 데이터를 단일의 3D 영상 데이터로 다중화하며, 이러한 3D 영상 데이터는 전송망(840)을 통해 수신 장치로 송신된다.

또한, 상기 수신 장치의 수신 및 역다중화부(850)는, 상기 전송망(840)을 통해 전송된 3D 방송 신호, 즉 3D 영상 데이터를 수신한 후, 상기 수신한 3D 영상 데이터를 복조, 채널 디코딩, 역다중화 등의 과정을 거쳐 기준 영상 데이터 스트림과 3D 부가 영상 데이터 스트림을 출력한다. 즉, 상기 수신 및 역다중화부(850)는, 상기 수신한 3D 영상 데이터를 역다중화하여 3D 영상에서 기준 영상에 해당하는 기준 영상 데이터와 상기 3D 영상에서 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 출력한다.

아울러, 상기 수신 장치의 기준 영상 디코더(860)와 3D 부가 영상 디코더(865)는, 상기 기본 영상 데이터와 상기 3D 부가 영상 데이터를 각각 디코딩하여, 상기 디코딩된 기준 영상 데이터의 기준 영상(872,874) 및 상기 디코딩된 3D 부가 영상 데이터의 3D 부가 영상(876,878)을 3D 영상 렌더링부(870)로 출력한다. 여기서, 상기 기준 영상 디코더(860)와 3D 부가 영상 디코더(865)는, 독립적으로 디코딩하거나 상호 참조 디코딩, 다시 말해 상기 3D 부가 영상 디코더(865)는 상기 3D 영상의 3D 부가 영상을 독립적으로 디코딩하거나 또는 상기 기준 영상 디코더(350)와 상호 참조하여 디코딩한다.

그리고, 상기 수신 장치의 3D 영상 렌더링부(870)는, 상기 디코딩된 기준 영상 데이터의 기준 영상(872,874) 및 상기 디코딩된 3D 부가 영상 데이터의 3D 부가 영상(876,878)을 렌더링하여 3D 영상의 좌 영상(L)(882)과 우 영상(R)(884)을 복원한다. 다시 말해, 상기 3D 영상 렌더링부(870)는, 듀얼 스트림 방식의 3D 방송 시스템의 송신 장치가, 전술한 바와 같이 상기 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 3D 영상의 기본 영상과 3D 부가 영상을 처리하여 송신할 경우, 수신한 기준 영상과 3D 부가 영상을 영상 처리하여 좌 원본 영상과 우 원본 영상의 크기로 영상을 각각 재생하여, 사용자들에게 3D 방송 서비스의 3D 영상을 제공한다.

여기서, 상기 3D 영상 렌더링부(870)는, 상기 사이드-바이-사이드 방식 또는 탑-다운 방식에 따라 스테레오스코픽 영상 포맷의 기준 영상 및 3D 부가 영상을 수평 보간 또는 수직 보간을 수행하여 원래 크기의 좌 영상 및 우 영상으로 확대한 후, 3D 부가 영상에 상응하는 상기 기본 영상의 보조 영상 정보를 상기 확대한 좌 영상 및 우 영상, 즉 기본 영상에 결합하여 화질의 열화가 최소화된 3D 영상, 즉 고품질 및 고화질의 3D 영상을 사용자들에게 제공한다.

보다 구체적으로 설명하면, 도 4 내지 도 7에서 설명한 상기 사이드-바이-사이드 방식 또는 탑-다운 방식에 따라 스테레오스코픽 영상 포맷에서 상기 3D 영상 포맷 처리부(810)의 좌 영상(L)과 우 영상(R)의 수평 축소 또는 수직 축소와 반대의 과정으로, 상기 3D 영상 렌더링부(870)는, 도 4 내지 도 7에서 설명한 바와 같이 수평 축소 또는 수직 축소된 좌 영상(L')과 우 영상(R')을, 수평 또는 수직 보간하여 좌 원본 영상 및 우 원본 영상의 크기로 확대한다. 또한, 상기 3D 영상 렌더링부(870)는, 도 4 내지 도 7에서 설명한 바와 같이 수평 축소 또는 수직 축소된 좌 영상 차이(ΔL)와 우 영상 차이(ΔR)를, 수평 또는 수직 보간하여 좌 원본 영상 및 우 원본 영상과 보간된 좌 영상과 및 우 영상 간의 영상 차이를 좌 원본 영상 및 우 원본 영상의 크기로 확대한다. 그리고, 상기 3D 영상 렌더링부(870)는, 상기 좌 원본 영상 및 우 원본 영상의 크기로 확대한 보간된 좌 영상 및 우 영상(보간(L') 및 보간(R'))에, 상기 확대한 보간된 좌 영상 차이 및 우 영상 차이(보간(ΔL) 및 보간(ΔR))를 결합하여 좌 영상(882) 및 우 영상(884)을 출력, 즉 고품질 및 고화질의 3D 영상을 사용자들에게 제공한다.

이렇게 본 발명의 실시 예에 따른 듀얼 스트림 방식의 디지털 방송 시스템은, 상기 송신 장치가 3D 영상의 기준 영상 및 3D 부가 영상을 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷에서 듀얼 스트림 방식으로 3D 영상을 처리하여 송신하며, 또한 상기 수신 장치가 상기 송신 장치에서 송신되는 3D 영상을 듀얼 스트림 방식으로 처리하여 3D 영상의 기준 영상과 3D 부가 영상을 복원함으로써, 고품질 및 고화질의 3D 방송 서비스를 사용자들에게 제공한다. 그러면 여기서, 도 9를 참조하여 본 발명의 실시 예에 따른 통신 시스템에서 디지털 방송 시스템의 데이터 송신에 대해 보다 구체적으로 설명하기로 한다.

도 9는 본 발명의 실시 예에 따른 통신 시스템에서 송신 장치의 동작 과정을 개략적으로 도시한 도면이다.

도 9를 참조하면, 910단계에서 상기 송신 장치는, 사용자들에게 제공하고자 하는 3D 방송 서비스의 3D 영상에 해당하는 3D 영상 데이터를 수신한다. 즉, 상기 송신 장치는, 상기 3D 영상의 기본 영상에 해당하는 기본 영상 데이터와 상기 3D 영상의 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 수신한다.

그런 다음, 920단계에서 상기 송신 장치는, 상기 3D 영상 데이터를 포맷 처리, 즉 상기 3D 영상의 기본 영상과 3D 부가 영상을 전술한 바와 같이 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로 처리한다. 여기서, 상기 기본 영상과 3D 부가 영상의 사이드-바이-사이드 방식 또는 탑-다운 방식의 스테레오스코픽 영상 포맷으로의 처리에 대해서는, 앞서 도 4 내지 도 7을 참조하여 구체적으로 설명하였음으로, 여기서는 그에 관한 구체적인 설명을 생략하기로 한다.

다음으로, 930단계에서 상기 송신 장치는, 상기 스테레오스코픽 영상 포맷으로 처리된 3D 영상 데이터를 인코딩하며, 940단계에서 상기 송신 장치는, 상기 인코딩된 3D 영상 데이터를 다중화한 후 전송망을 통해 송신한다. 여기서, 상기 송신 장치는, 상기 스테레오스코픽 영상 포맷의 기본 영상 및 3D 부가 영상을 듀얼 스트림 방식에 따라 기본 영상 데이터 스트림 및 3D 부가 영상 데이터 스트림으로 인코딩하며, 이렇게 인코딩된 기본 영상 데이터 스트림 및 3D 부가 영상 데이터 스트림을 단일 스트림으로 다중화, 즉 3D 영상 데이터 스트림으로 다중화한다. 그러면 여기서, 도 10을 참조하여 본 발명의 실시 예에 따른 통신 시스템에서 디지털 방송 시스템의 데이터 수신에 대해 보다 구체적으로 설명하기로 한다.

도 10은 본 발명의 실시 예에 따른 통신 시스템에서 수신 장치의 동작 과정을 개략적으로 도시한 도면이다.

도 10을 참조하면, 1010단계에서 상기 수신 장치는, 전송망을 통해 디지털 방송 시스템에서 송신 장치가 송신한 3D 영상 데이터를 수신하며, 상기 수신한 3D 영상 데이터를 기본 영상 데이터와 3D 부가 영상 데이터로 역다중화한다. 여기서, 상기 수신 장치는, 듀얼 스트림 방식에 따라 3D 영상에 해당하는 상기 3D 영상 데이터를, 상기 3D 영상의 기본 영상에 해당하는 상기 기본 영상 데이터와 상기 3D 영상의 3D 부가 영상에 해당하는 상기 3D 부가 영상 데이터로 역다중화한다. 즉, 상기 수신 장치는, 상기 듀얼 스트림 방식에 따라 단일의 3D 영상 데이터 스트림을 기본 영상 데이터 스트림과 3D 부가 영상 데이터 스트림으로 역다중화한다.

다음으로, 1020단계에서 상기 수신 장치는, 상기 역다중화된 3D 영상 데이터, 즉 기본 영상 데이터와 3D 부가 영상 데이터를 디코딩하며, 1030 단계에서 상기 수신 장치는, 상기 디코딩된 3D 영상 데이터를 3D 영상으로 복원, 즉 상기 디코딩된 기준 영상 데이터의 기준 영상 및 상기 디코딩된 3D 부가 영상 데이터의 3D 부가 영상을 렌더링한다. 여기서, 상기 수신 장치는, 전술한 바와 같이 상기 디코딩된 기준 영상 데이터의 기준 영상을 보간하고, 상기 디코딩된 3D 부가 영상 데이터의 3D 부가 영상을 보간하여, 좌 원본 영상 및 우 원본 영상으로 확대한다. 상기 기준 영상 및 3D 부가 영상의 렌더링, 즉 보간에 대해서는 앞서 도 8에서 구체적으로 설명하였음으로 여기서는 그에 관한 구체적인 설명을 생략하기로 한다.

그리고, 1040 단계에서 상기 수신 장치는, 상기 좌 영상 및 우 영상을 제공, 즉 3D 영상을 사용자들에게 제공하여 고품질 및 고화질의 3D 방송 서비스를 제공한다. 여기서, 상기 수신 장치는, 상기 듀얼 스트림 방식을 통해 3D 영상의 기본 영상과 3D 부가 영상을 처리하며, 상기 1030단계에서의 3D 영상의 레더링에 의해 보가 고품질 및 고화질의 3D 방송 서비스를 제공한다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

1. 통신 시스템에서 데이터를 송신하는 장치에 있어서,
   3D 방송 서비스의 3D 영상에서 기본 영상과 3D 부가 영상을 스테레오스코픽(stereoscopic) 영상 포맷으로 처리하는 영상 포맷 처리부;
   상기 스테레오스코픽 영상 포맷으로 처리된 기본 영상에 해당하는 기본 영상 데이터를 인코딩하는 제1인코더;
   상기 스테레오스코픽 영상 포맷으로 처리된 3D 부가 영상에 해당하는 3D 부가 영상 데이터를 인코딩하는 제2인코더; 및
   상기 인코딩된 기본 영상 데이터와 상기 인코딩된 3D 부가 영상 데이터를 단일 스트림의 3D 영상 데이터로 다중화하여 송신하는 다중화부;를 포함하는 것을 특징으로 하는 데이터 송신 장치.
   
2. 제1항에 있어서,
   상기 영상 포맷 처리부는, 상기 기본 영상과 상기 3D 부가 영상을 사이드-바이-사이드(side-by-side) 방식 및 탑-다운(top-down) 방식 중 하나 방식의 스테레오스코픽 영상 포맷으로 처리하는 것을 특징으로 하는 데이터 송신 장치.
   
3. 제2항에 있어서,
   상기 영상 포맷 처리부는, 상기 기본 영상에서 좌 영상 및 우 영상을 수평 방향으로 축소하고, 상기 축소된 좌 영상 및 우 영상을 상기 스테레오스코픽 영상 포맷의 기본 영상으로 출력하는 것을 특징으로 하는 데이터 송신 장치.
   
4. 제3항에 있어서,
   상기 영상 포맷 처리부는, 상기 좌 영상과 우 영상과, 상기 축소된 좌 영상 및 우 영상이 수평 보간된 좌 영상 및 우 영상 간의, 좌 영상 차이 및 우 영상 차이를 수평 방향으로 축소하고, 상기 축소된 좌 영상 차이 및 우 영상 차이를 상기 스테레오스코픽 영상 포맷의 3D 부가 영상으로 출력하는 것을 특징으로 하는 데이터 송신 장치.
   
5. 제4항에 있어서,
   상기 영상 포맷 처리부는, 상기 수평 방향으로의 축소 필터링(decimation filtering)을 통해 상기 영상들을 수평 축소하고, 보간 필터링(interpolation filtering)을 통해 상기 영상들을 수평 보간하는 것을 특징으로 하는 데이터 송신 장치.
   
6. 제4항에 있어서, 상기 영상 포맷 처리부는,
   상기 축소된 좌 영상 및 우 영상의 홀수 번째 또는 짝수 번째 픽셀을 중심으로 서브샘플링(sub-sampling)하여 상기 스테레오스코픽 영상 포맷의 기본 영상으로 출력하고;
   상기 축소된 좌 영상 차이 및 우 영상 차이의 짝수 번째 또는 홀수 번째 픽셀을 중심으로 서브샘플링하여 상기 스테레오스코픽 영상 포맷의 3D 부가 영상으로 출력하는 것을 특징으로 하는 데이터 송신 장치.
   
7. 제2항에 있어서,
   상기 영상 포맷 처리부는, 상기 기본 영상에서 좌 영상 및 우 영상을 수직 방향으로 축소하고, 상기 축소된 좌 영상 및 우 영상을 상기 스테레오스코픽 영상 포맷의 기본 영상으로 출력하는 것을 특징으로 하는 데이터 송신 장치.
   
8. 제7항에 있어서,
   상기 영상 포맷 처리부는, 상기 좌 영상과 우 영상과, 상기 축소된 좌 영상 및 우 영상이 수직 보간된 좌 영상 및 우 영상 간의, 좌 영상 차이 및 우 영상 차이를 수직 방향으로 축소하고, 상기 축소된 좌 영상 차이 및 우 영상 차이를 상기 스테레오스코픽 영상 포맷의 3D 부가 영상으로 출력하는 것을 특징으로 하는 데이터 송신 장치.
   
9. 제8항에 있어서,
   상기 영상 포맷 처리부는, 상기 수직 방향으로의 축소 필터링(decimation filtering)을 통해 상기 영상들을 수직 축소하고, 보간 필터링(interpolation filtering)을 통해 상기 영상들을 수직 보간하는 것을 특징으로 하는 데이터 송신 장치.
   
10. 제8항에 있어서, 상기 영상 포맷 처리부는,
    상기 축소된 좌 영상 및 우 영상의 홀수 번째 또는 짝수 번째 픽셀을 중심으로 서브샘플링(sub-sampling)하여 상기 스테레오스코픽 영상 포맷의 기본 영상으로 출력하고;
    상기 축소된 좌 영상 차이 및 우 영상 차이의 짝수 번째 또는 홀수 번째 픽셀을 중심으로 서브샘플링하여 상기 스테레오스코픽 영상 포맷의 3D 부가 영상으로 출력하는 것을 특징으로 하는 데이터 송신 장치.
    
11. 제2항에 있어서,
    상기 3D 부가 영상은, 상기 기본 영상에 대응하는 우 영상, 깊이(depth) 영상, 및 변이(disparity) 영상 중에서 하나의 영상인 것을 특징으로 하는 데이터 송신 장치.
    
12. 통신 시스템에서 데이터를 수신하는 장치에 있어서,
    3D 방송 서비스의 3D 영상에 해당하는 단일 스트림의 3D 영상 데이터를 수신하여, 상기 3D 영상의 기본 영상에 해당하는 기본 영상 데이터와 상기 3D 영상의 3D 부가 영상에 해당하는 3D 부가 영상 데이터로 역다중화하는 역다중화부;
    상기 기본 영상 데이터를 디코딩하는 제1디코딩부;
    상기 부가 영상 데이터를 디코딩하는 제2디코딩부; 및
    상기 디코딩된 기본 영상 데이터에서 스테레오스코픽(stereoscopic) 영상 포맷의 기본 영상을 상기 3D 영상의 기본 영상으로 복원하고, 상기 디코딩 기본 영상 데이터에서 스테레오스코픽 영상 포맷의 3D 부가 영상을 상기 3D 영상의 3D 부가 영상으로 복원하는 영상 렌더링부;를 포함하는 것을 특징으로 하는 데이터 수신 장치.
    
13. 제12항에 있어서,
    상기 영상 포맷의 기본 영상 및 3D 부가 영상은, 상기 3D 영상의 기본 영상 및 3D 부가 영상이 사이드-바이-사이드(side-by-side) 방식 및 탑-다운(top-down) 방식 중 하나 방식의 스테레오스코픽 영상 포맷에 따라 축소된 영상들인 것을 특징으로 하는 데이터 수신 장치.
    
14. 제13항에 있어서, 상기 영상 렌더링부는,
    상기 3D 영상의 기본 영상에서 축소된 좌 영상 및 우 영상을 수평 보간하여 상기 3D 영상의 기본 영상을 복원하고;
    상기 3D 영상의 3D 부가 영상에서 축소된 좌 영상 차이 및 우 영상 차이를 수평 보간하여 상기 3D 영상의 3D 부가 영상으로 복원하며;
    상기 복원한 기본 영상에 상기 복원한 3D 부가 영상을 결합하여 상기 3D 방송 서비스의 3D 영상을 제공하는 것을 특징으로 하는 데이터 수신 장치.
    
15. 제13항에 있어서, 상기 영상 렌더링부는,
    상기 3D 영상의 기본 영상에서 축소된 좌 영상 및 우 영상을 수직 보간하여 상기 3D 영상의 기본 영상을 복원하고;
    상기 3D 영상의 3D 부가 영상에서 축소된 좌 영상 차이 및 우 영상 차이를 수직 보간하여 상기 3D 영상의 3D 부가 영상으로 복원하며;
    상기 복원한 기본 영상에 상기 복원한 3D 부가 영상을 결합하여 상기 3D 방송 서비스의 3D 영상을 제공하는 것을 특징으로 하는 데이터 수신 장치.
    
16. 제13항에 있어서,
    상기 3D 부가 영상은, 상기 기본 영상에 대응하는 우 영상, 깊이(depth) 영상, 및 변이(disparity) 영상 중에서 하나의 영상인 것을 특징으로 하는 데이터 수신 장치.
    
17. 통신 시스템에서 데이터를 송신하는 방법에 있어서,
    3D 방송 서비스의 3D 영상에서 기본 영상과 3D 부가 영상을 사이드-바이-사이드(side-by-side) 방식 및 탑-다운(top-down) 방식 중 하나 방식의 스테레오스코픽(stereoscopic) 영상 포맷으로 처리하는 단계;
    상기 스테레오스코픽 영상 포맷으로 처리된 기본 영상 및 3D 부가 영상을 인코딩하는 단계; 및
    상기 인코딩된 기본 영상 스트림 및 3D 부가 영상 스트림을 듀얼 스트림(dual stream) 방식에 따라 단일 스트림의 3D 영상 스트림으로 다중화하여 송신하는 단계;를 포함하는 것을 특징으로 하는 데이터 송신 방법.
    
18. 제17항에 있어서, 상기 스테레오스코픽(stereoscopic) 영상 포맷으로 처리하는 단계는,
    상기 기본 영상에서 좌 영상 및 우 영상을 수평 또는 수직 방향으로 축소하고;
    상기 좌 영상과 우 영상과, 상기 축소된 좌 영상 및 우 영상이 수평 또는 수직 보간된 좌 영상 및 우 영상 간의, 좌 영상 차이 및 우 영상 차이를 수평 또는 수직 방향으로 축소하는 것을 특징으로 하는 데이터 송신 방법.
    
19. 통신 시스템에서 데이터를 수신하는 방법에 있어서,
    3D 방송 서비스에 해당하는 단일 스트림의 3D 영상 데이터를 수신하여, 상기 3D 영상 데이터에서 듀얼 스트림(dual stream) 방식에 따라 3D 영상의 기본 영상과 상기 3D 영상의 3D 부가 영상으로 역다중화하는 단계;
    상기 역다중화된 기본 영상과 3D 부가 영상을 디코딩하는 단계; 및
    상기 디코딩된 기본 영상과 3D 부가 영상을, 사이드-바이-사이드(side-by-side) 방식 및 탑-다운(top-down) 방식 중 하나 방식의 스테레오스코픽(stereoscopic) 영상 포맷에 따라 복원하여 상기 3D 방송 서비스의 3D 영상을 제공하는 단계;를 포함하는 것을 특징으로 하는 데이터 수신 방법.
    
20. 제19항에 있어서, 상기 3D 영상을 제공하는 단계는,
    상기 3D 영상의 기본 영상에서 상기 스테레오스코픽 영상 포맷에 따라, 축소된 좌 영상 및 우 영상을 수평 또는 수직 보간하여 상기 3D 영상의 기본 영상을 복원하고;
    상기 3D 영상의 3D 부가 영상에서 상기 스테레오스코픽 영상 포맷에 따라, 축소된 좌 영상 차이 및 우 영상 차이를 수평 보간하여 상기 3D 영상의 3D 부가 영상으로 복원하며;
    상기 복원한 기본 영상에 상기 복원한 3D 부가 영상을 결합하여 상기 3D 방송 서비스의 3D 영상을 제공하는 것을 특징으로 하는 데이터 수신 방법.
    

Images