KR100970649B1 - 수신 시스템 및 데이터 처리 방법 - Google Patents

수신 시스템 및 데이터 처리 방법 Download PDF

Info

Publication number
KR100970649B1
KR100970649B1 KR1020100020850A KR20100020850A KR100970649B1 KR 100970649 B1 KR100970649 B1 KR 100970649B1 KR 1020100020850 A KR1020100020850 A KR 1020100020850A KR 20100020850 A KR20100020850 A KR 20100020850A KR 100970649 B1 KR100970649 B1 KR 100970649B1
Authority
KR
South Korea
Prior art keywords
image
content
view
information
descriptor
Prior art date
Application number
KR1020100020850A
Other languages
English (en)
Other versions
KR20100040708A (ko
Inventor
이철수
최승종
임정은
임진석
길원배
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20100040708A publication Critical patent/KR20100040708A/ko
Application granted granted Critical
Publication of KR100970649B1 publication Critical patent/KR100970649B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

3D 영상을 수신하여 처리할 수 있는 수신 시스템 및 데이터 처리 방법이 개시된다. 상기 수신 시스템은 수신부, 시스템 정보 처리부, 복호부, 및 디스플레이부를 포함할 수 있다. 상기 수신부는 3D 콘텐츠와 상기 3D 콘텐츠에 관련된 시스템 정보를 포함하는 방송 신호를 수신한다. 상기 시스템 정보 처리부는 상기 수신부로 수신되는 방송 신호가 3D 콘텐츠임을 인식할 수 있는 식별 정보를 상기 시스템 정보로부터 추출한다. 상기 복호부는 상기 시스템 정보 처리부에서 식별 정보가 추출되면, 상기 추출된 식별 정보에 포함된 전송 포맷 정보를 참조하여 상기 수신된 3D 콘텐츠를 복호한다. 상기 디스플레이부는 상기 복호부에서 복호된 3D 콘텐츠를 디스플레이 장치의 디스플레이 방식에 따라 3D 영상으로 디스플레이한다.

Description

수신 시스템 및 데이터 처리 방법{Receiving system and method of processing data}
본 발명은 영상 신호를 처리하기 위한 장치 및 방법에 관한 것으로서, 보다 상세하게는 3차원 영상 신호를 수신하여 처리하기 위한 수신 시스템 및 데이터 처리 방법에 관한 것이다.
일반적으로 3차원(3 dimensions ; 3D) 영상(또는 입체 영상)은 두 눈의 스테레오(stereo) 시각 원리에 의한다. 두 눈의 시차 다시 말해 약 65mm 정도 떨어져 존재하는 두 눈 사이의 간격에 의한 양안시차(binocular parallax)는 입체감을 느끼게 하는 중요한 요인으로 좌우 눈이 각각 연관된 평면 영상을 볼 경우 뇌는 이들 서로 다른 두 영상을 융합하여 3D 영상 본래의 깊이감과 실재감을 재생할 수 있다.
이러한 3D 영상 표시는 크게 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식으로 구분된다. 예를 들어, 스테레오스코픽 기술을 적용한 3D 영상 디스플레이 장치는 2D 영상에 깊이(depth) 정보를 부가하고, 이 깊이 정보를 이용하여 관찰자가 3D의 생동감과 현실감을 느낄 수 있게 하는 화상 표시 장치이다.
그리고 3D 영상을 보여주는 방식에는 크게 안경을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다.
본 발명의 목적은 수신 시스템에서 3D 영상의 수신을 인식할 수 있도록 하는 수신 시스템 및 데이터 처리 방법을 제공함에 있다.
본 발명의 다른 목적은 3D 영상의 처리 기능이 없는 수신 시스템에서는 3D 영상의 수신을 무시할 수 있도록 하여 기존 수신 시스템과 호환성을 갖도록 하는 수신 시스템 및 데이터 처리 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 수신 시스템은 수신부, 시스템 정보 처리부, 복호부, 및 디스플레이부를 포함할 수 있다. 상기 수신부는 3D 콘텐츠와 상기 3D 콘텐츠에 관련된 시스템 정보를 포함하는 방송 신호를 수신한다. 상기 시스템 정보 처리부는 상기 수신부로 수신되는 방송 신호가 3D 콘텐츠임을 인식할 수 있는 식별 정보를 상기 시스템 정보로부터 추출한다. 상기 복호부는 상기 시스템 정보 처리부에서 식별 정보가 추출되면, 상기 추출된 식별 정보에 포함된 전송 포맷 정보를 참조하여 상기 수신된 3D 콘텐츠를 복호한다. 상기 디스플레이부는 상기 복호부에서 복호된 3D 콘텐츠를 디스플레이 장치의 디스플레이 방식에 따라 3D 영상으로 디스플레이한다.
상기 식별 정보는 상기 시스템 정보 중 프로그램 맵 테이블(PMT)에 디스크립터 형태로 포함되어 수신되며, 상기 식별 정보는 3D 콘텐츠의 전송 포맷 정보를 포함할 수 있다.
상기 식별 정보는 상기 시스템 정보 중 가상 채널 테이블(VCT)에 디스크립터 형태로 포함되어 수신되며, 상기 식별 정보는 3D 콘텐츠의 전송 포맷 정보를 포함할 수 있다.
상기 3D 콘텐츠는 기본 계층의 영상과 적어도 하나의 상위 계층의 영상을 포함하며, 각 계층의 영상은 서로 다른 패킷 식별자(PID)가 할당되어 수신된다.
상기 복호부는 상기 기본 계층의 영상은 기본 계층의 영상을 참조하여 복호하고, 상기 상위 계층의 영상은 기본 계층의 영상과 적어도 하나의 상위 계층의 영상을 참조하여 복호할 수 있다.
본 발명의 일 실시예에 따른 수신 시스템의 데이터 처리 방법은, 3D 콘텐츠와 상기 3D 콘텐츠에 관련된 시스템 정보를 포함하는 방송 신호를 수신하는 단계, 상기 수신되는 방송 신호가 3D 콘텐츠임을 인식할 수 있는 식별 정보를 상기 시스템 정보로부터 추출하는 단계, 상기 시스템 정보 처리 단계에서 식별 정보가 추출되면, 상기 추출된 식별 정보에 포함된 전송 포맷 정보를 참조하여 상기 수신된 3D 콘텐츠를 복호하는 단계, 및 상기 복호된 3D 콘텐츠를 디스플레이 장치의 디스플레이 방식에 따라 3D 영상으로 디스플레이하는 단계를 포함할 수 있다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명은 3D 콘텐츠를 기본 계층의 영상과 적어도 하나 이상의 상위 계층의 영상으로 구분하여 전송할 때, 각 계층의 영상에 대해 서로 다른 패킷 식별자(PID) 를 부여하여 전송함으로써, 수신 시스템에서 상기 PID를 기초로 정확하게 기본 계층의 영상과 상위 계층의 영상들을 구분할 수 있게 된다. 또한 3D 영상의 처리 기능이 없는 수신 시스템에서는 상위 계층에 할당된 PID는 인식하지 못하므로, 이로 인해 기존의 수신 시스템에서는 3D 영상의 수신을 무시할 수 있게 됨으로써, 기존 수신 시스템과 호환성을 갖는 효과가 있다.
또한 시스템 정보에 포함된 식별 정보를 이용하여 3D 콘텐츠의 수신을 식별하고 복호에 필요한 부가 정보를 획득할 수 있도록 함으로써, 3D 콘텐츠의 정확한 복호 및 디스플레이가 이루어지는 효과가 있다.
도 1은 본 발명에 따른 3D 영상의 전송 포맷들 중 싱글 비디오 스트림 포맷의 예들을 보인 도면
도 2는 본 발명에 따른 3D 영상의 전송 포맷들 중 멀티 비디오 스트림 포맷의 예들을 보인 도면
도 3은 본 발명에 따른 3D 영상의 수신을 인식할 수 있는 식별 정보가 디스크립터 형태로 포함되는 PMT 신택스 구조에 대한 일 실시예를 보인 도면
도 4는 본 발명에 따른 영상 포맷 디스크립터의 신택스 구조에 대한 일 실시예를 보인 도면
도 5는 본 발명에 따른 PMT에 포함되어 수신되는 시점 디스크립터의 신택스 구조에 대한 일 실시예를 보인 도면
도 6은 본 발명에 따른 시스템 정보 중 PMT를 이용하여 3D 영상을 처리하기 위한 수신 시스템의 동작 흐름도
도 7은 본 발명에 따른 3D 영상의 수신을 인식할 수 있는 식별 정보가 디스크립터 형태로 포함되는 VCT 신택스 구조에 대한 일 실시예를 보인 도면
도 8은 본 발명에 따른 VCT에 포함되어 수신되는 시점 디스크립터의 신택스 구조에 대한 일 실시예를 보인 도면
도 9는 본 발명에 따른 시스템 정보 중 VCT를 이용하여 3D 영상을 처리하기 위한 수신 시스템의 동작 흐름도
도 10은 본 발명의 일 실시예에 따른 3D 영상 시스템의 개략도
도 11은 본 발명에 따른 디코딩 장치와 디스플레이 장치가 분리형으로 구성된 수신 시스템의 일 실시예를 보인 구성 블록도
도 12는 본 발명에 따른 디코딩 장치와 디스플레이 장치가 일체형으로 구성된 수신 시스템의 일 실시예를 보인 구성 블록도
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
본 발명은 3D 영상을 처리할 수 있는 수신 시스템에서 3D 영상의 수신을 인식할 수 있도록 함으로써, 상기 수신 시스템에서 3D 영상을 수신하여 처리할 수 있도록 하는데 있다.
본 발명은 3D 영상을 처리할 수 없는 수신 시스템에서는 3D 영상의 수신을 무시할 수 있도록 함으로써, 수신 시스템의 오동작을 방지하는데 있다.
상기 3D 영상으로는 두 개의 시점을 고려하는 스테레오(또는 스테레오스코픽) 영상, 세 시점 이상을 고려하는 다시점 영상 등이 있다.
상기 스테레오 영상은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 1쌍의 좌우 영상을 말한다. 상기 다시점 영상은 일정한 거리나 각도를 갖는 3개 이상의 카메라로 동일한 피사체를 촬영하여 획득한 3개 이상의 영상을 말한다.
상기 스테레오 영상의 전송 포맷으로는 싱글 비디오 스트림 포맷과 멀티 비디오 스트림 포맷이 있다. 상기 싱글 비디오 스트림 포맷으로는 도 1의 (a)의 사이드 바이 사이드(side by side), 도 1의 (b)의 톱/다운(top/down), 도 1의 (c)의 인터레이스드(interlaced), 도 1의 (d)의 프레임 시퀀셜(frame sequential), 도 1의 (e)의 체커 보드(checker board), 도 1의 (f)의 애너그리프(anaglyph) 등이 있다. 상기 멀티 비디오 스트림 포맷으로는 도 2의 (a)의 풀 좌/우(Full left/right), 도 2의 (b)의 풀 좌/하프 우(Full left/Half right), 도 2의 (c)의 2D 비디오/깊이(2D video/depth) 등이 있다. 예를 들어, 상기 도 1의 (a)의 사이드 바이 사이드 포맷은 좌 영상과 우 영상을 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상을 좌측에, 샘플링한 우 영상을 우측에 위치시켜 하나의 스테레오 영상을 만든 경우이다. 도 1의 (b)의 탑/다운 포맷은 좌 영상과 우 영상을 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상을 상부에, 샘플링한 우 영상을 하부에 위치시켜 하나의 스테레오 영상을 만든 경우이다. 도 1의 (c)의 인터레이스드 포맷은 좌 영상과 우 영상을 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상의 화소와 우 영상의 화소가 라인마다 교대로 위치하도록 하여 스테레오 영상을 만들거나, 좌 영상과 우 영상을 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상의 화소와 우 영상의 화소가 한 화소씩 교대로 위치하도록 하여 스테레오 영상을 만든 경우이다. 도 1의 (e)의 체커 보드 포맷은 좌 영상과 우 영상을 각각 수직과 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상의 화소와 우 영상의 화소가 한 화소씩 교대로 위치하도록 하여 스테레오 영상을 만든 경우이다.
또한 도 2의 (a)의 풀 좌/우 포맷은 좌 영상과 우 영상을 순차적으로 각각 전송하는 경우이고, 도 2의 (b)의 풀 좌/하프 우 포맷은 좌 영상은 그대로, 우 영상은 수직 또는 수평 방향으로 1/2 서브 샘플링하여 전송하는 경우이다. 도 2의 (c)의 2D 비디오/깊이 포맷은 좌 영상과 우 영상 중 하나의 영상과 다른 하나의 영상을 만들어내기 위한 깊이 정보를 함께 전송하는 경우이다.
이때 상기 스테레오 영상 또는 다시점 영상은 MPEG 또는 여러 가지 방법으로 압축 부호화되어 수신 시스템으로 전송된다.
예를 들어, 상기 사이드 바이 사이드 포맷, 톱/다운 포맷, 인터레이스드 포맷, 체커 보드 등과 같은 스테레오 영상은 H.264/AVC 방식으로 압축 부호화하여 전송할 수 있다. 이때 수신 시스템에서 H.264/AVC 코딩 방식의 역으로 상기 스테레오 영상에 대해 복호를 수행하여 3D 영상을 얻을 수 있다.
또한 상기 풀 좌/하프 우 포맷의 좌 영상 또는 다시점 영상 중 하나의 영상은 기본 계층(based layer) 영상으로, 나머지 영상은 상위 계층(enhanced layer) 영상으로 할당한 후, 기본 계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 상위 계층의 영상은 기본 계층과 상위 계층의 영상 간의 상관 정보에 대해서만 부호화하여 전송할 수 있다. 상기 기본 계층의 영상에 대한 압축 부호화 방식의 예로는 JPEG, MPEG-1, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 그리고 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/MVC (Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.
이때, 스테레오 영상은 기본 계층의 영상과 하나의 상위 계층 영상으로 할당되나, 다시점 영상은 하나의 기본 계층의 영상과 복수개의 상위 계층 영상으로 할당된다. 상기 다시점 영상을 기본 계층의 영상과 하나 이상의 상위 계층의 영상으로 구분하는 기준은 카메라의 위치에 따라 결정될 수도 있고, 카메라의 배열 형태에 따라 결정될 수도 있다. 또는 특별한 기준을 따르지 않고 임의로 결정될 수도 있다. 여기서 기본 계층의 영상을 base view라 하기도 하고, 상위 계층의 영상을 non-base view라 하기도 한다.
즉, 상기 기본 계층의 영상은 압축 부호화에 참조 픽쳐가 필요할 때, 기본 계층의 픽쳐들 중 적어도 하나를 참조하여 압축 부호화를 수행한다. 예를 들어, 기본 계층의 B 픽쳐의 경우 기본 계층의 I,P,B 픽쳐 중 적어도 하나를 참조하여 압축 부호화를 수행한다. 상위 계층의 영상은 압축 부호화에 참조 픽쳐가 필요할 때, 기본 계층의 픽쳐들 중 적어도 하나의 픽쳐를 참조하여 압축 부호화를 수행한다. 이때 해당 상위 계층 또는 다른 상위 계층의 픽쳐를 더 참조하여 압축 부호화를 수행할 수도 있다. 예를 들어, 다시점 영상이 기본 계층의 영상과 제1,제2 상위 계층의 영상으로 구분되었을 때, 기본 계층과 제1, 제2 상위 계층은 각각 서로 다른 시점이 된다.
상기와 같이 기본 계층의 영상이 H.264/AVC 방식으로 압축 부호화되고, 상위 계층의 영상이 H.264/MVC 방식으로 압축 부호화되어 수신되면, 수신 시스템에서는 기본 계층의 영상에 대해 기본 계층의 픽쳐들만으로 복호를 수행할 수 있다. 이에 반해, 상위 계층의 영상은 상위 계층의 픽쳐들만으로는 복호를 수행할 수 없다. 즉, 상위 계층은 영상은 기본 계층의 영상에 대한 정보가 없이는 정상적으로 복호를 수행할 수 없다.
이때 수신 시스템에서 기본 계층의 영상만을 복호하면 보통의 2D 영상을 얻을 수 있고, 기본 계층의 영상과 적어도 하나의 상위 계층의 영상을 모두 복호하면 3D 영상을 얻을 수 있다.
따라서 수신 시스템이 3D 영상을 처리할 수 있는 시스템이라면 3D 영상의 수신을 인식할 수 있어야 한다. 또한 3D 영상은 전송 포맷이 다양하므로, 수신 시스템에서 원래 영상으로 복호하기 위해서는 수신되는 3D 영상의 전송 포맷도 알아야 한다. 그리고 3D 영상을 처리할 수 없는 수신 시스템에서는 수신되는 3D 영상을 무시할 수 있어야 한다.
이를 위해 본 발명은 3D 영상을 처리할 수 있는 수신 시스템에서 3D 영상의 수신을 인식할 수 있도록 함으로써, 상기 수신 시스템에서 3D 영상을 수신하여 처리할 수 있도록 하는데 있다.
본 발명은 3D 영상을 처리할 수 없는 수신 시스템에서는 3D 영상의 수신을 무시할 수 있도록 함으로써, 수신 시스템의 오동작을 방지하는데 있다.
본 발명은 3D 영상을 처리할 수 있는 수신 시스템에서 3D 영상의 수신을 인식할 수 있도록 하기 위한 식별 정보가 시스템 정보에 포함되어 수신되는 것을 일 실시예로 한다. 상기 시스템 정보는 경우에 따라서는 서비스 정보라고도 불리운다. 상기 시스템 정보는 채널 정보, 프로그램 정보, 이벤트 정보 등을 포함할 수 있다.
본 발명의 실시예에서는 상기 시스템 정보로서 PSI/PSIP(Program Specific Information/Program and System Information Protocol)을 적용하나 본 발명은 이에 한정하는 것은 아니다. 즉 시스템 정보를 테이블 포맷으로 전송하는 프로토콜이라면 그 명칭에 상관없이 본 발명에 적용 가능할 것이다.
상기 PSI는 채널 및 프로그램을 분류하기 위해 정의된 MPEG-2의 시스템 규격이고, 상기 PSIP는 채널 및 프로그램의 분류가 가능한 ATSC(Advanced Television Systems Committee) 규격이다.
상기 PSI는 일 실시예로서, PAT(Program Association Table), CAT(Conditional Access Table), PMT(Program Map Table), 및 NIT(Network Information Table)를 포함할 수 있다.
상기 PAT는 PID가 '0'인 패킷에 의해 전송되는 특수 정보로서, 각 프로그램마다 해당 PMT의 PID 정보와 NIT의 PID 정보를 전송한다. 상기 CAT는 송신측에서 사용하고 있는 유료 방송 시스템에 대한 정보를 전송한다. 상기 PMT는 프로그램 식별 번호와 프로그램을 구성하는 비디오, 오디오 등의 개별 비트 스트림이 전송되는 트랜스포트 스트림 패킷의 PID 정보, 및 PCR이 전달되는 PID 정보를 전송한다. 상기 NIT는 실제 전송망의 정보를 전송한다. 예를 들어, PID가 0인 PAT 테이블을 파싱하여 프로그램 번호(Program number)와 PMT의 PID를 알아낸다. 그리고 상기 PAT로부터 얻어낸 PMT를 파싱하면 프로그램을 구성하는 구성 요소들간의 상관 관계를 알 수 있다.
상기 PISP은 일 실시예로서, VCT(Virtual Channel Table), STT(System Time Table), RRT(Rating Region Table), ETT(Extended Text Table), DCCT(Direct Channel Change Table), DCCSCT(Direct Channel Change Selection Code Table), EIT(Event Information Table), 및 MGT(Master Guide Table)를 포함할 수 있다.
상기 VCT는 가상 채널에 대한 정보 예를 들어, 채널 선택을 위한 채널 정보와 오디오 및/또는 비디오의 수신을 위한 패킷 식별자(PID) 등의 정보를 전송한다. 즉, 상기 VCT를 파싱하면 채널 이름, 채널 번호 등과 함께 채널 내에 실려오는 방송 프로그램의 오디오와 비디오의 PID를 알 수 있다. 상기 STT는 현재의 날짜와 시간 정보를 전송하고, 상기 RRT는 프로그램 등급을 위한 지역 및 심의 기관 등에 대한 정보를 전송한다. 상기 ETT는 채널 및 방송 프로그램에 대한 부가 설명을 전송하고, 상기 EIT는 가상 채널의 이벤트에 대한 정보(예를 들어, 제목, 시작 시간 등등)를 전송한다. 상기 DCCT/DCCSCT는 자동 채널 변경과 관련된 정보를 전송하고, 상기 MGT는 상기 PSIP 내 각 테이블들의 버전 및 PID 정보를 전송한다.
본 발명에서 3D 영상의 수신을 인식하기 위한 식별 정보는 하나 이상의 디스크립터 형태나 필드 형태로 상기 시스템 정보에 포함되어 수신되는 것을 일 실시예로 한다.
상기 식별 정보는 상기 시스템 정보 중 PMT에 디스크립터 형태로 포함되어 수신되는 것을 일 실시예로 한다.
상기 식별 정보는 상기 시스템 정보 중 VCT에 디스크립터 형태로 포함되어 수신되는 것을 다른 실시예로 한다.
상기 식별 정보는 3D 영상에 관련된 적어도 하나 이상의 정보를 포함할 수 있다. 상기 식별 정보는 3D 영상 포맷 타입 정보, 시점(view) 식별 정보, 디코딩에 참조되는 시점의 개수, 시점간의 샘플링 시간 차 정보 등이 포함될 수 있다.
도 3은 본 발명에 따른 3D 영상의 수신을 인식할 수 있는 식별 정보가 디스크립터 형태로 포함되는 PMT 신택스 구조에 대한 일 실시예를 보이고 있다.
도 3에서 table_id 필드는 테이블 식별자로서, PMT를 식별하는 식별자가 설정될 수 있다.
section_syntax_indicator 필드는 PMT의 섹션 형식을 정의하는 지시자이다.
section_length 필드는 PMT의 섹션 길이를 나타낸다.
program_number 필드는 PAT와 일치하는 정보로서 프로그램의 번호가 표시된다.
version_number 필드는 PMT의 버전 번호를 나타낸다.
current_next_indicator 필드는 현재 테이블 섹션이 적용가능한지 여부를 나타내는 인식자이다.
section_number 필드는 PMT가 하나 이상의 섹션으로 구분되어 전송될 경우, 현재 PMT 섹션의 섹션 번호를 나타낸다.
last_section_number 필드는 PMT의 마지막 섹션 번호를 나타낸다.
PCR_PID 필드는 현재 프로그램의 PCR(program clock reference)를 전달하는 패킷의 PID를 표시한다.
program_info_length 필드는 program_info_length 필드의 바로 뒤에 나오는 디스크립터(descriptor) 길이 정보를 바이트 수로 나타낸다. 즉, 첫 번째 루프에 포함되는 디스크립터들의 길이를 나타낸다.
stream_type 필드는 다음에 오는 elementary_PID 필드에서 표시된 PID 값을 갖는 패킷에 들어있는 요소 스트림의 종류 및 부호화 정보를 표시한다.
elementary_PID 필드는 상기 요소 스트림의 식별자 즉, 해당 요소 스트림이 포함되는 패킷의 PID 값을 나타낸다.
ES_Info_length 필드는 ES_Info_length 필드의 바로 뒤에 있는 디스크립터(descriptor) 길이 정보를 바이트 수로 나타낸다. 즉, 두 번째 루프에 포함되는 디스크립터들의 길이를 나타낸다.
상기 PMT의 첫 번째 루프의 descriptor() 영역에는 프로그램 레벨의 디스크립터들이 포함되고, 두 번째 루프의 descriptor() 영역에는 스트림 레벨의 디스크립터들이 포함된다. 즉, 상기 첫 번째 루프에 포함되는 디스크립터는 프로그램 각각에 개별적으로 적용되는 디스크립터이고, 상기 두 번째 루프에 포함되는 디스크립터는 각각의 ES에 개별적으로 적용되는 디스크립터이다.
본 발명은 상기 PMT의 program_number 필드 값에 해당하는 프로그램이 3D 콘텐츠이면 상기 PMT의 첫 번째 루프의 descriptor() 영역에 3D 영상이 수신되고 있음을 확인할 수 있는 식별 정보를 디스크립터 형태로 포함하는 것을 일 실시예로 한다. 본 발명은 이 디스크립터를 영상 포맷 디스크립터 ImageFormat_descriptor()이라 하기로 한다.
즉, 수신 시스템에서는 상기 PMT에 영상 포맷 디스크립터가 포함되어 수신되면 상기 PMT의 프로그램 정보에 해당하는 프로그램이 3D 콘텐츠라고 판단한다.
도 4는 본 발명에 따른 영상 포맷 디스크립터 ImageFormat_descriptor()의 신택스 구조에 대한 일 실시예이다.
descriptor_tag 필드는 해당 디스크립터가 ImageFormat_descriptor()임을 지시한다.
descriptor_length 필드는 본 필드 이후부터 본 디스크립터 끝까지의 바이트 크기(length)를 나타낸다.
3D_Image_format_type 필드는 해당 3D 콘텐츠가 어떤 전송 포맷으로 수신되는지를 표시한다.
상기 3D_Image_format_type 필드 값을 파싱하면, 해당 3D 콘텐츠가 사이드 바이 사이드(side by side), 톱/다운(top/down), 인터레이스드(interlaced), 프레임 시퀄셜(frame sequential), 체커 보드(checker board), 애너그리프(anaglyph), 풀 좌/우(Full left/right), 풀 좌/하프 우(Full left/Half right), 2D 비디오/깊이(2D video/depth) 중 어떤 전송 포맷으로 수신되는지를 알 수 있다.
예를 들어, 수신 시스템에서는 상기 PMT에 영상 포맷 디스크립터가 포함되어 수신되면 상기 PMT의 프로그램 정보에 해당하는 프로그램이 3D 콘텐츠라고 판단한다. 그리고 상기 영상 포맷 디스크립터의 3D_Image_format_type 필드 값이 00이라면 해당 3D 콘텐츠는 사이드 바이 사이드 포맷으로 수신된다고 판단할 수 있다.
즉, 수신 시스템이 상기 영상 포맷 디스크립터를 인식하고, 상기 영상 포맷 디스크립터 내 3D_Image_format_type 필드 값이 지시하는 전송 포맷을 지원하는 경우, 해당 3D 콘텐츠를 복호할 수 있게 된다. 한편, 수신 시스템이 3D 영상을 처리하지 못하는 기존 수신 시스템이라면, 상기 영상 포맷 디스크립터를 인식할 수 없기 때문에 2D 영상에 대해서만 복호할 수 있게 된다. 예를 들어, 수신되는 PMT에 영상 포맷 디스크립터가 포함되어 있지 않으면, 해당 ES는 기존의 2D 콘텐츠를 복호하는 방법과 동일한 방법으로 복호할 수 있다.
그리고 본 발명은 3D 영상이 기본 계층의 영상과 적어도 하나의 상위 계층의 영상(즉, non-base view)으로 구분되어 전송된다고 가정하면, 각 계층별로 각기 다른 PID(Packet Identification)를 할당하여 각각의 ES(elementary stream)를 구성하여 전송하는 것을 일 실시예로 한다.
예를 들면, 3D 영상이 기본 계층과 제1,제2 상위 계층으로 구분된다고 가정할 때, 기본 계층의 ES를 포함하는 스트림 패킷의 헤더에 삽입되는 PID 값, 제1 상위 계층의 ES를 포함하는 스트림 패킷의 헤더에 삽입되는 PID 값, 제2 상위 계층의 ES를 포함하는 스트림 패킷의 헤더에 포함되는 PID 값이 서로 다르다. 즉, 각 시점별로 서로 다른 PID를 할당한다. 본 발명에서 스트림 패킷은 헤더와 페이로드로 구성되며, 이때 헤더는 4바이트를, 페이로드는 184 바이트를 할당하는 것을 일 실시예로 한다. 상기 헤더 및 페이로드에 할당되는 수치는 시스템 설계자에 의해 달라질 수 있으므로 본 발명은 상기 수치로 제한되지 않을 것이다.
또한 기본 계층(즉, base view)의 영상이 H.264/AVC로 압축 부호화될 경우, 기본 계층의 ES에 대응하는 stream_type 필드 값에 해당 ES가 H.264/AVC로 압축 부호화되었음을 표시하고, 상위 계층(즉, non-base view)의 영상이 H.264/MVC로 압축 부호화될 경우, 상위 계층의 ES에 대응하는 stream_type 필드 값에 해당 ES가 H.264/MVC로 압축 부호화되었음을 표시하는 것을 일 실시예로 한다.
본 발명에서는 기본 계층의 ES에 대응하는 stream_type 필드 값은 0xB1을 할당하고, 상위 계층의 ES에 대응하는 stream_type 필드 값은 상기 0xB1이 아닌 다른 값 예를 들어, 0xB2를 할당하는 것을 일 실시예로 한다.
이 경우 수신 시스템에서는 상기 stream_type 필드를 파싱함에 의해 해당 ES의 부호화 정보를 획득할 수 있으며, 이 정보를 참조하여 해당 ES에 대한 복호를 수행할 수 있다.
또한 본 발명은 3D 영상이 기본 계층과 상위 계층의 영상으로 구분되고, 상위 계층의 영상이 H.264/MVC 방식으로 부호화된 경우, 상기 상위 계층의 영상을 복호하는데 필요한 시점 정보가 상기 PMT의 두 번째 루프에 필드 형태 또는 디스크립터 형태로 포함되어 수신되는 것을 일 실시예로 한다.
상기 시점 정보는 각 시점을 구분할 수 있는 식별 정보, 이 시점에 해당하는 ES를 복호하는데 필요한 참조 시점 식별 정보 등을 포함할 수 있다.
본 발명은 상기 시점 정보가 상기 PMT의 두 번째 루프에 디스크립터 형태로 포함되어 수신되는 것을 일 실시예로 한다. 본 발명은 설명의 편의를 위해 이 디스크립터를 시점 디스크립터 PMT_view_descriptor()이라 하기로 한다. 이 경우 상기 시점 디스크립터는 각각의 ES에 개별적으로 적용된다.
즉, 수신 시스템에서는 상기 PMT에 시점 디스크립터가 포함되어 수신되면 해당 ES를 복호하는데 필요한 시점 정보를 얻을 수 있다.
도 5는 본 발명에 따른 시점 디스크립터 PMT_view_descriptor()의 신택스 구조에 대한 일 실시예이다.
descriptor_tag 필드는 해당 디스크립터가 PMT_view_descriptor()임을 지시한다.
descriptor_length 필드는 본 필드 이후부터 본 디스크립터 끝까지의 바이트 크기(length)를 나타낸다.
view_id 필드는 해당하는 PID를 통해서 전달되는 ES의 시점 식별 정보(= view id)를 표시한다.
number_of_reference_view 필드는 상기 view_id 필드에 해당하는 시점의 영상이 부호화할 때 참조한 시점의 개수를 표시한다.
reference_view_id 필드는 상기 number_of_reference_view 필드 값만큼 반복하여 상기 view_id 필드에 해당하는 시점의 영상이 부호화할 때 참조한 시점들의 식별 정보를 표시한다.
즉, 상위 계층의 영상을 H.264/MVC 방식으로 복호하기 위해서는 해당하는 시점의 ES 뿐만 아니라, 다른 시점에 해당하는 ES도 필요할 수 있다. 이를 위해서 상기 number_of_reference_view 필드는 참조한 시점의 개수를 전송하고, 상기 reference_view_id 필드는 상기 number_of_reference_view 필드 값에 해당하는 개수만큼 반복하여 참조하는 시점 수만큼의 시점 식별 정보를 전송한다.
time_difference_between_base_view 필드는 시점간에 발생할 수 있는 샘플링 시간의 차이를 표시한다. 예를 들어, 디스플레이 방식이 셔텨드 글래스 방식이라면 좌 영상과 우 영상을 순차적으로 디스플레이함에 의해 3D 영상을 구현한다. 이때 좌우 영상이 샘플링되는 시간과 좌우 영상이 사람의 눈에 인지되는 시간이 차이가 나며, 이로 인해 영상이 움직이면 눈과의 깊이(depth)가 달라져 왜곡이 발생할 수 있다. 따라서 본 발명은 time_difference_between_base_view 필드를 이용하여 시점간에 발생할 수 있는 샘플링 시간의 차이를 표시한다. 이 필드 값은 수신 시스템에서 상기 왜곡을 보상하는데 이용될 수 있다.
만일 상기 view_id 필드에 해당하는 시점의 영상이 기본 계층의 영상이라면, number_of_reference_view 필드 값과 time_difference_between_base_view 필드 값은 '0'으로 표시된다.
상기 도 5에서 보이고 있는 시점 디스크립터 PMT_view_descriptor()에 할당되는 필드의 순서, 위치, 의미는 본 발명의 이해를 돕기 위한 일 실시예일 뿐이며, 상기 시점 디스크립터 PMT_view_descriptor()에 할당되는 필드의 순서, 위치, 의미, 추가 할당되는 필드의 수는 당업자에 의해 용이하게 변경될 수 있으므로 본 발명은 상기 실시예로 한정되지 않을 것이다.
도 6은 본 발명에 따른 시스템 정보 중 PMT를 이용하여 3D 영상을 처리하기 위한 수신 시스템의 동작 흐름도의 일 실시예를 보이고 있다. 일 예로, 3D 영상의 경우, 각각의 PID를 갖는 기본 계층의 영상과 적어도 하나의 상위 계층의 영상으로 구분되고, 상위 계층의 영상은 H.264/MVC로 압축 부호화되어 수신된다고 가정하자.
즉, 수신 시스템은 3D 영상 서비스를 위해, 입력되는 비트스트림으로부터 PID=0인 PAT를 찾는다(S401). 그리고 상기 PAT로부터 PMT의 PID를 획득하고, 획득된 PMT의 PID를 갖는 스트림 패킷들을 모아 PMT를 구성한다(S402). 그리고 상기 PMT를 파싱하여(S403), 상기 PMT의 첫 번째 루프의 descriptor() 영역에 영상 포맷 디스크립터 ImageFormat_descriptor()가 포함되어 수신되는지 확인한다(S404).
이때 상기 PMT로부터 영상 포맷 디스크립터 ImageFormat_descriptor()가 검출되면 상기 PMT의 프로그램 번호에 해당하는 프로그램이 3D 콘텐츠라고 판단한다.
만일 상기 PMT로부터 영상 포맷 디스크립터 ImageFormat_descriptor()가 검출되지 않으면 상기 PMT의 프로그램 번호에 해당하는 프로그램이 2D 콘텐츠라고 판단한다.
상기 S404에서 2D 콘텐츠라고 판별되면, 상기 PMT의 두 번째 루프의 해당 ES 정보를 이용하여 상기 2D 콘텐츠에 해당하는 PID를 추출하고(S411), 추출된 PID에 대응하는 스트림 패킷들에 대해 복호를 수행한다(S412). 본 발명에서 2D 콘텐츠는 H.264/AVC 압축 부호화 방식의 역으로 복호하는 것을 일 실시예로 한다.
상기 S412에서 복호된 2D 콘텐츠는 디스플레이 장치에 2D 영상으로 디스플레이된다(S413).
한편 상기 S404에서 3D 콘텐츠라고 판별되면, 디스플레이를 위한 구성을 설정하고(S405), 상기 PMT의 두 번째 루프에서 기본 계층의 ES에 해당하는 PID를 추출하고(S406), 추출된 PID에 대응하는 스트림 패킷들에 대해 복호를 수행하여 원래의 영상을 복원한다(S407). 예를 들어, 기본 계층의 영상이 좌 영상이였다면 복호 후에는 압축 부호화 전의 좌 영상이 복원된다. 본 발명에서 기본 계층의 ES는 H.264/AVC 압축 부호화 방식의 역으로 복호하는 것을 일 실시예로 한다.
이어, 상기 PMT의 두 번째 루프에서 상위 계층의 ES에 해당하는 PID를 추출하고(S408), 추출된 PID에 대응하는 스트림 패킷들에 대해 복호를 수행하여 원래의 영상을 복원한다(S409). 예를 들어, 상위 계층의 영상이 우 영상이였다면 복호 후에는 압축 부호화 전의 우 영상이 복원된다. 본 발명에서 상위 계층의 ES는 H.264/MVC 압축 부호화 방식의 역으로 복호하는 것을 일 실시예로 한다.
만일 3D 영상이 다시점 영상이어서, 상위 계층의 영상이 복수개라면, 상위 계층의 수만큼 상기 S408, S409 단계가 반복되어 모든 상위 계층의 영상을 복원한다. 이때 상기 PMT에 시점 디스크립터가 포함되어 있다면, 시점 디스크립터를 파싱하여 얻은 시점 정보를 참조하여 상위 계층의 영상을 복호할 수 있다.
상기 S407을 통해 기본 계층의 영상이 복원되고, 상기 409를 통해 상위 계층의 영상이 복원되면, 복원된 기본 계층의 영상과 적어도 하나의 상위 계층의 영상을 이용하여 디스플레이 방식에 따라 디스플레이 장치에 3D 영상을 디스플레이한다(S410). 즉, 수신 시스템은 디스플레이 장치의 특성에 따라 적어도 두개의 영상을 이용하여 다양한 방법으로 3D 영상을 만들어 디스플레이한다. 상기 디스플레이 방식은 일 예로 안경을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다.
안경을 착용하는 방식은 다시 수동(passive) 방식과 능동(active) 방식으로 나눈다. 상기 passive 방식은 편광필터를 사용해서 좌영상과 우영상을 구분해서 보여주는 방식이다. 즉, 상기 passive 방식은 양안에 각각 청색과 적색의 색안경을 쓰고 보는 방식이다. 상기 active 방식은 시간적으로 왼쪽 눈과 오른쪽 눈을 순차적으로 가림으로써 좌 영상과 우 영상을 구분하는 방식이다. 즉, 상기 active 방식은 시간 분할된 화면을 주기적으로 반복시키고 이 주기에 동기시킨 전자셔터가 설치된 안경을 쓰고 보는 방식이며, 시분할 방식(time split type) 또는 셔텨드 글래스(shuttered glass) 방식이라 하기도 한다.
안경을 착용하지 않는 무안경 방식으로서 알려진 대표적인 것으로는 원통형의 렌즈 어레이를 수직으로 배열한 렌티큘러(lenticular) 렌즈판을 영상 패널 전방에 설치하는 렌티큘러 방식과, 영상 패널 상부에 주기적인 슬릿을 갖는 배리어 층을 구비하는 패러랙스 배리어(parallax barrier) 방식이 있다.
한편 본 발명에 따른 3D 영상의 수신을 인식할 수 있는 식별 정보 즉, 도 4의 영상 포맷 디스크립터는 VCT에 포함되어 수신될 수도 있다.
도 7은 본 발명에 따른 영상 포맷 디스크립터가 포함되는 VCT 신택스 구조에 대한 일 실시예를 보이고 있다.
도 7에서 table_id 필드는 테이블 식별자로서, VCT를 식별하는 식별자가 설정될 수 있다.
section_syntax_indicator 필드는 VCT의 섹션 형식을 정의하는 지시자이다.
section_length 필드는 VCT의 섹션 길이를 나타낸다.
transport_stream_id 필드는 0 의 PID 값을 갖는 Program Association Table(PAT)내에 있는 Transport Stream ID 와 같다.
version_number 필드는 VCT의 버전 번호를 나타낸다.
current_next_indicator 필드는 현재 테이블 섹션이 적용가능한지 여부를 나타내는 인식자이다.
section_number 필드는 VCT가 하나 이상의 섹션으로 구분되어 전송될 경우, 현재 VCT 섹션의 섹션 번호를 나타낸다.
last_section_number 필드는 VCT의 마지막 섹션 번호를 나타낸다.
num_channels_in_section 필드는 상기 VCT 섹션 내에 존재하는 전체 가상 채널의 개수를 지정한다.
또한 상기 VCT 신택스는 상기 num_channels_in_section 필드 값만큼 반복되는 'for' 루프의 제1 반복문을 더 포함하는데, 상기 제1 반복문 내에는 short_name 필드, major_channel_number 필드, minor_channel_number 필드, modulation_mode 필드, carrier_frequency 필드, channel_TSID 필드, program_number 필드, ETM_location 필드, access_controlled 필드, hidden 필드, service_type 필드, source_id 필드, descriptor_length 필드, 및 상기 제1 반복문 내에 포함되는 디스크립터 수만큼 반복되는 'for' 루프로 된 제2 반복문을 포함한다. 본 발명에서는 설명의 편의를 위해 상기 제2 반복문을 제1 디스크립터 루프라 한다. 상기 제1 디스크립터 루프에 포함되는 디스크립터 descriptors()는 가상 채널 각각에 개별적으로 적용되는 디스크립터이다.
상기 제1 반복문 내 short_name 필드는 가상 채널 이름을 나타내고, 상기 major_channel_number 필드는 상기 제1 반복문 안에서 정의되는 가상 채널과 관련된 '메이저' 채널 번호를 나타내고, 상기 minor_channel_number 필드는 '마이너' 채널 번호를 나타낸다. 즉, 각각의 가상 채널 번호는 메이저와 마이너 채널 번호에 연결되어 있어야 하며, 메이저, 마이너 채널 번호는 해당 가상 채널에 대한 사용자 참조 번호로 작용한다.
상기 program_number 필드는 MPEG-2 PAT(Program Association Table)와 PMT(Program Map Table)가 정의되어 있는 가상 채널을 연결하기 위해 나타내며, 상기 PAT/PMT안에 있는 프로그램 번호와 일치한다. 여기서, PAT는 각 프로그램 번호마다 그 프로그램의 구성 요소를 기술하는데, PMT를 전송하는 트랜스포트 패킷의 PID를 가리킨다. 상기 PMT는 프로그램 식별 번호와 프로그램을 구성하는 비디오, 오디오 등의 개별 비트열이 전송되고 있는 트랜스포트 패킷의 PID 리스트와 부속 정보를 기술하고 있다.
또한 상기 VCT 신택스는 additional_descriptor_length 필드와, 상기 VCT에 추가되는 디스크립터 수만큼 반복되는 'for' 루프로 된 제3 반복문을 더 포함할 수 있다. 본 발명에서는 설명의 편의를 위해 상기 제3 반복문을 제2 디스크립터 루프라 한다. 상기 제2 디스크립터 루프에 포함되는 디스크립터 additional_descriptors()는 VCT에서 기술되는 모든 가상 채널에 공통적으로 적용되는 디스크립터이다.
본 발명에 따른 영상 포맷 디스크립터는 도 7의 VCT의 제1 디스크립터 루프에 포함될 수 있다.
본 발명은 상기 VCT의 program_number 필드 값에 해당하는 프로그램이 3D 콘텐츠이면 상기 VCT의 제1 디스크립터 루프의 descriptor() 영역에 3D 영상이 수신되고 있음을 확인할 수 있는 영상 포맷 디스크립터를 포함하여 전송할 수 있다.
상기 영상 포맷 디스크립터 ImageFormat_descriptor()의 신택스 구조 및 각 필드의 설명은 도 4를 그대로 적용하는 것을 일 실시예로 한다.
예를 들어, 수신 시스템에서는 상기 VCT에 영상 포맷 디스크립터가 포함되어 수신되면 상기 VCT의 프로그램 정보에 해당하는 프로그램이 3D 콘텐츠라고 판단한다. 그리고 상기 영상 포맷 디스크립터의 3D_Image_format_type 필드 값이 00이라면 해당 3D 콘텐츠는 사이드 바이 사이드 포맷으로 수신된다고 판단할 수 있다.
즉, 수신 시스템이 상기 영상 포맷 디스크립터를 인식하고, 상기 영상 포맷 디스크립터 내 3D_Image_format_type 필드 값이 지시하는 전송 포맷을 지원하는 경우, 해당 3D 콘텐츠를 복호할 수 있게 된다. 한편, 수신 시스템이 3D 영상을 처리하지 못하는 기존 수신 시스템이라면, 상기 영상 포맷 디스크립터를 인식할 수 없기 때문에 2D 영상에 대해서만 복호할 수 있게 된다. 예를 들어, 수신되는 VCT에 영상 포맷 디스크립터가 포함되어 있지 않으면, 해당 ES는 기존의 2D 콘텐츠를 복호하는 방법과 동일한 방법으로 복호할 수 있다.
또한 본 발명은 3D 영상이 기본 계층과 상위 계층의 영상으로 구분되고, 상위 계층의 영상이 H.264/MVC 방식으로 부호화된 경우, 상기 상위 계층의 영상을 복호하는데 필요한 시점 정보가 상기 VCT의 제1 디스크립터 루프에 디스크립터 형태로 포함되어 수신되는 것을 일 실시예로 한다.
상기 시점 정보는 각 시점을 구분할 수 있는 식별 정보, 이 시점에 해당하는 ES를 복호하는데 필요한 참조 시점 식별 정보 등을 포함할 수 있다.
본 발명은 설명의 편의를 위해 이 디스크립터를 시점 디스크립터 VCT_view_descriptor()이라 하기로 한다. 이 경우 상기 시점 디스크립터는 각각의 ES에 개별적으로 적용된다.
즉, 수신 시스템에서는 상기 VCT에 시점 디스크립터가 포함되어 수신되면 해당 ES를 복호하는데 필요한 시점 정보를 얻을 수 있다.
도 8은 본 발명에 따른 시점 디스크립터 VCT_view_descriptor()의 신택스 구조에 대한 일 실시예이다.
descriptor_tag 필드는 해당 디스크립터가 VCT_view_descriptor()임을 지시한다.
descriptor_length 필드는 본 필드 이후부터 본 디스크립터 끝까지의 바이트 크기(length)를 나타낸다.
stream_type 필드는 다음에 오는 elementary_PID 필드에서 표시된 PID 값을 갖는 패킷에 들어있는 요소 스트림의 종류 및 부호화 정보를 표시한다. 이때, 기본 계층(즉, base view)의 영상이 H.264/AVC로 압축 부호화될 경우, 기본 계층의 ES에 대응하는 stream_type 필드 값에 해당 ES가 H.264/AVC로 압축 부호화되었음을 표시하고, 상위 계층(즉, non-base view)의 영상이 H.264/MVC로 압축 부호화될 경우, 상위 계층의 ES에 대응하는 stream_type 필드 값에 해당 ES가 H.264/MVC로 압축 부호화되었음을 표시하는 것을 일 실시예로 한다. 이 경우 수신 시스템에서는 상기 stream_type 필드를 파싱함에 의해 해당 ES의 부호화 정보를 획득할 수 있으며, 이 정보를 참조하여 해당 ES에 대한 복호를 수행할 수 있다.
elementary_PID 필드는 상기 요소 스트림의 식별자 즉, 해당 요소 스트림이 포함되는 패킷의 PID 값을 나타낸다.
view_id 필드는 해당하는 PID를 통해서 전달되는 ES의 시점 식별 정보(= view id)를 표시한다.
number_of_reference_view 필드는 상기 view_id 필드에 해당하는 시점의 영상이 부호화할 때 참조한 시점의 개수를 표시한다.
reference_view_id 필드는 상기 number_of_reference_view 필드 값만큼 반복하여 상기 view_id 필드에 해당하는 시점의 영상이 부호화할 때 참조한 시점들의 식별 정보를 표시한다.
즉, 상위 계층의 영상을 H.264/MVC 방식으로 복호하기 위해서는 해당하는 시점의 ES 뿐만 아니라, 다른 시점에 해당하는 ES도 필요할 수 있다. 이를 위해서 상기 number_of_reference_view 필드는 참조한 시점의 개수를 전송하고, 상기 reference_view_id 필드는 상기 number_of_reference_view 필드 값에 해당하는 개수만큼 반복하여 참조하는 시점 수만큼의 시점 식별 정보를 전송한다.
time_difference_between_base_view 필드는 시점간에 발생할 수 있는 샘플링 시간의 차이를 표시한다. 예를 들어, 디스플레이 방식이 셔텨드 글래스 방식이라면 좌 영상과 우 영상을 순차적으로 디스플레이함에 의해 3D 영상을 구현한다. 이때 좌우 영상이 샘플링되는 시간과 좌우 영상이 사람의 눈에 인지되는 시간이 차이가 나며, 이로 인해 영상이 움직이면 눈과의 깊이(depth)가 달라져 왜곡이 발생할 수 있다. 따라서 본 발명은 time_difference_between_base_view 필드를 이용하여 시점간에 발생할 수 있는 샘플링 시간의 차이를 표시한다. 이 필드 값은 수신 시스템에서 상기 왜곡을 보상하는데 이용될 수 있다.
만일 상기 view_id 필드에 해당하는 시점의 영상이 기본 계층의 영상이라면, number_of_reference_view 필드 값과 time_difference_between_base_view 필드 값은 '0'으로 표시된다.
상기 도 8에서 보이고 있는 시점 디스크립터 VCT_view_descriptor()에 할당되는 필드의 순서, 위치, 의미는 본 발명의 이해를 돕기 위한 일 실시예일 뿐이며, 상기 시점 디스크립터 VCT_view_descriptor()에 할당되는 필드의 순서, 위치, 의미, 추가 할당되는 필드의 수는 당업자에 의해 용이하게 변경될 수 있으므로 본 발명은 상기 실시예로 한정되지 않을 것이다.
도 9는 본 발명에 따른 시스템 정보 중 VCT를 이용하여 3D 영상을 처리하기 위한 수신 시스템의 동작 흐름도의 일 실시예를 보이고 있다. 일 예로, 3D 영상의 경우, 각각의 PID를 갖는 기본 계층의 영상과 적어도 하나의 상위 계층의 영상으로 구분되고, 상위 계층의 영상은 H.264/MVC로 압축 부호화되어 수신된다고 가정하자.
즉, 수신 시스템은 3D 영상 서비스를 위해, 수신되는 스트림으로부터 테이블 식별자를 통해 VCT를 구성하고(S701), 구성된 VCT를 파싱하여(S702), 상기 VCT의 제1 디스크립터에 영상 포맷 디스크립터 ImageFormat_descriptor()가 포함되어 수신되는지 확인한다(S703).
이때 상기 VCT로부터 영상 포맷 디스크립터 ImageFormat_descriptor()가 검출되면 상기 VCT의 프로그램 번호에 해당하는 프로그램이 3D 콘텐츠라고 판단한다.
만일 상기 VCT로부터 영상 포맷 디스크립터 ImageFormat_descriptor()가 검출되지 않으면 상기 VCT의 프로그램 번호에 해당하는 프로그램이 2D 콘텐츠라고 판단한다.
상기 S703에서 2D 콘텐츠라고 판별되면, 상기 VCT의 서비스 로케이션 디스크립터 service_location_descriptor()의 해당 ES 정보를 이용하여 상기 2D 콘텐츠에 해당하는 PID를 추출하고(S710), 추출된 PID에 대응하는 스트림 패킷들에 대해 복호를 수행한다(S711). 본 발명에서 2D 콘텐츠는 H.264/AVC 압축 부호화 방식의 역으로 복호하는 것을 일 실시예로 한다.
상기 S711에서 복호된 2D 콘텐츠는 디스플레이 장치에 2D 영상으로 디스플레이된다(S712).
한편 상기 S703에서 3D 콘텐츠라고 판별되면, 디스플레이를 위한 구성을 설정하고(S704), 상기 VCT의 제1 디스크립터 루프의 서비스 로케이션 디스크립터 service_location_descriptor()에서 기본 계층의 ES에 해당하는 PID를 추출하고(S705), 추출된 PID에 대응하는 스트림 패킷들에 대해 복호를 수행하여 원래의 영상을 복원한다(S706). 예를 들어, 기본 계층의 영상이 좌 영상이였다면 복호 후에는 압축 부호화 전의 좌 영상이 복원된다. 본 발명에서 기본 계층의 ES는 H.264/AVC 압축 부호화 방식의 역으로 복호하는 것을 일 실시예로 한다.
이어, 상기 VCT의 제1 디스크립터 루프의 서비스 로케이션 디스크립터 service_location_descriptor()에서 상위 계층의 ES에 해당하는 PID를 추출하고(S707), 추출된 PID에 대응하는 스트림 패킷들에 대해 복호를 수행하여 원래의 영상을 복원한다(S708). 예를 들어, 상위 계층의 영상이 우 영상이였다면 복호 후에는 압축 부호화 전의 우 영상이 복원된다. 본 발명에서 상위 계층의 ES는 H.264/MVC 압축 부호화 방식의 역으로 복호하는 것을 일 실시예로 한다.
만일 3D 영상이 다시점 영상이어서, 상위 계층의 영상이 복수개라면, 상위 계층의 수만큼 상기 S707, S708 단계가 반복되어 모든 상위 계층의 영상을 복원한다. 이때 상기 VCT에 시점 디스크립터가 포함되어 있다면, 시점 디스크립터를 파싱하여 얻은 시점 정보를 참조하여 상위 계층의 영상을 복호할 수 있다.
상기 S706을 통해 기본 계층의 영상이 복원되고, 상기 S708을 통해 상위 계층의 영상이 복원되면, 복원된 기본 계층의 영상과 적어도 하나의 상위 계층의 영상을 이용하여 디스플레이 방식에 따라 디스플레이 장치에 3D 영상을 디스플레이한다(S709). 즉, 수신 시스템은 디스플레이 장치의 특성에 따라 적어도 두개의 영상을 이용하여 다양한 방법으로 3D 영상을 만들어 디스플레이한다. 상기 디스플레이 방식은 일 예로 안경을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다.
도 10은 본 발명에 따른 3차원 영상 시스템의 일 실시예를 보인 구성 블록도로서, 콘텐트 소스, 디코딩 장치, 및 디스플레이 장치를 포함할 수 있다.
상기 콘텐트 소스는 3차원 영상을 위한 3D 콘텐츠를 포함하며, 일 예로 디스크, 인터넷 서버, 지상파/위성/케이블 방송국 등이 될 수 있다.
상기 디코딩 장치는 콘텐트 소스로부터 콘텐트를 수신하여 디코딩함에 의해 디스플레이를 위한 영상을 만들어낸다. 예를 들어, 수신된 콘텐트가 압축 부호화되어 있으면 압축 해제 및/또는 보간 등을 수행하여 원래의 영상으로 복원한다. 상기 디코딩 장치로는 디스크 플레이어(Disc player), IPTV 셋톱박스(settop box), 지상파, 위성, 케이블 등을 시청할 수 있는 텔레비전(TV)이 될 수 있다.
상기 디스플레이 장치는 상기 디코딩 장치에서 만들어진 영상을 2차원 또는 3차원 형태로 디스플레이한다. 상기 디스플레이 장치로는 일반 2D 영상을 디스플레이할 수 있는 장치, 안경을 필요로 하는 3D 영상을 디스플레이할 수 있는 장치, 안경을 필요로 하지 않는 3D 영상을 디스플레이할 수 있는 장치 등이 될 수 있다.
일 실시예로, 상기 PMT로부터 영상 포맷 디스크립터와 시점 디스크립터를 파싱하여 3D 영상을 구현할 경우, 상기 S410,S414를 제외한 나머지 단계들이 디코딩 장치에서 수행되고, 상기 S410,S414는 디스플레이 장치에서 수행된다.
다른 실시예로, 상기 VCT로부터 영상 포맷 디스크립터와 시점 디스크립터를 파싱하여 3D 영상을 구현할 경우, 상기 S709,S713을 제외한 나머지 단계들이 디코딩 장치에서 수행되고, 상기 S709,S713은 디스플레이 장치에서 수행된다.
본 발명은 설명의 편의를 위해 상기 디코딩 장치와 디스플레이 장치를 통합하여 수신 시스템이라 하기로 한다.
상기 수신 시스템의 디코딩 장치와 디스플레이 장치는 분리형으로 구현될 수도 있고, 일체형으로 구현될 수도 있다.
도 11은 본 발명에 따른 디코딩 장치와 디스플레이 장치가 분리형으로 구성된 수신 시스템의 일 실시예를 보인 구성 블록도이다.
즉, 디코딩 장치(810)는 제어부(811), 유저 인터페이스부(812), 수신부(813), 역다중화기(814), 시스템 정보 처리부(815), 오디오 복호기(816), 및 비디오 복호기(817)를 포함할 수 있다. 상기 디스플레이 장치(820)는 유저 인터페이스부(821), 스피커(822), 및 2D/3D 디스플레이부(823)를 포함할 수 있다.
콘텐트 소스로부터 전송되는 2D 영상 또는 3D 영상 콘텐츠 및 상기 2D 영상 또는 3D 영상을 복호하는데 필요한 시스템 정보는 수신부(813)로 수신된다.
그리고 유저 인터페이스부(812)를 통해 수신을 원하는 특정 채널이 선택되면 제어부(811)는 해당 채널의 2D 콘텐츠 또는 3D 콘텐츠만을 수신하도록 수신부(813)를 제어한다. 이때 3D 콘텐츠의 경우, 각 시점에 해당하는 스트림은 PES 패킷화된 후 별개의 PID를 갖고 TS 패킷 형태로 수신된다. 예를 들어, 기본 계층의 영상과 적어도 하나 이상의 상위 계층의 영상은 각기 다른 PID가 할당되어 수신된다.
상기 수신부(811)는 특정 채널의 2D 콘텐츠 또는 3D 콘텐츠에 대해 복조 및 채널 등화를 수행한 후 스트림 형태로 역다중화기(814)로 출력한다. 상기 수신부(811)로 수신된 시스템 정보도 스트림 형태로 역다중화기(814)로 출력된다.
상기 역다중화기(814)는 각 스트림의 PID를 참조하여 오디오 스트림은 오디오 복호기(816)로 출력하고, 비디오 스트림은 비디오 복호기(817)로 출력하며, 시스템 정보는 시스템 정보 처리부(815)로 출력한다.
이때, 상기 역다중화기(814)로 입력되는 스트림에는 시스템 타임 클럭(System Time Clock ; STC), 각 픽쳐를 언제 디코딩할 것인지를 상기 STC를 기준으로 나타내는 디코딩 타임 스탬프(Decoding Time Stamp ; DTS), 디코딩된 데이터를 언제 디스플레이할 것인지를 상기 STC를 기준으로 나타내는 표시 타임 스탬프(Presentation Time Stamp ; PTS)가 다중화되어 있다.
즉, 상기 STC는 송신 시스템의 비디오 부호기와 록킹된 전체적인 클럭으로서, 비디오 부호기와 비디오 복호기가 똑같은 STC를 갖고 있으며, 또한 상기 비디오 부호기는 비디오 신호가 내부적으로 딜레이를 갖고 있기 때문에 A/V 립 싱크(Lip-Synchronization)와 정상적인 비디오 디코딩을 위해서 STC를 기준으로 DTS와 PTS를 발생하여 함께 전송한다.
그러므로 상기 역다중화기(814)는 각 시점 간의 동기를 위해 상기 제어부(811)의 제어에 따라 상기 DTS, PTS의 기준이 되는 STC를 스트림으로부터 복구하여 비디오 복호기(817)로 출력한다.
다음은 PMT를 참조하여 3D 영상의 수신을 식별하는 것을 일 실시예로 설명한다.
즉, 시스템 정보 처리부(815)는 시스템 정보 스트림으로부터 PID=0인 PAT를 찾는다. 그리고 상기 PAT로부터 PMT의 PID를 획득하고, 획득된 PMT의 PID를 갖는 스트림 패킷들을 모아 PMT를 구성한다. 그리고 상기 PMT를 파싱하여, 상기 PMT의 첫 번째 루프의 descriptor() 영역에 영상 포맷 디스크립터 ImageFormat_descriptor()가 포함되어 수신되는지 확인한다.
이때 상기 PMT로부터 영상 포맷 디스크립터 ImageFormat_descriptor()가 검출되면 상기 PMT의 프로그램 번호에 해당하는 프로그램이 3D 콘텐츠라고 판단한다.
만일 상기 PMT로부터 영상 포맷 디스크립터 ImageFormat_descriptor()가 검출되지 않으면 상기 PMT의 프로그램 번호에 해당하는 프로그램이 2D 콘텐츠라고 판단한다.
그러므로, 상기 PMT로부터 영상 포맷 디스크립터 ImageFormat_descriptor()가 검출되지 않으면, 상기 시스템 정보 처리부(815)는 상기 PMT의 두 번째 루프의 해당 ES 정보를 이용하여 상기 2D 콘텐츠에 해당하는 PID를 추출한 후 역다중화기(814)로 출력한다. 상기 역다중화기(814)는 입력되는 PID에 대응하는 오디오 스트림과 비디오 스트림을 각각 오디오 복호기(816)와 비디오 복호기(817)로 출력한다.
일 예로, 상기 비디오 복호기(817)는 입력되는 비디오 스트림에 대해 H.264/AVC 압축 부호화 방식의 역으로 복호를 수행한 후 2D/3D 디스플레이부(823)로 출력한다. 상기 2D/3D 디스플레이부(823)는 복호된 비디오 스트림을 디스플레이 장치에 2D 영상으로 디스플레이한다.
한편 상기 PMT로부터 영상 포맷 디스크립터 ImageFormat_descriptor()가 검출되면, 상기 시스템 정보 처리부(815)는 상기 PMT의 두 번째 루프에서 기본 계층의 ES에 해당하는 PID를 추출하여 역다중화기(814)로 출력한다. 상기 역다중화기(814)는 입력되는 PID에 대응하는 오디오 스트림과 비디오 스트림을 각각 오디오 복호기(816)와 비디오 복호기(817)로 출력한다.
예를 들어, 기본 계층의 영상이 좌 영상이였다면 비디오 복호기(817)에서 복호가 수행되어 압축 부호화 전의 좌 영상이 복원된다. 본 발명에서 기본 계층의 ES는 H.264/AVC 압축 부호화 방식의 역으로 복호하는 것을 일 실시예로 한다.
또한 상기 시스템 정보 처리부(815)는 상기 PMT의 두 번째 루프에서 상위 계층의 ES에 해당하는 PID를 추출하여 역다중화기(814)로 출력한다. 상기 역다중화기(814)는 입력되는 PID에 대응하는 오디오 스트림과 비디오 스트림을 각각 오디오 복호기(816)와 비디오 복호기(817)로 출력한다. 이때 상기 시스템 정보 처리부(815)는 상기 PMT의 두 번째 루프에서 상위 계층의 ES에 해당하는 PID를 추출하여 역다중화기(814)로 출력한다.
예를 들어, 상위 계층의 영상이 우 영상이였다면 비디오 복호기(817)에서 복호가 수행되어 압축 부호화 전의 우 영상이 복원된다. 본 발명에서 상위 계층의 ES는 H.264/MVC 압축 부호화 방식의 역으로 복호하는 것을 일 실시예로 한다.
만일 3D 영상이 다시점 영상이어서, 상위 계층의 영상이 복수개라면, 상기 시스템 정보 처리부(815)는 상위 계층의 수만큼 해당 PID를 추출하여 역다중화기(814)로 출력함에 의해 비디오 복호기(817)에서 다시점 영상의 복원이 이루어지도록 한다. 이때 상기 PMT에 시점 디스크립터가 포함되어 있다면, 시점 디스크립터를 파싱하여 얻은 시점 정보를 참조하여 상위 계층의 영상을 복호할 수 있다.
상기 2D/3D 디스플레이부(823)는 비디오 복호기(817)에서 복원된 기본 계층의 영상과 적어도 하나의 상위 계층의 영상을 이용하여 디스플레이 방식에 따라 디스플레이 장치에 3D 영상을 디스플레이한다. 즉, 상기 2D/3D 디스플레이부(823)는 디스플레이 장치의 특성에 따라 적어도 두개의 영상을 이용하여 다양한 방법으로 3D 영상을 만들어 디스플레이한다. 상기 디스플레이 방식은 전술한 것처럼 안경을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다.
도 12는 본 발명에 따른 디코딩 장치와 디스플레이 장치가 일체형으로 구성된 수신 시스템의 일 실시예를 보인 구성 블록도이다.
도 12의 수신 시스템에서 전술한 도 11의 구성 요소와 실질적으로 동일한 구성과 기능을 가진 블록들에는 도 11에서 사용된 동일한 참조 부호를 사용할 것이다.
이 경우 각 부의 동작은 도 11을 참조하면 되므로, 도 12의 각 부에 대한 상세 설명은 생략하기로 한다.
지금까지 설명한 본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가지 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.
811 : 제어부 812,821 : 유저 인터페이스부
813 : 수신부 814 : 역다중화기
815 : 시스템 정보 처리부 816 : 오디오 복호기
817 : 비디오 복호기 822 : 스피커
823 : 2D/3D 디스플레이부

Claims (20)

  1. 서로 다른 시점의 영상으로 구성된 3D 콘텐츠와 상기 3D 콘텐츠의 시그널링 정보를 포함하는 방송 신호를 수신하는 수신부;
    상기 방송 신호에 상기 3D 콘텐츠가 포함됨을 식별하는 식별 정보를 상기 시그널링 정보로부터 획득하며, 상기 시그널링 정보는 상기 3D 콘텐츠의 포맷 정보를 더 포함하고, 상기 3D 콘텐츠의 포맷 정보는 사이드 바이 사이드, 톱/다운, 프레임 시퀀셜, 체커 보드, 풀 좌/우, 풀 좌/하프 우 중 하나의 포맷을 지시하는 시그널링 정보 처리부;
    상기 3D 콘텐츠를 복호하는 복호부; 및
    상기 3D 콘텐츠의 포맷 정보에 따라 상기 복호된 3D 콘텐츠를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 수신 시스템.
  2. 제 1 항에 있어서,
    상기 3D 콘텐츠는 좌시점의 영상과 우시점의 영상으로 구성되고, 상기 시그널링 정보는 시점 식별 정보를 더 포함하며, 상기 시점 식별 정보를 기반으로 해당 영상의 시점이 좌시점인지, 우시점인지가 식별되는 수신 시스템.
  3. 제 2 항에 있어서,
    상기 좌시점의 영상은 좌영상으로 할당되고, 상기 우시점의 영상은 우영상으로 할당되는 수신 시스템.
  4. 제 3 항에 있어서,
    상기 좌시점의 영상에 할당되는 패킷 식별자와 상기 우시점의 영상에 할당되는 패킷 식별자는 서로 다른 것을 특징으로 하는 수신 시스템.
  5. 제 3 항에 있어서,
    상기 좌시점의 영상에 할당되는 패킷 식별자와 상기 우시점의 영상에 할당되는 패킷 식별자는 동일한 것을 특징으로 하는 수신 시스템.
  6. 제 3 항에 있어서, 상기 복호부는
    상기 좌영상과 우영상을 각각 복호하는 수신 시스템.
  7. 제 6 항에 있어서, 상기 디스플레이부는
    상기 3D 콘텐츠의 포맷 정보와 상기 복호된 좌영상과 우영상을 이용하여 3D 영상을 디스플레이하는 수신 시스템.
  8. 제 1 항에 있어서,
    상기 시그널링 정보는 상기 3D 콘텐츠의 복호시에 참조해야하는 영상 정보를 더 포함하며, 상기 참조해야 하는 영상 정보는 상기 3D 콘텐츠의 부호화에 이용된 참조 영상의 시점 식별 정보를 포함하는 수신 시스템.
  9. 제 1 항에 있어서,
    상기 시그널링 정보는 상기 3D 콘텐츠를 구성하는 두 시점간에 발생할 수 있는 샘플링 시간 차이에 대한 정보를 더 포함하는 수신 시스템.
  10. 삭제
  11. 서로 다른 시점의 영상으로 구성된 3D 콘텐츠와 상기 3D 콘텐츠의 시그널링 정보를 포함하는 방송 신호를 수신하는 단계;
    상기 방송 신호에 상기 3D 콘텐츠가 포함됨을 식별하는 식별 정보를 상기 시그널링 정보로부터 획득하며, 상기 시그널링 정보는 상기 3D 콘텐츠의 포맷 정보를 더 포함하고, 상기 3D 콘텐츠의 포맷 정보는 사이드 바이 사이드, 톱/다운, 프레임 시퀀셜, 체커 보드, 풀 좌/우, 풀 좌/하프 우 중 하나의 포맷을 지시하는 단계;
    상기 3D 콘텐츠를 복호하는 단계; 및
    상기 3D 콘텐츠의 포맷 정보에 따라 상기 복호된 3D 콘텐츠를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 수신 시스템의 데이터 처리 방법.
  12. 제 11 항에 있어서,
    상기 3D 콘텐츠는 좌시점의 영상과 우시점의 영상으로 구성되고, 상기 시그널링 정보는 시점 식별 정보를 더 포함하며, 상기 시점 식별 정보를 기반으로 해당 영상의 시점이 좌시점인지, 우시점인지가 식별되는 수신 시스템의 데이터 처리 방법.
  13. 제 12 항에 있어서,
    상기 좌시점의 영상은 좌영상으로 할당되고, 상기 우시점의 영상은 우영상으로 할당되는 수신 시스템의 데이터 처리 방법.
  14. 제 13 항에 있어서,
    상기 좌시점의 영상에 할당되는 패킷 식별자와 상기 우시점의 영상에 할당되는 패킷 식별자는 서로 다른 것을 특징으로 하는 수신 시스템의 데이터 처리 방법.
  15. 제 13 항에 있어서,
    상기 좌시점의 영상에 할당되는 패킷 식별자와 상기 우시점의 영상에 할당되는 패킷 식별자는 동일한 것을 특징으로 하는 수신 시스템의 데이터 처리 방법.
  16. 제 13 항에 있어서, 상기 복호 단계에서 상기 좌영상과 우영상은 각각 복호되는 수신 시스템의 데이터 처리 방법.
  17. 제 16 항에 있어서, 상기 디스플레이 단계는
    상기 3D 콘텐츠의 포맷 정보와 상기 복호된 좌영상과 우영상을 이용하여 3D 영상을 디스플레이하는 수신 시스템의 데이터 처리 방법.
  18. 제 11 항에 있어서,
    상기 시그널링 정보는 상기 3D 콘텐츠의 복호시에 참조해야하는 영상 정보를 더 포함하며, 상기 참조해야 하는 영상 정보는 상기 3D 콘텐츠의 부호화에 이용된 참조 영상의 시점 식별 정보를 포함하는 수신 시스템의 데이터 처리 방법.
  19. 제 11 항에 있어서,
    상기 시그널링 정보는 상기 3D 콘텐츠를 구성하는 두 시점간에 발생할 수 있는 샘플링 시간 차이에 대한 정보를 더 포함하는 수신 시스템의 데이터 처리 방법.
  20. 삭제
KR1020100020850A 2008-10-10 2010-03-09 수신 시스템 및 데이터 처리 방법 KR100970649B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10427408P 2008-10-10 2008-10-10
US61/104,274 2008-10-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020080111648A Division KR20100040640A (ko) 2008-10-10 2008-11-11 수신 시스템 및 데이터 처리 방법

Publications (2)

Publication Number Publication Date
KR20100040708A KR20100040708A (ko) 2010-04-20
KR100970649B1 true KR100970649B1 (ko) 2010-07-15

Family

ID=42216695

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020080111648A KR20100040640A (ko) 2008-10-10 2008-11-11 수신 시스템 및 데이터 처리 방법
KR1020100020850A KR100970649B1 (ko) 2008-10-10 2010-03-09 수신 시스템 및 데이터 처리 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020080111648A KR20100040640A (ko) 2008-10-10 2008-11-11 수신 시스템 및 데이터 처리 방법

Country Status (4)

Country Link
US (2) US8248461B2 (ko)
EP (1) EP2347598A4 (ko)
KR (2) KR20100040640A (ko)
WO (1) WO2010041896A2 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
WO2011049372A2 (en) * 2009-10-20 2011-04-28 Samsung Electronics Co., Ltd. Method and apparatus for generating stream and method and apparatus for processing stream
WO2011087303A2 (ko) * 2010-01-18 2011-07-21 엘지전자 주식회사 방송 신호 수신기 및 비디오 데이터 처리 방법
US20110202845A1 (en) * 2010-02-17 2011-08-18 Anthony Jon Mountjoy System and method for generating and distributing three dimensional interactive content
US9118896B2 (en) 2010-04-21 2015-08-25 Hitachi Maxell, Ltd. Digital contents receiver, digital contents receiving method and digital contents transmitting and receiving method
KR101127450B1 (ko) * 2010-04-22 2012-03-26 주식회사 디지털존 3ｄ 영상 데이터 포맷을 검출하는 영상 재생 장치 및 재생 방법
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
CN102907107A (zh) * 2010-06-02 2013-01-30 日立民用电子株式会社 接收装置和输出方法
CN107911684B (zh) * 2010-06-02 2020-06-23 麦克赛尔株式会社 接收装置和接收方法
WO2011161957A1 (ja) * 2010-06-23 2011-12-29 パナソニック株式会社 コンテンツ配信システム、再生装置、配信サーバ、再生方法及び配信方法
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9226045B2 (en) 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
JP2012039340A (ja) * 2010-08-06 2012-02-23 Hitachi Consumer Electronics Co Ltd 受信装置および受信方法
KR101355296B1 (ko) 2010-08-09 2014-01-27 파나소닉 주식회사 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치
EP2604041A1 (en) * 2010-08-09 2013-06-19 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
CN103069815B (zh) * 2010-08-17 2016-04-13 Lg电子株式会社 用于接收数字广播信号的设备和方法
KR20120018078A (ko) * 2010-08-19 2012-02-29 삼성전자주식회사 영상 기록 재생 장치, 영상 기록 재생 방법, 및 기록매체
US20120044324A1 (en) * 2010-08-23 2012-02-23 Lg Electronics Inc. Method for providing 3d video in a 3dtv
WO2012030176A2 (ko) * 2010-09-01 2012-03-08 엘지전자 주식회사 3d (3-dimentional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
WO2012036464A2 (ko) * 2010-09-19 2012-03-22 엘지전자 주식회사 방송 수신기 및 3d 비디오 데이터 처리 방법
KR20120042313A (ko) * 2010-10-25 2012-05-03 삼성전자주식회사 입체영상표시장치 및 그 영상표시방법
IT1402995B1 (it) * 2010-11-12 2013-09-27 Sisvel Technology Srl Metodo di elaborazione di un contenuto video tridimensionale e relativo apparato
KR20120058700A (ko) * 2010-11-27 2012-06-08 전자부품연구원 디지털 방송의 전송 모드 제공 및 인지 방법
KR20120058702A (ko) * 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
EP2648407A4 (en) * 2010-12-02 2014-07-30 Korea Electronics Telecomm METHOD AND DEVICE FOR TRANSMITTING STEREOSCOPIC VIDEO CONTENT
US20130250051A1 (en) * 2010-12-13 2013-09-26 Electronics And Telecommunications Research Institute Signaling method for a stereoscopic video service and apparatus using the method
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
JP5815326B2 (ja) * 2011-08-12 2015-11-17 ルネサスエレクトロニクス株式会社 動画像復号装置及び画像表示装置
CN104025586B (zh) * 2011-10-05 2017-05-31 比特安尼梅特有限公司 分辨率增强3d视频渲染系统和方法
KR20130046534A (ko) 2011-10-28 2013-05-08 삼성전자주식회사 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP2013126048A (ja) * 2011-12-13 2013-06-24 Sony Corp 送信装置、送信方法、受信装置および受信方法
US9185442B2 (en) * 2012-03-11 2015-11-10 Broadcom Corporation Dynamic audio/video channel bonding
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
KR102517570B1 (ko) * 2015-02-11 2023-04-05 한국전자통신연구원 3dtv 방송 송수신 장치
CN107847119B (zh) * 2015-08-06 2020-07-10 索尼奥林巴斯医疗解决方案公司 医疗信号处理装置、医疗显示装置和医疗观察系统
JP2020136728A (ja) * 2019-02-13 2020-08-31 キヤノン株式会社 画像処理装置、システム、方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR20070058302A (ko) * 2005-12-02 2007-06-08 한국전자통신연구원 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법
KR20080039797A (ko) * 2006-11-01 2008-05-07 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
KR20080094047A (ko) * 2006-01-12 2008-10-22 엘지전자 주식회사 다시점 비디오의 처리

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100358021B1 (ko) * 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
US5555324A (en) * 1994-11-01 1996-09-10 Massachusetts Institute Of Technology Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene
US20060064716A1 (en) 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
CN1200572C (zh) 2000-12-04 2005-05-04 北京双攀科技发展有限责任公司 一种在现行制式上实现立体电视的方法和装置
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US20040218269A1 (en) 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
AU2003231508A1 (en) 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JPWO2003092304A1 (ja) * 2002-04-25 2005-09-08 シャープ株式会社 画像データ生成装置、画像データ再生装置、および画像データ記録媒体
JP2004193673A (ja) * 2002-12-06 2004-07-08 Sony Corp 受信装置及び方法、再生装置及び方法、並びに記録再生装置及び方法
JP4259884B2 (ja) 2003-01-20 2009-04-30 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
WO2004093467A1 (ja) 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha ３次元画像作成装置、３次元画像再生装置、３次元画像処理装置、３次元画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
US7580178B2 (en) * 2004-02-13 2009-08-25 Angstrom, Inc. Image-guided microsurgery system and method
JP4421940B2 (ja) 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
WO2007007923A1 (en) 2005-07-11 2007-01-18 3R Inc. Apparatus for encoding and decoding multi-view image
KR100747550B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
WO2007067020A1 (en) 2005-12-09 2007-06-14 Electronics And Telecommunications Research Institute System and method for transmitting/receiving three dimensional video based on digital broadcasting
KR100747598B1 (ko) 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
US8749615B2 (en) 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
WO2008156318A2 (en) 2007-06-19 2008-12-24 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
KR101506219B1 (ko) 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
BRPI0904620A2 (pt) 2008-09-30 2020-08-18 Panasonic Corporation meio de gravação , dispositivo de reprodução, sistema lsi, método de reprodução,óculos, e dispositivo de exibição para imagens 3d
CN102232295A (zh) * 2008-09-30 2011-11-02 松下电器产业株式会社 再现装置、记录介质及集成电路
JP5577805B2 (ja) 2010-04-08 2014-08-27 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US9237366B2 (en) 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR20070058302A (ko) * 2005-12-02 2007-06-08 한국전자통신연구원 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법
KR20080094047A (ko) * 2006-01-12 2008-10-22 엘지전자 주식회사 다시점 비디오의 처리
KR20080039797A (ko) * 2006-11-01 2008-05-07 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치

Also Published As

Publication number Publication date
US20100271465A1 (en) 2010-10-28
EP2347598A4 (en) 2014-05-28
US20130314499A1 (en) 2013-11-28
US8248461B2 (en) 2012-08-21
EP2347598A2 (en) 2011-07-27
KR20100040640A (ko) 2010-04-20
WO2010041896A3 (en) 2010-07-22
WO2010041896A2 (en) 2010-04-15
US9712803B2 (en) 2017-07-18
US20160373721A9 (en) 2016-12-22
KR20100040708A (ko) 2010-04-20

Similar Documents

Publication Publication Date Title
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
US20130002819A1 (en) Receiving system and method of processing data
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
JP6034420B2 (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
CN102461183B (zh) 广播发射机、广播接收机及其3d视频处理方法
KR101648455B1 (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
KR101653319B1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9485490B2 (en) Broadcast receiver and 3D video data processing method thereof
US20130250051A1 (en) Signaling method for a stereoscopic video service and apparatus using the method
KR101556149B1 (ko) 수신 시스템 및 데이터 처리 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140624

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150624

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160624

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170614

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180614

Year of fee payment: 9