KR101831775B1 - 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 - Google Patents

멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 Download PDF

Info

Publication number
KR101831775B1
KR101831775B1 KR1020110128643A KR20110128643A KR101831775B1 KR 101831775 B1 KR101831775 B1 KR 101831775B1 KR 1020110128643 A KR1020110128643 A KR 1020110128643A KR 20110128643 A KR20110128643 A KR 20110128643A KR 101831775 B1 KR101831775 B1 KR 101831775B1
Authority
KR
South Korea
Prior art keywords
data
synchronization information
eye image
information
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110128643A
Other languages
English (en)
Other versions
KR20120063431A (ko
Inventor
박홍석
이재준
주유성
장용석
김희진
이대종
장문석
김용태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP11846165.6A priority Critical patent/EP2651142A4/en
Priority to US13/992,355 priority patent/US9628771B2/en
Priority to CN2011800592066A priority patent/CN103262554A/zh
Priority to MX2013006515A priority patent/MX2013006515A/es
Priority to JP2013543098A priority patent/JP2014504083A/ja
Priority to PCT/KR2011/009442 priority patent/WO2012077982A2/ko
Publication of KR20120063431A publication Critical patent/KR20120063431A/ko
Application granted granted Critical
Publication of KR101831775B1 publication Critical patent/KR101831775B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management e.g. creating a master electronic programme guide from data received from the Internet and a Head-end or controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

좌안 영상 및 제1 동기화정보를 포함하는 제1 신호와, 우안 영상 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 수신부, 제1 동기화 정보 및 제2 동기화 정보를 이용하여 좌안 영상 및 상기 우안 영상을 동기화시켜 재생하는 신호 처리부를 포함한다. 제1 및 제2 동기화 정보로는 컨텐츠 스타트 정보, 제1 데이터 및 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나가 사용될 수 있다. 이에 따라, 서로 다른 데이터의 동기화를 효과적으로 수행할 수 있다.

Description

멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 { TRANSMITTER AND RECEIVER FOR TRANSMITTING AND RECEIVING MULTIMEDIA CONTENT, AND REPRODUCING METHOD THEREOF }
본 발명은 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와 그 재생 방법에 관한 것으로, 보다 구체적으로는, 하나의 멀티미디어 컨텐츠를 서로 다른 경로를 통해 송수신하는 송신 장치 및 수신 장치와 그 재생 방법에 대한 것이다.
전자 기술의 발달에 힘입어, 다양한 유형의 전자 장치가 개발 및 보급되고 있다. 이들 전자 장치의 대표적인 예로 TV와 같은 수신 장치를 들 수 있다.
최근에는 TV의 성능이 좋아짐에 따라 3D 컨텐츠와 같은 멀티미디어 컨텐츠까지도 서비스되고 있다. 3D 컨텐츠는 좌안 영상 및 우안 영상을 포함하기 때문에, 기존의 2D 컨텐츠보다 컨텐츠의 사이즈가 크다.
하지만, 방송 망에서 사용되는 전송 대역 폭은 제한적이다. 단일 방송 망에서 3D 컨텐츠를 제공하기 위해서는 해상도를 줄여야 할 필요가 있으며, 이에 따라 화질이 열화된다는 문제점이 있었다.
이러한 문제점을 극복하기 위하여, 좌안 영상 및 우안 영상을 서로 다른 경로를 통해서 전송하고, 수신 장치에서 이를 조합하여 3D 컨텐츠를 재생하도록 하는 기술이 대두되었다.
일반적으로, 수신 장치에서는 각 영상의 타임 스탬프, 즉, PTS를 참조하여 좌안 영상 및 우안 영상을 동기화시킨다. 따라서, 동기화가 정상적으로 이루어지려면 두 영상의 타임 스탬프가 정확하게 일치하여야 한다. 하지만, 좌안 영상 및 우안 영상을 생성하기 위한 송신 장치가 서로 분리되어 있거나 좌안 영상 및 우안 영상을 생성하는 시간이 서로 다른 경우, 두 영상의 타임 스탬프가 정확하게 일치하기 어렵다. 이에 따라, 동기화가 어려워진다는 문제점이 있었다.
따라서, 고해상도의 멀티미디어 컨텐츠가 수신 장치에서 효과적으로 재생될 수 있도록 하는 기술의 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 서로 다른 데이터를 서로 다른 경로를 통해 송수신하면서, 그 데이터를 동기화시킬 수 있는 동기화 정보를 함께 제공하여 데이터를 재생할 수 있도록 하는 송신 장치 및 수신 장치와 그 재생 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 수신 장치는, 좌안 영상 및 제1 동기화정보를 포함하는 제1 신호와, 우안 영상 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 수신부, 상기 제1 동기화 정보 및 상기 제2 동기화 정보를 이용하여 상기 좌안 영상 및 상기 우안 영상을 동기화시켜 재생하는 신호 처리부를 포함한다.
여기서, 상기 제1 동기화 정보 및 상기 제2 동기화 정보는, 상기 좌안 영상 및 상기 우안 영상으로 구성되는 컨텐츠의 시작 시점을 알리는 컨텐츠 스타트 정보를 포함할 수 있다.
이 경우, 상기 신호 처리부는, 상기 컨텐츠의 시작 시점과 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프를 각각 비교하고, 비교 결과에 따라 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 중 적어도 하나를 보정하여 동기화시킬 수 있다.
또는, 상기 제1 동기화 정보 및 상기 제2 동기화 정보는 각각 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 간의 차이 값을 포함할 수 있다. 이 경우, 상기 신호 처리부는, 상기 차이 값을 이용하여 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 중 적어도 하나를 보정 하여 동기화시킬 수 있다.
또는, 상기 제1 동기화 정보는 상기 좌안 영상의 프레임 인덱스를 포함하고, 상기 제2 동기화 정보는 상기 우안 영상의 프레임 인덱스를 포함할 수 있다. 이 경우, 상기 신호 처리부는, 상기 좌안 영상의 프레임 인덱스 및 상기 우안 영상의 프레임 인덱스를 비교하여, 동일한 프레임 인덱스를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리할 수 있다.
또는, 상기 제1 동기화 정보는 상기 좌안 영상의 타임 코드를 포함하고, 상기 제2 동기화 정보는 상기 우안 영상의 타임 코드를 포함할 수 있다. 이 경우, 상기 신호 처리부는, 상기 좌안 영상의 타임 코드 및 상기 우안 영상의 타임 코드를 비교하여, 동일한 타임 코드를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리할 수 있다.
또는, 상기 제1 동기화 정보 및 제2 동기화 정보는 UTC(Coordinated Universal Time) 정보를 포함할 수 있으며, 이 경우, 상기 신호 처리부는 상기 UTC 정보를 비교하여 동일한 UTC를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리할 수 있다.
한편, 상술한 수신 장치는, 상기 제1 신호 및 제2 신호 중 적어도 하나를 분석하여 룩업 테이블을 생성하는 신호 분석부, 상기 룩업 테이블을 저장하는 저장부, 상기 룩업 테이블에 따라 서로 매칭되는 좌안 영상 및 우안 영상을 동기화시켜 재생하도록 상기 신호 처리부를 제어하는 제어부를 포함할 수 있다. 여기서, 상기 제1 신호 및 상기 제2 신호 중 적어도 하나는 실시간 전송 스트림일 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 송신 장치는, 멀티미디어 컨텐츠를 구성하는 제1 데이터 및, 상기 멀티미디어 컨텐츠를 구성하는 제2 데이터와의 동기화를 위한 동기화 정보를 포함하는 전송 데이터를 생성하는 데이터 생성부, 상기 데이터 생성부에서 제공되는 전송 데이터를 전송 신호로 변환하여 수신장치로 전송하는 전송부를 포함한다.
여기서, 상기 동기화 정보는, 상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스 중 적어도 하나를 포함할 수 있다.
그리고, 상기 데이터 생성부는, 상기 제1 데이터 및 시그널링 정보를 입력받는 입력부, 상기 제1 데이터를 인코딩하고, 상기 시그널링 정보를 이용하여 상기 동기화 정보를 생성하여 상기 인코딩된 제1 데이터에 부가하는 부호화 처리부, 상기 부호화 처리부에서 생성된 데이터에 부가 데이터를 먹싱하여 상기 전송 데이터를 생성하는 다중화부를 포함할 수 있다.
여기서, 상기 제1 데이터는 적어도 하나의 영상 프레임에 대한 데이터를 포함하며, 상기 동기화 정보는, 상기 영상 프레임의 타임 코드 정보가 될 수 있다.
한편, 상기 제1 데이터는 3D 프레임을 구성하기 위한 좌안 영상 및 우안 영상 중 하나를 포함하며, 상기 제2 데이터는 상기 좌안 영상 및 상기 우안 영상 중 다른 하나를 포함할 수 있다.
또는, 상기 제1 데이터는 상기 멀티미디어 컨텐츠를 구성하는 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 적어도 하나의 데이터를 포함하며, 상기 제2 데이터는 상기 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 나머지 데이터를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 멀티미디어 컨텐츠를 재생하는 재생 방법은, 멀티미디어 컨텐츠를 구성하는 제1 데이터 및 제1 동기화 정보를 포함하는 제1 신호와, 상기 멀티미디어 컨텐츠를 구성하는 제2 데이터 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 단계, 상기 제1 동기화 정보 및 상기 제2 동기화 정보를 이용하여 상기 제1 데이터 및 상기 제2 데이터를 동기화시켜, 상기 멀티미디어 컨텐츠를 재생하는 단계를 포함한다. 여기서, 상기 제1 동기화 정보 및 상기 제2 동기화 정보는, 상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나를 각각 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 서로 다른 경로를 통해 다른 데이터를 송수신하여 전송 대역 폭 제한을 극복하면서, 동기화 정보를 이용하여 데이터가 효과적으로 재생될 수 있도록 한다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 컨텐츠 재생 시스템의 구성을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 도면,
도 3은 스트림 내의 PMT를 이용하여 동기화 정보를 전송하는 과정을 설명하기 위한 도면,
도 4는 PMT 내에 동기화 정보가 삽입되는 방법을 설명하기 위한 도면,
도 5는 TS 어댑테이션 필드를 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 6은 PES 헤더를 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 7은 EIT 테이블을 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 8은 프라이빗 스트림을 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 9는 프레임 인덱스를 동기화 정보로 사용하는 실시 예에서의 스트림 구성을 나타내는 도면,
도 10은 저장 파일 포맷에서의 동기화 정보 삽입 방법의 일 예를 나타내는 도면,
도 11은 전송 스트림 내에서 별도의 프라이빗 스트림을 이용하여 프레임 인덱스를 제공하는 방법을 설명하기 위한 도면,
도 12는 타임 코드를 동기화 정보로 사용하는 실시 예에서의 동기화 방법을 설명하기 위한 도면,
도 13은 타임 코드를 전송하는 방법의 일 예를 설명하기 위한 도면,
도 14는 GoP 헤더에 타임 코드를 삽입한 구조를 설명하기 위한 도면,
도 15는 별도의 프라이빗 스트림을 이용하여 타임 코드를 전송한 제1 및 제2 신호를 비교하여 동기화하는 방법을 설명하기 위한 도면,
도 16은 본 발명의 다른 실시 예에 따른 수신 장치의 구성을 나타내는 도면,
도 17은 룩업 테이블을 이용한 동기화 방법을 설명하기 위한 도면,
도 18은 프레임 인덱스가 기록된 룩업 테이블을 이용한 동기화 방법을 설명하기 위한 도면,
도 19 내지 도 21은 타임 코드를 이용하여 동기화하는 수신 장치의 다양한 구성 예를 나타내는 도면,
도 22는 타임 코드를 포함하는 비디오 기초 스트림(Elementary Stream : ES)의 구성을 나타내는 도면,
도 23은 타임 코드를 포함하는 오디오 기초 스트림(Elementary Stream : ES)의 구성을 나타내는 도면,
도 24는 타임 코드를 포함하는 PMT(Program Map Table)의 구성을 나타내는 도면,
도 25 및 도 26은 본 발명의 일 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도,
도 27은 프라이빗 스트림을 이용하여 타임 코드를 전송하는 송신 장치 구성의 일 예를 나타내는 블럭도,
도 28 및 도 29는 복수의 송신 장치에서 동기화 정보를 공유하는 다양한 방법을 설명하는 도면,
도 30은 UTC 또는 프레임 카운트 값을 이용하여 복수의 데이터들을 동기화시키는 방법을 설명하기 위한 도면,
도 31 및 도 32는 본 발명의 다양한 실시 예에 따른 멀티미디어 컨텐츠의 재생 방법을 설명하기 위한 흐름도이다.
이하에서 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 컨텐츠 재생 시스템의 구성을 나타내는 도면이다. 도 1에 따르면, 멀티미디어 컨텐츠 재생 시스템은 복수의 송신장치(200-1, 200-2)와, 수신 장치(100)를 포함한다.
송신 장치 1, 2(200-1, 200-2)는 서로 다른 신호를 서로 다른 경로로 전송한다. 도 1의 경우를 예로 들면, 송신 장치 1(200-1)은 방송망을 통해서 제1 신호를 전송하고, 송신 장치 2(200-2)는 네트워크(10)를 통해서 제2 신호를 전송한다.
제1 신호 및 제2 신호는 하나의 멀티미디어 컨텐츠를 구성하는 서로 다른 데이터를 각각 포함한다. 예를 들어, 3D 컨텐츠의 경우에는 좌안 영상 및 우안 영상이 각각 제1 신호 및 제2 신호에 포함될 수 있다. 또는, 비디오 데이터 및 오디오 데이터로 구분되거나, 동영상 데이터 및 자막 데이터, 기타 데이터 등으로 구분되어 각각 제1 신호 및 제2 신호에 포함될 수 있다.
제1 신호에는 제1 데이터와 함께 제1 동기화 정보가 포함되고, 제2 신호에는 제2 데이터와 함께 제2 동기화 정보가 포함된다.
제1 및 제2 동기화 정보로는 다양한 정보가 사용될 수 있다. 구체적으로는, 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 제1 데이터 및 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나가 동기화 정보로 사용될 수 있다.
MPEG 규격에 따르면, 방송 데이터를 전송하는 전송 스트림에는 PCR(Program Clock Reference) 및 PTS(Presentation Time Stamp) 등이 포함된다.
PCR이란 MPEG 규격에 따르는 수신 장치(셋톱박스나 TV 등)에서 시각 기준을 송신기 측에 맞추도록 하는 참조 시간 정보를 의미한다. 수신장치에서는 PCR에 따라서 STC(System Time Clock)의 값을 맞추게 된다. PTS는 MPEG 규격에 따른 방송 시스템에서 영상 및 음성의 동기화를 위한 재생 시각을 알려주는 타임 스탬프를 의미한다. 본 명세서에서는 타임 스탬프라고 명명한다.
서로 다른 신호가 서로 다른 송신 장치(100-1, 100-2)에서 전송되는 경우에는, 송신 장치(100-1, 100-2)의 특성에 따라 PCR이 다를 수 있다. 그렇기 때문에, PCR에 맞춘 타임 스탬프에 따라 재생을 하더라도, 동기화가 이루어지지 않을 수 있다.
본 시스템에서 수신 장치(200)는 동기화 정보를 이용하여 타임 스탬프를 보정하거나, 동기화 정보를 직접 비교하여 동기화를 수행한다.
도 2는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 2에 따르면, 수신 장치(100)는 수신부(110) 및 신호 처리부(120)를 포함한다.
수신부(110)는 복수의 서로 다른 신호를 서로 다른 경로를 통해 각각 수신한다. 3D 컨텐츠인 경우, 좌안 영상 및 제1 동기화정보를 포함하는 제1 신호와, 우안 영상 및 제2 동기화 정보를 포함하는 제2 신호를 각각 수신할 수 있다.
제1 신호 및 제2 신호는 모두 실시간 전송 스트림일 수도 있고, MP4 파일과 같은 저장 파일 포맷일 수도 있다.
신호 처리부(120)는 제1 동기화 정보 및 제2 동기화 정보를 이용하여 좌안 영상 및 우안 영상을 동기화시켜 재생한다. 도 2에서는 도시되지 않았으나, 신호 처리부(120)는 디먹스, 디코더, 렌더링부, 디스플레이부 등을 포함할 수 있다.
신호 처리부(120)는 수신 장치(100)의 종류에 따라 상이한 방식으로 3D 프레임을 구성할 수 있다. 즉, 편광 방식의 경우에는, 신호 처리부(120)는 동기화된 좌안 영상의 일부 및 우안 영상의 일부를 교번적으로 배열하여 하나 또는 두 개의 프레임으로 구성할 수 있다. 이에 따라 렌티큘러 렌즈 또는 패러랙스 배리어가 부가된 디스플레이 패널을 통해 해당 프레임을 출력할 수 있다.
또는, 셔터 글래스 방식의 경우에는, 신호 처리부(120)는 동기화된 좌안 영상 및 우안 영상을 교번적으로 배치하여 디스플레이 패널을 통해 순차적으로 디스플레이할 수 있다.
한편, 제1 및 제2 동기화 정보로는 실시 예에 따라서 다양한 정보들이 이용될 수 있다.
구체적으로는, 컨텐츠 스타트 정보가 동기화 정보로 사용되는 실시 예에서는, 신호 처리부(120)는 컨텐츠 스타트 정보를 이용하여 멀티미디어 컨텐츠의 시작 시점을 파악한다. 그리고, 제1 데이터에 포함된 프레임의 타임 스탬프와 제2 데이터에 포함된 프레임의 타임 스탬프를 시작 시점과 각각 비교한다. 비교 결과에 따라, 각 데이터들의 프레임 인덱스를 추출할 수 있으며, 추출된 프레임 인덱스를 이용하여 동기화를 수행한다.
즉, 제1 신호의 L2 프레임의 타임 스탬프와 제2 신호의 R2 프레임의 타임 스탬프가 서로 다르더라도 제1 신호 및 제2 신호가 구성하는 컨텐츠의 시작 시점과 L2 프레임의 타임 스탬프간의 차이, 시작 시점과 R2 프레임의 타임 스탬프 간의 차이가 같으면 L2 프레임과 R2 프레임을 동기화시켜서 n+1 프레임을 생성한다.
신호 처리부(120)는 컨텐츠 스타트 정보와 타임 스탬프를 비교하여 프레임 인덱스를 검출할 수 있다. 가령, 제1 신호에서 컨텐츠 스타트 정보(PTSH_Start)가 100이고, 좌안 영상 L1 프레임의 타임 스탬프(PTS)가 100이라면 PTS - PTSH_Start = 0이 된다. 다음 좌안 영상인 L2 프레임의 타임 스탬프(PTS)가 115라면 PTS - PTSH_Start = 15가 된다. 이 경우, 신호 처리부(120)는 타임 스탬프 인터벌을 15으로 두고 L1 프레임을 n번째 프레임, L2 프레임을 n+1 프레임에 매칭한다. 반면, 제2 신호에서 컨텐츠 스타트 정보가 300이고, R1 프레임의 타임 스탬프가 300, R2 프레임의 타임 스탬프가 330이라고 가정하면, 신호 처리부(120)는 타임 스탬프 인터벌을 30으로 두고 R1 프레임을 n번째 프레임, R2 프레임을 n+1 프레임에 매칭한다.
신호 처리부(120)는 매칭되는 두 프레임의 타임 스탬프가 동일해지도록, 우안 영상 프레임의 타임 스탬프 또는 좌안 영상 프레임의 타임 스탬프를 보정한다.
우안 영상 프레임은 좌안 영상 프레임의 다음 프레임에 매칭된다. 신호 처리부(120)는 우안 영상 프레임의 타임 스탬프를 좌안 영상 프레임의 다음 프레임의 타임 스탬프와 동일해지도록 보정하여, 동기화시킨다.
다른 실시 예에서는, 두 데이터 간의 타임 스탬프 차이값이 동기화 정보로 사용될 수 있다. 즉, 제1 동기화 정보 및 제2 동기화 정보는 각각 좌안 영상의 타임 스탬프 및 우안 영상의 타임 스탬프 간의 차이 값을 포함할 수 있다. 이 경우, 신호 처리부(120)는 그 차이값을 반영하여 좌안 영상의 타임 스탬프 및 우안 영상의 타임 스탬프 중 적어도 하나를 보정하여 동기화시킨다.
컨텐츠 스타트 정보, 타임 스탬프 차이값 정보 등은 EIT(Event Information Table), PMT, 프라이빗 스트림, 전송 스트림 헤더 등에 기록될 수 있다.
또는, 저장 파일 포맷인 MP4 파일로 전송되는 경우에는 저장 파일의 특성 상 컨텐츠의 스타트 지점부터 기록이 되어 있기 때문에 별도의 컨텐츠 스타트 정보를 제공할 필요가 없다. 다만, 컨텐츠 스타트 정보, 타임 스탬프 차이값 정보를 기반으로 추출한 실시간 전송 스트림의 프레임 인덱스와 동기화를 수행하기 위하여 저장 파일 또한 프레임 인덱스 값을 추출할 수 있어야 한다. MP4 파일의 경우 stts, ctts 박스를 통해 타임 스탬프에 해당하는 재생 타이밍 관련 정보가 제공된다. 이를 통해 MP4 파일의 스타트 지점으로부터의 재생 순서를 구할 수 있다. 재생 순서는 프레임 인덱스와 일치하기 때문에 이를 이용하여 실시간 전송 스트림의 프레임 인덱스와 동기화를 수행할 수 있다.
다른 실시 예에서는 프레임 인덱스 정보가 동기화 정보로 사용될 수 있다. 프레임 인덱스 정보는 각 프레임마다 부여되는 식별 정보를 의미한다. 프레임 인덱스 정보는 실시간 전송 스트림의 EIT(Event Information Table), PMT, 프라이빗 스트림, 전송 스트림 헤더 등에 기록될 수 있다. 신호 처리부(120)는 동일한 프레임 인덱스를 가지는 프레임의 타임 스탬프가 동일해지도록 보정을 수행할 수 있다.
도 3은 프로그램 맵 테이블(Program Map Table : PMT)을 포함하는 제1 신호 및 제2 신호의 구성을 나타낸다. 도 3에 따르면, PMT는 제1 신호, 제2 신호 내에서 주기적으로 포함되어 전송된다. 상술한 컨텐츠 스타트 정보, 타임 스탬프 차이값, 프레임 인덱스 등과 같은 다양한 동기화 정보는 이러한 PMT 내에 포함되어 전송될 수 있다.
도 4는 PMT의 구조를 나타내는 도면이다. 도 4에 따르면, 각종 동기화 정보는 PMT 내의 리저브 영역(Reserved area)이나 신규 descriptor, 기존 descriptor의 확장 영역 등을 이용하여 전송될 수 있다.
도 5는 전송 스트림의 어댑테이션 필드를 이용하여 각종 동기화 정보를 전송하는 방식을 설명하기 위한 도면이다. 도 5에서는 어댑테이션 필드 내에 random_access_indicator, transport_private_data_flag, private_data_byte 등이 마련된다. random_access_indicator는 1 비트로 구현되며, 1로 세팅될 경우 시퀀스 헤더의 시작을 의미한다. 즉, 전송 스트림의 임의 접근 시점을 나타낸다. transport_private_data_flag도 1 비트로 구현되며, 1로 세팅될 경우 프라이빗 데이터가 1 바이트 이상 존재한다는 것을 의미한다. private_data_byte는 4 내지 5 바이트로 구현되며, 이 부분에 컨텐츠 스타트 정보, 타임 스탬프 차이값, 프레임 인덱스 등과 같은 동기화 정보가 포함될 수 있다.
도 6은 PES 헤더를 이용한 동기화 정보 전달 방법을 나타낸다. PES 패킷 헤더는 프레임 단위로 제공되므로 PES_private_data 부분에 각종 동기화 정보를 기록하여 전송할 수 있다. 도 6에 따르면, PES_private_data_flag를 1로 세팅하고, PES_private_data 부분에 동기화 정보를 기록할 수 있다.
도 7은 이벤트 정보 테이블(Event Information Table : EIT)을 이용하여 컨텐츠 스타트 정보나 타임 스탬프 차이값, 프레임 인덱스 등과 같은 동기화 정보를 전달하는 방법을 나타낸다. 이러한 정보들은 EIT의 reserved 영역이나 신규 또는 기존 descriptor 확장 영역에 기록되어 전송될 수 있다.
도 8은 프라이빗 스트림을 이용한 동기화 정보 방식을 나타낸다. 도 8에 도시된 바와 같이, 컨텐츠 스타트 정보, 타임 스탬프 정보, 프레임 인덱스 정보 등의 동기화 정보가 기록된 프라이빗 스트림, 즉, 데이터 비트 스트림을 기초 스트림(Program Elementary Stream : PES)과 별도로 포함시켜 전송할 수 있다. 이 경우, PES 헤더의 스트림 ID는 기 정의된 0xBD, 0xBF 이외에 예약되어 있는 값의 사용도 가능하다. 그 밖에, 타임코드나, UTC나 프레임 카운트 정보 등도 프라이빗 스트림을 이용하여 전송될 수 있다. 이에 대해서는 후술한다.
도 9는 동기화 정보 중 프레임 인덱스를 포함하는 전송 스트림 구성의 일 예를 나타낸다. MPEG 규격에 따르면, 전송 스트림은 비디오, 오디오, 기타 데이터를 전송한다. 각 프로그램의 정보는 프로그램 맵 테이블(Program Map Table : PMT)에 기록된다.
도 9에서는 프레임 인덱스가 PMT에 삽입된 구조를 나타내지만, 다른 실시 예에서는 비디오 스트림 헤더, 오디오 스트림 헤더, TS 헤더 등에 삽입될 수도 있다.
도 9에 따르면, 각 PMT에는 그 다음 프레임의 프레임 인덱스가 기록된다. 각 프레임 사이에 두 개 이상의 PMT가 제공되는 경우에는 Hybridstream_Info_Descriptor()의 값은 같은 프레임 인덱스를 가리키도록 정의한다. 송신 장치의 멀티플렉서에서 I 프레임 단위로 Descriptor()를삽입할 수 있으면, 데이터의 중복을 방지할 수도 있다.
수신 장치(100)에서는 각 PMT를 참고하여 프레임의 인덱스를 검출한 후, 이를 이용하여 제1 신호 및 제2 신호의 각 프레임들을 동기화시킬 수 있다.
한편, 데이터가 실시간 전송 스트림이 아닌 비실시간 스트림 형태로 전송되는 경우에는 프레임 인덱스는 도 9와 상이한 방식으로 제공될 수 있다.
도 10은 MP4 파일에 기록되어 전송되는 실시 예를 도시하였다. 도 10에 따르면, 프레임 인덱스 등의 동기화 정보는 MP4 파일 디렉토리 내에서 stts, stsc 등의 박스에 기록될 수도 있다. 또는, ISO media base file format(14496-12)에서 추가 박스(box)를 정의하거나, 기 정의된 박스 내 필드를 확장하여 타임 코드를 제공할 수도 있다. 일 예로, 랜덤 액세스를 제공하는 "stss(sync sample table)" 박스를 확장하여 타임 코드를 제공할 수도 있다.
도 9 및 도 10에서는 프레임 인덱스가 삽입된 경우를 설명하였으나, 기타 동기화 정보도 도 9 및 도 10에 도시된 방식으로 전송될 수 있음은 물론이다.
또한, 도 1에서는 제1 신호 및 제2 신호로 설명하였으나, 제1 신호는 메인 스트림, 제2 신호는 하이브리드 스트림으로 명명할 수도 있다. 도 9 및 도 10은 하이브리드 스트림의 구조를 예시하였으나, 메인 스트림도 동일한 구조의 스트림으로 이루어질 수도 있다. 이 경우, 도 9의 descriptor 명칭은 변경될 수 있음은 자명하다.
도 11은 프레임 인덱스가 별도의 프라이빗 스트림을 통해서 전송되는 경우를 나타내는 도면이다. 도 11에 도시된 바와 같이, 제1 신호에서 비디오 또는 오디오와 같은 멀티미디어 스트림과 별도로 프라이빗 스트림이 제공될 수 있으며, 해당 프라이빗 스트림을 통해 제2 신호와 동기화되는 프레임 인덱스 값을 제공할 수 있다. 이 경우, 제2 신호 역시 도 11과 같은 구조의 실시간 전송 스트림이라면 해당 전송 스트림의 프라이빗 스트림으로부터 프레임 인덱스를 검출하여, 동기화 시킬 수 있다.
한편, 제2 신호가 도 10에 도시된 구조를 가지는 저장 파일 포맷이라면, 그 저장 파일의 stbl 박스 등으로부터 프레임 인덱스를 확인하여, 제1 신호의 프레임 인덱스와 비교할 수 있다.
한편, 또 다른 실시 예에서는 타임 코드, UTC(Coordinated Universal Time) 정보, 프레임 카운트 정보 등도 동기화 정보로 사용될 수 있다.
도 12는 타임 코드를 동기화 정보로 이용하여 프레임을 동기화시키는 실시 예에 대한 설명이다. 타임 코드는 타임 코드 생성기에 의해 만들어지는 일련의 펄스 신호로, 용이한 편집 관리를 위해 개발된 신호 규격이다. 컨텐츠 제작 및 편집 시에는 좌안 영상 및 우안 영상의 동기화된 관리를 위하여 동일한 타임 코드를 사용한다. 따라서, 타임 코드는 스트림 생성 또는 송출 시점과 관계없이 동일한 쌍(pair)를 유지할 수 있다.
구체적으로는, SMPTE(Society of Motion Picture and Television Engineers) 타임 코드가 사용될 수 있다. 즉, SMPTE 12M에서는 "시:분:초:프레임"의 형식으로 타임 코드를 표현한다. SMPTE 타임 코드는 기록 방식에 따라 LTC(Longitude Time Code) 또는 VITC(Vertical Interval Time Code)로 구분될 수 있다. LTC는 테이프의 진행 방향에 따라 기록된다. LTC의 경우, 시각정보(25bits), 사용자 정보(32bits), 동기정보(16bits), 보존 영역(4bits), 프레임 모드 표시(2bits)를 포함하여 총 80 bits의 데이터로 구성될 수 있다. VITC는 비디오 신호의 수직 귀선 기간 내의 2 개의 수평 라인에 기록된다.
SMPTE RP-188 에서는 LTC 또는 VITC 타입의 타임코드가 ancillary data로 전송될 수 있는 인터페이스 규격을 정의하고 있다. 타임코드 및 타임 코드와 관련된 부가 정보를 신규 정의하여, 이러한 인터페이스 규격에 따라 전송할 수 있다.
타임 코드와 관련된 부가 정보로는, 좌안 영상 및 우안 영상의 타임 코드가 일치하지 않을 경우에 제공되는 타 영상에 대한 타임 코드, 현재 영상이 입체 영상인지 여부를 알려주기 위한 2D/3D 전환 정보, 입체 영상의 시작점 정보 등이 있을 수 있다. 이러한 부가 정보는 사용자 정보 영역 또는 보존 영역(혹은 무배정 영역)을 통해 제공하여 줄 수 있다. 또한, 타임 코드를 포함하지 않는 미디어의 경우에는 네트워크 프로토콜에서 타임 코드 공간을 확장 정의하여 사용할 수 있다. 예를 들어, RTP header extension을 통해 타임 코드를 제공하여 줄 수도 있다.
송신 장치(200-1, 200-2)에서는 좌안 영상의 타임 코드, 우안 영상의 타임 코드 정보를 각각 제1 동기화 정보 및 제2 동기화 정보로 이용하여, 좌안 영상 및 우안 영상과 함께 전송한다.
수신 장치(100)는 수신된 타임 코드를 이용하여 좌안 영상 및 우안 영상의 타임 스탬프를 보정하거나, 타임 코드를 직접 비교하여 동일한 타임 코드를 가지는 좌안 영상 및 우안 영상을 바로 검출하는 방식으로 동기화시킬 수 있다.
타임 코드는 비디오 기초 스트림(MPEG GoP 등), 오디오 기초 스트림, 전송 스트림 헤더, 프라이빗 스트림, PMT 등에 기록될 수 있다. 전송 스트림 헤더에 기록되는 경우 Random access Indicator, Transport_private_data_flag 영역, Private_data_byte 영역 등이 사용될 수 있다.
도 13은 GoP 헤더 내에 타임 코드가 기록된 MPEG 스트림의 구성을 나타낸다. 도 14은 도 13의 GoP 헤더의 신택스 구조의 일 예를 나타낸다.
도 14에 따르면, 타임 코드(time code)는 25bits의 데이터로 기록될 수 있다. 도 13 및 도 14에 도시된 바와 같이 타임 코드는 GoP 단위로 수신 장치(100)에 전달될 수 있다.
도 15는 타임 코드가 별도의 프라이빗 스트림을 통해서 제공되는 경우를 나타낸다. 제1 신호에서 비디오 또는 오디오 스트림과 별도로 프라이빗 스트림이 제공된다. 프라이빗 스트림에는 제2 신호와 동기화하기 위한 타임 코드가 포함된다. 제2 신호에서도 비디오 또는 오디오 스트림과 별도로 프라이빗 스트림이 제공된다. 수신 장치(100)는 제1 신호 및 제2 신호의 프라이빗 스트림 내에 기록된 타임 코드를 비교한다. 이에 따라 동일한 타임 코드를 가지는 PTS1, DTS1의 제1 신호 데이터와, PTS1', DTS1'의 제2 신호 데이터를 동기화시켜 재생한다. 나머지 신호 데이터들에 대해서도 타임 코드를 비교하여 동기화시킨다.
프라이빗 스트림을 포함하는 전송 스트림의 구성은 상술한 도 8과 같이 구현될 수 있다. 도 8에 도시된 바와 같이, 타임 코드가 기록된 프라이빗 스트림, 즉, 데이터 비트 스트림을 기초 스트림(Program Elementary Stream : PES)과 별도로 포함시켜 전송할 수 있다. 이 경우, PES 헤더의 스트림 ID는 기 정의된 0xBD, 0xBF 이외에 예약되어 있는 값의 사용도 가능하다. 그 밖에, UTC나 프레임 카운트 정보 등도 타임코드와 유사하게 전송될 수 있으므로, 이에 대해서는 도시 및 설명을 생략한다.
도 16은 본 발명의 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 16에 따르면, 수신 장치는 수신부(110), 신호 처리부(120) 이외에 신호 분석부(130), 저장부(140), 제어부(150)를 포함한다.
수신부(110)는 제1 수신부(111), 제2 수신부(112)를 포함한다. 각 수신부(111, 112)는 서로 다른 경로를 통해 전송되는 제1 신호 및 제2 신호를 각각 수신한다. 제1 및 제2 수신부(111, 112)의 구성은 그 통신 경로에 따라 다양하게 구현될 수 있다. 예를 들어, 방송 망을 통해 전송되는 신호를 수신하기 위한 모듈인 경우에는 안테나, 튜너, 복조부, 등화부 등과 같은 구성요소들을 포함할 수 있다. 네트워크를 통해 신호를 수신하는 경우에는 네트워크 통신 모듈을 포함할 수 있다.
신호 분석부(130)는 제1 신호 및 제2 신호 중 적어도 하나를 분석하여 룩업 테이블을 생성한다. 서로 다른 신호가 서로 다른 경로를 통해 수신되기 때문에, 제1 신호 및 제2 신호 중 하나는 다른 신호보다 늦게 수신될 수 있다. 예를 들어, 방송 중간에 채널을 변경하여, 3D 컨텐츠의 시작 시점보다 채널 변경 시점이 늦은 경우가 발생할 수 있다. 이 때, 제1 신호 및 제2 신호가 모두 실시간 전송 스트림인 경우에도, 제1 신호 및 제2 신호가 빠르게 동기화되어야 한다. 이러한 점을 고려하여, 동기화 정보를 이용하여 서로 매칭되는 프레임들에 대한 정보를 룩업 테이블로 기록하여 둘 수 있다. 룩업 테이블은 상술한 다양한 동기화 정보에 기초하여 서로 매칭되는 것으로 판단된 프레임들의 인덱스 정보를 포함할 수 있다.
신호 분석부(130)에서 생성된 룩업 테이블은 저장부(140)에 저장된다.
제어부(150)는 룩업 테이블을 참고하여, 서로 매칭되는 좌안 영상 및 우안 영상을 동기화시켜 재생하도록 신호 처리부(120)를 제어할 수 있다.
도 17은 룩업 테이블 생성 및 저장 과정을 설명하기 위한 도면이다. 도 17에 따르면, MPEG 규격에 따른 제2 신호, 즉, 하이브리드 스트림이 수신되면, 신호 분석부(130)는 동기화 정보를 참고하여 I 프레임의 인덱스를 검출한다. 그리고, 해당 프레임의 타임 스탬프, 메모리 어드레스 등을 포함하는 룩업 테이블(20)을 생성한 후, 저장부(140)에 저장한다.
프레임 인덱스 검출은 상술한 바와 같이 컨텐츠 스타트 정보와 해당 프레임의 타임 스탬프를 비교하거나, 타임 스탬프 차이값 등을 이용하여 수행할 수 있다. 이에 대해서는, 상술한 바 있으므로 중복 설명은 생략한다.
도 18은 프레임 인덱스 정보 자체가 동기화 정보로 제공되는 경우의 룩업 테이블 생성 및 저장 과정을 나타낸다. 도 18에 따르면, 제1 신호의 각 프레임에 대한 프레임 인덱스 정보가 제1 신호, 즉, 메인 스트림에 함께 전송된다.
이에 따라, 제2 신호, 즉, 하이브리드 스트림의 각 프레임에 대한 프레임 인덱스 정보와 함께 룩업 테이블(20)에 기록된다. 제1 신호 및 제2 신호의 프레임들의 매칭 관계가 룩업 테이블(20)에 기록되면, 제어부(150)는 이를 참고하여 동기화 재생을 수행하도록 신호 처리부(120)를 제어할 수 있다.
프레임 인덱스 정보가 직접 제공되는 경우, 도 16의 신호 분석부(130)는 생략될 수도 있다.
도 19는 타임 코드를 동기화 정보로 사용하는 실시 예에 따른 수신 장치 구성을 나타내는 도면이다. 도 19에 따르면, 수신 장치(300)는 제1 디먹스(310), 제1 디패킷화부(320), 제1 디코더(330), 렌더링부(340), 제2 디먹스(350), 제2 디패킷화부(360), 제2 디코더(370), 제어부(380)를 포함한다.
제1 디먹스(310), 제1 디패킷화부(320), 제1 디코더(330), 렌더링부(340), 제2 디먹스(350), 제2 디패킷화부(360)는 도 2 및 도 16의 신호 처리부(120)에 포함되는 구성일 수 있다.
제1 디먹스(310) 및 제2 디먹스(350)는 각각 제1 신호 및 제2 신호로부터 타임 코드를 분리하여 제어부(380)로 제공한다. 제1 디먹스(310) 및 제2 디먹스(350)는 타임 코드가 분리된 비디오 PES 패킷을 제1 디패킷화부(320) 및 제2 디패킷화부(360)로 각각 제공한다.
제1 디패킷화부(320) 및 제2 디패킷화부(360)는 타임 코드가 분리된 패킷을 파싱(parshing)하여 비디오 데이터를 제1 디코더(330) 및 제2 디코더(370)로 제공한다.
제1 및 제2 디코더(330, 370)는 각 비디오 데이터를 디코딩하여 렌더링부(340)로 제공한다. 렌더링부(340)는 제어부(380)의 제어에 따라 제1 신호의 비디오 데이터와 제2 신호의 비디오 데이터를 동기화시켜 3D 영상(30)을 재생한다.
만약, 제2 신호가 비실시간 스트림이고, 제1 신호가 실시간 스트림인 경우, 제어부(380)는 제2 신호의 타임 코드를 미리 획득하여 대기할 수 있다. 이후, 제1 신호의 타임 코드가 획득되면, 제어부(330)는 두 개의 타임 코드를 비교하여 서로 매칭되는 프레임을 탐색한다. 그리고, 탐색된 프레임들을 동기화시켜 재생하도록 렌더링부(340)를 제어한다.
도 20은 타임 코드를 동기화 정보로 사용하는 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 20의 수신 장치도, 제1 디먹스(310), 제1 디패킷화부(320), 제1 디코더(330), 렌더링부(340), 제2 디먹스(350), 제2 디패킷화부(360), 제2 디코더(370), 제어부(380)를 포함할 수 있다.
제1 디먹스(310)는 수신된 제1 신호로부터 비디오 패킷을 분리하여 제1 디패킷화부(320)로 제공한다. 제2 디패킷화부(320)는 비디오 패킷을 디패킷화하여 DTS, PTS를 검출하고, 타임 코드 정보를 제어부(380)로 제공한다.
제2 디먹스(350)는 수신된 제1 신호로부터 비디오 패킷을 분리하여 제1 디패킷화부(320)로 제공한다. 제2 디패킷화부(320)는 비디오 패킷을 디패킷화하여 DTS, PTS를 검출하고, 타임 코드 정보를 제어부(380)로 제공한다.
제1 디코더(330) 및 제2 디코더(370)는 각각 비디오 데이터를 디코딩한다.
제어부(380)는 각 신호들의 타임 코드를 참고하여, 동일한 타임 코드를 가지는 프레임 간의 타임 스탬프 차이를 계산한다. 그리고, 계산된 차이를 반영하여 제1 신호 및 제2 신호 중 적어도 하나의 타임 스탬프를 보정하고, 보정된 타임 스탬프 정보를 각 신호의 프레임에 부여하여 렌더링부(340)로 제공한다. 예를 들어, 좌안 영상의 타임 스탬프가 우안 영상의 타임 스탬프보다 늦다면, 좌안 영상의 타임 스탬프를 조정하거나 우안 영상의 타임 스탬프를 조정하여 동일한 값으로 맞출 수 있다. 렌더링부(340)는 조정된 타임 스탬프에 따라 좌안 영상 및 우안 영상을 조합하여 3D 영상을 재생한다.
도 21은 타임 코드를 동기화 정보로 사용하는 또 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 21도 도 19 및 도 20과 마찬가지로 제1 디먹스(310), 제1 디패킷화부(320), 제1 디코더(330), 렌더링부(340), 제2 디먹스(350), 제2 디패킷화부(360), 제2 디코더(370), 제어부(380)를 포함할 수 있다.
제어부(380)는 타임 코드와 매칭되는 인덱스 넘버 또는 타임 스탬프 등이 기록된 룩업 테이블을 별도의 소스 또는 경로를 통해 제공받아 저장하여 둘 수 있다. 제어부(380)는 룩업 테이블을 참고하여 동일한 시점에 재생되어야 하는 좌안 영상 및 우안 영상을 탐색한 후, 탐색 결과를 렌더링부(340)로 제공한다. 이에 따라, 동기화 재생이 이루어질 수 있다. 이러한 룩업 테이블은 제1 신호 및 제2 신호 중 하나와 함께 수신될 수도 있으며, 이와 다른 경로를 통해 제공받을 수도 있다.
즉, 좌안 영상 및 우안 영상을 제작한 컨텐츠 제작자가 룩업 테이블을 미리 생성하여 수신 장치 측으로 배포하여 줄 수 있다.
경우에 따라서는 하나의 프로그램 내에서 타임 코드가 불연속적으로 생성될 수도 있다. 이 경우, 프로그램 중간에 채널을 변경하게 되면 랜덤 액세스 시간 지연으로 인하여, 실시간으로 입력되는 좌안 영상 또는 우안 영상과 동기화되는 타 영상을 찾아내기 어려울 수 있다. 따라서, 랜덤 액세스와 관련된 룩업 테이블을 미리 생성하여 두게 되면, 랜덤 액세스 시간 지연을 최소화시킬 수 있다.
이상과 같이, 수신 장치는 다양한 형태로 구현될 수 있다.
한편, 상술한 바와 같이 타임 코드는 다양한 방식으로 수신 장치 측에 제공되어 질 수 있다.
도 22는 비디오 스트림을 이용하여 타임 코드를 제공하는 경우의 스트림 구조를 나타낸다. 도 22에 따르면, 타임 코드는, AVC(Advanced Video Coding : ISO/IEC 14496-10)에서 정의하는 SEI(Supplemental enhancement information)를 이용하여 전송할 수 있다. 즉, 도 22에 도시된 바와 같이, Picture timing SEI에서 정의하는 seconds_value, minutes_value, hours_value, n_frames를 이용하여 타임 코드를 전달할 수 있다.
도 23은 오디오 스트림을 이용하여 타임 코드를 제공하는 경우의 스트림 구조를 나타낸다. 도 23에 도시된 바와 같이 AC-3(ATSC A/52 : 2010)에 따르면 오디오 스트림은 싱크 프레임(Sync Frame)이 연속적으로 나열되는 구조를 가진다.
싱크 프레임의 구성 중에서 싱크 프레임의 정보를 제공하는 bsi(Bit Stream Information) 영역에서 타임 코드에 대한 정보를 제공할 수 있다.
도 24는 타임 코드가 PMT를 통해서 제공되는 경우의 PMT 신택스(syntax)를 나타낸다. 도 24에 따르면, 타임 코드는 주기적으로 전송되는 PMT의 리저브(reserved) 또는 descriptor를 통해서 제공될 수 있다. PMT 제공 간격은 동기화된 타임 코드를 부여하기 위한 GoP 단위 또는 프레임 단위로 이루어질 수 있다. 도 9에서는 두 개의 프레임 마다 PMT가 전송되는 것으로 도시하였으나, 매 프레임 단위로 타임 코드를 포함하는 PMT가 제공될 수도 있다.
상술한 바와 같이 다양한 정보가 동기화 정보로 사용될 수 있고, 그 위치 또한 다양하게 설정될 수 있다.
도 25는 이러한 동기화 정보가 포함된 신호를 송신하는 송신 장치 구성의 일 예를 나타내는 블럭도이다. 도 25에 따르면, 송신 장치(200)는 데이터 생성부(410) 및 전송부(420)를 포함한다. 도 25의 송신 장치(200)는 도 1의 시스템에서 복수의 송신장치(200-1, 200-2) 중 하나가 될 수 있다. 또한, 도 25의 송신 장치(200)에서 제공하는 데이터는 멀티미디어 컨텐츠를 구성하는 복수의 데이터 중 하나일 수 있다. 이에 따라, 타 송신 장치가 전송하는 또 다른 데이터와 함께 수신 장치에 제공되면, 수신 장치는 이를 이용하여 멀티미디어 컨텐츠를 재생할 수 있다. 설명의 편의를 위하여, 이하에서는 도 25의 송신 장치가 제공하는 데이터를 제1 데이터, 타 송신 장치가 제공하는 데이터를 제2 데이터라 한다.
일 실시 예에 따르면, 제1 데이터는 좌안 영상 및 우안 영상 중 하나이고, 제2 데이터는 좌안 영상 및 우안 영상 중 다른 하나일 수 있다. 이에 따라, 수신장치는 제1 데이터 및 제2 데이터를 조합하여 하나의 3D 컨텐츠를 이룰 수 있게 된다. 이 경우, 오디오 데이터나 자막 데이터 등의 기타 데이터는 제1 데이터 및 제2 데이터 중 하나와 함께 제공되거나, 별도의 경로를 통해 수신 장치로 제공될 수도 있다.
다른 실시 예에 따르면, 제1 데이터는 멀티미디어 컨텐츠를 구성하는 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 적어도 하나의 데이터를 포함하며, 제2 데이터는 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 나머지 데이터를 포함할 수 있다. 이에 따라, 수신 장치에서 3D 컨텐츠를 재생하는 경우 이외에 2D 컨텐츠를 재생하는 경우에도 상술한 여러 실시 예들이 그대로 적용될 수 있다.
데이터 생성부(410)는 제1 데이터와 동기화 정보를 포함하는 전송 데이터를 생성한다. 동기화 정보란, 제1 데이터 및 제2 데이터 간의 동기화를 위한 정보를 의미한다.
상술한 바와 같이, 동기화 정보는, 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나를 포함할 수 있다. 이들 동기화 정보의 삽입 방법은 상술한 부분에서 구체적으로 기재하였으므로, 중복 설명은 생략한다.
전송부(420)는 데이터 생성부(410)에서 생성한 스트림을 수신 장치(100) 측으로 전송한다. 전송부(420)의 세부 구성은 스트림의 종류에 따라 상이하게 구현될 수 있다.
가령 도 25의 송신 장치가 방송 송신 장치인 경우, 전송부(420)는 RS 인코더, 인터리버, 트렐리스 인코더, 변조기 등을 포함하는 형태로 구현될 수 있다.
또는, 도 25의 송신 장치가 인터넷과 같은 네트워크를 통해서 스트림을 전송하는 웹 서버인 경우에는 전송부(420)는 HTTP 프로토콜에 따라 수신 장치 즉 웹 클라이언트와 통신하는 네트워크 인터페이스 모듈로 구현될 수 있다.
데이터 생성부(410)의 세부 구성은 실시 예에 따라 상이하게 구현될 수 있다.
도 26은 송신 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 26에 따르면, 데이터 생성부(410)는 입력부(411), 부호화 처리부(412), 다중화부(413)를 포함한다.
입력부(411)는 컨텐츠 제작자로부터 제1 데이터 및 시그널링 정보를 제공받는다. 시그널링 정보란 동기화 정보 생성에 이용되는 정보이다.
부호화 처리부(412)는 제1 데이터를 인코딩하고, 시그널링 정보를 이용하여 동기화 정보를 생성한 후, 인코딩된 제1 데이터에 부가한다.
동기화 정보가 컨텐츠 스타트 정보인 경우, 부호화 처리부(412)는 PCR에 기초하여 최초 프레임의 타임 스탬프를 생성하고, 그 타임 스탬프를 동기화 정보로 부가한다.
또는, 타임 스탬프 차이값이 동기화 정보로 사용되는 경우, 시그널링 정보는 제2 데이터를 생성 및 송신하는 다른 송신 장치의 PCR에 대한 정보로 구현될 수 있다. 부호화 처리부(412)는 시그널링 정보를 바탕으로 제1 및 제2 데이터 간의 타임 스탬프 차이값을 동기화 정보로 생성한 후, 인코딩된 제1 데이터에 부가할 수 있다.
한편, 타임 코드가 동기화 정보로 사용되는 경우, 별도의 시그널링 정보 없이 제1 데이터 및 동기화 정보가 입력부(411)에 입력될 수 있다. 부호화 처리부(412)는 제1 데이터 및 동기화 정보를 그대로 인코딩하여 다중화부(413)로 제공한다.
그 밖에, MPEG 규격에 따른 비디오 데이터 압축 등을 수행하는 구성이 더 추가될 수 있으나, 이러한 구성은 도시 및 설명을 생략한다.
다중화부(413)는 부호화 처리부(412)에서 생성된 데이터에 부가 데이터를 먹싱하여 전송 데이터를 생성한다. 부가 데이터란 PSIP, EPG 정보 등이 될 수 있다.
전송부(420)는 다중화부(413)에서 제공되는 전송 스트림에 대하여 채널 부호화, 변조 등의 처리를 수행하여 전송 신호로 변환한 후, 채널을 통해 전송한다. 변조에는 지상 방송 방식에서 사용되는 8 VSB 방식, 케이블 TV를 위한 고속 데이터율 방식인 16 VSB 방식 등이 사용될 수 있다.
한편, 상술한 바와 같이 수신 장치에서 서로 다른 데이터가 서로 다른 경로를 통해 수신되기 위해서는 복수의 송신 장치에서 각각 데이터를 전송하거나, 하나의 송신 장치가 서로 다른 전송 유닛을 이용하여 데이터를 전송하여야 한다. 복수의 송신 장치에서 각각 데이터를 전송하는 경우에는 각 송신 장치가 동기화 정보를 생성하여 부가하기 위해서는 프로그램의 시간 계획을 공유하여야 한다.
도 27은 본 발명의 또 다른 실시 예에 따른 송신 장치의 구성을 나타낸다. 도 27의 송신 장치는 타임 코드를 별도의 프라이빗 스트림으로 처리하여 전송한다. 도 27에 따르면, 송신 장치는 A/V 인코더부(510), 타임 코드 검출부(520), 타임 코드 인코더부(530), 멀티플렉서(540)를 포함한다.
A/V 인코더부(510)는 입력되는 멀티미디어 데이터에 포함된 A/V 데이터를 인코딩한다. 인코딩 방식은 송신 장치에 적용된 규격에 따라 달라질 수 있다.
타임 코드 검출부(520)는 입력되는 멀티미디어 데이터로부터 영상의 타임 코드를 검출하여 타임 코드 인코더부(530)로 제공한다. 검출되는 타임 코드는 타임 라인 데이터 파일로 저장될 수 있다. 타임 코드 인코더부(530)는 검출된 타임 코드를 적절한 전송 포맷으로 인캡슐레이트(encapsulate)하고, A/V 인코더부(510)와 동일한 프로그램 시스템 클럭을 사용하여 산출되는 프리젠테이션 타임스탬프를 조합하여, A/V 인코더부(510)에서 처리하는 A/V(Audio/Video) 데이터와 동기화시킨다.
타임 코드 인코더부(530)에서 처리된 타임 코드 정보는 A/V 인코더부(510)에서 처리된 A/V 데이터와 함께 멀티플렉서(540)로 제공된다. 멀티플렉서(540)는 이러한 데이터를 멀티플렉싱하여 MPEG2-TS를 출력한다.
도 27에서는 도시하지 않았으나, 송신 장치에는 파일럿 삽입부, 변조부, 인터리버, 랜덤화부, RF 업컨버터 등과 같은 다양한 구성들이 추가될 수 있다. 이들 구성은 송신 장치의 일반적인 구성에 해당하므로, 구체적인 도시 및 설명은 생략한다.
도 28은 프로그램의 시간 계획을 공유하는 복수의 스트림 생성 주체들에 대하여 도시하고 있다.
스트림 생성 주체들의 예를 들면, 비디오 및 오디오를 전송하는 방송국, 자막과 같은 부가 데이터를 전송하는 제3자, 관련된 게임을 제공하는 제3자 등이 있을 수 있다. 도 20에 따르면 하나의 프로그램을 구성하는 전송 스트림을 제작하기 위하여 스트림 생성 주체 1, 2, 3 중 하나는 다른 스트림 생성 주체들로 타임 코드에 기초하여 시간 계획을 전송하여 준다. 각 스트림 생성 주체들은 시간 계획을 이용하여 동기화 정보를 생성하고 각각 전송 스트림을 생성하여 전송할 수 있다. 이러한 시간 계획 또는 동기화 정보는 기존 EPG에서 제공하는 시간 스케쥴과 달리 스트림 생성단 동기화를 위하여 정확도를 가지는 프레임 단위 정보이다.
도 29는 동기화 정보를 생성하기 위한 정보 공유의 또 다른 방법을 설명하는 도면이다. 도 29에 따르면, 기준시간 서버(600)는 각 스트림 생성 주체 1, 2, 3에게 기준 시간을 제공한다. 동일한 기준 시간 서버(600)를 통해 기준 시간, 즉, PCR을 제공받아서 공유하게 되면, 같은 컨텐츠의 프레임에 대하여 같은 DTS, PTS를 생성하여 부가할 수도 있게 된다.
도 30은 UTC 또는 프레임 카운트 값 등을 동기화 정보로 사용하는 송신 장치들의 구성의 예를 나타내는 도면이다.
도 30에 따르면 서로 다른 미디어 #1, #2, #3들은 각각 서로 다른 스트림 생성부(710, 720, 730)로 제공된다. 이 경우, 각 미디어 #1, #2, #3들과 함께 UTC 또는 프레임 카운트 값도 제공될 수 있다. 각 스트림 생성부(710, 720, 730)는 이들 정보를 동기화 정보로 부가하여 전송 스트림 #1, #2, #3을 각각 생성한 후, 전송한다.
이상과 같이, 다양한 종류의 동기화 정보가 각 데이터들과 함께 수신 장치로 제공되어, 수신 장치를 이를 바탕으로 데이터들을 정확하게 동기화시켜 컨텐츠를 재생할 수 있게 된다.
도 31은 본 발명의 일 실시 예에 따른 컨텐츠 재생 방법을 설명하기 위한 흐름도이다.
도 31에 따르면, 수신 장치는 제1 신호 및 제2 신호를 서로 다른 경로를 통해 각각 수신한다(S2310). 제1 신호에는 제1 데이터와 함께 제1 동기화 정보가 포함되고, 제2 신호에는 제2 데이터와 함께 제2 동기화 정보가 포함된다.
수신 장치는 제1 및 제2 동기화 정보를 각각 검출한 후(S2320), 이를 바탕으로 매칭되는 프레임들을 확인하여 동기화시켜 재생한다(S2330). 구체적으로는 서로 매칭되는 프레임들의 타임 스탬프를 직접 보정하거나, 동기화 정보를 직접 비교하여 매칭되는 프레임을 바로 동기화시켜 재생할 수 있다.
도 32는 본 발명의 다른 실시 예에 따른 수신 장치의 재생 방법을 설명하기 위한 흐름도이다. 도 32에 따르면, 두 개의 신호 중 제2 신호를 수신하여 저장한다(S2410). 그리고 제2 신호를 분석하여(S2420), 제2 신호에 포함된 데이터의 프레임 인덱스를 검출한 후 인덱스 테이블에 저장한다(S2430).
제2 신호 수신과 별개로 제1 신호가 수신되면(S2440), 제1 신호의 프레임의 타임 스탬프를 추출한다(S2450). 그리고 해당 프레임의 프레임 인덱스를 추출한 후(S2460), 인덱스 테이블과 비교하여 매칭되는 프레임을 검색한다(S2470).
그리고 나서 검색된 프레임들을 동기화시켜 재생한다(S2480).
동기화 정보의 예 및 이를 이용한 동기화 방법에 대해서는 상술한 여러 실시 예들에서 설명한 바 있으므로 중복 설명은 생략한다.
상술한 바와 같이 본 명세서에서의 좌안 영상 및 우안 영상의 동기화 이외에 영상과 텍스트, 영상과 오디오 등과 같이 다양한 이종의 데이터 간의 동기화를 수행할 수도 있다. 일 예로 UHD(Ultra High Definition) 전송에 있어서도 기존 HD 채널을 이용하는 장치와의 호환성을 보장하기 위하여 비실시간으로 UHD 부가 영상을 전송할 수 있다. 이 경우, 하나의 원본 영상으로 복원하기 위해서는 영상간 동기화가 필수적이다. 따라서, 상술한 다양한 실시 예의 동기화 기술이 UHD 전송에도 사용될 수 있다.
상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 수신부 120 : 신호처리부
130 : 신호분석부 140 : 저장부
150 : 제어부

Claims (15)

  1. 좌안 영상 및 제1 동기화정보를 포함하는 제1 신호와, 우안 영상 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 수신부; 및
    상기 제1 동기화 정보 및 상기 제2 동기화 정보를 이용하여 상기 좌안 영상 및 상기 우안 영상을 동기화시켜 재생하는 신호 처리부;를 포함하며,
    상기 제1 동기화 정보 및 제2 동기화 정보는 UTC(Coordinated Universal Time) 정보를 포함하고,
    상기 신호 처리부는 상기 UTC 정보를 비교하여 동일한 UTC를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리하는 수신 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 제1 신호 및 제2 신호 중 적어도 하나를 분석하여 룩업 테이블을 생성하는 신호 분석부; 및,
    상기 룩업 테이블을 저장하는 저장부;
    상기 룩업 테이블에 따라 서로 매칭되는 좌안 영상 및 우안 영상을 동기화시켜 재생하도록 상기 신호 처리부를 제어하는 제어부;를 포함하며,
    상기 제1 신호 및 상기 제2 신호 중 적어도 하나는 실시간 전송 스트림인 것을 특징으로 하는 수신 장치.
  9. 멀티미디어 컨텐츠를 구성하는 제1 데이터 및, 상기 멀티미디어 컨텐츠를 구성하는 제2 데이터와의 동기화를 위한 동기화 정보를 포함하는 전송 데이터를 생성하는 데이터 생성부;
    상기 데이터 생성부에서 제공되는 전송 데이터를 전송 신호로 변환하여 수신장치로 전송하는 전송부;를 포함하며,
    상기 동기화 정보는 UTC(Coordinated Universal Time) 정보를 포함하는 송신 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 데이터 생성부는,
    상기 제1 데이터 및 시그널링 정보를 입력받는 입력부;
    상기 제1 데이터를 인코딩하고, 상기 시그널링 정보를 이용하여 상기 동기화 정보를 생성하여 상기 인코딩된 제1 데이터에 부가하는 부호화 처리부;
    상기 부호화 처리부에서 생성된 데이터에 부가 데이터를 먹싱하여 상기 전송 데이터를 생성하는 다중화부;를 포함하는 것을 특징으로 하는 송신 장치.
  12. 삭제
  13. 제9항 또는 제11항에 있어서,
    상기 제1 데이터는 3D 프레임을 구성하기 위한 좌안 영상 및 우안 영상 중 하나를 포함하며, 상기 제2 데이터는 상기 좌안 영상 및 상기 우안 영상 중 다른 하나를 포함하는 것을 특징으로 하는 송신 장치.
  14. 삭제
  15. 멀티미디어 컨텐츠를 재생하는 재생 방법에 있어서,
    멀티미디어 컨텐츠를 구성하는 제1 데이터 및 제1 동기화 정보를 포함하는 제1 신호와, 상기 멀티미디어 컨텐츠를 구성하는 제2 데이터 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 단계;
    상기 제1 동기화 정보 및 상기 제2 동기화 정보를 이용하여 상기 제1 데이터 및 상기 제2 데이터를 동기화시켜, 상기 멀티미디어 컨텐츠를 재생하는 단계;를 포함하며,
    상기 제1 동기화 정보 및 상기 제2 동기화 정보는, 상기 멀티미디어 컨텐츠의 UTC 정보를 포함하는 것을 특징으로 하는 재생 방법.




KR1020110128643A 2010-12-07 2011-12-02 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 Expired - Fee Related KR101831775B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP11846165.6A EP2651142A4 (en) 2010-12-07 2011-12-07 TRANSMITTER AND RECEIVER FOR TRANSMITTING AND RECEIVING MULTIMEDIA CONTENT AND PLAYING PROCESS THEREFOR
US13/992,355 US9628771B2 (en) 2010-12-07 2011-12-07 Transmitter and receiver for transmitting and receiving multimedia content, and reproduction method therefor
CN2011800592066A CN103262554A (zh) 2010-12-07 2011-12-07 收发多媒体内容的发送装置和接收装置及其再现方法
MX2013006515A MX2013006515A (es) 2010-12-07 2011-12-07 Transmisor y receptor para transmitir y recibir contenido multimedia, y metodo de reproduccion para los mismos.
JP2013543098A JP2014504083A (ja) 2010-12-07 2011-12-07 マルチメディアコンテンツを送受信する送信装置および受信装置、その再生方法
PCT/KR2011/009442 WO2012077982A2 (ko) 2010-12-07 2011-12-07 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US42043510P 2010-12-07 2010-12-07
US61/420,435 2010-12-07
US201161450779P 2011-03-09 2011-03-09
US61/450,779 2011-03-09
US201161478161P 2011-04-22 2011-04-22
US61/478,161 2011-04-22

Publications (2)

Publication Number Publication Date
KR20120063431A KR20120063431A (ko) 2012-06-15
KR101831775B1 true KR101831775B1 (ko) 2018-02-26

Family

ID=46683930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110128643A Expired - Fee Related KR101831775B1 (ko) 2010-12-07 2011-12-02 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법

Country Status (8)

Country Link
US (1) US9628771B2 (ko)
EP (1) EP2651142A4 (ko)
JP (1) JP2014504083A (ko)
KR (1) KR101831775B1 (ko)
CN (1) CN103262554A (ko)
BR (1) BR112013013994A2 (ko)
MX (1) MX2013006515A (ko)
WO (1) WO2012077982A2 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405276B1 (ko) * 2011-08-10 2014-07-15 한국전자통신연구원 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법
CN104247413B (zh) * 2012-04-23 2017-12-29 Lg 电子株式会社 用于3d服务的信号处理设备和方法
KR20130121058A (ko) * 2012-04-26 2013-11-05 한국전자통신연구원 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
KR101699367B1 (ko) * 2012-05-16 2017-02-14 한국전자통신연구원 3ｄｔｖ 다중화 방법 및 그 장치
TWI517669B (zh) 2012-06-05 2016-01-11 晨星半導體股份有限公司 影像的同步方法及其裝置
CN103517062B (zh) * 2012-06-15 2016-05-25 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
US10397633B2 (en) 2012-06-22 2019-08-27 Saturn Licensing Llc Receiver apparatus and synchronization processing method thereof
JP6333173B2 (ja) * 2012-06-22 2018-05-30 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置および受信方法
KR101481797B1 (ko) * 2013-01-07 2015-01-13 한국기술교육대학교 산학협력단 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치
ITTO20130035A1 (it) * 2013-01-15 2014-07-16 Inst Rundfunktechnik Gmbh Sendeeinrichtung zum drahtlosen uebertragen eines mpeg2-ts kompatiblen datenstroms
US10284840B2 (en) 2013-06-28 2019-05-07 Electronics And Telecommunications Research Institute Apparatus and method for reproducing 3D image
JP6510205B2 (ja) * 2013-10-11 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置および受信装置
JP2017508327A (ja) * 2013-12-23 2017-03-23 エルジー エレクトロニクス インコーポレイティド 一つ以上のネットワークで放送コンテンツを送受信する装置及び方法
US9942622B2 (en) * 2014-01-24 2018-04-10 Hiperwall, Inc. Methods and systems for synchronizing media stream presentations
CN104935914B (zh) * 2014-03-19 2017-03-22 宏达国际电子股份有限公司 电子装置及其摄影方法
CN104539931A (zh) * 2014-12-05 2015-04-22 北京格灵深瞳信息技术有限公司 一种多目相机系统、装置及同步方法
WO2016163603A1 (ko) * 2015-04-05 2016-10-13 엘지전자 주식회사 Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
CN106303673B (zh) * 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
US10129500B2 (en) 2015-11-06 2018-11-13 Panasonic Intellectual Property Management Co., Ltd. Multi-display apparatus
JP6623888B2 (ja) * 2016-03-29 2019-12-25 セイコーエプソン株式会社 表示システム、表示装置、頭部装着型表示装置、表示制御方法、表示装置の制御方法、及び、プログラム
WO2019139184A1 (ko) * 2018-01-10 2019-07-18 계명대학교 산학협력단 계층적 스트리밍 네트워크에서의, 미디어 스트리밍 그룹 동기화 시스템 및 방법
US11132141B2 (en) * 2018-07-23 2021-09-28 Ionir Systems Ltd. System and method for synchronization of data containers
CN110505466B (zh) * 2019-09-12 2021-09-28 北京四维图新科技股份有限公司 图像处理方法、装置、电子设备、存储介质和系统
KR102763961B1 (ko) * 2019-11-27 2025-02-07 한국전자통신연구원 분산 네트워크 기반 멀티미디어 스트리밍 서비스에서 스트림을 선택하여 수신하는 방법 및 장치
CN114079813A (zh) * 2020-08-18 2022-02-22 中兴通讯股份有限公司 画面同步方法、编码方法、视频播放设备及视频编码设备
CN112130565B (zh) * 2020-09-14 2023-06-23 贵州翰凯斯智能技术有限公司 一种自走机器人平台控制系统及其通信方法
CN113473105A (zh) * 2021-06-01 2021-10-01 青岛小鸟看看科技有限公司 图像同步方法、图像显示及处理设备、及图像同步系统
CN113873345B (zh) * 2021-09-27 2023-11-14 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法
CN114173171A (zh) * 2021-12-08 2022-03-11 上海智驾汽车科技有限公司 一种多通道的大数据信息同步存储及回放方法
TWI819580B (zh) * 2022-04-22 2023-10-21 瑞昱半導體股份有限公司 基於預解析操作以改善播放響應的媒體播放方法與相關媒體播放裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030053797A1 (en) 1996-02-28 2003-03-20 Mitsuaki Oshima High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device
KR100801002B1 (ko) 2006-06-05 2008-02-11 삼성전자주식회사 무선 네트워크 상에서 멀티미디어 데이터를 전송/재생하는방법, 및 그 방법을 이용한 무선 기기
US20100272417A1 (en) 2009-04-27 2010-10-28 Masato Nagasawa Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE37991E1 (en) * 1993-01-12 2003-02-18 Visual Automation Systems, Inc. Apparatus for tracking the flow of video signals by incorportating patterns of machine readable signals which will appear at predetermined locations of a television picture
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
JPH0936871A (ja) * 1995-07-17 1997-02-07 Sony Corp データ伝送システムおよびデータ伝送方法
CN100484237C (zh) 2001-04-24 2009-04-29 派威公司 利用预取数据传输的数据点播数字广播系统
US7280674B2 (en) * 2001-06-05 2007-10-09 University Of Florida Research Foundation Device and method for object illumination and imaging using time slot allocation based upon road changes
JP2004040455A (ja) * 2002-07-03 2004-02-05 Nippon Television Network Corp 伝送再生方法、伝送方法、及びそのシステム
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
JP2004357156A (ja) 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP4332089B2 (ja) 2004-08-19 2009-09-16 ソニー株式会社 再生装置、再生方法および再生プログラム、ならびに、記録媒体
JP2006324739A (ja) 2005-05-17 2006-11-30 Matsushita Electric Ind Co Ltd 符号化データ再生装置
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR100772866B1 (ko) * 2006-02-21 2007-11-02 삼성전자주식회사 타임 시프트된 컨텐츠와 실시간 컨텐츠의 재생 시간을동기화시키는 장치 및 그 방법
KR100905723B1 (ko) 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
CN101232623A (zh) * 2007-01-22 2008-07-30 李会根 基于传输流的立体音视频数字编码传输方法和系统
CN100559877C (zh) * 2007-04-27 2009-11-11 北京大学 一种支持多视点视频合成的网络流媒体播放器及方法
JP5129053B2 (ja) 2007-07-27 2013-01-23 パナソニック株式会社 コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム及び集積回路
KR20100095464A (ko) * 2007-12-18 2010-08-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이 인터페이스를 통한 입체 이미지 데이터의 전송
CA2721397C (en) * 2008-05-02 2014-09-30 Lg Electronics Inc. Method of receiving broadcasting signal and apparatus for receiving broadcasting signal
JP4692600B2 (ja) 2008-09-25 2011-06-01 富士ゼロックス株式会社 情報処理装置、通信システム、及びプログラム
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
KR100972792B1 (ko) 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
EP2211556A1 (en) * 2009-01-22 2010-07-28 Electronics and Telecommunications Research Institute Method for processing non-real time stereoscopic services in terrestrial digital multimedia broadcasting and apparatus for receiving terrestrial digital multimedia broadcasting
EP2521366B1 (en) * 2009-02-19 2014-09-17 Panasonic Corporation Playback device
GB0903063D0 (en) * 2009-02-24 2009-04-08 Geotate Bv automatic configuration
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
RU2011110045A (ru) * 2009-06-11 2013-07-20 Панасоник Корпорэйшн Устройство воспроизведения, интегральная схема, носитель записи
US20110025821A1 (en) * 2009-07-30 2011-02-03 Dell Products L.P. Multicast stereoscopic video synchronization
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
JP2011119906A (ja) * 2009-12-02 2011-06-16 Sony Corp 画像処理装置および画像処理方法
KR20110064161A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
WO2011071929A2 (en) 2009-12-07 2011-06-16 Photon-X, Inc. 3d visualization system
WO2012077981A2 (ko) * 2010-12-07 2012-06-14 삼성전자 주식회사 컨텐츠를 구성하는 데이터를 송신하는 송신 장치와 그 데이터를 수신하여 처리하는 수신 장치 및 그 방법
KR20120084252A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
JP2012165142A (ja) * 2011-02-04 2012-08-30 Canon Inc 情報処理装置及びその制御方法、並びに、プログラム
EP2839668A4 (en) * 2012-07-16 2016-03-09 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING DIGITAL SIGNALS
JP6004807B2 (ja) * 2012-07-24 2016-10-12 キヤノン株式会社 画像処理装置、その制御方法、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030053797A1 (en) 1996-02-28 2003-03-20 Mitsuaki Oshima High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device
KR100801002B1 (ko) 2006-06-05 2008-02-11 삼성전자주식회사 무선 네트워크 상에서 멀티미디어 데이터를 전송/재생하는방법, 및 그 방법을 이용한 무선 기기
US20100272417A1 (en) 2009-04-27 2010-10-28 Masato Nagasawa Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium

Also Published As

Publication number Publication date
WO2012077982A3 (ko) 2012-07-26
MX2013006515A (es) 2013-07-22
BR112013013994A2 (pt) 2020-11-17
EP2651142A2 (en) 2013-10-16
EP2651142A4 (en) 2014-08-06
US20130258054A1 (en) 2013-10-03
CN103262554A (zh) 2013-08-21
WO2012077982A2 (ko) 2012-06-14
KR20120063431A (ko) 2012-06-15
JP2014504083A (ja) 2014-02-13
US9628771B2 (en) 2017-04-18

Similar Documents

Publication Publication Date Title
KR101831775B1 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
JP5977760B2 (ja) 複数のリアルタイム伝送ストリームを受信する受信装置と、その送信装置およびマルチメディアコンテンツ再生方法
US8917314B2 (en) Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
US9392256B2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
US20110010739A1 (en) Method and apparatus for transmitting/receiving stereoscopic video in digital broadcasting system
EP2728858B1 (en) Receiving apparatus and receiving method thereof
US9210354B2 (en) Method and apparatus for reception and transmission
US20130271657A1 (en) Receiving apparatus for providing hybrid service, and hybrid service providing method thereof
US20130276046A1 (en) Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
MX2012008816A (es) Metodo y aparato para generar flujo de datos para proporcionar servicio multimedia tridimensional, y metodo y aparato para recibir el flujo de datos.
MX2012008818A (es) Metodo y aparato para transmitir flujo de difusion digital usando informacion de enlace acerca de flujo de video multivistas y metodo y aparato para su recepcion.
US20130271568A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
US9615143B2 (en) Device and method for providing content by accessing content stream in hybrid 3D TV, and device and method for reproducing content
US9270972B2 (en) Method for 3DTV multiplexing and apparatus thereof
US20140147088A1 (en) Transmission device, receiving/playing device, transmission method, and receiving/playing method
KR102016674B1 (ko) 하이브리드 서비스를 제공하는 수신 장치 및 하이브리드 서비스 제공 방법
KR20130116154A (ko) 서로 다른 경로를 통해 복수의 신호를 수신하는 수신 장치 및 그 신호 처리 방법
KR20140004045A (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR20130115975A (ko) 하이브리드 서비스를 제공하기 위한 송신 시스템과 수신 장치 및 그 서비스 제공 방법들

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20230220

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230220