KR20130018170A - 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법 - Google Patents

고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법 Download PDF

Info

Publication number
KR20130018170A
KR20130018170A KR20120087545A KR20120087545A KR20130018170A KR 20130018170 A KR20130018170 A KR 20130018170A KR 20120087545 A KR20120087545 A KR 20120087545A KR 20120087545 A KR20120087545 A KR 20120087545A KR 20130018170 A KR20130018170 A KR 20130018170A
Authority
KR
South Korea
Prior art keywords
time stamp
time
access unit
synchronization information
pts
Prior art date
Application number
KR20120087545A
Other languages
English (en)
Other versions
KR101405276B1 (ko
Inventor
김성훈
이주영
최진수
김진웅
홍석진
오정근
곽진석
이민석
강동욱
정경훈
Original Assignee
한국전자통신연구원
국민대학교산학협력단
(주)디티브이인터랙티브
(주)카이미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 국민대학교산학협력단, (주)디티브이인터랙티브, (주)카이미디어 filed Critical 한국전자통신연구원
Priority to US14/238,192 priority Critical patent/US9900577B2/en
Priority to PCT/KR2012/006394 priority patent/WO2013022311A2/ko
Publication of KR20130018170A publication Critical patent/KR20130018170A/ko
Application granted granted Critical
Publication of KR101405276B1 publication Critical patent/KR101405276B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

고정 및 이동 융합형 3DTV에서 좌/우 스트림을 동기화하는 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 장치는 (i) 타임스탬프 페어링 방식, (ii) 타임 스탬프 오프셋 방식, (iii)NTP 동기 방식을 이용하여 좌영상과 우영상에 대응하는 컨텐츠 스트림을 동기화할 수 있다.

Description

고정 및 이동 융합형 ３ＤＴＶ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법 {CONTENT PROVIDING APPARATUS AND METHOD, AND CONTENT REPRODUCTION APPARATUS AND METHOD FOR SYNCHRONIZATION BETWEEN LEFT AND RIGHT STREAM IN THE STATIONARY-MOBILE HYBRID 3DTV BROADCAST}
본 발명은 좌/우 스트림의 동기화를 위한 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법에 관한 것으로, 보다 구체적으로는 고정 및 이동 융합형 3DTV에서 좌/우 스트림의 동기화 장치 및 방법에 관한 것이다.
ATSC(Advanced Television System Committee) A/153(Mobile Handheld) 방송 규격은 RF 6MHz 한 채널내에서 기존의 고정형 DTV를 위한 메인 서비스 스트림과 함께 시분할 방식의 모바일 스트림을 삽입/전송함으로써 지상파 mobile DTV(MDTV) 방송 서비스를 동시에 제공할 수 있는(in-band mobile TV 서비스) 북미 지상파 방송규격 이다. 이때 MDTV 서비스는 ATSC 데이터 전송률인 19.39 Mbps 대역폭의 일부를 사용하고, IP 데이터그램(datagram) 기반의 전송 기술을 활용하여 이동/휴대용 TV 시청자들에게 방송 서비스를 제공할 수 있다.
구체적으로, ATSC 메인 방송 스트림 (MPEG-2 TS) 패킷과 MDTV 모바일 스트림 패킷 (IP datagram)으로 약 19.39Mbps에 해당되는 전체 방송의 프레임을 시분할하여 전송함으로써 2개의 방송 서비스를 독립적인 형태로 동시에 제공하는 것이 가능하다. 이와 같은 방송 환경에서 3DTV 서비스를 제공하는 방법으로 ATSC 메인 방송 스트림 (MPEG-2 TS)의 패킷에 스테레오 영상 합성에 필요한 기준영상(고정형 2D 서비스 시 이용되는 영상) 스트림과 부가영상(기준영상과 함께 3D 영상 합성을 위해 이용되는 영상) 스트림을 각각 독립된 스트림으로 전송하는 여러가지 제안 방식이 존재한다.
그러나 상기 제안 방식이 기존 고정 2D 방송과의 역방향 호환성을 보장하기 위해 기준영상 스트림을 ATSC 메인 방송 스트림을 통해 전송하더라도 부가영상 스트림 전송을 위해서 추가적인 대역 할당이 필요하다. 하지만, 추가적인 대역 할당으로 인해 각각의 2차원 화면 정보를 전송하기 위해 사용되는 데이터의 전송량이 감소될 수 밖에 없어서, 결과적으로 기존의 2D 방송 서비스 품질이 저하되는 문제가 발생한다.
상기 언급한 문제를 해결하기 위해 3D 영상합성을 위한 부가영상을 별도로 전송하지 않고, 2D 모바일 서비스 스트림을 이용하여 부가영상을 전송하는 고정 및 이동 융합형 3DTV 기술이 제안된다. 고정 및 이동 융합형 3DTV 기술은 부가영상 전송을 위한 추가 대역폭 할당 없이 3DTV 서비스를 제공할 수 있는 장점이 있다. 이 때, 고정 및 이동 융합형 3DTV의 경우, 고정 방송을 위한 ATSC 메인 방송 스트림은 비디오/오디오 동기화를 위해 PTS/PCR 기반의 MPEG-2 시스템 타이밍 모델을 이용하는 반면, 이동형 방송을 위한 MDTV 서비스 스트림에서는 비디오/오디오 동기화를 위해 RTP(Real-Time Transport protocol) Timestamp 기반의 타이밍 모델을 이용한다.
이처럼, 종래의 ATSC 메인 방송 규격과 MDTV 방송 규격은 서로 다른 비디오/오디오 동기화 방식을 이용하므로, 좌영상에 대한 영상 스트림 및 우영상에 대한 영상 스트림 간의 동기화를 수행하기 어렵다. 따라서 고정 및 이동 융합형 3DTV의 좌영상 및 우영상의 동기화를 위해 PTS(Presentation Time Stamp)/PCR(Program Clock Reference) 기반의 타이밍 모델과 RTP 타임 스탬프 기반의 타이밍 모델 간에 공통된 출력 시간 정보를 해석할 수 있는 방법이 필요하다.
본 발명은 서로 다른 방송 규격으로 구현하는 융합형 3DTV에서 좌영상과 우영상을 동기화할 수 있는 장치 및 방법을 제공한다.
본 발명은 서로 다른 방송 규격으로 구현하는 융합형 3DTV에서 이종 타이밍 모델 간의 좌/우영상 동기화를 위해 동기정보를 구성하는 방법, 동기정보를 송수신하는 방법 및 재생 시간을 계산하는 방법을 제공한다.
본 발명의 제1 실시예에 따른 컨텐츠 제공 장치는 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프를 포함하는 타임 스탬프 페어를 동기 정보로 생성하는 동기 정보 생성부; 및 상기 동기 정보를 시그널링 정보로 다중화하는 동기 정보 다중화부를 포함할 수 있다.
본 발명의 제2 실시예에 따른 컨텐츠 제공 장치는 동기화 대상인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 동기 정보로 생성하는 동기 정보 생성부; 및 상기 동기 정보를 시그널링 정보로 다중화하는 동기 정보 다중화부를 포함할 수 있다.
본 발명의 제3 실시예에 따른 컨텐츠 제공 장치는 기준 타임 스탬프에 기초한 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프를 이용하여 동기 정보를 생성하는 동기 정보 생성부; 및 상기 생성된 동기 정보를 시그널링 정보로 다중화하는 동기 정보 다중화부를 포함할 수 있다.
본 발명의 제1 실시예에 따른 컨텐츠 재생 장치는 시그널링 정보로부터 동기 정보인 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프로 구성된 타임 스탬프 페어를 추출하는 동기 정보 역다중화부; 및 상기 동기 정보와 상기 좌영상 또는 우영상의 기준 클럭을 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 재생 시간 복원부를 포함할 수 있다.
본 발명의 제2 실시예에 따른 컨텐츠 재생 장치는 시그널링 정보로부터 동기 정보인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 추출하는 동기 정보 역다중화부; 및 상기 동기 정보와 상기 좌영상 또는 우영상의 기준 클럭을 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 재생 시간 복원부를 포함할 수 있다.
본 발명의 제3 실시예에 따른 컨텐츠 재생 장치는 시그널링 정보로부터 기준 타임 스탬프에 기초한 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프에 기초한 동기 정보를 추출하는 동기 정보 역다중화부; 및 상기 동기 정보를 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 재생 시간 복원부를 포함할 수 있다.
본 발명의 제1 실시예에 따른 컨텐츠 제공 방법은 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프를 포함하는 타임 스탬프 페어를 동기 정보로 생성하는 단계; 및 상기 동기 정보를 시그널링 정보로 다중화하는 단계를 포함할 수 있다.
본 발명의 제2 실시예에 따른 컨텐츠 제공 방법은 동기화 대상인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 동기 정보로 생성하는 단계; 및 상기 동기 정보를 시그널링 정보로 다중화하는 단계를 포함할 수 있다.
본 발명의 제3 실시예에 따른 컨텐츠 제공 방법은 기준 타임 스탬프에 기초한 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프를 이용하여 동기 정보를 생성하는 단계; 및 상기 생성된 동기 정보를 시그널링 정보로 다중화하는 단계를 포함할 수 있다.
본 발명의 제1 실시예에 따른 컨텐츠 재생 방법은 시그널링 정보로부터 동기 정보인 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프로 구성된 타임 스탬프 페어를 추출하는 단계; 및 상기 동기 정보와 상기 좌영상 또는 우영상의 기준 클럭을 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 단계를 포함할 수 있다.
본 발명의 제2 실시예에 따른 컨텐츠 재생 방법은 시그널링 정보로부터 동기 정보인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 추출하는 단계; 및 상기 동기 정보와 상기 좌영상 또는 우영상의 기준 클럭을 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 단계를 포함할 수 있다.
본 발명의 제3 실시예에 따른 컨텐츠 재생 방법은 시그널링 정보로부터 기준 타임 스탬프에 기초한 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프에 기초한 동기 정보를 추출하는 단계; 및 상기 동기 정보를 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 단계를 포함할 수 있다.
본 발명에 따르면, 동기 정보를 이용하여 고정 방송 규격 및 이동 방송 규격이 융합된 3DTV 방송에서 좌영상과 우영상을 동기화 할 수 있다.
또한, 본 발명에 따르면, 동기 정보를 생성 및 다중화하고, 생성 및 다중화된 동기 정보를 역다중화 복원함으로써, 상이한 좌영상 및 우영상의 타이밍 모델 간의 오디오 및 비디오 동기화를 수행할 수 있다.
또한, 본 발명에 따르면, 서로 다른 방송 규격에 따른 컨텐츠 스트림 간의 기준 클럭 간 오프셋이 존재하거나, 또는 액세스 유닛(AU)의 타임 스탬프가 상이하더라도 서로 다른 방송 규격에 따른 컨텐츠 스트림의 오디오 동기화 및 비디오 동기화를 수행할 수 있다.
도 1은 본 발명의 일실시예에 따른 컨텐츠 제공 장치 및 컨텐츠 재생 장치를 도시한 도면이다.
도 2는 본 발명의 컨텐츠 제공 장치와 컨텐츠 재생 장치의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 제1 실시예에 따라 MDTV 시그널링 채널을 이용하는 타임 스탬프 페어링에 기초한 동기화 과정을 도시한 도면이다.
도 4는 본 발명의 제1 실시예에 따라 ATSC 메인 시그널링 채널을 이용하는 타임 스탬프 페어링에 기초한 동기화 과정을 도시한 도면이다.
도 5는 본 발명의 제2 실시예에 따라 MDTV 시그널링 채널을 이용하는 타임 스탬프 오프셋에 기초한 동기화 과정을 도시한 도면이다.
도 6은 본 발명의 제2 실시예에 따라 ATSC 메인 시그널링 채널을 이용하는 타임 스탬프 오프셋에 기초한 동기화 과정을 도시한 도면이다.
도 7은 본 발명의 제3 실시예에 따른 NTP 동기 방식을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 컨텐츠 제공 장치가 수행하는 컨텐츠 제공 방법을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 컨텐츠 재생 장치가 수행하는 컨텐츠 재생 방법을 도시한 도면이다.
도 10은 본 발명의 제1 실시예에 따른 타임 스탬프 페어링에 기초한 컨텐츠 제공 방법을 도시한 도면이다.
도 11은 본 발명의 제2 실시예에 따른 타임 스탬프 페어링에 기초한 컨텐츠 재생 방법을 도시한 도면이다.
도 12는 본 발명의 제2 실시예에 따른 타임 스탬프 오프셋에 기초한 컨텐츠 제공 방법을 도시한 도면이다.
도 13은 본 발명의 제2 실시예에 따른 타임 스탬프 오프셋에 기초한 컨텐츠 재생 방법을 도시한 도면이다.
도 14는 본 발명의 제3 실시예에 따른 NTP 동기 방식에 기초한 컨텐츠 제공 방법을 도시한 도면이다.
도 15는 본 발명의 제3 실시예에 따른 NTP 동기 방식에 기초한 컨텐츠 재생 방법을 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명은 고정 방송인 ATSC 메인 방송 서비스와 이동 방송인 MDTV 방송 서비스를 동시에 제공하는 ATSC 지상파 방송시스템에서 ATSC 메인 방송망을 통해 전송되는 MPEG-2 TS 스트림과 MDTV 이동 방송망을 통해 전송되는 패킷 기반 스트림을 통해 2D 영상 방송서비스를 독립적으로 제공할 수 있는 좌영상과 우영상을 각각 전송하되, 좌영상과 우영상을 모두 수신한 경우 스테레오 3D 영상 컨텐츠를 합성/복원할 수 있도록 하는 좌/우 영상의 동기화 기법에 관한 것이다.
본 발명의 실시예들을 설명하기 이전에, 본 발명에서 사용하는 용어에 대해 간단히 설명하고자 한다.
먼저, ATSC-M/H(Mobile/Handheld)는 북미 차세대 모바일 DTV 규격(A/153)으로 6MHz 대역폭을 통해 총 19.39Mbps의 전송률을 지원할 수 있는 ATSC 시스템에서 ATSC 메인 방송망을 통한 고정형 DTV 컨텐츠 전송 시 생성되는 여유 공간에 모바일 컨텐츠를 추가하여 전송하는 기술을 의미한다.
그리고, ATSC 8-VSB(Vestigal Side Band: 잔류 측파 대역)는 북미 방송에서 방송 송출 시 사용하는 변조 방식을 의미한다.
AU (Access Unit: 액세스 유닛)는 기본 스트림(Elementary Stream)의 오디오/비디오 인코딩 기본 단위이며, 주로 오디오 및 비디오의 경우 프레임 단위로 구성된다.
RTP(Realtime Transport Protocol): 실시간 전송 프로토콜은 IP망을 통해 오디오/비디오 데이터를 전송하기 위한 규격을 의미한다.
RTCP(RTP Control Protocol: RTP 제어 프로토콜)는 RTP 전송을 위해 전송망의 상태나 오디오/비디오 스트림의 동기 정보를 전송하기 위한 규격을 의미한다.
RTCP_SR(RTCP Sender Report: RTCP 송신기 리포트)는 송신자가 수신자에게 주기적으로 전송된 전송망 상태 및 타이밍 정보를 전송하기 위해 사용하는 RTCP 전송 패킷 타입을 의미한다.
NTP(Network Time Protocol: 네트워크 타임 프로토콜)는 네트웍으로 연결되어 있는 컴퓨터들끼리 클록 시각을 동기화시키는데 사용되는 프로토콜이다.
PTS(Presentation Timestamp: 프리젠테이션 타임 스탬프)는 ATSC 메인 방송망에서 오디오/비디오 AU의 프리젠테이션(Presentation) 시간에 대한 동기를 수행하기 위해 PES 헤더에 실어 전송하는 33-bit 타임 스탬프를 의미한다.
PES(Packetized Elementary Stream: 패킷화된 기본 스트림)는 ATSC 메인 방송망에서 오디오/비디오 ES(Elementary Stream)의 전송을 위해 각 ES를 특정 길이로 분할한 패킷을 의미한다. 이때, PES의 헤더는 PTS를 포함한다.
도 1은 본 발명의 일실시예에 따른 컨텐츠 제공 장치 및 컨텐츠 재생 장치를 도시한 도면이다.
도 1을 참고하면, 컨텐츠 제공 장치(101)와 컨텐츠 재생 장치(102)가 도시된다.
본 발명의 일실시예에 따르면, 컨텐츠 제공 장치(101)는 서로 다른 방송 규격에 대응하는 컨텐츠 스트림을 컨텐츠 재생 장치(102)에 전송할 수 있다. 일례로, 방송 규격은 고정 방송 규격과 이동 방송 규격을 포함할 수 있다. 이 때, 고정 방송 규격인 ATSC 메인 방송 규격과 이동 방송 규격인 MDTV 방송 규격을 포함할 수 있다. 본 명세서에서는 ATSC 메인 방송 규격과 MDTV 방송 규격을 위주로 설명하지만, 이에 한정되지 않는다. 3DTV 방송을 위해 서로 다른 형태의 방송 규격은 모두 포함될 수 있다.
여기서, ATSC 메인 방송 규격에 따른 메인 컨텐츠 스트림은 3DTV 방송을 위한 좌영상이고, MDTV 방송 규격에 따른 부가 컨텐츠 스트림은 우영상일 수 있다. 또는, 실시예에 따라 메인 컨텐츠 스트림이 우영상이고, 부가 컨텐츠 스트림이 좌영상일 수 있다. 한편, 3D 영상을 위한 좌영상과 우영상은 각각 기준 영상과 부가 영상이라는 독립적인 비디오 스트림으로 구분되어 컨텐츠 제공 장치(101)에서 컨텐츠 재생 장치(102)로 전송될 수 있다. 여기서, 기준 영상은 메인 컨텐츠 스트림 으로 전달될 수 있고, 부가 영상은 부가 컨텐츠 스트림으로 전달될 수 있다. 좌영상과 우영상은 서로 다른 타이밍 모델로 표현되기 때문에, 3DTV 방송을 위해서는 좌영상과 우영상 간에 동기화가 필요하다.
실제로, 컨텐츠 제공 장치(101)는 서로 다른 방송 규격을 위한 인코더 및 변조기와 분리된 것으로 독립된 형태의 장치일 수 있다. 컨텐츠 제공 장치(101)는 상이한 방송규격에 대응하는 인코더를 통해 생성한 컨텐츠 스트림을 입력받거나, 방송규격이 동일하더라도 분리된 인코더를 통해 생성한 컨텐츠 스트림을 입력받을 수 있다. 예를 들어, 컨텐츠 제공 장치(101)는 고정 방송 규격인 ATSC 메인 방송 규격에 대응하는 인코더와 이동 방송 규격인 MDTV 방송 규격에 대응하는 인코더를 통해 생성한 컨텐츠 스트림을 입력받을 수 있다. 그러면, 컨텐츠 제공 장치(101)는 2개의 인코더에서 출력된 컨텐츠 스트림에 적합한 동기 정보를 생성한 후, 생성된 동기 정보를 다중화할 수 있다. 다중화 결과로 생성된 최종 스트림은 다시 다중화되거나 또는 변조기에 전달될 수 있다.
그리고, 컨텐츠 제공 장치(101)는 인코더가 일체된 형태를 포함할 수 있다. 이 경우, 서로 다른 방송 규격의 샘플링 시간을 이용하여 동기 정보를 보다 용이하게 생성할 수 있다.
컨텐츠 재생 장치(102)는 ATSC 메인 컨텐츠 스트림과 MDTV 부가 컨텐츠 스트림의 복조 기능을 수행할 수 있다. 이러한 컨텐츠 재생 장치(102)는 TV, PC, USB 타입 PC 주변장치, 스마트폰, 셋탑 박스, 테블릿 PC, 비디오 플레이어, DVD 플레이어, DMB 플레이어, 블루레이 플레이어 등 다양한 기기에 적용될 수 있다.
도 2는 본 발명의 컨텐츠 제공 장치와 컨텐츠 재생 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 컨텐츠 제공 장치(201)는 동기 정보 생성부(203)와 동기 정보 다중화부(204)를 포함할 수 있다. 그리고, 도 2를 참고하면, 컨텐츠 재생 장치(202)는 동기 정보 역다중화부(205) 및 동기 정보 복원부(206)를 포함할 수 있다.
본 발명의 일실시예에 의하면, 컨텐츠 제공 장치(201)는 (i) 타임 스탬프 페어링(Timestamp Pairing) 방식, (ii) 타임 스탬프 오프셋 방식 및 (iii) NTP 동기 방식에 따라 동기 정보를 생성할 수 있다. 도 2에서는, (i) 타임 스탬프 페어링(Timestamp Pairing) 방식, (ii) 타임 스탬프 오프셋 방식 및 (iii) NTP 동기 방식을 구분하여 설명하기로 한다.
본 발명에서 메인 컨텐츠 스트림은 좌영상에 대응하고, 부가 컨텐츠 스트림은 우영상에 대응하는 것을 전제로 설명되나, 본 발명은 이에 한정되지 않고 상호 교환될 수 있다. 그리고, 본 발명은 영상 뿐만 아니라 음성/오디오에도 적용될 수 있다. 기본적으로, 방송망을 통해 전달되는 부가 영상의 재생 시간과 기준 영상 의 재생 시간은 동기화되어 있지 않다. 그래서, 기준 영상과 부가 영상을 액세스 유닛인 프레임 단위로 동기화하여 재생하기 위해서, 임의의 동기 시점에 기초하여 기준 영상과 부가 영상을 동기화하기 위한 동기 정보가 전달될 필요가 있다. 여기서, 기준 영상은 3DTV 서비스를 위한 좌영상에 대응하고, 부가 영상은 우영상에 대응할 수 있다.
<타임 스탬프 페어링 방식>
타임 스탬프 페어링 방식은 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프를 동기 정보로 이용한다. 구체적으로, 타임 스탬프 페어링 방식은 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프를 포함하는 타임 스탬프 페어를 동기 정보로 활용한다. 타임 스탬프 페어는 액세스 유닛인 프레임 단위마다 추출될 수 있다.
만약, 좌영상과 우영상의 타이밍 모델이 동일하다면, 타임 스탬프 페어는 동일한 형식의 타임 스탬프로 구성될 수 있다. 또는, 좌영상과 우영상이 서로 다른 방송 규격으로 전송되어 서로 다른 타이밍 모델을 나타내는 경우, 타임 스탬프 페어는 서로 다른 형식의 타임 스탬프로 구성될 수 있다. 일례로, 좌영상이 ATSC-Main 방송 규격을 따르는 경우, 좌영상의 액세스 유닛에 대응하는 타임 스탬프는 PTS로 표현된다. 그리고, 우영상이 MDTV 방송 규격을 따르는 경우, 우영상의 액세스 유닛에 대응하는 타임 스탬프는 RTP 타임 스탬프로 표현된다. 따라서, 타임 스탬프 페어링 방식에 의하면, 상이한 형태의 좌영상 및 우영상 타임 스탬프로 구성된 타임 스탬프 페어가 동기 정보로 활용될 수 있다.
그리고, 타임 스탬프 페어링 방식은 좌영상 및 우영상의 액세스 유닛의 재생 시간을 복원할 때 동기 정보를 이용하여 재생하고자 하는 컨텐츠의 타임 스탬프를 좌영상 또는 우영상 중 어느 한쪽의 기준 클럭에 적합한 형태로 변환하는 과정을 수행한다. 구체적으로, 고정 및 이동 융합형 3DTV에서 3D 재생을 위해 액세스 유닛의 재생 시간을 복원할 때, 타임 스탬프 페어링 방식은 NTP 기준 클럭 또는 PCR 기준 클럭 중 어느 하나를 기준 클럭으로 설정할 수 있다.
즉, 좌영상과 우영상이 서로 다른 타이밍 모델로 구현되어 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프가 다른 형식을 나타내더라도, 실제로 임의의 동기 시점에서는 좌영상 또는 우영상 중 어느 하나와 관련된 기준 클럭에 따라 타임 스탬프 형식을 일치시키는 과정이 필요하다.
일례로, 고정 및 이동 융합형 3DTV에서 동기화 재생시 NTP 기준 클럭을 이용하는 경우, 컨텐츠 재생 장치(202)는 좌영상(ATSC-Main)의 액세스 유닛의 PTS를 NTP 타임 스탬프 형태로 변환한다. 그리고, PCR 기준 클럭을 이용하는 경우, 컨텐츠 재생 장치(202)는 우영상(MDTV)의 액세스 유닛의 RTP 타임 스탬프를 PTS 형태로 변환한다.
한편, 좌영상과 우영상이 동일한 타이밍 모델을 사용하는 경우일 경우에도, 경우에 따라 상기 재생 시의 타임스탬프 변환 과정이 필요할 수 있다. 예를 들어, 좌영상과 우영상 모두 PTS 기반의 타이밍 모델을 이용하고 좌영상 및 우영상 모두 PCR을 기준 클럭으로 이용하는 경우일지라도, 분리된 인코더에서 각각 독립적으로 인코딩 과정을 수행할 경우 좌영상과 우영상에 대한 인코더의 기준 시간이 상이할 수 있다. 이 경우 3D 시청 시 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림에서 동일 시점에 출력해야 할 좌영상의 액세스 유닛과 우영상의 액세스 유닛 각각의 PTS 값은 서로 다를 수 있다. 이 경우, 동일한 PCR 형태의 기준클럭이지만, 좌영상 또는 우영상 어느 한 쪽 영상 스트림의 PCR 클럭을 기준으로 출력 시간을 계산할 수 있도록 반대편 영상 스트림의 PTS 값을 동기정보를 이용하여 변환하는 과정이 필요하다.
하기 타임 스탬프 페어링 방식의 구체적인 설명에서는 상이한 타임스탬프 형식을 이용하는 경우를 실시예로 하여 기술하며, 이는 기준 클럭이 다른 동일한 타임 스탬프 형식에도 적용 가능하다. 다만 동일한 타이밍 모델을 이용하는 경우에 대한 부연설명이 필요한 경우에만 별도로 명시하기로 한다.
이하에서는, 타임 스탬프 페어링 방식에 대해 구체적으로 설명하기로 한다.
동기 정보 생성부(203)는 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상 및 우영상의 액세스 유닛의 타임 스탬프를 동기 정보로 생성할 수 있다. 즉, 타임 스탬프 페어링의 경우, 좌영상과 우영상에서 이용하는 서로 다른 형식의 타임 스탬프를 이용하여 타임 스탬프 페어를 동기 정보로 생성할 수 있다. 여기서, 좌영상의 액세스 유닛의 타임 스탬프는 PTS이고, 우영상의 액세스 유닛의 타임 스탬프는 RTP 타임 스탬프일 수 있다. 따라서, 타임 스탬프 페어링 방식의 경우, 서로 동기화된 PTS와 RTP 타임 스탬프의 쌍(pair)이 동기 정보로 구성될 수 있다.
그리고, 동기 정보 다중화부(204)는 생성된 동기 정보를 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림에 주기적으로 전송되는 디스크립터(descriptor) 형태로 삽입할 수 있다. 일례로, 동기 정보를 고정 방송 스트림에 시그널링 정보로 삽입할 경우, 동기 정보 다중화부(204)는 PMT(Program Map Table), VCT(virtual channel table), EIT(Event Information Table)등의 시그널링 테이블에 Descriptor 형태로 삽입할 수 있다. 그리고, 동기 정보를 모바일 방송 스트림의 시그널링 정보로 삽입할 경우, 동기 정보 다중화부(204)는 FIC(Fast Information Channel), SMT(Service Map Table), SLT(Service Labeling Table) 등의 시그널링 테이블에 Descriptor 형태로 삽입할 수 있다.
그런 후에, 컨텐츠 재생 장치(202)에서, 동기 정보 역다중화부(205)는 동기 정보인 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프로 구성된 타임 스탬프 페어를 추출할 수 있다. 일례로, 동기 정보 역다중화부(205)는 ATSC 메인 방송 규격에 대응하는 컨텐츠 스트림의 시그널링 정보 또는 MDTV 방송 규격에 대응하는 컨텐츠 스트림의 시그널링 정보로부터 동기 정보를 추출할 수 있다.
동기 정보 역다중화부(205)는 메인 컨텐츠 스트림의 시그널링 정보 또는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보인 PTS 및 RTP 타임 스탬프로 구성된 타임 스탬프 페어를 추출할 수 있다. PTS는 동기 기준이 될 메인 컨텐츠 스트림에 포함된 액세스 유닛의 MPEG-2 시스템 기반 출력 시간(기존 2D ATSC Main 서비스를 위한 출력 시간)을 나타낸다. 그리고, RTP 타임 스탬프는 동기 기준이 될 부가 컨텐츠 스트림에 포함된 액세스 유닛의 MDTV 규격 기반 출력 시간(기존 2D ATSC Main 서비스를 위한 출력 시간)을 나타낸다. 다른 일례로, 동기 정보 역다중화부(205)는 메인 컨텐츠 스트림의 시그널링 정보 또는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보인 상이한 기준 클럭을 기반으로 생성된 동일 형식의 좌영상 및 우영상의 타임 스탬프를 포함하는 타임 스탬프 페어를 추출할 수 있다.
즉 동기 기준이 되는 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 RTP 타임 스탬프는 각 규격의 타이밍 모델이 다르므로 상이한 형태를 나타낸다. 하지만 3DTV 시청 시에는 동기화 포인트에서 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 RTP 타임 스탬프가 서로 동일한 출력 시점을 나타낸다고 가정한다. 다른 일례로, 동기 기준이 되는 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 PTS가 상이한 기준 클럭을 기반으로 생성되었을 경우 동일 시점에 출력해야 하는 좌영상의 액세스 유닛과 우영상의 액세스 유닛 각각의 PTS 값은 상이할 수 있다. 하지만 3DTV 시청 시에는 동기화 포인트에서 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 PTS가 서로 동일한 출력 시점을 나타낸다고 가정한다. 본 발명은 이러한 가정을 기반으로 액세스 유닛의 재생 시간을 복원할 수 있다.
재생 시간 복원부(206)는 동기 정보를 이용하여 PCR 기준 클럭 또는 NTP 기준 클럭에 기초하여 좌영상 및 우영상의 액세스 유닛 각각의 재생 시간을 복원할 수 있다. 일례로, PCR 기준 클럭에 따라 동기화를 수행할 경우, 재생 시간 복원부(206)는 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프를 MPEG-2 시스템 규격에서 사용되는 PTS 형태의 타이밍 정보로 변환할 수 있다.
반면 NTP 기준 클럭에 따라 동기화를 수행할 경우, 재생 시간 복원부(206)는 메인 컨텐츠 스트림에 포함된 액세스 유닛의 PTS를 MDTV 규격에서 사용하는 NTP 타임 스탬프 형태의 타이밍 정보로 변환할 수 있다. 이와 같은 재생 시간 복원 과정을 통해 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 출력시간은 하나의 기준 클럭(PCR 또는 NTP 타임 스탬프)에 맞추어 출력이 가능한 형태가 된다. 이러한 과정을 통해 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 상호 매칭이 되는 좌영상과 우영상을 해당 기준 클럭에 맞게 동일 시점에 출력할 수 있다.
타임 스탬프 페어링 방식에 대해서는 도 3 및 도 4에서 구체적으로 설명하기로 한다.
<타임 스탬프 오프셋 방식>
3DTV 방송 서비스를 위한 좌영상에 대응하는 메인 컨텐츠 스트림과 우영상에 대응하는 부가 컨텐츠 스트림의 프레임 레이트가 같고 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림에서 사용하는 타임 스탬프의 클럭 레이트가 같을 경우, 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림의 타임 스탬프 오프셋을 동기정보로 이용할 수 있다. 예를 들어 고정 및 이동 융합형 3DTV 시스템에서 좌영상과 우영상의 프레임 레이트가 같고, MPEG-2 시스템 PTS와 MDTV 시스템 RTP 타임 스탬프의 클럭 레이트가 같다. 이에 따라, 타임 스탬프 오프셋 방식을 이용할 수 있으며, 타임 스탬프 오프셋 방식은 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상 및 우영상의 액세스 유닛에 대응하는 타임 스탬프 오프셋을 동기 정보로 이용한다. 구체적으로, 타임 스탬프 오프셋 방식은 동기화 대상인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 동기 정보로 생성하는 것을 의미한다.
이 때, 좌영상과 우영상의 타임스탬프는 동일한 형태일 수 있고, 또는 다른 형태일 수 있다. 예를 들어, 좌영상과 우영상의 타임스탬프는 모두 PTS 형태의 타임스탬프일 수 있다. 또는 좌영상의 타임 스탬프는 PTS이고, 우영상의 타임 스탬프는 RTP일 수 있다. 그리고, 타임 스탬프 오프셋 방식은 좌영상 및 우영상의 액세스 유닛의 재생 시간을 복원할 때 동기 정보를 이용하여 재생하고자 하는 컨텐츠의 타임 스탬프를 기준 클럭에 적합한 형태로 변환할 수 있다. 좌영상과 우영상이 서로 다른 타이밍 모델을 사용하는 경우, 타임 스탬프 오프셋 방식은 좌영상 및 우영상의 액세스 유닛의 재생 시간을 복원할 때 동기 정보를 이용하여 재생하고자 하는 컨텐츠의 타임 스탬프를 좌영상 또는 우영상 중 어느 한쪽의 기준 클럭에 적합한 형태로 변환하는 과정을 수행한다. 구체적으로, 고정 및 이동 융합형 3DTV에서 3D 재생을 위해 액세스 유닛의 재생 시간을 복원할 때, 타임 스탬프 오프셋 방식은 NTP 기준 클럭 또는 PCR 기준 클럭 중 어느 하나를 기준 클럭으로 설정할 수 있다.
즉, 좌영상과 우영상이 서로 다른 타이밍 모델로 구현되어 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프가 다른 형식을 나타내더라도, 실제로 임의의 동기 시점에서는 좌영상 또는 우영상 중 어느 하나와 관련된 기준 클럭에 따라 타임 스탬프 형식을 일치시키는 과정이 필요하다.
일례로, 고정 및 이동 융합형 3DTV에서 동기화 재생시 NTP 기준 클럭을 이용하는 경우, 컨텐츠 재생 장치(202)는 좌영상(ATSC-Main)의 액세스 유닛의 PTS를 NTP 타임 스탬프 형태로 변환한다. 그리고, PCR 기준 클럭을 이용하는 경우, 컨텐츠 재생 장치(202)는 우영상(MDTV)의 액세스 유닛의 RTP 타임 스탬프를 PTS 형태로 변환한다.
한편, 좌영상과 우영상이 동일한 타이밍 모델을 사용하는 경우일 경우에도, 경우에 따라 상기 재생 시의 타임스탬프 변환 과정이 필요할 수 있다. 예를 들어, 좌영상과 우영상 모두 PTS 기반의 타이밍 모델을 이용하고 좌영상 및 우영상 모두 PCR을 기준 클럭으로 이용하는 경우일지라도, 분리된 인코더에서 각각 독립적으로 인코딩 과정을 수행할 경우 좌영상과 우영상 각각에 대한 인코더의 절대적인 샘플링 기준 시간이 다를 수 있다. 이 경우 3D 시청 시 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림에서 동일 시점에 출력해야 할 좌영상의 액세스 유닛 및 우영상의 액세스 유닛 각각의 PTS 값은 서로 다를 수 있다. 이 경우, 좌영상과 우영상이 동일한 PCR 형태의 기준클럭이지만, 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림의 PCR 클럭을 기준으로 출력 시간을 계산할 수 있도록 반대편 영상 스트림의 PTS 값을 동기정보를 이용하여 변환하는 과정이 필요하다.
하기 타임 스탬프 오프셋 방식의 구체적인 설명에서는 상이한 타임스탬프 형식을 이용하는 경우를 실시예로 하여 기술하며, 이는 기준 클럭이 다른 동일한 타임 스탬프 형식에도 적용 가능하다. 다만 동일한 타이밍 모델을 이용하는 경우에 대한 부연설명이 필요한 경우에만 별도로 명시하기로 한다.
이하에서는, 타임 스탬프 오프셋 방식에 대해 구체적으로 설명하기로 한다.
컨텐츠 제공 장치(201)에서, 동기 정보 생성부(203)는 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상과 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 동기 정보로 생성할 수 있다. 좌영상의 액세스 유닛의 타임 스탬프는 PTS이고, 우영상의 액세스 유닛의 타임 스탬프는 RTP이다. 따라서, 타임 스탬프 오프셋 방식의 경우, 서로 동기화된 PTS와 RTP 타임 스탬프 간의 오프셋이 동기 정보로 구성될 수 있다. 타임 스탬프 오프셋 방식의 경우, 좌영상과 우영상에 대응하는 타임 스탬프 간의 오프셋만 전송하면 동기화가 진행될 수 있기 때문에, 타임 스탬프 페어링 방식보다 전송해야할 데이터 양이 감소할 수 있다.
일례로, 동기 정보 생성부(203)는 동기화된 메인 컨텐츠 스트림에 포함된 액세스 유닛의 PTS와 상기 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프 간의 차이인 타임 스탬프 오프셋을 동기 정보로 생성할 수 있다. 만일 고정 및 이동 융합형 3DTV와 같이 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림의 타임스탬프 형식이 다른 경우(좌: PTS(33 bits), 우: RTP 타임 스탬프(32 bits)), PTS와 RTP 타임 스탬프의 비트 수가 다르므로, 타임 스탬프 오프셋을 계산할 때 PTS의 상위 1비트(MSB;Most Siginificant Bit)는 무시하고 PTS의 하위 32비트와 RTP 타임 스탬프의 전체 32 비트 간의 오프셋을 이용한다.
그리고, 동기 정보 다중화부(204)는 생성된 동기 정보를 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림에 주기적으로 전송되는 디스크립터(descriptor) 형태로 삽입할 수 있다. 일례로, 메인 컨텐츠 스트림에 삽입할 경우 동기 정보 다중화부(204)는 PMT, TVCT, EIT등의 시그널링 테이블에 동기 정보를 디스크립터 형태로 삽입할 수 있다. 그리고, 부가 컨텐츠 스트림의 시그널링 정보로 삽입할 경우 동기 정보 다중화부(204)는 FIC, SMT, SLT 등의 시그널링 테이블에 동기 정보를 디스크립터 형태로 삽입할 수 있다.
그런 후에, 컨텐츠 재생 장치(202)에서, 동기 정보 역다중화부(205)는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보를 추출할 수 있다.
재생 시간 복원부(206)는 시그널링 정보로부터 추출한 동기 정보를 이용하여 PCR 기준 클럭 또는 NTP 기준 클럭에 기초한 재생 시간을 복원할 수 있다. 일례로, PCR 기준 클럭에 따라 동기화를 수행할 경우, 재생 시간 복원부(206)는 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프를 MPEG-2 시스템 규격에서 사용되는 PTS 형태의 타이밍 정보로 변환할 수 있다.
반면 NTP 기준 클럭에 따라 동기화를 수행할 경우, 재생 시간 복원부(206)는 메인 컨텐츠 스트림에 포함된 액세스 유닛의 PTS를 MDTV 규격에서 사용하는 NTP 타임 스탬프 형태의 타이밍 정보로 변환할 수 있다. 재생 시간 복원 과정을 통해 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 출력시간은 하나의 기준 클럭(PCR 또는 NTP 시간)에 맞추어 출력이 가능한 형태가 되며, 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림의 상호 매칭이 되는 좌영상 및 우영상을 해당 기준 클럭에 맞게 동일 시점에 출력할 수 있다.
타임 스탬프 오프셋 방식에 대해서는 도 5 및 도 6에서 구체적으로 설명하기로 한다.
<NTP 동기 방식>
NTP 동기 방식은 좌영상의 액세스 유닛의 타임 스탬프, 우영상의 액세스 유닛의 타임 스탬프를 이용하여 좌영상과 우영상의 동기화를 위해 별도로 계산된 NTP 타임 스탬프를 생성하는 방식을 의미한다.
구체적으로, 좌영상과 우영상의 액세스 유닛은 서로 다른 타이밍 모델을 가지고 있지만, 이미 기준 클럭에 동기화되어 있다고 가정한다. 그러면, 기준 클럭으로부터 도출된 기준 타임 스탬프인 NTP 타임 스탬프를 이용하여 동기화 시점에서 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프가 도출될 수 있다. 그리고, 도출된 타임 스탬프에 기초하여 좌영상과 우영상을 재생할 때의 동기 정보인 NTP 타임 스탬프가 추가적으로 생성될 수 있다.
구체적으로, NTP 동기 방식은 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 PTS와 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 RTP 타임 스탬프 이외에, 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 동기화를 위해서 별도로 생성된 NTP 타임 스탬프를 추가적으로 전송하는 방식을 의미한다.
이하에서는, NTP 동기 방식에 대해 구체적으로 설명하기로 한다.
동기 정보 생성부(203)는 ATSC 메인 방송 규격의 메인 컨텐츠 스트림과 MDTV 방송 규격의 부가 컨텐츠 스트림의 동기화를 위한 동기 정보를 추가적으로 생성할 수 있다. 일례로, 동기 정보 생성부(203)는 메인 컨텐츠 스트림의 PTS, 부가 컨텐츠 스트림의 RTP 타임 스탬프를 이용하여 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 동기화를 위한 NTP(network time protocol) 타임 스탬프를 생성할 수 있다. 여기서, NTP 타임 스탬프는 기준 타임 스탬프를 의미한다. 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 RTP 타임 스탬프는 기준 타임 스탬프인 NTP 타임 스탬프를 통해 도출될 수 있다.
구체적으로, 동기 정보 생성부(203)는 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상과 우영상의 액세스 유닛에 대응하는 타임 스탬프를 동기 정보로 생성할 수 있다. 여기서, 동일 시점은 좌영상과 우영상의 동기화 시점을 의미한다. 이 때, 동기 시점에서 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프를 통해 도출된 재생 시간이 서로 동일해야 3DTV 서비스가 가능하다. 이 경우, 동기화 지점부터 재생될 좌영상에 대응하는 메인 컨텐츠 스트림과 우영상에 대응하는 부가 컨텐츠 스트림은 서로 매칭되어 3D 영상이 재생될 수 있다. 좌영상의 타임 스탬프는 PTS이고, 우영상의 타임 스탬프는 NTP 타임 스탬프일 수 있다. 메인 컨텐츠 스트림과 부가 컨텐츠 스트림은 NTP 기준 클럭으로 동기화되어 있다고 가정한다.
동기 정보 다중화부(204)는 생성된 동기 정보를 다중화할 수 있다. 일례로, 동기 정보 다중화부(204)는 생성된 동기 정보인 NTP 타임 스탬프를 패킷화하고, 패킷화된 NTP 타임 스탬프를 주기적으로 전송된 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 디스크립터(descriptor) 형태로 삽입할 수 있다. 여기서, 동기 정보는 주기적으로 전송되는 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 시그널링 정보로 포함될 수 있다. 일례로, 디스크립터는 MPEG-TS 패킷을 통해 주기적으로 전송되는 PMT(Program Map Table) 또는 EIT(Event Information Table) 또는 ATSC PSIP 규격에 포함된 TVCT 등을 포함할 수 있다.
뿐만 아니라, 동기 정보 다중화부(204)는 ATSC 메인 방송 규격에 따라 메인 컨텐츠 스트림의 타임 스탬프인 PTS를 동기 정보로 비트스트림에 삽입하고, MDTV 방송 규격에 따라 부가 컨텐츠 스트림의 타임 스탬프인 RTP 타임 스탬프를 비트스트림에 삽입할 수 있다.
이후에, 컨텐츠 재생 장치(202)에서, 동기 정보 역다중화부(205)는 ATSC 메인 방송 규격에 따라 주기적으로 전송되는 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보인 NTP 타임 스탬프를 추출할 수 있다.
재생 시간 복원부(206)는 동기 정보를 이용하여 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 재생 시간과 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 재생 시간을 복원할 수 있다. 일례로, 재생 시간 복원부(206)는 동기 정보인 NTP 타임 스탬프 (NTP_M') 및 Wallclock_A로부터 생성된 PTS'를 이용하여 메인 컨텐츠 스트림의 액세스 유닛의 재생 시간인 PTS_A를 복원할 수 있다. 이 때, 재생 시간 복원부(206)는 Wallclock_A로부터 생성된 PTS'가 역전되었는 지 여부를 고려하여 메인 컨텐츠 스트림의 재생 시간인 PTS를 복원할 수 있다.
다른 일례로, 재생 시간 복원부(206)는 동기 정보인 NTP 타임 스탬프 (NTP_M') 및 Wallclock_M으로부터 도출된 RTP 타임 스탬프(RTP')를 이용하여 부가 컨텐츠 스트림의 재생 시간인 PTS_M를 복원할 수 있다. 이 때, 재생 시간 복원부(206)는 RTP 타임 스탬프(RTP')가 역전되었는 지 여부를 고려하여 부가 컨텐츠 스트림의 액세스 유닛의 재생 시간인 PTS를 복원할 수 있다. 여기서, Wallclock은 NTP(network time protocol)의 timestamp로 64비트의 부호없는 fixed point수로 32비트 정수부와 32비트 소수부로 구성될 수 있다. Wallclock_A는 메인 컨텐츠 스트림과 관련된 NTP 타임 스탬프이고, Wallclock_M은 부가 컨텐츠 스트림과 관련된 NTP 타임 스탬프이다. 그리고, Wallclock_A와 Wallclock_M는 서로 동기화되어 있으며, 동기화 지점에서 동일한 NTP 타임 스탬프를 나타낸다.
결론적으로, NTP 동기 방식에 의하면, 컨텐츠 제공 장치(101)은 메인 컨텐츠 스트림과 부가 컨텐츠 스트림을 동기화하기 위해 추가적으로 생성한 동기 정보인 NTP 타임 스탬프 (NTP_M')를 메인 컨텐츠 스트림에 다중화하여 컨텐츠 재생 장치(102)에 전달할 수 있다.
NTP 동기 방식에 대해서는 도 7에서 구체적으로 설명하기로 한다.
도 3은 본 발명의 제1 실시예에 따라 MDTV 시그널링 채널을 이용하는 타임 스탬프 페어링에 기초한 동기화 과정을 도시한 도면이다.
앞서 설명하였듯이, 타임 스탬프 페어링은 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상 및 우영상의 액세스 유닛에 대응하는 타임 스탬프(좌: PTS, 우: RTP 타임 스탬프) 페어를 동기 정보로 이용한다, 그리고, 타임 스탬프 페어링은 동기 정보인 타임 스탬프 페어를 이용하여 액세스 유닛의 재생 시간을 복원할 수 있다. 이 때, 타임 스탬프 페어링은 재생하고자 하는 컨텐츠의 타임 스탬프를 기준 클럭(NTP clock 또는 PCR clock)에 적합한 NTP 타임 스탬프 또는 PTS로 변환할 수 있다. 즉 3DTV 재생시 동기화 지점에서 액세스 유닛의 재생 시간을 복원할 때 기준 클럭이 MDTV의 NTP clock인 경우 좌영상(ATSC-Main)의 PTS가 NTP 타임 스탬프 형태로 변환될 수 있다. 그리고, 3DTV 재생시 동기화 지점에서 액세스 유닛의 재생 시간을 복원할 때 기준 클럭이 PCR clock인 경우, 우영상(MDTV)의 RTP 타임 스탬프가 PTS 형태로 변환될 수 있다. 여기서, NTP 타임 스탬프는 64비트이고, PTS는 33비트이다.
생성된 동기 정보는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림 또는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림을 통해 다중화되어 컨텐츠 재생 장치(202)에 전송될 수 있다. 이 때, 컨텐츠 재생 장치(202)는 NTP 기준 클럭 또는 PCR을 이용하여 ATSC 메인 방송 규격 방송 규격에 대응하는 메인 컨텐츠 스트림 또는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림 각각의 재생 시간을 복원할 수 있다.
본 발명의 일실시예에 따른 타임 스탬프 페어링 방식은 다음과 같은 조합으로 구성될 수 있다.
(i) ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림을 통한 동기정보 다중화 - NTP 기준 클럭 기반 재생 시간 복원
(ii) ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림을 통한 동기정보 다중화 - PCR 기준 클럭 기반 재생 시간 복원
(iii) MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림을 통한 동기정보 다중화 - NTP 기준 클럭 기반 재생 시간 복원
(iv) MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림을 통한 동기정보 다중화 - PCR 기준 클럭 기반 재생 시간 복원
도 3를 참고하면, MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림에 동기 정보를 다중화하는 것을 도시한다. 도 3에서 ATSC 메인 방송 규격 방송 규격에 대응하는 메인 컨텐츠 스트림은 복수의 액세스 유닛들(AUn)을 포함한다. 이 때, 메인 컨텐츠 스트림의 액세스 유닛들 각각은 PTS를 가진다. 그리고, MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림도 복수의 액세스 유닛들(M-AUn)을 포함할 수 있다. 부가 컨텐츠 스트림의 액세스 유닛들 각각은 RTP 타임 스탬프를 가진다.
도 3에서 PTSn은 액세스 유닛 AUn의 PTS를 의미하고, RTP_Vn은 비디오 스트림에서 액세스 유닛 M-AUn의 RTP 타임 스탬프를 의미한다. 그리고, RTP_An은 오디오 스트림에서 액세스 유닛 M-AUn의 RTP 타임 스탬프를 의미한다. 또한, PTS_sync는 임의의 동기 기준이 되는 동기화 시점에서 좌영상의 액세스 유닛에 대응하는 PTS를 의미한다. 그리고, RTP_Sync는 임의의 동기 기준이 되는 동기화 시점에서 우영상의 액세스 유닛에 대응하는 RTP 타임 스탬프를 의미한다. 여기서 임의의 동기 기준이 되는 동기화 시점은 3D 프로그램 내의 임의의 시점을 의미한다.
동기 기준이 되는 동기화 시점의 PTS_Sync와 RTP_Sync가 한번 계산되면, 좌영상에 대응하는 메인 컨텐츠 스트림과 우영상에 대응하는 부가 컨텐츠 스트림의 시간 기준이 달라지지 않는 한 PTS_Sync와 RTP_Sync는 지속적으로 동기 정보로 이용될 수 있다. 그리고, 동기 기준이 되는 동기화 시점에서 좌영상의 액세스 유닛에 대응하는 PTS_Sync와 우영상의 액세스 유닛에 대응하는 RTP Sync는 타임 스탬프 페어를 구성하여 동기 정보로 생성될 수 있다. 임의의 동기 기준이 되는 동기화 시점은 프로그램의 가장 앞쪽이 될 수 있다. 또는 임의의 중간 시점이 될 수 있다. 다만 프로그램이 생방송과 같이 상기 동기 정보를 미리 생성할 수 없는 경우 프로그램의 가장 앞쪽에서 동기정보 생성이 이루어질 수 있다.
즉, 타임 스탬프 페어링 방식은 상기 PTS_sync와 RTP_Sync로 구성되는 타임 스탬프 페어를 동기 정보로 활용할 수 있다.
첫째로, 동기 정보인 PTS_sync는 다음과 같은 과정을 통해 생성될 수 있다.
PES는 하나 이상의 액세스 유닛들을 포함할 수 있고 PES 헤더의 PTS는 PES 페이로드 내에 가장 앞쪽의 시작 코드를 가지고 있는 액세스 유닛의 타이밍 정보를 표현한다. 또한 컨텐츠 재생 장치(202)는 GOP 구조를 고려하여 나머지 액세스 유닛들의 출력 시간을 계산할 수 있다.
따라서, 임의의 동기 기준이 되는 동기화 시점에 동시 출력해야 하는 좌영상 및 우영상의 액세스 유닛에 대응하는 타임 스탬프 중 PTS인 PTS_sync를 다음과 같이 계산할 수 있다. 구체적으로, 동기 기준 시점에 출력해야 하는 액세스 유닛의 시작코드가 PES 페이로드 내에서 시작되는 액세스 유닛들의 시작코드 중 가장 앞쪽에 위치할 경우, 해당 PES의 PTS를 PTS_Sync 로 이용할 수 있다.
그리고, 동기 기준이 되는 동기화 시점에 출력해야 하는 액세스 유닛의 시작코드가 PES 페이로드 내에서 시작되는 액세스 유닛들의 시작코드 중 가장 앞쪽이 아닌 경우, GOP 구조를 기반으로 계산한 출력 시간을 PTS와 같은 방식의 33비트 타임 스탬프 형태로 표현하여 PTS_Sync 를 계산한다.
다만, PES의 패킷화 단계에서 동기 기준이 되는 메인 컨텐츠 스트림의 액세스 유닛이 PES의 가장 앞에 위치하도록 별도의 규칙을 적용할 결우, PTS_sync를 위해서 별도의 추가 계산없이 해당하는 PES의 PTS를 이용할 수 있다.
동기 정보인 PTS_sync는 다음과 같은 과정을 통해 생성될 수도 있다. 인코더에서 임의의 동기 기준이 되는 동기화 시점에 동시 출력해야 하는 좌영상과 우영상의 액세스 유닛 중 좌영상(ATSC 메인 방송 영상)의 샘플링 시간을 기준으로 하여 해당 액세스 유닛의 출력 시간이 PTS 형태로 변환될 수 있다.
둘째로, 동기 정보인 RTP_sync는 다음과 같은 과정을 통해 생성될 수 있다.
ATSC Mobile/Handheld에서 RTP를 통해 AVC를 전송하는 방식은 넌 인터리브드(Non-Interleaved) 모드만 사용 가능하다. 수집 모드(Aggregation Mode)는 Single NAL Unit Mode, STAP-A, FU-A 중 하나이다. 따라서, 하나의 RTP 패킷에 포함된 NAL Unit은 항상 동일한 RTP 타임 스탬프로 표현될 수 있다. 그래서, RTP_Sync는 동기 기준이 되는 동기화 시점에서 액세스 유닛에 속한 NAL(Network Abstraction Layer) Unit을 포함하는 RTP 패킷의 RTP 타임 스탬프와 동일하다.
ATSC Mobile/Handheld에서 RTP 를 통해 AVC를 전송하는 방식에 인터리브드(Interleaved) 모드가 추가될 경우, RTP_Sync는 RTP 타임 스탬프와 별도로 계산될 수 있다. 이 경우, 컨텐츠 제공 장치(201)는 인코딩 시 동기 기준이 되는 부가 컨텐츠 스트림의 액세스 유닛과 관련된 픽쳐 샘플링 시간을 이용하여 RTP_Sync를 계산할 수 있다. 이 때, RTP_sync를 계산하는 방식은 기존의 계산 방식은 Mobile/Handheld에서 액세스 유닛과 관련된 픽쳐 샘플링 시간을 RTP 타임 스탬프로 변환하는 방식과 동일하다.
도 3을 참고하면, 컨텐츠 제공 장치(201)는 동기 정보인 RTP_sync와 PTS_sync로 구성된 타임 스탬프 페어를 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 정보를 포함시켜 동기 정보의 다중화를 수행할 수 있다. MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 채널을 통해 동기 정보를 전달하는 경우, 동기 정보는 RS Frame에 실려 주기적으로 전송되는 FIC(Fast Information Channel), SMT(Service Map Table), SLT(Service Labeling Table)의 서비스 레벨 디스크립터, 컴포넌트 레벨 디스크립터 등의 시그널링 채널에 삽입될 수 있다.
도 4는 본 발명의 제1 실시예에 따라 ATSC 메인 방송 시그널링 채널을 이용하는 타임 스탬프 페어링에 기초한 동기화 과정을 도시한 도면이다.
여기서, 도 4를 참고하면, 도 3과 달리 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 시그널링 채널을 통해 동기 정보(RTP_sync, PTS_sync)를 다중화하는 것을 도시한다. 이 때, 컨텐츠 제공 장치(201)는 MPEG-2 TS 패킷에 실려서 주기적으로 전송되는 PMT, VCT, EIT 등의 디스크립터를 이용할 수 있다.
도 3과 도 4에 도시되지 않았지만, 다중화된 동기 정보는 컨텐츠 재생 장치(202)에서 역다중화되고, 역다중화를 통해 추출된 동기 정보는 재생 시간을 복원하기 위해 사용된다.
구체적으로, 도 3과 같이 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림 또는 도 4와 같이 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림을 통해 동기 정보가 컨텐츠 재생 장치(202)에 전달될 수 있다. 그러면, 컨텐츠 재생 장치(202)는 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 시그널링 정보부터 타임 스탬프 페어인 동기 정보(RTP_sync, PTS_sync)를 추출할 수 있다.
일례로, ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림을 역다중화하여 동기 정보를 추출하는 경우, 컨텐츠 재생 장치(202)는 MPEG-2 TS 패킷에 실려 주기적으로 전송되는 PMT, VCT, EIT 등 PSI 또는 PSIP로부터 추출될 수 있다. 다른 일례로, MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림을 역다중화하여 동기 정보를 추출하는 경우, 컨텐츠 재생 장치(202)는 RS 프레임에 실려 주기적으로 전송되는 FIC, SMT, SLT의 서비스 레벨 디스크립터, 또는 컴포넌트 레벨 디스크립터 등의 시그널링 채널에서 동기 정보를 추출할 수 있다.
이 후, 컨텐츠 재생 장치(202)는 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 재생 시간을 복원할 수 있다. 본 발명의 일실시예에 따르면, 컨텐츠 재생 장치(202)는 PCR 기반의 재생 시간 복원과 NTP 기준 클럭 기반의 재생 시간 복원을 수행할 수 있다.
ㄱ. PCR 기반의 재생 시간 복원
PCR 기반의 재생 시간은 하기 수학식 1에 기초하여 복원될 수 있다.
Figure pat00001
PCR을 기반으로 좌영상과 우영상의 동기화를 수행하기 위해서는, MDTV와 관련된 부가 컨텐츠 스트림에 포함된 각 액세스 유닛의 RTP 타임 스탬프를 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 포함된 각 액세스 유닛의 PTS와 같이 PCR을 기준으로 출력시점을 계산할 수 있는 형태로 복원해야 한다.
본 발명의 일실시예에 따르면, 수학식 1에서 볼 수 있듯이 비디오인 경우, 컨텐츠 재생 장치(202)는 재생 시간을 복원하고자 하는 부가 컨텐츠 스트림에 포함됨 액세스 유닛(M-AUn)의 RTP_Timestamp(RTP_Vn)와 동기 기준이 되는 액세스 유닛의 RTP_Timestamp(RTP_Sync_V)간의 타임 스탬프 차이(RTD_V)를 계산한다. 그런 다음, 컨텐츠 재생 장치(202)는 계산된 타임 스탬프 차이(RTD_V)를 동기 기준이 되는 액세스 유닛의 PTS(PTS_Sync)와 더하고, 더한 결과에 2^32으로 모듈러(Modulo) 연산을 수행할 수 있다. 이러한 과정을 통해 컨텐츠 재생 장치(202)는 MDTV와 관련된 부가 컨텐츠 스트림에 포함된 각 액세스 유닛의 RTP 타임 스탬프를 PCR 기준의 출력시점 계산이 가능한 형태의 타임 스탬프(PTS of M-AUn)로 변환할 수 있다.
본 실시예에서 오디오의 경우, 컨텐츠 재생 장치(202)는 재생 시간을 복원하고자 하는 부가 컨텐츠 스트림에 포함된 액세스 유닛(M-AUn)의 RTP_Timestamp(RTP_An)와 동기 기준이 되는 액세스 유닛의 RTP_Timestamp(RTP_Sync_A)간의 타임 스탬프 차이(RTD_A)를 계산한다. 그런 다음, 컨텐츠 재생 장치(202)는 계산된 타임 스탬프 차이(RTD_A)에 PTS 해상도(90,000)와 부가 컨텐츠 스트림인 오디오 스트림의 RTP_Timestamp 해상도(RTP_clock_rate)의 비율(90,000 / RTP_clock_rate)을 곱한다. 그러면, 컨텐츠 재생 장치(202)는 RTD_A와 90,000 / RTP_clock_rate를 곱한 결과에 동기 기준이 되는 액세스 유닛의 PTS(PTS_Sync)에 더한 후, 2^33으로 모듈러(Modulo) 연산을 수행한다. 이러한 과정을 통해 컨텐츠 재생 장치(202)는 MDTV와 관련된 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프를 PCR 기준의 출력시점 계산이 가능한 형태의 타임 스탬프(PTS of M-AUn)로 변환할 수 있다.
본 발명의 일실시예에 따르면, 만약 RTP_Vn이 RTP_Sync_V보다 작을 경우, 컨텐츠 재생 장치(202)는 타임 스탬프의 롤오버(Rollover) 현상을 방지하기 위해 RTD_V를 계산할 때 (RTP_Vn - RTP_Sync_V) + 2^32을 이용한다. 만약 RTP_Vn이 RTP_Sync_V보다 크거나 같은 경우, 컨텐츠 재생 장치(202)는 RTD_V를 계산할 때 (RTP_Vn - RTP_Sync_V) % 2^32를 이용한다.
그리고, 본 발명의 일실시예에 따르면, 만약 RTP_An이 RTP_Sync_A보다 작을 경우, 컨텐츠 재생 장치(202)는 타임 스탬프의 롤오버 현상을 방지하기 위해 RTD_A를 계산할 때 (RTP_An - RTP_Sync_A) + 2^32을 이용한다. 만약, RTP_An이 RTP_Sync_A보다 크거나 같은 경우, 컨텐츠 재생 장치(202)는 RTD_A를 계산할 때 (RTP_An - RTP_Sync_A) % 2^32를 이용한다.
만약 오디오의 경우 MDTV HE-AAC 스트림을 이용할 경우에만 컨텐츠 재생 장치(202)는 위에서 언급한 재생 시간의 복원 과정을 수행한다. 그리고, ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 실린 AC3 오디오를 이용할 경우, 컨텐츠 재생 장치(202)는 위에서 언급한 액세스 유닛의 재생 시간의 복원 과정을 생략할 수 있다. 그리고, 오디오에서 동기 기준이 되는 액세스 유닛의 타임 스탬프(RTP_Sync_A)를 계산하는 과정이 생략될 수 있다.
도 3와 4에서 AU1과 M-AU1이 동기 기준이 되는 액세스 유닛이라고 가정한다.
3D 영상합성을 위해 컨텐츠 재생 장치(202)는 MDTV 영상의 출력 시점을 계산하기 위해 수학식 1을 통해 계산된 PCR 기준의 출력시점 계산이 가능한 형태의 타임 스탬프(PTS of M-AUn)를 이용할 수 있다. 그리고, 컨텐츠 재생 장치(202)는 ATSC 메인 영상의 출력시점을 위해 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림의 PTS를 이용하며, 기준 클럭으로 ATSC 메인 영상 스트림의 PCR을 이용한다. 즉 동일한 PTS of M-AUn과 PTS를 갖고 있는 좌영상 및 우영상이 3D 영상합성을 위해 동시에 출력된다. 여기서 좌영상과 우영상의 스트림의 타임스탬프의 길이가 다른 경우, 좌영상과 우영상의 타임스탬프 중 짧은 길이만큼의 타임스탬프 하위 비트를 비교한다. 즉, 상기 예에서 PTS는 33bit이고, RTP 타임 스탬프는 32bit이므로, 변환된 우영상의 PTS(PTS of M-AUn)와 좌영상의 PTS는 하위 32bit만 비교한다.
수학식 1은 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림에서 상이한 기준클럭을 기반으로 하는 동일한 형태의 타임스탬프를 사용한 경우에도 적용 가능하다. 예를 들어 좌영상과 우영상의 스트림이 상이한 기준클럭(PCR)을 기반으로 하는 PTS 형태의 타임스탬프를 이용하고, 동기정보로 PTS1_Sync와 PTS2_Sync_V를 이용하는 경우, 수학식 1의 PTS와 RTP를 PTS1과 PTS2로 표현하여 계산할 수 있다. 즉, 수학식 1은 하기 수학식 2와 같이 변경하여 적용할 수 있다.
Figure pat00002
상기 수학식 2는 PTS1을 사용하는 스트림의 PCR을 기준 클럭으로 이용할 수 있도록 PTS2를 PTS1 형태로 변환하는 식이며, 앞서 설명한 수학식 1의 PTS-RTP 간 변환 방식과 동일한 방식을 이용한다. 다만 좌영상과 우영상의 타임 스탬프의 길이가 33bit로 같으므로 롤오버 방지를 위한 모듈러 연산 시 2^33 값을 이용한다.
ㄴ. NTP 기준 클럭 기반의 재생 시간 복원
NTP 기준 클럭 기반의 재생 시간은 하기 수학식 3에 기초하여 복원될 수 있다.
Figure pat00003
기존의 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림은 PES 패킷 형태로 액세스 유닛을 전송할 수 있다. 이 때, 각 PES 패킷 헤더에 포함된 PTS는 해당 패킷에 실린 액세스 유닛의 PTS를 PCR 기반으로 계산하기 위해 이용된다.
NTP 기준 클럭을 기반으로 좌영상과 우영상 간에 동기화를 수행하기 위해서, ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림을 통해 전달된 각 액세스 유닛의 PTS가 64-bit NTP 타임 스탬프로 변환될 필요가 있다.
본 발명의 일실시예에서, 컨텐츠 재생 장치(202)는 재생 시간을 복원하고자 하는 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 포함된 액세스 유닛(AUn)의 PTS(PTSn)와 동기 기준이 되는 액세스 유닛의 PTS(PTS_Sync)간의 타임 스탬프 차이(PTD)를 계산할 수 있다. 그런 다음, 컨텐츠 재생 장치(202)는 계산된 타임 스탬프 차이(PTD)와 동기 기준이 되는 액세스 유닛의 RTP 타임 스탬프(RTP_Sync)를 더하고, 더한 결과에 2^33으로 모듈러(Modulo) 연산을 수행할 수 있다. 이러한 과정을 통해 도출된 결과는 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프로 설정될 수 있다. 컨텐츠 재생 장치(202)는 기존의 MDTV 방송 규격에서 RTP 타임 스탬프로부터 NTP 타임 스탬프를 획득하는 방식에 따라 메인 컨텐츠 스트림에 포함된 액세스 유닛의 출력시간을 계산할 수 있다.
수학식 3에서 볼 수 있듯이, 만약 PTSn이 PTS_Sync보다 작을 경우 컨텐츠 재생 장치(202)는 타임 스탬프의 롤오버를 방지하기 위해 PTD 계산시 (PTSn - PTS_Sync) + 2^33을 이용할 수 있다. 만약 PTSn이 PTS_Sync보다 크거나 같은 경우, 컨텐츠 재생 장치(202)는 PTD 계산시 (PTSn - PTS_Sync) % 2^33를 이용할 수 있다.
ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 실린 AC3 오디오를 이용할 경우, 컨텐츠 재생 장치(202)는 위에서 언급한 재생 시간의 복원 과정을 수행할 수 있다. 만약 MDTV와 관련된 부가 컨텐츠 스트림에 실린 HE-AAC 오디오를 이용할 경우, 컨텐츠 재생 장치(202)는 위에서 언급한 재생 시간의 복원 과정을 생략할 수 있다.
그리고, 도 3과 4에서 AU1과 M-AU1이 동기 기준이 되는 액세스 유닛이라고 가정한다. 3D 영상합성을 위해 ATSC 메인 영상의 출력 시점 계산을 위해 컨텐츠 재생 장치는 수학식 3을 통해 계산된 NTP clock 기준의 출력시점 계산이 가능한 형태의 타임 스탬프(Presentaion Time of AUn (NTP Clock Timestamp))로 변환한 결과를 이용할 수 있다. 그리고, MDTV 부가 영상의 출력시점을 위해 컨텐츠 재생 장치(202)는 MDTV와 관련된 부가 컨텐츠 스트림의 RTP 타임 스탬프를 이용하며, 기준 클럭으로 MDTV 영상 스트림을 통한 NTP clock을 이용한다. 부가영상 스트림 내 RTP 타임 스탬프의 NTP Clcok 기반 출력 시간 계산은 기존 RTP 타임 스탬프를 NTP clock 기반 출력시간으로 변환하는 방식을 따른다.
NTP 클럭을 기준 클럭으로 이용하기 위한 또 다른 실시예로 수학식 1과 같이 타임스탬프 간 변환을 먼저 수행한 후 해당 타임스탬프를 NTP Clock 형태로 변환할 수 있다. 즉 좌영상의 PTS 값을 수학식 1에 따라 RTP 타임스탬프 형태로 변환한 후, RTP 타임스탬프를 기존 RTP 모델에 따라 NTP Timestamp로 변환할 수 있다. 이 때, 수학식 1에서 PTS와 RTP 값은 하기 수학식 4와 같이 변경하여 구할 수 있다.
Figure pat00004
상기 수학식 4와 같은 타임스탬프 변환 방식은 기준 클럭이 상이한 RTP 타임 스탬프를 이용하는 좌영상 및 우영상의 스트림 간의 타임 스탬프 변환에도 적용 가능하다. 이 경우에도 타임스탬프 간 변환을 먼저 수행한 후 해당 타임스탬프를 기존 RTP 모델에 따라 NTP Clock 형태로 변환할 수 있다.
도 5는 본 발명의 제2 실시예에 따라 MDTV 시그널링 채널을 이용하는 타임 스탬프 오프셋에 기초한 동기화 과정을 도시한 도면이다.
앞서 설명하였듯이, 타임 스탬프 오프셋 방식은, 동기화 대상인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 동기 정보로 생성할 수 있다. 구체적으로, 동기 정보는 동기화 시점에서 상기 좌영상의 액세스 유닛에 대응하는 PTS와 상기 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프 간의 차이인 타임 스탬프 오프셋을 의미한다.
3DTV 서비스를 위해 컨텐츠 재생 장치(202)는 임의의 동일 시점에 출력해야 하는 좌영상과 우영상의 액세스 유닛에 대응하는 타임 스탬프 오프셋을 동기 정보로 이용하고, 복원할 때 동기 정보를 이용하여 재생하고자 하는 컨텐츠의 타임 스탬프를 기준 클럭에 적합한 형태로 변환할 수 있다. 즉, 컨텐츠 재생 장치(202)는 3D 재생을 위한 복원 기준 클럭을 MDTV의 NTP clock을 이용할 경우 좌영상(ATSC-Main) PTS를 NTP 타임 스탬프 형태로 변환한다. 그리고, 컨텐츠 재생 장치는 복원 기준 클럭을 PCR clock을 이용할 경우 우영상(MDTV)의 RTP 타임 스탬프를 PTS 형태로 변환한다. 이 때, 타임 스탬프 오프셋과 관련된 시그널링 파라미터는 offset_sign_bit와 timestamp_offset을 포함한다.
생성된 동기 정보는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림 또는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 채널을 통해 다중화되어 컨텐츠 재생 장치(202)에 전송될 수 있다. MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 채널을 통해 동기 정보가 전달되는 경우, 동기 정보는 RS Frame에 실려 주기적으로 전송되는 FIC(Fast Information Channel), SMT(Service Map Table), SLT(Service Labeling Table)의 서비스 레벨 디스크립터, 컴포넌트 레벨 디스크립터 등의 시그널링 채널에 삽입될 수 있다. 그리고, ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 시그널링 채널을 통해 동기 정보(RTP_sync, PTS_sync)를 다중화하는 경우 컨텐츠 제공 장치(201)는 MPEG-2 TS 패킷에 실려서 주기적으로 전송되는 PMT, VCT, EIT 등의 디스크립터를 이용할 수 있다.
이 때, 컨텐츠 재생 장치(202)는 NTP 기준 클럭 또는 PCR을 이용하여 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림 또는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림에 포함된 액세스 유닛 각각의 재생 시간을 복원할 수 있다. 일례로, PCR 기준 클럭에 따라 동기화를 수행할 경우, 재생 시간 복원부(206)는 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프를 MPEG-2 시스템 규격에서 사용되는 PTS 형태의 타이밍 정보로 변환할 수 있다. 반면 NTP 기준 클럭에 따라 동기화를 수행할 경우, 재생 시간 복원부(206)는 메인 컨텐츠 스트림에 포함된 액세스 유닛의 PTS를 MDTV 규격에서 사용하는 NTP 타임 스탬프 형태의 타이밍 정보로 변환할 수 있다. 재생 시간 복원 과정을 통해 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 출력시간은 하나의 기준 클럭(PCR 또는 NTP 타임 스탬프)에 맞추어 출력이 가능한 형태가 된다. 이러한 과정을 통해 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 상호 매칭이 되는 좌영상과 우영상을 해당 기준 클럭에 맞게 동일 시점에 출력할 수 있다.
본 발명의 일실시예에 따른 타임 스탬프 오프셋 방식은 다음과 같은 조합으로 구성될 수 있다.
(i) ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림을 통한 동기정보 다중화 - NTP 기준 클럭 기반 재생 시간 복원
(ii) ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림을 통한 동기정보 다중화 - PCR 기준 클럭 기반 재생 시간 복원
(iii) MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림을 통한 동기정보 다중화 - NTP 기준 클럭 기반 재생 시간 복원
(iv) MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림을 통한 동기정보 다중화 - PCR 기준 클럭 기반 재생 시간 복원
도 5는 도 3과 유사하게, MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림에 동기 정보를 다중화하는 것을 도시한다. 도 5에서 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림은 복수의 액세스 유닛들(AUn)을 포함한다. 이 때, 액세스 유닛들 각각은 PTS를 가진다. 그리고, MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림도 복수의 액세스 유닛들(M-AUn)을 포함하며 이때 액세스 유닛들 각각은 RTP 타임 스탬프를 가진다..
도 5에서 PTSn은 액세스 유닛 AUn의 PTS를 의미하고, RTP_Vn은 비디오 스트림에서 액세스 유닛 M-AUn의 RTP 타임 스탬프를 의미한다. 또한, PTS_sync는 임의의 동기 기준이 되는 동기화 시점에 동시 출력해야 하는 좌영상 및 우영상의 액세스 유닛에 대응하는 타임 스탬프 중 PTS를 의미한다. 그리고, RTP_Sync는 임의의 동기 기준이 되는 동기화 시점에 동시 출력해야 하는 좌영상 및 우영상의 액세스 유닛에 대응하는 타임 스탬프 중 RTP 타임 스탬프를 의미한다. 여기서 임의의 동기 기준이 되는 동기화 시점은 3D 프로그램 내의 임의의 시점을 의미한다. 예를 들어, 임의의 동기 기준이 되는 동기화 시점은 프로그램의 가장 앞쪽이 될 수 있다. 또는 임의의 중간 시점이 될 수 있다. 다만 프로그램이 생방송과 같이 상기 동기 정보를 미리 생성할 수 없는 경우 프로그램의 가장 앞쪽에서 동기 정보가 생성될 수 있다.
타임 스탬프 오프셋 방식은, ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에서 동기 기준이 되는 액세스 유닛의 PTS_sync와 MDTV와 관련된 부가 컨텐츠 스트림에서 동기 기준이 되는 액세스 유닛의 RTP_sync의 차이인 타임 스탬프 오프셋의 절대값과 부호를 동기 정보로 활용하는 방식이다. PTS_sync와 RTP_sync를 계산하는 과정은 도 3에서 이미 구체적으로 설명한 바 있다. 타임 스탬프 오프셋의 절대값과 부호는 한번 계산되면, 좌영상에 대응하는 메인 컨텐츠 스트림과 우영상에 대응하는 부가 컨텐츠 스트림의 시간 기준이 달라지지 않는 한 PTS_Sync와 RTP_Sync는 지속적으로 동기 정보로 이용될 수 있다. 타임 스탬프 오프셋 방식은 동기 정보인 타임 스탬프 오프셋(timestamp offset)과 오프셋 사인 비트(offset_sing_bit)를 다중화하여 컨텐츠 재생 장치(202)에 전달할 수 있다.
도 5를 참고하면, 컨텐츠 제공 장치(201)는 동기 정보인 타임 스탬프 오프셋을 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 정보를 포함시켜 동기 정보의 다중화를 수행할 수 있다. 이 때, 컨텐츠 제공 장치(201)는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 채널을 통해 동기 정보를 전달하는 경우, 동기 정보는 RS Frame에 실려 주기적으로 전송되는 FIC(Fast Information Channel), SMT(Service Map Table), SLT(Service Labeling Table)의 서비스 레벨 디스크립터, 컴포넌트 레벨 디스크립터 등의 시그널링 채널에 삽입될 수 있다.
도 6은 본 발명의 제2 실시예에 따라 ATSC 메인 방송 시그널링 채널을 이용하는 타임 스탬프 오프셋에 기초한 동기화 과정을 도시한 도면이다.
도 6을 참고하면, 컨텐츠 제공 장치(201)는 동기 정보인 타임 스탬프 오프셋을 ATSC 메인 방송 방송 규격에 대응하는 메인 컨텐츠 스트림의 시그널링 정보를 포함시켜 동기 정보의 다중화를 수행할 수 있다. 이 때, 컨텐츠 제공 장치(201)는 MPEG-2 TS 패킷에 실려서 주기적으로 전송되는 PMT, VCT, EIT 등의 디스크립터를 이용할 수 있다.
이 후, 컨텐츠 재생 장치(202)는 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 재생 시간을 복원할 수 있다. 본 발명의 일실시예에 따르면, 컨텐츠 재생 장치(202)는 PCR 기반의 재생 시간 복원과 NTP 기준 클럭 기반의 재생 시간 복원을 수행할 수 있다.
ㄱ. PCR 기반의 재생 시간 복원
PCR 기반의 재생 시간은 하기 수학식 5에 기초하여 복원될 수 있다.
Figure pat00005
PCR 을 기반으로 좌영상과 우영상의 동기화를 수행하기 위해서는, MDTV와 관련된 부가 컨텐츠 스트림에 포함된 각 액세스 유닛의 RTP 타임 스탬프를 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 포함된 각 액세스 유닛의 PTS와 같이 PCR을 기준으로 출력시점을 계산할 수 있는 형태로 복원해야 한다.
본 발명의 일실시예에 따르면, 수학식 5에서 볼 수 있듯이 오프셋 사인 비트가 0인 경우, 컨텐츠 재생 장치(202)는 재생 시간을 복원하고자 하는 부가 컨텐츠 스트림에 포함됨 액세스 유닛(M-AUn)의 RTP_Timestamp(RTP_Vn)와 동기 기준이 되는 액세스 유닛의 타임 스탬프 오프셋을 더한 결과에 2^32으로 모듈러(Modulo) 연산을 수행할 수 있다. 그러면, 컨텐츠 재생 장치(202)는 MDTV와 관련된 부가 컨텐츠 스트림에 포함된 각 액세스 유닛의 PCR 기준의 출력시점 계산이 가능한 형태의 타임 스탬프(PTS of M-AUn)를 계산할 수 있다. 여기서, 오프셋 사인 비트가 0이라는 것은 타임 스탬프 오프셋이 양수임을 의미하고, 1이라는 것은 타임 스탬프 오프셋이 음수임을 의미한다.
본 발명의 일실시예에 따르면, 만약 오프셋 사인 비트가 1이고, RTP_Vn이 타임 스탬프 오프셋보다 크거나 같은 경우, 컨텐츠 재생 장치(202)는 부가 컨텐츠 스트림에 포함된 액세스 유닛의 재생 시간인 PTS를 계산할 때 RTP_Vn - timestamp_offset 을 이용한다. 만약 오프셋 사인 비트가 1이고, RTP_Vn이 타임 스탬프 오프셋보다 작은 경우, 컨텐츠 재생 장치(202)는 부가 컨텐츠 스트림에 포함된 액세스 유닛의 재생 시간인 PTS를 계산할 때 RTP_Vn - timestamp_offset + 2^32를 이용한다.
그리고, 도 5과 도 6에서 AU1과 M-AU1이 동기 기준이 되는 액세스 유닛이라고 가정한다. 3D 영상합성을 위해 MDTV 영상의 출력 시점 계산을 위해 컨텐츠 재생 장치는 수학식 5를 통해 계산된 PCR 기준의 출력시점 계산이 가능한 형태의 타임 스탬프(PTS of M-AUn)를 이용할 수 있다. ATSC 메인 영상의 출력시점을 위해 컨텐츠 재생 장치는 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림의 PTS를 이용하며, 기준 클럭으로 ATSC 메인 영상 스트림의 PCR을 이용할 수 있다. 즉 동일한 PTS of M-AUn과 PTS를 갖고 있는 좌영상과 우영상이 3D 영상합성을 위해 동시에 출력된다. 여기서 좌영상과 우영상의 타임스탬프의 길이가 다른 경우, 좌영상과 우영상의 타임스탬프 중 짧은 길이만큼의 타임스탬프 하위 비트를 비교한다. 즉, 상기 예에서 PTS는 33bit이고, RTP 타임 스탬프는 32bit이므로, 변환된 우영상의 PTS(PTS of M-AUn)와 좌영상의 PTS는 하위 32bit만 비교한다.
수학식 5는 좌영상과 우영상의 스트림에서 상이한 기준클럭을 기반으로 하는 동일한 형태의 타임스탬프를 사용한 경우에도 적용 가능하다. 예를 들어 좌영상과 우영상의 스트림이 상이한 기준클럭(PCR)을 기반으로 하는 PTS 형태의 타임스탬프를 이용하고, 동기정보로 PTS1_Sync와 PTS2_Sync_V를 이용하는 경우, 수학식 1의 PTS와 RTP를 PTS1과 PTS2로 표현하여 계산할 수 있다. 즉, 수학식 5는 하기 수학식 6과 같이 변경하여 적용할 수 있다.
Figure pat00006
상기 수학식 6은 PTS1을 사용하는 스트림의 PCR을 기준 클럭으로 이용할 수 있도록 PTS2를 PTS1 형태로 변환하는 식이며, 앞서 설명한 수학식 6의 PTS-RTP 간 변환 방식과 동일한 방식을 이용한다. 다만 좌영상 및 우영상의 타임 스탬프의 길이가 33bit로 같으므로 롤오버 방지를 위한 모듈러 연산 시 2^33 값을 이용한다.
ㄴ. NTP 기준 클럭 기반의 재생 시간 복원
NTP 기준 클럭 기반의 재생 시간은 하기 수학식 7에 기초하여 복원될 수 있다.
Figure pat00007
NTP 기준 클럭을 기반으로 좌영상과 우영상 간의 동기화를 수행하기 위해서, ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 실린 각 액세스 유닛의 PTS가 64-bit NTP 타임 스탬프로 변환될 필요가 있다.
본 발명의 일실시예에서, 오프셋 사인 비트가 1인 경우, 컨텐츠 재생 장치(202)는 재생 시간을 복원하고자 하는 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 포함된 액세스 유닛(AUn)의 NTP Clock 기반 출력시간 계산을 위한 타임 스탬프(RTP_AUn)를 액세스 유닛의 PTS(PTSn)의 2^32으로 모듈러(Modulo) 연산을 수행한 결과와 타임 스탬프 오프셋을 합산한 결과에 2^32으로 모듈러(Modulo) 연산을 적용하여 도출할 수 있다.
만약 오프셋 사인 비트가 0이고, 액세스 유닛의 PTS(PTSn)의 2^33으로 모듈러(Modulo) 연산을 수행한 결과가 타임 스탬프 오프셋보다 크거나 같은 경우, 컨텐츠 재생 장치(202)는 액세스 유닛의 PTS(PTSn)의 2^32으로 모듈러(Modulo) 연산을 수행한 결과와 타임 스탬프 오프셋 간의 차를 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 포함된 액세스 유닛(AUn)의 NTP Clock 기반 출력시간 계산을 위한 타임 스탬프(RTP_AUn)로 계산할 수 있다.
반대로, 만약 오프셋 사인 비트가 0이고, 액세스 유닛의 PTS(PTSn)의 2^33으로 모듈러(Modulo) 연산을 수행한 결과가 타임 스탬프 오프셋보다 작은 경우, 컨텐츠 재생 장치(202)는 액세스 유닛의 PTS(PTSn)의 2^32으로 모듈러(Modulo) 연산을 수행한 결과 및 타임 스탬프 오프셋 간의 차이에 2^32를 더한 결과를 도출할 수 있다. 이러한 과정을 통해 컨텐츠 재생 장치(202)는 ATSC 메인 방송 규격과 관련된 메인 컨텐츠 스트림에 포함된 액세스 유닛(AUn)의 NTP Clock 기반 출력시간 계산을 위한 타임 스탬프(RTP_AUn)로 계산할 수 있다.
NTP 타임 스탬프 형태의 출력 시간 (Presentation time of Aun (NTP Clock Timestamp))은 상기 계산한 NTP Clock 기반의 출력시간을 계산하기 위한 타임 스탬프(RTP_AUn)을 RTP 타임 스탬프로 간주하고 기존의 RTP 타임 스탬프를 NTP clock 기반의 출력시간으로 변환함으로써 도출된다.
그리고, 도 5과 도 6에서 AU1과 M-AU1이 동기 기준이 되는 액세스 유닛이라고 가정한다. 3D 영상합성을 위해 ATSC 메인 영상의 출력 시점 계산을 위해 컨텐츠 재생 장치는 수학식 7을 통해 계산된 NTP clock 기준의 출력시점 계산이 가능한 형태의 타임 스탬프(Presentaion Time of AUn (NTP Clock Timestamp))로 변환할 수 있다. 그리고, MDTV 부가 영상의 출력시점을 위해 컨텐츠 재생 장치는 MDTV와 관련된 부가 컨텐츠 스트림의 RTP 타임 스탬프를 이용하며, 기준 클럭으로 MDTV 영상 스트림을 통한 NTP clock을 이용한다. 부가 영상 스트림 내에서 RTP 타임 스탬프의 NTP Clcok 기반의 출력 시간을 계산하는 것은 기존의 RTP 타임 스탬프를 NTP clock 기반의 출력시간으로 변환하는 방식을 따른다.
상기 타임스탬프 변환 방식은 기준 클럭이 상이한 RTP 타임 스탬프를 이용하는 좌영상 및 우영상의 스트림 간의 타임 스탬프 변환에도 적용 가능하다. 이 경우에도 타임스탬프 간 변환을 먼저 수행한 후 해당 타임스탬프를 기존 RTP 모델에 따라 NTP Clock 형태로 변환할 수 있다.
도 7은 본 발명의 제3 일실시예에 따른 NTP 동기 방식을 도시한 도면이다.
NTP 동기 방식은 기준 타임 스탬프에 기초한 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프를 이용하여 동기 정보를 추가적으로 생성하는 방식을 의미한다. 여기서, 기준 타임 스탬프는 NTP 타임 스탬프를 의미하며, 동기 정보도 NTP 타임 스탬프로 표현된다.
앞서 설명하였듯이, NTP 동기 방식은 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 PTS와 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 RTP 타임 스탬프에 추가적으로 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 동기화를 위해 생성된 동기 정보인 NTP 타임 스탬프(NTP_M')를 추가적으로 전송하는 방식을 의미한다. 여기서, NTP 타임 스탬프는 64bit를 나타낸다.
도 7에서, NTP_Mk,m은 부가 컨텐츠 스트림과 관련된 NTP 기준 클럭인 Wallclock_M을 의미하고, NTP_Al,n은 메인 컨텐츠 스트림과 관련된 NTP 기준 클럭인 Wallclock_A를 의미한다. Wallclock_M과 Wallclock_A는 이미 동기화되었으며, 부가 컨텐츠 스트림과 메인 컨텐츠 스트림을 통해 주기적으로 전송되는 기준 클럭을 의미한다. 그리고, RTPk,m은 부가 컨텐츠 스트림을 구성하는 액세스 유닛(Access Unit: AU)의 RTP 타임 스탬프를 의미한다. 또한, PTSl,n은 메인 컨텐츠 스트림을 구성하는 액세스 유닛의 PTS를 의미한다. 여기서, k는 0, 1, 2…을 나타내고, m과 n은 1, 2, 3 …을 나타낸다. 한편, R은 Timestamp인 RTP 타임 스탬프와 PTS의 해상도를 의미하며, 본 발명에서는 90000이다. 그리고, O_M은 랜덤 오프셋으로 32bit를 나타낸다.
ㄱ. 동기 정보를 생성하는 과정
컨텐츠 제공 장치(201)는 하기 수학식 8에 따라 NTP 타임 스탬프인 Wallclock_M의 NTP_Mk,m을 이용하여 RTPk,m을 도출할 수 있다. 그리고, 컨텐츠 제공 장치(201)는 하기 수학식 9에 따라 NTP 타임 스탬프인 Wallclock_A의 NTP_Al,n로부터 PTS_Al,n을 도출할 수 있다. 여기서, RTPk,m는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 RTP 타임 스탬프를 의미하고, PTS_Al,n는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 PTS를 의미한다.
Figure pat00008
Figure pat00009
일례로, 컨텐츠 제공 장치(201)는 메인 컨텐츠 스트림의 PTS, 부가 컨텐츠 스트림의 RTP 타임 스탬프를 이용하여 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 동기화를 위한 동기 정보인 NTP 타임 스탬프 (NTP_M')를 생성할 수 있다. 여기서, ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림과 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림은 NTP 기준 클럭으로 서로 동기화되어 있다고 가정한다.
이 때, 도 7을 참고하면, 임의의 동기화 시점에서 좌영상인 메인 컨텐츠 스트림의 액세스 유닛인 AU_Al,n에 대응하는 PTS(PTS_Mk,m)와 우영상인 부가 컨텐츠 스트림의 액세스 유닛인 AU_Mk,m에 대응하는 RTP 타임 스탬프가 변환된 결과인 PTS(PTS_Al,n)가 서로 동일하다. 즉, PTS_Mk,m= PTS_Al,n이다. 이러한 조건에 수학식 8과 9를 적용하면, 하기 수학식 10이 도출된다.
Figure pat00010
여기서, NTP_M'l,0는 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 동기화를 위한 동기 정보를 의미한다.
ㄴ. 동기 정보를 다중화하는 과정
도 7을 참고하면, 동기 정보로서 64비트의 NTP 타임 스탬프인 NTP_M'l,0는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림에 시그널링 정보로 삽입되어, 컨텐츠 재생 장치(202)에 전달될 수 있다. 구체적으로, 동기 정보는 메인 컨텐츠 스트림에 주기적으로 전송되는 디스크립터(descriptor)로 삽입될 수 있다. 이 때, 동기 정보(NTP_M'l,0)가 메인 컨텐츠 스트림의 시그널링 정보로 삽입되는 경우, 동기 정보는 PMT(Program Map Table), VCT(virtual channel table), EIT(Event Information Table) 등의 디스크립터 형태로 삽입될 수 있다.
또는, 동기 정보로서 64비트의 NTP 타임 스탬프인 NTP_M'l,0는 MDTV 부가 방송 규격에 대응하는 부가 컨텐츠 스트림에 시그널링 정보로 삽입되어, 컨텐츠 재생 장치(202)에 전달될 수 있다. 구체적으로, 동기 정보는 부가 컨텐츠 스트림에 주기적으로 전송되는 디스크립터(descriptor)로 삽입될 수 있다. 이 때, 동기 정보(NTP_M'l,0)가 부가 컨텐츠 스트림의 시그널링 정보로 삽입되는 경우, 동기 정보는 FIC, SMT, SLT 등의 시그널링 테이블에 디스크립터 형태로 삽입될 수 있다.
ㄷ. 동기 정보를 역다중화하는 과정
컨텐츠 재생 장치(202)는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보를 추출할 수 있다. 일례로, 컨텐츠 재생 장치(202)는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림에서 MPEG-2 TS 패킷에 실려서 주기적으로 전송되는 PMT, VCT, EIT 등의 PSI(Program Specific Information) 및 PSIP(Program and Service Information Protocol)로부터 동기 정보를 추출할 수 있다. 다른 일례로, 컨텐츠 재생 장치(202)는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림에서 주기적으로 전송되는 FIC, SMT, SLT 등으로부터 동기 정보를 추출할 수 있다.
그리고, 컨텐츠 재생 장치(202)는 MPEG-TS 전송 프로토콜에 따라 전송된 메인 컨텐츠 스트림을 역다중화할 수 있다. 또한, 컨텐츠 재생 장치(202)는 A/153 MDTV IP/RTP 전송 프로토콜에 따라 전송된 부가 컨텐츠 스트림을 역다중화할 수 있다.
ㄹ. 재생 시간을 복원하는 과정
컨텐츠 재생 장치(202)는 동기 정보를 이용하여 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 재생 시간과 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 재생 시간을 복원할 수 있다.
일례로, 컨텐츠 재생 장치(202)는 동기 정보인 NTP 타임 스탬프(NTP_M'l,0) 및 메인 컨텐츠 스트림과 관련된 Wallclock_A로부터 생성된 PTS(PTS'l,n)를 이용하여 메인 컨텐츠 스트림의 재생 시간인 PTS(PTS_Al,n)를 복원할 수 있다. 이 때, 컨텐츠 재생 장치(202)는 B-frame 또는 롤-오버(Rollover) 등에 의해 NTP 기준 클럭으로부터 생성된 PTS가 역전되었는 지 여부를 고려하여 메인 컨텐츠 스트림의 재생 시간인 PTS를 복원할 수 있다. 이에 대해, 컨텐츠 재생 장치(202)는 하기 수학식 11에 따라 메인 컨텐츠 스트림의 재생 시간인 PTS(PTS_Al,n)를 복원할 수 있다.
Figure pat00011
다른 일례로, 컨텐츠 재생 장치(202)는 부가 컨텐츠 스트림과 관련된 NTP 기준 클럭(NTP_Mk,0) 및 Wallclock_M으로부터 도출된 RTP 타임 스탬프(RTP'k,m, RTPk,0)를 이용하여 부가 컨텐츠 스트림의 재생 시간인 PTS(PTS_Mk,m)를 복원할 수 있다. 이 때, 컨텐츠 재생 장치(202)는 B-frame 또는 롤-오버(Rollover) 등에 의해 RTP 타임 스탬프가 역전되었는 지 여부를 고려하여 부가 컨텐츠 스트림의 재생 시간인 PTS를 복원할 수 있다. 이에 대해, 컨텐츠 재생 장치(202)는 하기 수학식 12에 따라 부가 컨텐츠 스트림의 재생 시간인 PTS(PTS_Mk,m)를 복원할 수 있다.
Figure pat00012
이하에서는, 좌영상에 해당하는 메인 컨텐츠 스트림과 우영상에 해당하는 부가 컨텐츠 스트림 간의 동기화를 위한 동기 정보를 전송하고, 이러한 동기 정보에 기초하여 재생 시간을 복원할 때 case별로 구분하여 설명하기로 한다.
CASE 1: Wallclock_M과 Wallclock_A가 동기되어 있으나, 오프셋(offset)이 “0”이 아닌 경우
일례로, CASE 1은 이동 방송인 MDTV에 대응하는 Wallclock_M과 고정 방송인 ATSC 메인 방송 규격에 대응하는 Wallclock_A가 동기되어 있으나, 오프셋이 "0"이 아닌 경우를 의미한다. 즉, CASE 1은 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림을 생성하는 ATSC 인코더와 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림을 생성하는 ATSC-M/H 인코더가 각각 독립적인 Wallclock을 사용하는 경우를 의미한다.
이 때, 수학식 10에 따라 생성된 동기 정보인 NTP_M'l,0를 메인 컨텐츠 스트림을 통해 전송하는 것은 필수 구성(mandatory)일 수 있다. 그리고, 컨텐츠 제공 장치(201)는 PMT 등과 같이, 주기적으로 전송되는 정보에 동기 정보인 NTP_M'l,0를 포함하여 전송할 수 있다. 그리고, 동기 정보인 NTP_M'l,0을 생성하기 위해, 컨텐츠 제공 장치(201)는 RTPk,m과 AU_Mk,m에 가장 가까운 이전 RTCP SR의 NTP_Mk,0 및 RTPk,0을 사용할 수 있다. 이 경우, 컨텐츠 재생 장치(202)는 수학식 9 및 수학식 10을 이용하여 좌영상에 대응하는 메인 컨텐츠 스트림과 우영상에 대응하는 부가 컨텐츠 스트림 간의 동기화를 수행할 수 있다.
CASE 2: NTP_M과 NTP_A가 동기되어 있고, 오프셋(offset)이 "0"인 경우
다른 일례로, CASE 2는 NTP_M과 NTP_A가 동기되어 있고, 오프셋이 "0"인 경우를 의미한다. 즉, CASE 2는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림을 생성하는 ATSC 인코더와 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림을 생성하는 ATSC-M/H 인코더가 하나의 Wallclock을 사용하는 경우를 의미한다. 이 때, 수학식 10에 따라 생성된 동기 정보인 NTP_M'l,0를 메인 컨텐츠 스트림을 통해 전송하는 것은 선택적(optional)일 수 있다.
여기서, 동기 정보인 NTP_M'l,0를 전송하는 경우, 컨텐츠 재생 장치(202)는 오프셋이 "0"이 아닌 경우와 동일한 방식으로 상기 수학식 11 및 수학식 12를 이용하여 좌영상과 우영상 간의 동기화를 수행할 수 있다.
만약, 동기 정보인 NTP_M'l,0를 전송하지 않는 경우, 컨텐츠 재생 장치(202)는 Wallclock_M과 Wallclock_A 이 일치한다고 가정하고, 다음과 같은 방식으로 동기화를 수행할 수 있다.
예를 들어, 컨텐츠 재생 장치(202)는 " PTS_Mk,m & 0x1FFFFFFFF == PTS_Al,n" 인 관계를 이용하여 메인 컨텐츠 스트림과 부가 컨텐츠 스트림 간의 동기화를 수행할 수 있다. 또한, 컨텐츠 재생 장치(202)는 수학식 10에 따라 생성된 동기 정보인 NTP_M'l,0를 구한 뒤, 오프셋이 "0"이 아닌 경우와 동일한 방식으로 메인 컨텐츠 스트림과 부가 컨텐츠 스트림 간의 동기화를 수행할 수 있다.
도 8은 본 발명의 일실시예에 따른 컨텐츠 제공 장치가 수행하는 컨텐츠 제공 방법을 도시한 도면이다.
단계(801)에서, 컨텐츠 제공 장치(201)는 좌영상과 우영상의 액세스 유닛 간의 재생 시간을 일치시키기 위해 동기 정보를 생성할 수 있다. 본 발명의 일실시예에 따르면, (i) 타임 스탬프 페어링 방식, (ii) 타임 스탬프 오프셋 방식, 및 (iii) NTP 동기 방식이 활용될 수 있다. 본 발명에 의하면, 좌영상과 우영상이 서로 다른 방송 규격에 따라 전송되며 서로 다른 타이밍 모델을 이용하거나, 또는 상이한 기준클럭을 이용한 동일한 타이밍 모델을 이용하는 경우를 대상으로 한다. 그래서, 본 발명에 일실시예에 따른 동기 정보는 좌영상과 우영상이 서로 다른 타이밍 모델 또는 기준클럭을 가지고 있다는 것을 전제로 생성될 수 있다. (i) 타임 스탬프 페어링 방식, (ii) 타임 스탬프 오프셋 방식, 및 (iii) NTP 동기 방식에 대해서는 도 10 내지 도 15를 통해 구체적으로 설명하기로 한다.
단계(802)에서, 컨텐츠 제공 장치(201)는 동기 정보를 다중화할 수 있다. 구체적으로, 컨텐츠 제공 장치(201)는 인코딩된 좌영상의 메인 컨텐츠 스트림과 우영상의 부가 컨텐츠 스트림을 컨텐츠 재생 장치(202)에 전송할 수 있다. 이 때, 컨텐츠 제공 장치(201)는 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 시그널링 정보에 동기 정보를 삽입함으로써 동기 정보를 다중화할 수 있다.
도 9는 본 발명의 일실시예에 따른 컨텐츠 재생 장치가 수행하는 컨텐츠 재생 방법을 도시한 도면이다.
단계(901)에서, 컨텐츠 재생 장치(202)는 인코딩된 좌영상의 메인 컨텐츠 스트림과 우영상의 부가 컨텐츠 스트림으로부터 동기 정보를 추출할 수 있다. 구체적으로, 컨텐츠 재생 장치(202)는 좌영상의 메인 컨텐츠 스트림과 우영상의 부가 컨텐츠 스트림의 시그널링 정보로 삽입된 동기 정보를 추출할 수 있다.
단계(902)에서, 컨텐츠 재생 장치(202)는 추출한 동기 정보를 이용하여 메인 컨텐츠 스트림에 포함된 액세스 유닛의 재생 시간 및 부가 컨텐츠 스트림에 포함된 액세스 유닛의 재생 시간을 복원할 수 있다.
본 발명에서 메인 컨텐츠 스트림은 좌영상에 대응하고, 부가 컨텐츠 스트림은 우영상에 대응하는 것을 전제로 설명되나, 본 발명은 이에 한정되지 않고 상호 교환될 수 있다. 그리고, 본 발명은 영상 뿐만 아니라 음성/오디오에도 적용될 수 있다. 기본적으로, 방송망을 통해 전달되는 부가 영상의 재생 시간과 기준 영상 의 재생 시간은 동기화되어 있지 않다. 그래서, 기준 영상과 부가 영상을 액세스 유닛인 프레임 단위로 동기화하여 재생하기 위해서, 임의의 동기 시점에 기초하여 기준 영상과 부가 영상을 동기화하기 위한 동기 정보가 전달될 필요가 있다. 여기서, 기준 영상은 3DTV 서비스를 위한 좌영상에 대응하고, 부가 영상은 우영상에 대응할 수 있다.
도 10은 본 발명의 제1 실시예에 따른 타임 스탬프 페어링에 기초한 컨텐츠 제공 방법을 도시한 도면이다.
타임 스탬프 페어링 방식은 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프를 동기 정보로 이용한다. 구체적으로, 타임 스탬프 페어링 방식은 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프를 포함하는 타임 스탬프 페어를 동기 정보로 활용한다. 타임 스탬프 페어는 액세스 유닛인 프레임 단위마다 추출될 수 있다. 좌영상과 우영상이 서로 다른 방송 규격으로 전송되어 서로 다른 타이밍 모델을 나타내는 경우, 타임 스탬프 페어는 서로 다른 형식의 타임 스탬프로 구성될 수 있다.
단계(1001)에서, 컨텐츠 제공 장치(201)는 좌영상의 액세스 유닛에 대응하는 타임 스탬프를 추출할 수 있다. 일례로, 좌영상이 ATSC-Main 방송 규격을 따르는 경우, 좌영상의 액세스 유닛에 대응하는 타임 스탬프는 PTS로 표현된다.
단계(1002)에서, 컨텐츠 제공 장치(201)는 우영상의 액세스 유닛에 대응하는 타임 스탬프를 추출할 수 있다. 일례로, 우영상이 MDTV 방송 규격을 따르는 경우, 우영상의 액세스 유닛에 대응하는 타임 스탬프는 RTP 타임 스탬프로 표현된다. 또는 다른 일례로, 우영상이 상이한 기준클럭을 기반으로 생성된 PTS 를 이용하는 경우 우영상의 액세스 유닛에 대응하는 타임 스탬프는 PTS 타임 스탬프로 표현된다.
단계(1003)에서, 컨텐츠 제공 장치(201)는 좌영상의 액세스 유닛에 대응하는 타임 스탬프와 우영상의 액세스 유닛에 대응하는 타임 스탬프로 구성된 타임 스탬프 페어를 동기 정보로 생성할 수 있다. 즉, 타임 스탬프 페어링 방식에 의하면, PTS와 RTP 타임 스탬프로 구성된 타임 스탬프 페어가 동기 정보로 활용될 수 있으며, 다른 일례로 상이한 기준클럭을 기반으로 생성된 두 개의 PTS 타임 스탬프로 구성된 타임 스탬프 페어가 동기 정보로 활용될 수 있다.
단계(1004)에서, 컨텐츠 제공 장치(201)는 생성된 동기 정보를 좌영상의 메인 컨텐츠 스트림 또는 우영상의 부가 컨텐츠 스트림에 시그널링 정보로 삽입하여 다중화할 수 있다. 일례로, 컨텐츠 제공 장치(201)는 생성된 동기 정보를 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림에 주기적으로 전송되는 디스크립터(descriptor) 형태로 삽입할 수 있다. 일례로, 동기 정보를 메인 컨텐츠 스트림에 시그널링 정보로 삽입할 경우, 컨텐츠 제공 장치(201)는 PMT(Program Map Table), VCT(virtual channel table), EIT(Event Information Table)등의 시그널링 테이블에 Descriptor 형태로 삽입할 수 있다. 그리고, 동기 정보를 부가 컨텐츠 스트림의 시그널링 정보로 삽입할 경우, 컨텐츠 제공 장치(201)는 FIC(Fast Information Channel), SMT(Service Map Table), SLT(Service Labeling Table) 등의 시그널링 테이블에 Descriptor 형태로 삽입할 수 있다.
도 11은 본 발명의 제2 실시예에 따른 타임 스탬프 페어링에 기초한 컨텐츠 재생 방법을 도시한 도면이다.
단계(1101)에서, 컨텐츠 재생 장치(202)는 시그널링 정보로부터 동기 정보인 타임 스탬프 페어를 추출할 수 있다. 이 때, 시그널링 정보는 좌영상에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 우영상에 대응하는 부가 컨텐츠 스트림의 시그널링 정보를 포함할 수 있다.
메인 컨텐츠 스트림의 시그널링 정보 또는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보인 PTS 및 RTP 타임 스탬프로 구성된 타임 스탬프 페어를 추출할 수 있다. PTS는 동기 기준이 될 메인 컨텐츠 스트림에 포함된 액세스 유닛의 MPEG-2 시스템 기반 출력 시간(기존 2D ATSC Main 서비스를 위한 출력 시간)을 나타낸다. 그리고, RTP 타임 스탬프는 동기 기준이 될 부가 컨텐츠 스트림에 포함된 액세스 유닛의 MDTV 규격 기반 출력 시간(기존 2D ATSC Main 서비스를 위한 출력 시간)을 나타낸다. 다른 일례로, 메인 컨텐츠 스트림의 시그널링 정보 또는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보인 상이한 기준 클럭 기반의 좌영상 및 우영상의 타임 스탬프로 구성된 타임 스탬프 페어를 추출할 수 있다.
즉 동기 기준이 되는 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 RTP 타임 스탬프는 각 규격의 타이밍 모델이 다르므로 상이한 형태를 나타낸다. 하지만 3DTV 시청 시에는 동기화 포인트에서 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 RTP 타임 스탬프가 서로 동일한 출력 시점을 나타낸다고 가정한다. 다른 일례로, 동기 기준이 되는 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 PTS가 상이한 기준 클럭을 기반으로 생성되었을 경우 동일 시점에 출력해야 하는 좌영상 및 우영상의 액세스 유닛의 PTS 값은 상이할 수 있다. 하지만 3DTV 시청 시에는 동기화 포인트에서 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 PTS가 서로 동일한 출력 시점을 나타낸다고 가정한다. 본 발명은 이러한 가정을 기반으로 액세스 유닛의 재생 시간을 복원할 수 있다.
단계(1102)에서, 컨텐츠 재생 장치(202)는 동기 정보와 좌영상 또는 우영상의 기준 클럭을 이용하여 액세스 유닛의 재생 시간을 복원할 수 있다. 타임 스탬프 페어링 방식은 좌영상 및 우영상의 액세스 유닛의 재생 시간을 복원할 때 동기 정보를 이용하여 재생하고자 하는 컨텐츠의 타임 스탬프를 기준 클럭에 적합한 형태로 변환하는 것을 의미한다. 구체적으로, 3D 재생을 위해 액세스 유닛의 재생 시간을 복원할 때, 타임 스탬프 페어링 방식은 NTP 기준 클럭 또는 PCR 기준 클럭 중 어느 하나를 기준 클럭으로 설정할 수 있다.
즉, 좌영상과 우영상이 서로 다른 타이밍 모델로 구현되어 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프가 다른 형식을 나타내더라도, 실제로 임의의 동기 시점에서는 좌영상 또는 우영상 중 어느 하나와 관련된 기준 클럭에 따라 타임 스탬프 형식을 일치시키는 과정이 필요하다.
일례로, NTP 기준 클럭을 이용하는 경우, 컨텐츠 재생 장치(202)는 좌영상(ATSC-Main)의 액세스 유닛의 PTS를 NTP 타임 스탬프 형태로 변환한다. 그리고, PCR 기준 클럭을 이용하는 경우, 컨텐츠 재생 장치(202)는 우영상(MDTV)의 액세스 유닛의 RTP 타임 스탬프를 PTS 형태로 변환한다.
결국, 컨텐츠 재생 장치(202)는 동기 정보를 이용하여 PCR 기준 클럭 또는 NTP 기준 클럭에 기초하여 좌영상 및 우영상의 액세스 유닛 각각의 재생 시간을 복원할 수 있다. 일례로, PCR 기준 클럭에 따라 동기화를 수행할 경우, 컨텐츠 재생 장치(202)는 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프를 MPEG-2 시스템 규격에서 사용되는 PTS 형태의 타이밍 정보로 변환할 수 있다.
반면 NTP 기준 클럭에 따라 동기화를 수행할 경우, 컨텐츠 재생 장치(202)는 메인 컨텐츠 스트림에 포함된 액세스 유닛의 PTS를 MDTV 규격에서 사용하는 NTP 타임 스탬프 형태의 타이밍 정보로 변환할 수 있다. 이와 같은 재생 시간 복원 과정을 통해 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 출력시간은 하나의 기준 클럭(PCR 또는 NTP 타임 스탬프)에 맞추어 출력이 가능한 형태가 된다. 이러한 과정을 통해 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 상호 매칭이 되는 좌영상과 우영상을 해당 기준 클럭에 맞게 동일 시점에 출력할 수 있다.
한편, 좌영상과 우영상이 동일한 타이밍 모델을 사용하는 경우일 경우에도, 경우에 따라 상기 재생 시의 타임스탬프 변환 과정이 필요할 수 있다. 예를 들어, 좌영상과 우영상 모두 PTS 기반의 타이밍 모델을 이용하고 좌영상과 우영상 모두 PCR을 기준 클럭으로 이용하는 경우라도, 분리된 인코더에서 각각 독립적으로 인코딩 과정을 수행할 경우 좌영상과 우영상의 인코더의 절대적인 샘플링 기준 시간이 다를 수 있다. 이 경우 3D 시청 시 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림에서 동일 시점에 출력해야 할 좌영상 및 우영상의 액세스 유닛 각각의 PTS 값은 서로 다를 수 있다. 이 경우, 동일한 PCR 형태의 기준클럭이지만, 메인 컨텐츠 스트림 및 부가 컨텐츠 스트림 중 어느 하나의 영상 스트림의 PCR 클럭을 기준으로 출력 시간을 계산할 수 있도록 반대편 영상 스트림의 PTS 값을 동기정보를 이용하여 변환하는 과정을 수행할 수 있다.
도 12는 본 발명의 제2 실시예에 따른 타임 스탬프 오프셋에 기초한 컨텐츠 제공 방법을 도시한 도면이다.
3DTV 방송 서비스를 위한 좌영상에 대응하는 메인 컨텐츠 스트림과 우영상에 대응하는 부가 컨텐츠 스트림의 프레임 레이트가 같고 MPEG-2 시스템 PTS와 MDTV 시스템 RTP 타임 스탬프의 클럭 레이트가 같다. 이에 따라, 타임 스탬프 오프셋 방식은 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상 및 우영상의 액세스 유닛에 대응하는 타임 스탬프 오프셋을 동기 정보로 이용한다. 단계(1201)에서, 컨텐츠 제공 장치(201)는 좌영상의 액세스 유닛에 대응하는 타임 스탬프를 추출할 수 있다.
단계(1202)에서, 컨텐츠 제공 장치(201)는 우영상의 액세스 유닛에 대응하는 타임 스탬프를 추출할 수 있다.
단계(1203)에서, 컨텐츠 제공 장치(201)는 좌영상의 액세스 유닛에 대응하는 타임 스탬프와 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초하여 타임 스탬프 오프셋을 동기 정보로 생성할 수 있다. 컨텐츠 제공 장치(201)는 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상과 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 동기 정보로 생성할 수 있다. 이동-고정 융합형 3DTV의 경우, 좌영상의 액세스 유닛의 타임 스탬프는 PTS이고, 우영상의 액세스 유닛의 타임 스탬프는 RTP이며, 다른 일례로 3DTV 시스템에 따라 기준 클럭이 상이한 동일 형태의 타임 스탬프를 오프셋 계산에 사용할 수 있다.
따라서, 타임 스탬프 오프셋 방식의 경우, 서로 동기화된 PTS와 RTP 타임 스탬프 간의 오프셋 또는 상이한 기준 클럭에 기반한 두 PTS (또는 RTP 타임 스탬프)가 동기 정보로 구성될 수 있다. 타임 스탬프 오프셋 방식의 경우, 좌영상과 우영상에 대응하는 타임 스탬프 간의 오프셋만 전송하면 동기화가 진행될 수 있기 때문에, 타임 스탬프 페어링 방식보다 전송해야할 데이터 양이 감소할 수 있다.
일례로, 컨텐츠 제공 장치(201)는 동기화된 메인 컨텐츠 스트림에 포함된 액세스 유닛의 PTS와 상기 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프 간의 차이인 타임 스탬프 오프셋을 동기 정보로 생성할 수 있다. PTS와 RTP 타임 스탬프의 비트 수가 다르므로(PTS: 33bit, RTP 타임 스탬프: 32 bits), 타임 스탬프 오프셋을 계산할 때 PTS의 상위 1비트(MSB;Most Siginificant Bit)는 무시하고 PTS의 하위 32비트와 RTP 타임 스탬프의 전체 32 비트 간의 오프셋을 이용한다.
단계(1204)에서, 컨텐츠 제공 장치(201)는 생성된 동기 정보를 좌영상의 메인 컨텐츠 스트림 또는 우영상의 부가 컨텐츠 스트림에 시그널링 정보로 삽입하여 다중화할 수 있다.
일례로, 컨텐츠 제공 장치(201)는 생성된 동기 정보를 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림에 주기적으로 전송되는 디스크립터(descriptor) 형태로 삽입할 수 있다. 일례로, 메인 컨텐츠 스트림에 삽입할 경우 컨텐츠 제공 장치(201)는 PMT, TVCT, EIT등의 시그널링 테이블에 동기 정보를 디스크립터 형태로 삽입할 수 있다. 그리고, 부가 컨텐츠 스트림의 시그널링 정보로 삽입할 경우 컨텐츠 제공 장치(201)는 FIC, SMT, SLT 등의 시그널링 테이블에 동기 정보를 디스크립터 형태로 삽입할 수 있다.
도 13은 본 발명의 제2 실시예에 따른 타임 스탬프 오프셋에 기초한 컨텐츠 재생 방법을 도시한 도면이다.
단계(1301)에서, 컨텐츠 재생 장치(202)는 시그널링 정보로부터 동기 정보인 타임 스탬프 페어를 추출할 수 있다. 구체적으로, 컨텐츠 재생 장치(202)는 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보를 추출할 수 있다.
단계(1302)에서, 컨텐츠 재생 장치(202)는 동기 정보와 좌영상 또는 우영상의 기준 클럭을 이용하여 액세스 유닛의 재생 시간을 복원할 수 있다.
컨텐츠 재생 장치(202)는 시그널링 정보로부터 추출한 동기 정보를 이용하여 PCR 기준 클럭 또는 NTP 기준 클럭에 기초한 재생 시간을 복원할 수 있다. 일례로, PCR 기준 클럭에 따라 동기화를 수행할 경우, 컨텐츠 재생 장치(202)는 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프를 MPEG-2 시스템 규격에서 사용되는 PTS 형태의 타이밍 정보로 변환할 수 있다. 또는 상이한 PCR 기준 클럭 중 한 쪽 스트림의 PCR 기준 클럭에 따라 동기화를 수행할 수 있도록 나머지 스트림의 PTS 정보를 변환할 수 있다.
반면 NTP 기준 클럭에 따라 동기화를 수행할 경우, 컨텐츠 재생 장치(202)는 메인 컨텐츠 스트림에 포함된 액세스 유닛의 PTS를 MDTV 규격에서 사용하는 NTP 타임 스탬프 형태의 타이밍 정보로 변환할 수 있다. 재생 시간 복원 과정을 통해 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 출력시간은 하나의 기준 클럭(PCR 또는 NTP 시간)에 맞추어 출력이 가능한 형태가 되며, 메인 컨텐츠 스트림과 부가 컨텐츠 스트림이 상호 매칭이 되는 좌영상 및 우영상을 해당 기준 클럭에 맞게 동일 시점에 출력할 수 있다.
도 14는 본 발명의 제3 실시예에 따른 NTP 동기 방식에 기초한 컨텐츠 제공 방법을 도시한 도면이다.
NTP 동기 방식은 좌영상의 액세스 유닛의 타임 스탬프, 우영상의 액세스 유닛의 타임 스탬프를 이용하여 좌영상과 우영상의 동기화를 위해 별도로 계산된 NTP 타임 스탬프를 생성하는 방식을 의미한다.
구체적으로, 좌영상과 우영상의 액세스 유닛은 서로 다른 타이밍 모델을 가지고 있지만, 이미 기준 클럭에 동기화되어 있다고 가정한다. 그러면, 기준 클럭으로부터 도출된 기준 타임 스탬프인 NTP 타임 스탬프를 이용하여 동기화 시점에서 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프가 도출될 수 있다. 그리고, 도출된 타임 스탬프에 기초하여 좌영상과 우영상을 재생할 때의 동기 정보인 NTP 타임 스탬프가 추가적으로 생성될 수 있다.
구체적으로, NTP 동기 방식은 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 PTS와 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 RTP 타임 스탬프 이외에, 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 동기화를 위해서 별도로 생성된 NTP 타임 스탬프를 추가적으로 전송하는 방식을 의미한다.
단계(1401)에서, 컨텐츠 제공 장치(201)는 좌영상의 액세스 유닛에 대응하는 타임 스탬프를 추출할 수 있다.
단계(1402)에서, 컨텐츠 제공 장치(201)는 우영상의 액세스 유닛에 대응하는 타임 스탬프를 추출할 수 있다.
단계(1403)에서, 컨텐츠 제공 장치(201)는 좌영상의 액세스 유닛에 대응하는 타임 스탬프와 우영상의 액세스 유닛에 대응하는 타임 스탬프로 구성된 타임 스탬프 페어를 동기 정보로 생성할 수 있다.
일례로, 컨텐츠 제공 장치(201)는 ATSC 메인 방송 규격의 메인 컨텐츠 스트림과 MDTV 방송 규격의 부가 컨텐츠 스트림의 동기화를 위한 동기 정보를 추가적으로 생성할 수 있다. 일례로, 컨텐츠 제공 장치(201)는 메인 컨텐츠 스트림의 PTS, 부가 컨텐츠 스트림의 RTP 타임 스탬프를 이용하여 메인 컨텐츠 스트림과 부가 컨텐츠 스트림의 동기화를 위한 NTP(network time protocol) 타임 스탬프를 생성할 수 있다. 여기서, NTP 타임 스탬프는 기준 타임 스탬프를 의미한다. 메인 컨텐츠 스트림의 PTS와 부가 컨텐츠 스트림의 RTP 타임 스탬프는 기준 타임 스탬프인 NTP 타임 스탬프를 통해 도출될 수 있다.
구체적으로, 컨텐츠 제공 장치(201)는 3DTV 서비스를 위해 임의의 동일 시점에 출력해야 하는 좌영상과 우영상의 액세스 유닛에 대응하는 타임 스탬프를 동기 정보로 생성할 수 있다. 여기서, 동일 시점은 좌영상과 우영상의 동기화 시점을 의미한다. 이 때, 동기 시점에서 좌영상의 액세스 유닛의 타임 스탬프와 우영상의 액세스 유닛의 타임 스탬프를 통해 도출된 재생 시간이 서로 동일해야 3DTV 서비스가 가능하다.
이 경우, 동기화 지점부터 재생될 좌영상에 대응하는 메인 컨텐츠 스트림과 우영상에 대응하는 부가 컨텐츠 스트림은 서로 매칭되어 3D 영상이 재생될 수 있다. 좌영상의 타임 스탬프는 PTS이고, 우영상의 타임 스탬프는 NTP 타임 스탬프일 수 있다. 메인 컨텐츠 스트림과 부가 컨텐츠 스트림은 NTP 기준 클럭으로 동기화되어 있다고 가정한다.
단계(1404)에서, 컨텐츠 제공 장치(201)는 생성된 동기 정보를 좌영상의 메인 컨텐츠 스트림 또는 우영상의 부가 컨텐츠 스트림에 시그널링 정보로 삽입하여 다중화할 수 있다.
일례로, 컨텐츠 제공 장치(201)는 생성된 동기 정보인 NTP 타임 스탬프를 패킷화하고, 패킷화된 NTP 타임 스탬프를 주기적으로 전송된 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 디스크립터(descriptor) 형태로 삽입할 수 있다. 여기서, 동기 정보는 주기적으로 전송되는 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 시그널링 정보로 포함될 수 있다. 일례로, 디스크립터는 MPEG-TS 패킷을 통해 주기적으로 전송되는 PMT(Program Map Table) 또는 EIT(Event Information Table) 또는 ATSC PSIP 규격에 포함된 TVCT 등을 포함할 수 있다.
뿐만 아니라, 컨텐츠 제공 장치(201)는 ATSC 메인 방송 규격에 따라 메인 컨텐츠 스트림의 타임 스탬프인 PTS를 동기 정보로 비트스트림에 삽입하고, MDTV 방송 규격에 따라 부가 컨텐츠 스트림의 타임 스탬프인 RTP 타임 스탬프를 비트스트림에 삽입할 수 있다.
도 15는 본 발명의 제3 실시예에 따른 NTP 동기 방식에 기초한 컨텐츠 재생 방법을 도시한 도면이다.
단계(1501)에서, 컨텐츠 재생 장치(202)는 시그널링 정보로부터 동기 정보인 타임 스탬프 페어를 추출할 수 있다. 일례로, 컨텐츠 재생 장치(202)는 ATSC 메인 방송 규격에 따라 주기적으로 전송되는 메인 컨텐츠 스트림 또는 부가 컨텐츠 스트림의 시그널링 정보로부터 동기 정보인 NTP 타임 스탬프를 추출할 수 있다.
단계(1502)에서, 컨텐츠 재생 장치(202)는 동기 정보와 좌영상 또는 우영상의 기준 클럭을 이용하여 액세스 유닛의 재생 시간을 복원할 수 있다.
일례로, 컨텐츠 재생 장치(202)는 동기 정보를 이용하여 ATSC 메인 방송 규격에 대응하는 메인 컨텐츠 스트림의 재생 시간과 MDTV 방송 규격에 대응하는 부가 컨텐츠 스트림의 재생 시간을 복원할 수 있다. 일례로, 컨텐츠 재생 장치(202)는 동기 정보인 NTP 타임 스탬프 (NTP_M') 및 Wallclock_A로부터 생성된 PTS'를 이용하여 메인 컨텐츠 스트림의 액세스 유닛의 재생 시간인 PTS_A를 복원할 수 있다. 이 때, 컨텐츠 재생 장치(202)는 Wallclock_A로부터 생성된 PTS'가 역전되었는 지 여부를 고려하여 메인 컨텐츠 스트림의 재생 시간인 PTS를 복원할 수 있다.
다른 일례로, 컨텐츠 재생 장치(202)는 동기 정보인 NTP 타임 스탬프 (NTP_M') 및 Wallclock_M으로부터 도출된 RTP 타임 스탬프(RTP')를 이용하여 부가 컨텐츠 스트림의 재생 시간인 PTS_M를 복원할 수 있다. 이 때, 컨텐츠 재생 장치(202)는 RTP 타임 스탬프(RTP')가 역전되었는 지 여부를 고려하여 부가 컨텐츠 스트림의 액세스 유닛의 재생 시간인 PTS를 복원할 수 있다. 여기서, Wallclock은 NTP(network time protocol)의 timestamp로 64비트의 부호없는 fixed point수로 32비트 정수부와 32비트 소수부로 구성될 수 있다. Wallclock_A는 메인 컨텐츠 스트림과 관련된 NTP 타임 스탬프이고, Wallclock_M은 부가 컨텐츠 스트림과 관련된 NTP 타임 스탬프이다. 그리고, Wallclock_A와 Wallclock_M는 서로 동기화되어 있으며, 동기화 지점에서 동일한 NTP 타임 스탬프를 나타낸다.
일실시예에 따른 컨텐츠 제공 방법은 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프를 포함하는 타임 스탬프 페어를 동기 정보로 생성하는 단계; 및 상기 동기 정보를 시그널링 정보로 다중화하는 단계를 포함할 수 있다.
일실시예에 따른 컨텐츠 재생 방법은 시그널링 정보로부터 동기 정보인 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프로 구성된 타임 스탬프 페어를 추출하는 단계; 및 상기 동기 정보와 상기 좌영상 또는 우영상의 기준 클럭을 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 단계를 포함할 수 있다.
다른 실시예에 따른 컨텐츠 제공 방법은 동기화 대상인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 동기 정보로 생성하는 단계; 및 상기 동기 정보를 시그널링 정보로 다중화하는 단계를 포함할 수 있다.
다른 실시예에 따른 컨텐츠 재생 방법은 시그널링 정보로부터 동기 정보인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 추출하는 단계; 및 상기 동기 정보와 상기 좌영상 또는 우영상의 기준 클럭을 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 단계를 포함할 수 있다.
또 다른 실시예에 따른 컨텐츠 제공 방법은 기준 타임 스탬프에 기초한 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프를 이용하여 동기 정보를 생성하는 단계; 및 상기 생성된 동기 정보를 시그널링 정보로 다중화하는 단계를 포함할 수 있다.
또 다른 실시예에 따른 컨텐츠 재생 방법은 시그널링 정보로부터 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프에 기초한 동기 정보를 추출하는 단계 -상기 동기 정보는 기준 타임 스탬프와 관련됨-; 및 상기 동기 정보를 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 컨텐츠 제공 장치
102: 컨텐츠 재생 장치

Claims (37)

  1. 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프를 포함하는 타임 스탬프 페어를 동기 정보로 생성하는 동기 정보 생성부; 및
    상기 동기 정보를 시그널링 정보로 다중화하는 동기 정보 다중화부
    를 포함하는 컨텐츠 제공 장치.
  2. 제1항에 있어서,
    상기 동기 정보 생성부는,
    임의의 동일 시점에서 출력해야 하는 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프로 구성된 타임 스탬프 페어를 동기 정보로 생성하는 컨텐츠 제공 장치.
  3. 제2항에 있어서,
    상기 타임 스탬프 페어는,
    좌영상의 액세스 유닛에 대응하는 타임 스탬프인 PTS(presentation Timestamp) 및 우영상의 액세스 유닛에 대응하는 타임 스탬프인 RTP 타임 스탬프(realtime transport protocol)를 포함하는 컨텐츠 제공 장치.
  4. 제2항에 있어서,
    상기 타임 스탬프 페어는,
    좌영상의 액세스 유닛에 대응하는 타임 스탬프인 PTS(presentation Timestamp) 및 우영상의 액세스 유닛에 대응하는 타임 스탬프인 타임 스탬프인 PTS(presentation Timestamp)를 포함하는 컨텐츠 제공 장치.
  5. 제2항에 있어서,
    상기 타임 스탬프 페어는,
    좌영상의 액세스 유닛에 대응하는 타임 스탬프인 RTP 타임 스탬프(realtime transport protocol)및 우영상의 액세스 유닛에 대응하는 타임 스탬프인 RTP 타임 스탬프(realtime transport protocol)를 포함하는 컨텐츠 제공 장치.
  6. 제1항에 있어서,
    상기 동기 정보 다중화부는,
    상기 동기 정보를 좌영상에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 우영상에 대응하는 부가 컨텐츠 스트림의 시그널링 정보에 다중화하는 컨텐츠 제공 장치.
  7. 시그널링 정보로부터 동기 정보인 좌영상의 액세스 유닛에 대응하는 타임 스탬프 및 우영상의 액세스 유닛에 대응하는 타임 스탬프로 구성된 타임 스탬프 페어를 추출하는 동기 정보 역다중화부; 및
    상기 동기 정보와 상기 좌영상 또는 우영상의 기준 클럭을 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 재생 시간 복원부
    를 포함하는 컨텐츠 재생 장치.
  8. 제7항에 있어서,
    상기 시그널링 정보는,
    상기 좌영상에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 우영상에 대응하는 부가 컨텐츠 스트림의 시그널링 정보를 포함하는 컨텐츠 재생 장치.
  9. 제7항에 있어서,
    상기 재생 시간 복원부는,
    PCR(Program Clock Reference) 기준 클럭에 기초하여 좌영상과 우영상 간 재생 시간의 동기화를 수행하는 컨텐츠 재생 장치.
  10. 제9항에 있어서,
    상기 재생 시간 복원부는,
    상기 우영상에 대응하는 액세스 유닛의 RTP(Real-Time Transport Protocol) 타임 스탬프를 상기 좌영상에 대응하는 액세스 유닛의 PTS(Presentation Time Stamp)로 변환하는 컨텐츠 재생 장치.
  11. 제9항에 있어서,
    상기 재생 시간 복원부는,
    상기 우영상에 대응하는 액세스 유닛의 PTS(Presentation Time Stamp) 타임 스탬프를 상기 좌영상 스트림에서 사용하는 PCR 기준클럭에 대응하는 PTS(Presentation Time Stamp)로 변환하는 컨텐츠 재생 장치.
  12. 제7항에 있어서,
    상기 재생 시간 복원부는,
    NTP(Network Time Protocol) 기준 클럭에 기초하여 좌영상과 우영상 간 재생 시간의 동기화를 수행하는 컨텐츠 재생 장치.
  13. 제12항에 있어서,
    상기 재생 시간 복원부는,
    상기 좌영상에 대응하는 액세스 유닛의 PTS를 상기 우영상에 대응하는 액세스 유닛의 NTP 타임 스탬프로 변환하는 컨텐츠 재생 장치.
  14. 제12항에 있어서,
    상기 재생 시간 복원부는,
    상기 좌영상에 대응하는 액세스 유닛의 PTS를 상기 우영상에 대응하는 액세스 유닛의 RTP 타임 스탬프로 변환하는 컨텐츠 재생 장치.
  15. 제12항에 있어서,
    상기 재생 시간 복원부는,
    상기 우영상에 대응하는 액세스 유닛의 RTP 타임스탬프를 상기 좌영상의 NTP 기준클럭에 대응하는 RTP 타임 스탬프로 변환하는 컨텐츠 재생 장치.
  16. 동기화 대상인 좌영상의 액세스 유닛 또는 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 동기 정보로 생성하는 동기 정보 생성부;
    상기 동기 정보를 시그널링 정보로 다중화하는 동기 정보 다중화부
    를 포함하는 컨텐츠 제공 장치.
  17. 제16항에 있어서,
    상기 동기 정보 생성부는,
    동기화 시점에서 상기 좌영상의 액세스 유닛에 대응하는 PTS와 상기 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프 간의 차이인 타임 스탬프 오프셋을 동기 정보로 생성하는 컨텐츠 제공 장치.
  18. 제16항에 있어서,
    상기 동기 정보 생성부는,
    동기화 시점에서 상기 좌영상의 액세스 유닛에 대응하는 PTS와 상기 부가 컨텐츠 스트림에 포함된 액세스 유닛의 PTS 간의 차이인 타임 스탬프 오프셋을 동기 정보로 생성하는 컨텐츠 제공 장치.
  19. 제16항에 있어서,
    상기 동기 정보 생성부는,
    동기화 시점에서 상기 좌영상의 액세스 유닛에 대응하는 RTP 타임 스탬프와 상기 부가 컨텐츠 스트림에 포함된 액세스 유닛의 RTP 타임 스탬프 간의 차이인 타임 스탬프 오프셋을 동기 정보로 생성하는 컨텐츠 제공 장치.
  20. 제16항에 있어서,
    상기 동기 정보 다중화부는,
    상기 동기 정보를 좌영상에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 우영상에 대응하는 부가 컨텐츠 스트림의 시그널링 정보에 다중화하는 컨텐츠 제공 장치.
  21. 시그널링 정보로부터 동기 정보인 좌영상의 액세스 유닛 및 우영상의 액세스 유닛에 대응하는 타임 스탬프에 기초한 타임 스탬프 오프셋을 추출하는 동기 정보 역다중화부; 및
    상기 동기 정보와 상기 좌영상 또는 우영상의 기준 클럭을 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 재생 시간 복원부
    를 포함하는 컨텐츠 재생 장치.
  22. 제21항에 있어서,
    상기 시그널링 정보는,
    상기 좌영상에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 우영상에 대응하는 부가 컨텐츠 스트림의 시그널링 정보를 포함하는 컨텐츠 재생 장치.
  23. 제21항에 있어서,
    상기 재생 시간 복원부는,
    PCR(Program Clock Reference) 기준 클럭에 기초하여 좌영상과 우영상 간 재생 시간의 동기화를 수행하는 컨텐츠 재생 장치.
  24. 제23항에 있어서,
    상기 재생 시간 복원부는,
    상기 우영상에 대응하는 액세스 유닛의 RTP(Real-Time Transport Protocol) 타임 스탬프를 상기 좌영상에 대응하는 액세스 유닛의 PTS(Presentation Time Stamp)로 변환하는 컨텐츠 재생 장치.
  25. 제23항에 있어서,
    상기 재생 시간 복원부는,
    상기 우영상에 대응하는 액세스 유닛의 PTS(Presentation Time Stamp)를 상기 좌영상에 대응하는 액세스 유닛의 PTS(Presentation Time Stamp)로 변환하는 컨텐츠 재생 장치.
  26. 제21항에 있어서,
    상기 재생 시간 복원부는,
    NTP(Network Time Protocol) 기준 클럭에 기초하여 좌영상과 우영상 간 재생 시간의 동기화를 수행하는 컨텐츠 재생 장치.
  27. 제26항에 있어서,
    상기 재생 시간 복원부는,
    상기 좌영상에 대응하는 액세스 유닛의 PTS를 상기 우영상에 대응하는 액세스 유닛의 NTP 타임 스탬프로 변환하는 컨텐츠 재생 장치.
  28. 제26항에 있어서,
    상기 재생 시간 복원부는,
    상기 좌영상에 대응하는 액세스 유닛의 PTS를 상기 우영상에 대응하는 액세스 유닛의 RTP 타임 스탬프로 변환하는 컨텐츠 재생 장치.
  29. 제26항에 있어서,
    상기 재생 시간 복원부는,
    상기 우영상에 대응하는 액세스 유닛의 RTP 타임스탬프를 상기 좌영상에 대응하는 액세스 유닛의 RTP 타임 스탬프로 변환하는 컨텐츠 재생 장치.
  30. 기준 타임 스탬프에 기초한 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프를 이용하여 기준 타임 스탬프에 기초한 동기 정보를 생성하는 동기 정보 생성부; 및
    상기 생성된 동기 정보를 시그널링 정보로 다중화하는 동기 정보 다중화부
    를 포함하는 컨텐츠 제공 장치.
  31. 제30항에 있어서,
    상기 동기 정보 생성부는,
    기준 타임 스탬프인 NTP 타임 스탬프에 기초하여 좌영상의 액세스 유닛에 대응하는 PTS인 제1 타임 스탬프를 생성하고, 상기 NTP 타임 스탬프에 기초하여 좌영상의 액세스 유닛에 대응하는 RTP 타임 스탬프인 제2 타임 스탬프를 생성하는 컨텐츠 제공 장치.
  32. 제31항에 있어서,
    상기 동기 정보 생성부는,
    상기 제1 타임 스탬프와 제2 타임 스탬프를 이용하여 NTP 타임 스탬프에 기초한 동기 정보를 생성하는 컨텐츠 제공 장치.
  33. 제30항에 있어서,
    상기 동기 정보 생성부는,
    동기화 지점에서 상기 좌영상에 대응하는 액세스 유닛의 PTS와 우영상에 대응하는 액세스 유닛의 RTP 타임 스탬프가 변환된 PTS가 서로 동일하다는 조건에 기초하여 NTP 타임 스탬프에 기초한 동기 정보를 생성하는 것을 특징으로 하는 컨텐츠 제공 장치.
  34. 제30항에 있어서,
    상기 동기 정보 다중화부는,
    상기 동기 정보를 좌영상에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 우영상에 대응하는 부가 컨텐츠 스트림의 시그널링 정보에 다중화하는 컨텐츠 제공 장치.
  35. 시그널링 정보로부터 좌영상의 액세스 유닛에 대응하는 제1 타임 스탬프와 우영상의 액세스 유닛에 대응하는 제2 타임 스탬프에 기초한 동기 정보를 추출하는 동기 정보 역다중화부 -상기 동기 정보는 기준 타임 스탬프와 관련됨-; 및
    상기 동기 정보를 이용하여 상기 좌영상 및 우영상 각각의 액세스 유닛의 재생 시간을 복원하는 재생 시간 복원부
    를 포함하는 컨텐츠 재생 장치.
  36. 제35항에 있어서,
    상기 재생 시간 복원부는,
    상기 동기 정보와 기준 타임 스탬프를 이용하여 좌영상의 액세스 유닛의 재생 시간과 우영상의 액세스 유닛의 재생 시간을 복원하는 컨텐츠 재생 장치.
  37. 제35항에 있어서,
    상기 시그널링 정보는,
    상기 동기 정보를 좌영상에 대응하는 메인 컨텐츠 스트림의 시그널링 정보 또는 우영상에 대응하는 부가 컨텐츠 스트림의 시그널링 정보를 포함하는 컨텐츠 재생 장치.
KR20120087545A 2011-08-10 2012-08-10 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법 KR101405276B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/238,192 US9900577B2 (en) 2011-08-10 2012-08-10 Apparatus and method for providing content for synchronizing left/right streams in fixed/mobile convergence 3DTV, and apparatus and method for playing content
PCT/KR2012/006394 WO2013022311A2 (ko) 2011-08-10 2012-08-10 고정 및 이동 융합형 3dtv에서 좌/우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020110079891 2011-08-10
KR20110079891 2011-08-10
KR20110137290 2011-12-19
KR1020110137290 2011-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120117827A Division KR101856093B1 (ko) 2011-08-10 2012-10-23 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130018170A true KR20130018170A (ko) 2013-02-20
KR101405276B1 KR101405276B1 (ko) 2014-07-15

Family

ID=47897149

Family Applications (2)

Application Number Title Priority Date Filing Date
KR20120087545A KR101405276B1 (ko) 2011-08-10 2012-08-10 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법
KR1020120117827A KR101856093B1 (ko) 2011-08-10 2012-10-23 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020120117827A KR101856093B1 (ko) 2011-08-10 2012-10-23 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법

Country Status (2)

Country Link
US (1) US9900577B2 (ko)
KR (2) KR101405276B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230058919A (ko) * 2021-10-25 2023-05-03 주식회사 픽스트리 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102186383B1 (ko) * 2013-03-13 2020-12-03 삼성전자주식회사 이미지를 처리하는 전자장치 및 방법
JP6134281B2 (ja) 2013-03-13 2017-05-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イメージを処理する電子装置及びその動作方法
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
US10554896B2 (en) * 2016-05-04 2020-02-04 Insidemaps, Inc. Stereoscopic imaging using mobile computing devices having front-facing and rear-facing cameras
US10812558B1 (en) 2016-06-27 2020-10-20 Amazon Technologies, Inc. Controller to synchronize encoding of streaming content
US10652625B1 (en) 2016-06-27 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
US10652292B1 (en) * 2016-06-28 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
US11356606B2 (en) 2019-02-26 2022-06-07 Insidemaps, Inc. Imaging using mobile computing device in communication with wide field of view (FOV) camera
US11693448B2 (en) * 2019-03-05 2023-07-04 Intel Corporation Timestamp alignment across multiple computing nodes
US10841357B1 (en) * 2019-09-12 2020-11-17 Dialpad, Inc. Using transport layer protocol packet headers to encode application layer attributes in an audiovisual over internet protocol (AVoIP) platform
KR102239815B1 (ko) * 2019-09-30 2021-04-13 주식회사 엠디엠 멀티채널 비디오 레코딩 방법 및 장치
US20220132211A1 (en) * 2020-10-27 2022-04-28 Circle Computer Resources, Inc. Low-latency content delivery over a public network
CN115174978B (zh) * 2022-06-08 2023-11-24 聚好看科技股份有限公司 一种3d数字人的音画同步方法及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068719B2 (en) * 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
WO2009127961A1 (en) * 2008-04-16 2009-10-22 Nokia Corporation Decoding order recovery in session multiplexing
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
KR101305789B1 (ko) 2009-01-22 2013-09-06 서울시립대학교 산학협력단 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치
ES2801698T3 (es) * 2009-03-16 2021-01-12 Koninklijke Kpn Nv Sincronización de flujo modificado
KR101063153B1 (ko) 2009-06-03 2011-09-07 주식회사 시공테크 입체영상 상영을 위한 동기제어시스템 및 동기제어방법
KR20110123658A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
KR101831775B1 (ko) * 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230058919A (ko) * 2021-10-25 2023-05-03 주식회사 픽스트리 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Also Published As

Publication number Publication date
KR20130018209A (ko) 2013-02-20
US9900577B2 (en) 2018-02-20
US20140313289A1 (en) 2014-10-23
KR101405276B1 (ko) 2014-07-15
KR101856093B1 (ko) 2018-05-10

Similar Documents

Publication Publication Date Title
KR101405276B1 (ko) 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법
US8917314B2 (en) Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
JP5575949B2 (ja) 放送データ送信方法およびその装置
KR101831775B1 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
US9210354B2 (en) Method and apparatus for reception and transmission
EP2574064A1 (en) Image data transmitting device, image data transmitting method and image data receiving device
CN101690200B (zh) 用于在数字多媒体广播系统中提供高质量多媒体服务的方法和设备
MX2012008818A (es) Metodo y aparato para transmitir flujo de difusion digital usando informacion de enlace acerca de flujo de video multivistas y metodo y aparato para su recepcion.
KR20110011000A (ko) 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
KR20130121058A (ko) 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
KR101965385B1 (ko) 융합형 ３ｄｔｖ에서 컨텐츠 스트림에 접근하는 컨텐츠 제공 장치 및 방법, 그리고 컨텐츠 재생 장치 및 방법
KR101699367B1 (ko) 3ｄｔｖ 다중화 방법 및 그 장치
KR101131836B1 (ko) 디지털 광고 삽입기를 위한 비동기 직렬 인터페이스 스위쳐
KR100763441B1 (ko) 동기화된 다시점 입체 영상 전송 방법 및 그 시스템
EP3280147A1 (en) Method and apparatus for transmitting and receiving broadcast signal
KR101204112B1 (ko) 디지털 멀티미디어 방송 시스템의 송수신 장치 및 그 방법
KR20120066913A (ko) 디지털 방송 시스템에서 연계된 복수의 전송 스트림간의 동기장치 및 방법
KR101824738B1 (ko) Ατｓｃ－ｍ／ｈ에서 ３ｄ 서비스를 구현하기 위한 동기화 방법
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR20140080701A (ko) 자막 데이터를 이용한 3dtv 동기 보정 방법 및 그 장치
KR20120066912A (ko) 디지털 방송 시스템에서 복수의 전송 스트림간의 동기장치 및 방법
KR20160092362A (ko) 3d 방송 서비스 제공 방법 및 상기 방법을 수행하는 3d 방송 제공 장치
KR20140053938A (ko) 신호 송신 방법

Legal Events

Date Code Title Description
A201 Request for examination
A107 Divisional application of patent
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 6