KR20130128101A - 3ｄｔｖ 다중화 방법 및 그 장치 - Google Patents

3ｄｔｖ 다중화 방법 및 그 장치 Download PDF

Info

Publication number
KR20130128101A
KR20130128101A KR1020120051878A KR20120051878A KR20130128101A KR 20130128101 A KR20130128101 A KR 20130128101A KR 1020120051878 A KR1020120051878 A KR 1020120051878A KR 20120051878 A KR20120051878 A KR 20120051878A KR 20130128101 A KR20130128101 A KR 20130128101A
Authority
KR
South Korea
Prior art keywords
value
pes
image
3dtv
left image
Prior art date
Application number
KR1020120051878A
Other languages
English (en)
Other versions
KR101699367B1 (ko
Inventor
조숙희
김종호
정세윤
추현곤
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120051878A priority Critical patent/KR101699367B1/ko
Priority to US13/717,492 priority patent/US9270972B2/en
Publication of KR20130128101A publication Critical patent/KR20130128101A/ko
Application granted granted Critical
Publication of KR101699367B1 publication Critical patent/KR101699367B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

본 발명에 따른 3DTV 다중화 방법은, 좌영상에 대응하는 좌영상 PES 및 우영상에 대응하는 우영상 PES를 기반으로, 좌영상 및 우영상에 대한 프레임 단위 지연 값을 도출하는 단계, 프레임 단위 지연 값을 기반으로, 좌영상 PES 및 우영상 PES에 대한 동기화를 수행하는 단계 및 동기화된 좌영상 PES 및 동기화된 우영상 PES에 대한 다중화를 수행하여 3DTV TS를 생성하는 단계를 포함한다. 본 발명에 의하면, 영상 서비스 효율이 향상될 수 있다.

Description

3ＤＴＶ 다중화 방법 및 그 장치 {METHOD FOR 3DTV MULTIPLEXING AND APPARATUS THEREOF}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 3DTV 다중화 방법 및 그 장치에 관한 것이다.
3D 영상을 이용한 디지털 방송 서비스는, UDTV서비스와 함께, HDTV에 이은 차세대 방송 서비스로 주목 받고 있으며, 고화질의 상용 스테레오스코픽 디스플레이의 출시 등과 같은 관련 기술의 발달을 바탕으로, 각 가정에서 3D 영상을 즐길 수 있는 3DTV 서비스가 수년 내에 제공될 수 있을 것으로 예상된다. 특히, 현재 상용 서비스 또는 시범 서비스 되고 있는 3D 방송 서비스는 주로 좌영상 및 우영상으로 구성되는 스테레오스코픽 비디오를 이용한 서비스이다.
3D 영상의 처리 과정에서는, 서로 상관성이 있는 복수 개의 영상이 함께 저장되거나 처리될 수 있다. 또한, 3D 영상뿐만 아니라 자유 시점 영상, 파노라마 영상, 다시점 영상 및 다중 분할된 영상 등의 처리 과정에서도 서로 상관성이 있는 복수 개의 영상이 함께 저장되거나 처리될 수 있다. 여기서, 다중 분할된 영상에는 예를 들어, HD 영상의 4배에서 16배에 해당되는 해상도를 갖는 초고해상도 영상이 복수 개의 HD 영상으로 분할된 영상이 있을 수 있다. 이와 같이, 서로 상관성이 있는 복수 개의 영상이 함께 저장되거나 처리되는 경우에는, 복수 개의 영상이 프레임 단위로 서로 동기화되어야 한다.
본 발명의 기술적 과제는 영상 서비스 효율을 향상시킬 수 있는 3DTV TS 생성 방법 및 그 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 서비스 효율을 향상시킬 수 있는 3DTV 다중화 방법 및 그 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 서비스 효율을 향상시킬 수 있는 영상 동기화 방법 및 그 장치를 제공함에 있다.
1. 본 발명의 일 실시 형태는 3DTV 다중화 방법이다. 상기 방법은, 좌영상에 대응하는 좌영상 PES(Packetized Elementary Stream) 및 우영상에 대응하는 우영상 PES를 기반으로, 상기 좌영상 및 상기 우영상에 대한 프레임 단위 지연 값을 도출하는 단계, 상기 프레임 단위 지연 값을 기반으로, 상기 좌영상 PES 및 상기 우영상 PES에 대한 동기화를 수행하는 단계 및 상기 동기화된 좌영상 PES 및 상기 동기화된 우영상 PES에 대한 다중화를 수행하여 3DTV TS(Transport Stream)를 생성하는 단계를 포함하고, 상기 프레임 단위 지연 값은 상기 좌영상 및 상기 우영상 간의 시간 차이를 프레임 단위로 나타내는 값이다.
2. 1에 있어서, 상기 프레임 단위 지연 값 도출 단계는, 상기 좌영상 PES 내의 제1 비디오 ES(Elementary Stream)로부터 제1 동기 정보 값을 추출하고, 상기 우영상 PES 내의 제2 비디오 ES로부터 제2 동기 정보 값을 추출하는 단계 및 상기 제1 동기 정보 및 상기 제2 동기 정보를 기반으로 상기 프레임 단위 지연 값을 도출하는 단계를 더 포함할 수 있다.
3. 2에 있어서, 상기 제1 동기 정보 값은 프레임 단위로 카운트되어 상기 제1 비디오 ES에 포함되는 값이고, 상기 제2 동기 정보 값은 프레임 단위로 카운트되어 상기 제2 비디오 ES에 포함되는 값일 수 있고, 상기 프레임 단위 지연 값 도출 단계에서는, 상기 제1 동기 정보 및 상기 제2 동기 정보 간의 차이 값을 상기 프레임 단위 지연 값으로 결정할 수 있다.
4. 2에 있어서, 상기 제1 동기 정보 값은 타임 코드의 형태로 상기 제1 비디오 ES에 포함되는 값이고, 상기 제2 동기 정보 값은 타임 코드의 형태로 상기 제2 비디오 ES에 포함되는 값일 수 있고, 상기 프레임 단위 지연 값 도출 단계는, 상기 제1 동기 정보 및 상기 제2 동기 정보 간의 초 단위 시간 차이 값을 도출하는 단계 및 상기 초 단위 시간 차이 값에 초당 프레임 수를 곱하여 상기 프레임 단위 지연 값을 도출하는 단계를 더 포함할 수 있다.
5. 1에 있어서, 상기 동기화된 좌영상 PES는 제1 PTS(Presentation Time Stamp) 및 제1 DTS(Decoding Time Stamp)를 더 포함하고, 상기 동기화된 우영상 PES는 제2 PTS 및 제2 DTS를 더 포함할 수 있고, 상기 동기화 수행 단계는, 클록(clock)으로부터 입력되는 제3 PTS를 기반으로, 상기 제1 PTS, 상기 제1 DTS, 상기 제 2 PTS 및 상기 제2 DTS 의 값을 새로운 값으로 수정하는 단계를 더 포함할 수 있다.
6. 5에 있어서, 상기 수정 단계에서는, 상기 제1 PTS의 값 및 상기 제2 PTS의 값은 상기 제3 PTS의 값으로 수정되고, 상기 제1 DTS의 값은, 상기 제1 DTS 값에서 상기 제1 PTS 값을 뺀 값에 상기 제3 PTS 값을 더한 값으로 수정되고, 상기 제2 DTS의 값은, 상기 제2 DTS 값에서 상기 제2 PTS 값을 뺀 값에 상기 제3 PTS 값을 더한 값으로 수정될 수 있다.
7. 1에 있어서, 상기 방법은 상기 좌영상에 대응하는 좌영상 PSI(Program Specific Information) 및 상기 우영상에 대응하는 우영상 PSI를 기반으로, 3D 프로그램 구성 정보인 3DTV PSI를 생성하는 단계를 더 포함할 수 있고, 상기 3DTV TS 생성 단계에서는, 상기 동기화된 좌영상 PES, 상기 동기화된 우영상 PES 및 상기 3DTV PSI에 대한 다중화를 수행할 수 있다.
8. 7에 있어서, 상기 좌영상 PSI는 제1 PAT(Program Association Table) 및 제1 PMT(Program Map Table)를 포함하고, 상기 우영상 PSI는 제2 PAT 및 제2 PMT를 포함할 수 있고, 상기 3DTV PSI 생성 단계에서는, 상기 제1 PAT 및 상기 제2 PAT를 재구성함으로써, 상기 제1 PMT 및 상기 제2 PMT 모두에 대응되는 정보를 갖는 제3 PAT를 생성하고, 상기 제1 PMT 및 상기 제2 PMT 중에서 부가 스트림에 대응되는 하나의 PMT 내에서 스트림 타입(stream type) 값을 변경하고, 상기 부가 스트림에 대응되는 하나의 PMT에, 디지털 방송에서 제공되는 프로그램 타입을 지시하는 정보가 정의되는 프로그램 정보 디스크립터(descriptor) 및 영상 데이터를 구성하는 ES의 특성을 지시하는 정보가 정의되는 비디오 정보 디스크립터를 삽입할 수 있다.
9. 1에 있어서, 상기 방법은, 상기 좌영상에 대응되는 좌영상 TS(Transport Stream)로부터 상기 좌영상 PES를 추출하고, 상기 우영상에 대응되는 우영상 TS로부터 상기 우영상 PES를 추출하는 단계를 더 포함할 수 있다.
10. 본 발명의 다른 실시 형태는 3DTV 다중화 장치이다. 상기 장치는, 좌영상에 대응하는 좌영상 PES(Packetized Elementary Stream) 및 우영상에 대응하는 우영상 PES를 기반으로, 상기 좌영상 및 상기 우영상에 대한 프레임 단위 지연 값을 도출하는 지연 값 계산 모듈, 상기 프레임 단위 지연 값을 기반으로, 상기 좌영상 PES 및 상기 우영상 PES에 대한 동기화를 수행하는 동기화 모듈 및 상기 동기화된 좌영상 PES 및 상기 동기화된 우영상 PES에 대한 다중화를 수행하여 3DTV TS(Transport Stream)를 생성하는 3DTV TS 패킷화기(packetizer)를 포함하고, 상기 프레임 단위 지연 값은 상기 좌영상 및 상기 우영상 간의 시간 차이를 프레임 단위로 나타내는 값이다.
11. 10에 있어서, 상기 지연 값 계산 모듈은, 상기 좌영상 PES 내의 제1 비디오 ES(Elementary Stream)로부터 제1 동기 정보 값을 추출하는 제1 동기 정보 추출기, 상기 우영상 PES 내의 제2 비디오 ES로부터 제2 동기 정보 값을 추출하는 제2 동기 정보 추출기 및 상기 제1 동기 정보 및 상기 제2 동기 정보를 기반으로 상기 프레임 단위 지연 값을 도출하는 지연 값 계산기를 더 포함할 수 있다.
12. 10에 있어서, 상기 동기화된 좌영상 PES는 제1 PTS(Presentation Time Stamp) 및 제1 DTS(Decoding Time Stamp)를 더 포함하고, 상기 동기화된 우영상 PES는 제2 PTS 및 제2 DTS를 더 포함할 수 있고, 상기 동기화 모듈은, 클록(clock)으로부터 입력되는 제3 PTS를 기반으로, 상기 제1 PTS, 상기 제1 DTS, 상기 제 2 PTS 및 상기 제2 DTS 의 값을 새로운 값으로 수정하는 PTS/DTS 수정 모듈을 더 포함할 수 있다.
13. 10에 있어서, 상기 장치는 상기 좌영상에 대응하는 좌영상 PSI(Program Specific Information) 및 상기 우영상에 대응하는 우영상 PSI를 기반으로, 3D 프로그램 구성 정보인 3DTV PSI를 생성하는 3DTV PSI 생성 모듈을 더 포함할 수 있고, 상기 3DTV TS 패킷화기는, 상기 동기화된 좌영상 PES, 상기 동기화된 우영상 PES 및 상기 3DTV PSI에 대한 다중화를 수행할 수 있다.
14. 10에 있어서, 상기 장치는 상기 좌영상에 대응되는 좌영상 TS(Transport Stream)로부터 상기 좌영상 PES를 추출하는 제1 역 패킷화기(de-packetizer) 및 상기 우영상에 대응되는 우영상 TS로부터 상기 우영상 PES를 추출하는 제2 역 패킷화기를 더 포함할 수 있다.
15. 본 발명의 또 다른 실시 형태는 영상 동기화 방법이다. 상기 방법은, 좌영상에 대응하는 좌영상 PES(Packetized Elementary Stream) 및 우영상에 대응하는 우영상 PES를 기반으로, 상기 좌영상 및 상기 우영상에 대한 프레임 단위 지연 값을 도출하는 단계 및 상기 프레임 단위 지연 값을 기반으로, 상기 좌영상 PES 및 상기 우영상 PES에 대한 동기화를 수행하는 단계를 포함하고, 상기 프레임 단위 지연 값은 상기 좌영상 및 상기 우영상 간의 시간 차이를 프레임 단위로 나타내는 값이다.
본 발명에 따른 3DTV TS 생성 방법에 의하면, 영상 서비스 효율이 향상될 수 있다.
본 발명에 따른 3DTV 다중화 방법에 의하면, 영상 서비스 효율이 향상될 수 있다.
본 발명에 따른 영상 동기화 방법에 의하면, 영상 서비스 효율이 향상될 수 있다.
도 1은 3DTV TS 생성 과정의 일 실시예를 개략적으로 나타내는 도면이다.
도 2는 3DTV TS 생성 과정의 다른 실시예를 개략적으로 나타내는 도면이다.
도 3은 본 발명에 따른 3DTV TS 생성 장치의 실시예를 개략적으로 나타내는 블록도이다.
도 4는 DTV 부호화기 구성의 일 실시예를 개략적으로 나타내는 블록도이다.
도 5는 본 발명에 따른 자동 동기화 방식 기반 3DTV 다중화기 구성의 일 실시예를 개략적으로 나타내는 블록도이다.
도 6은 도 5의 자동 동기화 방식 기반 3DTV 다중화기에 포함된 동기화 모듈 구성의 일 실시예를 개략적으로 나타내는 블록도이다.
도 7은 도 6의 동기화 모듈에 포함된 지연 값 계산 모듈 구성의 일 실시예를 개략적으로 나타내는 블록도이다.
도 8은 본 발명에 따른 자동 동기화 방식 기반 3DTV 다중화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 3DTV TS 생성 과정의 일 실시예를 개략적으로 나타내는 도면이다. 여기서, TS는 전송 스트림(Transport Stream)을 의미할 수 있다. 도 1은 스테레오스코픽 3DTV 서비스를 위한 3DTV TS 생성 과정을 도시한다.
3D 영상, 자유 시점 영상, 다시점 영상, 파노라마 영상 등에서와 같이 복수 개의 영상이 함께 저장되거나 처리되는 경우에는, 복수 개의 영상 신호가 프레임 단위로 서로 동기화되어야 한다. 스테레오스코픽 비디오는 좌영상 신호 및 우영상 신호로 구성될 수 있으므로, 도 1의 실시예에서 좌영상 신호 및 우영상 신호는 프레임 단위로 서로 동기화되어야 한다.
3D 영상, 자유 시점 영상, 다시점 영상, 파노라마 영상 등에서는 복수 개의 영상 각각이 서로 다른 부호화기에 의해 부호화될 수 있다. 이 경우, 복수 개의 부호화기에 의해 복수 개의 전송 스트림이 출력될 수 있다. 예를 들어, 스테레오스코픽 비디오에서 좌영상 및 우영상은 각각 MPEG(Moving Picture Experts Group)-2 부호화기 및 AVC(Advanced Video Coding) 부호화기에 의해 개별적으로 부호화될 수 있다. 이 때, 상술한 바와 같이 복수 개의 전송 스트림은 프레임 단위로 서로 동기화되어야 한다. 그러나, 복수 개의 전송 스트림을 자동으로 동기화할 방법이 없는 경우라면, 복수 개의 영상(예를 들어, 스테레오스코픽 비디오에서의 좌영상 및 우영상)을 함께 부호화하는 3DTV 전용 부호화기가 사용될 수 있다.
도 1의 실시예에서는 3DTV TS를 생성하기 위해 3DTV 전용 부호화기가 사용될 수 있다. 도 1을 참조하면, 신호 발생기(110)는 좌영상 신호 및 우영상 신호를 생성할 수 있다. 좌영상 출력 장치(120)는 상기 좌영상 신호를 수신하여 좌영상 신호에 대응하는 HD-SDI(High Definition Serial Digital Interface) 신호(이하, ‘좌영상 HD-SDI’라 함.)를 출력할 수 있고, 우영상 출력 장치(130)는 상기 우영상 신호를 수신하여 우영상 신호에 대응하는 HD-SDI 신호(이하, ‘우영상 HD-SDI’라 함.)를 출력할 수 있다. 여기서, HD-SDI는 HD급 방송 장비 간의 영상 전송을 위한 표준 규격을 나타낼 수 있다. 듀얼 스트림 부호화기(3DTV 전용 부호화기)(140)는 좌영상 HD-SDI 및 우영상 HD-SDI를 기반으로 DVB-ASI(Digital Video Broadcast Asynchronous serial interface) 신호를 생성할 수 있다. 여기서, DVB-ASI는 압축된 디지털 비디오/오디오 스트림을 기기 간에 시리얼 전송하기 위한 표준 규격을 나타낼 수 있다. 도 1에서 듀얼 스트림 부호화기(140)에 의해 생성된 DVB-ASI 신호는 다중화된 3DTV 전송 스트림에 해당될 수 있다.
도 2는 3DTV TS 생성 과정의 다른 실시예를 개략적으로 나타내는 도면이다. 도 2는 스테레오스코픽 3DTV 서비스를 위한 3DTV TS 생성 과정을 도시한다.
상술한 바와 같이, 3D 영상, 자유 시점 영상, 다시점 영상, 파노라마 영상 등에서와 같이 복수 개의 영상이 함께 저장되거나 처리되는 경우에는, 복수 개의 영상 신호가 프레임 단위로 서로 동기화되어야 한다. 스테레오스코픽 비디오는 좌영상 신호 및 우영상 신호로 구성될 수 있으므로, 도 2의 실시예에서 좌영상 신호 및 우영상 신호는 프레임 단위로 서로 동기화되어야 한다.
3D 영상, 자유 시점 영상, 다시점 영상, 파노라마 영상 등에서는 복수 개의 영상 각각이 서로 다른 부호화기에 의해 부호화될 수 있다. 이 때, 복수 개의 부호화기에 의해 복수 개의 전송 스트림이 출력될 수 있다. 예를 들어, 도 2의 실시예에서와 같이, 스테레오스코픽 비디오에서 좌영상 및 우영상은 각각 MPEG-2 부호화기 및 AVC 부호화기에 의해 개별적으로 부호화될 수 있다. 이 때, 상술한 바와 같이 복수 개의 전송 스트림은 프레임 단위로 서로 동기화되어야 한다. 그러나, 복수 개의 전송 스트림을 자동으로 동기화할 방법이 없는 경우라면, 수동으로 복수 개의 영상 신호를 프레임 단위로 동기화시키는 방법이 사용될 수 있다.
도 2를 참조하면, 신호 발생기(210)는 좌영상 신호 및 우영상 신호를 생성할 수 있다. 좌영상 출력 장치(220)는 상기 좌영상 신호를 수신하여 좌영상 HD-SDI를 출력할 수 있고, 우영상 출력 장치(230)는 상기 우영상 신호를 수신하여 우영상 HD-SDI를 출력할 수 있다. 또한, MPEG-2 부호화기(240)는 좌영상 HD-SDI를 기반으로 좌영상에 대응하는 DVB-ASI 신호(이하, 좌영상 DVB-ASI라 함.)를 생성할 수 있고, AVC 부호화기(250)는 우영상 HD-SDI를 기반으로 우영상에 대응하는 DVB-ASI 신호(이하, 우영상 DVB-ASI라 함.)를 생성할 수 있다.
다시 도 2를 참조하면, 3DTV 다중화 및 재다중화기(260)는 좌영상 DVB-ASI 및 우영상 DVB-ASI를 기반으로 다중화를 수행함으로써, 모니터링용 DVB-ASI 신호를 생성하여 출력할 수 있다. 출력된 모니터링용 DVB-ASI 신호는 모니터링용 3DTV 단말기(270)로 입력될 수 있다. 이 때, 모니터링용 3DTV 단말기(270)를 통해 좌영상 및 우영상 간의 프레임 단위 시간 차이가 획득될 수 있다. 상기 시간 차이는 사람이 눈으로 직접 확인하여 인지할 수 있다. 상기 획득된 프레임 단위 시간 차이는 사람에 의해 수동으로 3DTV 다중화 및 재다중화기(260)로 입력될 수 있다. 이 때, 3DTV 다중화 및 재다중화기(260)는 입력된 시간 차이 정보를 기반으로 좌영상 DVB-ASI 및 우영상 DVB-ASI에 대한 재다중화를 수행함으로써, 최종 DVB-ASI 신호를 생성하여 출력할 수 있다. 상기 최종 DVB-ASI 신호는 다중화된 3DTV 전송 스트림에 해당될 수 있다.
상술한 실시예에서는, 수동 동기화 방식 기반의 3DTV 다중화 및 재다중화기가 사용될 수 있다. 즉, 상술한 실시예에 의하면, 사람이 좌영상 및 우영상 간의 프레임 단위 시간 차이를 눈으로 확인하고, 좌영상 프레임 및 우영상 프레임은 상기 시간 차이를 기반으로, 수동으로 동기화될 수 있다.
한편, 상술한 도 1의 실시예서와 같이 3DTV 전용 부호화기가 사용되는 경우, 3DTV TS 생성을 위해 새로운 고가의 장비가 필요하다. 또한, 도 1의 실시예에 따른 3DTV TS 생성 방법은 기존 부호화기의 활용이 불가능하다는 단점을 가진다. 또한, 도 2의 실시예에서는, 다중화되어 출력된 스트림이 모니터링용 3DTV 단말기에서 재생되고, 사람이 재생되는 영상을 보면서 수동으로 동기화를 수행한다. 따라서, 도 2의 3DTV TS 생성 방법은 모니터링용 단말기가 반드시 필요하다는 단점을 가진다. 또한, 도 2의 3DTV TS 생성 방법은 인간의 수동 조작이 수반된다는 단점을 함께 가진다. 따라서, 이러한 문제점을 해결하기 위해, 자동 동기화(automatic synchronization) 방식 기반의 3DTV 다중화 방법이 제공될 수 있다.
도 3은 본 발명에 따른 3DTV TS 생성 장치의 실시예를 개략적으로 나타내는 블록도이다.
도 3은 스테레오스코픽 3DTV 서비스를 위한 3DTV TS 생성 장치를 도시한다. 스테레오스코픽 영상을 구성하는 좌영상 및 우영상은 동일 장면에 대해 각각 서로 다른 시점을 갖는 영상들일 수 있다. 그러나, 후술되는 실시예들에서 3DTV TS 생성을 위해 함께 처리되는 복수의 영상들은, 동일 장면에 대한 영상인 경우에도 서로 별개의 컨텐츠 및/또는 프로그램을 갖는 것으로 취급하기로 한다.
도 3의 310에 따른 3DTV TS 생성 장치는 제1 DTV 부호화기(313), 제2 DTV 부호화기(316) 및 자동 동기화 방식 기반 3DTV 다중화기(319)를 포함할 수 있다. 또한, 도 3의 320에 따른 3DTV TS 생성 장치는 멀티 DTV 부호화기(323) 및 자동 동기화 방식 기반 3DTV 다중화기(326)를 포함할 수 있다.
본 발명에 따른 자동 동기화 방식 기반 3DTV 다중화기는 도 3의 310, 320에 도시된 바와 같이 2가지 타입의 입력을 받을 수 있다. 도 3의 310에서는 스테레오스코픽 비디오를 구성하는 좌영상 신호 및 우영상 신호가 독립된 2대의 부호화기(313, 316)에서 각각 별개로 부호화될 수 있다. 이 경우, 자동 동기화 방식 기반 3DTV 다중화기(319)에는 2개의 MPEG-2 TS가 입력될 수 있다. 또한 도 3의 320에서는 스테레오스코픽 비디오를 구성하는 좌영상 신호 및 우영상 신호가 멀티 DTV 부호화기(323)에서 함께 부호화될 수 있다. 여기서, 멀티 DTV 부호화기(323)는 한 대의 부호화기 내에서 복수 개의 컨텐츠에 대한 부호화를 수행할 수 있다. 이 경우, 멀티 DTV(323)로부터 자동 동기화 방식 기반 3DTV 다중화기(326)로 입력되는 신호는 1개의 MPEG-2 TS일 수 있다. 이 때, 상기 1개의 MPEG-2 TS는 2개의 컨텐츠 및/또는 프로그램을 포함할 수 있다.
도 3의 310을 참조하면, 제1 DTV 부호화기(313)는 좌영상 HD-SDI에 포함된 비디오 신호 및/또는 오디오 신호를 부호화하여 좌영상에 대응하는 MPEG-2 TS(이하, 좌영상 MPEG-2 TS라 함.)를 출력할 수 있다. 또한, 제2 DTV 부호화기(316)는 우영상 HD-SDI에 포함된 비디오 신호 및/또는 오디오 신호를 부호화하여 우영상에 대응하는 MPEG-2 TS(이하, 우영상 MPEG-2 TS라 함.)를 출력할 수 있다. 이 때, 좌영상 HD-SDI 및 우영상 HD-SDI 각각은 비디오 신호 및 오디오 신호를 모두 포함할 수도 있고, 오디오 신호를 포함하지 않을 수도 있다. 각각의 DTV 부호화기의 동작에 대해서는 후술하기로 한다.
도 3의 310에서 자동 동기화 방식 기반 3DTV 다중화기(319)는 좌영상 MPEG-2 TS 및 우영상 MPEG-2 TS를 기반으로 다중화를 수행하여 MPEG-2 3DTV TS를 생성할 수 있다. 이 때, 생성된 MPEG-2 3DTV TS는 다중화된 3DTV 전송 스트림에 해당될 수 있다. 자동 동기화 방식 기반 3DTV 다중화기(319)의 구체적인 동작은 후술하기로 한다.
도 3의 320을 참조하면, 멀티 DTV 부호화기(323)는 좌영상 HD-SDI 및 우영상 HD-SDI에 대한 부호화를 수행하여 1개의 MPEG-2 TS를 출력할 수 있다. 이 때, 좌영상 HD-SDI 및 우영상 HD-SDI 각각은 비디오 신호 및 오디오 신호를 모두 포함할 수도 있고, 오디오 신호를 포함하지 않을 수도 있다. 또한, 상기 1개의 MPEG-2 TS는 2개의 컨텐츠 및/또는 프로그램을 포함할 수 있다.
도 3의 320에서 자동 동기화 방식 기반 3DTV 다중화기(326)는 멀티 DTV 부호화기(323)에 의해 생성된 1개의 MPEG-2 TS를 기반으로 다중화를 수행하여 MPEG-2 3DTV TS를 생성할 수 있다. 이 때, 생성된 MPEG-2 3DTV TS는 다중화된 3DTV 전송 스트림에 해당될 수 있다. 자동 동기화 방식 기반 3DTV 다중화기(319)의 구체적인 동작은 후술하기로 한다.
한편, 도 3의 310에서는 독립된 2대의 부호화기(313, 316)가 사용된다. 따라서, 이 때 제1 DTV 부호화기(313)에서 생성되는 좌영상 MPEG-2 TS에 대한 PCR(Program Clock Reference) 및 제2 DTV 부호화기(316)에서 생성되는 우영상 MPEG-2 TS에 대한 PCR이 서로 다를 수 있다. 도 3의 320에서는 멀티 DTV 부호화기(323)가 사용되고, 멀티 DTV 부호화기(323) 의해 생성되는 1개의 MPEG-2 TS는 복수 개의 프로그램을 포함할 수 있다. 이 때, 상기 복수 개의 프로그램에 대한 PCR은 서로 동일할 수 있다. 여기서, PCR은 수신기가 시각 기준을 송신기에 맞출 수 있도록 하기 위해, 전송 스트림에 포함되어 수신기로 전송되는 시각의 기준 값을 의미할 수 있다. 그러나, 도 3의 310, 320의 실시예 모두에서 복수 개의 프로그램 간의 시간 정보는 서로 동기화되어 있지 않을 수 있다. 즉, 도 3의 310, 320의 실시예에서는, 부호화기(들)에 의해 출력되는 부호화 스트림 내에서, 좌영상에 대응하는 부호화 스트림(이하, 좌영상 스트림이라 함.) 및 우영상에 대응하는 부호화 스트림(이하, 우영상 스트림이라 함.)이 서로 동기화되어 있지 않을 수 있다.
따라서, 좌영상 및 우영상을 포함하는 2개의 영상으로 구성되는 스테레오스코픽 3DTV 서비스를 제공하기 위해서는, 부호화기(들)를 통해 출력되는 좌영상 스트림 및 우영상 스트림이 프레임 단위로 자동으로 동기화될 필요가 있다. 자동 동기화 방식을 기반으로 생성된 MPEG-2 3DTV TS는 스테레오스코픽 3DTV 서비스를 가능하게 할 수 있다. 복수의 부호화 스트림에 대한 자동 동기화 방식(예를 들어, 자동 동기화 방식 기반 3DTV 다중화기의 동작)에 대해서는 후술하기로 한다.
상술한 실시예에서, DTV 부호화기의 출력 신호는 MPEG-2 TS로 서술되고 있으나, 본 발명은 이에 한정되는 것은 아니며 각각의 출력 신호는 다른 형태의 전송 스트림에 해당될 수도 있다.
도 4는 DTV 부호화기 구성의 일 실시예를 개략적으로 나타내는 블록도이다. 도 4의 실시예에 따른 DTV 부호화기는 오디오 부호화기(410), 비디오 부호화기(420), 오디오 패킷화기(audio packetizer, 430), 비디오 패킷화기(video packetizer, 440), 클록(450), PSI 생성기(460) 및 TS 패킷화기(470)를 포함할 수 있다.
도 4를 참조하면, 오디오 부호화기(410)는 HD-SDI에 포함된 오디오 데이터를 부호화하여 오디오 ES(Elementary Stream)를 생성할 수 있다. 또한, 비디오 부호화기(420)는 HD-SDI에 포함된 비디오 데이터를 부호화하여 비디오 ES(Elementary Stream)를 생성할 수 있다.
오디오 패킷화기(430)는 PTS/DTS를 포함하는 클록 신호 및 오디오 ES를 기반으로 오디오 PES를 생성할 수 있다. 또한, 비디오 패킷화기(440)는 PTS/DTS를 포함하는 클록 신호 및 비디오 ES를 기반으로 비디오 PES를 생성할 수 있다. 상기 PTS 및 DTS는 클록(450)에 의해 획득될 수 있다. 여기서, DTS(Decoding Time Stamp)는 ES가 복호화되어야 하는 시점을 나타내는 값에 해당될 수 있고, PTS(Presentation Time Stamp)는 복호화된 억세스 유닛(access unit)이 재생되어야 하는 시점을 나타내는 값에 해당될 수 있다. 또한, PES(Packetized Elementary Stream)는 압축된 비디오/오디오 데이터에 대한 비트 스트림들이 패킷화됨으로써 생성된 패킷들로 구성되는 스트림을 의미할 수 있다.
PSI 생성기(460)는 프로그램 구성 정보에 해당되는 PSI(Program Specific Information)를 생성할 수 있다. PSI는 MPEG-2에서 TS(Transport Stream)의 역다중화 및 영상 정보 재현에 필요한 정보를 테이블 형식으로 포함하는 메타 데이터를 의미할 수 있다. 일 실시예로 PSI는 PAT(Program Association Table) 정보, PMT(Program Map Table) 정보 등을 포함할 수 있다. 여기서, PAT는 현재 TS에서 이용될 수 있는 모든 프로그램의 리스트를 포함할 수 있다. PAT는 현재 전송되고 있는 TS가 어떤 프로그램으로 구성되어 있는지를 나타내는 프로그램 번호와 각 프로그램에 해당되는 PID(Packet Identifier)를 포함할 수 있다. 또한, PMT는 하나의 프로그램을 구성하는 프로그램 요소(element) 및/또는 프로그램 내의 영상 데이터를 구성하는 영상 스트림에 관한 정보 등을 포함할 수 있다.
TS 패킷화기(470)는 오디오 PES, 비디오 PES, 클록(450)에서 생성된 PCR 정보 및 PSI 생성기(460)에서 생성된 PAT 정보와 PMT 정보에 대해 다중화를 수행함으로써, MPEG-2 TS 신호를 출력할 수 있다.
도 5는 본 발명에 따른 자동 동기화 방식 기반 3DTV 다중화기 구성의 일 실시예를 개략적으로 나타내는 블록도이다.
도 5의 실시예에 따른 자동 동기화 방식 기반 3DTV 다중화기는 제1 역 패킷화기(de-packetizer, 510), 제2 역 패킷화기(520), 동기화 모듈(530), PTS/DTS 수정 모듈(540), 클록(550), 3DTV PSI 생성 모듈(560) 및 3DTV TS 패킷화기(570)를 포함할 수 있다.
도 5를 참조하면, 제1 역 패킷화기(510)는 좌영상 MPEG-2 TS를 입력받아, 좌영상 MPEG-2 TS를 기반으로 좌영상에 대응하는 오디오 PES, 좌영상에 대응하는 비디오 PES 및 좌영상에 대응하는 PSI(이하, 좌영상 PSI라 함.)를 생성할 수 있다. 제1 역 패킷화기(510)에서 생성된 오디오 PES 및 비디오 PES는 동기화 모듈로 입력될 수 있고, 상기 좌영상 PSI는 3DTV PSI 생성 모듈(560)로 입력될 수 있다. 또한 제2 역 패킷화기(520)는 우영상 MPEG-2 TS를 입력받아, 우영상 MPEG-2 TS를 기반으로 우영상에 대응하는 오디오 PES, 우영상에 대응하는 비디오 PES 및 우영상에 대응하는 PSI(이하, 우영상 PSI라 함.)를 생성할 수 있다. 제2 역 패킷화기(520)에서 생성된 오디오 PES 및 비디오 PES는 동기화 모듈로 입력될 수 있고, 상기 우영상 PSI는 3DTV PSI 생성 모듈(560)로 입력될 수 있다. 즉, 자동 동기화 방식 기반 3DTV 다중화기에 입력되는 각각의 MPEG-2 TS는 PES 신호로 분리되어 동기화 모듈로 입력될 수 있으며, 각각의 MPEG-2 TS를 기반으로 생성된 PSI는 3DTV 생성 모듈로 입력될 수 있다.
도 5에서는, 제1 역 패킷화기(510) 및 제2 역 패킷화기(520)로 입력되는 신호는 모두 MPEG-2 TS인 것으로 서술되고 있으나, 본 발명은 이에 한정되는 것은 아니며 각각의 신호는 다른 형태의 전송 스트림에 해당될 수도 있다.
동기화 모듈(530)은 입력된 복수 개의 PES에 대한 동기화를 수행하여, 동기화된 복수 개의 PES를 출력할 수 있다. 동기화 모듈(530)은 입력된 복수 개의 PES 각각에 포함된 ES(Elementary Stream)로부터 동기 정보를 추출할 수 있고, 상기 추출된 동기 정보를 기반으로, 프레임 단위로 좌영상 신호 및 우영상 신호에 대한 동기화를 수행할 수 있다. 동기화 모듈(530)에서 출력되는 동기화된 PES에는 좌영상 오디오 PES, 좌영상 비디오 PES, 우영상 오디오 PES 및 우영상 비디오 PES 등이 있을 수 있다. 동기화 모듈(530)의 동작 및/또는 구성에 대한 구체적인 내용 및 동기 정보에 관한 구체적인 내용은 후술하기로 한다.
PTS/DTS 수정 모듈(540)은 동기화되어 입력된 복수 개의 PES 각각에 대한 PTS 값을, 클록(550)으로부터 입력되는 새로운 PTS 값으로 수정할 수 있다. 또한, PTS/DTS 수정 모듈(540)은 동기화되어 입력된 복수 개의 PES 각각에 대해, 각 PES에 포함된 기존의 PTS 및 DTS를 추출할 수 있다. 이 때, PTS/DTS 수정 모듈(540)은 추출된 기존 PTS 값, 추출된 기존 DTS 값 및 수정된 새로운 PTS 값을 기반으로, 동기화되어 입력된 복수 개의 PES 각각에 대한 DTS 값을 새로운 DTS 값으로 수정할 수 있다. 예를 들어, PTS/DTS 수정 모듈(540)은 각 PES에 대해, 추출된 기존 PTS 값 및 추출된 기존 DTS 값 간의 시간 차이 값을 계산할 수 있고, 클록(550)으로부터 입력되는 새로운 PTS 값에 상기 계산된 시간 차이 값을 더하여 새로운 DTS 값을 구할 수 있다. 여기서, 상기 새로운 DTS 값은 PTS/DTS 수정 모듈(540)로 입력되는 PES 각각에 대해 구해질 수 있다. 이 때, PTS/DTS 수정 모듈(540)은 각 PES에 대해, 기존 DTS 값을 상기 구해진 새로운 DTS 값으로 수정할 수 있다.
다음 수학식 1은 한 개의 비디오 PES에 대해 새로운 DTS 값을 구하는 과정의 일 실시예를 나타낸다.
[수학식 1]
Diff_DTS_PTS_PES_video1 = current_DTS_PES_video1 - current_PTS_PES_video1
New_DTS_PES_video1 = New_PTS + Diff_DTS_PTS_PES_video1
여기서, New_PTS는 클록(550)으로부터 입력되는 새로운 PTS 값을 나타낼 수 있다. 또한, current_DTS_PES_video1 및 current_PTS_PES_video1는 각각 상기 한 개의 비디오 PES 내에 포함된, 기존의 DTS 값 및 기존의 PTS 값을 나타낼 수 있다. New_DTS_PES_video1는 PTS/DTS 수정 모듈(540)에서 구해지는 새로운 DTS 값을 나타낼 수 있다. 이 때, PTS/DTS 수정 모듈(540)은 각 PES에 대해 새로운 DTS 값을 게산하므로, PTS/DTS 수정 모듈(540)에서 새로운 DTS 값을 계산하는 회수는 PTS/DTS 수정 모듈(540)로 입력되는 PES의 개수와 동일할 수 있다.
3DTV PSI 생성 모듈(560)은 좌영상 PSI 및 우영상 PSI를 기반으로 프로그램 구성 정보에 해당되는 3DTV PSI를 생성할 수 있다. 여기서, 3DTV PSI는 PAT 정보, PMT 정보 등을 포함할 수 있다.
상술한 바와 같이, PAT는 현재 TS에서 이용될 수 있는 모든 프로그램의 리스트를 포함할 수 있으며, 현재 전송되고 있는 TS가 어떤 프로그램으로 구성되어 있는지를 나타내는 프로그램 번호와 각 프로그램에 해당되는 PID를 포함할 수 있다. 한편, 도 4의 실시예에 따른 DTV 부호화기에서 출력되는 TS는 한 개의 프로그램을 포함할 수 있고, 도 5의 3DTV 다중화기에는 2 개의 TS(좌영상 TS 및 우영상 TS)가 입력되므로, 도 5의 실시예에 따른 3DTV 다중화기에서 출력되는 3DTV TS는 두 개의 프로그램(좌영상에 대응하는 프로그램 및 우영상에 대응하는 프로그램)을 포함할 수 있다. 따라서, 3DTV PSI 생성 모듈(560)은 PAT를 재구성하여 하나의 PAT가 두 개의 PMT 정보에 대응되도록 하거나 및/또는 하나의 PAT가 두 개의 PMT 정보를 갖도록 할 수 있다. 여기서, 두 개의 PMT 정보는 각각 좌영상 PSI에 대응되는 PMT 정보 및 우영상 PSI에 대응되는 PMT 정보에 해당될 수 있다.
한편, 상술한 바와 같이 PMT는 하나의 프로그램을 구성하는 프로그램 요소(element) 및/또는 프로그램 내의 영상 데이터를 구성하는 영상 스트림에 관한 정보 등을 포함할 수 있다. PMT는, 디지털 방송에서 제공되는 프로그램 타입을 지시하는 정보가 정의되는 프로그램 정보 디스크립터(예를 들어, stereoscopic_program_info_descriptor), 영상 데이터를 구성하는 ES의 특성을 지시하는 정보가 정의되는 비디오 정보 디스크립터(예를 들어, stereoscopic_video_info_descriptor) 및/또는 스트림 타입(예를 들어, stream_type) 등을 포함할 수 있다.
3DTV PSI 생성 모듈(560)은 두 개의 PMT 정보(좌영상 PSI에 대응되는 PMT 정보 및 우영상 PSI에 대응되는 PMT 정보) 중에서 한 개의 PMT는 그대로 두고, 나머지 한 개의 PMT에서 비디오 및 오디오 스트림에 대한 스트림 타입 값을 변경할 수 있다. 여기서, 상기 스트림 타입은 일례로, stream_type에 의해 나타내어질 수 있다.
일 실시예로, MPEG-2 부호화기와 AVC 부호화기에서 각각 TS가 출력되어 도 5의 3DTV 다중화기에 입력되는 경우를 가정한다. 여기서, MPEG-2 부호화기에서 출력되는 TS는 MPEG-2 TS, AVC 부호화기에서 출력되는 TS는 AVC TS라 한다. 이 때, 기존의 DTV와 3DTV 간의 호환성을 유지하기 위해, 3DTV PSI 생성 모듈(560)은 MPEG-2 TS에 포함되어 있는 PMT는 수정하지 않을 수 있다. 또한, 3DTV PSI 생성 모듈(560)은 AVC TS에 포함되어 있는 PMT 내에서, 비디오 및 오디오 스트림에 대한 스트림 타입(예를 들어, stream_type) 값을 변경할 수 있다. 3DTV PSI 생성 모듈(560)은 스트림 타입 값을 변경함으로써, 3DTV 수신 장치가 3DTV 서비스를 위한 부가 부호화 스트림이 AVC 부호화기에 의해 부호화되어 있음을 알 수 있도록 할 수 있다.
또한, 3DTV PSI 생성 모듈(560)은 3DTV 시그널링을 위해 MPEG 시스템 표준으로 정의된 프로그램 정보 디스크립터 및 비디오 정보 디스크립터를, 부가 부호화 스트림의 PMT에 삽입하거나 및/또는 포함시킬 수 있다. 여기서, 프로그램 정보 디스크립터는 일례로 stereoscopic_program_info_descriptor로 나타내어질 수 있고, 비디오 정보 디스크립터는 일례로 stereoscopic_video_info_descriptor로 나타내어질 수 있다. 다음 표 1 및 표 2는 각각 부가 부호화 스트림의 PMT에 삽입되거나 포함되는 프로그램 정보 디스크립터(stereoscopic_program_info_descriptor) 및 비디오 정보 디스크립터(stereoscopic_video_info_descriptor) 구문(syntax)의 실시예를 나타낼 수 있다.
[표 1]
Figure pat00001

[표 2]
Figure pat00002

한편, 3DTV TS 패킷화기(570)는 도 4의 TS 패킷화기와 마찬가지로, 입력되는 복수 개의 동기화된 PES, 클록(550)에서 생성된 시간 정보인 PCR 및 3DTV PSI 생성 모듈(560)에서 생성된 3DTV PSI에 대한 다중화를 수행하여 3DTV-TS 신호를 출력할 수 있다.
도 6은 도 5의 자동 동기화 방식 기반 3DTV 다중화기에 포함된 동기화 모듈 구성의 일 실시예를 개략적으로 나타내는 블록도이다. 도 6의 실시예에 따른 동기화 모듈은, 제1 PES 저장 버퍼(610), 제2 PES 저장 버퍼(620), 지연 값 계산 모듈(630) 및 출력 제어 모듈(640)을 포함할 수 있다.
도 6을 참조하면, 동기화 모듈에는 복수 개의 PES가 입력될 수 있다. 일 실시예로, 동기화 모듈로 입력되는 복수 개의 PES는 각각 좌영상에 대응하는 오디오 PES, 좌영상에 대응하는 비디오 PES, 우영상에 대응하는 오디오 PES 및 우영상에 대응하는 비디오 PES일 수 있다.
동기화 모듈로 입력되는 복수 개의 PES는 PES 저장 버퍼에 저장될 수 있다. 도 6을 참조하면, 제1 PES 저장 버퍼(610)는 좌영상 오디오 PES 및 좌영상 비디오 PES를 저장할 수 있다. 또한, 제2 PES 저장 버퍼(620)는 우영상 오디오 PES 및 우영상 비디오 PES를 저장할 수 있다.
지연 값 계산 모듈(630)은 좌영상 비디오 PES 및 우영상 비디오 PES를 기반으로, 좌영상(또는 좌영상 부호화 스트림) 및 우영상(또는 우영상 부호화 스트림) 간의 프레임 단위 지연 값을 계산할 수 있다. 여기서, 프레임 단위 지연 값은 좌영상 및 우영상 간의 시간 차이를 프레임 단위로 나타내는 값을 의미할 수 있다. 즉, 프레임 단위 지연 값은 좌영상 및 우영상 간에 몇 프레임의 차이(및/또는 지연 차이)가 있는지를 나타내는 값에 해당될 수 있다. 지연 값 계산 모듈(630)은 좌영상 비디오 PES 내의 ES에 포함된 동기 정보 및 우영상 비디오 PES 내의 ES에 포함된 동기 정보를 기반으로 상기 프레임 단위 지연 값을 계산할 수 있다.
좌영상 부호화 스트림 및 우영상 부호화 스트림에 대해 프레임 단위 지연 값이 구해지면, 상기 좌영상 부호화 스트림 및/또는 상기 우영상 부호화 스트림에 에러가 발생하지 않는 이상, 상기 프레임 단위 지연 값은 프로그램이 완료되는 시점까지 동일한 값으로 유지될 수 있다. 따라서, 동기화 모듈(및/또는 지연 값 계산 모듈)은 처음에 프레임 단위 지연 값을 계산한 후에는 각각의 PES마다 매번 프레임 단위 지연 값을 계산하지 않을 수 있다. 이 경우, 동기화 모듈(및/또는 지연값 계산 모듈)은 주기적으로 프레임 단위 지연 값을 계산하여, 상기 프레임 단위 지연 값에 변동이 있는지 여부를 확인하면서 동기화를 수행할 수 있다.
상술한 지연 값 계산 모듈(630)의 동작 및 상술한 동기 정보에 관한 구체적인 내용은 도 7에서 후술하기로 한다.
다시 도 6을 참조하면, 출력 제어 모듈(640)은 제1 PES 저장 버퍼(610)와 제2 PES 저장 버퍼(620)로부터 입력되는 PES 및 지연 값 계산 모듈(630)에서 출력되는 프레임 단위 지연 값을 기반으로, 동기화된 PES를 생성하여 출력할 수 있다. 여기서, 제1 PES 저장 버퍼(610)로부터 입력되는 PES는 일례로 좌영상 비디오 PES 및 좌영상 오디오 PES일 수 있다. 또한, 제2 PES 저장 버퍼(620)로부터 입력되는 PES는 일례로 우영상 비디오 PES 및 우영상 오디오 PES일 수 있다.
이하, 좌영상 비디오 PES 및 좌영상 오디오 PES를 총칭하여 좌영상 PES라 하고, 우영상 비디오 PES 및 우영상 오디오 PES를 총칭하여 우영상 PES라 한다. 일 실시예로, 출력 제어 모듈(640)은 좌영상 PES 신호 및 우영상 PES 신호 중에서 하나의 PES 신호를 프레임 단위 지연 값만큼 지연시켜 출력함으로써, 좌영상 및 우영상 간의 동기화를 수행할 수 있다. 즉, 이 경우 출력 제어 모듈(640)은 동기화된 좌영상 PES 및 동기화된 우영상 PES를 출력할 수 있다.
이 때, 출력 제어 모듈(640)에서 지연 출력되는 신호는, 좌영상 PES 신호 및 우영상 PES 신호 중에서 시간적으로 앞선 신호에 해당될 수 있다. 일 실시예로 출력 제어 모듈(640)은 좌영상 PES 내의 ES에 포함된 동기 정보 및 우영상 PES 내의 ES에 포함된 동기 정보를 기반으로, 좌영상 PES 신호 및 우영상 PES 신호 중에서 지연시켜 출력할 신호를 선택할 수 있다. 일례로, 출력 제어 모듈(640)은 좌영상 PES 신호 및 우영상 PES 신호 중에서 더 큰 동기 정보 값을 갖는 신호를 프레임 단위 지연 값만큼 지연시켜 출력할 수 있다. 동기 정보에 대한 구체적인 내용은 도 7에서 후술된다.
도 7은 도 6의 동기화 모듈에 포함된 지연 값 계산 모듈 구성의 일 실시예를 개략적으로 나타내는 블록도이다. 도 7의 실시예에 따른 지연 값 계산 모듈은, 제1 동기 정보 추출기(710), 제2 동기 정보 추출기(720) 및 지연 값 계산기(730)를 포함할 수 있다.
도 7을 참조하면, 제1 동기 정보 추출기(710)는 좌영상 비디오 PES 내의 비디오 ES(이하, ES1이라 함.)에 포함된, 제1 동기 정보를 추출할 수 있다. 또한, 제2 동기 정보 추출기(720)는 우영상 비디오 PES 내의 비디오 ES(이하, ES2라 함.)에 포함된, 제2 동기 정보를 추출할 수 있다. 즉, 지연 값 계산 모듈은 ES1 및 ES2 각각에 포함된 동기 정보를 추출할 수 있다. 지연 값 계산기(730)는 제1 동기 정보 및 제2 동기 정보를 기반으로 좌영상 PES 및 우영상 PES 간에 몇 프레임 차이가 있는지를 계산함으로써, 프레임 단위 지연 값을 도출하여 출력할 수 있다. 즉, 지연 값 계산기(730)는 프레임 단위로 좌영상 PES 및 우영상 PES 간의 시간 차이를 도출할 수 있다.
일 실시예로, 비디오 ES에 포함되는 동기 정보 값은 프레임 단위로 1씩 증가하여 포함되는 값일 수 있다. 즉, 동기 정보 값은 프레임 단위로 카운트되어 비디오 ES에 포함되는 값일 수 있다. 이 경우, 도 7의 실시예에서는 제1 동기 정보 값 및 제2 동기 정보 값 간의 차이 값이 프레임 단위 지연 값에 해당될 수 있다. 예를 들어, ES1 내의 제1 동기 정보 값이 5이고 ES2 내의 제2 동기 정보 값이 2인 경우, 지연 값 계산기에서 도출되는 프레임 단위 지연 값은 3일 수 있다.
다른 실시예로, 비디오 ES에 포함되는 동기 정보는 타임 코드 형태의 정보일 수 있다. 즉, 동기 정보 값은 시, 분, 초, 프레임 등으로 구성되는 타임 코드의 형태로 비디오 ES에 포함되는 값일 수 있다. 이 경우, 지연 값 계산기(730)는 제1 동기 정보 값 및 제2 동기 정보 값의 차이 값(예를 들어, 좌영상 PES 및 우영상 PES 간의 초 단위 시간 차이 값)을 구한 후 상기 시간 차이 값을 초당 프레임 수와 곱하여, 프레임 단위 지연 값을 도출할 수 있다. 예를 들어, 상기 시간 차이 값이 0.5초이고 초당 프레임 수가 30인 경우, 프레임 단위 지연 값은 15일 수 있다.
MPEG-2 비디오 부호화기가 사용되는 경우, 상술한 동기 정보는 비디오 ES 내의 유저 데이터 영역에 포함될 수 있다. 여기서, 유저 데이터는 일례로 user_data로 나타내어질 수 있다. 이 때, 상기 동기 정보의 값은 일례로 프레임 단위로 1씩 증가하여 포함되는 값 및/또는 프레임 단위로 카운트되어 포함되는 값일 수 있다. 다른 예로 상기 동기 정보의 값은 시, 분, 초, 프레임 등으로 구성되는 타임 코드의 형태로 포함되는 값일 수도 있다. AVC 및/또는 HEVC(High Efficiency Video Coding) 부호화기가 사용되는 경우, 상술한 동기 정보는 SEI(Supplemental Enhancement Information) 형태로 비디오 ES에 포함될 수 있다. 비디오 ES 내에 동기 정보가 삽입되는 위치 및/또는 동기 정보의 타입은 미리 정해진 소정의 위치 및/또는 미리 정해진 소정의 타입일 수 있다. 이 때, 지연 값 계산 모듈은 별도의 정보 없이도 비디오 ES 내에 동기 정보가 삽입되는 위치 및/또는 동기 정보의 타입을 알 수 있다.
지연 값 계산 모듈(및/또는 지연 값 계산기(730))은, 프레임 단위 지연 값을 계산한 후에 프레임 단위 지연 값 계산에 사용된 동기 정보의 값을 널(null) 값으로 대체하거나 변경하는 기능을 포함할 수도 있다. 비디오 ES 내의 유저 데이터 영역에는 클로즈드 캡션(closed caption) 구문을 이용하기 위한 동기 정보가 삽입될 수 있다. 여기서, 클로즈드 캡션은 방송 프로그램의 음성과 동기화되어 제공되는 문자열을 의미할 수 있고, 이는 상기 클로즈드 캡션의 기능이 활성화된 경우에만 화면에 표시될 수 있다. 이 때, 실제 자막 정보가 제공되는 경우에는 클로즈드 캡션 구문에 대한 동기 정보와 복수 개의 영상 신호를 동기화하기 위한 동기 정보 사이에 혼동이 발생할 수 있다. 따라서, 이러한 혼동을 감소시키기 위해, 지연 값 계산 모듈(및/또는 지연 값 계산기(730))은 프레임 단위 지연 값 계산에 사용된 동기 정보를 삭제할 수 있다.
도 8은 본 발명에 따른 자동 동기화 방식 기반 3DTV 다중화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 3DTV 다중화기는 복수의 영상 각각에 대한 PES 및 PSI를 추출할 수 있다(S810).
일례로, 스테레오스코픽 3DTV 서비스의 경우, 3DTV 다중화기에는 좌영상 TS 및 우영상 TS가 입력될 수 있다. 이 때, 3DTV 다중화기는 좌영상 TS를 기반으로 좌영상 오디오 PES, 좌영상 비디오 PES 및 좌영상 PSI를 추출하거나 생성할 수 있다. 또한, 3DTV 다중화기는 우영상 TS를 기반으로 우영상 오디오 PES, 우영상 비디오 PES 및 우영상 PSI를 추출하거나 생성할 수 있다.
다시 도 8을 참조하면, 3DTV 다중화기는 추출되거나 생성된 복수의 PES에 대한 동기화를 수행하여, 동기화된 복수의 PES를 출력할 수 있다(S820). 일례로, 3DTV 다중화기는 복수 개의 PES 각각에 포함된 ES로부터 동기 정보를 추출할 수 있고, 상기 추출된 동기 정보를 기반으로, 프레임 단위로 좌영상 신호 및 우영상 신호에 대한 동기화를 수행할 수 있다. 동기화 수행 방법 및 동기 정보에 대한 구체적인 내용은 상술한 바 있으므로, 여기서는 생략하기로 한다.
또한, 3DTV 다중화기는, 클록으로부터 입력되는 새로운 PTS 값을 기반으로, 동기화된 복수 개의 PES 각각에 대한 PTS/DTS 값을 새로운 PTS/DTS 값으로 수정할 수 있다(S830). PTS/DTS 수정 방법의 구체적인 실시예는 상술하였으므로, 생략하기로 한다.
다시 도 8을 참조하면, 3DTV 다중화기는 좌영상 PSI 및 우영상 PSI를 기반으로 프로그램 구성 정보에 해당되는 3DTV PSI를 생성할 수 있다(S840). 여기서, 3DTV PSI는 PAT 정보, PMT 정보 등을 포함할 수 있다.
이어서, 3DTV 다중화기는 복수 개의 동기화된 PES, 클록에서 생성된 시간 정보인 PCR 및 3DTV PSI를 기반으로 다중화를 수행함으로써, 3DTV TS를 생성하여 출력할 수 있다(S850).
상술한 3DTV TS 생성 방법(및/또는 자동 동기화 방식 기반 3DTV 다중화 방법)에 의하면, 복수 개의 부호화 스트림이 자동으로 동기화되어 다중화될 수 있다. 본 발명은 복수의 부호화기에서 출력되는 각각의 부호화 스트림 내에 포함되어 있는 동기 정보를 추출하고, 추출된 동기 정보를 기반으로 복수 개의 부호화 스트림을 프레임 단위로 동기화하여 다중화할 수 있다. 일례로, 스테레오스코픽 3DTV 서비스의 경우, 본 발명에 따른 자동 동기화 방식 기반 3DTV 다중화 장치는 좌영상 MPEG-2 전송 스트림(TS) 및 우영상 MPEG-2 전송 스트림(TS)을 입력 받을 수 있다. 이 때, 상기 장치는 각각의 전송 스트림 내의 ES에 포함된 동기 정보를 기반으로 좌영상 전송 스트림 및 우영상 전송 스트림에 대해 프레임 단위로 동기화를 수행할 수 있다. 자동 동기화 방식 기반 3DTV 다중화 장치는 동기화된 복수 개의 스트림에 대해 다중화를 수행하여 3DTV 전송 스트림을 생성하여 출력할 수 있다.
상술한 실시예들은 스테레오스코픽 3DTV 서비스를 중심으로 서술되었으나, 본 발명은 이에 한정되는 것은 아니다. 본 발명은, 스테레오스코픽 3D 영상뿐만 아니라 자유 시점 영상, 다시점 영상, 파노라마 영상 등에서와 같이 복수 개의 영상이 함께 저장되거나 처리되는 경우에, 상기 실시예에서와 동일하거나 유사한 방법으로 모두 적용될 수 있다.
본 발명에 의하면, 수동 동기화 방식 기반 3DTV 다중화기의 단점이 해결될 수 있다. 본 발명은 고가의 3DTV 전용 부호화기 없이도 복수 개의 일반적인 DTV 부호화기를 이용하여 3DTV 서비스를 제공할 수 있어, 경제적 측면에서 유용성을 가진다. 또한, 본 발명은 3DTV 서비스 제공자의 경제적 부담을 최소화시킴으로써, 3DTV 서비스 활성화에 기여할 수 있을 것으로 예상된다. 한편 상술한 바와 같이, 본 발명에 따른 자동 동기화 방식 기반 다중화 방법은 다시점 3D 영상, 자유 시점 영상 및 병렬 처리를 수행하는 UHDTV 서비스 시스템 등 서로 상관성이 있는 복수 개의 영상(및/또는 멀티 영상)으로 구성된 비디오 서비스에 확장되어 적용될 수 있다는 장점을 가진다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (15)

  1. 좌영상에 대응하는 좌영상 PES(Packetized Elementary Stream) 및 우영상에 대응하는 우영상 PES를 기반으로, 상기 좌영상 및 상기 우영상에 대한 프레임 단위 지연 값을 도출하는 단계;
    상기 프레임 단위 지연 값을 기반으로, 상기 좌영상 PES 및 상기 우영상 PES에 대한 동기화를 수행하는 단계; 및
    상기 동기화된 좌영상 PES 및 상기 동기화된 우영상 PES에 대한 다중화를 수행하여 3DTV TS(Transport Stream)를 생성하는 단계를 포함하고,
    상기 프레임 단위 지연 값은 상기 좌영상 및 상기 우영상 간의 시간 차이를 프레임 단위로 나타내는 값인 것을 특징으로 하는 3DTV 다중화 방법.
  2. 제 1항에 있어서,
    상기 프레임 단위 지연 값 도출 단계는,
    상기 좌영상 PES 내의 제1 비디오 ES(Elementary Stream)로부터 제1 동기 정보 값을 추출하고, 상기 우영상 PES 내의 제2 비디오 ES로부터 제2 동기 정보 값을 추출하는 단계; 및
    상기 제1 동기 정보 및 상기 제2 동기 정보를 기반으로 상기 프레임 단위 지연 값을 도출하는 단계를 더 포함하는 것을 특징으로 하는 3DTV 다중화 방법.
  3. 제 2항에 있어서,
    상기 제1 동기 정보 값은 프레임 단위로 카운트되어 상기 제1 비디오 ES에 포함되는 값이고, 상기 제2 동기 정보 값은 프레임 단위로 카운트되어 상기 제2 비디오 ES에 포함되는 값이고,
    상기 프레임 단위 지연 값 도출 단계에서는,
    상기 제1 동기 정보 및 상기 제2 동기 정보 간의 차이 값을 상기 프레임 단위 지연 값으로 결정하는 것을 특징으로 하는 3DTV 다중화 방법.
  4. 제 2항에 있어서,
    상기 제1 동기 정보 값은 타임 코드의 형태로 상기 제1 비디오 ES에 포함되는 값이고, 상기 제2 동기 정보 값은 타임 코드의 형태로 상기 제2 비디오 ES에 포함되는 값이고,
    상기 프레임 단위 지연 값 도출 단계는,
    상기 제1 동기 정보 및 상기 제2 동기 정보 간의 초 단위 시간 차이 값을 도출하는 단계; 및
    상기 초 단위 시간 차이 값에 초당 프레임 수를 곱하여 상기 프레임 단위 지연 값을 도출하는 단계를 더 포함하는 것을 특징으로 하는 3DTV 다중화 방법.
  5. 제 1항에 있어서,
    상기 동기화된 좌영상 PES는 제1 PTS(Presentation Time Stamp) 및 제1 DTS(Decoding Time Stamp)를 더 포함하고, 상기 동기화된 우영상 PES는 제2 PTS 및 제2 DTS를 더 포함하고,
    상기 동기화 수행 단계는,
    클록(clock)으로부터 입력되는 제3 PTS를 기반으로, 상기 제1 PTS, 상기 제1 DTS, 상기 제 2 PTS 및 상기 제2 DTS 의 값을 새로운 값으로 수정하는 단계를 더 포함하는 것을 특징으로 하는 3DTV 다중화 방법.
  6. 제 5항에 있어서,
    상기 수정 단계에서는,
    상기 제1 PTS의 값 및 상기 제2 PTS의 값은 상기 제3 PTS의 값으로 수정되고,
    상기 제1 DTS의 값은, 상기 제1 DTS 값에서 상기 제1 PTS 값을 뺀 값에 상기 제3 PTS 값을 더한 값으로 수정되고,
    상기 제2 DTS의 값은, 상기 제2 DTS 값에서 상기 제2 PTS 값을 뺀 값에 상기 제3 PTS 값을 더한 값으로 수정되는 것을 특징으로 하는 3DTV 다중화 방법.
  7. 제 1항에 있어서,
    상기 좌영상에 대응하는 좌영상 PSI(Program Specific Information) 및 상기 우영상에 대응하는 우영상 PSI를 기반으로, 3D 프로그램 구성 정보인 3DTV PSI를 생성하는 단계를 더 포함하고,
    상기 3DTV TS 생성 단계에서는,
    상기 동기화된 좌영상 PES, 상기 동기화된 우영상 PES 및 상기 3DTV PSI에 대한 다중화를 수행하는 것을 특징으로 하는 3DTV 다중화 방법.
  8. 제 7항에 있어서,
    상기 좌영상 PSI는 제1 PAT(Program Association Table) 및 제1 PMT(Program Map Table)를 포함하고, 상기 우영상 PSI는 제2 PAT 및 제2 PMT를 포함하고,
    상기 3DTV PSI 생성 단계에서는,
    상기 제1 PAT 및 상기 제2 PAT를 재구성함으로써, 상기 제1 PMT 및 상기 제2 PMT 모두에 대응되는 정보를 갖는 제3 PAT를 생성하고,
    상기 제1 PMT 및 상기 제2 PMT 중에서 부가 스트림에 대응되는 하나의 PMT 내에서 스트림 타입(stream type) 값을 변경하고,
    상기 부가 스트림에 대응되는 하나의 PMT에, 디지털 방송에서 제공되는 프로그램 타입을 지시하는 정보가 정의되는 프로그램 정보 디스크립터(descriptor) 및 영상 데이터를 구성하는 ES의 특성을 지시하는 정보가 정의되는 비디오 정보 디스크립터를 삽입하는 것을 특징으로 하는 3DTV 다중화 방법.
  9. 제 1항에 있어서,
    상기 좌영상에 대응되는 좌영상 TS(Transport Stream)로부터 상기 좌영상 PES를 추출하고, 상기 우영상에 대응되는 우영상 TS로부터 상기 우영상 PES를 추출하는 단계를 더 포함하는 것을 특징으로 하는 3DTV 다중화 방법.
  10. 좌영상에 대응하는 좌영상 PES(Packetized Elementary Stream) 및 우영상에 대응하는 우영상 PES를 기반으로, 상기 좌영상 및 상기 우영상에 대한 프레임 단위 지연 값을 도출하는 지연 값 계산 모듈;
    상기 프레임 단위 지연 값을 기반으로, 상기 좌영상 PES 및 상기 우영상 PES에 대한 동기화를 수행하는 동기화 모듈; 및
    상기 동기화된 좌영상 PES 및 상기 동기화된 우영상 PES에 대한 다중화를 수행하여 3DTV TS(Transport Stream)를 생성하는 3DTV TS 패킷화기(packetizer)를 포함하고,
    상기 프레임 단위 지연 값은 상기 좌영상 및 상기 우영상 간의 시간 차이를 프레임 단위로 나타내는 값인 것을 특징으로 하는 3DTV 다중화 장치.
  11. 제 10항에 있어서,
    상기 지연 값 계산 모듈은,
    상기 좌영상 PES 내의 제1 비디오 ES(Elementary Stream)로부터 제1 동기 정보 값을 추출하는 제1 동기 정보 추출기;
    상기 우영상 PES 내의 제2 비디오 ES로부터 제2 동기 정보 값을 추출하는 제2 동기 정보 추출기; 및
    상기 제1 동기 정보 및 상기 제2 동기 정보를 기반으로 상기 프레임 단위 지연 값을 도출하는 지연 값 계산기를 더 포함하는 것을 특징으로 하는 3DTV 다중화 장치.
  12. 제 10항에 있어서,
    상기 동기화된 좌영상 PES는 제1 PTS(Presentation Time Stamp) 및 제1 DTS(Decoding Time Stamp)를 더 포함하고, 상기 동기화된 우영상 PES는 제2 PTS 및 제2 DTS를 더 포함하고,
    상기 동기화 모듈은,
    클록(clock)으로부터 입력되는 제3 PTS를 기반으로, 상기 제1 PTS, 상기 제1 DTS, 상기 제 2 PTS 및 상기 제2 DTS 의 값을 새로운 값으로 수정하는 PTS/DTS 수정 모듈을 더 포함하는 것을 특징으로 하는 3DTV 다중화 장치.
  13. 제 10항에 있어서,
    상기 좌영상에 대응하는 좌영상 PSI(Program Specific Information) 및 상기 우영상에 대응하는 우영상 PSI를 기반으로, 3D 프로그램 구성 정보인 3DTV PSI를 생성하는 3DTV PSI 생성 모듈을 더 포함하고,
    상기 3DTV TS 패킷화기는,
    상기 동기화된 좌영상 PES, 상기 동기화된 우영상 PES 및 상기 3DTV PSI에 대한 다중화를 수행하는 것을 특징으로 하는 3DTV 다중화 장치.
  14. 제 10항에 있어서,
    상기 좌영상에 대응되는 좌영상 TS(Transport Stream)로부터 상기 좌영상 PES를 추출하는 제1 역 패킷화기(de-packetizer); 및
    상기 우영상에 대응되는 우영상 TS로부터 상기 우영상 PES를 추출하는 제2 역 패킷화기를 더 포함하는 것을 특징으로 하는 3DTV 다중화 장치.
  15. 좌영상에 대응하는 좌영상 PES(Packetized Elementary Stream) 및 우영상에 대응하는 우영상 PES를 기반으로, 상기 좌영상 및 상기 우영상에 대한 프레임 단위 지연 값을 도출하는 단계; 및
    상기 프레임 단위 지연 값을 기반으로, 상기 좌영상 PES 및 상기 우영상 PES에 대한 동기화를 수행하는 단계를 포함하고,
    상기 프레임 단위 지연 값은 상기 좌영상 및 상기 우영상 간의 시간 차이를 프레임 단위로 나타내는 값인 것을 특징으로 하는 영상 동기화 방법.
KR1020120051878A 2012-05-16 2012-05-16 3ｄｔｖ 다중화 방법 및 그 장치 KR101699367B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120051878A KR101699367B1 (ko) 2012-05-16 2012-05-16 3ｄｔｖ 다중화 방법 및 그 장치
US13/717,492 US9270972B2 (en) 2012-05-16 2012-12-17 Method for 3DTV multiplexing and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120051878A KR101699367B1 (ko) 2012-05-16 2012-05-16 3ｄｔｖ 다중화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20130128101A true KR20130128101A (ko) 2013-11-26
KR101699367B1 KR101699367B1 (ko) 2017-02-14

Family

ID=49580985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120051878A KR101699367B1 (ko) 2012-05-16 2012-05-16 3ｄｔｖ 다중화 방법 및 그 장치

Country Status (2)

Country Link
US (1) US9270972B2 (ko)
KR (1) KR101699367B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130276046A1 (en) * 2012-04-13 2013-10-17 Electronics And Telecommunications Research Institute Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
WO2014034463A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
TW201428675A (zh) 2013-01-08 2014-07-16 Pixart Imaging Inc 影像產生系統與影像產生方法
JP2015186036A (ja) * 2014-03-24 2015-10-22 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7009996B2 (ja) * 2015-11-11 2022-01-26 ソニーグループ株式会社 画像処理装置および画像処理方法
US10560682B2 (en) 2017-01-13 2020-02-11 Gopro, Inc. Methods and apparatus for providing a frame packing arrangement for panoramic content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100049873A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
JP2012085166A (ja) * 2010-10-13 2012-04-26 Sony Corp 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム
KR20120063431A (ko) * 2010-12-07 2012-06-15 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763441B1 (ko) 2006-09-30 2007-10-04 광주과학기술원 동기화된 다시점 입체 영상 전송 방법 및 그 시스템
KR100973138B1 (ko) 2008-05-08 2010-07-29 한양대학교 산학협력단 디지털 방송의 ｍｍｓ 전송스트림 재다중화 방법 및 시스템
EP2521363B1 (en) * 2009-02-19 2014-05-14 Panasonic Corporation Playback device
KR20120036724A (ko) 2010-10-08 2012-04-18 한국전자통신연구원 3차원 영상 동기화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100049873A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
JP2012085166A (ja) * 2010-10-13 2012-04-26 Sony Corp 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム
KR20120063431A (ko) * 2010-12-07 2012-06-15 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법

Also Published As

Publication number Publication date
US20130307924A1 (en) 2013-11-21
US9270972B2 (en) 2016-02-23
KR101699367B1 (ko) 2017-02-14

Similar Documents

Publication Publication Date Title
JP6034420B2 (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
JP5575949B2 (ja) 放送データ送信方法およびその装置
KR101683119B1 (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US9055280B2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
US9628771B2 (en) Transmitter and receiver for transmitting and receiving multimedia content, and reproduction method therefor
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
JP5785193B2 (ja) 三次元マルチメディア・サービスを提供するためのデータストリーム生成方法及びその装置、三次元マルチメディア・サービスを提供するためのデータストリーム受信方法及びその装置
EP2744214A2 (en) Transmitting device, receiving device, and transceiving method thereof
US9516086B2 (en) Transmitting device, receiving device, and transceiving method thereof
KR101699367B1 (ko) 3ｄｔｖ 다중화 방법 및 그 장치
US20120050476A1 (en) Video processing device
KR20140000128A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
US20150009289A1 (en) Method and apparatus for providing three-dimensional (3d) video
KR20130042429A (ko) 비디오 신호의 보조 데이터 공간에 동기 정보를 추가하여 영상을 동기화하는 장치 및 방법
KR102016674B1 (ko) 하이브리드 서비스를 제공하는 수신 장치 및 하이브리드 서비스 제공 방법
KR101191498B1 (ko) 실시간 방송과 비실시간 부가 방송 데이터의 연동을 통한 입체영상 방송서비스를 위한 동기 신호 생성 방법 및 시스템
KR20140053777A (ko) 이종 비디오 코덱을 사용하는 영상 시스템에서의 디코더 버퍼링 방법 및 그 장치
KR20100092851A (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치
Lee et al. Delivery system and receiver for service-compatible 3DTV broadcasting
KR20150006340A (ko) 3차원 영상 제공 방법 및 방송 장치
KR20140080701A (ko) 자막 데이터를 이용한 3dtv 동기 보정 방법 및 그 장치
KR20140053938A (ko) 신호 송신 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant