KR101878218B1 - Ｍｐｅｇ-2 ｔｓ 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3ｄ 서비스를 제공하는 방법 - Google Patents

Ｍｐｅｇ-2 ｔｓ 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3ｄ 서비스를 제공하는 방법 Download PDF

Info

Publication number
KR101878218B1
KR101878218B1 KR1020120024671A KR20120024671A KR101878218B1 KR 101878218 B1 KR101878218 B1 KR 101878218B1 KR 1020120024671 A KR1020120024671 A KR 1020120024671A KR 20120024671 A KR20120024671 A KR 20120024671A KR 101878218 B1 KR101878218 B1 KR 101878218B1
Authority
KR
South Korea
Prior art keywords
information
time
video
reference image
additional
Prior art date
Application number
KR1020120024671A
Other languages
English (en)
Other versions
KR20120104498A (ko
Inventor
임현정
권형진
정광희
이광순
윤국진
정원식
허남호
김병철
박종환
김규헌
서덕영
박광훈
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20120104498A publication Critical patent/KR20120104498A/ko
Application granted granted Critical
Publication of KR101878218B1 publication Critical patent/KR101878218B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 MPEG-2 TS 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 시그널링 기술 방법 및 동기화 방법으로서, 본 발명에 따른 실시간, 비 실시간 연동형 서비스 기술에 의하면 기존방송과 저장된 파일의 연동형 미디어를 도출함으로써, 몰입형 멀티미디어의 접근이 쉬워지며, 다양한 저장매체를 활용하는 서비스의 기반 기술로서 활용될 수 있으며, 본 발명에서 개발할 NRT저장 콘텐츠와 실시간 방송을 연동하여 3D 서비스를 제공하기 위한 방법은 향후, 두 개의 기술 규격뿐만 아니라, 다양한 저장매체를 활용하는 연동형 서비스 기술 개발의 방향성을 제시할 것으로 기대할 수 있다.

Description

ＭＰＥＧ-2 ＴＳ 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3Ｄ 서비스를 제공하는 방법{METHOD OF PROVIDING 3D SERVICE LINKING CONTENTS TRANSPORTED AT DIFFERENT TIME IN A BROADCASTING SYSTEM BASED ON MPEG-2 TS}
본 발명은 MPEG-2 TS 기반 방송 서비스 환경에서 3D 서비스를 제공하는 방법에 관한 것으로, 더욱 상세하게는 전달 시간이 다른 콘텐츠를 연동하여 서비스하기 위한 시그널링 및 동기화 방법에 관한 것이다.
최근 디지털 기술의 발달로 인한 방송과 통신의 융합이 활성화되고, IPTV, connected TV, 스마트 TV 등의 방통융합 매체가 널리 보급되면서 소비자들이 영상이나 음악, 기타 엔터테인먼트 콘텐츠를 소비할 수 있는 환경이 확대되었다. 이는 소비 매체들을 이용한 엔터테인먼트와 정보에 대한 접근이 용이하게 되었으며, 개인 미디어 플레이어를 통한 저장 콘텐츠의 소비가 보편화되었기 때문이다.
ATSC NRT(Advanced Television Systems Committee Non Real Time)란 기존의 DTV방송 채널로 멀티미디어 콘텐츠를 비실시간 기반으로 전송하는 서비스로서, 종래 콘텐츠 제공자가 일방적으로 전달해주는 형식의 메커니즘이 아닌 사용자의 요구사항을 받아들이는 새로운 형태의 저장 메커니즘이다. NRT는 접근이 쉬운 기존의 방송망의 특징을 이용하기 때문에 접근이 쉽고 효율적으로 비디오를 전달받을 수 있다.
현재 NRT 서비스는 사용자의 요청을 받아 콘텐츠를 저장한다는 요구 사항을 받아들이는 기술이지만, 저장된 비 실시간 콘텐츠와 기존 실시간 방송 콘텐츠는 구별되어 각각의 서비스만을 제공하고 있어, 3D 서비스를 저장된 비 실시간 콘텐츠와 실시간 방송 콘텐츠로 나누어 서비스할 경우에는 상기 두 콘텐츠 간의 연관 관계를 알 수 없으며, 동기화를 하여 동시에 소비할 수 없다.
전술한 한계를 극복하기 위하여 ATSC는 NRT 표준에서 두 영상을 연동하여 주사하는 3D 콘텐츠 전송에 관한 항목을 추가하는 논의가 진행 중이지만 아직까지 상기 두 기술의 연동기술이 구체적으로 제시되지 않았다.
비실시간 기반으로 3D 방송 서비스를 제공하기 위해 종래에 기준 영상은 실시간으로 전송하고 부가 영상은 비실시간으로 방송 시간 전에 전송하는 방식이 있었으나, 상기 종래 기술은 IP 기반의 ATSC NRT 매커니즘을 이용하지 않고 있으며 비실시간 기반의 3D 방송 서비스를 시그널링할 수 있는 방법 또한 포함하고 있지 않다.
또한 다른 종래 기술로서 비 실시간 스테레오스코픽 서비스를 위한 스테레오스코픽 서비스 서술자(SS_descriptor)를 통해 실시간 영상과 저장된 콘텐츠를 동기화하기 위한 방식이 제안된 바 있다. 그러나 상기 방식은 기준 영상과 부가 영상을 모두 실시간으로 전송하여 서비스를 제공하는 방법으로 기준 영상은 실시간으로 전달되고 부가 영상은 비실시간으로 전달되는 형태의 서비스는 포함하고 있지 않다.
한국 공개 특허 제 10-2010-0086440 호("지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치", 한국 전자 통신 연구원, 2010.07.30 공개)
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 사용자가 단말기를 통해 3D 서비스를 받고자 할 경우에, 실시간 방송 스트림으로 전달받은 2D 영상과 비실시간 방송 스트림으로 전달받아 저장된 보조 영상을 연동하여, 3D 방송 서비스를 제공할 수 있다. 방송 스트림과 저장되어 있는 파일 간의 연관 정보를 필요로 하며, 동기를 맞춰 재생을 하기 위한 동기화 정보가 필요하다.
따라서 본 발명은 상기 기준 영상과 부가 영상 간의 연관 정보를 기존 표준에 추가할 수 있으며, 3D 영상을 구성하기 위한 시그널링 방법과 두 영상 간의 동기를 맞추기 위한 시간 정보를 추가하는 방법이 필요하다.
즉, 전술한 문제점을 해결하기 위한 본 발명의 목적은 ATSC NRT 기술을 통해 실시간으로 전달되는 기준 영상 및 비실시간으로 전달되는 3D 부가 영상을 기반으로 스테레오스코픽 방송 서비스를 제공하기 위해, 상기 기준 영상 및 부가 영상을 결합하여 3D 콘텐츠를 구성하기 위한 시그널링 방법과 상기 기준 영상과 부가 영상을 동기화하기 위한 시간 정보를 제공하는 방법을 제공하는 것이다.
전술한 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 전달 시간이 다른 콘텐츠를 연동하여 3Ｄ 서비스를 제공하는 방법은 부가 영상 및 부가 영상 시그널링 정보 - 여기서, 상기 부가 영상 시그널링 정보는 연관 관계 정보 및 동기화 정보를 포함함 - 를 포함하는 비실시간 스트림을 수신하여 상기 부가 영상 및 부가 영상 시그널링 정보를 추출하는 단계; 기준 영상 및 기준 영상 시그널링 정보 ? 여기서, 상기 기준 영상 시그널링 정보는 연관 관계 정보 및 동기화 정보를 포함함 - 를 포함하는 실시간 스트림을 수신하여 상기 기준 영상 및 기준 영상 시그널링 정보를 추출하는 단계; 및 상기 연관 관계 정보를 기반으로 상기 부가 영상 및 기준 영상을 포함하는 스테레오스코픽 콘텐츠를 생성하고, 상기 동기화 정보에 포함된 시간 정보를 기반으로 상기 스테레오스코픽 콘텐츠의 부가 영상 및 기준 영상을 동기화하여 상기 스테레오스코픽 콘텐츠를 재생하는 단계를 포함할 수 있다.
전술한 본 발명의 일 실시예에 따른 전달 시간이 다른 콘텐츠를 연동하여 3Ｄ 서비스를 제공하는 방법은, 기존의 실시간 스트림을 통한 방송과 비실시간 스트림을 통해 저장된 파일의 연동형 미디어를 도출함으로써, 몰입형 멀티미디어의 접근이 쉬워지며, 다양한 저장 매체를 활용하는 서비스의 기반 기술로서 활용될 수 있다.
또한, NRT 저장 콘텐츠와 실시간 방송을 연동하여 3D 서비스를 제공하기 위한 방법은 다양한 저장 매체를 활용하는 연동형 서비스 기술 개발의 방향성을 제시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 서비스 제공 방법의 흐름도이다.
도 2는 3D 콘텐츠의 기준 영상을 실시간 방송 서비스로 전달함에 있어서, 기준 영상에 대한 정보 및 상기 기준 영상과 연동될 수 있는 보조 영상에 대한 정보가 기술된 것을 도시한다.
도 3은 본 발명의 일 실시예에 따라 동기화를 수행하기 위한 정보를 나타내는 서술자를 도시한다.
도 4는 본 발명의 일 실시예에 따른 연동형 스테레오스코픽 서비스가 단말에서 수행되는 과정을 도시한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
전술한 바와 같이, 본 발명은 MPEG-2 TS 기반 방송 서비스 환경에서 3D 서비스를 제공하기 위한 기술로서, 전달 시간이 다른 콘텐츠를 연동하여 서비스하기 위한 시그널링 방법 및 동기화 방법에 관한 것이다. 보다 구체적으로, 본 발명은 3D 콘텐츠를 기준 영상(주 영상)과 부가 영상(보조 영상)으로 나누어, 실시간 방송 스트림으로 전달되는 기준 영상과 비실시간 방송 스트림을 통해 미리 단말기에 저장되어 있는 부가 영상을 연동하여 3D 서비스를 제공하는 방법에 관한 것이다.
따라서, 전술한 방법에 따라 3D 서비스를 제공하기 위해서는 실시간 영상을 전달하는 스트림에 상기 기준 영상과 부가 영상을 연동하여 주사하기 위한 시그널링 방법과 동기화 방법에 관한 정보를 추가하여 전달할 필요가 있다.
본 발명에서 기술되는 단말기는 MPEG-2 TS 표준으로 구성된 방송 콘텐츠를 수신하고 소비할 수 있는 단말기를 의미하며, ATSC NRT 표준을 기반으로 방송 콘텐츠를 수신하고 저장할 수 있는 단말기를 의미한다. 또한, 본 발명에서 기술되는 단말기는 3D 콘텐츠를 재생할 수 있는 단말기를 의미한다.
본 발명에서 기술되는 3D 콘텐츠의 기준 영상(주 영상)은 MPEG-2 TS 표준을 기반으로 구성되어 전달될 수 있으며, 부가 영상과의 연관 관계 정보 및 동기화 정보를 더 포함할 수 있으며, 상기 단말기는 상기 연관 관계 정보 및 동기화 정보를 분석할 수 있다.
본 발명에서 기술되는 3D 콘텐츠의 부가 영상(보조 영상)은 ATSC NRT 표준을 기반으로 구성되어 전달될 수 있으며, 기준 영상과의 연관 관계 정보 및 동기화 정보를 포함하여 단말기에 저장될 수 있다. 상기 단말기는 저장된 연관 관계 정보 및 동기화 정보를 분석할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 서비스 제공 방법의 흐름도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3D 서비스 제공 방법은 먼저 부가 영상 및 부가 영상 시그널링 정보를 포함하는 비실시간 스트림을 수신하여 상기 부가 영상 및 부가 영상 시그널링 정보를 추출한다(S110). 여기서, 상기 비실시간 스트림은 ATSC NRT(Non Real Time) 표준을 기반으로 구성될 수 있다. 또한, 상기 부가 영상 시그널링 정보는 기준 영상과의 관계를 나타내는 연관 관계 정보 및 상기 기준 영상과 동기화하기 위한 동기화 정보를 포함할 수 있다. 상기 연관 관계 정보는 기준 영상과 부가 영상을 포함하는 스테레오스코픽 콘텐츠를 생성하기 위해 사용될 수 있다. 상기 추출된 부가 영상 및 부가 영상 시그널링 정보는 3D 서비스 제공 장치에 저장될 수 있다.
이후, 기준 영상 및 상기 기준 영상의 시그널링 정보를 포함하는 실시간 스트림을 수신하여 상기 기준 영상 및 기준 영상 시그널링 정보를 추출한다(S120). 여기서, 상기 실시간 스트림은 MPEG-2 TS 표준을 기반으로 구성될 수 있다. 또한, 상기 기준 영상 시그널링 정보는 부가 영상과의 관계를 나타내는 연관 관계 정보 및 상기 부가 영상과 동기화하기 위한 동기화 정보를 포함할 수 있다.
부가 영상 및 기준 영상이 추출되면, 상기 연관 관계 정보를 기반으로 상기 부가 영상 및 기준 영상을 포함하는 스테레오스코픽 콘텐츠를 생성하고, 상기 동기화 정보에 포함된 시간 정보를 기반으로 상기 스테레오스코픽 콘텐츠의 부가 영상 및 기준 영상을 동기화하여 상기 스테레오스코픽 콘텐츠를 재생(S130)함으로써 시청자에게 3D 서비스를 제공할 수 있다.
이하, 방송단에서 단말기에 3D 콘텐츠의 기준 영상을 전달하기 위해 TS 스트림을 구성함에 있어, 부가 영상과의 연관 관계 정보와 동기화 정보를 포함하여 전달하고, 상기 전달된 연관 관계 정보를 기반으로 저장된 부가 영상을 참조하여 3D 화면을 구성하며, 상기 전달된 동기화 정보를 기반으로 부가 영상과 동기를 맞추어 콘텐츠를 재생하는 방법에 대해 보다 구체적으로 설명한다.
하기에서, 본 발명의 일 실시예로서 MPEG-2 TS와 ATSC NRT 기술을 사용하는 방송 서비스를 기반으로 설명하지만, 기술 분야는 반드시 상기 방송 서비스로 한정되지 아니하며, 3D 콘텐츠를 구성하는 영상의 전송 시점이 상이하여, 영상 간의 연관 정보 및 동기화 정보가 요구되는 모든 분야에 적용될 수 있다.
도 2는 프로그램 맵 테이블(Program Map Table, PMT)에 추가된 연동형 스테레오스코픽 서비스 서술자의 구성도이다.
전술한 바와 같이, 기준 영상 시그널링 정보 및 부가 영상 시그널링 정보는 기준 영상 및 부가 영상 상호 간의 관계를 나타내는 연관 관계 정보를 포함할 수 있다. 도 2의 구성도는 3D 콘텐츠의 기준 영상을 실시간 방송 서비스로 전달함에 있어서, 기준 영상에 대한 정보 및 상기 기준 영상과 연동될 수 있는 보조 영상에 대한 연관 관계 정보를 포함할 수 있다. 기준 영상에 대한 정보는 프로그램 맵 테이블(Program Map Table, PMT)내에 서술자를 추가하여, 연동형 영상 서비스 식별 및 관련 정보를 전달할 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 PMT는 기준 영상 및 부가 영상 상호 간의 연관 관계 정보로서, 연동형 스테레오스코픽 서비스 서술자(Linkage_Stereoscopic_Service_Descriptor, 100)를 더 포함할 수 있다. 상기 연동형 스테레오스코픽 서비스 서술자(100)는 연동형 스테레오스코픽 서비스의 좌, 우 영상을 구분하고, 연동될 파일의 URL정보를 포함할 수 있으며, 3D 영상 서비스를 구성하기 위한 정보를 포함할 수 있다.
도 2의 서술자 태그(Descriptor_tag, 101)는 해당 서술자가 연동형 스테레오스코픽 서비스 서술자라는 것을 나타낼 수 있다. 서술자 길이(Descriptor_length, 102)는 해당 서술자의 길이를 나타낼 수 있다.
또한, 뷰 포지션 인덱스(View_position_index, 103)는 해당 서술자를 포함하는 비디오 스트림이 좌영상인지 또는 우영상인지 여부를 나타낼 수 있다. 3D 영상을 구성하는 방법은 서비스 호환 방식, 프레임 호환 방식 등과 같이 복수의 종류가 존재한다. 하지만 연동형 서비스의 경우 3D를 구성하는 방법은 프레임 호환 방식과 같이 좌, 우 영상이 분리된 형태뿐이므로, 플래그(flag) 값 형태로 좌, 우 영상만을 표현할 수 있다. 다만, 기존의 3D 구성 방법과의 호환성과 향후 확장성 등을 고려하여, 여유 크기로 할당할 수 있다.
예를 들면, 뷰 포지션 인덱스(View_position_index, 103)의 값이 ‘001’일 경우 해당 서술자를 포함하는 비디오 스트림이 좌영상임을 나타낼 수 있고, 연동될 파일에 포함된 비디오 스트림은 우영상임을 나타낼 수 있다. 반대로 뷰 포지션 인덱스(View_position_index, 103)의 값이 ‘010’일 경우 해당 서술자를 포함하는 비디오 스트림이 우영상이며, 연동될 파일에 포함된 비디오 스트림이 좌영상임을 나타낼 수 있다.
상기와 같이 연동형 서비스의 3D구성 방법은 좌영상과 우영상이 분리된 형태만 존재하는 것을 이용하면, 해당 스트림이 좌영상이면 연동되는 영상은 우영상이 되기 때문에, 3D구성에 관한 서술자는 기준 영상을 전달하는 실시간 스트림에서만 포함하고, 다른 부가 영상에는 3D 구성 정보가 없어도 서비스를 제공할 수 있다.
도 2의 종속 플래그(Dependency_flag, 104)는 연동될 파일을 참조하기 위한 플래그이다. 연동될 파일은 NRT 기술을 통해 미리 단말기에 저장되어 있으므로, 해당 파일이 저장된 URL정보가 필요하다. URL 정보는 가변적인 길이를 가지고 있기 때문에, 연결 파일 길이(linkage_file_length, 105)를 통해 연동될 파일에 대한 URL 이름의 길이를 나타내고, 연결 파일 이름(linkage_file_name, 106)을 통해 해당 스트림과 연동될 파일의 이름을 나타낼 수 있다.
도 2의 연결 파일 타입(linkage_file_type, 107)은 해당 스트림과 연동될 파일의 종류를 의미한다. 스테레오스코픽 서비스를 제공하기 위한 저장 포맷으로서 SVAF(Stereoscopic video application format)가 존재하며, 3D서비스에 사용될 부가 영상은 SVAF형태인 mp4파일 타입으로 구성될 수 있다. 향후 부가 영상을 저장하는 파일 포맷 형태가 가질 수 있는 다양성을 고려하여, 파일의 종류 구분이 가능한 필드를 구성할 수 있다.
상기 SVAF의 경우 ISO Base media file format의 형태로 트랙(track)이라는 단위로 비디오, 오디오 및 메타데이터 등을 구분한다. 저장된 파일 포맷의 형태가 SVAF인 경우 보조영상을 포함하는 트랙(track)을 알기 위해서 트랙 ID(track_id, 108)를 사용하여 구분할 수 있다.
도 3은 본 발명의 일 실시예에 따라 동기화를 수행하기 위한 정보를 나타내는 서술자를 도시한다. 전술한 바와 같이, 기준 영상 시그널링 정보 및 부가 영상 시그널링 정보는 기준 영상 및 부가 영상 상호 간의 동기화 정보를 포함할 수 있다.
연동형 서비스의 동기화를 위해서 저장된 파일과 달리, 기존의 실시간으로 전송되는 스트림에는 프로그램의 진행 사항을 알 수 있는 정보가 없다. 따라서 파일 포맷의 디코딩 시간(Decoding time) 값과 구성 시간(Composition time) 값을 실시간 전송 스트림에 추가하여 동기화를 할 수 있다.
도 3의 연결 시간 서술자(linkage_time_descriptor, 200)는 동기화를 수행하기 위한 동기화 정보로서, 저장된 파일과 동일한 시간 정보를 나타낸다. 연결 시간 서술자(linkage_time_descriptor, 200)는 실시간 전송 스트림에서 개별 스트림에 대한 헤더 정보에 해당하는 PES(Packetized Elementary Stream) 중 PES 프라이빗 데이터(PES_Private_data, 201)부분에 추가될 수 있다.
도 3의 CT_DT_flag(202)는 해당 스트림이 구성 시간(Composition_time, 203)정보만을 가지고 있는지, 디코딩 시간(Decoding_time, 204)도 가지고 있는지 여부를 나타낼 수 있다. 예를 들면, 상기 CT_DT_flag의 값이 1인 경우, 해당 스트림은 구성 시간(Composition time, 203)정보를 포함할 수 있고, 상기 CT_DT_flag의 값이 2일 경우는 구성 시간(Composition_time, 203)과 디코딩 시간(Decoding_time, 204)정보를 포함할 수 있다.
도 3의 구성 시간(Composition_time, 203)과 디코딩 시간(Decoding_time, 204)은 각각 해당 스트림을 화면에 보여주는 시간 정보와 복호화를 수행해야 되는 시간 정보로, 프로그램의 시작부터 해당 스트림이 얼마나 지났는지를 나타낼 수 있다.
도 4는 본 발명의 일 실시예에 따른 연동형 스테레오스코픽 서비스가 단말에서 수행되는 과정을 도시한다.
현재 방송 중인 스트림을 역패킷화(Depacketization, 310)하면 프로그램 맵 테이블(Program Map Table, PMT)을 분석할 수 있다. 연동형 서비스는 PMT에 추가된 연결 스테레오스코픽 서비스 서술자(linkage stereoscopic service descriptor)의 분석으로 시작되며, 분석된 파일 이름 정보(s301)를 이용하여 저장되어 있는 파일 중 연동될 파일을 찾는다. 저장 공간(330)에 연동이 될 파일이 있는 경우, 해당 파일에 대해서 디코딩(340)을 수행하여 재생 준비를 할 수 있다. 또한 분석한 화면 구성 정보(s303)는 렌더러(Renderer, 450)에 전달하여 스테레오스코픽 화면을 준비할 수 있다.
기준 영상을 포함하는 실시간 방송 스트림은 기존 방송 규격에 따라 재생될 수 있으며, 추가적으로 부가 영상과의 동기화를 위해 PES에 포함된 CT(Composition time)와 DT(Decoding time) 정보(s302)를 분석할 수 있다. 상기 분석된 시간 정보를 부가 영상을 포함하는 저장된 파일의 시간 정보와 비교하여 현재의 재생 시점을 탐색할 수 있다. 저장된 파일 또한 기존 파일 재생 방법을 사용할 수 있으며, 첫 화면부터 재생하지 않고 현재 실시간 방송 스트림과 상응하는 시점부터 재생을 수행할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가지는 자에게 자명할 것이다.

Claims (10)

  1. 부가 영상 및 부가 영상 시그널링 정보 - 여기서, 상기 부가 영상 시그널링 정보는 연관 관계 정보 및 동기화 정보를 포함함 - 를 포함하는 비실시간 스트림을 수신하여 상기 부가 영상 및 부가 영상 시그널링 정보를 추출하는 단계;
    기준 영상 및 기준 영상 시그널링 정보 - 여기서, 상기 기준 영상 시그널링 정보는 연관 관계 정보 및 동기화 정보를 포함함 - 를 포함하는 실시간 스트림을 수신하여 상기 기준 영상 및 기준 영상 시그널링 정보를 추출하는 단계;
    상기 연관 관계 정보를 기반으로 상기 부가 영상 및 기준 영상을 포함하는 스테레오스코픽 콘텐츠를 생성하는 단계; 및
    상기 동기화 정보를 기반으로 상기 스테레오스코픽 콘텐츠의 부가 영상 및 기준 영상을 동기화하여 상기 스테레오스코픽 콘텐츠를 재생하는 단계를 포함하고,
    상기 기준 영상 시그널링 정보에 포함된 동기화 정보는 상기 부가 영상에 저장된 연동 파일과 동일한 시간 정보를 포함하는 연결 시간 서술자를 포함하고,
    상기 연결 시간 서술자는, 개별 스트림이 디스플레이되는 시간을 나타내는 구성 시간 정보를 포함하거나 또는 구성 시간 및 상기 개별 스트림에 대한 복호화 시간을 나타내는 디코딩 시간을 포함하며, 상기 개별 스트림이 구성 시간 정보만을 포함하는지 상기 구성 시간 및 상기 디코딩 시간을 포함하는지 여부를 나타내는 정보를 더 포함하고,
    상기 연결 시간 서술자는 PES(Packetized Elementary Stream) 내 PES 프라이빗 데이터(PES_Private_data) 부분에 삽입되는, 3D 서비스 제공 방법.
  2. 청구항 1에 있어서,
    상기 연관 관계 정보는,
    상기 기준 영상 및 상기 부가 영상 간의 관계를 나타내는, 3D 서비스 제공 방법.
  3. 청구항 1에 있어서,
    상기 연관 관계 정보는 스테레오스코픽 서비스 서술자를 포함하고,
    상기 스테레오스코픽 서비스 서술자는, 해당 서술자를 포함하는 비디오 스트림이 좌영상인지 우영상인지에 대한 정보, 해당 비디오 스트림과 연동하는 파일의 존재 여부 및 상기 연동하는 파일에 대한 정보를 포함하는, 3D 서비스 제공 방법.
  4. 청구항 3에 있어서,
    상기 스테레오스코픽 서비스 서술자는 프로그램 맵 테이블 내에 삽입되어 해당 비디오 스트림 내에 포함되는, 3D 서비스 제공 방법.
  5. 청구항 3에 있어서,
    상기 연동하는 파일에 대한 정보는,
    상기 연동할 파일의 이름, 상기 연동할 파일의 이름의 길이, 및 연동할 파일의 종류를 포함하는, 3D 서비스 제공 방법.
  6. 부가 영상 및 부가 영상 시그널링 정보를 포함하는 비실시간 스트림을 수신하고, 기준 영상 및 기준 영상 시그널링 정보를 포함하는 실시간 스트림을 수신하여, 상기 부가 영상 시그널링 정보 또는 상기 기준 영상 시그널링 정보에 포함된 연관 관계 정보 및 동기화 정보를 추출하는 파서(parser); 및
    상기 연관 관계 정보를 기반으로 상기 부가 영상 및 기준 영상을 포함하는 스테레오스코픽 콘텐츠를 생성하고, 상기 동기화 정보에 포함된 시간 정보를 기반으로 상기 스테레오스코픽 콘텐츠의 부가 영상 및 기준 영상을 동기화하여 상기 스테레오스코픽 콘텐츠를 재생하는 렌더러(renderer)를 포함하고,
    상기 기준 영상 시그널링 정보에 포함된 동기화 정보는 상기 부가 영상에 저장된 연동 파일과 동일한 시간 정보를 포함하는 연결 시간 서술자를 포함하고,
    상기 연결 시간 서술자는 개별 스트림이 디스플레이되는 시간을 나타내는 구성 시간(composition time) 정보를 포함하거나 구성 시간 및 상기 개별 스트림에 대한 복호화 시간을 나타내는 디코딩 시간을 포함하며, 상기 개별 스트림이 구성 시간 정보만을 포함하는지 상기 구성 시간 및 상기 디코딩 시간을 포함하는지 여부를 나타내는 정보를 더 포함하고,
    상기 연결 시간 서술자는 PES(Packetized Elementary Stream) 내 PES 프라이빗 데이터(PES_Private_data) 부분에 삽입되는, 3D 서비스 제공 장치.
  7. 청구항 6에 있어서,
    상기 연관 관계 정보는 상기 기준 영상 및 상기 부가 영상 간의 관계를 나타내는 스테레오스코픽 서비스 서술자를 포함하고,
    상기 파서는 상기 스테레오스코픽 서비스 서술자에 포함된 연동 파일 정보가 있는 경우 연동할 파일을 분석하여 스테레오스코픽 콘텐츠의 재생을 위한 정보로 제공하는, 3D 서비스 제공 장치.
  8. 청구항 6에 있어서,
    상기 렌더러는, 기준 영상의 동기화 정보에 포함된 상기 구성 시간 또는 디코딩 시간 정보 중 적어도 하나를 부가 영상 파일의 시간 정보와 비교하여 현재의 재생 시점을 탐색함으로써, 상기 스테레오스코픽 콘텐츠를 재생하는, 3D 서비스 제공 장치.
  9. 삭제
  10. 삭제
KR1020120024671A 2011-03-10 2012-03-09 Ｍｐｅｇ-2 ｔｓ 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3ｄ 서비스를 제공하는 방법 KR101878218B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110021553 2011-03-10
KR1020110021553 2011-03-10

Publications (2)

Publication Number Publication Date
KR20120104498A KR20120104498A (ko) 2012-09-21
KR101878218B1 true KR101878218B1 (ko) 2018-07-16

Family

ID=47111891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024671A KR101878218B1 (ko) 2011-03-10 2012-03-09 Ｍｐｅｇ-2 ｔｓ 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3ｄ 서비스를 제공하는 방법

Country Status (1)

Country Link
KR (1) KR101878218B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040031519A (ko) * 2002-10-07 2004-04-13 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR20080030360A (ko) * 2006-09-29 2008-04-04 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
KR20100050426A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
KR20100086440A (ko) * 2009-01-22 2010-07-30 한국전자통신연구원 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치
JP2010220221A (ja) * 2003-10-16 2010-09-30 Sharp Corp 三次元ビデオ符号化に関するシステム及び方法
KR20100134505A (ko) * 2009-06-15 2010-12-23 한국전자통신연구원 디지털 방송 시스템의 스테레오스코픽 비디오 서비스 제공/수신 방법 및 장치
KR20110004323A (ko) * 2009-07-07 2011-01-13 한국전자통신연구원 디지털 방송 시스템의 스테레오스코픽 비디오 송수신 방법 및 장치
KR20110019322A (ko) * 2009-08-19 2011-02-25 한국전자통신연구원 영상 처리 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040031519A (ko) * 2002-10-07 2004-04-13 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
JP2010220221A (ja) * 2003-10-16 2010-09-30 Sharp Corp 三次元ビデオ符号化に関するシステム及び方法
KR20080030360A (ko) * 2006-09-29 2008-04-04 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
KR100864826B1 (ko) * 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
KR20100050426A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
KR20100086440A (ko) * 2009-01-22 2010-07-30 한국전자통신연구원 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치
KR20100134505A (ko) * 2009-06-15 2010-12-23 한국전자통신연구원 디지털 방송 시스템의 스테레오스코픽 비디오 서비스 제공/수신 방법 및 장치
KR20110004323A (ko) * 2009-07-07 2011-01-13 한국전자통신연구원 디지털 방송 시스템의 스테레오스코픽 비디오 송수신 방법 및 장치
KR20110019322A (ko) * 2009-08-19 2011-02-25 한국전자통신연구원 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20120104498A (ko) 2012-09-21

Similar Documents

Publication Publication Date Title
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
US8773584B2 (en) Playback apparatus, playback method, integrated circuit, broadcast system, and broadcast method using a broadcast video and additional video
US9313442B2 (en) Method and apparatus for generating a broadcast bit stream for digital broadcasting with captions, and method and apparatus for receiving a broadcast bit stream for digital broadcasting with captions
KR101516325B1 (ko) Ｉｓｏ 기반 미디어 파일 포맷으로 ｍｐｅｇ－２전송스트림을 저장 및 재생하는 방법 및 장치
CN102835047B (zh) 使用关于多视点视频流的链接信息发送数字广播流的方法和设备以及接收数字广播流的方法和设备
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
US8760468B2 (en) Image processing apparatus and image processing method
US20140237536A1 (en) Method of displaying contents, method of synchronizing contents, and method and device for displaying broadcast contents
KR20090109284A (ko) 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
US20120002947A1 (en) Apparatus and method for recording and playing a media file, and a recording medium therefor
US20100146018A1 (en) Method for constructing a file format and apparatus for processing a digital broadcasting signal including a file having the file format and method thereof
US12028562B2 (en) Transmission device, transmission method, reception device, and reception method
US9473759B2 (en) Transmission device, reception and playback device, transmission method, and reception and playback method
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
US10425688B2 (en) Reception device
EP3439309B1 (en) Method and apparatus for transmitting and receiving broadcast signals
WO2013175796A1 (ja) 映像送信装置、映像送信方法、及び映像再生装置
JP5957770B2 (ja) 映像処理装置、方法、プログラム、記録媒体及び集積回路
KR101878218B1 (ko) Ｍｐｅｇ-2 ｔｓ 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3ｄ 서비스를 제공하는 방법
KR20130040156A (ko) 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
KR101710452B1 (ko) 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조
US20120269256A1 (en) Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
Series Usage scenarios, requirements and technical elements of a global platform for the broadcasting service
Park et al. File based hybrid broadcasting system for higher quality 3D content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant