KR20110073174A - 장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법 - Google Patents

장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법 Download PDF

Info

Publication number
KR20110073174A
KR20110073174A KR1020100029007A KR20100029007A KR20110073174A KR 20110073174 A KR20110073174 A KR 20110073174A KR 1020100029007 A KR1020100029007 A KR 1020100029007A KR 20100029007 A KR20100029007 A KR 20100029007A KR 20110073174 A KR20110073174 A KR 20110073174A
Authority
KR
South Korea
Prior art keywords
scene
mpeg
media
descriptor
transport streams
Prior art date
Application number
KR1020100029007A
Other languages
English (en)
Other versions
KR101324427B1 (ko
Inventor
기명석
이한규
홍진우
차지훈
김현철
이인재
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/518,598 priority Critical patent/US20120269256A1/en
Priority to PCT/KR2010/007018 priority patent/WO2011078470A2/ko
Publication of KR20110073174A publication Critical patent/KR20110073174A/ko
Application granted granted Critical
Publication of KR101324427B1 publication Critical patent/KR101324427B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

BIFS(Binary Format for Scenes)나 LASeR(Lightweight application scene representation)와 같은 장면 기술자에서 복수의 MPEG-2 전송스트림을 하나의 미디어로 간주하여 장면을 구성하고, 구성된 장면과 복수의 MPEG-2 전송스트림을 ISO(International Standardization Organization) 포맷 구조의 미디어 파일로 기록하는 콘텐츠 저작장치, 상기 ISO 포맷 구조의 미디어 파일로부터 장면을 추출하여 재생하기 위한 콘텐츠 재생장치를 개시한다.

Description

장면 기술자를 이용하여 ＭＰＥＧ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법{METHOD AND APPARATUS FOR WRITING/PLAYBACK TO INCLUDE MOVING PICTURE EXPERTS GROUP-2 TRANSPORT STREAM USING SCENE DESCRIPTOR}
본 발명의 일실시예들은 BIFS나 LASeR와 같은 장면 기술자를 이용하여 구성된 장면과 복수의 MPEG-2 전송스트림을 하나의 미디어로 간주하여 사용하는 콘텐츠 저작/재생 장치 및 방법에 관한 것이다.
국내 디지털방송이 확대되면서 기존의 단말사마다 각기 다른 타입으로 방송 프로그램을 녹화하던 방식과 더불어 MPEG-2 전송스트림을 그대로 저장하는 방식이 점차 늘어나고 있다.
IPTV(Internet Protocol Television)에서는 기존 방송 단말과의 호환을 위해 MPEG-2 전송스트림을 가공하지 않고, 기존 방송 프램그램을 IP 패킷으로 패키징하여 전송하고, 이를 단말에서 디스플레이하는 방식을 사용하기도 한다. 또한, MPEG(Moving Picture Experts Group)에서도 MPEG-2 전송스트림을 가공하지 않고 이를 파일 형태로 녹화하고 재생하기 위한 방안이 논의 되었으며, 이를 위한 파일 표준으로 ISO 기반 미디어 파일에 MPEG-2 전송스트림을 포함하는 방법이 표준화된 상태이다.
이렇게 시장에서 전송을 위한 수단이었던 MPEG-2 전송스트림을 하나의 콘텐츠처럼 유통하는 방식이 널리 사용되고 있으나, BIFS나 LASeR와 같은 장면 기술자에서는 MPEG-2 전송스트림을 수용할 수 있는 방법이 아직은 없는 상태이다.
이 때문에 장면 기술자를 사용하여 저작한 콘텐츠를 방송망에 전송하기 위해서는 지상파 DMB(Digital Multimedia Broadcasting)에서 사용하는 방법과 같이 장면 기술자로 AV 콘텐츠를 구성하고 이를 MPEG-2 다중화 시스템으로 다중화하여 MPEG-2 전송스트림을 만드는 방법을 사용하고 있다.
그러나 이러한 방법을 사용할 경우, 기존의 상용 단말내의 MPEG-2 역다중화기가 장면 기술자를 해석할 수 없는 경우, 단말들의 MPEG-2 역다중화기들을 수정해야 한다는 문제점이 있으며, MPEG-2 전송스트림이 각각 하나의 AV가 아닌 복수의 AV와 장면 기술자로 구성되어 있는 경우 기존 단말에서는 이를 수용하기 어려운 문제점이 있다.
기술한 바와 같이 장면 기술자를 이용하여 장면을 저작하고 이를 다중화 하여 MPEG-2 전송스트림을 생성하는 것은 기존 상용 단말들의 MPEG-2 역다중화기를 수정해야 하기 때문에, MPEG-2 전송스트림을 가공하지 않고 그대로 운영할 수 있다면 기존 방송 단말들과의 호환성에 있어 장점을 가질 수 있다.
그러나 MPEG-2 전송스트림은 지상파 DTV, 위성/지상파 DMB가 각기 다른 스트림 구조를 지니고 있어 각각이 호환되지 않는 문제가 있고, MPEG-2 전송스트림이 원래 저장을 목적으로 하는 구조가 아니기 때문에 유통이나 로컬 재생에 바로 사용하기에는 부족한 점이 많다.
이를 해결하기 위해 MPEG에서는 MPEG-2 전송스트림을 ISO 포맷 구조의 미디어 파일 내에 저장하는 방법을 표준화하여, MPEG-2 전송스트림을 운영할 수 있도록 하고 있다. 그러나, 이는 MPEG-2 전송스트림을 단지 ISO 기반 미디어 파일 내에 저장하는 방법을 표준화하였을 뿐이기 때문에, 장면 기술자에서 MPEG-2 전송스트림을 미디어로 간주하여 콘텐츠를 구성한 방법에 해당 파일 구조를 적용하기에는 역시 무리가 따른다.
본 발명의 일실시예는 장면 기술자를 이용하여 구성된 장면과 복수의 MPEG-2 전송스트림을 비디오나 오디오처럼 하나의 미디어 파일로 간주하여 구성하고, 구성된 미디어 파일을 원래의 MPEG-2 전송스트림으로 용이하게 재생함으로써, 대화형 기능을 수행할 수 있도록 하는 콘텐츠 저작/재생 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 콘텐츠 저작장치는 복수의 MPEG-2 전송스트림을 입력받는 미디어 입력부, 장면 기술자를 이용하여 상기 입력된 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 장면 저작부, 및 상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을 이용하여, 구조 정보를 포함하는 무브(moov) 박스부와 상기 구성된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷(mdat) 박스부를 포함하는 하나의 미디어 파일로 부호화하는 파일 부호화부를 포함한다.
이때, 상기 엠닷 박스부는 상기 MPEG-2 전송스트림을 제어하기 위한 구조 정보로, 상기 구성된 장면을 보관하는 메인 장면 기술자를 포함할 수 있다.
이때, 상기 무브 박스부는 상기 구성된 장면의 일부로서 상기 미디어 파일 내 MPEG-2 전송스트림 간에 상호 연결되는지를 인지하기 위한 장면 기술자 트랙과 객체 기술자 트랙; 및 상기 장면 기술자 트랙과 상기 객체 기술자 트랙에 대한 기초 스트림 식별자를 획득하기 위한 초기 객체 기술자를 포함할 수 있다.
이때, 상기 장면 저작부는 상기 입력된 MPEG-2 전송스트림과 연관된 장면구조 및 사용자 이벤트를 상기 장면으로 구성할 수 있다.
상기 콘텐츠 저작장치는 상기 입력된 MPEG-2 전송스트림을 해석하여 상기 장면 기술자를 추출하는 MPEG-2 TS 해석부를 더 포함할 수 있다. 이 경우, 상기 장면 저작부는 상기 추출된 장면 기술자에 의한 다중 장면(Multiple Scene) 구성 방법을 이용하여 상기 장면을 구성할 수 있다.
본 발명의 일실시예에 따른 콘텐츠 재생장치는 저장장치로부터 미디어 파일을 로딩하고, 상기 로딩된 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하고, 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 상기 구분된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석하는 파일 해석부, 상기 복수의 MPEG-2 전송스트림을 해석하여 PES(Packetized Elementary Stream) 패킷을 추출하는 MPEG-2 TS 해석부, 상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출하는 PES 패킷 해석부, 상기 AV 미디어를 복호화하는 AV 복호화부, 및 상기 복호화된 AV 미디어를 출력하는 AV 출력부를 포함한다.
이때, 상기 파일 해석부는, 상기 미디어 파일에 장면이 포함된 경우, 장면 해석부로 전달할 수 있다. 이 경우, 상기 콘텐츠 재생장치는 상기 전달된 장면으로부터 장면구조, 사용자 이벤트, 및 렌더링 시간을 해석하는 장면 해석부, 및 상기 해석된 상기 장면구조, 사용자 이벤트, 또는 렌더링 시간 중 적어도 하나에 기초하여 객체들을 렌더링하는 장면 렌더러를 더 포함할 수 있다.
이때, 상기 MPEG-2 전송스트림에 장면 기술자가 존재하는 경우, 상기 장면 해석부는 하위장면 렌더링을 위한 상기 장면 기술자를 해석할 수 있다.
본 발명의 일실시예에 따른 콘텐츠 저작방법은 복수의 MPEG-2 전송스트림을 입력받는 단계, 장면 기술자를 이용하여 상기 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 단계, 및 상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을, 미디어 파일의 구조 정보를 포함하는 무브 박스부와, 해석된 장면 정보에 따라 해당 시간에 렌더링 되는 실제 미디어를 포함하는 엠닷 박스부를 포함하는 하나의 미디어 파일로 부호화하는 단계를 포함한다.
본 발명의 일실시예에 따른 콘텐츠 재생방법은 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하는 단계, 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 해석된 장면 정보에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석하는 단계, 상기 복수의 MPEG-2 전송스트림을 해석하여 PES 패킷을 추출하는 단계, 상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출하는 단계, 상기 AV 미디어를 복호화하는 단계, 및 상기 복호화된 AV 미디어를 출력하는 단계를 포함한다.
본 발명의 일실시예에 따르면, MPEG-2 전송스트림에 관한 장면의 구성시, 구성된 상기 장면을 하나의 미디어로 간주하여 ISO 기반 미디어 파일에 포함 함으로써, 호환성 문제의 제약 없이 상기 장면이 수신단의 단말 장치(콘텐츠 재생장치)로 전송되도록 하는 환경을 조성할 수 있다.
또한, 본 발명의 일실시예에 따르면, 이미 MPEG-2 역다중화기를 포함하고 있는 단말 장치의 경우 기존 단말 장치의 MPEG-2 역다중화기를 수정하지 않고 장면 기술자를 처리하는 모듈을 전처리 모듈 추가만을 통해 여러 장면 언어를 처리할 수 있어 장면 기술자를 실제 상용화 모델에 적용하는 것이 용이해 질 수 있다.
또한, 본 발명의 일실시예에 따르면, MPEG-2 전송스트림을 포함하는 ISO 기반 미디어 파일을 구성할 경우, 메타데이터 복호화기 없이도 복수개의 MPEG-2 전송스트림을 하나의 파일로 운영할 수 있으며, 저장된 MPEG-2 전송스트림을 재가공하여 다양한 부가기능을 제공할 수 있는 파일을 생성할 수 있다.
일례로, 스테레오스코픽 영상을 방송하고자 할 경우 현재 DMB에서는 대역폭의 문제로 이를 제공할 수 없기 때문에 방송에서는 하나의 전송스트림 만을 전송하고, 유료 콘텐츠 형태로 좌우 전송스트림을 장면 기술자를 이용하여 구성한다면 차별화된 콘텐츠를 생성할 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 콘텐츠 저작장치를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 콘텐츠 재생장치를 도시한 블록도이다.
도 3은 장면 기술자와 AV를 포함하는 일반적인 MP4 파일 구조를 도시한 도면이다.
도 4는 BIFS를 이용하여 다중 장면을 구성하는 일례를 도시한 도면이다.
도 5는 MPEG-2 전송스트림 복호화를 위한 Decoder_Specific_Info를 정의하는 일례를 도시한 도면이다.
도 6은 장면 구성 객체들을 접근단위로 구성하여 패키징한 형태의 파일의 LASeR SAF 패킷 구조를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 ISO 기반 미디어 파일 구조의 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 미디어 파일을 포함하는 콘텐츠 저작방법의 순서를 도시한 흐름도이다.
도 9는 본 발명의 일실시예에 따른 미디어 파일을 포함하는 콘텐츠 재생방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 발명은 상기 장면 기술자에서 MPEG-2 전송스트림을 입력 미디어로 사용할 수 있게 하여, 장면기술 구성에서 MPEG-2 전송스트림을 그대로 이용할 수 있게 하는 것을 해결과제로 하고 있다.
또한, 본 발명은 이미 MPEG-2 역다중화기를 포함하고 있는 단말의 경우, 기존 단말의 MPEG-2 역다중화기를 수정하지 않고 장면 기술자를 처리하는 모듈을 전처리 모듈 추가만을 통해 여러 장면 언어를 처리할 수 있어 장면 기술자를 실제 상용화 모델에 용이하게 적용하는 것을 목적하고 있다.
이러한 목적을 달성하기 위해 본 발명에 의해 MPEG-2 전송스트림을 포함하는 콘텐츠를 저작 및 재생하기 위한 일반적 구조는 다음과 같다.
본 발명은 복수의 MPEG-2 전송스트림을 입력 미디어로 사용하여 장면을 저작하고, 상기 저작된 장면을 하나의 미디어 파일에 포함하는 콘텐츠 저작장치와, 상기 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 해석하여 출력하는 콘텐츠 재생장치를 구성으로 포함한다.
도 1은 본 발명의 일실시예에 따른 콘텐츠 저작장치를 도시한 블록도이다.
도 1을 참조하면, 콘텐츠 저작장치(100)는 미디어 입력부(110), MPEG-2 TS 해석부(120), 장면 저작부(130), 파일 부호화부(140)를 포함하여 구성할 수 있다. 저장장치(150)는 도 1과 같이 콘텐츠 저작장치(100) 내에 포함되어 구성될 수 있고, 다른 실시예로서 콘텐츠 저작장치(100)와 별개의 외부에 설치될 수도 있다.
도 1의 콘텐츠 저작장치(100)는 장면 기술자를 이용하여 장면을 구성하고, 상기 구성된 장면을 미디어 파일에 배치하는 장치이다.
우선, 미디어 입력부(110)는 하나 또는 복수 개의 MPEG-2 전송스트림을, 저작을 위한 화면 상에 입력하는 기능을 수행한다. 즉, 미디어 입력부(110)는 단수 또는 복수의 MPEG-2 전송스트림을 입력 받는 기능을 수행한다. 여기서, MPEG-2 전송스트림은 장면 기술자를 포함할 수 있다.
MPEG-2 TS 해석부는(120)는 상기 입력된 MPEG-2 전송스트림에 대한 구조 및 정보를 추출하는 기능을 수행한다. 즉, MPEG-2 TS 해석부는(140)는 MPEG-2 전송스트림을 해석하여, 프로그램 맵 테이블(PMT: Program Map Table), 장면 기술자, 또는 접근 정보 중 적어도 하나를 추출할 수 있다.
장면 저작부(130)는 입력된 MPEG-2 전송스트림 및 기타 미디어를 이용하여 장면 배치 및 사용자 이벤트 등의 장면을 저작하고 이를 텍스트 또는 해석 가능한 형태로 저장하는 역할을 수행한다. 즉, 장면 저작부(130)는 상기 입력된 단일 또는 복수의 MPEG-2 전송스트림을 제어하고, 대화형 서비스 기능을 위한 장면을 구성하기 위해 장면 기술자를 이용하여 콘텐츠 내용을 구성한다.
예컨대, 장면 저작부(130)는 상기 입력된 DMB 전송스트림에 장면 기술자가 포함되지 않은 경우, 싱글 장면(single Scene) 구성기술을 이용하여 상기 MPEG-2 전송스트림을 제어하기 위한 메인장면을, 상기 장면으로서 포함시킬 수 있다.
또는, 장면 저작부(130)는 상기 입력된 MPEG-2 전송스트림에 장면 기술자가 포함되어 있는 경우, 다중 장면(Multiple Scene) 구성 기술을 이용하여 상기 MPEG-2 전송스트림을 제어하기 위한 메인장면을, 장면으로서 구성할 수 있다.
파일 부호화부(140)는 저작된 장면과 미디어로서의 MPEG-2 전송스트림 등을, 재생과 유통에 유용한 하나의 파일형태, 즉 미디어 파일로 변환하는 기능을 수행한다. 파일 부호화부(140)는 상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을 이용하여, 구조 정보를 포함하는 무브(moov) 박스부와 상기 구성된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷(mdat) 박스부를 포함하는 하나의 미디어 파일로 부호화할 수 있다.
여기서, 상기 미디어 파일은 ISO 기반 미디어 파일일 수 있다. 즉, 파일 부호화부(140)는 상기 구성된 장면을 이후에 만들어질 ISO 파일 내에 포함시키기 위해 이진화 형태로 부호화할 수 있다.
저장장치(150)는 장면 및 MPEG-2 전송스트림을, ISO 포맷 구조의 미디어 파일에 저장하는 기능을 한다. 본 발명의 콘텐츠 저작장치(100)는 상기 구성된 장면 및 상기 입력된 MPEG-2 전송스트림을 하나의 ISO 포맷 구조의 미디어 파일 형태로 부호화하는 ISO 파일 부호화부(도시하지 않음)를 더 포함하여 구성할 수 있다. 이 경우, 저장장치(150)는 상기 부호화된 미디어 파일을 저장할 수도 있다.
콘텐츠 저작장치(100)에 의한 저작 결과는 반드시 파일 형태로 변환될 필요는 없으며 본 발명의 파일 변환 예시는 발명의 설명 편의를 위한 방안으로 제안하는 것이다.
도 2는 본 발명의 일실시예에 따른 콘텐츠 재생장치를 도시한 블록도이다.
도 2를 참조하면, 콘텐츠 재생장치(200)는 상술의 저장장치(210), 파일 해석부(220), 장면 해석부(230), 장면 렌더러(240), MPEG-2 TS 해석부(250), PES 패킷 해석부(260), AV 복호화부(270), 및 AV 출력부(280)를 포함하여 구성할 수 있다.
콘텐츠 재생장치(200)는 저장장치(210)로부터 미디어 파일 또는 기타 다른 형태의 저작된 결과를 로딩한다. 저장장치(210)는 콘텐츠 저작장치(100)에 포함되는 저장장치(150)일 수 있고, 장면을 구성하여 저작된 결과를 미디어 파일 형태로 저장하는 역할을 한다.
파일 해석부(220)는 사용자가 재생하고자 하는 미디어 파일을 저장장치(210)로부터 로딩하고, 상기 로딩된 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하고, 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 상기 구분된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석한다. 즉, 파일 해석부(220)는 미디어 파일의 재생에 필요한 동작을 준비하는 역할을 수행할 수 있다.
예컨대, 파일 해석부(220)는 만약 저작 결과가 하나의 미디어 파일 형태로 저장되어, 미디어 파일 내 장면 기술자를 이용한 장면 구성이 존재하지 않는다면, MPEG-2 TS 해석부(250)를 제어하여, 파일 구조 해석을 통해 미디어 파일 내의 미디어 및 장면 저작 결과를 구분하고, 재생을 위해 해석되어야 할 미디어 파일 내의 구조를 해석하게 된다.
또는, 파일 해석부(220)는 로딩한 미디어 파일 내에 장면을 제어하기 위한 장면 기술자가 포함되어 있는 경우, 장면 해석부(230)로 전달하게 된다. 즉, 미디어 파일 내에 장면 기술자를 이용한 장면 구성이 존재한다면, 파일 해석부(220)는 장면 해석부(230)로 상기 로딩된 결과를 전달하고, 장면 해석부(230)에서 전체 장면의 구성 및 사용자 이벤트 등을 해석하게 된다.
장면 해석부(230)는 상기 미디어 파일에 렌더링하기 위한 장면이 어떻게 구성되어 있는지에 대한 장면을 파악하는 역할을 수행한다.
장면 해석부(230)를 통해 장면 구성에 대한 해석이 끝나면, 장면 렌더러(240)는 디스플레이 또는 외부 출력 장치에 해석된 장면과 해당 시간에 출력되어야 할 객체들을 렌더링 한다.
이때, 장면 구성에 MPEG-2 전송스트림이 존재하여 해석이 종료되지 않으면 MPEG-2 TS 해석부(250)는 해당 MPEG-2 전송스트림을 해석하여 각각의 PID에 해당하는 패킷을 PES 패킷 해석부(260)로 전송할 수 있다.
PES 패킷 해석부(260)는 전송된 PES(Packetized Elementary Stream) 패킷을 해석하여 각각의 미디어 타입에 맞는 미디어를 추출하여, 이를 AV 복호화부(270)로 전송하는 역할을 한다.
AV 복호화부(270)는 AV 미디어를 복호화하고, 복호화 된 미디어 데이터들을 AV 출력부(280)로 전송하는 역할을 한다. 즉, AV 복호화부(270)는 상기 분리된 AV 데이터를 복호화하고, 상기 해석된 장면에 따라 AV 출력부(280)를 통해 재생한다.
AV 출력부(280)는 장면 렌더러(240)에 의한 각각의 렌더링 시간이나 사용자 이벤트 조작을 통해 동기를 맞춰 상기 복호화된 AV 미디어를 출력하는 역할을 한다.
도 3은 장면 기술자와 AV를 포함하는 일반적인 MP4 파일 구조를 도시한 도면이다.
도 3을 참조하면, MP4 파일(300)은 ISO 기반 미디어 파일의 일종으로, DMB-AF 파일을 만드는 근간이 되는 파일 구조이며, DMB-AF(Digital Multimedia Broadcasting Application Format)와 마찬가지로 미디어 포맷들을 기술한 무브 박스부(moov, 310)와 실제 데이터들을 포함하는 엠닷 박스부(mdat, 320)로 구성된다. 미디어들의 접근정보 및 해석정보들은 무브 박스부(310)의 트랙 박스와 기타 하위박스에 포함될 수 있다. 실제 미디어들은 엠닷 박스부(320)에 포함되어 해석된 장면에 따라 해당 시간에 렌더링된다.
도 4는 BIFS를 이용하여 다중 장면을 구성하는 일례를 도시한 도면이다.
도 4를 참조하면, 콘텐츠(400)는 IOD(401), BIFS(402), OD(403), 및 AV 미디어로 구성되어 있다. 장면 기술자의 장면을 해석하기 위해서는 먼저 초기 객체 기술자(IOD: Initial Object Descripter, 401)의 해석을 먼저 수행한다. 초기 객체 기술자(401)는 장면 기술자(BIFS: Binary Format for Scenes, 402)와 장면 내의 객체 기술자(OD: Object Descripter, 403)의 기초 스트림 식별자(ES_ID)를 포함하고 있다. 복수개의 장면으로 구성된 장면에서는 장면 기술자(402)의 저작내용에 Inline 같은 방법을 통해, 다른 콘텐츠(410)를 하위장면으로 지정할 수 있다. 이에 따라, 임의의 콘텐츠 장면을 렌더링하면서 다른 콘텐츠의 장면을 그 장면의 하위 장면으로 렌더링하는 것을 가능하게 한다.
일반적으로 장면 기술자를 이용하여 저작된 결과는 장면 구성의 저작 정보와 장면구성에 사용된 미디어들이며, 장면 저작 정보에는 실제 미디어의 링크 정보가 기술되어 있다.
최초 사용자가 MPEG-4 시스템의 장면을 전달 받았을 때 해석되는 정보로는 초기 객체 기술자(401)이며, 초기 객체 기술자(401)에는 장면 구성에 필요한 초기화 정보 및 장면 정보인 장면 기술자의 기초 스트림 식별자(ES_ID) 및 장면에 렌더링 될 객체 정보인 객체 기술자(403)의 기초 스트림 식별자가 기술되어 있다.
초기 객체 기술자(401)의 기초 스트림 식별자 해석을 통해 MPEG-4 시스템 복호화기는 장면 기술자와 객체 기술자(403)의 기초 스트림 식별자를 획득할 수 있으며 획득된 ES_ID에 따라 MPEG-4 시스템 복호화기는 먼저 장면 기술자 스트림(Scene Descriptor Stream)을 해석하여 장면 구성 정보를 획득할 수 있다. 또한, 장면 내의 객체는 연결된 객체 기술자 스트림(Object Descriptor Stream)을 통해 해당 미디어 객체의 정보를 획득할 수 있다.
각각의 ES_Descriptor에는 미디어 객체의 ES_ID와 복호화 정보를 포함하고 있으며, MPEG-4 시스템 복호화기는 이를 통해 실제 미디어를 미디어 복호화기에 연결하고 장면상에 복호화된 미디어를 렌더링 하게 된다.
장면 기술자의 기본 개념은 MPEG-4 시스템과 유사하나 MPEG-4 시스템이 기존 장면 기술자들에 AV가 각각 별개의 객체로 연결되어 장면 기술자에서 제공하는 별도의 시스템을 동기화 하는 것과는 달리, 본 발명의 장면 기술자는 MPEG-2 전송스트림을 하나의 미디어로 간주하여 연결하고, 장면 기술자는 MPEG-2 전송스트림의 시작 및 정지, 임의시간 접근에 대한 처리만을 담당하며 MPEG-2 전송스트림 내의 미디어 동기화는 MPEG-2 역다중화기가 담당하게 된다.
상술한 것처럼 기존의 장면 기술자에서는 MPEG-2 전송스트림을 미디어로 처리할 수 있는 방법이 없기 때문에 이를 수용하기 위해서는 몇 가지 변경 사항이 요구된다.
먼저, 장면 기술자에서는 MPEG-2 전송스트림을 수용하기 위한 MIME Type의 정의가 필요하다.
MIME Type은 기술되어 있는 데이터의 인식자를 지칭하고, 시스템은 이를 통해 기술된 객체가 비디오 객체인지, 오디오 객체인지, 기타 다른 객체인지를 판단할 수 있다.
또한, 장면 기술자에 새로운 미디어 해석을 위해서는 미디어 해석을 위한 복호화 정보를 추가해야 하는 경우도 있다. 이를 위한 일례로 MPEG-4 시스템에서는 객체 기술자와 관련된 부분을 수정해야 하는데 객체 기술자내의 DecoderConfigDescriptor의 objectTypeIndication과 streamtype에 MPEG-2 전송스트림을 수용할 수 있도록 새로운 선언을 추가해 주어야 한다.
도 5는 MPEG-2 전송스트림 복호화를 위한 Decoder_Specific_Info를 정의하는 일례를 도시한 도면이다.
도 5를 참고하면, MPEG 장면 기술자에서 MPEG-2 전송스트림을 미디어로 간주하여 대화형 콘텐츠를 구성하기 위해서는 기존의 MPEG-4 시스템의 '객체 기술자(Object Descriptor)'관련 부분을 수정해야 하며, 특히 객체 기술자의 DecoderConfigDescriptor의 objectTypeIndication과 streamtype에 MPEG-2 전송스트림을 수용할 수 있도록 선언해 주어야 한다. 또한, MPEG-2 전송스트림을 복호화하기 위하여, DecoderSpecificInfo를 기술하며, MPEG 전송스트림을 위한 DecoderSpecifcInfo는 도시한 바와 같다.
BIFS나 LASeR의 장면 기술자로 구성된 장면인 장면 기술자를 포함하지 않는 일반적인 MPEG-2 전송스트림을 ISO 기반 파일에 저장하고, 이를 BIFS를 통해 제어하기 위해서는, 상기 기술한 것처럼 객체 기술자의 일부 항목만 바꾸면 미디어 파일 내에 MPEG-2 전송스트림의 개수가 몇개이던지 상관없이 기존의 MP4 파일방식에서 장면 기술자를 이용하여 콘텐츠를 구성하는 것과 같이 ISO 기반 미디어 파일을 생성할 수 있다.
그러나, MPEG-2 전송스트림의 경우, 이미 MPEG-2 전송스트림 내부에 초기 객체 기술자(IOD), 장면 기술자(BIFS), 객체 기술자(OD)를 포함하고 있기 때문에, 일반적인 방법으로 장면 기술자를 이용하여 장면을 구성할 경우 메인 장면 기술자 및 메인 객체 기술자와 MPEG-2 전송스트림 내에 포함되어 있는 장면 기술자, 객체 기술자가 충돌하게 된다.
이를 해결하기 위해 본 발명에서는 MPEG BIFS 및 LASeR에서 사용하는 다중 장면 구성 방법을 사용하여 장면을 구성한다.
기존 MPEG 표준의 ISO-FF(File Format)과의 호환을 위해 ISO 기반 미디어 파일 내에 정의된 MPEG-2 Sample Entry box를 참조한다. data syntax는 MPEG-2 전송스트림의 성격에 따라 추가되는 박스 내용이 달라질 수 있으며 기본적으로 추가되어야 할 data는 실제 MPEG-2 전송스트림의 PAT, 프로그램 맵 테이블(PMT) 데이터이며, 만약 MPEG-2 전송스트림에 접근하기 위해 추가 데이터가 필요하다면 새로운 데이터를 추가할 수 있다.
예컨대 MPEG-2 전송스트림이 지상파 DMB 스트림일 경우 MPEG-2 전송스트림에 임의로 접근하여 재생을 하기 위해서는 PAT, 프로그램 맵 테이블 이외에 객체 기술자, 장면 기술자 등의 해석이 필요한데, 이때 필요한 객체 기술자, 장면 기술자를 추가 데이터로 정의하면 된다.
또 다른 실시예로 MPEG LASeR에서 MPEG-2 전송스트림을 사용하기 위한 방법은 다음과 같다.
LASeR 에서는 AV 동기화 재생을 위해 SAF 또는 ISO 포맷 구조의 미디어 파일 포맷을 사용하고 있는데, SAF는 여러 다양한 네트워크 프로토콜에서 사용할 수 있도록 LASeR 언어를 이용한 장면 구성 객체들을 접근단위로 구성하여 패키징한 형태의 파일이며 그 패킷 구조를 도 6에 도시한다.
도 6은 장면 구성 객체들을 접근단위로 구성하여 패키징한 형태의 파일의 LASeR SAF 패킷 구조를 설명하기 위한 도면이다.
MPEG-4 시스템과 마찬가지로 LASeR에서 MPEG-2 전송스트림을 적용하기 위해서는 SAF 패킷 헤더에 MPEG-2 전송스트림 해석을 위한 정보를 추가해야 한다. 이를 위한 SAF Packet Header 정보 기술에 있어 본 발명에서는 기존 MPEG-2 전송스트림 내의 동기화 정보를 그대로 이용하여 SAF Packet Header를 기술하는 방법을 사용한다.
도 6의 randomaccessPointFlag 값은 MPEG-2 전송스트림 헤더의 adaptation field의 random access Indicator flag를 가져와 기술한다. 그리고 sequenceNumber는 기존 SAF 패킷 헤더 구성 방법을 그대로 이용하며 compositionTimeStamp 기술은 PES 패킷 헤더의 CTS값을 이용하는 것을 기본으로 하나, 이는 PES 패킷까지의 해석이 필요하므로 PCR 값을 이용하여 기술하는 것도 허용한다.
또한 accessUnitLength 기술은 MPEG-2 전송스트림의 비디오 PES 패킷 또는 오디오 PES 패킷의 페이로드 유닛 시작 지시부(payload unit start indicator)가 1인 패킷으로부터 다음 같은 타입의 PES의 페이로드 유닛 시작 지시부가 1인 패킷 전까지를 하나의 접속 유닛(access unit)으로 처리하는 방법을 사용하거나, MPEG-2 전송스트림의 하나의 패킷을 하나의 접속 유닛으로 처리하는 방법도 가능하다.
장면 기술자를 사용하여 미디어들을 이용한 장면 구성에는 하나 이상의 AV 미디어를 포함하는 경우가 있다. 예를 들어 MPEG-4 BIFS 및 LASeR 에서는 여러 개의 AV 미디어를 이용하여 하나의 장면을 구성하는 것을 허용하고 있다. 만약 MPEG-2 전송스트림을 미디어로 간주하여 장면 기술자 내에서 허용한다면 일반적인 MPEG-2 전송스트림일 경우라도 AV 미디어가 복수 개 입력 되어도 일반 미디어처럼 처리할 수 있다.
그러나 장면 기술자에 MPEG-2 전송스트림을 미디어로 간주하여 처리할 때 지상파 DMB와 같이 MPEG-2 전송스트림 내에 장면 기술자를 이미 포함하고 있는 경우라면, 즉 장면을 구성하는 장면 기술자와 MPEG-2 전송스트림 내에 포함되어 있는 장면 기술자가 동일 하다면, 두 개의 장면 기술자가 충돌하는 현상이 발생한다.
본 특허에서는 이러한 MPEG-2 전송스트림의 내용이 이미 장면 기술자로 구성되어 있는 경우, 상위 장면 기술자와의 충돌을 위해 Multiple Scene 구성 방법을 사용한다.
본 발명의 다른 실시예로서, 여러 개의 장면 기술자를 포함하는 다중 장면(Multiple Scene) 구성을 설명한다.
먼저 MPEG-4 Systems를 이용한 콘텐츠는 크게 초기 객체 기술자(IOD), 장면 기술자(BIFS), 객체 기술자(OD), 오디오 비주얼(AV) 미디어로 구성될 수 있다.
장면 기술자의 장면을 해석하기 위해서는 먼저 초기 객체 기술자(IOD)의 해석을 먼저 수행한다. 초기 객체 기술자에는 장면 기술자와 장면 내의 객체 기술자의 기초 스트림 식별자(ES_ID)를 포함하고 있다. 복수 개의 장면으로 구성된 장면에서는 장면 기술자의 저작내용에, Inline 또는 기타 방법을 통해 또 다른 콘텐츠를 하위 장면으로 지정할 수 있다. 이 경우 MPEG-4 시스템 복호화기는 메인 장면을 렌더링 하면서 메인 장면에서 지정한 또 다른 장면을 하위 장면으로 메인 장면 내에서 렌더링 하는 것이 가능하게 한다.
장면 기술자를 사용하여 저작된 콘텐츠는 일반적으로 관리 및 유통, 재생을 위해 하나의 파일 형태로 패키징 되는 것이 일반적이다. 이는 파일 구조를 사용하면 장면 기술자와 MPEG-2 전송스트림을 링크정보만 가지고 독립적으로 동작시키는 것에 비해 콘텐츠 해석, 임의시간 접근 재생에 큰 장점을 제공하기 때문이다.
도 7은 본 발명의 일실시예에 따른 ISO 기반 미디어 파일 구조의 일례를 도시한 도면이다.
도 7에서는 지상파 DMB 전송스트림과 같이 장면 기술자를 이미 포함하고 있는 MPEG-2 전송스트림을 동일한 장면 기술자로 장면 저작시 미디어로 포함하고 이를 ISO 기반의 미디어 파일로 저작하는 구성 예를 도시한다.
본 발명의 도 7에 나타난 MPEG-2 전송스트림 구조는 지상파 DMB에 대한 일례이며, LASeR 와 같은 다른 장면 기술자의 경우에는 MPEG-2 전송스트림의 구조는 변할 수 있으나 기본 동작은 동일하다.
ISO 기반 파일 구조는 포함되는 미디어 정보 및 상기 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와 실제 미디어들을 포함하는 엠닷 박스부의 구조로 구성된다. 무브 박스부에는 AV 미디어들에 대한 복호화 정보, 임의시점 접근정보 및 미디어들간의 동기화 정보가 포함되며 실제 미디어들은 엠박 박스부에 포함되어 해석된 장면 정보에 따라 해당 시간에 렌더링 되는 기능을 수행한다.
파일 저작에 있어 사용자는 이미 획득된 단일 또는 복수의 MPEG-2 전송 전송스트림을 장면 저작도구를 이용하여 두 개의 장면을 제어하기 위한 메인 장면 기술자를 구성하고 하나의 파일(700)로 부호화 한다. 파일의 메인 장면 기술자에는 DMB 전송스트림들을 제어하기 위한 구조로 장면이 저작되어 있다.
이 파일의 재생 순서로는 먼저 파일 해석부가 파일의 무브 박스부의 구조를 복호화하여 파일 내의 구조를 파악한다. 수신장치는 파일 내의 초기 객체 기술자(IOD, 701)를 해석하여 파일 메인 장면 기술자와 객체 기술자의 기초 스트림 식별자(ES_ID)를 획득한다. 수신기는 이를 통해 메인 장면 기술자 트랙(702)와 메인 객체 기술자 트랙(703) 정보를 획득하고 실제 장면 기술자 트랙(702)와 객체 기술자 트랙(703) 해석을 통해 메인 장면의 일부로 파일 내의 MPEG-2 전송스트림들이 연결되어 있음을 인지한다.
복수개의 DMB 전송스트림의 재생 순서 선택과 시작은 메인 장면의 동작을 통해 선택된다. 화면에 렌더링 된 장면의 사용자 이벤트 의해 DMB 전송스트림이 선택된다면 그 동작은 다음과 같다.
해당 전송스트림은 메인 장면의 하위 장면으로 구성되어 있으며, 먼저 DMB AF 파일 구조에서는 DMB 전송스트림의 빠른 해석을 위해 Track 헤더에 전송스트림의 프로그램 맵 테이블과 객체 기술자를 직접 포함하거나 전송스트림에서의 위치를 참조 하도록 하고 있다. 이 때문에 메인 장면 기술자에서 하위 장면을 동작 시킬 때 수신기는 MPEG-2 TS 트랙 박스(704)의 초기 객체 기술자(IOD) 및 객체 기술자(OD) 해석을 통해 실제 DMB 전송스트림(706)에 접근할 수 있으며, 또한 DMB 전송스트림의 BIFS 및 AV를 복호화 및 메인 장면 기술자의 하위 장면으로 렌더링 할 수 있다. 이러한 동작은 파일 내에 복수 개의 DMB 전송스트림(705)이 존재하더라도 동일하게 적용될 수 있다.
도 8은 본 발명의 일실시예에 따른 미디어 파일을 포함하는 콘텐츠 저작방법의 순서를 도시한 흐름도이다.
도 8을 참조하면, 단계 801에서, 콘텐츠 저작방법은 복수의 MPEG-2 전송스트림을 입력받는다.
단계 802에서, 상기 콘텐츠 저작방법은 장면 기술자를 이용하여 상기 입력된 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성한다. 이때, 상기 콘텐츠 저작방법은 상기 복수의 MPEG-2 전송스트림과 연관된 장면구조 및 사용자 이벤트를 상기 장면으로 구성할 수 있다. 또는, 상기 콘텐츠 저작방법은 상기 입력된 MPEG-2 전송스트림을 해석하여 상기 장면 기술자를 추출하고, 상기 추출된 장면 기술자에 의한 다중 장면 구성 방법을 이용하여 상기 장면을 구성할 수 있다.
단계 803에서, 상기 콘텐츠 저작방법은 상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을, 무브 박스부와 엠닷 박스부를 포함하는 하나의 미디어 파일로 부호화한다. 실시예로, 무브 박스부는 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하여 미디어 정보 및 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 것이다. 또한, 엠닷 박스부는 상기 구성된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 것이다.
즉, 상기 콘텐츠 저작방법은 상기 MPEG-2 전송스트림을 제어하기 위한 구조로, 저작된 상기 장면을 보관하는 메인 장면 기술자를 포함하는 엠닷 박스부로 상기 미디어 파일을 부호화할 수 있다.
또한, 상기 콘텐츠 저작방법은 해석을 통해, 상기 장면의 일부로서 ISO 포맷 구조의 미디어 파일 내 MPEG-2 전송스트림 간에 상호 연결되는지를 인지하기 위한 장면 기술자 트랙 및 객체 기술자 트랙과, 해석을 통해, 상기 장면 기술자 트랙 및 객체 기술자 트랙에 대한 기초 스트림 식별자를 획득하기 위한 초기 객체 기술자를 포함하는 무브 박스부로 상기 미디어 파일을 부호화할 수 있다.
도 9는 본 발명의 일실시예에 따른 미디어 파일을 포함하는 콘텐츠 재생방법의 순서를 도시한 흐름도이다.
도 9을 참조하면, 단계 901에서, 콘텐츠 재생방법은 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분한다. 이때, 상기 콘텐츠 재생방법은 상기 미디어 파일에 장면이 포함된 경우, 상기 장면으로부터 장면구조, 사용자 이벤트, 및 렌더링 시간을 해석하고, 상기 해석된 상기 장면구조, 사용자 이벤트, 또는 렌더링 시간 중 적어도 하나에 기초하여 객체들을 렌더링할 수 있다. 또한, 상기 콘텐츠 재생방법은 상기 복수의 MPEG-2 전송스트림에 장면 기술자가 존재하는 경우, 하위장면 렌더링을 위한 상기 장면 기술자를 해석할 수 있다.
단계 902에서, 상기 콘텐츠 재생방법은 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하여 미디어 정보 및 상기 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 '무브 박스부'와, 상기 구분된 장면에 따라 해당 시간에 렌더링 되는 실제 미디어를 포함하는 '엠닷 박스부'의 구조를 해석하여 복호화한다.
단계 903에서, 상기 콘텐츠 재생방법은 상기 복수의 MPEG-2 전송스트림을 해석하여 PES 패킷을 추출한다.
단계 904에서, 상기 콘텐츠 재생방법은 상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출한다.
단계 905에서, 상기 콘텐츠 재생방법은 상기 AV 미디어를 복호화한다.
단계 906에서, 상기 콘텐츠 재생방법은 상기 복호화된 AV 미디어를 출력한다. 즉, 상기 콘텐츠 재생방법은 장면 렌더러에 의한 각각의 렌더링 시간이나 사용자 이벤트 조작을 통해 동기를 맞춰 상기 복호화된 AV 미디어를 출력할 수 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 복수의 MPEG-2 전송스트림을 입력받는 미디어 입력부;
    장면 기술자를 이용하여 상기 입력된 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 장면 저작부; 및
    상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을 이용하여, 구조 정보를 포함하는 무브(moov) 박스부와 상기 구성된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷(mdat) 박스부를 포함하는 하나의 미디어 파일로 부호화하는 파일 부호화부
    를 포함하는 콘텐츠 저작장치.
  2. 제1항에 있어서,
    상기 엠닷 박스부는,
    상기 MPEG-2 전송스트림을 제어하기 위한 구조 정보로, 상기 구성된 장면을 보관하는 메인 장면 기술자를 포함하는, 콘텐츠 저작장치.
  3. 제1항에 있어서,
    상기 무브 박스부는,
    상기 구성된 장면의 일부로서 상기 미디어 파일 내 MPEG-2 전송스트림 간에 상호 연결되는지를 인지하기 위한 장면 기술자 트랙과 객체 기술자 트랙; 및
    상기 장면 기술자 트랙과 상기 객체 기술자 트랙에 대한 기초 스트림 식별자를 획득하기 위한 초기 객체 기술자를 포함하는, 콘텐츠 저작장치.
  4. 제1항에 있어서,
    상기 장면 저작부는,
    상기 입력된 MPEG-2 전송스트림과 연관된 장면구조 및 사용자 이벤트를 상기 장면으로 구성하는, 콘텐츠 저작장치.
  5. 제1항에 있어서,
    상기 입력된 MPEG-2 전송스트림을 해석하여 상기 장면 기술자를 추출하는 MPEG-2 TS 해석부
    를 더 포함하고,
    상기 장면 저작부는,
    상기 추출된 장면 기술자에 의한 다중 장면(Multiple Scene) 구성 방법을 이용하여 상기 장면을 구성하는, 콘텐츠 저작장치.
  6. 저장장치로부터 미디어 파일을 로딩하고, 상기 로딩된 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하고, 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 상기 구분된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석하는 파일 해석부;
    상기 복수의 MPEG-2 전송스트림을 해석하여 PES(Packetized Elementary Stream) 패킷을 추출하는 MPEG-2 TS 해석부;
    상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출하는 PES 패킷 해석부;
    상기 AV 미디어를 복호화하는 AV 복호화부; 및
    상기 복호화된 AV 미디어를 출력하는 AV 출력부
    를 포함하는 콘텐츠 재생장치.
  7. 제6항에 있어서,
    상기 파일 해석부는, 상기 미디어 파일에 장면이 포함된 경우, 장면 해석부로 전달하고,
    상기 전달된 장면으로부터 장면구조, 사용자 이벤트, 및 렌더링 시간을 해석하는 장면 해석부; 및
    상기 해석된 상기 장면구조, 사용자 이벤트, 또는 렌더링 시간 중 적어도 하나에 기초하여 객체들을 렌더링하는 장면 렌더러
    를 더 포함하는 콘텐츠 재생장치.
  8. 제7항에 있어서,
    상기 MPEG-2 전송스트림에 장면 기술자가 존재하는 경우,
    상기 장면 해석부는,
    하위장면 렌더링을 위한 상기 장면 기술자를 해석하는, 콘텐츠 재생장치.
  9. 복수의 MPEG-2 전송스트림을 입력받는 단계;
    장면 기술자를 이용하여 상기 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 단계; 및
    상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을, 미디어 파일의 구조 정보를 포함하는 무브 박스부와, 해석된 장면 정보에 따라 해당 시간에 렌더링 되는 실제 미디어를 포함하는 엠닷 박스부를 포함하는 하나의 미디어 파일로 부호화하는 단계
    를 포함하는 콘텐츠 저작방법.
  10. 제9항에 있어서,
    미디어 파일로 부호화하는 단계는,
    상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조로, 저작된 상기 장면을 보관하는 메인 장면 기술자를 포함하는 엠닷 박스부로 상기 미디어 파일을 부호화하는 단계
    를 포함하는 콘텐츠 저작방법.
  11. 제9항에 있어서,
    미디어 파일로 부호화하는 단계는,
    상기 장면의 일부로서 ISO 포맷 구조의 미디어 파일 내 복수의 MPEG-2 전송스트림 간에 상호 연결되는지를 인지하기 위한 장면 기술자 트랙 및 객체 기술자 트랙과, 상기 장면 기술자 트랙과 상기 객체 기술자 트랙에 대한 기초 스트림 식별자를 획득하기 위한 초기 객체 기술자를 포함하는 무브 박스부로 상기 미디어 파일을 부호화하는 단계
    를 포함하는 콘텐츠 저작방법.
  12. 제9항에 있어서,
    상기 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 단계는,
    상기 복수의 MPEG-2 전송스트림과 연관된 장면구조 및 사용자 이벤트를 상기 장면으로 구성하는 단계
    를 포함하는 콘텐츠 저작방법.
  13. 제9항에 있어서,
    상기 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 단계는,
    상기 복수의 MPEG-2 전송스트림을 해석하여 상기 장면 기술자를 추출하는 단계; 및
    상기 추출된 장면 기술자에 의한 다중 장면 구성 방법을 이용하여 상기 장면을 구성하는 단계
    를 포함하는 콘텐츠 저작방법.
  14. 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하는 단계;
    상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 해석된 장면 정보에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석하는 단계;
    상기 복수의 MPEG-2 전송스트림을 해석하여 PES 패킷을 추출하는 단계;
    상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출하는 단계;
    상기 AV 미디어를 복호화하는 단계; 및
    상기 복호화된 AV 미디어를 출력하는 단계
    를 포함하는 콘텐츠 재생방법.
  15. 제14항에 있어서,
    상기 미디어 파일에 장면이 포함된 경우, 상기 장면으로부터 장면구조, 사용자 이벤트, 및 렌더링 시간을 해석하는 단계; 및
    상기 해석된 상기 장면구조, 사용자 이벤트, 또는 렌더링 시간 중 적어도 하나에 기초하여 객체들을 렌더링하는 단계
    를 더 포함하는 콘텐츠 재생방법.
  16. 제14항에 있어서,
    상기 MPEG-2 전송스트림에 장면 기술자가 존재하는 경우,
    하위장면 렌더링을 위한 상기 장면 기술자를 해석하는 단계
    를 더 포함하는 콘텐츠 재생방법.
KR1020100029007A 2009-12-22 2010-03-31 장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법 KR101324427B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/518,598 US20120269256A1 (en) 2009-12-22 2010-10-14 Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description
PCT/KR2010/007018 WO2011078470A2 (ko) 2009-12-22 2010-10-14 장면 기술자를 이용하여 mpeg-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090128603 2009-12-22
KR20090128603 2009-12-22

Publications (2)

Publication Number Publication Date
KR20110073174A true KR20110073174A (ko) 2011-06-29
KR101324427B1 KR101324427B1 (ko) 2013-10-31

Family

ID=44404000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100029007A KR101324427B1 (ko) 2009-12-22 2010-03-31 장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법

Country Status (2)

Country Link
US (1) US20120269256A1 (ko)
KR (1) KR101324427B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014208972A1 (en) * 2013-06-24 2014-12-31 Samsung Electronics Co., Ltd. Method and apparatus for converting content in multimedia system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220150296A1 (en) * 2019-03-15 2022-05-12 Nokia Technologies Oy Method and apparatus for grouping entities in media content

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200336A1 (en) * 2002-02-15 2003-10-23 Suparna Pal Apparatus and method for the delivery of multiple sources of media content
WO2008048046A1 (en) * 2006-10-17 2008-04-24 Electronics And Telecommunications Research Institute Combined file format for digital multimedia broadcasting (dmb) content, method and apparatus for handling dmb content of this format
EP2145471A4 (en) * 2007-04-04 2011-03-30 Korea Electronics Telecomm STORAGE / RELEASE METHOD AND APPARATUS FOR MPEG-2 TRANSPORT STREAM BASED ON ISO MULTIMEDIA FILE FORMAT

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014208972A1 (en) * 2013-06-24 2014-12-31 Samsung Electronics Co., Ltd. Method and apparatus for converting content in multimedia system
US9398351B2 (en) 2013-06-24 2016-07-19 Samsung Electronics Co., Ltd. Method and apparatus for converting content in multimedia system

Also Published As

Publication number Publication date
KR101324427B1 (ko) 2013-10-31
US20120269256A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
KR101516325B1 (ko) Ｉｓｏ 기반 미디어 파일 포맷으로 ｍｐｅｇ－２전송스트림을 저장 및 재생하는 방법 및 장치
JP6062363B2 (ja) ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体
AU761408B2 (en) Verification apparatus, verification method, verification system, and storage medium
KR20170023870A (ko) 데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송
US20110019870A1 (en) Embedding interactive data into an audiovisual content by watermarking
US20140310762A1 (en) Receiving device and method of controlling the same, distribution device and distribution method, program, and distribution system
US20230043987A1 (en) Image processing apparatus and method
KR101257386B1 (ko) 통합 멀티미디어 파일 구조를 이용한 3ｄ 멀티미디어콘텐츠 서비스 시스템 및 방법
KR20230050292A (ko) 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
EP3404927A1 (en) Information processing device and information processing method
KR101324427B1 (ko) 장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법
US10115432B2 (en) Method and apparatus for constructing sensory effect media data file, method and apparatus for playing sensory effect media data file, and structure of the sensory effect media data file
CN107925790B (zh) 接收设备、发送设备和数据处理方法
Calixto et al. Analysis of coexistence of ginga and hbbtv in dvb and isdb-tb
JPWO2005060259A1 (ja) Ａｖコンテンツをダウンロード型のファイル形式で配信する方法および装置
WO2011078470A2 (ko) 장면 기술자를 이용하여 mpeg-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법
Pinheiro et al. Providing DTV Play’s Services with a Multimedia Processing Stack Based on GStreamer
KR101732803B1 (ko) 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치
Mai et al. DVB-MHP iTV to Blu-ray system information transcoding
KR102130733B1 (ko) 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치
KR20040016566A (ko) 엠펙 멀티미디어 컨텐츠의 그룹메타데이터 표현방법 및그의 재생단말기
WO2009045051A2 (en) Method for providing initial behavior of multimedia application format content and system therefor
Fevrier et al. Mastering the Integrity of Technical Information in Tapeless Production and Long-Term Archives
Fevrier et al. Mastering the Integrity of Technical Information in Tapeless Production and Long-Term Archives
EP2643974A1 (en) A method and apparatus for controlling a display on a host device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170822

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181010

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 7