KR20070117598A - 오디오/비디오 스트림에서의 보조데이터 다중화방법 - Google Patents

오디오/비디오 스트림에서의 보조데이터 다중화방법 Download PDF

Info

Publication number
KR20070117598A
KR20070117598A KR1020077021263A KR20077021263A KR20070117598A KR 20070117598 A KR20070117598 A KR 20070117598A KR 1020077021263 A KR1020077021263 A KR 1020077021263A KR 20077021263 A KR20077021263 A KR 20077021263A KR 20070117598 A KR20070117598 A KR 20070117598A
Authority
KR
South Korea
Prior art keywords
audio
transport stream
video data
video
generating
Prior art date
Application number
KR1020077021263A
Other languages
English (en)
Inventor
코엔 제이. 지. 홀트만
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070117598A publication Critical patent/KR20070117598A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

오디오 비디오 전송 스트림을, 오디오 비디오 데이터 프래그먼트로 이루어진 시퀀스로부터 실시간으로 생성하되, 상기 시퀀스로부터의 오디오 비디오 데이터 프래그먼트가 가변 비트 길이와 소정의 프리젠테이션 시간 길이를 갖는, 오디오 비디오 전송 스트림의 실시간 생성방법으로서, 상기 오디오 비디오 데이터 프래그먼트들을 실시간으로 생성 또는 수신하는 단계와, 상기 오디오 비디오 데이터 프래그먼트들을 생성 또는 수신하는 순서로 상기 오디오 비디오 데이터 프래그먼트들과 함께 어셈블링하여서 상기 오디오 비디오 전송 스트림을 생성하는 단계와, 차후의 오디오 비디오 데이터 프래그먼트들에 해당하는 오디오 비디오 전송 스트림의 차후의 부분들 사이에 패딩 데이터를 삽입하는 단계를 포함하고, 상기 차후의 부분들 사이의 패딩 데이터의 양을, 오디오 비디오 전송 스트림의 상기 차후의 부분들의 시작의 위치들간의 거리가 소정의 비트 길이에 해당하도록 선택한다.
재생장치, 라이브 신호, 전송 스트림, 프래그먼트, 어셈블링.

Description

디지털 신호의 라이브 제출방법{Method of live submitting a digital signal}
본 출원은 오디오 비디오 전송 스트림을 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스로부터 실시간으로 생성하는 방법, 상기 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 방법, 게임 엔진에서의 상기 방법들의 용도, 실시간으로 데이터 스트림에 의해 디지털 신호를 제출하는 방법, 수신된 디지털 신호의 실시간 재생방법에 관한 것이다. 또한, 본 출원은, 오디오 비디오 전송 스트림을 실시간으로 생성하는 장치, 상기 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 장치, 디지털 신호를 제출하는 방송 시스템 및 디지털 신호를 수신 및 재생하는 재생 시스템에 관한 것이다.
새로운 형태의 민수용 전자제품이 계속 개발되고 있다. 인터넷 및 가정용 엔터테인먼트 시스템의 수렴에 많은 노력을 집중하고 있다. 중요한 영역은, 방송된 오디오 비디오 콘텐트를 국부적으로 사용가능한 오디오 비디오 콘텐트와 통합함으로써, 쌍방향성과 개선된 기능성이다. 유럽 MHP(멀티미디어 홈 플랫폼) 또는 US 데 이스(Dase) 플랫폼처럼 디지털 비디오 방송(DVB)의 영역에서의 몇몇 산업 토론 포럼에는, 기능성을 개선하기 위해 인터넷 자원의 용도가 개시된다.
예를 들면, 블루레이 플레이어/레코더 등과 같은 차세대 광 디스크 플레이어/레코더는 오디오 및 비디오 데이터를 스튜디오 웹 서버로부터 스트리밍하여 BD-ROM 플레이어에 의해 TV에 표시할 수 있는 기능성을 갖는다는 것을 생각하였다. 이러한 스트리밍은, 비디오 데이터를 서버 상에 다수의 작은 파일들로 분할한 후 이들 파일을 개별적으로 HTTP 리퀘스트를 거쳐 다운로드함으로써 발생한다. 재생된 후, 이들 작은 파일은 옵션으로 다시 삭제될 수 있다. 상기 스트리밍 방법도 '프로그레시브 재생목록'으로서 종래기술에 공지되어 있다.
데이터 구조:
주어진 인코딩 품위에 대한 보다 높은 압축레벨을 허용할 때, 오디오 비디오 콘텐트를 인코딩하는 바람직한 인코딩 방법은 가변율 인코딩이다. 따라서, 트릭-재생을 허용하기 위해서, 비디오 및 오디오 정보에 대한 메타데이터는 오디오 비디오 콘텐트에 추가하여 광 디스크에 저장된다. 예를 들면, 블루레이 판독전용 광 디스크(BD-ROM)일 경우에, 비디오 멀티플렉스에 관한 메타데이터는, 그 디스크의 별도의 파일에 저장된다. 아주 중요한 것은, 특징점 정보에 대응한 메타데이터가 클립 파일로서 공지된 별도의 파일에 저장된다는 것이다. 상기 특징점 정보는, 재생을 시간축 상의 점들과 전송 스트림 파일에서의 오프셋간의 매핑을 포함한다. 상기 특징점 정보는, 트릭 재생모드와, 상기 시간축 상의 특정 점부터 재생을 시작해야 하는 경우를 지원하는데 사용된다. 비디오 데이터를 갖는 전송 스트림 파일일 경우, 보통 상기 특징점 정보 매핑은 I 프레임마다 하나의 엔트리를 포함한다. 오디오 데이터만을 갖는 전송 스트림일 경우, 보통 상기 매핑은 규칙적인 간격으로 엔트리들을 포함한다. 상기 비디오의 완벽한 재생을 위해, 상기 '재생 엔진'은 세가지 레벨의 파일들: 재생목록, 클립 및 전송 스트림을 필요로 한다.
블루레이 애플리케이션을 위해 고안된 것과 같은 데이터 구조에 대한 보다 많은 정보는, 여기서 참고로 삽입된, 이하의 화이트 페이퍼: "블루레이 디스크 포맷: BD-RE용 2a-논리적 및 오디오 비쥬얼 포맷 사양"과 "블루레이 디스크 포맷: BD-ROM용 2b-논리적 및 오디오 비쥬얼 포맷 사양"에서 찾을 수 있다. 기록 가능형 포맷 상의 화이트 페이퍼(BD_RE)는, BD-ROM 포맷에도 적용가능한 클립 정보 파일들의 구조 및 내용들에 관한 상세한 정보를 포함한다.
데이터 구조 및 재생목록
도 1에는, 예를 들면 '프로그레시브 재생목록' 방법으로 스트리밍되어야 하는 예고편의 경우에 대응하는 상기 재생에 필요한 3개의 레벨의 파일들이 도시되어 있다. 다수의 작은 부분을 설명하는 풀(full) 예고편에 대응하는 최상부의 행에 하나의 재생목록 파일이 있다. 중간 행에는 작은 부분마다의 재생을 위해 사용된 메타데이터를 포함한 클립 파일들이 있고, 최하부에 작은 부분마다 전송 스트림 파일들이 있다.
상기 플레이어 구현을 가볍게 하기 위해 필요한 것은, 재생을 시작하기 전에 재생 메카니즘에 재생목록과 클립 파일들을 모두 이용한다는 것이다. 이들 파일은 어쨌튼 작아서, 그들 모두를 다운로드하는 것은 재생 시작을 아주 많이 지연하지는 않는다. 그렇지만,
a) 클립 파일들이 전송 스트림 파일들 내측에 정확한 바이트 위치에 대한 포인터를 포함해야 하고,
b) 최상위 번호 전송 스트림(mt2s) 파일들이 계속 기록되어야 하기 때문에 아직 사용 가능하지 않으므로,
라이브 스트리밍일 경우에는 문제점이 있다.
달리 말하면, 그 문제점은, 시작부터 사용가능해야 하는 클립 파일들에 있는 포인터와, 계속 기록되어야 하기 때문에 아직 사용가능하지 않은 전송 스트림 파일들에 있는 데이터를 정렬하는 방법이다.
(발명의 요약)
본 발명의 목적은, 상술한 문제점을 해결하는데 있다. 상기 목적은, 청구항 1에 인용된 것을 특징으로 하는 오디오 비디오 전송 스트림을 실시간으로 생성함으로써 달성된다. '실시간'이란 용어는, 종래기술에서는 약간 대충 사용된다. 본 발명에서는, 아래에 설명된 것처럼, 프리젠테이션 시간 길이와 비트 길이 모두가 미리 정해진 시점 후에 시작하는 기간(time period)으로서 '실시간'을 정의한다.
오디오 비디오 전송 스트림은, 상기 프래그먼트를 생성 또는 수신하는 순서로 가변 비트 길이 및 소정의 프리젠테이션 시간 길이의 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스와 함께 어셈블링함으로써 실시간으로 생성된다. 차후의 오디오 비디오 데이터 프래그먼트에 대응한 오디오 비디오 전송 스트림(즉, 오디오 또는 비디오 또는 양쪽을 포함한 전송 스트림)의 부분들을 패딩 데이터에 의해 분리하도록 상기 생성을 행한다. 차후의 부분들 사이에 패딩 데이터의 양은, 상기 차후의 부분들의 시작의 지점간의 거리가 소정의 비트 길이에 해당하도록 선택된다. 상술한 것처럼 패딩 데이터를 추가하는 것에 의해 소정의 프리젠테이션 시간 길이와 소정의 비트 길이의 부분들로 이루어진 시퀀스를 포함한 오디오 비디오 전송 스트림이 된다. 본 발명에 따른 오디오 비디오 전송 스트림에서의 소정의 프리젠테이션 시간 길이와 소정의 비트 길이의 부분들의 존재는, 재생에 필요한 연관된 메타데이터가 예측가능하고 상기 오디오 비디오 데이터 프래그먼트를 사용하기 전에 플레이어의 재생 메카니즘에 대해 계산가능하고 사용가능한 이점을 갖는다. 따라서, 상기 연관된 메타데이터를 플레이어에 대해 계산하여 사용하는 경우, '라이브 오디오 비디오 콘텐트, 즉 실시간 동안 작성된 데이터 비트들을 포함한 콘텐트의 실시간 재생이 가능하다.
바람직한 실시예에서, 소정의 비트 길이는 상수이고, 즉 모든 프래그먼트에 대해 동일하고, 그 상수의 값은, 오디오 비디오 데이터 프래그먼트의 예상된 최대 비트 길이보다 크도록 선택된다. 그 오디오 비디오 데이터 프래그먼트는, 일정한 소정의 프리젠테이션 시간 길이를 갖는 것이 바람직하고; 그러므로 상기 예상된 최대 비트 길이는, 상기 사용된 압축 파라미터에 의거하여 예측될 수 있다. 확실한 것 하나는, 일 부분의 소정 비트 길이에 도달하는데 필요한 패딩 데이터량이 포지티브이다는 것이다. 그 소정 비트 길이를 초과하는 비트 길이를 갖는 적어도 하나의 오디오 비디오 데이터 프래그먼트가 있는 경우, 상기 연관된 메타데이터는 오디 오 비디오 프래그먼트의 전체 시퀀스가 생성 또는 수신되기 전에 생성될 수 없다.
바람직한 실시예에서, 상기 오디오 비디오 전송 스트림은, 상기 수신 또는 생성된 오디오 비디오 데이터 프래그먼트와 함께 제2의 오디오 비디오 전송 스트림으로부터 오디오 비디오 데이터를 추가로 어셈블링하여서 생성된다. 바람직하게는, 비디오를 다중화하는 경우에, 필러(filler) 데이터는 널 패킷의 형태를 취한다.
또한, 본 발명은, 오디오 비디오 데이터 프래그먼트의 시퀀스로부터 생성될 수 있는 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 방법에 관한 것이고, 상기 오디오 비디오 전송 스트림의 생성은 상술한 본 발명의 방법에 따라 일어난다. 이 방법은, 메타데이터가 오디오 비디오 데이터 프래그먼트에 대응한 오디오 비디오 전송 스트림의 일부의 시작시간의 위치와 프리젠테이션 시간에 관한 정보를 적어도 포함하고, 그 메타데이터가 오디오 비디오 데이터 프래그먼트 중 적어도 하나가 생성 또는 수신되기 전에 생성되기 전에 생성되는 것을 특징으로 한다. 이러한 메타데이터 생성방법은, 모든 오디오 비디오 데이터 프래그먼트가 생성 또는 수신되기 전에 재생장치에 대해 상기 메타데이터를 사용가능하므로, 실시간 스트림을
가능하게 한다는 이점을 갖는다.
또한, 본 발명은, 실시간으로 데이터 스트림에 의해 디지털 신호를 제출하는 방법에 관한 것이고, 그 데이터 스트림은 상술한 대응한 본 발명의 방법에 따른 오디오 비디오 데이터 프래그먼트의 시퀀스로부터 생성되는 오디오 비디오 전송 스트림을 포함하고, 연관된 메타데이터는 상술한 대응한 본 발명의 방법에 따라 생성된 다.
또한, 본 발명은, 실시간으로 데이터 스트림에 의해 디지털 신호를 제출하는 방법에 관한 것이고, 그 데이터 스트림은 상술한 대응한 본 발명의 방법에 따라 생성된 오디오 비디오 데이터 프래그먼트의 시퀀스를 포함하고, 연관된 메타데이터는 상술한 대응한 본 발명의 방법에 따라 생성된다.
또한, 본 발명은, 상술한 대응한 본 발명의 방법에 따라 생성된 오디오 비디오 전송 스트림을 포함하거나 오디오 비디오 전송 스트림에 연관된 메타데이터를 포함하는 디지털 신호에 관한 것이고, 그 메타데이터 생성은, 상술한 대응한 본 발명의 방법에 따라 일어난다.
또한, 본 발명은, 청구항 1의 오디오 비디오 전송 스트림을 실시간으로 생성하는 방법이나 청구항 5의 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 방법의 게임 엔진에서의 용도에 관한 것이다. 이 게임 엔진은, 실제 세계에서 무엇인가를 기록함으로써 오디오 비디오 콘텐트를 생성하는 것이 아니고, 시뮬레이션된 현실 또는 가상 현실, 예를 들면 게임 내의 현실성을 나타내기 위해서 계산수단에 의해 오디오 비디오 콘텐트를 생성하는 시스템을 의미한다.
또한, 본 발명은 청구항 16에 따른 오디오 비디오 전송 스트림을 생성하는 장치에 관한 것이다.
또한, 본 발명은, 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스와 연관된 메타데이터를 생성하는 장치에 관한 것이다.
또한, 본 발명은, 오디오 비디오 스트림을 생성하기 위한 본 발명에 따른 장 치를 구비한 방송장치에 관한 것이다.
또한, 본 발명은, 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스와 연관된 메타데이터를 생성하기 위한 본 발명에 따른 장치를 구비한 방송장치에 관한 것이다.
아울러, 본 발명은, 본 발명에 따른 디지털 신호를 수신 및 재생하는 재생장치에 관한 것이다.
본 발명의 특징 및 이점을 아래의 첨부도면을 참조하여 설명하겠다:
도 1은 오디오 비디오 전송 스트림을 재생할 수 있도록 재생장치에서 요구하는 3개의 파일 레벨: 재생목록, 클립 및 전송 스트림을 개략적으로 도시한 것이고,
도 2는 본 발명의 실시예에 따른 오디오 비디오 전송 스트림 생성방법과, 상기 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 방법을 개략적으로 도시한 것이고,
도 3은 본 발명의 실시예에 따른 방송장치와 재생장치를 구비한 전송 시스템을 개략적으로 도시한 것이며,
도 4는 본 발명의 실시예에 따른 방송장치를 개략적으로 도시한 것이고,
도 5는 본 발명의 실시예에 따른 재생장치를 개략적으로 도시한 것이다.
(바람직한 실시예들의 상세한 설명)
도 1에는, 오디오 비디오 전송 스트림을 재생할 수 있도록 재생장치에서 요구하는 3개의 파일 레벨이 도시되어 있다. 예를 들면, 이것은, '프로그레시브 재생목록' 방법에 따라 스트리밍되는 예고편에 해당하여도 된다. 스트리밍되는 전체 예고편에 해당하는 상술한 예시에는, 최상부의 행에 하나의 재생목록 파일(11)이 있고, 그 재생 파일(11)은, 다수의 작은 항목을 기술한다. 이러한 재생목록 파일(11)과 연관된, 작은 각 항목에 해당하는 클립 파일(12,15)이 중간 행에 도시되어 있다.
세 번째 레벨에서, 대응한 전송 스트림 파일(13,14)은 각 클립 파일(12,15)에 연관된다. 라이브 스트리밍일 경우; 해쉬된 전송 스트림 파일(14)은 아직 재생장치에 대해 사용가능하지 않다, 즉 그들은 아직 수신 및/또는 생성되지 않았다. 문제점은, 재생을 시작하기 전에 이들 사용불가능한 전송 스트림 파일(14)과 연관된 클립 파일(15)이 사용가능하기를 상기 재생장치가 요구한다는 것이다.
도 2는 상술한 문제점을 해결하는 본 발명의 실시예에 따른 오디오 비디오 전송 스트림을 생성하는 방법과, 상기 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 방법을 개략적으로 도시한 것이다.
예를 들면, 카메라(102)로 영화를 논평하는 감독(101)이 라이브로 기록한다. 그 기록은, 동일하지 않은 비트 길이이지만 동일한 프리젠테이션 시간 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스를 포함한 전송 스트림(103)의 형태를 취한다. 예를 들면, 단일 프래그먼트(105)는, 대응한 특징점(104)을 포함한다. 그 프래그먼트(105)의 크기가 동일하지 않기 때문에, 이들 특징점(104)은, 도 2에 도시된 예시에서는, 동일하지 않은 오프셋(109)으로 전송 스트림(103)에 나타내어져 있고, 그 오프셋은 0,30,60,80이다. 프래그먼트(105)에 대응한 클립 파일(106)은, 이들 특징점에 대한 정보를 포함하는데 필요하다, 즉 오프셋 모두의 목록을 포함해야 한다. 이러한 상기 전송 스트림(103)과 연관된 상기 오프셋의 목록은, 전체 전송 스트림(103)이 사용가능하기 전에 생성될 수는 없다. 이와 대조하여, 본 발명에 따른 연관된 메타데이터를 생성하는 방법에서는, 포인터(107)를 폭넓게 이격된 재생 오프셋(110)으로 클립 파일(106)에 추가한다. 본 발명에 따른 오디오 비디오 전송 스트림(121)을 생성하는 방법에서는, 상기 생성된 오디오 비디오 전송 스트림(121)에서의 개개의 프래그먼트(111) 사이에 패딩 데이터를 삽입한다. 상기 오디오 비디오 전송 스트림(121)이 재생 엔진에 공급되기 때문에, 확실한 것은, 상기 전송 스트림(121)에서의 재생 오프셋(110)이 클립 파일(106)에서의 대응한 포인터(107)를 일치시킨다는 것이다. 그러므로, 본 발명에 따른 전송 스트림(121)과 연관된 메타데이터는, 실제의 데이터 프래그먼트를 생성하기 전에 미리 예측 및 생성될 수 있다. 따라서, 상기 연관된 메타데이터는, 플레이어에서 요구하는 것처럼, 비디오의 재생처리를 시작하기 전에 다운로드될 수 있다.
표 1은, 종래기술에 공지된 오디오 비디오 전송 스트림(103)과 본 발명에 따른 오디오 비디오 전송 스트림(121)간의 차이를 요약한 것이다.
프리젠테이션 타임(PTS) 시퀀스(초) 소스 패킷 번호(SPN)
종래기술의 TS(103) 0s,0.5s,1s,1.5s... 0,30,60,80...
본 발명의 TS(121) 0s,0.5s,1s,1.5s... 0,100,200,300...
예를 들면, 블루레이 디스크(BD) 매체 및 플레이어일 경우에, 클립 정보 파 일은, I 프레임의 프리젠테이션 타임(PTS) 및 파일 위치(SPN, 소스 패킷 번호)에 대한 정보를 포함한다. 실제로, 프래그먼트간의 소정의 간격은, 최악의 경우의 상기 기록용 영상 그룹(GOP) 길이를 처리하도록 상기 표에 도시된 것보다 커야 한다. 더욱이, 고정된 I 프레임 위치를 작성하는데다가, 클립 정보 파일에서의 일부의 다른 SPN 레퍼런스에 대한 위치를 고정하는데 패딩도 이용하여도 된다. 스트리밍된 데이터가 국부적인 저장시에 장기간동안 유지되어야 하는 경우, 패딩 데이터를 제거하여 공간을 절약할 수 있다. 그 경우에, 언(un)패딩된 TS파일의 SPN 위치를 포함한 새로운 클립(CPI) 정보 파일을 사용하여도 된다.
도 3은 본 발명의 실시예에 따른 방송장치와 재생장치를 구비한 전송 시스템을 개략적으로 도시한 것이며; 본 발명에 따른 오디오 전송 스트림(121)과, 도 2에 대해 개시된 것처럼, 본 발명에 따른 연관된 메타데이터(106)를 더 참조할 것이다.
예를 들면, 카메라(102)로 라이브로 촬영한 기록은, 예를 들면 스튜디오 웹 서버(300)와 같은 방송장치에 의해 전송 스트림(TS2)으로서 실시간으로 사용 가능하다. 그 전송 스트림 TS2는, 예를 들면 블루레이 디스크(BD) 플레이어와 같은 재생장치(400)에 의해 수신 또는 다운로드된다. 보통, 블루레이 디스크(BD) 플레이어일 경우에, 자바 가상 머신 상에서 작동하는 자바 프로그램인 콘트롤 레이어(401)는, 전송 스트림 TS2의 다운로드를 제어하고 있다.
바람직하게는, 필수적이지는 않지만, 상기 기록된 데이터(103)의 전송은, 패딩 데이터(108)를 추가하기 전에 행해진다. 그 패딩 데이터(108)는, 다운로드 처리를 제어하는 자바 프로그램(401)에 의해 플레이어(400)측에서 추가되는 것이 바람 직하다. 따라서, 이러한 자바 프로그램(401)은,
1) 기록된 데이터, 즉 오디오 비디오 프래그먼트의 시퀀스(103)(네트워크를 거쳐, 바람직하게는 HTTP를 거쳐 요구된 파일들의 형태로 검색됨)와,
2) 클립 파일들과 정렬된 전송 스트림 파일들을 생성하기 위해서, 상기 기록된 데이터에 필러 데이터를 어떻게 추가해야 하는지를 특정하는 추가의 명령어를 가져야 할 필요가 있다.
이들 추가의 명령어는,
a) 도 2 또는 표 1에 도시된 것처럼, 네트워크에서 보내지고(그 경우에 오프셋과 길이의 목록의 형태를 취하는 것이 바람직함);
b) 또 상기 디스크에 저장되어도 되거나, 자바 프로그램 자체로 인코딩되어도 된다. 이러한 후자의 경우에에서, 데이터는, 상기 다운로드된 기록 데이터를 구문 해석하는(특정 마커를 인식하는) 방법과, 특정 마커를 만날 때 행하는 방법의 명령어의 형태를 취하는 것이 바람직하다.
또 다른 보다 덜 바람직한 해결책은, 네트워크를 거쳐 전송하기 전에 파일을 압축한 후, 스튜디오 웹 서버측에서 패딩 데이터를 추가하는 것이다. 그후, 그 파일은 수신된 후 상기 플레이어에서 압축해제된다.
상기 국부적으로 생성되거나 상기 다운로드된 클립 파일은, 저장 공간(403)(메모리 또는 디스크)에 저장된다.
이때, 본 출원의 도면들과 텍스트는 오디오/비디오 데이터의 라이브 스트리밍에 초점을 맞추고 있지만, 다른 경우에도 오디오 트랙은 어떠한 비디오 없이도 라이브로 스트리밍될 수 있다. 이러한 후자의 경우의 특별한 예로는, 감독이 BD-ROM 플레이어의 디스크에 저장되는 영화의 재생을 제어하면서 오디오 코멘트를 말하는 라이브 이벤트가 있다. 그런 식으로, 감독은, 바깥소리로 말하면서, 영화의 일부를 보여줌으로써 질문에 대답할 수 있다.
도 4는 본 발명의 실시예에 따른 방송장치를 개략적으로 도시한 것이다.
입력수단(301)은 스트리밍되는 오디오 비디오 콘텐트를 수신한다. 압축기(302)는, 오디오 비디오 콘텐트를 MPEG2 스트림(MPEG2)으로 압축한다. 그 압축은, 가변 비트 압축율을 포함하는 것이 바람직하다. 옵션으로, 스크램블러(303)는, MPEG2 스트림을 콘텐트 키의 제어하에 암호화하여 스크램블링한 후 MPEG2 스트림을 다중화기(304)에 전달한다. 그 MPEG2 스트림에 더하여, 다중화기(104)는, 콘트롤러(305)로부터 하나 이상의 스크램블링되거나 스크램블링되지 않은 데이터 스트림(DS)과 또 다른 디지털 신호들을 수신한다. 그 다중화기(304)는, 상기 스크램블링되거나 스크램블링되지 않은 MPEG2 스트림과 상기 하나 이상의 데이터 스트림(DS)을 고정된 프리젠테이션 시간 길이와 가변 비트 길이를 갖는 오디오 데이터 프래그먼트로 이루어진 시퀀스를 포함한 전송 스트림(TS1)으로 시간 다중화하여 어셈블링한다. 상기 스크램블링 및 다중화는, 별도의 단위로 수행하여도 되고, 필요한 경우 서로 다른 위치에서 수행하여도 된다. 그러한 것으로서, 전송 스트림(TS1)은, 네임 서비스 하에서 당업자에게도 공지된 하나 이상의 타입의 스트림을 포함하고, 각 서비스는, 하나 이상의 서비스 콤포넌트를 포함한다. 서비스 콤포넌트는, 모노 미디어 요소로서도 공지되어 있다. 서비스 콤포넌트의 예들로는, 비디오 기본 스트림, 오디오 기본 스트림, 자막 콤포넌트, 자바 애플리케이션(Xlet) 또는 기타 데이터 형태가 있다. 전송 스트림은, 하나 이상의 기본 스트림 및/또는 데이터를 시간 다중화하여서 형성된다.
본 발명에 따른 방송장치는, 패딩 데이터를 전송 스트림(TS1)에 추가하여 패딩된 전송 스트림(TS2)을 도 2 및 3을 참조하여 설명한 대응한 방법들 중 하나에 따라 생성하는 패딩 수단(307)을 구비하여도 된다. 이러한 패딩수단(307)은, 별도의 하드웨어 유닛으로서 구현되어도 되거나, 바람직하게는 적절한 펌웨어에 의해 콘트롤러(305) 내에 집적되어도 된다. 본 발명에 따른 상기 방송장치는, 도 2 및 3을 참조하여 설명한 대응한 방법들 중 하나에 따라 연관된 데이터 메타데이터를 생성하는 메타데이터 생성수단(306)을 더 구비하여도 된다. 이와 같은 메타데이터 생성수단(306)은, 별도의 하드웨어 유닛으로서 구현되어도 되거나 또는 바람직하게는 적절한 펌웨어에 의해 콘트롤러(305) 내에 집적되어도 된다. 상기 생성된 메타데이터는, 상기 콘트롤러(305)에 의해 2개의 스트림 중 어느 한쪽의 콤포넌트로서 내부에 삽입되도록 상기 다중화기(304)에 제공되거나, 별도의 파일 형태로 송신기(308)에 직접 공급된다.
예를 들면, 웹 서버이어도 되는 송신기(308)는, 배포되는 라이브 신호(LS)를 생성한다. 특정 실시예에 따라, 송신기(308)는, 오디오 데이터 프래그먼트의 시퀀스를 포함한 오디오 비디오 스트림(TS1)(바람직한 실시예) 또는 패딩된 오디오 비디오 스트림(TS2)을 수신하여도 된다. 또한, 송신기는, 콘트롤러(305)로부터 상기 연관된 메타데이터를 수신하여도 된다.
도 5는 본 발명의 실시예에 따른 재생장치를 개략적으로 도시한 것이다.
본 발명에서 실행되는 전형적인 재생장치(400)의 예로는, 네임 홈 미디어 서버에서 알려지기도 한 셋탑 박스(STB), 디지털 다기능 디스크(DVD) 및/또는 블루레이 디스크(BD) 재생장치가 장착된 디지털 텔레비전 장치, 또는 컴퓨터 기반 엔터테인먼트 시스템이 있다. 본 발명을 실행하는데 필수적이지는 않지만, 재생장치(400)는, 유럽 MHP(멀티미디어 홈 플랫폼) 또는 US 데이스 플랫폼과 같은 규정된 개방형 플랫폼을 따라도 된다. 이들 대중의 플랫폼은, 엔드 유저 시스템에서 인식하여 실행하여도 되는 일부 형태의 애플리케이션을 규정한다. 예를 들면, 유럽 MHP 플랫폼에서는, 애플리케이션이 자바TM애플리케이션으로서 포함되어도 된다는 것을 특정한다. 또한, 이와 같은 애플리케이션은, 네임 Xlet 하에서 당업자에게는 공지되어 있다.
역다중화기(501)는, 상기 수신된 라이브 신호(LS)를 데이터 스트림(502)과 오디오(503), 비디오(504) 및 자막(505) 스트림에 연결한다. 상기 오디오, 비디오 및 자막 스트림(503,504,505)은, 특정 운용체계를 거쳐 상기 재생장치(400)의 소프트웨어 및 하드웨어 모듈 모두를 제어하는 콘트롤러(506)에 공급된다. 또한, 오디오/비디오 콘텐트는, 액세스 허용을 결정하여 데이터를 암호해독하는 (도 5에 미도시된) 조건형 액세스 서브시스템을 통해 전달되어도 된다. 콘트롤러(506)는, 상기 오디오(503), 비디오(504) 및 자막(505) 스트림을 비디오 및 오디오(519) 렌더링 디바이스(예를 들면, 각각 디스플레이 및 스피커)에 적합한 신호들로 변환하는 재 생/기록 엔진(518)에 공급한다.
상기 재생장치의 기능을 하는 것은, 범용 애플리케이션 콘트롤러(509)의 제어하에 이루어진다. 예를 들면, BD 플레이어일 경우, 이것은, 재생장치에서 실행하는 임의의 애플리케이션과 그 재생장치의 특정 시스템 자원 사이에 존재하는, 애플리케이션 관리자라는 이름하에 종래기술에서 공지된 추상화 계층에 해당한다. 상기 역다중화기(501)에서 출력된 데이터 스트림(502)은, 애플리케이션 관리자(509)에 공급된다. 그 데이터 스트림(502)에 포함된 임의의 애플리케이션은, 애플리케이션 관리자(509)에 의해 실행될 것이다.
상기 방송장치(300)에 대해 상술한 것처럼, 본 발명에 따라 상기 수신된 라이브 신호에 포함된 데이터 스트림은, 연관된 메타데이터 또는 그 연관된 메타데이터를 어떻게 생성하는지를 나타내는 명령어를 포함해야 한다. 따라서, 애플리케이션 관리자(509)는, 메타데이터를 생성하는 수단(521)을 구비한다. 애플리케이션 관리자(509)는, 예를 들면 클립 파일의 형태로 메타데이터를 생성하거나 메모리 또는 적절한 저장매체에 해당하는 메타데이터 저장수단(517)에 송신하기도 한다.
콘트롤러(506)는, 일부의 오디오, 비디오 및 자막 스트림을 수신하여 오디오 비디오 전송 스트림으로 어셈블링하기 위한 어셈블링 수단(507)을 더 구비한다. 패딩수단(508)은, 도 2 및 3을 참조하여 개시된 것처럼, 본 발명에 따른 패딩 데이터를 확실하게 추가한다. 상기 어셈블링수단(507) 및/또는 패딩수단(508)은, 별도의 하드웨어 유닛으로서 구현되거나, 바람직하게는 적절한 펌웨어에 의해 콘트롤러(506) 내에 집적되어도 된다. 상기 어셈블링수단(507)과 상기 패딩수단(508)은, 애플리케이션 관리자(509)에 의해 제어된다.
재생장치는, 기록매체(510)로부터/에 판독 및/또는 기록하기 위한 수단(511)을 구비한다. 이 판독 및/또는 기록수단(511)은, 종래기술에서 공지되어 있어 더욱 상세히 설명하지 않겠다. 이 장치는, 기록매체(510)로부터 판독된 오디오 비디오 콘텐트를 역다중화하는 역다중화기(512)를 구비한다. 도 5에 서로 다른 블록들이 도시되었지만, 라이브 스트림(LS)과 상기 기록매체(510)로부터 판독된 오디오 비디오 콘텐트를 역다중화하는 2개의 역다중화기(501,512)는 다수의 입력 스트림을 처리할 수 있는 단일의 역다중화기에 의해 구현되어도 된다.
상기 어셈블링수단(507)은, 상기 수신된 스트림(503,504,506) 또는 그의 일부와, 상기 기록매체(510)로부터 판독된 스트림(514,515,516) 또는 그의 일부를 어셈블링하여도 된다. 이것은, 예를 들면 기록매체에 저장되는 영화의 재생을 제어하면서 감독이 오디오 코멘트를 말하는 라이브 이벤트의 상술한 예에서 발생한다.
추가의 고려사항
여기서 기재된 방법들은, MPEG2 파일로 한정되지 않고, 다른 코드로 이루어진 파일들에도 적용가능하다. 또한, 그것은 (예를 들면, 디스크로부터의 사전에 기록된 비디오가 스트리밍된 오디오 파일과 혼합되는 경우에) 오디오 파일들에 적용될 수 있다. 또한, 상기 방법들은, 전송 스트림들에 한정되지 않고; 그들은 프로그램 스트림 또는 다른 오디오 비디오 데이터 패킹 방법들에 의한 시스템에도 사용될 수 있다.
주목하는 것은, 상기 실시예들은, 본 발명을 제한하기보다는 설명하려는데 의미가 있다는 것이다. 그리고, 당업자는 첨부된 청구범위를 벗어나지 않고 다수의 또 다른 실시예들을 설계할 수 있을 것이다. 청구항에서, 괄호안에 놓인 임의의 참조부호는, 그 청구항을 한정하는 것으로서 파악되어서는 안 될 것이다. 동사 "comprise" 및 "include"와 그것의 활용의 용도는 청구항에 설명된 것들 이외의 구성요소들 또는 단계들의 존재를 배제하지 않는다. 구성요소 앞의 관사 "a" 또는 "an"은, 그 구성요소의 복수가 존재한다는 것을 배제하지 않는다. 본 발명은 몇몇의 별개의 구성요소로 이루어진 하드웨어 및/또는 적절한 펌웨어에 의해 구현되어도 된다. 몇몇의 수단을 열거하는 시스템/디바이스/장치 청구항에서, 이들 수단 몇몇은, 하드웨어 또는 소프트웨어의 동일한 항목에 의해 구현되어도 된다. 특정 방법이 상호 서로 다른 종속항에서 인용된다는 단순한 사실은, 이들 방법의 조합을 사용하여 이점을 얻을 수 없다는 것을 나타내지는 않는다.

Claims (25)

  1. 오디오 비디오 전송 스트림을, 오디오 비디오 데이터 프래그먼트로 이루어진 시퀀스로부터 실시간으로 생성하되, 상기 시퀀스로부터의 오디오 비디오 데이터 프래그먼트가 가변 비트 길이와 소정의 프리젠테이션 시간 길이를 갖는, 오디오 비디오 전송 스트림의 실시간 생성방법으로서,
    상기 오디오 비디오 데이터 프래그먼트들을 실시간으로 생성 또는 수신하는 단계와,
    상기 오디오 비디오 데이터 프래그먼트들을 생성 또는 수신하는 순서로 상기 오디오 비디오 데이터 프래그먼트들과 함께 어셈블링하여서 상기 오디오 비디오 전송 스트림을 생성하는 단계를 포함한 오디오 비디오 전송 스트림의 실시간 생성방법에 있어서,
    차후의 오디오 비디오 데이터 프래그먼트들에 해당하는 오디오 비디오 전송 스트림의 차후의 부분들 사이에 패딩 데이터를 삽입하고, 상기 차후의 부분들 사이의 패딩 데이터의 양을, 오디오 비디오 전송 스트림의 상기 차후의 부분들의 시작의 위치들간의 거리가 소정의 비트 길이에 해당하도록 선택하는 것을 특징으로 하는 오디오 비디오 전송 스트림의 실시간 생성방법.
  2. 제 1 항에 있어서,
    오디오 비디오 데이터 프래그먼트의 예상된 최대 비트 길이보다 큰 상기 소정의 비트 길이에 대해 일정한 값을 선택하는 것을 특징으로 하는 오디오 비디오 전송 스트림의 실시간 생성방법.
  3. 제 1 항에 있어서,
    상기 오디오 비디오 전송 스트림은, 상기 수신되거나 생성된 오디오 비디오 데이터 프래그먼트들과 함께 제2의 오디오 비디오 전송 스트림으로부터의 오디오 비디오 데이터를 추가로 어셈블링하여서 생성되는 것을 특징으로 하는 오디오 비디오 전송 스트림의 실시간 생성방법.
  4. 제 3 항에 있어서,
    상기 오디오 비디오 프래그먼트들은, 상기 제2의 오디오 비디오 전송 스트림에서의 비디오 데이터에 대응하는 오디오 데이터를 포함한 것을 특징으로 하는 오디오 비디오 전송 스트림의 실시간 생성방법.
  5. 제 1 항 또는 제 3 항에 있어서,
    패딩 데이터는 널 패킷인 것을 특징으로 하는 오디오 비디오 전송 스트림의 실시간 생성방법.
  6. 실시간으로 수신되거나 생성되고 가변비트 길이와 소정의 프리젠테이션 시간 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스로부터 생성될 수 있되 청구항 1의 방법에 따라 생성되는 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하고,
    예상된 시작위치에 대한 정보와, 상기 시퀀스로부터 오디오 비디오 데이터 프래그먼트와 연관된 상기 오디오 비디오 전송 스트림의 일부의 예상된 프리젠테이션 시간에 대한 정보로 이루어진 메타데이터를 생성하는 단계를 포함한 메타데이터 생성방법에 있어서,
    상기 오디오 비디오 데이터 프래그먼트들 중 적어도 하나가 생성 또는 수신되기 전에 상기 메타데이터를 생성하는 것을 특징으로 하는 메타데이터 생성방법.
  7. 데이터 스트림에 의해 디지털 신호를 실시간으로 제출하는 방법으로서,
    가변비트 길이와 소정의 프리젠테이션 시간 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스를 실시간으로 생성하는 단계와,
    청구항 1의 방법에 따라 생성하되, 상기 오디오 비디오 데이터 프래그먼트들의 시퀀스로부터 실시간으로 오디오 비디오 전송 스트림을 생성하는 단계와,
    청구항 6의 방법에 따라 생성하되, 상기 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 단계와,
    상기 생성된 오디오 비디오 전송 스트림의 적어도 일부를 제출하기 전에 상기 연관된 메타데이터를 제출하는 단계와,
    상기 오디오 비디오 전송 스트림을 실시간으로 제출하는 단계를 포함한 것을 특징으로 하는 데이터 스트림에 의해 디지털 신호를 실시간으로 제출하는 방법.
  8. 데이터 스트림에 의해 디지털 신호를 실시간으로 제출하는 방법으로서,
    가변비트 길이와 소정의 프리젠테이션 시간 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스를 실시간으로 생성하는 단계와,
    청구항 6의 방법에 따라 생성하되, 청구항 1의 방법에 따라 상기 시퀀스로부터 생성될 수 있는 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 단계와,
    오디오 비디오 데이터 프래그먼트들 중 적어도 하나의 생성에 앞서 상기 메타데이터를 제출하는 단계와,
    상기 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스를 실시간으로 상기 생성 순으로 제출하는 단계를 포함한 것을 특징으로 하는 디지털 신호 제출방법.
  9. 제 8 항에 있어서,
    적어도 상기 소정의 비트 길이에 대한 정보를 포함한 상기 오디오 비디오 전송 스트림을 생성하기 위한 정보를 더 제출하는 것을 특징으로 하는 디지털 신호 제출방법.
  10. 제 8 항에 있어서,
    상기 오디오 비디오 데이터 프래그먼트들 내에 마커들을 더 구비한 것을 특징으로 하는 디지털 신호 제출방법.
  11. 청구항 7의 방법에 따라 제출되는 수신 디지털 신호의 실시간 재생방법으로서,
    상기 생성된 메타데이터를 수신하는 단계와,
    상기 오디오 비디오 전송 스트림을 실시간으로 수신하는 단계와,
    상기 오디오 비디오 데이터 프래그먼트들에 대응한 상기 오디오 비디오 전송 스트림의 부분들을 재생하는 단계를 포함한 것을 특징으로 하는 수신 디지털 신호의 실시간 재생방법.
  12. 청구항 8 또는 9의 방법에 따라 제출되는 수신 디지털 신호의 실시간 재생방법으로서,
    상기 생성된 메타데이터를 수신하는 단계와,
    상기 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스를 실시간으로 수신하는 단계와,
    청구항 1에 따른 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스로부터 오디오 비디오 전송 스트림을 생성하는 단계와,
    상기 오디오 비디오 데이터 프래그먼트들에 대응하는 상기 오디오 비디오 전송 스트림의 부분들을 재생하는 단계를 포함한 것을 특징으로 하는 수신 디지털 신호의 실시간 재생방법.
  13. 청구항 1에 따른 오디오 비디오 전송 스트림을 실시간으로 생성하는 방법 또는, 청구항 5에 따른 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하는 방법의 게임 엔진에서의 용도.
  14. 가변비트 길이와 소정의 프리젠테이션 시간 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스로부터 청구항 1에 따른 방법으로 생성되는 오 디오 비디오 전송 스트림을 포함한 것을 특징으로 하는 디지털 신호.
  15. 가변비트 길이와 소정의 프리젠테이션 시간 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스를 포함한 디지털 신호로서,
    상기 시퀀스로부터 생성될 수 있고 청구항 1에 따른 방법으로 생성되는 오디오 비디오 전송 스트림과 연관된 메타데이터를 더 포함하되, 상기 메타데이터의 생성은 청구항 4에 따른 방법에 의해 수행되는 것을 특징으로 하는 디지털 신호.
  16. 가변비트 길이와 소정의 프리젠테이션 시간 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스를 실시간으로 수신 또는 생성하기 위한 입력수단과,
    상기 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스가 생성/수신되는 순서로 상기 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스로부터 오디오 비디오 전송 스트림을 어셈블링하는 어셈블링수단을 구비한 오디오 비디오 전송 스트림 생성장치에 있어서,
    차후의 오디오 비디오 데이터 프래그먼트에 대응한 상기 오디오 비디오 전송 스트림의 차후의 부분들에 패딩 데이터를 추가하는 패딩수단과,
    상기 오디오 비디오 전송 스트림의 차후의 부분들의 시작의 위치들 사이의 거리가 소정의 비트 길이에 해당하도록 차후의 오디오 비디오 데이터 프래그먼트에 대응한 오디오 비디오 전송 스트림의 차후의 부분들 사이에 상당한 양의 패딩 데이터를 상기 패딩수단이 추가할 수 있게 하는 제어수단을 더 구비한 것을 특징으로 하는 오디오 비디오 전송 스트림 생성장치.
  17. 제 16 항에 있어서,
    상기 제어수단은, 상기 소정의 비트 길이가 오디오 비디오 데이터 프래그먼트의 예상된 최대 비트 길이보다 큰 일정한 값을 갖도록 상기 패딩수단이 패딩 데이터를 추가할 수 있도록 더 구성된 것을 특징으로 하는 오디오 비디오 전송 스트림 생성장치.
  18. 제 16 항 또는 제 17 항에 있어서,
    상기 패딩수단은, 널 패킷의 형태로 패딩 데이터를 추가하도록 구성된 것을 특징으로 하는 오디오 비디오 전송 스트림 생성장치.
  19. 제 16 항에 있어서,
    제 2 오디오 비디오 전송 스트림을 실시간으로 수신 또는 생성하는 제 2 입 력수단을 더 구비하고,
    상기 어셈블링수단은, 상기 수신되거나 생성된 오디오 비디오 데이터 프래그먼트들과 함께 상기 제 2 오디오 비디오 전송 스트림을 오디오 비디오 전송 스트림으로 어셈블링하도록 더 구성된 것을 특징으로 하는 오디오 비디오 전송 스트림 생성장치.
  20. 소정의 프리젠테이션 시간 길이와 가변비트 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스와 연관된 메타데이터를 생성하는 장치로서,
    오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스를 실시간으로 수신 또는 생성하는 입력수단을 구비한 메타데이터 생성장치에 있어서,
    차후의 부분들의 시작 위치들간의 거리가 상기 소정의 비트 길이에 해당하도록 그 양이 선택되는 패딩 데이터를, 차후의 오디오 비디오 데이터 프래그먼트들에 대응한 오디오 비디오 전송 스트림의 차후의 부분들 사이에 추가함으로써 생성될 수 있는 오디오 비디오 전송 스트림에 연관된 메타데이터를 생성하는 메타데이터 생성수단과,
    상기 오디오 비디오 데이터 프래그먼트들 중 적어도 하나가 생성 또는 수신되기 전에 상기 메타데이터 생성수단이 상기 메타데이터를 생성할 수 있게 하는 상기 제어수단을 더 구비한 것을 특징으로 하는 메타데이터 생성장치.
  21. 청구항 16에 따른 오디오 비디오 전송 스트림을 생성하기 위한 장치를 구비하고, 디지털 신호를 제출하는 방송장치로서,
    상기 생성된 오디오 비디오 스트림을 포함한 디지털 신호를 생성하기 위한 송신수단을 더 구비한 것을 특징으로 하는 방송장치.
  22. 청구항 20에 따른 오디오 비디오 전송 스트림과 연관된 메타데이터를 생성하기 위한 장치를 구비하고, 디지털 신호를 제출하는 방송장치로서,
    상기 오디오 비디오 프래그먼트들로 이루어진 시퀀스와 상기 연관된 메타데이터를 포함한 디지털 신호를 생성하기 위한 송신수단을 더 구비한 것을 특징으로 하는 방송장치.
  23. 디지털 신호를 실시간으로 수신 및 재생하기 위한 재생장치로서,
    청구항 22에 따른 방송장치에서 제출된 디지털 신호를 실시간으로 수신하기 위한 입력수단과,
    상기 연관된 메타데이터와 상기 오디오 비디오 프래그먼트들로 이루어진 시퀀스를 분리하기 위한 역다중화수단과,
    상기 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스가 생성/수신되 는 순서로 상기 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스로부터 오디오 비디오 전송 스트림을 어셈블링하는 어셈블링수단과,
    차후의 오디오 비디오 데이터 프래그먼트들에 대응한 상기 오디오 비디오 전송 스트림의 차후의 부분들 사이에 패딩 데이터를 추가하는 패딩수단과,
    상기 차후의 부분들의 시작의 위치들 사이의 거리가 소정의 비트 길이에 해당하도록 상기 오디오 비디오 전송 스트림의 상기 차후의 부분들 사이에 상당한 양의 패딩 데이터를 상기 패딩수단이 추가할 수 있게 하는 제어수단과,
    상기 오디오 비디오 스트림과 상기 연관된 메타데이터를 수신하고 상기 오디오 비디오 전송 스트림을 실시간으로 재생하는 재생수단을 구비한 것을 특징으로 하는 재생장치.
  24. 제 23 항에 있어서,
    상기 재생장치는 제2의 오디오 비디오 전송 스트림을 저장매체로부터 판독하는 수단을 더 구비하고,
    상기 제어수단은 상기 수신되거나 생성된 오디오 비디오 데이터 프래그먼트들과 함께 상기 제2의 오디오 비디오 전송 스트림을 상기 어셈블링수단이 상기 오디오 비디오 전송 스트림으로 어셈블링할 수 있게 더 구성된 것을 특징으로 하는 재생장치.
  25. 저장매체에 저장되고 가변비트 길이와 소정의 프리젠테이션 시간 길이를 갖는 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스로부터 생성된 오디오 비디오 전송 스트림을 실시간으로 생성 및 재생하는 재생장치로서,
    상기 저장매체로부터 상기 오디오 비디오 데이터 프래그먼트들을 판독하는 판독수단과,
    순서에 대한 정보를 수신하거나 상기 오디오 비디오 데이터 프래그먼트들을 판독하는 데이터 입력수단과,
    상기 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스가 판독된 순서로 상기 오디오 비디오 데이터 프래그먼트들로 이루어진 시퀀스로부터 오디오 비디오 전송 스트림을 어셈블링하는 어셈블링수단을 구비한 재생장치에 있어서,
    차후의 오디오 비디오 데이터 프래그먼트들에 대응한 상기 오디오 비디오 전송 스트림의 부분들 사이에 패딩 데이터를 추가하는 패딩수단과,
    상기 오디오 비디오 전송 스트림의 차후의 부분들의 시작의 위치들 사이의 거리가 상기 소정의 비트 길이에 해당하도록 상기 오디오 비디오 전송 스트림의 차후의 부분들 사이에 상당한 양의 패딩 데이터를 상기 패딩수단이 추가할 수 있게 하는 제어수단과,
    상기 오디오 비디오 전송 스트림에 연관된 메타데이터를 생성하는 메타데이터 생성수단과,
    상기 오디오 비디오 스트림과 상기 연관된 메타데이터를 수신하고 상기 오디 오 비디오 스트림을 실시간으로 재생하는 재생수단을 구비하되,
    상기 제어수단은 오디오 비디오 데이터 프래그먼트들 중 적어도 하나가 생성 또는 수신되기 전에 상기 메타데이터 생성수단이 상기 메타데이터를 생성할 수 있게 구성되는 것을 특징으로 하는 재생장치.
KR1020077021263A 2005-02-18 2006-02-14 오디오/비디오 스트림에서의 보조데이터 다중화방법 KR20070117598A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP05101266 2005-02-18
EP05101266.4 2005-02-18
EP05110890.0 2005-11-17
EP05110890 2005-11-17

Publications (1)

Publication Number Publication Date
KR20070117598A true KR20070117598A (ko) 2007-12-12

Family

ID=36648557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077021263A KR20070117598A (ko) 2005-02-18 2006-02-14 오디오/비디오 스트림에서의 보조데이터 다중화방법

Country Status (7)

Country Link
US (1) US20080205860A1 (ko)
EP (1) EP1862008A2 (ko)
JP (1) JP2008530938A (ko)
KR (1) KR20070117598A (ko)
CN (1) CN101120590B (ko)
TW (1) TW200644542A (ko)
WO (1) WO2006087676A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155776A3 (ko) * 2010-06-09 2012-03-15 삼성전자 주식회사 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1999883A4 (en) 2006-03-14 2013-03-06 Divx Llc FEDERATED DIGITAL RIGHTS MANAGEMENT SYSTEM COMPRISING CONFIDENCE SYSTEMS
US20080156173A1 (en) * 2006-12-29 2008-07-03 Harman International Industries, Inc. Vehicle infotainment system with personalized content
KR101226178B1 (ko) * 2007-03-27 2013-01-24 삼성전자주식회사 비디오 데이터 디스플레이 방법 및 장치
EP1983755A1 (en) * 2007-04-17 2008-10-22 Thomson Licensing Method to transmit video data in a data stream and associated metadata
US8644675B2 (en) 2008-06-06 2014-02-04 Deluxe Digital Studios, Inc. Methods and systems for use in providing playback of variable length content in a fixed length framework
AU2009256066B2 (en) * 2008-06-06 2012-05-17 Deluxe Media Inc. Methods and systems for use in providing playback of variable length content in a fixed length framework
KR101635876B1 (ko) 2009-01-07 2016-07-04 쏘닉 아이피, 아이엔씨. 온라인 콘텐츠를 위한 미디어 가이드의 단일, 공동 및 자동 생성
EP2469854B1 (en) * 2009-08-19 2018-10-10 Panasonic Corporation Content uploading system, content uploading method, and content transmitting/receiving device
US8751677B2 (en) * 2009-10-08 2014-06-10 Futurewei Technologies, Inc. System and method to support different ingest and delivery schemes for a content delivery network
EP2507995A4 (en) 2009-12-04 2014-07-09 Sonic Ip Inc SYSTEMS AND METHODS FOR TRANSPORTING ELEMENTARY BIT TRAIN CRYPTOGRAPHIC MATERIAL
US8914534B2 (en) 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
GB2489932B (en) 2011-04-07 2020-04-08 Quantel Ltd Improvements relating to file systems
GB2495268B (en) 2011-08-05 2019-09-04 Quantel Ltd Methods and systems for providing file data for media files
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
WO2013062599A1 (en) * 2011-10-26 2013-05-02 Box, Inc. Enhanced multimedia content preview rendering in a cloud content management system
US11232481B2 (en) 2012-01-30 2022-01-25 Box, Inc. Extended applications of multimedia content previews in the cloud-based content management system
US9197685B2 (en) * 2012-06-28 2015-11-24 Sonic Ip, Inc. Systems and methods for fast video startup using trick play streams
US9804668B2 (en) 2012-07-18 2017-10-31 Verimatrix, Inc. Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
WO2014015110A1 (en) 2012-07-18 2014-01-23 Verimatrix, Inc. Systems and methods for rapid content switching to provide a linear tv experience using streaming content distribution
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
KR20150122162A (ko) * 2013-03-04 2015-10-30 톰슨 라이센싱 프라이버시 보호 카운팅을 위한 방법 및 시스템
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US9125049B2 (en) * 2013-03-15 2015-09-01 Oplink Communications, Inc. Configuring secure wireless networks
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9247317B2 (en) 2013-05-30 2016-01-26 Sonic Ip, Inc. Content streaming with client device trick play index
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US11030638B2 (en) * 2014-12-16 2021-06-08 Autography Llc System and method for time and space based digital authentication for in-person and online events
US9516353B2 (en) 2015-04-01 2016-12-06 Echostar Technologies L.L.C. Aggregating media content
US10075292B2 (en) 2016-03-30 2018-09-11 Divx, Llc Systems and methods for quick start-up of playback
GB2549472B (en) * 2016-04-15 2021-12-29 Grass Valley Ltd Methods of storing media files and returning file data for media files and media file systems
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming
US10937443B2 (en) * 2018-09-04 2021-03-02 Babblelabs Llc Data driven radio enhancement
CN110113342A (zh) * 2019-05-10 2019-08-09 甄十信息科技（上海）有限公司 2g网络下的语音通信方法及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100243209B1 (ko) * 1997-04-30 2000-02-01 윤종용 오류정정 능력을 개선한 디지털 기록/재생 장치와 그 방법
WO1999048094A2 (en) * 1998-03-19 1999-09-23 Koninklijke Philips Electronics N.V. Recording/reproduction and/or editing of real time information on/from a disc like record carrier
US6460097B1 (en) * 1998-06-09 2002-10-01 Matsushita Electric Industrial Co., Ltd. Data stream output apparatus
EP1250004A1 (en) * 2001-04-11 2002-10-16 Deutsche Thomson-Brandt Gmbh Method and apparatus for controlling the insertion of stuffing data into a bitstream to be recorded
JP4409792B2 (ja) * 2001-06-22 2010-02-03 ソニー株式会社 データ伝送装置および方法、記録媒体並びにプログラム
JP3871210B2 (ja) * 2002-09-19 2007-01-24 ソニー株式会社 変換装置および変換方法、プログラム、並びにデータ構造
JP3969656B2 (ja) * 2003-05-12 2007-09-05 ソニー株式会社 情報処理装置および方法、プログラム記録媒体、並びにプログラム
JP4182027B2 (ja) * 2003-05-30 2008-11-19 キヤノン株式会社 記録装置及び記録方法
JP2004363820A (ja) * 2003-06-03 2004-12-24 Matsushita Electric Ind Co Ltd 動画像符号化装置及び動画像復号化システム
EP1713285B1 (en) * 2005-04-15 2015-09-09 Thomson Licensing Method and device for recording digital data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155776A3 (ko) * 2010-06-09 2012-03-15 삼성전자 주식회사 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치
US9674502B2 (en) 2010-06-09 2017-06-06 Samsung Electronics Co., Ltd. Method for providing fragment-based multimedia streaming service and device for same, and method for receiving fragment-based multimedia streaming service and device for same

Also Published As

Publication number Publication date
CN101120590B (zh) 2010-10-13
WO2006087676A3 (en) 2007-07-26
TW200644542A (en) 2006-12-16
CN101120590A (zh) 2008-02-06
JP2008530938A (ja) 2008-08-07
US20080205860A1 (en) 2008-08-28
EP1862008A2 (en) 2007-12-05
WO2006087676A2 (en) 2006-08-24

Similar Documents

Publication Publication Date Title
KR20070117598A (ko) 오디오/비디오 스트림에서의 보조데이터 다중화방법
JP2008530938A5 (ko)
US7974717B2 (en) Customizing soundtracks
US8521009B2 (en) Systems and methods to modify playout or playback
US7203955B2 (en) High definition media storage structure and playback mechanism
US8320733B2 (en) Method of preparing DVD-video formatted data, method for reconstructing DVD-video data and DVD-video data structure
JP2006524459A (ja) 放送番組の記録
WO2005006730A2 (en) Method and apparatus for processing a video signal, method for playback of a recorded video signal and method of providing an advertising service
JP2004502350A (ja) オブジェクト・カルーセルの効率的な記録
KR101008533B1 (ko) 디지털 인터페이스를 통한 ｉｔｖ 트릭 재생
JPWO2019043987A1 (ja) コンテンツ記録装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ記録方法、コンテンツ編集方法、および、コンテンツ再生方法
US8737802B2 (en) Method for providing channel service
JP2005018925A (ja) 録画再生装置及び録画再生方法
US8549568B2 (en) Digital content processing apparatus and method of digital video receiver
JP2008529332A (ja) デジタル番組放送、録画、再生方法及び装置
AU2005214436A1 (en) Method and circuit for encrypting a data stream
KR100329229B1 (ko) 재생리스트생성방법
US20060285820A1 (en) Digital broadcast method and system for supporting dvd recording and relevant receiving and recording method and device
KR100452614B1 (ko) 디지털 방송수신기에서의 트릭 플레이 방법
KR100903432B1 (ko) 디지털 방송 기록 장치 및 그 장치에서 실행되는 최종 재생위치 탐색을 통한 재생 제어 방법
KR20070022006A (ko) 데이터 스트림을 암호화하기 위한 방법 및 회로
JP2013098736A (ja) 放送記録装置、及びコンテンツ出力方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid