KR20100035690A - 디지털 미디어 처리 인터페이스 - Google Patents

디지털 미디어 처리 인터페이스 Download PDF

Info

Publication number
KR20100035690A
KR20100035690A KR1020097026904A KR20097026904A KR20100035690A KR 20100035690 A KR20100035690 A KR 20100035690A KR 1020097026904 A KR1020097026904 A KR 1020097026904A KR 20097026904 A KR20097026904 A KR 20097026904A KR 20100035690 A KR20100035690 A KR 20100035690A
Authority
KR
South Korea
Prior art keywords
media
memory
media content
information
presentation
Prior art date
Application number
KR1020097026904A
Other languages
English (en)
Other versions
KR101530101B1 (ko
Inventor
라자세카란 란가라잔
마틴 레겐
리차드 더블유. 러셀
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20100035690A publication Critical patent/KR20100035690A/ko
Application granted granted Critical
Publication of KR101530101B1 publication Critical patent/KR101530101B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10629—Data buffering arrangements, e.g. recording or playback buffers the buffer having a specific structure
    • G11B2020/10666—Ring buffers, e.g. buffers wherein an iteratively progressing read or write pointer moves back to the beginning of the buffer when reaching the last storage cell
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10759—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data content data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
    • G11B2020/10944—Real-time recording or reproducing, e.g. for ensuring seamless playback of AV data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Photographic Processing Devices Using Wet Methods (AREA)

Abstract

본 명세서에 설명된 API는 미디어 컨텐츠 플레이어의 미디어 처리 파이프라인 내의 하드웨어 컴포넌트와 소프트웨어 컴포넌트 간의 효율적이고 적시의 상호연동성을 증진시킨다. PhysMemDataStructure API는, 하드웨어 컴포넌트가 프로세서 사이클을 사용하여 복사 명령을 실행하는 것 대신에 직접 메모리 액세스 기법을 사용하여 메모리의 컨텐츠를 획득할 수 있게 해주기 위해, 하드웨어 컴포넌트가 소프트웨어 컴포넌트에 의해 사용되는 메모리 내의 정보에 직접 액세스하는 것을 용이하게 해준다. PhysMemDataStructure API는 소프트웨어 컴포넌트에 의해 사용되는 메모리에 저장된 미디어 컨텐츠 단위와 연관된 데이터 구조의 하나 이상의 필드를 노출시키고, 노출된 필드들은 미디어 컨텐츠 단위의 메모리 장소의 물리적 특성들에 관한 정보를 저장하고 있다. SyncHelper API는 하드웨어 컴포넌트로부터 정보를 획득하고 하드웨어 컴포넌트로 정보를 전달하는 데 사용되고, 이 정보는 동기하여 제공가능한 미디어 컨텐츠 스트림의 미디어 샘플을 준비하는 하드웨어 컴포넌트 타이밍을 조정하는 데 사용된다.
디지털 미디어 처리, 클립, 미디어 컨텐츠 플레이어, 링 버퍼, 가상 메모리

Description

디지털 미디어 처리 인터페이스{INTERFACES FOR DIGITAL MEDIA PROCESSING}
디지털 미디어 표현은 비디오, 오디오, 이미지, 텍스트 및/또는 그래픽 등의 일련의 미디어 컨텐츠 시퀀스로 이루어져 있다. 미디어 컨텐츠 플레이어가 사용자들에게 이러한 일련의 미디어 컨텐츠 시퀀스를 렌더링 및/또는 제공할 때, 이들을 미디어 컨텐츠 스트림이라고 한다. 어떤 미디어 컨텐츠 플레이어는 2개 이상의 독립적으로 제어되는 미디어 컨텐츠 스트림(예를 들어, 본편 영화와 감독의 해설, 배우의 이력, 또는 광고 등의 특징들)을 동시에 렌더링 및 제공하도록 구성되어 있다. 어떤 미디어 컨텐츠 플레이어는 또한 하나 이상의 미디어 컨텐츠 스트림과 동시에 사용자-선택가능 비디오 또는 오디오 객체(예를 들어, 다양한 메뉴, 게임, 특수 효과, 또는 기타 옵션)를 렌더링 및 제공할 수 있다.
소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합의 형태인 임의의 유형의 장치가 미디어 컨텐츠 플레이어일 수 있다. 대량의 비교적 저렴하거나, 휴대형이거나 또는 다른 방식으로 액세스가능한 데이터 저장 장치에의 액세스를 제공하는 광 매체 플레이어(예를 들어, DVD 플레이어), 컴퓨터, 및 기타 전자 장치 등의 장치들은 상당한 재생 기간을 갖는 디지털 미디어 표현에 대한 소비자 요구를 만족시키기에 특히 유리한 조건에 있다.
다양한 업체들이 미디어 컨텐츠 플레이어의 서로 다른 소프트웨어 및 하드웨 어 컴포넌트를 제공하는 것이 통상적이며, 이러한 컴포넌트들은 제한된 처리 및 메모리 자원을 갖는 환경에서 성공적으로 상호연동될 것으로 예상된다. 따라서, 모든 유형의 미디어 컨텐츠 플레이어 및 이들의 아키텍처에서의 동시에 제공될 수 있는 미디어 컨텐츠 스트림들의 정확한 동기화를 비롯한, 자원 효율적이고 비교적 글리치가 없는 디지털 미디어 표현의 재생을 보장해주는 기법들을 제공하는 것이 요망된다.
본 명세서에 기술된 디지털 미디어 처리 기법 및 인터페이스(애플리케이션 프로그래밍 인터페이스(API) 등)는 미디어 컨텐츠 플레이어와 연관된 미디어 처리 파이프라인 내에서의 하드웨어 컴포넌트와 소프트웨어 컴포넌트 간의 효율적이고 일관성있는 상호연동성을 증진시킨다.
일반적으로, 미디어 처리 파이프라인은 광 디스크, 하드 드라이브, 네트워크 장소, 및 기타 가능한 소스 등의 미디어 소스들로부터 일련의 미디어 컨텐츠를 수신하는 일과, 이들 일련의 미디어 컨텐츠를 영화, 텔레비전 프로그램, 오디오 프로그램, 또는 기타 표현 등의 디지털 미디어 프리젠테이션의 하나 이상의 미디어 컨텐츠 스트림으로서 사용자에게 제공하기 위한 준비를 하는 처리 태스크를 수행하는 일을 맡고 있다. 일련의 미디어 컨텐츠를 "클립"이라고 하며, 일반적으로 하나의 미디어 소스로부터 하나의 클립이 수신된다. 특정의 미디어 소스로부터 판독된 클립의 개개의 부분들을 본 명세서에서는 미디어 컨텐츠 단위(media content unit)라고 하며, 이들 미디어 컨텐츠 단위가 일반적으로 멀티플렉싱, 압축 해제, 디코딩 및/또는 복호화된다. 디멀티플렉싱된 후에, 이러한 미디어 컨텐츠 단위를 본 명세서에서는 미디어 샘플(media sample)이라고 한다. 그렇지만, 본 명세서에서 사용되는 명명 규칙(들)이 단지 예시적인 것이며 임의의 원하는 명명 규칙이 사용될 수 있다는 것을 잘 알 것이다.
미디어 처리 파이프라인은 하드웨어 또는 소프트웨어 또는 이들의 조합으로 구현되는 미디어 소스 판독기, 디멀티플렉서, 디코더, 복호화기, 기타 등등의 컴포넌트들을 포함하고 있다. Microsoft
Figure 112009079792793-PCT00001
DirectShow™ 멀티미디어 프레임워크 등의 프레임워크가 미디어 처리 파이프라인을 구현하는 데 사용될 수 있다. 그렇지만, 임의의 현재 공지된 또는 나중에 개발되는 프레임워크가 미디어 처리 파이프라인을 구현하는 데 사용될 수 있다는 것을 잘 알 것이다.
미디어 처리 파이프라인에서의 소프트웨어 컴포넌트들과 하드웨어 컴포넌트들 사이의 경계에서 정보(미디어 컨텐츠 자체 및/또는 사용자에 대한 미디어 컨텐츠의 제공에 관한 정보 등)가 교환된다. 한 정보 교환 시나리오에서, 소프트웨어 컴포넌트에서 사용되는 메모리(메모리라는 용어는 임의의 유형의 컴퓨터-판독가능 저장 매체를 포함할 수 있음) 내의 정보가 하드웨어 컴포넌트에서 사용될 수 있다. 다른 정보 교환 시나리오에서, 하드웨어 컴포넌트는 소프트웨어 컴포넌트에서 확인되는 정보에 기초하여 그의 동작을 수정하거나, 그 반대도 가능하다.
본 명세서에 기술되는 한 예시적인 기법 및 인터페이스는, 명령어/프로세서 사이클을 사용하여 정보를 복사하는 대신에, 미디어 처리 파이프라인의 소프트웨어 컴포넌트와 하드웨어 컴포넌트 사이의 경계에서의 동작이 하드웨어 컴포넌트가 소프트웨어 컴포넌트에 의해 사용되는 메모리로부터의 정보에 직접 액세스하는 것을 용이하게 해주도록 구성되어 있다. PhysMemDataStructure 인터페이스는 소프트웨어 컴포넌트에서 사용되는 메모리에 저장된 (하드웨어 컴포넌트에 의해 처리되는) 미디어 컨텐츠 단위와 연관된 데이터 구조의 하나 이상의 필드를 하드웨어 컴포넌트에 노출시킨다. 데이터 구조의 필드가 개개의 미디어 컨텐츠 단위가 위치해 있는 메모리의 물리적 특성들에 관한 정보를 저장하고 있다. 이러한 물리적 특성의 예로는 메모리의 유형, 메모리 블록 크기, 메모리 장소에 대한 판독/기록 포인터의 위치, 및 이러한 메모리 포인터에 대한 미디어 컨텐츠 단위의 오프셋 위치가 있지만, 이들로 제한되지 않는다. 메모리 자원의 효율적인 사용을 더욱 향상시키기 위해, 소프트웨어 컴포넌트는 미디어 컨텐츠 단위를 링 버퍼에 저장할 수 있다. 메모리 및 처리 효율을 더더욱 향상시키기 위해, 링 버퍼의 시작 부분을 물리 메모리 링 버퍼의 끝 부분에 복제하기 위해 가상 메모리가 사용될 수 있다.
본 명세서에 기술된 다른 예시적인 기법 및 인터페이스(설명을 위해, "SyncHelper" 인터페이스라고 함)는 하드웨어 컴포넌트와 소프트웨어 컴포넌트 간의 정보 교환을 용이하게 해주도록 구성되어 있으며, 하드웨어 또는 소프트웨어 컴포넌트의 (예를 들어, 2개의 미디어 컨텐츠 스트림 간의 인지된 동기화를 유지하는) 타이밍 또는 기타 동작 측면들을 조정하는 데 사용될 수 있다. 본 명세서에 기술된 한 SyncHelper 인터페이스("GetDecodeTimes" 인터페이스라고 함)는 특정의 시점에서 하드웨어 컴포넌트(디멀티플렉서, 디코더 또는 렌더러 등)에 의해 렌더링되는 특정의 미디어 컨텐츠 단위 또는 미디어 샘플에 관한 정보를 제공한다. 제공된 정보는 특정의 시점에서 디지털 미디어 프리젠테이션의 재생 기간의 경과된 양은 물론, 미디어 샘플이 도출된 클립의 재생 기간의 경과된 양도 포함한다. 다른 SynchHelper 인터페이스("SyncToSTC" 인터페이스라고 함)는 다양한 동시에 제공가능한 미디어 컨텐츠 스트림들의 동기화를 용이하게 해준다. 한 예시적인 시나리오에서, SyncToSTC 인터페이스는 GetDecodeTimes 인터페이스에 의해 반환되는 디지털 미디어 프리젠테이션의 재생 기간의 2개의 경과된 양의 값들 간의 차를 확인하고(즉, 요청/수신 또는 계산하고), 확인된 차에 기초하여 하나 이상의 하드웨어 컴포넌트에 타이밍을 조정하도록(예를 들어, 타이밍 신호의 레이트를 조정하거나, 어느 미디어 샘플이 디코딩될지를 조정하거나, 둘다를 하도록) 지시한다.
이 요약은 일련의 개념들을 간략화된 형태로 소개하기 위해 제공된 것이다. 이들 개념에 대해 상세한 설명 섹션에 더 기술되어 있다. 이 요약에 기술된 것 이외의 구성요소들 또는 단계들이 가능하며, 어떤 구성요소 또는 단계도 반드시 있어야만 하는 것은 아니다. 이 요약은 청구된 발명 대상의 중요한 특징들 또는 필수적인 특징들을 알려주기 위한 것이 아니며, 청구된 발명 대상의 범위를 정하는 데 보조 수단으로 사용되기 위한 것도 아니다. 청구된 발명 대상은 본 개시 내용의 임의의 부분에 기술된 단점들의 일부 또는 그 전부를 해결하는 구현들로 제한되지 않는다.
도 1은 예시적인 미디어 컨텐츠 플레이어의 간략화된 기능 블록도.
도 2는 도 1의 예시적인 미디어 타임라인(들)을 보다 상세히 나타낸 개략도.
도 3은 도 1의 미디어 컨텐츠 관리자 블록의 측면들을 보다 상세히 나타낸 간략화된 기능 블록도.
도 4는 도 3에 도시된 미디어 처리 파이프라인의 측면들에 대한 예시적인 아키텍처를 나타낸 간략화된 기능 블록도.
도 5는 도 1에 도시된 미디어 컨텐츠 플레이어, 도 3에 도시된 미디어 처리 파이프라인, 및/또는 도 4에 도시된 아키텍처의 측면들을 사용하여, 미디어 컨텐츠를 프리젠테이션하기 위한 준비를 하는 방법의 플로우차트.
도 6은 도 1에 도시된 미디어 컨텐츠 플레이어, 도 3에 도시된 미디어 처리 파이프라인(들), 및/또는 도 4에 도시된 아키텍처의 측면들을 사용하여, 2개의 미디어 컨텐츠 클립의 일부분을 동기하여 프리젠테이션하기 위한 준비를 하는 방법의 플로우차트.
도 7은 도 1에 도시된 미디어 컨텐츠 플레이어 또는 도 5 및 도 6에 도시된 방법의 전부 또는 그 일부가 구현 또는 사용될 수 있는 운영 환경의 예시적인 구성의 간략화된 블록도.
도 8은 도 7에 도시된 운영 환경의 측면들이 구현 또는 사용될 수 있는 클라이언트-서버 아키텍처의 간략화된 블록도.
디지털 미디어 프리젠테이션의 예측가능하고 비교적 글리치 없는 재생이 종종 미디어 컨텐츠 플레이어의 제한된 컴퓨팅 자원, 특히 메모리 및 프로세서 자원의 효율적인 사용에 의존한다. 글리치 및 비효율성은 다양한 상황들에서, 특히 정 보가 미디어 처리 파이프라인에서 동작하는 하드웨어 컴포넌트와 소프트웨어 컴포넌트 사이에서 전송될 때 일어날 수 있다. 한 시나리오에서, 비효율성은 정보가 소프트웨어 컴포넌트에 의해 사용되는 메모리와 하드웨어 컴포넌트에 의해 사용되는 메모리 사이에서 전송될 때 일어날 수 있다 - 메모리 액세스 트랜잭션에서 사용되는 처리 및/또는 메모리 자원을 최소화하는 것이 바람직하다 -. 다른 시나리오에서, 개별 하드웨어 컴포넌트들에 의해 다수의 미디어 컨텐츠 스트림이 사용자에게 동시에 제공하기 위한 준비가 되고 동작 동기화를 보장하기 위한 해당 정보가 하드웨어 컴포넌트에 없을 때, 미디어 컨텐츠 스트림(들)의 재생에서의 글리치 및/또는 사용자-인지 동기화 상실이 일어날 수 있다 - 어떤 처리 태스크들을 수행하는 타이밍을 조정하는 데 사용하기 위한 정보를 하드웨어 컴포넌트들에 제공하는 것이 바람직하다 -.
하드웨어 컴포넌트에서 사용될 수 있는 정보를 노출시켜 미디어 컨텐츠 플레이어의 미디어 처리 파이프라인에서 동작하는 컴포넌트들의 효율성, 정확성 및 상호연동성을 향상시키기 위해 소프트웨어 컴포넌트와 하드웨어 컴포넌트 사이의 경계에서 동작을 하는 다양한 기법들 및 애플리케이션 프로래밍 인터페이스("API")가 본 명세서에 기술되어 있다.
이제부터 유사한 참조 번호가 유사한 구성요소들을 가리키고 있는 도면들을 참조하면, 도 1은 미디어 컨텐츠를 렌더링하는 예시적인 미디어 컨텐츠 플레이어(100)(이후부터 "프리젠테이션 시스템(Presentation System)"(100)이라고 함)의 간략화된 기능 블록도이다. 미디어 컨텐츠는 비디오, 오디오, 이미지, 텍스트 및/ 또는 그래픽 시퀀스(일반적으로 시간 순서로 되어 있음)로 이루어져 있다. 프리젠테이션 시스템은 광 매체 플레이어, 컴퓨팅 장치 또는 그의 운영 체제, 오디오 플레이어, 셋톱 박스, 전기 통신 장치, PDA(personal digital assistant), 이미지 또는 비디오 캡처 장치, 기타 등등(이들로 제한되지 않음)을 비롯한 미디어 컨텐츠를 렌더링하는 어떤 시스템이라도 될 수 있다. 설명을 위해, 프리젠테이션 시스템이 영화 또는 기타 유형의 프리젠테이션 등의 미디어 컨텐츠를 사용자-선택가능 비디오 또는 오디오 대화형 객체(예를 들어, 메뉴, 게임, 특수 효과, 또는 기타 옵션)와 동시에 재생하는 데 사용되는 대화형 멀티미디어 프리젠테이션 시스템인 것으로 가정한다.
도시된 바와 같이, 프리젠테이션 시스템(100)은 미디어 컨텐츠 관리자(102), 대화형 컨텐츠("IC") 관리자(104), 프리젠테이션 관리자(106), 타이밍 신호 관리 블록(108), 및 믹서/렌더러(110)를 포함한다. 일반적으로, 설계 선택사항들에 의해 프리젠테이션 시스템(100)의 특정의 기능들이 구현되는 방법이 결정된다. 이러한 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 사용하여 구현될 수 있다.
동작을 설명하면, 프리젠테이션 시스템(100)은 대화형 멀티미디어 프리젠테이션 컨텐츠("프리젠테이션 컨텐츠")(120)를 처리한다. 프리젠테이션 컨텐츠(120)는 미디어 컨텐츠 컴포넌트("미디어 컴포넌트")(122) 및 대화형 컨텐츠 컴포넌트("IC 컴포넌트")(124)를 포함하고 있다. 미디어 컴포넌트(122) 및 IC 컴포넌트(124)는 일반적으로 각각 미디어 컨텐츠 관리자(102) 및 IC 관리자(104)에 의해 개별적으로 처리되지만, 꼭 그럴 필요는 없다.
프리젠테이션 시스템(100)은 프리젠테이션 컨텐츠(120)를 재생되는 프리젠테이션(127)으로서 사용자(도시 생략)에게 제공하는 것을 용이하게 해준다. 재생되는 프리젠테이션(127)은 믹서/렌더러(110)에 의해 생성되고 또 디스플레이 또는 스피커(도시 생략) 등의 장치를 통해 사용자에 의해 수신될 수 있는 프리젠테이션 컨텐츠(120)와 연관된 비디오 및/또는 오디오 정보를 나타낸다. 설명을 위해, 프리젠테이션 컨텐츠(120) 및 재생되는 프리젠테이션(127)이 임의의 포맷으로 된 HD(high-definition) DVD 영화 컨텐츠의 측면들을 나타내는 것으로 가정한다. 그렇지만, 프리젠테이션 컨텐츠(120) 및 재생되는 프리젠테이션(127)이 현재 공지되어 있거나 나중에 개발되는 임의의 유형의 미디어 컨텐츠의 프리젠테이션을 제공하도록 구성될 수 있다는 것을 잘 알 것이다.
미디어 컴포넌트(122)는 재생되는 프리젠테이션(127) 내의 미디어 컨텐츠 스트림(미디어 컨텐츠 스트림(308, 328)이 도 3과 관련하여 도시되어 있고 이하에서 더 설명됨)으로서 사용자에게 제공될 수 있는 하나 이상의 (일반적으로 시간-순서로 되어 있는) 비디오, 오디오, 이미지, 텍스트 및/또는 그래픽 시퀀스를 나타낸다. 2개 이상의 독립적으로 제어되는 미디어 컨텐츠 스트림(예를 들어, 본편 영화와, 감독의 해설, 배우의 이력, 또는 광고 등의 특징들)이 동시에 제공될 수 있다.
영화는 일반적으로 하나 이상의 버전(예를 들어, 성인 관객용 버전 및 청소년 관객용 버전), 각각의 타이틀과 연관된 하나 이상의 챕터(도시 생략)를 갖는 하나 이상의 타이틀(131)(타이틀에 대해서는 프리젠테이션 관리자(106)와 관련하여 이하에서 더 설명함), 하나 이상의 오디오 트랙(예를 들어, 영화가 하나 이상의 언어로 재생될 수 있고 자막이 있거나 없을 수 있음), 및 감독의 해설, 부가의 장면, 배우 이력, 광고, 예고편, 기타 등등의 추가 특징을 가지고 있다. 타이틀 및 챕터 간의 구별이 순전히 논리적 구별이라는 것을 잘 알 것이다. 예를 들어, 하나의 수신된 미디어 세그먼트가 하나의 타이틀/챕터의 일부일 수 있거나, 다수의 타이틀/챕터로 이루어져 있을 수 있다. 적용가능한 논리적 구별을 정하는 것은 컨텐츠 저작 소스에 달려 있다.
미디어 컴포넌트(122)의 측면들을 형성하는 일련의 비디오, 오디오, 이미지, 텍스트 및/또는 그래픽 시퀀스를 통상 클립(123)이라고 한다(클립(123)이 미디어 컴포넌트(122) 및 재생목록(128) 내에 도시되어 있으며, 또한 도 2에서도 언급되고 있고 이하에서 더 설명됨). 그렇지만, 미디어 컴포넌트(122)를 형성하는 일련의 데이터 시퀀스가 그룹화되고 및/또는 임의의 원하는 방식으로 불리울 수 있으며 또 실제 데이터가 임의의 원하는 단위(예를 들어, 비트, 프레임, 샘플, 데이터 패킷, GOP(group of picture), 향상된 비디오 객체 단위, 기타 등등)로 배열되고 표현될 수 있다는 것을 잘 알 것이다. 특정의 데이터 단위의 디지털 컨텐츠(또한 데이터 단위의 크기)는 단위를 비롯한 비디오, 오디오, 또는 데이터 컨텐츠의 특성, 또는 샘플이 도출되는 미디어 소스와 연관된 하나 이상의 파라미터(예를 들어, 미디어 소스 식별자 및/또는 위치, 인코더/디코더 파라미터 또는 설정치, 또는 암호화 파라미터 또는 설정치) 등의 몇가지 인자들에 기초할 수 있다. 미디어 소스에 대해서는 도 2와 관련하여 이하에서 더 설명한다.
미디어 데이터(132)는 미디어 컨텐츠 관리자(102)에 의해 렌더링을 위한 준비가 되어 믹서/렌더러(110)로 전송되는 미디어 컴포넌트(122)와 연관된 데이터이다. 미디어 데이터(132)는 일반적으로 각각의 활성 클립(123)에 대해, 클립의 일부분의 렌더링을 포함한다.
다시 프리젠테이션 컨텐츠(120)를 참조하면, IC 컴포넌트(124)는, 사용자-선택가능 비디오 또는 오디오 객체로서 선택적으로 비디오 또는 오디오 객체를 제공하라는 임의의 명령어(애플리케이션(155) 등)와 함께 미디어 컴포넌트(122)와 동시에 제공될 수 있는 대화형 객체(125)를 포함한다. 대화형 객체의 예로는, 그 중에서도 특히, 비디오 샘플 또는 클립, 오디오 샘플 또는 클립, 이미지, 그래픽, 텍스트, 및 이들의 조합이 있다.
애플리케이션(155)은 프리젠테이션 시스템(100)이 사용자에게 대화형 객체(125)를 제공하는 메카니즘을 제공한다. 애플리케이션(155)은 데이터에 대한 미리 정해진 동작들을 전자적으로 제어하는 임의의 신호 처리 방법 또는 저장된 명령어(들)를 나타낸다.
IC 관리자(104)는 애플리케이션(155)과 연관된 명령을 수신, 해석 및 실행 준비를 하는 하나 이상의 명령어 처리 엔진(181)을 포함하고 있다. 애플리케이션(155)의 실행이 진행되고 사용자 입력(150)이 수신될 때, 재생되는 프리젠테이션(127) 내에서의 거동이 트리거될 수 있다. "ICM으로부터의 입력"(190)이라고 하는 애플리케이션(155)의 어떤 명령어의 실행은 프리젠테이션 시스템(100) 내의 다른 기능들 또는 컴포넌트들과의 통신 또는 상호연동성을 용이하게 해줄 수 있다. 도시된 바와 같이, 입력(190)은 미디어 컨텐츠 관리자(102)에 의해 수신되지만(도 2와 관련하여 이하에서 더 설명함), 프리젠테이션 시스템(100) 내의 다른 컴포넌트들 또는 기능들도 입력(190)에 응답할 수 있다.
대화형 컨텐츠 데이터("IC" 데이터)(134)는 IC 관리자(104)에 의해 렌더링을 위한 준비가 되어 믹서/렌더러(110)로 전송되는 IC 컴포넌트(124)와 연관된 데이터이다.
타이밍 신호 관리 블록(108)(도 3과 관련하여 이하에서 더 설명함)은 미디어 컨텐츠 관리자(102) 및 IC 관리자(104)에서 각각 미디어 데이터(132) 및 IC 데이터(134)를 준비 및 생성하기 위한 타이밍을 제어하는 데 사용되는 다양한 타이밍 신호(158)를 생성한다. 예를 들어, 타이밍 신호 관리 블록(108)은 일반적으로 미디어 데이터(132) 및 IC 데이터(134)가 사용자에게 제공되는 레이트(도 2와 관련하여 도시되고 설명되는 "미디어 데이터 프리젠테이션 레이트(207)")를 결정하는 일을 맡고 있다. 다른 예에서, 타이밍 신호(158)는 미디어 데이터(132) 및/또는 IC 데이터(134)의 대략적인 동기화(예를 들어, 프레임별 또는 다른 시간 기반의 타이밍/동기화)를 달성하는 데 사용된다.
믹서/렌더러는 미디어 데이터(132)를 비디오 평면(도시 생략)에 렌더링하고, IC 데이터(134)를 그래픽 평면(도시 생략)에 렌더링한다. 그래픽 평면은 일반적으로 사용자를 위한 재생되는 프리젠테이션(127)을 생성하기 위해 비디오 평면 상에 오버레이되지만, 꼭 그러한 것은 아니다.
미디어 컨텐츠 관리자(102), IC 관리자(104), 믹서/렌더러(110), 및 타이밍 신호 관리 블록(108)과 통신하도록 구성되어 있는 프리젠테이션 관리자(106)는 프리젠테이션 컨텐츠(120)를 처리하는 것 및 재생되는 프리젠테이션(120)을 사용자에게 제공하는 것을 용이하게 해준다. 프리젠테이션 관리자(106)는 재생 목록(128)에 액세스한다. 재생 목록(128)은, 그 중에서도 특히, 사용자에게 제공될 수 있는 시간 순서로 된 클립(123) 및 애플리케이션(155)(대화형 객체(125)를 포함함)의 시퀀스를 포함하고 있다. 클립(123) 및 애플리케이션(155)/대화형 객체(125)는 하나 이상의 타이틀(131)을 형성하도록 구성될 수 있다. 상기한 바와 같이, 2개 이상의 독립적으로 제어되는 타이틀/미디어 컨텐츠 스트림이 사용자에게 동시에 재생되는 것이 가능하다. 이러한 동시 재생되는 스트림들이 재생 목록(128)에 표시될 수 있거나, 우연한 사용자 입력으로 인해 미디어 컨텐츠 스트림의 동시 재생이 일어날 수 있다.
프리젠테이션 관리자(106)는, 일반적으로 타이틀이 사용자에게 제공될 수 있는 특정 양의 시간을 나타내는 미리 정해진 재생 기간을 갖는 특정의 미디어 프리젠테이션(영화의 경우에 타이틀(131))에 대한 프리젠테이션 타임라인(130)을 확인하기 위해 재생 목록(128)을 사용한다. 재생 기간 내의 특정의 경과된 시간의 표현을 종종 "타이틀 시간"이라고 한다. 타이틀이 한번 또는 2번 이상(예를 들어, 루프 방식으로) 재생될 수 있기 때문에, 재생 기간은 타이틀의 반복에 기초하여 결정된다. 개념적으로, 프리젠테이션 타임라인(130)은 특정의 클립(123) 및 애플리케이션(155)이 사용자에게 제공될 수 있는 타이틀 시간을 나타낸다(그렇지만, 나타낸 바와 같이, 어떤 특정의 클립의 재생을 시작 및 중단시키는 사용자 입력이 언제 있을 수 있는지를 일반적으로 모르고 있다). 특정의 클립(123)은 또한 일반적으로 클립을 제공하는 특정의 시간을 나타내는 미리 정해진 재생 기간을 갖는다. 클립 재생 기간 내의 특정의 경과된 시간의 표현을 종종 "프리젠테이션 시간"이라고 한다. 클립의 각각의 개별적으로 제공가능한 부분(설명을 위해 "미디어 샘플"이라고 할 수 있지만, 임의의 원하는 명명 규칙이 사용될 수 있음)은 클립의 재생 기간 내의 연관된 미리 정해진 프리젠테이션 시간을 갖는다. 미디어 컨텐츠의 프리젠테이션에서 사용자-인지가능 글리치를 피하기 위해, 예정된/사전 결정된 프리젠테이션 시간보다 앞서 하나 이상의 차후의 미디어 샘플이 프리젠테이션을 위해 준비된다.
특정의 클립의 재생 및 그와 연관된 타이밍/시간을 더 잘 설명하기 위해, 하나 이상의 미디어 컨텐츠 타임라인("미디어 타임라인(들)")(142)을 확인하기 위해 재생 목록(128) 및/또는 프리젠테이션 타임라인(130)을 사용하는 것이 유용하다. 계속하여 도 1 및 도 2를 참조하면, 도 3은 특정의 클립(123)에 대한 예시적인 미디어 타임라인(142)이다. 다양한 미디어 샘플 프리젠테이션 시간(202)이 미디어 타임라인(142) 상에 나타내어져 있다. 미디어 샘플 프리젠테이션 시간(202)은 하나 이상의 미디어 샘플이 미디어 데이터(132)로서 제공될 수 있는 특정의 클립의 재생 기간 내의 시간을 나타낸다. 도시된 바와 같이, 미디어 샘플 프리젠테이션 시간(202)은 미리 정해진 미디어 데이터 프리젠테이션 레이트(207)에 기초한 레이트로 발생하며, 이는 클립마다 다를 수 있다. 유의할 점은, 미디어 데이터 프리젠테이션 레이트(207)가 특정의 클립(123)이 인코딩된 레이트와 동일할 필요는 없지만, 미디어 데이터 프리젠테이션 레이트가 특정의 클립에 대한 인코딩 레이트에 기 초하여 변할 수 있다는 것이다. 어떤 사용자 입력(150)은 또한 미디어 소스로부터 미디어 샘플을 검색하는 속도에 영향을 줄 수 있으며 따라서 미디어 샘플 프리젠테이션 시간(202)이 발생하는 레이트에 영향을 줄 수 있다. 예를 들어, 재생되는 프리젠테이션(127)은 보통 속도로 전방향으로 진행할 수 있고, 또한 보통 속도보다 더 빠르거나 더 느린 속도로 전방향 및 역방향 둘다로 진행할 수 있다. 보통 속도가 상대적인 용어이고 또 보통 속도가 프리젠테이션마다 또 클립마다 다를 수 있다는 것을 잘 알 것이다. 고속-되감기 및 고속-감기 동작 동안에, 어떤 미디어 컨텐츠(도시된 바와 같이, 미디어 샘플(230))의 재생의 건너뛰기가 종종 있게 된다. 다른 사용자 입력으로 인해, 사용자가 영화의 한 부분에서 다른 부분으로 점프할 때와 같이, 어떤 컨텐츠의 재생의 건너뛰기가 일어날 수 있다.
현재의 경과된 재생 시간(209)(즉, 클립과 연관된 디지털 미디어 프리젠테이션의 타이틀 시간)이 미디어 타임라인(142) 상에 보여진다. 현재의 경과된 재생 시간(209)에서 미디어 샘플(250)이 사용자에게 제공되고 있다. 도시된 바와 같이, 현재의 경과된 재생 시간(209)이 특정의 미디어 샘플 프리젠테이션 시간(202)과 일치하지만, 이러한 일치가 필요한 것은 아니다. 그 다음의 제공가능한 미디어 샘플 프리젠테이션 시간(214)도 보여준다. 그 다음의 제공가능한 미디어 샘플 프리젠테이션 시간(214)은 그 다음에 사용자에게 제공할 준비가 되어야 하는 그 다음의 미디어 샘플 및/또는 그 다음의 미디어 샘플 프리젠테이션 시간을 결정하는 데 사용된다(도시된 바와 같이, 그 다음의 처리가능한 미디어 샘플(270)이 프리젠테이션을 위한 준비가 되어야 함). 그 다음의 제공가능한 미디어 샘플/프리젠테이션 시간이 재생 목록(128)에 기초한 그 다음의 연속적인 미디어 샘플/프리젠테이션 시간일 수 있거나 현재의 경과된 재생 시간(209)과 연관된 미디어 샘플/프리젠테이션 시간으로부터 하나 이상의 미디어 샘플/프리젠테이션 시간(202)만큼 떨어져 있는 미디어 샘플/프리젠테이션 시간일 수 있다는 것을 잘 알 것이다. 그 다음의 제공가능한 미디어 샘플/미디어 샘플 프리젠테이션 시간을 확인하는 다양한 방식들이 있지만, 이들에 대해 본 명세서에서 상세히 기술하지 않는다. 그렇지만, 일반적으로, 예측되는 경과된 재생 시간(220)(즉, 디지털 미디어 프리젠테이션의 재생 기간의 예측되는 타이틀 시간) 및 대응하는 그 다음의 제공가능한 미디어 샘플/프리젠테이션 시간이 확인된다. 재생 속도, 미디어 프레임 레이트(207), 및 기타 정보 등의 정보가 예측되는 경과된 재생 시간을 구하는 데 및/또는 특정의 미디어 샘플 프리젠테이션 시간/미디어 샘플을 찾아내는 데 사용될 수 있다.
다시 도 1을 참조하여 동작을 설명하면, 프리젠테이션 관리자(106)는 프리젠테이션 타임라인(130) 및/또는 미디어 타임라인(142)에 관한 정보(이들로 제한되지 않음)를 비롯한 정보를 미디어 컨텐츠 관리자(102) 및 IC 관리자(104)에게 제공한다. 프리젠테이션 관리자(106)로부터의 입력에 기초하여, IC 관리자(104)는 IC 데이터(134)를 렌더링할 준비를 하고, 미디어 컨텐츠 관리자(102)는 미디어 데이터(132)를 렌더링할 준비를 한다.
계속하여 도 1 및 도 2를 참조하면, 도 3은 미디어 컨텐츠 관리자(102)의 측면들을 더 상세히 설명하는 간략화된 기능 블록도이다. 미디어 컨텐츠 관리자(102)는 하나 이상의 미디어 처리 파이프라인을 포함한다. 2개의 미디어 처리 파이프라인, 즉 미디어 처리 파이프라인 1(302) 및 미디어 처리 파이프라인 2(320)가 도시되어 있지만, 임의의 수의 미디어 처리 파이프라인이 가능하다. 일반적으로, 미디어 처리 파이프라인 1(302) 및 미디어 처리 파이프라인 2(320)는 각각 독립적으로 제어되는 미디어 컨텐츠 스트림(308, 328)을 사용자에게 제공할 준비를 하는 데 사용된다. 하나의 미디어 처리 파이프라인은 보통 제1 타이밍 신호(350)를 참조하여 영화 등의 주된 미디어 컨텐츠 스트림을 준비하는 일을 맡고 있고, 다른 미디어 처리 파이프라인은 제2 타이밍 신호(370)를 참조하여 감독의 해설, 배우 이력, 광고, 기타 등등의 하나 이상의 보조 미디어 컨텐츠 스트림을 준비하는 일을 맡고 있다. 타이밍 신호는 미디어 컨텐츠의 샘플들이 미디어 소스들로부터 검색되고 및/또는 사용자에게 제공될 준비가 되는 레이트(들)을 나타내고(그렇지만, 이러한 레이트(들)는 사용자 입력, 인코딩/암호화/압축 포맷, 및 기타 인자들에 기초하여 동적으로 변할 수 있음), 일반적으로 프리젠테이션 시스템(100)과 연관된 클럭 소스 등의 클럭 소스(도시 생략) 및/또는 미디어 처리 파이프라인 내의 하드웨어 컴포넌트 등의 특수-목적의 장치로부터 도출된다.
미디어 컨텐츠 관리자(102)는 도 2에 도시된 그 다음의 처리가능한 미디어 샘플(들)(270) 등의 차후의 개별적으로 제공가능한 클립의 일부분들을 준비하는 일을 맡고 있다. 이러한 준비는 종종 특정의 미디어 소스(미디어 컨텐츠가 도출 또는 획득되는 임의의 장치, 장소 또는 데이터인 도시된 미디어 소스(304, 324))로부터 클립의 차후의 부분을 판독하는 단계와, 미디어 소스(들)로부터 판독된 정보로부터 재생가능한 미디어 컨텐츠 스트림(308, 328)을 획득하기 위해 판독기, 디멀티 플렉서, 디코더, 렌더러 및/또는 복호화기 등의 하드웨어 및 소프트웨어-기반 미디어 처리 컴포넌트(미디어 처리 컴포넌트(306, 326)가 도 4와 관련하여 도시되고 이하에서 더 설명됨)를 사용하는 단계(이들로 제한되지 않음)를 비롯한 다수의 단계들을 포함한다.
미디어 컨텐츠 관리자(102)가 미디어 컴포넌트(122) 및/또는 IC 컴포넌트(124)를 포함하는 다양한 클립(123)의 식별자 및 스케쥴링(미리 정해지거나 우연한 사용자 입력(150)에 기초함)에 기초한 동적 처리 부하를 가질 수 있다는 것을 잘 알 것이다. 일반적으로, 미디어 처리 파이프라인이 프리젠테이션 시스템(100)의 처리 자원(예를 들어, CPU 사이클)의 10-15%만을 소비하는 것이 바람직하다.
메모리간 복사(memory-to-memory copy) 등의 종래의 복사 트랜잭션을 사용하여 정보가 메모리 장소들 간에 전송될 때 대량의 처리 자원이 소비될 수 있고, 복사 트랜잭션을 위해 처리 자원을 과도하게 사용하는 것은 디지털 미디어 프리젠테이션의 재생에 글리치를 야기할 가능성이 있다. 그렇지만, 미디어 처리 파이프라인의 서로 다른 컴포넌트에 의해 사용되는 메모리들 간에, 특히 소프트웨어 컴포넌트에 의해 사용되는 메모리와 하드웨어 컴포넌트에 의해 사용되는 메모리 간에 정보를 전송하는 것이 종종 바람직하다. 하드웨어 컴포넌트는, 그 중에서도 특히, 미디어 컨텐츠 처리를 가속화시키는 데 사용된다.
2개 이상의 클립의 차후의 부분을 동시에 제공할 준비를 하는 것은 또한 쉽게 예측할 수 없는 방식으로 메모리 및 프로세서 사이클 등의 컴퓨팅 자원을 대량으로 소비할 수 있으며, 디지털 미디어 컨텐츠의 재생에 글리치가 있을 가능성을 더욱 심화시킬 수 있다. 게다가, 클립의 특정 부분을 제공할 준비를 하는 데 필요한 메모리 및/또는 처리 자원(따라서 이러한 준비 시간)이 샘플마다 또는 클립마다 항상 일정한 것은 아니다. 요구되는 자원 및 준비 시간에 영향을 주는 어떤 인자들(미디어 단위/샘플 크기, 미디어 소스/장소, 인코딩 또는 디코딩 파라미터, 및 암호화 파라미터 등의 인자들을 포함하지만, 이들로 제한되지 않음)은 미디어 컨텐츠 자체와 연관되어 있다. 요구되는 자원에 영향을 주는 다른 인자들은 미디어 컨텐츠 플레이어(예를 들어, 미디어 처리 파이프라인 아키텍처, 동적 처리 부하, 및 미디어 컨텐츠 플레이어 아키텍처의 다른 특징들)와 연관되어 있지만, 요구되는 자원에 영향을 주는 또 다른 인자들은 사용자 입력(예를 들어, 사용자-선택 미디어 컨텐츠, 컨텐츠 포맷, 또는 재생 속도)과 연관되어 있다.
계속하여 도 1 내지 도 3를 참조하면, 도 4는 미디어 처리 컴포넌트 블록(306, 326)의 아키텍처 및 동작 측면들을 더 상세히 설명하는 간략화된 기능 블록도이다. 한 가능한 구현에서, Microsoft
Figure 112009079792793-PCT00002
DirectShow™ 멀티미디어 프레임워크는 미디어 처리 태스크를 필터라고 하는 단계들의 그룹으로 분할하는 데 사용되며, 각각의 필터는 필터들을 서로 연결시키는 다수의 입력 핀 및 다수의 출력 핀을 갖는다. 그렇지만, 임의의 현재 공지된 또는 나중에 개발되는 프레임워크가 미디어 처리 파이프라인을 구현하는 데 사용될 수 있다는 것을 잘 알 것이다.
도시된 바와 같이, 소프트웨어-하드웨어 경계(403)는 점선으로 나타내어져 있고, 경계(403)의 좌측에 있는 컴포넌트들은 주로 소프트웨어-기반 컴포넌트(또는 소프트웨어를 사용하여 구현되는 컴포넌트의 일부분)이며, 경계(403)의 우측에 있 는 컴포넌트들은 주로 하드웨어-기반 컴포넌트(또는 하드웨어, 펌웨어 또는 이들의 조합을 사용하여 구현되는 컴포넌트의 일부분)이다. 예시적인 아키텍처는 하드웨어-기반 컴포넌트가 직접 판독할 수 있는 제1 메모리(430)에 액세스하는 소프트웨어-기반 미디어 소스 판독기(402), 일반적으로 하나 이상의 메모리 블록(설명을 위해 제2 메모리(433)로서 도시되고 언급됨)에 액세스하는 하드웨어-기반 디멀티플렉서("demux")(404), 역시 일반적으로 하나 이상의 메모리 블록(설명을 위해 제2 메모리(433)로서 도시되고 언급됨)에 액세스하는 하나 이상의 하드웨어-기반 디코더/렌더러(490), 및 PhysMemDataStructure API(410), Sniffer/Callback API(422), 및 GetDecodeTimes API(420) 및 SyncToSTC API(420)를 포함하는 SyncHelper API(416)를 비롯한 애플리케이션 프로그래밍 인터페이스(408)를 포함한다.
미디어 소스 판독기(402)는 특정의 미디어 소스로부터 개별적으로 제공가능한 클립의 부분(설명을 위해 미디어 단위(407)라고 함)을 (데이터 푸시 또는 풀 기법을 통해) 수신하는 일, 수신된 미디어 단위(407)를 메모리(430)에 저장하는 일, 및 저장된 미디어 단위(407)에 관한 데이터를 다운스트림으로(예를 들어, 디멀티플렉서(404) 또는 디코더/렌더러(490)로) 전달하는 일을 맡고 있다. 한 가능한 구현에서, 데이터가 데이터 구조를 사용하여 다운스트림으로 디멀티플렉서(404)로 전달된다. 예를 들어, Microsoft
Figure 112009079792793-PCT00003
DirectShow™ 프레임워크와 관련하여, 미디어 단위(407)는 IMediaSample 객체라고 하는 데이터 구조에 래핑되어 있다(IMediaSample은 객체들이 구현하는 인터페이스를 참조하고, 이 객체들을 미디어 샘플이라고 할 수 있음). 종종 IMediaSample 객체는 초기화 시에 고정 크기 할당으로 제약되고, 미디어 컨텐츠 단위의 크기에 따라, 전체 크기로 사용되지 못할 수 있다. 이하에 기술되는 바와 같이 링 버퍼(420)를 사용하면 메모리를 보다 효율적으로 사용할 수 있게 된다.
메모리(430)는 연속적인 및 스캐터-게더형 물리 메모리(physically contiguous and scatter-gathered memory), 캐쉬 사용 및 캐쉬 미사용 가상 메모리(virtually cached and uncached memory), 잠금식 및 비잠금식 물리 메모리(physically locked and unlocked memory)(스캐터-게더형에 대해 비잠금식임), 및 링 버퍼(420)(이하에서 더 설명함)에서 사용하도록 최적화된 가상 메모리 매핑(이들로 제한되지 않음)를 비롯한, 프리젠테이션 시스템(100)의 운영 체제를 통해 액세스가능한 임의의 컴퓨터-판독가능 매체(컴퓨터-판독가능 매체에 대해서는 도 7을 참조하여 이하에서 더 설명함)를 나타낸다. 하드웨어-할당 메모리 블록(432)은, 어떤 알고리즘(예시적인 알고리즘이 도 5와 관련하여 도시되고 이하에 기술됨)에 따라 또 PhysMemDataStructure API(410) 등의 어떤 API(408)를 사용하여, 디멀티플렉서(404)(또는 미디어 처리 파이프라인(302 또는 320)의 다른 컴포넌트들)에서 액세스하도록 미디어 소스 판독기(402)를 통해 개별적으로 할당될 수 있는 블록을 갖는 것으로 볼 수 있는 (임의의 크기 또는 구성의) 메모리(430)의 양 또는 영역의 추상적 표현이다. 한 예시적인 구현에서, 하드웨어-할당 메모리 블록(432)은 미디어 소스 판독기(402)로부터 획득된 개개의 미디어 컨텐츠 단위(407)가 저장되는 블록들을 갖는 링 버퍼(420)이다. 링 버퍼(420)를 사용하는 것의 이점은 어떤 컴퓨터-판독가능 매체가 데이터가 트랙을 통해 판독될 때, 특히 링 버퍼(420)가 (예를 들어, 광 장치로부터의) 판독 동작에 어떤 패킷 제약조건도 두지 않을 때 보다 효율적으로 판독될 수 있다는 것이다. 링 버퍼(420)를 사용하는 것의 다른 이점은 데이터가 (예를 들어, 광 드라이브로부터) 보통보다 빠르게 판독될 때의 트릭 모드(trick mode)에 대해서 이다. 풀 디코드(full decode)를 수행할 필요가 없는 미디어 컨텐츠 단위의 일부를 건너뛰기하는 것이 링 버퍼 판독기에 내장된 청킹 메카니즘(chunking mechanism)에 의해 보다 용이하게 달성된다. 링 버퍼(420) 및 그의 이점과 동작에 대한 기타 상세에 대해서는 도 5와 관련하여 이하에서 더 설명한다.
디멀티플렉서(404)는 그에 따라 미디어 소스 판독기(402)의 출력핀(401)으로부터 입력핀(411)에서 미디어 단위(407)(도 2에 도시된 그 다음의 처리가능한 미디어 샘플(들)(270) 등) 및/또는 미디어 단위(407)와 연관된 데이터 구조를 수신하고 호환가능한 멀티플렉서에 의해 이전에 결합된 2개 이상의 신호(디코딩된 미디어 컨텐츠 스트림 등)를 분리시킨다. 메모리(들)(433)는 디멀티플렉서(404) 또는 기타 하드웨어 컴포넌트에 의해 사용가능한 버퍼 또는 레지스터 등의 하나 이상의 컴퓨터-판독가능 매체(컴퓨터-판독가능 매체에 대해서는 도 7과 관련하여 이하에서 더 설명함)를 나타낸다. 디멀티플렉서(404)는 출력핀(421)에서 디코더/렌더러(490)의 입력핀(491)에게 개개의 미디어 컨텐츠 스트림(미디어 컨텐츠 스트림(308 또는 328) 등)과 연관되어 있는 디멀티플렉싱된 미디어 샘플(409)을 제공한다.
디코더/렌더러(490)는 디멀티플렉싱된 미디어 단위(설명을 위해 미디어 샘 플(409)(예를 들어, MPEG-2 샘플)이라고 함)를 수신하는 일 및 디멀티플렉싱된 미디어 샘플을 언스크램블링/복호화하여 특정의 미디어 컨텐츠 스트림(308, 328)과 연관된 미디어 데이터(132)를 생성하기 위해 일반적으로 공지된 기법들을 사용하는 일을 맡고 있다. 미디어 소스, 디멀티플렉서 및 디코더/렌더러 간의 일대일 관계가 도시되어 있지만, 임의의 수의 이러한 컴포넌트(및 부가의 컴포넌트들)의 임의의 배열이 가능하고 또 이러한 컴포넌트들이 미디어 처리 파이프라인 1(302)과 미디어 처리 파이프라인 2(320) 간에 공유될 수 있다는 것을 잘 알 것이다.
API(408)는 미디어 처리 파이프라인 내에서의 소프트웨어 컴포넌트들과 하드웨어 컴포넌트들의 상호연동성을 향상시키고 또 프리젠테이션 시스템(100)의 메모리 및 처리 자원의 효율적인 사용을 증진시키기 위해 제공된다. 한 가능한 구현에서, API(408)는 프리젠테이션 시스템(100)의 동작 동안에 실행될 수 있고 및/또는 미디어 처리 파이프라인(306 및 326)에 대한 명령어의 작성자에 의해 액세스될 수 있는 컴퓨터-판독가능 저장 매체 상에 인코딩되어 있는 일련의 컴퓨터-실행가능 명령어들이다. 일반적으로, API(408)는 도 5 및 도 6과 관련하여 도시되고 이하에 더 설명되는 방법(들)의 측면들을 수행하도록 구성되어 있다.
PhysMemDataStructure API(410)는 디멀티플렉서(404) 및/또는 디코더/렌더러(490) 등의 하드웨어 컴포넌트에 의해 직접 소비될 수 있는 메모리(430)의 지원을 일반화하도록 구성되어 있다. 한 가능한 구현에서(예를 들어, DirectShow(TM) 프레임워크를 갖는 미디어 처리 파이프라인과 관련하여), IMediaSample 객체에 래핑되어 있는 미디어 단위(407)가 (IMemAllocator 객체의 구현에 의해)(예를 들어, 디멀티플렉서(404)의 입력핀(411)을 사용하여 - 출력핀(401)이 입력핀(411)에 질의를 하고 따라서 디멀티플렉서(404)가 하드웨어에서 사용가능한/필요로 하는 특성들을 메모리에 제공할 수 있음 -) 하드웨어-할당 메모리 블록(432) 내의 저장 장소에 할당되고, 이러한 저장 장소에 관한 정보(메모리의 유형, 메모리 블록의 크기, 메모리로의 포인터의 위치, 및 메모리로의 포인터에 대한 특정의 미디어 단위의 저장 장소의 오프셋 위치 등)가 PhysMemDataStructure API(410)에 의해 디멀티플렉서(404) 및 디코더/렌더러(490) 등의 하드웨어 컴포넌트에 노출된다. 그에 의해, 하드웨어 컴포넌트는 정보를 복사하는 데 명령어 및 프로세서 사이클을 사용하지 않고 (예를 들어, 직접 메모리 액세스 기법을 통해) 하드웨어-할당 메모리 블록(432) 내의 정보에 직접 액세스/정보를 검색할 수 있다.
미디어 처리 파이프라인(302, 320) 및/또는 미디어 처리 컴포넌트(306, 326)와 관련하여 PhysMemDataStructure API(410)를 구현하는 데 사용가능한 예시적인 의사 코드가 이하에 주어져 있다.
Figure 112009079792793-PCT00004
Figure 112009079792793-PCT00005
Figure 112009079792793-PCT00006
Sniffer/Callback API(422)는 디멀티플렉서(404)에 의해 파싱된 어떤 미디어 샘플(409)(예를 들어, HD(high-definition) DVD 프로그램 스트림에 멀티플렉싱된 "HLI," "ADV," 및 "NAV" 패킷) 및/또는 디코더/렌더러(490)에 의해 디코딩/렌더링된 미디어 데이터(132)에 프리젠테이션 시스템(100)의 소프트웨어-기반 요소가 액세스하게 해주는 데 사용된다. 한 가능한 구현에서, DirectShow(TM) 프레임워크 필터는 디멀티플렉서(404)의 출력핀(421) 또는 디코더/렌더러(490)의 출력핀(도시 생략)에 연결되어 있고, 이 필터는 Sniffer/Callback API(422)를 지원하는 데 사용된다.
미디어 처리 파이프라인(302, 320) 및/또는 미디어 처리 컴포넌트(306, 326)와 관련하여 어떤 유형의 미디어 샘플(409) 또는 미디어 데이터(132)를 검출하는 Sniffer/Callback API를 구현하는 데 사용가능한 예시적인 의사 코드가 이하에 주어져 있다.
Figure 112009079792793-PCT00007
이에 대해, 콜백 렌더러(callback renderer)가 이하를 호출한다.
Figure 112009079792793-PCT00008
SyncHelper API(416)는 미디어 컨텐츠 스트림(308)과 미디어 컨텐츠 스트림(328) 간의 인지된 동기화를 유지하기 위해 사용가능한 정보 교환을 용이하게 해주도록 구성되어 있다. GetDecodeTimes API(418)는 어떤 미디어 샘플(예를 들어, 그 다음의 처리가능한 미디어 샘플(270)인 것으로 생각되는 미디어 단위(407) 또는 미디어 샘플(409))이 하드웨어 컴포넌트(디멀티플렉서(404) 또는 하나 이상의 디코더/렌더러(490) 등)에 의한 프리젠테이션을 위한 준비가 되는 시간과 연관되어 있는 어떤 시간(타이틀 시간(209) 및 미디어 샘플 프리젠테이션 시간(202) 등)에 관한 상태 통지를 제공하도록 구성되어 있다. SyncToSTC API(420)를 통해 제공되는 정보는, 그 중에서도 특히, 동기하여 제공가능한 미디어 샘플을 처리하는 서로 다른 디코더/렌더러(또는 기타 하드웨어 컴포넌트)로부터 GetDecodeTimes API(418)에 의해 반환되는 타이틀 시간(209)의 차에 기초하여 타이밍 신호(350 및/또는 370)를 조정하는 데 사용될 수 있다.
SyncHelper API(416)를 구현하는 데 사용가능한 예시적인 의사 코드가 이하에 주어져 있다.
Figure 112009079792793-PCT00009
계속하여 도 1 내지 도 4를 참조하면, 도 5 및 도 6은 하나 이상의 API(408)에 의해 제공되는 기능을 사용하여 미디어 컨텐츠(하나 이상의 클립(123)의 일부 등)를 하나 이상의 미디어 처리 파이프라인(미디어 처리 파이프라인 1(302) 또는 미디어 처리 파이프라인 2(320) 등)에 의해 프리젠테이션하기 위한 준비를 하는 방법의 플로우차트이다. 도 5에 도시된 방법은 소프트웨어 컴포넌트(미디어 소스 판독기(402) 또는 다른 소프트웨어 컴포넌트 등)에 의해 사용되는 메모리(메모 리(430) 등)와 하드웨어 컴포넌트(디멀티플렉서(404) 또는 디코더/렌더러(490) 또는 기타 하드웨어 컴포넌트 등)에 의해 사용되는 메모리(메모리(433) 등) 사이에서 정보가 전달될 때 사용되는 처리 및/또는 메모리 자원을 최소화하는 데 유용하다. 도 6에 도시된 방법은 다수의 동시 재생가능한 미디어 컨텐츠 스트림의 일부가 개별적인 하드웨어 컴포넌트에 의해 프리젠테이션될 준비가 될 때 인지된 동기화를 유지하는 데 유용하다.
도 5 및 도 6에 도시된 프로세스는 도 7과 관련하여 이하에 기술되는 프로세서(702) 등의 하나 이상의 범용, 다중-목적, 또는 단일-목적 프로세서에서 구현될 수 있다. 구체적으로 언급하지 않는 한, 본 명세서에 기술된 방법들이 특정의 순서 또는 시퀀스로 제약되지 않는다. 그에 부가하여, 본 발명의 기술된 방법들 또는 구성요소들 중 일부가 동시에 행해지거나 수행될 수 있다.
도 5의 플로우차트에 도시된 방법을 참조하면, 방법은 블록(500)에서 시작하고, 계속하여 블록(502)에서 클립(123)의 개별적으로 재생가능한 부분 등의 미디어 컨텐츠 단위(특정의 미디어 소스(304)로부터 수신된 미디어 단위(407) 등)를 저장하기 위한 하드웨어-할당 메모리 블록(432) 등의 제1 메모리의 일부분이 식별된다. 제1 메모리 내의 특정의 미디어 컨텐츠 단위 및 그 미디어 컨텐츠 단위에 대한 저장 장소가 각각 블록(504, 506)에서 식별된다.
미디어 처리 파이프라인(302, 320)의 미디어 처리 컴포넌트(306, 326)와 관련하여, 하드웨어-할당 메모리 블록(32)은 메모리 및 처리 자원의 효율적인 사용을 향상시키기 위해 링 버퍼(420)로서 구현될 수 있다. 링 버퍼(420)는 미디어 단 위(407)를 저장하기 위해 미디어 소스 판독기(402)(또는 미디어 처리 파이프라인(302 또는 320)의 기타 컴포넌트들)를 통해 개별적으로 할당될 수 있는 블록들을 갖는 것으로 볼 수 있다. 링 버퍼(420)에 저장된 각각의 미디어 단위(407)의 오프셋이 알려져 있고, "BOM"(beginning of memory) 포인터(435), "EOM"(end of memory) 포인터(437), "BUMP"(beginning of used memory pointer)(453), 및/또는 "EUMP"(end of used memory pointer)(455) 등의 링 버퍼(420) 내의 장소들에 대한 하나 이상의 포인터의 값과 관련하여 표현될 수 있다. 디멀티플렉서(404) 또는 다른 하드웨어 컴포넌트가 링 버퍼(420)로부터 미디어 단위(407)의 표현을 획득할 때, BUMP(453) 및/또는 EUMP(455)가 그에 따라 이동될 수 있다. 미디어 단위(407)가 획득되어 비순차적으로 방출될 수 있기 때문에, BUMP(453) 및 EUMP가 서로를 건너뛰지 못하도록 하기 위해 링 버퍼(420) 내의 미디어 단위(407)의 오프셋들의 리스트가 유지될 수 있다.
메모리 사용 및 처리 효율성을 더욱 향상시키기 위해, 링 버퍼(420)의 시작으로부터의 하나 이상의 메모리 블록을 링 버퍼(420)의 끝에 복제하기 위해 가상 메모리가 사용될 수 있다. 도시된 바와 같이, 가상 메모리를 사용하여 복제 BOM 블록(450)("BOM"(beginning-of-memory) 블록(450)의 복제본임)이 구현되고, 논리적으로 "EOM"(end-of-memory) 블록(441) 이후에 위치된다. 이러한 가상 메모리의 사용은 "자동-래핑(auto-wrap)" 기능이라고 하는데, 그 이유는 판독 및 기록 포인터를 사용하여 링 버퍼 방식으로 사용될 큰 메모리 블록을 분해할 때 특히 유용하기 때문이다. 자동-래핑 기능의 사용이 선택적이다 - 일반적으로 디멀티플렉서(404) 의 제공자는 두번 매핑되지 않는 메모리를 제공하기로 할 수 있고, 미디어 처리 파이프라인이 여전히 동작하지만, 메모리의 사용이 덜 효율적일 수 있다 -. 이러한 링 버퍼 구현에서, 버퍼의 시작으로 "랩 어라운드(wrap around)"되는 메모리가 특별한 처리를 필요로 할 수 있는 특수한 경우가 있다. 예를 들어, 정보를 랩 어라운드되는 메모리의 부분에 복사하거나 다른 방식으로 획득하는 것은 2개의 트랜잭션을 필요로 할 수 있으며, 하나는 버퍼의 끝에서 정보를 검색하는 트랜잭션이고 다른 하나는 버퍼의 시작에서 정보를 검색하는 트랜잭션이다. 따라서, 링 버퍼 크기를 완전히 이용하는 것이 보통 어렵다. 상기한 바와 같이 가상 메모리를 사용하면 정보 크기가 너무 커서 링 버퍼의 끝에 들어가지 않을 때 추가의 메모리를 할당하거나 링 버퍼의 끝으로 건너뛰기(둘다 메모리의 비효율적 사용임)할 필요가 없다.
물리적 메모리를 2배 크기의 가상 메모리 영역으로 두번 매핑하는 "자동-래핑" 특징을 구현하는 데 사용가능한 예시적인 코드(Microsoft
Figure 112009079792793-PCT00010
Windows CE 6.0 운영 체제 소프트웨어에 대한 것이지만, 가상 메모리를 사용하는 임의의 운영 체제가 사용될 수 있음)가 이하에 주어져 있다.
Figure 112009079792793-PCT00011
다시 도 5의 플로우차트를 참조하면, 블록(508)은 특정의 미디어 컨텐츠 단위와 연관된 데이터 구조를 작성하는 단계를 나타내며, 이 데이터 구조는 제1 메모리 내의 미디어 컨텐츠 단위의 저장 장소에 관한 정보를 저장하는 필드를 갖는다. 그 다음에, 블록(510)에서, 이 데이터 구조가 제2 메모리를 갖는 하드웨어 컴포넌트(디멀티플렉서(404) 또는 디코더/렌더러(490) 등)에 노출된다. 블록(512)에서, 하드웨어 컴포넌트가 중앙 처리 장치를 사용하지 않고 제1 메모리로부터 제2 메모리로 미디어 컨텐츠 단위를 직접 전송하기 위해 미디어 컨텐츠 단위의 저장 장소에 관한 데이터 구조 내의 정보를 사용할 수 있다는 것을 알 수 있다.
DirectShow(TM) 프레임워크를 사용하여 구현되는 미디어 처리 컴포넌트(306, 326)와 관련하여, 미디어 소스 판독기(402)는 이하의 정보, 즉 메모리(430) 및/또는 하드웨어-할당 메모리 블록(432)의 포인터, 메모리(430) 및/또는 하드웨어-할당 메모리 블록(432)의 크기, 미디어 단위(407)의 시작 및 종료 시간, 플래그(들), 및 임의의 다른 원하는 정보의 전부 또는 그 일부를 다운스트림 하드웨어 컴포넌트들에 제공하기 위해 IMediaSampleObject 등의 데이터 구조를 사용한다. 유익하게도, 디멀티플렉서(404)(기타 하드웨어 컴포넌트들)에 의해 액세스되는, 미디어 소스 판독기(402)에 의해 할당된 링 버퍼(420)의 메모리 블록의 특성들에 관한 정보가 IMediaSampleObject 등의 데이터 구조(또는 그의 필드)에 의해 역시 제공될 수 있는 PhysMemDataStructure API(410)를 통해 노출된다. PhysMemDataStructure API(410)로부터 디멀티플렉서(404) 및 기타 하드웨어 컴포넌트에 의해 도출되는 물리 메모리 정보가 링 버퍼(420) 내의 개별적인 미디어 컨텐츠 단위(407)의 저장 장소에 직접 액세스하는 데 사용되어, "memcopy" 트랜잭션 등의 프로세서를 많이 사용하는(processor-intensive) 복사 트랜잭션이 필요없게 된다. PhysMemDataStructure API(410)를 통해 노출되는 하드웨어-할당 메모리 블록(432)의 특성들에 관한 정보로는 메모리(432)의 유형, 메모리의 메모리 블록의 크기, 메모리의 하나 이상의 포인터(437, 435, 453, 또는 455)의 위치, 및 메모리의 하나 이상의 포인터에 대한 특정의 미디어 단위(407)의 오프셋 위치가 있지만, 이들로 제한되지 않는다.
도 6의 플로우차트에 도시된 방법을 참조하면, 방법은 블록(600)에서 시작하고, 계속하여 블록(602 및 604)에서 각각 멀티미디어 프리젠테이션의 재생 기간이 식별되고, 미디어 컨텐츠 스트림(308) 및 미디어 컨텐츠 스트림(328) 등의 개별적인 미디어 컨텐츠 스트림으로서 재생가능한 2개의 클립(각각이 그 자신의 재생 기간을 가짐)이 식별된다. 그 다음에, 2개의 동기하여 제공가능한 미디어 샘플(하나 는 제1 클립으로부터 온 것이고 하나는 제2 클립으로부터 온 것임)이 각각 블록(606 및 608)에서 식별된다.
일반적으로, 프리젠테이션 시스템(프리젠테이션 관리자(106)의 측면들 등)의 소프트웨어-기반 컴포넌트가 현재 재생가능한 클립(123)을 알고 있다. 미디어 처리 파이프라인(302, 320)의 미디어 처리 컴포넌트(306, 326)와 관련하여, 디멀티플렉서(404) 및/또는 디코더/렌더러(490)에 의해 처리되는 특정의 미디어 단위(407) 및/또는 미디어 샘플(409)을 식별하기 위해 Sniffer/Callback API(422)를 사용할 수 있다.
블록(610)에 나타낸 바와 같이, 어떤 정보가 제1 시간에 확인된다 - 제1 시간은 제1 클립으로부터 온 미디어 샘플이 미디어 처리 파이프라인 1(302) 내의 디멀티플렉서(404) 또는 디코더/렌더러(490) 등의 제1 하드웨어 컴포넌트에 의해 프리젠테이션될 준비가 되고 있을 때와 연관되어 있음 -. 이하의 정보, 즉 디지털 미디어 프리젠테이션의 재생 기간의 경과된 양, 및 제1 클립의 재생 기간의 경과된 양이 블록(610)에서 확인된다.
블록(612)에 나타낸 바와 같이, 어떤 정보가 제2 시간에 확인된다 - 제2 시간은 제2 클립으로부터 온 미디어 샘플이 미디어 처리 파이프라인 2(320) 내의 디멀티플렉서(404) 또는 디코더/렌더러(490) 등의 제2 하드웨어 컴포넌트에 의해 프리젠테이션될 준비가 되고 있을 때와 연관되어 있음 -. 이하의 정보, 즉 디지털 미디어 프리젠테이션의 재생 기간의 경과된 양, 및 제2 클립의 재생 기간의 경과된 양이 블록(612)에서 확인된다.
도 2에 도시된 예시적인 미디어 타임라인과 관련하여 상기한 바와 같이, 재생 기간의 경과된 양을 종종 타이틀 시간(또는 전역 시스템 시간)이라고 하고, 특정의 클립의 재생 기간의 경과된 양은 일반적으로 특정의 미디어 샘플과 연관된 특정의 미리 정해진 미디어 샘플 프리젠테이션 시간(202)에 대응한다. GetDecodeTimes API(418)는 제1 및 제2 클립 둘다의 미디어 샘플 및/또는 미디어 타임라인(142)을 검사하고 블록(610 및 612)에서 나타낸 정보를 반환하도록 구성되어 있다.
블록(614)에서, 블록(610)에서 계산된 디지털 미디어 프리젠테이션의 재생 기간의 경과된 양과 블록(612)에서 계산된 디지털 미디어 프리젠테이션의 재생 기간의 경과된 양 간의 차가 확인되고, 블록(616)에 나타낸 바와 같이, 미디어 샘플을 준비 및/또는 제공하는 하드웨어 컴포넌트의 타이밍을 조정하는 데 사용될 수 있다.
미디어 처리 파이프라인(302, 320)의 미디어 처리 컴포넌트(306, 326)와 관련하여, SyncToSTC API(420)는 처리 시간 및/또는 타이밍 신호(350 및 370) 등의 타이밍 신호에 델타(블록(614)에서 확인되는 재생 기간의 경과된 양 간의 차에 기초함)를 적용함으로써, 서로 다른 하드웨어 컴포넌트들로부터의 다양한 미디어 컨텐츠 스트림을 동기화시키기 위해 GetDecodeTimes API(418)를 통해 획득된 정보를 사용하도록 구성되어 있다. SyncToSTC API(420)도 역시 다른 재생 제약조건들(예를 들어, 재생 목록에 의해 정의됨)을 사용하여 미디어 컨텐츠 스트림을 동기화시키는 데 사용될 수 있다는 것을 잘 알 것이다.
계속하여 도 1 내지 도 6을 참조하면, 도 7은 프리젠테이션 시스템(100)의 전부 또는 그 일부가 구현 또는 사용될 수 있는 운영 환경(700)의 예시적인 구성의 블록도이다. 운영 환경(700)은 일반적으로 광범위한 범용 또는 전용 컴퓨팅 환경을 나타낸다. 운영 환경(700)은 적당한 컴퓨팅 환경의 일례에 불과하며 본 명세서에 기술된 시스템(들) 및 방법들의 용도 또는 기능의 범위에 관한 어떤 제한을 암시하기 위한 것이 아니다. 예를 들어, 운영 환경(700)은 현재 공지되어 있거나 나중에 개발되는, 퍼스널 컴퓨터, 워크스테이션, 서버, 휴대용 장치, 랩톱, 태블릿과 같은 일종의 컴퓨터, 또는 광 매체 플레이어나 다른 유형의 매체 플레이어와 같은 임의의 다른 유형의 전자 장치, 또는 이들의 임의의 측면일 수 있다. 운영 환경(700)은 또한, 예를 들어, 분산 컴퓨팅 네트워크 또는 웹 서비스일 수 있다. 운영 환경(700)의 특정의 예가 HD(high-definition) DVD 영화의 재생을 용이하게 해주는 DVD 플레이어 또는 그와 연관된 운영 체제 등의 환경이다.
도시된 바와 같이, 운영 환경(700)은 하나 이상의 프로세서(702), 컴퓨터-판독가능 매체(704), 및 컴퓨터 프로그램(706)을 비롯한 컴퓨팅 유닛의 컴포넌트들을 포함하거나 그에 액세스한다. 프로세서(들)(702)는 컴퓨터-판독가능 매체(704) 및 컴퓨터 프로그램(706)에 응답한다. 프로세서(들)(702)는 물리 또는 가상 프로세서일 수 있으며, 특정의 프로세스를 수행하기 위해 어셈블리 레벨, 컴파일된 레벨 또는 기계 레벨에서 명령어를 실행할 수 있다. 이러한 명령어는 소스 코드 또는 임의의 다른 공지된 컴퓨터 프로그램 설계 도구를 사용하여 생성될 수 있다.
컴퓨터-판독가능 매체(704)는 프로세서(702)에 의해 실행될 수 있는 명령어 등의 컴퓨터-판독가능 데이터를 기록, 저장 또는 전송할 수 있는, 현재 공지되어 있거나 나중에 개발되는, 임의의 형태로 된 임의의 수 및 조합의 로컬 또는 원격 장치를 나타낸다. 상세하게는, 컴퓨터-판독가능 매체(704)는 반도체 메모리(예를 들어, 판독 전용 메모리("ROM"), 임의의 유형의 프로그램가능 ROM("PROM"), 랜덤 액세스 메모리("RAM"), 또는 플래쉬 메모리 등), 자기 저장 장치(플로피 디스크 드라이브, 하드 디스크 드라이브, 자기 드럼, 자기 테이프, 또는 광자기 디스크 등), 광 저장 장치(임의의 유형의 컴팩트 디스크 또는 DVD(digital versatile disk) 등), 버블 메모리, 캐쉬 메모리, 코어 메모리, 홀로그래픽 메모리, 메모리 스틱, 종이 테이프, 펀치 카드, 또는 이들의 임의의 조합일 수 있거나 이들을 포함할 수 있다. 컴퓨터-판독가능 매체(704)는 또한 전송 매체 및 그와 연관된 데이터를 포함할 수 있다. 전송 매체/데이터의 예로는 피변조 반송파 신호에 의해 전달되는 패킷화된 또는 비패킷화된 데이터 등의 임의의 유선 또는 무선 전송 형태로 구현된 데이터가 있지만, 이들로 제한되지 않는다.
컴퓨터 프로그램(706)은 데이터에 대한 미리 정해진 동작들을 전자적으로 제어하는 임의의 신호 처리 방법 또는 저장된 명령어를 나타낸다. 일반적으로, 컴퓨터 프로그램(706)은 공지된 컴포넌트-기반 소프트웨어 개발 실무에 따라 소프트웨어 컴포넌트로서 구현되고 컴퓨터-판독가능 매체(컴퓨터-판독가능 매체(704) 등)에 인코딩되는 컴퓨터-실행가능 명령어이다. 컴퓨터 프로그램은 다양한 방식으로 결합 또는 분산될 수 있다.
저장 장치(714)는 광 디스크 또는 기타 휴대용(광 디스크는 선택적인 광 디 스크 드라이브(716)에 의해 처리됨) 등의 운영 환경(700)과 구체적으로 연관된 부가의 또는 다른 컴퓨터-판독가능 매체를 포함한다. 공지된 널리 이용가능한 구성요소인 하나 이상의 내부 버스(720)는 운영 환경(700) 또는 그의 구성요소들 내에서, 이들로 또는 이들로부터, 데이터, 주소, 제어 신호 및 기타 정보를 전달하는 데 사용될 수 있다.
입력 인터페이스(들)(708)는 컴퓨팅 환경(700)에 입력을 제공한다. 입력은 사용자 인터페이스 등의 임의의 유형의 현재 공지된 또는 나중에 개발되는 인터페이스를 사용하여 수집될 수 있다. 사용자 인터페이스는 리모콘, 디스플레이, 마우스, 펜, 스타일러스, 트랙볼, 키보드, 마이크, 스캐닝 장치, 및 데이터를 입력하는 데 사용되는 모든 유형의 장치 등의 터치-입력 장치일 수 있다.
출력 인터페이스(들)(710)는 컴퓨팅 환경(700)으로부터의 출력을 제공한다. 출력 인터페이스(들)(710)의 예로는 디스플레이, 프린터, 스피커, 드라이브(광 디스크 드라이브(716) 및 기타 디스크 드라이브 또는 저장 매체 등), 기타 등등이 있다.
외부 통신 인터페이스(들)(712)는 운영 환경(700)이 채널 신호, 데이터 신호 또는 컴퓨터-판독가능 매체 등의 통신 매체를 통해 다른 개체로부터 정보를 수신하거나 다른 개체로 정보를 전송할 수 있는 능력을 향상시키는 데 이용할 수 있다. 외부 통신 인터페이스(들)(712)는 케이블 모뎀, 데이터 단말 장비, 미디어 플레이어, 데이터 저장 장치, PDA(personal digital assistant), 또는 임의의 다른 장치 또는 컴포넌트/이들의 조합 등의 구성요소, 그리고 연관된 네트워크 지원 장치 및/ 또는 소프트웨어 또는 인터페이스일 수 있거나 이들을 포함할 수 있다.
도 8은 프리젠테이션 시스템(100) 또는 운영 환경(700)이 사용될 수 있는 클라이언트-서버 아키텍처(800)의 간략화된 기능도이다. 프리젠테이션 시스템(100) 및/또는 운영 환경(700)의 하나 이상의 측면들이 아키텍처(800)의 클라이언트측(802)에 또는 아키텍처(800)의 서버측(804)에 표현될 수 있다. 도시된 바와 같이, 통신 프레임워크(803)(임의의 유형(예를 들어, 유선 또는 무선)의 공중망 또는 사설망일 수 있음)는 클라이언트측(802)과 서버측(804) 간의 통신을 용이하게 해준다.
클라이언트측(802)에서, 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있는 하나 이상의 클라이언트(806)는 클라이언트 데이터 저장소(808)에 응답한다. 클라이언트 데이터 저장소(808)는 클라이언트(806)에 로컬인 정보를 저장하는 데 이용되는 컴퓨터-판독가능 매체(704)일 수 있다. 서버측(804)에서, 하나 이상의 서버(810)가 서버 데이터 저장소(812)에 응답한다. 클라이언트 데이터 저장소(808)와 같이, 서버 데이터 저장소(812)는 서버(810)에 로컬인 정보를 저장하는 데 이용되는 하나 이상의 컴퓨터-판독가능 매체(704)를 포함할 수 있다.
미디어 컨텐츠와 동기하여 사용자에게 대화형 컨텐츠를 제공하는 데 사용되는 프리젠테이션 시스템의 다양한 측면들이 기술되어 있다. 그렇지만, 프리젠테이션 시스템의 기술된 컴포넌트들 전부가 반드시 사용되는 것은 아니며 이들 컴포넌트가 사용될 때 동시에 존재해야만 하는 것도 아니라는 것을 잘 알 것이다. 프리 젠테이션 시스템(100)과 관련하여 컴퓨터 프로그램인 것으로 기술된 기능들/컴포넌트들이 컴퓨터 프로그램의 임의의 특정의 실시예에 의한 구현으로 제한되지 않는다. 오히려, 기능들은 데이터를 전달 또는 변환하는 프로세스이고, 일반적으로 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현되거나 실행될 수 있다.
본 명세서에서 발명 대상이 구조적 특징들 및/또는 방법적 동작들과 관련하여 기술되어 있지만, 청구항들에 정의된 발명 대상이 상기한 특정의 특징들 또는 동작들로 반드시 제한되는 것은 아니라는 것도 잘 알 것이다. 오히려, 상기한 특정의 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태로서 개시되어 있다.
또한, 한 구성요소가 다른 구성요소에 응답하는 것으로 나타내어져 있을 때, 이들 구성요소가 직접 또는 간접적으로 결합되어 있을 수 있다는 것을 잘 알 것이다. 본 명세서에 기술된 연결들은 실제로 구성요소들 간의 결합 또는 통신 인터페이스를 달성하기 위해 논리적이거나 물리적일 수 있다. 연결은, 그 중에서도 특히, 소프트웨어 프로세스들 간의 프로세스간 통신(inter-process communication)으로서 또는 네트워크화된 컴퓨터들 간의 기계간 통신(inter-machine communication)으로서 구현될 수 있다.
"예시적인"이라는 용어는 본 명세서에서 일례, 실례 또는 예시로서 역할한다는 것을 의미하기 위해 사용된다. 본 명세서에서 "예시적인"으로 기술된 임의의 구현 또는 그의 측면이 꼭 다른 구현들 또는 그의 측면들보다 양호하다거나 이점이 있는 것으로 해석되어야 하는 것은 아니다.
상기한 특정의 실시예들 이외의 실시예들이 첨부된 청구항들의 사상 및 범위를 벗어나지 않고 고안될 수 있다는 것을 잘 알고 있는 바와 같이, 본 명세서의 발명 대상의 범위가 이하의 청구항들에 의해 정해지는 것으로 보아야 한다.

Claims (20)

  1. 프로세서(702)에 의해 실행될 때, 미디어 컨텐츠(122)를 프리젠테이션하기 위한 준비를 하는 방법(500)을 수행하는 컴퓨터-실행가능 명령어들(706)로 인코딩된 컴퓨터-판독가능 매체(704)로서,
    상기 미디어 컨텐츠는 복수의 미디어 컨텐츠 단위(407)로서 미디어 소스(304/324)로부터 수신가능하고,
    상기 방법은,
    상기 미디어 소스로부터 수신된 미디어 컨텐츠 단위를 저장하기 위해 할당된 제1 메모리(430)의 일부분(432)을 식별하는 단계(502),
    상기 미디어 소스로부터 수신된 제1 미디어 컨텐츠 단위를 식별하는 단계(504),
    상기 제1 메모리의 상기 할당된 일부분 내의 상기 제1 미디어 컨텐츠 단위에 대한 제1 저장 장소를 식별하는 단계(506),
    상기 제1 미디어 컨텐츠 단위와 연관된 제1 데이터 구조를 작성하는 단계(508) - 상기 제1 데이터 구조는 상기 제1 저장 장소에 관한 정보를 저장하는 필드를 가짐 -, 및
    상기 제1 데이터 구조를 제2 메모리(433)를 갖는 하드웨어 컴포넌트(404/490)에 노출시키도록 구성하는 단계(510)를 포함하며,
    상기 제1 데이터 구조로부터 획득된 상기 제1 저장 장소에 관한 상기 정보는 상기 하드웨어 컴포넌트가 중앙 처리 장치를 사용하지 않고 상기 제1 메모리로부터의 상기 제1 미디어 컨텐츠 단위에 직접 액세스하는 데 사용가능한 것인(512), 컴퓨터-판독가능 매체.
  2. 제1항에 있어서, 상기 미디어 소스로부터 수신된 미디어 컨텐츠 단위를 저장하기 위해 할당된 상기 제1 메모리의 상기 일부분이 연속적인 물리 메모리(contiguous physical memory), 잠금식 스캐터-게더형 물리 메모리(locked scatter-gathered physical memory), 비잠금식 스캐터-게더형 물리 메모리(unlocked scatter-gathered physical memory), 캐쉬 사용 가상 메모리(cached virtual memory), 및 캐쉬 미사용 가상 메모리(uncached virtual memory)로 이루어지는 그룹으로부터 선택되고,
    상기 제1 데이터 구조에 의해 노출되는 상기 제1 저장 장소에 관한 상기 정보는 상기 제1 메모리의 유형, 상기 제1 메모리의 메모리 블록의 크기, 상기 제1 메모리로의 포인터의 위치, 및 상기 제1 메모리로의 포인터에 대한 상기 제1 저장 장소의 오프셋 위치로 이루어지는 그룹으로부터 선택되는 것인, 컴퓨터-판독가능 매체.
  3. 제1항에 있어서, 상기 미디어 소스로부터 수신된 미디어 컨텐츠 단위를 저장하기 위해 할당된 상기 제1 메모리의 상기 일부분이 링 버퍼(420)로서 구성되고,
    상기 링 버퍼가 시작 메모리 블록(beginning memory block)(439) 및 종단 메 모리 블록(ending memory block)(441)을 갖는 것인, 컴퓨터-판독가능 매체.
  4. 제3항에 있어서, 상기 시작 메모리 블록이 가상 메모리(450)를 사용하여 상기 종단 메모리 블록 이후에 복제되어 있는 것인, 컴퓨터-판독가능 매체.
  5. 제4항에 있어서, 상기 방법은,
    상기 제1 저장 장소가 상기 시작 메모리 블록 및 상기 종단 메모리 블록을 포함할 때, 상기 제1 미디어 컨텐츠 단위의 제1 부분을 상기 종단 메모리 블록에 저장하고 상기 제1 미디어 컨텐츠 단위의 제2 부분을 가상 메모리를 사용하여 복제된 상기 시작 메모리 블록에 저장하는 단계를 더 포함하는 것인, 컴퓨터-판독가능 매체.
  6. 제3항에 있어서, 상기 링 버퍼(420)는 상기 링 버퍼 내의 사용된 메모리의 시작을 참조하는 시작 포인터(begin pointer)(453) 및 상기 링 버퍼 내의 사용된 메모리의 끝을 참조하는 종단 포인터(end pointer)(455)를 사용하여 구현되고,
    상기 제1 메모리의 상기 할당된 일부분 내의 상기 제1 미디어 컨텐츠 단위에 대한 제1 저장 장소를 식별하는 상기 단계가 상기 링 버퍼 내에서의 상기 제1 미디어 컨텐츠 단위의 오프셋을 식별하는 단계를 포함하며,
    상기 오프셋은 상기 시작 포인터 또는 상기 종단 포인터 또는 둘다에 대해 지정되는 것인, 컴퓨터-판독가능 매체.
  7. 제6항에 있어서, 상기 방법은,
    상기 제1 미디어 컨텐츠 단위가 전송된 후에, 상기 시작 포인터 또는 상기 종단 포인터 또는 둘다를 이동시킴으로써 상기 제1 저장 장소로부터 상기 제1 미디어 컨텐츠 단위를 방출하는 단계를 더 포함하는 것인, 컴퓨터-판독가능 매체.
  8. 제6항에 있어서, 상기 방법은,
    상기 미디어 소스로부터 수신된 복수의 미디어 컨텐츠 단위를 식별하는 단계,
    상기 복수의 미디어 컨텐츠 단위 각각에 대한 상기 링 버퍼 내에서의 저장 장소 및 오프셋을 식별하는 단계,
    상기 복수의 미디어 컨텐츠 단위 각각과 연관된 데이터 구조를 작성하는 단계 - 상기 데이터 구조 각각은 특정의 미디어 컨텐츠 단위의 저장 장소에 관한 정보를 저장하는 필드를 가짐 -,
    상기 데이터 구조를 제2 메모리를 갖는 하드웨어 컴포넌트에 노출시키도록 구성하는 단계 - 상기 데이터 구조로부터 획득된 상기 특정의 미디어 컨텐츠 단위의 저장 장소에 관한 상기 정보는 상기 하드웨어 컴포넌트가 중앙 처리 장치를 사용하지 않고 상기 제1 메모리로부터의 상기 특정의 미디어 컨텐츠 단위에 직접 액세스하는 데 사용가능함 -, 및
    특정의 미디어 컨텐츠 단위가 액세스된 후에, 상기 시작 포인터 또는 상기 종단 포인터 또는 둘다를 이동시킴으로써 상기 저장 장소로부터 상기 특정의 미디어 컨텐츠 단위를 방출하는 단계를 더 포함하는 것인, 컴퓨터-판독가능 매체.
  9. 제8항에 있어서, 상기 방법은,
    상기 링 버퍼에 저장된 모든 미디어 컨텐츠 단위의 저장 장소를 포함하는 오프셋 위치 리스트를 유지하는 단계, 및
    미디어 컨텐츠 단위가 상기 저장 장소로부터 방출될 때 상기 시작 포인터와 상기 종단 포인터가 서로를 건너뛰지 않도록 하기 위해 상기 오프셋 위치 리스트를 사용하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  10. 제1항에 있어서, 상기 방법은 복수의 필터를 갖는 필터 그래프(filter graph)를 포함하는 미디어 처리 파이프라인 내에서 수행되며,
    각각의 필터가 하나 이상의 입력핀(411, 491) 및 하나 이상의 출력핀(401, 421)을 갖는 것인, 컴퓨터-판독가능 매체.
  11. 제10항에 있어서, 상기 하드웨어 컴포넌트가 상기 복수의 필터 중 하나를 포함하고,
    상기 하드웨어 컴포넌트가 디멀티플렉서(404), 디코더(490), 및 렌더러(490)로 이루어지는 그룹으로부터 선택되는 것인, 컴퓨터-판독가능 매체.
  12. 제10항에 있어서, 상기 방법이 복수의 필터 중 하나를 포함하는 소프트웨어 컴포넌트(402)에 의해 수행되고,
    상기 소프트웨어 컴포넌트가 미디어 컨텐츠 단위를 수신하도록 구성된 입력핀 및 상기 하드웨어 컴포넌트와 통신하도록 구성된 출력핀을 갖는 것인, 컴퓨터-판독가능 매체.
  13. 제12항에 있어서, 상기 제1 미디어 컨텐츠 단위와 연관된 제1 데이터 구조를 작성하는 단계 - 상기 제1 데이터 구조는 상기 제1 저장 장소에 관한 정보를 저장하는 필드를 가짐 -는,
    상기 소프트웨어 컴포넌트에서, 상기 제1 저장 장소에 관한 정보를 수신하고 상기 제1 데이터 구조의 상기 필드를 상기 제1 저장 장소에 관한 정보로 채우도록 구성되어 있는 애플리케이션 프로그래밍 인터페이스("API")(410)에 대한 호출을 발행하는 단계, 및
    상기 소프트웨어 컴포넌트에서, 상기 제1 저장 장소에 관한 정보를 갖는 상기 제1 데이터 구조의 상기 필드를 노출시키는 상기 애플리케이션 프로그래밍 인터페이스로부터의 응답을 수신하는 단계를 포함하는 것인, 컴퓨터-판독가능 매체.
  14. 제13항에 있어서, 상기 제1 데이터 구조를 하드웨어 컴포넌트에 노출시키도록 구성하는 단계는,
    상기 하드웨어 컴포넌트와 통신하도록 구성된 상기 출력핀에서, 상기 제1 데 이터 구조의 상기 필드가 노출된 채로 상기 제1 데이터 구조를 전송하는 단계를 포함하는 것인, 컴퓨터-판독가능 매체.
  15. 미디어 프리젠테이션 시스템에서 사용하기 위한 미디어 처리 파이프라인의 아키텍처(306, 326)로서,
    미디어 컨텐츠 단위를 수신하고 상기 수신된 미디어 컨텐츠 단위를 제1 메모리에 저장하도록 구성되어 있는 소프트웨어 컴포넌트(402),
    제2 메모리를 갖는 하드웨어 컴포넌트(404, 490) - 상기 하드웨어 컴포넌트는 상기 소프트웨어 컴포넌트에 응답하고 또 상기 제1 메모리에 저장된 미디어 컨텐츠 단위의 표현들을 상기 제2 메모리로 전송하도록 구성되어 있음 -, 및
    상기 소프트웨어 컴포넌트와 상기 하드웨어 컴포넌트 사이의 경계에서 동작하는 API(410) - 상기 API는, 제1 소프트웨어 컴포넌트의 요청 시에, 상기 제1 메모리 내에서의 특정의 미디어 컨텐츠 단위의 저장 장소에 관한 정보를 갖는 적어도 하나의 데이터 구조 필드를 제1 하드웨어 컴포넌트에 노출시키도록 구성되어 있고, 상기 노출된 데이터 구조 필드는 상기 제1 하드웨어 컴포넌트가 중앙 처리 장치를 사용하지 않고 상기 제1 메모리에 저장된 미디어 컨텐츠 단위의 표현들을 상기 제2 메모리로 직접 전송할 수 있게 해줌 - 를 포함하는, 미디어 프리젠테이션 시스템에서 사용하기 위한 미디어 처리 파이프라인의 아키텍처.
  16. 제15항에 있어서, 상기 소프트웨어 컴포넌트 및 상기 하드웨어 컴포넌트가 필터 그래프 내의 필터들을 포함하고,
    상기 소프트웨어 컴포넌트가 상기 하드웨어 컴포넌트의 입력핀에 연결되는 출력핀을 가지며,
    상기 API가 상기 소프트웨어 컴포넌트의 출력핀으로부터의 호출에 응답하여 상기 데이터 구조 필드를 상기 하드웨어 컴포넌트의 입력핀에 노출시키는 것인, 미디어 프리젠테이션 시스템에서 사용하기 위한 미디어 처리 파이프라인의 아키텍처.
  17. 프로세서(702)에 의해 실행될 때, 재생 기간 및 미디어 컨텐츠 컴포넌트(122)를 갖는 디지털 미디어 프리젠테이션을 재생하는 방법을 수행하는 컴퓨터-실행가능 명령어들(706)로 인코딩된 컴퓨터-판독가능 매체(704)로서,
    상기 미디어 컨텐츠 컴포넌트는,
    제1 복수의 미디어 샘플로 배열되는 제1 클립(123) - 상기 제1 클립은 제1 재생 기간을 가지며 제1 미디어 컨텐츠 스트림으로서 재생가능함 -, 및
    제2 복수의 미디어 샘플로 배열되는 제2 클립(123) - 상기 제2 클립은 제2 재생 기간을 가지며 제2 미디어 컨텐츠 스트림으로서 재생가능함 - 을 포함하고,
    상기 방법(600)은,
    상기 제1 클립으로부터의 제1 미디어 샘플을 식별하는 단계(606),
    상기 제2 클립으로부터의 제2 미디어 샘플을 식별하는 단계(608) - 상기 제2 미디어 샘플은 상기 제1 미디어 샘플과 동기하여 재생가능함 -,
    상기 제1 미디어 샘플을 제1 하드웨어 컴포넌트를 사용하여 제1 타이밍 신호 에 기초한 레이트로 프리젠테이션하기 위한 준비를 하는 것과 연관된 제1 시간에,
    상기 디지털 미디어 프리젠테이션의 재생 기간의 제1 경과된 양을 확인하는 단계(610), 및
    제1 재생 기간의 경과된 양을 확인하는 단계(610)와,
    상기 제2 미디어 샘플을 제2 하드웨어 컴포넌트를 사용하여 제2 타이밍 신호에 기초한 레이트로 프리젠테이션하기 위한 준비를 하는 것과 연관된 제2 시간에,
    상기 디지털 미디어 프리젠테이션의 재생 기간의 제2 경과된 양을 확인하는 단계(612), 및
    제2 재생 기간의 경과된 양을 확인하는 단계(612)와,
    상기 디지털 미디어 프리젠테이션의 재생 기간의 상기 제1 경과된 양과 상기 디지털 미디어 프리젠테이션의 재생 기간의 상기 제2 경과된 양 간의 차를 확인하는 단계, 및
    상기 차에 기초하여, 상기 제1 시간 또는 상기 제2 시간 또는 둘다를 조정하는 단계(616)를 포함하는 것인, 컴퓨터-판독가능 매체.
  18. 제17항에 있어서, 상기 제1 및 제2 하드웨어 컴포넌트가 디멀티플렉서(404), 디코더(490), 및 렌더러(490)로 이루어지는 그룹으로부터 선택되는 것인, 컴퓨터-판독가능 매체.
  19. 제17항에 있어서, 상기 디지털 미디어 프리젠테이션의 재생 기간의 제1 경과 된 양 및 제1 재생 기간의 경과된 양을 확인하는 단계는,
    제1 API(418)에 대한 제1 호출을 발행하는 단계 - 상기 제1 호출은 상기 제1 미디어 샘플에 관한 정보를 포함함 -, 및
    상기 제1 호출에 기초하여, 상기 제1 API로부터 제1 응답을 수신하는 단계 - 상기 제1 응답이 상기 디지털 미디어 프리젠테이션의 재생 기간의 제1 경과된 양 및 상기 제1 재생 기간의 경과된 양에 관한 정보를 포함함 - 를 더 포함하고,
    상기 디지털 미디어 프리젠테이션의 재생 기간의 제2 경과된 양 및 제2 재생 기간의 경과된 양을 확인하는 단계는,
    상기 제1 API에 대한 제2 호출을 발행하는 단계 - 상기 제2 호출은 상기 제2 미디어 샘플에 관한 정보를 포함함 -, 및
    상기 제2 호출에 기초하여, 상기 제1 API로부터 제2 응답을 수신하는 단계 - 상기 제2 응답이 상기 디지털 미디어 프리젠테이션의 재생 기간의 제2 경과된 양 및 상기 제2 재생 기간의 경과된 양에 관한 정보를 포함함 - 를 더 포함하는 것인, 컴퓨터-판독가능 매체.
  20. 제19항에 있어서, 상기 제1 시간 또는 상기 제2 시간 또는 둘다를 조정하는 단계가,
    제2 API(420)에 대한 호출을 발행하는 단계 - 상기 호출은 상기 제1 응답, 상기 제2 응답, 및 상기 디지털 미디어 프리젠테이션의 재생 기간의 제1 경과된 양과 상기 디지털 미디어 프리젠테이션의 재생 기간의 제2 경과된 양 간의 차로 이루 어지는 그룹으로부터 선택된 정보를 포함함 -,
    상기 제2 API에 대한 상기 호출에 기초하여, 상기 제2 API로부터 응답을 수신하는 단계, 및
    상기 제2 API로부터의 상기 응답에 기초하여, 상기 제1 재생 기간의 경과된 양, 상기 제2 재생 기간의 경과된 양, 상기 제1 타이밍 신호, 및 상기 제2 타이밍 신호로 이루어지는 그룹 중 하나 이상을 조정하는 단계를 더 포함하는 것인, 컴퓨터-판독가능 매체.
KR1020097026904A 2007-06-30 2008-06-24 디지털 미디어 처리 인터페이스 KR101530101B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/824,720 US8612643B2 (en) 2007-06-30 2007-06-30 Interfaces for digital media processing
US11/824,720 2007-06-30
PCT/US2008/068025 WO2009006107A2 (en) 2007-06-30 2008-06-24 Interfaces for digital media processing

Publications (2)

Publication Number Publication Date
KR20100035690A true KR20100035690A (ko) 2010-04-06
KR101530101B1 KR101530101B1 (ko) 2015-06-18

Family

ID=40162404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097026904A KR101530101B1 (ko) 2007-06-30 2008-06-24 디지털 미디어 처리 인터페이스

Country Status (13)

Country Link
US (3) US8612643B2 (ko)
EP (1) EP2162827B1 (ko)
JP (1) JP5394375B2 (ko)
KR (1) KR101530101B1 (ko)
CN (2) CN101689170B (ko)
AU (1) AU2008270705A1 (ko)
BR (1) BRPI0812130A2 (ko)
CA (1) CA2687762A1 (ko)
IL (1) IL201952A (ko)
MX (1) MX2009013685A (ko)
RU (1) RU2453908C2 (ko)
TW (1) TWI443582B (ko)
WO (1) WO2009006107A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051182B1 (ko) * 2011-03-10 2011-07-22 주식회사 다이나믹앤라이브 다이렉트쇼 필터그래프 기반 멀티미디어 스트림 결합분배 장치

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8051090B2 (en) * 2007-12-28 2011-11-01 Realtek Semiconductor Corp. File management method of a ring buffer and related file management apparatus
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
EP2425563A1 (en) 2009-05-01 2012-03-07 The Nielsen Company (US), LLC Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
EP2302845B1 (en) 2009-09-23 2012-06-20 Google, Inc. Method and device for determining a jitter buffer level
JP5310456B2 (ja) * 2009-10-05 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
EP2513774A4 (en) * 2009-12-18 2013-09-04 Nokia Corp METHOD AND APPARATUS FOR PROJECTING USER INTERFACE WITH A CONTINUOUS FLOW OF SHEET MUSIC
US8477050B1 (en) 2010-09-16 2013-07-02 Google Inc. Apparatus and method for encoding using signal fragments for redundant transmission of data
US8643696B2 (en) * 2011-01-19 2014-02-04 Broadcom Corporation Synchronizing media streams using time signal(s) from an independent time source
US8838680B1 (en) * 2011-02-08 2014-09-16 Google Inc. Buffer objects for web-based configurable pipeline media processing
US8804819B1 (en) 2011-04-19 2014-08-12 Google Inc. Method and apparatus for encoding video using data frequency
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
US8856624B1 (en) 2011-10-27 2014-10-07 Google Inc. Method and apparatus for dynamically generating error correction
CN103186359B (zh) 2011-12-30 2018-08-28 南京中兴软件有限责任公司 硬件抽象数据结构、数据处理方法及系统
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9754105B1 (en) * 2012-09-25 2017-09-05 Malwarebytes Corporation Preventing the successful exploitation of software application vulnerability for malicious purposes
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US20150032238A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device for Audio Input Routing
US20150039321A1 (en) * 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US9602498B2 (en) * 2013-10-17 2017-03-21 Fortinet, Inc. Inline inspection of security protocols
US20150379118A1 (en) * 2014-06-27 2015-12-31 United Video Properties, Inc. Methods and systems for generating playlists based on activities being performed by a user
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
MX2017004885A (es) * 2014-10-20 2017-07-05 Sony Corp Dispositivo de recepcion, dispositivo de transmision y metodo de procesamiento de datos.
US9805036B2 (en) * 2015-06-05 2017-10-31 Disney Enterprises, Inc. Script-based multimedia presentation
KR20210078109A (ko) 2019-12-18 2021-06-28 삼성전자주식회사 스토리지 장치 및 이를 포함하는 시스템
CN113538030B (zh) * 2020-10-21 2024-03-26 腾讯科技（深圳）有限公司 一种内容推送方法、装置及计算机存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864713A (en) * 1996-02-12 1999-01-26 Hewlett-Packard Company Method for determining if data should be written at the beginning of a buffer depending on space available after unread data in the buffer
JPH09261457A (ja) * 1996-03-19 1997-10-03 Canon Inc 印刷制御装置並びに印刷制御装置のデータ処理方法およびコンピュータで読み出し可能なプログラムを格納した記憶媒体
US6262777B1 (en) * 1996-11-15 2001-07-17 Futuretel, Inc. Method and apparatus for synchronizing edited audiovisual files
US6105119A (en) * 1997-04-04 2000-08-15 Texas Instruments Incorporated Data transfer circuitry, DSP wrapper circuitry and improved processor devices, methods and systems
KR100265231B1 (ko) * 1997-07-03 2000-09-15 윤종용 방송방식이 서로 다른 복수화면의 동시시청 가능한 tv수신장치
US6134602A (en) * 1997-09-24 2000-10-17 Microsoft Corporation Application programming interface enabling application programs to group code and data to control allocation of physical memory in a virtual memory system
US7085710B1 (en) * 1998-01-07 2006-08-01 Microsoft Corporation Vehicle computer system audio entertainment system
US6654428B1 (en) * 1998-01-13 2003-11-25 Massachusetts Institute Of Technology Systems and methods for wireless communications
JPH11261986A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd デジタル多重伝送装置
US6816909B1 (en) * 1998-09-16 2004-11-09 International Business Machines Corporation Streaming media player with synchronous events from multiple sources
US6715126B1 (en) * 1998-09-16 2004-03-30 International Business Machines Corporation Efficient streaming of synchronized web content from multiple sources
EP1151398A4 (en) * 1999-02-01 2004-04-14 Univ Columbia MULTIMEDIA ARCHIVE DESCRIPTION SYSTEM
JP4362906B2 (ja) * 1999-09-21 2009-11-11 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP3799301B2 (ja) 2001-06-14 2006-07-19 三星電子株式会社 プリロード情報が記録された情報貯蔵媒体、その再生装置及び再生方法
US7897865B2 (en) * 2002-01-15 2011-03-01 Yamaha Corporation Multimedia platform for recording and/or reproducing music synchronously with visual images
US7013468B2 (en) * 2002-02-26 2006-03-14 Parametric Technology Corporation Method and apparatus for design and manufacturing application associative interoperability
CA2439737A1 (en) * 2002-10-07 2004-04-07 Microsoft Corporation Extented time-code for multimedia presentations
US7120626B2 (en) * 2002-11-15 2006-10-10 Koninklijke Philips Electronics N.V. Content retrieval based on semantic association
JP2005018842A (ja) 2003-06-24 2005-01-20 Sony Corp 再生装置および方法
JP2005032379A (ja) 2003-07-10 2005-02-03 Sony Corp 記録装置および方法
US7444389B2 (en) 2003-12-09 2008-10-28 Emc Corporation Methods and apparatus for generating a content address to indicate data units written to a storage system proximate in time
US7627227B2 (en) * 2004-05-17 2009-12-01 Microsoft Corporation Reverse presentation of digital media streams
US7856537B2 (en) 2004-09-30 2010-12-21 Intel Corporation Hybrid hardware and software implementation of transactional memory access
JP4562505B2 (ja) 2004-12-02 2010-10-13 ソニー株式会社 多重化分離装置および多重化分離方法
US7590777B2 (en) 2004-12-10 2009-09-15 International Business Machines Corporation Transferring data between system and storage in a shared buffer
KR100677597B1 (ko) 2005-01-12 2007-02-02 삼성전자주식회사 저장 매체에 기록된 데이터와 다운로드된 데이터를 함께재생하는 재생 방법 및 그 재생 장치
US7694008B2 (en) * 2005-05-04 2010-04-06 Venturi Wireless Method and apparatus for increasing performance of HTTP over long-latency links

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051182B1 (ko) * 2011-03-10 2011-07-22 주식회사 다이나믹앤라이브 다이렉트쇼 필터그래프 기반 멀티미디어 스트림 결합분배 장치

Also Published As

Publication number Publication date
US20090007159A1 (en) 2009-01-01
TWI443582B (zh) 2014-07-01
CN101689170A (zh) 2010-03-31
EP2162827A2 (en) 2010-03-17
RU2453908C2 (ru) 2012-06-20
TW200910209A (en) 2009-03-01
US9043504B2 (en) 2015-05-26
CN102568517A (zh) 2012-07-11
RU2009149495A (ru) 2011-07-10
CN102568517B (zh) 2015-03-25
CA2687762A1 (en) 2009-01-08
BRPI0812130A2 (pt) 2014-11-18
MX2009013685A (es) 2010-01-20
WO2009006107A2 (en) 2009-01-08
AU2008270705A1 (en) 2009-01-08
JP5394375B2 (ja) 2014-01-22
US20140281054A1 (en) 2014-09-18
WO2009006107A3 (en) 2009-03-05
JP2010532536A (ja) 2010-10-07
EP2162827A4 (en) 2011-05-11
US8612643B2 (en) 2013-12-17
EP2162827B1 (en) 2020-04-08
US20150271238A1 (en) 2015-09-24
IL201952A (en) 2014-11-30
KR101530101B1 (ko) 2015-06-18
CN101689170B (zh) 2013-01-23
IL201952A0 (en) 2010-06-16

Similar Documents

Publication Publication Date Title
KR101530101B1 (ko) 디지털 미디어 처리 인터페이스
KR101365829B1 (ko) 대화형 멀티미디어 프리젠테이션을 재생하는 방법을 수행하는 컴퓨터 실행가능 명령어들이 인코딩된 컴퓨터 판독가능 매체, 및 대화형 멀티미디어 프리젠테이션을 재생하는 프리젠테이션 시스템 및 장치
US8868465B2 (en) Method and system for publishing media content
US8583818B2 (en) System and method for custom segmentation for streaming video
JP5513381B2 (ja) 共有メモリー・プールを利用したデジタル・データ管理
KR20080023318A (ko) 미디어 콘텐츠 렌더링의 특징
KR20080019246A (ko) 대화형 멀티미디어 프레젠테이션 관리의 동기 특징
CN115361579A (zh) 视频送显方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 5