KR20110069855A - 다중­소스 멀티미디어 프레젠테이션들을 저장하기 위한 방법 및 시스템 - Google Patents

다중­소스 멀티미디어 프레젠테이션들을 저장하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20110069855A
KR20110069855A KR1020117010553A KR20117010553A KR20110069855A KR 20110069855 A KR20110069855 A KR 20110069855A KR 1020117010553 A KR1020117010553 A KR 1020117010553A KR 20117010553 A KR20117010553 A KR 20117010553A KR 20110069855 A KR20110069855 A KR 20110069855A
Authority
KR
South Korea
Prior art keywords
presentation
source
file
indication
track
Prior art date
Application number
KR1020117010553A
Other languages
English (en)
Other versions
KR101296059B1 (ko
Inventor
예-쿠이 왕
미스카 한눅셀라
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20110069855A publication Critical patent/KR20110069855A/ko
Application granted granted Critical
Publication of KR101296059B1 publication Critical patent/KR101296059B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

파일 형식 설계기법은, 프레젠테이션이 다중-소스 프레젠테이션인지에 관한 표시, 및 하나의 미디어 타입에 대해, 상기 하나의 미디어 타입의 트랙들이 서로다른 소스들로부터 유래된 것이고 동시에 재생되어야 하는지에 관한 표시를 포함함으로써 다중-소스 멀티미디어 프레젠테이션의 저장을 지원한다. 다중-소스 프레젠테이션이 존재하는 경우에, 추가적인 표시들은, 저장되어 있는 다중-소스 프레젠테이션 타입의 표시; 각각의 트랙의 소스에 관한 것이며 이러한 트랙들이 동일한 소스를 갖는 것이라는 표시들; 전화 번호들과 같은 서로다른 당사자들의 정보에 대한 표시들; 등을 포함하여 제공될 수 있다. 따라서, 플레이어는, 실제의 세션 동안 제공된 것과 동일하거나 실질적으로 동일한 방식으로, 레코드-지원 프레젠테이션을 플레이-백할 수 있고, 상기 프레젠테이션이 좀더 유익하거나 좀더 효율적이게 하도록 상기 프레젠테이션을 자동으로 조작할 수 있다. 상기 파일 형식 설계기법은 또한 적어도 하나의 미디어 타입에 대해 하나보다 많은 미디어 스트림을 렌더링하는 다른 타입들의 다중-소스 프레젠테이션들의 저장을 지원한다.

Description

다중­소스 멀티미디어 프레젠테이션들을 저장하기 위한 방법 및 시스템{System and method for storing multi­source multimedia presentations}
관련출원에 대한 전후참조
본원은 2008년 10월 8일자 출원된 미국 임시 특허출원 제61/103,897호를 기초로 하여 우선권을 주장한 것이다.
발명의 분야
여러 실시예들은 일반적으로 기술하면 멀티미디어 프레젠테이션들의 저장에 관한 것이다. 좀더 구체적으로 기술하면, 여러 실시예들은, 다중-소스 멀티미디어 프레젠테이션들이 적어도 하나의 미디어 타입에 대해 하나보다 많은 미디어 스트림을 렌더링하는 그러한 멀티미디어 프레젠테이션들을 언급하는 경우에, 로컬 플레이-백 또는 전송을 위한 파일들 내의 다중-소프 멀티미디어 프레젠테이션들의 저장에 관한 것이다.
본 식별항목에서는 본원 명세서에 첨부된 청구범위에 기재된 발명에 대한 배경 또는 전후관계를 제공하려고 한 것이다. 본 식별항목에서의 설명은 실시가능한 개념들을 포함할 수도 있지만, 그렇다고 해서 반드시 기존에 착안 또는 실시되었던 개념들만이 아니다. 그러므로, 본 식별항목에서 설명되는 것들이 기존에 착안 또는 실시되었던 개념들이라고 암시하지 않는 한은, 본 식별항목에서 설명되는 것들이 본원의 상세한 설명 및 청구범위에 기재된 발명에 대한 선행기술이 아니며 또한 본 식별항목에 포함되어 있다고 해서 선행기술이라고 단정지어선 안된다.
파일 형식은 멀티미디어 콘텐츠 제작, 조작, 전송 및 소비의 계통에서 중요한 요소이다. 부호화 형식 및 파일 형식은 서로 다르다. 상기 부호화 형식은 비트스트림으로 콘텐츠 정보를 부호화하는 특정 부호화 알고리즘의 동작에 관련된 것이다. 반면에, 상기 파일 형식은, 상기 파일 형식이 로컬 복호화 및 플레이-백을 위해 액세스될 수도 있고, 파일로서 전송될 수도 있으며 스트리밍될 수도 있도록 생성된 비트스트림을 편성하기 위한 메커니즘을 포함하며, 상기 로컬 복호화 및 플레이-백을 위한 액세스, 파일로서의 전송 및 스트리밍 모두는 다양한 저장 및 전송 아키텍쳐들을 채용한다. 그 외에도, 상기 파일 포맷은 상기 미디어의 또한, 파일 형식은 교환(interchange) 및 편집을 용이하게 하는데 사용될 수 있다. 예를 들면, 여러 스트리밍 애플리케이션들은, 서버가 클라이언트에 비디오를 스트리밍하게 하는데 도움을 주는 ("힌트-트랙(hint-track)들에 저장된) 메타데이터가 서버상의 사전에 부호화된 비트스트림에 동반되게 하여야 한다. 힌트-트랙이 미디어 데이터를 담고 있지는 않고, 그 대신에 하나 또는 그 이상의 트랙들을 하나의 스트리밍 채널로 패키징하기 위한 지침들을 담고 있다.
사용 가능한 미디어 파일 형식 표준들에는 국제 표준화 기구(International Organization for Standardization; ISO) 기본 미디어 파일 형식(ISO/국제 전기 기술 위원회(International Electrotechnical Commission; IEC) 14496-12)(또한 한마디로 말하면 ISO 파일 포맷으로도 언급됨), 동영상 전문가 그룹(Moving Picture Experts Group; MPEG)-4 파일 형식(ISO/IEC 14496-14), 고급 비디오 부호화(Advanced Video Coding; AVC) 파일 형식(ISO/IEC 14496-15) 및 3세대 파트너십 프로젝트(3rd Generation Partnership Project; 3GPP) 파일 형식(3GPP TS 26.244)이 있다. 또한, MPEG에서는, AVC 파일 형식에 대한 2가지의 수정안들이 될 것으로 예상되는, 스케일러블 비디오 부호화(Scalable Video Coding; SVC) 파일 형식 및 멀티뷰 비디오 부호화(Multiview Video Coding; MVC) 파일 포맷의 개발을 위한 노력들이 진행되고 있다.
ISO 파일 형식은 (ISO 파일 형식 자체를 제외하고는) 위에서 언급된 모든 파일 형식들을 획득하기 위한 기반이다. (ISO 파일 형식 자체를 포함한) 이러한 파일 형식들은 ISO 파일 형식 패밀리로서 언급되고 있다. 상기 ISO 파일 형식 패밀리에 의하면, 각각의 파일은 정확히 하나의 프레젠테이션에 해당하는 하나의 뮤비 박스(movie box)를 포함한다. 상기 무비 박스는 하나 또는 그 이상의 트랙들을 포함할 수 있으며, 각각의 트랙은 하나의 트랙이 하나의 트랙 박스에 상주해 있다. 하나의 미디어 타입(에컨대, 오디오 또는 비디오)의 프레젠테이션을 위해, 하나의 트랙이 선택되는 것이 전형적이지만, 특정 미디어 타입의 정보를 저장하는 트랙이 한개보다 많이 존재할 수 있다. 이러한 트랙들의 부분집합은 대체 트랙 그룹을 형성할 수 있는데, 이 경우에는 각각의 트랙이 독립적으로 복호화될 수 있고 플레이-백을 위해 선택될 수 있다.
다자간 비디오 회의(multiparty conferencing)에서는, 수신기들이 분할-스크린 윈도우들에서 선택된 참가자 부분집합으로부터의 비디오들을 표시하는 것이 전형적이며, 예컨대 도 6에는 특정 구성이 예시되어 있다. 다중점 제어 유닛(Multipoint Control Unit; MCU)은 선택된 참가자 부분집합의 착신 비디오 스트림들을 하나의 비디오 스트림으로 트랜스-부호화(transcoding)될 수 있고, 이러한 하나의 비디오 스트림은 상기 선택된 참가자 부분집합으로부터의 비디오 콘텐츠 모두를 포함한 것이다. 변형적으로는, 상기 다중점 제어 유닛(MCU)은 단순히 상기 선택된 참가자 부분집합의 착신 비디오 스트림들을 상기 수신기들에 포워드(forward)할 수 있으며, 그 후에는, 각각의 비디오 스트림이 개별적으로 복호화된다.
수신기들은 차후의 사용을 위해 다자간 비디오 회의 프레젠테이션들을 저장하기를 원할 수 있다. 그러나, 상기 다중점 제어 유닛(MCU)이 참가자들에게 스트림들을 포워드할 경우에, 현재의 표준 파일 형식 설계들은 다자간 비디오 회의의 프레젠테이션들의 저장을 지원하지 못한다. 특정 수신기는 기존의 파일 형식 설계들, 예컨대 ISO 기본 미디어 파일 형식에 따라 개별 비디오 트랙들로 표시되는 비디오 스트림들을 저장할 수가 있다. 그러나, 이러한 경우에, 상기 파일을 입력으로서 취하는 플레이어는, 어느 비디오 트랙들이 복호화되어야 할지 그리고 어떠한 방식으로 개별 비디오 트랙들을 표시해야 할지를 알 수 있는 방법을 지니고 있지 않다.
다양한 다른 애플리케이션 시나리오들에서는, 적어도 하나의 미디어 타입에 대해 하나보다 많은 미디어 스트림을 렌더링하는 다른 타입들의 다중-소스 멀티미디어 프레젠테이션들이 가능하다. 그러한 다른 애플리케이션 시나리오들의 예들에는, 예컨대 2명의 참가자들, 즉 호출자 및 응답자가 존재하는 경우의 레코드-지원 비디오 전화; 오디오-비주얼 신호들을 제어 센터에 송신할 수 있는 (아마도 오디오 센서들이 장착된) 다수의 카메라들이 존재할 수 있는 경우의 비디오 감시(video surveillance); 및 프레젠테이션 슬라이드들 및 하나 또는 그 이상의 송화자(talker)(들)가 개별 미디어 스트림들로 레코드되고 차후에 양자 모두가 표시될 수 있는 경우의 레코드-지원 트레이닝식 프레젠테이션들이 있다.
그 외에도, 다중-소스 프레젠테이션이 어떤 애플리케이션 시나리오인지 또는 다중-소스 프레젠테이션이 어떤 애플리케이션 시나리오를 위한 것인지을 소정 파일로부터 쉽게 알 수 있는 것이 바람직하기 때문에, 상기 파일이 차후에 사용될 때를 위한 콘텍스트를 제공하는 것이 바람직하다. 더군다나, 소정 파일로부터 더 많은 콘텍스트 정보, 예컨대, 참가자 이름들, 전화 번호들, 및 비디오 전화/회의를 위한 레코딩, 또는 비디오 감시를 위한 카메라 식별자들 및/또는 위치 설명들을 작성한 사람을 알 수 있는 것이 바람직하다. 더욱이 그리고 비디오 감시와 관련하여, 다수의 오디오 소스들이 존재할 수 있는데, 이러한 오디오 소스들 각각은 하나의 비디오 소스에 연관되어 있다. 그러나, (하나의 오디오 트랙에 저장된) 오디오 소스를 (비디오 트랙에 저장된) 비디오 소스에 매핑하는 메커니즘이 종래의 시스템들 및 방법들에서는 제공되지 않았다.
또한, 비디오 전화, 회의, 및 감시와 같은 애플리케이션 시나리오들에서는, 전형적으로 다른 당사자들/소스들보다도 탁월한 방식으로 활동중인 당사자 또는 소스를 표시하는 것이 바람직하다. 그러므로, 활동중인 당사자 또는 소스에 관한 정보가 소정 파일에서 (청각적이며 그리고/또는 시각적으로) 입수되는 경우에, 상기 파일의 차후 플레이어들은 그러한 정보에 따라 활동중인 당사자 또는 소스를 자동으로 용이하게 표시할 수 있다. 마지막으로 그리고 어떠한 청각적 그리고/또는 시각적 프레젠테이션과 관련하여, 청각적 배경도 시각적 배경도 활성적이지 않은 침묵 기간(silent period)들은 전혀 유익한 것이 아니다. 그러므로, 특히 브라우징과 같은 목적을 위해, 그러한 침묵 기간들의 재생 시간을 억제시켜 주는 것이 바람직하다. 따라서, 침묵 기간들을 나타내는 정보를 갖는 것이 바람직하다.
본 발명의 목적은 다중-소스 멀티미디어 프레젠테이션들의 저장을 지원하는 파일 형식 설계 기법을 제공하는 것이다.
여러 실시예들에는 다중-소스 멀티미디어 프레젠테이션들의 저장을 지원하는 파일 형식 설계 기법이 제공되어 있다. 이러한 지원은, 프레젠테이션이 다중-소스 프레젠테이션인지에 관한 표시, 및 하나의 미디어 타입에 대해, 상기 하나의 미디어 타입의 트랙들이 서로다른 소스들로부터 유래된 것인지에 관한 표시를 포함함으로써 가능하게 된다. 상기 프레젠테이션이 다중-소스 프레젠테이션인 경우에, 추가적인 표시들은, 저장되어 있는 다중-소스 프레젠테이션 타입의 표시; 각각의 트랙의 소스에 관한 것이며 이러한 트랙들이 동일한 트랙으로부터 유래된 것이라는 표시들; 전화 번호들, 참가자 이름들, 카메라 식별자들, 위치 설명들 등과 같은 서로다른 당사자들의 정보를 나타내는 표시들; 어떠한 방식으로 분할-스크린 윈도우에서 복호화된 비디오 스트림들을 표시해야 하는지에 관한 표시들; 및 청각적 또는 시각적 활성 레벨(activity level)의 표시들을 포함하여 제공될 수 있지만, 위에서 언급된 표시들에 국한한 것은 아니다.
그러한 구성의 경우에, 플레이어는, 실제의 세션 동안 제공된 것과 동일하거나 실질적으로 동일한 방식으로, 레코드-지원 비디오 전화 프레젠테이션, 레코드-지원 다자간 비디오 회의 프레젠테이션, 레코드-지원 비디오 감시 프레젠테이션, 또는 레코드-지원 트레이닝식 프레젠테이션을 플레이-백하는 것이 가능하다. 그 외에도, 상기 프레젠테이션은 상기 프레젠테이션이 좀더 유익하거나 좀더 효율적이게 하도록 상기 플레이어에 의해 자동으로 조작될 수 있다. 여러 실시예들에 따른 파일 형식 설계 기법은 또한 적어도 하나의 미디어 타입에 대해 하나보다 많은 미디어 스트림을 렌더링하는 다른 타입들의 다중-소스 프레젠테이션들의 저장을 지원한다.
본 발명의 구성 및 동작 방법과 함께, 본 발명의 이들 및 다른 이점들 및 특징들은, 이하에서 설명되는 여러 도면들에 걸쳐 동일 요소들이 유사한 부호들을 갖는 첨부도면들과 연관지어 볼 때 이하의 구체적인 내용으로부터 자명해질 것이다.
여러 실시예들은 첨부도면들을 참조하여 설명될 것이다.
도 1은 본 발명의 여러 실시예들과 함께 사용하기 위한 일반 멀티미디어 통신 시스템을 보여주는 도면이다.
도 2는 여러 실시예들에 따른 부호화 절차에서 수행되는 전형적인 프로세스들을 예시하는 흐름도이다.
도 3은 여러 실시예들에 따른 복호화 절차에서 수행되는 전형적인 프로세스들을 예시하는 흐름도이다.
도 4는 본 발명의 여러 실시예들에 대한 구현과 연관지어 사용될 수 있는 전자 기기에 대한 사시도이다.
도 5는 도 4의 전자 기기 내에 포함될 수 있는 회로를 개략적으로 보여주는 도면이다.
도 6은 다중-픽쳐 디스플레이의 구성을 개략적으로 보여주는 도면이다.
여러 실시예들에는 프레젠테이션이 다중-소스 프레젠테이션인지에 관한 표시, 및 하나의 미디어 타입에 대해, 상기 하나의 미디어 타입의 트랙들이 서로다른 소스들로부터 유래된 것이고 동시에 재생되어야 하는 것인지에 관한 표시를 포함함으로써 가능하게 되는 다중-소스 멀티미디어 프레젠테이션의 저장을 지원하는 파일 형식 설계기법이 포함되어 있다. 상기 프레젠테이션이 다중-소스 프레젠테이션인 경우에, 추가적인 표시들이 제공될 수 있다. 그러한 추가적인 표시들/지시자(signifier)들은, 저장되어 있는 다중-소스 프레젠테이션 타입의 표시; 각각의 트랙의 소스에 관한 것이며 이러한 트랙들이 동일한 트랙으로부터 유래된 것이라는 표시들; 전화 번호들, 참가자 이름들, 카메라 식별자들, 위치 설명들 등과 같은 서로다른 당사자들의 정보를 나타내는 표시들; 어떠한 방식으로 분할-스크린 윈도우에서 복호화된 비디오 스트림들을 표시해야 하는지에 관한 표시들; 및 청각적 또는 시각적 활성 레벨(activity level)의 표시들을 포함할 수 있지만, 위에서 언급된 표시들에 국한한 것은 아니다. 따라서, 플레이어는 예컨대, 실제의 세션 동안 제공된 것과 동일하거나 실질적으로 동일한 방식으로, 레코드-지원 비디오 전화 프레젠테이션, 레코드-지원 다자간 비디오 회의 프레젠테이션, 레코드-지원 비디오 감시 프레젠테이션, 또는 레코드-지원 트레이닝식 프레젠테이션을 플레이-백할 수 있다. 그 외에도, 상기 프레젠테이션은 상기 프레젠테이션이 좀더 유익하거나 좀더 효율적이게 하도록 상기 플레이어에 의해 자동으로 조작될 수 있다. 여러 실시예들에 따른 파일 형식 설계기법은 또한 적어도 하나의 미디어 타입에 대해 하나보다 많은 미디어 스트림을 렌더링하는 다른 타입들의 다중-소스 프레젠테이션들의 저장을 지원한다.
한 실시예에서, 종래의 MovieHeaderBox는, 예약 비트들 중 일부가 예컨대 상기 파일에 담겨져 있는 프레이젠테이션이 다중-소스 프레젠테이션인지를 나타내도록 지시자들로서 사용되며, 만약 상기 파일에 담겨져 있는 프레이젠테이션이 다중-소스 프레젠테이션이라면, 상기 파일에 담겨져 있는 프레젠테이션이 다중-소스 프레젠테이션의 타입이도록 다음과 같이 변경된다.
Figure pct00001
0과 동일한 "multisource_presentation" 값은, 이러한 파일에 저장된 프레젠테이션이 다중-소스 프레젠테이션이 아님을 명시하는 것이고, 0과 동일하지 않은 "multisource_presentation" 값은, 이러한 파일에 저장된 프레젠테이션이 다중-소스 프레젠테이션임을 명시하는 것이다. 명시되는 값은 다중-소스 프레젠테이션 타입을 식별한다. 예를 들면, 1인 multisource_presentation 값은 비디오 전화 프레젠테이션을 명시하는 것일 수 있고, 2인 multisource_presentation 값은 비디오 회의 프레젠테이션을 명시하는 것일 수 있으며, 3인 multisource_presentation 값은 비디오 감시 프레젠테이션을 명시하는 것일 수 있으며, 4인 multisource_presentation 값은 트레이닝식 프레젠테이션을 명시하는 것일 수 있고 이하 마찬가지로 프레젠테이션을 명시하는 것이 가능하다. 여기서 유념해야 할 점은 다른 타입들의 다중-소스 프레젠테이션들이 여러 실시예들에 따라 표시/지시될 수 있으며 표시자들/지시자들이 필요에 따라 여러 타입들의 다중-소스 프레젠테이션들을 표현하도록 구성될 수 있다는 점이다.
위에서 언급되어 있는 바와 같이 그리고 이러한 실시예에 의하면, "multisource_presentation" 값이 0과 동일하지 않을 경우에는, 트랙들 모두가 다중-소스 프레젠테이션에 속해 있다는 것을 알 수 있다. 다수의 트랙이 대체 트랙 그룹을 형성하는 경우에, 다수의 트랙 중 단지 하나의 트랙만이 플레이-백을 위해 선택된다.
더군다나, "multisource_presentation"의 값이 0과 동일하지 않을 경우에 새로운 박스가 정의되고 상기 파일용 무비 박스 내에 담겨진다. 이러한 새로운 박스는, 다중소스 트랙 그루핑 박스(Multisource Track Grouping Box)로서 언급되며 다음과 같이 정의된다.
Figure pct00002
이러한 박스는 다중-소스 프레젠테이션을 위한 트랙들의 그루핑을 명시한 것이다. 이러한 실시예를 구현하는데 사용하기 위한 전형적인 신택스(syntax)는 다음과 같다.
Figure pct00003
Figure pct00004
위에 언급되어 있는 신택스에 관련된 시맨틱스(semantics)는 다음과 같다. "version"은 (이러한 예에서 0과 동일한) 이러한 박스의 버전을 명시하는 정수(integer)를 언급한다. "flags"는 (이러한 예에서 0과 동일한) 플래그들을 갖는 24-비트 정수이다. "num_media_types"는 다중-소스 프레젠테이션에 관련된 미디어 타입들의 개수를 명시한다. 예컨대, 상기 프레젠테이션에 관련된 오디오 및 비디오만이 존재하는 경우에, "num_media_types"의 값은 2와 같다. "media_type_name"은, 핸들러 참조 박스(Handler Reference Box)에서 "handler_type" 정수에 의해 정의된 것과 동일한 것일 수 있는, (i인 값에 관련된) 현재 미디어 타입의 이름을 명시한다. 예를 들면, 'vide'는 비디오 미디어 타입을 명시하고, 'soun'은 오디오 미디어 타입을 명시한다.
"num_media_sources"는 (i인 값에 관련된) 현재 미디어 타입에 대한 소스들의 개수를 명시한다. "media_source_id"는 (i인 값에 관련된) 현재 미디어 타입에 대한 (j인 값에 관련된) 현재 미디어 소스의 식별자를 명시한다. 여기서 유념해야 할 점은 소스 식별자가 16-비트 무부호 정수(unsigned integer) 외의 임의 타입의 식별자, 예컨대 범용 고유 식별자(Universal Unique Identifier; UUID), 자원 위치 지정자(Uniform Resource Locator; URL), 인터넷 프로토콜(Internet Protocol; IP) 어드레스, 미디어 액세스 제어(Media Access Control; MAC) 어드레스, 위치 및 배향, 또는 이들의 임의 조합일 수 있다는 점이다. "source_info"는 상기 자원에 관한 인간-판독가능 정보(human-readable information)를 제공하는 UTF-8 캐릭터들로 이루어진 널 종료 문자열(null-terminated string)이다. 예를 들면, (MovieHeaderBox 내의) "multimedia_presentation"의 값이 1(비디오 전화) 또는 2(비디오 회의)일 경우에, 이러한 소스에 관한 참가자 이름, 전화 번호, 및/또는 다른 관련 정보가 "source_info" 내에 포함되어 있다. "multisource_presentation"의 값이 3(비디오 감시)일 경우에, 이러한 소스에 대한 카메라 식별자 및 위치 설명이 "source_info" 문자열 내에 포함되어 있다. "num_alternate_tracks"는 (i인 값에 관련된) 현재 미디어 타입에 대한 (j인 값에 관련된) 현재 미디어 소스에 대한 대체 트랙들의 개수를 명시한다. "alternate_track_id"는 (i의 값에 관련된) 현재 미디어 타입에 대한 (j인 값에 관련된) 현재 미디어 소스에 대한 (k인 값에 관련된) 현재 대체 트랙의 트랙 식별자를 명시한다. 하나의 미디어 타입의 하나의 미디오 소스의 경우에는, 상기 대체 트랙들 중 단지 하나의 대체 트랙만이 복호화 및 렌더링되도록 선택된다.
서로다른 미디어 타입들이 "media_source_id"에 의해 명시된 미디어 소스 식별자의 동일한 값으로 매핑될 수 있다. 예를 들면, 비디오 감시 프레젠테이션에서, 동일한 미디어 소스 식별자를 갖는 오디오 트랙 및 비디오 트랙은 동일한 소스로부터 유래된 것으로 간주한다(다시 말하면, 동일한 위치는 오디오 및 비디오 신호들을 캡처한 센서에 의해 모니터링된다).
여러 실시예들은 또한, MovieHeaderBox 및 MultisourceTrackGroupingBox에 관련해서 전체적이라기보다는 국부적으로 각각의 트랙에 (위에서 언급된 바와 같이) 동일한 표시들을 제공하는 것에 관련된 것이다. 한 실시예에서는, 특정의 새로운 트랙 참조 타입들이 정의되는데, 각각의 새로운 트랙 참조 타입은 하나의 다중-소스 프레젠테이션 타입에 해당한다. 예를 들면, 상기 참조 타입들 'tlfn', 'conf', 'surv' 및 'pres'는 비디오 전화, 비디오 회의, 비디오 감시, 및 트레이닝식 프레젠테이션들에 대해 각각 정의된다. 이러한 실시예에 의하면, 각각의 미디어 타입의 경우에(다시 말하면, reference_type이 위의 4가지 타입들 중 하나의 타입과 동일한 경우에), 다중-소스 프레젠테이션에 속해 있는 각각의 트랙은, 위의 4가지 타입들 중 하나의 타입의 TrackReferenceTypeBox를 포함한다. 동일한 다중_소스 회의 프레젠테이션에 속해 있는 각각의 트랙의 track_ID는 위의 4가지 타입들 중 하나의 타입의 TrackReferenceTypeBox 내에 존재하는 track_ID들 중 하나의 track_ID와 동일하다. 이러한 실시예의 경우에, 파일 판독기는 모든 트랙들을 체크함으로써 다중-소스 프레젠테이션에 어느 트랙들이 속해 있는지에 관한 정보를 획득할 수 있다. 위의 4가지 타입들 중 하나의 타입의 TrackReferenceTypeBox를 포함하는 하나보다 많은 트랙이 대체 트랙 그룹을 형성하는 경우에, 상기 하나보다 많은 트랙들 중 하나의 트랙만이 플레이-백을 위해 선택된다. 변형적으로는, 각각의 타입의 다중-소스 프레젠테이션에 대해 하나의 트랙 참조를 갖는 경우에, 타입 'msrc'의 단지 하나의 새로운 트랙 참조만이, 동일한 소스의 다른 트랙들 각각에 대해, track_ID가 타입 'msrc'의 TrackReferenceTypeBox에 포함되도록, 모든 다중-소스 프레젠테이션 타입들에 대해 정의된다. 이러한 경우에, 상기 프레젠테이션의 타입은 다른 곳에, 예컨대 트랙 레벨 박스에 포함될 수 있다.
오디오 트랙 및 비디오 트랙의 소스의 매핑의 경우에, 소스 식별자는 새로운 박스에서 또는 트랙-레벨 박스에서, 예컨대, 미디어 정보 박스에서 또는 트랙 헤더 박스에서, 각각의 트랙에 포함된다. 그러한 소스 식별자는, 임의 타입의 식별자, 무부호 정수, 범용 고유 식별자(UUID), 자원 위치 지정자(URL), 인터넷 프로토콜(IP) 어드레스, 미디어 액세스 제어(MAC) 어드레스, 위치 및 배향, 또는 이들의 임의 조합일 수 있다. 새로운 박스가 상기 소스 식별자를 포함하도록 사용되는 경우에, 상기 새로운 박스 자체는 트랙-레벨 박스, 예컨대, 미디어 정보 박스 또는 트랙 헤더 박스에 포함되어 있을 수 있다. 이러한 경우에, 상기 소스 식별자를 포함하는 새로운 박스의 존재는, 트랙이 다중-소스 프레젠테이션에 속해 있다는 표시로서 사용될 수 있다. 특정 미디어 타입, 예컨대 비디오의 경우에, 플레이어는 소스 식별자의 각각의 값에 대해 하나의 트랙을 선택하고, 서로다른 소스들로부터 유래된 이러한 모든 트랙들을 동시에 플레이할 수 있다. 참가자들의 이름 및 전화 번호들 또는 카메라 식별자들 및 위치 설명들 등이 또한 동일한 박스에 포함될 수 있다.
여러 실시예들은 또한, 복호화된 비디오 스트림들이 어떠한 방식으로 분할-스크린에 표시되어야 하는지에 관한 표시들을 제공하는 것에 관련된 것이다. 하나의 특정 실시예에 의하면, 타입 'sswp'의 새로운 샘플 그루핑은, 트랙의 각각의 샘플이 표시되어야 하는 분할-스크린 윈도우를 특정하도록 정의된다. 이러한 구성에서는, 다중-소스 프레젠테이션에 속해 있는 각각의 비디오 트랙이 'sswp'와 동일한 grouping_type를 갖는 SampleToGroupBox 및 'sswp'와 동일한 grouping_type를 갖는 SampleGroupDescriptionBox를 포함한다. 상기 SampleToGroupBox는 각각의 샘플을 분할-스크린 윈도우 위치 샘플 그룹에 매핑시키고 각각의 샘플 그룹은 다수의 샘플을 포함하는 것이 전형적이다. 각각의 분할-스크린 윈도우 위치 샘플 그룹의 경우에, 이하에서 정의되는 바와 같은 SswpSampleGroupEntry는, 해당하는 샘플 그룹의 각각의 샘플이 표시되어야 하는 위치를 상기 분할-스크린 윈도우에 문서화하도록 상기 SampleGroupDescriptionBox에 포함되어 있다.
Figure pct00005
해당하는 샘플 그룹의 샘플들에 의해 표현되는, 하나의 비디오 소스의 전체 영역은, 다수의 분할-스크린 윈도우들 또는 하나의 분할-스크린 윈도우 상에 표시될 수 있다. 전체 스크린은 다수의 분할-스크린 윈도우들로 분할되며 분할-스크린 윈도우는 어떠한 비디오 소스를 포함하지 않을 수도 있고 그의 전체 영역이 단지 하나의 비디오 소스에 의해 점유되게 이루어져 있을 수도 있다. 위의 정의 'sswp_x'는, 해당하는 샘플 그룹의 샘플들에 의해 표현되는 좌측 상단 영역이 표시되어야 하는 분할-스크린 윈도우의 수평 좌표를 명시한다. 이러한 실시예에서, 좌측 상단 분할-스크린 윈도우는 0과 동일한 'sswp_x'를 갖는다. 'sswp_y'는 해당하는 샘플 그룹의 샘플들에 의해 표현되는 좌측 상단 영역이 표시되어야 하는 분할-스크린 윈도우의 수직 좌표를 명시한다. 이러한 실시예에서, 좌측 상단 분할-스크린 윈도우는 0과 동일한 sswp_y를 갖는다. 'sswp_w'는 해당하는 샘플 그룹의 샘플들이 표시되어야 하는 표시 영역의 폭을 명시한다. 단위는 분할-스크린 윈도우의 폭이다. 'sswp_h'는 해당하는 샘플 그룹의 샘플들이 표시되어야 하는 표시 영역의 높이를 명시한다. 단위는 분할-스크린 윈도우의 높이이다. 샘플들을 표시하는 것은, 수평 좌표가 sswp_x에서부터 (sswp_x+sswp_w-1)에 이르기까지의 범위에 있게 하고 수직 좌표가 sswp_y에서부터 (sswp_y+sswp_h-1)에 이르기까지의 범위에 있게 하게끔 상기 분할-스크린을 커버(cover)하는 것이다.
sswp_w 및 sswp_h 모두가 1과 같으면, 샘플들은 좌표들(sswp_x,sswp_y)을 갖는 하나의 분할-스크린에 정확하게 표시된다.
또다른 실시예에서는, 복호화 시간 또는 합성(composition)(즉, 표시) 시간의 각각의 세그먼트에 대해 위에서와 동일한 표시 정보를 시그널링하기 위해 각각의 트랙에 새로운 박스가 포함된다.
위에서 언급된 여러 실시예들에 의하면, 특정 시간주기에 단지 하나의 복호화된 비디오가 표시되는 경우, 다른 소스들의 비디오들은 실제 세션 동안 전송되지 않는다. 따라서, 그러한 시간주기 동안에, 그러한 비-가시화 트랙들은 편집 리스트들을 갖게 되며, 플레이어는, 이러한 리스트들을 기반으로 하여, 플레이어가 어떤 트랙을 표시해야 할지, 바람직하게는 한 실시예에서 전체 스크린으로 스케일링되게 하여야 할지를 알 수 있다.
여러 실시예들은 또한, 당사자가 활동중인지 참가자가 활동중인지에 관한 표시들을 제공하는 것에 관련된 것이다. 한 실시예에서, 타입 'actv'의 새로운 샘플 그루핑은, 상기 트랙 내의 각각의 샘플의 시간에, 당사자 또는 참가자가 활동중인지의 여부를 명시하도록 정의된다. 이러한 구성에서, 다중-소스 프레젠테이션에 속해 있는 각각의 트랙은, grouping_type가 'actv'와 동일한 SampleToGroupBox를 포함한다. 상기 SampleToGroupBox는 각각의 샘플을 활성 샘플 그룹 또는 비활성 샘플 그룹에 매핑시키고, 각각의 샘플 그룹은 다수의 샘플을 포함하는 것이 전형적이다. 타입 'actv'의 각각의 샘플 그룹의 경우에, 이하에서 정의되어 있는 ActiveSampleGroupEntry는, 해당하는 샘플 그룹 내의 샘플들이 활성 상태에 있는지 비활성 상태에 있는지를 문서화하도록 SampleGroupDescriptionBox에 포함되어 있다.
Figure pct00006
0과 동일한 sample_active는 해당하는 샘플 그룹의 샘플들이 비활성 상태에 있다는 것을 명시하는 반면에, 1과 동일한 sample_active는 해당하는 샘플 그룹의 샘플들이 활성 상태에 있다는 것을 명시한다. 다른 한 실시예에서, sampl_active의 값은 해당하는 샘플 그룹의 샘플들의 상대적인 활성 레벨을 명시하는 반면에, 0 값은 완전한 비활성 샘플들을 나타내며, 255 값은 최대 활성 레벨을 나타낸다. 좀더 높은 sample_active의 값은 좀더 높은 활성 레벨을 나타내는데 사용될 수 있다. 또다른 실시예에서, 이러한 정보는 새로운 전체 박스, 예컨대 Movie Box에 포함된 전체 박스에서 시그널링된다. 이러한 실시예들을 통해, 상기 파일의 플레이어는, 비디오 전화 또는 회의 세션에서 어느 참가자(들)이 송화하고 있는지를 자동으로 결정하고 좀더 큰 사이즈, 완전-윈도우, 완전-스크린 등등에서 표시될 그러한 참가자(들)의 비디오를 선택할 수 있다. 비디오 감시 프레젠테이션을 신속하게 브라우징할 경우에, 플레이어는 또한 비활성 주기들의 플레이-백을 회피할 수 있다.
또다른 실시예에서, 새로운 박스는 각각의 트랙 박스에 포함되어 있도록 정의된다. 이러한 새로운 박스는 엔트리들의 개수가 트랙 내의 샘플들의 개수와 동일한 루프(loop)를 포함한다. 상기 루프의 각각의 엔트리는 위에서 언급된 바와 유사한 시맨틱스를 갖는, 8-비트 sample_active 필드를 포함한다. 또다른 실시예에서는, 타이밍된(timed) 메타데이터 트랙이 각각의 미디어 트랙용 파일에 포함되어 있다. 타이밍된 메타데이터의 샘플들은 해당하는 미디어 트랙의 샘플들과 시간-정렬된다. 그 외에도, 각각의 미디어 샘플의 활성도는 해당하는 타이밍된 메타데이터 샘플 내의 8-비트 sample_active 필드에 의해 표시될 수 있는데, sample_active의 시맨틱스는 또한 위에서 언급된 바와 유사하다.
여기서 유념해야 할 점은, 여러 실시예들에 의하면 앞서 언급된 실시예들 모두와 관련하여 언급된, 구성들, 정의들, 표시들이 힌트 트랙들에 적용될 수 있으며, 각각의 힌트 트랙이 미디어 트랙(예컨대, 오디오 트랙 또는 비디오 트랙)에 해당한다는 점이다.
도 1에는 본 발명의 여러 실시예들이 구현될 수 있는 일반 멀티미디어 통신 시스템이 그래프 형식으로 나타나 있다. 도 1에 도시된 바와 같이, 데이터 소스(100)는 아날로그 형식, 비압축된 디지털 형식, 또는 압축된 디지털 형식, 또는 이러한 형식들의 임의의 조합으로 소스 신호를 제공한다. 부호기(110)는 상기 소스 신호를 부호화된 미디어 비트스트림으로 부호화한다. 여기서 유념해야 할 점은 복호화될 비트스트림이 실질적으로 임의 타입의 네트워크 내에 위치해 있는 원격 기기로부터 직접적으로나 또는 간접적으로 수신될 수 있다는 점이다. 그 외에도, 상기 비트스트림은 로컬 하드웨어 또는 소프트웨어로부터 수신될 수 있다. 상기 부호기(110)는 오디오 및 비디오와 같은, 하나보다 많은 미디어 타입을 부호화하는 것이 가능할 수도 있고, 하나보다 많은 부호기(110)는 서로다른 미디어 타입들의 소스 신호를 부호화하는데 필요할 수도 있다. 상기 부호기(110)는 또한, 그래픽 및 텍스트와 같은, 합성 방식으로 생성된 입력을 획득할 수도 있고, 상기 부호기(110)는 합성 미디어의 부호화된 비트스트림들을 생성하는 것이 가능할 수도 있다. 이하에서는, 하나의 미디어 타입의 하나의 부호화된 미디어 비트스트림을 처리하는 것만이 설명을 간략하게 하는 것으로 고려된 것이다. 그러나, 여기서 유념해야 할 점은 전형적으로 실-시간 브로드캐스트 서비스들이 여러 스트림들(전형적으로는 적어도 하나의 오디오, 비디오 및 텍스트 서브-타이틀링(text sub-titling) 스트림)을 포함한다는 점이다. 또한 여기서 유념해야 할 점은 상기 시스템이 여러 부호기들을 포함할 수 있지만, 도 1에서는 단지 하나의 부호기(110)만이 일반성의 상실 없이 설명을 간략하게 하기 위해 도시되어 있다는 점이다. 더욱이 여기서 이해하여야 할 점은 여기서 포함되어 있는 내용 및 예들에서 부호화 프로세스가 특정하게 설명된 것일 수 있지만, 당업자라면 동일한 개념들 및 원리들이 또한 해당하는 복호화 프로세스에도 적용될 수 있으며 그의 역도 성립됨을 이해할 수 있다는 점이다.
부호화된 미디어 비트스트림은 저장 장치(120)에 전송된다. 상기 저장 장치(120)는 상기 부호화된 미디어 비트스트림을 저장하도록 하는 임의 타입의 대용량 메모리를 포함할 수도 있다. 상기 저장 장치(120) 내의 부호화된 미디어 비트스트림의 형식이 엘리멘터리 자급식(elementary self-contained) 비트스트림 형식일수도 있고, 하나 또는 그 이상의 부호화된 미디어 비트스트림들이 콘테이너 파일 로 캡슐화될 수 있다. 일부 시스템들은 "라이브(live)" 형태로 동작하는데, 다시 말하면 저장 장치를 생략하고 부호화된 미디어 비트스트림을 부호기(110)로부터 직접 송신기(130)로 전송한다. 그리고나서, 상기 부호화된 미디어 스트림은, 필요에 따라, 또한 서버로서 언급되는, 상기 송신기(130)로 전송된다. 그러한 전송에서 사용되는 형식은 엘리멘터리 자급식 비트스트림 형식, 패킷 스트림 형식일 수도 있고, 하나 또는 그 이상의 부호화된 미디어 비트스트림들은 콘테이너 파일로 캡슐화될 수 있다. 상기 부호기(110), 상기 저장 장치(120), 및 상기 서버(130)는 동일한 물리적 기기 내에 상주할 수도 있고 상기 부호기(110), 상기 저장 장치(120), 및 상기 서버(130)는 개별 기기 내에 포함될 수 있다. 상기 부호기(110) 및 서버(130)는 라이브 형태의 실-시간 콘텐츠를 가지고 동작가능한데, 이러한 경우에, 상기 부호화된 미디어 스트림이 영구적으로 저장되어 있지 않고, 오히려 짧은 시간 주기 동안 콘텐츠 부호기(110) 및/또는 서버(130)에서 버퍼링되어 처리 지연, 전송 지연, 및 부호화된 미디어 비트레이트에서의 변화들이 완화되게 하는 것이 전형적이다.
상기 서버(130)는 통신 프로토콜 스택을 사용하여 부호화된 미디어 비트스트림을 송신한다. 상기 스택은 실-시간 전송 프로토콜(Real-Time Transport Protocol; RTP), 사용자 데이터그램 프로토콜(User Datagram Protocol; U에, 및 인터넷 프로토콜(Internet Protocol; IP)을 포함할 수 있지만, 이들에 국한되지 않는다. 상기 통신 프로토콜 스택이 패킷-지향형(packet-oriented)일 경우에, 상기 서버(130)는 상기 부호화된 미디어 비트스트림을 패킷들로 캡슐화한다. 예를 들면, 실-시간 전송 프로토콜(RTP)이 사용될 경우에, 상기 서버(130)는 RTP 페이로드 형식에 따라 상기 부호화된 미디어 비트스트림을 RTP 패킷들로 캡슐화한다. 전형적으로는, 각각의 미디어 타입이 전용 RTP 페이로드 형식을 갖는다. 또한 여기서 유념해야 할 점은 특정 시스템이 하나보다 많은 서버(130)를 포함할 수 있지만, 간략화를 위해, 이하의 설명이 단지 하나의 서버(130)만을 고려한 것이라는 점이다.
상기 서버(130)는 통신 네트워크를 통해 게이트웨이(140)에 연결될 수도 있고 통신 네트워크를 통해 게이트웨이(140)에 연결되지 않을 수도 있다. 상기 게이트웨이(140)는, 한 통신 프로토콜 스택에 다른 패킷 스트림을 다른 한 통신 프로토콜 스택에 따른 패킷 스트림으로의 변환, 데이터 스트림들의 머징(merging) 및 포킹(forking), 및 유력한 다운링크 네트워크 상태들에 따라 순방향 스트림의 비트레이트를 제어하는 것과 같은, 다운링크 및/또는 수신기 능력들에 다른 데이터 스트림의 조작과 같은, 서로다른 타입들의 기능들을 수행할 수 있다. 상기 게이트웨이(140)들의 예들에는, MCU들, 회선-교환 및 패킷-교환 비디오 전화 간의 게이트웨이들, 푸시-투-토크 오버 셀룰러(Push-to-talk over Cellular; PoC) 서버들, 디지털 비디오 브로드캐스팅-핸드헬드(digital video broadcasting-handheld; DVB-H) 시스템들에서의 IP 캡슐화기들, 또는 브로드캐스트 전송들을 국부적으로 무선 홈 네트워크들에 포워드하는 셋-톱 박스들이 있다. 실-시간 전송 프로토콜(RTP)이 사용되는 경우에, 상기 게이트웨이(140)는 RTP 믹서(RTP mixer) 또는 RTP 트랜슬레이터(RTP translator)라고 언급되며 RTP 접속의 종점(endpoint)으로서의 기능을 수행하는 것이 전형적이다.
상기 시스템은, 전송된 신호를 수신하고, 부호화된 미디어 비트스트림으로 상기 전송된 신호를 부호화된 역-변조, 및 상기 전송된 신호를 역-캡슐화하는 것이 전형적으로 가능한 하나 또는 그 이상의 수신기들(150)을 포함한다. 상기 부호화된 미디어 비트스트림은 기록용 저장 장치(155)에 전송된다. 상기 기록용 저장 장치(155)는 상기 부호화된 미디어 비트스트림을 저장하도록 하는 임의 타입의 대용량 메모리를 포함할 수도 있다. 상기 기록용 저장 장치(155)는, 랜덤 액세스 메모리와 같은, 연산 메모리를 변형적으로나 또는 선택적으로 포함할 수 있다. 상기 기록용 저장 장치(155) 내의 부호화된 미디어 비트스트림의 형식은 엘리멘터리 자급식 비트스트림 형식일 수도 있고, 하나 또는 그 이상의 부호화된 미디어 비트스트림들은 콘테이너 파일로 캡슐화될 수 있다. 서로에 연관되어 있는, 오디오 스트림 및 비디오 스트림과 같은, 여러 부호화된 미디어 비트스트림들이 존재하는 경우에, 콘테이너 파일이 사용되는 것이 전형적이며 상기 수신기(150)는 입력 스트림들로부터 콘테이너 파일을 생성하는 콘테이너 파일 생성기를 포함하거나 입력 스트림들로부터 콘테이너 파일을 생성하는 콘테이너 파일 생성기에 부착된다. 일부 시스템들은 "라이브(live)" 형태로 동작하는데, 다시 말하면 기록용 저장 장치를 생략하고 부호화된 미디어 비트스트림을 수신기(150)로부터 직접 복호기(160)로 전송한다. 일부 시스템들에서는, 기록된 스트림의 가장 최근 부분만, 예컨대 상기 기록된 스트림의 가장 최근 10-분 발췌가 상기 기록용 저장 장치(135)에 유지되며 이전에 기록된 임의의 데이터는 상기 기록용 저장 장치(155)로부터 폐기된다.
상기 부호화된 미디어 비트스트림은 상기 기록용 저장 장치(155)로부터 상기 복호기(160)로 전송된다. 서로에 연관되어 있으며 콘테이너 파일로 캡슐화된, 오디오 스트림 및 비디오 스트림과 같은, 여러 부호화된 미디어 비트스트림이 존재할 경우에, (도면에 도시되지 않은) 파일 파서(file parser)가 상기 콘테이너 파일로부터 각각의 부호화된 미디어 비트스트림을 역캡슐화하는데 사용된다. 상기 기록용 저장 장치(155) 또는 복호기(160)는 상기 파일 파서를 포함할 수도 있고, 상기 파일 파서는 기록용 저장 장치(155) 또는 상기 복호기(160)에 부착된다.
코덱 미디어 비트스트림은 복호기(160)에 의해 부가적으로 처리되는 것이 전형적이며, 상기 복호기(160)의 출력은 하나 또는 그 이상의 비압축된 미디어 스트림들이다. 마지막으로, 렌더러(renderer; 170)는 예를 들면 라우드스피커 또는 디스플레이를 통해 비압축된 미디어 스트림들을 재생할 수 있다. 상기 수신기(150), 기록용 저장 장치(155), 복호기(160), 및 렌더러(170)는 동일한 물리적 기기에 상주할 수도 있고 상기 수신기(150), 기록용 저장 장치(155), 복호기(160), 및 렌더러(170)는 개별 기기들에 포함될 수도 있다.
도 2는 여러 실시예들에 따른 파일 구성 절차(file composing procedure)에서 수행되는 전형적인 프로세스들을 예시하는 흐름도이다. 여기서 유념할 점은 다소의 프로세스들이 여러 실시예들에 따라 수행될 수 있다는 점이다. 단계 200에서, 내부에 복수 개의 트랙들을 포함하는 파일이 저장된다. 단계 210에서, 적어도 하나의 미디어 타입에 대해 하나 보다 많은 미디어 스트림을 렌더링하는 다중-소스 프레젠테이션에 상기 복수 개의 트랙들이 속해 있는지에 관한 적어도 하나의 제1 표시가 상기 파일에 제공된다. 단계 220에서, 상기 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들이 어떠한 방식으로 렌더링되어야 하는지에 관련된 제2 표시가 상기 파일에 제공된다.
도 3은 여러 실시예들에 따른 파일 파싱 절차에서 수행되는 전형적인 프로세스들을 예시하는 흐름도이다. 여기서 유념해야 할 점은 다소의 절차들이 여러 실시예들에 따라 수행될 수 있다는 점이다. 단계 300에서, 복수 개의 트랙들은, 하나보다 많은 미디어 스트림이 적어도 하나의 미디어 타입에 대해 렌더링되어야 하는 다중-소스 프레젠테이션에 속해 있는 것으로 파일 내에서 적어도 하나의 제1 식별을 통해 식별된다. 단계 310에서, 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들이 어떠한 방식으로 렌더링되어야 하는지에 관련된 제2 표시가 상기 파일로부터 검색된다. 단계 320에서, 다중-소스 프레젠테이션에 속해 있는 것으로 식별되는 각각의 트랙이 렌더링된다.
본 발명의 통신 기기들은 코드 분할 다중 접속(Code Division Multiple Access; CDMA), 이동 통신 세계화 시스템(Global System for Mobile Communications; GSM), 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS), 시분할 다중 접속(Time Division Multiple Access; TDMA), 주파수 분할 다중 접속(Frequency Division Multiple Access; FDMA), 전송 제어 프로토콜/인터넷 프로토콜(Transmission Control Protocol/Internet Protocol; TCP/IP), 단문 메시지 서비스(Short Messaging Service; SMS), 멀티미디어 메시지 서비스(Multimedia Messaging Service; MMS), 전자메일(e-mail), 인스턴트 메시지 서비스(Instant Messaging Service; IMS), 블루투스(Bluetooth), IEEE 802.11 등을 포함하지만 이들에 국한되지 않는 여러 전송 기법들을 사용하여 통신할 수 있다. 통신 기기는 무선, 적외선, 레이저, 케이블 접속 등등을 포함하지만 이들에 국한되지 않는 여러 매체를 사용하여 통신할 수 있다.
도 4 및 도 5는 여러 실시예들이 구현될 수 있는 대표적인 하나의 전자 기기(12)를 보여준 도면들이다. 그러나, 여기서 이해하여야 할 점은 여러 실시예들이 특정한 한가지의 타입의 기기에 국한되는 것으로 의도된 것이 아니라는 점이다. 도 4 및 도 5의 전자 기기(12)는 하우징(30), 액정 디스플레이의 형태를 이루는 디스플레이(32), 키패드(34), 마이크로폰(36), 이어피스(38), 배터리(40), 적외선 포트(42), 안테나(44), 한 실시예에 따른 UICC의 형태를 이루는 스마트 카드(46), 카드 판독기(48), 무선 인터페이스 회로(52), 코덱 회로(54), 제어기(56) 및 메모리(58)를 포함한다. 개별적인 회로들 및 요소들은 당업계에서 공지된 타입의 것들이다.
본원 명세서에 기재된 여러 실시예들은, 한 실시예에서 네트워크 환경의 컴퓨터들에 의해 실행되는, 프로그램 코드와 같은 컴퓨터 실행가능 명령어들을 포함하는, 컴퓨터 판독가능 매체에 수록된 컴퓨터 프로그램 제품에 의해 구현될 수 있는 방법적인 단계들 또는 프로세스들의 일반적인 문맥으로 설명될 수 있다. 컴퓨터 판독가능 매체는 판독 전용 메모리(ROM; Read Only Memory), 랜덤 액세스 메모리(RAM; Random Access Memory), 콤팩트 디스크(CD; compact disc)들, 디지털 다기능 디스크(DVD; digital versatile disc)들 등등을 포함하지만, 이들에 국한되지 않는 착탈식 및 비-착탈식 저장 기기들을 포함할 수 있다. 일반적으로는, 특정의 태스크들을 수행하거나 특정의 추상 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등등을 포함할 수 있다. 컴퓨터 실행가능 명령어들, 관련 데이터 구조들, 및 프로그램 모듈들은 본원 명세서에 개시된 방법들의 단계들을 실행하기 위한 프로그램 코드의 예들을 나타낸다. 그러한 실행가능 명령어들 또는 관련 데이터 구조들의 특정의 시퀀스는 그러한 단계들 또는 프로세스들에서 설명된 기능들을 구현하기 위한 해당 동작들의 예들을 나타낸다.
여러 실시예들은 소프트웨어, 하드웨어, 애플리케이션 논리, 또는 소프트웨어, 하드웨어 및 애플리케이션 논리의 조합으로 구현될 수 있다. 상기 소프트웨어, 애플리케이션 논리 및/또는 하드웨어는 예를 들면 칩셋, 이동 기기, 데스크톱, 랩톱 또는 서버에 상주할 수 있다. 여러 실시예들의 소프트웨어 및 웹 구현들은 여러 데이터베이스 탐색 단계들 또는 프로세스들, 상관 단계들 또는 프로세스들, 비교 단계들 또는 프로세스들 및 결정 단계들 또는 프로세스들을 달성하도록 규칙-기반 논리 및 다른 논리를 이용한 표준 프로그래밍 기법으로 달성될 수 있다. 여러 실시예들은 또한 네트워크 요소들 또는 모듈들 내에서 완전하거나 부분적으로 구현될 수 있다. 여기서 유념해야 할 점은 본원 명세서에서 사용되고 이하의 청구범위에서 사용되는 용어들 "컴포넌트" 및 "모듈"은 소프트웨어 코드, 및/또는 하드웨어 구현들, 및/또는 수동 입력들을 수신하는 장비 중의 하나 이상의 라인들을 사용한 구현들을 포함하도록 의도된 것이라는 점이다.
이전의 예들에서 언급된 개별적이고 특정된 구조들은, 이하의 청구항들에 기재되는 특정 기능들을 수행하기 위한 수단의 대표적인 구조를 구성하는 것으로 이해되어야 하지만, 상기 청구항들의 기재들은, "수단"이라는 용어가 상기 청구항들에 사용되지 않는 경우에 "수단과 기능이 부가된" 기재를 구성하는 것으로 해석되어선 안된다. 그 외에도, 이전의 설명에서의 "단계"라는 용어의 사용은 상기 청구항들의 특정 기재를 "단계와 기능이 부가된" 기재를 구성하는 것으로 해석하도록 사용되어선 안된다. 공고된 특허들, 특허출원들, 및 비-특허 공보들을 포함하는 개별 문헌들이 본원 명세서에 기재되어 있거나 본원 명세서에서 달리 언급되는 한은, 그러한 문헌들이 이하의 청구항들의 범위를 제한하는 것으로 의도된 것이 아니며 이하의 청구항들의 범위를 제한하는 것으로 해석되어선 안된다.
앞서 언급된 실시예들의 설명은 예시 및 설명을 목적으로 제공된 것이다. 앞서 언급된 설명은 개시된 정확한 형태로 여러 실시예들을 한정하거나 검토하도록 의도된 것이 아니며, 위의 교시들에 비추어 볼 때 변형 및 수정예들이 가능할 수도 있고 여러 실시예들의 실시로부터 변형 및 수정예들이 도출될 수도 있다. 본원 명세서에서 논의된 실시예들은 당업자가 여러 실시예들을 통해 그리고 고려된 특정 용도에 적합한 여러 변형들을 통해 본 발명을 활용할 수 있도록 여러 실시예들의 원리들 및 본질 그리고 그의 실제 적용예를 설명하기 위해 선택되어 기재된 것이다. 본원 명세서에 기재된 실시예들의 특징들은 방법들, 장치, 모듈들, 시스템들, 및 컴퓨터 프로그램 제품들의 모든 가능한 조합들로 조합될 수 있다.

Claims (22)

  1. 내부에 복수 개의 트랙들을 포함하고 있는 파일을 저장하는 것;
    상기 복수 개의 트랙들이 하나보다 많은 미디어 스트림을 렌더링하는 다중-소스 프레젠테이션(multi-source presentation)에 속해 있는지에 관한 제1 표시를 상기 파일에 제공하는 것; 및
    상기 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들이 렌더링되어야하는 방식에 관련된 제2 표시를 상기 파일에 제공하는 것;
    을 포함하는, 방법.
  2. 제1항에 있어서, 상기 다중-소스 프레젠테이션은, 비디오 전화 프레젠테이션, 다자간 비디오 회의 프레젠테이션, 비디오 감시 프레젠테이션, 및 트레이닝식 프레젠테이션 중의 적어도 하나를 포함하는, 방법.
  3. 제1항에 있어서, 상기 제1 표시는, 소스들 및 소스 정보 중의 적어도 하나, 및 상기 파일 내의 미디어 트랙들의 소스-기반 매핑을 나타내는 상기 파일용 무비 박스 내의 지시자(signifier)를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 다중-소스 프레젠테이션에 속해 있는 각각의 트랙에 연관되어 있는, 상기 트랙 내의 각각의 시간 주기의 활성 레벨(activity level)인 제3 표시를 상기 파일에 제공하는 것;
    을 더 포함하는, 방법.
  5. 제1항에 있어서, 상기 제1 표시는 트랙내의 식별자를 포함하며, 상기 소스 식별자는 상기 트랙 내에 포함된 미디어가 유래된 장소로부터의 소스를 나타내는, 방법.
  6. 컴퓨터 프로그램이 저장된 컴퓨터-판독가능 매체로서, 상기 컴퓨터 프로그램은, 프로세서로 하여금 제1항의 방법을 수행하게 하도록 동작가능한 명령어들을 포함하는, 컴퓨터-판독가능 매체.
  7. 내부에 복수 개의 트랙들을 포함하고 있는 파일을 저장하도록 구성되고,
    상기 복수 개의 트랙들이 하나보다 많은 미디어 스트림을 렌더링하는 다중-소스 프레젠테이션(multi-source presentation)에 속해 있는지에 관한 제1 표시를 상기 파일에 제공하도록 구성되며, 그리고
    상기 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들이 렌더링되어야하는 방식에 관련된 제2 표시를 상기 파일에 제공하도록 구성되는, 장치.
  8. 제7항에 있어서, 상기 다중-소스 프레젠테이션은, 비디오 전화 프레젠테이션, 다자간 비디오 회의 프레젠테이션, 비디오 감시 프레젠테이션, 및 트레이닝식 프레젠테이션 중의 적어도 하나를 포함하는, 장치.
  9. 제7항에 있어서, 상기 제1 표시는, 소스들 및 소스 정보 중의 적어도 하나, 및 상기 파일 내의 미디어 트랙들의 소스-기반 매핑을 나타내는 상기 파일용 무비 박스 내의 지시자(signifier)를 포함하는, 장치.
  10. 제1항에 있어서, 상기 장치는, 상기 다중-소스 프레젠테이션에 속해 있는 각각의 트랙에 연관되어 있는, 상기 트랙 내의 각각의 시간 주기의 활성 레벨(activity level)인 제3 표시를 상기 파일에 제공하도록 더 구성되는, 장치.
  11. 제7항에 있어서, 장치 장치는 트랙내에 소스 식별자를 포함함으로써 상기 제1 표시제공하도록 더 구성되며, 상기 소스 식별자는 상기 트랙 내에 포함된 미디어가 유래된 장소로부터의 소스를 나타내는, 장치.
  12. 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들을 나타내는 제1 표시를 파일로부터 획득하는 것;
    상기 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들이 렌더링되어야 하는 방식에 관련된 제2 표시를 상기 파일로부터 획득하는 것; 및
    상기 제2 표시에 기반하여 상기 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들을 렌더링하는 것;
    을 포함하는, 방법.
  13. 제12항에 있어서, 상기 다중-소스 프레젠테이션은, 비디오 전화 프레젠테이션, 다자간 비디오 회의 프레젠테이션, 비디오 감시 프레젠테이션, 및 트레이닝식 프레젠테이션 중의 적어도 하나를 포함하는, 방법.
  14. 제12항에 있어서, 상기 제1 표시는, 소스들 및 소스 정보 중의 적어도 하나, 및 상기 파일 내의 미디어 트랙들의 소스-기반 매핑을 나타내는 상기 파일용 무비 박스 내의 지시자(signifier)를 포함하는, 방법.
  15. 제12항에 있어서,
    상기 다중-소스 프레젠테이션에 속해 있는 각각의 트랙에 연관되어 있는, 상기 트랙 내의 각각의 시간 주기의 활성 레벨(activity level)인 제3 표시를 상기 파일로부터 획득하는 것;
    을 더 포함하는, 방법.
  16. 제12항에 있어서, 상기 제1 표시는 상기 트랙 내에 포함된 미디어가 유래된 장소로부터의 소스를 나타내는, 방법.
  17. 컴퓨터 프로그램이 저장된 컴퓨터-판독가능 매체로서, 상기 컴퓨터 프로그램은, 프로세서로 하여금 제12항의 방법을 수행하게 하도록 동작가능한 명령어들을 포함하는, 컴퓨터-판독가능 매체.
  18. 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들을 나타내는 제1 표시를 파일로부터 획득하도록 구성되고,
    상기 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들이 렌더링되어야 하는 방식에 관련된 제2 표시를 상기 파일로부터 획득하도록 구성되며; 그리고
    상기 제2 표시에 기반하여 상기 다중-소스 프레젠테이션에 속해 있는 복수 개의 트랙들을 렌더링하도록 구성되는, 장치.
  19. 제18항에 있어서, 상기 다중-소스 프레젠테이션은, 비디오 전화 프레젠테이션, 다자간 비디오 회의 프레젠테이션, 비디오 감시 프레젠테이션, 및 트레이닝식 프레젠테이션 중의 적어도 하나를 포함하는, 장치.
  20. 제18항에 있어서, 상기 제1 표시는, 소스들 및 소스 정보 중의 적어도 하나, 및 상기 파일 내의 미디어 트랙들의 소스-기반 매핑을 나타내는 상기 파일용 무비 박스 내의 지시자(signifier)를 포함하는, 장치.
  21. 제18항에 있어서,
    상기 다중-소스 프레젠테이션에 속해 있는 각각의 트랙에 연관되어 있는, 상기 트랙 내의 각각의 시간 주기의 활성 레벨(activity level)인 제3 표시를 상기 파일로부터 획득하도록 더 구성되는, 장치.
  22. 제18항에 있어서, 상기 제1 표시는 상기 트랙 내에 포함된 미디어가 유래된 장소로부터의 소스를 나타내는, 장치.
KR1020117010553A 2008-10-08 2009-10-02 다중­소스 멀티미디어 프레젠테이션들을 저장하기 위한 방법 및 시스템 KR101296059B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10389708P 2008-10-08 2008-10-08
US61/103,897 2008-10-08
PCT/FI2009/050795 WO2010040898A1 (en) 2008-10-08 2009-10-02 System and method for storing multi-source multimedia presentations

Publications (2)

Publication Number Publication Date
KR20110069855A true KR20110069855A (ko) 2011-06-23
KR101296059B1 KR101296059B1 (ko) 2013-08-12

Family

ID=42100241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117010553A KR101296059B1 (ko) 2008-10-08 2009-10-02 다중­소스 멀티미디어 프레젠테이션들을 저장하기 위한 방법 및 시스템

Country Status (8)

Country Link
US (1) US9357274B2 (ko)
EP (1) EP2345228A4 (ko)
KR (1) KR101296059B1 (ko)
CN (1) CN102246491B (ko)
CA (1) CA2740119C (ko)
RU (1) RU2497298C2 (ko)
TW (1) TWI501609B (ko)
WO (1) WO2010040898A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015026136A1 (en) 2013-08-20 2015-02-26 Lg Electronics Inc. Apparatus for transmitting media data via streaming service, apparatus for receiving media data via streaming service, method for transmitting media data via streaming service and method for receiving media data via streaming service
CN104427374B (zh) * 2013-08-27 2018-03-20 海尔集团公司 多媒体内容的显示控制方法、装置及多媒体设备
KR101974200B1 (ko) * 2014-04-14 2019-04-30 삼성전자주식회사 멀티 디스플레이 시스템과, 전자 장치 및 콘텐트 표시방법
EP3603082A4 (en) * 2017-03-27 2020-08-05 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR INDICATION OF INFORMATION ASSOCIATED WITH THE AREAS OF THE MOST INTERESTING FOR VIRTUAL REALITY APPLICATIONS
CN109218809B (zh) * 2017-06-30 2021-07-30 武汉斗鱼网络科技有限公司 一种流媒体的播放方法和装置
CN109600652B (zh) * 2017-09-30 2022-03-29 中兴通讯股份有限公司 移动终端播放多路视频的方法、移动终端及可读存储介质
CN110035316B (zh) * 2018-01-11 2022-01-14 华为技术有限公司 处理媒体数据的方法和装置
EP3777224A1 (en) * 2018-04-05 2021-02-17 VID SCALE, Inc. Viewpoint metadata for omnidirectional video
US20220150597A1 (en) * 2019-05-03 2022-05-12 The Santa Fe Opera Interactive electronic libretto/translation hd display interface apparatus and method
CN114051194A (zh) * 2021-10-15 2022-02-15 赛因芯微(北京)电子科技有限公司 一种音频轨道元数据和生成方法、电子设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3622618C1 (de) * 1986-07-05 1987-05-21 Willy Bogner Verfahren zur gleichzeitigen Darstellung mindestens zweier zeitlich nacheinander ablaufender Ereignisse im TV sowie Vorrichtung zur Durchfuehrung dieses Verfahrens
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
TW347518B (en) * 1997-03-06 1998-12-11 Samsung Electronics Co Ltd Display screen split method of a computer system
US6426778B1 (en) * 1998-04-03 2002-07-30 Avid Technology, Inc. System and method for providing interactive components in motion video
US6119147A (en) * 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
GB9826157D0 (en) * 1998-11-27 1999-01-20 British Telecomm Announced session control
US6704769B1 (en) * 2000-04-24 2004-03-09 Polycom, Inc. Media role management in a video conferencing network
US6535240B2 (en) * 2001-07-16 2003-03-18 Chih-Lung Yang Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US7761505B2 (en) * 2002-11-18 2010-07-20 Openpeak Inc. System, method and computer program product for concurrent performance of video teleconference and delivery of multimedia presentation and archiving of same
US20040230655A1 (en) * 2003-05-16 2004-11-18 Chia-Hsin Li Method and system for media playback architecture
US8472792B2 (en) * 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
JP2005277445A (ja) * 2004-03-22 2005-10-06 Fuji Xerox Co Ltd 会議映像処理装置、会議映像処理方法およびプログラム
US20060047674A1 (en) 2004-09-01 2006-03-02 Mohammed Zubair Visharam Method and apparatus for supporting storage of multiple camera views
US7099798B2 (en) * 2004-10-25 2006-08-29 Microsoft Corporation Event-based system and process for recording and playback of collaborative electronic presentations
US20070133437A1 (en) * 2005-12-13 2007-06-14 Wengrovitz Michael S System and methods for enabling applications of who-is-speaking (WIS) signals
RU2321183C2 (ru) * 2005-12-23 2008-03-27 Григорий Гемфриевич Дмитриев Способ и система осуществления видеоконференций
US7808521B2 (en) * 2006-01-09 2010-10-05 Apple Inc. Multimedia conference recording and manipulation interface
US7752031B2 (en) * 2006-03-23 2010-07-06 International Business Machines Corporation Cadence management of translated multi-speaker conversations using pause marker relationship models
CN1874505A (zh) * 2006-05-15 2006-12-06 武汉虹旭信息技术有限责任公司 一种流媒体文件的快速读取方法和快速存取文件格式
US7653705B2 (en) * 2006-06-26 2010-01-26 Microsoft Corp. Interactive recording and playback for network conferencing
US8365060B2 (en) * 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
KR20080033794A (ko) 2006-10-13 2008-04-17 엘지전자 주식회사 다중 소스의 프리젠테이션을 위한 오브젝트에 대한 정보와커넥션 그룹을 관리하는 방법
US20080263010A1 (en) * 2006-12-12 2008-10-23 Microsoft Corporation Techniques to selectively access meeting content
KR20080070471A (ko) * 2007-01-26 2008-07-30 엘지전자 주식회사 파일 포맷을 구성하는 방법과 상기 파일 포맷을 가지는파일을 포함한 디지털 방송 신호를 처리하는 장치 및 방법
WO2008148930A1 (en) * 2007-06-08 2008-12-11 Nokia Corporation System and method for storing multiparty vtoeo conferencing presentations

Also Published As

Publication number Publication date
US20100199183A1 (en) 2010-08-05
US9357274B2 (en) 2016-05-31
KR101296059B1 (ko) 2013-08-12
TWI501609B (zh) 2015-09-21
CN102246491B (zh) 2014-11-12
TW201031159A (en) 2010-08-16
RU2011117609A (ru) 2012-11-20
RU2497298C2 (ru) 2013-10-27
CA2740119C (en) 2013-07-23
CA2740119A1 (en) 2010-04-15
WO2010040898A1 (en) 2010-04-15
CN102246491A (zh) 2011-11-16
EP2345228A1 (en) 2011-07-20
EP2345228A4 (en) 2012-08-22

Similar Documents

Publication Publication Date Title
KR101296059B1 (ko) 다중­소스 멀티미디어 프레젠테이션들을 저장하기 위한 방법 및 시스템
US10187668B2 (en) Method, system and server for live streaming audio-video file
JP6845223B2 (ja) コーディングされたオーディオデータのトランスポート
KR101549760B1 (ko) 비디오 데이터를 스트리밍하기 위한 랜덤 액세스 포인트의 시그널링
AU2018244288A1 (en) Signaling important video information in network video streaming using mime type parameters
CN103069828A (zh) 提供用于串流传输视频数据的序列数据集
US10567734B2 (en) Processing omnidirectional media with dynamic region-wise packing
US11665219B2 (en) Processing media data using a generic descriptor for file format boxes
KR101421390B1 (ko) 트릭 모드 비디오 표현물에 대한 비디오 샘플의 시그널링
CN111602406B (zh) 一种处理媒体数据的方法、装置和计算机可读存储媒体
KR102549656B1 (ko) 미디어 데이터 스트리밍을 위한 sei 트랙들의 시스템 레벨 시그널링
JP6501127B2 (ja) 情報処理装置および方法
KR20080064399A (ko) Ｍｐ4 역다중화 장치 및 그의 동작 방법
AU2018301313A1 (en) Processing media data using an omnidirectional media format
WO2008148930A1 (en) System and method for storing multiparty vtoeo conferencing presentations
US11863767B2 (en) Transporting HEIF-formatted images over real-time transport protocol
JP2024511948A (ja) Ｈｅｉｆフォーマットされた画像をリアルタイムトランスポートプロトコル上でトランスポートすること
CN117099375A (zh) 通过实时传输协议传输经heif格式化的图像

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160720

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180718

Year of fee payment: 6