KR20080028433A - 메타데이터를 이용하여 다중 비디오 스트림을 핸들링하는방법 및 장치 - Google Patents

메타데이터를 이용하여 다중 비디오 스트림을 핸들링하는방법 및 장치 Download PDF

Info

Publication number
KR20080028433A
KR20080028433A KR1020087001359A KR20087001359A KR20080028433A KR 20080028433 A KR20080028433 A KR 20080028433A KR 1020087001359 A KR1020087001359 A KR 1020087001359A KR 20087001359 A KR20087001359 A KR 20087001359A KR 20080028433 A KR20080028433 A KR 20080028433A
Authority
KR
South Korea
Prior art keywords
metadata
video stream
video
information
data
Prior art date
Application number
KR1020087001359A
Other languages
English (en)
Other versions
KR101391542B1 (ko
Inventor
마르코 빈터
더크 간돌프
하트무트 피터스
랄프 오스터맨
욥스트 호에렌트루프
안드레이 슈에브조브
우베 얀센
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20080028433A publication Critical patent/KR20080028433A/ko
Application granted granted Critical
Publication of KR101391542B1 publication Critical patent/KR101391542B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)

Abstract

2 이상의 비디오 스트림을 동적으로 오버레이하는 방법 및 장치는 비디오 스트림 중 적어도 하나에 첨부되는 특화된 메타데이터를 이용한다.
Figure P1020087001359
오버랩핑, PIP, MPEG, 스트리밍, 비디오 시퀀스,

Description

메타데이터를 이용하여 다중 비디오 스트림을 핸들링하는 방법 및 장치{METHOD AND DEVICE FOR HANDLING MULTIPLE VIDEO STREAMS USING METADATA}
본 발명은 다중 비디오 스트림을 핸들링하기 위한 방법 및 장치를 기술한다. 특히, 본 방법 및 장치는 특수한 메타데이터를 이용하여 동적으로 2 이상의 비디오 스트림을 오버레이하기 위한 것이다.
주로 하드디스크 드라이브(HDD) 또는 광학 디스크에 기초하는 오디오/비디오(AV) 데이터용의 재생 장치는 추가 콘텐츠를 다운로딩하기 위하여, 예컨대, 인터넷 액세스, USB(Universal Serial Bus) 인터페이스 등의 추가 데이터에 액세스하기 위한 상이한 가능성을 가질 수 있다.
일부 하이-엔드 TV 셋트는 PIP(Picture-in-Picture) 기법을 이용하여 동시에 2 이상의 프로그램을 볼 수 있는 가능성을 제공하지만, 이는 상이한 독점적인 기술적 솔루션을 이용한다. 이러한 TV 셋트가 동일한 화면 상에 상이한 비디오 시퀀스를 프리젠테이션하는 방법은 유동적인 것이 아니라, TV 세트를 제조한 후에 즉시 고정된다.
활용가능한 PIP 기법들은 AV 콘텐츠로부터 추출되는 어떠한 도움 정보 없이도 기능한다.
<발명의 개요>
비디오 오버레이를 위한 설명한 활용가능한 기술은 유동적이지 않다. 따라서, 본 발명은 더욱 유동적인 방법으로 비디오 시퀀스를 또 다른 비디오 시퀀스(또는 정적인 비디오 이미지)에 오버레이하기 위한 방법 및 장치를 제공하는 문제점을 해소하며, 특히, 프로그램의 특정한 시각적 외양에 관심이 있는 누군가, 예컨대, 프로그램 제공자, 사전녹화된 AV 콘텐츠의 작가, 사용자에게 이러한 비디오 오버레이에 대한 제어 가능성을 제공한다.
본 발명은 프리젠테이션 시간에 대하여 상이한 비디오 시퀀스를 어떻게 오버레이하는지에 대한 결정을 바꾸는 방법을 제공한다. 따라서, 본 발명은 정적인 비디오 오버레이를 유동적인 동적 비디오 오버레이 처리 시스템으로 변화시킨다. 이러한 변화로, 예컨대, 콘텐츠 제공자는 오버레이를 제어할 수 있게 된다. 이는 동적으로 비디오 시퀀스를 조합하기 위한 주요 단계이다.
본 발명의 요지는, 비디오 시퀀스에 메타데이터를 추가하는 것이며, 이러한 메터데이터는 오버레이 파라미터들을 포함하고 있으며, 이러한 비디오 시퀀스를 또 다른 비디오 시퀀스 또는 정적인 이미지에 오버레이하는 것을 제어하기 위하여 사용될 수 있다. 이론적으로, 오버레이되는 비디오 시퀀스가 이러한 메타데이터를 포함하고 있다면 충분하다. 이러한 경우, 오버레이는 오버레이되는 다른 비디오 시퀀스 또는 이미지에 독립적일 수 있다. 그러나, 비디오 시퀀스 내에서 오버레이 파라미터가 관련되는 특정한 다른 비디오 시퀀스 또는 비디오 시퀀스의 그룹을 식별하는 것이 가능하다. 또한, 어떻게 또 다른 비디오 시퀀스가 오버레이 되는지를 정의하는 오버레이 메타데이터를 비디오 시퀀스에 대하여 삽입할 수 있는데, 예컨대, 디스플레이 내의 특정 영역이 특정 장면에 대하여 오버레이하는 것이 금지될 수 있다.
충돌이 발생하는 경우, 단일, 수개, 또는 모든 파라미터들에 대하여 우선순위가 정의될 수 있다. 예컨대, 제1 비디오 시퀀스는, 예컨대, 타임 스탬프의 측면에서 특정 장면을 정의하며, 또한, 이 장면에 대하여, 예컨대, 오버레이되지 않을 수 있는 디스플레이 높이의 20 내지 80% 및 디스플레이 폭의 0 내지 100%의 직사각형 영역을 정의하는 메타데이터를 포함할 수 있다. 제2 비디오 시퀀스는 오버레이로서 사용된다면, 예컨대, 디스플레이 폭의 0 내지 10% 및 바람직하게는 디스플레이 높이의 50%의, 즉, 좌측 에지의 중앙 높이의 가시적인 프레임에서 렌더링되어야 함을 정의하는 메타데이터를 포함할 수 있다. 이러한 경우, 파라미터 "50% 높이"가 다른 것들보다 낮은 우선순위를 가지기 때문에 금지된 영역 외부에 표시될 수 있도록 프레임을 아래 또는 위로 천이시킬 수 있다. 제1 시퀀스의 금지된 영역이 더 낮은 우선순위를 갖는다면, 즉, 오버레이되지 않아야 한다면, 양쪽의 조건이 충족되도록 제2 시퀀스가 위치될 수 있다. 제2 비디오 시퀀스가 혼자 표시된다면, 즉, 오버레이로서가 아니라면, 이러한 메타데이터는 무시된다.
본 발명의 장점은, 예컨대, 배경 비디오 시퀀스에 대하여 하나 이상의 비디오 시퀀스가 이동, 스케일, 알파-블렌딩, 및/또는 오버랩핑될 수 있다는 등의 다양한 유용한 특징을 제공할 수 있다는 점이다. 알파-블렌딩(alpha-blend)은 장면들 간의 부드러운 천이를 위한 통상적인 기법이다. 이러한 특징들은 정적으로 활용가 능하게 될 필요는 없을 것이다, 즉, 인터넷으로부터 또는 플래시 메모리로부터 또는 추가의 디스크(예컨대, 기록된 영화의 업데이트) 등으로부터 동적으로 다운로드될 수 있다.
본 발명에 따르면, 상이한 (그러나, 결정된) 비디오 시퀀스들을 어떻게 서로 "접착(glue)"할 것인지를 기술하는 특수한 메타데이터가 비디오 시퀀스에 제공된다. 메타데이터 포맷은, 상이한 재생 장치들이 이러한 종류의 메타데이터를 취급/해석할 수 있도록 표준화되어야 한다. 현재, 이러한 메타데이터가 아무것도 활용가능하지 않다.
본 발명에 따른 재생 장치는 적절한 메타데이터를 해석할 수 있으며, 오버랩핑 등의 해당 처리를 수행하기 위한 하드웨어/소프트웨어(예컨대, 3D 그래픽 가속기)를 갖는다. 인터넷으로부터 오는 메타데이터에 있어서, 본 장치는 이러한 데이터를 다운로드하기 위한 기능을 가질 수 있다. 플래쉬 카드 리더 또는 USB로부터 오는 메타데이터에 있어서, 본 장치는 적절한 커넥터를 가질 수 있다. 또한, 본 장치는 액세스 가능한 메모리 영역, 예컨대, 로컬 DRAM에 이러한 메타데이터를 저장하기 위한 기능을 갖는다.
비디오 시퀀스와 메타데이터를 믹싱하기 위한 다양한 가능성이 존재한다: 메타데이터는 AV 스트림과 인터리빙될 수 있으며, 메타데이터는 별도의 파일에 저장될 수 있거나, 특수 영화를 위한 비디오 스트림(예컨대, 필름 감독의 토킹 헤드)과 함께 메타데이터가 병렬로 전달될 수 있다. 후자의 경우, 전달은 오버랩핑된 재생을 위하여 모든 필요한 추가 데이터를 포함한다. 또한, 2 이상의 특정 비디오 스트림을 오버랩핑하는 상이한 방법이 있을 수 있다. 따라서, 하나 이상의 메타데이터 셋트가 동일한 비디오 시퀀스에 대하여 활용가능할 수 있다.
본 발명에 사용되는 메타데이터는 2 이상의 비디오 시퀀스를 동일한 비디오 화면에 대하여 어떻게 오버랩하는지를 기술한다. 이러한 오버랩핑은 넓은 범위에서, 즉 매우 유연하게 가능할 수 있다. 이는, 예컨대, 오버레이된 비디오 시퀀스들에 대한 디스플레이의 기하학적 외양에 대한 정보, 오디오 스트림들을 동기화하기에 특히 유용한, 바람직하게는 비디오 스트림들 서로에 대한 오버랩 타이밍, 예컨대, 페이드 인/아웃, 컬러 변화, PIP용의 가시적인 프레임들 등의 특수 효과 메타데이터, 및 스트림 메타데이터를 메타데이터가 포함한다는 것을 의미한다.
도 1은, 동적인 비디오 오버랩핑을 수행하기 위하여 어떠한 디코딩 단계 어떠한 종류의 메터데이터가 어떻게 사용되는지 나타내기 위한, 본 발명에 따른 프레임 오버랩핑을 위한 장치를 나타낸다. 점선 화살표는 구체적인 디코딩 단계를 수행하기 위하여 어떠한 종류의 메타데이터가 사용되는지를 나타낸다. 실선 화살표는 비디오 시퀀스 데이터의 흐름을 나타낸다. 비디오 스트림 데이터의 포맷은 단계별로 변화할 수 있다. 예컨대, 초기에 비디오 시퀀스 데이터는 압축 포맷(예컨대, MPEG-2, 또는 MPEG-4, 또는 VC-1, 등)이다가, 다음의 단계에서, 프레임 버퍼(예컨대, 비트맵 같은 포맷)에 디코딩되었다. 최종 오버랩핑된 비디오는 YUV 4:2:0 포맷일 수 있다.
또한, 도 1은 메타데이터 자체 내에 계층구조가 주어지는 것을 나타낸다. 오버랩 타이밍 메타데이터는 기하학적 메타데이터와 특수 효과 메타데이터를 제어한다. 이는, 예컨대, 화면 상의 서브-비디오 시퀀스의 위치가 재생중에 변화할 수 있으나, 타이밍은 변화하지 않으므로, 중요하다. 예컨대, 서브-비디오 시퀀스가 부드럽게 수평적으로 이동하거나, 전체 비디오 프레임들이 스케일 업 및/또는 다운 될 수 있다. 예를 들어, 화면은 스트림 당 하나의 썸네일 비디오로 하여, 상이한 스트림의 수개의 썸네일 비디오를 표시할 수 있으며, 사용자는 메뉴를 사용하여 이들 썸네일 중 하나를 선택한다. 특수 효과로서, 이러한 썸네일 비디오의 해상도는 전체 화면을 커버할 때까지 스케일 업된다. 이는 선택이 전체 화면 사이즈로 비디오의 즉시 이어지는 모습을 재생하는 모습을 직관적으로 제공하게 된다. 이는 도 4 내지 도 6에 도시되어 있다.
계층 구조의 그 이상의 상위 레벨은 타이밍 메타데이터를 제어할 수 있다. 이는 사용자 상호작용일 수 있다. 사용자는 DVD에 사용되는 상이한 프로그램 체인(PGC)과 같이 상이한 재생 프로그램 사이에서 스위칭할 수 있다. 이는 플레이리스트(playlist)와 같으며, 즉, 사용자는 또 다른 오버랩핑 프로그램에 스위칭할 수 있다.
메타데이터 계층구조로 인하여, 상위 레벨은 하위 레벨의 설정을 오버라이드할 수 있다. 예컨대, 서브-비디오가 절취될 수 있으며, 픽셀 종횡비가 변화될 수 있다. 따라서, 하위 레벨의 메타데이터는 디폴트 데이터로서 취급될 것이다.
바람직하게는, 이러한 메타데이터가 별도 파일로서 저장된다면, XML과 같은 오픈 다큐먼트 포맷을 사용하여 저장되어야 한다. 메타데이터가 비디오 스트림 자체에 매립(embed)된다면, 매립된 메타데이터에 대하여 사용된 포맷은 비디오 스트림 포맷의 특수한 제약사항을 따라야 하며, 예컨대, MPEG-2 또는 MPEG-4 비디오 스트림 내부의 user_data() 필드 내에서 시작 코드를 회피하여야 한다.
도 2 및 도 3은 사용자가 영화 디스크, 부가 보너스 재료(예컨대, 인터넷을 통해), 및 관련 메타데이터를 어떻게 별도로 주문할 수 있는지를 나타낸다. 일례로서, 사용자는 광학 디스크로서 영화를 구매하고, 커버를 개방하여, 감독의 코멘트 비디오 시퀀스에 대한 증표(voucher)를 확인한다. 사용자는 콘텐츠 제공자의 웹 페이지(예컨대, Disney)에 접속하여 등록하여야 한다. 콘텐츠 제공자의 웹 페이지에 등록한 후, 사용자는 추가의 감독의 코멘트 비디오 시퀀스에 대한 액세스를 취득한다. 사용자는 자신의 DSL 접속을 통해 비디오 시퀀스를 다운로드한다. 다운로드가 행해진 후에, 사용자는 자신의 가장 새로운 다운로드된 보상물(incentive)에 대하여 확인하고 싶어한다. 사용자는 재생 장치의 HDD 상에 다운로드된 보상물을 둔다. 그 후, 사용자는 새로운 다운로드된 비디오 시퀀스의 재생을 시작한다. 재생 장치는 삽입된 메타데이터를 인식한다. 따라서, 재생 장치는 이러한 비디오 시퀀스의 재생이 특수한 영화와 연계하여 의도된 것임을 안다. 영화가 아직 삽입되지 않았으면, 재생 장치는 사용자에게 사용자가 적절한 디스크를 삽입하여야 함을 (예컨대, UI를 통해) 통지한다. 디스크가 삽입되면, 재생 장치는 (예컨대, 동일한 스트림에 포함된) 보상물 콘텐츠과 함께 전달되는 메타데이터에 정의된 바대로, 양측 비디오 시퀀스의 재생을 시작한다. 화면에는 감독의 얼굴에 의해 오버랩핑되어, 영화가 보여진다. 감독은 현재 보여지는 장면에 대하여 말한다. 보상물 비디오 시퀀스는 메타데이터의 플레이리스트, 즉, 한 셋트의 코멘트된 부분을 포함하고 있다. 따라서, 사용자는 수개의 코멘트된 장면들, 즉, 이하와 같은 플레이리스트 중 하나를 선택할 수 있다
1. 감독이 전체 영화를 코멘트함
2. 감독이 스턴트를 코멘트함
3. 감독이 FX 장면을 코멘트함
4. 배우 1이 에로틱 장면을 코멘트함
5. 배우 2가 촬영 중의 몇몇 재미난 상황들을 코멘트함.
본 예에 있어서, 2개의 영화가 활용가능하며(원본 영화 및 보상물 비디오 시퀀스), 5개 셋트의 메타데이터가 활용가능하다. 각각의 셋트는 메인 비디오와 보상물 비디오의 상이한 부분들을 조합하며, 어디서 비디오가 오버랩핑되는지(기하학적 정보), 언제 오버랩핑되는지(동기화), 어느 효과가 사용되는지(예컨대, 알파 블렌딩), 및 양측 스트림의 오디오를 어떻게 믹싱하는지의 제어를 설정한다. 사용자 상호작용을 위한 정보 또한 추가될 수 있다, 예컨대, 상이한 지속 방법이 제공될 수 있다(예컨대, "엔드 재생", 및 "다시 재생", 및 "다음 메타데이터 셋트로 이동").
본 예에 있어서, 주된 영화는 광학 디스크에 대하여 마스터들을 생성한 후에 종료된다. 그러나, 콘텐츠 제공자는 본 발명에 따른 메타데이터를 이용하여, 이를 적절한 비디오 시퀀스와 조합하고, 자신의 인터넷 포털에 대하여 활용가능하도록 함으로써, 이 영화에 대하여 추가 정보를 추후에 추가할 수 있다. 바람직하게는, 콘텐츠 제공자는 어느 때이건 이러한 특징을 통해 영화에 대한 재미난 정보를 추가할 수 있다. 고객은, 예컨대, 뉴스레터 또는 다이렉트 이메일을 통해 통보받을 수 있다. 따라서, 더 강력한 고객 보유력이 성취될 수 있다.
영화 제작사들은 더욱 더 많은 컴퓨터 활용 촬영을 사용한다, 즉, 현재 영화들에서 인공적으로 생성된 장면들의 양이 강하게 늘어간다. 따라서, 차(difference) 비디오 시퀀스를 생성하는 것은 점점 더 쉬워지고 있다. 또 다른 예로서, 사용자는 에로틱 영화의 광학 디스크를 구매한다. 그러나, 영화에 나오는 대부분의 사람은 옷을 입고 있다. 비용을 지불한 후에, 사용자는 콘텐츠 제공자의 인터넷 포털로부터 소망하는 시야(view)를 제공하는 특수 비디오 시퀀스 정보를 다운로드할 수 있다. 이 특수 비디오 시퀀스 정보(SVSI)는 차 비디오 시퀀스를 포함하고 있으며, 이는 에로틱 영화의 외양을 변화시키며, 픽셀별로 변경시킨다. 재생을 위하여, 재생 장치는 또한 전달된 본 발명의 메타데이터에 따라서 양쪽의 비디오 시퀀스들을 오버랩핑시킨다. 더해진 차 비디오 시퀀스는 일부 픽셀의 외양을 변화시킨다. 본 예에서, 이는 일부 장면에서 일부 배우들의 적절한 옷을 제거한다. 따라서, 고객은 콘텐츠 제공자에게 추가의 비용을 지불하고, 인터넷으로부터 차 비디오 시퀀스를 다운로딩함으로써 더욱 벗은 피부의 자유로운 보기를 취득한다. 볼 수 있는 피부의 량은 지불된 비용의 량에 의존할 수 있다. 유사한 예에 있어서, 영화에서 배우가 입고 있는 옷은 이러한 특징을 적용함으로써 현재의 유행에 따라서 변화될 수 있으며, 영화 장면의 배경(즉, 가상적인 위치)이 변화될 수 있다.
또 다른 예에 있어서, 사용자는 영화의 광학 디스크를 구매한다. 몇 명의 배우가 이 영화에서 역할을 맡는다. 콘텐츠 제공자는 영화를 (비디오 시퀀스로서) 배경 장면들과 배우들의 헤드들로 구분한다. 배경 장면과 배우들의 헤드들을 오버랩핑하는 것은 실제 영화의 재생을 수행하게 될 것이다. 본 발명의 메타데이터는 언제 어느 헤드들이 프레임 내부의 올바른 위치에서 배경 비디오에 오버랩되는지 기술한다. 이는 오버랩핑 공정을 제어하기 위하여 사용된다. 또한, 본 발명의 메타데이터는 표시된 헤드에 관한 정보, 즉, 헤드의 3D 위치와 카메라에 대한 상대적 위치, 조명 레벨 및 헤드에 대한 방향, 물리적 환경(예컨대, 바람, 수중, 원심력) 등을 포함한다. 고객은 배우를 교환하기를 원할 수 있다. 따라서, 사용자는 소망하는 배우(예컨대, 고객 자신)의 3D 헤드에 관한 적절한 정보를 재생 엔진에 제공한다. 이는 헤드의 스캐닝, 예컨대, 몇몇 헤드의 전자 사진 및 소망하는 헤드의 적절한 3D 모델을 생성하는 재생 장치의 몇몇 소프트웨어에 의해 행해질 수 있다. (현재의 그래픽 가속기에서 사용되는 바와 같은) 몇몇 전형적인 3D 엔진들에 있어서, 재생 장치는 실시간으로 적절한 헤드들을 발생시킬 수 있으며, 헤드들은 배경 비디오에 오버랩핑되게 된다. 현재의 3D 엔진들은 심지어, 예컨대, 바람과 조합한 긴 머리와 같은 복잡한 구조들을 다룰 수 있다. 첫번째의 간단한 버젼에 있어서, 사용자는 소망하는 헤드를 스캐닝하고 이 정보를 콘텐츠 제공자에게 발신할 수 있다. 콘텐츠 제공자는 오버랩핑 비디오를 발생시켜 이를 사용자에게 반송한다. 사용자는 이 수신된 시퀀스를 전술한 바와 같이 적용한다.
그러나, 마지막 예에서는, 배경 비디오와 헤드들과는 별도로, 콘텐츠 제공자가 먼저 비디오를 생성하는 방법을 기술한다. 또한, 콘텐츠 제공자는 어느 헤드가 어느 위치에 표시될지를 알리는 메타데이터를 제공한다. 콘텐츠 제공자는 배우의 3D 모델 및 재생 장치에 어떻게 이 헤드의 적절한 투영을 생성하는지를 알리는 메타데이터를 또한 제공할 수 있다.
이러한 콘텐츠를 갖는 디스크는 마스터 상에 놓인다, 즉, 이는 영화 자체와 같은 정적인 콘텐츠이다. 다른 배우들의 얼굴이 디스크(정적인 정보)에 추가될 수 있다. 그 후, 사용자는 구매한 디스크의 콘텐츠를 사용하여 배우들을 교환할 수 있다. 또한, 콘텐츠 제공자는 자신의 인터넷 포털로부터 다운로딩함으로써 이 영화에 대하여 보너스 재료로서 다른 배우들을 제공할 수 있다. 또한, 콘텐츠 제공자는 필요한 3D 모델을 생성하기에 충분하도록 고객으로부터 적절한 사진을 수신함으로써 영화에 3D 모델을 입력하도록 제공할 수 있다. 이는 또 다른 비지니스 모델일 수 있다. 고객은 다른 사용자들과 3D 모델을 교환할 수도 있을 것이다. 따라서, 본 예의 재생 장치는 2개의 방법의 오버랩핑을 지원한다.
1) 이미 투영된 비디오 시퀀스들을 배경 비디오와 오버랩핑함 (예컨대, 원본의 배우 헤드들)
2) 헤드의 3D 모델에 기초하여 재생 중에 실시간으로 계산되는 투영의 오버랩핑. 추가 데이터(예컨대, 헤드의 위치와 조명 정보, 및 물리적 환경에 관한 정보, 등)는 콘텐츠 제공자에 의해 전달된다 (디스크 상에 이미 존재하거나, 인터넷을 통해 보너스 재료로 전달될 수 있다).
또 다른 예에 있어서, 사용자는 활용가능한 비디오에 대한 개관을 얻도록 자신만의 메뉴를 생성한다. 사용자는 어디서 얼마나 많은 썸네일 비디오가 배경 영화에 오버랩핑되는지를 기술하는 본 발명에 따른 메타데이터를 생성한다. 사용자는 또한 선택된 썸네일의 (내비게이션을 위한) 행동과 활성화한 후의 썸네일의 외양을 결정할 수 있다. 도 4는 본 예를 위하여 개발된 메뉴를 설명한다. 사용자는 배경 비디오와 함께 3x3 썸네일 비디오 메뉴를 생성하였다. 썸네일의 선택은 (예컨대, 내비게이션 버튼 Up, Down, Left, Right 를 통해) 도 5에 도시된 바와 같이 선택된 비디오 시퀀스를 다소 약간 스케일 업시킨다. 사용자가 이 썸네일을 활성화시키면(즉, 최종 선택), 썸네일은 전체 화면을 커버할 때까지 커진다. 그 후, 종래의 재생이 시작할 수 있다.
본 예에 있어서, 사용자 자신은 어디에 비디오가 위치되는지를 정의하는 메타데이터를 생성한다. 이러한 경우, 구체적인 제공되는 비디오와 메뉴 구조에 관한 지식은 고정될 필요가 없으며, 즉, 메뉴의 발생 중에 어떠한 구체적인 비디오가 메뉴의 특별한 위치에 제공되는지가 불분명할 수 있으며, 즉, (포맷과 해상도 등을 취득하기 위한) 비디오 스트림 자체로부터의 스트림 정보와 기하학적 정보 및 사용자 메뉴 구조로부터의 정보를 실시간으로 해석함으로써 오버랩핑이 행해진다. 따라서, 이러한 메타데이터는 필요하지만, 주로 분리된다. 콘텐츠 제공자는 이러한 메뉴를 발생시키도록 일부 소프트웨어 및/또는 템플릿을 제공할 수 있다. 재생 장치는 이러한 메뉴의 발생을 지원할 수 있다.
본 발명에 따른 메타데이터는 상이하게 위치될 수 있다.
이러한 메타데이터는 오버랩핑된 비디오 시퀀스와 동일한 매체 상에 위치될 수 있다 (예컨대, HDD 또는 광학 디스크, 예컨대, DVD, HD-DVD, 또는 블루-레이). 일반적으로, 오버랩핑된 비디오 시퀀스들 중 적어도 하나와 동일한 매체상에 위치될 수 있다.
메타데이터는 오버랩핑된 비디오 시퀀스들과는 다른 매체상에 위치될 수도 있다.
또한, 메타데이터는 다른 소오스들로부터 개별적으로 수신될 수 있다 (예컨대, USB, 플래시 메모리, 인터넷, 등)
비디오 시퀀스들과 메타데이터를 믹싱할 다양한 가능성이 존재한다:
● 메타데이터는 AV 스트림과 인터리빙될 수 있다.
ㅇ 이는 콘텐츠 제공자가 저작중에 비디오의 오버랩핑에 관한 일부 또는 전부를 결정하다는 것을 의미한다.
ㅇ 기술적으로는, 이는 메타데이터를, 예컨대, MPEG-2 비디오 또는 MPEG-4 비디오 또는 VC-1 스트림의 user_data()에 저장함으로써 행해질 수 있다.
ㅇ 다른 대안은 트랜스포트 스트림 중 별도의 트랜스포트 패킷에 메타데이터를 저장하는 것이다(예컨대, BD 콘텐츠의 .m2ts 파일에)
ㅇ 그러나, 이러한 종류의 메타데이터는 상이한 재생 장치들에 의해 판독가능하게 되도록 특수한 표준을 필요로 한다.
● 메타데이터는 별도의 파일에 저장될 수 있다.
ㅇ 이는 비디오 시퀀스의 저작 후에 메타데이터가 파일에 링크될 수 있음을 의미한다. 이러한 종류의 메타데이터는, 콘텐츠 제공자의 웹 페이지를 방문하기 위한 또는 (고객 충성도 및 고객 트랙킹을 취득하도록) 자발적인 등록 등을 위한 사용자에 대한 보상물과 같이, 콘텐츠 제공자의 웹 페이지로부터 다운로드되는 추가의 보너스 재료일 수 있다.
ㅇ 기술적으로는, 특수 파일에 메타데이터를 저장하는 것으로 이를 행할 수 있다.
ㅇ 대안으로서, 이러한 메타데이터를 다른 정보 파일, 예컨대, 블루-레이의 ".clpi"(cipInfo) 또는 ".mpls"(PlayList) 파일, 또는 (HD-)DVD ".IFO" 파일에 저장할 수 있다.
ㅇ 그러나, 이러한 종류의 메타데이터는 상이한 재생 장치들에 의해 판독가능하게 되기 위하여는 특수한 표준을 필요로 한다.
● 예컨대, 특수한 디스크 상의 특수한 영화에 대하여 비디오 스트림(예컨대, 필름 감독의 "토킹 헤드(talking head)")과 함께 메타데이터가 전달될 수 있다. 따라서, 전달은 오버랩핑된 재생을 위한 모든 필요한 부가 데이터를 포함한다.
● 동일한 비디오 스트림들을 오버랩핑하기 위하여 상이한 방법이 존재할 수 있다. 따라서, 동일한 비디오 시퀀스들에 대하여 하나 이상의 메타데이터 셋트가 활용가능할 수 있다. 이들은 내부적으로 또는 외부적으로 우선순위화되거나, 사용자가 우선되는 메타데이터 셋트를 선택할 수 있다.
비디오 시퀀스들의 위치는 이하와 같이 오버랩핑된다:
● 이러한 비디오 시퀀스들은 동일한 매체(예컨대, HDD 또는 광학 디스크) 상에 위치될 수 있다.
● 이러한 비디오 시퀀스들은 상이한 매체상에 위치될 수 있다. 동시 재생이 네트워크를 통해 실현될 수 있다.
● 비디오 시퀀스들은 스트리밍되는 비디오와는 다른 소오스들(예컨대, USB, 플래시 메모리, 인터넷, 등)로부터 별도로 수신될 수 있다. 예컨대, "필름 감독" 시퀀스는 콘텐츠 제공자의 인터넷 서버로부터 바로 오는 반면(스트리밍), 실제 영화는 광학 디스크로부터 판독된다. 재생 장치는 본 발명에 따른 메타데이터를 해석함으로써 동시에 양쪽의 비디오 시퀀스들을 오버랩핑한다.
메타데이터의 콘텐츠:
메타데이터는 2 이상의 비디오 시퀀스들을 동일한 비디오 화면 상에서 어떻게 오버랩핑하는지를 기술한다. 바람직하게는, 이러한 오버랩핑은 넓은 범위에서, 즉, 매우 유연하게 가능할 수 있다. 이는 메타데이터가 이하에 관한 정보를 포함하고 있다는 것을 의미한다.
● 기하학적인 표시 메타데이터
ㅇ 디스플레이 내의 위치
ㅇ 제공되는 프레임들의 스케일링
■ 가능한 스케일링 레벨은 이러한 스케일링의 구현을 간단화하기 위하여, 즉, 하드웨어 요구사항을 간단화하기 위하여, 고정된 셋트의 값들로 제한될 수 있다.
ㅇ 표시 전의 로테이션(rotation)
■ 가능한 로테이션 레벨은 이러한 회전의 구현을 간단화하기 위하여, 즉, 하드웨어 요구사항을 줄이기 위하여, 고정된 셋트의 값들로 제한될 수 있다.
ㅇ 가능한 경우, 디스토션 (예컨대, 종횡비)
■ 오버라이드 종횡비, 예컨대, 비디오 스트림이 표시하는 것과는 다른 종횡비인, 메타데이터 제한요소
■ 전체 비디오를 수평적으로 및/또는 수직적으로 플립함(flip)
ㅇ 가능한 경우, 프레임 절취 정보
ㅇ 오버라이드 픽셀 종횡비, 예컨대, 비디오 스트림이 표시하는 것과는 다른 종횡비인, 메타데이터 제한요소
● 오버랩 타이밍 메타데이터
ㅇ 전체 오버랩핑 공정을 동기화하기 위하여 타이밍 정보와 스트림 액세스 포인트가 사용된다. 이는 정확하게 또는 느슨하게 동기화된 비디오 필드, 비디오 프레임, 또는 오디오 프레임일 수 있다
ㅇ 아무런 구체적인 타이밍 정보가 활용가능하지 않다면, 디폴트 값이 대신 사용될 수 있다.
ㅇ 일반적으로, 타이밍 정보는 시작 시간, 종료 시간, 주기, 또는 이들의 임의의 혼합을 기술할 수 있다.
ㅇ 이하의 주소하의 인터넷에서 발행된 바와 같은 DVD의 프로그램 체인(PGS)와 같이 비디오 시퀀스를 통해 내비게이션하기 위한 정보
http://www.dvd-replica.com/DVD/pgca.php
■ (무한한) 루프, 또는 하나의 프리젠테이션을 완료한 후 정지
■ 재생을 위한 비디오 시퀀스의 재주문 부분들
■ 가능한 사용자 상호작용을 나타냄 (PGS와 같이)
ㅇ 상이한 기하학적 메타데이터 및/또는 특수 효과 메타데이터 사이를 스위칭하기 위한 정보. 비디오 필드 또는 비디오 프레임일 수 있으며, 또는 느슨하게 동기화될 수 있다.
ㅇ 상이한 정밀도 레벨에서 정보가 제공될 수 있다
■ 느슨하게 동기화됨 (즉, 주로 매우 작은 프레임 주기의 순서에 대하여)
■ 엄격하게 동기화됨 (즉, 프레임이 정확하거나, 필드가 정확함)
ㅇ 오디오를 위한 정보
■ 적절한 오디오 스트림에 스위칭하거나,
■ 오디오 스트림들을 오버랩핑할 것을 나타냄 (오디오 스트림이 오버랩될지 여부를 나타냄)
■ 오버랩핑 레벨 (예컨대, 전경 또는 배경에 어떠한 오디오 스트림이 놓일 것인지를 나타냄)
■ 2D 또는 3D 위치 (특정 오디오의 소리가 나오거나/들을 수 있는 기하학적 위치를 나타냄)
■ 믹싱에 앞서서 각각의 오디오 스트림의 볼륨 레벨을 나타냄
■ 오디오 효과 (예컨대, 오디오에 대한 반향 효과)
■ 이러한 오디오 작용이 활용가능하다면, 이들은 다른 메타데이터 형태의 오디오에 대하여 특수 효과를 오버라이드함.
● 특수 효과 메타데이터
ㅇ 페이드 인/아웃
ㅇ 컬러 변화
ㅇ 프레임 경계에 대한 프레임
ㅇ 사용된 오버랩핑 방법을 나타냄
■ 투명도를 위한 크로마 키(chroma keying) 정보 (비디오 압축이 동일한 투명도 영역 내에 다양한 값들을 전달할 수 있으므로 컬러 변화가 가장 필요로 될 것임)
■ 이하에 대한 글로벌 투명도 값
. 단일 비디오 시퀀스
. 수개의 비디오 시퀀스
■ 서브-비디오를 배경 비디오에 더함
■ 서브-비디오와 배경 비디오를 배타적 OR 결합함
ㅇ 상이한 표시 형태에 대하여 상이한 효과, 예컨대, 투명도 값은 사용되는 표시 형태에 의존함.
ㅇ 많은 다른 효과들이 가능함
ㅇ 오디오 효과
■ 오디오 효과 (예컨대, 오디오에 반향 효과를 더함)
● 스트림 메타데이터
ㅇ 비디오 시퀀스에 대한 상세한 기술적 정보
■ 압축 포맷 (예컨대, 비트맵 시퀀스, MPEG-2, MPEG-4, VC-1, 등)
■ 해상도
■ 종횡비 (프레임과 픽셀에 대한)
■ 사용된 컬러 공간 (예컨대, HDTV용의 ITU 709 또는 SDTV 용의 ITU 624, 등)
■ 프레임율
■ 인터레이스 방식/프로그레시브 방식
■ 가능하다면, 크로마 키 값
■ 휘도에 대한 평균 또는 중간값
ㅇ 비디오 시퀀스에 대한 상세한 콘텐츠 정보
■ 장르
■ 배우
■ 기타 사항
ㅇ 오디오 특성
■ 오디오 스트림의 볼륨 레벨을 나타냄
■ 2D 또는 3D 위치 (지정 오디오의 오디오가 나오거나/들을 수 있는 기하학적 위치를 나타냄)
■ 믹싱에 앞서서 각각의 오디오 스트림의 볼륨 레벨을 나타냄
메타데이터가 두번째 서브-스트림에 있다면, 즉, 다른 서브-스트림에 오버레이되어야 한다면, 이하의 사항이 고려되어야 한다. 메타데이터는 이하에 위치될 수 있다
a) 비디오 기초 스트림(ES: Elementary Stream) 내에 (user_data(), MPEG-2, MPEG-4 비디오, VC-1)
b) 비디오 ES가 포함되는 트랜스포트 스트림(m2ts) 내에; 동일한 트랜스포트 스트림(TS) 내에 2차 오디오가 또한 포함될 수 있다
c) 해당 TS의 ClipInfo 파일(clpi) 내에
d) PlayList 파일(mpls) 내에
e) 별도의 메타데이터 파일로서
메타데이터 콘텐츠/목적의 예들
a) 위치 (프레임을 정확하게 변경하는 것을 포함함)
b) 스케일링 (동적으로 또는 프레임을 정확하게 변경하는 것을 포함함)
c) 소정의 고정된 스케일링 인자로부터 선택
d) 투명도를 위한 크로마 키 정보 (NB: 압축으로 인한 컬러 범위를 고려)
e) 글로벌 투명도 값
f) 디스플레이에 따른 투명도 (디스플레이 종류)
g) 컬러 범위 정보, HDTV 용의 ITU-(T 또는 R) 709 또는 SDTV 용의 ITU 624
h) 오버라이드 픽셀 종횡비 정보
i) 플립(flip) 정보
j) 로테이션 정보
k) 효과
l) PIP(Picture-in-Picture) 용의 프레임
m) 비동기 PIP를 위한 시작 및 정지 정보
n) 균일한/균등한 다중 PIP를 근사한 외양으로 성취하기 위한 기본 휘도
o) 양측쪽의 픽쳐에 대한 계산(예컨대, 래스터 동작) (예컨대, 픽쳐 객체를 감산함)
본 발명에 따른 모든 메타데이터는 선택적으로 서브-비디오 프레임을 변경시킬 수도 있다.
또한, 이러한 모든 메타데이터는 오직 디폴트 값들에 대한 것일 수 있다, 즉, 이들은, 예컨대, BD-Java API 호출에 의해 중복기입될 수 있다. 전술한 메타데이터는 그 후 이들 디폴트 값들로 축퇴된다.
2차 비디오는 통상 인터넷으로부터 다운로드된 후, 믹스 메타데이터가 광학 디스크(ROM 디스크일 수 있음)에 저장될 필요가 없도록 로컬 저장장치에 저장될 수 있는 콘텐츠이다. 1차 및 2차 비디오 데이터는 모두 동일한 데이터 캐리어, 예컨대, 광학 ROM 디스크 상에 있는 것도 가능할 수 있다.
일례의 적용예로서, 시작 및 종료 타임 스탬프로 표현된, 첫번째 비디오의 특정 장면에 대하여, 본 발명에 따른 메타데이터는 디스플레이의 어느 영역이 비교적 어두운지, 및/또는 어느 영역이 비교적 밝은지에 대하여 정의한다. 이러한 정보는, 이러한 장면이 배경으로 역할하는, 오버레이를 위한 금지된 또는 바람직한 영역과 조합될 수도 있다. 두번째 비디오가 별도의 창으로 이러한 장면에 오버레이되어야 한다면, 두번째 비디오는, 예컨대, 그 콘텐츠가 더 밝음을 표시하는, 또는 그 콘텐츠가 어두운 영역에 제공되어야 함을 표시하는, 메타데이터를 포함하며, 이러한 모든 요구사항들을 충족하도록 윈도우가 자동적으로 위치될 수 있다, 즉, "어두운" 것으로 표시된 영역 상에 자동적으로 위치된다. 또한, 배경이 변화하면, 첫번째 비디오의 메타데이터는 이러한 변화를 표시하고, 두번째의 오버레이된 비디오는, 모든 조건들이 충족된 또 다른 영역으로 자동적으로 이동될 수 있다. 이러한 이동은 바람직하게는 점프가 아니라 부드러운 천이이다.
또 다른 예에 있어서, 첫번째 비디오 스트림은, 예컨대, 합성적으로 렌더링된 게임이다. 예컨대, 게임의 다른 캐릭터들이 갖는 상이한 시야를 제공하는 또 다른 비디오 스트림들이 오버레이 될 수 있다. 예컨대, 플레이어 A는 자신의 화면 상에 다른 플레이어 B 및 C의 동시발생하는 움직임이 보여지는 영역을 갖는다. 이들 다른 플레이어들은, 예컨대, 온라인 게임 상에서 사람일 수 있으며, 또는 가상적인 것일 수 있다. 그러므로, 2개의 다른 스트림들이 플레이어 자신의 시야를 보여주는 배경 장면에 오버레이된다. 오버레이 프레임들의 위치는 각각의 스트림에 첨부되는 메타데이터에 의해 정의된다. 이들 메타데이터는, 예컨대, 각각의 플레이어가 수행하는 움직임에 의존할 수 있다.
또 다른 예에 있어서, 첫번째 비디오 스트림은 정적인 이미지, 또는 메뉴로 역할하는 배경과 같은, 계속적으로 반복되는 짧은 장면이다. 예컨대, 자신의 비디오 라이브러리에 사용자가 갖는 비디오들의 요약에 상응하여, 수개의 비디오 스트림들이 오버레이된다. 첫번째 비디오 스트림은, 1. 각각의 비디오가 아이콘에서 보여질 수 있도록, 2, 정의된 수의 비디오 아이콘들이 표시될 수 있도록, 3. 배경이 보여질 수 있지만, 아이콘 사이에 일부 공간이 남아서 각각의 아이콘이 가능한 한 크게 되도록, 비디오 스트림들에 대하여 표시 영역을 제공하는 첨부된 메타데이터를 갖는다. 예컨대, 메타데이터는 12개의 비디오 스트림들이 4개의 열과 3개의 행에 표시되는 것을 정의하며, 여기서, 각각의 열은 25%의 폭을, 각각의 행은 33.3%의 높이를 가지며, 각각의 아이콘은 자신의 폭과 높이의 80%, 즉, 각각의 에지 상의 잔여 10%에 대하여 배경이 보여지도록 자신의 영역의 81%를 사용한다. 유사한 예에 있어서, 배경은 표시되지 않지만, 각각의 아이콘이 화면상에서 최대 영역을 가져야 하는 활용가능한 비디오 스트림들의 수에 무관하여야 한다. 예컨대, 라이브러리에 2개의 비디오가 존재하는 경우, 이들 각각은 표시 영역의 반분을 취한다. 일반적으로, 비디오 각각은 (특정한 최소 크기로) 동일한 분율의 디스플레이를 취하며, 이는 배경에 첨부되는 메타데이터에 의해 동적으로 제어된다.
특정한 장점으로서, 기재된 상대적인 유형의 영역 정의는 각각 모든 디스플레이 크기 또는 해상도의 적응화를 허용한다.

Claims (24)

  1. 2 이상의 비디오 스트림을 동적으로 오버레이(overlay)하는 방법으로서,
    상기 비디오 스트림 중 적어도 하나에 대하여 메타데이터가 관련되며,
    상기 비디오 스트림들 중 하나인 제1 비디오 스트림을 표시하는 단계;
    상기 메타데이터를 추출하는 단계;
    상기 추출된 메타데이터가 상기 2 이상의 비디오 스트림을 어떻게 오버레이하는지를 정의하는 것을 검출하는 단계; 및
    상기 메타데이터에 의해서 정의된 바와 같이 상기 제1 비디오 스트림에 대하여 적어도 제2 비디오 스트림을 오버레이하는 단계
    를 포함하는 오버레이 방법.
  2. 제1항에 있어서,
    상기 메타데이터는 상기 2 이상의 비디오 스트림을 오버레이하기 위한 표시 영역을 정의하는 위치 데이터를 포함하며, 상기 표시 영역은 표시 크기에 비례하는 오버레이 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 메타데이터는 상기 제1 비디오 스트림에 상기 제2 비디오 스트림을 오버레이하기 위한 시간을 지정하는 타이밍 정보를 포함하는 오버레이 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 메타데이터는 상기 위치 데이터에 대한 우선순위를 포함하며, 충돌의 경우 더 높은 우선순위를 갖는 위치 데이터가 적용되는 오버레이 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 메타데이터는 포맷 정보, 콘텐츠 정보 및/또는 메타데이터가 관련된 비디오 스트림의 오디오 특성을 더 포함하는 오버레이 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 메타데이터는 플레이리스트(playlist)에 의해 비디오 스트림에 관련되는 오버레이 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 메타데이터는 상기 제1 비디오 스트림에 관련되며, 상기 적어도 하나의 제2 비디오 스트림이 어떻게 또 다른 비디오 스트림에 오버레이될 수 있는지를 정의하는 오버레이 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 메타데이터는 상기 제2 비디오 스트림에 관련되며, 상기 제2 비디오 스 트림이 어떻게 다른 스트림들에 오버레이될 수 있는지를 정의하는 오버레이 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 메타데이터는 상기 제2 비디오 스트림에 대한 스케일링 정보 또는 투명도 정보를 포함하는 오버레이 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 메타데이터는 상기 제2 비디오 스트림에 대한 컬러 범위 정보, 플립 정보 및/또는 로테이션 정보를 포함하는 오버레이 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 메타데이터는 예를 들어, 페이드 인/페이드 아웃 데이터, 컬러 변화 데이터, 프레임 경계에 대한 프레임 데이터, 또는 사용될 오버랩핑 방법의 표시와 같은 특수 효과 데이터를 포함하는 오버레이 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 메타데이터는 오직 특정한 표시 종류에 대한 상기 특수 효과 데이터 및/또는 상기 투명도 정보를 정의하는 오버레이 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 제2 비디오 스트림은 픽셀 레벨의 상기 제1 비디오 스트림의 외양을 변화시키는 차(difference) 비디오 데이터를 포함하는 오버레이 방법.
  14. 제13항에 있어서,
    상기 메타데이터는 투영 정보를 포함하며,
    3차원 모델을 정의하는 데이터를 발생시키거나 수신하는 단계;
    상기 투영 정보에 따라서 상기 3차원 모델의 투영을 계산하는 단계; 및
    차 비디오 데이터로서 상기 투영의 데이터를 상기 제2 비디오 스트림에 포함시키는 단계
    를 더 포함하는 오버레이 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 메타데이터는 프레젠테이션 시간에 변경될 수 있는 오버레이 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 제2 비디오 스트림이 선택되는 것을 검출하는 단계; 및
    상기 검출시에 상기 제2 비디오 스트림에 대한 표시 영역을 자동적으로 증가시키는 단계
    를 더 포함하는 오버레이 방법.
  17. 제1항에 있어서,
    상기 메타데이터는 위치 데이터, 타이밍 데이터 및 특수 효과 데이터를 포함하며,
    상기 타이밍 데이터가 상기 위치 데이터 및 상기 특수 효과 메타데이터를 제어하는 것을 정의하는 계층구조가 존재하는 오버레이 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 제1 비디오 스트림에 관련되는 제1 메타데이터는 표시 영역의 휘도 레벨을 표시하며, 상기 제2 비디오 스트림에 관련되는 제2 메타데이터는 상기 제2 비디오 스트림의 휘도 레벨 표시를 포함하며,
    상기 제1 비디오 스트림의 상기 표시 영역의 상기 휘도 레벨과 상기 제2 비디오 스트림의 휘도 레벨 표시에 기초하여 위치 정보를 자동적으로 발생시키는 단계를 더 포함하며,
    상기 발생되는 위치 정보에 따라서 상기 제2 비디오 스트림이 상기 제1 비디오 스트림에 오버레이되는 오버레이 방법.
  19. 2 이상의 비디오 스트림을 동적으로 오버레이하는 장치로서,
    상기 비디오 스트림 중 적어도 하나에 메타데이터가 관련되며,
    상기 메타데이터를 판독하여 추출하는 수단; 및
    상기 2 이상의 비디오 스트림을 오버레이하는 수단을 포함하며,
    상기 추출된 메타데이터는 어떻게 상기 비디오 스트림을 오버레이하는지를 정의하는 오버레이 장치.
  20. 제19항에 있어서,
    상기 추출된 메타데이터에 기초하여 위치 데이터를 발생시키는 수단을 더 포함하며,
    상기 위치 데이터는 제1 비디오 스트림에 적어도 하나의 제2 비디오 스트림을 오버레이하기 위한 표시 영역을 정의하며, 상기 표시 영역은 표시 크기에 비례하는 오버레이 장치.
  21. 제19항 또는 제20항에 있어서,
    상기 메타데이터로부터 시간 동기화 정보를 추출하는 수단; 및
    상기 오버레이된 비디오 스트림들 사이의 시간 동기화를 수행하는 수단을 더 포함하며,
    상기 시간 동기화는 상기 타이밍 동기화 정보에 따라서 프레임/필드가 정확하거나 느슨할 수 있는 오버레이 장치.
  22. 제19항 내지 제21항 중 어느 한 항에 있어서,
    상기 메타데이터는 투영 정보를 포함하며,
    3차원 모델을 정의하는 데이터를 수신하는 수단;
    상기 3차원 모델의 투영을 상기 투영 정보에 따라서 계산하는 수단; 및
    차 비디오 데이터로서의 상기 투영의 데이터를 상기 제2 비디오 스트림에 포함시키는 수단
    을 더 포함하는 오버레이 장치.
  23. 제19항 내지 제22항 중 어느 한 항에 있어서,
    프리젠테이션 시간에 상기 메타데이터를 변경시키는 수단을 더 포함하는 오버레이 장치.
  24. 제19항 내지 제23항 중 어느 한 항에 있어서,
    상기 제2 비디오 스트림이 선택되는 것을 검출하는 수단, 및
    상기 검출시에 상기 제2 비디오 스트림에 대한 표시 영역을 자동적으로 증가시키는 수단
    을 더 포함하는 오버레이 장치.
KR1020087001359A 2005-07-18 2008-01-17 메타데이터를 이용하여 다중 비디오 스트림을 핸들링하는방법 및 장치 KR101391542B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05015576.1 2005-07-18
EP05015576 2005-07-18
PCT/EP2006/063884 WO2007009876A1 (en) 2005-07-18 2006-07-05 Method and device for handling multiple video streams using metadata

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020127034177A Division KR101374034B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림을 핸들링하는 방법 및 장치
KR1020127034176A Division KR101342232B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림을 오버레이하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080028433A true KR20080028433A (ko) 2008-03-31
KR101391542B1 KR101391542B1 (ko) 2014-05-02

Family

ID=36944152

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020127034176A KR101342232B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림을 오버레이하는 방법 및 장치
KR1020137006745A KR101392626B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림 핸들링 방법
KR1020127034177A KR101374034B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림을 핸들링하는 방법 및 장치
KR1020137017735A KR101392676B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림 핸들링 방법
KR1020087001359A KR101391542B1 (ko) 2005-07-18 2008-01-17 메타데이터를 이용하여 다중 비디오 스트림을 핸들링하는방법 및 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020127034176A KR101342232B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림을 오버레이하는 방법 및 장치
KR1020137006745A KR101392626B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림 핸들링 방법
KR1020127034177A KR101374034B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림을 핸들링하는 방법 및 장치
KR1020137017735A KR101392676B1 (ko) 2005-07-18 2006-07-05 다중 비디오 스트림 핸들링 방법

Country Status (9)

Country Link
US (1) US9167176B2 (ko)
EP (2) EP1905233B1 (ko)
JP (10) JP5067889B2 (ko)
KR (5) KR101342232B1 (ko)
CN (7) CN102905166B (ko)
ES (2) ES2645014T3 (ko)
PL (2) PL1905233T3 (ko)
TR (1) TR201808891T4 (ko)
WO (1) WO2007009876A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037858A (ko) * 2019-09-30 2021-04-07 한화테크윈 주식회사 비디오 데이터 및 메타 데이터를 실시간 동기화하는 영상 수신 장치 및 그 방법
WO2022191595A1 (ko) * 2021-03-10 2022-09-15 삼성전자 주식회사 이미지의 알파 값을 이용하여 이미지를 출력하는 전자 장치 및 그 제어 방법

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101018320B1 (ko) 2003-02-11 2011-03-04 엔디에스 리미티드 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법
CN102905166B (zh) * 2005-07-18 2014-12-31 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备
US8842730B2 (en) * 2006-01-27 2014-09-23 Imax Corporation Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
WO2007148219A2 (en) * 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
GB2441365B (en) * 2006-09-04 2009-10-07 Nds Ltd Displaying video data
US11316688B2 (en) 2006-12-29 2022-04-26 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US11783925B2 (en) 2006-12-29 2023-10-10 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US9569587B2 (en) 2006-12-29 2017-02-14 Kip Prod Pi Lp Multi-services application gateway and system employing the same
US8180735B2 (en) 2006-12-29 2012-05-15 Prodea Systems, Inc. Managed file backup and restore at remote storage locations through multi-services gateway at user premises
US9602880B2 (en) 2006-12-29 2017-03-21 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
US20170344703A1 (en) 2006-12-29 2017-11-30 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US20230057851A1 (en) * 2006-12-29 2023-02-23 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
EP1981274A1 (en) * 2007-04-12 2008-10-15 Alcatel Lucent Multimedia descriptions for adding additional multimedia
EP2153641B2 (en) 2007-04-13 2021-10-27 Ari M. Presler Digital cinema camera system for recording, editing and visualizing images
KR101396998B1 (ko) * 2007-08-29 2014-05-20 엘지전자 주식회사 영상기기 및 이 영상기기에서 녹화물을 디스플레이하는방법
JP4471028B2 (ja) * 2007-09-03 2010-06-02 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9350949B2 (en) * 2007-09-28 2016-05-24 Disney Enterprises, Inc. Flexible format media content and method for providing same
JP5092722B2 (ja) * 2007-12-07 2012-12-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CN102067586B (zh) * 2008-03-05 2014-01-01 惠普开发有限公司 使外部内容在数字显示系统中同步和窗口化
WO2009129542A1 (en) * 2008-04-18 2009-10-22 Visible World Corporation System and method for condensed representation of long video sequences
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US20100169303A1 (en) 2008-12-31 2010-07-01 David Biderman Playlists for real-time or near real-time streaming
US8693846B2 (en) * 2009-03-16 2014-04-08 Disney Enterprises, Inc. System and method for dynamic video placement on a display
US20100239222A1 (en) * 2009-03-20 2010-09-23 International Business Machines Corporation Digital video recorder broadcast overlays
US9025927B2 (en) * 2009-03-25 2015-05-05 Cyberlink Corp. Systems and methods of variable frame rate playback
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US10156979B2 (en) 2009-12-02 2018-12-18 Samsung Electronics Co., Ltd. Method and apparatus for providing user interface of portable device
KR20110063297A (ko) * 2009-12-02 2011-06-10 삼성전자주식회사 휴대용단말기 및 그 제어방법
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
EP3018881A1 (en) 2010-02-19 2016-05-11 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for adaptation in http streaming
GB201105502D0 (en) 2010-04-01 2011-05-18 Apple Inc Real time or near real time streaming
US8805963B2 (en) 2010-04-01 2014-08-12 Apple Inc. Real-time or near real-time streaming
TWI451279B (zh) 2010-04-07 2014-09-01 Apple Inc 即時或接近即時串流傳輸之內容存取控制
US9237366B2 (en) * 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials
US8739041B2 (en) 2010-06-17 2014-05-27 Microsoft Corporation Extensible video insertion control
EP2594070A1 (en) * 2010-07-13 2013-05-22 Thomson Licensing Method of picture-in-picture for multimedia applications
KR101812189B1 (ko) * 2010-10-12 2017-12-26 삼성전자주식회사 3차원 ｇｕｉ를 이용한 컨텐츠 리스트 디스플레이 방법 및 이를 적용한 3차원 디스플레이장치
US8699801B2 (en) * 2010-11-26 2014-04-15 Agfa Healthcare Inc. Systems and methods for transmitting high dynamic range images
KR101528991B1 (ko) * 2011-01-11 2015-06-15 애플 인크. 실시간 또는 준 실시간 스트리밍
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US9503771B2 (en) * 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
KR20140110071A (ko) 2011-05-27 2014-09-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
US8856283B2 (en) 2011-06-03 2014-10-07 Apple Inc. Playlists for real-time or near real-time streaming
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
CN104126307B (zh) * 2012-02-29 2018-02-06 杜比实验室特许公司 用于改善的图像处理和内容传递的图像元数据创建处理器及方法
US20180316946A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US11284137B2 (en) 2012-04-24 2022-03-22 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US9751011B2 (en) * 2012-05-25 2017-09-05 Electronics Arts, Inc. Systems and methods for a unified game experience in a multiplayer game
JP2014003448A (ja) * 2012-06-18 2014-01-09 Ricoh Co Ltd 伝送システム、外部入力装置、および表示解像度変換用プログラム
US9317709B2 (en) 2012-06-26 2016-04-19 Google Inc. System and method for detecting and integrating with native applications enabled for web-based storage
KR102181994B1 (ko) * 2012-11-26 2020-11-24 소니 주식회사 송신 장치, 송신 방법, 수신 장치, 수신 방법 및 수신 표시 방법
US8797461B2 (en) * 2012-12-28 2014-08-05 Behavioral Technologies LLC Screen time control device and method
US20140192200A1 (en) * 2013-01-08 2014-07-10 Hii Media Llc Media streams synchronization
WO2014160934A1 (en) 2013-03-28 2014-10-02 Google Inc. System and method to store third-party metadata in a cloud storage system
EP3018910B1 (en) * 2013-07-05 2019-11-13 Saturn Licensing LLC Transmission device, transmission method, reception device, and reception method
US9940787B2 (en) * 2013-08-02 2018-04-10 Zynga Inc. Nested online games for real money gambling
US10444958B2 (en) * 2013-09-23 2019-10-15 Adobe Systems Incorporated Visual example-based user interface for adjusting photos along two dimensions
US10115174B2 (en) 2013-09-24 2018-10-30 2236008 Ontario Inc. System and method for forwarding an application user interface
US10976986B2 (en) * 2013-09-24 2021-04-13 Blackberry Limited System and method for forwarding an application user interface
US9344626B2 (en) * 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
GB2520334B (en) * 2013-11-18 2015-11-25 Helen Bradley Lennon A video broadcast system and a method of disseminating video content
JP6379636B2 (ja) * 2014-04-30 2018-08-29 ソニー株式会社 情報処理装置、情報記録媒体、および画像処理方法、並びにプログラム
CN104602029A (zh) * 2014-08-27 2015-05-06 腾讯科技（北京）有限公司 在线视频文件的生成方法及装置
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
DE102014220432A1 (de) 2014-10-09 2016-04-14 Continental Teves Ag & Co. Ohg Hydraulisches Sicherheitssystem, Bremsanlage und Betriebsverfahren
CN106797499A (zh) * 2014-10-10 2017-05-31 索尼公司 编码装置和方法、再现装置和方法以及程序
KR102161210B1 (ko) 2015-01-15 2020-09-29 한화테크윈 주식회사 다중 비디오써머리제공방법 및 장치
CN111556426B (zh) 2015-02-06 2022-03-25 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
KR101602425B1 (ko) * 2015-03-27 2016-03-11 주식회사 아트필 무대용 다채널 영상 제어장치
CN104866755B (zh) * 2015-06-11 2018-03-30 北京金山安全软件有限公司 应用程序解锁界面背景图片的设置方法、装置及电子设备
TWI594607B (zh) * 2015-11-27 2017-08-01 鴻海精密工業股份有限公司 動態控制多個視頻下載之系統及方法
WO2017106695A2 (en) * 2015-12-16 2017-06-22 Gracenote, Inc. Dynamic video overlays
US9652828B1 (en) * 2015-12-29 2017-05-16 Motorola Solutions, Inc. Method and apparatus for imaging a scene
US10291678B2 (en) * 2016-10-01 2019-05-14 Facebook, Inc. Architecture for augmenting video data obtained by a client device with one or more effects during rendering
US10719480B1 (en) * 2016-11-17 2020-07-21 EMC IP Holding Company LLC Embedded data valuation and metadata binding
US10362241B2 (en) 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
WO2018139285A1 (ja) * 2017-01-30 2018-08-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN110998726B (zh) * 2017-06-29 2021-09-17 杜比国际公司 用于使外部内容适配视频流的方法、系统和计算机可读媒体
KR102201763B1 (ko) 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
KR20200061279A (ko) 2018-11-23 2020-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US11049285B2 (en) 2019-06-21 2021-06-29 Disney Enterprises, Inc. Media content validation using geometrically encoded metadata
WO2022249555A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像出力装置、画像出力方法、およびプログラム
US11930189B2 (en) 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089287A (ja) 1994-06-24 1996-01-12 Mitsubishi Electric Corp テレビジョン受信装置
US6147695A (en) 1996-03-22 2000-11-14 Silicon Graphics, Inc. System and method for combining multiple video streams
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
JPH10240908A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像合成方法
US6046778A (en) * 1997-10-29 2000-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program
US20050166232A1 (en) * 1999-04-21 2005-07-28 Lamkin Allan B... Presentation of media content from multiple media sources
US6243143B1 (en) * 1999-09-21 2001-06-05 Media 100 Inc. Effecting video transitions between video streams
JP2001128062A (ja) 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
WO2001063916A1 (en) * 2000-02-25 2001-08-30 Interval Research Corporation Method and system for selecting advertisements
GB0007868D0 (en) 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
AU2001276583A1 (en) 2000-07-31 2002-02-13 Hypnotizer Method and system for receiving interactive dynamic overlays through a data stream and displaying it over a video content
US7206029B2 (en) 2000-12-15 2007-04-17 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on video content analysis
JP2002298149A (ja) 2001-03-29 2002-10-11 Sharp Corp データ合成処理装置、データ合成処理方法、データ合成処理プログラムを記録した機械読取可能な記録媒体およびデータ合成処理プログラム
JP2002354367A (ja) * 2001-05-25 2002-12-06 Canon Inc マルチ画面表示装置、マルチ画面表示方法、記録媒体、及びプログラム
EP1274236A1 (en) 2001-07-05 2003-01-08 Thomson Licensing S.A. Video apparatus with picture-in-picture ability
WO2003012744A1 (en) * 2001-08-02 2003-02-13 Intellocity Usa, Inc. Post production visual alterations
CN1345159A (zh) 2001-11-02 2002-04-17 北京阜国数字技术有限公司 一种用于在数字视频上动态叠加字幕的方法
TW200300928A (en) 2001-11-30 2003-06-16 Sony Corportion Information processing method and apparatus, program storage medium, program and information recording medium
KR100472470B1 (ko) 2002-08-19 2005-03-10 삼성전자주식회사 부분화면과 전체화면을 동시에 스케일링하는 장치 및 방법
US20040045026A1 (en) * 2002-08-29 2004-03-04 Zoe Interactive Ltd. In digital or interactive television
AU2003264935A1 (en) 2002-09-26 2004-04-19 Koninklijke Philips Electronics N.V. Apparatus for receiving a digital information signal
JP4129162B2 (ja) 2002-09-30 2008-08-06 株式会社メガチップス コンテンツ作成実演システム及びコンテンツ作成実演方法
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP2004172887A (ja) 2002-11-19 2004-06-17 Canon Inc データファイル複写システム
JP4185790B2 (ja) * 2003-03-12 2008-11-26 シャープ株式会社 テレビジョン放送受信機
CN1774928A (zh) * 2003-04-14 2006-05-17 皇家飞利浦电子股份有限公司 广播节目的记录
US20050097135A1 (en) * 2003-04-18 2005-05-05 Ian Epperson Touch panel user interface
EP1621010A1 (en) * 2003-05-02 2006-02-01 Allan Robert Staker Interactive system and method for video compositing
JP2004355767A (ja) 2003-05-30 2004-12-16 Canon Inc 再生装置
WO2005002198A2 (en) 2003-06-02 2005-01-06 Disney Enterprises, Inc. Video playback image processing
KR101130368B1 (ko) * 2003-06-02 2012-03-27 디즈니엔터프라이지즈,인크. 소비자용 비디오 플레이어를 위한 프로그램된 윈도우 제어 시스템 및 방법
US7177872B2 (en) * 2003-06-23 2007-02-13 Sony Corporation Interface for media publishing
US20060008256A1 (en) * 2003-10-01 2006-01-12 Khedouri Robert K Audio visual player apparatus and system and method of content distribution using the same
US20060031880A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Time-based graphical user interface for television program information
CN1254107C (zh) 2004-05-17 2006-04-26 广州网上新生活软件技术服务有限公司 基于单向数字传输系统的卡拉ok点播系统及其实现方法
US8434118B2 (en) * 2004-05-27 2013-04-30 Time Warner Cable Enterprises Llc Playlist menu navigation
JP5676070B2 (ja) * 2004-11-01 2015-02-25 テクニカラー インコーポレイテツド 拡張された色空間コンテンツのマスタリングおよび配信を行う方法およびシステム
CN102905166B (zh) 2005-07-18 2014-12-31 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037858A (ko) * 2019-09-30 2021-04-07 한화테크윈 주식회사 비디오 데이터 및 메타 데이터를 실시간 동기화하는 영상 수신 장치 및 그 방법
WO2022191595A1 (ko) * 2021-03-10 2022-09-15 삼성전자 주식회사 이미지의 알파 값을 이용하여 이미지를 출력하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
CN102752641A (zh) 2012-10-24
EP1905233A1 (en) 2008-04-02
CN102752640A (zh) 2012-10-24
US20090115901A1 (en) 2009-05-07
JP2011172255A (ja) 2011-09-01
CN102752639B (zh) 2015-08-05
KR101374034B1 (ko) 2014-03-12
CN102905166A (zh) 2013-01-30
EP3247110A1 (en) 2017-11-22
EP1905233B1 (en) 2017-09-06
CN102752641B (zh) 2016-06-29
JP2015039216A (ja) 2015-02-26
CN101223778A (zh) 2008-07-16
JP5273755B2 (ja) 2013-08-28
JP5067889B2 (ja) 2012-11-07
ES2674897T3 (es) 2018-07-04
PL3247110T3 (pl) 2018-08-31
JP2013042516A (ja) 2013-02-28
JP5735571B2 (ja) 2015-06-17
KR101392676B1 (ko) 2014-05-07
US9167176B2 (en) 2015-10-20
CN102905167B (zh) 2014-12-31
KR20130083939A (ko) 2013-07-23
KR101392626B1 (ko) 2014-05-07
KR101342232B1 (ko) 2013-12-16
CN102752638B (zh) 2014-12-31
JP2014112902A (ja) 2014-06-19
JP5067907B2 (ja) 2012-11-07
KR20130005320A (ko) 2013-01-15
JP5273754B2 (ja) 2013-08-28
JP2013034224A (ja) 2013-02-14
PL1905233T3 (pl) 2017-12-29
CN102905167A (zh) 2013-01-30
JP5273757B2 (ja) 2013-08-28
WO2007009876A1 (en) 2007-01-25
JP2013048442A (ja) 2013-03-07
KR20130005319A (ko) 2013-01-15
CN102752639A (zh) 2012-10-24
CN102905166B (zh) 2014-12-31
JP2013176101A (ja) 2013-09-05
JP6057349B2 (ja) 2017-01-11
JP2013034225A (ja) 2013-02-14
KR101391542B1 (ko) 2014-05-02
TR201808891T4 (tr) 2018-07-23
JP5527914B2 (ja) 2014-06-25
CN101223778B (zh) 2012-11-07
ES2645014T3 (es) 2017-12-01
JP2009502067A (ja) 2009-01-22
EP3247110B1 (en) 2018-05-16
JP5273751B2 (ja) 2013-08-28
JP2012090279A (ja) 2012-05-10
CN102752640B (zh) 2015-07-29
KR20130032920A (ko) 2013-04-02
JP5273756B2 (ja) 2013-08-28
CN102752638A (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
KR101392676B1 (ko) 다중 비디오 스트림 핸들링 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20130508

Effective date: 20140311

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 6