KR100909440B1 - 서브-프레임 메타데이터 분배 서버 - Google Patents

서브-프레임 메타데이터 분배 서버 Download PDF

Info

Publication number
KR100909440B1
KR100909440B1 KR1020070061853A KR20070061853A KR100909440B1 KR 100909440 B1 KR100909440 B1 KR 100909440B1 KR 1020070061853 A KR1020070061853 A KR 1020070061853A KR 20070061853 A KR20070061853 A KR 20070061853A KR 100909440 B1 KR100909440 B1 KR 100909440B1
Authority
KR
South Korea
Prior art keywords
video
sub
metadata
frames
sequence
Prior art date
Application number
KR1020070061853A
Other languages
English (en)
Other versions
KR20070122175A (ko
Inventor
제임스 디. 베네트
Original Assignee
브로드콤 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/474,032 external-priority patent/US20070268406A1/en
Priority claimed from US11/491,050 external-priority patent/US7953315B2/en
Priority claimed from US11/491,051 external-priority patent/US20080007649A1/en
Priority claimed from US11/491,019 external-priority patent/US7893999B2/en
Application filed by 브로드콤 코포레이션 filed Critical 브로드콤 코포레이션
Publication of KR20070122175A publication Critical patent/KR20070122175A/ko
Application granted granted Critical
Publication of KR100909440B1 publication Critical patent/KR100909440B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Abstract

분배 서버는 통신 인터페이스, 스토리지, 및 프로세싱 회로를 포함한다. 프로세싱 회로는 비디오의 풀 스크린 시퀀스 및 비디오의 풀 스크린 시퀀스에 관련되는 서브-프레임 메타데이터를 검색(retrieve)한다. 프로세싱 회로는 비디오의 복수의 서브-프레임들을 만들어 내기 위해 서브-프레임 메타데이터를 사용하여 풀 스크린 비디오의 시퀀스를 서브-프레임 처리(sub-frame process)한다. 클라이언트 시스템용의 출력 시퀀스를 만들어 내기 위해 프로세싱 회로는 비디오의 복수의 서브-프레임들을 결합(assemble)한다. 분배 서버는 또한 비디오 프로세싱 시스템에 의한 그후의 사용(subsequent use)을 위하여 서브-프레임 메타데이터 및/또는 비디오를 수신(receive)하고, 저장(store)하고, 분배(distribute)할 수 있다.

Description

서브-프레임 메타데이터 분배 서버{SUB-FRAME METADATA DISTRIBUTION SERVER}
도 1은 본 발명의 실시예들에 따라 구성된 분배 서버들과 비디오 플레이어 시스템들을 보여주는 블록 다이어그램이고;
도 2는 본 발명의 실시예들에 따라 구성된 분배 서버들, 비디오 캡쳐/서브-프레임 메타데이터 생성 시스템들, 및 비디오 플레이어 시스템들을 보여주는 시스템 다이어그램이고;
도 3은 본 발명의 일 실시예에 따라 구성된 비디오 캡쳐/서브-프레임 메타데이터 생성 시스템을 보여주는 시스템 다이어그램이고;
도 4는 대표적인 원 비디오 프레임들 및 상응하는 서브-프레임들을 보여주는 다이어그램이고;
도 5는 서브-프레임들을 생성하기 위하여 비디오 편집 툴들을 포함하는 그래픽 사용자 인터페이스(graphical user interface)를 제공하는 비디오 프로세싱 시스템 디스플레이의 일 실시예를 보여주는 다이어그램이고;
도 6은 대표적인 원 비디오 프레임들 및 상응하는 서브-프레임들을 보여주는 다이어그램이고;
도 7은 서브-프레임들의 시퀀스를 위한 대표적인 서브-프레임 메타데이터를 보여주는 챠트이고;
도 8은 서브-프레임을 위하여 편집 정보를 포함하는 대표적인 서브-프레임 메타데이터를 보여주는 챠트이고;
도 9는 본 발명의 일 실시예에 따라 비디오 프로세싱 회로를 보여주는 블록 다이어그램이고;
도 10은 본 발명의 일 실시예에 따라 구성되고 동작하는 적응(adaptive) 비디오 프로세싱 회로를 보여주는 개략적인 블록 다이어그램이고;
도 11은 본 발명의 일 실시예에 따라 비디오 프로세싱을 위한 프로세스를 보여주는 플로우 챠트이고;
도 12는 본 발명의 일 실시예에 따라 구성되고 동작하는 결합된 비디오/메타데이터 분배 서버를 보여주는 기능적인 블록 다이어그램이고;
도 13은 본 발명의 일 실시예에 따라 구성되고 동작하는 메타데이터 분배 서버를 보여주는 기능적인 블록 다이어그램이고;
도 14는 본 발명의 일 실시예에 따라 구성되고 동작하는 메타데이터 분배 서버를 보여주는 개략적인 블록 다이어그램이고;
도 15는 본 발명의 일 실시예에 따라 메타데이터/비디오 분배 및 프로세싱 동작들을 보여주는 플로우 챠트이고;
도 16은 본 발명의 일 실시예에 따라 메타데이터/비디오 분배 및 프로세싱 동작들을 보여주는 플로우 챠트이다.
본 발명은 일반적으로 비디오 프로세싱 디바이스들(video processing devices)에 관한 것이고, 더 상세하게는 비디오 플레이어 상에 디스플레이되는 비디오 정보(video information)의 준비(preparation)에 관한 것이다.
영화들 및 다른 비디오 내용은 종종 16 : 9의 영상비(aspect ratio)를 갖는 35 mm 필름을 사용하여 캡쳐(capture)된다. 영화가 1차적 영화 시장(primary movie market)에 들어오면, 35 mm 필름이 복제(reproduce)되고 영화 관람자들(movie viewers)에게 영화를 제공하기 위한 다양한 상영관들에 배포(distribute)된다. 예를 들어, 상영관들은 전형적으로 35 mm 필름을 통하여 높은 루멘(lumen)의 빛을 보냄으로써 관람료를 지불한 관람자들과 같은 청중에게 "대형 스크린" 상에 영화를 투사한다. 영화가 "대형 스크린"을 떠나면, 영화는 종종 2차적 시장(secondary market)으로 진입하고, 여기에서 영화를 포함하고 있는 비디오 디스크들 또는 테이프들(예를 들면, VHS 테이프들, DVD들, 고화질(high-definition) DVD들(HD-DVD's), 블루레이 DVD들(Blue-ray DVD's), 그리고 다른 기록 매체들)의 판매에 의해 개개의 관람자들에게 배포가 수행된다. 영화의 2차적 시장 배포에 대한 다른 선택들은 인터넷을 통한 다운로드 및 텔레비젼 네트워크 공급자들에 의한 방송을 포함한다.
2차적 시장을 통한 배포를 위해, 35 mm 필름 내용은 필름 프레임 단위로(film frame by film frame) 비가공의 디지털 비디오(raw digital video)로 변환된다. 적어도 필름 프레임 당 1920 X 1080 픽셀을 요구하는 HD 해상도를 위해서는, 그러한 비가공의 디지털 비디오는 두 시간 분량의 영화에 대해 약 25 GB의 스토리지(storage)를 요구할 것이다. 그러한 스토리지의 요구를 회피하기 위해, 비가공의 디지털 비디오를 인코딩하고(encode) 압축(compress)하도록 인코더들이 전형적으로 적용되고, 그들은 스토리지의 요구를 상당히 감소시킨다. 인코딩 표준의 예들은 동화상 전문가 그룹(Motion Pictures Expert Group;MPEG)-1, MPEG-2, HD용 MPEG-2-enhanced, MPEG-4 AVC, H.261, H.263 및 미국 영화 텔레비젼 기술인 협회(Society of Motion Picture and Television Engineers;SMPTE) VC-1 등을 포함하지만, 이에 한정되지는 않는다.
전화기들, 개인용 디지털 보조 장치(Personal Digital Assistants;PDAs) 및 그 이외의 핸드헬드 디바이스들(handheld devices) 상에 영화들을 디스플레이하기 위한 수요를 충족시키기 위해, 압축된 디지털 비디오 데이터는 전형적으로 인터넷을 통해 다운로드되거나 그렇지 않으면 핸드헬드 디바이스 상에 업로드되거나 저장되고, 핸드헬드 디바이스는 핸드헬드 디바이스에 관련된 비디오 디스플레이 상에서 사용자에게 디스플레이하기 위해 비디오 데이터의 압축을 풀고 디코딩한다. 그러나, 일반적으로 그러한 핸드헬드 디바이스들의 크기는 핸드헬드 디바이스 상에서의 비디오 디스플레이(스크린)의 크기를 제한한다. 예를 들어, 핸드헬드 디바이스들 상에서의 작은 스크린들은 종종 대각으로 단지 2 인치가 넘는 크기를 갖는다. 비교 해 보면, 텔레비젼들은 종종 대각으로 30 내지 60 인치 또는 그 이상의 스크린들을 갖는다. 스크린 크기에서의 이러한 차이는 관람자의 인식 화질(perceived image quality)에 중대한 영향을 미친다.
예를 들면, 일반적으로, 종래의 PDA들과 고성능(high-end) 전화기들은 인간의 눈높이의 폭-높이 스크린 비율들(width to height screen ratios of the human eye)을 갖는다. 작은 스크린 상에서는, 인간의 눈은 종종 텍스트, 안면 상의 특징들, 및 먼 물체들과 같이 작은 상세한 부분을 지각하지 못한다. 예를 들면, 상영관에서 거리가 먼 배우와 도로 표시판을 포함하는 전경을 관람하는 관람자는 안면 표정을 쉽게 식별할 수 있고 표시판의 텍스트를 쉽게 읽을 수 있다. HD 텔레비젼 스크린 상에서도 또한 그러한 인지는 가능하다. 그러나, 핸드헬드 디바이스의 작은 스크린으로 옮겨지면, 안면 표정들과 텍스트를 인지하는 것은 인간의 눈의 제한으로 인해 종종 불가능하게 된다.
스크린 크기가 어떻든지 간에, 스크린 해상도(screen resolution)는 비록 기술에 의한 것은 아닐지라도 인간의 눈에 의해 제한된다. 그러나, 작은 스크린 상에서, 그러한 제한들은 중요한 영향을 미친다. 예를 들면, 전형적으로, 종래의 PDA들과 고성능의 전화기들은 4 : 3의 폭-높이 스크린 비율을 가지고, 종종 320 X 240 픽셀의 해상도에서 QVGA 비디오를 디스플레이할 수 있다. 대조적으로, HD 텔레비젼들은 전형적으로 16 : 9의 스크린 비율들을 가지고, 1920 X 1080 픽셀까지의 해상도를 디스플레이할 수 있다. 보다 작은 스크린의 더욱더 작은 숫자의 픽셀들을 맞추기 위해 HD 비디오를 변환하는 과정에서, 픽셀 데이터는 결합되어지고 상세한 부 분은 효율적으로 사라진다. 보다 작은 스크린 상의 픽셀들의 숫자를 HD 텔레비젼의 그것까지 증가시키려는 시도는 변환 프로세스를 회피할 수 있지만, 전술한 바와 같이, 인간의 눈이 그 자신의 한계를 지울 것이고 상세한 부분은 여전히 사라질 것이다.
비디오 트랜스코딩(video transcoding)과 편집(editing) 시스템들은 일반적으로 특정 스크린 상에서의 재생을 위해 하나의 포맷과 해상도로부터 다른 것으로 비디오를 변환시키기 위해 사용된다. 예를 들면, 그러한 시스템들은 DVD 비디오를 입력할 수 있고, 변환 프로세스를 수행한 후에, QVGA 스크린 상에 재생될 영상을 출력할 수 있다. 상호작용 편집 기능성(interactive editing functionality)은 또한 편집되고 변환된 출력 비디오를 만들어 내기 위해 그 변환 프로세스에 따라 사용될 수 있다. 다양한 스크린 크기들, 해상도들 및 인코딩 표준들을 지원하기 위해 다수의 출력 비디오 스트림들 또는 파일들이 생성되어져야만 한다.
비디오는 통상적으로 "대형 스크린" 포맷으로 캡쳐되고, 극장 관람을 위해서 잘 제공한다. 이러한 비디오는 이후에 트랜스코딩되고, "대형 스크린" 포맷 비디오는 더 작은 스크린 크기들에게 변환을 적절하게 지원할 수 없다. 그러한 경우에, 어떠한 변환 프로세스도 작은 스크린들 상에의 디스플레이를 위하여 적절한 비디오를 만들어 내지 않을 것이다. 종래 및 전통적인 접근들의 제한들 및 단점들은 본 발명의 다양한 양상들과 그러한 시스템들의 비교를 통해 당해 기술 분야에서 통상의 지식을 가진 자에게 명백해질 것이다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 상기와 같은 종래 기술의 제한들 및 단점들을 해결하기 위한 서브-프레임 메타데이터 분배 서버를 제공함에 있다.
본 발명은 이하의 도면들의 간단한 설명, 본 발명의 상세한 설명, 및 청구항들에서 더 설명되는 장치 및 동작의 방법들에 관한 것이다.
본 발명의 일 양상에 따라, 비디오 데이터의 풀 프레임들(full frames)의 시퀀스(sequence)를 나타내는 인코딩된 비디오 데이터(encoded video data)를 처리하는(operate on) 비디오 서버(video server)가 제공되고, 상기 비디오 서버는,
통신 인터페이스(communication interface);
인코딩된 비디오 데이터 및 서브-프레임 메타데이터(sub-frame metadata)를 저장하도록 동작할 수 있는(operable) 메모리(memory);
상기 통신 인터페이스 및 상기 메모리에 결합된 프로세싱 회로(processing circuitry)를 포함하며,
상기 프로세싱 회로는,
비디오 데이터의 풀 프레임들(full frames)의 시퀀스를 생성하기 위해 상기 인코딩된 비디오 데이터를 디코딩하고;
비디오 데이터의 서브-프레임들의 제1 시퀀스(first sequence of sub-frames of video data)와 비디오 데이터의 서브-프레임들의 제2 시퀀스(second sequence of sub-frames of video data)를 생성하기 위해 상기 서브-프레임 메타데이터에 기초한(based) 비디오 데이터의 풀 프레임들의 시퀀스를 서브-프레임 처리(sub-frame process)하고, 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스의 영역과는 다른, 비디오 데이터의 풀 프레임들의 시퀀스 내에서의 영역에 상응하며;
비디오 데이터의 서브-프레임들의 상기 제1 시퀀스를 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스와 결합함에 의해 비디오 데이터의 서브-프레임들의 제3 시퀀스를 생성하고; 그리고,
상기 통신 인터페이스를 통하여 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 전송(transmit)하도록 동작할 수 있다.
바람직하게는, 상기 프로세싱 회로는 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 인코딩한다.
바람직하게는, 상기 프로세싱 회로에 의해 적용되는 디코딩(decoding) 및 서브-프레임 처리(sub-frame processing)는 통합(integrated)된다.
바람직하게는, 상기 프로세싱 회로는 상기 서브-프레임 처리를 수행하기 전에 목표 디스플레이 디바이스(target display device)의 특성(characteristic)에 기초하여 서브-프레임 메타데이터를 가공한다.
바람직하게는, 상기 프로세싱 회로는 목표 디스플레이 디바이스의 특성에 기초하여 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 가공한다.
바람직하게는, 상기 프로세싱 회로는 목표 디스플레이 디바이스에 관해 디지털 권한 관리 동작들(digital rights management operations)을 수행한다.
바람직하게는, 상기 프로세싱 회로는 목표 디스플레이 디바이스에 관해 빌링 관리(billing management)를 수행한다.
본 발명의 일 양상에 따라, 클라이언트 디바이스(client device)를 위하여 비디오의 풀 스크린 시퀀스(full screen sequence of video)를 지원하는 분배 서버 회로(distribution server circuitry)가 제공되고, 상기 분배 서버 회로는,
통신 인터페이스;
스토리지 인터페이스(storage interface);
상기 통신 인터페이스 및 상기 스토리지 인터페이스에 결합된(coupled to) 프로세싱 회로(processing circuitry);를 포함하며,
상기 프로세싱 회로는 상기 스토리지 인터페이스를 통하여, 비디오의 풀 스 크린 시퀀스와 비디오의 상기 풀 스크린 시퀀스에 관련된 서브-프레임 메타데이터를 검색하고, 상기 서브-프레임 메타데이터는 비디오의 상기 풀 스크린 시퀀스 내에서의 복수의 다른 서브-프레임들을 정의하고;
상기 프로세싱 회로는 비디오의 상기 풀 스크린 시퀀스 및 상기 서브-프레임 메타데이터로부터 가공된 비디오(tailored video)를 생성하고; 그리고,
상기 프로세싱 회로는 상기 가공된 비디오를 상기 통신 인터페이스를 통하여 상기 클라이언트 디바이스에 제공(deliver)한다.
바람직하게는, 상기 클라이언트 디바이스는 디스플레이 특성을 가지며, 상기 서브-프레임 메타데이터는 상기 디스플레이 특성에 기초하여 선택된다.
바람직하게는, 상기 클라이언트 디바이스는 상기 통신 인터페이스를 통하여 상기 프로세싱 회로와의 상호작용을 통한 상기 가공된 비디오의 생성을 요청(request)한다.
바람직하게는, 상기 가공된 비디오의 생성은 상기 통신 인터페이스를 통하여 상기 클라이언트 디바이스로부터 상기 프로세싱 회로로 보내진 상기 가공된 비디오를 제공(deliver)하기 위해 요청에 앞서 발생한다.
바람직하게는, 상기 프로세싱 회로는 상기 가공된 비디오에 관련된 디지털 권한 관리(digital rights management)를 지원한다.
바람직하게는, 상기 프로세싱 회로는 상기 가공된 비디오에 관련된 빌링 관리(billing management)를 지원한다.
본 발명의 일 양상에 따라, 복수의 비디오 시퀀스들 각각은 일련의 비디오 데이터의 풀 프레임들을 나타내고, 클라이언트 시스템을 위한 상기 복수의 비디오 시퀀스들을 지원하는, 통신 네트워크에 통신상으로 결합된 분배 서버가 제공되고, 상기 분배 서버는,
프로세싱 회로;
상기 통신 네트워크를 통하여 상기 프로세싱 회로를 상기 클라이언트 시스템과 통신상으로 결합하는 통신 인터페이스 회로;
상기 복수의 비디오 시퀀스들에 관련되는 복수의 서브-프레임 메타데이터를 포함하는 메모리;를 포함하며,
상기 프로세싱 회로는 상기 클라이언트 시스템과 협력하고, 상기 협력은 상기 클라이언트 시스템을 위한 가공된 비디오를 생성하기 위해 상기 복수의 비디오 시퀀스들 중의 제1 비디오 시퀀스에 상기 복수의 서브-프레임 메타데이터 중의 제1 서브-프레임 메타데이터를 적용(application)한다.
바람직하게는, 상기 협력은 상기 클라이언트 시스템을 위한 상기 가공된 비 디오를 생성하기 위해 상기 복수의 비디오 시퀀스들 중의 상기 제1 비디오 시퀀스에의 상기 복수의 메타데이터 중의 상기 제1 메타데이터의 상기 프로세싱 회로에 의한 적용(application)을 포함한다.
바람직하게는, 상기 협력은 상기 클라이언트 시스템에 상기 복수의 메타데이터 중의 상기 제1 메타데이터를 전달(deliver)하는 상기 분배 서버를 포함하고, 상기 클라이언트 시스템은 상기 가공된 비디오를 생성하기 위해 상기 복수의 비디오 시퀀스들 중의 상기 제1 비디오 시퀀스에 상기 복수의 메타데이터 중의 상기 제1 메타데이터를 적용한다.
바람직하게는, 상기 메모리는 또한 상기 복수의 비디오 시퀀스들을 포함한다.
바람직하게는, 상기 클라이언트 시스템은 상기 복수의 비디오 시퀀스들을 포함한다.
바람직하게는, 적어도 하나의 디스플레이 파라미터(parameter)는 상기 복수의 메타데이터 중의 상기 제1 메타데이터를 선택하기 위해 사용된다.
바람직하게는, 상기 프로세싱 회로는 디지털 권한 관리(digital rights management)를 지원한다.
바람직하게는, 상기 프로세싱 회로는 빌링 서비스들(billing services)을 지원한다.
본 발명의 일 양상에 따라, 분배 서버는 통신 네트워크를 통하여 클라이언트 시스템에 통신상으로 결합되고 상기 클라이언트 시스템을 위하여 복수의 비디오 시퀀스들을 지원하며, 상기 복수의 비디오 시퀀스들 각각은 일련의 비디오 데이터의 풀 프레임들을 나타내며, 상기 분배 서버에 의해 상기 클라이언트 시스템을 위한 가공된 비디오를 만들어 내기 위한 방법이 제공되고, 상기 방법은,
상기 통신 네트워크를 통하여 상기 클라이언트 시스템으로부터의 요청, 상기 가공된 비디오에 관련되는 상기 요청을 수신하는 단계;
상기 요청에 기초하여, 상기 복수의 비디오 시퀀스들에 관련되는 복수의 서브-프레임 메타데이터 중의 제1 서브-프레임 메타데이터, 상기 클라이언트 시스템에 관련되는 상기 제1 서브-프레임 메타데이터에 억세스하는 단계; 및
상기 클라이언트 시스템을 위한 상기 가공된 비디오를 만들어 내기 위하여 상기 복수의 비디오 시퀀스들 중의 제1 비디오 시퀀스에 상기 제1 서브-프레임 메타데이터를 적용하도록 상기 클라이언트 시스템과 협력하는 단계를 포함한다.
바람직하게는, 상기 클라이언트 시스템을 위한 상기 가공된 비디오를 만들어 내기 위하여 상기 제1 서브-프레임 메타데이터를 상기 복수의 비디오 시퀀스들 중의 제1 비디오 시퀀스에 적용하도록 상기 클라이언트 시스템과 협력하는 단계는, 상기 클라이언트 시스템을 위한 상기 가공된 비디오를 생성하기 위하여, 상기 분배 서버에 의해, 상기 복수의 비디오 시퀀스들 중의 상기 제1 비디오 시퀀스에 상기 복수의 메타데이터 중의 상기 제1 메타데이터를 적용하는 단계를 포함한다.
바람직하게는, 상기 클라이언트 시스템을 위한 상기 가공된 비디오를 만들어 내기 위하여 상기 제1 서브-프레임 메타데이터를 상기 복수의 비디오 시퀀스들 중의 제1 비디오 시퀀스에 적용하도록 상기 클라이언트 시스템과 협력하는 단계는,
상기 클라이언트 시스템에 상기 제1 복수의 메타데이터를 상기 분배 서버가 전달(deliver)하는 단계; 및
상기 가공된 비디오를 생성하기 위해 상기 복수의 비디오 시퀀스들 중의 상기 제1 비디오 시퀀스에 상기 제1 복수의 메타데이터를 상기 클라이언트 시스템이 적용하는 단계를 포함한다.
바람직하게는, 상기 방법은 상기 클라이언트 시스템에 상기 복수의 비디오 시퀀스들 중의 상기 제1 비디오 시퀀스를 상기 분배 서버가 전달하는 단계를 더 포함한다.
바람직하게는, 적어도 하나의 디스플레이 파라미터는 상기 복수의 메타데이 터 중의 상기 제1 메타데이터를 선택한다.
바람직하게는, 상기 방법은 디지털 권한 관리 동작들(digital rights management operations)을 수행하는 단계를 더 포함한다.
바람직하게는, 상기 방법은 빌링 서비스 동작들(billing service operations)을 수행하는 단계를 더 포함한다.
본 발명의 다양한 특징들 및 장점들이 첨부되는 도면들을 참조한 이하에서의 본 발명의 상세한 설명들로부터 명백해질 것이다.
도 1은 본 발명의 실시예들에 따라 구성되는 분배 서버들(distribution servers)과 비디오 플레이어 시스템들(video player systems)을 보여주는 블록 다이어그램이다. 본 발명의 분배 서버들은 비디오 분배 서버(video distribution server, 10a), 메타데이터 분배 서버(metadata distribution server, 10b), 및 결합된 비디오/메타데이터 분배 서버(combined video/metadata distribution server, 10c)를 포함한다. 본 발명의 비디오 플레이어 시스템들은 비디오 플레이어 시스템들(20, 26, 및 28)을 포함한다. 플레이어 정보 서버(34) 및 빌링/DRM 서버(36)가 더 보여진다. 도 1의 시스템들은 비디오의 스토리지, 메타데이터의 스토리지, 비디오의 분배, 메타데이터의 분배, 메타데이터에 기초한 목표 디바이스 비디오의 프로 세싱, 목표 디바이스 비디오의 분배, 비디오의 프리젠테이션(presentation), 및 여기에서 더 나아가 설명될 다른 동작들을 지원한다. 도 1에 보여지는 구성요소들은 인터넷(Internet), 인트라넷(들)(Intranet(s)), 근거리 통신망(들)(Local Area Network(s);LANs), 광역 통신망(들)(Wide Area Networks;WANs), 케이블 통신망(들)(Cable Network(s)), 위성 통신망(들)(Satellite communication network(s)), 셀룰러 데이터 통신망(들)(Cellular Data Network(s)), 무선 광역 통신망들(Wireless Wide Area Networks;WWANs), 무선 근거리 통신망(들)(Wireless Local Area Network(s)), 및 또는 다른 유선/무선 통신망들(wired/wireless networks) 중의 하나 또는 그 이상의 통신 기반구조(infrastructure, 156)에 의해 상호 연결(interconnect)된다.
상기 비디오 분배 서버(10a)는 인코딩된 소스 비디오(12a)를 수신, 저장, 분배하며, 비가공 소스 비디오(14a)를 수신, 저장 및 분배하며, 인코딩/디코딩 동작들 및 관리 동작들을 수행한다. 도 3 내지 11을 참조하여 여기에서 더 설명되겠지만, 소스 비디오는 일반적으로 풀 프레임 포맷으로 캡쳐(capture)된다. 이러한 (풀 프레임) 소스 비디오는 인코딩될 수 있고 인코딩된 소스 비디오(12a)로서 저장되거나 비가공 소스 비디오(14a)로서 그의 비가공 포맷으로 저장될 수 있다. 상기 소스 비디오는 비디오 데이터의 풀 프레임들의 복수의 시퀀스들을 포함한다. 이러한 비디오 데이터의 풀 프레임들의 복수의 시퀀스들은 특별한 소스 포맷(source format)으로 캡쳐되고, 그것은 극장 스크린, 고화질 텔레비젼 시스템(high definition television system), 또는 다른 비디오 플레이어 시스템 포맷과 같은 의도된 비디 오 플레이어 시스템에 상응할 수 있다. 그러한 포맷의 예들은, 예를 들면, 고 화일(High Definition;HD) 텔레비젼 포맷들, 표준 텔레비젼 포맷들, 동영상 전문가 그룹(MPEG)-1, MPEG-2, HD용의 MPEG-2-인핸스드(enhanced), MPEG-4 AVC, H.261, H.263 포맷들 및 미국 영화 텔레비젼 기술인 협회(SMPTE) VC-1 포맷들이다. 인코딩된 소스 비디오(12a)든지 비가공 소스 비디오(14a)든지 간에, 상기 소스 비디오는 상기 소스 비디오의 해상도(resolution), 영상비(aspect ratio), 명암(contrast), 밝기(brightness), 색(coloring), 프레임 레이트(frame rate), 또는 다른 특성들(characteristics) 때문에, 비디오 플레이어 시스템(20, 26, 28) 상에 만족스럽게 제공될 수 없다. 그리하여, 일반적으로 도 1의 시스템들은 비디오 플레이어 시스템(20, 26 및/또는 28)을 위하여 상기 소스 비디오를 적절한 포맷으로 변환하기 위해 상기 소스 비디오를 처리하기(operate upon) 위해 사용(employ)된다.
상기 비디오 분배 서버(10a)는 비가공 소스 데이터(14a)를 원하는 인코딩된 포맷으로 인코딩하도록 동작하고, 인코딩된 소스 비디오(12a)를 그것의 인코딩된 포맷으로부터 비인코딩된 포맷으로 디코딩하도록 동작할 수 있는 인코더/디코더(26a)를 포함한다. 관리 회로(30a)는 다른 소스, 즉, 메타데이터 분배 서버(10b) 또는 결합된 비디오/분배 서버(10c)로부터 수신되는 서브-프레임 메타데이터에 기초한 인코딩된 소스 비디오(12a)(또는 비가공 소스 비디오(14a))를 서브-프레임 처리(sub-frame process) 하도록 동작할 수 있다. 상기 메타데이터 분배 서버(10b) 및 상기 결합된 비디오/메타데이터 분배 서버(10c)과 관련하여 더 설명되는 것과 같이, 상기 비디오 분배 서버(10a)는 목표 비디오 플레이어 시스템들(20, 26, 및 28)의 하나 또는 그 이상에 상응하는 특성들을 갖는 비디오 데이터의 서브-프레임들을 만들어 내기 위해 메타데이터를 사용하여 비디오 데이터(소스 비디오)의 풀 프레임들의 시퀀스를 처리할 수 있다.
상기 관리 회로(30a)는 디지털 권한 관리(Digital Rights Management;DRM) 동작들및 빌링(billing) 동작들을 수행한다. 일반적으로, DRM 동작들은 요청 디바이스(requesting device), 즉 비디오 플레이어 시스템(20, 26, 또는 28)이 소스 비디오를 수신할 권한들을 가지는가의 여부를 결정한다. 나아가, 상기 빌링 동작들은 요청될 시 빌링이 일어나도록 야기시킨다. 상기 관리 회로의 DRM 동작들 및 빌링 동작들은 권한들 관리 및 빌링 동작들을 조화시키기 위해 빌링/DRM 서버(들)(36)과 상호 작용하도록 상기 비디오 분배 서버(10a)를 요청할 수 있다.
메타데이터 분배 서버(10b)는 메타데이터를 수신, 저장, 및 분배하도록 동작할 수 있다. 상기 메타데이터 분배 서버(10b)는 유사 디스플레이 메타데이터(similar display metadata, 16b) 및 목표 디스플레이 메타데이터(target display metadata, 18b)를 저장할 수 있다. 상기 메타데이터 분배 서버(10b)는 상기 비디오 분배 서버(10a), 상기 결합된 비디오/메타데이터 분배 서버(10c) 중의 어떤 것, 및/또는 비디오 플레이어 시스템들(20, 26, 또는 28) 중의 어떤 것에 상기 유사 디스플레이 메타데이터(16b) 또는 상기 목표 디스플레이 메타데이터(18b)를 제공할 수 있다. 또한 여기에서 서브-프레임 메타데이터로도 언급된, 메타데이터는 비디오 데이터의 서브-프레임들의 제1 시퀀스와 비디오 데이터의 서브-프레임들의 제2 시퀀스를 생성하기 위해 비디오 데이터의 풀 프레임들의 시퀀스를 만들어 내도록 사용된다. 일 동작에서, 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스에 상응하는 것과는 다른 비디오 데이터의 풀 프레임들의 시퀀스 내에서의 영역에 상응한다. 상기 관리 회로(30b)의 서브-프레임 처리 동작들은 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스를 비디오 데이터의 상기 제2 서브-프레임들과 결합함에 의해 비디오 데이터의 서브-프레임들의 제3 시퀀스를 만들어 낸다. 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스는 클라이언트 시스템의 상응하는 비디오 디스플레이 상에의 디스플레이를 위하여 목표 비디오 플레이어(클라이언트 시스템)에 상응한다. 서브-프레임 메타데이터가 생성되는 방식 및 그것이 그러한 서브-프레임 처리 동작들을 위하여 사용되는 방식은 도 3 내지 15를 참조하여 여기에서 더 상세히 설명된다.
상기 메타데이터 분배 서버(10b)는 그것의 관리 회로(30b)를 사용하여, 서브-프레임 처리 동작들(상기한 바와 같이)을 수행한다. 상기 관리 회로(30b)는 목표 디스플레이 메타데이터(18b)를 만들어 내기 위해 유사 디스플레이 메타데이터(16b)를 또한 처리(operate upon)할 수 있다. 상기 목표 디스플레이 메타데이터(18b)는 메타데이터 분배 서버(10b) 내에 저장될 수 있고, 이후에 상기 비디오 분배 서버(10a), 상기 결합된 비디오/메타데이터 분배 서버(10c) 중의 어떤 것, 및/또는 상기 비디오 플레이어 시스템들(20, 26, 또는 28) 중의 어떤 것에 서브(serve)될 수 있다. 상기 메타데이터 분배 서버(10b)의 관리 회로(30b)는 DRM 및 빌링 동작들/회로를 더 포함한다. 상기 메타데이터 분배 서버(10b)의 관리 회로(30b)는 통신 기반구조(156)를 통하여 상기 빌링(billing)/DRM 서버들(36)과 상호작용할 수 있다.
상기 목표 디스플레이 메타데이터(18b)를 만들어 내기 위해 유사 디스플레이 메타데이터(16b)를 처리할 때, 상기 관리 회로(30b)는 플레이어 정보 서버(34) 상에 저장되고 그에 의해 제공되는 플레이어 정보를 억세스할 수 있다. 상기 플레이어 정보 서버(34)는 목표 비디오 플레이어 시스템(20, 26, 또는 28)의 메이커/모델(maker/model) 또는 일련번호(serial number)를 결정하기 위해 상기 메타데이터 분배 서버(10b)(및 다른 분배 서버들(10a 및 10c)와 상호작용할 수 있다. 이 결정에 기초하여, 상기 플레이어 정보 서버(34)는 상기 정보 기반구조(156)를 통해 상기 메타데이터 분배 서버(10b)에 목표 디스플레이 정보를 제공한다. 상기 메타데이터 분배 서버(10b)는 상기 목표 디스플레이 메타데이터(18b)를 만들어 내도록 상기 유사 디스플레이 메타데이터(16b)를 처리하기 위해 그 때 상기 목표 디스플레이 정보를 이용한다. 이들 동작들에 따라 만들어지는 상기 목표 디스플레이 메타데이터(18b)는 비디오 플레이어 시스템(20, 26, 또는 28)의 특정 디스플레이에 목표 설정된다. 그 후의 동작에서, 비디오 플레이어 시스템(20, 26, 또는 28)은 상기 목표 디스플레이 메타데이터(18b)를 요청하고 수신하고, 그것의 서브-프레임 처리 동작들에서 상기 목표 디스플레이 메타데이터(18b)를 사용한다. 상기 비디오 분배 서버(10a) 및/또는 상기 결합된 비디오/메타데이터 분배 서버(10c)는 이후에 상기 목표 디스플레이 메타데이터(18b)를 수신할 수 있고, 그것을 그것의 서브-프레임 처리 동작들로 사용할 수 있다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 효율적으로 상기 비디오 분배 서버(10a)의 동작들과 상기 메타데이터 분배 서버(10b)의 동작들을 결합하고 부가적인 프로세싱 동작들을 수행한다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 인코딩된 소스 비디오(12c), 비가공 소스 비디오(14c), 유사 디스플레이 메타데이터(16c), 및 목표 디스플레이 메타데이터(18c)를 저장하고 분배한다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 비디오와 메타데이터를 인코딩하고 디코딩하도록 동작할 수 있는 인코더/디코더(26c)를 포함한다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 소스 비디오(인코딩된 소스 비디오(12c) 또는 비가공 소스 비디오(14c))를 수신하고, 상기 소스 비디오를 저장하고, 그리고 상기 소스 비디오를 제공하도록 동작할 수 있다. 나아가, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 유사 디스플레이 메타데이터(16c) 및/또는 목표 디스플레이 메타데이터(18c)를 수신하고, 상기 데이터를 저장하고, 그리고 상기 데이터를 제공하도록 동작할 수 있다.
상기 결합된 비디오/메타데이터 분배 서버(10c)의 관리 회로(30c)의 비디오 프로세싱 동작들은 비디오 데이터의 서브-프레임들의 제1 시퀀스 및 비디오 데이터의 서브-프레임들의 제2 시퀀스를 만들어 내기 위해 인코딩된 소스 비디오(12c) 및/또는 비가공 소스 비디오(14c)를 유사 디스플레이 메타데이터(16c) 및/또는 목표 디스플레이 메타데이터(18c)를 사용하여 서브-프레임 처리한다. 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스의 영역과는 다른 비디오 데이터의 풀 프레임들의 시퀀스 내에서의 영역에 상응한다. 상기 관리 회로(30c) 서브-프레임 처리 동작들은 그 때 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스를 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스와 결합함에 의해 비디오 데이터의 서브-프레임들의 제3 시퀀스를 만들어 낸다. 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스는 국부적으로(locally) 저장될 수 있고 상기 비디오 플레이어 시스템들(20, 26, 또는 28) 중의 어떤 것에 또는 이후의 서빙(serving) 동작들을 위해 상기 비디오 분배 서버(10a)에 제공될 수 있다. 그것의 비디오 프로세싱 동작들을 수행할 때, 상기 관리 회로(30c)는 특히 목표 비디오 디스플레이(20, 26, 또는 28)에 맞도록 하기 위해 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 더 가공할 수 있다. 이들 가공된 동작들로써, 상기 관리 회로(30c)의 상기 비디오 프로세싱 동작들은 플레이어 정보 서버(34)로부터 수신되는 목표 디스플레이 정보를 사용할 수 있다. 나아가, 상기 비디오 프로세싱 동작들 및 관리 회로(30c)는 앞서 국부적으로 저장된 목표 디스플레이 정보를 사용할 수 있다.
상기 관리 회로(30c) 및 결합된 비디오/메타데이터 분배 서버(10c)는 그것의 메타데이터 프로세싱 동작들을 사용하여 메타데이터를 더 처리(operate upon)할 수 있다. 이들 메타데이터 프로세싱 동작들은 플레이어 정보 서버(34)로부터 수신된 또는 국부적으로 서브된 목표 디스플레이 정보에 기초하여 목표 디스플레이 메타데이터(18c)를 만들어 내기 위해 유사 디스플레이 메타데이터(16c)를 처리(operate upon)할 수 있다. 관리 회로(30c)의 메타데이터 프로세싱 동작들에 의해 만들어진 목표 디스플레이 메타데이터(18c)는 특히 하나 또는 그 이상의 비디오 플레이어 시스템들(20, 26, 또는 28)에 상응한다.
상기 결합된 비디오/메타데이터 분배 서버(10c)의 상기 관리 회로(30c)는 DRM 동작들 및 빌링 동작들을 더 수행할 수 있다. 이들 디지털 권한 동작들(digital rights operations) 및 빌링 동작들을 수행함에 있어서, 상기 결합된 비디오/메타데이터 분배 서버(10c)의 관리 회로(30c)는 상기 통신 기반구조(156)를 통하여 상기 빌링/DRM 서버들과 상호작용할 수 있다.
본 발명의 비디오 플레이어 시스템들은 단일의 디바이스에 포함될 수 있고, 다중의 디바이스들 사이에 분배될 수 있다. 본 발명의 비디오 플레이어 시스템이 단일의 디바이스 내에서 포함될 수 있는 방식은 비디오 플레이어(26)에 의해 도시된다. 본 발명의 비디오 플레이어 시스템의 다중의 디바이스들 사이에서 분배될 수 있는 방식은 비디오 플레이어 시스템들(20 및 28)에 의해 도시된다. 비디오 플레이어 시스템(20)은 비디오 플레이어(22) 및 비디오 디스플레이 디바이스(24)를 포함한다. 비디오 플레이어 시스템(28)은 비디오 플레이어 및 비디오 디스플레이 디바이스(30)를 포함한다.
도 1의 비디오 플레이어 시스템들의 기능성은, 일반적으로, 세 가지 유형의 기능성들을 포함한다. 제1 유형의 기능성은 멀티-모드 비디오 회로 및 애플리케이션(multi-mode video circuitry and application;MC&A) 기능성이다. 상기 MC&A 기능성은 제1 모드 및 제2 모드 중 어느 하나 또는 둘다에서 동작할 수 있다. 상기 MC&A 기능성의 동작 중의 제1 모드에서, 상기 비디오 디스플레이 디바이스(30)은, 예를 들면, 상기 통신 기반구조(156)를 통하여(또는 DVD, RAM, 또는 몇몇 동작들에서의 다른 스토리지(storage)와 같은 매체를 통하여) 소스 비디오 및 메타데이터를 수신한다. 상기 MC&A 기능성의 동작의 상기 제1 모드에서, 상기 비디오 디스플레이 디바이스(30)는 프로세스 및 비디오 디스플레이 상에서의 비디오의 디스플레이를 야기하는 재생 동작들을 위하여 상기 소스 비디오 및 상기 메타데이터를 사용한다.
비디오 디스플레이 디바이스(30)에 의해 수신되는 상기 소스 비디오는 인코딩된 소스 비디오(12a/12c) 또는 비가공 소스 비디오(14a/14c)일 수 있다. 상기 메타데이터는 유사 디스플레이 메타데이터(16b/16c) 또는 목표 디스플레이 메타데이터(18b/18c)일 수 있다. 일반적으로, 인코딩된 소스 비디오(12a/12c) 및 비가공 소스 비디오(14a/14c)는 후자가 인코딩되지 않을 때 전자가 인코딩되는 유사한 내용을 갖는다. 일반적으로, 소스 비디오는 비디오 카메라에 의해 캡쳐될 수 있도록 비디오 데이터의 풀 프레임들의 시퀀스를 포함한다. 비디오 데이터의 상기 풀-프레임들의 캡쳐는 도 4 내지 9를 참조하여 더 설명될 것이다.
메타데이터(16b, 16c, 18b, 또는 18c)는 목표 비디오 플레이어의 목표 비디오 디스플레이 상에 재생하기 위한 비디오를 특히 만들어 내도록 비디오 데이터의 풀 프레임의 시퀀스를 수정(modify)하기 위해 비디오 프로세싱 동작들에 사용되는 부가적인 정보이다. 메타데이터(16b, 16c, 18b, 또는 18c)가 만들어지는 방식 및 그것의 상기 소스 비디오(12a, 12c, 14a, 또는 14c)에의 관계는 도 4 내지 도 9를 참조하여 더 설명될 것이다. MC&A 제1 모드 동작들로써, 비디오 디스플레이 디바이스(30)는 비디오 디스플레이를 위하여 출력을 만들어 내기 위한 결합에서 상기 소스 비디오(12a, 12c, 14a, 또는 14c) 및 메타데이터(16b, 16c, 18b, 또는 18c)를 사용한다. 일반적으로, 유사 디스플레이 메타데이터(16b 또는 16c)는 목표되는 비 디오 플레이어들의 클래스(class) 또는 그룹으로 가공되는 특성들(attributes)을 갖는다. 이 클래스 또는 그룹 내에서의 목표 비디오 플레이어들은 유사한 스크린 해상도, 유사한 영상비들, 또는 비디오 플레이어들의 클래스의 비디오 디스플레이들 상에의 프리젠테이션을 위하여 수정된 소스 비디오를 만들어 내기 위해 소스 비디오를 수정하기에 알맞게 하는 다른 유사한 특성들을 가질 수 있다. 이와는 달리, 상기 목표 디스플레이 메타데이터(18b 또는 18c)는 비디오 플레이어의 메이크/모델/유형에 독특한 정보를 포함한다. 비디오 디스플레이 디바이스(30)가 상기 소스 비디오(12a, 12c, 14a, 또는 14c)의 수정을 위하여 상기 목표 디스플레이 메타데이터(18b 또는 18c)를 사용할 때, 상기 수정된 비디오는 특히 상기 비디오 디스플레이 디바이스(30)의 비디오 디스플레이에 가공된다.
본 발명의 비디오 플레이어 시스템의 MC&A 기능성의 동작의 상기 제2 모드에 있어서, 상기 비디오 디스플레이 디바이스(30)는 미리 다른 비디오 플레이어(32)에 의해 메타데이터(16b, 16c, 18b, 또는 18c)를 사용하여 처리된 비디오(인코딩된 비디오 또는 비가공 비디오)를 수신하고 디스플레이한다. 예를 들면, 상기 비디오 플레이어시스템(28)으로써, 비디오 플레이어(32)는 비디오 디스플레이 디바이스(30)에 출력을 만들어 내기 위해 상기 메타데이터(16b, 16c, 18b, 또는 18c)를 사용하여 미리 상기 소스 비디오(12a, 12c, 14a, 또는 14c)를 처리한다. 상기 MC&A 기능성의 동작의 이러한 제2 모드로써, 상기 비디오 디스플레이 디바이스(30)는 프리젠테이션을 위한 비디오 플레이어(32)의 출력을 수신하고, 그러한 출력을 비디오 디스플레이 상에 제공한다. 상기 비디오 디스플레이 디바이스(30)의 MC&A 기능성은 상기 비디오 플레이어(32)로부터 수신된 비디오 데이터를 더 수정할 수 있다.
하나 또는 그 이상의 도 1의 비디오 플레이어 시스템(26)에 의해 사용된 다른 기능성은 집적 비디오 회로 및 애플리케이션 기능성(Integrated video Circuitry and Application functionality;IC&A)를 포함한다. 도 1의 비디오 플레이어 시스템(26)의 IC&A 기능성은 상기 비디오 플레이어 시스템(26)의 디스플레이를 위하여 소스 비디오(12a, 12c, 14a, 또는 14c) 및 메타데이터(16b, 16c, 18b, 또는 18c)를 수신하고 상기 소스 비디오(12a, 12c, 14a, 도는 14c) 및 상기 메타데이터(16b, 16c, 18b, 또는 18c)를 만들어 낸다. 상기 비디오 플레이어 시스템(26)은 상기 소스 비디오(12a, 12c, 14a, 또는 14c)와 상기 메타데이터(16b, 16c, 18b, 또는 18c)를 통신 기반 구조(156)를 통하여(그리고 몇몇 동작들에서는 매체를 통하여) 수신하고, 그것의 IC&A 기능성은 상기 비디오 플레이어 시스템(26)의 비디오 디스플레이 상에서의 디스플레이를 위하여 상기 소스 비디오(12a, 12c, 14a, 또는 14c)와 메타데이터(16b, 16c, 18b, 18c)를 만들어 낸다.
도 1의 다른 양상에 따라, 비디오 플레이어 시스템(22 또는 28)은 분배된 비디오 회로 및 애플리케이션(Distributed video Circuitry and Application;DC&A) 기능성을 포함할 수 있다. 비디오 플레이어(32)와 관련되는 상기 DC&A 기능성은 상기 메타데이터(16b, 16c, 18b, 또는 18c)와 함께 소스 비디오(12a, 12c, 14a, 또는 14c)의 프로세싱에 의해 소스 비디오(12a, 12c, 14a, 또는 14c) 및 메타데이터(16b, 16c, 18b, 또는 18c)를 수신하고 서브-프레임 비디오 데이터를 만들어 낸다. 비디오 플레이어들(22 및 32)의 DC&A 기능성은 상응하는 비디오 디스플레이어 디바이스들(24 및 30)에 각각 출력을 제공한다. 각자의 기능성을 사용함에 의해, 상기 상응하는 비디오 디스플레이 장치들(24 및 30)은 상기 수신된 비디오 입력들을 더 수정할 수 있고 그 후 그들 각자의 디스플레이들 상에 비디오를 제공할 수 있다.
도 1의 비디오 플레이어 시스템들의 특정 구현 및 특정 동작들에 의존하여, 그들의 기능들은 다중 디바이스들 사이에서 분배될 수 있다. 예를 들면, 비디오 플레이어 시스템(20)로써, 비디오 플레이어(22) 및 비디오 디스플레이 디바이스(24) 양자는 DC&A 기능성을 포함한다. 상기 분배된 DC&A 기능성은 둘 중 어느 하나 또는둘다 수행할 수 있는 프로세싱 임무들을 공유(share)하기 위해 다양한 동작들에서 구성될 수 있다. 나아가, 비디오 플레이어 시스템(28)으로써, 비디오 플레이어(32), 및 비디오 디스플레이 디바이스(30)는 때때로 상기 비디오 플레이어 시스템(28)의 특별한 현 구성에 기초하여 변하는 프로세싱 기능들을 공유할 수 있다.
도 2는 본 발명의 실시예들에 따라 구성된 분배 서버들, 비디오 캡쳐/서브-프레임 메타데이터 생성 시스템들, 및 비디오 플레이어 시스템들을 보여주는 시스템 다이어그램이다. 도 2의 시스템은 비디오 분배 서버(10a), 메타데이터 분배 서버(10b), 및 결합된 비디오/메타데이터 분배 서버(10c) 뿐만 아니라 적응 비디오 프로세싱(Adaptive Video Processing;AVP) 시스템들 및 서브-프레임 메타데이터 생성(Sub-frame Metadata Generation;SMG) 시스템들을 포함한다. 일반적으로, 상기 SMG 시스템들 및 AVP 시스템들은 통신 기반구조들 내에서 하나, 둘, 또는 두 개의 구성요소들 이상 중에 분배될 수 있다.
서브-프레임 메타데이터 생성 시스템(100)은 카메라(110) 및 컴퓨팅 시스템(140) 중의 하나 또는 둘다를 포함한다. 도 3 내지 9를 참조하여 더 설명되는 것처럼, 상기 카메라(110)는 비디오 데이터의 풀 프레임들의 원 시퀀스를 캡쳐한다. 그런 다음, 상기 컴퓨팅 시스템(140) 및/또는 상기 카메라(110)는 사용자 입력에 의해 확인된 서브-프레임들에 기초한 메타데이터를 생성한다. 사용자 입력에 의해 확인된 서브-프레임들은 상기 풀 프레임들 비디오 데이터에 나타나는 신들(scenes)의 서브-포션들(sub-portions)이 목표 비디오 플레이어들에게 특정한 비디오를 만들 때 사용되도록 하는 것을 지시하기 위해 사용된다.
도 2에 보여지는 AVG 시스템은 상기 SMG 시스템에 의해 생성되는 비디오 데이터 및 메타데이터의 풀 프레임들로부터 비디오 데이터의 서브-프레임들의 시퀀스를 만들기 위해 사용된다. 상기 AVG 시스템은 상기 디지털 컴퓨터(142) 또는 비디오 디스플레이들(144, 146, 148 및/또는 150) 중의 하나 또는 그 이상의 내에 저장될 수 있다. 도 2의 분배 서버들(10a, 10b, 또는 10c) 내에서 저장된 상기 메타데이터 및 소스 비디오로써, AVP는 이후에 수행될 수 있다. 이와 달리, 상기 AVP는 카메라(110)에 의한 상기 소스 비디오의 캡쳐 및 카메라(110), 컴퓨팅 시스템(140), 및/또는 컴퓨팅 시스템(142)의 SMG 애플리케이션에 의한 메타데이터의 생성 이후에 즉시 서브-프레임 처리를 수행할 수 있다.
통신 시스템(156)은 인터넷, 하나 또는 그 이상의 광역 통신망들(WANs), 하나 또는 그 이상의 근거리 통신망들(LANs), 하나 또는 그 이상의 무선 광역 통신망들(WWANs), 하나 또는 그 이상의 무선 근거리 통신망들(WLANs), 및/또는 다른 유형 의 통신망들과 같은 다양한 통신 기반구조들을 포함한다. 도 9 내지 16을 참조하여 여기에서 더 설명되어지는 바와 같이, 상기 통신 기반구조(156)는 소스 비디오, 메타데이터, 목표 디스플레이 정보, 출력, 디스플레이 비디오, 및 DRM/빌링 신호들의 교환을 지원한다. 이와 달리, 상기 비디오 데이터 및 다른 입력들 및 출력들은 상기 물리적 매체(physical media)를 통하여 물리적 매체에 쓰여지고 분배될 수 있다. 상기 물리적 매체는 물리적 매체 비디오 플레이어 내에서 상기 물리적 매체를 사용하는 구매자들에게 비디오 대여 가게에서 대여될 수 있다.
본 발명의 AVP 동작들은 상기 비디오 플레이어 시스템들(144, 146, 148, 및/또는 150) 상에 프리젠테이션을 위하여 목표 비디오 데이터를 생성하기 위해 메타데이터 및 다른 입력들을 사용하여 비디오 데이터의 풀 프레임들을 처리한다(operate upon). 상기 플레이어들(144, 146, 148 및 150)을 위하여 상기 목표 디스플레이 비디오를 만들기 위해 사용되는 상기 비디오 데이터, 메타데이터, 및 목표 비디오 디스플레이 정보는 하나의 소스로부터 또는 복수의 소스들로부터 수신될 수 있다. 예를 들면, 상기 비디오 분배 서버(10a)는 소스 비디오를 저장할 수 있는 반면 상기 메타데이터 분배 서버(10b)는 메타데이터를 저장할 수 있다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 메타데이터와 소스 비디오를 저장할 수 있다. 본 발명의 AVP 동작들은 컴퓨팅 시스템(142), 카메라(110), 컴퓨팅 시스템(140), 디스플레이들(144, 146, 148 및/또는 150), 및 서버들(10a, 10b, 및 10c) 중의 하나 또는 그 이상에 의해 수행될 수 있다. 도 10 내지 15를 참조하여 이후에 설명될 이들 동작들은, 특정 목표 비디오 플레이어를 위하여 목표 디스플레이 비디 오를 만든다.
분배 서버들(10a, 10b, 및 10c)는 상기 비디오 플레이어들(144, 146, 148, 및/또는 150)에 의한 그 후의 사용을 위하여 비디오 및 메타데이터를 분배한다. 나아가, 상기 비디오 분배 서버(10a) 및/또는 상기 결합된 비디오/메타데이터 분배 서버(10c)는 상기 비디오 플레이어들(144, 146, 148, 및/또는 150) 중의 어떤 것에 목표 디스플레이 비디오를 제공(deliver)할 수 있다. 상기 비디오 분배 서버(10a) 또는 상기 결합된 비디오/메타데이터 분배 서버(10c) 중의 하나에 의해 제공(deliver)된 비디오 데이터는 가공되지 않은(non-tailored) 비디오일 수 있거나 가공된 비디오일 수 있다. 가공되지 않은 비디오가 상기 분배 서버(10a 또는 10c)에 의해 제공될 때, 상기 비디오 플레이어들(142, 144, 146, 및/또는 150)의 AVP 동작들은 그의 디스플레이에 우선하여 상기 수신된 비디오 데이터를 더 처리(operate upon)할 수 있다. 상기 결합된 비디오/메타데이터 분배 서버(10c) 또는 상기 비디오 분배 서버(10a)가 목표 비디오를 제공할 때, 수신하는 비디오 플레이어(144, 146, 142, 또는 150)는 단순히 상기 수신된 목표 비디오를 플레이한다. 물론, 상기 목표 비디오는 각각의 비디오 플레이어의 목표 디스플레이 정보에 상응하는 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 만들어질 것이다.
도 2에서 보여지는 바와 같이 본 발명에 따른 다른 동작에서, 메타데이터 분배 서버(10b)는 유사 디스플레이 메타데이터 또는 목표 디스플레이 메타데이터를 상기 비디오 플레이어들(144, 146, 148, 및/또는 150) 중의 하나 또는 그 이상에 서브한다. 상기 메타데이터 분배 서버(10b)가 유사 디스플레이 메타데이터를 비디오 플레이어에 분배할 때, 상기 비디오 플레이어는 서브-프레임 처리에서 더 사용하기 위한 목표 디스플레이 메타데이터를 만들어 내기 위해 상기 유사 디스플레이 메타데이터를 더 처리할 수 있다. 그 후, 상기 비디오 플레이어(142, 144, 146, 148, 또는 150)는 상기 플레이어에 의한 디스플레이를 위하여 서브-프레임 비디오 데이터를 만들어 내기 위하여 비디오 데이터를 처리하도록 상기 가공된 메타데이터를 사용할 것이다.
목표 디스플레이 메타데이터 및/또는 가공된 비디오가 만들어지면, 이후의 분배를 위하여 그것은 상기 비디오 분배 서버(10a) 또는 상기 결합된 비디오/메타데이터 분배 서버(10c) 상에 저장될 수 있다. 그리하여, 가공된 메타데이터 및/또는 목표 디스플레이 메타데이터는 한번 만들어질 수 있고 메타데이터 분배 서버(10b) 및/또는 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 여러 번 분배될 수 있다. 비디오 및/또는 메타데이터의 어떤 분배는, 비디오 분배 서버(10a), 메타데이터 분배 서버(10b), 및/또는 결합된 비디오/메타데이터 분배 서버(10c)의 프로세싱 회로에 의해 활성화되는 디지털 권한 관리 동작들 및 빌링 동작들에 기초하여 규제(regulate)될 수 있다. 그리하여, 예를 들면, 비디오 플레이어(150)의 사용자는 메타데이터 및/또는 비디오르 수신하기 위하여 그의/그녀의 권한을 증명하도록 분배 서버들(10a, 10b, 및/또는 10c)의 어떤 것과 상호 작용할 수 있다. 소스 비디오, 처리된 비디오, 유사 디스플레이 메타데이터, 및/또는 목표 디스플레이 메타데이터/가공된 메타데이터를 수신할 수 있는 상기 비디오 플레이어(150)의 능력은 다른 포맷에서의 상기 비디오의 소유(possession)에 기초할 수 있다. 예를 들면, 비디오 플레이어(150)의 사용자는 특정 영화를 포함하는 디지털 비디오 디스크(DVD)를 구입할 수 있고 지금 상기 디지털 비디오 디스크를 소유한다. 상기 DVD의 이러한 소유는 이러한 특정 프로그래밍에 상응하는 메타데이터를 획득하기에 및/또는 전기적인 포맷(다른 포맷)으로 상기 분배 서버(10a) 또는 상기 결합된 비디오/메타데이터 분배 서버(10c)로부터 이러한 프로그래밍을 다운로드하기에 상기 구매자에게 충분할 수 있을 것이다. 그러한 동작은 도 1의 서버(36)와 같은 빌링 및/또는 디지털 권한 관리 서버와 더 상호작용하는 것을 요구할 수 있다.
소스 비디오 및 메타데이터에의 권한들은 만약 사용자가 상기 소스 비디오에의 권한들을 갖는다면 그/그녀가 또한 상기 상응하는 메타데이터에의 권한들을 갖도록 일치될 수 있다. 그러나, 상기 소스 비디오에의 권한들은 별도로 하고 상기 메타데이터에의 분리된 디지털 권한들을 요구하는 시스템이 고려되고 여기에서 구체화될 수 있다. 그러한 경우에, 심지어 사용자가 DVD의 소유권에 기초한 소스 비디오를 볼 권한들을 가질 수 있음에도, 상기 사용자는 상기 소스 비디오에 상응하는 메타데이터를 획득하기 위해 부가적으로 요금을 지불할 것이 요구될 수 있다. 상기 메타데이터가 상기 소스 비디오와 관련하여 그 후의 사용을 위하여 부가적인 값을 가지기 때문에 사정은 그러한 것이 될 것이다. 상기 소스 비디오가 더 작은 스크린을 갖는 비디오 플레이어(148) 상에서 만족스럽게 볼 수 없기 때문에 사정은 그러하다. 그리하여, 비디오 플레이어(148)의 사용자는 상기 비디오 플레이어(148)를 위하여 가공된 비디오를 생성하기 위하여 상기 서비스된 비디오 데이터의 서브-프레임 처리를 위하여 후속적으로 사용되는 메타데이터를 획득하기 위하여 부가적은 상당한 양의 돈을 지불할 수 있다.
이 개념은 메타데이터의 다른 버젼들에 적용하기 위해 더 확장될 수 있다. 예를 들면, 사용자는 비디오 플레이어(148) 및 비디오 플레이어(146)를 소유한다. 그러나, 이들 비디오 플레이어들(146 및 148)의 스크린들은 다른 특성들을 갖는다. 비디오 플레이어들(146 및 148)의 다른 특성들 때문에, 이들 비디오 플레이어들(146 및 148) 각각의 상에서 재생하기 위해 다른 목표 디스플레이 비디오가 요구될 것이다. 상기 비디오 플레이어들(146 및 148) 용으로 가공된 비디오를 생성하기 위해서 메타데이터의 다른 버젼들이 요구된다. 비디오 플레이어(148)가 상기 제2 목표 디스플레이 메타데이터에 상응하는 반면에 비디오 플레이어(146)는 제1 목표 디스플레이 메타데이터에 상응한다. 비록 상기 사용자가 비디오 플레이어들(146 및 148)을 소유하고 있다 하더라도, 그/그녀는 상기 목표 디스플레이 메타데이터의 단지 하나 또는 나머지에의 권한들을 가질 수 있다. 그리하여, 상기 사용자는 부가적인 목표 디스플레이 메타데이터를 획득하기 위해 부가적인 자금들을 지출해야만 한다. 이와 달리, 특정 사용자는 특정 소스 비디오 또는 소스 비디오의 라이브러리를 위하여 모든 이용가능한 메타데이터에의 권한들을 구매할 수 있다. 비디오 플레이어(146 및 148)의 사용자에 의해 구매되는 그러한 권한들은 상기 사용자에게 비디오 플레이어들(146 및 148)에 상응하는 목표 디스플레이 메타데이터에 억세스하도록 뿐만 아니라 임의의 비디오 플레이어들(142, 144, 및 150)에 상응하는 디스플레이 메타데이터를 목표로 정하도록 허락할 수 있다. 이러한 메타데이터 라이브러리 에의 구매(subscription)는 완전한(encompassing) 구매(prescription)로 고려될 수 있는 반면, 상기 가공된 메타데이터의 하나의 버젼(version)에의 권한을 구매(purchase)하는 것은 제한된 권한들 구매(limited rights subscription)로 고려될 수 있다.
이들 개념들은 목표 디스플레이 비디오들의 다른 버젼들에 더 적용될 수 있다. 예를 들면, 사용자는 목표 비디오 플레이어(148)에 상응하는 목표 디스플레이 비디오의 하나의 버젼(version)에의 권한들을 구매할 수 있다. 그러나, 구독의 제2 레벨은 상기 사용자에게 프로그램 또는 프로그래밍의 라이브러리에 상응하는 가공된 디스플레이 비디오의 복수의 버젼들을 억세스/사용하도록 허락할 수 있다. 그러한 구독은 많은 다른 유형들의 비디오(142 ~ 150)를 갖는 사용자에게 중요할 수 있다. 이러한 구독 유형으로써, 상기 구독자는 그러므로 상기 비디오 분배 서버(10a) 또는 결합된 비디오/메타데이터 분배 서버(10c)로부터 그의 또는 그녀의 소유의 비디오 플레이어들 중의 어떤 것으로 목표 디스플레이 비디오의 다른 버젼들을 다운로드할 수 있다.
도 3은 본 발명의 일 실시예에 따라 구성된 비디오 캡쳐/서브-프레임 메타데이터 생성 시스템을 보여주는 시스템 다이어그램이다. 도 3의 비디오 캡쳐/서브-프레임 메타데이터 시스템(100)은 카메라(110) 및 SMG 시스템(120)을 포함한다. 상기 비디오 카메라(110)는 신(102)에 관련되는 비디오 데이터의 풀 프레임들의 원 시퀀스를 캡쳐한다. 상기 비디오 카메라(110)는 또한 마이크로폰(microphones, 111A 및 111B)을 통하여 오디오 데이터를 캡쳐할 수 있다. 상기 비디오 카메라(110)는 콘 솔(console, 140)에 비디오 데이터의 풀 프레임들을 제공할 수 있고 상기 SMG 시스템(120)을 실행할 수 있다. 상기 비디오 카메라(110)의 SMG 시스템(120) 또는 콘솔(140)은 사용자 입력 디바이스(121 또는 123)를 통하여 사용자로부터 입력을 수신한다. 이러한 사용자 입력에 기초하여, 상기 SMG 시스템(120)은 비디오 데이터의 풀 프레임들의 시퀀스를 또한 보여주는 비디오 디스플레이 상에 하나 또는 그 이상의 서브 프레임들을 디스플레이한다. 사용자 입력 및 부가적 정보로부터 생성된 서브 프레임들에 기초하여, 상기 SMG 시스템(120)은 메타데이터(15)를 만든다. 상기 비디오 캡쳐/서브 프레임 메타데이터 생성 시스템(100)의 비디오 데이터 출력은 상기 인코딩된 소스 비디오(12) 또는 비가공 소스 비디오(14) 중의 하나 또는 그 이상이다. 상기 비디오 캡쳐/서브 프레임 메타데이터 생성(100)은 또한 유사 디스플레이 메타데이터 및/또는 목표 디스플레이 메타데이터일 수 있는 메타데이터(15)를 또한 출력한다. 상기 비디오 캡쳐/서브-프레임 메타데이터 생성 시스템(100)은 또한 목표 디스플레이 정보(20)를 출력할 수 있다.
상기 비디오 카메라(110)에 의해 캡쳐되는 원 비디오 프레임들의 시퀀스는 신(102)이다. 상기 신(102)은 비디오 카메라(110)에 의해 캡쳐되는 어떤 유형의 신이 될 수 있다. 예를 들면, 상기 신(102)은 매우 상세하게 상대적으로 큰 캡쳐(capture)를 갖는 경치의 신일 수 있다. 이와 달리, 상기 신(102)은 서로간에 대화(dialog)를 갖는 배우들의 헤드 샷들(head shots)일 수 있다. 나아가, 상기 신(102)은 공을 쫓는 개의 액션 신일 수 있다. 상기 신(102) 유형은 전형적으로 때때로 원 비디오 프레임들의 캡쳐동안 변한다.
이전의(prior) 비디오 캡쳐 시스템들로써, 사용자는 상기 카메라(110)를 "대형 스크린" 포맷을 위하여 최적화된 상기 신(102)의 원 비디오 프레임들을 캡쳐하도록 조작한다(operate). 본 발명으로써, 상기 원 비디오 프레임들은 각각의 비디오 디스플레이들을 갖는 목표 비디오 플레이어들에 의한 최종의 프리젠테이션을 위하여 이후에 변환될 수 있다. 상기 서브-프레임 메타데이터 생성 시스템(120)이 시간이 흐르면서(over time) 다른 유형들의 신들을 캡쳐하기 때문에, 상기 캡쳐된 비디오가 상기 목표 비디오 플레이어들 상에 보이기 위한 서브-프레임들을 만들도록 변환되는 방식은 또한 시간이 흐르면서(over time) 변할 수 있다. 상기 "대형 스크린" 포맷은 더 작은 스크린 유형들로 늘 잘 변환(translate)되는 것은 아니다. 그러므로, 본 발명의 서브-프레임 메타데이터 생성 시스템(120)은, 더 작은 포맷들로 변환할 때 목표 비디오 플레이어들의 하나 또는 그 이상의 비디오 디스플레이들 상에의 디스플레이를 위해 고 품질(high quality)의 비디오 서브-프레임들을 제공하는 원 비디오 프레임들의 캡쳐를 지원한다.
상기 인코딩된 소스 비디오(12)는 이산 코사인 변환(discrete cosine transform;DCT)에 기초한 인코딩/압축 포맷들(예를 들면, MPEG-1, MPEG-2, HD용 MPEG-2-enhanced, MPEG-4 AVC, H.261 및 H.263) 중의 하나 또는 그 이상을 사용하여 인코딩될 수 있고, 모션 벡터들(motion vectors)은 전형적으로 존재하는 인터-프레임(inter-frame) 또는 인터-필드(inter-field) 모션을 참작함에 의해 이웃하는 프레임들 또는 필드들로부터 프레임 또는 필드에 기초한 예측들(field-based predictions)을 구성(construct)하기 위해 사용된다. 한 예로서, MPEG 코딩 표준을 사용할 때, 원 비디오 프레임들의 시퀀스가 세 개의 다른 유형의 프레임들의 시퀀스, 즉 "I" 프레임들, "B" 프레임들 및 "P" 프레임들로 인코딩된다. "I" 프레임들은 내부 부호화(intra-coded)인 반면, "B" 프레임들 및 "P" 프레임들은 상호 부호화(intra-coded)이다. 그리하여, I-프레임들은 독립적, 즉 그들은 다른 어떤 프레임에 관계없이 재구성될 수 있는 반면, P-프레임들 및 B-프레임들은 종속적, 즉 그들은 재구성을 위한 다른 프레임에 종속적이다. 특히, P-프레임들은 마지막 I-프레임 또는 P-프레임으로부터 앞 방향으로(forward) 예측되고, B-프레임들은 마지막/다음의 I-프레임으로부터 앞 방향으로(forward)도 예측되고 뒷 방향으로(backward)도 예측된다. 상기 IPB 프레임들의 시퀀스는 N이 통상적으로 8로 설정되는 "I", "P" 또는 "B" 프레임에서의 NxN 픽셀 데이터 블록들을 양자화(quantization)가 더 쉽게 수행되는 DCT 도메인(domain)으로 변환하기 위해 DCT를 사용하여 압축된다. 런-길이(run-length encoding) 및 엔트로피 인코딩(entropy encoding)은 그 후 상기 원 비압축 영상 데이터(original uncompressed video data)보다도 상당히 감소된 비트 레이트(bit rate)를 갖는 압촉된 비트스트림(bitstream)을 생성하기 위해 양자화된 비트스트림에 적용된다.
도 4는 대표적인 원 비디오 프레임들 및 상응하는 서브-프레임들을 보여주는 다이어그램이다. 보여지는 바와 같이, 상기 비디오 디스플레이(400)는 도 3의 신(102)을 나타내는 원 비디오 프레임들의 시퀀스를 디스플레이하는 표시 영역을 갖는다. 도 4의 실시예에에 따라, 상기 SMG 시스템(120)은, 서브-프레임(402)에 부가하여, 원 비디오 프레임들의 시퀀스에 연관(association)된 상기 비디오 디스플 레이(400) 상에 부가적인 서브-프레임들(404 및 406)을 제공함으로써, 사용자 입력을 나타내는 부가적 신호들에 응답하여 더 동작할 수 있다. 이들 서브-프레임들(402) 각각은 복수의 목표 비디오 디스플레이들 중의 하나에 상응하는 영상비 및 크기를 가질 것이다. 나아가, 상기 SMG 시스템(120)은 이들 서브-프레임들(402, 404, 및 406)의 각각에 연관된 메타데이터(15)를 만들어 낸다. 상기 복수의 서브-프레임들(402, 404, 및 406)과 연관된, 상기 서브-프레임 메타데이터 생성 시스템(120)이 생성하는 상기 메타데이터(15)는 상응하는 목표 비디오 디스플레이가 그의 비디오 디스플레이 상에 상응하는 프리젠테이션을 만들어 내도록 할 수 있다. 도 4의 예에서, 상기 SMG 시스템(120)은 복수의 서브-프레임들(402, 404, 및 406) 각각이 디스플레이되는 하나의 비디오 디스플레이(400)을 포함한다. 다른 실시예에서, 상기 비디오 프로세싱 시스템에 의해 생성되는 상기 복수의 서브-프레임들 각각은 상응하는 목표 비디오 플레이어 상에 독립적으로 디스플레이될 수 있다.
도 4의 예로써, 서브-프레임들의 상기 세트 중 서브-프레임들(404 및 406) 중의 적어도 두 개는 원 비디오 프레임들의 시퀀스의 하나의 프레임에 상응할 수 있다. 그리하여, 예를 들어, 특정 목표 비디오 플레이어로써, 서브-프레임들(404 및 406) 및 거기에 포함된 관련 비디오 정보(related video information)는 다른 시간들에 하나의 목표 비디오 플레이어 상에 제공될 수 있다. 도 4의 예로써, 상기 목표 비디오 플레이어에 의해 제공되는 비디오의 제1 부분(portion)은 서브-프레임(404)에서 포함된 것과 같은 공을 쫓는 개를 보일 수 있고, 반면에 상기 목표 비디오 플레이어에 의해 제공되는 비디오의 제2 부분은 서브-프레임(406)에서 보여지 는 바와 같이 튀어오르는 공을 보인다. 그리하여, 이러한 예로써, 때 맞춰 인접한 목표 비디오 플레이어의 비디오 시퀀스들은 원 비디오 프레임들의 하나의 시퀀스로부터 만들어진다.
나아가, 도 4의 예로써, 상기 서브-프레임들의 세트 중의 적어도 두 개의 서브-프레임들은 공간상의 위치(spatial position)가 원 비디오 프레임들의 시퀀스 상에서(over) 변하는 객체(object)를 포함할 수 있다. 그러한 프레임들에서, 상기 개를 확인(identify)하는 서브-프레임(404)의 공간상의 위치는 상기 튀어오르는 공을 나타내는 상기 서브-프레임(406)에 대하여 원 비디오 프레임들 상에서 변할 것이다. 나아가, 도 4의 실시예로써, 서브-프레임들의 세트 중 두 개의 서브-프레임들은 원 비디오 프레임들의 시퀀스 중의 적어도 두 개의 다른 프레임들에 상응할 수 있다. 이러한 예로써, 서브-프레임들(404 및 406)은 상기 비디오 디스플레이(400) 상에 디스플레이되는 원 비디오 프레임들의 시퀀스 중의 다른 프레임들에 상응할 수 있다. 이러한 예로써, 제1 주기 시간 동안, 서브-프레임(404)은 주기 시간을 넘어 상기 개의 이미지를 디스플레이하기 위해 선택된다. 나아가, 이러한 예로써, 서브-프레임(406)은 상기 튀어오르는 공을 보이기 위한 다른 주기 시간에 상응할 것이다. 이러한 예로써, 서브-프레임들(404 및 406)의 세트 중의 적어도 한 부분은 원 비디오 프레임들의 시퀀스를 교차하여(across) 묘사된 신의 서브-신(sub-scene)에 상응할 것이다. 이러한 묘사된 시퀀스는 완전한 디스플레이(400) 또는 서브-프레임(402)을 교차하여 묘사될 수 있다.
도 5는 서브-프레임들을 만들기 위한 비디오 편집 툴들(video editing tools)을 포함하는 그래픽 사용자 인터페이스를 제공하는 비디오 프로세싱 시스템 디스플레이의 일 실시예를 보여주는 다이어그램이다. 상기 비디오 프로세싱 디스플레이(502) 상에서, 현 프레임(504) 및 상기 현 프레임(504)의 서브-프레임(506)이 디스플레이된다. 상기 서브-프레임(506)은 사용자에 의해 확인된 대상 영역 내에서 비디오 데이터를 포함한다. 상기 서브-프레임(506)이 확인되면, 상기 사용자는 상기 GUI(508)를 통하여 상기 사용자에게 제공되는 하나 또는 그 이상의 비디오 편집 툴들을 사용하여 상기 서브-프레임(506)을 편집할 수 있다. 예를 들어, 도 5에 보여지는 바와 같이, 상기 사용자는 필터들(filters), 색 보정(color correction), 오버레이들(overlays), 또는 다른 편집 툴들을 클릭(click)하거나 그렇지 않으면 상기 GUI(508) 내에서 편집 툴들 중의 하나를 선택함에 의해 상기 서브-프레임(506)에 적용할 수 있다. 더구나, 상기 GUI(508)는 원 서브-프레임들의 시퀀스를 서브-프레임들의 시퀀스에 보이고 비교하기 위해 상기 사용자가 원 프레임들 및/또는 서브-프레임들 사이에서 이동하도록 할 수 있다.
도 6은 대표적인 원 비디오 프레임들 및 상응하는 서브-프레임들을 보여주는 다이어그램이다. 도 6에서, 제1 신(602)은 원 비디오 프레임들(606)의 제1 시퀀스(604)에 교차하여 묘사되고 제2 신(608)은 원 비디오 프레임들(606)의 제2 시퀀스(610)에 교차하여 묘사된다. 그리하여, 각 신(602 및 608)은 원 비디오 프레임들(606)의 각각의 시퀀스(604 및 610)를 포함하고, 원 비디오 프레임들(606)의 상기 각각의 시퀀스(604 및 610)에서 상기 원 비디오 프레임들(606) 각각을 순차적으로 디스플레이함에 의해 보여진다.
그러나, 관람자의 인식 비디오 질(perceived video quality)을 감소함이 없이 작은 비디오 디스플레이 상에 상기 신들(602 및 608) 각각을 디스플레이하기 위해, 상기 신들(602 및 608) 각각은 개별적으로 디스플레이되는 서브-신들로 나눠질 수 있다. 예를 들면, 도 6에서 보여지는 바와 같이, 상기 제1 신(602) 내에서, 두 개의 서브-신들(612 및 614)이 있고, 상기 제2 신(608) 내에서, 하나의 서브 신(616)이 있다. 각 신(602 및 608)이 원 비디오 프레임들(606)의 각각의 시퀀스(604 및 610)를 순차적으로 디스플레이함에 의해 보여질 수 있는 것과 같이, 각 서브-신(612, 614, 및 616)은 서브-프레임들(618(618a, 618b, 및 618c))을 디스플레이함에 의해 또한 보여질 수 있다.
예를 들면, 원 비디오 프레임들의 상기 제1 시퀀스(604) 내에서의 상기 제1 프레임(606a)을 보면, 사용자는 두 개의 서브-프레임들(618a 및 618b)을 확인할 수 있고, 각각은 다른 서브-신(612 및 614)을 나타내는 비디오 데이터를 포함한다. 상기 서브-신들(612 및 614)이 원 비디오 프레임들(606)의 상기 제1 시퀀스(604)의 처음부터끝까지(throughout) 계속된다고 가정하여, 상기 사용자는 원 비디오 프레임들(606)의 상기 제1 시퀀스(604)에서의 연속되는 원 비디오 프레임들(606a) 각각에서 각각의 서브-신(612 및 614)에 대해 하나씩인 두 개의 서브-프레임들(618a 및 618b)을 더 확인할 수 있다. 그 결과는 서브-프레임들(618a)의 제1 시퀀스(620)에서 상기 서브-프레임들(618a) 각각은 서브-신(612)을 나타내는 비디오 내용을 포함하는 서브-프레임들(618a)의 제1 시퀀스(620)이고, 서브-프레임들(618b)의 제2 시퀀스(630)에서 상기 서브-프레임들(618b) 각각은 서브-신(614)을 나타내는 비디오 내용을 포함하는 서브-프레임들(618b)의 제2 시퀀스(630)이다. 서브-프레임들(618a 및 618b)의 각 시퀀스(620)는 연속적으로 디스플레이될 수 있다. 예를 들면, 상기 제1 서브-신(612)에 상응하는 모든 서브-프레임들(618a)은 상기 제2 서브-신(614)에 상응하는 시퀀스(630)의 모든 서브-프레임들(618b)의 순차적인 디스플레이에 앞서 연속적으로 디스플레이될 수 있다. 이러한 방식으로, 상기 영화는 상기 신(602)의 논리적인 흐름을 유지하고 관람자에게 상기 신(602)에서 작은 상세한 부분들(small details)을 인식하도록 허용한다.
마찬가지로, 원 비디오 프레임들(606)의 상기 제2 시퀀스(610) 내에서의 상기 프레임(606b)을 살펴보면, 사용자는 서브-신(616)에 상응하는 서브-프레임(618c)을 확인할 수 있다. 다시, 원 비디오 프레임들(606)의 상기 제2 시퀀스(610)의 처음부터끝까지 상기 서브-신(616)이 계속된다고 가정하면, 상기 사용자는 원 비디오 프레임들(606)의 상기 제2 시퀀스(610)에서의 상기 연속되는 원 비디오 프레임들(606) 각각에서 상기 서브-신(616)을 포함하는 상기 서브-프레임(618c)을 더 확인할 수 있다. 그 결과는 서브-프레임들(618c)의 상기 시퀀스(640)에서의 상기 서브-프레임들(618c) 각각이 서브-신(616)을 나타내는 비디오 내용을 포함하는 서브-프레임들(618c)의 시퀀스(640)이다.
도 7은 서브-프레임들의 시퀀스를 위한 대표적인 서브-프레임 메타데이터를 보여주는 챠트이다. 도 7에서 보여지는 상기 서브-프레임 메타데이터(150) 내에서, 상기 서브-프레임들의 시퀀스(예를 들면, 디스플레이의 순서)를 지시하는 메타데이터(700)가 나열되어 있다. 예를 들면, 상기 나열된 메타데이터(700)는 서브-신들의 시퀀스와 각 서브-신을 위한 서브-프레임들의 시퀀스를 확인할 수 있다. 도 7에 도시된 예를 사용하면, 상기 나열된 메타데이터(700)는 각 그룹(720)이 특정 서브-신에 상응하는 서브-프레임 메타데이터(150)의 그룹들(720)로 나눠질 수 있다.
예를 들면, 상기 제1 그룹(720)에서, 서브-프레임들의 상기 제1 시퀀스(예를 들면, 시퀀스(620))에서의 첫번째 서브-프레임(예를 들면, 서브-프레임(618a))으로 시작하고, 상기 제1 시퀀스(620)에서의 각각의 부가적인 서브-프레임이 이에 뒤따른다. 도 7에서, 상기 제1 시퀀스에서의 첫번째 서브-프레임은 원 비디오 프레임 A의 서브-프레임 A로 표시되고, 상기 제1 시퀀스에서의 마지막 서브-프레임은 원 비디오 프레임 F의 서브-프레임 F로 표시된다. 상기 제1 시퀀스(620)에서의 마지막 서브-프레임이후에, 상기 나열된 메타데이터(700)는 상기 제2 그룹(720)으로 계속되고, 서브-프레임들의 제2 시퀀스(예를 들면, 시퀀스(630))에서의 첫번째 서브-프레임(예를 들면, 서브-프레임(618b))으로 시작하고 상기 제2 시퀀스(630)에서의 마지막 서브-프레임으로 끝난다. 도 7에서, 상기 제2 시퀀스에서의 제1 서브-프레임은 원 비디오 프레임 A의 서브-프레임 G로 표시되고, 제2 시퀀스에서의 마지막 서브-프레임은 원 비디오 프레임의 서브-프레임 L로 표시된다. 최종적인 그룹(720)은 서브-프레임들의 제3 시퀀스(예를 들면, 시퀀스(640))에서의 첫번째 서브-프레임(예를 들면, 서브-프레임(618c))으로 시작하고 상기 제3 시퀀스(640)에서의 마지막 서브-프레임으로 끝난다. 도 7에서, 상기 제3 시퀀스에서의 첫번째 서브-프레임은 원 비디오 프레임 G의 서브-프레임 M으로 표시되고 제3 시퀀스에서의 마지막 서브-프레임은 원 비디오 프레임 I의 서브-프레임 P로 표시된다.
각 그룹(720) 내에, 상기 그룹(720)에서 각 개개의 서브-프레임을 위한 상기 서브-프레임 메타데이터가 있다. 예를 들면, 제1 그룹(720)은 서브-프레임들의 제1 시퀀스(620)에서의 서브-프레임들 각각을 위한 상기 서브-프레임 메타데이터(150)를 포함한다. 본 발명의 대표적인 실시예에서, 상기 서브-프레임 메타데이터(150)는 다수의 엔터리들(710)을 포함하는 메타데이터 텍스트 파일로 구성될 수 있다. 상기 메타데이터 텍스트 파일에서의 각 엔터리(710)는 특정 서브-프레임을 위한 상기 서브-프레임 메타데이터(150)를 포함한다. 그리하여, 상기 메타데이터 텍스트 파일에서의 각 엔트리(710)는 상기 메타데이터에 연관되는 특정 서브-프레임을 확인하는 서브-프레임 확인자를 포함하고, 원 비디오 프레임들의 시퀀스에서의 프레임들 중의 하나를 참조한다.
편집 정보의 예들은 팬 방향(pan direction) 및 팬 레이트(pan rate), 줌 레이트(zoom rate), 명암(contrast) 조정, 밝기 조정, 필터 파라미터(filter parameter), 및 비디오 효과 파라미터(video effect parameter)를 포함하지만 이에 한정되지는 않는다. 더 상세하게는, 서브-프레임과 연관되어, a)비쥬얼 수정(visual modification), 예를 들면 밝기, 필터링, 비디오 효과들, 명암 및 음영(contrast and tint) 조정; b) 모션 정보, 예를 들면, 패닝(panning), 가속(acceleration), 속도(velocity), 원 프레임들의 시퀀스 상의(over) 서브-프레임 움직임의 방향; c) 크기 재조정 정보(resizing information), 예를 들면, 원 프레임들의 시퀀스 상의(over) 서브-프레임의 줌잉(zooming)(줌인(zoom in), 줌아웃(zoom out) 및 줌레이트(zoom rate)를 포함하는); d)상기 서브-프레임 내에서 떨 어지는 상기 원 비디오 데이터의 부분들과 연관되거나(associated), 결합되거나(combined) 중첩되도록(overlaid) 임의의 유형의 추가 매체(supplemental media)(예를 들면, 텍스트 또는 그래픽 중첩 또는 추가 오디오)에 관한 것들을 포함하여 적용될 수 있는 몇가지 유형들의 편집 정보가 있다.
도 8은 서브-프레임을 위한 편집 정보를 포함하는 대표적인 서브-프레임 메타데이터를 보여주는 챠트이다. 상기 서브-프레임 메타데이터는 메타데이터 헤더(header, 802)를 포함한다. 상기 메타데이터 헤더(802)는 메타데이터 파라미터들, 디지털 권한들 관리 파라미터들(digital rights management parameters), 및 빌링 관리 파라미터들(billing management parameters)을 포함한다. 상기 메타데이터 파라미터들은, 생성일(date of creation), 만료일(date of expiration), 생성자 확인(creator identification), 목표 비디오 디바이스 카테고리/카테고리들, 목표 비디오 디바이스 클래스(들), 소스 비디오 정보, 및 모든 메타데이터에 일반적으로 관련되는 다른 정보와 같은 메타데이터에 관한 정보를 포함한다. 상기 메타데이터 헤더(802)의 디지털 권한 관리 구성요소는 어느 정도로 상기 서브-프레임 메타데이터가 사용될 수 있는지의 여부를 결정하기 위해서 사용되는 정보를 포함한다. 상기 메타데이터 헤더(802)의 빌링 관리 파라미터들은 상기 메타데이터 사용상에서 초래되는 빌링 동작들을 초기화하기 위해 사용될 수 있는 정보를 포함한다.
서브-프레임 메타데이터는 상기 메타데이터 텍스트 파일의 엔트리(804)에서 알 수 있다. 각 서브-프레임을 위한 상기 서브-프레임 메타데이터는 서브-프레임에 할당된 서브-프레임 확인자(SF ID), 서브-프레임이 취해지는 원 비디오 프레임(OF ID, OF Count, Plaback Offset)과 연관된 정보, 서브-프레임 위치와 크기(SF Location, SF Size), 및 서브-프레임이 디스플레이되는 디스플레이의 영상비(SF Ratio)와 같은 일반적은 서브-프레임 정보(806)를 포함한다. 게다가, 도 8에서 보여지는 바와 같이, 특정 서브-프레임을 위한 서브-프레임 정보(804)는 서브-프레임을 편집하는 것에 사용하기 위한 편집 정보(806)를 포함할 수 있다. 도 8에서 보여지는 편집 정보(806)의 예들은 팬 방향(Pan Direction) 및 팬 레이트(Pan Rate), 줌 레이트(Zoom Rate), 색 조정(Color Adjustment), 필터 파라미터(Filter Parameter), 추가 중첩 이미지 또는 비디오 시퀀스(Supplemental Overlay Image or Video Sequence) 및 다른 비디오 효과들 및 연관 파라미터들(Other Video Effects & Associated Parameters)을 포함한다.
도 9는 본 발명의 일 실시예에 따른 비디오 프로세싱 회로를 보여주는 개략적인 블록 다이어그램이다. 상기 비디오 프로세싱 회로(900)는 도 1 내지 8을 참조하여 앞서 설명된 본 발명의 SMG 또는 AVP 시스템들을 지원한다. 비디오 프로세싱 회로(900)는 소프트웨어 명령들(software instructions) 및 프로세스 데이터를 함께 저장하고 실행하는 프로세싱 회로(910) 및 로컬 스토리지(930)를 포함한다. 프로세싱 회로(910)는 마이크로 프로세서, 디지털 신호 프로세서, 주문형 반도체(application specific integrated circuitry), 또는 데이터를 처리하고 소프트웨어 동작들을 실행하도록 동작할 수 있는 다른 유형의 회로들일 수 있다. 로컬 스토리지(930)는 램(random access memory(전기 및 자기 램)), 롬(read only memory), 하드 디스크 드라이브, 옵티컬 드라이브, 및/또는 데이터 및 소프트웨어 프로그램들을 저장할 수 있는 다른 스토리지 중의 하나 또는 그 이상일 수 있다.
상기 비디오 프로세싱 회로(900)는 디스플레이 인터페이스(920), 하나 또는 그 이상의 사용자 인터페이스들(917), 및 하나 또는 그 이상의 통신 인터페이스들(980)을 더 포함한다. SMG 시스템을 실행할 때, 상기 비디오 프로세싱 회로(900)는 비디오 카메라 및/또는 비디오 카메라 인터페이스(990)를 포함한다. 상기 비디오 프로세싱 시스템(900)은 비디오 데이터의 풀 프레임들의 시퀀스를 수신한다. 상기 비디오 카메라가 상기 비디오 프로세싱 회로(900)와 함께 포함할 때, 상기 비디오 카메라는 풀 프레임들 비디오 데이터의 시퀀스를 캡쳐한다. 비디오 데이터의 풀 프레임들의 시퀀스는 원 비디오 프레임들(115)로 로컬 스토리지(930)에 저장된다. 상기 디스플레이 인터페이스(920)는 상기 비디오 프로세싱 회로(900)에 의해 직접적으로 서비스되는 하나 또는 그 이상의 디스플레이들에 결합된다. 상기 사용자 입력 인터페이스(917)는 키보드, 마우스 또는 다른 사용자 입력 디바이스와 같은 하나 또는 그 이상의 사용자 입력 디바이스들에 결합된다. 상기 통신 인터페이스(들)(980)은 데이터 네트워크에, DVD 라이터(writer)에, 또는 정보가 상기 비디오 프로세싱 회로(900)로 들어오고 상기 비디오 프로세싱 회로(900)로부터 쓰여지도록 허용하는 다른 통신 링크에 결합될 수 있다.
상기 로컬 스토리지(930)는 상기 프로세싱 회로(910)에 의해 실행될 수 있는 운영 시스템(operating system, 940)을 저장한다. 마찬가지로, 로컬 스토리지(930)는 SMG 기능성 및/또는 AVP 기능성(950)을 활성화하는(enable) 소프트웨어 명령들을 저장한다. 프로세싱 회로(910)에 의해, 상기 SMG 및/또는 AVP 소프트웨어 명령 들(950)의 실행시에, 비디오 프로세싱 회로(900)는 상기 SMG 기능성 및/또는 AVP 기능성의 동작들을 실행한다.
비디오 프로세싱 회로(900)는 캡쳐(capture) 또는 생성(creation)후에 원 비디오 프레임들(11)(소스 비디오, 인코딩되거나 디코딩된) 및 서브-프레임 메타데이터(15)(유사 디스플레이 메타데이터 및/또는 목표 디스플레이 메타데이터)를 저장한다. 상기 비디오 프로세싱 회로(900)가 상기 SMG 시스템을 실행할 때, 상기 비디오 프로세싱 회로(900)는 상기 메타데이터(15)를 만들고 그것을 서브-프레임 메타데이터(15)로서 로컬 스토리지에 저장한다. 상기 비디오 프로세싱 회로(900)가 상기 AVP 시스템을 실행할 때, 상기 비디오 프로세싱 회로(900)는 통신 인터페이스(980)를 통하여 또한 수신된 원 비디오 프레임들(또는 소스 비디오(12 또는 14))을 프로세싱함에 그 후의 사용을 위한 통신 인터페이스(980)를 통하여 서브-프레임 메타데이터(15)를 수신할 수 있다. 상기 비디오 프로세싱 회로(900)는 또한 실행시 인코더 및/또는 디코더 동작들(960)을 활성화하는(enable) 소프트웨어 명령들을 로컬 스토리지(930)에 저장한다.
하나의 특정 동작에서, 상기 프로세싱 회로(910)는, 비디오 데이터의 서브-프레임들의 제1 시퀀스와 비디오 데이터의 서브-프레임들의 제2 시퀀스를 생성하기 위해서 비디오에 디코딩 및 서브-프레임 처리 동작들을 적용한다. 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는, 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스의 영역과는 다른, 비디오 데이터의 풀 프레임들의 시퀀스 내에서의 영역에 상응한다. 나아가, 상기 프로세싱 회로(910)는 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스를 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스와 결합함으로써 비디오 데이터의 서브-프레임들의 제3 시퀀스를 생성한다.
상기 프로세싱 회로(910)는 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 인코딩할 수 있다. 상기 디코딩 및 서브-프레임 처리는 상기 프로세싱 회로(910) 및 인코더/디코더(960)에 의해 순서대로(in sequence) 적용될 수 있다. 상기 프로세싱 회로(910)에 의해 적용되는 디코딩 및 서브-프레임 처리는 통합(integrated)될 수 있다. 상기 프로세싱 회로는 서브-프레임 메타데이터(15)에 따라 상기 서브-프레임 처리를 수행할 수 있다. 상기 프로세싱 회로(910)는 상기 서브-프레임 처리를 수행하기 전에 목표 디스플레이 디바이스의 특성에 기초한 서브-프레임 메타데이터를 가공(tailor)할 수 있다. 상기 프로세싱 회로(910)는 목표 디스플레이 디바이스의 특성에 기초한 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 편집할 수 있다.
다른 동작에 따라, 상기 프로세싱 회로(910)는 비디오 데이터의 서브-프레임들의제2 시퀀스 및 비디오 데이터의 서브-프레임들의 제2 시퀀스를 생성하기 위해서브-프레임 처리를 원 비디오 프레임들(11)에 적용한다. 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는 적어도 제1 파라미터에 의해 정의되고 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스는 적어도 제2 파라미터에 의해 정의된다. 상기 적어도 제1 파라미터 및 적어도 제2 파라미터는 함께 메타데이터(15)이다. 상기 프로세싱 회로(910)는 상기 서브-프레임 처리를 위하여 상기 메타데이터(15)를 수신하고 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스를 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스와 결합함에 의해 비디오 데이터의 서브-프레임들의 제3 시퀀스를 생성한다. 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스는 목표 디스플레이 상에의 프리젠테이션을 위하여 제공(deliver)될 수 있다. 상기 프로세싱 회로(910)는 상기 서브-프레임 처리를 수행하기 전에 상기 메타데이터를 가공할 수 있다. 상기 프로세싱 회로(910)는 목표 디스플레이 상에의 프리젠테이션을 위하여 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 적응시킬 수 있다.
도 10은 본 발명의 일 실시예에 따라 구성되고 동작하는 적응 비디오 프로세싱 회로(adaptive video processing circuitry)(비디오 플레이어, 비디오 디스플레이, 또는 비디오 플레이어 시스템과 같은 클라이언트 시스템의)를 보여주는 개략적인 블록 다이어그램이다. 상기 적응 프로세싱 회로(1000)는 디코더(1002), 메타데이터 프로세싱 회로(1004), 메타데이터 스토리지/가공 회로(1006), 관리 회로(1008), 및 비디오 스토리지(1014)를 포함한다. 상기 적응 프로세싱 회로(1000)는 목표 디스플레이 가공 회로(1010) 및 인코더(1012)를 또한 포함할 수 있다. 상기 적응 프로세싱 회로(1000)는 비가공 소스 비디오(16), 인코딩된 소스 비디오(14), 유사 디스플레이 메타데이터(16), 및/또는 목표 디스플레이 정보(20)를 수신한다.
상기 적응 비디오 프로세싱 회로(1000)의 디코더(1002)는 비가공 비디오(raw video)를 만들어 내기 위하여 인코딩된 소스 비디오(14)를 수신하고 상기 인코딩된 소스 비디오(14)를 디인코딩(de-encode)한다. 다르게는, 상기 비가공 소스 비디 오(raw source video, 16)는 상기 적응 비디오 프로세싱 회로(1000)에 의해 직접적으로 수신된다. 상기 비가공 비디오(16)는 비디오 스토리지(1014)에 의해 저장될 수 있다. 메타데이터 가공 회로(1006)는 상기 유사 디스플레이 메타데이터(16)를 수신하고 관리 회로는 목표 디스플레이 정보(20) 및 DRM/빌링 데이터(1016)를 수신한다. 관리 회로는 DRM/빌링 데이터(1016)를 빌링/DRM 서버(36)와 또한 교환할 수 있다.
동작들에서, 상기 메타데이터 프로세싱 회로(1004)는 목표 디스플레이 가공 회로(1010)에 출력을 만들어 내기 위하여 비가공 비디오 및 메타데이터(15)(유사 디스플레이 메타데이터(16) 또는 가공된 메타데이터(32))를 처리한다. 메타데이터 가공 회로(1006)는 유사 디스플레이 메타데이터(16)를 수신하고, 관리 회로(1008)로부터 수신된 인터페이스 데이터에 기초하여, 상기 가공된 메타데이터(32)를 만들어 낸다. 상기 관리 회로(1008)는 상기 목적 디스플레이 정보(20) 및 상기 DRM/빌링 데이터(1016)를 수신하고 상기 메타데이터 가공 회로(1006), 상기 디코더(1002), 상기 메타데이터 프로세싱 회로(1004), 및 상기 목표 디스플레이 가공 회로(1010) 중 하나 또는 그 이상에 출력을 만들어 낸다. 메타데이터 가공 회로(1006)로부터 수신된 가공된 메타데이터(32)에 기초한 상기 메타데이터 프로세싱 회로(1004)는 목표 디스플레이 비디오(36)를 만들어 내기 위하여 상기 목표 디스플레이 가공 회로(1010)에 의해 더 가공될 수 있는 출력을 만들어 내도록 상기 비가공 비디오를 처리한다. 상기 목표 디스플레이 비디오(36)는 상기 인코딩된 목표 디스플레이 비디오(34)를 만들어 내기 위하여 상기 인코더(1012)에 의해 인코딩될 수 있다.
도 10의 적응 프로세싱 회로(1000)의 구성요소들 각각은 그것이 수신하는 입력들 중의 어떤 것 또는 모두에 기초하는 동작을 가질 수 있다. 예를 들면, 디코더(1002)는 관리 회로(1008)에의해 수신된 정보에 기초한 상기 인코딩된 소스 비디오(14)를 인코딩하기 위해 그의 동작들을 가공할 수 있다. 이 프로세싱은 상기 목표 디스플레이 정보(20)에 기초할 수 있다. 나아가, 상기 메타데이터 가공 회로(1006)는 상기 가공된 메타데이터(32)를 만들어 내기 위하여, 관리 회로(1008)로부터 수신된 정보에 기초한 상기 유사 디스플레이 메타데이터(16)를 수정할 수 있다. 상기 메타데이터 가공 회로(1006)에 의해 관리 회로(1008)로부터 수신된 정보는 목표 디스플레이 정보(20)에 기초한다. 상기 유사 디스플레이 메타데이터(16)는 유사한 특성들(properties)을 갖는 목표 디스플레이들의 그룹 또는 분류(classification)에 상응할 수 있다. 그러나, 상기 적응 프로세싱 회로(1000)는 특정 목표 디스플레이에 각각 가공된 메타데이터(32)를 만들어 내도록 요구한다. 그리하여, 상기 메타데이터 가공 회로(1006)는 상기 가공된 메타데이터(32)를 만들어 내기 위하여 상기 유사 디스플레이 메타데이터(16)를 수정하도록 상기 목표 디스플레이 정보(20) 및 관리 회로(1008)에 의해 만들어진 관련 정보에 기초하여 상기 유사 디스플레이 메타데이터(16)를 수정한다.
상기 메타데이터 프로세싱 회로(1004)는 상기 유사 디스플레이 메타데이터(16)에 기초한 디스플레이 비디오를 만들어 내기 위해 상기 비가공 비디오를 수정할 수 있다. 다르게는, 상기 메타데이터 프로세싱 회로(1004)는 상기 가공된 메 타데이터(32)에 기초한 출력을 만들어 내기 위하여 상기 비가공 비디오를 만들어 낸다. 그러나, 상기 메타데이터 프로세싱 회로(1004)는 최종적인 형태(final form)에서 디스플레이 비디오를 만들어 내지 않을 수 있다. 그리하여, 상기 목표 디스플레이 가공 회로(1010)는 상기 목표 디스플레이 비디오(36)를 만들어 내기 위해 상기 디스플레이 비디오를 더 가공하도록 관리 회로(1008)(상기 목표 디스플레이 정보(20)에 기초한)에 의해 그것에 제공되는 부가적 정보를 사용할 수 있다. 상기 목표 디스플레이 가공 회로(1010)에 의해 수행된 가공은 또한 인코더(1012)에 의해 만들어진 인코딩된 목표 디스플레이 비디오(34)에서 나타난다.
비디오 스토리지(1014)는 비가공 소스 비디오(16)를 저장하고 인코딩된 소스 비디오를 또한 저장할 수 있다. 상기 비디오 스토리지(1014)는 클라이언트 시스템(1000)으로 입력되는 상기 비가공 소스 비디오(16)를 수신할 수 있다. 다르게는, 상기 비디오 스토리지(1014)는 디코더(1002)의 출력으로부터 상기 비가공 비디오를 수신할 수 있다. 메타데이터 프로세싱 회로(1004)는 외부 소스(outside source)로부터 또는 비디오 스토리지(1014)로부터 수신된 비가공 비디오를 처리한다(operate upon). 상기 관리 회로(1008)는 디지털 권한 관리 및 빌링 동작들을 수행하기 위해 도 1의 빌링/DRM 서버(36)과 상호작용한다(interact). 디지털 권한 관리 및 빌링 동작들을 수행할 시, 상기 관리 회로(1008)는 DRM/빌링 데이터를 상기 빌링/DRM 서버(36)와 교환할 것이다.
도 11은 본 발명의 일 실시예에 따라 비디오 프로세싱을 위한 프로세스를 보여주는 플로우 챠트이다. 본 발명에 따른 비디오 프로세싱 회로의 동작들(1100)은 비디오 데이터를 수신하는 것으로(단계 1110)로 시작한다. 상기 비디오 데이터가 인코딩된 포맷으로 수신될 때, 상기 비디오 프로세싱 회로는 상기 비디오 데이터를 디코딩한다(단계 1112). 그 후 상기 비디오 프로세싱 회로는 메타데이터를 수신한다(단계 1114). 이 메타데이터는 여기에서 앞서 설명된 일반적인 메타데이터, 유사 메타데이터(similar metadata), 또는 가공된 메타데이터(tailored metadata)일 수 있다. 유사 메타데이터 또는 일반적인 메타데이터가 수신될 때, 도 11의 동작은 목표 디스플레이 정보에 기초한 메타데이터를 가공하는 단계(단계 1116)를 포함한다. 단계 1116은 선택적이다.
그 후, 도 11의 동작은 상기 메타데이터에 기초한 비디오 데이터를 서브-프레임 처리(sub-frame processing)하는 것(단계 1118)을 포함한다. 그후, 동작은 목표 디스플레이 정보(20)에 기초한 단계 1118에서 만들어진 비디오 데이터의 서브-프레임들의 출력 시퀀스를 가공하는 것(단계 1120)을 포함한다. 단계 1120의 동작은 비디오 데이터의 서브-프레임들의 가공된 출력 시퀀스를 만들어 낸다. 그 후, 비디오 데이터의 서브-프레임들의 이러한 출력 시퀀스는 선택적으로 인코딩된다(단계 1122). 마지막으로, 비디오 데이터의 서브-프레임들의 시퀀스는 스토리지로의 출력, 네트워크를 통한 목표 디바이스로의 출력, 또는 다른 방식(fashion) 또는 다른 장소(locale)로의 출력이다(단계 1124).
도 11의 하나의 특수한 실시예에 따라, 비디오 프로세싱 시스템은 비디오 데이터의 풀 프레임들의 시퀀스를 대표하는 비디오 데이터를 수신한다. 상기 비디오 프로세싱 시스템은 그후 비디오 데이터의 서브-프레임들의 제1 시퀀스와 비디오 데 이터의 서브-프레임들의 제2 시퀀스를 생성하기 위해 상기 비디오 데이터를 서브-프레임 처리한다(sub-frame process). 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는 적어도 제1 파라미터에 의해 정의되고, 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스는 적어도 제2 파라미터에 의해 정의되고, 그리고 상기 적어도 제1 파라미터 및 상기 적어도 제2 파라미터는 함께 메타데이터를 포함한다. 상기 비디오 프로세싱 시스템은 그 후 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스를 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스와 결합시킴으로써 비디오 데이터의 서브-프레임들의 제3 시퀀스를 생성한다.
이 실시예로써, 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는 비디오 데이터의 풀 프레임들의 시퀀스 내에서의 제1 영역에 상응할 수 있고 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스는 비디오 데이터의 풀 프레임들의 시퀀스 내에서의 제2 영역에 상응할 수 있다. 여기서 상기 제1 영역은 상기 제2 영역과 다르다.
도 12는 본 발명의 일 실시예에 따라 구성되고 동작하는 결합된 비디오/메타데이터 분배 서버를 보여주는 기능적 블록 다이어그램이다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 몇몇의 실시예들에서, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 범용 마이크로프로세서(general purpose microprocessor), 전용 마이크로프로세서(special purpose microprocessor), 디지털 신호 프로세서(digital signal processor), 주문형 반도체(application specific integrated circuit), 또는 소프트웨어 명령들을 실행하고 데이터를 처리하여 도 1 내지 11 및 15 내지 16에 대해 설명된 기능들을 수행하도록 동작할 수 있는 다른 디지털 로직(digital logic)이다. 본 발명의 결합된 비디오/메타데이터 분배 서버(1400)의 구조의 한 예는 도 14에 보여지고, 이는 거기에(thereto) 참조하여 여기에서(herein) 더 설명되어질 것이다.
상기 결합된 비디오/메타데이터 분배 서버(10c)는 복수의 입력들 중 하나 또는 그 이상을 수신하고 복수의 출력들 중의 하나 또는 그 이상을 만들어 낸다. 일반적으로, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 비디오 데이터(11)의 풀 프레임들의 시퀀스, 메타데이터(15), 및 목표 디스플레이 정보(20)를 수신한다. 비디오 데이터(11)의 풀 프레임들의 시퀀스는 인코딩된 소스 비디오(12) 또는 비가공 소스 비디오(14)일 수 있다. 비디오 데이터(11)의 풀 프레임들의 시퀀스는 도 3 내지 9를 참조하여 더 설명된 비디오 카메라 또는 캡쳐 시스템에 의해 캡쳐도리 수 있는 것들이다. 비디오 데이터(11)의 풀 프레임들의 시퀀스는 카메라로부터 직접적으로 수신될 수 있거나, 서버와 같은 스토리지 디바이스로부터 수신될 수 있거나, DVD와 같은 매체를 통하여 수신될 수 있다.
상기 결합된 비디오/메타데이터 분배 서버(10c)는 유선 또는 무선 연결을 통하여 카메라로부터 직접적으로 비디오 데이터(11)의 풀 프레임들의 시퀀스를 수신할 수 있거나, 유선 또는 무선 연결을 통하여 스토리지 디바이스로부터 비디오 데이터(11)의 풀 프레임들의 시퀀스를 수신할 수 있다. 상기 유선 또는 무선 연결은 무선 근거리 통신망(WLAN), 광역 통신망(WAN), 인터넷, 근거리 통신망(LAN), 위성 통신망(satellite network), 케이블 통신망(cable network), 또는 이들 통신망 유형들의 조합 중의 하나 또는 조합에 의해 서비스될 수 있다.비디오 데이터(11)의 풀 프레임들의 시퀀스의 수신시, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 메모리에 비디오 데이터의 풀 프레임들의 시퀀스를 저장할 수 있거나, 요구되는 임시 스토리지를 사용하여 비디오 데이터(11)의 풀 프레임들의 시퀀스를 즉시 처리(operate upon)할 수 있다.
상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 수신되는 제2 입력은 메타데이터(15)이다. 상기 메타데이터(15)는 유사 디스플레이 메타데이터(16) 및/또는 목표 디스플레이 메타데이터(18)를 포함한다. 일반적으로, 그리고 도 2 내지 11을 참조하여 여기에서 설명되는 것과 같이, 메타데이터(15)는 하나 또는 그 이상의 목표 비디오 디바이스들 상에 디스플레이를 위해 의도된 출력을 만들어 내기 위하여 비디오 데이터(11)의 풀 프레임들의 시퀀스를 수정하도록 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 사용되는 정보이다. 상기 메타데이터(15)가 비디오 데이터(11)의 풀 프레임들의 시퀀스를 수정하기 위해 사용하는 방식은 도 6 내지 10을 참조하여 특별히 설명되었고 도 15 및 16을 참조하여 더 설명될 것이다. 상기 유사 디스플레이 메타데이터(16) 및 상기 목표 디스플레이 메타데이터(18)의 타이틀들로부터 명백하듯이, 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 수신된 특정 메타데이터는 특히 목표 디스플레이 방향으로 향해질 수 있고 일반적으로 목표 디스플레이들의 그룹 방향으로 향해질 수 있다. 예를 들면, 상기 유사 디스플레이 메타데이터(16)는 유사 디스플레이들의 그룹을 위하여 특정 메타데이터 를 포함할 수 있다. 그러한 유사 디스플레이들은 일반적인 스크린 해상도들(screen resolutions), 일반적인 영상비들, 및/또는 상기 그룹들에게 일반적인 다른 특성들을 가질 수 있다. 상기 목표 디스플레이 메타데이터(18)는 목표 비디오 플레이어의 하나의 특정 목표 디스플레이에 상응한다. 상기 목표 디스플레이 메타데이터(18)는 목표 디스플레이 비디오를 만들어 내도록 비디오 데이터(11)의 풀 프레임들의 시퀀스를 수정하는 데에 사용하기 위하여 특별히 가공된다.
상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 수신될 수 있는 부가적 입력은 목표 디스플레이 정보(20)이다. 상기 목표 디스플레이 정보(20)는 목표 비디오 플레이어의 목표 디스플레이의 스크린 해상도, 상기 목표 비디오 플레이어의 목표 디스플레이의 영상비, 상기 목표 비디오 플레이어의 목표 디스플레이에 의해 수신되는 비디오 데이터의 정보의 포맷, 또는 상기 목표 비디오 플레이어의 목표 디스플레이에 특유의(specific) 정보를 포함할 수 있다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 비디오 데이터의 풀 프레임들의 시퀀스 및 상기 메타데이터(15) 중 어느 하나/둘다의 추가 수정(further modification)을 위하여 또는 목표 비디오 플레이어의 특정 목표 디스플레이에의 출력 비디오를 가공하기 위하여 상기 목표 디스플레이 정보(20)를 사용할 수 있다.
그것의 다양한 동작들에서, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 DRM/빌링 신호들(38) 뿐만 아니라 두가지 유형의 비디오 출력들을 만들어 낸다. 출력의 제1 유형(31)은 인코딩된 소스 비디오(14), 비가공 소스 비디오(16), 유사 디스플레이 메타데이터(16), 및 목표 디스플레이 메타데이터(32)를 포함한다. 상기 인코딩된 소스 비디오(14)는 출력으로서 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 간단하게 계속 공급된다(fed through). 마찬가지로, 상기 비가공 소스 비디오(16)는 출력으로서 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 간단하게 계속 공급된다(fed through). 상기 목표 디스플레이 메타데이터(18)는 계속 공급(fed through)되거나 상기 유사 디스플레이 메타데이터(16) 및/또는 상기 목표 디스플레이 정보(20)에 기초한 상기 목표 디스플레이 메타데이터(18)를 프로세싱함에 의해 생성된다. 상기 목표 디스플레이 메타데이터(18)는 상기 목표 디스플레이에 가공된 비디오를 만들기위하여 목표 디스플레이를 갖는 목표 비디오 플레이어 시스템에 의해 사용될 수 있다. 상기 목표 비디오 플레이어 시스템은 상기 목표 디스플레이 디바이스를 위하여 디스플레이 정보를 만들 때 상기 인코딩된 소스 비디오(12) 및 상기 비가공 소스 비디오(14) 중의 하나 또는 그 이상과 함께 상기 목표 디스플레이 메타데이터(18)를 사용할 수 있다.
상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 만들어지는 출력의 제2 유형은 인코딩된 목표 디스플레이 비디오(34) 및/또는 목표 디스플레이 비디오(36)를 포함하는 디스플레이 비디오(33)이다. 이들 출력들(34 및 36)은 목표 비디오 플레이어 시스템의 목표 디스플레이 상에서의 프리젠테이션을 위하여 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 생성된다. 각각의 상기 인코딩된 목표 비디오(34) 및 상기 목표 디스플레이 비디오(36)는 상기 비디오 입력(11), 상기 메타데이터(15), 및 목표 디스플레이 정보(20)에 기초하여 만들어진다. 상기 인코딩된 목표 디스플레이 비디오(34) 및 상기 목표 디스플레이 비디오(36)가 만들어 지는 방식은 상기 결합된 비디오/메타데이터 분배 서버(10c)의 특정 동작들에 의존한다. 상기 결합된 비디오/메타데이터 분배 서버(10c)의 이들 특정 동작들의 몇몇은 여기에서 도 15 내지 16을 참조하여 더 설명될 것이다.
상기 결합된 비디오/메타데이터 분배 서버(10c)의 관리 회로(30c)는 비디오 프로세싱 동작들, 메타데이터 프로세싱 동작들, 목표 디스플레이 정보 프로세싱 동작들, DRM 동작들, 및 빌링 동작들을 수행한다. 상기 결합된 비디오/메타데이터 분배 서버(10c)의 DRM 동작은 상기 입력되는 소스 비디오(11) 및 상기 입력되는 메타데이터(15) 뿐만 아니라 상기 출력들(31 및 33)을 고려한다. 소유자들의 지적 재산권익(intellectual property interests)을 어기지 않도록 보장하기 위해 상기 DRM 동작들은 떨어진 DRM/빌링 서버(36) 및/또는 다른 디바이스들과 함께 동작할 수 있다.
상기 관리 회로(30c)의 빌링 동작들은 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 수행되는 동작들을 위하여 구매자 빌링(subscriber billing)을 개시한다. 예를 들면, 목표 비디오 플레이어 시스템(클라이언트 시스템)의 사용자는 비가공 소스 비디오(14)로부터 목표 디스플레이 비디오(36)를 준비하기 위해 상기 결합된 비디오/메타데이터 분배 서버(10c)를 요청한다. 상기 관리 회로(30c)의 DRM 동작들은 상기 구매자(목표 비디오 플레이어 시스템)가 상기 비가공 소스 비디오(14), 상기 메타데이터(15), 그리고 상기 목표 디스플레이 비디오(36)를 생성하기 위해 사용될 목표 디스플레이 정보(20)를 억세스할 권한들을 가지는지를 먼저 결정한다. 그 후, 상기 관리 회로(30c)의 빌링 동작들은 빌링 동작들을 초기화하 고, 상기 구매자들에게 지불 청구되도록 할 수 있거나 그렇지 않고 만약 어떤 비용들이 억세스될 수 있다면 주의받도록 할 수 있다.
상기 결합된 비디오/메타데이터 분배 서버(10c)의 동작의 일 실시예로, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 인코딩된 소스 비디오(12)를 수신한다. 상기 결합된 비디오/메타데이터 분배 서버(12c)는 그 후 상기 인코딩된 소스 비디오(12)를 디인코딩한다(de-endecode). 상기 결합된 비디오/메타데이터 분배 서버(10c)는 그 후 목표 디스플레이 비디오(36)를 만들기 위하여 메타데이터(15) 및/또는 목표 디스플레이 정보(20)를 사용하여 상기 디인코딩된 소스 비디오를 처리한다(operate upon). 그 후, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 상기 인코딩된 목표 디스플레이 비디오(34)를 만들기 위하여 상기 목표 디스플레이 비디오(36)를 인코딩한다. 상기 인코딩된 목표 디스플레이 비디오(34)는 목표 디스플레이 상에의 프리젠테이션을 위하여 특별히 만들어진다. 그리하여, 상기 목표 디스플레이 메타데이터(18) 및/또는 상기 목표 디스플레이 정보(20)는 특정 목표 비디오 디바이스 및 상응하는 목표 디스플레이에 가공되는 목표 디스플레이 비디오를 만들기 위해 상기 비인코딩된(unencoded) 소스 비디오를 처리하기 위해 사용된다. 상기 목표디스플레이 비디오는 상기 목표 디스플레이에 상응하는 해상도, 영상비, 프레임 레이트 등을 갖는다. 인코딩된 목표 소스 비디오(34)가 만들어질 때, 그것은 상기 목표 디스플레이에 가공되는 인코딩 포맷 뿐만 아니라 이들 특징들(properties)을 갖는다.
상기 결합된 비디오/메타데이터 분배 서버(10c)의 동작의 다른 예에서, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 비가공 소스 비디오(14)를 수신한다. 상기 비가공 소스 비디오(14)는 비디오 데이터의 풀 프레임들의 시퀀스를 포함한다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 목표 디스플레이 비디오(36)를 만들기 위해 상기 비가공 소스 비디오(14), 상기 메타데이터(15), 및 상기 목표 디스플레이 정보(20)를 처리한다. 상기 인코딩된 목표 디스플레이 비디오(34)를 만드는 동작과는 대조적으로 상기 결합된 비디오/메타데이터 분배 서버(10c)는 상기 목표 디스플레이(36)를 인코딩하지 않는다.
상기 결합된 비디오/메타데이터 분배 서버(10c)의 다른 동작으로, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 유사 비디오 메타데이터(16) 및 목표 디스플레이 정보(20)를 수신한다. 상기 결합된 비디오/메타데이터 분배 서버(10c)에 의해 수신된 상기 유사 디스플레이 메타데이터(16)는 목표 비디오 플레이어의 목표 디스플레이에 특수하지 않고 몇몇의 일반적인 특성들을 갖는 비디오 디스플레이들의 클래스(class)에 특수하다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 하나 또는 그 이상의 특정 목표 비디오 디스플레이들에게 특수한 가공된 메타데이터(32)를 만들어 내도록 상기 목표 디스플레이 정보(20)에 기초한 상기 유사 디스플레이 메타데이터(16)를 수정하기 위해 메타데이터 프로세싱 동작들을 사용한다.
이 결합된 비디오/메타데이터 분배 서버(10c)는 인코딩된 목표 비디오(34) 및/또는 목표 디스플레이 비디오(36)를 만들어 내기 위해 메타데이터 및 소스 비디오를 처리할 수 있고 그것을 이후의 분배를 위하여 저장한다. 예를 들면, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 제1 목표 디스플레이 비디오 플레이어를 위한 목표 디스플레이 비디오(33)를 만들어 내기 위해서 요청되고, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 만들어진 목표 디스플레이 비디오(33)의 카피(copy)를 저장한다. 그 후, 연속되는 동작 동안, 다른 목표 비디오 플레이어/클라이언트 시스템이 대응되는(equivalent) 비디오 디스플레이를 위한 목표 디스플레이 비디오를 요청할 때, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 상기 이전의 생성된 저장된 비디오를 억세스하고 상기 저장된 비디오를 상기 요청 클라이언트 시스템에 분배한다. 상기 결합된 비디오/메타데이터 분배 서버(10c)는 상기 관리 회로(30c)가 만들어 내는 목표 디스플레이 메타데이터(18)를 위하여 이들 동작들을 더 수행할 수 있다. 그리하여, 예를 들면, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 목표 디스플레이 정보(20)에 기초한 목표 디스플레이 메타데이터(18)를 만들어 내기 위해 유사 디스플레이 메타데이터(16)를 처리하고, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 그것의 메모리에 상기 목표 디스플레이 메타데이터(18c)의 카피를 저장한다. 그 후에, 상기 결합된 비디오/메타데이터 분배 서버(10c)는 상기 목표 디스플레이 메타데이터(18c)를 다른 요청 클라이언트 시스템에 분배한다.
도 13은 본 발명의 일 실시예에 따라 구성되고 동작하는 메타데이터 분배 서버를 보여주는 기능적인 블록 다이어그램이다. 상기 메타데이터 분배 서버(10b)는 유사 디스플레이 메타데이터(16b), 목표 디스플레이 메타데이터(18b), 목표 디스플레이 정보(20b), DRM 데이터(1302), 및 빌링 데이터(1304)를 저장하고 분배한다. 상기 메타데이터 분배 서버(10b)는 메타데이터 프로세싱 동작들, 목표 디스플레이 정보 프로세싱 동작들, DRM 동작들, 및 빌링 동작들을 수행하는 관리 회로(30b)를 더 포함한다. 상기 메타데이터 분배 서버(10)의 물리적 구조는 도 14의 결합된 비디오/메타데이터 분배 서버(1400)가 포함하고, 거기에 참조하여 여기에서 더 설명되어지는 것과 같이 상기 동일/유사 구조의 구성요소들을 포함한다.
그의 동작시, 상기 메타데이터 분배 서버(10b)는 유사 디스플레이 메타데이터(16) 및 목표 디스플레이 메타데이터(18)를 포함할 수 있는 메타데이터를 수신한다. 상기 메타데이터 분배 서버(10b)는 유사 디스플레이 메타데이터(16b)로서 상기 유사 디스플레이 메타데이터(16)를 저장하고 목표 디스플레이 메타데이터(18b)로서 목표 디스플레이 메타데이터(18)를 저장한다. 상기 메타데이터 분배 서버(10b)는 상기 서브-프레임 메타데이터(16b 및 18b)를 출력(31)(디스플레이 메타데이터(16) 및 목표 디스플레이 메타데이터(18))으로 단순히 서브할 수 있다. 나아가, 그의 동작시에, 상기 메타데이터 분배 서버(10b)는 상기 목표 디스플레이 메타데이터(18b)를 만들어 내기 위해 상기 유사 디스플레이 메타데이터(16b)를 처리할 수 있다. 상기 목표 디스플레이 메타데이터(18b)를 만들어 내기 위해 상기 유사 디스플레이 메타데이터(16b)의 그러한 프로세싱은 입력으로서 수신되는 목표 디스플레이 정보(20b)에 기초되고 관리 회로(30b)에 의해 메타데이터 프로세싱 동작들이 수행된다. 그 후, 상기 메타데이터 분배 서버(10b)는 상기 목표 디스플레이 메타데이터(18b)를 분배한다.
상기 메타데이터 분배 서버(10b)는 그의 관리 회로(30b) 동작들을 사용하여 DRM 및 빌링 동작들을 또한 지원한다. 이 동작의 일 예에서, 클라이언트 시스템은 메타데이터 분배 서버(10b)가 상기 클라이언트 시스템에 의해 비디오 데이터의 서브-프레임 처리를 수행함에 사용되도록 목표 디스플레이 메타데이터를 제공하는 것을 요청한다. 그러나, 상기 메타데이터 분배 서버(10b)가 상기 목표 디스플레이 메타데이터(18)를 상기 요청 클라이언트 시스템에 서브하기 전에, 상기 관리 회로(30b)의 DRM 및 빌링 동작들은 상기 클라이언트 시스템이 상기 목표 디스플레이 메타데이터(18)을 수신할 권한들을 가지는지를 결정한다. 상기 클라이언트 시스템이 상기 목표 디스플레이 메타데이터(18)를 수신할 권한들을 가지는지를 결정할 때, 상기 메타데이터 분배 서버(10b)는 DRM/빌링 신호(signaling)(38)를 통하여 DRM/빌링 정보를 교환하기 위해 빌링/DRM 서버(36)와 상호작용(interact)할 수 있다. 상기 메타데이터 분배 서버(10b)는 그 후 상기 목표 디스플레이 메타데이터(18)를 상기 요청 클라이언트 시스템에 제공하고 그 후의 빌링 및 DRM 동작들을 위하여 이들 동작들을 책임진다(account for).
도 14는 본 발명의 일 실시예에 따라 구성되고 동작하는 메타데이터 분배 서버를 보여주는 개략적인 블록 다이어그램이다. 본 발명에 따라 구성되는 비디오 분배 서버(10a) 및/또는 메타데이터 분배 서버(10b)의 구조는 단지 제공되는 다른 기능들과 유사 구성을 가질 것이다. 상기 결합된 비디오/ 메타데이터 분배 서버(1400)는 프로세싱 회로(1402), 로컬 스토리지(1404), 디스플레이 인터페이스(1406), 하나 또는 그 이상의 사용자 입력 인터페이스들(1408), 및 하나 또는 그 이상의 통신 버스들(buses)에 의해 결합된 하나 또는 그 이상의 통신 인터페이스들(1410)을 포함한다. 상기 프로세싱 회로(1402)는 마이크로프로세서, 디지털 신호 프로세서, 애플리케이션 전용 프로세서(application specific processor), 하나 또는 그 이상의 상태 기계들(state machines), 및/또는 본 발명의 동작들을 수행하기 위해 데이터를 처리하고 소프트웨어 명령들을 실행할 수 있는 임의의 유형의 회로를 포함할 수 있다. 상기 로컬 스토리지(1404)는 RAM, ROM, 하드 디스크 드라이브, 광 디스크 드라이브, 및/또는 데이터 및 소프트웨어 명령들을 저장할 수 있는 다른 유형의 스토리지들 중의 하나 또는 그 이상을 포함한다. 상기 프로세싱 회로(1402) 및 로컬 스토리지(1404) 사이의 상호 작용은 명령들 및 데이터가 상기 로컬 스토리지(1404)와 상기 프로세싱 회로(1402) 간에 전송되도록 한다. 데이터 및 소프트웨어 명령들의 이러한 전송으로, 상기 프로세싱 회로(1402)는 본 발명의 티칭들(teachings)을 활성화하기 위해 논리적 동작들을 실행할 수 있다.
상기 디스플레이 인터페이스(1406)는 사용자에게 결합된 비디오/메타데이터 분배 서버(1400)와 상호작용하도록 허용하는 하나 또는 그 이상의 비디오 디스플레이들을 지원한다. 사용자 입력 인터페이스들(1408)은 키보드들, 컴퓨터 마우스, 보이스 인터페이스들, 및/또는 사용자에게 상기 결합된 비디오/메타데이터 분배 서버(1400)에 데이터로 명령들을 입력하도록 허용하는 다른 유형의 인터페이스들과 같은 하나 또는 그 이상의 사용자 입력 디바이스들을 지원한다. 통신 인터페이스들(1410)은 본 발명에의 동작들의 수행을 위하여 다른 디바이스들로 상기 결합된 비디오/메타데이터 분배 서버(1400)를 인터페이스한다. 도 1을 잠시 참조하면, 상기 결합된 비디오/메타데이터 분배 서버(1400)(10c)는 상기 통신 기반구조(156)를 통하여 서브들(10a 및 10b) 및 비디오 플레이어들(20, 26, 및 28)과 인터페이스한 다. 나아가, 상기 통신 인터페이스(1410)는 결합된 비디오/메타데이터 분배 서버(1400)(10c) 및 플레이어 정보 서버(34) 및 빌링/DRM 서버들(36) 간에 통신을 지원한다.
다시 도 14를 참조하면, 상기 로컬 스토리지(1404)는 실행시, 부가적 동작들 뿐 아니라 본 발명에 따른 동작들을 지원하는 소프트웨어 명령들 및 데이터를 저장한다. 상기 로컬 스토리지(1404)는 일반적으로 상기 결합된 비디오/메타데이터 분배 서버(1400)의 동작들을 활성화하는 운영 시스템(1412)을 저장한다. 로컬 스토리지(1404)는 인코딩된 소스 비디오(12) 및 비가공 소스 비디오(14) 중의 하나 또는 그 이상을 포함하는 소스 비디오(11)를 저장한다. 로컬 스토리지(1404)는 유사 디스플레이 메타데이터(16) 및 목표 디스플레이 메타데이터(18) 중의 하나 또는 그 이상을 포함하는 서브-프레임 메타데이터(15)를 저장한다. 로컬 스토리지(1404)는 목표 디스플레이 정보(20)를 저장한다. 나아가, 상기 로컬 스토리지(1404)는 유사 디스플레이 비디오(1416) 및 목표 디스플레이 비디오(1418)를 저장한다. 최종적으로, 로컬 스토리지(1404)는 DRM/빌링 데이터(1420)를 저장한다.
상기 로컬 스토리지(1404)는 또한 상기 결합된 비디오/메타데이터 분배 서버(1400)의 동작들을 지원하는 소프트웨어 명령들 및 데이터를 저장한다. 이들 동작들은 인코딩/디코딩 동작들(1422), 서브-프레임 처리 동작들(1424), 메타데이터 프로세싱 동작들(1426), DRM 동작들(1428), 및/또는 빌링 동작들(1430)을 포함한다. 이들 동작들(1422 내지 1430) 및 상기 저장된 데이터(11, 15, 20, 1414, 및 1420)는, 상기 결합된 비디오/메타데이터 분배 서버(1400)가 도 1 내지 13을 참조하여 앞서 설명되었고 도 15 및 16을 참조하여 계속해서 설명될 본 발명의 동작을 지원할 수 있게 한다.
도 15는 본 발명의 일 실시예에 따른 메타데이터/비디오 분배 및 프로세싱 동작들을 보여주는 플로우 챠트이다. 동작은 상기 분배 서버가 비디오 시퀀스들을 수신하고 저장하는 것으로 시작한다(단계 1502). 상기 비디오 시퀀스들은 원 비디오 시퀀스 또는 앞서 처리된 서브-프레임 비디오 시퀀스들일 수 있다. 상기 분배 서버는 그 후 메타데이터를 수신하고 저장한다(단계 1502). 상기 메타데이터는 목표 디스플레이들(클라이어트 시스템들)의 클래스에 또는 목표 클라이언트 시스템들의 특정 디스플레이들에 상응한다.
동작은 상기 분배 서버가 클라이언트 시스템으로부터 메타데이터 요청을 수신하는 것으로 계속된다(단계 1504). 이 메타데이터 요청은 클라이언트 시스템의 목적 디스플레이의 메이크 및 모델, 특정 확인 메타데이터, 또는 디스플레이들의 클래스를 위한 일반적인 메타데이터 요청을 포함할 수 있다. 다음으로, 상기 요청된 메타데이터를 획득할 권한들을 상기 요청 클라이언트 시스템이 가지는지를 결정하기 위해 상기 분배 서버는 디지털 권한 관리 동작들을 수행한다(단계 1506). 만약 상기 요청 클라이언트 시스템이 상기 메타데이터를 획득할 권한들을 가지지 않는다면, 단계 1506으로부터의 동작은 종료된다. 그러나, 만약 상기 클라이언트 시스템이 상기 메타데이터를 획득할 그러한 권한들을 갖는다면, 상기 분배 서버는 빌링 동작들을 수행한다(단계 1508). 이들 빌링 동작들로, 상기 분배 서버는 상기 클라이언트 시스템이 앞서 상기 요청된 메타데이터에 대해 지불했는지를 결정할 수 있다. 다르게는, 상기 분배 서버는 상기 요청 클라이언트 시스템이 상기 메타데이터를 수신하기 위해 부가적으로 지불해야 한다는 것을 결정할 수 있고 그러한 부가적 빌링이 수행되도록 하는 빌링 동작들을 수행한다.
그 후, 상기 분배 서버는 메모리로부터 상기 요청된 메타데이터를 검색(retrieve)한다(단계 1510). 그러나, 상기 분배 서버는 그것이 상기 정확한 요청된 메타데이터를 가지지 않는다는 것을 결정할 수 있다. 그러한 경우에, 상기 분배 서버는 가공된 메타데이터(32)를 만들어 내기 위해, 메모리로부터 유사 메타데이터(16)를 검색하고 그 후 클라이언트 시스템 특성들/목표 디스플레이 정보에 기초한 유사 메타데이터를 가공한다(단계 1512). 그 후, 상기 분배 서버는 상기 메타데이터를 상기 클라이언트 시스템으로 전송한다(단계 1514). 상기 전송된 메타데이터는 상기 유사 디스플레이 메타데이터(16) 및/또는 상기 목표 디스플레이 메타데이터(18) 중의 하나 또는 그 이상일 수 있다. 나아가, 상기 분배 서버가 비디오 데이터를 저장할 때, 단계 1514에서 상기 분배 서버는 요청된 비디오 시퀀스를 상기 클라이언트 시스템으로 전송할 수 있다. 그 후, 상기 클라이언트 시스템은 그의 상응하는 디스플레이용의 가공된 비디오를 만들어 내기 위해 상기 메타데이터를 사용한다(단계 1516). 단계 1516으로부터, 동작은 끝난다.
도 16은 본 발명의 일 실시예에 따른 메타데이터/비디오 분배 및 프로세싱 동작을 보여주는 플로우 챠트이다. 도 16의 동작들(1600)은 상기 분배 서버가 선택적으로 비디오 시퀀스를 수신하고 저장하는 것으로 시작한다(단계 1602). 그 후, 동작(1600)은 상기 분배 서버가 메타데이터를 수신하고 저장하는 것으로 계속된다 (단계 1604). 다음으로, 상기 분배 서버는 클라이언트 시스템으로부터 가공된 비디오를 수신한다(단계 1606). 이러한 요청은 상응하는 디스플레이의 일련번호, 상응하는 디스플레이의 메이크 및 모델, 또는 상기 분배 서버에게 그것이 상기 클라이언트 시스템에 제공해야 하는 서브-프레임 처리된 비디오의 특정 버젼인지를 결정하도록 허용하는 다른 정보에 기초한 클라이언트 시스템을 확인할 수 있다.
상기 분배 서버는 그 후 단계 1608에서의 DRM 동작들 및 단계 1610에서의 빌링 동작들을 수행한다. 단계들 1608 및 1610 중의 하나에서, 상기 분배 서버는 상기 요청 클라이언트 시스템이 상기 요청된 가공된 비디오를 수신할 권한들을 가지는지를 결정할 수 있고 동작이 그 지점에서 끝나도록 할 수 있다. 다르게는, 상기 분배 서버는 상기 요청 클라이언트 시스템이 상기 요청된 가공된 비디오 및 빌을 획득할 권한들을 가지는지를 결정할 있고 그에 따라서 지시한다.
상기 분배 서버는 그 후 메모리로부터 메타데이터를 검색하고(단계 1612), 메모리로부터 비디오 시퀀스를 또한 검색한다(단계 1614). 그 후, 선택적으로, 상기 분배 서버는 클라이언트 시스템/목표 디스플레이 특성들에 기초한 메타데이터를 가공한다(단계 1616). 도 1 내지 15를 참조하여 여기에서 앞서 설명된 바와 같이, 상기 분배 서버에 의해 수행된 프로세싱은 어떤 특정 시퀀스에서 많은 다른 형태들 중의 하나를 취할 수 있다. 예를 들면, 상기 분배 서버는 메모리로부터 소스 비디오를 검색할 수 있고 상기 소스 비디오를 처리할 수 있다. 다르게는, 상기 분배 서버는 상기 요청된 가공된 비디오가 메모리에 저장되는지를 결정할 수 있고 단계 1612에서 그러한 가공된 비디오를 간단히 검색할 수 있다. 나아가, 상기 분배 서버 는 메모리로부터 가공된 메타데이터 또는 유사 디스플레이 메타데이터를 억세스할 수 있다. 유사 디스플레이 메타데이터가 메모리로부터 억세스될 때, 상기 분배 서버는 상기 클라이언트 시스템 특성들에 기초한 메타데이터를 선택적으로 가공하기 위해 단계 1616의 동작들을 실행한다. 나아가, 상기 분배 서버가 상기 가공된 비디오 요청을 충족시킬 저장된 가공된 비디오를 갖지 않을 때, 상기 클라이언트 시스템(단계 1606), 상기 분배는 상기 클라이언트 시스템들의 디스플레이용의 가공된 비디오 시퀀스를 생성하기 위해 가공된 메타데이터 또는 유사 메타데이터를 사용한다(단계 1618). 그 후, 상기 분배 서버는 상기 클라이언트 시스템에 상기 가공된 비디오 시퀀스를 전송한다(단계1620). 단계 1620으로부터, 동작은 종료된다.
당해 기술 분야에서 통상의 기술을 가진 자에게는, 여기에서 사용될 수 있는 용어들인 "동작적으로 결합된" 및 "통신상으로 결합된"은 직접적인 결합 및 다른 구성요소(component), 소자(element), 회로(circuit), 또는 모듈(module)을 통한 간접적인 결합을 포함한다. 여기에서, 간접적인 결합을 위하여, 개재되는 구성요소, 소자, 회로, 또는 모듈은 신호의 정보를 수정하지는 않고 그것의 전류 레벨, 전압 레벨, 및/또는 파워 레벨을 조정할 수 있다. 당해 기술 분야에서 통상의 지식을 가진 자가 알 수 있는 바와 같이, 추론된 결합(inferred coupling)(예를 들면, 하나의 소자가 추론(inference)에 의해 다른 소자에 결합되는)은 두 소자들 간에 "동작적으로 결합된" 또는 "통신상으로 결합된"에서와 똑같은 방식으로 결합된 직접 및 간접적인 결합을 포함한다.
본 발명은 또한 상술된 기능들과 거기에서의 관련 사항들의 수행을 보여주는 방법 단계들의 도움으로 설명되었다. 이들 기능적인 빌딩 블록들(functional building blocks) 및 방법 단계들의 범위들(boundaries) 및 시퀀스(sequence)는 설명의 편의를 위해 임의로 정의되어졌다. 치환 범위들(alternate boundaries) 및 시퀀스들은 상술된 기능들 및 관련 사항들이 적절하게 수행되는 한 정의될 수 있다. 그러한 치환 범위들 및 시퀀스들은 따라서 청구된 발명의 범위와 사상 내에 있다.
본 발명은 일정한 중요한 기능들의 수행을 보여주는 기능적인 빌딩 블록들의 도움으로 위에서 설명되어졌다. 이들 기능적인 빌딩 블록들의 범위들은 설명의 편의를 위해 임의로 정의되어졌다. 치환 범위들은 상기 일정한 중요한 기능들이 적절히 수행되는 한 정의될 수 있다. 유사하게, 흐름도(flow diagram) 블록들(blocks)은 또한 일정한 중요한 기능성을 설명하기 위해 여기에서 임의로 정의되었다. 사용되는 정도까지는, 상기 흐름도 블록 범위들 및 시퀀스는 정의될 수 있고 그렇지 않더라도 여전히 상기 일정한 중요한 기능성을 수행한다. 기능적 빌딩 블록들 및 흐름도 블록들 및 시퀀스들의 그러한 정의는 따라서 청구되는 발명의 범위 및 사상 내에 있다.
당해 기술 분야에서 통상의 지식을 가진 자는, 또한 상기 기능적인 빌딩 블록들, 그리고 다른 도해 블록들, 모듈들 및 여기에서의 구성요소들은 도해(illustrate)로 또는 분리된 구성요소들, 주문형 반도체들, 적절한 소프트웨어를 실행하는 프로세서들 등 또는 거기에서의 임의의 조합에 의해 구현될 수 있다는 것을 알 수 있을 것이다.
더구나, 전술한 실시예들로 명확성 및 이해의 목적을 위해 상세히 설명되어 졌으나, 본 발명은 그러한 실시예들로 제한되지는 않는다. 이후의 청구범위들의 범위에 의해 단지 제한되는 바, 본 발명의 사상 및 영역 내에서 다양한 변화들(changes) 및 개조들(modifications)이 실행될 수 있음은 본 발명의 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
상술한 바와 같이, 본 발명은 서브-프레임 메타데이터 분배 서버를 제공함으로써, 종래 기술의 제한들 및 단점들을 해결하는 효과를 갖는다.

Claims (10)

  1. 비디오 데이터(video data)의 풀 프레임들(full frames)의 시퀀스를 나타내는 인코딩된 비디오 데이터를 처리하는(operate on) 비디오 서버에서, 상기 비디오 서버는,
    통신 인터페이스;
    인코딩된 비디오 데이터 및 서브-프레임 메타데이터(sub-frame metadata)를 저장하도록 동작할 수 있는 메모리;
    상기 통신 인터페이스 및 상기 메모리에 결합된 프로세싱 회로(processing circuitry)를 포함하며,
    상기 프로세싱 회로는,
    비디오 데이터의 풀 프레임들의 시퀀스를 생성하기 위해 상기 인코딩된 비디오 데이터를 디코딩하고;
    비디오 데이터의 서브-프레임들의 제1 시퀀스와 비디오 데이터의 서브-프레임들의 제2 시퀀스를 생성하기 위해 상기 서브-프레임 메타데이터에 기초하여 비디오 데이터의 풀 프레임들의 시퀀스를 서브-프레임 처리(sub-frame process)하고, 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스의 영역과는 다른, 비디오 데이터의 풀 프레임들의 시퀀스 내에서의 영역에 상응하며;
    비디오 데이터의 서브-프레임들의 상기 제1 시퀀스를 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스와 결합함에 의해 비디오 데이터의 서브-프레임들의 제3 시퀀스를 생성하고;
    목표 디스플레이 디바이스의 특성에 기초하여 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 가공하며;
    상기 서브-프레임 처리를 수행하기 전에 상기 목표 디스플레이 디바이스의 특성에 기초하여 서브-프레임 메타데이터를 가공하며;
    상기 통신 인터페이스를 통하여 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 전송(transmit)하도록 동작가능한 것을 특징으로 하는 비디오 서버.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 프로세싱 회로에 의해 적용되는 디코딩 및 서브-프레임 처리는 통합되는 것을 특징으로 하는 비디오 서버.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 복수의 비디오 시퀀스들 각각은 일련의 비디오 데이터의 풀 프레임들을 나타내고, 클라이언트 시스템을 위한 상기 복수의 비디오 시퀀스들을 지원하는, 통신 네트워크에 통신상으로 결합된 분배 서버에서, 상기 분배 서버는,
    프로세싱 회로;
    상기 통신 네트워크를 통하여 상기 프로세싱 회로를 상기 클라이언트 시스템과 통신상으로 결합하는 통신 인터페이스 회로; 및
    상기 복수의 비디오 시퀀스들에 관련되는 복수의 서브-프레임 메타데이터를 포함하는 메모리;
    를 포함하여 상기 클라이언트 시스템과 협력(cooperate)하되,
    상기 프로세싱 회로는 비디오 데이터의 서브-프레임들의 제1 시퀀스와 비디오 데이터의 서브-프레임들의 제2 시퀀스를 생성하기 위해 상기 서브-프레임 메타데이터에 기초하여 비디오 데이터의 풀 프레임들의 시퀀스를 서브-프레임 처리(sub-frame process)하고, 비디오 데이터의 서브-프레임들의 상기 제1 시퀀스는 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스의 영역과는 다른, 비디오 데이터의 풀 프레임들의 시퀀스 내에서의 영역에 상응하며;
    비디오 데이터의 서브-프레임들의 상기 제1 시퀀스를 비디오 데이터의 서브-프레임들의 상기 제2 시퀀스와 결합함에 의해 비디오 데이터의 서브-프레임들의 제3 시퀀스를 생성하고;
    상기 클라이언트 시스템의 디스플레이 디바이스 특성에 기초하여 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 가공하며;
    상기 서브-프레임 처리를 수행하기 전에 목표 디스플레이 디바이스의 특성에 기초하여 서브-프레임 메타데이터를 가공하며;
    상기 통신 인터페이스 회로를 통해 비디오 데이터의 서브-프레임들의 상기 제3 시퀀스를 전송(transmit)하도록 동작가능한 분배 서버.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020070061853A 2006-06-23 2007-06-22 서브-프레임 메타데이터 분배 서버 KR100909440B1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US11/474,032 2006-06-23
US11/474,032 US20070268406A1 (en) 2006-05-22 2006-06-23 Video processing system that generates sub-frame metadata
US11/491,051 2006-07-20
US11/491,050 US7953315B2 (en) 2006-05-22 2006-07-20 Adaptive video processing circuitry and player using sub-frame metadata
US11/491,051 US20080007649A1 (en) 2006-06-23 2006-07-20 Adaptive video processing using sub-frame metadata
US11/491,019 2006-07-20
US11/491,019 US7893999B2 (en) 2006-05-22 2006-07-20 Simultaneous video and sub-frame metadata capture system
US11/491,050 2006-07-20
US11/506,719 US20080007651A1 (en) 2006-06-23 2006-08-18 Sub-frame metadata distribution server
US11/506,719 2006-08-18

Publications (2)

Publication Number Publication Date
KR20070122175A KR20070122175A (ko) 2007-12-28
KR100909440B1 true KR100909440B1 (ko) 2009-07-28

Family

ID=38535972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070061853A KR100909440B1 (ko) 2006-06-23 2007-06-22 서브-프레임 메타데이터 분배 서버

Country Status (5)

Country Link
US (1) US20080007651A1 (ko)
EP (1) EP1871109A3 (ko)
KR (1) KR100909440B1 (ko)
HK (1) HK1115702A1 (ko)
TW (1) TW200818913A (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) * 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
US9998802B2 (en) * 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7769756B2 (en) * 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US7975062B2 (en) 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
US9143818B1 (en) * 2006-09-11 2015-09-22 Nokia Corporation Remote access to shared media
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
AU2007306939B2 (en) 2006-10-11 2012-06-07 Tagmotion Pty Limited Method and apparatus for managing multimedia files
FR2917204B1 (fr) * 2007-06-05 2011-07-01 Airbus France Procede et dispositif d'acquisition, enregistrement et exploitation de donnees captees dans un aeronef
WO2009045636A2 (en) 2007-09-28 2009-04-09 Dolby Laboratories Licensing Corporation Multimedia coding and decoding with additional information capability
JP5138048B2 (ja) * 2007-12-19 2013-02-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応性動き推定
US8433812B2 (en) * 2008-04-01 2013-04-30 Microsoft Corporation Systems and methods for managing multimedia operations in remote sessions
US8171148B2 (en) 2009-04-17 2012-05-01 Sling Media, Inc. Systems and methods for establishing connections between devices communicating over a network
CN101998137B (zh) * 2009-08-21 2016-09-07 华为技术有限公司 视频质量参数获取方法和装置及电子设备
US8621099B2 (en) * 2009-09-21 2013-12-31 Sling Media, Inc. Systems and methods for formatting media content for distribution
KR101552649B1 (ko) * 2009-10-30 2015-09-18 삼성전자 주식회사 전자 장치로부터 호스트 장치로 보호 문서의 전송을 가능하게 하기 위한 방법 및 시스템
US9015225B2 (en) 2009-11-16 2015-04-21 Echostar Technologies L.L.C. Systems and methods for delivering messages over a network
JP2011113401A (ja) * 2009-11-27 2011-06-09 Sony Corp 情報処理装置、情報処理方法、コンピュータプログラム及び情報処理サーバ
US9178923B2 (en) 2009-12-23 2015-11-03 Echostar Technologies L.L.C. Systems and methods for remotely controlling a media server via a network
US9275054B2 (en) 2009-12-28 2016-03-01 Sling Media, Inc. Systems and methods for searching media content
US9113185B2 (en) 2010-06-23 2015-08-18 Sling Media Inc. Systems and methods for authorizing access to network services using information obtained from subscriber equipment
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US8646013B2 (en) 2011-04-29 2014-02-04 Sling Media, Inc. Identifying instances of media programming available from different content sources
US11818607B2 (en) 2011-10-26 2023-11-14 Dish Network Technologies India Private Limited Apparatus systems and methods for proximity-based service discovery and session sharing
US11477694B1 (en) 2021-08-27 2022-10-18 Dish Wireless L.L.C. User plane function (UPF) load balancing based on central processing unit (CPU) and memory utilization of the user equipment (UE) in the UPF
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9866789B2 (en) * 2015-02-25 2018-01-09 Echostar Technologies L.L.C. Automatic program formatting for TV displays
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10397291B1 (en) 2017-03-29 2019-08-27 Twitch Interactive, Inc. Session-specific streaming content replacement
US10326814B1 (en) 2017-03-29 2019-06-18 Twitch Interactive, Inc. Provider-requested streaming content replacement
US10313412B1 (en) * 2017-03-29 2019-06-04 Twitch Interactive, Inc. Latency reduction for streaming content replacement
US10728568B1 (en) * 2018-03-22 2020-07-28 Amazon Technologies, Inc. Visual element encoding parameter tuning
US11790677B2 (en) 2020-10-01 2023-10-17 Bank Of America Corporation System for distributed server network with embedded image decoder as chain code program runtime
US11582641B1 (en) 2021-08-12 2023-02-14 Dish Wireless L.L.C. User plane function (UPF) load balancing based on current UPF load and thresholds that depend on UPF capacity
US11627492B2 (en) 2021-08-26 2023-04-11 Dish Wireless L.L.C. User plane function (UPF) load balancing based on special considerations for low latency traffic
US11483738B1 (en) 2021-08-26 2022-10-25 Dish Wireless L.L.C. User plane function (UPF) load balancing based on network data analytics to predict load of user equipment
US11595851B1 (en) 2021-08-27 2023-02-28 Dish Wireless L.L.C. User plane function (UPF) load balancing supporting multiple slices
US11950138B2 (en) 2021-11-17 2024-04-02 Dish Wireless L.L.C. Predictive user plane function (UPF) load balancing based on network data analytics

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010047517A1 (en) * 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
US20050091696A1 (en) * 2003-09-15 2005-04-28 Digital Networks North America, Inc. Method and system for adaptive transcoding and transrating in a video network

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141693A (en) * 1996-06-03 2000-10-31 Webtv Networks, Inc. Method and apparatus for extracting digital data from a video stream and using the digital data to configure the video stream for display on a television set
FR2805651B1 (fr) * 2000-02-24 2002-09-13 Eastman Kodak Co Procede et dispositif pour presenter des images numeriques sur un ecran de faible definition
US6901110B1 (en) * 2000-03-10 2005-05-31 Obvious Technology Systems and methods for tracking objects in video sequences
US6931661B2 (en) * 2000-10-19 2005-08-16 Motorola, Inc. Dynamic image provisioning
US6961754B2 (en) * 2001-01-12 2005-11-01 Telefonaktiebolaget Lm Ericsson Interactive access, manipulation, sharing and exchange of multimedia data
KR100440953B1 (ko) * 2001-08-18 2004-07-21 삼성전자주식회사 영상 압축 비트 스트림의 트랜스코딩 방법
US20040024652A1 (en) * 2002-07-31 2004-02-05 Willms Buhse System and method for the distribution of digital products
JP2004120404A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像配信装置および画像処理装置並びにプログラム
JP4250458B2 (ja) * 2003-05-30 2009-04-08 キヤノン株式会社 映像システムの映像表示方法及び画像処理装置
JP2006039919A (ja) * 2004-07-27 2006-02-09 Pioneer Electronic Corp 画像共有表示システム、画像共有機能付端末、及びコンピュータプログラム
JP4656912B2 (ja) * 2004-10-29 2011-03-23 三洋電機株式会社 画像符号化装置
US8024768B2 (en) * 2005-09-15 2011-09-20 Penthera Partners, Inc. Broadcasting video content to devices having different video presentation capabilities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010047517A1 (en) * 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
US20050091696A1 (en) * 2003-09-15 2005-04-28 Digital Networks North America, Inc. Method and system for adaptive transcoding and transrating in a video network

Also Published As

Publication number Publication date
TW200818913A (en) 2008-04-16
EP1871109A2 (en) 2007-12-26
EP1871109A3 (en) 2010-06-02
KR20070122175A (ko) 2007-12-28
HK1115702A1 (en) 2008-12-05
US20080007651A1 (en) 2008-01-10

Similar Documents

Publication Publication Date Title
KR100909440B1 (ko) 서브-프레임 메타데이터 분배 서버
KR100906957B1 (ko) 서브-프레임 메타데이터를 이용한 적응 비디오 프로세싱
KR100912599B1 (ko) 풀 프레임 비디오 및 서브-프레임 메타데이터를 저장하는이동가능한 미디어의 프로세싱
KR100904649B1 (ko) 서브-프레임 메타데이터를 이용한 적응적 비디오 프로세싱회로 및 플레이어
KR100836667B1 (ko) 비디오와 서브프레임 메타데이터의 동시 캡쳐 시스템
KR100915367B1 (ko) 서브-프레임 메타데이터를 생성하는 영상 처리 시스템
JP5627860B2 (ja) 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
US20060193524A1 (en) Image display method, image coding apparatus, and image decoding apparatus
CN101094407B (zh) 视频电路、视频系统及其视频处理方法
KR20100127237A (ko) 콘텐츠 데이터를 제공하는 장치 및 방법
CN100587793C (zh) 视频处理方法、电路和系统
JP6016860B2 (ja) 立体映像配信システム、立体映像配信方法、立体映像配信装置
JP2016015766A (ja) 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
JP2011066612A (ja) ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120713

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130712

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee