KR20090084904A - 미디어 데이터의 최적화된 컨텐츠-기반 및 로열티-기반 인코딩 및 분배 - Google Patents

미디어 데이터의 최적화된 컨텐츠-기반 및 로열티-기반 인코딩 및 분배 Download PDF

Info

Publication number
KR20090084904A
KR20090084904A KR1020097010988A KR20097010988A KR20090084904A KR 20090084904 A KR20090084904 A KR 20090084904A KR 1020097010988 A KR1020097010988 A KR 1020097010988A KR 20097010988 A KR20097010988 A KR 20097010988A KR 20090084904 A KR20090084904 A KR 20090084904A
Authority
KR
South Korea
Prior art keywords
media
encoding
tools
tool
content
Prior art date
Application number
KR1020097010988A
Other languages
English (en)
Other versions
KR101007173B1 (ko
Inventor
오너 지 굴러유즈
엠 레하 키반라
Original Assignee
가부시키가이샤 엔티티 도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔티티 도코모 filed Critical 가부시키가이샤 엔티티 도코모
Publication of KR20090084904A publication Critical patent/KR20090084904A/ko
Application granted granted Critical
Publication of KR101007173B1 publication Critical patent/KR101007173B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

컨텐츠-기반 및 로열티-기반 인코딩을 수행하는 방법 및 장치가 여기서 개시된다. 일 실시형태에서, 이 방법은 하나 이상의 인코딩 툴 중 적어도 하나 및 하나 이상의 인코딩 툴 각각에 대한 대응하는 디코딩 툴과 연관된 로열티 비용, 대응하는 디코딩 툴 각각이 생성하는 디코딩된 미디어 품질, 및 하나 이상의 전송 대역폭 제약에 기초하여 미디어를 인코딩하기 위해 하나 이상의 인코딩 툴을 선택하는 단계; 하나 이상의 인코딩 툴을 이용하여, 미디어 컨텐츠에 따라 미디어를 인코딩하는 단계; 및 하나 이상의 인코딩 툴 중 적어도 하나에 의해 발생되는 인코딩된 데이터를 송신하는 단계를 포함한다.
인코딩 툴, 로열티 비용, 디코딩된 미디어 품질, 전송 대역폭,

Description

미디어 데이터의 최적화된 컨텐츠-기반 및 로열티-기반 인코딩 및 분배{OPTIMIZED CONTENT-BASED AND ROYALTY-BASED ENCODING AND DISTRIBUTION OF MEDIA DATA}
우선권
본 특허출원은 2007년 1월 29일에 출원되고 발명의 명칭이 "Optimized Content-based and Royalty-Based Encoding and Distribution of Media Data"인 대응하는 미국 가특허출원 제 60/898,324호를 우선권 주장하며, 이를 참조로서 통합한다.
발명의 기술분야
본 발명은 미디어 데이터의 인코딩 및 분배의 기술분야에 관한 것이고, 더 상세하게는, 본 발명은 미디어 데이터의 컨텐츠-기반 및 로얄티-기반 인코딩에 관한 것이다.
발명의 배경기술
미디어 코딩 및 전달이 최근 몇년 사이에 상당한 발전을 보였다. 미디어 표준을 정의하는 압축 및 전송 툴의 병합에 의해, 오늘날 엔드-투-엔드 전달에 있어 광범위한 효율에 대응하는 광범위한 툴을 사용하여 다양한 네트워크를 통해 미디어를 전송할 수 있다. 최고 효율 미디어 전달과 관련되면, 통상적으로 높은 로열티/라이센싱 비용을 갖는 더욱 최근의 최신식 툴에 종종 한정된다. 한편, 약간의 비효율이 허용되면, 감소된 로열티 비용으로 또는 어떠한 로열티 비용 없이도 전달을 달성하는 것이 가능할 수도 있다.
미디어 표준만이 표준 내에서 정의된 프로파일을 통해 이러한 트레이드-오프의 매우 제한된 이용을 허용한다. 또한, 이러한 트레이드-오프를 실현하기 위해 상이한 표준들 중에서 선택할 수 있다. 그러나, 프로파일 및 상이한 표준을 통해 이용가능한 다른 방법은 모든 애플리케이션에 대해서는 거의 의미없거나 종종 매우 의미없다. 범용 컴퓨팅 디바이스가 더욱 더 널리 퍼지면서, 이러한 트레이드-오프의 최적 실현을 허용하는 연속적인 선택으로부터 이득을 얻을 수 있는 많은 시나리오가 있다는 것이 명백하다.
종래의 해결책은, 인코더가 미디어를 전달하는데 이용할 수 있는 매우 제한적이고 대략적인 옵션 세트를 정의한다. 인코더가 주어진 표준의 주어진 프로파일을 이용하면, 그 프로파일에서의 모든 툴의 이용을 커버하는 고정된 라이센스 비용으로 미디어 전달이 달성될 수 있다. 인코더는, 예를 들어, 전달될 미디어의 컨텐츠, 디코더에서의 원하는 미디어 품질, 및 전송 매체의 유효 대역폭에 기초하여 라이센싱 비용을 최적화할 수 없다. 이 상황은 인코더가 상이한 미디어 코딩 표준 중에서만 선택할 수 있는 경우와 유사하다.
미디어 표준에 포함된 툴은 표준화 프로세스 동안에 선택되고 규범적이라고 선언된다. 이 프로세스는 미디어 코딩의 모든 바람직한 이용을 대략적으로만 수용할 수 있는 방식으로 발생한다. 많은 우수한 툴이 모든 구상된 시나리오에 적용가능하지 않고, 모든 구상된 하드웨어 플랫폼에 대한 효율적인 구현을 위해 수 정가능하지 않으며, 감소된 코딩 효율을 갖는 등의 이유로 최종 선택에 포함되지 않는다.
현재, 미디어 코딩 표준 내에서 규범적이라고 선택된 툴의 일부는 다른 규범적 툴보다 훨씬 더 자주 이용된다. 그러나, 표준 라이센싱으로부터 획득된 수익 풀 (pool of revenue) 로부터의 몫은 다른 툴과 동일하거나 더욱 더 작을 수 있다.
현재 기술을 이용하는 미디어 인코딩은 종종 표준을 라이센싱하고 이 표준의 특허 풀 및/또는 개인 IP 보유자를 운영하는 조직에 로열티를 지불하는 것을 요청한다. 일단 이것이 행해지면, 컨텐츠 소유자로부터 라이센스를 획득함으로써 미디어가 인코딩된다.
발명의 개요
컨텐츠-기반 및 로열티-기반 인코딩을 수행하는 방법 및 장치가 본 명세서에서 개시된다. 일 실시형태에서, 이 방법은 하나 이상의 인코딩 툴 중 적어도 하나 및 하나 이상의 인코딩 툴 각각에 대한 대응하는 디코딩 툴과 연관된 로열티 비용, 대응하는 디코딩 툴 각각이 생성하는 디코딩된 미디어 품질, 및 하나 이상의 전송 대역폭 제약에 기초하여 미디어를 인코딩하기 위해 하나 이상의 인코딩 툴을 선택하는 단계; 하나 이상의 인코딩 툴을 이용하여, 미디어 컨텐츠에 따라 미디어를 인코딩하는 단계; 및 하나 이상의 인코딩 툴 중 적어도 하나에 의해 발생되는 인코딩된 데이터를 송신하는 단계를 포함한다.
도면의 간단한 설명
본 발명은 이하에 제공되는 상세한 설명 및 본 발명의 다양한 실시형태의 첨부 도면으로부터 보다 완전히 이해되지만, 이는 본 발명을 특정 실시형태로 제한하려고 취해져서는 안되고, 오직 설명 및 이해를 위한 것이다.
도 1 은 미디어를 인코딩 및 전송하기 위한 프로세스의 일 실시형태의 흐름도이다.
도 2 는 상이한 디바이스 및 애플리케이션을 타깃으로 하는 미디어 인코딩의 상이한 실시예를 도시한 블록도이다.
도 3 은 각 인코딩을 발생시키는데 요구되는 결합된 로열티 비용을 도시한다.
도 4 는 미디어를 인코딩 및 전송하기 위한 프로세스의 다른 실시형태의 흐름도이다.
도 5 는 미디어의 디코딩에 이용되는 툴에 대한 의존성 체인의 일 실시예를 도시한다.
도 6 은 동등한 기능성의 툴의 예시적인 세트를 도시한다.
도 7 은 미디어 데이터의 세그먼트로의 예시적인 시간적 분해이다.
도 8 은 세그먼트에 대한 인증서의 예시적인 발생을 도시한다.
도 9 는 인코딩된 미디어로부터
Figure 112009032294508-PCT00001
를 획득하기 위한 예시적인 기술을 도시한다.
도 10 은 세그먼트에 대한 예시적인 달성가능한 면을 도시한다.
도 11 은 쌍방향 (pair-wise) 의존성을 나타낸 달성가능한 면으로부터의 예 시적인 절단면을 도시한다.
도 12 는 컴퓨터 시스템의 일 실시형태의 블록도이다.
도 13 은 컨텐츠 분배 시스템의 다른 실시형태를 도시한다.
본 발명의 상세한 설명
미디어 데이터를 인코딩 및 분배하는 방법 및 시스템을 설명한다. 일 실시형태에서, 본 명세서에서 설명하는 기술은, 미디어를 인코딩 및/또는 디코딩하는데 이용되는 툴의 로열티 비용이 디코딩된 미디어 품질 및 전송 대역폭 제약과 관련하여 고려되게, 미디어를 인코딩하도록 설계된다. 일 실시형태에서, 인코딩은, 동일한 디코딩된 미디어 품질로, 높은 대역폭 환경에 대해 인코딩된 미디어가 더 낮은 효율이지만 감소된 로열티 비용 툴을 이용하여 디코딩될 수 있는 한편, 낮은 대역폭 환경에 대해 인코딩된 미디어는 더 높은 효율이지만 증가된 로열티 비용 툴을 이용하여 디코딩될 수 있도록 이루어진다. 이러한 인코딩은 디코딩된 미디어 품질, 유효 전송 대역폭, 및 로얄티 비용에 의해 형성된 트리플릿 값의 허용 범위에 대한 최적 미디어 인코딩 포인트를 설명하는 함수에 대해 성능을 최적화함으로써 행해질 수 있다. Ω 이 가능한 툴 세트를 결정하게 하고,
Figure 112009032294508-PCT00002
가 값 ρ의 벡터에 대한 툴 파라미터 세트를 갖는 툴의 주어진 서브세트 ω에 대해 각각 품질, 대역폭, 및 로얄티 비용을 표시하게 한다. 이후, 일 실시형태에서, 대역폭 및 로열티 비용의 각 타깃 쌍
Figure 112009032294508-PCT00003
에 대해, 이러한 함수는 최적 미디어 인코딩 포인트
Figure 112009032294508-PCT00004
를 획득하기 위해
Figure 112009032294508-PCT00005
를 풀어 최적 품질 포인트를 결정한다.
예를 들어, 대응하는 라그랑지 승수 γ와 함께 요구되는 버퍼 사이즈를 결정하는 변수 b 를 상기 수학식에 도입함으로써, 즉,
Figure 112009032294508-PCT00006
를 통해 버퍼 제약을 통합시키는 방식으로 최적화가 행해질 수 있다. 부등식에 기초한 제약을 허용하는 다른 공지의 최적화 공식화도 이용될 수 있다. 유사한 방식으로, (예를 들어, 메모리 제약, 계산 복잡도 제약, 디코딩 지연 제약 등과 같은) 다른 인코딩/디코딩 제약이 또한 최적화에 도입될 수 있다. 이 기술은 지적재산권 (IP) 의 보유자를 공평하게 보상하는 방식으로 미디어 전달이 수행되어, 디코딩된 미디어 품질 및 전송 대역폭에 대한 엄격하지 않은 제약을 갖는 사용자가 감소된 IP 비용으로부터 이득을 얻을 수 있게 하는 것을 보증한다.
다음의 설명에서, 본 발명의 더욱 완전한 설명을 제공하기 위해 수많은 세부사항이 개시된다. 그러나, 당업자에게는, 본 발명이 이들 특정 세부사항 없이도 실시될 수도 있다는 것이 명백하다. 다른 예에서, 본 발명을 불명확하게 하는 것을 피하기 위해, 공지 구조 및 디바이스는 세부적으로보다는, 블록도 형태로 도시된다.
다음의 상세한 설명의 일부분은 컴퓨터 메모리 내의 데이터 비트에 관한 동작의 심볼적인 표현 및 알고리즘의 관점에서 제시된다. 이들 알고리즘 설명 및 표현은 데이터 프로세싱 분야의 당업자에 의해 다른 당업자에게 그 연구의 요지를 가장 효과적으로 전달하기 위해 이용되는 수단이다. 알고리즘은 여기서는 일반적으로 원하는 결과에 이르는 단계의 자체적으로 일관된 시퀀스라고 인식된다. 이 단계는 물리량의 물리적 조작을 필요로 하는 것이다. 보통, 반드시 그런 것은 아니지만, 이들 물리량은 저장, 전송, 결합, 비교, 및 그렇지 않으면 조작될 수 있는 전기 또는 자기 신호의 형태를 취한다. 때때로, 주로 공동 사용의 이유로, 이들 신호를 비트, 값, 엘리먼트, 심볼, 문자, 용어, 수 등으로 지칭하는 것이 편리하다고 알려져 있다.
그러나, 이들 용어 및 유사한 용어 모두가 적절한 물리량과 연관되고 이들 물리량에 적용되는 단지 편리한 라벨이라는 것을 명심하여야 한다. 다음의 논의로부터 명백한 바와 같이 특별히 달리 기술되지 않으면, 이 상세한 설명 전체에 걸쳐, "프로세싱" 또는 "컴퓨팅" 또는 "계산" 또는 "결정" 또는 "디스플레이" 등과 같은 용어를 이용한 설명은 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전기)량으로 나타낸 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 이러한 정보 스토리지 내의 물리량으로 유사하게 나타낸 다른 데이터로 조작 및 변환하는 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 디바이스, 전송 또는 디스플레이 디바이스의 동작 및 프로세스를 지칭하는 것으로 생각된다.
본 발명은 또한 본 명세서에서의 동작을 수행하는 장치에 관한 것이다. 이 장치는 요구되는 목적을 위해 특별하게 구성될 수도 있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨터를 포함할 수도 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광학 디스크, CD-ROM, 및 자기-광학 디스크를 포함하는 임의의 유형의 디스크, ROM (read-only memory), RAM (random access memory), EPROM, EEPROM, 자기 또는 광학 카드, 또는 전자 명령을 저장하기에 적합한 임의의 유형의 매체와 같은 컴퓨터 판독가능 저장 매체에 저장될 수도 있지만, 이에 제한되지 않고, 그 각각은 컴퓨터 시스템 버스에 커플링될 수도 있다.
본 명세서에서 제시된 알고리즘 및 디스플레이는 임의의 특정 컴퓨터 또는 다른 장치에 고유하게 관련되지 않는다. 다양한 범용 시스템은 본 명세서의 교시에 따른 프로그램과 함께 이용될 수도 있거나, 요구되는 방법 단계를 수행하도록 더욱 전문화된 장치를 구성하는 것이 편리하다고 입증될 수도 있다. 다양한 이들 시스템에 요구되는 구조는 이하의 설명에서 나타난다. 또한, 본 발명은 임의의 특정 프로그래밍 언어를 참조하여 설명되지는 않았다. 본 명세서에서 설명된 바와 같이 발명의 교시를 구현하는데 다양한 프로그래밍 언어가 이용될 수도 있다고 여겨진다.
머신-판독가능 매체는 머신 (예를 들어, 컴퓨터) 에 의해 판독가능한 형태로 정보를 저장 또는 전송하기 위한 임의의 메커니즘을 포함한다. 예를 들어, 머신-판독가능 매체는 "ROM" (read only memory); "RAM" (random access memory); 자기 디스크 저장 매체; 광학 저장 매체, 플래시 메모리 디바이스; 전기, 광학, 음향 또는 다른 형태의 전파 신호 (예를 들어, 반송파, 적외선 신호, 디지털 신호 등); 등을 포함한다.
개관
미디어 데이터를 인코딩 및 분배하는 방법 및 시스템을 설명한다. 이 방법은 미디어를 인코딩 및/또는 디코딩하는데 이용되는 툴의 로열티 비용이 디코딩된 미디어 품질 및 전송 대역폭 제약과 관련하여 고려되게, 미디어 컨텐츠에 따라 미디어를 인코딩하도록 설계된다. 인코딩은, 동일한 디코딩된 미디어 품질로 높은 대역폭 환경에 대해 인코딩된 미디어가 더 낮은 효율이지만 감소된 로열티 비용 툴을 이용하여 디코딩될 수 있는 한편, 낮은 대역폭 환경에 대해 인코딩된 미디어는 더 높은 효율이지만 증가된 로열티 비용 툴을 이용하여 디코딩될 수 있도록 이루어진다. 이러한 인코딩은 디코딩된 미디어 품질, 유효 전송 대역폭, 및 로열티 비용에 의해 형성된 트리플릿 값의 허용 범위에 대한 최적 미디어 인코딩 포인트를 설명하는 함수에 대해 성능을 최적화함으로써 행해질 수 있다. 최적화는 버퍼 및 다른 인코딩/디코딩 제약을 통합하는 방식으로 행해질 수 있다. 이 시스템은 지적재산권 (IP) 의 보유자를 공평하게 보상하는 방식으로 미디어 전달이 수행되어, 디코딩된 미디어 품질 및 전송 대역폭에 대한 엄격하지 않은 제약을 갖는 사용자가 감소된 IP 비용으로부터 이득을 얻을 수 있게 하는 것을 보증한다.
일 실시형태에서, 시스템은 미디어 코딩의 툴박스를 가지고 전송 툴은 오버랩하는 기능성의 많은 툴과 함께 이용가능하다. 이 시스템은 인코딩 알고리즘에 의해 선택된 것과 같은 이용가능한 툴의 서브세트로 미디어를 인코딩한다. 서브세트에서의 툴의 정밀한 리스트는 동일한 툴박스에 액세스하는 디코더로 시그널링된다. 이후, 코딩된 미디어를 나타내는 비트-스트림은, 일정한 품질로 미 디어를 복원하기 위해 알려진 툴로 이 코딩된 미디어를 디코딩하는 디코더로 전달된다.
일 실시형태에서, 미디어 코딩에 이용되는 각 툴은 그 이용을 관리하는 일정한 로열티 비용을 가진다. 미디어 자체는 또한 컨텐츠 라이센싱 비용을 가질 수도 있다. 일 실시형태에서, 원하는 미디어 품질 레벨 및 전송 매체의 유효 대역폭이 주어지면, 이 시스템은 결합된 로열티 비용을 최소화하는 방식으로 미디어를 인코딩함으로써 최적 트레이드-오프를 발견한다. 일 실시형태에서, 이 시스템은 또한 컨텐츠 및 IP 의 소유자가 공평하게 보상되는 것을 보증한다.
도 1 은 미디어를 인코딩 및 전송하기 위한 프로세스의 일 실시형태의 흐름도이다. 이 프로세스는 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템 또는 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이 둘의 조합을 포함할 수도 있는 프로세싱 로직에 의해 수행된다.
도 1 를 참조하면, 이 프로세스는 미디어를 개별적으로 인코딩될 다수의 세그먼트로 분해하는 프로세싱 로직 (프로세싱 블록 101) 에 의해 시작된다. 이것이 필수 조건은 아니며 이 미디어는 단일 세그먼트로서 인코딩될 수도 있다.
다음으로, 프로세싱 로직은 1) 하나 이상의 인코딩 툴 중 적어도 하나 및/또는 하나 이상의 인코딩 툴 각각에 대한 대응하는 디코딩 툴과 연관된 로열티 비용, 2) 대응하는 디코딩 툴 각각이 생성하는 디코딩된 미디어 품질, 및/또는 3) 하나 이상의 전송 대역폭 제약에 기초하여 미디어를 인코딩하기 위해 하나 이상의 인코딩 툴을 선택한다 (프로세싱 블록 102). 일 실시형태에서, 상이한 인코딩 툴이 각 세그먼트에 대해 선택된다. 다른 실시형태에서, 세그먼트는 상이한 인코딩 툴을 이용하여 다수회 인코딩되어, 미디어의 세그먼트가 원하는 품질 및/또는 유효 대역폭에 따라 상이한 인코딩으로 전송되게 할 수도 있다.
일 실시형태에서, 인코딩 툴의 선택은, 유효 대역폭과 로열티 비용 중 하나 또는 둘 다의 허용 범위에 대해 품질을 최대화하거나, 품질과 유효 대역폭 중 하나 또는 둘 다의 허용 범위에 대해 로열티 비용을 최소화하거나 또는 품질과 로열티 비용 중 하나 또는 둘 다의 허용 범위에 대해 대역폭 비용을 최소화하도록 최적 툴 서브세트를 선택하는 것을 포함한다.
일 실시형태에서, 인코딩 툴의 선택은, 하나 이상의 인코딩 툴 중 적어도 하나 및 하나 이상의 인코딩 툴 각각에 대한 대응하는 디코딩 툴과 연관된 로열티 비용, 유효 전송 대역폭, 및 디코딩된 미디어 품질에 의해 형성된 트리플릿 값의 허용 범위에 대한 미디어 인코딩 포인트를 설명하는 함수에 기초하여 수행된다. 일 실시형태에서, 프로세싱 로직은 이 함수를 나타내는 3차원 그래프를 구성하며, 여기서 이 그래프는 각 세그먼트에 대한 품질, 대역폭, 및 로열티 비용의 달성가능한 트리플릿을 정의하는 면을 포함하고, 달성가능한 트리플릿으로부터 미디어의 세그먼트를 인코딩하기 위한 인코딩 툴의 선택이 이루어진다. 이를 이하 더 상세히 설명한다. 일 실시형태에서, 이 함수는 버퍼 및 다른 인코딩/디코딩 제약을 통합시킨다. 이는 영문 단락 0019 및 0020 에서 상술한 라그랑지 승수 기반 또는 다른 제약된 최적화 프레임워크를 이용하여 행해질 수도 있다. 이는 당업계에 공지되어 있다. 예를 들어, H.Everett 의 "Generalized Lagrange multiplier method for solving problems of optimum allocation of resources" (Op er. Res., 제 11 권, 페이지 399-417, 1963) 를 참조한다.
일 실시형태에서, 선택된 인코딩 툴 중 하나는, 실질적으로 유사한 디코딩된 미디어 품질로, 높은 대역폭 환경에 대해 인코딩된 미디어가 더 낮은 효율이지만 감소된 로열티 비용 툴을 이용하여 디코딩될 수 있는 한편, 낮은 대역폭 환경에 대해 인코딩된 미디어는 더 높은 효율이지만 증가된 로열티 비용 툴을 이용하여 디코딩될 수 있도록, 미디어를 인코딩한다.
선택된 인코딩 툴을 이용하여, 프로세싱 로직은 하나 이상의 인코딩 툴을 이용하여 미디어 컨텐츠에 따라 미디어를 인코딩한다 (프로세싱 블록 102).
일단 인코딩된 데이터가 발생되면, 프로세싱 로직은 하나 이상의 인코딩 툴 중 적어도 하나에 의해 발생되는 인코딩된 데이터를 송신한다 (프로세싱 블록 103).
미디어, 세그먼트, 및 툴 세트
일 실시형태에서, 미디어는 오디오, 비디오, 그래픽스, 및/또는 보조 데이터를 포함한다. 일 실시형태에서, 예를 들어, h.264/MPEG-AVC 및 MPEG-AAC 와 같은 공지의 비디오 및 오디오 압축 표준에서 행해지는 것과 같이, 비디오는 제너릭 하이브리드 DPCM 방식을 이용하여 인코딩되고, 오디오는, 제너릭 변환 코딩 프레임워크로 인코딩되며, 코딩된 미디어 데이터는, 예를 들어, 인터넷과 같은 패킷 네트워크를 통해 전송된다.
일 실시형태에서, 미디어 데이터는 세그먼트로 고려된다. i 번째 미디어 세그먼트는 시간 간격
Figure 112009032294508-PCT00007
내부의 미디어 데이터를 나타내어서, S 개 세그먼트가 있으면,
Figure 112009032294508-PCT00008
는 미디어의 지속시간을 표시한다. 일 실시형태에서, 시간 이외의 또는 시간에 부가된 변수에 기초한 세그먼트화가 (예를 들어, 계층화된 미디어 코딩 애플리케이션에 대한 시간 및 미디어 품질에 기초하여) 이용된다. 일 실시형태에서, 미디어 코딩 및 전송 알고리즘의 툴세트 Ω는 인코더와 디코더 둘 다에 알려져 있다.
일 실시형태에서, Ω의 각 툴은 미디어를 코딩하는데 이용하기 위해 그 툴을 라이센싱하는 비용을 결정하는 로열티 비용을 가진다. 일 실시형태에서, 로열티 비용은 플렉시블하다. 예를 들어, 특정 미디어 데이터의 코딩 동안에 몇번 툴이 이용되더라도 이 비용은 고정될 수 있고, 이는 특정 미디어 데이터의 코딩 동안에 툴이 이용되는 횟수에 기초할 수 있고, 이는 특정 미디어 데이터의 코딩에 이용되는 다른 툴에 의존할 수 있고 (예를 들어, 다른 로열티 베어링 툴이 특정 미디어 데이터의 코딩에 있어 로열티 없는 툴과 함께 이용되면 로열티가 없어질 수도 있다), 이는 디코딩된 미디어의 예상 품질에 기초할 수도 있고 (예를 들어, 비디오가 고해상도 디스플레이와 반대로 저해상도 디스플레이를 갖는 디바이스로 전달되는 경우에 비디오 압축 관련 툴은 상이한 로열티 비용을 가질 수도 있다), 이는 미디어 데이터를 전송하는데 필요한 균등 대역폭에 기초할 수 있고, 이는 애플리케이션 시나리오에 기초할 수 있고 (예를 들어, 미디어가 HDTV 세트와 반대로 휴대 전화에 전달되는 경우에 더 적은 로열티 비용이 부과될 수 있거나, 툴이 상업적 셋팅 (profit setting) 등에 사용되지 않으면 로열티가 없게 될 수 있다), 이는 미디어 컨텐츠의 라이센싱 기간에 기초할 수 있는 등이다 (예를 들어, 툴이 로열티 없는 컨텐츠를 코딩하는데 이용되면 로열티가 없게 될 수 있다). 일 실시형태에서, 로열티 비용 및 라이센싱 기간은 이들 조건의 조인트 함수 (joint function) 이어서, 상이한 시나리오 상에서 툴 또는 미디어 데이터 자체가 상이한 로열티 비용을 가질 수 있다.
컨텐츠 소유자 라이센싱 기간 및 로열티 비용은 상이한 디코딩된 미디어 품질 레벨, 사용된 유효 대역폭, 및 미디어가 전달되는 애플리케이션에 따라 달라질 수 있다. 도 2 는 상이한 디바이스 및 애플리케이션을 타깃으로 하는 미디어 인코딩의 상이한 실시예를 도시한 블록도이다. 도 2 를 참조하면, 미디어 (201) 는 K 개의 상이한 방식으로 인코딩되어, 인코딩 1 내지 인코딩 K 를 생성한다. 인코딩 1 및 인코딩 2 는 휴대 전화에 의해 디코딩되도록 지정될 수도 있는 한편, 다른 인코딩 3 내지 인코딩 K 는 PDA, HDTV 등에 의한 디코딩을 위해 지정될 수도 있다. 인코딩 1 내지 인코딩 K 각각은 상이한 품질을 야기하고, 상이한 유효 대역폭 요건을 가진다. 이는 컨텐츠 소유자에 의해 결정된 것과 같이 잠재적으로 상이한 로열티 비용을 발생시킨다.
복잡한 로열티 기간으로, 전체 시스템은 상이한 로열티 비용을 초래하는 미디어의 상이한 인코딩으로서 생각될 수 있다 (예를 들어, 컨텐츠 라이센싱 비용 및 툴 라이센싱 비용이 결합될 수도 있다). 도 3 은 도 2 의 각 인코딩을 발생시키는데 요구되는 결합된 로열티 비용을 도시한다. 도 3 을 참조하면, 각 인코 딩은 상이한 로열티 비용으로 잠재적으로 상이한 코딩 툴 세트를 사용한다.
일 실시형태에서, 각 툴의 로열티 비용 및 조건은, 미디어 코딩 조건을 취하여 i 번째 세그먼트에 대한 인증서
Figure 112009032294508-PCT00009
를 결정하는 레지스트리에 저장된다. 본 명세서의 목적을 위해, 이들 조건은 세그먼트 i 에 대한 벡터
Figure 112009032294508-PCT00010
로 파라미터화된다. 일 실시형태에서 벡터
Figure 112009032294508-PCT00011
는 타깃 미디어 품질
Figure 112009032294508-PCT00012
, 유효 대역폭
Figure 112009032294508-PCT00013
, 이용된 툴
Figure 112009032294508-PCT00014
, 프레임 레이트, 프레임 해상도, 예상 디코딩 지연, 예상 메모리 사용, 예상 디코더 계산 복잡도, 예상 인코더/디코더 버퍼 충만도 등과 같은 다양한 다른 인코딩/디코딩 파라미터와 같은 관련 조건을 포함한다. 다른 파라미터는 세그먼트 내의 프레임의 수, 애플리케이션 유형 (특히, 툴의 라이센싱에 영향을 미치는 경우), 비디오 유형 (예를 들어, 뉴스, 영화, 비디오 컨퍼런스,....), 비디오 컬러/샘플링 공간 (예를 들어, YUV 4:2:0), 픽셀 당 비트수 등을 포함한다.
도 4 는 미디어를 인코딩 및 전송하기 위한 프로세스의 다른 실시형태의 흐름도이다. 이 프로세스는 하드웨어 (회로, 전용 로직 등), (범용 컴퓨터 시스템 또는 전용 머신 상에서 실행되는 것과 같은) 소프트웨어, 또는 이 둘의 조합을 포함할 수도 있는 프로세싱 로직에 의해 수행된다.
도 4 를 참조하면, 이 프로세스는 미디어 데이터를 세그먼트화하는 프로세싱 로직 (프로세싱 블록 401) 에 의해 시작한다. 미디어 데이터의 세그먼트 i 에 대해, 인코더 내의 프로세싱 로직은 미디어 코딩에 대한 원하는 조건을 결정하고, 원하는 조건 하에서 세그먼트에 대한 로열티 비용을 감소, 또는 잠재적으로 최소화 하는 툴세트
Figure 112009032294508-PCT00015
를 선택한다 (프로세싱 블록 402). 이 조건 및 툴세트는 이후 벡터
Figure 112009032294508-PCT00016
내부에 함께 놓여진다.
다음으로, 인코더 내의 프로세싱 로직은 레지스터를
Figure 112009032294508-PCT00017
와 접촉시킴으로써 i 번째 세그먼트에 대한 인증서
Figure 112009032294508-PCT00018
를 획득한다 (프로세싱 블록 403). 이 레지스트리는 이후 더 상세히 설명한다. 일 실시형태에서, 미디어는, 예를 들어, 미디어 스트리밍과 같은 비실시간 애플리케이션에 대해서는 하나의 세그먼트로, 그리고 실시간 애플리케이션에서는 균일 길이
Figure 112009032294508-PCT00019
초의 세그먼트로 분해된다.
Figure 112009032294508-PCT00020
는 1,2,3,...10,...60,...300 등일 수 있다. 도 7 은 세그먼트로 시간적으로 분해된 미디어를 도시한다. 도 7 을 참조하면, 시간이 증가하면서, 미디어 세그먼트 1 은 시간 T 0 에서 T 1 까지이고, 미디어 세그먼트 2 는 T 1 에서 T 2 까지 등이다. 각 미디어 세그먼트는, 일 실시형태에서 타깃 미디어 품질
Figure 112009032294508-PCT00021
, 유효 대역폭
Figure 112009032294508-PCT00022
, 및 이용된 툴
Figure 112009032294508-PCT00023
인 관련 조건을 포함하는 벡터
Figure 112009032294508-PCT00024
를 가진다 (그러나 예를 들어, 미디어 세그먼트에 관한 상기 언급한 다양한 인코더/디코더 파라미터와 같은 다른 조건을 포함할 수 있다). 따라서, 미디어 세그먼트 1 은 이와 관련된 벡터
Figure 112009032294508-PCT00025
를 가지고; 미디어 세그먼트 2 는 이와 관련된 벡터
Figure 112009032294508-PCT00026
를 가지는 등이다. 유사하게, 각 벡터는 이와 연관된 인증서를 가진다. 즉, 벡터
Figure 112009032294508-PCT00027
는 이와 연관된 인증서
Figure 112009032294508-PCT00028
를 가지고; 벡터
Figure 112009032294508-PCT00029
는 이와 관련된 인증서
Figure 112009032294508-PCT00030
를 가지는 등이다.
도 4 를 다시 참조하면, 인증서를 수신한 후에, 인코더 내의 프로세싱 로직 은 미디어 데이터를 코딩하고 (프로세싱 블록 404), 코딩된 미디어를 인증서
Figure 112009032294508-PCT00031
, 이용된 툴의 리스트, 및 코딩 파라미터와 함께 디코더로 전송한다 (프로세싱 블록 404).
디코더에서 한번, 디코더 내의 프로세싱 로직은 코딩된 미디어를 디코딩한다 (프로세싱 블록 405). 일 실시형태에서, 디코더는 선택적으로 이용된 툴세트 및 조건을 결정하여, 본 명세서의 목적을 위해 본 명세서에서
Figure 112009032294508-PCT00032
로 지칭되는
Figure 112009032294508-PCT00033
의 버전을 구성한다 (프로세싱 블록 406). 벡터
Figure 112009032294508-PCT00034
를 이용하여, 프로세싱 로직은 코딩된 미디어 및 이 코딩된 미디어를 디코딩하는데 이용되는 툴세트의 타당성을 확인한다 (프로세싱 블록 407). 일 실시형태에서, 디코더는 미디어 및 툴세트가 타당하다는 것을 입증하는 벡터
Figure 112009032294508-PCT00035
를 레지스트리로 송신한다.
일단 i번째 세그먼트가 전송되면, 인코더는 나머지 세그먼트의 코딩으로 계속되고, 도 4 의 프로세스를 반복한다. 일 실시형태에서, 나머지 세그먼트와 연관된 인증서의 수여 (프로세싱 블록 403) 는 레지스트리에 의한 이전 세그먼트 중 하나 이상의 입증을 조건으로 한다 (프로세싱 블록 407).
일 실시형태에서, 세그먼트당 로열티 비용 최적화를 행하는 대신에, 인코더는 모든 세그먼트의 로열티 비용을 공동으로 최적화한다.
일 실시형태에서, 툴세트 Ω는 적용가능한 압축 및 전송 툴의 IP 보유자에 기여한 코딩 및 전송 알고리즘으로서 결정되고,
Figure 112009032294508-PCT00036
의 툴은 의존성 그래프 내의 툴의 규격을 허용하는 XML 및 RDL 과 같은 공지 포맷을 이용하여 디코더로 시그널 링된다. 도 5 는 의존성 그래프의 일 실시예를 도시한다. 도 5 를 참조하면, 미디어 디코더 (501) 는 인코딩된 데이터를 취하고, 툴 1 내지 툴 T 의 세트, 또는 알고리즘을 이용함으로써 이를 디코딩하여, 디코딩된 미디어 (502) 를 생성한다. 툴 1 내지 툴 T 로 표기된 툴들은 상호접속되어, 하나의 툴의 출력이 다른 툴의 입력으로서 이용되어 공지의 미디어 디코딩 가능성을 구성할 수 있다.
현재 개발된 MPEG-RVC 표준의 툴 규격 부분은 또한 정보를 패키징하여 디코더로 하여금 어떤 디코딩 툴이 인코딩된 데이터를 발생시키는데 이용되었는지를 식별할 수 있게 하는데 이용될 수 있다. 일 실시형태에서, 의존성 그래프 내에서, 동등한 기능성의 툴은 특정 툴 대신 또는 다수의 툴 대신에 이용된다. 도 6 은 동등한 기능성의 툴의 예시적인 세트를 도시한다. 도 6 을 참조하면, 압축된 비디오를 디코딩하는데 이용될 수 있는 툴 세트/알고리즘 및 모션 보상 알고리즘이 도시된다. 이 툴은 (정수-픽셀 정확도 내지 1/8-픽셀 정확도의) 더 높은 정확도 모션 보상에 대해 고려하도록 함으로써 점진적으로 더욱 개선되게 된다. 버전이 더욱 개선될 수록, 더 우수한 품질이 획득될 수 있다.
미디어 인코딩 및 분배 시스템의 실시예
도 8 은 인증서 발생을 책임지는 레지스트리를 포함하는 미디어 인코딩 및 분배 시스템의 블록도이다. 도 8 을 참조하면, 미디어 서버 (801) 는 레지스트리 (802) 및 하나 이상의 사용자 단말기 (803) 에 통신가능하게 커플링된다. 이 커플링은 직접 접속일 수도 있거나 하나 이상의 개입 엘리먼트와의 커플링일 수도 있다. 예를 들어, 일 실시형태에서, 미디어 서버 (801) 는 네트워크 (예를 들어, 패킷-기반 네트워크, 인터넷 등) 를 통해 레지스트리 (802) 및 하나 이상의 사용자 단말기 (803) 에 통신가능하게 커플링된다.
상술한 바와 같이, 일 실시형태에서, 미디어 서버 (801) 는, 미디어 분해, 세그먼트화, 벡터 발생 및 프로세싱, 및 미디어 서버 (801) 의 다른 기능 유닛에 의해 수행되지 않는 많은 다른 동작을 포함하여, 본 명세서에서 설명한 미디어 프로세싱 동작을 수행하는 프로세싱 유닛 (813) 을 포함한다. 일 실시형태에서, 미디어 서버 (801) 는 또한 하나 이상의 인코딩 툴을 이용하여 미디어의 세그먼트를 인코딩하기 위한 인코딩 유닛 (820) 을 포함한다. 일 실시형태에서, 미디어 서버 (801) 는 사용자와 통신하기 위한 통신 인터페이스 (811) 를 포함한다. 통신 인터페이스 (811) 는 사용자에게 상이한 전달 옵션을 제공할 수도 있다. 상이한 전달 옵션은 전송 대역폭 제약의 차이 및/또는 디코딩된 미디어 품질의 차이와 연관될 수도 있고, 상이한 전달 옵션은 하나 이상의 인코딩 파라미터에 기초한 프리젠테이션을 위해 선택될 수도 있다. 일 실시형태에서, 이러한 경우에, 미디어 서버 (801) 내의 툴 선택 유닛 (812) 은 하나 이상의 인코딩 파라미터에 기초하여 및/또는 인터페이스에 의해 수신된 사용자에 의한 전달 옵션 중 하나의 선택에 기초하여 하나 이상의 인코딩 툴을 선택한다. 예를 들어, 품질 대역폭 평면에서, 다음의 옵션이 제공될 수도 있다.
스트리밍: 스파이더맨3 200kbps 500kbps 1mbps
고품질 NA ＄13 ＄10
중간 품질 ＄14 ＄10 ＄6
저품질 ＄8 ＄4 ＄0
일 실시형태에서, 인터페이스는 옵션에 대한 고객 요구에 기초하여 제시된 옵션의 가격을 동적으로 조절할 수도 있다. 고객 요구는 마지막 T 초 내에 측정될 수도 있으며, 여기서 T 는 1, 2, 51, 600, 1000000, 또는 임의의 시간 간격일 수도 있다.
프로세싱 유닛 (813) 을 이용하여, 미디어 서버 (801) 는 미디어를 세그먼트로 분해하고, 관련 조건을 포함하는 벡터
Figure 112009032294508-PCT00037
를 레지스트리 (802) 에 제공한다. 일 실시형태에서, 세그먼트 i 의 벡터
Figure 112009032294508-PCT00038
는 타깃 미디어 품질
Figure 112009032294508-PCT00039
, 유효 대역폭
Figure 112009032294508-PCT00040
, 이용된 툴
Figure 112009032294508-PCT00041
을 포함한다. 일 실시형태에서, 레지스트리 (802) 는 로열티 비용을 저장하고 인증서를 제공하는 신뢰 서버이다. 따라서, i 번째 세그먼트에 대한 미디어 서버 (801) 로부터의 관련 조건을 포함하는 벡터
Figure 112009032294508-PCT00042
에 응답하여, 레지스트리 (802) 는 i 번째 세그먼트에 대한 인증서
Figure 112009032294508-PCT00043
를 제공한다. 일 실시형태에서, 실시간 애플리케이션의 경우, 인증서가 획득될 수 있도록, 레지스트리 (802) 는 각 세그먼트에 대해 상담된다.
일 실시형태에서, 레지스트리 인증서는 미디어 컨텐츠 소유자로부터의 미디어의 라이센싱뿐만 아니라 코딩 툴의 라이센싱을 커버한다. 일 실시형태에서, 레지스트리 (802) 는 IP 및 컨텐츠 소유자에 의해 접촉될 수도 있다. 이 방식으로, IP 및 컨텐츠 소유자가 미디어의 라이센싱 및 타당한 사용을 모니터링하는 것이 허용된다. 따라서, 이용된 툴 및 전송된 미디어의 라이센싱을 허가하는 결합된 인증서는, 라이센스 받은 사람 및 표준의 특허 풀 및/또는 개별 IP 보유자에 유익한 방식으로 단일체로부터 획득될 수 있다. 매우 넓은 범위의 라이센싱 기간이 허용될 수도 있다. 즉, 시스템 컨텐츠 소유자 및 기술 IP 소유자는 엄청나게 비싼 라이센싱 비용으로 인해 이전에 가능하지 않았던 새로운 애플리케이션을 가능하게 하는 연속적인 라이센싱 기간을 정의할 수 있다. 따라서, IP 및 컨텐츠가 타당하고 공평하게 이용될 수 있도록, 용이하고 동적인 라이센스의 보안 및 분배가 허용된다.
일 실시형태에서, IP 및 컨텐츠 소유자가 공평하게 보상받도록, 이종의 디바이스 및 애플리케이션으로의 미디어 전달에 대해 정교한 가능성 세트가 정의된다. 또한, 일 실시형태에서, 규범적 표준화를 위해 선택되지 않은 툴이 이들 툴로부터 이득을 얻는 틈새 애플리케이션에 기여하는 것이 허용된다. 이러한 방식으로, 미디어 코딩 표준 내의 규범적 툴의 소유자뿐만 아니라, 규범적 표준화를 위해 선택되지 않은 툴의 소유자는 공평하게 보상받을 수 있다.
미디어 서버 (801) 내의 인코더 유닛 (810) 은 통신 인터페이스 (811) 를 통해 레지스트리 (802) 와 통신하는데 책임이 있을 수도 있다. 일 실시형태에서, 비실시간 애플리케이션의 경우, 레지스트리 (802) 가 미디어 전달 동안에 상담되지 않도록, 인코더는 모든 미디어 송신보다 먼저 인증서를 획득할 수도 있다.
인증서를 획득한 후에, 미디어 서버 (801) 는 사용자 단말기 (803) 에 인코딩된 미디어 및 연관된 인증서를 제공한다. 일 실시형태에서, 사용자 단말기 (803) 는 인코딩된 미디어를 디코딩하기 위한 디코더를 포함한다. 사용자 단말기 (803) 는 또한 코딩된 미디어 데이터로부터 로열티 비용 관련 파라미터를 검출하기 위한 검출기를 포함한다. 이 검출기는 디코더의 일부일 수도 있다. 도 9 는 인코딩된 미디어로부터 로열티 비용을 결정하는 것과 관련된 파라미터를 검출하는 검출기의 일 실시형태의 블록도이다. 도 9 를 참조하면, 검출기 (900) 는 인코딩된 데이터 (900) 를 수신하고, 두가지 유형의 검출을 수행하는 2 개의 검출 유닛을 포함한다. 검출 유닛 (910) 은 타깃 미디어 품질 및 유효 대역폭
Figure 112009032294508-PCT00045
을 검출하는 한편, 검출 유닛 (911) 은 디코딩에 요구되는 이용된 툴
Figure 112009032294508-PCT00046
을 검출한다. 검출기 (900) 는 세그먼트 i 의 벡터
Figure 112009032294508-PCT00047
를 출력한다.
일 실시형태에서, 세그먼트의 일정 퍼센트가 리포팅하는데 이용되도록, 검출기는 레지스트리 (예를 들어 레지스트리 (802)) 에 또는 랜덤하게 선택된 세그먼트에서의 다른 리포팅 서버에
Figure 112009032294508-PCT00048
를 리포팅한다. 이 퍼센트는, 예를 들어, 1%, 7%, 10%, 43% 등과 같은 수개의 상이한 퍼센트일 수 있다. 사용자 단말기의 검출기 (또는 디코더) 는 또한 레지스트리 또는 리포팅 서버에 의해 폴링되어, 가장 최근의 k개 세그먼트 (k=1, 2, 7, 49 등) 에 대한
Figure 112009032294508-PCT00049
를 리포팅한다.
다른 실시형태에서, 사용자 단말기 (803) 에 의해 인증서가 획득된다. 이러한 경우에, 사용자 단말기 (803) 는 (점선으로 도시된) 레지스트리 (802) 와 같은 레지스트리와 통신한다.
도 13 은 컨텐츠 분배 시스템의 다른 실시형태를 도시한다. 도 13 을 참조하면, 이 시스템은 인코딩된 형태로 하나 이상의 고객에게 컨텐츠를 서빙하기 위한 적어도 하나의 서비스 제공자 서버 (1301) 를 포함한다. 이 시스템은 또한 서버 (1301) 에 컨텐츠를 제공하기 위한 하나 이상의 컨텐츠 제공자 서버 (13061- 1306N) 를 포함한다. 컨텐츠 제공자(들)은 서버 (1301) 의 일부일 수도 있다. 컨텐츠를 인코딩하기 위해 인코딩 서비스 (1302) 가 포함된다. 인코딩 서비스 (1302) 는 로열티 비용에 기초하여 선택된 인코더를 이용하여 컨텐츠를 인코딩한다. 인코딩 서비스는 서버 (1301) 의 일부일 수도 있다. 서버 (1301) 에 통신가능하게 커플링된 레지스트리 (1303) 는 컨텐츠의 적어도 일부분과 연관된 인증서의 레코드를 보존한다. 상술한 바와 같이, 인코딩된 데이터의 검증에 인증서가 이용된다. 이들 유닛은 서로 직접 커플링되거나 네트워크 (1305) 와 같은 네트워크를 통해 통신가능하게 커플링될 수도 있다.
달성가능한 디코딩된 미디어 품질
일 실시형태에서, 인코더는 각 미디어 세그먼트에 대한 달성가능한 면을 이용하여 툴세트 Ω에 대해 인코딩 툴을 선택한다. 인코더, 또는 다른 디바이스는 툴의 선택을 용이하게 하여 주어진 유효 대역폭 및 로열티 비용에 대한 특정 미디어 품질을 제공하기 위해 각 미디어 세그먼트에 대해 달성가능한 면을 구성한다. 주어진 유효 대역폭 및 로열티 비용에 대해 최고 품질을 발생시키는 툴의 서브세트가 그 대역폭 및 로열티 비용에서 이 면의 인터셉트를 결정하도록, 이 면은 Ω의 툴에 의해 허용되는 모든 가능한 방식으로 미디어 세그먼트를 인코딩함으로써 발생될 수 있다. 도 10 은 달성가능한 [품질, 대역폭, 로열티 비용] 트리플릿에 의해 정의된 예시적인 면을 도시한다. 도 10 을 참조하면, 면 아래의 모든 트리플릿은 "달성가능한 것"으로 고려된다.
3 개의 파라미터 - 품질, 유효 대역폭, 로열티 비용 중 2 개의 변동 (세번째 파라미터는 일정하게 유지되는 동안) 의 효과를 나타내는 도 10 에 도시된 바와 같이 면 상의 쌍방향 의존성이 또한 획득될 수 있다. 도 11 은 쌍방향 의존성을 나타내는 면으로부터의 절단면의 실시예를 도시한다.
그래프는 많은 다른 방식으로 나타낼 수도 있다. 예를 들어, 일 실시형태에서, 그래프는 표로 나타낸다. 다른 실시형태에서, 그래프는 더 단순한 함수 및 연관된 파라미터를 이용하여 나타낸다. 다른 실시형태에서, 프로그램은 함수에 입력을 취하고 함수의 출력을 생성한다. 이들은 실시예일뿐이고, 많은 다른 것이 이용가능하다.
일 실시형태에서, 인코더는 파라미터화된 모델 기반의 근사치를 이용하여 달성가능한 면을 발생시킨다. 일 실시형태에서, 이들 근사치에 대한 파라미터는 코딩되는 미디어로부터 결정된다 (예를 들어, 비디오에 대해 픽셀 강도의 프레임-레벨 표준 편차 또는 다른 통계치 및 모션 활동도를 정량화하는 통계치가 이용될 수 있고, 오디오에 대해 주파수 리치도 (richness) 를 정량화하는 통계치가 이용될 수 있는 등이다). 이 모델은 허용된 툴의 서브세트를 이용하는 공지의 레이트-왜곡 또는 레이트-지각 품질 모델을 이용하여 형성될 수 있다. 이러한 하나의 모델은 Yin 등의 "Rate-Distortion Models for Video Transcoding" (SPIE Conference on Image and Video Communications and Processing, 제 5022권, 페이지 467-488, 2003년 1월) 에 설명되어 있다.
일 실시형태에서, 일단 관심 있는 [품질, 유효 대역폭, 로열티 비용] 트리플 릿의 원하는 범위에 대해 면이 발생하면, 인코더는 [유효 대역폭, 로열티 비용]의 허용 범위에 대해 품질을 최대화하는 툴 서브세트 또는 [품질, 유효 대역폭]의 허용 범위에 대해 로열티 비용을 최소화하는 툴 서브세트, 또는 [품질, 로열티 비용]의 허용 범위에 대해 대역폭 비용을 최소화하는 툴 서브세트를 선택한다.
모든 구상 시나리오에 적용가능하지 않고, 모든 구상 하드웨어 플랫폼에 대한 효율적인 구현에 대해 수정가능하지 않으며, 감소된 코딩 효율을 가지는 등의 이유로, 미디어 표준의 최종 선택에 포함되지 않은 툴은 이용된 툴의 서브세트가 적응적으로 결정되기 때문에 실행가능할 수 있고, 효율은 선택 프로세스의 하나의 양태를 제외한 모든 양태이다.
컴퓨터 시스템의 실시예
도 12 는 본 명세서에서 설명한 동작 중 하나 이상을 수행할 수도 있는 대표적인 컴퓨터 시스템의 블록도이다. 도 12 를 참조하면, 컴퓨터 시스템 (1200) 은 대표적인 클라이언트 또는 서버 컴퓨터 시스템을 포함할 수도 있다. 컴퓨터 시스템 (1200) 은 정보를 통신하기 위한 통신 메커니즘 또는 버스 (1211), 및 버스 (1211) 와 커플링되어 정보를 프로세싱하기 위한 프로세서 (1212) 를 포함한다. 프로세서 (1212) 는 마이크로프로세서를 포함하지만, 예를 들어, 펜티엄TM 프로세서, PowerPCTM 프로세서 등과 같은 마이크로프로세서에 제한되지는 않는다.
컴퓨터 시스템 (1200) 은 버스 (1211) 에 커플링되어 프로세서 (1212) 에 의해 실행될 명령 및 정보를 저장하기 위한 RAM (random access memory), 또는 다른 동적 저장 디바이스 (1204)(메인 메모리로 지칭됨) 를 더 포함한다. 메인 메모리 (1204) 는 또한 프로세서 (1212) 에 의한 명령의 실행 중에 임시 변수 또는 다른 중간 정보를 저장하기 위해 이용될 수도 있다.
컴퓨터 시스템 (1200) 은 또한 버스 (1211) 에 커플링되어 프로세서 (1212) 에 대한 정적 정보 및 명령을 저장하기 위한 ROM (read only memory) 및/또는 다른 정적 저장 디바이스 (1206), 및 자기 디스크 또는 광학 디스크 및 그 대응하는 디스크 드라이브와 같은 데이터 저장 디바이스 (1207) 를 포함한다. 데이터 저장 디바이스 (1207) 는 버스 (1211) 에 커플링되어 정보 및 명령을 저장한다.
컴퓨터 시스템 (1200) 은, 버스 (1211) 에 커플링되어 컴퓨터 사용자에게 정보를 디스플레이하기 위한 CRT (cathode ray tube) 또는 LCD (liquid crystal display) 와 같은 디스플레이 디바이스 (1221) 에 또한 커플링될 수도 있다. 영숫자 및 다른 키를 포함하는 영숫자 입력 디바이스 (1222) 는 또한 버스 (1211) 에 커플링되어 프로세서 (1212) 에 정보 및 커맨드 선택을 통신할 수도 있다. 추가 사용자 입력 디바이스는, 버스 (1211) 에 커플링되어, 프로세서 (1212) 에 지시 정보 및 커맨드 선택을 통신하며, 디스플레이 (1221) 상의 커서 이동을 제어하기 위한 마우스, 트랙볼, 트랙패드, 스타일러스, 또는 커서 지시 키와 같은 커서 제어기 (1223) 이다.
버스 (1211) 에 커플링될 수도 있는 다른 디바이스는, 종이, 필름, 또는 유사한 유형의 매체와 같은 매체 상에 정보를 마킹하는데 이용될 수도 있는 하드 카피 디바이스 (1224) 이다. 버스 (1211) 에 커플링될 수도 있는 다른 디바이스 는 전화 또는 핸드헬드 팜 디바이스와 통신하기 위한 유선/무선 통신 기능 (1225) 이다.
본 발명에서 컴퓨터 시스템 (1200) 의 컴포넌트 및 연관된 하드웨어의 일부 또는 전부가 이용될 수도 있다. 그러나, 컴퓨터 시스템의 다른 구성이 디바이스의 일부 또는 전부를 포함할 수도 있다는 것이 생각될 수 있다.
본 발명의 다수의 변경 및 변동은 전술한 설명을 읽은 후에는 당업자에게 물론 명백하지만, 예시로서 도시 및 설명된 임의의 특정 실시형태는 결코 제한하는 것으로 간주하려는 의도가 아님을 이해하여야 한다. 따라서, 다양한 실시형태에 대한 세부사항의 참조는 본 발명의 본질로서 간주되는 특징만을 기술하는 청구범위의 범주를 제한하려는 의도가 아니다.

Claims (5)

  1. 하나 이상의 인코딩 툴 중 적어도 하나 및 상기 하나 이상의 인코딩 툴 각각에 대한 대응하는 디코딩 툴과 연관된 로열티 비용, 대응하는 디코딩 툴 각각이 생성하는 디코딩된 미디어 품질, 및 하나 이상의 전송 대역폭 제약에 기초하여 미디어를 인코딩하기 위해 상기 하나 이상의 인코딩 툴을 선택하는 단계;
    상기 하나 이상의 인코딩 툴을 이용하여, 미디어 컨텐츠에 따라, 상기 미디어를 인코딩하는 단계; 및
    상기 하나 이상의 인코딩 툴 중 적어도 하나에 의해 발생되는 인코딩된 데이터를 송신하는 단계를 포함하는, 방법.
  2. 인코딩 파라미터에 기초하여 비디오 세그먼트를 인코딩하기 위해 인코딩 툴을 선택하는 툴 세트 선택 유닛; 및
    상기 툴 세트 선택 유닛에 커플링되어, 비디오를 복수의 세그먼트로 세그먼트화하고, 인코더에 의해 제공된 인코딩 파라미터에 기초하여 상기 툴 세트 선택 유닛에 의해 선택된 툴을 이용하여 상기 복수의 세그먼트 각각을 인코딩하는 상기 인코더를 포함하는, 미디어 서버.
  3. 미디어 전달 트랜잭션을 가능하게 하는 시스템으로서,
    미디어 서버를 포함하며,
    상기 미디어 서버는,
    품질, 대역폭, 및 로열티 비용을 포함하는 파라미터에 기초하여 미디어의 세그먼트를 인코딩하기 위해 인코딩 툴을 선택하는 툴 세트 선택 유닛,
    상기 툴 세트 선택 유닛에 커플링되어, 상기 미디어를 복수의 세그먼트로 세그먼트화하고, 인코더에 의해 제공된 상기 파라미터에 기초하여 상기 툴 세트 선택 유닛에 의해 선택된 툴을 이용하여 상기 복수의 세그먼트 각각을 인코딩하고, 인코딩된 비디오 데이터의 비트스트림을 상기 시스템 내의 다른 위치로 분배하는, 상기 인코더; 및
    상기 미디어 서버에 통신가능하게 커플링되어, 비디오 컨텐츠를 인코딩하기 위해 상기 미디어 서버에 의해 어떤 툴이 이용되는지에 관한 표시를 보존하는 레지스트리를 포함하는, 미디어 전달 트랜잭션을 가능하게 하는 시스템.
  4. 시스템에 의해 실행되는 경우, 상기 시스템으로 하여금 방법을 수행하게 하는 명령들을 저장하는 하나 이상의 컴퓨터-판독가능 저장 매체를 갖는 제조물로서,
    상기 방법은,
    하나 이상의 인코딩 툴 중 적어도 하나 및 상기 하나 이상의 인코딩 툴 각각에 대한 대응하는 디코딩 툴과 연관된 로열티 비용, 대응하는 디코딩 툴 각각이 생성하는 디코딩된 미디어 품질, 및 하나 이상의 전송 대역폭 제약에 기초하여 미디어를 인코딩하기 위해 상기 하나 이상의 인코딩 툴을 선택하는 단계;
    상기 하나 이상의 인코딩 툴을 이용하여, 미디어 컨텐츠에 따라, 상기 미디 어를 인코딩하는 단계; 및
    상기 하나 이상의 인코딩 툴 중 적어도 하나에 의해 발생되는 인코딩된 데이터를 송신하는 단계를 포함하는, 컴퓨터-판독가능 저장 매체를 갖는 제조물.
  5. 인코딩된 형태로 하나 이상의 고객에게 컨텐츠를 서빙하는 서비스 제공자의 서버;
    상기 서버에 상기 컨텐츠를 제공하는 하나 이상의 컨텐츠 제공자 서버;
    상기 컨텐츠를 인코딩하며, 로열티 비용에 기초하여 선택된 인코더를 이용하여 상기 컨텐츠를 인코딩하는 인코딩 서비스; 및
    상기 서버에 통신가능하게 커플링되어, 상기 컨텐츠 중 적어도 일부분과 연관된 인증서의 레코드를 보존하는 레지스트리로서, 상기 인증서는 상기 컨텐츠의 적어도 일부분의 인코딩된 데이터의 검증에 이용되는, 상기 레지스트리를 포함하는, 시스템.
KR1020097010988A 2007-01-29 2008-01-29 미디어 데이터의 최적화된 컨텐츠-기반 및 로열티-기반 인코딩 및 분배 KR101007173B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US89832407P 2007-01-29 2007-01-29
US60/898,324 2007-01-29
US12/020,792 2008-01-28
US12/020,792 US7656318B2 (en) 2007-01-29 2008-01-28 Optimized content-based and royalty-based encoding and distribution of media data

Publications (2)

Publication Number Publication Date
KR20090084904A true KR20090084904A (ko) 2009-08-05
KR101007173B1 KR101007173B1 (ko) 2011-01-12

Family

ID=39668000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097010988A KR101007173B1 (ko) 2007-01-29 2008-01-29 미디어 데이터의 최적화된 컨텐츠-기반 및 로열티-기반 인코딩 및 분배

Country Status (6)

Country Link
US (1) US7656318B2 (ko)
EP (1) EP2130375A2 (ko)
JP (2) JP2010517476A (ko)
KR (1) KR101007173B1 (ko)
CN (1) CN101658033B (ko)
WO (1) WO2008094595A2 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US8712825B1 (en) 2007-07-03 2014-04-29 Royaltyshare, Inc. Web-based royalty system and user interface
US20100030607A1 (en) * 2008-08-02 2010-02-04 Royaltyshare, Inc. Digital Content Management System with Methodologies for Lifecycle Management of Digital Content
US20100042627A1 (en) * 2008-08-13 2010-02-18 Hanses Philip C Flexible Integrated Access to Published Material
US20100039510A1 (en) * 2008-08-13 2010-02-18 Apollo Systems, Llc Method and DEVICE for PRINT INSPECTION
US8385666B2 (en) * 2010-03-31 2013-02-26 Microsoft Corporation Classification and encoder selection based on content
CN103003821B (zh) * 2010-07-19 2016-05-18 三星电子株式会社 用于提供drm服务的方法和装置
US8995534B2 (en) * 2010-09-20 2015-03-31 Bevara Technologies, Llc Systems and methods for encoding and decoding
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US10025787B2 (en) 2011-08-17 2018-07-17 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US10129556B2 (en) 2014-05-16 2018-11-13 Bevara Technologies, Llc Systems and methods for accessing digital data
WO2013112758A1 (en) * 2012-01-25 2013-08-01 Onecodec, Limited Systems and methods for encoding, sharing, and decoding of multimedia
US9426476B2 (en) * 2012-07-09 2016-08-23 Hewlett-Packard Development Company, L.P. Video stream
CN103297519B (zh) * 2013-05-21 2017-02-08 广东威创视讯科技股份有限公司 编解码集群传输视频流的方法和系统
US8850055B1 (en) * 2013-09-17 2014-09-30 Google Inc. Intelligently streaming portions of media at higher quality over a limited bandwidth connection
WO2015176009A1 (en) 2014-05-16 2015-11-19 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
CN109711117B (zh) * 2017-10-26 2022-07-19 美国科视数字系统有限公司 用于分发数字内容的装置和方法
US10965780B2 (en) 2018-01-18 2021-03-30 Bevara Technologies, Llc Browser navigation for facilitating data access

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6407680B1 (en) * 2000-12-22 2002-06-18 Generic Media, Inc. Distributed on-demand media transcoding system and method
US7242324B2 (en) 2000-12-22 2007-07-10 Sony Corporation Distributed on-demand media transcoding system and method
WO2002097584A2 (en) * 2001-05-31 2002-12-05 Hyperspace Communications, Inc. Adaptive video server
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US7599434B2 (en) * 2001-09-26 2009-10-06 Reynolds Jodie L System and method for compressing portions of a media signal using different codecs
US20030135863A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Targeted scalable multicast based on client bandwidth or capability
JP4366571B2 (ja) * 2003-09-18 2009-11-18 日本電気株式会社 動画像符号化装置及び方法
CN1860786A (zh) * 2003-10-23 2006-11-08 交互设备有限公司 使用不同的编解码器压缩媒体信号各部分的系统和方法
KR100736080B1 (ko) * 2005-10-27 2007-07-06 삼성전자주식회사 다 계층으로 구성된 멀티미디어 스트림의 저작권을 계층별로 관리하는 방법 및 장치
US8125931B2 (en) * 2006-01-10 2012-02-28 Utbk, Inc. Systems and methods to provide availability indication

Also Published As

Publication number Publication date
CN101658033A (zh) 2010-02-24
WO2008094595A3 (en) 2008-10-02
EP2130375A2 (en) 2009-12-09
KR101007173B1 (ko) 2011-01-12
JP5143871B2 (ja) 2013-02-13
JP2010517476A (ja) 2010-05-20
CN101658033B (zh) 2016-08-03
US7656318B2 (en) 2010-02-02
WO2008094595A2 (en) 2008-08-07
US20080181400A1 (en) 2008-07-31
JP2011030222A (ja) 2011-02-10

Similar Documents

Publication Publication Date Title
KR101007173B1 (ko) 미디어 데이터의 최적화된 컨텐츠-기반 및 로열티-기반 인코딩 및 분배
Xie et al. 360ProbDASH: Improving QoE of 360 video streaming using tile-based HTTP adaptive streaming
US8218886B2 (en) Transitioning compression levels in a streaming image system
US7506071B2 (en) Methods for managing an interactive streaming image system
US7336841B2 (en) Fingerprinting digital video for rights management in networks
US11361404B2 (en) Electronic apparatus, system and controlling method thereof
US8510458B2 (en) Method and device for sharing bandwidth of a communication network
US20070028286A1 (en) Systems, methods, and media for detecting content change in a streaming image system
CN103493495A (zh) 具有虚拟文件系统的自适应视频服务器及其使用方法
US20110145878A1 (en) Video decomposition and recomposition
WO2019114294A1 (zh) 图像编解码方法、装置、系统及存储介质
CN116033180A (zh) 视频处理方法、电子设备及存储介质
KR101251879B1 (ko) 멀티미디어 클라우드 시스템에서 화면변화에 따른 광고영상 출력 장치 및 방법
KR20180021945A (ko) 인지 화질 향상을 위한 주관적 율 제어 방법 및 장치
JPWO2008123126A1 (ja) 画質評価システム、方法およびプログラム
Li et al. Portrait video phone
KR20180021944A (ko) 인지 화질 향상을 위한 주관적 율 제어 방법 및 장치
Chen et al. Basic unit layer rate control algorithm for H. 264 based on human visual system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181219

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 10