KR101065237B1 - 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성 - Google Patents

베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성 Download PDF

Info

Publication number
KR101065237B1
KR101065237B1 KR1020097015347A KR20097015347A KR101065237B1 KR 101065237 B1 KR101065237 B1 KR 101065237B1 KR 1020097015347 A KR1020097015347 A KR 1020097015347A KR 20097015347 A KR20097015347 A KR 20097015347A KR 101065237 B1 KR101065237 B1 KR 101065237B1
Authority
KR
South Korea
Prior art keywords
frames
base layer
multimedia data
enhancement layer
layer
Prior art date
Application number
KR1020097015347A
Other languages
English (en)
Other versions
KR20090101950A (ko
Inventor
세이풀라 할리트 오구즈
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090101950A publication Critical patent/KR20090101950A/ko
Application granted granted Critical
Publication of KR101065237B1 publication Critical patent/KR101065237B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)

Abstract

본 개시는 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당 및 재할당하는 기술들을 설명한다. 재할당 기술들은, 예를 들어, 인코딩 레이트를 감소시켜 무선 통신 채널과 연관된 대역폭 제약을 충족시키기 위해, 양방향성 예측 (B) 프레임들이 베이스 레이어에 원래 할당되었는지 여부, 및 재-인코딩 요청이 인코더에 이슈되었는지 여부에 의존하여 변할 수도 있다. 설명된 기술들은 채널 리소스들을 효율적으로 활용하고, 채널들 간의 대역폭을 밸런싱시키고, 가능하게는 애플리케이션 레이어에서 에러 내성을 향상시키는 것을 도울 수도 있다. 어떤 경우, 그 기술들은 전체 총 대역폭 이용을 감소시키는 것을 도울 수 있다.
베이스 레이어, 인핸스먼트 레이어, 멀티미디어 데이터

Description

베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성{MULTIMEDIA DATA REORGANIZATION BETWEEN BASE LAYER AND ENHANCEMENT LAYER}
본 출원은 2006년 12월 22일자로 출원된 미국 가출원 제 60/871,642 호를 우선권 주장하며, 그 가출원의 전체 내용은 본 명세서에 참조로서 포함된다.
기술분야
본 개시는 멀티미디어 코딩, 및 코딩된 멀티미디어 컨텐츠의 무선 통신에 관한 것이다.
배경
디지털 멀티미디어 능력은 디지털 텔레비전, 디지털 직접 브로드캐스트 시스템, 무선 통신 디바이스, 무선 브로드캐스트 시스템, 개인휴대 정보단말기 (PDA), 랩탑 또는 데스크탑 컴퓨터, 디지털 카메라, 디지털 레코딩 디바이스, 비디오 게이밍 디바이스, 비디오 게임 콘솔, 셀룰러 또는 위성 무선 전화기, 디지털 미디어 플레이어 등을 포함한 광범위한 디바이스들에 통합될 수 있다. 디지털 멀티미디어 디바이스들은 MPEG-2, MPEG-4, 또는 H.264/MPEG-4 파트 10, 어드밴스드 비디오 코딩 (AVC) 과 같은 비디오 코딩 기술들을 구현하여 디지털 비디오 데이터를 보다 효율적으로 송신 및 수신 또는 저장 및 취출할 수도 있다. 비디오 코딩 기술들은 공간 및 시간 예측을 통한 비디오 압축을 수행하여 비디오 시퀀스들에 내재한 리던던시를 감소 또는 제거할 수도 있다.
비디오 코딩에 있어서, 압축은 종종, 공간 예측, 시간 예측에 기초한 모션 추정과 모션 보상, 및 변환 코딩을 포함한다. 인트라 코딩은 공간 예측 및 변환 코딩에 의존하여 소정의 비디오 프레임 내의 비디오 블록들 간의 공간 리던던시를 감소 또는 제거한다. 인터 코딩은 시간 예측 및 변환 코딩에 의존하여 비디오 시퀀스의 연속하는 비디오 프레임들의 비디오 블록들 간의 시간 디던던시를 감소 또는 제거한다. 인트라 코딩된 프레임 ("I 프레임") 들은 종종, 다른 프레임들의 인터 코딩에 대한 레퍼런스뿐 아니라 랜덤 액세스 포인트들로서 이용된다. 하지만, 통상적으로, I 프레임들은 다른 프레임들보다 더 적은 압축을 나타낸다.
인터 코딩에 있어서, 비디오 인코더는 모션 추정을 수행하여 2 이상의 인접 프레임들 간의 매칭하는 비디오 블록들의 움직임을 추적한다. 인터 코딩된 프레임들은 이전 프레임들로부터 예측된 블록들을 포함하는 예측 프레임 ("P 프레임") 들, 및 비디오 시퀀스의 이전 프레임 및 후속 프레임으로부터 예측된 블록들을 포함하는 양방향성 예측 프레임 ("B 프레임") 들을 포함한다. P 프레임 및 B 프레임에 있어서, 모션 추정은, 레퍼런스 프레임들에 있어서의 대응하는 예측 비디오 블록들에 대한 비디오 블록들의 변위를 나타내는 모션 벡터들을 생성한다. 모션 보상은 모션 벡터들을 이용하여 레퍼런스 프레임으로부터 예측 비디오 블록들을 생성한다. 모션 보상 이후, 코딩될 원래의 비디오 블록으로부터 예측 비디오 블록을 감산함으로써 잔여 비디오 블록이 형성된다. 통상적으로, 비디오 인코더는 변환, 양자화 및 변환 계수 코딩 프로세스들을 적용하여 잔여 블록의 통신과 연관된 비트 레이트를 더 감소시킨다. 일반적으로, I 프레임 및 P 프레임은 P 프레임 및 B 프레임의 인터 코딩에 대한 레퍼런스 블록들을 정의하는데 이용되고, 몇몇 경우, (BR 프레임들로서 지칭되는) 특정 B 프레임들은 다른 B 프레임들에 대한 레퍼런스로서 이용될 수 있다.
일부 비디오 코딩은 스케일러블 기술들을 이용한다. 예를 들어, 스케일러블 비디오 코딩 (SVC) 은, 베이스 레이어 및 하나 이상의 스케일러블 인핸스먼트 레이어들이 이용되는 비디오 코딩을 지칭한다. SVC 에 있어서, 통상적으로, 베이스 레이어는 베이스 품질 레벨을 갖는 멀티미디어 데이터를 반송한다. 하나 이상의 인핸스먼트 레이어들은 부가적인 멀티미디어 데이터를 반송하여 더 높은 공간 레벨, 시간 레벨 및/또는 SNR 품질 레벨을 지원한다. 일 예로서, 베이스 레이어는, 인핸스먼트 레이어들의 송신보다 더 신뢰성있는 방식으로 송신될 수도 있다. 인핸스먼트 레이어들은 공간 해상도를 베이스 레이어의 프레임들에 부가할 수도 있거나, 또는, 부가적인 프레임들을 부가하여 전체 프레임 레이트를 증가시킬 수도 있다. 일 예에 있어서, 변조된 신호의 가장 신뢰성있는 부분들은 베이스 레이어를 송신하는데 이용될 수도 있지만, 변조된 신호의 덜 신뢰성있는 부분들은 인핸스먼트 레이어들을 송신하는데 이용될 수도 있다.
SVC 는 광범위하게 다양한 비디오 코딩 애플리케이션들에 이용될 수도 있다. SVC 기술들이 통상 이용되는 하나의 특정 영역은 무선 멀티미디어 브로드캐스트 애플리케이션에서이다. 멀티미디어 브로드캐스팅 기술들은 FLO (Forward Link Only), 디지털 멀티미디어 브로드캐스팅 (DMB), 및 디지털 비디오 브로드캐스팅-핸드헬드 (DVB-H) 로서 지칭되는 기술들을 포함한다. 무선 디지털 멀티미디어 브로드캐스팅은 컨텐츠를 다수의 가입자 디바이스들에게 일련의 브로드캐스트 채널들로서 전달하여, 종래의 텔레비전과 유사한 멀티미디어 컨텐츠 선택 경험을 제공할 수도 있다. 각각의 브로드캐스트 채널은 인코딩된 오디오/비디오 스트림들, 오디오/비디오 클립들, 또는 다른 정보 컨텐츠를 포함하는 디지털 데이터를 반송한다. 디지털 브로드캐스트 채널들은 (이동 핸드셋 또는 소위 멀티미디어 "셀 폰"과 같은) 다수의 이동 무선 가입자 유닛들에게 멀티캐스트 기반으로 동시에 전달된다. 각각의 이동 무선 가입자 유닛은 디지털 브로드캐스트를 수신하고, 사용자로의 제공을 위해 특정 브로드캐스트 채널에 튜닝할 수도 있다. 브로드캐스트 채널들을 스위칭하기 위해, 각각의 무선 장치는 상이한 브로드캐스트 채널로부터 디지털 데이터를 포착하고, 그 데이터를 디코딩하여 그 브로드캐스트 채널과 연관된 상이한 컨텐츠를 사용자에게 제공한다.
개요
본 개시는 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당 및 재할당하는 기술들을 설명한다. "FLO 공중 인터페이스" 에 의해 제공되는 송신 모드들 중 일부와 같은 다양한 송신 모드들이 2개의 상이한 정보 플로우들의 동시 송신을 가능케 한다. 이들 상이한 정보 플로우들은, 베이스 레이어 채널 및 인핸스먼트 레이어 채널을 정의하는 애플리케이션 레이어에서 가상 무선 "채널들" 로서 간주될 수 있다. 베이스 레 이어 채널은 무선 송신의 신뢰성의 관점에서 더 고품질의 것이다.
본 개시는 채널 리소스들을 효율적으로 활용하고, 채널들 간의 대역폭을 밸런싱시키고, 가능하게는 애플리케이션 레이어에 있어서의 에러 내성을 향상시키기 위해 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당 및 재할당하기 위한 수개의 방식을 제안한다. 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 재할당은, 예를 들어, 인코딩 레이트를 감소시켜 대역폭 제약을 충족시키기 위해, 양방향성 예측 (B) 프레임들이 베이스 레이어에 원래 할당되었는지 여부, 및 재-인코딩 요청이 인코더에 이슈되었는지 여부에 의존하여 변할 수도 있다.
일 예에 있어서, 일 방법은 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당하는 단계, 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 할당을 분석하는 단계, 그 분석에 기초하여 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당하는 단계, 및 무선 변조 방식의 베이스 레이어 및 인핸스먼트 레이어에 있어서 재할당된 멀티미디어 데이터를 송신하는 단계를 포함한다.
다른 예에 있어서, 일 장치는 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당하는 인코더 모듈, 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 할당을 분석하고 그 분석에 기초하여 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당하는 재할당 모듈, 및 무선 변조 방식에 따른 베이스 레이어 및 인핸스먼트 레이어에 있어서 재할당된 멀티미디어 데이터를 송신하는 송신기를 포함한다.
다른 예에 있어서, 일 디바이스는 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당하는 수단, 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 할당을 분석하는 수단, 그 분석에 기초하여 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당하는 수단, 및 무선 변조 방식의 베이스 레이어 및 인핸스먼트 레이어에 있어서 재할당된 멀티미디어 데이터를 송신하는 수단을 포함한다.
본 개시에 설명된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현된다면, 그 소프트웨어는 마이크로프로세서, 주문형 집적회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 또는 디지털 신호 프로세서 (DSP) 와 같은 하나 이상의 프로세서들에서 실행될 수도 있다. 그 기술들을 실행하는 소프트웨어는 먼저 컴퓨터 판독가능 매체에 저장되고 로딩되어 프로세서에서 실행될 수도 있다.
이에 따라, 본 개시는 또한, 실행 시, 적어도 하나의 컴퓨터로 하여금, 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당하게 하고, 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 할당을 분석하게 하고, 그 분석에 기초하여 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당하게 하며, 그리고, 무선 변조 방식의 베이스 레이어 및 인핸스먼트 레이어에 있어서 재할당된 멀티미디어 데이터를 송신하게 하는 명령들을 포함하는 컴퓨터 판독가능 매체를 고려한다.
어떤 경우, 컴퓨터 판독가능 매체는, 제조자에 의해 판매될 수도 있고/있거나 비디오 코딩 디바이스에서 사용될 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있으며, 또한, 어떤 경우, 패키징 재료들을 포함할 수도 있다.
본 개시의 하나 이상의 양태의 상세는 이하의 첨부도면 및 설명에 기재된다. 본 개시에서 설명된 기술들의 다른 특징, 목적, 및 이점은 설명 및 도면으로부터 그리고 특허청구범위로부터 명백할 것이다.
도면의 간단한 설명
도 1 은 본 개시의 기술들을 이용할 수 있는 예시적인 데이터 코딩 및 통신 시스템을 도시한 블록도이다.
도 2 는 2개의 상이한 가상 채널들을 포함하도록 정의된 무선 채널들의 예시도이다.
도 3 은 베이스 레이어 및 인핸스먼트 레이어를 정의하는 방식으로 비트들을 코딩하는데 이용될 수도 있는 예시적인 신호 콘스텔레이션을 도시한 도면이다.
도 4 및 도 5 는 본 개시와 부합하는 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당 및 재할당하는 예시적인 기술들을 도시한 흐름도이다.
상세한 설명
본 개시는 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당 및 재할당하는 기술들을 설명한다. 용 어 "멀티미디어 데이터" 는 일반적으로 비디오 또는 오디오-비디오 데이터를 지칭한다. "FLO 공중 인터페이스" 에 의해 제공되는 송신 모드들 중 일부와 같은 다양한 송신 모드들이 2 이상의 상이한 정보 플로우들의 동시 송신을 가능케 할 수도 있다. 이들 상이한 정보 플로우들은 물리 레이어 변조 방식에 대하여 애플리케이션 레이어에서 정의될 수도 있으며, 베이스 레이어 채널 및 인핸스먼트 레이어 채널을 정의하는 가상 무선 "채널들" 로서 간주될 수 있다. 베이스 레이어 채널은 무선 송신의 신뢰성의 관점에서 더 고품질의 것이다.
본 개시는 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당 및 재할당하기 위한 수개의 방식을 제안한다. 재할당 기술들은, 예를 들어, 인코딩 레이트를 감소시켜 무선 통신 채널과 연관된 대역폭 제약을 충족시키기 위해, 양방향성 예측 (B) 프레임들이 베이스 레이어에 원래 할당되었는지 여부, 및 재-인코딩 요청이 인코더에 이슈되었는지 여부에 의존하여 변할 수도 있다. 설명된 기술들은 채널 리소스들을 효율적으로 활용하고, 채널들 간의 대역폭을 밸런싱시키고, 가능하게는 애플리케이션 레이어에 있어서의 에러 내성을 향상시키는 것을 도울 수도 있다. 어떤 경우, 그 기술들은 전체 총 대역폭 이용을 감소시키는 것을 도울 수 있다.
FLO 공중 인터페이스 규격의 현재 리비전 (revision) 은, 16-QAM (16 포인트 (4비트) 쿼드러처 진폭 변조) 신호의 콘스텔레이션과 유사한 계층적 신호 콘스텔레이션에 따라 무선 변조를 정의한다. 그 콘스텔레이션은 4개의 상이한 사분면 각각에 4개 포인트를 정의하여, 총 16개 포인트를 산출한다. 각각의 포인트는 대응하는 변조 캐리어 신호의 벡터 공간 표현에 대응하며, 4비트 이진수에 의해 표현될 수 있다. 콘스텔레이션 설계 (변조 파라미터들의 선택) 를 통해, 각각의 사분면의 2개 포인트들은 무선 송신에 있어서의 수신 신뢰성의 관점에서, 그 사분면의 다른 2개의 포인트들보다 더 고품질을 가질 수도 있다. 즉, 4비트 이진수에 의해 정의된 비트들 중, 대응하는 포인트가 어느 사분면에 위치하는지를 식별하는 2개 비트들은, 무선 송신에 있어서의 정확한 수신 신뢰성의 관점에서, 그 특정 사분면의 4개 포인트들 중 하나에 포인팅하는 나머지 2개 비트들보다 더 고품질의 것이다. 16-QAM 신호의 더 고품질 비트들은 베이스 레이어를 정의하는데 이용될 수도 있으며, 더 저품질 비트들은 인핸스먼트 레이어를 정의하는데 이용될 수도 있다. 베이스 레이어 및 인핸스먼트 레이어에 할당된 컨텐츠에 무관하게, 그 비트들 모두는 무선 통신에서 송신된다. 이에 따라, 베이스 레이어에 더 많은 데이터가 존재한다면, 통상적으로, 패딩 비트들이 인핸스먼트 레이어에 부가된다.
본 개시는, 예를 들어, 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당함으로써, 인핸스먼트 레이어에서 이러한 "미사용" 대역폭을 더 잘 이용하는 기술들을 제안한다. 다양한 시나리오에 있어서, B 프레임들 (또는 "저 우선순위" B 프레임들) 과 연관된 데이터는 상이한 레이어들 사이에서 멀티미디어 데이터의 더 양호한 밸런스를 달성하기 위해 베이스 레이어로부터 인핸스먼트 레이어로 이동될 수도 있다. 또한, 베이스 레이어에 있어서의 멀티미디어 데이터는 인핸스먼트 레이어에서 리던던트하게 코딩될 수도 있거나, 또는, 보조 정보가 인핸스먼트 레이어에서 정의되어 디코딩을 지원 및 보조하고, 이에 의해, 미사용 대역폭을 더 잘 이용할 수도 있다. 좀더 다른 경우에 있어서, 예측 (P) 프레임들 중 일부가 베이스 레이어로부터 인핸스먼트 레이어로 이동될 수도 있다. 예를 들어, 그러한 일부는 슬라이스 데이터 파티셔닝 방식에 따라 정의된 최저 우선순위 P 프레임 정보를 포함할 수도 있다. 어떤 경우, 멀티미디어 데이터가 베이스 레이어로부터 인핸스먼트 레이어로 이동될 경우, 그러한 프레임들의 리던던트 코딩은 인핸스먼트 레이어에서 수행될 수도 있다. 이러한 상이한 기술들은, 예를 들어, B 프레임들이 베이스 레이어에 원래 할당되었는지 여부 및 재-인코딩 요청이 인코더에 이슈되었는지 여부와 같은 팩터들에 기초하여 상이한 시나리오에 적용할 수도 있다.
도 1 은 본 개시의 기술들을 이용할 수 있는 예시적인 시스템 (2) 을 도시한 블록도이다. 다수의 다른 시스템들이 또한 본 명세서에 설명된 기술들을 이용할 수 있기 때문에 시스템 (2) 은 단지 예시적이다. 시스템 (2) 은, 인코딩 디바이스 (10) 로부터 다수의 가입자 디바이스들 (12A-12C) 로의 멀티미디어 컨텐츠의 무선 브로드캐스팅을 지원하는 시스템의 일 예이다. 본 개시의 기술들은 그러한 브로드캐스트 시스템에 특히 유용하지만, 또한, 비디오 전화를 지원하는 시스템들 또는 주문형 (on-demand) 포인트-투-포인트 비디오 스트리밍 서비스들과 같은 비디오 정보의 통신 및 비디오 코딩을 지원하는 다른 시스템들과 같이, 비디오 정보의 양방향 무선 통신을 지원하는 시스템들에 적용할 수 있다.
멀티미디어 브로드캐스팅 기술들은 FLO (Forward Link Only), 디지털 멀티미디어 브로드캐스팅 (DMB), 및 디지털 비디오 브로드캐스팅-핸드헬드 (DVB-H) 로서 지칭되는 기술들을 포함한다. 디지털 멀티미디어 브로드캐스팅은 컨텐츠를 일련의 브로드캐스트 채널들로서 다수의 가입자 디바이스들 (12A-12C) 에 전달하여, 종래 텔레비전과 유사한 멀티미디어 컨텐츠 선택 경험을 제공할 수도 있다. 각각의 브로드캐스트 채널은 인코딩된 오디오/비디오 스트림들, 오디오/비디오 클립들, 또는 다른 정보 컨텐츠를 포함하는 디지털 데이터를 반송한다. 디지털 브로드캐스트 채널들은 디바이스 (10) 로부터 다수의 가입자 디바이스들 (12A-12C) 로 멀티캐스트 기반으로 동시에 전달된다. 가입자 디바이스들 (12A-12C) 은 (이동 핸드셋 또는 소위 멀티미디어 "셀 폰"과 같은) 이동 무선 가입자 유닛들을 포함할 수도 있다. 각각의 이동 무선 가입자 유닛 (12A-12C) 은 디지털 브로드캐스트를 수신하고, 사용자로의 제공을 위해 특정 채널에 튜닝할 수도 있다. 채널들을 스위칭하기 위해, 각각의 가입자 유닛은 상이한 채널로부터 디지털 데이터를 포착하고, 그 데이터를 디코딩하여 상이한 컨텐츠를 사용자에게 제공한다.
또한, 시스템 (2) 은 단지 예시적이다. 본 명세서에 설명된 기술들은, 2 이상의 레이어들을 정의하는 무선 변조 방식을 이용하는 임의의 시스템에서 이용될 수 있다. 상이한 레이어들 (베이스 레이어 및 인핸스먼트 레이어) 은, 어떤 경우, 가상 채널들로서 간주될 수도 있다. 다른 예시적인 시스템들이 (브로드캐스팅보다는) 직접 양방향 무선 통신을 이용할 수도 있거나, 또는, 기지국들 또는 다른 시스템 컴포넌트들을 통해 2 이상의 디바이스들 사이에서 통신할 수도 있다. 예를 들어, 다른 예들에 있어서, 본 개시의 기술들은, 비디오 컨퍼런싱 또는 다른 비디오 전화 애플리케이션들을 위한 비디오 코딩을 수행하는 디바이스들에 의해 이용될 수도 있다.
시스템 (2) 에 있어서, 위성 송신기 (4) 는 다수의 브로드캐스트 채널들을 위성 수신기 (6) 에 송신한다. 상이한 브로드캐스트 채널들에 있어서의 정보는 위성 디코드 유닛 (8) 에 의해 디코딩된 후, 프리-프로세싱 유닛 (14) 에 의해 프리프로세싱된다. 프리-프로세싱 유닛 (14) 은 무선 브로드캐스트에 더 유용한 포맷으로 비디오 컨텐츠를 생성하기 위하여, 예를 들어, 표준 선명도로부터 QVGA (Quarter Video Graphics Array) 로 및/또는 인터레이스드 스캔으로부터 프로그레시브 스캔으로, 해상도 및 포맷 변경을 용이하게 할 수도 있다. 일 예에 있어서, 컴포넌트들 (4,6 및 8) 은 위성 텔레비전을 브로드캐스팅 및 디코딩하기 위한 종래의 장비를 포함할 수도 있다. 하지만, 다른 경우, 멀티미디어 컨텐츠의 브로드캐스트 채널들은 케이블 텔레비전 제공자 또는 임의의 다른 소스에 의해 제공될 수 있다. 일반적으로, 프리-프로세싱 유닛 (14) 은 멀티미디어 컨텐츠를 무선 브로드캐스트에 유용한 포맷으로 프로세싱한다.
디바이스 (10) 는 멀티미디어 컨텐츠의 무선 브로드캐스팅을 용이하게 한다. 디바이스 (10) 는 멀티미디어 컨텐츠의 채널들을 인코딩하는 인코더 모듈 (16) 을 포함할 수도 있다. 인코더 모듈 (16) 은 단일 모듈을 포함할 수도 있거나, 또는, 멀티미디어 컨텐츠의 상이한 채널들을 처리하는 수개의 상이한 인코더 모듈들을 포함할 수도 있다. 예를 들어, 인코더 모듈 (16) 은 멀티미디어 데이터의 하나 이상의 플로우들을 포함하는 복수의 상이한 서비스들 또는 컨텐츠를 인코딩할 수도 있다. 멀티플렉스 모듈 (18) 은 인코딩된 플로우들을 멀티캐스트로 결합 할 수도 있다. 인코딩된 채널들은 뉴스, 스포츠, 날씨, 금융 정보, 영화, 및/또는 애플리케이션들, 프로그램들, 스크립트들, 또는 임의의 다른 타입의 적절한 컨텐츠 또는 서비스와 같은 멀티미디어 컨텐츠 또는 서비스들을 포함할 수도 있다. 본 개시의 일 양태에 있어서, 디바이스 (10) 는 일 시간 주기에 걸쳐 수신된 멀티미디어 데이터의 플로우들의 일부를 인코딩, 결합 및 송신한다.
일 예로서, 디바이스 (10) 는 초당 (per second) 기반으로 플로우들에 동작할 수도 있다. 일 예로서, 디바이스 (10) 는 복수의 플로우들 또는 채널들의 멀티미디어 데이터의 1초 세그먼트들을 인코딩하고, 그 멀티미디어 데이터의 1초 세그먼트들을 결합하여 데이터의 슈퍼프레임을 형성하며, 그 슈퍼프레임을 송신기 (24) 를 통해 무선 채널들 (15) 상으로 송신할 수도 있다. 본 명세서에서 사용되는 바와 같이, 용어 "슈퍼프레임" 은 1초 시간 주기 또는 윈도우와 같은 일 시간 주기 또는 윈도우를 통해 수집된 멀티미디어 데이터의 세그먼트들의 그룹을 지칭한다. 멀티미디어 데이터의 세그먼트들은 비디오 또는 오디오-비디오 데이터의 하나 이상의 프레임들을 포함할 수도 있다. 비록 본 개시의 다양한 양태들이 데이터의 1초 세그먼트들의 콘텍스트에서 설명될 수도 있지만, 그 기술들은 또한, 고정된 시간 주기일 수도 있거나 아닐 수도 있는 상이한 시간 주기에 걸쳐 수신된 데이터의 세그먼트들에 대한 것 또는 데이터의 개별 프레임들 또는 프레임 세트들에 대한 것과 같은 데이터의 다른 세그먼트들을 결합 및 송신하는데 활용될 수도 있다. 즉, 슈퍼프레임들은 1초 주기들보다 크거나 작은 시간 인터벌 또는 심지어 가변 시간 인터벌을 커버하도록 정의될 수 있다.
멀티플렉스 모듈 (18) 은, 어떤 경우에 재-인코딩 요청들을 포함할 수도 있는 피드백을 인코더 모듈 (16) 에 제공할 수도 있다. 이러한 방식으로, 멀티플렉스 모듈 (18) 은 무선 채널들 (15) 의 가용 무선 대역폭을 효율적으로 이용하기 위해 인코더 모듈 (16) 에 의해 하나 이상의 특정 채널들에 적용된 인코딩 레이트를 조정할 수 있다. 멀티플렉스 모듈 (18) 은 인코딩된 컨텐츠를 분석하고, 그러한 컨텐츠를 송신하는데 필요한 대역폭의 양을 무선 채널들 (15) 상의 가용 대역폭과 비교할 수도 있다. 필요하다면, 멀티플렉스 모듈 (18) 은 하나 이상의 재-인코딩 요청을 인코더 모듈 (16) 에 이슈하여, 하나 이상의 컨텐츠 스트림들에 대해 코딩 레이트가 감소되게 할 수도 있다. 멀티플렉스 모듈 (18) 이 멀티캐스트를 생성한 후, 변조기 (22) 는 무선 물리 레이어 변조 방식에 따라 정보를 변조한다. 송신기 (24) 는 하나 이상의 안테나들 (28) 을 통해 무선 채널들 (15) 상으로 멀티캐스트를 가입자 디바이스들 (12A-12C) 에 송신한다.
이하 더 상세히 설명되는 바와 같이, 인코더 모듈 (16) 은 무선 변조 방식에 있어서 변조기 (22) 에 제공된 베이스 레이어 및 인핸스먼트 레이어에 멀티미디어 데이터를 할당한다. 재할당 모듈 (25) 은 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 할당을 분석하고, 그 분석에 기초하여 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당한다. 변조기 (22) 는 재할당된 멀티미디어 데이터를 변조하고, 송신기 (24) 는 무선 변조 방식에 따른 베이스 레이어 및 인핸스먼트 레이어에 있어서 재할당된 멀티미디어 데이터를 송신한다. 재할당 모듈 (25) 에 의한 멀티미디어 데이터의 재할당은 채널 리소 스들을 효율적으로 활용하고, 채널들 간의 대역폭을 밸런싱시키고, 가능하게는 애플리케이션 레이어에 있어서의 에러 내성을 향상시키는 것을 돕고/돕거나 전체 총 대역폭 이용을 감소시키는 것을 도울 수도 있다. 재할당 모듈 (25) 은 인코더 모듈 (16) 의 서브-루틴을 포함할 수도 있지만, 간략화를 위해 별도로 도시되어 있다. 실제로, 디바이스 (10) 의 도시된 컴포넌트들은 하드웨어, 소프트웨어, 및 펌웨어의 임의의 조합으로 구현될 수도 있으며, 도 1 에 도시된 임의의 또는 모든 컴포넌트들 또는 모듈들은 회로 또는 소프트웨어 루틴에 있어서 결합될 수도 있다.
무선 채널들 (15) 은 임의의 무선 프로토콜을 따라 동작할 수도 있으며, 고정된 대역폭을 가질 수도 있다. 즉, 멀티미디어 데이터의 결합된 플로우들을 송신하는데 이용가능한 송신 채널 리소스들의 양은 제한된다. 무선 콘텍스트에 있어서, 송신 채널 리소스들은 공중 링크 또는 공중 인터페이스 리소스들을 포함할 수도 있다. 따라서, 디바이스 (10) 가 채널들 (15) 을 통해 송신할 수도 있는 비트들의 수는 송신에 이용가능한 송신 채널 리소스들의 양에 의해 제한된다. 예로써, 무선 채널들 (15) 은 FLO, DMB, 또는 DVB-H 와 같은 하나 이상의 무선 브로드캐스트 기술들에 따라, 또는 이동 통신용 글로벌 시스템 (GSM), 코드분할 다중 액세스 (CDMA), CDMA2000, 광대역 CDMA (W-CDMA), CDMA 1x EV-DO (Evolution-Data Optimized), 주파수 분할 다중 액세스 (FDMA), 직교 주파수 분할 멀티플렉싱 (OFDM), 시분할 다중 액세스 (TDMA), 또는 다양한 IEEE 801.11x 표준들에 의해 정의된 무선 네트워킹을 용이하게 하기 위해 개발된 광범위한 계열의 표준들과 같은 하나 이상의 무선 액세스 기술들에 따라 동작할 수도 있다.
일부 양태에 있어서, 본 개시에서 설명된 기술들은, 기술 표준 TIA-1099 ("FLO 규격") 로서 공개될 "Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast" 인, FLO 공중 인터페이스 규격을 이용하여 지상 이동 멀티미디어 멀티캐스트 (TM3) 시스템들에 있어서 실시간 비디오 서비스들을 전달하는 H.264 어드밴스드 비디오 코딩에 적용될 수도 있다. 즉, 무선 채널 (15) 은 FLO 규격 등에 따라 무선 비디오 정보를 브로드캐스트하는데 이용되는 무선 정보 채널을 포함할 수도 있다. FLO 규격은, FLO 공중 인터페이스에 적절한 비트스트림 신택스 및 시맨틱스 (semantics) 그리고 디코딩 프로세스들을 정의하는 예들을 포함한다. 대안적으로, 비디오는 DVB-H (디지털 비디오 브로드캐스트-핸드헬드), ISDB-T (통합 서비스 디지털 브로드캐스트-지상), 또는 DMB (디지털 멀티미디어 브로드캐스팅) 와 같은 다른 표준들에 따라 브로드캐스트될 수도 있다.
FLO 공중 인터페이스에 있어서 제공되는 레이어형 송신 모드들 (모드 수 ∈{6,7,8,9,10,11}) 은 2개의 (잠재적으로 연관된) 정보 플로우들의 동시 송신 및 수신을 2개의 상이한 서비스 품질 레벨들에서 가능케 한다. 이는 계층적 변조 기술들에 기초하여 달성되며, 신호 콘스텔레이션의 구조, 에너지 비율, 내부 (터보) 및 외부 (리드-솔로몬) 코드 레이트는 이들 2개의 가상 채널들의 상대적인 신뢰도를 결정한다. 도 2 는 2개의 상이한 가상 채널들 (31A 및 31B) 을 포함하도록 정의된 무선 채널들 (15) 의 예시도이다. 물리 레이어에서, 변조는 실제로 하나의 변조 채널을 포함할 수도 있지만, 가상 채널들 (31A 및 31B) 은 애플리 케이션 레이어에서 정의될 수도 있다.
통상적인 애플리케이션 시나리오에 있어서, 예를 들어, 스케일러블 비디오 코더의 베이스 레이어 비트스트림인 고 우선순위 데이터 스트림이 더 신뢰성있는 채널 (31A) 을 통해 송신되고, 따라서, 더 높은 QoS 를 제공받는다. 예를 들어, 동일한 스케일러블 비디오 코더의 인핸스먼트 레이어 비트스트림인 더 낮은 중요성 데이터 스트림은 덜 신뢰성있는 채널 (31B) 을 통해 송신될 것이고, 따라서, 더 낮은 QoS 를 경험할 것이다.
FLO 공중 인터페이스 규격의 현재 리비전에 대해, 이용가능한 계층적 신호 콘스텔레이션은, 도 3 에 도시된 바와 같이, 16-QAM 의 신호 콘스텔레이션과 유사하다. 콘스텔레이션에 있어서 각각의 (신호) 포인트와 연관된 각각의 합성 4비트 이진수는 2개의 데이터 스트림들 (베이스 및 인핸스먼트) 각각으로부터의 2비트를 포함한다. 또한, 물리 레이어에서 정의되는 변조는 실제로 하나의 변조 채널을 포함할 수도 있지만, (도 3 에 도시된 바와 같이) 신호 콘스텔레이션의 특정 비트들을 상이한 레이어들에 할당함으로써, 수개의 가상 채널들이 애플리케이션 레이어에서 정의될 수도 있다. 도 3 에 대한 예에 있어서, 각각의 사분면 내에서, 각각의 4비트 이진수의 최상위 (최좌측) 비트 및 세번째 최상위 (좌측으로부터 세번째) 비트는, 그 사분면이 공동으로 그 사분면에 고유한 동일값들을 갖는다는 것을 나타낸다. 따라서, 첫번째와 세번째 최상위 비트 위치값들의 조합은 수신 신호의 사분면 (서브-클러스터) 을 식별한다.
한편, 각각의 사분면 내에서, 각각의 4비트 이진수의 두번째 최상위 (좌측으 로부터 두번째) 비트 및 최하위 (우측으로부터 첫번째) 비트는, 그 사분면이 공동으로 이들 비트 위치들로 하여금 소정의 수신 신호에 대한 서브-클러스터에서 고유하게 식별되게 할 수 있는 (4개의) 가능한 서로다른 값들 모두를 가정한다는 것을 나타낸다. 콘스텔레이션의 구조 (상이한 포인트간 거리) 로 인해, 채널 잡음으로 인한 신호 오염의 존재 시, 잘못된 서브-클러스터간 신호 천이는 잘못된 서브-클러스터내 (intra-sub-cluster) 신호 천이보다 발생 가능성이 훨씬 더 적다. 따라서, 채널 잡음으로 인해, 일 신호를 상이한 서브-클러스터에 속하는 다른 신호와 혼동하는 것이 동일 신호를 동일한 서브-클러스터에 있어서의 다른 신호와 혼동하는 것보다 훨씬 가능성이 낮으며, 이는 최상위 비트 및 세번째 최상위 비트의 위치를 나타내는 서브-클러스터가 나머지 2개 비트의 위치보다 훨씬 더 우수하게 잡음에 대해 보존됨을 의미한다. 따라서, 도 3 에 대해, 최상위 비트 및 세번째 최상위 비트의 위치들에 대한 비트값들은 베이스 레이어 데이터에 의해 제공되어야 하지만, 두번째 최상위 비트 및 최하위 비트의 위치들에 대한 비트값들은 인핸스먼트 레이어 데이터에 의해 제공되어야 한다. 물론, 다수의 다른 신호 콘스텔레이션이 본 개시에 따라 정의되거나 이용될 수 있다. 동일한 리드-솔로몬 코드 레이트가 양 데이터 스트림들 (베이스 및 인핸스먼트) 에 이용될 수도 있으며, 결과는, 각각의 슈퍼프레임에 대해, 양 데이터 스트림들의 대역폭이 매칭할 것이라는 점이다.
종래의 시나리오에 있어서, (베이스 레이어 및 인핸스먼트 레이어에 대응하는) 채널들 (31A 및 31B) 의 대역폭 매칭은 더 적은 대역폭의 데이터 스트림 내의 패딩의 사용을 통해 달성된다. 레이트 제어 알고리즘의 이용에도 불구하고, 통상적으로 상당한 미스매칭이 존재하며, 이는 낭비된 대역폭을 야기한다.
레이어형 송신 모드들의 2개의 가상 채널들 (31A 및 31B) 에 의해 달성되는 서비스 품질들은 상당히 상이하다. 신뢰할수 없는 채널에 대해 작용하도록 기대되는 스트리밍 비디오 애플리케이션은 만족스런 성능을 위한 특정 특성들을 지원할 필요가 있다. 이들 특성 중 하나는 허용가능한 레이턴시로의 랜덤 액세스, 즉, 컨텐츠를 변경하기 위한 채널 스위치의 가능성이다. 다른 특성은 GDR (Gradual Decoder Refresh) 로서 또한 공지된 적응적 인트라 리프레시 (AIR) 이며, 이는 에러/손실인 경우에 시간적 에러 전파를 저감시키는 것을 목적으로 한다. AIR/GDR 은 또한 랜덤 액세스를 위한 효과적인 툴로서 이용될 수 있다. 이들 2개의 중요 특성들의 지원은 통상적으로 더 신뢰할 수 있는 채널을 통해 송신되는 베이스 레이어에서 구현 및 제공되어야 한다. 베이스 레이어 비트스트림은 공간, 시간 및 신호 샘플 충실도의 관점에서 필수적인 품질 요건을 충족할 필요가 있을 수도 있다. 전술한 2개의 특성들은 베이스 레이어의 대역폭 필요성을 증가시킬 수도 있다. 이는 베이스 레이어 및 인핸스먼트 레이어에서의 대역폭의 매칭을 더 도전하게 할 수 있다.
2개의 상이한 서비스 품질 (QoS) 클래스는 압축된 데이터에 대한 우선순위/중요성의 2레벨 양자화를 야기한다. 더 유연한 세팅은 3 이상의 서비스 품질 레벨을 허용할 것이다. 이러한 필요성을 본질적으로 안내하는 하나의 예시적인 설계가 본 명세서에서 설명된다.
B 슬라이스들 또는 B 프레임들은 압축 효율을 위해 필수 툴을 제공한다. 하지만, B 프레임들 또는 B 슬라이스들의 수를 임의로 증가시키는 것은 시간적 스케일러빌리티를 통한 베이스 및 인핸스먼트 레이어 대역폭들의 매칭을 위한 또는 레이트-왜곡 성능을 위한 적절한 설계가 아니다. H.264/AVC 표준은 "일반화된 B 화상들 (Generalized B Pictures; BR 프레임들로 표기함)" 을 허용하며, 이는 디코딩 순서에 있어서 다른 B 화상들에 대한 레퍼런스로서 기능할 수 있다. 이러한 제공에 기초하여, (디스플레이 순서에 있어서) GOP 구조는
Figure 112009044403110-pct00001
등
으로서 간주될 수 있다.
상기에 있어서, 자명한 수치 (trivial numerical) 표기와는 별도로, BR* 는 통상의 B 화상들에 대한 레퍼런스로서 기능하는 일반화된 B 화상들을 나타낸다. 이러한 GOP 구조에 대해, 압축된 데이터 내에서 다음과 같은 3개의 (우선순위/중요성) 클래스를 식별하는 것이 가능하다.
클래스 1: 30fps 공칭 시간 레이트를 가정하면 7.5fps 렌더링을 제공하는 {I1,P1,P2,P3,…}. 클래스 2: 클래스 1 과 함께 15fps 렌더링을 제공하는 {BR1,BR2,BR3,…}.
클래스 3: 클래스 1 및 클래스 2 와 함께 30fps 렌더링을 제공하는 {B1,B2,B3,B4,B5,B6,…}. 또한, I 는 "인트라" 를 지칭하고, P 는 "예측" 을 지칭하며, B 는 "양방향성 예측" 을 지칭한다.
클래스 1 이 베이스 레이스에 할당되고 클래스 3 이 인핸스먼트 레이어에 할당되는 배열을 입증하는 것은 용이하다. 클래스 2 를 고려하면, BR 프레임들이 클래스 3 에 있어서의 프레임들에 대해 (일부) 레퍼런스 프레임들로서 기능하기 때문에, 클래스 2 는 인핸스먼트 레이어에 의해 제공되는 것보다 논리적으로 더 우수한 보호를 받을 만할 수도 있다. 또한, 컨텐츠의 본성으로 인해, 7.5fps 가 적절한 시간 레이트가 아니라면, 이는 클래스 2 를 베이스 레이어로 이동시키기 위한 다른 동기를 제공한다. 한편, 베이스 레이어 내의 클래스 1 및 클래스 2 양자에 있어서, 양 레이어들에서 동일한 대역폭을 달성하는 것은 더 불가능하게 될 것이다. 더욱이, 클래스 1 이 클래스 2 (및 클래스 3) 에 대한 레퍼런스로서 기능하기 때문에, 클래스 1 에 제공된 QoS 는 논리적으로 클래스 2 에 대한 QoS 보다 더 우수해야 한다. 따라서, 우선순위/중요성에 대해, 클래스 2 는 베이스 레이어와 인핸스먼트 레이어 사이의 어느 곳에 더 정확하게 속하며, 이는 오직 2개의 레이어들 (베이스 및 인핸스먼트) 만을 갖는 시스템들에 존재하지 않을 수도 있다.
코딩 디바이스의 전체 설계는 매력적인 작업이다. 그러한 설계에 있어서,
1. 명시적으로 낭비된 대역폭을 피하는 것.
2. 베이스 레이어 데이터 세트와 인핸스먼트 레이어 데이터 세트 사이의 대역폭 매칭을 가능케 하는 것.
3. 3 이상의 레벨에서 UEP (Unequal Error Protection), 즉, QoS 를 제공할 수 있을 것.
4. 에러 내성을 향상시키는 것이 바람직하다.
이러한 목적들은 효율적이고 표준에 호환되는 방식으로 획득되어야 한다.
본 개시의 기술들은 베이스 레이어에 있어서 초과 대역폭인 경우와 인핸스먼트 레이어에 있어서 초과 대역폭인 경우 사이를 구별할 수도 있다. 인핸스먼트 레이어에 있어서 초과 대역폭인 경우는 상호간 불균형보다 훨씬 더 호의적이다. 인핸스먼트 레이어에 있어서 초과 대역폭인 경우에는, 베이스 레이어를 패딩하는 대신, 인핸스먼트 레이어에 있어서의 초과 멀티미디어 데이터의 일부가 베이스 레이어로 이동될 수 있다. 이는 인핸스먼트 레이어보다 더 높은 서비스 품질 (QoS) 을 그 이동된 데이터에 제공할 수 있다. 이는 또한, 결합된 플로우에 대해 감소된 전체 대역폭을 안내할 수 있다. 전송 및 동기화 (Sync) 레이어 프레이밍/패킷화 제공은 이러한 타입의 데이터 셔플링을 시그널링 및 관리하는데 이용될 수 있다.
이하 설명되는 기술들은, 예를 들어 비디오 액세스 유닛 (VAU) 과 같은 코딩된 멀티미디어 데이터의 단순한 파티셔닝이 베이스 레이어에 있어서 더 높은 대역폭을 안내한다는 더 실제적인 문제에 대한 해결책에 집중한다. 이는, 더 신뢰성있는 채널로부터 덜 신뢰성있는 채널로의 이동 멀티미디어 데이터가 대부분의 경우에 실현가능하지 않으며 또한 더 신뢰성있는 채널로부터 덜 신뢰성있는 채널로의 이동 멀티미디어 데이터는 사소한 작업이 아니기 때문에 심각한 문제이다.
본 개시의 기술들은 베이스 레이어 대역폭과 인핸스먼트 레이어 대역폭 사이 의 더 우수한 매칭을 달성하기 위한 풀 (full) 재-인코딩이 가능하지 않거나 적어도 바람직하지 않다고 가정할 수도 있다. 이러한 가정들, 즉, 베이스 레이어 대역폭이 인핸스먼트 레이어 대역폭보다 더 크고 풀 재-인코딩이 옵션이 아니라는 가정 하에서, 이하의 설명은 몇몇 특정 케이스에 집중한다. 상이한 액션 과정들이 베이스 레이어와 인핸스먼트 레이어 사이의 불균형을 효율적으로 경감시키기 위한 코딩 디바이스에 대해 제안된다. 다음의 경우에 있어서, 인코더 모듈 (16) 이, 무선 변조 방식에 있어서 정의된 베이스 레이어 및 인핸스먼트 레이어로의 압축된 멀티미디어 정보의 (예비) 할당을 행했다고 가정될 수도 있다. 재할당 모듈 (25) 은 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 할당을 분석하고, 그 분석에 기초하여, 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당한다. 이러한 재할당은 이하에서 검토되는 상이한 케이스들에 따라 발생할 수도 있다. 재할당 이후, 송신기 (24) 는 무선 변조 방식에 따른 베이스 레이어 및 인핸스먼트 레이어에 있어서 재할당된 멀티미디어 데이터를 송신할 수도 있다.
케이스 1 에 있어서, 인핸스먼트 레이어에 재할당되는 것에 즉시 순응하는 베이스 레이어 내의 멀티미디어 데이터가 존재하지 않으며, 멀티플렉스 모듈 (18) 은 현재의 슈퍼프레임에 대한 대역폭 조정 (감소) 을 요청하지 않았다. B 프레임들은, 인핸스먼트 레이어에 재할당되는 것에 즉시 순응하는 프레임들이라고 간주될 수도 있다. 따라서, 케이스 1 에 있어서, 베이스 레이어에 할당된 B 프레임들은 존재하지 않을 수도 있다. 케이스 1 에 있어서, 베이스 레이어 대역폭 자 체를 보존하고 또한 인핸스먼트 레이어에서 이용가능한 여분의 대역폭을 향상된 에러 내성에 잘 사용하는 것이 인센티브일 수도 있다. 몇몇 예견가능한 옵션은 다음을 포함한다.
일 예에 있어서, 케이스 1 은 인핸스먼트 레이어로의 베이스 레이어의 슬라이스의 선택된 서브세트의 리던던트한 표현을 안내할 수 있었다. 리던던트한 표현은 베이스 레이어에 의해 제공된 동일한 품질 레벨에 있어야 하는 것은 아니다. 실제로, 베이스 레이어 I 및 P 슬라이스들은 통상적으로 인핸스먼트 레이어 B 슬라이스들보다 상당히 더 높은 대역폭을 소비한다는 것을 주목하면, 이용가능한 여분의 대역폭을 더 효율적으로 이용하기 위해, 인핸스먼트 레이어에 있어서 I 및 P 슬라이스들의 더 조악한 (더 저 품질의) 리던던트 표현을 이용하는 것이 바람직할 수도 있다. 한편, 이러한 대체 표현을 생성하는 부가적인 작업을 코딩 디바이스에 부과하는 것은 바람직하지 않을 수도 있다. 이러한 딜레마에 대한 표준 호환적인 솔루션은 슬라이스 데이터 파티셔닝 (SDP) 의 이용을 통해 달성될 수 있다.
상세하게, SDP 는 코어 시간 스케일러빌리티 프레임워크와 함께 효율적이고 간단하며 유효한 SNR 스케일러빌리티 보조물로서 이용될 수도 있다. 따라서, 선택된 베이스 레이어 VAU 의 선택된 슬라이스들의 선택된 파티션들 (잠재적으로, A 및 B 파티션들) 의 리던던트한 카피들이 여분의 인핸스먼트 레이어 대역폭에 제공될 수 있다. 오직 하나의 부가적인 (리던던트한) 표현을 제공하기 위해, H.264/AVC 에 있어서의 "리던던트 코딩된 화상/슬라이스" 제공이 이용될 수 있다.
SDP 에 있어서, 코딩된 멀티미디어 데이터는 상이한 파티션들로 분할된다. ITU-T H.264 에 따르면, I 프레임들 (또는 슬라이스들) 은 최대 2개의 파티션들 (A 및 B) 을 가질 수 있으며, B 및 P 프레임들 (또는 슬라이스들) 은 최대 3개의 파티션들 (A, B 및 C) 을 가질 수 있다. 파트 A 파티션들은 슬라이스 헤더 정보, 매크로블록 (MB) 타입, 인트라 예측 모드, 및 코딩에 사용된 모션 벡터와 같은 가장 중요한 정보를 포함한다. 파트 B 파티션들은 인트라 MB 에 대한 잔여 정보를 포함한다. 파트 C 파티션들은 인터 MB 에 대한 잔여 정보를 포함한다. RBSP (Raw Byte Sequence Payload) 신택스 (H.264 어넥스 B) 와 함께 SDP 를 채용하는 것은 각각의 B 및 C 파티션 당 통상 4개의 부가 바이트 (3개의 시작-코드 프리픽스 바이트 및 1개의 NALU 헤더 바이트) 의 사용을 필요로 한다. 이러한 오버헤드 수치는 RBSP 트레일링 비트들로 인해 각각의 B 및 C 파티션 당 1 많은 바이트 만큼 증가될 수도 있다. 리던던트 코딩에 있어서, 가장 중요한 정보 (파트 A 파티션들) 는 베이스 레이어 및 인핸스먼트 레이어 양자에 있어서 리던던트 코딩에 대한 우선순위를 제공받을 수도 있다. 또한, 이하 더 상세히 설명되는 바와 같이, 멀티미디어 데이터가 베이스 레이어로부터 인핸스먼트 레이어로 이동될 필요가 있다면, SDP 방식에 있어서 정의되는 파트 C 파티션 정보는, 그 우선순위가 P 및 B 프레임들에 대해 3개의 상이한 파티션들 중 최하위이기 때문에, 이동될 우수한 후보를 제공할 수도 있다.
다른 예로서, 케이스 1 은 인핸스먼트 레이어에 있어서 부분 또는 전체 비디오 액세스 유닛 (VAU) 들 및/또는 슬라이스들의 선택된 서브세트의 리던던트한 표 현을 안내할 수 있었다. 통계적으로, B VAU/슬라이스 사이즈들이 통상 수십 바이트로 작다는 것을 주목하면, B 슬라이스에 있어서 특히 다수의 슬라이스들을 갖는 B VAU 에 있어서 SDP 를 이용하는 것은 종종 비효율적이다. 따라서, 이 경우, 리던던트한 표현은, 인핸스먼트 레이어에 있어서 코딩되고 있는 선택된 미파티션된 B VAU 및/또는 B 슬라이스들의 정확한 카피들에 의해 제공될 수도 있다. 하지만, 모든 B VAU 가 동일하게 중요한 것은 아니다. VAU들이 제공될 때, BR VAU 는 통상의 (비-레퍼런스) B VAU 에 비해 더 높은 우선순위 및 중요성의 것이다. 통상의 B VAU 내에서, 더 높은 모션 컨텐츠를 갖는 시간 세그먼트들의 샘플링을 가능케하는 이들 통상의 B VAU 는 나머지 B VAU 에 비해 더 중요하다. 이러한 기준들은, 어떤 B VAU 가 (존재하는 경우에 BR 로 시작하는) 인핸스먼트 레이어에 있어서 리던던트하게 표현되어야 하는지를 판정하는데 이용될 수 있다.
이 콘텍스트에 있어서의 리던던트한 표현은 BR VAU 및 다른 원하는 데이터의 UEP (Unequal Error Protection) 에 대한 효율적인 메커니즘을 제공한다. B VAU/슬라이스 사이즈가 작기 때문에, B VAU/슬라이스에 대한 2 이상의 부가적인 (리던던트한) 표현이 제공될 수 있다. H.264 표준에 의해 제공된 이미 허용가능한 하나의 리던던트 코딩된 화상 이외에, 다수의 리던던트한 표현을 달성하는 표준 호환적인 방법은 "사용자_데이터_미등록된" SEI (Supplemental Enhancement Information) 메시지 타입의 사용을 통하는 것이다. 원래의 카피 및 리던던트한 (정확한) 카피 양자를 포함하는, 동일한 데이터의 모두합해 홀수 (
Figure 112009044403110-pct00002
3)개의 카피의 리던던트 송신을 가정하면, 디코딩 디바이스는, 모든 수신 카피들이 모호하거 나 모든 수신 카피들이 잔여물로서 소거된 PLP (Physical Layer Packet) 로부터 기인할 경우에 "머조러티 디코딩 (majority decoding)" 방식을 실행할 수도 있다. 이러한 접근법에 대한 기본 전제는 비디오 디코딩 레이어가 에러있는 데이터를 적절하게 처리할 수 있어야 한다는 것이다. 인핸스먼트 레이어 데이터 세트 내에서 실현되는 반복 코드는, 리던던트하게 코딩되는 데이터 세그먼트들의 송신 신뢰도를 향상시킬 수 있다.
리던던트 데이터의 복수의 카피들에 의해 경험되는 (시간적으로) 송신-인스턴트 전달은, 그 카피들 중 적어도 하나가 채널 손상에도 불구하고 원래대로 수신될 확률을 증가시킬 수 있다. 여기서, 최종 포인트로서, 동일한 신뢰도 (QoS) 를 제공하는 동일한 레이어, 즉, 인핸스먼트 레이어 내에 리던던시를 도입하는 제안은 상이한 레이어들에 리던던시를 도입하는 것에 비해 더 직관적이고 유력한 접근법을 나타냄을 주목해야 한다.
케이스 1 에 대한 다른 옵션은 초과 인핸스먼트 레이어 대역폭에 있어서 보조 정보 (즉, 디코딩 힌트) 를 코딩 및 송신하여, 디코더의 에러 처리 및 은닉을 보조하는 것이다. 리던던트 멀티미디어 데이터 송신에 대한 대안으로서 또는 그에 부가하여, 디바이스 (10) 는 에러 처리 및 은닉을 보조하기 위한 정보의 포함을 고려할 수도 있으며, 이는 디코더가 채널 손상을 처리할 때 그 디코더를 지원할 수 있다. 이들 보조 정보는, "스킵 & 프리즈 (skip & freeze)" 및 "디코드 & 은닉" 액션들과 같이 에러없는 VAU 데이터는 물론 에러있는 VAU 데이터를 처리하기 위해 디코더에서 행해지는 더 잘 알려진 판정을 허용할 수도 있다. 부가적으 로, 그러한 보조 정보는, 디코더가 가장 적절한 (컨텐츠 및 손실 구조 의존형) 은닉 방법을 선택하게 도울 수 있다.
보조 정보는 슈퍼프레임 (SF) 구조 디스크립션, B VAU 위치, 시간적 (단방향성 및 양방향성) 유사도 메트릭, 씬 (scene) 변경/샷 (shot) 경계 표시자, 글로벌 모션 디스크립터, 인트라-슬라이스 재동기화 포인트 디스크립터, 인트라 예측 모드들과 같은 공간적 에러 은닉 (SEC) 및 시간적 에러 은닉 (TEC) 지원 정보, 평균 휘도 및 색차값, 및 비-자명 (nontrivial)/복소 모션 필드 세그먼트들에 대한 모션 벡터의 형태일 수 있다.
현재의 SF 에 대한 보조 정보에 부가하여, 다른 SF 인터벌, 즉, 이전 및/또는 다음 SF 인터벌에 대한 보조 정보의 송신이 또한 이용될 수도 있다. 이는 증가된 시간 다이버시티로부터 이득을 얻을 수 있다. 적당하게 단순한 메트릭 및 신중한 패킷화의 선택으로, 인코더 또는 디코더 중 어느 하나에서 프로세싱 딜레이를 증가시키는 것은 바람직하지 않지만, 임의의 결과적인 레이턴시는 인코더 및 디코더 양자에서 용이하게 제어될 수 있다.
케이스 2 에 있어서, 인핸스먼트 레이어에 재할당되는 것에 즉시 순응하는 베이스 레이어 내의 멀티미디어 데이터는 존재하지 않으며, 멀티플렉스 모듈 (18) 은 현재의 슈퍼프레임에 대한 대역폭 조정 (감소) 을 이미 요청하였다. 또한, B 프레임들은, 인핸스먼트 레이어에 재할당되는 것에 즉시 순응하는 프레임들이라고 간주될 수도 있다. 따라서, 케이스 2 에 있어서, 베이스 레이어에 할당된 B 프레임들은 존재하지 않을 수도 있으며, 멀티플렉스 모듈 (18) 은 현재의 슈퍼프레 임에 대한 대역폭 조정 (감소) 을 이미 요청하였다.
케이스 2 상황 하에서, 인코더 프로세싱에 있어서의 임의의 바이어스는 베이스 레이어 대역폭을 감소시킬 것이다. 하지만, 오직 I 및 P VAU 만이 베이스 레이어에 포함될 경우, 이러한 베이스 레이어 대역폭 감소는 자명하지 않다. 베이스 레이어의 대역폭에 있어서의 감소를 효율적으로 실현하기 위한 하나의 솔루션은 SDP 를 통한 간단한 SNR 스케일러빌리티에 기초한다. 슈퍼프레임의 마지막 P VAU 로 시작하여, 선택된 P 슬라이스들/프레임들의 파트 C 파티션들이 인핸스먼트 레이어로 이동될 수 있다. 베이스 레이어에 있어서의 슈퍼프레임의 종단에서 이러한 프로세스를 개시하는 것 (및 슈퍼프레임의 시작부를 향해 필요한 범위로 이동하는 것) 은, 인핸스먼트 레이어가 손실된다면 발생할 임의의 바람직하지 않은 복원 드리프트를 한정하는 것을 돕는다. 이러한 역방향 (종단으로부터 시작부로) 프로세싱 순서를 통해, 손실된 인핸스먼트 레이어 데이터로 인한 복원 드리프트는 현재의 슈퍼프레임 내에서 최소의 시간 범위로 한정될 수 있다. 베이스 레이어에 있어서의 현재의 슈퍼프레임의 종단에서 이러한 프로세스를 개시하는 것은 또한, 드리프트의 시간적 전파를 제어하는 다음의 SF(들) 에 있어서의 AIR/GDR 로부터의 신속한 이점을 가능케 할 수 있다.
이러한 케이스 2 접근법에 따르면, 파트 A 파티션들 및 파트 B 파티션들이 베이스 레이어에 보존되어야 한다. (베이스로부터 인핸스먼트로의) 파트 C 파티션들의 임의의 재할당을 통해 적당하게 가능한 것 이외에, 베이스 레이어 대역폭과 인핸스먼트 레이어 대역폭 사이의 임의의 나머지 미스매칭 및 인핸스먼트 레이 어에 있어서의 대응하는 여분의 대역폭은 케이스 1 에 대해 설명된 접근법들 중 하나를 사용함으로써 해결될 수 있다.
케이스 3 에 있어서는, 인핸스먼트 레이어에 재할당되는 것에 즉시 순응하는 베이스 레이어 내의 멀티미디어 데이터가 존재하며, 멀티플렉스 모듈 (18) 은 현재의 슈퍼프레임에 대한 대역폭 조정 (감소) 을 요청하지 않았다. 따라서, 케이스 3 에 있어서는, 베이스 레이어에 할당된 (BR 프레임들과 같은) B 프레임들이 존재하며, 멀티플렉스 모듈 (18) 은 현재의 슈퍼프레임에 대한 대역폭 조정 (감소) 을 요청하지 않았다.
이 케이스 3 에 있어서, 멀티플렉스 모듈 (18) 로부터의 대역폭 감소 요청이 존재하지 않음에 따라 베이스 레이어 대역폭을 보존하고 또한 케이스 1 에 대해 설명된 제안들 중 하나 이상을 통해 인핸스먼트 레이어에 제공된 여분의 대역폭을 잘 사용하는 것은 겉보기에 인센티브이다. 하지만, 가장 중요한 효율적인 대역폭 사용에 기초하여, 코딩 디바이스는 베이스 레이어 대역폭을 감소시키는 가능성을 평가할 것이다. 이러한 목적을 향한 원리 인에이블러 (principle enabler) 는 모든 B/BR 프레임들이 동일하게 중요한 것은 아니다라는 것이다. 특별히, B/BR 프레임들을 이용하는 균등한 GOP 구조들에 대해서는 이것은 참이다. 적응형 GOP (비균등 GOP 로서 또한 공지됨) 구조에 있어서, 비디오 시퀀스의 비균등 모션 컨텐츠 및 비균등 시간적 샘플링에 대한 대응하는 기회가 이미 고려될 수도 있다.
케이스 3 에 있어서, 제 1 옵션은 통상의 B 프레임들 (비-레퍼런스 B 프레임들) 을 베이스 레이어로부터 인핸스먼트 레이어로 이동시키는 것일 수도 있다. 하지만, 비-레퍼런스 B 프레임들은 통상적으로 베이스 레이어에 포함되지 않는다. 최하의 모션 컨텐츠를 갖는 시간적 세그먼트들을 샘플링하는 BR 프레임들 (레퍼런스 B 프레임들) 로 시작하여, BR 프레임 데이터는 인핸스먼트 레이어로 이동될 수 있다. 이 프로세스에 있어서, 인핸스먼트 레이어에 있어서 공칭보다 더 우수한 에러 보호를 이들 BR 프레임들에 제공하기 위해, 리던던시가 인핸스먼트 레이어에 제공될 수 있다. 즉, 베이스 레이어로부터 인핸스먼트 레이어에 재할당된 BR 프레임들은 인핸스먼트 레이어에서 리던던트한 방식으로 코딩될 수도 있다. 비디오 시퀀스의 기본 품질 시간적 렌더링을 위해 '본질적/더 중요한' 것으로 간주되는 BR 프레임들은 여전히 베이스 레이어에 보존되어야 한다.
케이스 4 에 있어서는, 인핸스먼트 레이어에 재할당되는 것에 즉시 순응하는 베이스 레이어 내의 멀티미디어 데이터가 존재하며, 멀티플렉스 모듈 (18) 은 현재의 슈퍼프레임에 대한 대역폭 조정 (감소) 을 이미 요청하였다. 따라서, 케이스 4 에 있어서는, 베이스 레이어에 할당된 (BR 프레임들과 같은) B 프레임들이 존재하며, 멀티플렉스 모듈 (18) 은 현재의 슈퍼프레임에 대한 대역폭 조정 (감소) 을 이미 요청하였다.
케이스 4 상황 하에서, 프로세싱에 있어서의 바이어스는 베이스 레이어 대역폭을 감소시킬 것이다. 케이스 3 과 동일하게, 제 1 옵션은 통상의 B 프레임들 (비-레퍼런스 B 프레임들) 을 베이스 레이어로부터 인핸스먼트 레이어로 이동시키는 것일 수도 있다. 또한, 케이스 3 과 동일하게, 덜 중요한 BR 프레임들로 시작하여, 선택된 BR 프레임들의 데이터는, 가능하다면, 인핸스먼트 레이어에 제공된 리던던시를 갖고 인핸스먼트 레이어로 이동될 수 있다. 이 경우에 있어서, 베이스 레이어 대역폭 요건을 낮춘 후 베이스 레이어 대역폭과 인핸스먼트 레이어 대역폭을 매칭시키는 것에 주로 관심을 둔다. 이 경우에 있어서, 당면 목적인 에러 내성을 향상시키는 것은 어렵다.
도 4 는 본 개시와 부합하는 일 기술을 도시한 흐름도이다. 도 4 에 도시된 바와 같이, 인코더 모듈 (16) 은 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당한다 (41). 그 후, 재할당 모듈 (25) 은 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 할당을 분석하고 (42), 그 분석에 기초하여 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당한다 (43). 송신기 (24) 는 무선 변조 방식에 따른 베이스 레이어 및 인핸스먼트 레이어에 있어서 재할당된 멀티미디어 데이터를, 예를 들어, 무선 채널들 (15) 을 통해 다양한 가입자 디바이스들 (12A-12C) 로 송신한다 (44). 변조기 (22) 는 송신기 (24) 에 의한 멀티미디어 데이터의 송신 이전에 (인코더 모듈 (16) 및 재할당 모듈 (25) 에 의해 정의된 할당 및 재할당에 의해 정의되는 바와 같은) 변조를 수행할 수도 있다.
상기 더 상세히 설명된 바와 같이, 인코더 모듈 (16) 은 슬라이스 데이터 파티셔닝 방식에 따라 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당할 수도 있다. 이 경우, 재할당 모듈 (25) 은 슬라이스 데이터 파티셔닝 방식에 따라 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당한다. 예를 들어, 재할당 모듈 (25) 은 하나 이상의 멀티미디어 프레임 들과 연관된 슬라이스 데이터 파티션들의 서브세트를 베이스 레이어로부터 인핸스먼트 레이어로 이동시킬 수도 있다. P 프레임들의 타입 C 파티션들은 예를 들어, 어떠한 B 프레임들도 베이스 레이어에 존재하지 않을 경우에 이동될 수도 있다. 슬라이스 데이터 파티셔닝에 따르면, I 프레임들은 파티션의 2개 레벨 (타입 A 파티션 및 타입 B 파티션) 을 정의할 수 있고, P 및 B 프레임들은 파티션의 3개 레벨 (타입 A 파티션, 타입 B 파티션, 및 타입 C 파티션) 을 정의할 수 있다.
어떤 경우, 인코더 모듈 (16) 은 I 프레임들 및 P 프레임들을 베이스 레이어에 할당할 수도 있고, B 프레임들을 인핸스먼트 레이어에 할당할 수도 있다. 다른 경우, 인코더 모듈 (16) 은 I 프레임들 및 P 프레임들을 베이스 레이어에 할당하고, B 프레임들의 제 1 서브세트를 베이스 레이어에 할당하며, B 프레임들의 제 2 서브세트를 인핸스먼트 레이어에 할당할 수도 있다. 재할당 모듈 (25) 에 의해 수행된 분석은 B 프레임들이 베이스 레이어에 존재하는지의 판정을 포함할 수도 있다. 그 분석은 또한, 멀티플렉스 모듈 (18) 이 임의의 재-인코딩 요청들을 인코더 모듈 (16) 에 이슈하였는지의 판정을 포함할 수도 있다.
일 예에 있어서, 재할당 모듈 (25) 은 할당된 멀티미디어 데이터에 대해 재-인코딩 요청이 이슈되었는지를 판정하고, 재-인코딩 요청이 이슈되었는지에 적어도 부분적으로 기초하여 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당한다. 더욱이, 재할당 모듈 (25) 은 B 프레임들이 베이스 레이어에 존재하는지를 판정하고, B 프레임들이 베이스 레이어에 존재하는지에 적어도 부분적으로 기초하여 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당한다.
도 5 는 본 개시와 부합하는 일 기술을 도시한 다른 흐름도이다. 도 5 에 도시된 바와 같이, 인코더 모듈 (16) 은 무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당한다 (51). 그 후, 재할당 모듈 (25) 은 베이스 레이어와 인핸스먼트 레이어 사이의 멀티미디어 데이터의 할당을 분석하여, B 프레임들이 베이스 레이어에 존재하는지 (52) 및 재-인코딩 요청이 이슈되었는지 (53A 및 53B) 를 판정한다. 그 후, 재할당 모듈 (25) 은 이들 팩터들에 기초하여, 예를 들어, 케이스 1 (54), 케이스 2 (55), 케이스 3 (56), 또는 케이스 4 (57) 에 따라 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 재할당한다.
예를 들어, 어떠한 B 프레임들도 베이스 레이어에 존재하지 않고 (52 의 "아니오" 브랜치) 재-인코딩 요청이 이슈되지 않았을 경우 (53A 의 "아니오" 브랜치), 재할당 모듈 (25) 은 베이스 레이어에 있어서의 정보의 서브세트의 하나 이상의 카피들을 인핸스먼트 레이어에 리던던트하게 할당할 수도 있다. 이는 케이스 1 (54) 에 대한 하나의 가능성이다. 베이스 레이어에 있어서의 정보의 서브세트의 하나 이상의 카피들의 리던던트한 할당은 프레임 기반으로, 슬라이스 기반으로, 또는 슬라이스 데이터 파티션 기반으로 수행될 수도 있다. 가장 중요한 프레임들, 슬라이스들 또는 슬라이스 데이터 파티션들은, 데이터가 베이스 레이어에 남겨지고 또한 부가된 데이터 보안을 위해 인핸스먼트 레이어에서 리던던트하게 코딩되기 때문에, 케이스 1 에 따른 리던던트한 할당에 대한 최상의 후보이다.
대안적으로, 어떠한 B 프레임들도 베이스 레이어에 존재하지 않고 (52 의 "아니오" 브랜치) 재-인코딩 요청이 이슈되지 않았을 경우 (53A 의 "아니오" 브랜치), 재할당 모듈 (25) 은 인핸스먼트 레이어에 보조 정보를 코딩할 수도 있으며, 이 보조 정보는 에러 처리를 위해 디코더에 대한 보조를 제공한다. 이는 케이스 1 (54) 에 대한 대안적인 가능성이다. 다수의 가능한 보조 정보가 상기 리스트되어 있다.
어떠한 B 프레임들도 베이스 레이어에 존재하지 않고 (52 의 "아니오" 브랜치) 재-인코딩 요청이 이슈되었을 경우 (53A 의 "예" 브랜치), 재할당 모듈 (25) 은 원래 베이스 레이어에 있어서의 하나 이상의 예측 (P) 프레임들의 일부를 인핸스먼트 레이어로 이동시킨다. 이는 케이스 2 (55) 이다. 구체적으로, 케이스 2 에 있어서, P 프레임들의 일부의 이동은 P 프레임들의 (슬라이스 데이터 파티셔닝에 의해 정의된) 파트 C 파티션들을 베이스 레이어로부터 인핸스먼트 레이어로 이동시키는 것을 포함할 수도 있다. 소정의 슈퍼프레임 내에서 나중의 (시간적으로 나중의) P 프레임들이 먼저 이동되어야 한다. 요구된다면, 베이스 레이어로부터 인핸스먼트 레이어로 이동된 임의의 데이터가 향상된 신뢰도를 위해 인핸스먼트 레이어에서 리던던트하게 코딩되도록 리던던시가 제공될 수도 있다.
B 프레임들이 베이스 레이어에 존재하고 (52 의 "예" 브랜치) 재-인코딩 요청이 이슈되지 않았을 경우 (53B 의 "아니오" 브랜치), 재할당 모듈 (25) 은 베이스 레이어에 있어서 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하고, 원래 베이스 레이어에 있어서의 덜 중요한 B 프레임들 중 하 나 이상을 인핸스먼트 레이어로 이동시킬 수도 있다. 다른 방법들이 사용될 수 있지만, 상기 개시는 상이한 B 프레임들을 우선순위화하는 일 방법을 제공한다. 이 경우, 즉, 케이스 3 (56) 에 있어서, 재할당 모듈 (25) 은 인핸스먼트 레이어에 있어서 덜 중요한 B 프레임들을 리던던트 방식으로 코딩할 수도 있다. 즉, 베이스 레이어로부터 인핸스먼트 레이어로 이동된 임의의 B 프레임들은 인핸스먼트 레이어에 있어서 리던던트 방식으로 코딩될 수도 있다.
B 프레임들이 베이스 레이어에 존재하고 (52 의 "예" 브랜치) 재-인코딩 요청이 이슈되었을 경우 (53B 의 "예" 브랜치), 재할당 모듈 (25) 은 베이스 레이어에 있어서 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하고, 원래 베이스 레이어에 있어서의 덜 중요한 B 프레임들 중 하나 이상을 인핸스먼트 레이어로 이동시킨다. 이 케이스는 케이스 4 (57) 이다. 또한, 다른 방법들이 사용될 수 있지만, 상기 개시는 상이한 B 프레임들을 우선순위화하는 예시적인 방법을 제공한다. 케이스 3 에서와 같이, 케이스 4 에 있어서, 베이스 레이어로부터 인핸스먼트 레이어로 이동된 임의의 B 프레임들은 인핸스먼트 레이어에 있어서 리던던트 방식으로 코딩될 수도 있다.
일단 멀티미디어 데이터가 재할당되면, 송신기 (24) 는 예를 들어, 무선 변조 방식에 따른 베이스 레이어 및 인핸스먼트 레이어에 있어서 재할당된 멀티미디어 데이터를 송신한다 (58). 이러한 방식으로, 멀티미디어 데이터는 무선 채널들 (15) 을 통해 다양한 가입자 디바이스들 (12A-12C) 로 송신된다. 본 명세서에서 설명된 할당 및 재할당 기술들은 채널 리소스들을 효율적으로 활용하고, 채널 들 간의 대역폭을 밸러싱시키며, 가능하게는 애플리케이션 레이어에서 에러 내성을 향상시키는 것을 도울 수도 있다.
본 명세서에 설명된 교시들에 기초하여, 당업자는, 본 명세서에 개시된 양태가 임의의 다른 양태들에 관계없이 구현될 수도 있음과 이들 양태들 중 2 이상이 다양한 방식으로 결합될 수도 있음을 이해할 것이다. 본 명세서에 설명된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어로 구현된다면, 그 기술들은 디지털 하드웨어, 아날로그 하드웨어, 또는 그들의 조합을 이용하여 실현될 수도 있다. 소프트웨어로 구현된다면, 그 기술들은 컴퓨터-판독가능 매체 상의 하나 이상의 저장된 또는 전송된 명령들 또는 코드에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터-판독가능 매체는 컴퓨터 저장 매체, 통신 매체, 또는 이들 양자를 포함할 수도 있으며, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함할 수도 있다. 저장 매체는, 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다.
한정이 아닌 예로써, 그러한 컴퓨터-판독가능 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 RAM, 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 프로그래머블 판독 전용 메모리 (PROM), 소거가능 프로그래머블 판독 전용 메모리 (EPROM), 전기적 소거가능 프로그래머블 판독 전용 메모리 (EEPROM), 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령 또는 데 이터 구조의 형태로 운반 또는 저장하는데 이용될 수 있고 또한 컴퓨터에 의해 액세스될 수 있는 임의의 다른 유형의 매체를 포함할 수 있다.
또한, 임의의 커넥션이 컴퓨터-판독가능 매체로 적절히 명명된다. 예를 들어, 네트워크 케이블, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신된다면, 네트워크 케이블, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 본 명세서에서 사용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, DVD (digital versatile disc), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 데이터를 광학적으로, 예를 들어, 레이저로 재생한다. 상기의 조합들은 또한 컴퓨터-판독가능 매체의 범위 내에 포함되어야 한다.
본 명세서에서 개시된 바와 같이, 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체뿐 아니라, 그 컴퓨터-판독가능 매체가 패키징되는 패키징 재료들을 포함하는, 컴퓨터-판독가능 매체와 연관된 임의의 재료들을 포함한다. 컴퓨터 프로그램 제품의 컴퓨터-판독가능 매체와 연관된 코드는 컴퓨터에 의해, 예를 들어, 하나 이상의 디지털 신호 프로세서 (DSP), 범용 마이크로프로세서, ASIC, FPGA, 또는 다른 등가 통합된 또는 별개의 로직 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 데이터를 인 코딩, 디코딩, 변조 및 송신하도록 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에 제공되거나, 결합된 CODEC 및 무선 변조기/송신기에 통합될 수도 있다.
다양한 양태들이 설명되었다. 이들 및 다른 양태들은 다음의 특허청구범위의 범위 내에 있다.

Claims (60)

  1. 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법에 있어서,
    무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당하는 단계;
    상기 베이스 레이어와 상기 인핸스먼트 레이어 사이의 상기 멀티미디어 데이터의 할당을 분석하는 단계;
    상기 분석에 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 단계; 및
    상기 무선 변조 방식의 상기 베이스 레이어 및 상기 인핸스먼트 레이어에 있어서 상기 재할당된 멀티미디어 데이터를 송신하는 단계를 포함하고,
    상기 멀티미디어 데이터를 할당하는 단계는, 슬라이스 데이터 파티셔닝 방식에 따라 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 할당하는 단계를 포함하고,
    상기 멀티미디어 데이터를 재할당하는 단계는, 상기 멀티미디어 데이터를 재할당함에 있어서, 하나 이상의 멀티미디어 프레임들과 연관된 슬라이스 데이터 파티션들의 서브세트가 상기 베이스 레이어로부터 상기 인핸스먼트 레이어로 이동되도록, 상기 슬라이스 데이터 파티셔닝 방식에 따라 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 멀티미디어 데이터를 할당하는 단계는,
    인트라 (I) 프레임들 및 예측 (P) 프레임들을 상기 베이스 레이어에 할당하는 단계; 및
    양방향성 예측 (B) 프레임들을 상기 인핸스먼트 레이어에 할당하는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  4. 제 3 항에 있어서,
    상기 I 프레임들은 2개 레벨의 파티션을 정의하고,
    상기 P 프레임들 및 B 프레임들은 3개 레벨의 파티션을 정의하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  5. 제 1 항에 있어서,
    상기 멀티미디어 데이터를 할당하는 단계는,
    인트라 (I) 프레임들 및 예측 (P) 프레임들을 상기 베이스 레이어에 할당하는 단계;
    양방향성 예측 (B) 프레임들의 제 1 서브세트를 상기 베이스 레이어에 할당하는 단계; 및
    상기 B 프레임들의 제 2 서브세트를 상기 인핸스먼트 레이어에 할당하는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  6. 제 1 항에 있어서,
    상기 멀티미디어 데이터의 할당을 분석하는 단계는 상기 할당된 멀티미디어 데이터에 대해 재-인코딩 요청이 이슈되었는지를 판정하는 단계를 포함하고,
    상기 멀티미디어 데이터를 재할당하는 단계는, 상기 재-인코딩 요청이 이슈되었는지에 적어도 부분적으로 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  7. 제 6 항에 있어서,
    상기 멀티미디어 데이터의 할당을 분석하는 단계는 양방향성 예측 (B) 프레임들이 상기 베이스 레이어에 존재하는지를 판정하는 단계를 포함하고,
    상기 멀티미디어 데이터를 재할당하는 단계는, 상기 B 프레임들이 상기 베이스 레이어에 존재하는지에 적어도 부분적으로 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  8. 제 7 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 단계는,
    상기 베이스 레이어에 있어서의 정보의 서브세트를 상기 인핸스먼트 레이어에 리던던트하게 할당하는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  9. 제 7 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 단계는,
    보조 정보를 상기 인핸스먼트 레이어에 코딩하는 단계를 포함하며,
    상기 보조 정보는 에러 처리를 위해 디코더에 대한 보조를 제공하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  10. 제 7 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되었을 경우, 상기 멀티미디어 데이터를 재할당하는 단계는,
    원래 상기 베이스 레이어에 있어서의 하나 이상의 예측 (P) 프레임들의 일부를 상기 인핸스먼트 레이어로 이동시키는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  11. 제 7 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 단계는,
    상기 베이스 레이어에 있어서의 상기 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하는 단계; 및
    원래 상기 베이스 레이어에 있어서의 상기 덜 중요한 B 프레임들 중 하나 이상을 상기 인핸스먼트 레이어로 이동시키는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  12. 제 11 항에 있어서,
    상기 멀티미디어 데이터를 재할당하는 단계는,
    상기 인핸스먼트 레이어에 있어서의 상기 덜 중요한 B 프레임들을 리던던트한 방식으로 코딩하는 단계를 더 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  13. 제 7 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하고 상기 재-인코딩 요청이 이슈되었을 경우, 상기 멀티미디어 데이터를 재할당하는 단계는,
    상기 베이스 레이어에 있어서의 상기 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하는 단계; 및
    원래 상기 베이스 레이어에 있어서의 상기 덜 중요한 B 프레임들 중 하나 이상을 상기 인핸스먼트 레이어로 이동시키는 단계를 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  14. 제 13 항에 있어서,
    상기 멀티미디어 데이터를 재할당하는 단계는,
    상기 인핸스먼트 레이어에 있어서의 상기 덜 중요한 B 프레임들을 리던던트한 방식으로 코딩하는 단계를 더 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  15. 제 1 항에 있어서,
    상기 재할당된 멀티미디어 데이터를 송신하기 전에, 상기 무선 변조 방식의 상기 베이스 레이어 및 상기 인핸스먼트 레이어에 있어서 상기 재할당된 멀티미디어 데이터를 변조하는 단계를 더 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 방법.
  16. 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치에 있어서,
    무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당하는 인코더 모듈;
    상기 베이스 레이어와 상기 인핸스먼트 레이어 사이의 상기 멀티미디어 데이터의 할당을 분석하고, 상기 분석에 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 재할당 모듈; 및
    상기 무선 변조 방식에 따른 상기 베이스 레이어 및 상기 인핸스먼트 레이어에 있어서 상기 재할당된 멀티미디어 데이터를 송신하는 송신기를 포함하고,
    상기 인코더 모듈은, 슬라이스 데이터 파티셔닝 방식에 따라 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 할당하고,
    상기 재할당 모듈은, 상기 멀티미디어 데이터를 재할당함에 있어서, 상기 재할당 모듈이 하나 이상의 멀티미디어 프레임들과 연관된 슬라이스 데이터 파티션들의 서브세트를 상기 베이스 레이어로부터 상기 인핸스먼트 레이어로 이동하도록, 상기 슬라이스 데이터 파티셔닝 방식에 따라 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  17. 삭제
  18. 제 16 항에 있어서,
    상기 인코더 모듈은,
    인트라 (I) 프레임들 및 예측 (P) 프레임들을 상기 베이스 레이어에 할당하고, 그리고,
    양방향성 예측 (B) 프레임들을 상기 인핸스먼트 레이어에 할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  19. 제 18 항에 있어서,
    상기 I 프레임들은 2개 레벨의 파티션을 정의하고,
    상기 P 프레임들 및 B 프레임들은 3개 레벨의 파티션을 정의하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  20. 제 16 항에 있어서,
    상기 인코더 모듈은,
    인트라 (I) 프레임들 및 예측 (P) 프레임들을 상기 베이스 레이어에 할당하고,
    양방향성 예측 (B) 프레임들의 제 1 서브세트를 상기 베이스 레이어에 할당하며, 그리고,
    상기 B 프레임들의 제 2 서브세트를 상기 인핸스먼트 레이어에 할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  21. 제 16 항에 있어서,
    상기 재할당 모듈은,
    상기 할당된 멀티미디어 데이터에 대해 재-인코딩 요청이 이슈되었는지를 판정하고, 그리고,
    상기 재-인코딩 요청이 이슈되었는지에 적어도 부분적으로 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  22. 제 21 항에 있어서,
    상기 재할당 모듈은,
    양방향성 예측 (B) 프레임들이 상기 베이스 레이어에 존재하는지를 판정하고, 그리고,
    상기 B 프레임들이 상기 베이스 레이어에 존재하는지에 적어도 부분적으로 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  23. 제 22 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 재할당 모듈은,
    상기 베이스 레이어에 있어서의 정보의 서브세트를 상기 인핸스먼트 레이어에 리던던트하게 할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  24. 제 22 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 재할당 모듈은,
    보조 정보를 상기 인핸스먼트 레이어에 코딩하며,
    상기 보조 정보는 에러 처리를 위해 디코더에 대한 보조를 제공하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  25. 제 22 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되었을 경우, 상기 재할당 모듈은,
    원래 상기 베이스 레이어에 있어서의 하나 이상의 예측 (P) 프레임들의 일부를 상기 인핸스먼트 레이어로 이동시키는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  26. 제 22 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 재할당 모듈은,
    상기 베이스 레이어에 있어서의 상기 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하고, 그리고,
    원래 상기 베이스 레이어에 있어서의 상기 덜 중요한 B 프레임들 중 하나 이상을 상기 인핸스먼트 레이어로 이동시키는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  27. 제 26 항에 있어서,
    상기 재할당 모듈은,
    상기 인핸스먼트 레이어에 있어서의 상기 덜 중요한 B 프레임들을 리던던트한 방식으로 코딩하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  28. 제 22 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하고 상기 재-인코딩 요청이 이슈되었을 경우, 상기 재할당 모듈은,
    상기 베이스 레이어에 있어서의 상기 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하고, 그리고,
    원래 상기 베이스 레이어에 있어서의 상기 덜 중요한 B 프레임들 중 하나 이상을 상기 인핸스먼트 레이어로 이동시키는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  29. 제 28 항에 있어서,
    상기 재할당 모듈은,
    상기 인핸스먼트 레이어에 있어서의 상기 덜 중요한 B 프레임들을 리던던트한 방식으로 코딩하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  30. 제 16 항에 있어서,
    상기 무선 변조 방식의 상기 베이스 레이어 및 상기 인핸스먼트 레이어에 있어서 상기 재할당된 멀티미디어 데이터를 변조하는 변조기를 더 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 장치.
  31. 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스에 있어서,
    무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당하는 수단;
    상기 베이스 레이어와 상기 인핸스먼트 레이어 사이의 상기 멀티미디어 데이터의 할당을 분석하는 수단;
    상기 분석에 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 수단; 및
    상기 무선 변조 방식의 상기 베이스 레이어 및 상기 인핸스먼트 레이어에 있어서 상기 재할당된 멀티미디어 데이터를 송신하는 수단을 포함하고,
    상기 할당하는 수단은, 슬라이스 데이터 파티셔닝 방식에 따라 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 할당하며,
    상기 재할당하는 수단은, 상기 멀티미디어 데이터를 재할당함에 있어서, 하나 이상의 멀티미디어 프레임들과 연관된 슬라이스 데이터 파티션들의 서브세트가 상기 베이스 레이어로부터 상기 인핸스먼트 레이어로 이동되도록, 상기 슬라이스 데이터 파티셔닝 방식에 따라 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  32. 삭제
  33. 제 31 항에 있어서,
    상기 할당하는 수단은,
    인트라 (I) 프레임들 및 예측 (P) 프레임들을 상기 베이스 레이어에 할당하고, 그리고,
    양방향성 예측 (B) 프레임들을 상기 인핸스먼트 레이어에 할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  34. 제 33 항에 있어서,
    상기 I 프레임들은 2개 레벨의 파티션을 정의하고,
    상기 P 프레임들 및 B 프레임들은 3개 레벨의 파티션을 정의하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  35. 제 31 항에 있어서,
    상기 할당하는 수단은,
    인트라 (I) 프레임들 및 예측 (P) 프레임들을 상기 베이스 레이어에 할당하고,
    양방향성 예측 (B) 프레임들의 제 1 서브세트를 상기 베이스 레이어에 할당하며, 그리고,
    상기 B 프레임들의 제 2 서브세트를 상기 인핸스먼트 레이어에 할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  36. 제 31 항에 있어서,
    상기 분석하는 수단은 상기 할당된 멀티미디어 데이터에 대해 재-인코딩 요청이 이슈되었는지를 판정하며,
    상기 멀티미디어 데이터를 재할당하는 수단은, 상기 재-인코딩 요청이 이슈되었는지에 적어도 부분적으로 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  37. 제 36 항에 있어서,
    상기 분석하는 수단은 양방향성 예측 (B) 프레임들이 상기 베이스 레이어에 존재하는지를 판정하며,
    상기 멀티미디어 데이터를 재할당하는 수단은, 상기 B 프레임들이 상기 베이스 레이어에 존재하는지에 적어도 부분적으로 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  38. 제 37 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 수단은,
    상기 베이스 레이어에 있어서의 정보의 서브세트를 상기 인핸스먼트 레이어에 리던던트하게 할당하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  39. 제 37 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 수단은,
    보조 정보를 상기 인핸스먼트 레이어에 코딩하며,
    상기 보조 정보는 에러 처리를 위해 디코더에 대한 보조를 제공하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  40. 제 37 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되었을 경우, 상기 멀티미디어 데이터를 재할당하는 수단은,
    원래 상기 베이스 레이어에 있어서의 하나 이상의 예측 (P) 프레임들의 일부를 상기 인핸스먼트 레이어로 이동시키는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  41. 제 37 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 수단은,
    상기 베이스 레이어에 있어서의 상기 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하고, 그리고,
    원래 상기 베이스 레이어에 있어서의 상기 덜 중요한 B 프레임들 중 하나 이상을 상기 인핸스먼트 레이어로 이동시키는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  42. 제 41 항에 있어서,
    상기 멀티미디어 데이터를 재할당하는 수단은,
    상기 인핸스먼트 레이어에 있어서의 상기 덜 중요한 B 프레임들을 리던던트한 방식으로 코딩하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  43. 제 37 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하고 상기 재-인코딩 요청이 이슈되었을 경우, 상기 멀티미디어 데이터를 재할당하는 수단은,
    상기 베이스 레이어에 있어서의 상기 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하고, 그리고,
    원래 상기 베이스 레이어에 있어서의 상기 덜 중요한 B 프레임들 중 하나 이상을 상기 인핸스먼트 레이어로 이동시키는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  44. 제 43 항에 있어서,
    상기 멀티미디어 데이터를 재할당하는 수단은,
    상기 인핸스먼트 레이어에 있어서의 상기 덜 중요한 B 프레임들을 리던던트한 방식으로 코딩하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  45. 제 31 항에 있어서,
    상기 무선 변조 방식의 상기 베이스 레이어 및 상기 인핸스먼트 레이어에 있어서 상기 재할당된 멀티미디어 데이터를 변조하는 수단을 더 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 디바이스.
  46. 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 명령들을 포함하는 컴퓨터 판독가능 매체에 있어서,
    상기 명령들은 적어도 하나의 컴퓨터로 하여금,
    무선 변조 방식에 있어서 정의된 베이스 레이어와 인핸스먼트 레이어 사이에 멀티미디어 데이터를 할당하게 하고,
    상기 베이스 레이어와 상기 인핸스먼트 레이어 사이의 상기 멀티미디어 데이터의 할당을 분석하게 하고,
    상기 분석에 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하게 하고, 그리고,
    상기 무선 변조 방식의 상기 베이스 레이어 및 상기 인핸스먼트 레이어에 있어서 상기 재할당된 멀티미디어 데이터를 송신하게 하며,
    상기 멀티미디어 데이터를 할당하는 것은, 슬라이스 데이터 파티셔닝 방식에 따라 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 할당하는 것을 포함하고, 그리고,
    상기 멀티미디어 데이터를 재할당하는 것은, 상기 멀티미디어 데이터를 재할당함에 있어서, 하나 이상의 멀티미디어 프레임들과 연관된 슬라이스 데이터 파티션들의 서브세트가 상기 베이스 레이어로부터 상기 인핸스먼트 레이어로 이동되도록, 상기 슬라이스 데이터 파티셔닝 방식에 따라 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 것을 포함하는, 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성을 위한 명령들을 포함하는, 컴퓨터 판독가능 매체.
  47. 삭제
  48. 제 46 항에 있어서,
    상기 멀티미디어 데이터를 할당하는 것은,
    인트라 (I) 프레임들 및 예측 (P) 프레임들을 상기 베이스 레이어에 할당하는 것; 및
    양방향성 예측 (B) 프레임들을 상기 인핸스먼트 레이어에 할당하는 것을 포함하는, 컴퓨터 판독가능 매체.
  49. 제 48 항에 있어서,
    상기 I 프레임들은 2개 레벨의 파티션을 정의하고,
    상기 P 프레임들 및 B 프레임들은 3개 레벨의 파티션을 정의하는, 컴퓨터 판독가능 매체.
  50. 제 46 항에 있어서,
    상기 멀티미디어 데이터를 할당하는 것은,
    인트라 (I) 프레임들 및 예측 (P) 프레임들을 상기 베이스 레이어에 할당하는 것;
    양방향성 예측 (B) 프레임들의 제 1 서브세트를 상기 베이스 레이어에 할당하는 것; 및
    상기 B 프레임들의 제 2 서브세트를 상기 인핸스먼트 레이어에 할당하는 것을 포함하는, 컴퓨터 판독가능 매체.
  51. 제 46 항에 있어서,
    상기 멀티미디어 데이터의 할당을 분석하는 것은 상기 할당된 멀티미디어 데이터에 대해 재-인코딩 요청이 이슈되었는지를 판정하는 것을 포함하고,
    상기 멀티미디어 데이터를 재할당하는 것은, 상기 재-인코딩 요청이 이슈되었는지에 적어도 부분적으로 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 것을 포함하는, 컴퓨터 판독가능 매체.
  52. 제 51 항에 있어서,
    상기 멀티미디어 데이터의 할당을 분석하는 것은 양방향성 예측 (B) 프레임들이 상기 베이스 레이어에 존재하는지를 판정하는 것을 포함하고,
    상기 멀티미디어 데이터를 재할당하는 단계는, 상기 B 프레임들이 상기 베이스 레이어에 존재하는지에 적어도 부분적으로 기초하여 상기 베이스 레이어와 상기 인핸스먼트 레이어 사이에 상기 멀티미디어 데이터를 재할당하는 것을 포함하는, 컴퓨터 판독가능 매체.
  53. 제 52 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 것은,
    상기 베이스 레이어에 있어서의 정보의 서브세트를 상기 인핸스먼트 레이어에 리던던트하게 할당하는 것을 포함하는, 컴퓨터 판독가능 매체.
  54. 제 52 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 것은,
    보조 정보를 상기 인핸스먼트 레이어에 코딩하는 것을 포함하며,
    상기 보조 정보는 에러 처리를 위해 디코더에 대한 보조를 제공하는, 컴퓨터 판독가능 매체.
  55. 제 52 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하지 않고 상기 재-인코딩 요청이 이슈되었을 경우, 상기 멀티미디어 데이터를 재할당하는 것은,
    원래 상기 베이스 레이어에 있어서의 하나 이상의 예측 (P) 프레임들의 일부를 상기 인핸스먼트 레이어로 이동시키는 것을 포함하는, 컴퓨터 판독가능 매체.
  56. 제 52 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하고 상기 재-인코딩 요청이 이슈되지 않았을 경우, 상기 멀티미디어 데이터를 재할당하는 것은,
    상기 베이스 레이어에 있어서의 상기 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하는 것; 및
    원래 상기 베이스 레이어에 있어서의 상기 덜 중요한 B 프레임들 중 하나 이상을 상기 인핸스먼트 레이어로 이동시키는 것을 포함하는, 컴퓨터 판독가능 매체.
  57. 제 56 항에 있어서,
    상기 멀티미디어 데이터를 재할당하는 것은,
    상기 인핸스먼트 레이어에 있어서의 상기 덜 중요한 B 프레임들을 리던던트한 방식으로 코딩하는 것을 더 포함하는, 컴퓨터 판독가능 매체.
  58. 제 52 항에 있어서,
    상기 B 프레임들이 상기 베이스 레이어에 존재하고 상기 재-인코딩 요청이 이슈되었을 경우, 상기 멀티미디어 데이터를 재할당하는 것은,
    상기 베이스 레이어에 있어서의 상기 B 프레임들을 평가하여 덜 중요한 B 프레임들 및 더 중요한 B 프레임들을 식별하는 것; 및
    원래 상기 베이스 레이어에 있어서의 상기 덜 중요한 B 프레임들 중 하나 이상을 상기 인핸스먼트 레이어로 이동시키는 것을 포함하는, 컴퓨터 판독가능 매체.
  59. 제 58 항에 있어서,
    상기 멀티미디어 데이터를 재할당하는 것은,
    상기 인핸스먼트 레이어에 있어서의 상기 덜 중요한 B 프레임들을 리던던트한 방식으로 코딩하는 것을 더 포함하는, 컴퓨터 판독가능 매체.
  60. 제 46 항에 있어서,
    상기 명령들은 상기 컴퓨터로 하여금,
    상기 무선 변조 방식의 상기 베이스 레이어 및 상기 인핸스먼트 레이어에 있어서 상기 재할당된 멀티미디어 데이터를 변조하게 하는, 컴퓨터 판독가능 매체.
KR1020097015347A 2006-12-22 2007-12-18 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성 KR101065237B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US87164206P 2006-12-22 2006-12-22
US60/871,642 2006-12-22
US11/777,918 2007-07-13
US11/777,918 US8630355B2 (en) 2006-12-22 2007-07-13 Multimedia data reorganization between base layer and enhancement layer

Publications (2)

Publication Number Publication Date
KR20090101950A KR20090101950A (ko) 2009-09-29
KR101065237B1 true KR101065237B1 (ko) 2011-09-16

Family

ID=39493843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097015347A KR101065237B1 (ko) 2006-12-22 2007-12-18 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성

Country Status (7)

Country Link
US (1) US8630355B2 (ko)
EP (1) EP2103139A2 (ko)
JP (1) JP2010515297A (ko)
KR (1) KR101065237B1 (ko)
CN (1) CN101563929B (ko)
TW (1) TW200845751A (ko)
WO (1) WO2008079825A2 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0500332D0 (en) * 2005-01-08 2005-02-16 Univ Bristol Enhanced error concealment
US7974193B2 (en) 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US8792555B2 (en) * 2006-01-31 2014-07-29 Qualcomm Incorporated Methods and systems for resizing multimedia content
MX2009007037A (es) * 2007-01-04 2009-07-10 Qualcomm Inc Metodo y aparato para deteccion de espectro distribuido para comunicacion inalambrica.
US8379734B2 (en) * 2007-03-23 2013-02-19 Qualcomm Incorporated Methods of performing error concealment for digital video
KR101370902B1 (ko) * 2007-05-22 2014-03-26 엘지전자 주식회사 Ｍｂｓ 수신 방법 및 제공 방법
TW200926654A (en) * 2007-09-28 2009-06-16 Pin Han Ho System and method for wireless data multicasting
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
US8050289B1 (en) * 2008-02-01 2011-11-01 Zenverge, Inc. Media transmission using aggregated bandwidth of disparate communication channels
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
EP2146343A1 (en) * 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
US8254441B2 (en) * 2008-08-18 2012-08-28 Sprint Communications Company L.P. Video streaming based upon wireless quality
WO2010033164A1 (en) * 2008-09-16 2010-03-25 Thomson Licensing Method for delivery of digital linear tv programming using scalable video coding
CN101369870A (zh) * 2008-10-20 2009-02-18 北京邮电大学 中继系统中基于物理层网络编码技术的不均等差错保护方法
JP5369599B2 (ja) * 2008-10-20 2013-12-18 富士通株式会社 映像符号化装置、映像符号化方法
US20100250764A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Signaling Layer Information of Scalable Media Data
US8902995B2 (en) * 2009-07-02 2014-12-02 Qualcomm Incorporated Transmitter quieting and reduced rate encoding
US8958475B2 (en) * 2009-07-02 2015-02-17 Qualcomm Incorporated Transmitter quieting and null data encoding
US8537772B2 (en) * 2009-07-02 2013-09-17 Qualcomm Incorporated Transmitter quieting during spectrum sensing
US9112618B2 (en) * 2009-07-02 2015-08-18 Qualcomm Incorporated Coding latency reductions during transmitter quieting
US8780982B2 (en) * 2009-07-02 2014-07-15 Qualcomm Incorporated Transmitter quieting and different encoding rates for portions of a set of frames
KR101028956B1 (ko) 2009-07-31 2011-04-12 포항공과대학교 산학협력단 모바일 ｉｐｔｖ 서비스를 제공하는 방법 및 이를 위한 시스템
JP5440220B2 (ja) * 2010-01-29 2014-03-12 株式会社デンソー ナビゲーション装置
US9036567B2 (en) * 2010-02-03 2015-05-19 Qualcomm Incorporated Logical channel mapping for increased utilization of transmission resources
WO2011097755A1 (zh) * 2010-02-11 2011-08-18 上海贝尔股份有限公司 基于svc的e-mbms流传输方法和设备
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치
KR101744355B1 (ko) * 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US8730930B2 (en) * 2011-05-31 2014-05-20 Broadcom Corporation Polling using B-ACK for occasional back-channel traffic in VoWIFI applications
US20130058404A1 (en) * 2011-09-01 2013-03-07 Jiun-In Guo Method of motion prediction of multimedia video coding
WO2013172667A1 (en) * 2012-05-17 2013-11-21 Samsung Electronics Co., Ltd. Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
US9241166B2 (en) 2012-06-11 2016-01-19 Qualcomm Incorporated Technique for adapting device tasks based on the available device resources
TWI620435B (zh) * 2012-09-18 2018-04-01 Ｖｉｄ衡器股份有限公司 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置
WO2014178880A2 (en) * 2013-05-03 2014-11-06 Empire Technology Development Llc Scalable video coding prioritization
CN108924113A (zh) * 2018-06-25 2018-11-30 京信通信系统（中国）有限公司 语音编码速率的调整方法、装置、计算机存储介质及设备
CN112783887A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 一种基于数据仓库的数据处理方法及装置
CN115150367A (zh) * 2021-03-31 2022-10-04 华为技术有限公司 一种数据分层传输方法、装置及系统
US11729813B1 (en) * 2021-06-01 2023-08-15 Amazon Technologies, Inc. Multimedia service over an extended range wireless local area network (WLAN)using a modulation and coding scheme with symbol repetition for higher priority portions of media for data
US11863259B2 (en) 2021-10-22 2024-01-02 Lenovo (Singapore) Pte. Ltd. Determining a precoder for wireless communications
US11616611B1 (en) 2021-10-22 2023-03-28 Lenovo (Singapore) Pte. Ltd. Precoding wireless communications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047283A1 (en) * 1999-12-22 2001-06-28 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
WO2006119436A2 (en) * 2005-05-03 2006-11-09 Qualcomm Incorporated Rate control for multi-layer video design

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
JP2001223665A (ja) 2000-02-08 2001-08-17 Matsushita Electric Ind Co Ltd 信号符号化伝送装置、信号復号化受信装置、およびプログラム記録媒体
US6798838B1 (en) 2000-03-02 2004-09-28 Koninklijke Philips Electronics N.V. System and method for improving video transmission over a wireless network
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US6909753B2 (en) 2001-12-05 2005-06-21 Koninklijke Philips Electronics, N.V. Combined MPEG-4 FGS and modulation algorithm for wireless video transmission
US6996172B2 (en) * 2001-12-21 2006-02-07 Motorola, Inc. Method and structure for scalability type selection in digital video
FR2835996A1 (fr) * 2002-02-12 2003-08-15 Koninkl Philips Electronics Nv Procede d'encodage d'une sequence d'images numeriques
EP1671486A1 (en) * 2003-09-29 2006-06-21 Koninklijke Philips Electronics N.V. System and method for combining advanced data partitioning and fine granularity scalability for efficient spatio-temporal-snr scalability video coding and streaming
US7852916B2 (en) * 2004-06-27 2010-12-14 Apple Inc. Efficient use of storage in encoding and decoding video data streams
US7606303B2 (en) * 2004-09-28 2009-10-20 General Instrument Corporation Method and apparatus to detect anchor frames from digital video streams
KR100703776B1 (ko) 2005-04-19 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 컨텍스트 기반 적응적 산술 코딩및 디코딩 방법과 이를 위한 장치, 이를 포함하는 비디오코딩 및 디코딩 방법과 이를 위한 장치
KR100781525B1 (ko) * 2006-04-06 2007-12-03 삼성전자주식회사 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047283A1 (en) * 1999-12-22 2001-06-28 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
WO2006119436A2 (en) * 2005-05-03 2006-11-09 Qualcomm Incorporated Rate control for multi-layer video design

Also Published As

Publication number Publication date
WO2008079825A2 (en) 2008-07-03
EP2103139A2 (en) 2009-09-23
JP2010515297A (ja) 2010-05-06
US8630355B2 (en) 2014-01-14
KR20090101950A (ko) 2009-09-29
WO2008079825A3 (en) 2008-08-28
TW200845751A (en) 2008-11-16
US20080152003A1 (en) 2008-06-26
CN101563929A (zh) 2009-10-21
CN101563929B (zh) 2012-08-29

Similar Documents

Publication Publication Date Title
KR101065237B1 (ko) 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성
KR101059712B1 (ko) 강화층에서의 레퍼런스 프레임 배치
US10470236B2 (en) Opportunistic progressive encoding
US8340183B2 (en) Digital multimedia channel switching
KR101350331B1 (ko) 모바일 디바이스로부터 무선 디스플레이로 콘텐츠를 전송하는 시스템 및 방법
US10116970B1 (en) Video distribution, storage, and streaming over time-varying channels
JP2008523689A (ja) 単層符号化を使用する無線ビデオストリーミング及び優先順位付けされたストリーミング
KR20110042201A (ko) 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법
US20110029684A1 (en) Staggercasting with temporal scalability
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
JP2017520940A (ja) 階層符号化されたコンテンツを多重化するための方法および装置
JP2017520940A5 (ja) レイヤードコード化コンテンツを多重化する方法および装置
KR101343877B1 (ko) 순방향 오류 정정 패킷 생성방법과 이를 이용한 서버와 클라이언트 장치
US20140245361A1 (en) Multilevel satellite broadcasting system for providing hierarchical satellite broadcasting and operation method of the same
Rezaei Video streaming over DVB-H
Jennehag et al. Gradual tune-in pictures for fast channel change
Ozcelebi et al. An analysis of constant bitrate and constant PSNR video encoding for wireless networks
Roy Implementation of a Personal Digital Radio Recorder for Digital Multimedia Broadcasting by Adapting the Open-Source Personal Digital Video Recorder Software MythTV

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee