KR101059712B1 - 강화층에서의 레퍼런스 프레임 배치 - Google Patents

강화층에서의 레퍼런스 프레임 배치 Download PDF

Info

Publication number
KR101059712B1
KR101059712B1 KR1020097015049A KR20097015049A KR101059712B1 KR 101059712 B1 KR101059712 B1 KR 101059712B1 KR 1020097015049 A KR1020097015049 A KR 1020097015049A KR 20097015049 A KR20097015049 A KR 20097015049A KR 101059712 B1 KR101059712 B1 KR 101059712B1
Authority
KR
South Korea
Prior art keywords
layer bitstream
frames
frame
enhancement layer
base layer
Prior art date
Application number
KR1020097015049A
Other languages
English (en)
Other versions
KR20090104038A (ko
Inventor
페이쑹 천
스콧 티 스와지
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090104038A publication Critical patent/KR20090104038A/ko
Application granted granted Critical
Publication of KR101059712B1 publication Critical patent/KR101059712B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 베이스층과 하나 이상의 강화층 사이에 데이터의 프레임을 할당하는 기술에 관한 것이다. 여기에 설명된 기술은, 베이스층과 강화층 사이에서의 프레임의 선택적 배치를 허용하여, 강화층에서의 미사용 대역폭을 더 양호하게 사용할 수 있게 한다. 특정한 양태에서, 인코딩 디바이스는 인트라-코딩된 프레임 직전에 시간적으로 위치된 레퍼런스 프레임을 강화층에 할당할 수도 있다. 다른 양태에서, 인코딩 디바이스는 복수의 프레임, 예를 들어, 슈퍼 프레임을 포함하는 데이터의 세그먼트의 종단에 위치된 레퍼런스 프레임을 강화층에 할당할 수도 있다. 설명된 기술은, 베이스층과 하나 이상의 강화층 사이에서의 대역폭의 밸런싱을 돕는데 이용될 수도 있다.
베이스층, 강화층, 프레임

Description

강화층에서의 레퍼런스 프레임 배치{REFERENCE FRAME PLACEMENT IN THE ENHANCEMENT LAYER}
기술분야
본 출원은 2006년 12월 22일 출원된 미국 가출원 제 60/871,655 호, 및 2007년 3월 1일 출원된 미국 가출원 60/892,356 호의 이점을 주장한다. 이들 출원각각의 전체 내용은 참조로 여기에 통합된다.
기술분야
본 발명은 멀티미디어 코딩 및 코딩된 멀티미디어 컨텐츠의 통신에 관한 것이다.
배경
디지털 멀티미디어 기능이, 디지털 텔레비전, 디지털 직접 브로드캐스트 시스템, 무선 통신 디바이스, 무선 브로드캐스트 시스템, 개인 휴대 정보 단말기 (PDA), 랩탑 또는 데스크탑 컴퓨터, 디지털 카메라, 디지털 기록 디바이스, 비디오 게임 디바이스, 비디오 게임 콘솔, 셀룰러 또는 위성 라디오 전화 등을 포함하는 광범위한 디바이스에 통합될 수 있다. 디지털 멀티미디어 디바이스는, 디지털 비디오 데이터를 더욱 효율적으로 송신 및 수신하기 위해 MPEG-2, MPEG-4, 또는 H.264/MPEG-4, Part 10, 어드밴스드 비디오 코딩 (AVC) 과 같은 코딩 기술을 구현할 수도 있다. 이들 코딩 기술은, 공간 및 시간 예측을 통해 압축을 수행하여, 멀티미디어 시퀀스에서의 리던던시를 감소시키거나 제거할 수도 있다.
일부 비디오 코딩은 스케일러블 (scalable) 기술을 사용한다. 예를 들어, 스케일러블 비디오 코딩 (SVC) 은, 베이스층 (base layer) 및 하나 이상의 스케일러블 강화층 (enhancement layer) 이 사용되는 코딩을 칭한다. SVC 에 있어서, 베이스층은 통상적으로 베이스 품질 레벨을 갖는 멀티미디어 데이터를 전달한다. 하나 이상의 강화층은 더 높은 공간, 시간 및/또는 신호 대 잡음비 (SNR) 레벨을 지원하기 위해 추가의 멀티미디어 데이터를 전달한다. 일 예로서, 베이스층은, 강화층의 송신 보다 더욱 신뢰가능한 방식으로 송신될 수도 있다. 강화층은 공간 해상도를 베이스층의 프레임에 부가하고, 전체 프레임 레이트를 증가시키기 위해 추가의 프레임을 부가하거나, 신호 대 잡음비를 개선하기 위해 추가의 비트를 부가할 수도 있다. 일 예에서, 변조 신호의 가장 신뢰가능한 부분은 베이스층을 송신하기 위해 사용될 수도 있고, 변조 신호의 덜 신뢰가능한 부분은 강화층을 송신하기 위해 사용될 수도 있다.
SVC 는 광범위한 코딩 애플리케이션에서 사용될 수도 있다. SVC 기술이 일반적으로 사용되는 하나의 특정한 영역은, 무선 멀티미디어 브로드캐스트 애플리케이션에서이다. 멀티미디어 브로드캐스팅 기술의 예로는, 순방향 링크 전용 (FLO), 디지털 멀티미디어 브로드캐스팅 (DMB), 및 디지털 비디오 브로드캐스팅-핸드헬드 (DVB-H) 로 칭하는 것들을 포함한다.
개요
본 발명의 특정한 양태에서, 멀티미디어 데이터를 프로세싱하는 방법은, 멀 티미디어 데이터의 복수의 프레임을 코딩하는 단계로서, 복수의 프레임은 하나 이상의 레퍼런스 프레임을 포함하는, 복수의 프레임을 코딩하는 단계, 및 하나 이상의 레퍼런스 프레임 중 적어도 하나가 강화층 비트스트림에 할당되도록 베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 복수의 프레임 각각을 할당하는 단계를 포함한다.
본 발명의 특정한 양태에서, 멀티미디어 데이터를 프로세싱하는 장치는, 멀티미디어 데이터의 복수의 프레임을 코딩하는 인코딩 모듈로서, 복수의 프레임은 하나 이상의 레퍼런스 프레임을 포함하는, 인코딩 모듈, 및 하나 이상의 레퍼런스 프레임 중 적어도 하나가 강화층 비트스트림에 할당되도록 베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 복수의 프레임 각각을 할당하는 할당 모듈을 포함한다.
본 발명의 특정한 양태에서, 멀티미디어 데이터를 프로세싱하는 장치는, 멀티미디어 데이터의 복수의 프레임을 코딩하는 수단으로서, 복수의 프레임은 하나 이상의 레퍼런스 프레임을 포함하는, 복수의 프레임을 코딩하는 수단, 및 하나 이상의 레퍼런스 프레임 중 적어도 하나가 강화층 비트스트림에 할당되도록 베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 복수의 프레임 각각을 할당하는 수단을 포함한다.
본 발명의 특정한 양태에서, 멀티미디어 데이터를 프로세싱하는 컴퓨터-프로그램 제품은 명령들을 갖는 컴퓨터 판독가능 매체를 포함한다. 이 명령들은, 멀티미디어 데이터의 복수의 프레임을 인코딩하는 코드로서, 복수의 프레임은 하나 이상의 레퍼런스 프레임을 포함하는, 복수의 프레임을 인코딩하는 코드, 및 하나 이상의 레퍼런스 프레임 중 적어도 하나가 강화층 비트스트림에 할당되도록 베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 복수의 프레임 각각을 할당하는 코드를 포함한다.
본 발명의 특정한 양태에서, 멀티미디어 데이터를 프로세싱하는 방법은, 강화층 비트스트림의 레퍼런스 프레임의 적어도 일부를 참조하는 스케일러블 코딩 방식의 베이스층 비트스트림의 적어도 하나의 프레임을 식별하는 단계, 및 강화층 비트스트림이 수신될 때 베이스층 비트스트림의 식별된 프레임에 의해 참조된 강화층 비트스트림의 레퍼런스 프레임의 일부를 사용하여 베이스층 비트스트림의 식별된 프레임을 디코딩하는 단계를 포함한다.
본 발명의 특정한 양태에서, 멀티미디어 데이터를 프로세싱하는 장치는, 강화층 비트스트림의 레퍼런스 프레임의 적어도 일부를 참조하는 스케일러블 코딩 방식의 베이스층 비트스트림의 적어도 하나의 프레임을 식별하는 레퍼런스 데이터 분석 모듈, 및 강화층 비트스트림이 수신될 때 베이스층 비트스트림의 식별된 프레임에 의해 참조된 강화층 비트스트림의 레퍼런스 프레임의 일부를 사용하여 베이스층 비트스트림의 식별된 프레임을 디코딩하는 디코딩 모듈을 포함한다.
본 발명의 특정한 양태에서, 멀티미디어 데이터를 프로세싱하는 장치는, 강화층 비트스트림의 레퍼런스 프레임의 적어도 일부를 참조하는 스케일러블 코딩 방식의 베이스층 비트스트림의 적어도 하나의 프레임을 식별하는 수단, 및 강화층 비트스트림이 수신될 때 베이스층 비트스트림의 식별된 프레임에 의해 참조된 강화층 비트스트림의 레퍼런스 프레임의 일부를 사용하여 베이스층 비트스트림의 식별된 프레임을 디코딩하는 수단을 포함한다.
본 발명의 특정한 양태에서, 멀티미디어 데이터를 프로세싱하는 컴퓨터-프로그램 제품은 명령들을 갖는 컴퓨터 판독가능 매체를 포함한다. 이 명령들은, 강화층 비트스트림의 레퍼런스 프레임의 적어도 일부를 참조하는 스케일러블 코딩 방식의 베이스층 비트스트림의 적어도 하나의 프레임을 식별하는 코드, 및 강화층 비트스트림이 수신될 때 베이스층 비트스트림의 식별된 프레임에 의해 참조된 강화층 비트스트림의 레퍼런스 프레임의 일부를 사용하여 베이스층 비트스트림의 식별된 프레임을 디코딩하는 코드를 포함한다.
이하, 하나 이상의 예들의 상세를 첨부한 도면 및 상세한 설명에 설명한다. 다른 특징들, 목적들, 및 이점들은 상세한 설명과 도면, 및 청구범위로부터 명백할 것이다.
도면의 간단한 설명
도 1 은, 코딩 스케일러빌리티 (coding scalability) 를 지원하는 예시적인 멀티미디어 코딩 시스템을 예시하는 블록도이다.
도 2 는, 도 1 의 시스템의 일부를 형성하는 예시적인 인코딩 디바이스를 예시하는 블록도이다.
도 3 은, 도 1 의 시스템의 일부를 형성하는 예시적인 디코딩 디바이스를 예시하는 블록도이다.
도 4 는, 인트라-프레임 직전의 레퍼런스 프레임이 강화층 비트스트림에 배 치되는 예시적인 인코딩된 멀티미디어 시퀀스의 일부를 예시하는 도면이다.
도 5 는, 채널 스위치 프레임 직전의 레퍼런스 프레임이 강화층 비트스트림에 배치되는 다른 예시적인 인코딩된 멀티미디어 시퀀스의 일부를 예시하는 도면이다.
도 6 은, 데이터의 세그먼트의 종단에 위치되는 레퍼런스 프레임이 강화층 비트스트림에 배치되는 다른 예시적인 인코딩된 멀티미디어 시퀀스의 일부를 예시하는 도면이다.
도 7 은, 본 발명의 기술에 따라 하나 이상의 레퍼런스 프레임을 할당하는데 있어서 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도이다.
도 8 은, 베이스층의 프레임을 선택적으로 디코딩하는데 있어서 디코딩 디바이스의 예시적인 동작을 예시하는 흐름도이다.
상세한 설명
본 발명은 스케일러블 비디오 코딩 (SVC) 과 같은 스케일러블 코딩 방식에서 적어도 2개의 층 사이에 멀티미디어 시퀀스의 데이터의 프레임을 할당하는 기술을 설명한다. SVC 에서, 코딩된 멀티미디어 시퀀스는 베이스층 및 하나 이상의 강화층을 포함한다. 예시를 위해, 본 발명의 이러한 기술을, 베이스층 및 오직 하나의 강화층을 참조하여 설명할 것이다. 그러나, 이 기술이 2개 이상의 강화층을 이용하는 SVC 방식으로 확장될 수도 있다는 것이 당업자에게 명백할 것이다.
베이스층은, 멀티미디어 디코딩을 위해 최소량의 데이터를 전달하며 베이스 품질 레벨을 제공하는 비트스트림을 칭한다. 강화층은, 디코딩된 멀티미디어의 품질을 강화하는 추가의 데이터를 전달하는 비트스트림을 칭한다. 일반적으로, 강화층 비트스트림은 오직 베이스층과 함께만 디코딩가능하고, 즉, 강화층의 프레임은 디코딩된 베이스층의 하나 이상의 프레임에 대한 레퍼런스를 포함한다. 그러나, 다른 양태에서, 강화층은 베이스층 없이 적어도 부분적으로 디코딩될 수도 있다.
계층적 변조를 사용하여, 베이스층 및 강화층은 동일한 캐리어 또는 서브캐리어상에서 송신될 수 있지만, 상이한 신뢰도를 발생시키는 상이한 송신 특징을 갖는다. 다시 말해, 베이스층은 변조 신호의 더욱 신뢰가능한 부분을 통해 송신되지만, 강화층은 변조 신호의 덜 신뢰가능한 부분을 통해 송신된다. 예를 들어, 베이스층 및 강화층은 다른 패킷 에러 레이트 (PER) 로 송신될 수도 있다. 특히, 베이스층은 커버리지 영역 전반적으로 더욱 신뢰가능한 수신을 위해 낮은 PER 에서 송신될 수도 있지만, 강화층은 높은 PER 에서 송신된다. 이러한 방식으로, 베이스층을 디코딩하는 데이터를 전달하는 비트스트림은, 더욱 신뢰가능한 수신을 갖고, 이것은 낮은 품질 레벨이기는 하지만, 수신을 제공하지 않는 영역에서 사용자가 멀티미디어 시퀀스의 컨텐츠를 뷰잉하게 한다.
강화층이 수신되지 않은 경우에서 디코딩 디바이스가 오직 베이스층만을 디코딩할 수도 있다. 그렇지 않으면, 베이스층 및 강화층 모두가 수신될 때, 디코딩 디바이스는 더 높은 품질을 제공하기 위해 베이스층과 함께 강화층을 디코딩할 수도 있다.
본 발명은, 베이스층과 하나 이상의 강화층 사이에 데이터의 프레임을 할당 하는 기술을 목적으로 한다. 여기에 설명된 기술은, 베이스층과 강화층 사이에 프레임의 선택적 배치를 허용하여, 강화층에서의 미사용 대역폭을 더 양호하게 사용한다. 특정한 양태에서, 인코딩 디바이스는 인트라-코딩된 프레임 이전 및 근처에 시간적으로 위치된 레퍼런스 프레임을 강화층에 할당할 수도 있다. 인트라-코딩된 프레임이 어떤 다른 시간적으로 위치된 프레임과 관계없이 코딩되기 때문에, 인트라-코딩된 프레임 이전 및 근처에 시간적으로 위치된 레퍼런스 프레임을 이동시키는 것은 후속 프레임의 디코딩에 영향을 미치지 않는다.
다른 양태에서, 인코딩 디바이스는 복수의 프레임, 예를 들어, 슈퍼프레임을 포함하는 데이터의 세그먼트의 종단 근처에 위치되는 레퍼런스 프레임을 강화층에 할당할 수도 있다. 이러한 경우에서, 강화층으로 이동된 레퍼런스 프레임을 위해 베이스층에서의 프레임의 레퍼런스는 후속 프레임의 디코딩에 대한 영향을 감소시키기 위해 제거될 수도 있다. 다른 방법으로는, 강화층으로 이동된 레퍼런스 프레임을 위해 베이스층에서의 프레임의 레퍼런스는 유지될 수도 있으며, 디코딩 디바이스는 강화층이 수신되었는지에 기초하여 수신 프레임을 선택적으로 디코딩할 수도 있다. 설명한 기술은 베이스층과 하나 이상의 강화층 사이에서 대역폭의 밸런싱을 돕기 위해 이용될 수도 있다.
도 1 은, 비디오 스케일러빌리티를 지원하는 예시적인 멀티미디어 코딩 시스템 (10) 을 예시하는 블록도이다. 멀티미디어 코딩 시스템 (10) 은 네트워크 (16) 에 의해 접속된 인코딩 디바이스 (12) 와 디코딩 디바이스 (14) 를 포함한다. 인코딩 디바이스 (12) 는 적어도 하나의 소스 (18) 로부터 디지털 멀티미디어 시퀀스를 획득하고, 디지털 멀티미디어 시퀀스를 인코딩하며, 코딩된 시퀀스를 네트워크 (16) 를 통해 디코딩 디바이스 (14) 로 송신한다.
특정한 양태에서, 소스 (18) 는 예를 들어, 위성을 통해 디지털 멀티미디어 시퀀스를 브로드캐스트하는 하나 이상의 비디오 컨텐츠 제공자를 포함할 수도 있다. 다른 양태에서, 소스 (18) 는 디지털 멀티미디어 시퀀스를 캡처하는 이미지 캡처 디바이스를 포함할 수도 있다. 이러한 경우에, 이미지 캡처 디바이스는 인코딩 디바이스 (12) 에 통합될 수도 있거나 인코딩 디바이스 (12) 에 커플링될 수도 있다. 소스 (18) 를 외부 소스로서 도 1 에 예시하였지만, 특정한 실시형태들에서, 인코딩 디바이스 (12) 는 인코딩 디바이스 (12) 내 또는 인코딩 디바이스 (12) 에 커플링된 메모리 또는 아카이브로부터 멀티미디어 시퀀스를 수신할 수도 있다.
멀티미디어 시퀀스는 브로드캐스트 또는 온-디맨드 (on-demand) 로서 코딩 및 송신될 라이브 실시간 또는 거의 실시간 비디오 및/또는 오디오 시퀀스를 포함할 수도 있거나, 브로드캐스트 또는 온-디맨드로서 코딩 및 송신될 사전-기록되고 저장된 비디오 및/또는 오디오 시퀀스를 포함할 수도 있다. 일부 양태에서, 멀티미디어 시퀀스의 적어도 일부는 게임의 경우에서와 같이 컴퓨터-생성될 수도 있다.
소스 (18) 로부터 수신된 디지털 멀티미디어 시퀀스는 프레임 (전체 화상) 또는 필드 (예를 들어, 화상의 홀수 또는 짝수 라인을 교호하는 필드) 를 포함하는 화상의 시퀀스와 관련하여 설명될 수도 있다. 또한, 각 프레임 또는 필드는 프 레임 또는 필드의 서브-부분, 또는 2개 이상의 슬라이스를 더 포함할 수도 있다. 여기에 사용되는 바와 같이, 용어 "프레임" 은 화상, 프레임, 필드 또는 이들의 슬라이스를 칭할 수도 있다.
인코딩 디바이스 (12) 는 디코딩 디바이스 (14) 로의 송신을 위해 멀티미디어 시퀀스를 인코딩한다. 인코딩 디바이스 (12) 는 MPEG (Moving Picture Experts Group)-1, MPEG-2, MPEG-4, ITU-T ((International Telecommunication Union Standardization Sector) H.263, 또는 MPEG-4, Part 10, 어드밴스드 비디오 코딩 (AVC) 에 대응하는 ITU-T H.264 와 같은 비디오 압축 표준에 따라 멀티미디어 시퀀스를 인코딩할 수도 있다. 이러한 인코딩, 및 확장하여 디코딩 방법은 송신 및/또는 저장을 위해 프레임의 컨텐츠를 압축하기 위한 무손실 (lossless) 또는 유손실 (lossy) 의 압축 알고리즘에 관한 것일 수도 있다. 압축은 멀티미디어 데이터로부터 리던던시를 제거하는 프로세스로서 광범위하게 생각될 수 있다.
일부 양태에서, 본 발명은 기술 표준 TIA-1099 로서 2006년 8월 공표된 순방향 링크 전용 (FLO) 공중 인터페이스 사양 "지상 이동 멀티미디어 멀티캐스트용 순방향 링크 전용 공중 인터페이스 사양" ("FLO 사양") 을 사용하여 지상 이동 멀티미디어 멀티캐스트 (TM3) 시스템에서 실시간 멀티미디어 서비스를 전달하는 인핸스드 H.264 비디오 코딩에 대한 애플리케이션을 의도한다. 그러나, 본 발명에 기재된 채널 스위칭 기술은 임의의 특정한 타입의 브로드캐스트, 멀티캐스트, 유니캐스트 또는 점 대 점 시스템에 제한되지 않는다.
H.264/MPEG-4 (AVC) 표준은, JVT (Jonit Video Team) 으로서 알려진 집합적 파트너쉽 (collective partnership) 의 제품으로서 ISO/IEC MPEG (Moving Picture Experts Group) 와 함께 ITU-T VCEG (Video Coding Experts Group) 에 의해 공식화되었다. H.264 표준은 2005년 3월의 ITU-T 연구 그룹에 의한 일반 오디오 비주얼 서비스에 대한 ITU-T 권장 H.264 어드밴스드 비디오 코딩에 기재되어 있으며, 이것은 본 명세서에서 H.264 표준 또는 H.264 사양, 또는 H.264/AVC 표준 또는 사양으로서 칭할 수도 있다.
JVT (Joint Video Team) 은 H.264/MPEG-4 AVC 에 대한 스케일러블 비디오 코딩 (SVC) 확장에 대해 계속 작업하고 있다. 발전하는 SVC 확장의 사양은 JD (Joint Draft) 의 형태이다. JVT 에 의해 생성된 JSVM (Joint Scalable Video Model) 은, 본 개시물에 기재된 다양한 코딩 작업을 위해 시스템 (10) 내에서 사용될 수도 있는 스케일러블 비디오에서 사용하기 위한 툴을 구현한다. FGS (Fine Granularity SNR Scalability) 코딩에 관한 상세한 정보는, Joint Draft 문헌, 예를 들어, Joint Draft 6 (SVC JD6), Thomas Wiegand, Gary Sullivan, Julien Reichel, Heiko Schwarz, 및 Mathias Wien, "Joint Draft 6 : Scalable Video Coding", JVT-S 201, April 2006, Geneva, 및 Joint Draft 9 (SVC JD9), Thomas Wiegand, Gary Sullivan, Julien Reichel, Heiko Schwarz, 및 Mathias Wien, "Joint Draft 9 of SVC Amendment", JVT-V 201, January 2007, Marrakech, Morocco 에서 발견할 수 있다.
인코딩 디바이스 (12) 는 하나 이상의 코딩 기술을 사용하여 시퀀스의 프레임 각각을 인코딩한다. 예를 들어, 인코딩 디바이스 (12) 는 인트라-코딩 기술 을 사용하여 하나 이상의 프레임을 인코딩할 수도 있다. 종종 인트라 ("I") 프레임이라 칭하는, 인트라-코딩 기술을 사용하여 인코딩된 프레임은 다른 프레임과 관계없이 코딩된다. 그러나, 인트라-코딩을 사용하여 인코딩된 프레임은 동일한 프레임에 위치된 다른 멀티미디어 데이터에서의 리던던시를 이용하기 위해 공간 예측을 사용할 수도 있다.
인코딩 디바이스 (12) 는 또한, 인터-코딩 기술을 사용하여 하나 이상의 프레임을 인코딩할 수도 있다. 인터-코딩을 사용하여 인코딩된 프레임은 본 명세서에서 레퍼런스 프레임이라 칭하는 하나 이상의 다른 프레임을 참조하여 코딩된다. 인터-코딩된 프레임은 하나 이상의 예측 ("P") 프레임, 양방향 ("B") 프레임 또는 이들의 조합을 포함할 수도 있다. P 프레임은 적어도 하나의 시간적으로 이전의 프레임을 참조하여 인코딩되지만, B 프레임은 적어도 하나의 시간적으로 장래의 프레임 및 적어도 하나의 시간적으로 이전의 프레임을 참조하여 인코딩된다. 시간적으로 이전의 프레임 및/또는 시간적으로 장래의 프레임을 "레퍼런스 프레임" 이라 칭한다. 이러한 방식에서, 인터-코딩은 시간적 프레임에 걸친 멀티미디어 데이터에서의 리던던시를 이용한다.
인코딩 디바이스 (12) 는 또한, 프레임을 픽셀의 복수의 서브세트로 파티셔닝하며, 픽셀의 서브세트 각각을 개별적으로 인코딩함으로써 시퀀스의 프레임을 인코딩하도록 구성될 수도 있다. 이들 픽셀의 서브세트를 블록 또는 매크로블록이라 칭할 수도 있으며, 예를 들어, 픽셀의 16개 로우 (row) 및 픽셀의 16개의 컬럼 (column) 을 포함하는 픽셀의 16×16 서브세트를 포함할 수도 있다. 인코딩 디바이스 (12) 는 각 블록을 2개 이상의 서브블록으로 더 파티셔닝할 수도 있다. 일 예로서, 16×16 블록은 4개의 8×8 서브블록, 또는 다른 서브-파티션 블록을 포함할 수도 있다. 예를 들어, H.264 표준은 다양한 다른 사이즈, 예를 들어, 16×16, 16×8, 8×16, 8×8, 4×4, 8×4, 및 4×8 를 갖는 블록의 인코딩을 허용한다. 또한, 확장하여, 임의의 사이즈의 서브블록이 블록, 예를 들어, 2×16, 16×2, 2×2, 4×16, 8×2 등내에 포함될 수도 있다. 16 보다 큰 로우 또는 컬럼의 블록이 또한 가능하다. 본 명세서에 사용되는 바와 같이, 용어 "블록" 은 임의의 사이즈의 블록 또는 서브블록을 칭할 수도 있다.
프레임이 인트라-코딩 또는 인터-코딩을 사용하여 인코딩되는지에 관계없이, 시퀀스의 프레임 각각은 레퍼런스 프레임 또는 넌-레퍼런스 (non-reference) 프레임으로서 특징될 수도 있다. 상술한 바와 같이, 용어 "레퍼런스 프레임" 은 프레임 중 다른 하나의 적어도 일부의 압축을 위해 인코딩 디바이스 (12) 에 의해 사용되는 멀티미디어 데이터를 포함하는 프레임을 칭한다. 다시 말해, 레퍼런스 프레임은 레퍼런스 프레임에 의존하는 프레임의 성공적 디코딩을 위해 사용된다. 레퍼런스 프레임은 인트라-코딩된 프레임 또는 인터-코딩된 프레임, 즉, I 프레임, B 프레임 또는 P 프레임 중 하나일 수도 있다. 반대로, 용어 "넌-레퍼런스 프레임" 은 다른 프레임의 압축을 위해 인코딩 디바이스 (12) 에 의해 사용되지 않은 프레임을 칭한다. 다시 말해, 다른 프레임은 성공적 디코딩을 위해 넌-레퍼런스 프레임으로부터의 멀티미디어 데이터에 의존하지 않는다. 따라서, 넌-레퍼런스 프레임이 송신에서 분실되는 경우에, 시퀀스의 다른 프레임의 디코딩에 대 한 영향이 없다. 레퍼런스 프레임과 유사하게, 넌-레퍼런스 프레임은 인트라-코딩된 프레임 또는 인터-코딩된 프레임 중 하나일 수 있다. 그러나, 통상적으로 P 프레임과 B 프레임만이 넌-레퍼런스 프레임으로서 사용된다.
스케일러블 비디오를 지원하기 위해, 인코딩 디바이스 (12) 는 베이스층 비트스트림 (본 명세서에서 "베이스층" 이라 칭함) 과 적어도 하나의 강화층 비트스트림 (본 명세서에서 "강화층" 이라 칭함) 사이에 인코딩된 프레임을 할당한다. 상술한 바와 같이, 베이스층은 멀티미디어 디코딩을 위해 최소량의 데이터를 전달한다. 이와 같이, 베이스층은 변조된 신호의 더욱 신뢰가능한 부분을 통해, 예를 들어, 더 낮은 PER 로 송신된다. 강화층은 베이스층의 디코딩된 멀티미디어의 품질을 강화시키는 추가의 데이터를 전달한다. 강화층은 변조된 신호의 덜 신뢰가능한 부분을 통해, 예를 들어, 더 높은 PER 로 송신된다. 일부 경우에서, 강화층은 오직 베이스층과 함께만 디코딩가능할 수도 있고, 즉, 강화층의 프레임은 디코딩된 베이스층의 하나 이상의 프레임에 대한 레퍼런스를 포함한다. 그러나, 다른 경우에서, 강화층은 베이스층 없이 적어도 부분적으로 디코딩될 수도 있다.
FLO 공중 인터페이스 사양에 따르는 것과 같은 일부 양태에서, 베이스층의 사이즈와 강화층의 사이즈가 실질적으로 동일한 것이 바람직할 수도 있다. 다시 말해, 인코딩 디바이스 (12) 는 베이스층에서와 실질적으로 동일한 수의 비트를 강화층에서 송신할 수도 있다. 프레임의 초기 할당이 층의 사이즈 사이에 불균형을 발생시키는 경우에서, 인코딩 디바이스 (12) 는 본 명세서에 설명한 기술에 따라 프레임을 재할당할 수도 있다. 후술하는 바와 같은 프레임의 재할당은, 패딩 비트, 즉, 층의 사이즈를 밸런싱하기 위해 추가되지만 디코딩 디바이스 (14) 에 의해 사용되지 않은 정보를 전송하는 대역폭을 소모하는 인코딩 디바이스 (12) 에 대한 필요성을 제거한다. 본 명세서에 설명한 예들이 베이스층으로부터 강화층으로의 프레임의 재할당에 관한 것이지만, 강화층으로부터 베이스층으로 프레임을 처음에 할당하기 위해 유사한 기술이 이용될 수도 있다.
본 명세서에 설명한 기술은 베이스층 또는 강화층내의 프레임의 선택적 배치를 허용하여, 베이스층과 강화층 사이에 프레임을 재할당한다. 특히, 일부 양태에서, 적어도 하나의 레퍼런스 프레임은 상이한 층 사이에서 데이터의 양호한 밸런스를 달성하기 위해 베이스층으로부터 강화층으로 이동될 수도 있다. 특정한 양태에서, 인코딩 디바이스 (12) 는 인트라-코딩된 프레임 이전 및 근처에 시간적으로 위치된 레퍼런스 프레임을 이동시킬 수도 있다. 예를 들어, 인코딩 디바이스 (12) 는 인트라-코딩된 프레임 직전에 시간적으로 위치된 레퍼런스 프레임을 이동시킬 수도 있다. 다른 양태에서, 인코딩 디바이스 (12) 는 복수의 프레임, 예를 들어, 슈퍼프레임을 포함하는 데이터의 세그먼트의 종단 근처에 위치되는 레퍼런스 프레임을 이동시킬 수도 있다. 설명한 기술은 베이스층과 하나 이상의 강화층 사이에서 대역폭의 밸런싱을 도울 수도 있다.
인코딩 디바이스 (12) 는 인코딩된 시퀀스를 네트워크 (16) 를 통해 디코딩을 위해 디코딩 디바이스 (14) 로 송신하며 디코딩 디바이스 (14) 의 사용자에게 프리젠테이션을 송신한다. 네트워크 (16) 는, 하나 이상의 이더넷, 전화 (예를 들어, POTS), 케이블, 전력-라인, 및 광섬유 시스템을 포함하는 하나 이상의 유선 또는 무선 통신 네트워크, 및/또는 하나 이상의 코드 분할 다중 액세스 (CDMA 또는 CDMA2000) 통신 시스템, 주파수 분할 다중 액세스 (FDMA) 시스템, 직교 주파수 분할 다중 (OFDM) 액세스 시스템, GSM/GPRS (General packet Radio Service)/EDGE (enhanced data GSM environment) 와 같은 시간 분할 다중 액세스 (TDMA) 시스템, TETRA (Terrestrial Trunked Radio) 이동 전화 시스템, 광역 코드 분할 다중 액세스 (WCDMA) 시스템, 하이 데이터 레이트 (1xEV-DO 또는 1xEV-DO Gold Multicast) 시스템, IEEE 802.11 시스템, FLO 시스템, 디지털 미디어 브로드캐스트 (DMB) 시스템, 디지털 비디오 브로드캐스트-핸드헬드 (DVB-H) 시스템, 통합 서비스 디지털 브로드캐스트-지상 (ISDB-T) 시스템 등을 포함하는 무선 시스템을 포함할 수도 있다.
특정한 양태에서, 인코딩 디바이스 (12) 는 시간 주기에 걸쳐 수신된 프레임을 인코딩, 결합 및 송신할 수도 있다. 일부 멀티미디어 코딩 시스템에서, 예를 들어, 멀티미디어 데이터의 복수의 프레임은 때때로 "슈퍼프레임" 으로 칭하는, 멀티미디어 데이터의 세그먼트로 함께 그룹화된다. 여기에 사용되는 바와 같이, 용어 "슈퍼프레임" 은 데이터의 세그먼트를 형성하기 위해 시간 주기 또는 윈도우에 걸쳐 수집된 프레임의 그룹을 칭한다. FLO 기술을 이용하는 코딩 시스템에서, 슈퍼프레임은 공칭적으로 30개 프레임을 가질 수도 있는 1-초 (one-second) 의 데이터 세그먼트를 포함할 수도 있다. 그러나, 슈퍼프레임은 임의의 수의 프레임을 포함할 수도 있다. 이 기술은 또한, 고정 시간 주기이거나 고정 시간 주기가 아닐 수도 있는 상이한 시간 주기를 통해 수신된 데이터의 세그 먼트, 또는 데이터의 프레임의 세트 또는 개별 프레임에 대한 바와 같이, 다른 데이터의 세그먼트를 인코딩, 결합 및 송신하기 위해 이용될 수도 있다. 다시 말해, 슈퍼프레임은 1-초 주기 보다 크거나 작은 시간 간격, 또는 심지어 가변 시간 간격을 커버하도록 정의될 수 있다. 본 명세서 전반적으로, (예를 들어, 슈퍼프레임의 개념과 유사한) 멀티미디어 데이터의 특정한 세그먼트는 특정한 사이즈 및/또는 지속기간의 멀티미디어 데이터의 임의의 청크 (chunk) 를 칭한다.
일부 양태에서, 인코딩 디바이스 (12) 는 멀티미디어 데이터의 하나 이상의 채널을 브로드캐스트하기 위해 사용된 브로드캐스트 네트워크 컴포넌트의 일부를 형성할 수도 있다. 이와 같이, 인코딩된 시퀀스 각각은 멀티미디어 데이터의 채널에 대응할 수도 있다. 멀티미디어 데이터의 채널 각각은 베이스층 및 적어도 하나의 강화층을 포함할 수도 있다. 일 예로서, 인코딩 디바이스 (12) 는 인코딩된 멀티미디어 데이터의 하나 이상의 채널을 무선 디바이스로 브로드캐스트하기 위해 사용되는 무선 기지국, 서버, 또는 임의의 인프라구조 노드의 일부를 형성할 수도 있다. 이러한 경우에서, 인코딩 디바이스 (12) 는 인코딩된 데이터를 디코딩 디바이스 (14) 와 같은 복수의 무선 디바이스로 송신할 수도 있다. 그러나, 단순화를 위해, 단일 디코딩 디바이스 (14) 가 도 1 에 예시된다.
디코딩 디바이스 (14) 는 인코딩된 시퀀스를 네트워크 (16) 로부터 수신하며, 코딩된 시퀀스를 디코딩한다. 네트워크 (16) 에 대한 디코딩 디바이스 (14) 의 위치에 의존하여, 디코딩 디바이스 (14) 는 강화층을 수신하거나 수신하지 않을 수도 있다. 무선 컨텍스트에서, 예를 들어, 디코딩 디바이스 (14) 가 네 트워크 (16) 내의 송신 타워에 근접할 때 디코딩 디바이스 (14) 는 베이스층 및 강화층 모두를 수신할 수도 있다. 그러나, 디코딩 디바이스가 네트워크 (16) 내의 송신 타워로부터 멀리 떨어져 있을 때, 디코딩 디바이스 (14) 는 베이스층만을 수신할 수도 있다. 다시 말해, 베이스층이 더 높은 전력에서 송신되기 때문에 적용가능한 커버리지 영역내에 있을 때 베이스층은 디코딩 디바이스 (14) 에 의해 더욱 신뢰가능하게 수신된다.
강화층이 수신되지 않은 경우에서, 디코딩 디바이스 (14) 는 베이스층만을 디코딩할 수도 있다. 이러한 경우에서, 디코딩 디바이스 (14) 는 베이스층에 의해 제공된 최소의 품질 레벨에서이기는 하지만 멀티미디어 시퀀스의 컨텐츠를 제공할 수 있다. 그러나, 베이스층과 강화층 모두가 수신될 때, 디코딩 디바이스 (14) 는 더 높은 품질의 비디오를 제공하기 위해 베이스층과 강화층의 데이터를 디코딩 및 결합할 수 있다. 따라서, 디코딩 디바이스 (14) 에 의해 획득된 비디오는, 디코딩된 비디오의 품질을 증가시키기 위해 강화층이 디코딩되며 베이스층에 추가될 수 있다는 점에서 스케일러블하다. 그러나, 스케일러빌리티는, 강화층 데이터가 존재할 때만 오직 가능하다.
예를 들어, 디코딩 디바이스 (14) 는 디지털 텔레비전, 무선 통신 디바이스, 게임 디바이스, 개인 휴대 정보 단말기 (PDA), 랩탑 컴퓨터 또는 데스크탑 컴퓨터, 상표 "iPod" 로 판매되는 것과 같은 디지털 음악 및 비디오 디바이스, 또는 셀룰러, 위성 또는 지상 기반 무선 전화와 같은 무선 전화, 또는 비디오 및/또는 오디오 스트리밍, 비디오 전화, 또는 양자를 갖는 다른 무선 이동 단말기의 일부로서 구현될 수도 있다. 디코딩 디바이스 (14) 는 이동형 또는 정지형 디바이스와 관련될 수도 있다. 다른 양태에서, 디코딩 디바이스 (14) 는 유선 네트워크에 커플링된 유선 디바이스를 포함할 수도 있다.
도 2 는 인코딩 디바이스 (12) 를 더욱 상세히 예시하는 블록도이다. 도 2 에 도시된 바와 같이, 인코딩 디바이스 (12) 는 인코딩 모듈 (20), 할당 모듈 (22), 레퍼런스 데이터 생성기 (24) 및 변조기/송신기 (26) 를 포함한다. 인코딩 모듈 (20) 은 인트라-코딩 모듈 (28) 및 인터-코딩 모듈 (29) 을 포함한다.
인코딩 모듈 (20) 은 소스 (18) (도 1) 로부터 하나 이상의 입력 멀티미디어 시퀀스를 수신하여, 수신된 멀티미디어 시퀀스의 프레임을 선택적으로 인코딩한다. 특히, 인트라-코딩 모듈 (28) 은 다른 프레임과 관계없이 시퀀스의 프레임 중 하나 이상을 인코딩한다. 예를 들어, 인트라-코딩 모듈 (28) 은 비디오 시퀀스의 시작에서 또는 장면 (scene) 변화에서 시퀀스의 프레임을 I 프레임으로서 인코딩할 수도 있다. 또 다른 방법으로, 또는 추가적으로, 인트라-코딩 모듈 (28) 은 인트라 리프레쉬 또는 채널 스위칭을 위해 프레임을 인트라-코딩할 수도 있다. 상술한 바와 같이, 인트라-코딩 모듈 (28) 은 동일한 프레임에 위치된 다른 멀티미디어 데이터에서의 리던던시를 이용하기 위해 공간 예측을 사용하여 프레임을 인코딩할 수도 있다.
인터-코딩 모듈 (29) 은, 하나 이상의 다른 시간적으로 위치된 프레임을 참조하여, 즉, I 프레임, P 프레임, B 프레임 또는 이들의 조합으로서 시퀀스의 프레임 중 하나 이상을 인코딩한다. 인터-코딩 모듈 (29) 은, 프레임의 시간적 시 퀀스에서 서로 근접한 하나 이상의 프레임과 같은, 다른 시간적으로 위치된 프레임, 즉, 레퍼런스 프레임에서의 리던던시를 이용할 수도 있다. 레퍼런스 프레임은, 인코딩될 프레임의 하나 이상의 블록에 대해 매칭 또는 적어도 부분 매칭인 하나 이상의 블록을 가질 수도 있다. 이러한 경우에서, 인터-코딩 모듈 (29) 은 시간적 프레임에 걸친 데이터 블록을 참조하여 모션 보상 예측을 사용하여 프레임을 인코딩할 수도 있다. 구체적으로는, 인터-코딩 모듈 (29) 은 프레임의 특정한 파티셔닝을 위해 하나 이상의 모션 벡터 및 나머지 (residual) 를 포함하는 데이터로서 프레임을 인코딩할 수도 있다.
레퍼런스 데이터 생성기 (24) 는 인코딩 모듈 (20) 에 의해 생성된 인트라-코딩된 멀티미디어 데이터 및 인터-코딩된 멀티미디어 데이터의 위치를 나타내는 레퍼런스 데이터를 생성할 수도 있다. 예를 들어, 레퍼런스 데이터 생성기 (24) 에 의해 생성된 레퍼런스 데이터는, 프레임이 I 프레임, P 프레임, B 프레임, 또는 다른 타입의 프레임인지를 식별할 수도 있다. 또한, 레퍼런스 데이터는 프레임내의 블록을 코딩하기 위해 사용된 코딩 타입 및 블록을 식별하는 하나 이상의 블록 식별자를 포함할 수도 있다. 레퍼런스 데이터는 또한, 멀티미디어 시퀀스내의 하나 이상의 레퍼런스 프레임의 위치를 식별하는 프레임 시퀀스 번호를 포함할 수도 있다.
할당 모듈 (22) 은 인코딩된 프레임을 베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 할당한다. 특정한 양태에서, 할당 모듈 (22) 은 프레임이 레퍼런스 프레임으로서 사용되는지에 기초하여 프레임을 할당한다. 예 를 들어, 할당 모듈 (22) 은 처음에, 레퍼런스 프레임을 베이스층에 할당하고 넌-레퍼런스 프레임을 강화층에 할당할 수도 있다. B 프레임이 레퍼런스 프레임으로서 통상적으로 사용되지 않으며 이전 및 후속 P 프레임을 일반적으로 참조하기 때문에, 이러한 할당 방식은 통상적으로 I 및 P 프레임을 베이스에 할당하고 B 프레임을 강화층에 할당한다. 그러나, 인코딩 디바이스 (12) 는 I 또는 P 프레임을 넌-레퍼런스 프레임으로서 인코딩할 수도 있으며, 넌-레퍼런스 I 또는 P 프레임을 강화층에 할당할 수도 있다. 유사하게, 인코딩 디바이스 (12) 는 하나 이상의 B 프레임을 레퍼런스 프레임으로서 인코딩할 수도 있으며, 레퍼런스 B 프레임을 베이스층에 할당할 수도 있다. 또한, 할당 모듈 (22) 은 하나 이상의 넌-레퍼런스 프레임이 베이스층에 처음에 할당되는 초기 할당 방식을 사용할 수도 있다. 예를 들어, 할당 모듈 (22) 은 P 프레임이 레퍼런스 프레임 또는 넌-레퍼런스 프레임이든 아니든, 모든 I 및 P 프레임을 베이스층에 처음에 할당할 수도 있다. 또한, 할당 모듈 (22) 은 또한, 하나 이상의 넌-레퍼런스 B 프레임을 베이스층에 처음에 할당할 수도 있다.
FLO 공중 인터페이스 사양에 따르는 것과 같은 특정한 양태에서, 베이스층과 강화층이 실질적으로 동일한 사이즈인 것이 요구될 수도 있다. 종래의 코딩 시스템에서, 인코딩 디바이스는 실질적으로 작은 층의 비트스트림에 패드 비트를 통합함으로써 베이스층과 강화층을 밸런싱할 수도 있고, 즉, 베이스층과 강화층에서의 비트의 수 사이의 차이가 소정의 임계값을 초과한다. 패딩 비트는 디코딩 프로세스 동안 디코더에 의해 무시된다. 본 명세서에 설명한 기술은, 베이스층 과 강화층 사이에서 프레임의 선택적 배치를 허용하여, 이 층들 사이에 비트를 양호하게 할당하게 한다.
특히, 할당 모듈 (22) 은 베이스층과 강화층 사이의 복수의 프레임의 할당을 분석하며, 베이스층과 강화층 사이에 프레임 중 하나 이상을 재할당할 수도 있다. 할당 모듈 (22) 은 베이스층과 강화층의 사이즈 사이의 차이의 최소화를 시도한다. 예를 들어, 베이스층의 비트스트림에서의 비트의 수 (즉, 사이즈) 가 강화층의 비트스트림에서의 비트의 수 보다 소정의 마진 또는 임계값 만큼 작다면, 할당 모듈 (22) 은 강화층의 프레임 중 하나 이상을 베이스층에 재할당할 수도 있다. 다른 방법으로는, 인코딩 모듈 (20) 은 추가 프레임을 인코딩하여 베이스층에 포함할 수도 있다. 이러한 방식으로, 할당 모듈 (22) 은 베이스층과 강화층의 사이즈를 밸런싱하여, 사이즈를 실질적으로 동일하게 한다. 인코딩 모듈 (20) 은 패딩 비트를 베이스층 또는 강화층에 추가적으로 부가하여, 이 층들을 실질적으로 동일한 사이즈가 되게 한다. 그러나, 이 층들 사이의 차이가 작으면, 패딩 비트에 의해 소모되는 대역폭이 작다.
강화층의 비트스트림의 비트의 수 (사이즈) 가 베이스층의 비트의 수 보다 소정의 마진 또는 임계값 만큼 작다면, 할당 모듈 (22) 은 베이스층의 프레임 중 하나 이상을 강화층에 재할당할 수도 있어서, 사이즈를 실질적으로 동일하게 한다. 베이스층에 넌-레퍼런스 프레임이 존재하지 않는다면, 할당 모듈 (22) 은 넌-레퍼런스 프레임을 강화층에 재할당할 수도 있다. 강화층으로 넌-레퍼런스 프레임을 이동시킴으로써, 강화층이 디코딩 디바이스 (14) 에 의해 수신되지 않을 때 후속 프레임의 디코딩에 대한 영향이 없다.
베이스층에 넌-레퍼런스 프레임이 존재하지 않는다면, 할당 모듈 (22) 은 베이스층으로부터 강화층으로 이동시키기 위해 적어도 하나의 레퍼런스 프레임을 선택한다. 특정한 양태에서, 할당 모듈 (22) 은 인트라-코딩된 프레임 이전 및 근처에 시간적으로 위치된 레퍼런스 프레임을 이동시킬 수도 있다. 예를 들어, 할당 모듈 (22) 은 I 프레임 또는 채널 스위치 프레임 (CSF) 직전에 시간적으로 위치된 레퍼런스 프레임을 재할당할 수도 있다. CSF 는 채널로의 즉각적인 액세스를 용이하게 하기 위해 통상적으로 인트라-코딩된다. 인트라-코딩된 프레임이 어떤 다른 시간적으로 위치된 프레임과 관계없이 코딩되기 때문에, 인트라-코딩된 프레임 직전에 시간적으로 위치된 레퍼런스 프레임을 이동시키는 것은 후속 프레임의 디코딩에 영향을 미치지 않는다. 또한, 레퍼런스 프레임이 강화층에서의 하나 이상의 프레임에 의해 참조되는 범위까지, 레퍼런스 프레임에 의존하는 강화층에서의 프레임이 수신되면 레퍼런스 프레임이 수신된다. 다른 양태에서, 할당 모듈 (22) 은 인트라-코딩된 프레임 이전 및 근처에 시간적으로 위치된 레퍼런스 프레임, 예를 들어, 인트라-코딩된 프레임 이전의 2개 또는 3개의 프레임을 이동시킬 수도 있다.
다른 양태에서, 할당 모듈 (22) 은 데이터의 슈퍼 프레임 또는 다른 세그먼트의 종단 근처에 위치된 레퍼런스 프레임을 이동시킬 수도 있다. 이러한 경우에서, 인코딩 디바이스 (12) 는 하나 이상의 레퍼런스 데이터를 조정할 수도 있다. 예를 들어, 할당 모듈 (22) 은, 인코딩 모듈 (20) 이 베이스층에서 다른 프레임 에 대한 레퍼런스를 포함하도록, 재할당된 레퍼런스 프레임에 의존하는 베이스층의 하나 이상의 프레임을 재인코딩하는 것을 요청할 수도 있다. 다른 방법으로는, 재할당된 프레임에 의존하는 프레임이 다중 레퍼런스 프레임을 사용하여 코딩되면, 레퍼런스 데이터 생성기 (24) 는 강화층에 재할당된 레퍼런스 프레임에 대한 레퍼런스를 단순히 제거할 수도 있다. 레퍼런스 데이터를 조정하는 하는 것은, 베이스층의 후속 프레임을 디코딩할 때 강화층을 수신하지 않은 영향을 감소시킬 수도 있다. 그러나, 일부 양태에서, 인코딩 디바이스 (12) 는 어떠한 레퍼런스 데이터도 조정하지 않을 수도 있으며, 대신에 재할당된 프레임에 대한 레퍼런스를 단순히 남겨둔다. 이러한 경우에서, 디코딩 디바이스 (14) 는 레퍼런스 프레임을 갖는 강화층이 수신되면 데이터를 일반적으로 디코딩할 수도 있다. 레퍼런스 프레임을 포함하는 강화층이 수신되지 않으면, 디코딩 디바이스 (14) 는 레퍼런스 프레임의 미싱 데이터에 대비하기 위해 에러 정정을 수행할 수도 있다.
베이스층과 강화층 사이에 프레임을 할당한 이후에, 인코딩 디바이스 (12) 는 변조기/송신기 (26) 를 통해 네트워크 (16) (도 1) 상에서 프레임을 송신한다. 변조기/송신기 (26) 는 인코딩된 멀티미디어 시퀀스의 네트워크 (16) 를 통한 무선 송신 및 변조를 지원하기 위한 적절한 모뎀, 증폭기, 필터, 및 주파수 변환 컴포넌트를 포함할 수도 있다. 상술한 바와 같이, 변조기/송신기 (26) 는 상이한 신뢰도를 발생시키는 상이한 송신 특징을 갖는 베이스층 및 강화층을 동일한 캐리어 또는 서브캐리어상에서 송신하기 위해 계층적 변조를 사용할 수도 있다. 다시 말해, 베이스층은 변조된 신호의 더욱 신뢰가능한 부분을 통해 송신되며, 강 화층은 변조된 신호의 덜 신뢰가능한 부분을 통해 송신된다. 예를 들어, 베이스층 및 강화층은, 베이스층이 더욱 신뢰가능하게 수신되도록 상이한 PER 로 송신될 수도 있다. 일부 양태에서, 인코딩 디바이스 (12) 는 2-방향 통신을 가질 수도 있어서, 송신 및 수신 컴포넌트 모두를 포함할 수도 있고 멀티미디어 데이터를 인코딩 및 디코딩할 수 있다.
상술한 기술들은, 개별적으로 구현될 수도 있거나, 이러한 기술들 중 2개 이상 또는 이러한 기술들 모두는 인코딩 디바이스 (12) 에서 함께 구현될 수도 있다. 인코딩 디바이스 (12) 에서의 컴포넌트는 본 명세서에 설명한 기술들을 구현하기 위해 적용가능한 것들의 예시이다. 그러나, 인코딩 디바이스 (12) 는 상술한 모듈 중 하나 이상의 기능을 결합한 보다 적은 컴포넌트 뿐만 아니라 원하는 경우에는 다수의 다른 컴포넌트를 포함할 수도 있다. 그러나, 예시의 용이함을 위해, 도 2 에는 그러한 컴포넌트들이 도시되어 있지 않다.
인코딩 디바이스 (12) 에서의 컴포넌트는 하나 이상의 프로세서, 디지털 신호 프로세서, 응용 주문형 집적 회로 (ASIC), 필드 프로그램가능한 게이트 어레이 (FPGA), 개별 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합으로서 구현될 수도 있다. 모듈로서 상이한 특징들을 표현하는 것은 인코딩 디바이스 (12) 의 상이한 기능적 양태를 강조하려는 것이며, 이러한 모듈이 개별 하드웨어 또는 소프트웨어 컴포넌트에 의해 실현되어야 한다는 것을 반드시 암시하지는 않는다. 오히려, 하나 이상의 모듈과 관련된 기능은 공통 또는 개별 하드웨어 또는 소프트웨어내에 통합될 수도 있다. 따라서, 본 명세서는 인코딩 디바이스 (12) 의 예에 제한되어서는 안된다.
도 3 은 디코딩 디바이스 (14) 를 더욱 상세히 예시하는 블록도이다. 디코딩 디바이스 (14) 는 복조기/수신기 (30), 선택 디코딩 모듈 (32) 및 레퍼런스 데이터 분석 모듈 (38) 을 포함한다. 복조기/수신기 (30) 는 프레임의 코딩된 시퀀스를 네트워크 (16) 를 통해 수신한다. 변조기/송신기 (26) 와 유사하게, 복조기/수신기 (30) 는 적절한 모뎀, 증폭기, 필터, 및 주파수 변환 컴포넌트를 포함하여, 네트워크 (16) (도 1) 로부터의 인코딩된 멀티미디어 시퀀스의 수신 및 복조를 지원하기 위한 적절한 모뎀, 증폭기, 필터, 및 주파수 변환 컴포넌트를 포함할 수도 있다. 일부 양태에서, 디코딩 디바이스 (14) 는 2-방향 통신을 가질 수도 있어서, 송신 및 수신 컴포넌트 모두를 포함할 수도 있고 멀티미디어 데이터를 인코딩 및 디코딩할 수 있다.
상술한 바와 같이, 인코딩 디바이스 (12) 는 상이한 신뢰도를 발생시키는 상이한 송신 특징을 갖는 베이스층 및 강화층에서의 프레임의 인코딩된 시퀀스를 송신하기 위해 계층적 변조를 사용할 수도 있다. 따라서, 특정한 환경에서, 예를 들어, 디코딩 디바이스 (14) 가 네트워크 (16) 의 송신 타워로부터 멀리 떨어져 있을 때, 디코딩 디바이스 (14) 는 베이스층의 코딩된 프레임만을 수신할 수도 있다. 다른 환경에서, 예를 들어, 디코딩 디바이스 (14) 가 네트워크 (16) 의 송신 타워에 근접할 때, 디코딩 디바이스 (14) 는 베이스층 및 강화층 모두로부터 프레임을 수신할 수도 있다.
선택 디코딩 모듈 (32) 은 수신된 시퀀스의 코딩된 프레임을 디코딩한다. 특히, 선택 디코딩 모듈 (32) 은, 강화층이 수신되면, 강화층의 프레임 및 베이스층의 프레임을 디코딩한다. 코딩된 프레임을 디코딩하는데 있어서, 선택 디코딩 모듈 (32) 은 프레임을 인코딩하는데 사용된 리던던시를 사용하여 프레임을 디코딩한다. 특히, 선택 디코딩 모듈 (32) 은 인트라-코딩된 프레임을 디코딩하기 위해 동일한 프레임내의 공간 리던던시를 사용한다. 유사하게, 선택 디코딩 모듈 (32) 은 인터-코딩된 프레임을 디코딩하기 위해 하나 이상의 레퍼런스 프레임의 시간 리던던시를 사용한다.
선택 디코딩 모듈 (32) 은 레퍼런스 데이터 분석 모듈 (38) 로부터의 레퍼런스 데이터에 따라 시퀀스의 코딩된 프레임을 디코딩한다. 레퍼런스 데이터 분석 모듈 (38) 은, 수신된 인코딩 멀티미디어 시퀀스에서의 인트라-코딩된 및 인터-코딩된 프레임 또는 블록이 어디에 위치되는지를 나타내는 레퍼런스 데이터를 식별한다. 또한, 레퍼런스 데이터 분석 모듈 (38) 은 인터-코딩된 프레임에 대한 레퍼런스 프레임의 위치를 나타내는 레퍼런스 데이터를 식별할 수도 있다. 선택 디코딩 모듈 (32) 은 이용가능하다면, 인터-코딩된 프레임을 디코딩하기 위해 식별된 레퍼런스 프레임을 사용한다.
상술한 바와 같이, 강화층은 베이스층과 강화층의 사이즈를 밸런싱하기 위해 베이스층으로부터 이동된 적어도 하나의 레퍼런스 프레임을 포함한다. 강화층이 수신될 때, 선택 디코딩 모듈 (32) 은 필요하다면, 강화층에서의 레퍼런스 프레임의 데이터를 사용하여 베이스층의 적어도 하나의 프레임을 디코딩한다. 그러나, 강화층이 수신되지 않을 때, 선택 디코딩 모듈 (32) 은 베이스층의 프레임을 성공적으로 디코딩하기 위해 강화층에서의 레퍼런스 프레임으로부터의 데이터를 갖지 않는다. 특정한 양태에서, 선택 디코딩 모듈 (32) 은 강화층의 미싱 레퍼런스 프레임에 대한 레퍼런스를 포함하는 프레임과 대응하는 CSF 를 디코딩할 수도 있다. 다른 예에서, 미싱 레퍼런스 프레임을 참조하는 프레임은 다중 레퍼런스 프레임을 참조하여 인코딩될 수도 있으며, 선택 디코딩 모듈 (32) 은 다른 레퍼런스 프레임만을 사용하여 미싱 레퍼런스 프레임을 참조하는 프레임을 디코딩할 수도 있다. 그렇지 않으면, 에러 정정 모듈 (미도시) 이 에러 정정을 시도하기 위해 하나 이상의 에러 정정 알고리즘을 사용할 수도 있다.
선택 디코딩 모듈 (32) 은, 강화층 데이터가 이용가능할 때, 즉, 강화층 데이터가 성공적으로 수신되었을 때 소정의 프레임 또는 매크로블록에 대한 베이스층과 강화층 멀티미디어 데이터를 결합한다. 따라서, 베이스층 및 강화층 모두가 수신될 때, 선택 디코딩 모듈 (32) 은 단지 베이스층이 수신될 때 보다 높은 품질을 제공하기 위해 층들을 결합한다.
상술한 기술들은 개별적으로 구현될 수도 있거나, 이러한 기술들 중 2개 이상 또는 이러한 기술들 모두는 디코딩 디바이스 (14) 에서 함께 구현될 수도 있다. 디코딩 디바이스 (14) 에서의 컴포넌트는 본 명세서에 설명한 기술들을 구현하기 위해 적용가능한 것들의 예시이다. 그러나, 디코딩 디바이스 (14) 는 상술한 모듈 중 하나 이상의 기능을 결합한 보다 적은 컴포넌트 뿐만 아니라 원하는 경우에는 다수의 다른 컴포넌트를 포함할 수도 있다. 또한, 디코딩 디바이스 (14) 는 적용가능하다면, 무선 주파수 (RF) 무선 컴포넌트 및 안테나를 포함하는 인코딩된 비디오의 송신 및 수신을 위한 적절한 변조, 복조, 주파수 변환 필터링, 및 증폭기 컴포넌트를 포함할 수도 있다. 그러나, 예시의 용이함을 위해, 이러한 컴포넌트들을 도 3 에 도시하지 않는다.
디코딩 디바이스 (14) 에서의 컴포넌트는 하나 이상의 프로세서, 디지털 신호 프로세서, ASIC, FPGA, 개별 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합으로서 구현될 수도 있다. 모듈로서 상이한 특징들을 표현하는 것은 디코딩 디바이스 (14) 의 상이한 기능적 양태를 강조하려는 것이며, 이러한 모듈이 개별 하드웨어 또는 소프트웨어 컴포넌트에 의해 실현되어야 한다는 것을 반드시 암시하지는 않는다. 오히려, 하나 이상의 모듈과 관련된 기능은 공통 또는 개별 하드웨어 또는 소프트웨어내에 통합될 수도 있다. 따라서, 본 명세서는 디코딩 디바이스 (14) 의 예에 제한되어서는 안된다.
도 4 는 예시적인 인코딩된 멀티미디어 시퀀스 (40) 의 일부를 예시하는 도면이다. 도 4 에 도시되어 있는 인코딩된 시퀀스 (40) 는 멀티미디어 데이터의 채널에 대응할 수도 있다. 일 예로서, 인코딩된 시퀀스 (40) 는 ESPN, FOX, MSNBC 또는 다른 텔레비전 채널에 대응할 수도 있다. 도 4 에 예시된 예가 오직 하나의 채널에 대한 인코딩된 시퀀스 (40) 를 도시하지만, 본 발명의 기술은 임의의 수의 채널에 대한 임의의 수의 인코딩된 시퀀스에 적용가능하다.
인코딩된 시퀀스 (40) 는 복수의 코딩된 프레임을 포함한다. 코딩된 프레임은 다양한 인터-코딩 또는 인트라-코딩 기술에 의해 인코딩된 각각의 입력 프레임의 압축된 버전을 나타낸다. 도 4 의 예에서, 인코딩된 시퀀스 (40) 는 I 프레임 (I1), P 프레임 (P1-P5), 및 B 프레임 (B1-B7) 을 포함한다. 프레임 (I1 및 P1-P5) 이 레퍼런스 프레임이다. 다시 말해, 인코딩 시퀀스 (40) 의 적어도 하나의 다른 프레임은 프레임 (I1 및 P1-P5) 각각에서 데이터의 적어도 하나의 블록에 대한 레퍼런스를 갖는다. 일 예로서, 프레임 (P4) 이 프레임 (B4 및 B5) 에 대한 레퍼런스 프레임일 수도 있다. 한편, 프레임 (B1-B7) 은 넌-레퍼런스 프레임이며, 즉, 다른 프레임은 프레임 (B1-B7) 의 임의의 블록 데이터에 대한 레퍼런스를 갖지 않는다. 도 4 를 참조하여 설명한 예에서, 모든 P 프레임 및 I 프레임은 레퍼런스 프레임이며, 모든 B 프레임은 넌-레퍼런스 프레임이지만, 하나 이상의 P 또는 I 프레임이 넌-레퍼런스 프레임일 수도 있으며, 하나 이상의 B 프레임이 레퍼런스 프레임일 수도 있다.
상술한 바와 같이, 할당 모듈 (22) 은 베이스층 비트스트림 (42) 과 강화층 비트스트림 (44) 사이에 코딩된 프레임을 할당한다. 오직 하나의 강화층만을 도 4 의 예에 도시하였지만, 여기에 설명하는 기술들은 베이스층으로부터 2개 이상의 강화층으로 또는 강화층들 사이에 프레임을 분배하기 위해 사용될 수도 있다. 베이스층 비트스트림 (42) 은 처음에 레퍼런스 프레임 (I1 및 P1-P5) 을 포함한다. 강화층 비트스트림 (44) 은 처음에 넌-레퍼런스 프레임 (B1-B7) 을 포함한다. 점선으로 도시된 프레임, 즉, 레퍼런스 프레임 (P4) 은 프레임의 초기 위치 를 나타낸다. 도 4 에 도시된 프레임의 초기 할당은, 베이스층 (42) 이 모든 레퍼런스 프레임을 포함하고 강화층 (44) 이 모든 넌-레퍼런스 프레임을 포함하도록 되어 있지만, 할당 모듈 (22)은 처음에 하나 이상의 넌-레퍼런스 프레임 (예를 들어, 도 4 의 예에서 프레임 (B1-B7) 중 하나) 을 베이스층 (42) 에 할당할 수도 있다.
상술한 바와 같이, 할당 모듈 (22) 은 베이스층 (42) 과 강화층 (44) 사이의 프레임의 할당을 분석할 수도 있고, 이 분석에 기초하여 하나 이상의 프레임을 재할당할 수도 있다. 예를 들어, 강화층 (44) 이 베이스층 (42) 보다 실질적으로 적은 비트를 포함할 때, 할당 모듈 (22) 은 베이스층 (42) 으로부터의 프레임 중 하나 이상을 강화층 (44) 에 재할당할 수도 있다. 구체적으로는, 할당 모듈 (22) 은, 베이스층 (42) 에서의 비트의 수가 강화층 (44) 에서의 비트의 수를 임계값 만큼 초과할 때 하나 이상의 프레임을 재할당할 수도 있다. 처음에, 할당 모듈은 베이스층 (42) 에 위치된 임의의 넌-레퍼런스 프레임을 강화층 (44) 에 재할당할 수도 있다. 도 4 의 예에서, 베이스층 (42) 에 처음에 할당되는 넌-레퍼런스 프레임은 없다. 따라서, 할당 모듈 (22) 은 베이스층 (42) 으로부터 강화층 (44) 으로 이동시키기 위해 레퍼런스 프레임 중 하나 이상을 선택한다.
도 4 에 도시되어 있는 바와 같이, 할당 모듈은 베이스층 (42) 으로부터 강화층 (44) 으로 레퍼런스 프레임 (P4) 을 이동시킨다. 레퍼런스 프레임 (P4) 은 인트라-코딩된 프레임, 즉, 프레임 (I1) 직전에 시간적으로 위치된다. 인트라- 코딩된 (I) 프레임이 임의의 다른 시간적으로 위치된 프레임에 관계없이 코딩되기 때문에, 인트라-코딩된 프레임 직전의 레퍼런스 프레임을 이동시키는 것은 후속 프레임, 즉, 프레임 (I1) 의 디코딩에 악영향을 미치지 않는다. 그러나, 레퍼런스 프레임 (P4) 을 이동시키는 것은, 디코딩 디바이스 (14) 에서 약간의 느린 프레임 레이트를 발생시킬 수도 있어서, 강화층 (44) 이 수신되지 않을 때 디코딩된 멀티미디어 시퀀스 (40) 에서 얼마간의 아티팩트 (artifact) 를 생성할 수도 있다. 상술한 바와 같이, 레퍼런스 프레임 (P4) 은 넌-레퍼런스 프레임 (B4 및 B5) 에 대한 레퍼런스 프레임으로서 작용할 수도 있다. 레퍼런스 프레임 (P4) 은, 프레임 (P4) 에 대한 레퍼런스를 포함하는 넌-레퍼런스 프레임 (B4 및 B5) 이 수신되면, 레퍼런스 프레임 (P4) 이 수신될 가능성이 있기 때문에 넌-레퍼런스 프레임에 대한 레퍼런스 프레임으로서 계속 작용할 수도 있다.
도 4 에 예시된 인코딩된 시퀀스 (40) 는 단지 예시를 위한 것이다. 상술한 바와 같이, 인코딩된 시퀀스는 상이한 배열 및 타입의 프레임을 포함할 수도 있다. 예를 들어, 인코딩된 시퀀스는 상이한 배열의 레퍼런스 및 넌-레퍼런스 프레임을 포함할 수도 있다. 또한, 프레임 (I1) 이전 및 근처에 시간적으로 위치된 임의의 레퍼런스 프레임은 베이스층 (42) 으로부터 강화층 (44) 으로 이동될 수도 있다. 다른 경우에서, 예를 들어, 프레임 (P2 또는 P3) 중 하나가 베이스 층 (42) 으로부터 강화층 (44) 으로 이동될 수도 있다. 그러나, 프레임 (I1) 에 가장 근접하게 위치된 레퍼런스 프레임을 먼저 이동시키는 것이 바람직할 수도 있으며, 즉, P2 를 강화층으로 이동시키기 이전에 P3 를 강화층으로 이동시키는 것이 바람직할 수도 있다.
도 5 는 다른 예시적인 인코딩된 멀티미디어 시퀀스 (50) 의 일부를 예시하는 도면이다. 인코딩 멀티미디어 시퀀스 (50) 는, 인코딩된 멀티미디어 시퀀스 (50) 가 I 프레임을 포함하지 않는다는 점을 제외하고는 도 4 의 인코딩된 멀티미디어 시퀀스 (40) 와 실질적으로 일치한다. 대신에, 도 4 의 프레임 (I1) 은 다른 P 프레임, 즉, 프레임 (P6) 으로 대체된다. 프레임 (I1) 과 다르게, 프레임 (P6) 은 인트라-코딩된 프레임은 아니지만, 대신에 프레임 (P4) 에 대한 적어도 하나의 레퍼런스를 포함하는 인터-코딩된 프레임이다.
인코딩된 멀티미디어 시퀀스 (50) 는 또한 채널 스위치 프레임 (CSF1) 을 포함한다. 이 예에서, CSF1 는 각각의 입력 프레임의 적어도 일부의 인트라-코딩된 버전이다. 다시 말해, CSF1 는 다른 프레임에 관계없이 코딩되며, 따라서 독립적으로 디코딩가능하다. 특정한 양태에서, CSF1 는 인코딩된 시퀀스 (50) 의 다른 프레임 보다 낮은 품질에서 인코딩될 수도 있다. 또한, CSF1 는 시퀀스내의 CSF1 의 시간적 위치가 동일한 멀티미디어 시퀀스에서의 대응하는 인터-코딩된 프레임의 시간적 위치에 대응한다는 점에서 인터-코딩된 프레임 중 대응하는 프레임과 시간적으로 함께 위치될 수도 있다. 도 5 에 예시된 예에서, CSF1 는 P6 와 함께 위치된다. 이러한 경우에서, CSF1 는 대응하는 프레임 (P6) 에서 코딩된 멀티미디어 데이터의 적어도 일부의 제 2 의 인트라-코딩된 버전으로서 보여질 수도 있다.
특정한 양태에서, 디코딩 디바이스 (14) 는 강화층 (44) 이 수신되었는지 여부에 의존하여 인코딩된 멀티미디어 시퀀스 (50) 를 선택적으로 디코딩할 수도 있다. 특히, 디코딩 디바이스 (14) 는 강화층 (44) 이 수신될 때 레퍼런스 프레임으로서 프레임 (P4) 을 사용하여 프레임 (P6) 을 디코딩할 수도 있다. 따라서, 베이스층 (42) 에 위치된 프레임 (P6) 은 강화층 (44) 에서의 프레임을 참조한다. 그러나, 강화층 (44) 이 디코딩 디바이스 (14) 에 의해 수신되지 않으면, 디코딩 디바이스 (14) 는 프레임 (P6) 대신에 CSF1 을 디코딩할 수도 있다. CSF1 이 인트라-코딩된 프레임이기 때문에, 강화층 (44) 으로 레퍼런스 프레임 (P4) 을 이동시키는 것은 후속 프레임의 디코딩에 영향을 미치지 않는다.
도 5 에 예시되어 있는 인코딩된 시퀀스 (50) 는 단지 예시를 위한 것이다. 상술한 바와 같이, 인코딩된 시퀀스 (50) 는 상이한 배열 및 타입의 프레임을 포함할 수도 있다. 예를 들어, 인코딩된 시퀀스는 상이한 배열의 레퍼런스 및 넌-레퍼런스 프레임을 포함할 수도 있다. 또한, CSF1 이전 및 근처에 시간적으로 위치된 임의의 레퍼런스 프레임은 베이스층 (42) 으로부터 강화층 (44) 으로 이동될 수도 있다. 예를 들어, 프레임 (P6), 즉, CSF1 의 시간적 위치에 대응하는 프레임이 강화층 비트스트림 (44) 으로 이동될 수도 있다. 다른 경우에서, 프레임 (P2 또는 P3) 과 같은 다른 레퍼런스 프레임이 베이스층 (42) 으로부터 강화층 (44) 으로 이동될 수도 있다. 이들 경우에서, 강화층 (44) 이 디코딩 디바이스 (14) 에 의해 수신되지 않으면, 디코딩 디바이스 (14) 는 후속 CSF, 즉, CSF1 을 디코딩할 수도 있다.
도 6 은 다른 예시적인 인코딩된 멀티미디어 시퀀스 (60) 의 일부를 예시하는 도면이다. 인코딩된 멀티미디어 시퀀스 (60) 는, 인코딩된 멀티미디어 시퀀스 (60) 가 인트라-코딩된 프레임, 즉, I 프레임 또는 CSF 를 포함하지 않는다는 점을 제외하고는 도 4 및 5 각각의 인코딩된 멀티미디어 시퀀스 (40 및 50) 와 실질적으로 일치한다. 대신에, 도 6 에 예시된 멀티미디어 시퀀스 (60) 의 일부는 모든 인터-코딩된 프레임을 포함하는 베이스층 (42) 과 강화층 (44) 을 포함한다.
멀티미디어 시퀀스 (60) 의 일부는 데이터의 2개의 세그먼트의 일부, 예를 들어, 슈퍼프레임 (SF1 및 SF2) 을 포함한다. 슈퍼프레임 (SF1) 은 적어도 프레임 (P1-P4) 및 프레임 (B1-B4) 을 포함한다. 슈퍼프레임 (SF2) 은 적어도 프레임 (P5 및 P6) 뿐만 아니라 프레임 (B5-B7) 을 포함한다. 그러나, 슈퍼프레임 (SF1 및 SF2) 은 더 많거나 더 적은 프레임을 포함할 수도 있다. 또한, 슈퍼프레임 (SF1 및 SF2) 은 하나 이상의 인트라-코딩된 프레임 (예를 들어, I 프레임 또는 CSF) 을 포함할 수도 있다.
도 6 에 예시된 바와 같이, 슈퍼프레임 (SF2) 의 제 1 프레임 (즉, P5) 은 화살표 62 로 나타낸 바와 같이 슈퍼프레임 (SF1) 의 최종 프레임 (즉, P4) 을 참조한다. 다시 말해서, 인코딩 모듈 (20) 은 프레임 (P4) 에서의 시간적 리던던시를 사용하여 프레임 (P5) 의 하나 이상의 블록을 인코딩한다. 본 발명의 기술에 따라, 할당 모듈 (22) 은 층들의 사이즈를 밸런싱하기 위해 레퍼런스 프레임 (P4) 을 베이스층 (42) 으로부터 강화층 (44) 으로 재할당할 수도 있다.
일부 경우에서, 인코딩 디바이스 (12) 는 베이스층 (42) 으로부터 강화층 (44) 으로의 프레임 (P4) 의 이동시에 프레임 (P5) 의 순방향 레퍼런스를 조정할 수도 있다. 특정한 양태에서, 인코딩 모듈 (20) 은 베이스층 (42) 의 프레임 중 다른 하나를 참조하여 프레임 (P5) 을 재인코딩할 수도 있다. 예시된 예에서, 인코딩 모듈 (20) 은 화살표 64 로 나타낸 바와 같이 프레임 (P3) 에서의 시간적 리던던시를 사용하여 프레임 (P5) 을 재인코딩할 수도 있다. 다른 양태에서, 인코딩 모듈 (20) 은 처음에 2개 이상의 시간적으로 이전의 프레임, 즉, 프레임 (P3 및 P4) 를 참조하여 프레임 (P5) 을 인코딩할 수도 있다. 이러한 경우에서, 인코딩 모듈 (20) 은 프레임 (P5) 을 재인코딩하지 않을 수도 있지만, 대신에 P4 에 대한 레퍼런스를 제거할 수도 있다.
다른 경우에서, 인코딩 디바이스 (12) 는 프레임 (P5) 의 순방향 레퍼런스를 조정하지 않을 수도 있다. 대신에, 인코딩 디바이스 (12) 는 P4 가 강화층 (44) 에 위치되더라도 P4 에 대한 레퍼런스를 남겨둘 수도 있다. 이러한 경우에서, 디코딩 디바이스 (14) 는 강화층이 수신되었는지에 기초하여 수신된 시퀀스를 선택적으로 디코딩할 수도 있다. 강화층 (44) 이 수신될 때, 디코딩 디바이스 (14) 는 강화층에서의 프레임 (P4) 를 참조하여 프레임 (P5) 을 디코딩한다. 그러나, 강화층 (44) 이 수신되지 않을 때, 디코딩 디바이스 (14) 는 프레임 (P5) 을 재구성하기 위해 하나 이상의 에러 정정 기술을 사용하거나 인트라-코딩된 프레임을 대기한다.
도 6 에 예시되어 있는 인코딩된 시퀀스 (60) 는 단지 예시를 위한 것이다. 상술한 바와 같이, 인코딩된 시퀀스 (60) 는 상이한 배열 및 타입의 프레임을 포함할 수도 있다. 예를 들어, 인코딩된 시퀀스는 상이한 배열의 레퍼런스 및 넌-레퍼런스 프레임을 포함할 수도 있다. 또한, 도 6 에 예시된 예에서, 슈퍼프레임 (SF1) 의 최종 레퍼런스 프레임이 강화층 (44) 에 재할당되지만, 임의의 레퍼런스 프레임이 베이스층 (42) 으로부터 강화층 (44) 으로 이동될 수도 있다.
도 7 은 본 발명의 기술에 따라 하나 이상의 레퍼런스 프레임을 재할당하는, 인코딩 디바이스 (12) 와 같은 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도이다. 처음에, 할당 모듈 (22) 은 베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 인코딩된 프레임을 할당한다 (70). 특정한 양태에서, 할당 모듈 (22) 은 프레임이 레퍼런스 프레임으로서 사용되는지에 기초하여 프레임을 할당한다. 예를 들어, 할당 모듈 (22) 은 처음에, 레퍼런스 프레임을 베이스에 할당하며 넌-레퍼런스 프레임을 강화층에 할당할 수도 있다. 다른 방법으로는, 할당 모듈 (22) 은 하나 이상의 넌-레퍼런스 프레임이 베이스층에 처음에 할당되는 초기 할당 방식을 사용할 수도 있다.
할당 모듈 (22) 은 베이스층과 강화층이 실질적으로 동일한 사이즈인지를 결정하기 위해 베이스층과 강화층 사이에서의 프레임의 할당을 분석한다 (72). 강화층과 베이스층이 실질적으로 동일한 사이즈가 아닐 때, 할당 모듈 (22) 은 강화층이 베이스층 보다 소정의 마진 또는 임계값 만큼 작은지를 결정한다 (73). 강화층이 베이스층 보다 소정의 임계값 만큼 클 때 (즉, 강화층이 더 많은 비트를 포함할 때), 할당 모듈 (22) 은 적어도 하나의 프레임을 강화층으로부터 베이스층으로 재할당한다 (74). 할당 모듈 (22) 은, 강화층에 처음에 할당됨 임의의 레퍼런스 프레임이 존재하는 경우에, 하나 이상의 레퍼런스 프레임을 먼저 재할당할 수도 있다. 그렇지 않으면, 할당 모듈 (22) 은 넌-레퍼런스 I 프레임 및 넌-레퍼런스 P 프레임으로 시작하는 넌-레퍼런스 프레임을 재할당할 수도 있다.
강화층이 베이스층 보다 소정의 임계값 만큼 작을 때 (즉, 베이스층이 더 많 은 비트를 포함할 때), 할당 모듈 (22) 은 베이스층에 임의의 넌-레퍼런스 프레임이 존재하는지를 결정한다 (75). 베이스층에 넌-레퍼런스 프레임이 존재할 때, 할당 모듈 (22) 은 넌-레퍼런스 프레임을 베이스층으로부터 강화층으로 재할당한다 (76). 강화층으로 넌-레퍼런스 프레임을 이동시킴으로써, 강화층이 디코딩 디바이스 (14) 에 의해 수신되지 않을 때 후속 프레임의 디코딩에 대한 영향은 없다.
베이스층에 넌-레퍼런스 프레임이 존재하지 않을 때, 할당 모듈 (22) 은 적어도 하나의 레퍼런스 프레임을 베이스층으로부터 강화층으로 재할당한다 (77). 특정한 양태에서, 할당 모듈 (22) 은 인트라-코딩된 프레임 이전 및 근처에 시간적으로 위치된 레퍼런스 프레임, 즉, I 프레임 또는 채널 스위치 프레임 (CSF) 을 이동시킬 수도 있다. 예를 들어, 할당 모듈 (22) 은 인트라-코딩된 프레임 직전에 시간적으로 위치된 레퍼런스 프레임을 이동시킬 수도 있다. 인트라-코딩된 프레임이 임의의 다른 시간적으로 위치된 프레임에 관계없이 코딩되기 때문에, 인트라-코딩된 프레임 직전에 시간적으로 위치된 레퍼런스 프레임을 이동시키는 것은 후속 프레임의 디코딩에 영향을 미치지 않는다. 다른 양태에서, 할당 모듈 (22) 은 데이터의 슈퍼프레임 또는 다른 세그먼트의 종단 근처에 위치된 레퍼런스 프레임을 이동시킬 수도 있다.
인코딩 디바이스 (12) 는 재할당된 레퍼런스 프레임에 대한 레퍼런스를 포함하는 하나 이상의 프레임의 레퍼런스 데이터를 조정할 수도 있다 (78). 예를 들어, 할당 모듈 (22) 은 인코딩 모듈 (20) 이 베이스층에서 상이한 프레임에 대한 레퍼런스를 포함하기 위해 재할당된 레퍼런스 프레임에 의존하는 베이스층의 하나 이상의 프레임을 재인코딩하는 것을 요청할 수도 있다. 다른 방법으로는, 재할당된 프레임에 의존하는 프레임이 다중 레퍼런스 프레임을 사용하여 코딩되는 경우에, 레퍼런스 데이터 생성기 (24) 는 강화층에 재할당된 레퍼런스 프레임에 대한 레퍼런스를 간단히 제거할 수도 있다. 그러나, 인코딩 디바이스 (12) 는 어떠한 레퍼런스 데이터도 조정하지 않을 수도 있으며, 대신에 재할당된 레퍼런스 프레임에 대한 레퍼런스를 간단히 남겨둘 수도 있다. 이러한 경우에서, 디코딩 디바이스 (14) 는 레퍼런스 프레임을 갖는 강화층이 수신되면 데이터를 일반적으로 디코딩할 수도 있다. 레퍼런스 프레임을 포함하는 강화층이 수신되지 않으면, 디코딩 디바이스 (14) 는 레퍼런스 프레임의 미싱 데이터에 대비하기 위해 에러 정정을 수행할 수도 있다. 이러한 방식으로, 할당 모듈 (22) 은 베이스층과 강화층의 사이즈를 밸런싱한다.
베이스층과 강화층이 실질적으로 동일한 사이즈일 때, 인코딩 디바이스 (12) 는 프레임의 층을 송신한다 (79). 변조기/송신기 (26) 는 상이한 신뢰도를 발생시키는 상이한 송신 특징을 갖는 베이스층과 강화층을 동일한 캐리어 또는 서브캐리어상에서 송신하기 위해 계층적 변조를 사용할 수도 있다. 예를 들어, 베이스층과 강화층은, 베이스층이 더욱 신뢰가능하게 수신되도록 상이한 PER 로 송신될 수도 있다.
도 8 은 베이스층의 프레임을 선택적으로 디코딩하는 디코딩 디바이스 (14) 와 같은 디코딩 디바이스의 예시적인 동작을 예시하는 흐름도이다. 디코딩 디바이스 (14) 는 멀티미디어 시퀀스의 프레임을 수신한다 (80). 상술한 바와 같 이, 디코딩 디바이스 (14) 는 네트워크 (16) (도 1) 에 대한 디코딩 디바이스 (14) 의 위치에 의존하여 베이스층과 강화층 모두의 코딩된 프레임 또는 베이스층의 코딩된 프레임만을 수신할 수도 있다.
디코딩 디바이스 (14) 는 강화층에서의 프레임의 컨텐츠를 참조하여 베이스층에서의 프레임을 식별한다 (82). 디코딩 디바이스 (14) 는 관심 프레임을 식별하기 위해 수신된 레퍼런스 데이터를 분석할 수도 있다. 디코딩 디바이스 (14) 는 강화층이 수신되는지를 결정한다 (84). 강화층이 수신될 때, 디코딩 디바이스 (14) 는 강화층에서의 대응하는 레퍼런스 프레임의 데이터를 사용하여 베이스층에서의 식별된 프레임을 디코딩한다 (86).
강화층이 수신되지 않을 때, 디코딩 디바이스 (14) 는 식별된 프레임에 대응하거나 후속하는 CSF 가 존재하는지를 결정한다 (87). 식별된 프레임에 대응하거나 후속하는 CSF 가 존재할 때, 디코딩 디바이스 (14) 는 식별된 프레임을 디코딩하는 대신에 CSF 를 디코딩한다 (88). 식별된 프레임에 대응하는 CSF 가 존재하지 않을 때, 디코딩 디바이스 (14) 는 강화층에서의 레퍼런스 프레임으로부터의 데이터를 사용하지 않고 프레임을 디코딩한다 (89). 특정한 양태에서, 디코딩 디바이스 (14) 는 예를 들어, 식별된 프레임이 2개 이상의 프레임에 대한 레퍼런스를 포함할 때, 다른 레퍼런스 프레임의 데이터를 사용하여 그 식별된 프레임을 디코딩할 수도 있다. 다른 양태에서, 디코딩 디바이스 (14) 는 식별된 프레임을 재구성하기 위해 하나 이상의 에러 정정 기술을 사용할 수도 있다.
본 명세서에 기재된 교시에 기초하여, 여기에 개시된 양태가 임의의 다른 양 태들과 독립적으로 구현될 수도 있으며, 이들 양태 중 2개 이상이 다양한 방식으로 결합될 수도 있다는 것이 명백하다. 여기에 기재된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어에서 구현될 때, 이 기술은 디지털 하드웨어, 아날로그 하드웨어 또는 이들의 조합을 사용하여 실현될 수도 있다. 소프트웨어에서 구현될 때, 이 기술은 하나 이상의 명령 또는 코드가 저장된 컴퓨터 판독가능 매체를 포함하는 컴퓨터-프로그램 제품에 의해 적어도 부분적으로 실현될 수도 있다.
제한이 아닌 예로서, 이러한 컴퓨터-판독가능한 매체는, 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 RAM, 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), ROM, 전기적으로 소거가능한 프로그래머블 판독 전용 메모리 (EEPROM), 소거가능한 프로그래머블 판독 전용 메모리 (EPROM), FLASH 메모리, CD-ROM 또는 다른 광디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스, 또는 명령 또는 데이터 구조의 형태에서 원하는 프로그램 코드를 전달 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 유형 매체를 포함할 수 있다.
컴퓨터 프로그램 제품의 컴퓨터-판독가능 매체와 관련된 명령 또는 코드는 컴퓨터에 의해, 예를 들어, 하나 이상의 디지털 신호 프로세서 (DSP), 범용 마이크로프로세서, ASIC, FPGA, 또는 다른 등가의 집적 또는 개별 로직 회로와 같은 하나 이상의 프로세서에 의해 실행될 수도 있다.
다수의 양태 및 예를 설명하였다. 그러나, 이들 예에 대한 다양한 변경 이 가능하며, 여기에 제공된 원리는 다른 양태들에 또한 적용될 수도 있다. 이들 및 다른 양태들은 아래의 청구범위의 범주내에 있다.

Claims (72)

  1. 멀티미디어 데이터의 복수의 프레임을 코딩하는 단계로서, 상기 복수의 프레임은 하나 이상의 레퍼런스 프레임을 포함하는, 상기 복수의 프레임을 코딩하는 단계;
    베이스층 (base layer) 비트스트림과 적어도 하나의 강화층 비트스트림 (enhancement layer) 사이에 상기 복수의 프레임 각각을 할당하는 단계; 및
    상기 베이스층 비트스트림에 할당되는 상기 하나 이상의 레퍼런스 프레임 중 적어도 하나를 상기 강화층 비트스트림에 재할당하는 단계를 포함하고,
    상기 강화층 비트 스트림은 상기 하나 이상의 레퍼런스 프레임 중 상기 재할당된 적어도 하나를 포함하는 프레임들의 배열을 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  2. 제 1 항에 있어서,
    상기 복수의 프레임을 할당하는 단계는, 상기 복수의 프레임 중 인트라-코딩된 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  3. 제 2 항에 있어서,
    상기 복수의 프레임 중 상기 인트라-코딩된 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 할당하는 단계는, 채널 스위치 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  4. 제 1 항에 있어서,
    상기 복수의 프레임을 할당하는 단계는, 채널 스위치 프레임에 대응하는 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  5. 제 1 항에 있어서,
    데이터의 세그먼트를 형성하기 위해 상기 복수의 프레임 중 적어도 일부를 그룹화하는 단계를 더 포함하며,
    상기 복수의 프레임을 할당하는 단계는, 상기 데이터의 세그먼트의 종단 근처에 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  6. 제 1 항에 있어서,
    상기 복수의 프레임을 할당하는 단계는,
    상기 베이스층 비트스트림과 상기 강화층 비트스트림 사이에서 상기 복수의 프레임의 초기 할당을 분석하는 단계; 및
    상기 분석에 기초하여 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  7. 제 6 항에 있어서,
    상기 분석에 기초하여 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 단계는, 상기 베이스층 비트스트림에 넌-레퍼런스 (non-reference) 프레임들이 존재하지 않을 때, 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  8. 제 6 항에 있어서,
    상기 초기 할당을 분석하는 단계는, 상기 강화층 비트스트림의 사이즈를 상기 베이스층 비트스트림의 사이즈에 비교하는 단계를 포함하며,
    상기 분석에 기초하여 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 단계는, 상기 강화층 비트스트림의 사이즈가 상기 베이스층 비트스트림의 사이즈 보다 임계값 만큼 작을 때 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  9. 제 6 항에 있어서,
    상기 베이스층 비트스트림의 사이즈와 상기 강화층 비트스트림의 사이즈 사이의 차이가 최소가 될 때 까지 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 프레임들을 재할당하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  10. 제 1 항에 있어서,
    상기 강화층 비트스트림에 할당된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한, 상기 베이스층 비트스트림에서의 상기 복수의 프레임의 후속 프레임의 레퍼런스를 제거하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  11. 제 10 항에 있어서,
    상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한 상기 복수의 프레임의 후속 프레임의 레퍼런스를 제거하는 단계는, 상기 강화층 비트스트림에 할당된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한 상기 레퍼런스를 차단하기 위해 상기 베이스층 비트스트림에서의 상기 복수의 프레임의 상기 후속 프레임을 재인코딩하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  12. 삭제
  13. 삭제
  14. 멀티미디어 데이터의 복수의 프레임을 코딩하는 인코딩 모듈로서, 상기 복수의 프레임은 하나 이상의 레퍼런스 프레임을 포함하는, 상기 인코딩 모듈;
    베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 상기 복수의 프레임 각각을 할당하는 할당 모듈; 및
    상기 베이스층 비트스트림에 할당되는 상기 하나 이상의 레퍼런스 프레임 중 적어도 하나를 상기 강화층 비트스트림에 재할당하는 재할당 모듈을 포함하고,
    상기 강화층 비트 스트림은 상기 하나 이상의 레퍼런스 프레임 중 상기 재할당된 적어도 하나를 포함하는 프레임들의 배열을 포함하는, 멀티미디어 데이터를 프로세싱하는 장치.
  15. 제 14 항에 있어서,
    상기 할당 모듈은, 상기 복수의 프레임 중 인트라-코딩된 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  16. 제 15 항에 있어서,
    상기 할당 모듈은, 채널 스위치 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  17. 제 14 항에 있어서,
    상기 할당 모듈은, 채널 스위치 프레임에 대응하는 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  18. 제 14 항에 있어서,
    상기 인코딩 모듈은, 데이터의 세그먼트를 형성하기 위해 상기 복수의 프레임 중 적어도 일부를 그룹화하며,
    상기 할당 모듈은, 상기 데이터의 세그먼트의 종단 근처에 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  19. 제 14 항에 있어서,
    상기 할당 모듈은, 상기 베이스층 비트스트림과 상기 강화층 비트스트림 사이에서의 상기 복수의 프레임의 초기 할당을 분석하며, 상기 분석에 기초하여 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  20. 제 19 항에 있어서,
    상기 할당 모듈은, 상기 베이스층 비트스트림에 넌-레퍼런스 (non-reference) 프레임들이 존재하지 않을 때, 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  21. 제 19 항에 있어서,
    상기 할당 모듈은, 상기 강화층 비트스트림의 사이즈를 상기 베이스층 비트스트림의 사이즈에 비교하며, 상기 강화층 비트스트림의 사이즈가 상기 베이스층 비트스트림의 사이즈 보다 임계값 만큼 작을 때 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  22. 제 19 항에 있어서,
    상기 할당 모듈은, 상기 베이스층 비트스트림의 사이즈와 상기 강화층 비트스트림의 사이즈 사이의 차이가 최소가 될 때 까지 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 프레임들을 재할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  23. 제 14 항에 있어서,
    상기 강화층 비트스트림에 할당된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한, 상기 베이스층 비트스트림에서의 상기 복수의 프레임의 후속 프레임의 레퍼런스를 제거하는 레퍼런스 데이터 생성기를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 장치.
  24. 제 23 항에 있어서,
    상기 인코딩 모듈은, 상기 강화층 비트스트림에 할당된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한 상기 레퍼런스를 차단하기 위해 상기 베이스층 비트스트림에서의 상기 후속 프레임을 재인코딩하는, 멀티미디어 데이터를 프로세싱하는 장치.
  25. 삭제
  26. 삭제
  27. 멀티미디어 데이터의 복수의 프레임을 인코딩하는 수단으로서, 상기 복수의 프레임은 하나 이상의 레퍼런스 프레임을 포함하는, 상기 코딩 수단;
    베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 상기 복수의 프레임 각각을 할당하는 수단; 및
    상기 베이스층 비트스트림에 할당되는 상기 하나 이상의 레퍼런스 프레임 중 적어도 하나를 상기 강화층 비트스트림에 재할당하는 수단을 포함하고,
    상기 강화층 비트 스트림은 상기 하나 이상의 레퍼런스 프레임 중 상기 재할당된 적어도 하나를 포함하는 프레임들의 배열을 포함하는, 멀티미디어 데이터를 프로세싱하는 장치.
  28. 제 27 항에 있어서,
    상기 할당 수단은, 상기 복수의 프레임 중 인트라-코딩된 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  29. 제 28 항에 있어서,
    상기 할당 수단은, 채널 스위치 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하 는, 멀티미디어 데이터를 프로세싱하는 장치.
  30. 제 27 항에 있어서,
    상기 할당 수단은, 채널 스위치 프레임에 대응하는 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  31. 제 27 항에 있어서,
    데이터의 세그먼트를 형성하기 위해 상기 복수의 프레임 중 적어도 일부를 그룹화하는 수단을 더 포함하며,
    상기 할당 수단은, 상기 데이터의 세그먼트의 종단 근처에 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  32. 제 27 항에 있어서,
    상기 할당 수단은, 상기 베이스층 비트스트림과 상기 강화층 비트스트림 사이에서의 상기 복수의 프레임의 초기 할당을 분석하며, 상기 분석에 기초하여 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  33. 제 32 항에 있어서,
    상기 할당 수단은, 상기 베이스층 비트스트림에 넌-레퍼런스 (non-reference) 프레임들이 존재하지 않을 때, 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  34. 제 32 항에 있어서,
    상기 할당 수단은, 상기 강화층 비트스트림의 사이즈를 상기 베이스층 비트스트림의 사이즈에 비교하며, 상기 강화층 비트스트림의 사이즈가 상기 베이스층 비트스트림의 사이즈 보다 임계값 만큼 작을 때 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  35. 제 32 항에 있어서,
    상기 할당 수단은, 상기 베이스층 비트스트림의 사이즈와 상기 강화층 비트스트림의 사이즈 사이의 차이가 최소가 될 때 까지 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 프레임들을 재할당하는, 멀티미디어 데이터를 프로세싱하는 장치.
  36. 제 27 항에 있어서,
    상기 강화층 비트스트림에 할당된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한, 상기 베이스층 비트스트림에서의 상기 복수의 프레임의 후속 프레임의 레퍼런스를 제거하는 수단을 더 포함하는, 멀티미디어 데이터를 프로세싱하는 장치.
  37. 제 36 항에 있어서,
    상기 인코딩 수단은, 상기 강화층 비트스트림에 할당된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한 상기 레퍼런스를 차단하기 위해 상기 베이스층 비트스트림에서의 상기 후속 프레임을 재인코딩하는, 멀티미디어 데이터를 프로세싱하는 장치.
  38. 삭제
  39. 삭제
  40. 멀티미디어 데이터를 프로세싱하기 위한 저장된 명령들을 갖는 컴퓨터 판독가능 매체로서,
    상기 명령들은,
    멀티미디어 데이터의 복수의 프레임을 인코딩하는 코드로서, 상기 복수의 프레임은 하나 이상의 레퍼런스 프레임을 포함하는, 상기 복수의 프레임을 인코딩하는 코드;
    베이스층 비트스트림과 적어도 하나의 강화층 비트스트림 사이에 상기 복수의 프레임 각각을 할당하는 코드; 및
    상기 베이스층 비트스트림에 할당되는 상기 하나 이상의 레퍼런스 프레임 중 적어도 하나를 상기 강화층 비트스트림에 재할당하는 코드를 포함하고,
    상기 강화층 비트 스트림은 상기 하나 이상의 레퍼런스 프레임 중 상기 재할당된 적어도 하나를 포함하는 프레임들의 배열을 포함하는, 컴퓨터 판독가능 매체.
  41. 제 40 항에 있어서,
    상기 복수의 프레임을 할당하는 코드는, 상기 복수의 프레임 중 인트라-코딩된 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  42. 제 41 항에 있어서,
    상기 복수의 프레임 중 상기 인트라-코딩된 프레임 직전에 시간적으로 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 할당하는 코드는, 채널 스위치 프레임 직전에 시간적으로 위치된 상기 하나 이상의 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  43. 제 40 항에 있어서,
    상기 복수의 프레임을 할당하는 코드는, 채널 스위치 프레임에 대응하는 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  44. 제 40 항에 있어서,
    데이터의 세그먼트를 형성하기 위해 상기 복수의 프레임 중 적어도 일부를 그룹화하는 코드를 더 포함하며,
    상기 복수의 프레임을 할당하는 코드는, 상기 데이터의 세그먼트의 종단 근처에 위치된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 상기 강화층 비트스트림에 할당하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  45. 제 40 항에 있어서,
    상기 복수의 프레임을 할당하는 코드는,
    상기 베이스층 비트스트림과 상기 강화층 비트스트림 사이에서의 상기 복수의 프레임의 초기 할당을 분석하는 코드; 및
    상기 분석에 기초하여 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  46. 제 45 항에 있어서,
    상기 분석에 기초하여 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 코드는, 상기 베이스층 비트스트림에 넌-레퍼런스 (non-reference) 프레임들이 존재하지 않을 때, 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  47. 제 45 항에 있어서,
    상기 초기 할당을 분석하는 코드는, 상기 강화층 비트스트림의 사이즈를 상기 베이스층 비트스트림의 사이즈에 비교하는 코드를 포함하며,
    상기 분석에 기초하여 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 코드는, 상기 강화층 비트스트림의 사이즈가 상기 베이스층 비트스트림의 사이즈 보다 임계값 만큼 작을 때 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나를 재할당하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  48. 제 45 항에 있어서,
    상기 베이스층 비트스트림의 사이즈와 상기 강화층 비트스트림의 사이즈 사이의 차이가 최소가 될 때까지 상기 베이스층 비트스트림으로부터 상기 강화층 비트스트림으로 프레임들을 재할당하는 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  49. 제 40 항에 있어서,
    상기 강화층 비트스트림에 할당된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한, 상기 베이스층 비트스트림에서의 상기 복수의 프레임의 후속 프레임의 레퍼런스를 제거하는 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  50. 제 49 항에 있어서,
    상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한 상기 복수의 프레임의 후속 프레임의 레퍼런스를 제거하는 코드는, 상기 강화층 비트스트림에 할당된 상기 하나 이상의 레퍼런스 프레임 중 상기 적어도 하나에 대한 상기 레퍼런스를 차단하기 위해 상기 베이스층 비트스트림에서의 상기 복수의 프레임의 상기 후속 프레임을 재인코딩하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  51. 삭제
  52. 삭제
  53. 강화층 비트스트림의 레퍼런스 프레임의 적어도 일부를 참조하는 스케일러블 (scalable) 코딩 방식의 베이스층 비트스트림의 적어도 하나의 프레임을 식별하는 단계로서, 상기 강화층의 상기 레퍼런스 프레임은 인코더에서 상기 베이스층으로부터 상기 강화층으로 재할당되었고, 상기 강화층은 상기 재할당된 레퍼런스 프레임을 포함하는 프레임들의 배열을 포함하는, 상기 적어도 하나의 프레임을 식별하는 단계; 및
    상기 강화층 비트스트림이 수신될 때 상기 베이스층 비트스트림의 상기 식별된 프레임에 의해 참조된 상기 강화층 비트스트림의 상기 레퍼런스 프레임의 상기 일부를 사용하여 상기 베이스층 비트스트림의 상기 식별된 프레임을 디코딩하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  54. 제 53 항에 있어서,
    상기 강화층 비트스트림이 수신되지 않을 때, 상기 베이스층 비트스트림의 상기 식별된 프레임에 대응하는 채널 스위치 프레임을 디코딩하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  55. 제 53 항에 있어서,
    상기 강화층 비트스트림이 수신되지 않을 때, 상기 베이스층 비트스트림의 상기 식별된 프레임에 후속하는 채널 스위치 프레임을 디코딩하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  56. 제 53 항에 있어서,
    상기 베이스층 비트스트림의 상기 식별된 프레임은, 상기 강화층 비트스트림의 상기 레퍼런스 프레임의 상기 일부를 참조하고 또한 상기 베이스층 비트스트림에서의 적어도 하나의 레퍼런스 프레임을 참조하여 코딩되며,
    상기 방법은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림에서의 상기 적어도 하나의 레퍼런스 프레임의 데이터를 사용하여 상기 베이스층 비트스트림의 상기 식별된 프레임을 디코딩하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  57. 제 53 항에 있어서,
    상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림의 상기 식별된 프레임을 재구성하기 위해 하나 이상의 에러 정정 알고리즘을 이용하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  58. 강화층 비트스트림의 레퍼런스 프레임의 적어도 일부를 참조하는 스케일러블 (scalable) 코딩 방식의 베이스층 비트스트림의 적어도 하나의 프레임을 식별하는 레퍼런스 데이터 분석 모듈로서, 상기 강화층의 상기 레퍼런스 프레임은 인코더에서 상기 베이스층으로부터 상기 강화층으로 재할당되었고, 상기 강화층은 상기 재할당된 레퍼런스 프레임을 포함하는 프레임들의 배열을 포함하는, 상기 레퍼런스 데이터 분석 모듈; 및
    상기 강화층 비트스트림이 수신될 때 상기 베이스층 비트스트림의 상기 식별된 프레임에 의해 참조된 상기 강화층 비트스트림의 상기 레퍼런스 프레임의 상기 일부를 사용하여 상기 베이스층 비트스트림의 상기 식별된 프레임을 디코딩하는 디코딩 모듈을 포함하는, 멀티미디어 데이터를 프로세싱하는 장치.
  59. 제 58 항에 있어서,
    상기 디코딩 모듈은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림의 상기 식별된 프레임에 대응하는 채널 스위치 프레임을 디코딩하는, 멀티미디어 데이터를 프로세싱하는 장치.
  60. 제 58 항에 있어서,
    상기 디코딩 모듈은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이 스층 비트스트림의 상기 식별된 프레임에 후속하는 채널 스위치 프레임을 디코딩하는, 멀티미디어 데이터를 프로세싱하는 장치.
  61. 제 58 항에 있어서,
    상기 베이스층 비트스트림의 상기 식별된 프레임은, 상기 강화층 비트스트림의 상기 레퍼런스 프레임의 상기 일부를 참조하고 또한 상기 베이스층 비트스트림에서의 적어도 하나의 레퍼런스 프레임을 참조하여 코딩되며,
    상기 디코딩 모듈은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림에서의 상기 적어도 하나의 레퍼런스 프레임의 데이터를 사용하여 상기 베이스층 비트스트림의 상기 식별된 프레임을 디코딩하는, 멀티미디어 데이터를 프로세싱하는 장치.
  62. 제 58 항에 있어서,
    상기 디코딩 모듈은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림의 상기 식별된 프레임을 재구성하기 위해 하나 이상의 에러 정정 알고리즘을 이용하는, 멀티미디어 데이터를 프로세싱하는 장치.
  63. 강화층 비트스트림의 레퍼런스 프레임의 적어도 일부를 참조하는 스케일러블 (scalable) 코딩 방식의 베이스층 비트스트림의 적어도 하나의 프레임을 식별하는 수단으로서, 상기 강화층의 상기 레퍼런스 프레임은 인코더에서 상기 베이스층으로부터 상기 강화층으로 재할당되었고, 상기 강화층은 상기 재할당된 레퍼런스 프레임을 포함하는 프레임들의 배열을 포함하는, 상기 적어도 하나의 프레임을 식별하는 수단; 및
    상기 강화층 비트스트림이 수신될 때 상기 베이스층 비트스트림의 상기 식별된 프레임에 의해 참조된 상기 강화층 비트스트림의 상기 레퍼런스 프레임의 상기 일부를 사용하여 상기 베이스층 비트스트림의 상기 식별된 프레임을 디코딩하는 수단을 포함하는, 멀티미디어 데이터를 프로세싱하는 장치.
  64. 제 63 항에 있어서,
    상기 디코딩 수단은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림의 상기 식별된 프레임에 대응하는 채널 스위치 프레임을 디코딩하는, 멀티미디어 데이터를 프로세싱하는 장치.
  65. 제 63 항에 있어서,
    상기 디코딩 수단은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림의 상기 식별된 프레임에 후속하는 채널 스위치 프레임을 디코딩하는, 멀티미디어 데이터를 프로세싱하는 장치.
  66. 제 63 항에 있어서,
    상기 베이스층 비트스트림의 상기 식별된 프레임은, 상기 강화층 비트스트림의 상기 레퍼런스 프레임의 상기 일부를 참조하고 또한 상기 베이스층 비트스트림에서의 적어도 하나의 레퍼런스 프레임을 참조하여 코딩되며,
    상기 디코딩 수단은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이 스층 비트스트림에서의 상기 적어도 하나의 레퍼런스 프레임의 데이터를 사용하여 상기 베이스층 비트스트림의 상기 식별된 프레임을 디코딩하는, 멀티미디어 데이터를 프로세싱하는 장치.
  67. 제 63 항에 있어서,
    상기 디코딩 수단은, 상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림의 상기 식별된 프레임을 재구성하기 위해 하나 이상의 에러 정정 알고리즘을 이용하는, 멀티미디어 데이터를 프로세싱하는 장치.
  68. 멀티미디어 데이터를 프로세싱하기 위한 저장된 명령들을 갖는 컴퓨터 판독가능 매체로서,
    상기 명령들은,
    강화층 비트스트림의 레퍼런스 프레임의 적어도 일부를 참조하는 스케일러블 (scalable) 코딩 방식의 베이스층 비트스트림의 적어도 하나의 프레임을 식별하는 코드로서, 상기 강화층의 상기 레퍼런스 프레임은 인코더에서 상기 베이스층으로부터 상기 강화층으로 재할당되었고, 상기 강화층은 상기 재할당된 레퍼런스 프레임을 포함하는 프레임들의 배열을 포함하는, 상기 적어도 하나의 프레임을 식별하는 코드; 및
    상기 강화층 비트스트림이 수신될 때 상기 베이스층 비트스트림의 상기 식별된 프레임에 의해 참조된 상기 강화층 비트스트림의 상기 레퍼런스 프레임의 상기 일부를 사용하여 상기 베이스층 비트스트림의 상기 식별된 프레임을 디코딩하는 코드를 포함하는, 컴퓨터 판독가능 매체.
  69. 제 68 항에 있어서,
    상기 강화층 비트스트림이 수신되지 않을 때, 상기 베이스층 비트스트림의 상기 식별된 프레임에 대응하는 채널 스위치 프레임을 디코딩하는 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  70. 제 68 항에 있어서,
    상기 강화층 비트스트림이 수신되지 않을 때, 상기 베이스층 비트스트림의 상기 식별된 프레임에 후속하는 채널 스위치 프레임을 디코딩하는 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  71. 제 68 항에 있어서,
    상기 베이스층 비트스트림의 상기 식별된 프레임은, 상기 강화층 비트스트림의 상기 레퍼런스 프레임의 상기 일부를 참조하고 또한 상기 베이스층 비트스트림에서의 적어도 하나의 레퍼런스 프레임을 참조하여 코딩되며,
    상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림에서의 상기 적어도 하나의 레퍼런스 프레임의 데이터를 사용하여 상기 베이스층 비트스트림의 상기 식별된 프레임을 디코딩하는 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  72. 제 68 항에 있어서,
    상기 강화층 비트스트림이 수신되지 않을 때 상기 베이스층 비트스트림의 상기 식별된 프레임을 재구성하기 위해 하나 이상의 에러 정정 알고리즘을 이용하는 코드를 더 포함하는, 컴퓨터 판독가능 매체.
KR1020097015049A 2006-12-22 2007-12-22 강화층에서의 레퍼런스 프레임 배치 KR101059712B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US87165506P 2006-12-22 2006-12-22
US60/871,655 2006-12-22
US89235607P 2007-03-01 2007-03-01
US60/892,356 2007-03-01
US11/771,835 2007-06-29
US11/771,835 US20080152006A1 (en) 2006-12-22 2007-06-29 Reference frame placement in the enhancement layer
PCT/US2007/088759 WO2008080157A2 (en) 2006-12-22 2007-12-22 Reference frame placement in the enhancement layer

Publications (2)

Publication Number Publication Date
KR20090104038A KR20090104038A (ko) 2009-10-05
KR101059712B1 true KR101059712B1 (ko) 2011-08-30

Family

ID=39476426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097015049A KR101059712B1 (ko) 2006-12-22 2007-12-22 강화층에서의 레퍼런스 프레임 배치

Country Status (7)

Country Link
US (1) US20080152006A1 (ko)
EP (1) EP2119237A2 (ko)
JP (1) JP2010515304A (ko)
KR (1) KR101059712B1 (ko)
CN (1) CN102231833A (ko)
TW (1) TW200841745A (ko)
WO (1) WO2008080157A2 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180546A1 (en) * 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
JP4691062B2 (ja) * 2007-03-30 2011-06-01 株式会社東芝 情報処理装置
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8416858B2 (en) * 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
WO2009135532A1 (en) * 2008-05-09 2009-11-12 Nokia Corporation An apparatus
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
EP2146343A1 (en) * 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
CN102172020B (zh) * 2008-09-09 2014-09-03 爱移通全球有限公司 用于发送视频的方法和设备
US9747371B2 (en) * 2008-10-14 2017-08-29 Disney Enterprises, Inc. Method and system for producing customized content
US8259817B2 (en) 2008-11-12 2012-09-04 Cisco Technology, Inc. Facilitating fast channel changes through promotion of pictures
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8848799B2 (en) * 2009-09-02 2014-09-30 Sony Computer Entertainment Inc. Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder
US20110222837A1 (en) * 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
US20120076204A1 (en) * 2010-09-23 2012-03-29 Qualcomm Incorporated Method and apparatus for scalable multimedia broadcast using a multi-carrier communication system
US20120170490A1 (en) * 2011-01-04 2012-07-05 Qualcomm Incorporated Multimedia content delivery over femtocell
US9241166B2 (en) * 2012-06-11 2016-01-19 Qualcomm Incorporated Technique for adapting device tasks based on the available device resources
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
KR101507997B1 (ko) * 2012-12-12 2015-04-07 연세대학교 산학협력단 참조 영상 버퍼 관리 장치와 방법 및 상기 장치를 구비하는 영상 부호화 장치
US10091532B2 (en) * 2014-06-26 2018-10-02 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
US10140996B2 (en) 2014-10-10 2018-11-27 Qualcomm Incorporated Signaling layers for scalable coding of higher order ambisonic audio data
CN111093090A (zh) * 2018-10-24 2020-05-01 玲珑视界科技（北京）有限公司 一种基于tcp的组播频道快速切换系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1638333A1 (en) * 2004-09-17 2006-03-22 Mitsubishi Electric Information Technology Centre Europe B.V. Rate adaptive video coding
KR100714689B1 (ko) * 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR20060122663A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법

Also Published As

Publication number Publication date
EP2119237A2 (en) 2009-11-18
KR20090104038A (ko) 2009-10-05
CN102231833A (zh) 2011-11-02
WO2008080157A2 (en) 2008-07-03
TW200841745A (en) 2008-10-16
JP2010515304A (ja) 2010-05-06
US20080152006A1 (en) 2008-06-26
WO2008080157A3 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
KR101059712B1 (ko) 강화층에서의 레퍼런스 프레임 배치
JP5646700B2 (ja) 階層エンコードビットストリーム構造
KR101065237B1 (ko) 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성
US8340183B2 (en) Digital multimedia channel switching
JP5611601B2 (ja) 第２のパスのビデオ符号化における効率的なビデオブロックのモード変更
US8311120B2 (en) Coding mode selection using information of other coding modes
KR20150081236A (ko) 효율적인 파라미터 전달을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20140091493A (ko) 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20150043220A (ko) 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
JP2010516193A (ja) Ｓｖｃｃｇｓ拡張層コーディングに関するｃａｖｌｃ拡張
KR20140048808A (ko) 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
US20160080747A1 (en) Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
KR20150043218A (ko) 부가 영상을 부호화하기 위한 스케일러블 비디오 부호화 방법 및 장치, 부가 영상을 복호화하기 위한 스케일러블 비디오 복호화 방법 및 장치
KR20160138129A (ko) 뎁스 블록을 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법.
KR20150048650A (ko) 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR20140122197A (ko) 다시점 비디오의 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
CN101578864A (zh) 增强层中的参考帧放置
Huang et al. Temporal scalability comparison of the h. 264/svc and distributed video codec
Zhou et al. Flexible P-picture (FLEXP) coding for the efficient fine-granular scalability (FGS)
Inamdar Performance Evaluation Of Greedy Heuristic For SIP Analyzer In H. 264/SVC

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee