KR101249652B1

KR101249652B1 - 비디오 인코딩 및 디코딩 방법 및 장치

Info

Publication number: KR101249652B1
Application number: KR1020107026234A
Authority: KR
Inventors: 타머 샤나블레; 시흐-타 시앙; 파이살 이시티아크
Original assignee: 모토로라 모빌리티 엘엘씨
Priority date: 2008-04-24
Filing date: 2009-04-07
Publication date: 2013-04-01
Also published as: MX2010011541A; CN102067599B; WO2009131830A1; US8249142B2; BRPI0910340B1; RU2013128143A; US20090268805A1; CN102067599A; EP2279619A1; BRPI0910340A2; EP2279619B1; RU2010147830A; RU2534751C1; KR20100137010A

Abstract

비디오 인코딩 및 디코딩을 위한 방법 및 장치는 고해상도 비디오 프레임의 적어도 일부를 저해상도 영상 및 다수의 강화 데이터 세트들로 변환을 수행하며, 저해상도 영상을 비스트트림 포맷의 주된 코딩된 영상으로서 인코딩하며, 각각의 다수의 강화 데이터 세트들을 비트스트림 포맷의 상이한 리던던트 코딩된 화상으로서 인코딩한다. 디코딩의 경우에는, 디코딩된 저해상도 영상 및 다수의 디코딩된 강화 데이터 세트들이 생성되며 디코딩된 고해상도 영상을 구성하도록 역변환이 수행된다. 주된 코딩된 화상 및 리던던트 코딩된 화상은 ITU-T H.264 어드밴스드 코딩 규격에 따라 포맷화될 수 있다. 상기 변환은 다상 또는 서브-밴드 변환일 수 있다.

Description

비디오 인코딩 및 디코딩 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING VIDEO}

관련 출원

본 출원은 본 출원과 함께 모토롤러 인코포레이티드에게 공유되고 2007년 10월 3일 "METHOD AND APPARATUS FOR INTRA FRAME SPATIAL SCALABLE VIDEO CODING"(대리인 관리번호 CML04718EV)이라는 명칭으로 출원된 미국 출원 제11/866,771호에 관련된 것이다.

본 발명은 일반적으로 비디오 통신에 관한 것으로서, 특히, 스케일러블 영상 해상도를 제공하고 에러 복원을 개선한 비디오 통신 기술에 관한 것이다.

2005년 3월의 H.264/AVC 비디오 코딩 표준에서, 각각의 액세스 유닛(섹션 3.1, 페이지 4, "액세스 유닛"의 정의)는 코딩된 동영상을 표현하는데 필요한 정보를 제공하기 위해 코딩된 주된 화상(coded primary picture)을 포함한다. 액세스 유닛은 하나 이상의 리던던트 코딩된 화상들(redundant coded pictures)을 더 포함할 수 있으며, 이는 "디코딩 과정에 표준적 영향을 미치지 않는다". 이들 표준의 섹션 7.4.3("슬라이스 헤더 시멘틱: redundant_pic_cnt")는 다음을 언급한다: 즉, "리던던트 코딩된 화상의 코딩된 슬라이스 또는 코딩된 슬라이스 데이터 구획에 대한 디코딩 과정은 요구되지 않는다. 코딩된 슬라이스의 슬라이스 헤더 내의 redundant_pic_cnt가 0보다 클 경우, 디코더는 코딩된 슬라이스를 폐기할 수 있다. 주 6 - 디코딩된 주된 화상 내의 샘플 중 일부는 시퀀스의 전송시 에러 또는 손실로 인해 정확히 디코딩될 수 없으며 코딩된 리던던트 슬라이스가 정확히 디코딩될 수 있을 경우, 디코더는 디코딩된 주된 화상의 샘플들을 대응하는 디코딩된 리던던트 슬라이스의 샘플들로 대체하여야 한다. 하나보다 많은 리던던트 슬라이스가 주된 화상의 관련 영역을 커버할 때, redundant_pic_cnt 중 최저값을 갖는 리던던트 슬라이스가 사용되어야 한다." 따라서, 인코딩된 비트스트림 내에 하나 이상의 리던던트 코딩된 화상이 존재하는 것은 선택적이며 리던던트 코딩된 화상의 의도된 용도(그러나 반드시 필요한 용도는 아님)는 주된 코딩된 화상 내의 전송 에러를 정정한 것이다. Wikipedia.com은 (2008년 3월 15일에) H.264의 리던던트 코딩된 화상 특징에 대해서 다음과 같이 제시하였다; 즉, "인코더로 하여금 주요 표현이 손상되거나 손실되면 사용될 수 있는 화상 영역(전형적으로 저 충실도)의 추가 표현을 전송하도록 하는 에러/손실 내성 특징인 리던던트 슬라이스(RS)".

MPEG-4 AVC/H.264 표준의 사전 공개된 신규 버전은 스케일러블 비디오 코딩 툴을 더 제공하며 디코더로 하여금 주된 코딩된 화상 또는 주된 코딩된 화상의 더 높은 해상도 형태를 복원하도록 한다. 그러나, 구현 복잡도가 증가된 이들 신규의 표준 코딩 툴은 산업용으로는 신속히 채택되지 않았다.

같은 참조번호가 개개의 도면에서 동일 또는 기능적으로 유사한 구성요소를 지칭하며 아래의 상세한 설명과 함께 명세서에 포함되고 그 명세서의 일부를 구성하는 첨부된 도면은, 청구된 발명을 포함하는 개념들의 실시예들을 더 예시하고 그 실시예들의 여러 원리 및 장점들을 설명하는 역할을 한다.
도 1은 특정 실시예들에 따라, 컬러 비디오 프레임의 일부를 도시하는 도면이다.
도 2 및 도 3은 각기 특정 실시예들에 따라, 비디오 프레임의 적어도 일부를 인코딩하는 장치 및 방법의 일부 단계들에 대한 기능 블록도 및 흐름도이다.
도 4는 특정 실시예들에 따라, 변환을 수행하기 위한 방법의 한 단계를 도시하는 흐름도이다.
도 5는 특정 실시예들에 따른, 변환 함수의 블록도이다.
도 6은 특정 실시예들에 따라, 비디오 프레임의 일부에 대한 샘플링 그리드를 예시하는 도면이다.
도 7은 특정 실시예들에 따라, 변환을 수행하기 위한 방법의 일부 단계들을 도시하는 흐름도이다.
도 8 및 도 9는 각기 특정 실시예들에 따라 도시된, 디코딩을 위한 디코더의 블록도 및 그 방법의 단계들이다.
도 10은 도 6을 참조하여 기술된 평균화 함수를 위한 역변환 함수의 블록도이다.
숙련자들이라면 도면에 있는 구성요소들은 간략성과 명료성을 기하기 위해 예시된 것이며 반드시 축척대로 그려지지 않았음을 인식할 것이다. 예를 들어, 도면에 있는 일부의 구성요소들의 치수는 본 발명의 실시예들의 이해 증진을 도모하기 위해 다른 구성요소들에 비해 과장되게 그려질 수 있다.
본 명세서의 설명의 이익을 받는 당업자에게는 세부사항이 쉽게 자명해지기 때문에 상세한 설명을 불명료하지 않도록 하기 위하여 장치 및 방법 컴포넌트들은 본 발명의 실시예들을 이해하는데 관련한 특정 세부사항만을 도시하는 도면들에서 필요한 경우 통상의 부호들로 표시되었다.

본 실시예들의 특정 양태에 따라서, 원래의 고해상도 비디오 프레임을 저해상도 영상 및 다수의 강화 데이터 세트들(enhancement data sets)로 변환하며, 이어서 인코딩하고 코딩된 비트스트림들로서 전송할 수 있는 기술들이 설명된다. 저해상도 영상은 디코딩되어 복원된 고해상도 비디오 프레임의 저해상도 버전을 생성하는데 사용될 수 있다. 저해상도 영상 및 다수의 강화 데이터 세트들은 디코딩되고 역변환되어 디코딩된 고해상도 비디오 프레임을 구성할 수 있다. 일부 실시예들에서는, 비디오를 인코딩하고 디코딩하는 방식은 국제 전기 통신 연합(International Telecommunication Union)에 의해 공개되고 이하에서 "ITU-T H.264 어드밴스드 코딩" 이라 지칭되는 "SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services- Coding of moving video/Advanced video coding for generic audiovisual services" 라는 명칭의 ITU-T H.264 규격(2005년 3월)으로 인식되는 규격, 및 통상 MPEG-4 파트 10 AVC 규격이라 지칭되는 동영상 전문가 그룹(Moving Picture Experts Group)에 의해 공개된 유사 규격과 호환된다. 더욱이, 비디오를 인코딩하고 디코딩하는 방식은 아직 공개되지 않은 규격들과 호환될 수 있다. 특히, 본 명세서에서 설명된 기술들은 서브-밴드 코딩 및 다중 기술 코딩(MDC)과 관련하여 디코딩 과정에 표준적 영향을 미치지 않는 리던던트 화상 툴의 신규 사용을 탐구한다. 이러한 기술들은 또한 ITU-T H.264 어드밴스드 코딩에서 규정된 것들과는 다른 비디오 코딩 기술들과 호환될 수 있다.

서브-밴드/웨이브렛 변환은 입력 영상을 다중-해상도 신호 표현으로 분해한다. 그것은 문자적으로 영상 압축을 위한 가장 효율적인 방법 중 하나로 입증되었으며 산업분야에서 (Motion JPEG 2000의 포맷의) 영상 및 비디오 코딩 응용 목적으로 국제 표준 JPEG 2000에서 활용된다. 서브-밴드/웨이브렛 변환의 높은 에너지 압축률 덕분에, 서브-밴드/웨이브렛 코더들은 블록 변환과 연관된 종래의 블록 잡음(blocky artifacts) 없이 우수한 압축 성능을 성취할 수 있다. 더 중요한 것으로서, 이들은 웨이브렛 서브-밴드 변환이 본질적으로 해상도를 스케일링 가능하게 하므로 압축 효율 면에서 거의 불이익 없이 바람직한 공간 스케일러블 코딩 기능을 쉽게 제공할 수 있다.

다상 다운 샘플링(polyphase down sampling)의 특정 형태들이 다중 디스크립션 코딩(multiple description coding)에 사용되었다. 다중 디스크립션(MD) 비디오 코딩은 에러가 일어나기 쉬운 네트워크에서 동시방송(simulcast) 및 다중방송(multicast) 비디오 전송에 대한 한가지 접근법이다. 다중 디스크립션 비디오 코딩은 MPEG-2, MPEG-4 및 H.26x 계열의 규격과 같은 하이브리드 코덱에서 사용가능한 종래의 다층 스케일러블 비디오 코딩과는 개념적으로 다르다. MD 비디오 코딩에서, 동등하게 중요한 다수의 비디오 디스크립터가 생성되어 아마도 상이한 전송 채널들 또는 경로들을 통해서 전달된다. 각각의 비디오 디스크립터는 개별적으로 디코딩가능하며 어쩌면 더 낮은 품질일지라도 원래의 비디오 해상도를 재생할 수 있다. 그러므로, 코딩된 비디오는 복원되어 적어도 하나의 디스크립션이 성공적으로 수신되는 한 원격 클라이언트에 의해 소비될 수 있다. 계층적 비디오 층들의 개념이 적용되지 않으며 그에 따라 비디오 디스크립터들이 수신기에 더 많이 사용가능할수록 수신된 디스크립터들의 순서에 관계없이 디코딩된 비디오는 더 많아진다. 다시 말해서, 다중 디스크립션 비디오 코딩은 층간 의존성을 제거하며, 따라서 종래의 다층 코딩에 의해 야기되는 비디오 층 우선순위 매김이 더 이상 필요하지 않게 된다.

도 1은 특정 실시예들에 따른, 컬러 비디오 프레임의 일부(100)에 대한 샘플링 그리드를 도시하는 도면이다. 이는 ITU-T H.264 어드밴스드 코딩의 도 6-1과 유사한 것으로, 그 명칭은 "하나의 프레임에서 4:2:0 루마(luma) 및 크로마(chroma) 샘플들의 공칭 수직 및 수평 위치" 이다. 도 1에서, 비디오 프레임의 루마 샘플들(105)은 X로 도시되며 크로마 샘플들(110)의 연관된 두 세트들 중 하나는 O로 도시된다. 다른 크로마 세트 내의 크로마 샘플들은 크로마 샘플들(110)의 도시된 동일 위치들에서 발생할 것이다. 루마 샘플들(105)의 양은 프레임 내 비디오 영상의 해상도 및 크기와 관련된다. 크로마 샘플들의 양은 루마 샘플들의 양과 관련된다. 도 1은 크로마 샘플들의 양이 루마 샘플들의 양의 1/4인 4:2:0 포맷의 특정 비디오 프레임을 예시한다. ITU-T H.264 어드밴스드 코딩 표준은 다른 비율, 이를 테면, 1 대 1 및 1/2 대 1을 제공한다. 물론, 모노크롬 영상은 크로마 샘플들을 갖지 않는다. 비디오 프레임, 또는 조각(split), 매크로블록(macroblock), 또는 관심 영역(region of interest)과 같은 비디오 프레임의 일부가, 예를 들어, ITU-T H.264 어드밴스드 코딩 표준에 따라 인코딩되는 경우, 루마 샘플들에 대해 수행된 동작은 크로마 샘플들에 대해서도 수행되어, 크로마 샘플들의 양으로 스케일링된다. 본 명세서에서 규정된 특유의 동작들에 대해서도 마찬가지이다. 이러한 동작의 설명을 단순화하기 위하여, 이들은 화소(pixel)들과 관련하여 기술되며, 여기서 하나의 화소는 하나의 루마 샘플 또는 하나의 크로마 샘플로서 취해질 수 있다. 본 명세서에서 사용된 용어들을 더 단순화하기 위하여, "부분(portion)"이라는 용어가 사용되는 경우, 그것은 "적어도 하나의 부분"을 의미하며, 이는 일부, 부분들 또는 전체를 포함할 수 있다. 비디오 프레임이 컬러 프레임인 경우, 기술되는 동작은 비디오 프레임의 부분에 대한 샘플들의 루마 및 크로마 세트들에 대해 수행되어, 샘플들의 세트들의 크기로 스케일링된다.

도 2 및 도 3은 각기 특정 실시예들에 따른, 비디오 프레임의 적어도 일부를 인코딩하기 위한 장치 및 방법의 일부 단계들에 대한 기능 블록도(200) 및 흐름도(300)이다. 도 2를 참조하면, 비디오 프레임 시퀀스(205)의 정보는 변환 함수(215)의 입력(210)에 결합된다. 전형적으로, 이 정보는 한번에 하나의 비디오 프레임에 대해, 또는 비디오 프레임의 (슬라이스와 같은) 적어도 일부에 대해 동작된다. 본 예에서, 비디오 프레임 시퀀스(205)의 비디오 프레임(206)은 변환 함수(215)에 의해 동작된다. 비디오 프레임(206)은 고해상도 비디오 프레임이다. 변환 함수(215)는 비디오 프레임(206)(도 2)의 적어도 일부를 저해상도 영상(220) 및 다수의 강화 데이터 세트들(225, 230, 235)로 변환한다(305, 도 3). 도 2에 도시된 예에는 세 개의 강화 데이터 세트들(225, 230, 235)이 있다. 일부 실시예들에서 다수의 강화 데이터 세트들은 세 개가 아닌 어떤 수량일 수 있다. 변환 함수(215)에 의해 사용되는 변환은 아래에서 더욱 상세히 설명된 바와 같은 여러 실시예들을 갖는다. 특정 실시예들에서 변환 함수(215)에 의해 사용되는 변환 형태는 저해상도 영상 및 다수의 강화된 데이터 세트들의 역변환을 수행하여 고해상도 비디오 프레임(또는 그 일부)을 재구성하게 한다.

저해상도 영상(220)은 주된 화상 인코더(PP 인코더)(240)에 결합되며, 이 인코더는 주된 화상 인코딩을 위한 인코딩 기술을 이용하여 저해상도 영상을 인코딩하여, 주된 코딩된 화상(250)을 생성한다. 다수의 강화 데이터 세트들은 각기 리던던트 화상 인코더(RP 인코더)(245)에 결합되며, 이 인코더는 리던던트 화상 인코딩을 위한 인코딩 기술을 이용하여 대응하는 강화 데이터 세트를 인코딩하여, 리던던트 코딩된 화상(255, 260, 265)을 생성한다. 특정 실시예들에 따라서, 주된 화상 인코더(240)는 ITU-T H.264 어드밴스드 코딩에 의해 규정된 포맷의 주된 화상으로서 저해상도 영상을 인코딩하며(310, 도 3), 각각의 리던던트 화상 인코더(245)는 강화 데이터 세트들 중 하나를 ITU-T H.264 어드밴스드 코딩에 의해 규정된 포맷의 상이한 리던던트 코딩된 화상으로서 인코딩한다(315, 도 3). ITU-T H.264 어드밴스드 코딩에 의해 규정된 인코딩 기술이 아닌 인코딩 기술이 사용될 경우, 주된 화상 인코딩으로서 전술한 인코딩은 통상 그 기술용 디코더에 의해 디코딩되는 저해상도 영상을 인코딩하는 것과 호환되는 기술의 어떤 인코딩 방법에 의해 수행될 수 있으며, 리던던트 화상 인코딩으로서 전술한 인코딩은 강화 또는 추가 데이터 세트, 즉, 그 기술용 디코더에 의해 고해상도 비디오 프레임과 연관된 것으로서 식별되는 그 강화 또는 추가 데이터 세트를 인코딩하는 것과 호환되는 기술의 어떤 인코딩 방법에 의해 수행될 수 있으며, 그에 대한 디코딩은 선택 사양일 수 있다. 다른 기술들에 사용되는 영상 및 코딩 포맷들은 "주된 코딩된 화상" 및 "리던던트 코딩된 화상"과 다른 명칭으로 식별될 수 있다. 강화 데이터 세트 인코딩에서 저해상도 영상이 완성되면, 주된 코딩된 화상(250) 및 다수의 리던던트 코딩된 화상들(255, 260, 265)은 비트스트림 형성 함수(270)에 결합되어 비트스트림(275)으로 형성된 다음 전송될 수 있다(320, 도 3).

도 4를 참조하면, 흐름도는 특정 실시예들에 따라, 변환을 수행하기 위한 방법의 단계를 도시한다. 이들 실시예들에서, 변환 함수(215)는 고해상도 비디오 프레임의 일부에 대해 서브-밴드 변환을 수행하여 저해상도 표현 및 통상 비디오 프레임(또는 그 일부)의 LL, HL, LH, 및 HH 서브-밴드들이라 지칭되는 강화 데이터 세트들을 생성한다(405).

도 5를 참조하면, 특정 실시예들에 따른, 서브밴드 변환 함수(215)의 블록도가 도시된다. 변환 함수(215)는 서브-밴드 분석 필터 뱅크들(505, 515)을 포함하며, 이 뱅크들은 통상의 서브밴드 필터 뱅크들이며, 일부 실시예들에서는 본 기술 분야에서 공지된 웨이브렛 필터 뱅크들이다. 입력 비디오 프레임(또는 그 일부)(206)은 먼저 로우패스 필터(506) 및 하이패스 필터(507)에 의해 각기 처리되며, 이어서 영상의 수직 방향을 따라 다운 샘플링 동작이 수행되어, 중간 신호들(510)을 생성한다. 그 다음, 중간 신호들(510)은 동일 전달 함수들을 갖는 로우패스 필터 및 하이패스 필터에 의해 각각 처리되며, 이어서 수평 방향을 따라 다운 샘플링 동작이 수행되어, 각기 도 2의 PP 인코더(240) 및 PR 인코더들(245)에 의해 인코딩되는 네 개의 서브-밴드들 LL(220), HL(225), LH(230), 및 HH(235)를 생성한다. 이러한 과정은 통상 서브-밴드 분해라 지칭된다. 디코더(800) 역변환 함수(875)(도 8)에서 사용되는 대응하는 서브-밴드 합성 필터 뱅크들은 네 개의 디코딩된 서브-밴드들로부터 서브-밴드 분석 필터 뱅크들(505, 515)(도 5)에 의해 분해된 원래의 고해상도 비디오 프레임(206)의 디코딩된 버전을 구성할 수 있다. 서브-밴드 분석/합성 필터 뱅크들(505, 515)에서 사용되는 필터들은 종래 기술에서 알려진 웨이브렛 필터들의 계열 또는 QMF 필터들의 계열에 속할 수 있으며, 서브-밴드 필터 뱅크들의 구조는 도시된 것과는 다른 구조일 수 있으며, 이는 종래 기술에서 알려져 있다.

도 6을 참조하면, 도면은 특정 실시예들에 따른, 비디오 프레임(600)의 일부를 예시한다. 도 6에 도시된 비디오 프레임의 일부의 화소들은 비디오 프레임의 일부의 위상들로 다운 샘플링되었다. 본 예에서 다운 샘플링은 각 공간 차원에서 2의 인수(a factor of two)로 수행되었다. 따라서, 고유의 상이한 화소 세트들의 네 개의 위상들이 형성되었으며, 각 위상은 비디오 프레임의 일부에서 대략 화소의 개수의 사분의 일을 포함한다. 사분의 일의 양은 에지 효과로 인해 대략적인 것으로 언급된다. 네 개의 상이한 위상들의 화소들은 삼각형, x, 사각형, 및 원으로서 묘사된다. 비디오 프레임 내의 임의의 화소에 대한 유효한 화소 이웃이 규정될 수 있다. 본 예에서, 화소 이웃은 화소(615)와 같은 선택된 화소, 및 이웃 경계(610) 내에 포함된 다른 화소들을 포함하도록 규정된다. 일반적으로, 화소 이웃은 임의의 형상 및 크기를 가질 수 있다. 화소 위상 그룹은 비디오 프레임 내 임의의 화소에 대해 규정될 수 있다. 화소 위상 그룹은 각각의 다운-샘플링된 영상 그리드에서 동일 위치에 놓인 각 위상으로부터의 하나의 화소를 포함한다. 도 6의 예에서, 화소(615)가 선택되었으며 경계(605) 내의 화소 위상 그룹을 식별한다. 화소 위상 그룹의 크기는 다운 샘플링 인수에 의해 결정된다. 본 명세서의 목적상, 선택된 화소(615)는 화소 (0,0)으로서 지정된다. 화소 위상 그룹 내에서 x로 식별되는 화소는 화소 (1,0)로 지정된다. 화소 위상 그룹 내에서 사각형으로 식별되는 화소는 화소 (0,1)로 지정된다. 화소 위상 그룹 내에서 원으로 식별되는 화소는 화소 (1,1)로 지정된다. 비록 화소 위상 그룹이 특정 실시예에 대해 특정한 위상의 선택된 화소와 일관된 지형적 관계를 가져야하지만, 다른 실시예들에서 지형적 관계는 다를 수 있다. 예를 들어, 도 6에 도시된 화소 위상 그룹은 선택된 화소에 가장 근접한 이웃들이며 선택된 화소의 우측 하부의 화소들을 사용하지만, 네 개의 가장 근접한 고유 이웃들의 또 다른 세트가 위상 그룹에 사용될 수 있다.

도 7을 참조하면, 흐름도(700)는 특정 실시예들에 따른, 변환을 수행하기 위한 방법(700)의 일부 단계들을 도시한다. 단계(705)에서, 변환 함수(215)는 고해상도 비디오 프레임(206)의 일부의 다수의 위상들을 형성한다. 도 6에 도시된 예에서, 다수는 넷에 해당한다. 단계(710)에서, 변환 함수(215)는 저해상도 화소들을 포함하는 저해상도 영상을 형성하며, 각각의 저해상도 화소의 값은 다수의 위상들 중 제1 위상의 각 화소의 화소 이웃 내 화소들의 값들의 평균화 함수를 이용하여 결정된다. 단계(715)에서, 변환 함수(215)는 고유 세트가 제1 위상이 아닌 위상의 모든 화소들을 포함함에 따라 다수의 강화 데이터 세트들의 각각의 강화 데이터 세트를 결정한다. 예를 들어, 도 6에 도시된 비디오 프레임(600)의 변환된 부분에 대한 강화 데이터 세트들은 사각형으로 지정된 비디오 프레임(600)의 일부의 모든 화소 세트, x로 지정된 비디오 프레임(600)의 일부의 모든 화소들의 세트, 및 원으로 지정된 비디오 프레임(600)의 일부의 모든 화소들의 세트를 포함할 수 있다. 제1 위상은 다수의 위상들 중 본 방법에 유용한 어떤 특정한 위상일 수 있음을 주목하여야 한다.

특정 실시예들에 따라서, 평균화 함수는 임펄스 함수로서, 이 함수는 각각의 저해상도 화소의 값을 대응하는 제1 위상의 화소의 값과 같은 것으로서 결정한다. 다시 말해서, 평균화는 단일 숫자(one number)로 평균하는 것이다. 도 6에 도시된 예에서, 저해상도 영상은 단순히 삼각형으로 지정된 모든 화소들을 포함한다.

특정 실시예들에 따라서, 평균화 함수는 각각의 저해상도 화소의 값을 제1 위상의 화소의 화소 이웃 내 화소들의 값들의 평균과 같은 것으로서 결정한다. 도 6에 도시된 예에서, 특정한 위상의 화소(615)에 관련되는 저해상도 영상의 화소의 값은 경계(610) 내 아홉 개의 화소들의 값들을 평균함으로써 결정된다. 특정 실시예들에 따라서, 평균화 함수는 각각의 저해상도 화소의 값을 제1 위상의 화소의 화소 위상 그룹 내의 화소의 값들의 평균과 같은 것으로서 결정한다. 도 6에 도시된 예에서, 제1 위상의 화소(615)에 관련되는 저해상도 영상의 화소의 값은 경계(605) 내 네 개의 화소들의 값들을 평균함으로써 결정될 수 있다.

특정 실시예들에 따라서, 위상들의 개수는 넷이다. 도 6을 참조하여 각각의 화소 위상 그룹 내에서 삼각형, x, 사각형, 및 원으로 식별된 네 개의 화소들은 각기 화소들 (0,0), (0,1), (1,0), 및 (1,1)로서 선택적으로 식별된다. 화소들 (0,0) 및 (1,1)은 대각선으로 배치된다. 평균화 함수는 각각의 저해상도 화소의 값을 제1 위상(도 6의 화소(615))의 화소 및 예측변수(predictor) y의 값의 평균과 같은 것으로서 결정한다. 예측변수 y는 다음과 같이 제1 위상의 화소와 같은 화소 위상 그룹의 화소들에 의거하여 결정된다.

(1,1)>= max((0,1),(1,0))일 때는, y=max((0,1),(1,0)) (1)

(1,1)<= min((0,1), (1,0))일 때는, y=min((0,1), (1,0)) (2)

그 외의 경우는, y=(0,1) + (1,0) - (1,1) (3)

도 8 및 도 9를 참조하면, 특정 실시예들에 따라서 디코더(800)의 블록도 및 디코딩을 위한 방법(900)의 단계들이 각기 도시된다. 도 1 내지 도 7을 참조하여 설명된 실시예에 따라 인코딩된 비트스트림(805)(도 8)은 비트스트림 분리기(810)(도 8)에 결합된다. 주된 코딩된 화상(815) 및 다수의 리던던트 코딩된 화상들(820, 825, 830)은 비트스트림으로 수신되어(905, 도 9) 비트스트림 분리기(810)에 의해 분리된다. 주된 화상 디코더(835)(도 2)는 주된 코딩된 화상(815)을 디코딩함으로써 저해상도 영상(855)을 생성한다(910, 도 9). 단계(915)(도 9)에서, 저해상도 영상을 단계(930)(도 9)에서 사용하도록 선택된 경우, 역변환 함수(875)(도 8)는 간단히 저해상도 영상의 정보를 스케일링하고 출력(880)에서 디코딩된 저해상도 영상(885)을 생성할 수 있으며, 방법(900)의 다른 단계들은 수행되지 않을 수 있다. 단계(915)(도 9)에서, 고해상도 영상을 사용하도록 선택된 경우, 다수의 리던던트 화상 디코더들(840)(도 8)은 대응하는 다수의 리던던트 코딩된 화상들(820, 825, 830)을 디코딩함으로써 다수의 강화 데이터 세트들(860, 865, 870)을 생성한다(920, 도 9). 역변환 함수(875)(도 8)는 저해상도 영상(855)(도 2) 및 다수의 강화 데이터 세트들(860, 865, 870)(도 2)의 각각을 수행하여(925, 도 9), 고해상도 비디오 프레임(885)의 일부의 디코딩된 버전을 구성하며, 이로부터 출력(880)에 주된 코딩된 화상 및 다수의 강화된 데이터 세트들이 비디오 프레임 시퀀스(890)의 일부로서 생성되었다. 단계(925)는 고해상도 비디오 프레임(206)의 일부를 적어도 실질적으로 재구성하는 것으로서 약간 상이하게 기술될 수 있다.

고해상도 비디오 프레임(885)의 일부를 재구성할 때, 역변환 함수(875)는 고해상도 비디오 프레임(206)을 인코딩하는데 채용된 변환의 역을 이용한다. 서브-밴드 변환을 이용하여 생성된 고해상도 비디오 프레임의 코딩된 버전의 경우, 도 4에서 설명된 바와 같이, 역변환 함수(875)는 당업자에게 공지된 바와 같은 듀얼 합성 필터 뱅크들을 이용하여 디코딩된 고해상도 비디오 프레임을 합성하는 서브-밴드 합성 동작이다. 다상 변환을 이용하여 생성된 코딩된 고해상도 비디오 프레임의 경우, 도 7에서 설명된 바와 같이, 역변환 함수(875)는 역 평균화 함수를 포함한다. 도 10을 참조하면, 특정 실시예들에 따라서 도 6을 참조하여 전술한 평균화 함수에 대한 역변환 함수(1000)의 블록도가 도시된다. 역변환 함수(1000)는 메모리(1005), 역 평균화 함수(1010), 및 재구성 함수(1035)를 포함한다. 다수의 강화된 데이터 세트들(860, 865, 870)은 메모리(1005)에 결합되며, 이 메모리는 강화된 데이터 세트들을 고해상도 영상의 위상들(2, 3, 및 4)로서 저장한다. 저해상도 영상(855)은 역 평균화 함수(1010)에 결합된다. 방법(900)(도 9)에서 저해상도 영상이 선택될 경우, 역 평균화 함수(1010)는 출력(880)에 저해상도 영상(855)을 생성한다. 저해상도 영상(855)은 재구성 함수(1035)에 의해 수신되어 출력(880)으로 통과된다. 역 평균화 함수(1010) 또는 재구성 함수(1035), 또는 그 둘 다가 저해상도 영상(855)의 값들에 스케일링을 적용할 수 있다. 방법(900)(도 9)에서 고해상도 영상이 선택된 경우, 역 평균화 함수(1010)는 당업자에게 공지된 방법을 이용하여 저해상도 영상(855)으로부터 고해상도 비디오 프레임의 일부의 제1 위상과 고해상도 비디오 프레임(1020, 1025, 1030)의 일부의 다른 위상들을 결정한다. 고해상도 비디오 프레임의 일부의 제1 위상은 고해상도 비디오 프레임(1020, 1025, 1030)의 일부의 다른 세 개의 위상들과 함께 출력(1015)으로부터 재구성 함수(1035)로 결합되며, 여기서 이들이 결합되어 출력(880)에서 고해상도 비디오 프레임(885)의 일부를 재구성한다.

본 명세서에 기술된 방법들의 특정 단계들이 기술된 순서로 수행될 필요가 없을 수 있음을 인식할 것이다. 단지 일 예로서, 도 9의 방법(900)의 단계(920)는 단계(915)에 앞서서 수행될 수 있으며, 그래서 단계(920)의 결과는 저해상도 영상이 선택될 때 사용되지 않을 수 있다.

본 명세서에서 설명된 실시예들은 기존의 넌-스케일러블 인코더들 및 디코더들에 실질적인 변화를 필요로 하지 않고 스케일러블 영상/비디오 코딩 및 다중 디스크립션 코딩에 새로운 접근법들을 제공한다. 특히, 그 기술들은 리던던트 화상 툴을 더 활용할 수 있으며 넌-스케일러블 ITU-T H.264 프로파일과 단지 호환되도록 설계되는 종래의 비디오 코딩 시스템들에 쉽게 적용될 수 있다.

일부 실시예들은 마이크로프로세서, 디지털 신호 프로세서, 맞춤형 프로세서 및 현장 프로그램 가능 게이트 어레이들(FPGAs)과 같은 하나 이상의 통상적인 또는 특화된 프로세서들(또는 "처리 장치들") 및 하나 이상의 프로세서들을 제어하여 본 명세서에 기술된 방법 및/또는 장치의 기능들의 일부, 대부분, 또는 모두를 특정 넌-프로세서 회로와 함께 구현하는 특유의 저장된 프로그램 명령어들(소프트웨어 및 펌웨어를 모두 포함)을 포함할 수 있음을 인식할 것이다. 대안으로, 일부, 대부분, 또는 이들 모든 기능들은 저장된 프로그램 명령어들을 갖지 않은 상태 머신으로 구현될 수 있거나, 또는 각각의 기능 또는 특정 기능들의 어떤 조합이 커스톰 로직으로서 구현된 하나 이상의 주문형 반도체(ASIC)에서 구현될 수 있다. 물론, 전술한 두 가지 접근법들의 조합이 사용될 수 있다.

더욱이, 일 실시예는 본 명세서에 기술되고 청구된 방법을 수행하는 (예를 들어, 프로세서를 포함하는) 컴퓨터를 프로그램하기 위해 컴퓨터 판독가능한 코드가 저장된 컴퓨터 판독가능한 저장 매체로서 구현될 수 있다. 그러한 컴퓨터 판독가능한 저장 매체의 예는 다음으로 제한되지 않지만 하드 디스크, CD-ROM, 광학 저장 장치, 자기 저장 장치, ROM(리드 온리 메모리), PROM(프로그램 가능 리드 온리 메모리), EPROM(소거 및 프로그램 가능 리드 온리 메모리), EEPROM(전기적 소거 및 프로그램 가능 리드 온리 메모리) 및 플래시 메모리를 포함한다. 또한, 당업자라면 어쩌면 상당한 노력과, 예를 들어, 이용가능한 시간, 현재의 기술, 및 경제적인 고려사항에 의해 동기부여된 많은 설계상의 선택에도 불구하고, 본 명세서에 개시된 개념과 원리에 의해 안내될 때, 당업자라면 그러한 소프트웨어 명령어들 및 프로그램들 및 IC들을 최소한의 실험을 통해 쉽게 만들어 낼 수 있을 것이라고 생각된다.

전술한 명세서에서, 특정 실시예들이 기술되었다. 그러나, 당업자라면 아래의 청구범위에서 기술된 바와 같은 본 발명의 범주를 일탈함이 없이 여러 변형과 변경이 이루어질 수 있음을 인식한다. 따라서, 명세서 및 도면은 제한적인 의미라기보다 예시적인 의미로 간주되며, 그러한 모든 변형은 본 발명의 범주 내에 속하는 것으로 의도한다. 어떤 이익, 장점, 또는 해결책을 유발하거나 또는 더욱 명확해질 수 있는 이익, 장점, 문제의 해결책, 및 어떤 요소(들)는 어떤 청구범위 또는 모든 청구범위의 중요하고, 필요하고, 또는 필수적인 특징이나 요소들로서 해석되지 않아야 한다. 본 발명은 본 출원의 계류 중에 이루어지는 모든 보정사항을 포함하는 첨부된 청구범위와 등록된 청구범위의 모든 등가물로만 규정된다.

또한, 본 명세서에서, 제1 및 제2, 상부 및 하부 등과 같은 상관 용어는 하나의 실체 또는 행위를 또 다른 실체 또는 행위와 구별하는데만 사용되며, 반드시 그러한 실체들 또는 행위들 간의 어떤 그러한 실제 관계 또는 순서를 필요로 하거나 또는 함축하지 않을 수 있다. "포함한다(comprises)", "포함하는(comprising)", "갖는다(has)", "갖는(having)", "포함한다(includes)", "포함하는(including)", 포함한다(contains)", "포함하는(containing)" 라는 용어 또는 이들의 어떤 다른 변형은 구성요소들의 목록을 포함하는(comprises), 갖는(has), 포함하는(includes), 포함하는(contains) 프로세스, 방법, 물품, 또는 장치가 오직 이러한 구성요소들만을 포함하지 않지만, 그러한 프로세스, 방법, 물품 또는 장치에 명백히 목록화되지 않거나 내재하지 않은 다른 구성요소들을 포함할 수 있도록 비배타적으로 포함하는 것을 망라하고자 한다. "...을 포함한다(comprises....a)", "...을 갖는다(has...a)", "...을 포함한다(includes...a)", "...을 포함한다(contains...a)"의 앞에 나오는 구성요소는 더 한정하지 않고 그 구성요소를 포함하는(comprises), 갖는(has), 포함하는(includes), 포함하는(contains) 프로세스, 방법, 물품, 또는 장치에서 부가적인 동일한 구성요소들의 존재를 배제하지 않는다. 용어 "하나(a)", "하나의(an)"는 본 명세서에서 명백하게 달리 언급되지 않는 한 하나 또는 그 이상으로서 규정된다. 용어 "실질적으로", "반드시", "대략적으로", "약" 또는 이들의 어떤 다른 버전은 당업자가 이해하는 것에 가까운 것으로 규정되며, 비제한적인 일 실시예에서 그 용어는 10% 내에 있는 것으로 규정되며, 또 다른 실시예에서는 5% 내에 있는 것으로, 또 다른 실시예에서는 1% 내에 있는 것으로 또 다른 실시예에서는 0.5% 내에 있는 것으로 규정된다. 본 명세서에 사용된 "결합된(coupled)" 이라는 용어는 반드시 직접적으로는 그리고 반드시 기계적으로는 아닐지라도 연결된(connected) 것으로서 규정된다. 어떤 방식으로 "구성되는" 장치 또는 구조는 적어도 그 방식으로 구성되지만, 언급되지 않는 방식으로도 구성될 수 있다.

본 발명의 요약서는 독자가 기술적 세부내용의 특성을 빨리 파악하도록 제공된다. 그것은 청구범위의 범주 또는 의미를 해석하거나 제한하도록 사용되지 않는다는 조건하에 제시된다. 부가적으로, 전술한 상세한 설명에서, 여러 특징들이 개시내용을 간략화할 목적으로 다양한 실시예들에서 함께 그룹화되어 있음을 알 수 있다. 이러한 개시 방법은 청구된 실시예들이 각각의 청구항에 명백히 언급된 것보다 더 많은 특징들을 요구한다는 의도를 나타내는 것으로 해석되어서는 안된다. 오히려, 다음의 청구범위가 나타내는 바와 같이, 발명의 주제는 단일의 개시된 실시예의 모든 특징들보다 적게 존재한다. 따라서, 다음의 청구범위는 상세한 설명에 포함되며, 각각의 청구항은 개별적으로 청구된 주제로서 그 자체적으로 존재한다.

Claims

비디오 인코딩 방법으로서,
고해상도 비디오 프레임의 적어도 일부를 저해상도 영상(image) 및 다수의 강화 데이터 세트들(enhancement data sets)로 변환하는 단계;
상기 저해상도 영상을 주된 코딩된 화상(primary coded picture)으로서 인코딩하는 단계; 및
상기 다수의 강화 데이터 세트들 각각을 상이한 리던던트 코딩된 화상(redundant coded picture)으로서 인코딩하는 단계
를 포함하고,
상기 변환 단계는,
다상 변환(polyphase transform)을 수행하여 상기 고해상도 비디오 프레임을 다수의 상이한 위상들의 서브-프레임들로 분해하는 단계;
저해상도 화소들을 포함하는 상기 저해상도 영상을 형성하는 단계 - 각각의 저해상도 화소의 값은 상기 다수의 위상들 중 특정 위상의 각 화소의 화소 이웃 내에 규정된 화소들의 값들에 대한 평균화 함수를 이용하여 결정됨 -; 및
상기 다수의 강화 데이터 세트들의 각각의 강화 데이터 세트를 제1 위상과 다른 위상의 모든 화소들을 포함하는 고유 세트로서 결정하는 단계
에 의해 수행되는, 비디오 인코딩 방법.
제1항에 있어서, 상기 인코딩은 ITU-T H.264 어드밴스드 코딩과 호환되는 방식으로 수행되는, 비디오 인코딩 방법.
제1항에 있어서, 상기 변환은 역변환을 가지며, 상기 저해상도 영상 및 상기 다수의 강화 데이터 세트들의 역변환을 수행하는 것은 적어도 실질적으로 상기 고해상도 비디오 프레임을 재구성하는 것인, 비디오 인코딩 방법.
제1항에 있어서, 상기 변환 단계는 상기 고해상도 비디오 프레임의 일부를 LL 서브-밴드, HL 서브-밴드, LH 서브-밴드, 및 HH 서브-밴드로 분해하는 서브-밴드 변환을 이용하며, 상기 LL 서브-밴드는 상기 저해상도 영상이며 상기 HL 서브-밴드, LH 서브-밴드, 및 HH 서브-밴드는 상기 다수의 강화 데이터 세트들인, 비디오 인코딩 방법.
삭제
제1항에 있어서, 상기 평균화 함수는 임펄스 함수이며, 상기 임펄스 함수는 상기 각각의 저해상도 화소의 값을 상기 특정 위상의 대응하는 화소의 값과 같은 것으로서 판단하는, 비디오 인코딩 방법.
제1항에 있어서, 상기 평균화 함수는 상기 각각의 저해상도 화소의 값을 상기 특정 위상의 화소의 화소 이웃 내의 화소들의 값들의 평균과 같은 것으로서 판단하는, 비디오 인코딩 방법.
제1항에 있어서, 화소의 이웃은 하나의 화소 위상 그룹인, 비디오 인코딩 방법.
제1항에 있어서, 위상의 수는 네 개이며, 각 화소 위상 그룹 내의 네 개의 화소는 화소들 (0,0), (0,1), (1,0), 및 (1,1)로서 식별되며, 상기 화소들 (0,0) 및 (1,1)은 대각선으로 배치되며, 상기 평균화 함수는 상기 각각의 저해상도 화소의 값을 상기 (0,0) 위상(상기 특정 위상)의 화소의 값과 예측변수(predictor) y의 평균과 같은 것으로서 판단하며, 상기 예측변수 y는,
(1,1)이 >=max((0,1),(1,0))일 때는, y=max((0,1),(1,0))이고,
(1,1)이 <=min((0,1),(1,0))일 때는, y=min((0,1),(1,0))이고,
그 외의 경우에는, y=(0,1) + (1,0) - (1,1)인 것으로,
상기 특정 위상의 화소와 동일한 화소 위상 그룹 내의 화소들로부터 판단되는, 비디오 인코딩 방법.
공간 스케일러블(spatial scalable) 비디오 인코딩 방법으로서,
고해상도 비디오 프레임의 적어도 일부를 저해상도 영상 및 다수의 강화 데이터 세트들로 변환하는 단계;
제1 코딩 과정을 이용하여 상기 저해상도 영상을 인코딩하는 단계; 및
제2 코딩 과정을 이용하여 상기 다수의 강화 데이터 세트들 각각을 인코딩하는 단계
를 포함하고,
상기 변환 단계는,
상기 고해상도 비디오 프레임의 일부의 다수의 위상들을 형성하는 단계 - 각각의 위상은 상기 일부의 상이한 다운 샘플링된 영상임 - ;
저해상도 화소들을 포함하는 상기 저해상도 영상을 형성하는 단계 - 각각의 저해상도 화소의 값은 상기 다수의 위상들 중 특정 위상의 각 화소의 화소 이웃 내에 규정된 화소들의 값들에 대한 평균화 함수를 이용하여 결정됨 - ; 및
상기 다수의 강화 데이터 세트들의 각각의 강화 데이터 세트를 상기 특정 위상과 다른 위상의 모든 화소들을 포함하는 고유 세트로서 결정하는 단계
를 포함하는, 공간 스케일러블 비디오 인코딩 방법.
제10항에 있어서, 상기 평균화 함수는 상기 각각의 저해상도 화소의 값을 상기 특정 위상의 화소의 화소 이웃 내의 화소들의 값들의 평균과 같은 것으로서 판단하는, 공간 스케일러블 비디오 인코딩 방법.
제10항에 있어서, 위상들의 수는 네 개이며, 각각의 화소 위상 그룹 내의 네 개의 화소들은 (0,0), (0,1), (1,0) 및 (1,1)로서 식별되며, 상기 화소들 (0,0) 및 (1,1)은 대각선으로 배치되며, 상기 평균화 함수는 상기 각각의 저해상도 화소의 값을 상기 특정 위상의 화소의 값과 예측변수 y의 평균과 같은 것으로서 판단하며, 상기 예측변수 y는,
(1,1)이 >=max((0,1),(1,0))일 때에는, y=max((0,1), (1,0))이고,
(1,1)이 <=min((0,1),(1,0))일 때에는, y=min((0,1),(1,0))이고,
그 외의 경우에는, y=(0,1) + (1,0) - (1,1)인 것으로,
상기 특정 위상의 화소와 동일한 화소 위상 그룹 내의 화소들로부터 판단되는, 공간 스케일러블 비디오 인코딩 방법.
비디오 디코딩 방법으로서,
주된 코딩된 화상을 디코딩함으로써 디코딩된 저해상도 영상을 생성하는 단계;
대응하는 다수의 리던던트 코딩된 화상들을 디코딩함으로써 다수의 디코딩된 강화 데이터 세트들을 생성하는 단계; 및
상기 디코딩된 저해상도 영상 및 상기 다수의 디코딩된 강화 데이터 세트들의 역 변환을 수행하여, 상기 주된 코딩된 화상 및 다수의 리던던트 코딩된 화상들이 생성된 상기 저해상도 영상보다 더 높은 해상도를 갖는 고해상도 비디오 프레임의 일부의 디코딩된 버전을 구성하는 단계
를 포함하고
상기 저해상도 영상은 저해상도 화소들을 포함하며, 각각의 저해상도 화소의 값은 상기 고해상도 비디오 프레임의 일부의 다수의 위상들 중 특정 위상의 각 화소의 화소 이웃 내에 규정된 화소들의 값들의 평균화 함수를 이용하여 결정되어 있으며, 상기 다수의 강화 데이터 세트들 각각은 상기 특정 위상이 아닌 상기 고해상도 비디오 프레임의 상기 일부의 위상의 모든 화소들을 포함하는 고유 세트이며,
상기 역변환은,
상기 특정 위상이 아닌 상기 고해상도 비디오 프레임의 각 위상을 상기 다수의 강화 데이터 세트들 중 대응하는 하나의 세트로 설정하는 단계;
상기 저해상도 영상으로부터의 상기 고해상도 비디오의 상기 일부의 상기 특정 위상 및 상기 고해상도 비디오의 상기 일부의 다른 위상들을 결정하는 단계; 및
상기 특정 위상 및 상기 다른 위상들을 결합하여 상기 고해상도 비디오 프레임의 디코딩된 버전을 구성하는 단계
를 포함하고,
위상의 수는 네 개이며, 각 화소 위상 그룹 내의 네 개의 화소들은 화소들 (0,0), (0,1), (1,0), 및 (1,1)로서 식별되며, 상기 화소들 (0,0) 및 (1,1)은 대각선으로 배치되며, 상기 평균화 함수는 각각의 저해상도 화소의 값을 상기 특정 위상의 화소의 값과 예측변수(predictor) y의 평균과 같은 것으로서 판단하며, 상기 예측변수 y는,
(1,1)이 >=max((0,1),(1,0))일 때는, y=max((0,1),(1,0))이고,
(1,1)이 <=min((0,1),(1,0))일 때는, y=min((0,1),(1,0))이고,
그 외의 경우에는, y=(0,1) + (1,0) - (1,1)인 것으로,
상기 특정 위상의 화소와 동일한 화소 위상 그룹 내의 화소들로부터 판단되는, 비디오 디코딩 방법.
제13항에 있어서, 상기 디코딩은 ITU-T H.264 어드밴스드 코딩과 호환되는 방식으로 수행되는, 비디오 디코딩 방법.
제13항에 있어서, 상기 저해상도 영상은 상기 고해상도 비디오 프레임의 일부의 LL 서브-밴드이며, 상기 다수의 강화 데이터 세트들은 상기 고해상도 비디오 프레임의 HL 서브-밴드, LH 서브-밴드, 및 HH 서브-밴드이며, 상기 역변환은 상기 LL 서브-밴드, HL 서브-밴드, LH 서브-밴드, 및 HH 서브-밴드로부터 상기 고해상도 비디오 프레임의 상기 디코딩된 버전을 합성하는 서브-밴드 합성 동작인, 비디오 디코딩 방법.
삭제
디코딩 장치로서,
비트스트림의 주된 코딩된 화상으로부터 저해상도 영상을 복원하고 상기 비트스트림의 대응하는 다수의 리던던트 코딩된 화상들로부터 다수의 강화 데이터 세트들을 복원하는 디코더; 및
상기 저해상도 영상 및 상기 다수의 강화 데이터 세트들에 대해 역변환을 수행하여, 상기 주된 코딩된 화상 및 다수의 리던던트 코딩된 화상들이 생성된 고해상도 비디오 프레임의 일부의 디코딩된 버전을 구성하는 포스트-프로세서(post-processor)
를 포함하고,
상기 저해상도 영상은 저해상도 화소들을 포함하며, 각각의 저해상도 화소의 값이 상기 고해상도 비디오 프레임의 상기 일부의 다수의 위상들 중 특정 위상의 각 화소의 화소 이웃 내에 규정된 화소들의 값들의 평균화 함수를 이용하여 결정되며, 상기 다수의 강화 데이터 세트들 각각은 상기 특정 위상이 아닌 상기 고해상도 비디오 프레임의 상기 일부의 위상의 모든 화소들을 포함하는 고유 세트이며,
상기 역변환 함수는,
상기 특정 위상이 아닌 상기 고해상도 비디오 프레임의 각 위상을 상기 다수의 강화 데이터 세트들의 대응하는 하나의 세트로 설정하는 메모리;
상기 저해상도 영상으로부터의 상기 고해상도 비디오의 상기 일부의 상기 특정 위상 및 상기 고해상도 비디오 프레임의 상기 일부의 다른 위상들을 결정하는 역평균화 함수; 및
상기 특정 위상 및 상기 다른 위상들을 상기 고해상도 비디오 프레임의 상기 디코딩된 버전으로 결합시키는 재구성기
를 포함하는, 디코딩 장치.
제17항에 있어서, 상기 복원은 ITU-T H.264 어드밴스드 코딩과 호환되는 방식으로 수행되는, 디코딩 장치.
제17항에 있어서, 상기 저해상도 영상은 상기 고해상도 비디오 프레임의 일부의 LL 서브-밴드이고 상기 다수의 강화 데이터 세트들은 상기 고해상도 비디오 프레임의 일부의 HL 서브-밴드, LH 서브-밴드, 및 HH 서브-밴드이며, 상기 역변환은 복원된 LL 서브-밴드, HL 서브-밴드, LH 서브-밴드, 및 HH 서브-밴드로부터 상기 고해상도 비디오 프레임의 일부의 상기 디코딩된 버전을 합성하는 서브밴드 합성 동작인, 디코딩 장치.
삭제