KR101307050B1 - 비트 심도 스케일러빌리티를 위하여 인핸스먼트 계층 레시듀얼 예측을 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치 - Google Patents

비트 심도 스케일러빌리티를 위하여 인핸스먼트 계층 레시듀얼 예측을 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101307050B1
KR101307050B1 KR1020097012234A KR20097012234A KR101307050B1 KR 101307050 B1 KR101307050 B1 KR 101307050B1 KR 1020097012234 A KR1020097012234 A KR 1020097012234A KR 20097012234 A KR20097012234 A KR 20097012234A KR 101307050 B1 KR101307050 B1 KR 101307050B1
Authority
KR
South Korea
Prior art keywords
base layer
information
upsampling
data
residual
Prior art date
Application number
KR1020097012234A
Other languages
English (en)
Other versions
KR20090098823A (ko
Inventor
유웬 우
용잉 가오
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090098823A publication Critical patent/KR20090098823A/ko
Application granted granted Critical
Publication of KR101307050B1 publication Critical patent/KR101307050B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Abstract

스케일러블 비디오 비트스트림은 H.264/AVC 호환성 베이스 계층(BL)과 스케일러블 인핸스먼트 계층(EL)을 가질 수 있으며, 여기서, 스케일러빌리티는 컬러 비트 심도를 참조한다. H.264/AVC 스케일러빌리티 확장 SVC는 다른 유형의 스케일러빌리티, 예컨대, 공간 스케일러빌리티를 제공하며, 여기서, BL 및 EL 내의 픽셀 수는 상이하다. 본 발명에 따르면, BL 정보는 텍스쳐 업샘플링 및 비트 심도 업샘플링의 2개의 논리 단계(TUp, BDUp)에서 업샘플링된다. 텍스쳐 업샘플링은 픽셀의 수를 증가시키는 처리이며, 비트 심도 업샘플링은 픽셀 컬러 세기에 대응하는 각 픽셀이 가질 수 있는 값의 수를 증가시키는 처리이다. 업샘플링된 BL 데이터는 배열된 EL을 예측하는 데 이용된다. BL 정보는 인코더 측에서 업샘플링되며, 디코더 측에서도 마찬가지이며, 업샘플링은 공간 특성 및 비트 심도 특성을 참조한다.
스케일러빌리티, 공간 예측, 비트 심도, H.264/AVC, 차분, 인핸스먼트 계층, 베이스 계층

Description

비트 심도 스케일러빌리티를 위하여 인핸스먼트 계층 레시듀얼 예측을 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND/OR DECODING VIDEO DATA USING ENHANCEMENT LAYER RESIDUAL PREDICTION FOR BIT DEPTH SCALABILITY}
본 발명은 디지털 비디오 코딩의 기술 분야에 관한 것이다. 본 발명은 신규한 스케일러빌리티의 형태(비트 심도 스케일러빌리티)에 대한 코딩 솔루션을 제공한다.
최근, 과학용 영상, 디지털 영화, 고품질 비디오를 제공하는 컴퓨터 게임, 프로 스튜디오, 및 홈 시어터 관련 애플리케이션 등의 많은 분야에 있어서 종래의 8비트의 컬러 심도(color depth)가 아니라 더 높은 컬러 심도가 더욱 요구되고 있다. 이에 따라, 최신의 비디오 코딩 표준인 H.264/AVC에서는 이미 FRExt(Fidelity Range Extensions)를 포함하고 있으며, 이는 샘플당 14비트까지 그리고 4:4:4 크로마 샘플링(chroma sampling)까지 지원한다. 현행 SVC 기준 소프트웨어 JSVM은 높은 비트 심도를 지원하지 않는다.
그러나, 기존의 진보된 코딩 솔루션들 중 어느 것도 비트 심도 스케일러빌리티(bit depth scalability)를 지원하지 않는다. 2개의 다른 디코더의 시나리오에 있어서, 또는, 예컨대, 동일한 원본 비디오(raw video)에 대하여 8비트 및 12비트와 같은 비트 심도에 대하여 다른 요청이 있는 클라이언트의 경우, 기존의 H.264/AVC 솔루션은 12비트의 원본 비디오를 인코딩하여 제1 비트스트림을 생성한 후, 12비트 원본 비디오를 8비트의 원본 비디오로 변환하여 이를 인코딩하여 제2 비트스트림을 생성하게 된다. 비디오가 다른 비트 심도를 요구하는 다른 클라이언트에게 전달되게 된다면, 2번 전달되어야 하며, 예컨대, 2개의 비트스트림이 하나의 디스크에 함께 넣어져야 한다. 이는 압축비와 동작 복잡성 모두에 관하여 낮은 효율에 해당한다.
유럽 특허 출원 EP06291041호에서는, 전체 12비트 원본 비디오를 한번 인코딩하여 H.264/AVC에 호환가능한 베이스 계층(BL:Base Layer)과 스케일러블 인핸스먼트 계층(EL: Enhancement Layer)을 포함하는 1개의 비트스트림을 생성하기 위한 스케일러블 솔루션을 개시하고 있다. 상술한 제1 비트스트림에 대한 전체 스케일러블 비트스트림의 오버헤드는 추가의 제2 비트스트림에 비하여 작다. H.264/AVC 디코더가 수신단에서 활용가능하다면, BL 서브-비트스트림만이 디코딩되며, 디코딩된 8비트 비디오는 종래의 8비트 디스플레이 장치상에서 보여질 수 있으며; 비트 심도 스케일러블 디코더가 수신단에서 활용가능하다면, BL 서브-비트스트림 및 EL 서브-비트스트림 양측 모두가 디코딩되어 12비트의 비디오를 얻을 수 있으며, 이는 8비트 이상의 컬러 심도를 지원하는 고품질 디스플레이 장치상에서 보여질 수 있다.
H.264/AVC 스케일러빌리티 확장 SVC는, 예컨대, 공간 스케일러빌리티(spatial scalability) 등의 다른 형태의 스케일러빌리티를 제공한다. 공간 스케일러빌리티에 있어서, BL 및 EL 내의 픽셀 수는 상이하다. 따라서, 비트 심도 스케일러빌리티를 어떻게 다른 스케일러빌리티 형태, 특히, 공간 스케일러빌리티와 조합할지가 문제가 된다. 본 발명은 이 문제에 대한 해결책을 제공한다.
청구항 1에서는 비트 심도 스케일러빌리티와 다른 스케일러빌리티 형태의 조합을 위한 인코딩 방법을 개시한다. 청구항 5에서는 대응하는 디코딩 방법을 개시한다. 인코딩 방법을 활용한 장치가 청구항 10에 개시되며, 디코딩 방법을 활용한 장치가 청구항 11에 개시된다.
본 발명에 따르면, 텍스쳐 업샘플링과 비트 심도 업샘플링의 2개의 논리 단계에서 BL 정보가 업샘플링된다. 텍스쳐 업샘플링은 픽셀의 수를 증가시키는 처리이며, 비트 심도 업샘플링은 각 픽셀이 가질 수 있는 값의 수를 증가시키는 처리이다. 값은 픽셀의 컬러 심도에 대응한다. 업샘플링된 BL 유닛은 배열된 EL 유닛을 예측하는 데 사용된다. 인코더는 EL 비디오 데이터로부터 레시듀얼(residual)을 생성하며, 레시듀얼은 더 인코딩(주로, 엔트로피 코딩)되어 송신될 수 있다. 업샘플링되는 BL 정보는, 예컨대, 단일 픽셀, 픽셀 블록, 매크로블록(MB)의 유닛 또는 전체 이미지와 같은 임의의 입자성(granularity)일 수 있다. 또한, 2개의 논리 업샘플링 단계를 하나의 단계에서 수행하는 것이 가능하다. 인코더 측에서 베이스 계층 정보가 업샘플링되며, 디코더 측에서도 마찬가지이며, 여기서, 업샘플링은 공간 및 비트 심도 특성을 참조한다.
또한, 인터 코딩된 이미지뿐만 아니라 인트라 코딩된 이미지에 대하여 조합된 공간 및 비트 심도 업샘플링이 수행될 수 있다.
특히, 베이스 계층 및 인핸스먼트 계층을 갖는 비디오 데이터를 인코딩하기 위한 방법으로서, 베이스 계층의 픽셀들은 인핸스먼트 계층의 픽셀들보다 낮은 비트 심도 및 낮은 공간 해상도를 갖고, 베이스 계층 정보를 업샘플링하는 단계 - 인핸스먼트 계층 정보의 예측된 버전은 상기 베이스 계층보다 높은 컬러 해상도 및 높은 공간 해상도를 갖도록 얻어짐 - 와, 인핸스먼트 계층 정보와 인핸스먼트 계층 정보의 예측된 버전 사이의 차분인 인핸스먼트 계층 레시듀얼을 생성하는 단계와, 베이스 계층 정보 및 인핸스먼트 계층 레시듀얼을 인코딩하는 단계를 포함한다.
본 발명의 한 양상에 따르면, 비디오 데이터를 디코딩하기 위한 방법은, 양자화 및 (예컨대, DCT-) 변환된 인핸스먼트 계층 정보 및 베이스 계층 정보를 수신하는 단계와, 수신된 정보에 대하여 역양자화 및 역변환을 수행하는 단계와, 역양자화되고 역변환된 베이스 계층 정보를 업샘플링하는 단계 - 픽셀의 수 및 픽셀당 값 심도는 증가되며, 예측된 인핸스먼트 계층 정보가 얻어짐 - 와, 예측된 인핸스먼트 계층 정보 및 역양자화되고 역변화된 인핸스먼트 계층 정보로부터 재구성된 인핸스먼트 계층 비디오 정보를 재구성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 인코딩하기 위한 방법은 BL 정보를 인트라 인코딩하는 단계; 인트라 인코딩된 BL 정보를 재구성하는 단계; 재구성된 BL 정보에 대하여 공간 업샘플링 및 컬러 비트 심도 업샘플링을 수행하는 단계; 및 현재 EL 정보(즉, 이미지 데이터)와 상기 공간 및 컬러 비트 심도 업샘플링된 BL 정보(즉, 이미지 데이터) 사이의 차분인 EL 레시듀얼을 생성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 인코딩하기 위한 방법은 현재 BL 이미지 데이터와 예측된 BL 이미지 데이터(주로 인터 코딩된 BL) 사이의 차분인 BL 레시듀얼을 생성하는 단계 - 예측된 BL 이미지 데이터는 현재 또는 이전 BL 이미지의 데이터로부터 예측될 수 있음 -; 상기 BL 레시듀얼을 인코딩(즉, 변환 및 양자화)하는 단계, 인코딩된 BL 레시듀얼을 재구성(역변환 및 역양자화)하는 단계, 재구성된 BL 레시듀얼에 대하여 레시듀얼 (공간) 업샘플링 및 컬러 비트 심도 업샘플링을 수행하는 단계; 및 현재 EL 레시듀얼 데이터와 상기 공간 및 컬러 비트 심도 업샘플링되어 재구성된 BL 레시듀얼 사이의 차분인 EL 계층간 레시듀얼을 생성하는 단계를 포함한다.
유익하게는, 전술한 2개의 인코더 실시예는 인트라 및 인터 인코딩된 비디오 데이터를 적응적으로 인코딩할 수 있는 조합된 인코더로 조합될 수 있다.
본 발명의 일 실시예에 있어서, 디코딩하기 위한 방법은 수신된 BL 정보가 인트라 코딩된 것을 (내재적으로) 검출하는 단계; 수신된 역양자화 및 역변환된 BL 정보로부터 BL 비디오를 재구성하는 단계; 재구성된 BL 비디오를 업샘플링하는 단계 - 업샘플링은 텍스쳐 (공간) 업샘플링 및 비트 심도 업샘플링을 포함하며, 예측된 EL 정보가 얻어짐 -; 및 예측된 EL 정보 및 역양자화되고 역변환된 수신된 EL 정보로부터 재구성된 EL 비디오 정보를 재구성하는 단계를 더 포함한다.
본 발명의 일 실시예에 있어서, 디코딩하기 위한 방법은 수신된 BL 데이터가 인터 코딩된 것을 (내재적으로) 검출하는 단계; 수신된 BL 데이터로부터 BL 레시듀얼을 추출하는 단계; 추출된 BL 레시듀얼에 대하여 레시듀얼 (공간) 업샘플링 및 컬러 비트 심도 업샘플링을 수행하는 단계; 역양자화되고 역변환된 EL 정보로부터 EL 레시듀얼을 추출하는 단계; EL 레시듀얼 및 업샘플링된 BL 레시듀얼로부터 재구성된 EL 레시듀얼을 재구성하는 단계; 및 재구성된 EL 레시듀얼 및 이전에 재구성된 EL 정보로부터 재구성된 EL 비디오 정보를 재구성하는 단계를 포함한다.
유익하게는, 전술한 2개의 디코더 실시예는 인트라 및 인터 인코딩된 비디오 데이터를 적응적으로 디코딩할 수 있는 조합된 디코더로 조합될 수 있다.
본 발명의 또 다른 양상에 따르면, 베이스 계층 및 인핸스먼트 계층을 갖는 비디오 데이터를 인코딩하기 위한 장치로서, 베이스 계층은 인핸스먼트 계층보다 낮은 컬러 해상도 및 낮은 공간 해상도를 갖고, 베이스 계층 정보를 업샘플링하기 위한 수단 - 인핸스먼트 계층 정보의 예측된 버전은 베이스 계층 정보보다 높은 컬러 비트 심도 및 높은 공간 해상도를 갖도록 얻어짐 - 과, 인핸스먼트 계층 정보와 인핸스먼트 계층 정보의 예측된 버전 사이의 차분인 인핸스먼트 계층 레시듀얼을 생성하기 위한 수단과, 베이스 계층 정보 및 인핸스먼트 계층 레시듀얼을 인코딩하기 위한 수단을 포함한다.
본 발명의 일 실시예에 있어서, 비디오 데이터를 인코딩 또는 디코딩하기 위한 장치는 공간 (레시듀얼 또는 텍스쳐) 업샘플링을 수행하기 위한 수단 및 컬러 비트 심도 업샘플링을 수행하기 위한 수단을 포함하며, 공간 업샘플링 수단은 BL 정보 내의 값의 수를 증가시키며, 컬러 비트 심도 업샘플링 수단은 값의 컬러 범위를 증가시키며, 공간 업샘플링 및 컬러 비트 심도 업샘플링된 BL 데이터가 얻어진다.
본 발명의 또 다른 양상에 따르면, 인코딩된 스케일러블 비디오 신호는 인트라 코딩된 BL 데이터 및 인트라 코딩된 EL 데이터를 포함하며, 인트라 코딩된 EL 데이터는 업샘플링된 BL 이미지와 EL 이미지 사이의 차분인 레시듀얼을 포함하며, 레시듀얼은 차분 텍스쳐 정보 및 차분 비트 심도 정보를 포함한다.
본 발명의 코딩 솔루션의 다양한 실시예들은 H.264/AVC에 호환가능하며, H.264/AVC 스케일러블 확장(SVC)에서 현재 정의된 모든 종류의 스케일러빌리티에 호환가능하다.
본 발명의 바람직한 실시예들은 첨부된 청구항들, 이하의 설명 및 도면에 개시되어 있다.
본 발명의 예시적인 실시예들은 이하의 첨부 도면들을 참조하여 설명된다.
도 1은 컬러 비트 심도 스케일러블 코딩의 프레임워크이다.
도 2는 컬러 비트 심도 스케일러빌리티에 대한 공간 스케일러빌리티의 인트라 텍스쳐 계층간 예측의 확장을 위한 인코더이다.
도 3은 컬러 비트 심도 스케일러빌리티에 대한 공간 스케일러빌리티의 레시듀얼 계층간 예측의 확장을 위한 인코더이다.
도 4는 컬러 비트 심도 스케일러빌리티에 대한 공간 스케일러빌리티의 인트라 텍스쳐 계층간 예측의 확장을 위한 디코더이다.
도 5는 컬러 비트 심도 스케일러빌리티에 대한 공간 스케일러빌리티의 레시 듀얼 계층간 예측의 확장을 위한 디코더이다.
도 6은 컬러 비트 심도 스케일러빌리티에 대한 공간 스케일러빌리티의 레시듀얼 계층간 예측의 확장의 프레임의 논리적 등가 회로이다.
도 1에 도시된 바와 같이, 비디오 인코더에 대한 입력으로서 2개의 비디오가 사용된다: N-비트 원본 비디오 및 M-비트 비디오(M<N, 주로 M=8). M-비트 비디오는 N-비트 원본 비디오로부터 분해되거나 다른 방법으로 주어질 수 있다. 스케일러블 솔루션은 BL의 픽쳐들을 사용함으로써 2개 계층 간의 리던던시를 줄일 수 있다. 2개의 비디오 스트림(하나는 8-비트 컬러, 다른 하나는 N-비트 컬러(N>8))이 인코더에 입력되어, 출력은 스케일러블 비트스트림이 된다. 또한, 하나의 N-비트 컬러 데이터 스트림만이 입력되어(M<N), BL에 대하여 M-비트 컬러 데이터 스트림이 내부적으로 발생되는 것도 가능하다. 포함된 H.264/AVC 인코더를 이용하여 M-비트 비디오가 BL로 인코딩된다. BL의 정보는 EL의 코딩 효율을 향상시키기 위해 사용될 수 있다. 이를 본 명세서에서는 계층간 예측(inter-layer prediction)이라고 한다. 각각의 픽쳐(MB의 그룹)는 2개의 액세스 유닛을 갖는데, 하나는 BL용이고 다른 하나는 EL용이다. 코딩된 비트스트림들은 다중화(multiplexed)되어 스케일러블 비트스트림을 형성한다. BL 인코더는, 예컨대, H.264/AVC 인코더를 포함하고, 재구성(reconstruction)은 EL 인코딩에 대하여 이용되는 N-비트 컬러 비디오를 예측하는 데 이용된다.
도 1에 도시된 바와 같이, 스케일러블 비트스트림은 AVC를 준수하는 BL 비트 스트림을 예시적으로 포함하며, 이는 BL 디코더(종래의 AVC 디코더)에 의해 디코딩될 수 있다. 다음으로, 인코더에서와 동일한 예측이 디코더 측에서 수행되어(각각의 인디케이션(indication) 평가 후) 예측된 N-비트 비디오를 얻게 된다. N-비트의 예측된 비디오와 함께, EL 디코더는 N-비트 예측을 이용하여 고품질 디스플레이(HQ)를 위한 최종 N-비트 비디오를 생성한다.
이하에 있어서, 컬러 비트 심도라는 용어가 사용될 때, 비트 심도, 즉 값당 비트의 수를 의미한다. 이는 주로 채도(color intensity)에 해당한다.
일 실시예에 있어서, 본 발명은 SVC 공간, 시간 및 품질 스케일러빌리티의 현행 구조에 기초하며, 강화된 컬러 비트 심도를 위한 비트 심도 스케일러빌리티에 의해 강화된다. 따라서, 본 실시예는 현행 SVC 표준에 대하여 완전히 호환가능하다. 그러나, 당업자라면 다른 표준에 이를 적용하는 것이 용이할 것이다. 비트 심도 스케일러빌리티의 중요점은 비트 심도 계층간 예측(bit depth inter-layer prediction)이다. 계층간 예측을 이용함으로써, N-비트 비디오와 M-비트 비디오 사이의 차분(difference)이 EL로서 인코딩된다. 설명의 용이를 위하여, 이하의 표기가 이용된다.
BL org : 베이스 계층 오리지널 MB
BL res : 베이스 계층 레시듀얼 MB
BL rec : 베이스 계층 재구성 MB
EL org : 인핸스먼트 계층 오리지널 MB
EL rec : 인핸스먼트 계층 재구성 MB
EL' res : 인핸스먼트 계층 레시듀얼 MB
Pre c { } : 컬러 비트 심도 계층간 예측 연산자
Pre t { }' : 텍스쳐 (공간) 계층간 예측 연산자
Pre r { } : 레시듀얼 (공간) 계층간 예측 연산자
예시적으로, SVC 호환성 MB 레벨 비트 심도 스케일러블 코딩 솔루션은 현행 SVC 공간 스케일러빌리티에 기초한다. 이하는 인트라 코딩 및 인터 코딩 양측에 대하여 공간 스케일러빌리티를 비트 심도 스케일러빌리티로 확장하는 것에 대한 상세한 설명을 제공한다. SVC 호환성 비트 심도 스케일러블 코딩의 첫 번째 단계는 EL 인코딩 및 디코딩에서 H.264/AVC FRExt 확장이 하는 것과 같은 높은 비트 코딩(현재, 샘플당 10 내지 14 비트)을 지원하는 것이다.
인트라 코딩(Intra Coding)
도 2는 현행 SVC 표준에서 사용되는 바와 같은 공간 스케일러빌리티의 인트라 텍스쳐 계층간 예측의 비트 심도 스케일러빌리로의 확장을 위한 인코더를 나타낸다. 비트 심도 업샘플링 블록(BDUp)은 비트 심도 스케일러빌리티로의 확장을 나타내는 반면, 다른 블록들은 현행 SVC 표준에서의 공간 스케일러빌리티를 나타낸다. 이 블록(BDUp)은 종래의 SVC 인트라 인코더와 본 발명에 따른 인트라 인코더 간의 차이점이다. 도 2에 있어서, M-비트 베이스 계층 MB들이 BL 인코더에 입력되 며, N-비트 인핸스먼트 계층 MB들이 EL 인코더에 입력된다(N>M). 현행 SVC 표준에 있어서, 공간 인트라 텍스쳐 계층간 예측을 위하여 텍스쳐 업샘플링이 설계되었다. 도 2에 있어서, 텍스쳐 업샘플링(TUp)에 대한 입력은 재구성 BL 매크로블록(BLrec)이며, 출력은 EL 매크로블록의 공간적으로 (텍스쳐) 예측된 버전(Pret{BLrec})이다. (본 예에 있어서) 텍스쳐 업샘플링(TUp)에 바로 이어지는 비트 심도 업샘플링(BDUp)의 단계에 의해 비트 심도 스케일러빌리티가 실현된다. 실제로, 먼저 공간 계층간 예측으로서 텍스쳐 업샘플링을 적용한 후, 비트 심도 계층간 예측으로서 비트 심도 업샘플링(BDUp)이 수행되는 것이 때로는 장점이 있다. 텍스쳐 업샘플링(TUp)과 비트 심도 업샘플링(BDUp) 양측에 있어서, N-비트 EL 매크로블록의 예측된 버전(Prec{Pret{BLrec}})이 얻어진다. 예측 단계들의 역순에 의해서 비슷한 레시듀얼이 얻어질 수 있다.
차분 생성기(DEL)에 의해서 오리지널 N-비트 EL 매크로블록(ELorg)과 그 예측된 버전(PrecPret{BLrec}}) 사이의 레시듀얼(EL'res)이 얻어진다. 그 레시듀얼은 본 발명의 한 실시예에 있어서 더 변환되고(T), 양자화되고(Q), 엔트로피 인코딩되어(ECEL), SVC에서와 같은 EL 서브-비트스트림을 형성한다. 수학적 표현으로서, 컬러 비트 심도 인트라 업샘플링의 레시듀얼은 이하와 같다.
Figure 112009035645422-pct00001
여기서, Pret{ }는 텍스쳐 업샘플링 연산자를 나타낸다.
인코딩 프로세스의 다른 변형이 가능하며, 제어 파라미터에 의해 제어가능하다. EL 레시듀얼이 재구성 EL 정보에 기초하여 예측될지 또는 업샘플링된 BL 정보에 기초하여 예측될지 여부를 결정하는 예시적인 플래그 base_mode_flag가 도 2에 도시되어 있다.
인터 코딩( Inter Coding )
인트라 코딩과는 상이하게 인터 코딩에 대한 비트 심도 스케일러빌리티가 구현된다. 현행 SVC 표준에 있어서는, 공간 인터 텍스쳐 계층간 예측(spatial inter texture inter-layer prediction)을 위하여 모션 업샘플링 및 레시듀얼 업샘플링이 설계되었다.
도 3은 인터 코딩된 (P 및 B) 매크로블록들에 대한 레시듀얼 계층간 예측의 확장을 위한 인코더를 나타낸다. (본 예에 있어서) (공간) 레시듀얼 업샘플링(RUp)에 바로 이어지는 비트 심도 업샘플링(BDUp)의 단계에 의해 비트 심도 스케일러빌리티가 실현된다. 레시듀얼 업샘플링(RUp)으로의 입력은 송신되는 BL 레시듀얼(BLres ,k)의 재구성 버전인 재구성 BL 레시듀얼(BLres,rec,k)이다(이하 수학식 3에 나타낸 바와 같음). 실제로, 흔히 모션 업샘플링(MUp)이 먼저 수행된 후, 일종의 공간 계층간 예측으로서 레시듀얼 업샘플링(RUp)이 수행된다. 마지막으로, 비트 심도 계층간 예측으로서 비트 심도 업샘플링(BDUp)이 수행된다. 모션 업샘플링(MUp), 레시듀얼 업샘플링(RUp), 및 컬러 비트 심도 업샘플링(BDUp)으로, N-비트 EL 매크로블록의 예측된 버전(Prec{Prer{BLres , rec ,k}})이 얻어진다. 그 결과의 인핸스먼트 계층 레시듀얼(EL'res ,k)(이하 수학식 3에 나타낸 바와 같음)이 더 변환되고(T), 양자화되고(Q), 엔트로피 코딩되어, SVC에서처럼 EL 서브-비트스트림을 형성한다.
인코딩 프로세스의 다른 변형이 가능하며, 제어 파라미터에 의해 제어될 수 있다. EL 모션 보상이 EL로부터 얻어지는 모션 벡터에 기초할지 또는 BL로부터 업샘플링될지 여부를 제어하는 플래그 base_mode_flag 및 BL 레시듀얼이 EL 레시듀얼을 예측하는 데 사용될지 여부를 제어하는 플래그 residual_pred_flag가 도 3에 도시되어 있다. 도 2에 도시된 바와 같이, base_mode_flag는 또한 인트라 텍스쳐 계층간 예측을 제어하기 위하여도 사용된다.
도 4는 계층간 예측을 활용하는 인트라 코딩된 BL 이미지를 위한 예시적인 디코더를 나타낸다. 예컨대, 다중화되고 패킷화된 비트스트림에서 인코딩된 BL 정보 및 EL 정보를 수신하고, EL 정보로부터 BL을 분리한 후, EL 정보뿐만 아니라 BL 정보도 엔트로피 디코딩된다. 다음으로, 역양자화(Q-1) 및 역변환(T-1)이 적용된다. BL에 있어서는 종래의 SVC에 대한 처리와 동일하다: 즉, 동일 이미지의 이전에 재구성된 정보에 기초하여 공간 인트라 예측을 이용하여 이미지가 재구성된다. 디블록킹(deblocking) 후, 그 결과의 BL 신호(BLrec)가 전술한 바와 같이 8비트 컬러 심도로 표준 SVC 디스플레이상에 표시될 수 있다. 그러나, 다른 방법으로서, 이 신 호는 배열된 EL 이미지의 예측된 버전(Prec{Pret{BLrec}})을 생성하기 위하여 또한 이용될 수 있다: 이를 위하여, 텍스쳐 업샘플링(TUp)되고, 여기서, EL 이미지의 텍스쳐 예측된 버전(Pret{BLrec})이 얻어지고, 그 후 비트 심도 업샘플링(BDUp)된다. 그리고나서, 텍스쳐 업샘플링 및 비트 심도 업샘플링되어 재구성된 BL 이미지(Prec{Pret{BLrec}})는 A2, EL, 즉, 향상된 역양자화 및 역변환된 EL 레시듀얼(EL'res)을 갱신하는 데 사용되어, HQ 디스플레이를 위한 EL 비디오(ELrec)로서 디블록킹 후 출력될 수 있는 신호를 얻는다.
물론, EL 예측을 위해서 필요하지만, BL 비디오가 반드시 디코더 출력에서 활용가능할 필요는 없으므로, EL 모드에서 동작하는 디코더는 내부적으로 BL 비디오(BLrec)를 또한 생성한다. 일 실시예에 있어서, 디코더는 BL 비디오(BLrec)를 위한 출력과 EL 비디오(ELrec)를 위한 출력인 2개의 출력을 갖는 반면, 또 다른 실시예에 있어서는 EL 비디오(ELrec)를 위한 출력만을 갖는다.
도 2의 인트라 인코더에 대하여 전술한 바와 같이, 인코딩에 따라서 디코더는 다른 모드에서 동작할 수도 있다. 따라서, 비트스트림으로부터 각각의 플래그가 추출되어 평가되는데, 예컨대, 계층간 예측이 사용되는지 여부를 결정하는 인디케이션 Base_mode_flag가 사용된다. 그렇지 않다면, EL 이미지들은 디블록킹, 공간 예측, 및 공간 예측된 이미지의 갱신(A1, EL)을 사용하여 전통적으로 재구성된다.
도 5는 인터 코딩된(inter-coded) 유닛, 예컨대, 인터 코딩된 MB를 위한 예 시적인 디코더를 나타낸다. 엔트로피 코딩되어 이에 대응적으로 디코딩되었을 수 있는 BL 비트스트림으로부터, 일 실시예에 있어서는, 모션 데이터가 검출되고 추출되어, 필요 시 EL을 위하여 업샘플링될 수 있다. 이는 BL 또는 EL 비트스트림에 포함된 인디케이션에 의해 나타낼 수 있다. 또한, BL 비트스트림 데이터는 역양자화(Q-1)되고, 역변환되어(T-1), 재구성된 BL 레시듀얼(BLres ,k)이 얻어진다. BL 비디오 신호(BLdec)가 필요하다면, 이 후의 BL 처리에서는 디블록킹, 프레임 메모리에서의 저장, 모션 보상, 및 레시듀얼(BLres ,k)로 모션 보상된 예측 이미지를 갱신하는 것을 포함하는 종래의 SVC 디코딩을 포함한다. EL 비디오 신호만이 필요하다면, 이러한 단계들은 생략될 수 있다.
EL 데이터를 예측하기 위하여 레시듀얼(BLres ,k)이 사용된다: 레시듀얼 업샘플링(RUp)에 의해 업샘플링되며, 이는 예측된 신호(Prec{Prer{BLres ,k}}})를 산출하도록 값의 수가 증가되는 일종의 공간 업샘플링 및 비트 심도 및 각 값의 가능한 범위가 증가되는 비트 심도 업샘플링(BDUp)이다. 배열된 EL 유닛이 플래그 residual_pred_flag에 나타낸 바와 같이 레시듀얼 계층간 예측을 이용하여 인코딩되었다면, 예측된 레시듀얼(Prec{Prer{BLrec }}})이 A'1, 즉, 수신된 역양자화 및 역변환된 EL 레시듀얼(EL'res,k)을 갱신하는 데 사용되어, 실제 EL 레시듀얼(ELres ,k)이 얻어진다. 수신된 역양자화 및 역변환된 EL 레시듀얼(EL'res ,k)은 이론적으로 종래의 공간 EL 레시듀얼(Rorg)과 이전의 유닛 (k-1)로부터 인코더에서 재구성된 후 업샘플링된 레시듀얼 Rrec,k-1(α△x, α△y) 사이의 차분과 등가이다.
이 후의 EL 처리는 이론적으로 SVC와 같다(그러나, 강화된 비트 심도를 이용함): 재구성된 레시듀얼(ELres ,k)은 예측된 EL 이미지(S_ELrec ,k-1 = ELrec ,k- 1(α△x, α△y)를 디블록킹(DeblkEL), 프레임 메모리(FM)에의 저장, 및 재구성된 이미지(ELrec ,k-1)의 모션 보상(MC)의 단계들로 갱신하는 데 사용된다. 수신된 인핸스먼트 계층 데이터(ELenc)가 모션 정보(ELMI)를 포함한다면, 모션 정보가 추출되어, 모션 보상 유닛(MC)에 제공될 수 있다. 다른 방법으로서, BL로부터의 업샘플링(MUp)된 모션 정보가 사용될 수 있다.
명백하게, 본 발명에 따른 향상된 EL 레시듀얼은 SVC 공간 스케일러빌리티에서 정의된 것과는 상이하다. 그러나, 그 인코딩은 이론적으로는 도 6에 나타내고 이하에 증명된 바와 같이 오리지널 EL 매크로블록(ELorg ,k)과 텍스쳐 (공간적으로) 및 비트 심도 업샘플링된 BL 매크로블록(Prec{Prer{BLorg ,k}}) 사이의 차분을 인터 인코딩한 것과 등가이다.
레시듀얼 업샘플링 연산자(Prer{ })와 컬리 비트 심도 계층간 예측 연산자(Prec{ })는 가산성(additivity) 및 안정성(stability)의 특성을 갖는 것으로 가정한다. 실제로, 현행 SVC 공간 스케일러빌리티에서 채용되는 레시듀얼 업샘플링 연산자는 가산성과 안정성(연속 함수의 경우, "안정성"은 파생성(derivativeness)과 동등하며; 이산 함수의 경우, "안정성"은, 독립 변수의 임의의 이용가능한 값에 있어서, 이산 함수의 변화의 절대값은 독립 변수와 상수를 곱한 값의 변화의 절대값보다 더 크지 않다는 것을 의미한다)이 있다. 이하에서는, 재정의된 EL 레시듀얼(EL'res ,k)의 인코딩이 오리지널 EL MB와 재구성된 EL 매크로블록(배열된 BL 매크로블록의 모션 보상, 레시듀얼 업샘플링, 및 컬러 비트 심도 업샘플링을 거친 버전) 사이의 차분을 인터 인코딩한 것과 등가라는 것이 증명된다. EL 매크로블록과 배열된 BL 매크로블록의 레시듀얼 업샘플링 후 비트 심도 업샘플링을 거친 버전 사이의 차분을 계층간 레시듀얼(inter-layer residual)이라 하며, 이하와 같이 정의된다.
Figure 112009035645422-pct00002
여기서, k는 현재 프레임의 POC(Picture Order Count)를 나타낸다.
모든 경우에 있어서, 이하의 2개의 조건이 만족되는 것으로 가정한다: 먼저, 현재 MB는 하나의 기준 MB만을 가지며, 현재의 MB 프레임의 POC는 k 및 기준 MB 프레임의 POC는 (k-1)과 같고; 두 번째로, 2개의 공간 계층만이 존재하는 것으로 가정한다. 2개의 가정에 기초하면, 수학식 (2)의 증명은 이하와 같다.
Figure 112009035645422-pct00003
여기서, (△x, △y)는 현재의 k번째 BL 매크로블록의 모션 벡터를 나타내며, α는 EL의 공간 해상도 스케일링 인자를 나타내며, BL rec ,k- 1 (△x,△y)는 재구성된 (k-1)번째 BL 매크로블록의 모션 보상된 버전을 나타내며, EL rec ,k- 1 (α△x,β△y)는 재구성된 (k-1)번째 EL 매크로블록의 모션(업샘플링된 모션) 보상된 버전을 나타낸다.
Prer{ } 및 Prec{ } 양측 모두가 가산성의 속성을 갖는다는 가정에 따라서, 수학식 (3)은 이하와 같다:
Figure 112009035645422-pct00004
Prer{ } 및 Prec{ } 양측 모두가 안정성의 속성을 갖는다는 가정에 따라서, 수학식 (2)를 수식(4)에 대입하면:
Figure 112009035645422-pct00005
수학식 (5)는 재정의된 EL 레시듀얼(EL'res,k)이 오리지널 BL 매크로블 록(BLorg ,k) 및 오리지널 EL 매트로블록(ELorg,k)의 계층간 레시듀얼(Rorg ,k)과 모션 보상되어 재구성된 기준 BL 매크로블록(BLrec ,k-1) 및 모션(업샘플링된 모션) 보상되어 재구성된 기준 EL 매크로블록(ELrec ,k-1)의 계층간 레시듀얼(Rrec ,k-1) 사이의 차분과 같다는 점을 보여준다. 이는 도 6에 도시되어 있다. 즉, 계층간 레시듀얼은 인터 코딩된다. 그러나, 도 5에 도시된 인코딩이 더 간단하기 때문에 장점이 있다.
공간 스케일러빌리티의 비트 심도 스케일러빌리티로의 확장의 장점은, 컬러 비트 심도 스케일러빌리티에 대한 확장을 실현하기 위하여 새로운 신택스 요소 또는 새로운 예측 모드가 어느 것도 필요하지 않다는 점이다. 또 다른 장점, 특히 인터 코딩에 있어서의 장점은, 최종 인코딩된 EL 레시듀얼이 "레시듀얼의 레시듀얼(the residual of the residual)"이므로, 수학식 (3)에 정의된 바와 같이 계층간 레시듀얼의 인터 인코딩과 같기 때문에, 높은 코딩 효율이 성취된다는 점이다. 실제로, 인터 코딩에서 최종 코딩된 EL 레시듀얼은 오리지널 EL 매크로블록에서 모션(업샘플링된 모션) 보상되어 재구성된 기준 EL 매크로블록을 뺀 후, 배열된 BL 재구성된 레시듀얼의 모션 보상되고 레시듀얼 업샘플링되어 비트 심도 업샘플링된 버전을 뺀 것이다.
또 다른 장점은, 인터 코딩의 경우, BL 매크로블록을 재구성할 필요가 없다는 것이다. 따라서, BL 재구성이 생략될 수 있고, 이는 디코더를 더 간단화한다.
유익하게는, 일 실시예에 있어서, 인트라 텍스쳐 계층간 예측에 바로 이어서 인트라 컬러 비트 심도 계층간 예측에 의해서 컬러 비트 심도 스케일러빌리티의 인 트라 코딩이 실현된다. 본 실시예에서는, SVC의 경우, 인트라 컬러 비트 심도 계층간 예측을 위하여 새로운 신택스 요소 또는 새로운 예측 모드가 필요하지 않다.
따라서, 본 발명은 스케일러블 인코더, 스케일러블 디코더, 및 스케일러블 신호, 특히, 비디오 신호 또는 상이한 품질 계층과 높은 계층간 리던던시를 갖는 다른 유형의 신호들에 대하여 이용될 수 있다.
본 발명을 순전히 예시를 위하여 설명하였으며, 본 발명의 범주를 일탈하지 않고서 세부사항의 변형이 이루어질 수 있다는 점을 이해할 수 있을 것이다. 설명 및 (적절한 경우) 청구항 및 도면에 개시된 각각의 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징은 (적절한 경우) 하드웨어, 소프트웨어, 또는 이 둘의 조합으로 구현될 수 있다. 청구항에 나타나는 참조 번호들은 단지 예시를 위한 것으로서, 청구항의 범위를 한정하는 효과는 없다.

Claims (14)

  1. 베이스 계층 및 인핸스먼트 계층을 갖는 비디오 데이터를 인코딩하기 위한 방법으로서 - 상기 베이스 계층은 상기 인핸스먼트 계층보다 낮은 컬러 해상도 및 낮은 공간 해상도를 가짐 -,
    베이스 계층 정보(BLrec)를 업샘플링하는 단계 - 상기 베이스 계층보다 높은 값의 비트 심도 해상도 및 높은 공간 해상도를 갖는 예측된 버전의 인핸스먼트 계층 정보(Prec{Pret{BLrec}})가 얻어지며, 인터 코딩된 베이스 계층 정보(Inter coded base layer information)의 경우, 베이스 계층 레시듀얼 데이터(base layer residual data)(BLres,rec,k)는 레시듀얼 업샘플링된 데이터를 얻기 위한 레시듀얼 업샘플링(RUp) 및 상기 레시듀얼 업샘플링된 데이터의 후속하는 컬러 비트 심도 업샘플링(BDUp)에 의해 업샘플링되고 베이스 계층 모션 정보 데이터는 모션 업샘플링(MUp)에 의해 업샘플링되며, 인트라 코딩된 베이스 계층 정보의 경우, 재구성된 베이스 계층 이미지 데이터(BLrec)의 텍스쳐(texture)는 텍스쳐 업샘플링된 데이터를 얻기 위한 텍스쳐 업샘플링(TUp) 및 상기 텍스쳐 업샘플링된 데이터의 후속하는 컬러 비트 심도 업샘플링(BDUp)에 의해 업샘플링됨 -,
    인핸스먼트 계층 정보(ELorg)와 상기 예측된 버전의 인핸스먼트 계층 정보 사이의 차분인 인핸스먼트 계층 레시듀얼(EL'res)을 생성하는 단계, 및
    상기 베이스 계층 정보 및 상기 인핸스먼트 계층 레시듀얼을 인코딩하는 단계(T, Q, ECBL, ECEL)
    를 포함하는 인코딩 방법.
  2. 제1항에 있어서,
    인터 코딩된 베이스 계층 정보의 경우, 상기 베이스 계층 모션 정보 데이터의 모션 업샘플링(MUp)은 제1 파라미터(base_mode_flag)에 의해 인에이블 또는 디스에이블될 수 있고, 상기 레시듀얼 업샘플링(RUp) 및 후속하는 컬러 비트 심도 업샘플링(BDUp)은 상이한 제2 파라미터(residual_pred_flag)에 의해 인에이블 또는 디스에이블될 수 있는 인코딩 방법.
  3. 베이스 계층 및 인핸스먼트 계층을 갖는 비디오 데이터를 디코딩하기 위한 방법으로서,
    인핸스먼트 계층 정보(ELenc) 및 베이스 계층 정보(BLenc)를 수신하는 단계,
    수신된 정보들에 대하여 역양자화(T-1) 및 역변환(Q-1)을 수행하는 단계,
    역양자화되고 역변환된 베이스 계층 정보를 업샘플링하는 단계(BDUp, TUp) - 픽셀들의 수 및 픽셀당 심도 값이 컬러 비트 심도 업샘플링 단계에서 증가되며, 예측된 인핸스먼트 계층 정보(Prec{Pret{BLrec}})가 얻어지며, 인터 코딩된 베이스 계층 정보의 경우, 베이스 계층 레시듀얼 데이터(BLres,rec,k)는 레시듀얼 업샘플링된 데이터의 컬러 비트 심도 업샘플링 단계 전에 레시듀얼 업샘플링된 데이터를 얻기 위한 레시듀얼 업샘플링 단계(RUp)에서 업샘플링되고 베이스 계층 모션 정보 데이터는 모션 업샘플링 단계(MUp)에서 업샘플링되며, 인트라 코딩된 베이스 계층 정보의 경우, 재구성된 베이스 계층 레시듀얼 데이터(BLrec)의 텍스쳐는 텍스쳐 업샘플링된 데이터의 컬러 비트 심도 업샘플링(BDUp) 전에 텍스쳐 업샘플링된 데이터를 얻기 위해 텍스쳐 업샘플링 단계(TUp)에서 업샘플링됨 -, 및
    상기 예측된 인핸스먼트 계층 정보(Prec{Pret{BLrec}}) 및 역양자화되고 역변환된 인핸스먼트 계층 정보로부터 재구성된 인핸스먼트 계층 비디오 정보(ELrec)를 재구성하는 단계
    를 포함하는 디코딩 방법.
  4. 제3항에 있어서,
    상기 역양자화되고 역변환된 인핸스먼트 계층 정보는 레시듀얼 정보(EL'res)를 포함하며,
    상기 역양자화되고 역변환된 베이스 계층 정보로부터 베이스 계층 비디오(BLrec)를 재구성하는 단계, 및 상기 예측된 인핸스먼트 계층 정보(Prec{Pret{BLrec}})에 레시듀얼 정보(EL'res)를 부가하는 단계(A2,EL)를 더 포함하는 디코딩 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 역양자화되고 역변환된 인핸스먼트 계층 정보는 인핸스먼트 계층 레시듀얼 정보(EL'res,k)를 포함하며, 상기 역양자화되고 역변환된 베이스 계층 정보는 베이스 계층 레시듀얼 정보(BLres,k)를 포함하며,
    상기 역양자화되고 역변환된 베이스 계층 정보를 업샘플링하는 단계는, 상기 베이스 계층 레시듀얼 정보(BLres,k)를 업샘플링하는 단계(RUp, BDUp)를 포함하며, 상기 인핸스먼트 계층 레시듀얼 정보(EL'res,k) 및 업샘플링된 베이스 계층 레시듀얼 정보(Prec{Prer{BLres,k}})를 부가하는 단계 - 여기서, 재구성된 인핸스먼트 계층 레시듀얼(ELres,k)이 얻어짐 - 를 더 포함하는 디코딩 방법.
  6. 제3항에 있어서,
    재구성된 인핸스먼트 계층 레시듀얼(ELres,k)이 얻어지며,
    상기 재구성된 인핸스먼트 계층 레시듀얼을, 재구성되고 모션 보상된 인핸스먼트 계층 정보(S_ELrec,k-1)에 부가하는 단계(A'2,EL)를 더 포함하는 디코딩 방법.
  7. 제3항에 있어서,
    상기 수신된 인핸스먼트 계층 정보로부터 모션 정보(ELMI)를 추출하는 단계, 및
    인핸스먼트 계층 비디오(ELrec)를 재구성하는 단계(DeblkEL, FM, MC, A'2,EL) - 여기서, 상기 인핸스먼트 계층 모션 정보가 이용됨 -
    를 더 포함하는 디코딩 방법.
  8. 제3항에 있어서,
    베이스 계층 비디오 신호(BLdec)가 필요하지 않을 경우, 상기 베이스 계층에 대해, 디블록킹하는 단계, 프레임 메모리에 저장하는 단계, 모션 보상하는 단계, 및 베이스 계층 레시듀얼(BLres,k)로 베이스 계층 모션 보상된 예측 이미지를 갱신하는 단계가 수행되지 않는 디코딩 방법.
  9. 베이스 계층 및 인핸스먼트 계층을 갖는 비디오 데이터를 인코딩하기 위한 장치로서 - 상기 베이스 계층은 상기 인핸스먼트 계층보다 낮은 컬러 해상도 및 낮은 공간 해상도를 가짐 -,
    베이스 계층 정보(BLrec)를 업샘플링하기 위한 수단(TUp, BDUp) - 상기 베이스 계층 정보보다 높은 컬러 비트 심도 해상도 및 높은 공간 해상도를 갖는 예측된 버전의 인핸스먼트 계층 정보(Prec{Pret{BLrec}})가 생성되고, 인터 코딩된 베이스 계층 정보의 경우, 베이스 계층 레시듀얼 데이터(BLres,rec,k)는 레시듀얼 업샘플링된 데이터(RUp)를 얻기 위한 레시듀얼 업샘플링 유닛에서 업샘플링되고 후속하여 상기 레시듀얼 업샘플링된 데이터의 컬러 비트 심도 업샘플링을 수행하는 컬러 비트 심도 업샘플링 유닛(BDUp)에서 업샘플링되며, 베이스 계층 모션 정보 데이터가 모션 업샘플링 유닛(MUp)에서 업샘플링되며, 인트라 코딩된 베이스 계층 정보의 경우, 재구성된 베이스 계층 이미지 데이터(BLrec)의 텍스쳐는 텍스쳐 업샘플링된 데이터를 얻기 위한 텍스쳐 업샘플링 유닛(TUp)에서 업샘플링되고 후속하여 상기 텍스쳐 업샘플링된 데이터의 컬러 비트 심도 업샘플링을 수행하는 컬러 비트 심도 업샘플링 유닛(BDUp)에서 업샘플링됨 -,
    인핸스먼트 계층 정보(ELorg)와 상기 예측된 버전의 인핸스먼트 계층 정보 사이의 차분인 인핸스먼트 계층 레시듀얼(EL'res)을 생성하기 위한 수단(DEL), 및
    상기 베이스 계층 정보를 인코딩하기 위한 수단(T, Q, ECBL) 및 상기 인핸스먼트 계층 레시듀얼을 인코딩하기 위한 수단(T, Q, ELEL)
    을 포함하는 인코딩 장치.
  10. 베이스 계층 및 인핸스먼트 계층을 갖는 비디오 데이터를 디코딩하기 위한 장치로서,
    인핸스먼트 계층 정보(ELenc)를 수신하기 위한 수단 및 베이스 계층 정보(BLenc)를 수신하기 위한 수단,
    수신된 정보들에 대하여 역양자화(T-1) 및 역변환(Q-1)을 수행하기 위한 수단,
    역양자화되고 역변환된 베이스 계층 정보를 업샘플링하기 위한 수단(BDUp, TUp) - 여기서, 픽셀의 수 및 픽셀당 심도 값은 증가되며, 예측된 인핸스먼트 계층 정보(Prec{Pret{BLrec}})가 생성되며, 인터 코딩된 베이스 계층 정보의 경우, 베이스 계층 레시듀얼 데이터(BLres,rec,k)는 레시듀얼 업샘플링된 데이터를 얻기 위해 업샘플링되고 베이스 계층 모션 정보 데이터는 업샘플링(RUp, MUp)되며, 인트라 코딩된 베이스 계층 정보의 경우, 재구성된 베이스 계층 레시듀얼 데이터(BLrec)의 텍스쳐는 텍스쳐 업샘플링된 데이터를 얻기 위해 업샘플링(TUp)되며, 상기 베이스 계층 레시듀얼 데이터 및 상기 재구성된 베이스 계층 레시듀얼 데이터의 텍스쳐의 업샘플링은 각각 픽셀들의 수 및 픽셀당 심도 값을 증가시키기 전에 수행되며, 상기 픽셀들의 수 및 픽셀당 심도 값의 증가는 인터 코딩된 베이스 계층 정보의 경우 상기 레시듀얼 업샘플링된 데이터에 대해 수행되고, 상기 픽셀들의 수 및 픽셀당 심도 값의 증가는 인트라 코딩된 베이스 계층 정보의 경우 상기 텍스쳐 업샘플링된 데이터에 대해 수행됨 -, 및
    상기 예측된 인핸스먼트 계층 정보(Prec{Pret{BLrec}}) 및 역양자화되고 역변환된 인핸스먼트 계층 정보로부터, 재구성된 인핸스먼트 계층 비디오 정보(ELrec)를 재구성하기 위한 수단(A2EL, Deblk2)
    을 포함하는 디코딩 장치.
  11. 제9항에 있어서,
    상기 업샘플링하기 위한 수단은, 픽셀의 수를 증가시키기 위한 수단(TUp, RUp) 및 각 픽셀이 가질 수 있는 값의 수를 증가시키기 위한 수단(BDUp)을 포함하는 인코딩 장치.
  12. 제10항에 있어서,
    상기 디코딩 장치는, 재구성된 인핸스먼트 계층 데이터를 위한 출력부를 가지지만, 재구성된 베이스 계층 데이터를 위한 출력부는 가지지 않는 디코딩 장치.
  13. 제10항에 있어서,
    상기 업샘플링하기 위한 수단은, 픽셀의 수를 증가시키기 위한 수단(TUp, RUp) 및 각 픽셀이 가질 수 있는 값의 수를 증가시키기 위한 수단(BDUp)을 포함하는 디코딩 장치.
  14. 삭제
KR1020097012234A 2006-12-14 2006-12-14 비트 심도 스케일러빌리티를 위하여 인핸스먼트 계층 레시듀얼 예측을 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치 KR101307050B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2006/003415 WO2008071037A1 (en) 2006-12-14 2006-12-14 Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability

Publications (2)

Publication Number Publication Date
KR20090098823A KR20090098823A (ko) 2009-09-17
KR101307050B1 true KR101307050B1 (ko) 2013-09-11

Family

ID=39511234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097012234A KR101307050B1 (ko) 2006-12-14 2006-12-14 비트 심도 스케일러빌리티를 위하여 인핸스먼트 계층 레시듀얼 예측을 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US8428129B2 (ko)
EP (1) EP2092748A4 (ko)
JP (1) JP5036826B2 (ko)
KR (1) KR101307050B1 (ko)
CN (1) CN101601299A (ko)
WO (1) WO2008071037A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411734B2 (en) 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
WO2009003499A1 (en) 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
US8204333B2 (en) 2007-10-15 2012-06-19 Intel Corporation Converting video and image signal bit depths
CN101828401B (zh) * 2007-10-16 2013-07-17 汤姆森许可贸易公司 用于比特深度缩放的伪像去除的方法和设备
US9066075B2 (en) 2009-02-13 2015-06-23 Thomson Licensing Depth map coding to reduce rendered distortion
WO2010151279A1 (en) 2009-06-25 2010-12-29 Thomson Licensing Depth map coding
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
JP5668149B2 (ja) * 2010-12-13 2015-02-12 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 参照ユニット決定方法及び装置
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
BR112013033552B1 (pt) 2011-06-30 2022-02-22 Microsoft Technology Licensing, Llc Método em um sistema de computador que implementa um decodificador de vídeo, método em um sistema de computação, meio legível por computador e sistema de computação
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
WO2013174254A1 (en) * 2012-05-21 2013-11-28 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding
US9838688B2 (en) 2012-06-22 2017-12-05 Mediatek Inc. Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
JP6055098B2 (ja) * 2012-09-09 2016-12-27 エルジー エレクトロニクス インコーポレイティド 映像復号方法及びそれを利用する装置
US9124899B2 (en) * 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
US10375405B2 (en) 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
US20140098880A1 (en) 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
WO2014089727A1 (en) * 2012-12-14 2014-06-19 Qualcomm Incorporated Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
US9532057B2 (en) 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US10194146B2 (en) * 2013-03-26 2019-01-29 Qualcomm Incorporated Device and method for scalable coding of video information
CN105432083B (zh) * 2013-04-15 2020-01-07 卢卡·罗萨托 混合向后兼容的信号编码和解码的方法和系统
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
JP2015146599A (ja) * 2015-03-11 2015-08-13 インテル コーポレイション レイヤ間画素サンプル予測
JP6769231B2 (ja) * 2016-10-17 2020-10-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR20060063614A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9206860D0 (en) * 1992-03-27 1992-05-13 British Telecomm Two-layer video coder
JPH07212761A (ja) * 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置
WO2002033952A2 (en) * 2000-10-11 2002-04-25 Koninklijke Philips Electronics Nv Spatial scalability for fine granular video encoding
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
EP1442601A1 (en) * 2001-10-26 2004-08-04 Koninklijke Philips Electronics N.V. Method and appartus for spatial scalable compression
US7062096B2 (en) * 2002-07-29 2006-06-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system
WO2004114672A1 (en) * 2003-06-19 2004-12-29 Thomson Licensing S.A. Method and apparatus for low-complexity spatial scalable encoding
US20060193384A1 (en) * 2003-06-19 2006-08-31 Boyce Jill M Method and apparatus for low-complexity spatial scalable decoding
KR100754388B1 (ko) * 2003-12-27 2007-08-31 삼성전자주식회사 레지듀 영상 다운/업 샘플링 방법 및 장치와 그를 이용한영상 부호화/복호화 방법 및 장치
US8045614B2 (en) * 2005-05-11 2011-10-25 Dolby Laboratories Licensing Corporation Quantization control for variable bit depth
KR101014667B1 (ko) * 2004-05-27 2011-02-16 삼성전자주식회사 스케일러블 동영상 인코딩, 디코딩 장치 및 그 방법
EP1800494A1 (en) * 2004-10-13 2007-06-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100678907B1 (ko) * 2005-07-12 2007-02-06 삼성전자주식회사 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR20060063614A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법

Also Published As

Publication number Publication date
WO2008071037A1 (en) 2008-06-19
US20100008418A1 (en) 2010-01-14
KR20090098823A (ko) 2009-09-17
EP2092748A4 (en) 2011-01-05
US8428129B2 (en) 2013-04-23
EP2092748A1 (en) 2009-08-26
CN101601299A (zh) 2009-12-09
JP2010512699A (ja) 2010-04-22
JP5036826B2 (ja) 2012-09-26

Similar Documents

Publication Publication Date Title
KR101307050B1 (ko) 비트 심도 스케일러빌리티를 위하여 인핸스먼트 계층 레시듀얼 예측을 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치
EP2092747B1 (en) Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
KR101454495B1 (ko) 공간 및 비트 심도 예측을 위하여 적응적 예측 순서를 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치
JP5383674B2 (ja) ビット深さスケーラビリティのために向上層残差予測を使ってビデオ・データをエンコードおよび／またはデコードする方法および装置
EP2051529B1 (en) Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
EP1933563A1 (en) Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
KR101365597B1 (ko) 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
EP1933565A1 (en) Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
McNeely et al. “Voodoo” error prediction for bit-depth scalable video coding
Park Combined scalability coding based on the scalable extension of H. 264/AVC

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160804

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 7