KR101492302B1 - 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들 - Google Patents

스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들 Download PDF

Info

Publication number
KR101492302B1
KR101492302B1 KR1020107010670A KR20107010670A KR101492302B1 KR 101492302 B1 KR101492302 B1 KR 101492302B1 KR 1020107010670 A KR1020107010670 A KR 1020107010670A KR 20107010670 A KR20107010670 A KR 20107010670A KR 101492302 B1 KR101492302 B1 KR 101492302B1
Authority
KR
South Korea
Prior art keywords
block
bit depth
tone mapping
tone
enhancement layer
Prior art date
Application number
KR1020107010670A
Other languages
English (en)
Other versions
KR20100085106A (ko
Inventor
펭 와인
지안콩 루오
용와잉 가오
유웬 우
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100085106A publication Critical patent/KR20100085106A/ko
Application granted granted Critical
Publication of KR101492302B1 publication Critical patent/KR101492302B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

스케일러블 비디오(scalable video)에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들이 제공된다. 화소 영역(pixel domain)에서 수행되는 역 톤 매핑(inverse tone mapping)을 화상의 블록에 대한 계층간 레시듀 예측(inter-layer residue prediction) 프로세스에 적용함으로써 화상의 블록을 인코딩하기 위한 인코더(200) 또는 화상의 블록을 디코딩하기 위한 디코더(300)를 위한 장치가 기술된다. 화상의 블록을 인코딩(440, 460)하거나 디코딩(540, 560)하기 위한 방법들이 또한 기술되고, 이는 화소 영역에서 수행되는 역 톤 매핑을 화상의 블록에 대한 계층간 레시듀 예측 프로세스에 적용함으로써 수행된다.

Description

스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들{METHODS AND APPARATUS FOR INTER-LAYER RESIDUE PREDICTION FOR SCALABLE VIDEO}
관련 출원에 대한 상호 참조
본 출원은 본 명세서에 그 전체가 참조로서 포함되는, 2007년 10월 15일자로 출원된 미국 특허 가출원 제60/979,956호의 이점을 청구한다. 또한, 본 출원은, 2007년 10월 15일자로 출원된 미국 특허 가출원 제60/979,956호의 이점을 또한 청구하고, 통상적으로 양도되고 본 명세서에 참조로서 포함되며 본 출원과 동시에 출원된 "METHODS AND APPARATUS FOR INTER-LAYER RESIDUE PREDICTION FOR SCALABLE VIDEO"라는 명칭의 대리인 정리 번호 PU080157인 비 가출원에 관한 것이다.
본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고, 보다 구체적으로는 스케일러블 비디오(scalable video)에 대한 계층간 레시듀 예측(inter-layer residue prediction)을 위한 방법들 및 장치들에 관한 것이다.
"색상 깊이" 및/또는 "화소 깊이"라고 바꿔 쓸 수 있는 것으로 알려진 "비트 깊이(bit depth)"는 화소를 보유하는 데 사용되는 비트들의 수를 가리킨다. 비트 깊이는 한 번에 디스플레이될 수 있는 색상들의 최대 수를 결정한다. 최근 몇 년 동안에, 8보다 큰 비트 깊이를 갖는 디지털 이미지들 및/또는 디지털 비디오들이 의료 이미지 처리, 제작 및 후제작(postproduction)에서의 디지털 영화 작업 과정들 및 홈 시어터(home theater) 관련 응용예들 등을 포함하지만 이에 한정되지 않는 많은 응용 분야들에서 더 바람직한 것으로 여겨지고 있다.
예컨대 8비트 비디오와 10비트 비디오의 공존을 취급하기 위한 몇몇 방법들이 존재한다. 첫 번째 종래 기술의 해결책에서는, 10비트 코딩된 비트스트림(bit-stream)만이 송신되고 표준 8비트 디스플레이 장치들을 위한 8비트 표현은 10비트 표현에 톤 매핑(tone mapping) 방법들을 적용함으로써 얻어진다. 톤 매핑은 종종 미디어 내의 높은 동적 범위(high dynamic range) 이미지들의 외양을 보다 한정된 동적 범위로 근사화하도록 더 높은 비트 깊이를 더 낮은 비트 깊이로 변환하기 위한 잘 알려진 기법이다.
두 번째 종래 기술의 해결책에서는, 8비트 코딩된 표현 및 10비트 코딩된 표현을 포함하는 동시 방송(simulcast) 비트스트림이 송신된다. 어느 비트 깊이를 디코딩할지를 선택하는 것은 디코더의 선호(preference)에 따른다. 예컨대, 10비트 가능 디코더는 10비트 비디오를 디코딩 및 출력할 수 있는 반면, 8비트 비디오만을 지원하는 보통의 디코더는 8비트 비디오를 출력할 수 있을 뿐이다.
첫 번째 해결책은 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고(이하 "MPEG-4 AVC 표준")의 8비트 프로파일들과 본래부터 비호환적인 것이다. 두 번째 해결책은 모든 현재의 표준들을 따르지만 보다 많은 오버헤드(overhead)를 필요로 한다. 그러나, 비트 감소와 하위 표준 호환성(backward standard compatibility) 사이의 훌륭한 절충책은 스케일러블(scalable) 해결책일 수 있다. 스케일러블 비디오 코딩(Scalable Video Coding; SVC)은 또한 MPEG-4 AVC 표준의 스케일러블 확장으로 알려져 있으며, 이는 비트 깊이 가변성(scalability)의 지원을 고려한다.
후처리 또는 동시 방송에 비해 비트 깊이 스케일러블 코딩이 갖는 장점은 적어도 세 가지가 있다. 첫 번째 장점은 비트 깊이 스케일러블 코딩이 MPEG-4 AVC 표준의 하이 프로파일들(High Profiles)을 가지고 하위 호환 방식으로 10비트 비디오를 가능하게 한다는 점이다. 두 번째 장점은 비트 깊이 스케일러블 코딩이 상이한 네트워크 대역폭들 또는 장치 역량들에 대한 적응을 가능하게 한다는 점이다. 비트 깊이 스케일러블 코딩의 세 번째 장점은 이것이 낮은 복잡성, 높은 효율 및 높은 유연성을 제공한다는 점이다.
MPEG-4 AVC 표준의 현재의 스케일러블 비디오 코딩 확장에 있어서, 디코딩 복잡성을 줄이도록 단일 루프 디코딩이 지원된다. 인터 코딩된 매크로블록들(inter-coded macroblocks)의, 움직임 보상 예측(motion-compensated prediction) 및 디블로킹(deblocking)을 포함하는 완전한 디코딩은 현재의 공간적 또는 CGS(Coarse Grain Scalable) 계층에 대해서만 요구된다. 이는 계층간 인트라 텍스처(intra texture) 예측을 인트라 매크로블록으로 코딩된 저 계층 화상의 부분들로 제한함으로써 실현된다. 비트 깊이 가변성을 위한 계층간 인트라 텍스처 예측을 확장하기 위해 역 톤 매핑이 사용된다. 스케일러블 비디오 코딩은 또한 계층간 레시듀(residue) 예측을 지원한다. 일반적으로 톤 매핑은 화소(공간) 영역에서 사용되기 때문에, 레시듀 영역에서 대응하는 역 톤 매핑을 찾기는 대단히 어렵다. 세 번째 및 네 번째 종래 기술의 접근법들에서는 비트 이동(bit shift)이 계층간 레시듀 예측을 위해 사용된다.
비트 깊이 가변성 없는 단일 루프 디코딩을 위한 계층간 코딩 효율을 증가시키기 위한 기법인 평활 참조 예측(Smooth Reference Prediction; SRP)이라 일컬어지는 다섯 번째 종래 기술의 접근법에서는, residual_prediction_flag 및 base_mode_flag이라는 구문 요소들(syntax elements)이 둘 다 설정된 경우에 1비트 구문 요소인 smoothed_reference_flag이 송신된다. smoothed_reference_flag이 1인 경우, 재구성된 비디오 블록을 얻기 위해 디코더에서 이하의 단계들이 취해진다.
1. 향상 계층(enhancement layer) 참조 프레임들 및 기본 계층(base layer)으로부터의 업샘플링(upsample)된 움직임 벡터들(motion vectors)을 이용하여 예측 블록 P가 얻어진다.
2. 대응하는 기본 계층 레시듀 블록 rb가 업샘플링되고 U(rb)가 P에 더해져 P+U(rb)를 형성한다.
3. 탭 [1,2,1]을 갖는 평활 필터(smoothing filter)가 수평 방향으로 먼저 적용된 후 수직 방향으로 적용되어 S(P+U(rb))를 얻는다.
4. 향상 계층 레시듀 블록이 (3)에 더해져 재구성 블록 R=S(P+U(rb))+re 를 얻는다.
도 1을 참조하면, 평활 참조 예측을 이용하는 디코더의 일부가 전체적으로 참조 번호 100으로 표시되어 있다.
디코더 부분(100)은 결합기(132)의 제1 비반전 입력과 신호 통신하는 출력을 갖는 움직임 보상기(112)를 포함한다. 결합기(132)의 출력은 스위치(142)의 입력과 신호 통신하도록 접속된다. 스위치(142)의 제1 출력은 결합기(162)의 제1 비반전 입력과 신호 통신하도록 접속된다. 스위치(142)의 제2 출력은 필터(152)의 입력과 신호 통신하도록 접속된다. 필터(152)의 출력은 결합기(162)의 제1 비반전 입력과 신호 통신하도록 접속된다.
참조 프레임 버퍼(122)의 출력은 움직임 보상기(112)의 제1 입력과 신호 통신하도록 접속된다.
움직임 보상기(112)의 제2 입력은 향상 계층 움직임 벡터들을 수신하기 위한, 디코더 부분(100)에 대한 입력으로서 이용 가능하다. 움직임 보상기(112)의 제3 입력은 업샘플링된 기본 계층 움직임 벡터들을 수신하기 위한, 디코더 부분(100)에 대한 입력으로서 이용 가능하다. 결합기(132)의 제2 비반전 입력은 업샘플링된 기본 계층 레시듀를 수신하기 위한, 디코더 부분(100)의 입력으로서 이용 가능하다. 스위치(142)의 제어 입력은 smoothed_reference_flag 구문 요소를 수신하기 위한, 디코더 부분(100)의 입력으로서 이용 가능하다. 결합기(162)의 제2 비반전 입력은 향상 계층 레시듀를 수신하기 위한, 디코더 부분(100)의 입력으로서 이용 가능하다. 결합기(162)의 출력은 재구성된 블록 R을 출력하기 위한, 디코더 부분(100)의 출력으로서 이용 가능하다.
그러나, 이상의 종래 기술의 기법들은 불리하게도 비트 깊이 가변성과 함께 직접적으로 사용될 수 없다.
종래 기술의 위와 같은 그리고 그 밖의 결점들 및 단점들은, 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들에 관한 본 발명의 원리들에 의해 다루어진다.
본 발명의 원리들의 일 태양에 따르면, 일 장치가 제공된다. 상기 장치는 화상의 블록에 대한 계층간 레시듀 예측 프로세스에 역 톤 매핑을 적용함으로써 상기 블록을 인코딩하기 위한 인코더를 포함한다. 역 톤 매핑은 화소 영역에서 수행되어 비트 깊이 가변성을 지원한다.
본 발명의 원리들의 다른 태양에 따르면, 일 방법이 제공된다. 상기 방법은 화상의 블록에 대한 계층간 레시듀 예측 프로세스에 역 톤 매핑을 적용함으로써 상기 블록을 인코딩하는 단계를 포함한다. 역 톤 매핑은 화소 영역에서 수행되어 비트 깊이 가변성을 지원한다.
본 발명의 원리들의 또 다른 태양에 따르면, 일 장치가 제공된다. 상기 장치는 화상의 블록에 대한 계층간 레시듀 예측 프로세스에 역 톤 매핑을 적용함으로써 상기 블록을 디코딩하기 위한 디코더를 포함한다. 역 톤 매핑은 화소 영역에서 수행되어 비트 깊이 가변성을 지원한다.
본 발명의 원리들의 더 추가적인 태양에 따르면, 일 방법이 제공된다. 상기 방법은 화상의 블록에 대한 계층간 레시듀 예측 프로세스에 역 톤 매핑을 적용함으로써 상기 블록을 디코딩하는 단계를 포함한다. 역 톤 매핑은 화소 영역에서 수행되어 비트 깊이 가변성을 지원한다.
본 발명의 원리들의 이러한 그리고 이 밖의 태양들, 특징들 및 장점들은 이하의 예시적인 실시예들에 대한 상세한 설명으로부터 보다 자명해질 것이며, 이는 첨부된 도면들과 관련하여 읽혀져야 한다.
본 발명의 원리들은 이하의 예시적인 도면들에 따라 더 잘 이해될 수 있다.
도 1은 종래 기술에 따른 평활 참조 예측을 이용하는 디코더의 일부에 대한 블록도.
도 2는 본 발명의 원리들의 일 실시예에 따른, 본 발명의 원리들이 적용될 수 있는 예시적인 비디오 인코더에 대한 블록도.
도 3은 본 발명의 원리들의 일 실시예에 따른, 본 발명의 원리들이 적용될 수 있는 예시적인 디코더에 대한 블록도.
도 4는 본 발명의 원리들의 일 실시예에 따른, 비트 깊이 가변성을 위한 계층간 레시듀 예측을 이용하는 인코딩을 위한 예시적인 방법에 대한 흐름도.
도 5는 본 발명의 원리들의 일 실시예에 따른, 비트 깊이 가변성을 위한 계층간 레시듀 예측을 이용하는 디코딩을 위한 예시적인 방법에 대한 흐름도.
본 발명의 원리들은 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들에 관한 것이다.
본 설명은 본 발명의 원리들을 예시한다. 따라서, 본 기술 분야의 당업자는 본 발명의 원리들을 구현하고 그 취지 및 범위 내에 포함되는 다양한 구성들을 이들이 본 명세서에 명시적으로 기술 또는 표시되지 않았더라도 만들어 낼 수 있음을 이해할 것이다.
본 명세서에 언급된 모든 예들 및 조건적인 표현은 독자가 본 발명의 원리들 및 본 발명자(들)에 의해 제공되는 개념들을 이해하여 본 기술 분야를 진전시키는 것을 돕기 위한 교육적인 목적을 위해 의도된 것이며, 본 발명은 이러한 구체적으로 언급된 예들 및 조건들로 제한되지 않는 것으로 해석되어야 한다.
더욱이, 본 명세서에서 본 발명의 원리들, 태양들 및 실시예들과 이들의 구체적인 예들을 언급하는 모든 진술들은 이들의 구조적이고 기능적인 균등물들 모두를 포괄하고자 하는 것이다. 또한, 이러한 균등물들은 현재 알려진 균등물들은 물론 장래에 개발될 균등물들, 즉 구조에 관계없이 동일한 기능을 수행하도록 개발되는 임의의 요소들 모두를 포함하도록 의도된다.
따라서, 예컨대 본 기술 분야의 당업자는 본 명세서에서 제시된 블록도들이 본 발명의 원리들을 구현하는 예시적인 회로의 개념도들을 나타냄을 이해할 것이다. 유사하게, 임의의 흐름 차트들, 흐름도들, 상태 전이도들 및 의사 코드(pseudocode) 등이 컴퓨터 판독 가능 매체에서 실질적으로 표현될 수 있고 따라서 컴퓨터 또는 프로세서가 명시적으로 표시되는지 여부에 관계없이 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스들을 나타냄을 이해할 것이다.
도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어는 물론 적합한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공되는 경우, 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 더욱이 "프로세서" 또는 "제어기"라는 용어를 명시적으로 사용하는 것은, 소프트웨어를 실행시킬 수 있는 하드웨어를 배타적으로 가리키는 것으로 이해하지 않아야 하고, DSP(Digital Signal Processor) 하드웨어, 소프트웨어를 저장하기 위한 ROM, RAM(Random Access Memory) 및 비휘발성 저장 장치를 제한 없이 암시적으로 포함할 수 있다.
다른 하드웨어, 종래의 및/또는 관습적인 하드웨어가 또한 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치들은 개념적인 것일 뿐이다. 이들의 기능은 프로그램 로직의 연산을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호 작용을 통해, 또는 심지어 수동으로 실행될 수 있으며, 문맥으로부터 보다 구체적으로 이해되는 바에 따라 특정한 기법이 구현자에 의해 선택될 수 있다.
본 명세서의 청구항들에 있어서, 지정된 기능을 수행하기 위한 수단으로서 표현된 임의의 요소는 예컨대 a) 그 기능을 수행하는 회로 요소들의 결합 또는 b) 임의의 형태의 소프트웨어(따라서 그 소프트웨어를 실행하여 상기 기능을 수행하기 위한 적합한 회로와 결합된 펌웨어나 마이크로코드 등을 포함함)를 포함하는, 그 기능을 수행하는 임의의 방식을 포괄하고자 하는 것이다. 이러한 청구항들에 의해 정의되는 바와 같은 본 발명의 원리들은, 다양한 언급된 수단들에 의해 제공되는 기능들이 상기 청구항들이 요구하는 방식으로 결합되고 합쳐진다는 사실에 존재한다. 따라서 이러한 기능들을 제공할 수 있는 임의의 수단들은 본 명세서에 나타낸 것들과 동등한 것으로 간주된다.
본 명세서에서 본 발명의 원리들의 "일 실시예" 또는 "하나의 실시예"를 지칭함은 그 실시예와 관련하여 기술된 특정한 특징, 구조 및 특성 등이 본 발명의 원리들의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 위치들에서 나타나는 "일 실시예에서" 또는 "하나의 실시예에서"라는 문구가 나타나는 것은 반드시 모두 동일한 실시예를 가리키는 것은 아니다. 더욱이, "다른 실시예에서"라는 문구는 기술된 실시예의 주제 대상이 다른 실시예와 전체적으로 또는 부분적으로 결합되는 것을 배제하지 않는다.
예컨대 "A 및/또는 B"와 "A 및 B 중 적어도 하나"와 같은 경우에 "및/또는"과 "중 적어도 하나"라는 용어들을 사용하는 것은 처음 열거된 옵션(A)만의 선택, 또는 두 번째 열거된 옵션(B)만의 선택, 또는 두 옵션들 모두(A 및 B)의 선택을 포괄하고자 하는 것이다. 추가적인 예로서, "A, B 및/또는 C"와 "A, B 및 C 중 적어도 하나"와 같은 경우에, 이러한 문구들은 처음 열거된 옵션(A)만의 선택, 또는 두 번째 열거된 옵션(B)만의 선택, 또는 세 번째 열거된 옵션(C)만의 선택, 또는 처음과 두 번째 열거된 옵션들(A 및 B)만의 선택, 또는 처음과 세 번째 열거된 옵션들(A 및 C)만의 선택, 또는 두 번째와 세 번째 열거된 옵션들(B 및 C)만의 선택, 또는 세 옵션들 모두(A 및 B 및 C)의 선택을 포괄하고자 하는 것이다. 본 기술 분야 및 관련 기술 분야의 당업자가 쉽게 알 수 있는 바처럼, 이는 많은 항목이 열거되는 경우에 대해서 확장될 수 있다.
더욱이, 본 발명의 원리들의 하나 이상의 실시예들이 MPEG-4 AVC 표준의 스케일러블 비디오 코딩 확장에 대하여 본 명세서에 기술되어 있지만, 본 발명의 원리들은 이러한 확장 및/또는 이러한 표준으로만 한정되는 것이 아니므로 본 발명의 원리들의 취지를 유지하면서 다른 비디오 코딩 표준들, 권고들(recommendations) 및 이들의 확장들에 대하여 사용될 수 있음을 이해할 것이다.
또한, 본 명세서의 이하의 설명은 고 비트 비디오의 하나 이상의 예들에 대하여 10비트 비디오를 사용하지만, 본 발명의 원리들은 예컨대 12비트 및 14비트 등을 포함하지만 이에 한정되지 않는 8보다 큰 임의의 수의 비트들에 적용될 수 있음을 이해할 것이다.
본 명세서에서 사용되는 바처럼, "고수준 구문(high level syntax)"은 매크로블록 계층보다 계층적으로 높게 자리하는 비트스트림에 존재하는 구문을 가리킨다. 예컨대, 본 명세서에서 사용되는 바처럼, 고수준 구문은 슬라이스 헤더(slice header) 수준, 부가 향상 정보(Supplemental Enhancement Information; SEI) 수준, 화상 파라미터 집합(Picture Parameter Set; PPS) 수준, 시퀀스 파라미터 집합(Sequence Parameter Set; SPS) 수준 및 네트워크 추상화 계층(Network Abstraction Layer; NAL) 유닛 헤더 수준에서의 구문을 가리킬 수 있으나, 이에 한정되지 않는다.
앞서 주목한 바처럼, 본 발명의 원리들은 스케일러블 비디오에 대한 계층간 레시듀 예측(inter-layer residue prediction)을 위한 방법들 및 장치들에 관한 것이다.
도 2를 살펴보면, 본 발명의 원리들이 적용될 수 있는 예시적인 비디오 인코더가 전체적으로 참조 번호 200으로 표시되어 있다.
인코더(200)는 변환기(transformer)(210)의 입력과 신호 통신하는 출력을 갖는 결합기(205)를 포함한다. 변환기(210)의 출력은 양자화기(215)의 입력과 신호 통신하도록 접속된다. 양자화기의 출력은 엔트로피 코더(220)의 제1 입력과 역양자화기(225)의 입력과 신호 통신하도록 접속된다. 역양자화기(225)의 출력은 역변환기(230)의 입력과 신호 통신하도록 접속된다. 역변환기(230)의 출력은 결합기(235)의 제1 비반전 입력과 신호 통신하도록 접속된다. 결합기(235)의 출력은 루프 필터(240)의 입력과 신호 통신하도록 접속된다. 루프 필터(240)의 출력은 움직임 추정기 및 계층간 예측 결정기(245)의 제1 입력과 신호 통신하도록 접속된다. 움직임 추정기 및 계층간 예측 결정기(245)의 출력은 엔트로피 코더(220)의 제2 입력과 움직임 보상기(255)의 입력과 신호 통신하도록 접속된다. 움직임 보상기(255)의 출력은 톤 매퍼(a tone mapper)(260)의 입력과 신호 통신하도록 접속된다. 톤 매퍼(260)의 출력은 결합기(270)의 제1 비반전 입력과 신호 통신하도록 접속된다. 결합기(270)의 출력은 평활 필터(a smooth filter)(275)의 입력과 신호 통신하도록 접속된다. 평활 필터(275)의 출력은 역 톤 매퍼(280)의 입력과 신호 통신하도록 접속된다. 역 톤 매퍼(280)의 출력은 결합기(235)의 제2 비반전 입력과 결합기(205)의 반전 입력과 신호 통신하도록 접속된다. 업샘플러(250)의 출력은 움직임 추정기 및 계층간 예측 결정기(245)의 제2 입력과 신호 통신하도록 접속된다. 업샘플러(265)의 출력은 결합기(270)의 제2 비반전 입력과 신호 통신하도록 접속된다.
결합기(205)의 입력은 고 비트 깊이 화상들을 수신하기 위한, 인코더(200)의 입력으로서 이용 가능하다. 업샘플러(250)의 입력은 기본 계층 움직임 벡터를 수신하기 위한, 인코더(200)의 입력으로서 이용 가능하다. 업샘플러(265)의 입력은 저 비트 깊이 기본 계층 레시듀를 수신하기 위한, 인코더(200)의 입력으로서 이용 가능하다. 엔트로피 코더(220)의 출력은 비트스트림을 출력하기 위한, 인코더(200)의 출력으로서 이용 가능하다.
도 3을 살펴보면, 본 발명의 원리들이 적용될 수 있는 예시적인 디코더가 전체적으로 참조 번호 300으로 표시되어 있다.
디코더(300)는 역양자화기(310)의 입력과 신호 통신하는 제1 출력을 갖는 엔트로피 디코더(305)를 포함한다. 역양자화기(310)의 출력은 역변환기(315)의 입력과 신호 통신하도록 접속된다. 역변환기(315)의 출력은 결합기(320)의 제1 비반전 입력과 신호 통신하도록 접속된다.
엔트로피 디코더(305)의 제2 출력은 움직임 보상기(325)의 제1 입력과 신호 통신하도록 접속된다. 움직임 보상기(325)의 출력은 톤 매퍼(330)의 입력과 신호 통신하도록 접속된다. 톤 매퍼(330)의 출력은 결합기(335)의 제1 비반전 입력과 신호 통신하도록 접속된다. 결합기(335)의 출력은 평활 필터(340)의 제1 입력과 신호 통신하도록 접속된다. 평활 필터(340)의 출력은 역 톤 매퍼(345)의 입력과 신호 통신하도록 접속된다. 역 톤 매퍼(345)의 출력은 결합기(320)의 제2 비반전 입력과 신호 통신하도록 접속된다.
업샘플러(350)의 출력은 결합기(335)의 제2 비반전 입력과 신호 통신하도록 접속된다. 업샘플러(355)의 출력은 움직임 보상기(325)의 제2 입력과 신호 통신하도록 접속된다.
엔트로피 디코더(305)의 입력은 향상 계층 비트스트림을 수신하기 위한, 디코더(300)에 대한 입력으로서 이용 가능하다. 움직임 보상기(325)의 제3 입력은 복수의 향상 계층 참조 프레임들을 수신하기 위한, 디코더(300)의 입력으로서 이용 가능하다. 평활 참조 필터(340)의 제2 입력은 평활 참조 플래그를 수신하기 위한, 디코더(300)에 대한 입력으로서 이용 가능하다. 업샘플러(350)의 입력은 저 비트 깊이 기본 계층 레시듀를 수신하기 위한, 디코더(300)에 대한 입력으로서 이용 가능하다. 업샘플러(355)의 입력은 기본 계층 움직임 벡터를 수신하기 위한, 디코더(300)에 대한 입력으로서 이용 가능하다. 결합기(320)의 출력은 화상들을 출력하기 위한, 디코더(300)의 출력으로서 이용 가능하다.
비트 깊이 가변성은 장래의 어느 시점에 종래의 8비트 깊이 및 고 비트 깊이 디지털 이미징 시스템들이 동시에 시장에 존재하게 될 것이라는 사실을 고려하면 잠재적으로 유용하다.
본 발명의 원리들의 하나 이상의 실시예에 따르면, 비트 깊이 가변성(bit depth scalability; BDS)에 대한 계층간 레시듀 예측을 위한 새로운 기법들이 제안된다.
비트 깊이 가변성에 있어서, 단일 루프 디코딩이 사용되면, 향상 계층(더 높은 비트 깊이 계층)에서 움직임 보상이 수행되는 경우 계층간 레시듀 예측을 위한 역 톤 매핑을 적용하기가 어렵다. 따라서, 본 발명의 원리들에 따르면, 비트 깊이 가변성의 코딩 효율을 향상시키기 위한 새로운 계층간 레시듀 예측 기법들이 제시된다. 본 발명의 원리들의 하나 이상의 실시예에 따르면, 레시듀 영역에서 계층간 레시듀 예측을 위한 역 톤 매핑을 하는 대신, 계층간 레시듀 예측을 위해 역 톤 매핑 문제를 레시듀 영역으로부터 화소 영역(공간 영역)으로 전환한다.
예시적인 목적을 위해, 하나 이상의 예들이 본 명세서에 제공되며, 이들은 오직 비트 깊이와 단일 루프 디코딩 아키텍처(architecture)의 이용을 고려한다. 그러나, 본 명세서에 제공되는 본 발명의 원리들의 설명들을 고려해 볼 때, 이상의 참조 예들에 대하여 기술된 바와 같은 이러한 원리들은, 본 기술 분야 및 관련 기술 분야의 당업자에 의해 예컨대 비트 깊이 및 공간 가변성 등을 포함하지만 이에 한정되지 않는 결합된 가변성(combined scalability)으로 손쉽게 확장될 수 있음을 이해할 것이다. 또한, 본 발명의 원리들은 다중 루프 디코딩 아키텍처에 손쉽게 적용될 수 있다. 물론, 본 발명의 원리들은 상술한 응용예들 및 변형예들로 한정되지 않으므로, 다른 응용예들 및 변형예들이 또한 본 기술 분야 및 관련 기술 분야의 당업자에 의해 손쉽게 결정되는 바에 따라 본 발명의 원리들의 취지를 유지하면서 본 발명의 원리들에 대하여 이용될 수 있다.
따라서, 일 실시예에서, 계층간 레시듀 예측이 사용되는 경우, 톤 매핑된 움직임 보상 예측값과 기본 계층으로부터의 업샘플링된 레시듀를 더한 후에 역 톤 매핑이 적용된다. 비트 깊이 가변성만을 위한 경우 공간 업샘플링 계수(spatial upsampling factor)는 1이다.
이에 따라, 일 실시예에 따른 인코딩 방법의 일례는 다음과 같다.
1. 향상 계층 참조 프레임들을 이용하여 예측 블록 P가 얻어진 후 기본 계층으로 P를 톤 매핑하여 T(P)를 얻는다.
2. 대응하는 기본 계층 레시듀 블록 rb가 공간적으로 업샘플링되고 U(rb)가 P에 더해져 T(P)+U(rb)를 형성한다.
3. 필터를 이용하여 S(T(P)+U(rb))를 얻는다.
4. 이후 역 톤 매핑을 적용하여 T-1(S(T(P)+U(rb)))를 얻는다.
5. 향상 계층 블록 O로부터 (4)를 빼는 것에 의해 향상 계층 레시듀 블록 re=O-T-1(S(T(P)+U(rb)))이 생성된다.
도 4를 살펴보면, 비트 깊이 가변성을 위한 계층간 레시듀 예측을 이용하는 인코딩을 위한 예시적인 방법이 전체적으로 참조 번호 400으로 표시되어 있다.
방법(400)은 판정 블록(410)으로 제어를 전달하는 시작 블록(405)을 포함한다. 판정 블록(410)은 계층간 움직임 예측을 적용할지 또는 그렇지 않을지 여부를 결정한다. 그러한 경우, 제어는 기능 블록(415)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(425)으로 전달된다.
기능 블록(415)은 기본 계층 움직임 벡터를 이용하고, 제어를 기능 블록(420)에 전달한다. 기능 블록(420)은 기본 계층 움직임 벡터를 업샘플링하고 제어를 기능 블록(430)에 전달한다.
기능 블록(425)은 향상 계층 움직임 벡터를 이용하고, 제어를 기능 블록(430)에 전달한다.
기능 블록(430)은 움직임 보상된 블록 P를 획득하고, 제어를 기능 블록(435)에 전달한다. 기능 블록(435)은 P에 대하여 톤 매핑을 수행하여 저 비트 깊이 예측값 T(P)를 얻고, 제어를 기능 블록(440)에 전달한다. 기능 블록(440)은 기본 계층 텍스처 레시듀 rb를 판독하고, 제어를 기능 블록(445)에 전달한다. 기능 블록(445)은 P'=T(P)+rb를 계산하고, 제어를 판정 블록(450)에 전달한다. 판정 블록(450)은 평활 참조를 적용할지 또는 그렇지 않을지 여부를 결정한다. 그러한 경우, 제어는 기능 블록(455)로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(460)으로 전달된다.
기능 블록(455)은 평활 필터를 P'에 적용하고, 제어를 기능 블록(460)에 전달한다.
기능 블록(460)은 P'에 대하여 역 톤 매핑을 수행하여 고 비트 깊이 예측값 T-1(P')를 얻고, 제어를 기능 블록(465)에 전달한다. 기능 블록(465)은 고 비트 깊이 예측값 T-1(P')로부터 톤 매핑과 역 톤 매핑 연산들 간의 오차값을 빼고, 제어를 기능 블록(470)에 전달한다. 기능 블록(470)은 원래 화상으로부터 T-1(P')을 빼는 것에 의해 향상 계층 레시듀 re(여기에서, re=O-T-1(P'))를 얻고(O는 원래 화상을 나타냄), 제어를 종료 블록(499)에 전달한다.
일 실시예에 따른 디코딩 방법의 일례는 다음과 같다.
1. 향상 계층 참조 프레임들을 이용하여 예측 블록 P가 얻어진 후 기본 계층으로 P를 톤 매핑하여 T(P)를 얻는다.
2. 대응하는 기본 계층 레시듀 블록 rb가 공간적으로 업샘플링되고 U(rb)가 P에 더해져 T(P)+U(rb)를 형성한다.
3. 필터를 이용하여 S(T(P)+U(rb))를 얻는다.
4. 이후 역 톤 매핑을 적용하여 T-1(S(T(P)+U(rb)))를 얻는다.
5. 향상 계측 레시듀 블록이 (4)에 더해져 재구성 블록 R=T-1(S(T(P)+U(rb)))+re를 얻는다.
도 5를 살펴보면, 비트 깊이 가변성을 위한 계층간 레시듀 예측을 이용하는 디코딩을 위한 예시적인 방법이 전체적으로 참조 번호 500으로 표시되어 있다.
방법(500)은 판정 블록(510)으로 제어를 전달하는 시작 블록(505)을 포함한다. 판정 블록(510)은 계층간 움직임 예측 플래그가 참으로 설정되어 있는지 또는 그렇지 않은지 여부를 결정한다. 그러한 경우, 제어는 기능 블록(515)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(525)으로 전달된다.
기능 블록(515)은 기본 계층 움직임 벡터를 판독하여 엔트로피 디코딩하고, 제어를 기능 블록(520)에 전달한다. 기능 블록(520)은 기본 계층 움직임 벡터를 업샘플링하고 제어를 기능 블록(530)에 전달한다.
기능 블록(525)은 향상 계층 움직임 벡터를 판독하여 엔트로피 디코딩하고, 제어를 기능 블록(530)에 전달한다.
기능 블록(530)은 움직임 보상된 블록 P를 획득하고, 제어를 기능 블록(535)에 전달한다. 기능 블록(535)은 P에 대하여 톤 매핑을 수행하여 저 비트 깊이 예측값 T(P)를 얻고, 제어를 기능 블록(540)에 전달한다. 기능 블록(540)은 기본 계층 텍스처 레시듀 rb를 판독하여 엔트로피 디코딩하고, 제어를 기능 블록(545)에 전달한다. 기능 블록(545)은 P'=T(P)+rb를 계산하고, 제어를 판정 블록(550)에 전달한다. 판정 블록(550)은 평활 참조 플래그가 참으로 설정되어 있는지 또는 그렇지 않은지 여부를 결정한다. 그러한 경우, 제어는 기능 블록(555)로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(560)으로 전달된다.
기능 블록(555)은 평활 필터를 P'에 적용하고, 제어를 기능 블록(560)에 전달한다.
기능 블록(560)은 P'에 대하여 역 톤 매핑을 수행하여 고 비트 깊이 예측값 T-1(P')를 얻고, 제어를 기능 블록(565)에 전달한다. 기능 블록(565)은 고 비트 깊이 예측값 T-1(P')에 톤 매핑과 역 톤 매핑 간의 오차값을 더하고, 제어를 기능 블록(567)에 전달한다. 기능 블록(567)은 향상 계층 레시듀 re를 판독하여 엔트로피 디코딩하고, 제어를 기능 블록(570)에 전달한다. 기능 블록(570)은 재구성 블록 R(여기에서, R=T-1(P')+re)를 얻고, 제어를 종료 블록(599)에 전달한다.
계층간 움직임 보상이 사용되지 않는 경우 향상 계층으로부터의 움직임 벡터에 의해, 또는 계층간 움직임 보상이 사용되는 경우 기본 계층으로부터의 업샘플링된 움직임 벡터로부터, 움직임 보상된 블록 P가 생성될 수 있음이 종래 기술에서 주목되었다. 본 발명의 원리들의 일 실시예에 있어서, 이들 두 경우 모두에 대하여 본 발명의 기법들이 사용될 수 있다. 다른 실시예에서, 본 발명의 기법들은 계층간 움직임 예측이 사용되는 경우에만 결합될 수 있다. 계층간 움직임 예측이 사용되지 않는 경우, 제3 및 제4 종래 기술의 접근법들에서 앞서 참조한 바처럼 비트 이동이 레시듀 예측을 위해 적용된다.
또한, 제3 및 제4 종래 기술의 접근법들의 설계들은 전환(switch)될 수 있다. 즉, 필터링을 먼저 수행한 후 역 톤 매핑을 수행할 수 있다. 그 대신, 역 톤 매핑을 먼저 수행한 후 필터링을 수행할 수 있다. 필터는 선형 또는 비선형, 1 디멘젼 또는 2 디멘젼 등일 수 있다. 일례에서, 3탭 필터 [1 2 1]을 먼저 수직으로, 이후 수평으로 사용할 수 있다. 필터는 또한 제3 종래 기술의 절차가 필요하지 않도록 동일할 수 있다.
따라서, 본 발명의 원리들의 일 실시예에 따르면, 톤 매핑과 역 톤 매핑 방법 둘 다를 시그널링(signal)한다. 시그널링은 알고리즘(algorithm) 계산 및/또는 탐색표(look up table) 등을 이용하여 수행될 수 있다. 시그널링은 시퀀스(sequence), 화상, 슬라이스 또는 블록 수준에서 수행될 수 있다. 톤 매핑과 역 톤 매핑은 진정으로 가역적이지는 않기 때문에, 즉 T-1(T)≠I이기 때문에, 오차 I-T- 1(T)를 참작할 수 있다(여기서 I는 동질성(identity)을 의미함). 일례에서 T-1(T(P))≠P이므로 오차 d=P-T- 1(T(P))를 참작할 수 있다. 즉, 인코더에서는 d를 뺀다. 디코더에서는 d를 더한다.
이제 본 발명의 많은 수반하는 장점들/특징들 중 일부의 설명이 제공될 것이며, 이들 중 일부는 앞서 언급되었다. 예컨대 한 가지 장점/특징은 화상의 블록에 대한 계층간 레시듀 예측 프로세스에 역 톤 매핑을 적용함으로써 상기 블록을 인코딩하기 위한 인코더를 갖는 장치이다. 상기 역 톤 매핑은 비트 깊이 가변성을 지원하기 위해 화소 영역에서 수행된다.
다른 장점/특징은 상술된 바와 같은 인코더를 갖는 장치이며, 상기 인코더는 상기 화상의 향상 계층에서 움직임 보상을 수행하여 향상 계층 예측값을 얻고, 상기 향상 계층 예측값에 대하여 상기 화상의 기본 계층으로의 톤 매핑을 수행하여 상기 블록에 대한 톤 매핑된 움직임 보상 저 비트 깊이 예측값을 얻으며, 상기 기본 계층으로부터의 공간적으로 업샘플링된 레시듀를 상기 블록에 대한 상기 톤 매핑된 움직임 보상 저 비트 깊이 예측값에 더하여 합을 얻고, 상기 합에 대하여 상기 향상 계층으로의 상기 역 톤 매핑을 수행하여 상기 블록에 대한 더 높은 비트 깊이 예측값을 얻음으로써 상기 계층간 레시듀 예측 프로세스를 수행한다.
또 다른 장점/특징은 상술된 바와 같은 인코더를 갖는 장치이며, 상기 인코더는 상기 역 톤 매핑을 수행하기에 앞서 평활 필터를 상기 합에 적용함으로써 상기 계층간 레시듀 예측 프로세스를 더 수행한다. 상기 역 톤 매핑은 상기 필터링된 합에 대하여 수행된다.
또 다른 장점/특징은 상술된 바와 같은 인코더를 갖는 장치이며, 고수준 구문 요소 및 블록 수준 구문 요소 중 적어도 하나가 상기 톤 매핑 및 상기 역 톤 매핑 중 임의의 것을 시그널링하는 데 사용된다.
더욱이, 또 다른 장점/특징은 상술된 바와 같은 인코더를 갖는 장치이며, 상기 고수준 구문 요소는 슬라이스 헤더, 시퀀스 파라미터 집합(SPS), 화상 파라미터 집합(PPS), 뷰(view) 파라미터 집합, 네트워크 추상화 계층(NAL) 유닛 헤더 및 부가 향상 정보(SEI) 메시지 중 적어도 하나로 이루어진다.
또한, 또 다른 장점/특징은 상술된 바와 같은 인코더를 갖는 장치이며, 상기 인코더는 상기 톤 매핑과 상기 역 톤 매핑 간의 오차값을 상기 블록에 대한 상기 더 높은 비트 깊이 예측값으로부터 빼는 것에 의해 상기 계층간 레시듀 예측 프로세스를 더 수행한다.
이러한 그리고 그 밖의 본 발명의 원리들의 특징들 및 장점들은 관련 기술 분야의 당업자에 의해 본 명세서의 설명들에 기초하여 손쉽게 확인될 수 있다. 본 발명의 원리들의 설명들은 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서들, 또는 이들의 결합들로 구현될 수 있다.
더욱 바람직하게, 본 발명의 원리들의 설명은 하드웨어와 소프트웨어의 결합으로서 구현된다. 더욱이, 소프트웨어는 프로그램 저장 유닛 상에 유형적으로 구현되는 응용 프로그램으로서 구현될 수 있다. 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 머신에 업로딩되고 그에 의해 실행될 수 있다. 바람직하게, 머신은 하나 이상의 CPU(Central Processing Unit), RAM(Random Access Memory) 및 I/O(Input/Output) 인터페이스들과 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로 명령어 코드(microinstruction code)를 포함할 수 있다. 본 명세서에 기술된 다양한 프로세스들 및 기능들은 CPU에 의해 실행될 수 있는, 마이크로 명령어 코드의 일부 또는 응용 프로그램의 일부 중 하나, 또는 이들의 임의의 결합일 수 있다. 또한, 추가적인 데이터 저장 유닛 및 인쇄 유닛과 같은 다양한 다른 주변 유닛들이 컴퓨터 플랫폼에 접속될 수 있다.
첨부된 도면들에 도시된 구성적인 시스템 구성 요소들 및 방법들 중 일부는 바람직하게 소프트웨어로 구현될 수 있으므로, 시스템 구성요소들 또는 프로세스 기능 블록들 간의 실제 접속은 본 발명의 원리들이 프로그래밍되는 방식에 따라 달라질 수 있음을 더 이해할 것이다. 본 명세서의 설명들을 고려해 볼 때, 관련 기술 분야의 당업자는 본 발명의 원리들의 이러한 그리고 유사한 구현예들 또는 구성들을 예상할 수 있을 것이다.
첨부된 도면들을 참조하여 본 명세서에 예시적인 실시예들이 기술되었지만, 본 발명의 원리들은 이러한 정확한 실시예들에 한정되지 않고, 본 발명의 원리들의 범위 또는 취지로부터 벗어나지 않고 관련 기술 분야의 당업자에 의해 다양한 변경 및 수정이 가해질 수 있음을 이해할 것이다. 이러한 모든 변경 및 수정은 첨부된 청구항들에서 제시되는 바에 따라 본 발명의 원리들의 범위 내에 포함되도록 의도된다.

Claims (15)

  1. 장치로서,
    화소 영역(pixel domain)에서 역 톤 매핑(inverse tone mapping)을 적용함으로써 화상의 블록(a block of a picture)을 인코딩하기 위한 인코더(200)
    를 포함하고,
    상기 인코더(200)는,
    상기 화상의 향상 계층(enhancement layer)에서 움직임 보상을 수행하여 향상 계층 예측값(enhancement layer predicition)을 얻도록 구성된 움직임 보상기,
    상기 향상 계층 예측값에 대하여 톤 매핑을 수행하여 상기 블록에 대한 톤 매핑된 움직임 보상 제1 비트 깊이 예측값을 얻도록 구성된 톤 매퍼,
    상기 화상의 기본 계층으로부터의 공간적으로 업샘플링된 레시듀(residue)를 상기 블록에 대한 상기 톤 매핑된 움직임 보상 제1 비트 깊이 예측값에 더하여 합을 얻도록 구성된 결합기, 및
    상기 합에 대하여 역 톤 매핑을 수행하여 상기 블록에 대한 제2 비트 깊이 예측값을 얻도록 구성된 역 톤 매퍼
    를 포함하고,
    상기 제2 비트 깊이 예측값은 상기 블록에 대한 상기 톤 매핑된 움직임 보상 제1 비트 깊이 예측값보다 더 높은 비트 깊이를 가지는, 장치.
  2. 제1항에 있어서,
    상기 인코더(200)는 또한 상기 역 톤 매핑을 수행하기에 앞서, 평활 필터(smoothing filter)를 상기 합에 적용하고, 상기 역 톤 매핑은 필터링된 합에 대하여 수행되는 장치.
  3. 제1항에 있어서,
    고수준 구문 요소(high level syntax element) 및 블록 수준 구문 요소 중 적어도 하나가 상기 톤 매핑 및 상기 역 톤 매핑 중 적어도 하나를 시그널링하는 데에 사용되는 장치.
  4. 제1항에 있어서,
    상기 인코더(200)는 상기 블록에 대한 상기 제2 비트 깊이 예측값으로부터 오차값을 감산하고, 상기 오차값 d=P-T-1(T(P))이고, 여기서, P는 향상 계층 예측값을 나타내고, T 및 T-1은 각각 톤 매핑 및 역 톤 매핑을 나타내는, 장치.
  5. 제1항에 있어서,
    상기 역 톤 매핑은 비트 깊이 가변성(bit depth scalability)을 지원하기 위해 상기 화소 영역에서 수행되는 장치.
  6. 화소 영역에서 역 톤 매핑을 적용함으로써 화상의 블록을 인코딩하는 단계
    를 포함하고,
    상기 인코딩하는 단계는,
    상기 화상의 향상 계층에서 움직임 보상을 수행하여 향상 계층 예측값을 얻는 단계(430);
    상기 향상 계층 예측값에 대하여 톤 매핑을 수행하여 상기 블록에 대한 톤 매핑된 움직임 보상 제1 비트 깊이 예측값을 얻는 단계(435);
    기본 계층으로부터의 공간적으로 업샘플링된 레시듀를 상기 블록에 대한 상기 톤 매핑된 움직임 보상 제1 비트 깊이 예측값에 더하여 합을 얻는 단계(440, 445); 및
    상기 합에 대하여 상기 역 톤 매핑을 수행하여 상기 블록에 대한 제2 비트 깊이 예측값을 얻는 단계(460)
    를 포함하고,
    상기 제2 비트 깊이 예측값은 상기 톤 매핑된 움직임 보상 제1 비트 깊이 예측값보다 더 높은 비트 깊이를 가지는, 방법.
  7. 제6항에 있어서,
    상기 인코딩하는 단계는, 상기 역 톤 매핑을 수행하는 단계에 앞서, 평활 필터를 상기 합에 적용하는 단계를 더 포함하고, 상기 역 톤 매핑은 필터링된 합에 대하여 수행(455)되는 방법.
  8. 제6항에 있어서,
    고수준 구문 요소 및 블록 수준 구문 요소 중 적어도 하나가 상기 톤 매핑 및 상기 역 톤 매핑 중 적어도 하나를 시그널링하는(435, 460)데에 사용되는 방법.
  9. 제6항에 있어서,
    상기 인코딩하는 단계는 상기 블록에 대한 상기 제2 비트 깊이 예측값으로부터 오차값을 감산하는 단계(465)를 더 포함하고, 상기 오차값 d=P-T-1(T(P))이고, 여기서, P는 향상 계층 예측값을 나타내고, T 및 T-1은 각각 톤 매핑 및 역 톤 매핑을 나타내는 방법.
  10. 제6항에 있어서,
    상기 역 톤 매핑은 비트 깊이 가변성을 지원하기 위해 상기 화소 영역에서 수행되는 방법.
  11. 인코딩된 비디오 데이터를 갖는 컴퓨터 판독가능 저장 매체로서,
    화소 영역에서 역 톤 매핑을 적용함으로써 인코딩되는 화상의 블록을 포함하고,
    상기 블록은,
    상기 화상의 향상 계층에서 움직임 보상을 수행하여 향상 계층 예측값을 얻는 단계(430);
    상기 향상 계층 예측값에 대하여 톤 매핑을 수행하여 상기 블록에 대한 톤 매핑된 움직임 보상 제1 비트 깊이 예측값을 얻는 단계(435);
    기본 계층으로부터의 공간적으로 업샘플링된 레시듀를 상기 블록에 대한 상기 톤 매핑된 움직임 보상 제1 비트 깊이 예측값에 더하여 합을 얻는 단계(440, 445); 및
    상기 합에 대하여 상기 역 톤 매핑을 수행하여 상기 블록에 대한 제2 비트 깊이 예측값을 얻는 단계(460)
    에 의해 인코딩되고,
    상기 제2 비트 깊이 예측값은 상기 톤 매핑된 움직임 보상 제1 비트 깊이 예측값보다 더 높은 비트 깊이를 가지는, 컴퓨터 판독가능 저장 매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020107010670A 2007-10-15 2008-10-14 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들 KR101492302B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US97995607P 2007-10-15 2007-10-15
US60/979,956 2007-10-15
PCT/US2008/011712 WO2009051694A2 (en) 2007-10-15 2008-10-14 Methods and apparatus for inter-layer residue prediction for scalable video

Publications (2)

Publication Number Publication Date
KR20100085106A KR20100085106A (ko) 2010-07-28
KR101492302B1 true KR101492302B1 (ko) 2015-02-23

Family

ID=40493616

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020107010670A KR101492302B1 (ko) 2007-10-15 2008-10-14 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들
KR1020107008155A KR101436671B1 (ko) 2007-10-15 2008-10-14 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020107008155A KR101436671B1 (ko) 2007-10-15 2008-10-14 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들

Country Status (8)

Country Link
US (2) US8537894B2 (ko)
EP (2) EP2206350B1 (ko)
JP (2) JP5534521B2 (ko)
KR (2) KR101492302B1 (ko)
CN (2) CN101822055B (ko)
BR (2) BRPI0818648A2 (ko)
TW (2) TWI528831B (ko)
WO (2) WO2009051692A2 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184693B2 (en) * 2008-04-11 2012-05-22 Intel Corporation Adaptive filtering for bit-depth scalable video codec
PL2835976T3 (pl) * 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
KR101660558B1 (ko) * 2009-02-03 2016-09-27 톰슨 라이센싱 비트 깊이 스케일리빌리티에서 스무드 참조 프레임에 의한 모션 보상을 하는 방법들 및 장치
US8867616B2 (en) 2009-02-11 2014-10-21 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
JP5237212B2 (ja) * 2009-07-09 2013-07-17 キヤノン株式会社 画像処理装置、画像処理方法
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
EP2697971B1 (en) 2011-04-14 2015-07-08 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
WO2012148883A1 (en) 2011-04-25 2012-11-01 Dolby Laboratories Licensing Corporation Non-linear vdr residual quantizer
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
WO2013081615A1 (en) * 2011-12-01 2013-06-06 Intel Corporation Motion estimation methods for residual prediction
TWI606718B (zh) * 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
EP2842322A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9219913B2 (en) 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
JP6060394B2 (ja) * 2012-06-27 2017-01-18 インテル・コーポレーション クロスレイヤー・クロスチャネル残差予測
US9854259B2 (en) 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
EP2870757A1 (en) 2012-07-09 2015-05-13 VID SCALE, Inc. Codec architecture for multiple layer video coding
US9277212B2 (en) * 2012-07-09 2016-03-01 Qualcomm Incorporated Intra mode extensions for difference domain intra prediction
CA2807404C (en) * 2012-09-04 2017-04-04 Research In Motion Limited Methods and devices for inter-layer prediction in scalable video compression
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
US10085017B2 (en) 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
CN104854872B (zh) * 2012-12-13 2018-07-20 索尼公司 发送装置、传输方法、接收装置以及接收方法
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
CN116366835A (zh) 2013-01-04 2023-06-30 Ge视频压缩有限责任公司 高效可伸缩编码概念
WO2014161355A1 (en) * 2013-04-05 2014-10-09 Intel Corporation Techniques for inter-layer residual prediction
KR102327617B1 (ko) 2013-04-08 2021-11-17 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
CN105393280A (zh) * 2013-05-23 2016-03-09 汤姆逊许可公司 对视频序列进行色调映射的方法
US9497473B2 (en) * 2013-10-03 2016-11-15 Qualcomm Incorporated High precision explicit weighted prediction for video coding
CN105850126B (zh) 2013-12-24 2019-03-26 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
CN111314694B (zh) * 2013-12-27 2023-05-05 索尼公司 图像处理装置及方法
KR20150110295A (ko) * 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
JP6510039B2 (ja) * 2014-10-02 2019-05-08 ドルビー ラボラトリーズ ライセンシング コーポレイション ジャダー可視性制御のためのデュアルエンドメタデータ
EP3076669A1 (en) * 2015-04-03 2016-10-05 Thomson Licensing Method and apparatus for generating color mapping parameters for video encoding
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259729A1 (en) 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US20060083308A1 (en) 2004-10-15 2006-04-20 Heiko Schwarz Apparatus and method for generating a coded video sequence and for decoding a coded video sequence by using an intermediate layer residual value prediction
JP2007243942A (ja) 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004045217A1 (en) * 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
US7295345B2 (en) * 2003-04-29 2007-11-13 Eastman Kodak Company Method for calibration independent defect correction in an imaging system
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259729A1 (en) 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US20060083308A1 (en) 2004-10-15 2006-04-20 Heiko Schwarz Apparatus and method for generating a coded video sequence and for decoding a coded video sequence by using an intermediate layer residual value prediction
JP2007243942A (ja) 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム

Also Published As

Publication number Publication date
KR20100085106A (ko) 2010-07-28
KR101436671B1 (ko) 2014-09-02
BRPI0817769A2 (pt) 2015-03-24
WO2009051694A2 (en) 2009-04-23
EP2206349B1 (en) 2015-03-11
WO2009051692A3 (en) 2009-06-04
CN101822055B (zh) 2013-03-13
JP5534521B2 (ja) 2014-07-02
TWI422231B (zh) 2014-01-01
EP2206349A2 (en) 2010-07-14
EP2206350B1 (en) 2015-03-04
US8385412B2 (en) 2013-02-26
TW200935913A (en) 2009-08-16
CN101822059B (zh) 2012-11-28
KR20100081988A (ko) 2010-07-15
US20100208810A1 (en) 2010-08-19
JP5534522B2 (ja) 2014-07-02
JP2011501563A (ja) 2011-01-06
WO2009051692A2 (en) 2009-04-23
BRPI0818648A2 (pt) 2015-04-07
CN101822055A (zh) 2010-09-01
JP2011501564A (ja) 2011-01-06
CN101822059A (zh) 2010-09-01
EP2206350A2 (en) 2010-07-14
TW200935914A (en) 2009-08-16
US20100208809A1 (en) 2010-08-19
US8537894B2 (en) 2013-09-17
WO2009051694A3 (en) 2009-06-04
TWI528831B (zh) 2016-04-01

Similar Documents

Publication Publication Date Title
KR101492302B1 (ko) 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들
JP5409640B2 (ja) ビット深度スケーラビリティのためのアーティファクト除去のための方法及び装置
US8867616B2 (en) Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
US9681142B2 (en) Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 6