KR101740741B1 - 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법 및 장치 - Google Patents

톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101740741B1
KR101740741B1 KR1020117021262A KR20117021262A KR101740741B1 KR 101740741 B1 KR101740741 B1 KR 101740741B1 KR 1020117021262 A KR1020117021262 A KR 1020117021262A KR 20117021262 A KR20117021262 A KR 20117021262A KR 101740741 B1 KR101740741 B1 KR 101740741B1
Authority
KR
South Korea
Prior art keywords
tone
prediction
base layer
bit depth
mapping function
Prior art date
Application number
KR1020117021262A
Other languages
English (en)
Other versions
KR20110115172A (ko
Inventor
지안콩 루오
잔 마
펭 인
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110115172A publication Critical patent/KR20110115172A/ko
Application granted granted Critical
Publication of KR101740741B1 publication Critical patent/KR101740741B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법들 및 장치들이 제공된다. 장치는 톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 일부에 대한 픽처 데이터를 인코딩하기 위한 인코더(100)를 포함한다. 톤 매핑 함수 및 톤 역매핑 함수는 비트 심도 스케일러빌리티를 위해 계층간 잉여 예측의 잉여 도메인으로부터 픽셀 도메인으로의 변환을 수행하는 동안에 동일한 비트 심도 표현을 유지한다.

Description

톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법 및 장치{METHODS AND APPARATUS FOR BIT DEPTH SCALABLE VIDEO ENCODING AND DECODING UTILIZING TONE MAPPING AND INVERSE TONE MAPPING}
<관련 출원들의 상호 참조>
본 출원은, 본 명세서에 그 전체가 참고로 반영된, 2009년 2월 11일자로 출원된 미국 가출원 제61/151,569호의 이익을 주장한다.
<기술 분야>
본 발명의 원리들은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로서, 구체적으로는 톤 매핑(tone mapping) 및 톤 역매핑(inverse tone mapping)을 이용하는 비트 심도 스케일링 가능(bit depth scalable) 비디오 인코딩 및 디코딩을 위한 방법들 및 장치들에 관한 것이다.
최근에, 예를 들어 의료 이미지 처리, 제작시 및 제작 후의 디지털 시네마 작업 흐름, 홈 씨어터(home theater) 관련 응용 등과 같은 많은 응용 분야에서는 8보다 큰 비트 심도를 갖는 디지털 이미지들/비디오들이 더욱더 바람직하다. 비트 심도 스케일러빌리티는 미래에 언젠가는 기존의 8 비트 심도 및 더 높은 비트 심도의 디지털 이미징 시스템들이 동시에 존재할 것이라는 사실을 고려할 때 잠재적으로 유용하다. 8 비트 비디오 및 10 비트 비디오의 공존을 처리하기 위한 여러 가지 방법이 존재한다. 종래의 제1 솔루션에서는, 10 비트 코딩된 비트스트림만이 전송되며, 10 비트 프레젠테이션에 톤 매핑 방법들을 적용함으로써 표준 8 비트 디스플레이 장치용의 8 비트 표현이 얻어진다. 종래 기술의 제2 솔루션에서는, 8 비트 코딩된 프레젠테이션 및 10 비트 코딩된 프레젠테이션을 포함하는 시멀캐스트(simulcast) 비트스트림이 전송된다. 어떠한 비트 심도를 디코딩할지를 선택하는 것은 디코더의 선호이다. 예컨대, 10 비트 가능 디코더는 10 비트 비디오를 디코딩하여 출력할 수 있는 반면, 8 비트만을 지원하는 통상의 디코더는 8 비트 비디오만을 출력할 수 있다. 종래 기술의 제1 솔루션은 본질적으로 국제 표준화 기구/국제 전기기술 위원회(ISO/IEC) 동영상 전문가 그룹-4(MPEG-4) 파트 10 고급 비디오 코딩(AVC) 표준/국제 통신 협회, 통신 분과(ITU-T) H.264 권고안(이하, "MPEG-4 AVC 표준")의 8 비트 프로파일들을 원래 준수하지 않는다. 종래 기술의 제2 솔루션은 현재의 모든 표준들에 따르지만, 더 많은 오버헤드를 필요로 한다. 그러나, 비트 감소와 하위 표준 호환성 간의 양호한 절충책은 스케일링 가능한 솔루션일 수 있다. MPEG-4 AVC 표준의 스케일링 가능한 확장으로도 알려진 스케일링 가능 비디오 코딩(SVC)은 비트 심도 스케일러빌리티의 지원을 고려하고 있다. 후처리 또는 시멀캐스트를 능가하는 비트 심도 스케일링 가능 코딩의 적어도 세 가지 이점이 존재한다. 한 가지 이점은 비트 심도 스케일링 가능 코딩이 MPEG-4 AVC 표준의 높은 프로파일들과 하위 호환 가능한 방식으로 10 비트 비디오를 가능하게 한다는 점이다. 두 번째 이점은 비트 심도 스케일링 가능 코딩이 상이한 네트워크 대역폭들 또는 장치 능력들에 대한 적응을 가능하게 한다는 점이다. 세 번째 이점은 비트 심도 스케일링 가능 코딩이 낮은 복잡성, 높은 효율 및 높은 유연성을 제공한다는 점이다.
MPEG -4 AVC SVC 확장
MPEG-4 AVC 표준의 SVC 확장의 현재 버전에서는, 디코딩 복잡성을 줄이기 위해 단일 루프 디코딩이 지원된다. 인터-코딩된(inter-coded) 매크로블록들의 모션 보상된 예측 및 디블록킹을 포함하는 완전한 디코딩은 현재의 공간 또는 CGS(coarse-grain scalability) 계층에 대해서만 요구된다. 이것은 계층간 인트라 텍스처 예측을 인트라 매크로블록들과 함께 코딩되는 하위 계층 픽처의 부분들로 제한함으로써 실현된다. 비트 심도 스케일러빌리티를 위해 계층간 인트라 텍스처 예측을 확장하기 위해 톤 역매핑이 이용된다. SVC는 계층간 잉여 예측(inter-layer residue prediction)도 지원한다. 톤 매핑은 통상적으로 픽셀 도메인에서 이용되므로, 잉여 도메인에서 대응하는 톤 역매핑을 찾는 것은 매우 어렵다. 종래 기술의 제3 및 제4 접근법들에서는, 계층간 잉여 예측을 위해 비트 시프트가 이용된다.
이하 종래 기술의 제3 접근법이라고도 하는 MPEG-4 AVC 표준의 SVC 확장의 조인트 드래프트 8(JD8)에서는, 평탄 기준 예측(SRP)이라고 하는 기술이 제안된다. 신택스 요소들 residual_prediction_flag 및 base_mode_flag가 모두 설정된 때 1 비트 신택스 요소 smoothed_reference_flag가 전송된다. smoothed_reference_flag = 1일 때, 디코더에서 아래의 단계들을 수행하여, 재구성된 비디오 블록을 얻는다.
1. 향상 계층 기준 프레임들 및 베이스 계층으로부터의 업샘플링된 모션 벡터들을 이용하여 예측 블록(P)을 얻는다.
2. 대응하는 베이스 계층 잉여 블록(rb)을 업샘플링하고, U(rb)를 P에 더하여, P + U(rb)를 형성한다.
3. 탭 [1,2,1]을 갖는 평탄화 필터를 수평 방향에 먼저 적용한 후에 수직 방향에 적용하여, S(P + U(rb))를 얻는다.
4. 향상 계층 잉여 블록을 바로 이전 단계 (3)의 결과에 더하여, 재구성 블록 R = S(P + U(rb)) + re를 얻는다.
게다가, 종래 기술의 제4 접근법은 비트 심도 스케일러빌리티(BDS)를 위한 계층간 잉여 예측을 위한 기술들을 제안한다. 종래 기술의 제4 접근법은 계층간 잉여 예측을 위해 톤 역매핑 문제를 잉여 도메인으로부터 픽셀 도메인으로 변환한다. 계층간 잉여 예측이 이용되는 경우, 톤 역매핑은 톤 매핑된 모션 보상 예측과 베이스 계층으로부터의 업샘플링된 잉여의 합에 적용된다. 계층간 잉여 예측이 이용될 때, 디코더에서 다음 단계들을 수행하여, 재구성된 비디오 블록을 얻는다.
1. 향상 계층 기준 프레임들을 이용하여 예측 블록(P)을 얻은 후에, P를 베이스 계층 비트 심도로 톤 매핑하여 T(P)를 얻는다.
2. 대응하는 베이스 계층 잉여 블록(rb)을 공간적으로 업샘플링하고, U(rb)를 P에 더하여, T(P) + U(rb)를 형성한다.
3. 필터를 이용하여 S(T(P) + U(rb))를 얻는다.
4. 이어서, 톤 역매핑을 적용하여, T-1(S(T(P) + U(rb)))를 얻는다.
5. 향상 계층 잉여 블록을 바로 이전 단계 (4)의 결과에 더하여, 재구성 블록 R = T-1(S(T(P) + U(rb)) + re를 얻는다.
이러한 접근법을 이용하여, 예측 블록(P)을 베이스 계층 비트 심도로 톤 매핑한 후, 향상 계층 비트 심도로 다시 톤 역매핑한다. 베이스 계층은 더 낮은 비트 심도를 가지므로, 이러한 변환은 양자화 에러를 유발할 것이다.
따라서, 전술한 종래 기술의 솔루션들 모두는 단점을 갖는다. 예를 들어, 종래 기술의 제3 접근법은 톤 매핑 및 톤 역매핑 동작들의 결여로 인해 향상 및 베이스 계층들에서의 상이한 비트 심도들을 처리하지 못한다. 더욱이, 종래 기술의 제4 접근법은 양자화 에러를 유발한다.
종래 기술의 이들 및 다른 결함들 및 단점들은 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법들 및 장치들에 관한 본 발명의 원리들에 의해 해결된다.
본 발명의 원리들의 일 양태에 따르면, 장치가 제공된다. 이 장치는 톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 일부에 대한 픽처 데이터를 인코딩하기 위한 인코더를 포함한다. 톤 매핑 함수 및 톤 역매핑 함수는 비트 심도 스케일러빌리티를 위해 계층간 잉여 예측의 잉여 도메인으로부터 픽셀 도메인으로의 변환을 수행하는 동안에 동일한 비트 심도 표현을 유지한다.
본 발명의 원리들의 다른 양태에 따르면, 방법이 제공된다. 이 방법은 톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 일부에 대한 픽처 데이터를 인코딩하는 단계를 포함한다. 톤 매핑 함수 및 톤 역매핑 함수는 비트 심도 스케일러빌리티를 위해 계층간 잉여 예측의 잉여 도메인으로부터 픽셀 도메인으로의 변환을 수행하는 동안에 동일한 비트 심도 표현을 유지한다.
본 발명의 원리들의 또 다른 양태에 따르면, 장치가 제공된다. 이 장치는 톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 일부에 대한 픽처 데이터를 디코딩하기 위한 디코더를 포함한다. 톤 매핑 함수 및 톤 역매핑 함수는 비트 심도 스케일러빌리티를 위해 계층간 잉여 예측의 잉여 도메인으로부터 픽셀 도메인으로의 변환을 수행하는 동안에 동일한 비트 심도 표현을 유지한다.
본 발명의 원리들의 또 다른 양태에 따르면, 방법이 제공된다. 이 방법은 톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 일부에 대한 픽처 데이터를 디코딩하는 단계를 포함한다. 톤 매핑 함수 및 톤 역매핑 함수는 비트 심도 스케일러빌리티를 위해 계층간 잉여 예측의 잉여 도메인으로부터 픽셀 도메인으로의 변환을 수행하는 동안에 동일한 비트 심도 표현을 유지한다.
본 발명의 원리들의 이들 및 다른 양태들, 특징들 및 이점들은 첨부 도면들과 관련하여 읽혀질 아래의 예시적인 실시예들에 대한 상세한 설명으로부터 명백해질 것이다.
본 발명의 원리들은 아래의 예시적인 도면들에 따라 더 잘 이해될 수 있다.
도 1은 본 발명의 원리들의 일 실시예에 따른, 본 발명의 원리들이 적용될 수 있는 예시적인 비디오 인코더를 나타내는 블록도이다.
도 2는 본 발명의 원리들의 일 실시예에 따른, 본 발명의 원리들이 적용될 수 있는 예시적인 비디오 디코더를 나타내는 블록도이다.
도 3은 본 발명의 원리들의 일 실시예에 따른, 비디오 인코더에서의 비트 심도 스케일러빌리티를 위한 예시적인 계층간 잉여 예측 방법을 나타내는 흐름도이다.
도 4는 본 발명의 원리들의 일 실시예에 따른, 비디오 디코더에서의 비트 심도 스케일러빌리티을 위한 예시적인 계층간 잉여 예측 방법을 나타내는 흐름도이다.
도 5는 본 발명의 원리들의 일 실시예에 따른, 톤 매핑 함수 및 톤 역매핑 함수를 생성하기 위한 예시적인 방법을 나타내는 흐름도이다.
본 발명의 원리들은 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법들 및 장치들에 관한 것이다.
본 설명은 본 발명의 원리들을 예시적으로 설명한다. 따라서, 이 분야의 기술자들이, 본 명세서에 명확히 설명되거나 도시되지는 않았지만, 본 발명의 원리들을 구현하고, 본 발명의 사상 및 범위 내에 포함되는 다양한 배열들을 안출할 수 있을 것이라는 것을 알 것이다.
본 명세서에 기재된 모든 예들 및 조건부 표현은 기술 촉진을 위해 발명자(들)에 의해 제공되는 본 발명의 원리들 및 개념들을 독자가 이해하는 것을 돕기 위한 교육적인 목적을 위한 것이며, 그러한 구체적으로 기재된 예들 및 조건들로의 한정이 아닌 것으로 해석되어야 한다.
더욱이, 본 발명의 원리들, 양태들 및 실시예들은 물론, 그들의 구체적인 예들을 설명하는 본 명세서의 모든 설명은 그들의 구조적, 기능적 균등물들 모두를 포함하는 것을 의도한다. 게다가, 그러한 균등물들은 현재 공지된 균등물들은 물론, 미래에 개발될 균등물들, 즉 구조와 관계없이 동일 기능을 수행하는 임의의 개발될 요소들 모두를 포함하는 것을 의도한다.
따라서, 예컨대, 이 분야의 기술자들은 본 명세서에서 제공되는 블록도들은 본 발명의 원리들을 구현하는 예시적인 회로의 개념도들을 나타낸다는 것을 알 것이다. 유사하게, 임의의 플로우 차트, 흐름도, 상태 전이도, 의사 코드 등은, 컴퓨터 판독 가능 매체들 내에 실질적으로 표현될 수 있고, 따라서 컴퓨터 또는 프로세서가 명시적으로 설명되는지의 여부에 관계없이 그러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스들을 나타낸다는 것을 알 것이다.
도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어는 물론, 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 더욱이, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 지칭하는 것으로 해석되지 않아야 하며, 암시적으로, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 저장 장치를 포함할 수 있다.
통상적인 및/또는 맞춤형인 다른 하드웨어도 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치들은 개념적일 뿐이다. 이들의 기능은 프로그램 논리의 동작을 통해, 전용 논리를 통해, 프로그램 제어 및 전용 논리의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 상황으로부터 더 명확히 이해되듯이, 구현자에 의해 특정 기술이 선택될 수 있다.
본 발명의 청구항들에서, 지정된 기능을 수행하기 위한 수단으로서 표현되는 임의의 요소는 예를 들어 a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 그 기능을 수행하도록 소프트웨어를 실행하기 위한 적절한 회로와 결합되는 임의 형태의, 따라서 펌웨어, 마이크로코드 등을 포함하는 소프트웨어를 포함하는, 그 기능을 수행하는 임의의 방식을 포함하는 것을 의도한다. 그러한 청구항들에 의해 정의되는 바와 같은 본 발명의 원리들은 다양한 기재된 수단들에 의해 제공되는 기능들이 청구항들에 의해 요구되는 방식으로 조합되고 결합된다는 사실에 있다. 따라서, 그러한 기능들을 제공할 수 있는 임의의 수단들은 본 명세서에서 설명되는 것들과 균등한 것으로 간주한다.
본 명세서에서 본 발명의 원리들의 "하나의 실시예" 또는 "일 실시예"에 대한 언급은 물론, 이들의 다른 변형들은 그 실시예와 관련하여 설명되는 구체적인 특징, 구조, 특성 등이 본 발명의 원리들의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전반의 다양한 곳에서 나타나는 "하나의 실시예에서" 또는 "일 실시예에서"라는 문구는 물론, 이들의 임의의 다른 변형들의 출현들은 이들 모두가 반드시 동일 실시예를 지칭하지는 않는다.
예를 들어 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 사례들에서 "/", "및/또는" 및 "~중 적어도 하나" 중 어느 하나의 사용은 최초로 나열된 옵션 (A)만의 선택 또는 두 번째로 나열된 옵션 (B)만의 선택 또는 양 옵션들 (A 및 B)의 선택을 포함하는 것을 의도한다는 것을 알아야 한다. 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 사례들에서, 이러한 표현은 최초 나열된 옵션 (A)만의 선택 또는 두 번째로 나열된 옵션 (B)만의 선택 또는 세 번째로 나열된 옵션 (C)만의 선택 또는 최초 및 두 번째로 나열된 옵션들 (A 및 B)만의 선택 또는 최초 및 세 번째로 나열된 옵션들 (A 및 C)만의 선택 또는 두 번째 및 세 번째로 나열된 옵션들 (B 및 C)만의 선택 또는 3개의 옵션 모두 (A 및 B 및 C)의 선택을 포함하는 것을 의도한다. 이 분야 및 관련 분야의 통상의 기술자에게 자명하듯이, 이것은 나열된 많은 아이템들에 대해 확장될 수 있다.
더욱이, 본 발명의 원리들은 물론, 종래 기술을 설명하기 위해, 본 명세서에서는 낮은 비트 심도 및 높은 비트 심도라는 용어들이 사용된다. 이러한 용어들은 두 가지 상이한 레벨의 비트 심도 정의를 정의하는 데 사용된다. 높은 비트 심도는 낮은 비트 심도보다 높은 비트 심도인 것을 특징으로 하며, 따라서 비교 용어이다. 설명 및 예시의 목적으로, 낮은 비트 심도는 8 비트인 것으로 가정하고, 높은 비트 심도는 10 비트인 것으로 가정한다. 이러한 용어들, 즉 낮은 비트 심도 및 높은 비트 심도의 상대적인 성질로 인해, 낮은 비트 심도는 높은 비트 심도보다 낮아야 하며, 그렇지 않은 경우에 이 용어들은 임의적임을 쉽게 알 수 있다. 따라서, 예를 들어, 낮은 비트 심도는 4 비트, 6 비트, 또는 그러한 점에 관해서는 12 비트일 수도 있는데, 이는 상상되는 높은 비트 심도가 낮은 비트 심도보다 높기만 하면 되기 때문이다. 따라서, 12 비트의 비트 심도가 낮은 비트 심도로서 정의되는 것으로 가정하는 경우, 높은 비트 심도는 14 비트, 16 비트 또는 12보다 큰 임의의 다른 비트 심도로서 간주될 수 있다. 여기서, 본 발명의 원리들의 설명 및 예시에서 낮은 비트 심도가 8 비트인 것으로 가정하면, 높은 비트 심도의 요건은 8 비트보다 큰 임의의 비트일 것이다(본 명세서에서는 설명을 위해 10 비트를 가정하지만, 12 비트, 14 비트의 비트 심도 또는 8보다 큰 임의의 다른 비트 심도를 쉽게 포함할 수 있다). 낮은 비트 심도와 높은 비트 심도의 비교를 설명하기 위한 또 하나의 방식은 베이스 계층 비트 심도와 향상 계층 비트 심도이며, 향상 계층 비트 심도는 베이스 계층 비트 심도보다 크다. 따라서, 본 발명의 원리들의 하나 이상의 실시예는 높은 비트 심도의 예로서 10 비트 픽처의 사용을 포함하지만, 본 발명의 원리들은 그에 한정되지 않으며, 따라서 높은 비트 심도를 포함하는 본 발명의 원리들의 이용은 12 비트, 14 비트 등을 포함하지만 이에 한정되지 않는, 8보다 큰 (10이 아닌) 다른 값들을 취할 수 있다는 것을 알아야 한다.
게다가, 예시를 위해, 비트 심도 스케일러빌리티만이 포함되고, 단일 루프 디코딩 아키텍처가 이용되는 하나 이상의 실시예가 본 명세서에 설명된다. 그러나, 본 발명의 원리들은 전술한 것들로 한정되지 않으며, 따라서 본 명세서에서 제공되는 본 발명의 원리들의 가르침을 받을 경우, 이 분야 및 관련 분야의 통상의 기술자에 의해, 본 발명의 원리들의 사상을 유지하면서, 비트 심도 및 공간 스케일러빌리티와 같은 결합된 스케일러빌리티는 물론, 다중 루프 디코딩 아키텍처들을 포함하도록 쉽게 확장될 수 있다는 것을 알아야 한다.
또한, 본 명세서에서 사용될 때, "픽처" 및 "이미지"라는 단어들은 교체 가능하게 사용되며, 비디오 시퀀스로부터의 정지 이미지 또는 픽처를 지칭한다. 공지된 바와 같이, 픽처는 프레임 또는 필드일 수 있다.
게다가, 본 명세서에서 사용될 때, "신호"라는 단어는 대응하는 디코더에 무언가를 지시하는 것을 지칭한다. 예컨대, 인코더는 인코더 측에서 어떠한 특정 함수가 사용되었는지를 디코더가 알게 하기 위하여 톤 매핑 함수들 또는 톤 역매핑 함수들의 그룹 중 특정 함수를 신호할 수 있다. 이러한 방식으로, 동일한 함수가 인코더 측 및 디코더 측 모두에서 사용될 수 있다. 따라서, 예를 들어, 인코더는 특정 매핑 함수를 디코더로 전달하여, 디코더가 동일한 특정 매핑 함수를 사용할 수 있게 하거나, 디코더가 이미 다른 함수들은 물론, 그 특정 매핑 함수를 갖고 있는 경우에는 (전달 없이) 신호를 이용하여, 간단히 디코더가 그 특정 매핑 함수를 알고 선택하게 할 수 있다. 임의의 실제 함수들의 전달을 피함으로써, 비트 절약이 실현될 수 있다. 신호는 다양한 방식으로 달성될 수 있다는 것을 알아야 한다. 예컨대, 하나 이상의 신택스 요소들, 플래그들 등을 이용하여 대응 디코더에 정보를 신호할 수 있다.
더욱이, 본 명세서에서 사용될 때, "동일 비트 심도 표현"이라는 문구는 동일한 비트 심도 값을 갖는 하나 이상의 아이템(예컨대, 예측, 잉여 등)을 지칭한다. 예컨대, 둘 이상의 아이템의 경우에, 그러한 아이템들은 그들 자신에 대해 동일한 비트 심도 값을 가질 것이다. 따라서, 예를 들어, 2개의 예측이 동일 비트 심도 표현을 갖는 경우, 이러한 2개의 예측은 또한 동일한 비트 심도 값들을 가질 것이다. 따라서, 양 예측은 8 비트 심도를 가질 수 있거나, 10 비트 심도를 가질 수 있거나, 기타 등등일 수 있다. 물론, 본 발명의 원리들의 사상을 유지하면서, 더 높은 비트 값 및 더 낮은 비트 값도 사용될 수 있다. 하나의 아이템, 예컨대 잉여의 경우, 그 잉여는 톤 매핑 함수, 톤 역매핑 함수, 및 톤 매핑 함수와 톤 역매핑 함수를 모두 수반하는 잉여 도메인으로부터 픽셀 도메인으로의 변환을 포함하지만 이에 한정되지 않는 특정 함수 전후에 동일한 비트 심도를 가질 것이다.
도 1을 참조하면, 본 발명의 원리들에 따른 비디오 인코딩을 수행할 수 있는 비디오 인코더가 일반적으로 참조 번호 100으로 지시된다.
비디오 인코더(100)는 결합기(185)의 비반전 입력과 신호 통신하는 출력을 갖는 프레임 배열 버퍼(110)를 포함한다. 결합기(185)의 출력은 변환기 및 양자화기(125)의 제1 입력과 신호 통신하도록 접속된다. 변환기 및 양자화기(125)의 출력은 엔트로피 코더(145)의 제1 입력 및 역변환기 및 역양자화기(150)의 제1 입력과 신호 통신하도록 접속된다. 엔트로피 코더(145)의 출력은 결합기(190)의 제1 비반전 입력과 신호 통신하도록 접속된다. 결합기(190)의 출력은 출력 버퍼(135)의 제1 입력과 신호 통신하도록 접속된다.
인코더 제어기(105)의 제1 출력은 프레임 배열 버퍼(110)의 제2 입력, 역변환기 및 역양자화기(150)의 제2 입력, 픽처 타입 결정 모듈(115)의 입력, 매크로블록 타입(MB 타입) 결정 모듈(120)의 제1 입력, 인트라 예측 모듈(160)의 제2 입력, 디블록킹 필터(165)의 제2 입력, 모션 보상기(170)의 제1 입력, 모션 추정기(175)의 제1 입력 및 기준 픽처 버퍼(180)의 제2 입력과 신호 통신하도록 접속된다.
인코더 제어기(105)의 제2 출력은 보조 향상 정보(SEI) 삽입기(130)의 제1 입력, 변환기 및 양자화기(125)의 제2 입력, 엔트로피 코더(145)의 제2 입력, 출력 버퍼(135)의 제2 입력, 및 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS) 삽입기(140)의 입력과 신호 통신하도록 접속된다.
SEI 삽입기(130)의 출력은 결합기(190)의 제2 비반전 입력과 신호 통신하도록 접속된다.
픽처 타입 결정 모듈(115)의 제1 출력은 프레임 배열 버퍼(110)의 제3 입력과 신호 통신하도록 접속된다. 픽처 타입 결정 모듈(115)의 제2 출력은 매크로블록 타입 결정 모듈(120)의 제2 입력과 신호 통신하도록 접속된다.
시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS) 삽입기(140)의 출력은 결합기(190)의 제3 비반전 입력과 신호 통신하도록 접속된다.
역변환기 및 역양자화기(150)의 출력은 결합기(119)의 제1 비반전 입력과 신호 통신하도록 접속된다. 결합기(119)의 출력은 인트라 예측 모듈(160)의 제1 입력 및 디블록킹 필터(165)의 제1 입력과 신호 통신하도록 접속된다. 디블록킹 필터(165)의 출력은 기준 픽처 버퍼(180)의 제1 입력과 신호 통신하도록 접속된다. 기준 픽처 버퍼(180)의 출력은 모션 추정기(175)의 제2 입력 및 모션 보상기(170)의 제3 입력과 신호 통신하도록 접속된다. 모션 추정기(175)의 제1 출력은 모션 보상기(170)의 제2 입력과 신호 통신하도록 접속된다. 모션 추정기(175)의 제2 출력은 엔트로피 코더(145)의 제3 입력과 신호 통신하도록 접속된다.
모션 보상기(170)의 출력은 스위치(197)의 제1 입력과 신호 통신하도록 접속된다. 인트라 예측 모듈(160)의 출력은 스위치(197)의 제2 입력과 신호 통신하도록 접속된다. 매크로블록 타입 결정 모듈(120)의 출력은 스위치(197)의 제3 입력과 신호 통신하도록 접속된다. 스위치(197)의 제3 입력은 (제어 입력, 즉 제3 입력과 비교할 때) 스위치의 "데이터" 입력이 모션 보상기(170) 또는 인트라 예측 모듈(160)에 의해 제공되어야 하는지의 여부를 결정한다. 스위치(197)의 출력은 결합기(119)의 제2 비반전 입력 및 결합기(185)의 반전 입력과 신호 통신하도록 접속된다.
프레임 배열 버퍼(110)의 제1 입력 및 인코더 제어기(105)의 입력은 입력 픽처를 수신하기 위한 인코더(100)의 입력들로서 이용될 수 있다. 더욱이, 보조 향상 정보(SEI) 삽입기(130)의 제2 입력은 메타데이터를 수신하기 위한 인코더(100)의 입력으로서 이용될 수 있다. 출력 버퍼(135)의 출력은 비트스트림을 출력하기 위한 인코더(100)의 출력으로서 이용될 수 있다.
도 2를 참조하면, 본 발명의 원리들에 따른 비디오 디코딩을 수행할 수 있는 비디오 디코더가 일반적으로 참조 번호 200으로 지시된다.
비디오 디코더(200)는 엔트로피 디코더(245)의 제1 입력과 신호 통신하도록 접속되는 출력을 갖는 입력 버퍼(210)를 포함한다. 엔트로피 디코더(245)의 제1 출력은 역변환기 및 역양자화기(250)의 제1 입력과 신호 통신하도록 접속된다. 역변환기 및 역양자화기(250)의 출력은 결합기(225)의 제2 비반전 입력과 신호 통신하도록 접속된다. 결합기(225)의 출력은 디블록킹 필터(265)의 제2 입력 및 인트라 예측 모듈(260)의 제1 입력과 신호 통신하도록 접속된다. 디블록킹 필터(265)의 제2 출력은 기준 픽처 버퍼(280)의 제1 입력과 신호 통신하도록 접속된다. 기준 픽처 버퍼(280)의 출력은 모션 보상기(270)의 제2 입력과 신호 통신하도록 접속된다.
엔트로피 디코더(245)의 제2 출력은 모션 보상기(270)의 제3 입력, 디블록킹 필터(265)의 제1 입력 및 인트라 예측 모듈(260)의 제3 입력과 신호 통신하도록 접속된다. 엔트로피 디코더(245)의 제3 출력은 디코더 제어기(205)의 입력과 신호 통신하도록 접속된다. 디코더 제어기(205)의 제1 출력은 엔트로피 디코더(245)의 제2 입력과 신호 통신하도록 접속된다. 디코더 제어기(205)의 제2 출력은 역변환기 및 역양자화기(250)의 제2 입력과 신호 통신하도록 접속된다. 디코더 제어기(205)의 제3 출력은 디블록킹 필터(265)의 제3 입력과 신호 통신하도록 접속된다. 디코더 제어기(205)의 제4 출력은 인트라 예측 모듈(260)의 제2 입력, 모션 보상기(270)의 제1 입력 및 기준 픽처 버퍼(280)의 제2 입력과 신호 통신하도록 접속된다.
모션 보상기(270)의 출력은 스위치(297)의 제1 입력과 신호 통신하도록 접속된다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2 입력과 신호 통신하도록 접속된다. 스위치(297)의 출력은 결합기(225)의 제1 비반전 입력과 신호 통신하도록 접속된다.
입력 버퍼(210)의 입력은 입력 비트스트림을 수신하기 위한 디코더(200)의 입력으로서 이용될 수 있다. 디블록킹 필터(265)의 제1 출력은 출력 픽처를 출력하기 위한 디코더(200)의 출력으로서 이용될 수 있다.
전술한 바와 같이, 본 발명의 원리들은 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법들 및 장치들에 관한 것이다. 또한, 전술한 바와 같이, 전술한 종래 기술의 제4 접근법과 관련하여, 종래 기술의 제4 접근법은 예측 블록(P)을 베이스 계층 비트 심도로 톤 매핑한 후, 향상 계층 비트 심도로 다시 톤 역매핑한다. 베이스 계층은 더 낮은 비트 심도를 가지므로, 이러한 변환은 양자화 에러를 유발할 것이다. 이러한 종래 기술의 양자화 에러를 방지하기 위하여, 본 발명의 원리들은 동일 비트 심도로 수행되는 톤 매핑 및 톤 역매핑 동작들을 위한 방법들 및 장치들을 제공한다.
MPEG-4 AVC 표준의 현재의 SVC 확장 내에서 비트 심도 스케일러빌리티를 달성하기 위한 한 가지 방법은 상이한 비트 심도들로 인코딩된 2개의 거친 입자 스케일링 가능(CGS) SNR 계층의 디코딩 프로세스를 지정하는 것이다. 현재의 SVC CGS 설계 내에서, 모션 보상은 최고 계층(높은 비트 심도의 계층)에서 수행된다. 2개의 계층 사이에 비트 심도가 상이하므로, 계층간 잉여 예측을 직접 적용하기가 어렵다. 따라서, 계층간 잉여 예측을 위한 톤 역매핑이 사용된다. 그러나, 톤 역매핑은 일반적으로 잉여 도메인 대신에 픽셀 도메인에서 정의된다. 잉여 도메인에서 계층간 잉여 예측을 위한 톤 역매핑을 수행하는 대신에, 픽셀 도메인에서 계층간 잉여 예측을 위한 톤 역매핑이 수행되도록 문제를 전환하기 위해 새로운 기술들이 제안된다. 이러한 새로운 계층간 예측 기술은 비트 심도 스케일러빌리티를 위한 코딩 효율을 향상시키는 이익을 갖는다.
따라서, 본 발명의 원리들은 향상 계층 비트 심도로 동작하는 톤 매핑 및 톤 역매핑 함수들을 이용한다. 이전의 종래 기술의 접근법들에서, 톤 매핑 함수는 10 비트 입력을 8 비트 출력으로 매핑하고, 톤 역매핑 함수는 8 비트 입력을 10 비트 출력으로 매핑한다. 본 발명의 원리들에 따르면, 톤 매핑 및 톤 역매핑 함수들은 10 비트 입력을 10 비트 출력으로 매핑한다. 일 실시예에서는, 톤 역매핑 표가 비트스트림 내에서 신호된다.
본 발명의 원리들의 일 실시예에 따른 비디오 인코딩 절차는 다음과 같다.
1. 향상 계층 기준 프레임들을 이용하여 예측 블록(P)을 얻는다. 이어서, 함수 T를 이용하여 P를 톤 매핑하여, T(P)를 얻는다.
2. 대응하는 베이스 계층 잉여 블록(rb)을 (m-n)개 비트만큼 좌측으로 시프트하고(또는 비트 업샘플링하고), 이어서 (공간 스케일러빌리티가 심도 스케일러빌리티와 결합되어야 하는 경우) 공간적으로 업샘플링하여, U(rb<<(m-n))을 얻으며, 여기서 m은 향상 계층 비디오의 비트 심도이고, n은 베이스 계층 비디오의 비트 심도이다. 이어서, U(rb<<(m-n))을 P에 더하여, T(P)+U(rb<<(m-n))을 형성한다.
3. 필터를 이용하여, S(T(P)+U(rb<<(m-n)))을 얻는다.
4. 이어서, 톤 역매핑을 적용하여, T-1(S(T(P)+U(rb<<(m-n))))을 얻는다.
5. 아래와 같이 오리지널 블록(O)으로부터 바로 이전 단계 (4)의 결과를 감산하여 향상 계층 잉여 블록(re)을 계산한다.
re = 0 - T-1(S(T(P)+U(rb<<(m-n))))
6. 향상 계층 잉여 블록(re)을 엔트로피 코딩하고, 비트스트림 내에서 신호한다. T 또는 T-1을 비트스트림 내에서 신호한다.
도 3을 참조하면, 비디오 인코더에서의 비트 심도 스케일러빌리티를 위한 예시적인 계층간 잉여 예측 방법이 일반적으로 참조 번호 300으로 지시된다. 방법(300)은 제어를 기능 블록(306)으로 전달하는 시작 블록(305)을 포함한다. 기능 블록(306)은 톤 매핑 또는 톤 역매핑 함수를 생성하고, 제어를 기능 블록(307)으로 전달한다. 기능 블록(307)은 톤 매핑 또는 톤 역매핑 함수를 인코딩하고, 인코딩을 비트스트림에 기입하고, 제어를 기능 블록(310)으로 전달한다. 기능 블록(310)은 베이스 계층 모션 벡터(MV) 및 향상 계층 기준 프레임들을 이용하여 모션 보상을 수행하고, 제어를 기능 블록(315)으로 전달한다. 기능 블록(315)은 모션 보상된 블록(P)을 얻고, 제어를 기능 블록(320)으로 전달한다. 기능 블록(320)은 P에 대해 톤 매핑을 수행하여, 낮은 비트 심도의 예측 T(P)를 얻고, 제어를 기능 블록(325)으로 전달한다. 기능 블록(325)은 베이스 계층 텍스처 잉여(rb)를 (m-n)개 비트만큼 좌로 시프트하여(또는 비트 업샘플링하여) rb<<(m-n)이 되게 하고, 제어를 기능 블록(330)으로 전달한다. 기능 블록(330)은 좌로 시프트된 베이스 계층 텍스처 잉여를 T(P)에 더하여 P'를 형성하여, P'=T(P)+rb<<(m-n)이 되게 하고, 제어를 판정 블록(335)으로 전달한다. 판정 블록(335)은 평탄한 기준을 적용할지의 여부를 결정한다. 그러한 경우, 제어는 기능 블록(340)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(345)으로 전달된다.
기능 블록(340)은 P'에 대해 평탄 필터를 적용하고, 제어를 기능 블록(345)으로 전달한다.
기능 블록(345)은 P'에 대해 톤 역매핑을 수행하여, 높은 비트 심도의 예측 T-1(P')를 얻고, 제어를 기능 블록(350)으로 전달한다. 기능 블록(350)은 re=O-T-1(P')가 되도록 오리지널 픽처(O)로부터 T- 1(P)를 감산하여 향상 잉여(re)를 얻고, 제어를 종료 블록(399)으로 전달한다.
본 발명의 원리들의 일 실시예에 따른 비디오 디코딩 절차는 다음과 같다.
1. 향상 계층 기준 프레임들을 이용하여 예측 블록(P)을 얻는다. 이어서, 함수 T를 이용하여 P를 톤 매핑하여, T(P)를 얻는다.
2. 대응하는 베이스 계층 잉여 블록(rb)을 (m-n)개 비트만큼 좌측으로 시프트하고(또는 비트 업샘플링하고), 이어서 (공간 스케일러빌리티가 심도 스케일러빌리티와 결합되어야 하는 경우) 공간적으로 업샘플링하며, 여기서 m은 향상 비디오의 비트 심도이고, n은 베이스 계층 비디오의 비트 심도이다. 이어서, U(rb<<(m-n))을 P에 더하여, T(P)+U(rb<<(m-n))을 형성한다.
3. 필터를 이용하여, S(T(P)+U(rb<<(m-n)))을 얻는다.
4. 이어서, 톤 역매핑을 적용하여, T-1(S(T(P)+U(rb<<(m-n))))을 얻는다.
5. 향상 계층 잉여 블록(re)을 바로 이전 단계 (4)에 더하여, 재구성 블록을 얻는다.
R = T-1(S(T(P)+U(rb<<(m-n)))) + re
도 4를 참조하면, 비디오 디코더에서의 비트 심도 스케일러빌리티를 위한 예시적인 계층간 잉여 예측 방법이 일반적으로 참조 번호 400으로 지시된다. 방법(400)은 제어를 기능 블록(406)으로 전달하는 시작 블록(405)을 포함한다. 기능 블록(406)은 비트스트림으로부터 톤 매핑 또는 톤 역매핑 함수를 디코딩하고, 제어를 기능 블록(410)으로 전달한다. 기능 블록(410)은 베이스 계층 모션 벡터(MV) 및 향상 계층 기준 프레임들을 이용하여 모션 보상을 수행하고, 제어를 기능 블록(415)으로 전달한다. 기능 블록(415)은 모션 보상된 블록(P)을 얻고, 제어를 기능 블록(420)으로 전달한다. 기능 블록(420)은 P에 대해 톤 매핑을 수행하여, 낮은 비트 심도의 예측 T(P)를 얻고, 제어를 기능 블록(425)으로 전달한다. 기능 블록(425)은 베이스 계층 텍스처 잉여(rb)를 (m-n)개 비트만큼 좌로 시프트하여(또는 비트 업샘플링하여) rb<<(m-n)이 되게 하고, 제어를 기능 블록(430)으로 전달한다. 기능 블록(430)은 좌로 시프트된 베이스 계층 텍스처 잉여를 T(P)에 더하여 P'를 형성하여, P'=T(P)+rb<<(m-n)이 되게 하고, 제어를 판정 블록(435)으로 전달한다. 판정 블록(435)은 평탄한 기준을 적용할지의 여부를 결정한다. 그러한 경우, 제어는 기능 블록(440)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(445)으로 전달된다.
기능 블록(440)은 P'에 대해 평탄 필터를 적용하고, 제어를 기능 블록(445)으로 전달한다.
기능 블록(445)은 P'에 대해 톤 역매핑을 수행하여, 높은 비트 심도의 예측 T-1(P')를 얻고, 제어를 기능 블록(450)으로 전달한다. 기능 블록(450)은 re=O-T-1(p')가 되도록 향상 계층 잉여(re)에 T- 1(P)를 더하여 재구성 블록(R)을 얻고, 제어를 종료 블록(499)으로 전달한다.
이제, 톤 매핑 T 또는 T-1의 하나의 예시적인 실시예를 제공한다. T 또는 T-1은 2m개의 엔트리를 갖는 표로서 구현될 수 있다. 각각의 엔트리는 0 내지 2m-1을 포함한다.
일 실시예에서는, T 및 T-1을 생성하기 위하여, 아래에 설명되는 바와 같이, 히스토그램 사양이라고 하는 절차가 호출된다.
a) 베이스 계층 신호는 최초 좌측 시프트 (m-n) 비트들이다.
b) 향상 계층 신호 및 좌로 시프트된 베이스 계층 신호의 히스토그램들을 계산한다.
c) cdfel 및 cdfbl로 각각 표시되는 향상 계층 히스토그램 및 베이스 계층 히스토그램으로부터 누적 밀도 함수(CDF)를 계산한다.
d) T를 얻기 위하여, 향상 계층 히스토그램 내의 각각의 빈(i)에 대해, cdfbl(j)≥cdfel(i)가 되게 하는 좌로 시프트된 베이스 계층 히스토그램 내의 최소 빈(j)을 찾는다.
e) T-1을 얻기 위해, 좌로 시프트된 베이스 계층 히스토그램 내의 각각의 빈(j)에 대해, cdfbl(j)≤cdfel(i)가 되게 하는 향상 계층 히스토그램 내의 최소 빈(i)을 찾는다.
도 5를 참조하면, 톤 매핑 함수(T) 및 톤 역매핑 함수(T-1)를 생성하기 위한 예시적인 방법이 일반적으로 참조 번호 500으로 지시된다. 이 방법은 제어를 기능 블록(510)으로 전달하는 시작 블록(505)을 포함한다. 기능 블록(510)은 베이스 계층 신호를 (m-n)개 비트만큼 좌로 시프트하며(여기서 m은 향상 비디오의 비트 심도이고, n은 베이스 계층 비디오의 비트 심도이다), 제어를 기능 블록(515)으로 전달한다. 기능 블록(515)은 향상 계층 신호 및 좌로 시프트된 베이스 계층 신호의 히스토그램들을 계산하고, 제어를 기능 블록(520)으로 전달한다. 기능 블록(520)은 cdfel 및 cdfbl로 각각 표시되는 향상 계층 히스토그램 및 베이스 계층 히스토그램으로부터 누적 밀도 함수(CDF)를 계산하고, 제어를 기능 블록(525)으로 전달한다. 기능 블록(525)은 cdfbl(j)≥cdfel(i)가 되게 하는 좌로 시프트된 베이스 계층 히스토그램 내의 최소 빈(j)을 찾음으로써 향상 계층 히스토그램 내의 각각의 빈(i)에 대한 T를 얻고, 제어를 기능 블록(530)으로 전달한다. 기능 블록(530)은 cdfbl(j)≤cdfel(i)가 되게 하는 향상 계층 히스토그램 내의 최소 빈(i)을 찾음으로써 좌로 시프트된 베이스 계층 히스토그램 내의 각각의 빈(j)에 대한 T-1을 얻고, 제어를 종료 블록(599)으로 전달한다.
이하, 본 발명의 많은 수반되는 이점들/특징들 중 일부에 대한 설명이 제공될 것이며, 이들 중 일부는 위에서 설명되었다. 예컨대, 한 가지 이점/특징은 톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 일부에 대한 픽처 데이터를 인코딩하기 위한 인코더를 구비한 장치이다. 톤 매핑 함수 및 톤 역매핑 함수는 동일한 비트 심도 표현을 유지하면서, 비트 심도 스케일러빌리티를 위해 계층간 잉여 예측의 잉여 도메인으로부터 픽셀 도메인으로의 변환을 수행한다.
다른 이점/특징은 변환 동안에 동일한 비트 심도 표현을 유지함으로써 변환 동안에 비트 심도 감소에 의해 유발되는 양자화 에러를 최소화하는 전술한 바와 같은 인코더를 구비한 장치이다.
또 다른 이점/특징은, 향상 계층 기준을 이용하여 모션 보상을 수행하여 향상 계층 예측을 생성하고, 향상 계층 예측을 베이스 계층 기준으로 톤 매핑하여, 톤 매핑된 예측을 생성하고, 베이스 계층 잉여를 비트 업샘플링하고, 톤 매핑된 예측과 비트 업샘플링된 베이스 계층 잉여를 결합하여 합계를 구하고, 합계를 필터링하여 평탄한 베이스 계층 기준을 얻고, 평탄한 베이스 계층 기준을 톤 역매핑하여 톤 역매핑된 예측을 생성함으로써 계층간 잉여 예측을 생성하는 전술한 바와 같은 인코더를 구비한 장치이다. 인코더는 톤 역매핑된 예측과 픽처 사이의 에러를 인코딩하여 전송한다.
또 다른 이점/특징은, 특히 전술한 바와 같이 톤 역매핑된 예측과 픽처 사이의 에러를 인코딩하여 전송하는 인코더를 구비한 장치이며, 여기서 베이스 계층 잉여는 (m-n)개 비트만큼 비트 업샘플링되고, m은 픽처에 대응하는 향상 계층의 비트 심도이고, n은 픽처에 대응하는 베이스 계층의 비트 심도이다.
더욱이, 다른 이점/특징은, 특히 전술한 바와 같이 톤 역매핑된 예측과 픽처 사이의 에러를 인코딩하여 전송하는 인코더를 구비한 장치이며, 여기서 인코더는 톤 매핑된 예측을 생성하는 데 사용된 톤 매핑 함수 및 톤 역매핑된 예측을 생성하는 데 사용된 톤 역매핑 함수 중 적어도 하나를 신호하고 전송하는 것 중 적어도 하나를 수행한다.
게다가, 다른 특징은 전술한 바와 같이 신호하고 전송하는 것 중 적어도 하나를 행하는 인코더를 구비한 장치이며, 여기서 인코더는 하나 이상의 신택스 요소들 및 하나 이상의 플래그들 중 적어도 하나를 이용하여 톤 매핑 함수 및 톤 역매핑 함수 중 적어도 하나를 신호한다.
또한, 다른 이점/특징은, 특히 전술한 바와 같이 톤 역매핑된 예측과 픽처 사이의 에러를 인코딩하여 전송하는 인코더를 구비한 장치이며, 여기서는 비트 업샘플링된 베이스 계층 잉여를 공간적으로 업샘플링하여, 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 얻고, 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 톤 매핑된 예측과 결합하여 합계를 얻는다.
게다가, 다른 이점/특징은 전술한 바와 같은 인코더를 구비한 장치이며, 여기서는 톤 매핑 함수 및 톤 역매핑 함수 모두에 대해 동일한 비트 심도를 갖는 값들을 입력하고 출력함으로써 동일한 비트 심도 표현을 유지한다.
본 발명의 원리들의 이들 및 다른 특징들 및 이점들은 본 명세서에서의 가르침들에 기초하여 관련 분야의 통상의 기술자에 의해 쉽게 확인될 수 있다. 본 발명의 원리들의 가르침들은 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서들 또는 이들의 조합들로 구현될 수 있다는 것을 이해해야 한다.
가장 바람직하게는, 본 발명의 가르침들은 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다. 더욱이, 소프트웨어는 프로그램 저장 유닛 상에 실체적으로 구현되는 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 아키텍처를 포함하는 기계에 업로드되어 기계에 의해 실행될 수 있다. 바람직하게는, 기계는 하나 이상의 중앙 처리 유닛("CPU"), 랜덤 액세스 메모리("RAM") 및 입출력("I/O") 인터페이스들과 같은 하드웨어를 구비하는 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 운영 체제 및 마이크로 명령어 코드도 포함할 수 있다. 본 명세서에 설명되는 다양한 프로세스들 및 기능들은 CPU에 의해 실행될 수 있는 마이크로 명령어 코드의 일부 또는 애플리케이션 프로그램의 일부 또는 이들의 임의의 조합일 수 있다. 게다가, 추가적인 데이터 저장 유닛 및 인쇄 유닛과 같은 다양한 다른 주변 유닛들이 컴퓨터 플랫폼에 접속될 수 있다.
첨부된 도면들에 도시된 구성 시스템 컴포넌트들 및 방법들 중 일부는 바람직하게 소프트웨어로 구현되므로, 시스템 컴포넌트들 또는 프로세스 기능 블록들 사이의 실제 접속은 본 발명의 원리들이 프로그래밍되는 방식에 따라 상이할 수 있다는 것을 더 이해해야 한다. 본 명세서의 가르침들이 주어질 때, 관련 분야의 통상의 기술자는 본 발명의 원리들의 이들 및 유사한 구현들 또는 구성들을 구상할 수 있을 것이다.
예시적인 실시예들이 본 명세서에서 첨부 도면들과 관련하여 설명되었지만, 본 발명의 원리들은 바로 그러한 실시예들로 한정되지 않으며, 본 발명의 원리들의 범위 또는 사상으로부터 벗어나지 않고 관련 분야의 통상의 기술자에 의해 그 안에서 다양한 변경들 및 개량들이 이루어질 수 있다는 것을 이해해야 한다. 그러한 모든 변경들 및 개량들은 첨부된 청구항들에 설명되는 바와 같은 본 발명의 원리들의 범위 내에 포함되는 것을 의도한다.

Claims (33)

  1. 톤 매핑 함수(tone mapping function) 및 톤 역매핑 함수(inverse tone mapping function)를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측(inter-layer residue prediction)을 생성함으로써 상기 픽처의 적어도 일부에 대한 픽처 데이터를 인코딩하기 위한 인코더(100)
    를 포함하고,
    상기 톤 매핑 함수 및 상기 톤 역매핑 함수는, 동일한 비트 심도 표현을 유지하면서, 비트 심도 스케일러빌리티(bit depth scalability)를 위해 잉여 도메인으로부터 픽셀 도메인으로의 상기 계층간 잉여 예측의 변환을 수행하고,
    상기 인코더(100)는 향상 계층 기준(enhancement layer reference)을 이용하여 모션 보상을 수행하여 향상 계층 예측을 생성하고, 상기 향상 계층 예측을 베이스 계층 기준에게 톤 매핑하여 톤 매핑된 예측을 생성하고, 베이스 계층 잉여를 비트 업샘플링하고, 상기 톤 매핑된 예측을 상기 비트 업샘플링된 베이스 계층 잉여와 결합하여 합계를 얻고, 상기 합계를 필터링하여 평탄한 베이스 계층 기준(smooth base layer reference)을 얻고, 상기 평탄한 베이스 계층 기준을 톤 역매핑하여 톤 역매핑된 예측을 생성함으로써 상기 계층간 잉여 예측을 생성하고, 상기 인코더는 상기 톤 역매핑된 예측과 상기 픽처 사이의 에러를 인코딩하고 전송하는,
    장치.
  2. 제1항에 있어서, 상기 변환 동안에 상기 동일한 비트 심도 표현을 유지함으로써 상기 변환 동안에 비트 심도 감소에 의해 유발되는 양자화 에러를 최소화하는 장치.
  3. 삭제
  4. 제1항에 있어서, 상기 베이스 계층 잉여는 (m-n)개 비트만큼 비트 업샘플링되고, m은 상기 픽처에 대응하는 향상 계층의 비트 심도이고, n은 상기 픽처에 대응하는 베이스 계층의 비트 심도인 장치.
  5. 제1항에 있어서, 상기 인코더(100)는 상기 톤 매핑된 예측을 생성하는 데 사용된 톤 매핑 함수 및 상기 톤 역매핑된 예측을 생성하는 데 사용된 톤 역매핑 함수 중 적어도 하나를 신호하고 전송하는 것 중 적어도 하나를 수행하는 장치.
  6. 제5항에 있어서, 상기 인코더(100)는 하나 이상의 신택스 요소들 및 하나 이상의 플래그들 중 적어도 하나를 이용하여 상기 톤 매핑 함수 및 상기 톤 역매핑 함수 중 적어도 하나를 신호하는 장치.
  7. 제1항에 있어서, 상기 비트 업샘플링된 베이스 계층 잉여를 공간적으로 업샘플링하여, 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 얻고, 상기 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 상기 톤 매핑된 예측과 결합하여 상기 합계를 얻는 장치.
  8. 제1항에 있어서, 상기 톤 매핑 함수 및 상기 톤 역매핑 함수 모두에 대해 동일한 비트 심도를 갖는 값들을 입력하고 출력함으로써 상기 동일한 비트 심도 표현을 유지하는 장치.
  9. 톤 매핑 함수(320) 및 톤 역매핑 함수(345)를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 픽처의 적어도 일부에 대한 픽처 데이터를 인코딩하는 단계를 포함하고,
    상기 톤 매핑 함수(320) 및 상기 톤 역매핑 함수(345)는 동일한 비트 심도 표현을 유지하면서(325, 510), 비트 심도 스케일러빌리티를 위해 잉여 도메인으로부터 픽셀 도메인으로의 상기 계층간 잉여 예측의 변환을 수행하고,
    상기 계층간 잉여 예측을 생성하는 것은,
    향상 계층 기준을 이용하여 모션 보상을 수행하여 향상 계층 예측을 생성하는 단계(310, 315); 상기 향상 계층 예측을 베이스 계층 기준에게 톤 매핑하여 톤 매핑된 예측을 생성하는 단계(320); 베이스 계층 잉여를 비트 업샘플링하는 단계(325); 상기 톤 매핑된 예측을 상기 비트 업샘플링된 베이스 계층 잉여와 결합하여 합계를 얻는 단계(330); 상기 합계를 필터링하여 평탄한 베이스 계층 기준을 얻는 단계(340); 상기 평탄한 베이스 계층 기준을 톤 역매핑하여 톤 역매핑된 예측을 생성하는 단계(345)를 포함하고,
    상기 톤 역매핑된 예측과 상기 픽처 사이의 에러를 인코딩하고 전송하는 단계(350)를 더 포함하는,
    방법.
  10. 제9항에 있어서, 상기 변환 동안에 상기 동일한 비트 심도 표현을 유지함으로써(325, 510) 상기 변환 동안에 비트 심도 감소에 의해 유발되는 양자화 에러를 최소화하는 방법.
  11. 삭제
  12. 제9항에 있어서, 상기 베이스 계층 잉여는 (m-n)개 비트만큼 비트 업샘플링되고(325, 510), m은 상기 픽처에 대응하는 향상 계층의 비트 심도이고, n은 상기 픽처에 대응하는 베이스 계층의 비트 심도인 방법.
  13. 제9항에 있어서, 상기 방법은 상기 톤 매핑된 예측을 생성하는 데 사용된 톤 매핑 함수(320) 및 상기 톤 역매핑된 예측을 생성하는 데 사용된 톤 역매핑 함수(345) 중 적어도 하나를 신호하고 전송하는 것 중 적어도 하나를 수행하는 단계(307)를 더 포함하는 방법.
  14. 제13항에 있어서, 인코더(100)는 하나 이상의 신택스 요소들 및 하나 이상의 플래그들 중 적어도 하나를 이용하여(307) 상기 톤 매핑 함수(320) 및 상기 톤 역매핑 함수(345) 중 적어도 하나를 신호하는 방법.
  15. 제9항에 있어서, 상기 비트 업샘플링된 베이스 계층 잉여를 공간적으로 업샘플링하여 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 얻고(325), 상기 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 상기 톤 매핑된 예측과 결합하여 상기 합계를 얻는(330) 방법.
  16. 제9항에 있어서, 상기 톤 매핑 함수(320) 및 상기 톤 역매핑 함수(345) 모두에 대해 동일한 비트 심도를 갖는 값들을 입력하고 출력함으로써 상기 동일한 비트 심도 표현을 유지하는 방법.
  17. 톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 픽처의 적어도 일부에 대한 픽처 데이터를 디코딩하기 위한 디코더(200)
    를 포함하고,
    상기 톤 매핑 함수 및 상기 톤 역매핑 함수는, 동일한 비트 심도 표현을 유지하면서, 비트 심도 스케일러빌리티를 위해 잉여 도메인으로부터 픽셀 도메인으로의 상기 계층간 잉여 예측의 변환을 수행하고,
    상기 디코더는 향상 계층 기준을 이용하여 모션 보상을 수행하여 향상 계층 예측을 생성하고, 상기 향상 계층 예측을 베이스 계층 기준에게 톤 매핑하여 톤 매핑된 예측을 생성하고, 베이스 계층 잉여를 비트 업샘플링하고, 상기 톤 매핑된 예측을 상기 비트 업샘플링된 베이스 계층 잉여와 결합하여 합계를 얻고, 상기 합계를 필터링하여 평탄한 베이스 계층 기준을 얻고, 상기 평탄한 베이스 계층 기준을 톤 역매핑하여 톤 역매핑된 예측을 생성함으로써 상기 계층간 잉여 예측을 생성하고, 상기 디코더는 상기 톤 역매핑된 예측과 상기 픽처 사이의 에러에 기초하여 상기 픽처의 적어도 일부의 재구성된 버전을 생성하는,
    장치.
  18. 제17항에 있어서, 상기 변환 동안에 상기 동일한 비트 심도 표현을 유지함으로써 상기 변환 동안에 비트 심도 감소에 의해 유발되는 양자화 에러를 최소화하는 장치.
  19. 삭제
  20. 제17항에 있어서, 상기 베이스 계층 잉여는 (m-n)개 비트만큼 비트 업샘플링되고, m은 상기 픽처에 대응하는 향상 계층의 비트 심도이고, n은 상기 픽처에 대응하는 베이스 계층의 비트 심도인 장치.
  21. 제17항에 있어서, 상기 디코더(200)는 상기 톤 매핑된 예측을 생성하는 데 사용된 톤 매핑 함수 및 상기 톤 역매핑된 예측을 생성하는 데 사용된 톤 역매핑 함수 중 적어도 하나를 디코딩하고 결정하는 것 중 적어도 하나를 수행하는 장치.
  22. 제21항에 있어서, 상기 디코더(200)는 하나 이상의 신택스 요소들 및 하나 이상의 플래그들 중 적어도 하나로부터 상기 톤 매핑 함수 및 상기 톤 역매핑 함수 중 적어도 하나를 결정하는 장치.
  23. 제17항에 있어서, 상기 비트 업샘플링된 베이스 계층 잉여를 공간적으로 업샘플링하여 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 얻고, 상기 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 상기 톤 매핑된 예측과 결합하여 상기 합계를 얻는 장치.
  24. 제17항에 있어서, 상기 톤 매핑 함수 및 상기 톤 역매핑 함수 모두에 대해 동일한 비트 심도를 갖는 값들을 입력하고 출력함으로써 상기 동일한 비트 심도 표현을 유지하는 장치.
  25. 톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 상기 픽처의 적어도 일부에 대한 픽처 데이터를 디코딩하는 단계를 포함하고,
    상기 톤 매핑 함수(420) 및 상기 톤 역매핑 함수(445)는 동일한 비트 심도 표현을 유지하면서(425, 510), 비트 심도 스케일러빌리티를 위해 잉여 도메인으로부터 픽셀 도메인으로의 상기 계층간 잉여 예측의 변환을 수행하고,
    상기 계층간 잉여 예측을 생성하는 것은,
    향상 계층 기준을 이용하여 모션 보상을 수행하여 향상 계층 예측을 생성하는 단계(410, 415); 상기 향상 계층 예측을 베이스 계층 기준에게 톤 매핑하여 톤 매핑된 예측을 생성하는 단계(420); 베이스 계층 잉여를 비트 업샘플링하는 단계(425); 상기 톤 매핑된 예측을 상기 비트 업샘플링된 베이스 계층 잉여와 결합하여 합계를 얻는 단계(430); 상기 합계를 필터링하여 평탄한 베이스 계층 기준을 얻는 단계(440); 상기 평탄한 베이스 계층 기준을 톤 역매핑하여 톤 역매핑된 예측을 생성하는 단계(445)를 포함하고,
    상기 톤 역매핑된 예측과 상기 픽처 사이의 에러에 기초하여 상기 픽처의 적어도 일부의 재구성된 버전을 생성하는 단계(450)를 더 포함하는,
    방법.
  26. 제25항에 있어서, 상기 변환 동안에 상기 동일한 비트 심도 표현을 유지함으로써(425, 510) 상기 변환 동안에 비트 심도 감소에 의해 유발되는 양자화 에러를 최소화하는 방법.
  27. 삭제
  28. 제25항에 있어서, 상기 베이스 계층 잉여는 (m-n)개 비트만큼 비트 업샘플링되고(425, 510), m은 상기 픽처에 대응하는 향상 계층의 비트 심도이고, n은 상기 픽처에 대응하는 베이스 계층의 비트 심도인 방법.
  29. 제25항에 있어서, 상기 방법은 상기 톤 매핑된 예측을 생성하는 데 사용된 톤 매핑 함수(420) 및 상기 톤 역매핑된 예측을 생성하는 데 사용된 톤 역매핑 함수(445) 중 적어도 하나를 디코딩하고 결정하는 것 중 적어도 하나를 수행하는 단계(406)를 더 포함하는 방법.
  30. 제29항에 있어서, 디코더는 하나 이상의 신택스 요소들 및 하나 이상의 플래그들 중 적어도 하나로부터 상기 톤 매핑 함수(420) 및 상기 톤 역매핑 함수(445) 중 적어도 하나를 결정하는(406) 방법.
  31. 제25항에 있어서, 상기 비트 업샘플링된 베이스 계층 잉여를 공간적으로 업샘플링하여 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 얻고(425), 상기 비트 업샘플링되고 공간적으로 업샘플링된 베이스 계층 잉여를 상기 톤 매핑된 예측과 결합하여 상기 합계를 얻는(430) 방법.
  32. 제25항에 있어서, 상기 톤 매핑 함수(420) 및 상기 톤 역매핑 함수(445) 모두에 대해 동일한 비트 심도를 갖는 값들을 입력하고 출력함으로써 상기 동일한 비트 심도 표현을 유지하는 방법.
  33. 비디오 신호 데이터가 인코딩된 컴퓨터 판독 가능 저장 매체로서,
    톤 매핑 함수 및 톤 역매핑 함수를 이용하여 픽처의 적어도 일부에 대한 계층간 잉여 예측을 생성함으로써 인코딩된 상기 픽처의 적어도 일부에 대한 픽처 데이터
    를 포함하고,
    상기 톤 매핑 함수 및 상기 톤 역매핑 함수는, 동일한 비트 심도 표현을 유지하면서, 비트 심도 스케일러빌리티를 위해 잉여 도메인으로부터 픽셀 도메인으로의 상기 계층간 잉여 예측의 변환을 수행하고,
    상기 계층간 잉여 예측을 생성하는 것은,
    향상 계층 기준을 이용하여 모션 보상을 수행하여 향상 계층 예측을 생성하는 단계(310, 315); 상기 향상 계층 예측을 베이스 계층 기준에게 톤 매핑하여 톤 매핑된 예측을 생성하는 단계(320); 베이스 계층 잉여를 비트 업샘플링하는 단계(325); 상기 톤 매핑된 예측을 상기 비트 업샘플링된 베이스 계층 잉여와 결합하여 합계를 얻는 단계(330); 상기 합계를 필터링하여 평탄한 베이스 계층 기준을 얻는 단계(340); 상기 평탄한 베이스 계층 기준을 톤 역매핑하여 톤 역매핑된 예측을 생성하는 단계(345)를 포함하는,
    컴퓨터 판독 가능 저장 매체.
KR1020117021262A 2009-02-11 2010-02-09 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법 및 장치 KR101740741B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15156909P 2009-02-11 2009-02-11
US61/151,569 2009-02-11
PCT/US2010/000356 WO2010093432A1 (en) 2009-02-11 2010-02-09 Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping

Publications (2)

Publication Number Publication Date
KR20110115172A KR20110115172A (ko) 2011-10-20
KR101740741B1 true KR101740741B1 (ko) 2017-06-08

Family

ID=42199608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117021262A KR101740741B1 (ko) 2009-02-11 2010-02-09 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US8867616B2 (ko)
EP (1) EP2396967B1 (ko)
JP (2) JP5646514B2 (ko)
KR (1) KR101740741B1 (ko)
CN (1) CN102388611B (ko)
BR (1) BRPI1008372A2 (ko)
WO (1) WO2010093432A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2204047B1 (en) * 2007-10-16 2018-04-25 Thomson Licensing DTV Methods and apparatus for artifact removal for bit depth scalability
BRPI1008372A2 (pt) * 2009-02-11 2018-03-06 Thomson Licensing métodos e aparelho para codificação e decodificação de vídeo escalável com profundidade de bit utilizando mapeamento de tons e mapeamento inverso de tons
CN103493490B (zh) 2011-04-25 2016-12-28 杜比实验室特许公司 非线性视觉动态范围残留量化器
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
TWI606718B (zh) 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
KR20180112099A (ko) 2012-07-09 2018-10-11 브이아이디 스케일, 인크. 멀티 레이어 비디오 코딩용 코덱 아키텍처
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
US9532057B2 (en) * 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
EP2962277A1 (en) 2013-02-27 2016-01-06 Thomson Licensing Method and device for selecting an image dynamic range conversion operator
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
EP2936814B1 (en) * 2013-03-26 2018-03-14 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
US9762920B2 (en) * 2013-06-07 2017-09-12 Qualcomm Incorporated Dynamic range control of intermediate data in resampling process
US9497473B2 (en) * 2013-10-03 2016-11-15 Qualcomm Incorporated High precision explicit weighted prediction for video coding
CN105745914B (zh) 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
EP2890129A1 (en) * 2013-12-27 2015-07-01 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
KR102264161B1 (ko) * 2014-08-21 2021-06-11 삼성전자주식회사 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 시스템의 동작방법 및 이미지 처리 시스템을 포함하는 시스템 온 칩
EP3301925A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method for local inter-layer prediction intra based
JP6684971B2 (ja) * 2017-01-18 2020-04-22 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像を符号化するためのセグメントベース再構成
CN112083894A (zh) * 2019-06-14 2020-12-15 森大（深圳）技术有限公司 图像逐像素点白墨墨量自动设置方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
JP2009010943A (ja) 2007-06-26 2009-01-15 Mitsubishi Electric Research Laboratories Inc 画像の逆トーンマッピングの方法とシステム、および画像の逆トーンマッピングを実行するコーデック
WO2009051692A2 (en) 2007-10-15 2009-04-23 Thomson Licensing Methods and apparatus for inter-layer residue prediction for scalable video

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909249A (en) * 1995-12-15 1999-06-01 General Instrument Corporation Reduction of noise visibility in a digital video system
EP1520426A1 (en) 2002-06-28 2005-04-06 Koninklijke Philips Electronics N.V. Spatial scalable compression
CN100542289C (zh) * 2004-07-13 2009-09-16 杜比实验室特许公司 视频压缩的无偏舍入
KR100668344B1 (ko) * 2005-09-20 2007-01-12 삼성전자주식회사 영상 부호화장치 및 방법, 영상 복호화장치 및 방법과 이를채용한 디스플레이 구동회로 및 방법
JP5249784B2 (ja) * 2006-01-23 2013-07-31 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8761249B2 (en) 2006-07-17 2014-06-24 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
DE602007010835D1 (de) * 2007-01-18 2011-01-05 Fraunhofer Ges Forschung Qualitätsskalierbarer videodatenstrom
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
EP2204047B1 (en) * 2007-10-16 2018-04-25 Thomson Licensing DTV Methods and apparatus for artifact removal for bit depth scalability
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
BRPI1008372A2 (pt) * 2009-02-11 2018-03-06 Thomson Licensing métodos e aparelho para codificação e decodificação de vídeo escalável com profundidade de bit utilizando mapeamento de tons e mapeamento inverso de tons

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010943A (ja) 2007-06-26 2009-01-15 Mitsubishi Electric Research Laboratories Inc 画像の逆トーンマッピングの方法とシステム、および画像の逆トーンマッピングを実行するコーデック
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
WO2009051692A2 (en) 2007-10-15 2009-04-23 Thomson Licensing Methods and apparatus for inter-layer residue prediction for scalable video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. Wu, et al. Bit-depth scalability compatible to H.264/AVC-scalable extension. Journal of Visual Communication and Image Representation. Aug. 2008, Vol.19, No.6, pp.372-381

Also Published As

Publication number Publication date
JP6214511B2 (ja) 2017-10-18
KR20110115172A (ko) 2011-10-20
JP2012517764A (ja) 2012-08-02
JP5646514B2 (ja) 2014-12-24
WO2010093432A1 (en) 2010-08-19
US8867616B2 (en) 2014-10-21
BRPI1008372A2 (pt) 2018-03-06
CN102388611A (zh) 2012-03-21
EP2396967A1 (en) 2011-12-21
JP2015046939A (ja) 2015-03-12
US20110293003A1 (en) 2011-12-01
CN102388611B (zh) 2015-08-19
EP2396967B1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
KR101740741B1 (ko) 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법 및 장치
US9681142B2 (en) Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
US8537894B2 (en) Methods and apparatus for inter-layer residue prediction for scalable video
EP2801192B1 (en) Specifying visual dynamic range coding operations and parameters
JP5451626B2 (ja) 統合された空間・ビット深度スケーラビリティ
US8619854B2 (en) Scalable video encoding and decoding method using switching pictures and apparatus thereof
US20090103613A1 (en) Method for Decoding Video Signal Encoded Using Inter-Layer Prediction
US20100202512A1 (en) Color video scalability encoding and decoding method and device thereof
JP7494303B2 (ja) 符号化及び復号化方法並びに装置
KR20240068711A (ko) 동영상을 처리하는 방법, 장치 및 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant