KR101531119B1 - 시간적 코히어런트 동적 범위 매핑을 이용한 비디오 코딩 - Google Patents

시간적 코히어런트 동적 범위 매핑을 이용한 비디오 코딩 Download PDF

Info

Publication number
KR101531119B1
KR101531119B1 KR1020137012694A KR20137012694A KR101531119B1 KR 101531119 B1 KR101531119 B1 KR 101531119B1 KR 1020137012694 A KR1020137012694 A KR 1020137012694A KR 20137012694 A KR20137012694 A KR 20137012694A KR 101531119 B1 KR101531119 B1 KR 101531119B1
Authority
KR
South Korea
Prior art keywords
sequence
parameter
frame
dynamic range
frames
Prior art date
Application number
KR1020137012694A
Other languages
English (en)
Other versions
KR20130084670A (ko
Inventor
옌스 우베 가르바스
헤르베르트 토마
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20130084670A publication Critical patent/KR20130084670A/ko
Application granted granted Critical
Publication of KR101531119B1 publication Critical patent/KR101531119B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

예컨대 HDR 프레임 시퀀스들을 코딩하기 위해, 한편으로는 동적 범위 매핑과 다른 한편으로는 시간적 예측의 보다 효율적인 공동 이용이, 매핑 파라미터를 참조 프레임으로부터 현재 시간에서 예측된 프레임으로 천이시키기 위한 가중화된 예측의 개념을 활용함으로써 달성된다. 이러한 조치에 의해, 시간적 예측은 실패하지 않으며, 이에 따라 동적 범위 매핑에서의 프레임별 변동에도 불구하고, 인코딩 효율이 유지된다. 호의적인 측면의 양태로서, 가중화된 시간적 예측은 이미 예컨대, H.264/AVC와 같은 기존의 비디오 코딩 스테이지들의 능력들 내에 있다.

Description

시간적 코히어런트 동적 범위 매핑을 이용한 비디오 코딩{VIDEO CODING USING TEMPORALLY COHERENT DYNAMIC RANGE MAPPING}
본 출원은 HDR 시퀀스들과 함께 이용하기 위한 것과 같은 비디오 코딩에 관한 것이다.
지금까지, 대부분의 이미지 및 비디오 코딩 애플리케이션들은 약 10의 2승 크기의 휘도 범위(낮은 동적 범위(low dynamic range; LDR))만을 커버할 수 있다[1]. 하지만, 인간 시각계(human visual system; HVS)는 인간들로 하여금 10의 10승 크기 이상의 범위를 커버할 수 있는 광 조건들에 적응할 수 있게 하고 동시적으로 약 10의 5승 크기를 지각할 수 있게 해준다[2]. 전체 HDR 휘도의 표현(예컨대, CGI, 특수 효과 제작, HDR 디스플레이)으로부터 이익을 얻을 수 있는 애플리케이션들의 수가 증가함에 따라, HDR 비디오 코딩 방법들에서의 수요는 증가할 것이다. H.264/AVC와 같은 표준 코딩 방법을 이용하는 것은 커다란 추가적인 노력없이 LDR로부터 HDR 비디오 코딩으로의 끊김없는 천이를 가능하게 할 것이다. 본 연구에 걸쳐 용어 HDR은 실제 휘도값들의 표현을 지칭하지만 톤 맵핑된 LDR 표현을 지칭하지는 않으며, 이것은 때때로 HDRI이라고 불리운다는 것을 유념한다.
HDR 데이터, 부동소수점들의 가장 자연스런 표현은 양호한 압축을 초래시키지 않으며, 또한 취급에 비용이 많이 들기 때문에, 여러 명의 저자들은 부동소수점 휘도값들로부터 정수 루마(luma) 값들로의 적절한 매핑을 제안했다[3, 4, 5, 6]. 이러한 휘도 대 루마 매핑은 연관된 정밀도 손실이 HVS의 허용치 미만이고 이에 따라 어떠한 왜곡도 지각되지 않는다는 사실을 공통적으로 갖는다. 이것들은 또한 추가적인 프로세싱에 앞서 HDR 이미지 데이터의 CIELUV 칼라 공간[1]으로의 변환을 적용한다는 사실을 공통적으로 갖는다. 즉, 데이터는 휘도 성분(Y)과 색도 성분들(u', v')에 의해 표현된다. (u', v') 칼라 표현의 장점은 지각적으로 균일하다는 점이다. 즉, 이 표현에서의 동등한 오프셋들은 동등한 지각적 칼라 차이들을 표현하며, 따라서 동등한 오프셋들은 예컨대 8 비트의 비트 깊이를 갖는 정수값들로 선형적으로 매핑될 수 있다. 이러한 지각가능한 (u', v') 간격 [0, 0.62]으로부터 [0, 255] 범위의 정수값들로의 매핑은 가시적인 문턱값보다 훨씬 아래에 있는 0.00172의 최대 절대 양자 에러를 불러일으킨다.
HVS는 베버-페히너(Weber-Fechner) 법칙을 따르기 때문에, 큰 휘도 범위의 경우, 대부분의 작업들에서는 루마 코드값들로의 휘도(Y)의 로그 매핑이 수행된다[3, 5, 6]. 이것은 일정한 상대적 양자 에러를 초래시킴에 따라 지각적으로 균일한 휘도 표현을 이끌어 낸다. 예컨대, [3]에서 라르손(Larson)은 다음의 휘도 대 루마 매핑을 제안했다(LogLuv 변환):
Figure 112013043343915-pct00001
이것은 간격 [5.44 × 10-20, 1.84 × 1019]에서의 실수값 휘도들을 [0, 215 ― 1] 범위의 15비트 정수 루마값들로 또는 그 반대로 매핑시킨다. 즉, 대략 10의 38승 크기가 0.27%의 상대적 스텝 크기로 표현된다. 이것은 약 1%의 가시적 양자 문턱값보다 훨씬 아래에 있다[1].
하지만, 이러한 매핑에 의해 커버된 동적 범위는 HVS가 동시적으로 지각할 수 있는 범위를 훨씬 뛰어넘는 것이다. 더군다나, 이러한 높은 동적 범위들에 걸쳐 있는 자연 이미지 데이터(natural image data)는 존재하지 않는다. 추가적인 이미지 프로세싱 단계들을 거칠 수 있는 데이터의 무손실 이미지 압축의 경우 이러한 극도로 높은 범위 및 충실도가 이용될 수 있는 반면에, 인간이 관측함으로써 시청되도록 의도된 손실 비디오 인코딩의 경우에는 그렇지가 않다. 결과적으로, 지각가능하지 않거나 또는 소스 이미지 또는 비디오 프레임에서 발생하지 않는 휘도값들을 표현하기 위해 비트들을 예약할 필요가 없다. 이것은 예컨대 TIFF 라이브러리를 갖는 HDR 정지 이미지 코딩[3]에서, 압축 효율을 저하시킬 것이기 때문에, LogLuv 변환 이전에 소스 이미지를 적절한 범위로 스케일링하기 위해 스케일링 계수가 이용될 수 있다. 이와 유사한 LogLuv 접근법[6]에서는, 주어진 비트 깊이에 대한 잠재적인 루마 코드값들의 전체 범위를 활용하기 위해 스케일링이 비디오 시퀀스의 각각의 개별적인 프레임에 적용되어 왔다.
하지만, 많은 HDR 비디오 코딩 방법들과 같이, LogLuv 접근법은 단지 개별적인 비디오 프레임들에 대한 HDR 이미지 코딩의 단순한 확장에 불과하다. 그러므로, 이러한 접근법은 몇몇의 비디오 특유적 양태들이 없어서 압축 효율을 상당히 저하시킨다. 가장 주목할 부분으로서, 연속적인 프레임들의 휘도값들을 개별적인 스케일링을 갖는 상이한 코드값들로 매핑시키는 것은 시퀀스의 시간적 코히어런스를 상당히 손상시킨다. 결과적으로 H.264/AVC 비디오 코더에서의 시간적 모션 보정된 예측은 대부분 실패한다.
당연하게도, 이것은 다른 시간적 예측 코더들과 휘도값들 이외의 다른 샘플값들에 대해서도 통한다.
따라서, 본 발명의 목적은 한편으로는 동적 범위 매핑과 다른 한편으로는 시간적 예측의 보다 효율적인 공동 이용을 가능하게 하는 코딩 개념을 제공하는 것이다.
본 목적은 독립 청구항들의 발명 내용에 의해 달성된다.
본 발명에 깔려있는 기본적인 아이디어는 예컨대 HDR 프레임 시퀀스들을 코딩하기 위해, 한편으로는 동적 범위 매핑과 다른 한편으로는 시간적 예측의 보다 효율적인 공동 이용이 매핑 파라미터를 참조 프레임으로부터 현재 시간에서 예측된 프레임으로 천이시키기 위한 가중화된 예측의 개념을 활용함으로써 달성될 수 있다는 것이다. 이러한 조치에 의해, 시간적 예측은 실패하지 않으며, 이에 따라 동적 범위 매핑에서의 프레임별 변동에도 불구하고, 인코딩 효율이 유지된다. 호의적인 측면의 양태로서, 가중화된 시간적 예측은 예컨대, H.264/AVC와 같은 기존의 비디오 코딩 스테이지들의 능력들 내에 이미 있다.
아래에서는 본 발명의 바람직한 실시예들을 보다 자세하게 설명할 것이다. 구체적으로,
도 1은 실시예에 따른 비디오 인코더의 블록도를 도시한다.
도 2는 실시예에 따른 도 1의 비디오 인코딩 스테이지의 블록도를 도시한다.
도 3은 실시예에 따른 비디오 디코더의 블록도를 도시한다.
도 4는 실시예에 따른 비디오 디코딩 스테이지의 블록도를 도시한다.
도 5는 실시예에 따라 도 1의 비디오 인코더에 의해 생성되고 도 3의 비디오 디코더에 의해 디코딩된 데이터 스트림의 일부분을 나타내는 개략도를 도시한다.
도 6은 상이한 프레임들에 대해 상이한 범위들을 갖는 예시적인 적응적 로그 휘도 대 루마 매핑에 대한 그래프를 도시한다.
도 7은 세 가지 경우들, 즉 도면들과 관련하여 설명된 실시예에 따른 시간적 코히어런트 매핑을 이용하는 경우, 시간적 코히어런스를 준수하지 않고 프레임별 적응을 이용하는 경우, 및 상이한 비디오 조각들(좌측, 중앙, 우측)에 대해 일정한 매핑을 이용하는 경우에 대해, 퀄리티 저하들에 대한 상이한 조치들(윗쪽 행과 아랫쪽 행)을 이용한 코딩 결과들을 도시한다.
본 발명의 실시예들을 도면들과 관련하여 아래에서 보다 자세하게 설명하기에 앞서, 이러한 도면들의 상이한 도면들 내에서 존재하는 동등한 엘리먼트들은 동등한 참조 부호들을 이용하여 표시되며, 이에 따라 하나의 도면과 관련된 이러한 엘리먼트들의 설명은 또다른 도면과 관련하여 진술된 특정 상세설명들이 상반되는 내용을 교시하지 않는 한, 이러한 다른 도면과 관련해서도 적용가능하다는 것을 유념하길 바란다.
도 1은 본 발명의 실시예에 따른 비디오 인코더(10)를 도시한다. 비디오 인코더(10)는 프레임들(14)의 샘플값(16)이 제1 동적 범위를 커버하는 제1 포맷으로 표현되도록 프레임들(14)의 제1 시퀀스(12)를 인코딩하도록 구성된다. 예를 들어, 프레임 시퀀스(12)는 HDR 비디오와 같은 비디오일 수 있고, 샘플값들(16)은 개별적인 프레임들(14)의 휘도 분포의 공간적 샘플링을 표현할 수 있다. 샘플값들(16)이 표현되는 제1 포맷은 부동소수점 포맷일 수 있다. 아래에서는 상세한 예시들을 약술할 것이다. 하지만, 샘플값들(16)에 의해 공간적으로 샘플링된 정보의 유형은 휘도로 제한되지 않는다는 것을 유념해야 한다. 이 대신에, 다른 유형들의 정보는 샘플값들(16)의 객체(object)일 수 있다. 예를 들어, 프레임들(14)은 깊이 맵(depth map)을 표현할 수 있고, 이에 따라 시퀀스(12)는 어떠한 장면의 깊이 맵의 시간적 샘플링 등을 표현할 수 있다.
비디오 인코더(10)는 샘플값 변환기(18), 비디오 인코딩 스테이지(20), 및 파라미터 설정기(22)를 포함한다. 샘플값 변환기(18)와 비디오 인코딩 스테이지(20)는 비디오 인코더(10)의 입력부(24)와 출력부(26) 사이에 연결되며, 입력부(24)는 프레임 시퀀스(12)를 수신하도록 구성된 반면에 출력부(26)는 비디오 인코더(10)에 의해 인코딩 시퀀스(12)로부터 초래된 데이터 스트림을 출력하기 위한 것이다. 파라미터 설정기(22)는 입력부(24)에 연결된 입력부와, 샘플값 변환기(18)와 비디오 인코딩 스테이지(20)의 파라미터 입력부들에 각각 연결된 출력부들을 갖는다. 점선(28)에 의해 표시된 바와 같이, 파라미터 설정기(22)는 또한 데이터 스트림(26)에 기여하는 보조 정보를 출력할 수 있는데, 이것은 아래에서 보다 자세하게 개술될 것이다.
샘플값 변환기(18)는 제1 시퀀스(12)의 프레임들(14)의 샘플값들(16)을 제1 포맷으로부터, 제1 동적 범위보다 낮은 제2 동적 범위를 갖는 제2 포맷으로 변환시키도록 구성된다. 따라서, 샘플값 변환기(18)는 제1 포맷으로부터 제2 포맷으로 변환되었던 샘플값들(16)을 제외하고 시퀀스(12)에 완전히 대응하는 프레임들(32)의 제2 시퀀스(30)를 비디오 인코딩 스테이지(20)를 향해 포워딩한다. 따라서, 각각의 프레임(32)은 시퀀스(12)의 각각의 프레임(14)에 대응하며, 프레임들(32)은 시퀀스(12) 내에서의 대응하는 프레임들(14)의 순서와 동일한 순서로 시퀀스(30) 내에서 배열된다.
제2 포맷은 예컨대, 프레임들(32)의 샘플값들(34)이 바이너리 코드를 이용한 PCM 코딩 형태로 표현되는 정수 포맷일 수 있다. 예를 들어, 샘플값들(34)은 n비트로 표현될 수 있으며, 여기서 n은 예컨대 8, 9 또는 10과 동일하다. 예컨대, 8비트의 경우, 이에 따라 제2 포맷은 단지 약 10의 2승(102
Figure 112013043343915-pct00002
108)의 샘플값 범위를 커버할 것이며, 10비트의 경우에서는, 예컨대 제2 포맷은 이에 따라 단지 약 10의 3승(103
Figure 112013043343915-pct00003
1010)의 샘플값 범위를 커버할 것이다. 이와 비교하여, 샘플값들(16)이 표현될 때 이용되는 제1 포맷은 이 보다 크거나 또는 훨씬 큰 동적 범위를 커버한다. 위에서 언급한 바와 같이, 및 아래에서 개술하는 보다 상세한 실시예들에 따라, 제1 포맷은 부동소수점 포맷일 수 있다. 하지만, 제1 포맷은 또한 제2 포맷보다 많은 비트를 이용하는 정수 포맷일 수 있다는 것을 유념해야 한다.
제1 시퀀스(12)의 프레임들(14)의 샘플값들을 제1 포맷으로부터 제2 포맷으로 변환시키기 위해, 샘플값 변환기(18)는 제1 동적 범위(40)의 부분(38)을 제2 동적 범위(42)로 매핑하는 매핑 함수(36)를 이용한다. 특히, 샘플값 변환기(18)는, 매핑 함수(36)가 제2 포맷에 대응하는 동적 범위(42)에 매핑시킨 부분(38)이 파라미터 설정기(22)에 의해 설정되는 매핑 파라미터(44)에 의해 프레임별로 설정가능해지도록 구성되는데, 이것은 아래에서 보다 자세하게 개술할 것이다. 아래에서 보다 자세하게 개술되는 특정한 실시예들에서, 매핑 함수(36)는 로그 영역의 제1 동적 범위(40)와 선형 영역의 제2 동적 범위간의 선형 매핑 함수를 나타낸다. 하지만, 이러한 유형의 함수 대신에 다른 완전 단조 함수들이 또한 이용될 수 있다. 아래의 추가적인 설명으로부터 명백해질 바와 같이, 제1 포맷으로 각각의 프레임(14) 내에 포함된 모든 정보를 실질적으로 포착하기 위해 부분(38)은 프레임별로 파라미터 설정기(22)에 의해 설정된다. 간단히 말해서, 파라미터 설정기(22)는 제1 동적 범위(40) 내에서 위치 및 치수 - 또는 스케일 - 부분(38)을 찾아서, 각각의 프레임(14) 내의 지각적으로 관련된 모든 샘플들이 해당 부분(38) 내에서 각자의 샘플값(16)을 갖도록 하여, 이러한 모든 샘플값들이 클립핑(clipped)되지 않고 제2 포맷(42)의 제2 동적 범위에 옳바르게 매핑되도록 한다. 현재 프레임 내의 샘플값들(16)의 예시적인 분포(44)가 도 1에서 예시적으로 도시된다. 도 1의 예시에서, 이러한 분포는 부분(38) 내에 완전히 포함된다. 아래에서 보다 자세하게 개술하는 바와 같이, 분포(44)는 단지 프레임(14)의 일정한 부분, 예컨대 프레임(14)의 중앙 부분 내의 샘플값들(16)의 분포를 나타낼 수 있는데, 그 이유는 이러한 중앙 부분은 비디오 콘텐츠의 장면에서 가장 중요한 부분을 포함할 가능성이 가장 높기 때문이다.
명백한 바와 같이, 제1 동적 범위(40) 내의 샘플값들(16)의 분포는 프레임마다 변경될 수 있으며, 따라서, 도 1은 시퀀스(12) 내의 또다른 프레임(14)의 분포를 점선들(46)로 예시적으로 도시한다. 도 1에서 예시적으로 도시된 바와 같이, 이러한 분포(46)는, 예컨대 현재 프레임의 분포(44)에 대해 변위(displace)되거나 및/또는 이보다 좁아질 수 있다. 따라서, 파라미터 설정기(22)는 샘플값 분포(46)를 갖는 프레임에 대한 매핑 파라미터(44)를 부분(48)을 정의하는 매핑 파라미터(45)와는 상이하게 설정할 수 있다. 예를 들어, 샘플값 분포(46)는 부분(48)이 분포(46)에 의해 점유된 제1 동적 범위(40)의 부분과 유사해지도록, 즉 부분(48)이 가능한 작되 분포(46)의 범위를 여전히 커버하도록 하고, 분포(44)와 관련해서도 부분(38)에 이와 마찬가지로 적용하도록, 이러한 프레임들에 대해 매핑 파라미터를 설정할 수 있다.
따라서, 시퀀스(30)는 샘플값들을 갖는 시퀀스(12)에 실질적으로 대응하되, 하지만 다른 포맷으로 표현된다. 하지만, 시퀀스(30) 내의 하나의 프레임의 샘플값들(34)이 동일 시퀀스의 다른 프레임 내의 샘플값들(34)과는 다른 휘도 부분에 대하여 정의될 것이므로, 시퀀스(30)를 시청하는 것은 불쾌한 인상을 초래시킬 것이다. 예를 들어, 앞서 언급한 시퀀스(12)의 프레임들은 부분들(38, 48) 내에 각각 위치하는 샘플값들(34)로 매핑된 샘플값들(16)을 가질 것이다. 따라서, 예컨대 하나의 프레임에서의 프레임 샘플값(34)은 시퀀스(30)의 상이한 프레임 내의 프레임 샘플값과는 다른 실제 휘도값에 대응할 가능성이 매우 높을 것이다. 따라서, 추가적인 조치들이 없는 경우, 필요한 모션 벡터 검색은 성공할 가능성이 아마도 낮기 때문에, 비디오 인코딩 스테이지(20)는 예컨대 모션 보정 예측을 이용한 일반적인 시간적 예측을 수행할 수 없을 것이다.
특히, 비디오 인코딩 스테이지(20)는, 참조로서 제2 시퀀스(30)의 제2 프레임을 이용하거나, 또는 오프셋 파라미터에 의해 오프셋되고 가중 파라미터에 의해 가중화된, 제2 시퀀스(30)의 재구축된 버전의 제2 프레임을 이용하여, 제2 시퀀스(30)의 제1 프레임의 가중화된 시간적 예측에 의해, 프레임들(32)의 제2 시퀀스(30)를 인코딩하도록 구성된다. 다시 말하면, 비디오 인코딩 스테이지(20)는 참조로서 시퀀스(30)의 이전에 인코딩된 또다른 프레임(32)을 이용하는 것과 함께, 모션 보정 예측에 의해 시퀀스(30)의 현재 프레임(32)을 시간적으로 예측할 수 있다. 모션 보정 예측은 블록별로 수행될 수 있다. 모션 벡터들 및 참조 프레임 인덱스와 같은 모션 예측 데이터가 아래에서 언급하는 가중/오프셋 파라미터들과 함께 보조 정보로서 데이터 스트림 내로 삽입된다. 각각의 시간적으로 예측된 블록은, 현재 프레임에 있는 블록의 위치에 대응하는 위치에 대해 다양한 배치들(모션 벡터들)을 시도하면서, 참조, 즉 파라미터들(50)에 의해 가중화되고 샘플값 오프셋된 참조 프레임 내에서의 현재 프레임(32)의 현재 블록의 콘텐츠와의 최상의 매칭을 결정함으로써 비디오 인코딩 스테이지(20)가 결정하는 모션 벡터와 연계될 수 있다. 검색 오버헤드를 제한시키기 위해, 비디오 인코딩 스테이지(20)는 검색을 일정한 검색 범위로 제한시킨다.
아래에서 보다 명확해질 바와 같이, 비디오 인코딩 스테이지(20)는 가중화된 시간적 예측을 이용한다라는 사실로 인해, 파라미터 설정기(22)는 연관된 매핑 부분(48, 38)에서의 차이에 대해 각각 참조 프레임을 현재 프레임으로 적응시키는 것이 가능하다.
특히, 파라미터 설정기(22)는 도 1에서 화살표(50)로 함께 표시된 가중 파라미터 및 오프셋 파라미터를 참조 프레임에 대한 매핑 파라미터(45)에 따라 설정하며, 참조 프레임에 대한 매핑 파라미터는, 가중 파라미터 및 오프셋 파라미터(50)를 통해 현재 프레임에 대한 매핑 파라미터와 관련맺어 지는데, 이것은 아래에서 보다 자세하게 개술될 것이다. 다시 말하면, 파라미터 설정기(22)는, 한편으로는 현재 프레임에 대한 가중 파라미터 및 오프셋 파라미터(50) 모두를 설정하는 것을 담당하며, 다른 한편으로는 현재 프레임에 대한 매핑 파라미터(45)를 설정하는 것을 담당한다. 하지만, 파라미터 설정기(22)는 현재 프레임에 대한 매핑 파라미터(45)를 설정하는 것과는 독립적으로 가중 파라미터 및 오프셋 파라미터(50)를 자유롭게 설정하지는 못한다. 오히려, 양측의 설정들은 예컨대 고유적으로 정의된 방식으로 서로 관련이 있다. 따라서, 실제로, 파라미터 설정기(22)는, 특히 가중/오프셋 파라미터들(50)이 참조 프레임의 부분(48)을 변위시키고 그 치수를 스케일링하여 이러한 변위와 스케일링으로부터 초래된 간격이 상술한 분포(44)의 지각적으로 관련된 부분을 포착하는데 적합한 현재 프레임에 대한 부분(38)을 산출시키도록, 가중 파라미터 및 오프셋 파라미터(50)와 매핑 파라미터(45)를 동시적으로 설정한다. 가중/오프셋 파라미터들(50)은 참조 프레임에 대한 각자의 적용 방식에 의해 참조 프레임의 부분(48)을 변위시키고, 그 치수를 스케일링한다. 가중/오프셋 파라미터들(50)은 부분(48) 내의 모든 가능한 값들을 부분(38)을 정의하는 범위에 걸쳐있는 값들로 다함께 매핑시킨다.
특정 실시예들에 따른 도 1의 비디오 인코더의 기능을 아래에서 보다 자세하게 설명하기 전에, 비디오 인코딩 스테이지(20)의 구현을 위한 실시예를 도 2를 참조하여 설명한다. 도 2의 실시예에 따르면, 비디오 인코딩 스테이지(20)는 잔차(residual) 코더(60), 엔트로피 인코더(62), 잔차 재구축기(64), 시간적 예측기(66), 감산기(68), 가산기(70), 추가적인 가산기(72), 및 가중화기 또는 승산기(74)를 포함한다. 감산기(68), 잔차 코더(60) 및 엔트로피 인코더(62)는 언급한 순서대로 비디오 인코딩 스테이지(20)의 입력부(76)(이것은 또한 샘플값 변환기(18)의 출력부에 연결되어 있음)와 비디오 인코딩 스테이지(20)의 출력부(78)(이것은 또한 비디오 인코더(10)의 출력부(26)에 연결되어 있음) 사이에 연결되어 있다. 잔차 재구축기(64)는 잔차 코더(60)의 출력부에 연결된 입력부를 갖는다. 가산기(70)의 제1 입력부는 잔차 재구축기(64)의 출력부에 연결된다. 승산기(74), 가산기(72) 및 시간적 예측기(66)는 루프를 형성하고, 이들은 언급한 순서대로, 가산기(70)의 출력부와 가산기(70)의 추가적인 입력부 사이에 직렬로 연결되어 있다. 이와 동시에, 승산기(74), 가산기(72) 및 시간적 예측기(66)의 직렬 연결은 감산기(68)의 추가적인 감산 입력부에 연결된다. 가산기(72) 및 승산기(74)의 추가적인 입력부들에 각각 인가되는 값들은 비디오 인코딩 스테이지(20)의 파라미터 입력부(80)에서 입력되는 오프셋 파라미터들(50)을 가중화시킴으로써 결정된다.
동작시, 현재 프레임이 입력부(76)에 입력되고 이와 동시에 현재 프레임의 시간적 예측치가 감산기(68)의 감산 입력부에서 인가된다. 현재 프레임으로부터 시간적 예측치(84)를 감산함으로써 초래된 예측 잔차(82)는 잔차 코더(6)에 의해 코딩된다. 잔차 코더(60)는, 예컨대 잔차 신호(82)를 공간적 분해 변환과 같은 변환 처리를 할 수 있는데, 잔차 코더(60)는 이러한 변환을 블록별로 수행할 수 있다. 추가적으로 또는 대안적으로, 잔차 코더(60)는 잔차 신호(82)에 대해 양자화를 적용하여 데이터 스트림내로 인코딩될 예측 잔차(82) 내에 포함되는 정보 콘텐츠를 감소시킬 수 있다. 잔차 코더(60)는 점선 화살표(86)에 의해 예시적으로 도시된 바와 같이 양자화기 스텝 크기 파라미터를, 프레임마다 추가적으로 변경가능할 수 있는 양자화 파라미터로서 이용할 수 있다. 따라서 잔차 코더(60)의 출력부에서는 손실 코딩된 버전의 예측 잔차(88)가 획득된다. 손실 코딩된 버전의 예측 잔차(88)는 무손실 방식으로 엔트로피 인코더(62)에 의해 출력부(78)에서 데이터 스트림내로 코딩된다.
잔차 재구축기(64)는 가산기(70)의 제1 입력부에 연결된 자신의 출력부에서 재구축된 버전의 예측 잔차(90)를 복구시킨다. 가산기(70)의 다른 입력부에서는 현재 프레임에 대한 시간적 예측(84)의 결과가 입력되고, 이에 따라 가산기(70)는 재구축된 잔차(90)와 시간적 예측치(84)를 결합하여 다음 프레임에 대한 시간적 예측의 기초를 형성하는 재구축된 버전의 현재 프레임을 산출시킨다. 아래에서 보다 자세하게 개술될 것이지만, 승산기(74)는 가중 파라미터(
Figure 112014105308264-pct00004
, logWD)에 따라 재구축된 버전의 각각의 샘플값(70)을 곱하거나 또는 스케일링하고, 가산기(72)는 오프셋 파라미터에 따라 오프셋을 이러한 각각의 스케일링된 샘플값에 가산시킨다. 이러한 조치에 의해, 재구축된 버전의 샘플값들(70)은 다음번째로 시간적으로 예측될 현재 프레임의 부분(38) 내의 대응하는 휘도 위치로 변위된다. 따라서, 가산기(72)의 출력부에서는 가중화되고 오프셋된 참조 프레임(92)이 초래되며, 이에 기초하여 시간적 예측기(66)는 예컨대 모션 예측을 이용하여 시간적 예측을 수행한다. 예를 들어, 시간적 예측기(66)는, 현재 프레임의 일정한 블록에 대해, 참조 프레임(92) 중의 (모션 벡터에 따라) 잠재적으로 보간되고 변위된 부분을 입력부(76)에 현재 입력되고 있는 현재 프레임의 이러한 블록에 대한 예측치로서 이용한다.
따라서, 비디오 인코딩 스테이지(20)는 가중화된 시간적 예측치를 이용함에 따라, 시간적 예측기(66)는 가산기(70)에 의한 출력으로서 곧바로 이용하기 보다는 참조 프레임(92)으로부터의 샘플값 가중화되고 샘플값 오프셋된 이전에 인코딩된 프레임의 재구축된 버전을 이용한다. 이로써, 이러한 프레임들간의 부분들(38, 48)의 포지셔닝 및 치수화에서의 차이는 밸런싱된다. 달리 말하면, 입력부(80)에 입력되는 가중 및 오프셋 파라미터들(50)을 적절하게 설정하는 파라미터 설정기(22)에 의해 밸런싱이 보장된다.
따라서, 도 1을 다시 참조하면, 파라미터 설정기(22)는 제1 시퀀스(12)의 현재 프레임의 샘플값들(16)이 분포되어 있는 제1 동적 범위(40) 중의 점유된 부분을 결정하고, 그런 후 현재 프레임에 대한 매핑 파라미터(55)에 의해 설정된 부분(38)을 점유된 부분과 유사해지도록 가중 및 오프셋 파라미터들(50)을 설정하도록 구성될 수 있다. 달리 말하면, 파라미터 설정기(22)는 제1 동적 범위(40)의 관심있는 점유 부분을 결정하기 위해 제일먼저 분포(44)를 검사할 수 있다. 그런 후, 파라미터 설정기(22)는, 재구축된 버전의 샘플값들(70)상으로의 이러한 파라미터들(50)의 적용이 결과적으로 재구축을 나타내는 이러한 재구축된 버전(70)의 프레임의 부분(48)의 변위 및 스케일링을 야기시키고, 분포(44)에 의해 정의된 점유 부분과 유사한 부분(38)을 산출시키도록, 현재 프레임의 가중 및 오프셋 파라미터들(50)을 설정할 수 있다.
이와 관련하여, 이러한 파라미터들의 적용이 어떠한 클립핑 문제도 일으키지 않도록, 시퀀스(30)의 동적 범위와 비교하여, 참조 프레임의 재구축(70)상으로의, 즉 참조 프레임(92)에 대한, 입력부(80)에서의 가중 및 오프셋 파라미터들의 적용으로부터 초래된 스케일링되고 샘플값 오프셋된 참조 프레임을 표현하기 위해, 비디오 인코딩 스테이지(20)는 내부적으로 보다 높은 갯수의 비트들과 같은, 보다 높은 동적 범위를 이용할 수 있다는 것을 유념해야 한다. 표현 비트들의 수는 예컨대 2만큼 증가될 수 있다.
따라서, 보다 상세하게는, 파라미터 설정기(22)는 현재 및 참조 프레임들에 대한 매핑 파라미터들에 의해 각각 설정된 부분들(38, 48)의 상한값간의 편차, 또는 하한값간의 편차에 따라 오프셋 파라미터(
Figure 112013043343915-pct00005
)를 설정하고, 부분들(38, 48)의 길이간의 편차에 따라 가중 파라미터(logWD,
Figure 112013043343915-pct00006
)를 각각 설정하도록 구성될 수 있다. 아래에서 추가로 개술되는 특정 실시예들에서, 예컨대 샘플값 변환기(18)는 제1 시퀀스(12)의 프레임들(14)의 샘플값들(
Figure 112013043343915-pct00007
)을
Figure 112013043343915-pct00008
에 따라 제1 포맷으로부터 제2 포맷으로 변환시키도록 구성되며,
여기서 b와 a는 매핑 파라미터(45)에 의해 구성되고,
Figure 112013043343915-pct00009
에 따라, 제1 동적 범위(40) 중의 부분(38)의 하한값(
Figure 112013043343915-pct00010
)과 상한값(
Figure 112013043343915-pct00011
), 즉
Figure 112013043343915-pct00012
내지
Figure 112013043343915-pct00013
와 관련이 있으며,
여기서, logm은 m을 밑(base)으로 하는 로그 함수이며, n은 제2 포맷의 정수 표현 비트들의 갯수를 나타내는 정수이다. 이 경우, 파라미터 설정기는 제1 시퀀스(12)의 제1 프레임(14)의 샘플값들(16)이 분포되어 있는 제1 동적 범위의 점유된 부분을 결정하고,
Figure 112013043343915-pct00014
및
Figure 112013043343915-pct00015
의 제약하에서, 가중 파라미터와 오프셋 파라미터를
Figure 112013043343915-pct00016
와 같이 되도록 설정하도록 구성될 수 있으며,
여기서, Ymin은 점유된 부분의 하한값이며, Ymax는 점유된 부분의 상한값이다.
가중 및 오프셋 파라미터의 정밀도 및 범위는 예컨대 H.264/AVC에 따라 동작하는 비디오 인코딩 스테이지(20)에 의해 제한될 수 있다. 이 경우, 파라미터 설정기는 제1 시퀀스(12)의 제1 프레임(14)의 샘플값들(16)이 분포되어 있는 제1 동적 범위의 점유된 부분을 결정하고,
Figure 112013043343915-pct00017
및
Figure 112013043343915-pct00018
의 제약하에서, 가중 파라미터와 오프셋 파라미터를
Figure 112013043343915-pct00019
와 같이 되도록 설정하도록 구성될 수 있으며,
여기서, Ymin은 점유된 부분의 하한값이고, Ymax는 점유된 부분의 상한값이며, n0은
Figure 112014105308264-pct00020
의 정의 범위와 관련된 정수이고, 인덱스
Figure 112014105308264-pct00137
은 프레임 시퀀스의 현재 프레임을 인덱싱하고, 인덱스 k는 프레임 시퀀스의 참조 프레임을 인덱싱하고,
Figure 112014105308264-pct00021
와 logWD는 가중 파라미터에 의해 구성되며,
Figure 112014105308264-pct00022
은 오프셋 파라미터에 의해 구성된다.
Figure 112014105308264-pct00023
와
Figure 112014105308264-pct00024
에 대한 승인가능한 정밀도는 정수일 수 있고,
Figure 112014105308264-pct00025
의 범위는 예컨대 -128≤
Figure 112014105308264-pct00026
≤127로 제한될 수 있다.
또한, 아래에서 개술되는 상세한 실시예들과 관련하여 논의될 바와 같이, 비디오 인코딩 스테이지(20)와 잔차 코더(60)는 프레임들(32)의 제2 시퀀스(30)를 인코딩할 때 양자화기 스텝 크기 파라미터를 이용하도록 구성될 수 있고, 파라미터 설정기(22)는 각각의 프레임에 대해 설정된, 각각의 부분(38, 48)의 길이에 따라 시퀀스(30)의 프레임들(32)에 대한 양자화기 스텝 크기 파라미터를 설정하도록 구성될 수 있다. 이러한 조치에 의해, 부분들(38, 48) 각각의 길이의 시간적 변동으로 인해, 정적 양자화기 스텝 크기 파라미터를 이용하였을 경우에 발생하였을 시간적 변동에서의 양자화 노이즈를 조화시키는 것이 가능하다. 파라미터 설정기(22)는 IPPPPP... 시퀀스의 I 프레임과 같은 제2 시퀀스의 시작 프레임에 대한 양자화된 스텝 크기 파라미터에 대해 양자화기 스텝 크기 파라미터를 데이터 스트림내로 차별적으로 인코딩하도록 구성될 수 있다.
비디오 인코더에 대한 실시예를 설명한 이후에는, 도 3을 참조하여, 실시예에 따른 비디오 디코더(100)를 아래에서 설명한다. 비디오 디코더는 도 1의 비디오 인코더에 의해 생성된 것과 같은, 데이터 스트림으로부터, 제1 동적 범위를 커버하는 제1 포맷으로 프레임들(104)의 샘플값(106)이 표현되도록 프레임들(104)의 시퀀스(102)를 재구축하기 위한 것이다. 값들(106)이 표현되는 포맷은 샘플값들(16)이 취하는 포맷일 수 있다. 하지만, 이것은 강제적 사항은 아니다.
비디오 디코더(100)는 비디오 디코딩 스테이지(108), 파라미터 설정기(110), 및 샘플값 재변환기(112)를 포함한다. 또한, 비디오 디코더(100)는 앞서 언급한 데이터 스트림이 비디오 디코더(100)에 입력되는 입력부(114)와, 시퀀스(102)를 출력하기 위한 출력부(116)를 포함한다. 입력부(114)와 출력부(116) 사이에서는, 비디오 디코딩 스테이지(108)와 샘플값 재변환기(112)가 언급한 순서대로 직렬연결되어 있다. 파라미터 설정기(110)는 입력부(114)와 샘플값 재변환기(112)의 파라미터 입력부 사이에 연결된다.
도 4를 참조하면, 비디오 디코딩 스테이지(108)는 도 2의 인코더의 컴포넌트들(64, 70, 74, 72, 66)과 실질적으로 유사하게 구현될 수 있다는 것이 도시된다. 구체적으로, 비디오 디코딩 스테이지(108)는 잔차 재구축기(118), 가산기(120), 시간적 예측기(122), 스케일러/승산기(124) 및 추가적인 가산기(126)를 포함할 수 있다. 잔차 재구축기(118)와 가산기(120)는 비디오 디코딩 스테이지(108)의 입력부(128)(이것은 또한 입력부(114)에 연결되어 있음)와 비디오 디코딩 스테이지의 출력부(130)(이것은 또한 샘플값 재변환기(112)에 연결되어 있음) 사이에 직렬로 연결될 수 있다. 루프의 형태로, 승산기(124), 가산기(126) 및 시간적 예측기(122)는 언급한 순서대로, 가산기(120)의 출력부와 가산기(120)의 추가적인 입력부 사이에서 직렬로 연결되어 있다. 가산기(126)와 승산기(124)의 추가적인 입력부들에 인가되는 값들은 가중 및 오프셋 파라미터들에 따라 제어되며, 비디오 디코딩 스테이지(108)는 이 가중 및 오프셋 파라미터들을 입력부(128)에 입력되는 데이터 스트림으로부터 유도해낸다.
따라서, 비디오 디코더(100)와 비디오 디코딩 스테이지(108)의 내구 구조를 설명한 이후에는, 실시예에 따라, 이들 각자의 동작 모드를 아래에서 보다 자세하게 설명한다.
이미 위에서 언급한 바와 같이, 비디오 디코더(100)는 예컨대 도 1의 비디오 인코더에 의해 생성된 데이터 스트림을 디코딩하기 위한 것이다. 데이터 스트림은 비디오 인코딩 스테이지(20)가 보조 정보로서 데이터 스트림내로 삽입하는 가중 및 오프셋 파라미터들(50)을 이용하여 보다 낮은 동적 범위 포맷으로 시퀀스(30)로부터 유도되었다. 따라서, 비디오 디코더는 인코딩측에서 이용되는 가중 및 오프셋 파라미터들(50)에 대한 액세스를 가지며, 예컨대 일부 레이트/왜곡 최적화를 통해 인코딩측에서 최종적으로 선택된 파라미터들을 이용하여 인코딩측에서의 재구축을 에뮬레이팅할 수 있다.
특히, 비디오 디코딩 스테이지(108)는, 비디오 인코딩 스테이지(20)에 의해 도입된 양자화 손실과 같은 코딩 손실 이외에, 입력부(114)에 입력되는 데이터 스트림으로부터, 도 1의 시퀀스(30)에 대응하는 프레임들(32')의 제2 시퀀스(30')를 재구축하도록 구성된다. 이에 따라, 프레임들(32')의 샘플값들(34')은 또한 최종적으로 재구축된 시퀀스(102)의 동적 범위보다 낮은 제2 동적 범위(42)를 커버하는 제2 포맷으로 표현된다. 비디오 인코딩 스테이지(20)의 경우에서와 같이, 비디오 디코딩 스테이지(108)는 제2 시퀀스(30')의 참조 프레임을 참조로서 이용하여, 가중 파라미터에 의해 가중화되고 오프셋 파라미터에 의해 오프셋된, 제2 시퀀스(30')의 현재 프레임의 가중화된 시간적 예측치에 의해 재구축을 수행하며, 이 파라미터들은 입력부(114)에 입력되는 데이터 스트림에 의해 모두 구성된다. 이어서, 파라미터 설정기(110)는 제2 시퀀스(30')의 참조 프레임에 대한 매핑 파라미터에 따라 제2 시퀀스(30')의 현재 프레임에 대한 매핑 파라미터(132)를 설정하고, 현재 프레임의 가중 파라미터와 오프셋 파라미터(50)를 설정하도록 구성된다. 이어서 샘플값 재변환기(112)는, 샘플값 변환기(18)에 의해 이용된 매핑 함수와는 반대로서, 제2 동적 범위(42)를 제1 동적 범위 중의 일부분, 예컨대 부분(40)상에 매핑시키고, 제2 시퀀스의 각각의 프레임에 대한 매핑 파라미터에 의해 설정되는 매핑 함수를 이용하여 제2 시퀀스(30')의 프레임들(32')의 샘플값들(34')을 제2 포맷으로부터 제1 포맷으로 변환하도록 구성된다.
예를 들어, 비디오 디코딩 스테이지(108)의 잔차 재구축기(118)가 현재 프레임(32')에 대한 잔차(이것은 도 4에서 참조부호 134로 표시됨)를 현재 재구축하는 것을 상정하라. 분명하게도, 잔차(134)는 인코딩 동안에 발생한 도 2에서의 참조부호 88로 표시된 잔차에 대응할 것이다. 가산기(120)는 현재 프레임, 즉 프레임(32')의 재구축된 버전(138)을 달성시키기 위해, 이러한 잔차(134)를 시간적 예측기(122)에 의해 출력되는 현재 프레임의 시간적 예측치(136)와 결합시킨다. 추가적으로, 이러한 재구축된 버전(138)은 프레임 시퀀스(30')의 후속하여 디코딩되는 프레임에 대한 참조 프레임으로서 역할을 한다는 것을 상정하라. 그런 후, 가중 파라미터(logWD,
Figure 112013043343915-pct00027
)와 오프셋 파라미터(
Figure 112013043343915-pct00028
)는 후속하여 디코딩되는 프레임에 대한 데이터 스트림 내에 포함될 것이며, 이에 따라, 참조 프레임(32')의 샘플값들(34')은 예측기(122)에 의해 수행되는 시간적 예측에서 참조(140)로서 실제적으로 이용되기 전에 스테이지들(124, 126)에서 오프셋되고 스케일링될 것이다. 이것은 인코딩측에서의 기능을 미러링한 것이다. 시간적 예측기(122)는 참조(140)로부터 시간적 예측치(136)를 획득하기 위해 데이터 스트림 내에 포함된 모션 벡터들을 이용한다. 참조(140)를 표현하기 위해 이용되는 동적 범위 또는 비트들의 수는 원래의 클레임 시퀀스(30)(이것의 재구축은 비디오 디코딩 스테이지(108)의 참조부호 130에서 출력됨)의 동적 범위보다 높기 때문에, 가중 및 오프셋 파라미터들(50)의 적용으로 인해 발생했을 수 있었던 잠재적인 클립핑 영향들은 효과적으로 회피된다.
따라서, 비디오 디코딩 스테이지(108)에 의해 출력되는 시퀀스(30')는 인코딩측에서 비디오 인코딩 스테이지(20) 내로 입력되는 프레임 시퀀스(30)의 재구축을 나타낸다. 샘플값 재변환기(112)는 원래 재료(12) 내에서 원래 포함된 동적 범위를 수용하기 위해 충분한 동적 범위를 갖는 공통 포맷상으로 프레임들(32')의 샘플값들을 매핑시킴으로써 이러한 시퀀스(30')를 의미있는 시퀀스(102)로 전환시킨다. 이 포맷은 시퀀스(12)의 샘플값들(16)의 포맷일 수 있지만, 이것은 또한 이로부터 일탈할 수 있다. 이러한 공통적인 동적 범위 내에서 각각의 프레임(32')의 샘플값들(34')이 커버하는 부분을 획득하기 위해, 샘플값 재변환기(112)는 이러한 프레임들(32')과 연관된 일련의 가중/오프셋 파라미터들을 순차적으로 적용한다. 특히, 현재 프레임에 대해, 샘플값 재변환기(112)는 현재 프레임에 대한 가중 및 오프셋 파라미터들을 현재 프레임의 참조 프레임용으로 이전에 결정된 부분의 위치 및 치수에 적용시킴으로써, 이 부분, 즉 이 부분의 위치와 치수를 결정한다. 이러한 조치에 의해, 샘플값 재변환기(112)는 도 1에서 도시된 부분들(38, 48)을 순차적으로 복구시킨다.
따라서, 달리 말하면, 위에서 언급한 매핑 파라미터는 현재 프레임(32')에 대한 제1 동적 범위(40) 중의 부분(38)의 하한값(
Figure 112014105308264-pct00029
) 또는 상한값(
Figure 112014105308264-pct00030
) 및 제1 동적 범위(40) 중의 부분(38)의 길이(
Figure 112014105308264-pct00031
)를 정의할 수 있고, 파라미터 설정기(110)는, 현재 프레임 k에 대한 모션 파라미터(132)에 의해 정의된 부분(38)의 길이(
Figure 112014105308264-pct00032
)를 유도해내기 위한 현재 프레임 k에 대한 가중 파라미터(logWD,
Figure 112014105308264-pct00033
)에 따라, 시퀀스(30')의 참조 프레임 l에 대한 매핑 파라미터에 의해 정의된, 제1 동적 범위(40) 중의 부분(48)의 길이(
Figure 112014105308264-pct00034
)를 수정하고, 현재 프레임의 매핑 파라미터(132)에 의해 정의된 하한 또는 상한값(
Figure 112014105308264-pct00035
)을 유도해내기 위한 현재 프레임 k에 대한 오프셋 파라미터(
Figure 112014105308264-pct00036
)에 따라, 참조 프레임 l에 대한 매핑 파라미터에 의해 정의된, 제1 동적 범위(40) 중의 부분(48)의 하한 또는 상한값(
Figure 112014105308264-pct00037
)를 수정함으로써, 제2 시퀀스(30')의 현재 프레임에 대한 이러한 매핑 파라미터(132)를 설정하도록 구성될 수 있다. 따라서, 파라미터 설정기(110)는, 비디오 인코딩 스테이지(20)와 샘플값 변환기(18)를 제어하는 파라미터 설정기(22)와 같이 행동하도록 입력부(114)에 입력되는 데이터 스트림 내에 포함된 가중 및 오프셋 파라미터들(50)에 의해 조정된다.
이 시점에서 도 3의 파라미터 설정기(110)는 단순히 샘플값 재변환기(112)에 연결된 것으로 도시되지만 파라미터 설정기는 샘플값 변환기와 비디오 인코딩 스테이지(20) 모두를 각각 제어하는 것으로 도시된다는 것을 유념해야 한다. 앞서 언급한 사실로부터의 인코딩측과 디코딩측간의 차이점은 인코더의 비디오 인코딩 스테이지(20)는 가중/오프셋 파라미터들을 자유롭게 선택할 수 없다는 것이다. 이보다는, 인코더의 비디오 인코딩 스테이지(20)는 외부로부터, 즉 파라미터 설정기(22)에 의해 지시받게 되며, 이 경우 파라미터 설정기(22)는 이러한 가중/오프셋 파라미터들을 설정할 때 원래의 신호와 분포(44, 46)를 각각 고려해야 한다. 하지만, 파라미터 설정기(110)는 입력부(114)를 거쳐 도착하는 데이터 스트림에 포함된 보조 정보를 통한 이러한 선택의 결과에 의해 조정되며, 따라서 비디오 디코딩 스테이지(108)는 데이터 스트림 내에 포함된 가중/오프셋 파라미터 정보를 이 정보, 즉 가중/오프셋 파라미터 정보의 파라미터 설정기의 평가와는 독립적으로 이용할 수 있으며, 따라서 파라미터 설정기(110)로부터 비디오 디코딩 스테이지(108)로 통하는 제어 경로는 불필요하다. 하지만, 대안적인 실시예에 따르면, 파라미터 설정기(110)는 이에 따라 외부로부터 비디오 디코딩 스테이지(108)를 설정하고 제어하는 것을 담당한다. 후자의 경우, 제어 경로는 파라미터 설정기(110)로부터 비디오 디코딩 스테이지(108)로 이어질 것이다.
위에서 이미 언급한 바와 같이, 아래에서 개술되는 실시예의 보다 상세한 설명은 양쪽의 포맷들간의 로그 매핑 함수, 즉 제1 포맷의 로그 도메인과 제2 포맷의 로그 도메인간의 선형 매핑 함수를 이용할 것이다. 따라서, 샘플값 재변환기(112)는 제2 시퀀스(30')의 프레임들(32')의 샘플값들(Ln)(34')을
Figure 112013043343915-pct00038
에 따라 제2 포맷으로부터 제1 포맷으로 변환시키도록 구성될 수 있으며,
여기서 b와 a는 매핑 파라미터에 의해 구성되며, 이것은
Figure 112013043343915-pct00039
에 따라, 제1 동적 범위 중의 부분(38)의 하한값(Ymin)과 상한값(Ymax), 즉 Ymin 내지 Ymax와 관련이 있으며,
여기서 logm은 m을 밑(base)으로 하는 로그 함수이며, n은 제2 포맷의 정수 표현 비트들의 갯수를 나타내는 정수이다.
이 경우, 파라미터 설정기(112)는 a와 b를 계산하도록 구성될 수 있으며, 이로써
Figure 112013043343915-pct00040
이며,
여기서, n0은
Figure 112014105308264-pct00041
의 정의 범위와 관련된 정수이고, 인덱스
Figure 112014105308264-pct00138
은 제2 시퀀스의 제1 프레임을 인덱싱하고, 인덱스 m은 제2 시퀀스의 제2 프레임을 인덱싱하고,
Figure 112014105308264-pct00042
와 logWD는 가중 파라미터에 의해 구성되며,
Figure 112014105308264-pct00043
은 오프셋 파라미터에 의해 구성된다.
더 나아가, 위 설명과 마찬가지로, 비디오 디코딩 스테이지(108)는 프레임들의 제2 시퀀스를 재구축할 때 양자화기 스텝 크기 파라미터를 이용하도록 구성될 수 있고, 파라미터 설정기는 제2 시퀀스의 각각의 프레임들에 대해 설정된, 제1 동적 범위 중의 부분의 길이에 따라 제2 시퀀스의 프레임들에 대한 양자화기 스텝 크기 파라미터를 설정하도록 구성될 수 있다. 이와 관련하여, 파라미터 설정기(110)는 제2 시퀀스의 시작 프레임에 대한 양자화된 스텝 크기 파라미터에 대해 데이터 스트림으로부터 양자화된 스텝 크기 파라미터를 차별적으로 디코딩하도록 구성될 수 있다.
또한 위에서 설명한 바와 같이, 제1 시퀀스의 프레임들의 샘플값들은 휘도 부동소수점 값들인 것으로 가정했고, 루마의 제2 시퀀스의 프레임들의 샘플값들은 정수값들인 것으로 가정하였지만, 다른 가능성들이 또한 존재한다.
도 5는 도 1 내지 도 4에 대해 위에서 개술했던 실시예들에 따라 인코딩측으로부터 디코딩측으로 전달되는 데이터 스트림의 예시적인 부분을 도시한다. 위 논의로부터, 데이터 스트림(150)은 프레임들의 제1 시퀀스(102)를 가지며, 그 샘플값들은 재구축가능한 형태로 인코딩되는, 제1 동적 범위를 커버하는 제1 포맷으로 표현된다는 것을 따른다. 특히, 제1 시퀀스는 프레임들(32)의 제2 시퀀스(30)를 통해 간접적으로 데이터 스트림(150) 내로 인코딩되고, 프레임들(32)의 샘플값들은 제1 동적 범위보다 낮은 제2 동적 범위(42)를 커버하는 제2 포맷으로 표현되고, 제2 시퀀스는 참조로서, 가중 파라미터에 의해 가중화되고, 오프셋 파라미터에 의해 오프셋된, 제2 시퀀스(30')의 제2 프레임을 이용하여 제2 시퀀스(30')의 제1 프레임의 가중화된 시간적 예측에 의해 데이터 스트림내로 인코딩되고, 가중 파라미터와 오프셋 파라미터는, 제2 시퀀스(30')의 제1 프레임에 대한 매핑 파라미터(132)가 제2 시퀀스(30')의 제2 프레임에 대한 매핑 파라미터, 가중 파라미터 및 오프셋 파라미터에 의존하도록, 데이터 스트림내에 구성되며, 제2 시퀀스의 프레임들(32')의 샘플값들(34')은 제2 동적 범위(42)를, 제2 시퀀스의 각각의 프레임에 대한 매핑 파라미터에 의해 설정되는 제1 동적 범위(40) 중의 일부분상으로 매핑시키고 제1 시퀀스를 재구축하는 매핑 함수를 이용하여 제2 포맷으로부터 제1 포맷으로 변환된다. 다시 말하면, 데이터 스트림은 프레임들(30', 104) 중의 각각의 프레임들과 각각 연관된 프레임 부분들(152)으로 구축될 수 있다. 각각의 프레임(30')은 블록 단위로 데이터 스트림(150) 내로 코딩될 수 있다. 각각의 프레임 부분(152)은 예컨대 모션 벡터를 포함한 모션 예측 데이터(154)를 포함할 수 있다. 추가적으로, 각각의 프레임 부분(152) 데이터는 각각의 클레임에 대한 가중 및 오프셋 파라미터들(50)을 포함할 수 있다. 데이터 스트림은 각각의 프레임 부분의 모션 예측 데이터(154)가 시간 t에서, 즉 표현시간축을 따라 프레임 부분들(152)을 배열할 때, 바로 앞에 선행하는 프레임 부분으로의 되돌림(156)을 가리키도록 코딩될 수 있다. 즉, 각각의 프레임은 참조 프레임으로서 바로 앞에 선행하는 프레임을 이용한 P 프레임일 수 있으며, 공통 동적 범위(40) 중의 부분은 이러한 의존 체인을 이용하여 업데이트될 수 있다. 단순히, 프레임 시퀀스의 전체 중 첫번째, 즉 시작 프레임(158)은 I 프레임일 수 있거나, 또는 각각의 GOP의 시작 프레임들, 즉 (바로 앞선) 픽처들의 그룹일 수 있다. 이러한 시작 프레임(158)은 이러한 제1 프레임(158)에 대한 매핑 파라미터들의 명시적 코딩(160)을 그 안에 병합시킬 수 있다. 대안적으로, 이러한 명시적 코딩(160)은 심지어 불필요할 수 있다. 더 나아가, 각각의 프레임(152), 또는 시작 프레임(158)을 제외한 각각의 프레임(152)은 잔차 재구축기(118)에서 역양자화할 때 이용될 양자화 스텝 크기를 규정하고 부분(38)의 길이에 따라 설정되는, 양자화기 스텝 크기 파라미터(162)를 그 안에 인코딩시킬 수 있다. 특히, 양자화기 스텝 크기 파라미터(162)는 참조로서 시작 프레임 부분(158)의 (명시적으로 또는 암시적으로 결정된) 양자화기 스텝 크기 파라미터를 이용하여 상이한 방식으로 데이터 스트림내로 코딩될 수 있다.
인코딩 및 디코딩 장치에 대한 실시예들을 다소 일반적인 용어들을 이용하여 설명한 후, 아래에서는 위 실시예들의 구체적인 구현들을 나타내는 보다 상세한 실시예들을 개술한다. 아래에서 개술되는 구체적인 구현 상세내용들에 따르면, 비디오 인코딩/디코딩 스테이지와 샘플값 변환/재변환사이의 각각의 천이를 수행하기 위해 프레임별 적응적 휘도 대 루마 매핑이 이용된다. 아래에서 개술되는 실시예들에 따르면, 시간적 코히어런스를 유지하기 위해 H.264/AVC의 가중화된 예측 툴이 활용된다. 다시 말하면, 아래에서 개술되는 실시예들에 따르면, 위 실시예들의 비디오 인코딩 스테이지와 비디오 디코딩 스테이지는 H.264형 엔티티들처럼 동작하는데, 즉 비디오 인코딩 스테이지(20)는 H.264형 데이터 스트림을 생성시키고 비디오 디코딩 스테이지(108)는 H.264/AVC 표준에 따라 구현된다. 도 5의 데이터 스트림은 심지어 완전히 H.264/AVC형일 수 있다. 따라서 아래의 실시예들에 따르면, 가중화된 예측 툴은 시간적 코히어런스를 유지하는 것 뿐만이 아니라, 이와 동시에 샘플값 변환을 위해 이용되는 적응적 매핑 파라미터들을 전달하기 위해 활용된다. 더 나아가, 적응적 매핑에 따라 각각의 프레임에 대해 양자화 파라미터(quantization parameter; QP)를 적응시키는 방법에 관한 예시가 주어질 것이다.
따라서, 아래에서는, 도 1 내지 도 5의 위에서 개술된 실시예들에 관한 구현 상세사항들을 보다 자세하게 수학식들을 이용하여 아래에서 제공한다. 그 후, 섹션 2에서, 이러한 구현 상세사항들을 이용한 실험적 결과들을 제공한다.
1.1. 동적 범위 적응적 휘도 매핑
아래에서는 비디오 코딩 애플리케이션들을 위한 휘도 대 루마 매핑을 재방문한다. 아래의 보다 일반적인 휘도 대 루마 매핑 함수들의 공식들에서는 표현가능한 휘도 범위 [Ymin, Ymax], 루마 비트 깊이 n 및 관련된 상대적 정밀도간의 트레이드오프를 살펴볼 수 있다:
Figure 112013043343915-pct00044
Figure 112013043343915-pct00045
휘도(Y) 로그와 루마 공간(L)간의 이러한 선형 관계는 도 6에서도 도시된다. 도 6은 적응적 로그 휘도 대 루마 매핑을 도시하며, 상이한 프레임들(l, k)에 대한 상이한 범위들은 상이한 매핑 함수들을 불러일으킨다. 결과적으로, 상이한 루마값들은 동일한 휘도값을 표현할 수 있다.
분명하게도, 이러한 매핑은 Ymin과 Ymax가 현재 비디오 프레임의 최소 및 최대 휘도와 각각 같을 때 최고 충실도를 달성한다. 즉, 비디오 프레임 내의 기존의 휘도값들은 매핑 함수에 의해 가능할 수 있는 최고로 가파른 기울기를 가지면서 전체 루마 범위에 매핑된다. 하지만, 동적 범위들은 (심지어 정적 장면에서도, 노이즈로 인해) 하나의 프레임에서 다음 프레임까지 변할 수 있으며, 이러한 단순 적응은 비디오 시퀀스의 시간적 코히어런스를 파괴시킬 것이고 효율적인 시간적 예측을 막을 것이다. 다음 섹션에서는 이러한 효과들을 고려한 적응적 매핑을 제공할 것이다.
1.2. 시간적 코히어런트 적응적 휘도 매핑
HDR 비디오 시퀀스의 두 개의 연속적인 프레임들(k, l = k + 1)은 상이한 휘도 범위들 [Ymin,k, Ymax,k] 및 [Ymin,l, Ymax,l]을 각각 나타낸다는 것을 고려하라. 분명하게도, [수학식 2]에서 각각의 프레임의 극값들을 이용하는 것은 각각의 프레임에 대한 상이한 매핑을 초래시킬 것이다. 즉, 프레임(k, l)에서의 동일한 휘도값
Figure 112013043343915-pct00046
은 도 1에서 예시된 바와 같이 각각 상이한 루마값들(Ln,k, Ln,l)로 매핑될 것이다. 프레임(k, l) 각각에 대해 상이한 매핑을 이용하여 [수학식 3]을 [수학식 2]에 대입하면 다음과 같다:
Figure 112013043343915-pct00047
분명하게도, 동일한 휘도값(
Figure 112013043343915-pct00048
)으로부터 유래된 두 개의 루마값들(Ln,k, Ln,l)의 관계는 전반적으로 스케일(w)과 오프셋(o)에 의해 정의된다. w와 o은 [Ymin,k, Ymax,k] 및 [Ymin,l, Ymax,l] 범위들로부터 손쉽게 유도될 수 있다.
H.264/AVC는 가중화된 예측(weighted prediction; WP) 툴을 위한 구문을 정의한 첫번째 국제 비디오 코딩 표준이다[7]. WP의 원래의 의도는 모션 보정된 예측이 보통 실패하는 페이드 인 및 페이드 아웃 시퀀스들에 대한 코딩 효율을 강화시키고자 한 것이다. 이것은 가중 파라미터(
Figure 112013043343915-pct00049
)와 오프셋 파라미터(
Figure 112013043343915-pct00050
)를 슬라이스마다 명시적으로 시그널링하도록 해준다. 이 파라미터들은 시간적 예측을 강화하기 위해 참조 프레임을 가중화하고 쉬프트시키기 위해 이용될 수 있다. [수학식 4]은 단지 연속적인 프레임들의 동적 범위의 변동이 루마 공간에서의 동일한 휘도값들의 가중화(w)와 쉬프팅(o)을 초래시킨다는 것을 보여준다. 그러므로, H.264/AVC의 WP 구문은 휘도 범위에서의 어떠한 변동들에도 불구하고 효율적인 시간적 예측을 가능하게 하는데 완벽히 적합하다. 예컨대, 거의 정적인 장면이 밝은 태양광을 마주하고 있는 HDR 가능 카메라에 의해 레코딩되는 경우를 고려해보자. 태양광이 갑작스럽게 구름으로 뒤덮힌 경우, 동적 범위는 10의 몇승만큼 변동될 것이지만 모든 전경 객체들의 휘도값들은 대략 일정하게 남아있을 것이다. 참조 프레임의 루마값들을 적응시키기 위해 WP 툴들을 이용할 수 있다면, 동일한 휘도값들로부터 유래되는 전경 픽셀들의 완벽한 시간적 예측을 가능하게 해준다. 더 나아가, WP 파라미터 정보는 휘도 대 루마 매핑의 프레임별 적응을 위한 어떠한 필요한 보조 정보도 운송하는데 충분하며, 이것은 아래에서 보여줄 것이다.
H.264/AVC에서
Figure 112013043343915-pct00051
와
Figure 112013043343915-pct00052
의 정밀도와 동적 범위는 제한적이다. 양쪽 파라미터들은 -128과 127사이의 정수값들을 취할 수 있다.
Figure 112013043343915-pct00053
의 정밀도는 1/2logWD의 양자화 간격에 의해 제한되며, logWD는 명시적으로 시그널링되고 0에서 7의 정수값들을 취할 수 있다. 결과적으로, 보다 높은 logWD값은 파라미터
Figure 112013043343915-pct00054
의 보다 미세하게 입도설정된 표현을 야기시킨다. 이것은 또한 가중 계수들을 코딩하고 유효 스케일링의 범위를 좁히기 위해 보다 많은 비트들이 필요하다는 것을 의미한다[7]. H.264/AVC 코더에서의 루마 표현의 비트 깊이 n을 고려하기 위해 오프셋 파라미터의 스텝 크기는 2n-8에 의해 정의된다. 결과적으로, 하나의 프레임에서 다음 프레임으로의 변동되지 않는 휘도값들의 완벽한 시간적 예측을 가능하게 하기 위해, H.264/AVC WP 파라미터들
Figure 112013043343915-pct00055
와
Figure 112013043343915-pct00056
에 의해 적응적 매핑 함수가 표현될 수 있도록 하는 방식으로 적응적 매핑 함수의 변동을 양자화할 필요가 있다.
즉, 프레임 k의 매핑 함수에 의해 커버된 동적 휘도 범위
Figure 112013043343915-pct00057
가 주어진 경우,
Figure 112013043343915-pct00058
의 제약하에서,
Figure 112013043343915-pct00059
및
Figure 112013043343915-pct00060
을 충족시키는 최소값
Figure 112013043343915-pct00061
과 최대값
Figure 112013043343915-pct00062
을 찾아야 한다.
위의 두 개의 부등식들은 적응적 매핑에 의해 커버되는 휘도 범위가 적어도 현재 프레임에서 제공된 휘도 범위[Ymin,l, Ymax,l]를 커버한다는 것을 보장한다.
실제에서, 파라미터 설정기(22)는 [수학식 5]와 [수학식 6]을 풀고,
Figure 112013043343915-pct00063
및
Figure 112013043343915-pct00064
로 설정하며, 제로를 향해 라운딩함으로써 이 문제의 해법을 찾을 수 있다. 이것은
Figure 112013043343915-pct00065
와
Figure 112013043343915-pct00066
, [수학식 5] 및 [수학식 6]에 대한 초기값들을 산출시킨다.
Figure 112013043343915-pct00067
와
Figure 112013043343915-pct00068
는 각각 다음과 같이 풀어진다:
Figure 112013043343915-pct00069
Figure 112013043343915-pct00070
결과들이 [수학식 7]에서의 조건들 중 하나를 위반하면, 파라미터 설정기(22)는
Figure 112013043343915-pct00071
를 1만큼 감소시키거나 또는
Figure 112013043343915-pct00072
를 1만큼 각각 증가시킬 수 있고, [수학식 8]과 [수학식 9]을 재계산할 수 있다.
프레임 k에 대하여 프레임 l의 최상의 휘도 범위
Figure 112013043343915-pct00073
를 찾은 후, 파라미터 설정기(22)와 샘플값 변환기(18)는 [수학식 2]에서의 매핑을 위해 이 값들을 이용할 수 있다. 뿐만 아니라, 가중 및 오프셋 파라미터들
Figure 112013043343915-pct00074
와
Figure 112013043343915-pct00075
는 H.264/AVC 비디오 인코더(20)의 가중화된 시간적 예측에서의 활용을 위해 손쉽게 이용가능하다. 최종적으로, [수학식 5]와 [수학식 6]에서의 관계들로부터, 이러한 파라미터들은 이전 프레임(48)의 범위가 주어진 경우 현재 프레임(38)의 휘도 범위를 정확하게 복구시키는데 완전히 충분하다는 것을 살펴볼 수 있다. 제1 프레임(및 가능하게는 IDR 프레임들)의 매핑이 최대 가시적 동적 범위를 커버할 때 적응적 매핑을 위해 어떠한 추가적인 보조 정보도 필요하지 않다. 그렇지 않은 경우, 제1 프레임에 대한 범위는 점선(28)에 의해 나타난 바와 같이 디코더로 명시적으로 시그널링되어야 한다. 하지만, 일반적으로, 섹션 1에 따른 기법은 부동값 스케일링 정보가 각 프레임에 대한 보조 정보로서 전달되어야함을 회피시키는데, 만약 그렇지 않은 경우 이것은 표준적인 코딩을 복잡하게 만들고 비트 레이트를 증가시킬 것이다.
1.3. 시간적 코히어런트 양자화
위 조치들에 따르면, 각각의 프레임에 대해, 상이한 휘도 범위들이 루마 코딩값들로 매핑된다. 그러므로, H.264/AVC 인코딩 공정 동안 동일한 QP를 이용하는 것은 매핑에 따라, 휘도 공간의 가변적인 양자화를 야기시킬 것이다. 다시 말하면, 인코더가 일정한 양자화를 이용할 수 있을지라도, 유효 양자화는 시간이 흐름에 따라 대체로 변할 것이며, 이것은 퀄리티와 비트 레이트에 있어서 강력한 변동들을 일으킨다. 그러므로, 실시예에 따르면, 코딩 스테이지들(20, 108)은 휘도 매핑 범위를 고려하여 이에 따라 각 프레임에 대한 적절한 ΔQP를 찾는다. 여기서, ΔQP는 제1 프레임을 인코딩하기 위해 이용되는 참조 QP에 대해, 현재 프레임에 대한 QP 오프셋을 명시한다. 도 1에서는, 동일한 유효 양자화를 휘도값들에 도입시키기 위해, 현재 프레임(l)과 임의적인 참조 프레임(k)의 양자화기 스텝 크기들(Qstep,l, Qstep,k)이
Figure 112013043343915-pct00076
에 따라 관련맺어야 한다는 것을 손쉽게 살펴볼 수 있다.
QP값이 6 단위만큼 증가할 때 Qstep은 정의에 따라 대략 두 배가 된다라는 사실을 고려하여,
Figure 112013043343915-pct00077
을 명시할 수 있다.
이러한 작업에서는, 각 프레임에 대한 QP 오프셋 값들을 계산하기 위한 참조 프레임으로서 시퀀스의 제1 프레임을 항상 이용한다. 즉, 임의적인 프레임(l)이 QP=QP1+ΔQPl,1를 갖도록 양자화될 것이다.
2. 실험 결과들
섹션 1의 시간적 코히어런트 휘도 대 루마 매핑을 평가하기 위해, 세 개의 HDR 테스트 시퀀스들, 즉 파노라마, 터널, 및 태양광으로 코딩 실험들을 수행하였다. 모든 시퀀스들은 640 × 480 픽셀 해상도와 30 fps의 프레임 레이트를 갖는다. 파노라마 테스트 시퀀스는 8000 × 4000 픽셀 HDR 파노라마 이미지를 패닝(panning)함으로써 생성되었다. 이것은 어두운 내부 영역들뿐만이 아니라 윈도우 외부로부터의 매우 밝은 태양광 반사들을 보여준다. 그 총체적인 동적 범위는 1010:1의 차수를 갖는다. 터널과 태양광 모두는 운행중인 자동차 안에서 HDR 비디오 카메라로 취해졌으며 이것은 막스-플랑크 연구소[8]로부터 자유롭게 입수가능하다. 터널의 경우는 어두운 터널속에서의 운전을 보여주며, 태양광의 경우는 고속도로상에서 밝은 태양광을 마주보고 하는 운전을 보여준다. 이러한 시퀀스들에서 표현된 총체적 동적 범위는 각각 105:1와 107:1이다. 본 실험들에서는 디코딩된 HDR 비디오들의 퀄리티를 평가하기 위해, 두 개의 메트릭들, 즉 HDR 가시적 차분 예측기(visible difference predictor; VDP)[9]와 지각적으로 균일한 피크 신호 대 노이즈비(perceptually uniform peak signal-to-noise ratio; PU PSNR)[10]를 이용한다. VDP는 관측자가 75% 보다 높은 확률로 차이를 알아차릴 한 쌍의 이미지들에서의 픽셀들의 퍼센티지를 추정한다. PU PSNR 메트릭은 HDR에 대한 공통 PSNR 메트릭의 단순 확장이다. LDR 이미지들의 경우 감마 보정된 픽셀 코드값들은 지각적으로 균일하며, 즉 동등한 에러 진폭들이 이미지의 밝은 영역과 어두운 영역에서 똑같이 보여지는 것으로 추측된다. 하지만, 이러한 추측은 HDR 이미지들에 대해서는 유지되지 않으며, 따라서 코드값들은 의미있는 PSNR 값들이 계산될 수 있기 전에 지각적으로 균일한 공간으로 스케일링되어야 한다[10].
시퀀스들을 인코딩하기 위해, 시퀀스들은 제일먼저 RGB 부동소수점값들로부터 LogLuv 공간으로 변환되고, 그런 후에 H.264/AVC 참조 소프트웨어 JM 17.2로 인코딩된다. 루마 성분은 12 비트/샘플의 비트 깊이로 인코딩되고, u'와 v' 성분들은 두 개의 수직적 및 수평적 배율로 서브샘플링되고 8비트/샘플로 인코딩된다. 모든 실험들에 대해 8×8 변환, IPPP GOP 구조, 15의 인트라 프레임 기간, 및 CABAC 인에이블된 H.264/AVC 높은 프로파일의 동일한 구성을 이용한다. 각각의 인코더 구동을 위해 고정된 참조 QP가 선택되고 레이트 제어는 인에이블되지 않는다. 하지만, 프레임별 QP는 섹션 1.3에서 기술된 바와 같이 이러한 참조 QP로부터 이탈할 수 있다. 시퀀스들을 디코딩한 후, 시퀀스들은 RGB 부동 부동소수점값들로 되매핑되고 이들의 퀄리티는 이전에 설명한 메트릭들에 따라 평가된다.
특히, 도 7은 세 가지 경우들, 즉 섹션 1에 따른 시간적 코히어런트 매핑("제안 사항"), 시간적 코히어런스가 없는 각 프레임에 대한 프레임별 적응("프레임별")[6], 및 전체적인 시각적 휘도 범위 [10-4, 108]의 일정한 매핑(“시각적 범위”)에 대한 코딩 결과들을 도시한다. 윗쪽 행: 가시적 차분 예측기(VDP). 아랫쪽 행: 지각적으로 균일한 피크 신호 대 노이즈비(PU PSNR).
도 7은 디코딩된 모든 프레임들에 걸친 VDP 평균된 측면(윗쪽 행)과 휘도 성분의 평균 PU PSNR의 측면(아랫쪽 행)의 모든 테스트 시퀀스들에 대한 코딩 결과들을 도시한다. 특히, 도 7은 세 가지 경우들, 시간적 코히어런트 매핑("제안 사항"), 시간적 코히어런스가 없는 각 프레임에 대한 프레임별 적응("프레임별")[6], 및 전체적인 시각적 휘도 범위 [10-4, 108](“시각적 범위”)의 일정한 매핑에 대한 코딩 결과들을 도시한다. 윗쪽 행: 가시적 차분 예측기(VDP). 아랫쪽 행: 지각적으로 균일한 피크 신호 대 노이즈비(PU PSNR).
제안 방법("제안 사항")은 도 7에서의 두 개의 참조 방법들, 즉 시간적 코히어런스를 고려하지 않고 각 프레임의 동적 범위에 대한 휘도 대 루마 매핑의 단순 프레임별 적응("프레임별")[6], 및 전체적인 지각적 휘도 범위 [10-4, 108]의 일정한 매핑(“시각적 범위”)과 비교되어 진다. 후자의 경우, 매핑 함수의 휘도 범위는 많은 HDR 비디오 시퀀스들에서 발생 휘도들의 범위를 초과할 수 있다. 하지만, 실시간 코딩 애플리케이션에서, 매핑 범위를 시퀀스의 절대 휘도 범위로 좁히는 것이 가능하지 않은데, 그 이유는 이것은 인코딩 전에 전체 시퀀스의 프로세싱을 요구할 것이기 때문이다. 도 7은 모든 테스트 시퀀스들에 대해 제안된 매핑이 참조 방법들을 상당히 능가한다는 것을 명확하게 도시한다. 여기서 VDP 메트릭은 픽셀이 에러가 있는지 아닌지에 대한 추정만을 제공하는 문턱 메트릭임을 주목할 가치가 있다. 이러한 에러가 관측자를 얼마나 성가시게 하는지를 말해주지는 않는다. 따라서, 예컨대 도 7(a)에서의 결과들은 다음과 같이 해석될 수 있다: 만약 픽셀들의 약 1%가 에러있는 것으로 인지되는 것을 허용하는 경우, 제안된 매핑으로, 2500 kbits/s 미만의 비트 레이트만을 필요하다. 이것은 "시각적 범위"("프레임별") 시나리오에서 동일한 VDP 값을 달성하기 위해 소비해야 하는 5000 kbits/s(3250 kbits/s)와 비교하여 약 50%(25%)의 감소이다. 마찬가지로, 도 7(b)과 도 7(c)에서의 터널 및 태양광 테스트 시퀀스들에 대해서는 거대한 레이트 절감이 관측될 수 있다.
예상한 바와 같이, 도 7(d) 내지 도 7(f)에서의 PU PSNR 결과들은 모든 시퀀스들에 대한 VDP 결과들과 유사한 성능 특징들을 도시한다. 뿐만 아니라, 이것들은 큰 범위의 비트 레이트들에 대해 제안된 방법으로 달성될 수 있는 퀄리티 이득의 양자화된 결론을 허용한다. 예컨대, 파노라마 시퀀스의 경우, 제안된 방법의 PU PSNR값은 "시각적 범위" 매핑의 PU PSNR값을 3250 kbits/s에서 3 dB만큼 초과한다(예컨대, 도 7(d)). 이것은 지각적으로 균일한 휘도 공간에서의 평균 제곱 에러가 동일한 비트 레이트에서 절반이며 시각적 퀄리티는 상당히 증가한다는 것을 의미한다.
파노라마 시퀀스의 경우 프레임별 적응적 매핑은 비적응적 "시각적 범위" 매핑과 비교하여 코딩 효율성에 대해 매우 해로운 영향을 미친다는 것을 주목할 가치가 있다. 이 시퀀스는 시퀀스의 동적 범위의 매우 크고 빠른 변동들을 나타내며, 이에 따라 프레임별 적응적 매핑의 경우, 시간적 예측은 실패한다(예컨대, 도 7(a)과 도 7(d)). 다른 한편, 도 7(b)와 도 7(e)에서는 제안된 방법이 "프레임별" 매핑과 거의 동일하게 수행한다는 것이 관측될 수 있다. 이 시퀀스에서, 동적 범위의 시간적 변동들은 매우 부드럽다. 본 실험들에서는, "프레임별" 매핑의 경우 동적 범위가 상당히 변할 때 마다 비트 레이트 및 퀄리티의 강력한 시간적 변동들이 존재한다는 것이 추가로 관측되었다. 이러한 부정적 영향은 제안된 방법의 매핑 및 시간적 코히어런트 양자화에 의해 회피될 수 있다.
3. 결론
따라서, 섹션 1에서, 최신의 H.264/AVC 비디오 코딩 표준으로 부동소수점 높은 동적 범위 비디오 데이터의 압축을 가능하게 하는 적응적 휘도 대 루마 매핑이 제안되었다. 다른 방법들과는 달리, 이 매핑은 각 프레임의 동적 범위에 적응된다. 그럼에도 불구하고, 시간적 코히어런스는 H.264/AVC의 가중화된 예측 툴들을 활용하고 매핑 함수에 따라 양자화 파라미터의 프레임별 적응을 적용함으로써 지속된다. 추가적인 보조 정보는 필요하지 않으며 비적응적 방법들과 비교하여 동일한 퀄리티로 50%까지의 상당한 비트 레이트 절감이 관측될 수 있다.
최종적으로, 섹션 1 내지 섹션 3에서 제공된 모든 상세사항들은 또한 몇몇의 측면에서 달라질 수 있다는 것을 유념해야 한다. 예를 들어, 도 1 내지 도 5와 관련하여 언급한 가중/오프셋 파라미터들뿐만 아니라 섹션 1 내지 섹션 3에서 언급된 가중/오프셋 파라미터들은 어떠한 것도 H.264/AVC 표준의 파라미터들, 즉 logWD,
Figure 112013043343915-pct00078
및
Figure 112013043343915-pct00079
으로 제한되지 않는다. 가중/오프셋 파라미터들은 상이한 구문 엘리먼트들의 형태로 전달될 수 있다. 특히, 가중 파라미터의 전달을 두 개의 구문 엘리먼트 엔티티들, 즉 logWD,
Figure 112013043343915-pct00080
으로 분할하는 것은 불필요하다. 마찬가지로, 시퀀스(30, 30') 각각은 참조 프레임으로서 각각의 바로 앞에 선행하는 프레임을 이용하여, IPPPP...시퀀스의 형태로 코딩될 수 있거나, 또는 IPPPP...GOP의 형태로 코딩될 수 있다는 것을 유념해야 한다. 양자화 파라미터가 재조정될 수 있다는 것을 언급한 섹션 1.3에서 언급한 바와 같이 제1 I 프레임은 개시 프레임을 나타낼 수 있다. 하지만, 위에서 개술한 모든 실시예들이 이러한 시퀀스 유형으로 제한되는 것은 아니다. 두 개의 참조 프레임들과 관련하여 현재 프레임에 대한 가중/오프셋 파라미터들 모두에 의해 취해진 제약들을 충족시키기 위해, 즉 현재 프레임의 참조 프레임의 가중/오프셋 파라미터들과 다른 참조 프레임의 가중/오프셋 파라미터들을 고려하고 양쪽 파라미터 쌍들이 데이터 스트림 내에서 전달되도록 함으로써, 파라미터 설정기(22)에서의 추가적인 조치들을 고려할 때 비디오 인코딩 스테이지(20)와 비디오 디코딩 스테이지(108)에서의 코딩 기법 내에서 심지어 B 프레임들이 이용될 수 있다.
또한, 이미 위에서 언급한 바와 같이, 휘도 대 루마 매핑 대신에, 또다른 매핑이 위에서 개술된 실시예들의 주제가 될 수 있다. 다시 말하면, 샘플값들은 휘도 대신에 다른 정보에 관한 것일 수 있다. 또한, 도 2와 도 4의 비디오 인코딩 스테이지(20)와 비디오 디코딩 스테이지(108)의 구현은 예시적 성질인 것으로서 단지 이해되어야 한다. 예를 들어, 잔차 신호(88)를 엔트로피 코딩하는 것을 담당하는 엔트로피 인코더(62)는 제외될 수 있고, 마찬가지로, 택일적으로 엔트로피 디코더(129)가 도 4의 비디오 디코딩 스테이지(108)의 입력부(128)와 잔차 재구축기(118) 사이에 연결될 수 있다.
비록 몇몇 양태들은 장치의 관점에서 설명되었지만, 이러한 양태들은 또한 대응 방법의 설명을 나타낸다는 것이 명백하며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 마찬가지로, 방법 단계의 관점에서 설명된 양태들은 또한 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명을 나타낸다. 방법 단계들 모두 또는 그 일부는 예컨대, 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이것을 이용하여) 실행될 수 있다. 몇몇 실시예들에서, 가장 중요한 방법 단계들 중의 몇몇의 하나 이상의 방법 단계들은 이러한 장치에 의해 실행될 수 있다.
본 발명의 데이터 스트림은 디지털 저장 매체상에 저장될 수 있거나 또는 인터넷과 같은 무선 전송 매체 또는 유선 전송 매체와 같은 전송 매체를 통해 전송될 수 있다.
일정한 구현 요건에 따라, 본 발명의 실시예들은 하드웨어나 소프트웨어로 구현될 수 있다. 이러한 구현은 전자적으로 판독가능한 제어 신호들이 저장되어 있으며, 각각의 방법이 수행되도록 프로그램가능한 컴퓨터 시스템과 협동하는(또는 이와 협동가능한) 디지털 저장 매체, 예컨대 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 이용하여 수행될 수 있다. 그러므로, 디지털 저장 매체는 컴퓨터로 판독가능할 수 있다.
본 발명에 따른 몇몇의 실시예들은 여기서 설명된 방법들 중 하나의 방법이 수행되도록, 프로그램가능한 컴퓨터 시스템과 협동할 수 있는 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동될 때 본 방법들 중 하나의 방법을 수행하기 위해 동작되는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예컨대 머신 판독가능한 캐리어 상에 저장될 수 있다.
다른 실시예들은 머신 판독가능한 캐리어 상에서 저장되는, 여기서 설명된 방법들 중 하나의 방법을 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말하면, 본 발명의 방법의 실시예는, 따라서, 컴퓨터 상에서 컴퓨터 프로그램이 구동될 때, 여기서 설명된 방법들 중 하나의 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법들의 추가적인 실시예는, 이에 따라 여기서 설명된 방법들 중 하나의 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독가능한 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형적이며 및/또는 비일시적이다.
본 발명의 방법의 추가적인 실시예는, 이에 따라 여기서 설명된 방법들 중 하나의 방법을 수행하기 위한 컴퓨터 프로그램을 표현한 신호들의 시퀀스 또는 데이터 스트림이다. 신호들의 시퀀스 또는 데이터 스트림은 데이터 통신 접속, 예컨대 인터넷을 통해 전송되도록 구성될 수 있다.
추가적인 실시예는 여기서 설명된 방법들 중 하나의 방법을 수행하도록 구성되거나 적응된 처리수단, 예컨대 컴퓨터, 또는 프로그램가능 논리 디바이스를 포함한다.
추가적인 실시예는 여기서 설명된 방법들 중 하나의 방법을 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가적인 실시예는 여기서 설명된 방법들 중 하나의 방법을 수행하기 위한 컴퓨터 프로그램을 (예컨대, 전자적으로 또는 광학적으로) 수신기에 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는, 예컨대 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은, 예컨대 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
몇몇의 실시예들에서, 프로그램가능한 논리 디바이스(예컨대 필드 프로그램가능한 게이트 어레이)는 여기서 설명된 방법들의 기능들 모두 또는 그 일부를 수행하기 위해 이용될 수 있다. 몇몇의 실시예들에서, 여기서 설명된 방법들 중 하나의 방법을 수행하기 위해 필드 프로그램가능한 게이트 어레이가 마이크로프로세서와 협동할 수 있다. 일반적으로, 본 방법들은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
상술한 실시예들은 본 발명의 원리들에 대한 일례에 불과하다. 여기서 설명된 구성 및 상세사항의 수정 및 변형은 본 발명분야의 당업자에게 자명할 것으로 이해된다. 그러므로, 본 발명은 계류중인 본 특허 청구항들의 범위에 의해서만 제한이 되며 여기서의 실시예들의 설명 및 해설을 통해 제시된 특정한 세부사항들에 의해서는 제한되지 않는다는 것이 본 취지이다.
달리 말하면, 높은 동적 범위 비디오(HDR) 시퀀스들의 효율적인 압축에 적절한 실시예들이 설명되어 왔다. H.264/AVC 비디오 코딩 표준과 호환되는 코딩된 표현을 획득하기 위해, 부동소수값의 HDR값들이 적절한 정수 표현에 매핑된다. 이용된 매핑은 각각의 비디오 프레임의 동적 범위에 적응된다. 뿐만 아니라, 프레임들에 걸쳐 연관된 동적 대비 변동을 보정하기 위해, 가중화된 예측 방법 및 양자화 적응이 도입된다.
또다른 관점으로부터, 위 실시예들은 EP10151074.1에서 또한 설명된 적응적 LogLuv 변환의 개선이며, 이에 대한 설명은 추가적인 상세사항들을 위해 여기에 병합된다. 기본적으로, EP10151074.1에서와 유사한 부동소수값 대 정수값들의 적응적 로그 매핑이 이용되었다. 하지만, 이 매핑의 파라미터들은 더 이상 완전히 자유롭지 않다. 대신에 이 파라미터들은, 위 실시예들에 따라, H.264/AVC 비디오 코덱과 특히 H.264/AVC의 가중화된 예측(WP) 툴의 특징들에 적합하도록 제약을 받는다. 이러한 제약들로 인해, 다음의 이점들이 얻어졌다: (1) 시간적 코히어런스를 보장하기 위해 WP 툴이 이용될 수 있다. (2) LogLuv 매핑의 파라미터들을 시그널링하기 위해 WP에 대한 H.264/AVC 구문이 이용될 수 있으며, 이에 따라 추가적인 보조 정보에 대한 필요성을 제거시킬 수 있다. 위 설명에서는, 적응적 매핑에 따라 H.264/AVC 코더의 양자화 파라미터를 적응시키는 방법을 보여주었다.
참조문헌들
[1] 에릭 레인하르트(Erik Reinhard), 그레그 와드(Greg Ward), 수만타 파타나이크(Sumanta Pattanaik), 및 폴 데베벡(Paul Debevec)의 "High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting"(모간 카프만 출판사, 2005년 미국 캘리포니아 샌프란시스코)
[2] 제이 에이 퍼워다(J. A. Ferwerda)의 “Elements of early vision for computer graphics”(IEEE Comp. Graph. and Appl 저널지, 2001년, 제21권, 5번, 22-23 페이지)
[3] 그레고리 와드 라슨(Gregory Ward Larson)의 “The LogLuv encoding for full gamut, highdynamic range images”(Graph. Tools 저널지, 1998년, 제3권, 1번, 15-31 페이지)
[4] 라팔 만티욱(Rafal Mantiuk), 그레체고로츠 크라브지크(Grzegorz Krawczyk), 캐롤 마이즈코프스키(Karol Myszkowski), 및 한스 피터 세이델(Hans-Peter Seidel)의 “Perception-motivated high dynamic range video encoding”(ACM Trans. Graph 저널지, 2004년, 제23권, 3번, 733-741 페이지)
[5] 마사히로 오쿠다(Masahiro Okuda) 및 니콜라 아다미(Nicola Adami)의 “Effective color space representation for wavelet based compression of HDR images”(International Conference on Image Analysis and Processing 저널지, 2007년, 388?392 페이지)
[6] 아지트 모트라(Ajit Motra) 및 허버트 토마(Herbert Thoma)의 “An adaptive LogLuv transform for high dynamic range video compression”(Proc. Intl. Conf. on Image Processing(ICIP), 2010년 9월 중국 홍콩)
[7] 제이 엠 보이스(J.M. Boyce)의 “Weighted prediction in the H.264/MPEG AVC video coding standard”(Proc. Intl. Symposium on Circuits and Systems(ISCAS), 2004년 5월, 789?792 페이지)
[8] 그레체고로츠 크라우츠지(Grzegorz Krawczy)의 “HDR video environment maps samples”(http://www.mpi-inf.mpg.de/resources/hdr/video/, MPI)
[9] 라팔 만티욱(Rafal Mantiuk), 스코트 달리(Scott Daly), 캐롤 마이즈코프스키(Karol Myszkowski), 및 한스 피터 세이델(Hans-Peter Seidel)의 “Predicting visible differences in high dynamic range images ? model and its calibration”(SPIE Human Vision and Electronic Imaging X, 2005년)
[10] 텅크(TunC), 오잔 아이딘(Ozan Aydin), 라팔 만티욱(Rafal Mantiuk) 및 한스 피터 세이델(Hans-Peter Seidel)의 “Extending quality metrics to full dynamic range images”(SPIE Human Vision and Electronic Imaging XIII, 2008년 1월 미국 산호세)

Claims (20)

  1. 프레임들(14)의 샘플값들(16)이 제1 동적 범위를 커버하는 제1 포맷으로 표현되도록 상기 프레임들(14)의 제1 시퀀스(12)를 인코딩하기 위한 비디오 인코더에 있어서,
    프레임들(32)의 제2 시퀀스(30)를 획득하기 위해, 상기 제1 동적 범위(40) 중의 부분(38)을 상기 제2 동적 범위(42)로 매핑하는 매핑 함수(36)―매핑 파라미터(45)에 의해 설정가능함―를 이용하여 상기 제1 시퀀스(12)의 프레임들(14)의 샘플값들(16)을 상기 제1 포맷으로부터 상기 제1 동적 범위보다 낮은 제2 동적 범위(42)를 갖는 제2 포맷으로 변환시키도록 구성된 샘플값 변환기(18);
    오프셋 파라미터에 의해 오프셋되고 가중 파라미터에 의해 가중화된, 상기 제2 시퀀스(30)의 재구축된 버전의 제2 프레임의 상기 제2 시퀀스(30)의 제2 프레임을 참조로서 이용하여, 상기 제2 시퀀스(30)의 제1 프레임의 가중화된 시간적 예측에 의해, 상기 프레임들(32)의 제2 시퀀스(30)를 인코딩하도록 구성된 비디오 인코딩 스테이지(20); 및
    상기 제2 시퀀스의 제2 프레임에 대응하는 상기 제1 시퀀스의 제2 프레임에 대한 매핑 파라미터(45)에 따라 상기 가중 파라미터와 상기 오프셋 파라미터(50)를 설정하고, 상기 제1 시퀀스의 제2 프레임에 대한 매핑 파라미터, 상기 가중 파라미터와 상기 오프셋 파라미터에 따라 상기 제2 시퀀스의 제1 프레임에 대응하는 상기 제1 시퀀스의 제1 프레임에 대한 매핑 파라미터를 설정하기 위한 파라미터 설정기(22)
    를 포함하는, 비디오 인코더.
  2. 제1항에 있어서, 상기 파라미터 설정기(22)는 상기 제1 시퀀스(12)의 제1 프레임의 샘플값들(16)이 분포되어 있는 상기 제1 동적 범위(40) 중의 점유된 부분을 결정하고, 상기 제1 시퀀스(12)의 제1 프레임에 대한 매핑 파라미터에 의해 설정된 부분이 상기 점유된 부분과 유사해지도록 상기 가중 파라미터와 상기 오프셋 파라미터(50)를 설정하고, 상기 가중 파라미터(50)와 상기 오프셋 파라미터(38)에 따라 상기 제1 시퀀스의 제1 프레임에 대한 매핑 파라미터를 설정하도록 구성되는, 비디오 인코더.
  3. 제1항에 있어서, 상기 파라미터 설정기(22)는 상기 제1 시퀀스의 제1 프레임과 제2 프레임에 대한 매핑 파라미터들에 의해 각각 설정된 부분들(38, 48)의 상한값간의 편차(deviation), 또는 하한값간의 편차에 따라 상기 오프셋 파라미터(
    Figure 112014105308264-pct00121
    )를 설정하고, 상기 제1 시퀀스의 제1 프레임과 제2 프레임에 대한 매핑 파라미터(logWD,
    Figure 112014105308264-pct00139
    )에 의해 각각 설정된 부분들(38, 48)의 길이간의 편차에 따라 상기 가중 파라미터(logWD,
    Figure 112014105308264-pct00122
    )를 설정하도록 구성되는, 비디오 인코더.
  4. 제1항에 있어서, 상기 샘플값 변환기(18)는 상기 제1 시퀀스(12)의 프레임들(14)의 샘플값(Y)을
    Figure 112014105308264-pct00123

    에 따라 상기 제1 포맷으로부터 상기 제2 포맷으로 변환시키도록 구성되고,
    여기서, b와 a는 상기 매핑 파라미터에 의해 구성되며
    Figure 112014105308264-pct00124

    에 따라 상기 제1 동적 범위(40) 중의 상기 부분(38)의 하한값(Ymin)과 상한값(Ymax), 즉 Ymin 내지 Ymax와 관련이 있으며,
    여기서, logm은 m을 밑(base)으로 하는 로그 함수이며, n은 상기 제2 포맷의 정수 표현 비트들의 갯수를 나타내는 정수인, 비디오 인코더.
  5. 제4항에 있어서, 상기 파라미터 설정기(22)는 상기 제1 시퀀스(12)의 제1 프레임의 샘플값들(16)이 분포되어 있는(44) 상기 제1 동적 범위(40) 중의 점유된 부분을 결정하고,
    Figure 112014105308264-pct00125
    및
    Figure 112014105308264-pct00126

    의 제약들 하에서, 상기 가중 파라미터(50)와 상기 오프셋 파라미터(38)를
    Figure 112014105308264-pct00127

    와 같이 되도록 설정하도록 구성되며,
    여기서, Ymin은 상기 점유된 부분의 하한값이고, Ymax는 상기 점유된 부분의 상한값이며, n0은
    Figure 112014105308264-pct00128
    의 정의 범위와 관련된 정수이고, 인덱스
    Figure 112014105308264-pct00140
    은 상기 제1 프레임 시퀀스의 제1 프레임을 인덱싱하고, 인덱스 k는 상기 제1 프레임 시퀀스의 제2 프레임을 인덱싱하고,
    Figure 112014105308264-pct00129
    와 logWD는 상기 가중 파라미터에 의해 구성되며,
    Figure 112014105308264-pct00130
    은 상기 오프셋 파라미터에 의해 구성되는 것인, 비디오 인코더.
  6. 제1항에 있어서, 상기 비디오 인코딩 스테이지(20)는 프레임들의 상기 제2 시퀀스(30)를 인코딩할 때 양자화기 스텝 크기 파라미터를 이용하도록 구성되고, 상기 파라미터 설정기(22)는 상기 제2 시퀀스의 각각의 프레임들에 대응하는 상기 제1 시퀀스의 프레임들에 대해 설정된 상기 부분의 길이에 따라 상기 제2 시퀀스(30)의 프레임들(12)에 대한 양자화기 스텝 크기 파라미터를 설정하도록 구성되는, 비디오 인코더.
  7. 제6항에 있어서, 상기 파라미터 설정기(22)는 상기 제2 시퀀스의 시작 프레임에 대한 양자화된 스텝 크기 파라미터에 대해 데이터 스트림 내로 상기 양자화된 스텝 크기 파라미터를 차별적으로 인코딩하도록 구성되는, 비디오 인코더.
  8. 제1항에 있어서, 상기 제1 시퀀스의 프레임들의 샘플값들은 휘도 부동소수점 값들이며, 상기 제2 시퀀스의 프레임들의 샘플값들은 루마 정수값들인, 비디오 인코더.
  9. 제1항에 있어서, 상기 파라미터 설정기(22)는,
    상기 제1 시퀀스(12)의 제1 프레임의 샘플값들(16)이 분포되어 있는 상기 제1 동적 범위(40)의 점유된 부분을 결정하고,
    상기 가중 파라미터(50)와 상기 오프셋 파라미터(38)를 설정하고, 상기 가중 파라미터(50)와 상기 오프셋 파라미터(38)에 기초하여, 상기 제1 시퀀스의 상기 제1 프레임에 대한 상기 매핑 파라미터를 설정하도록 구성되고, 이로써 상기 가중 파라미터와 상기 오프셋 파라미터는 상기 제1 시퀀스의 제2 프레임에 대한 매핑 파라미터에 의해 설정된 상기 제1 동적 범위(40) 중의 상기 부분을 변위시키고 스케일링하여, 상기 점유된 부분을 포착한 간격(interval)―상기 제1 시퀀스의 제1 프레임에 대한 매핑 파라미터에 의해 설정된 상기 제1 동적 범위(40) 중의 상기 부분임―을 초래시키는, 비디오 인코더.
  10. 데이터 스트림으로부터의 프레임들의 샘플값들이 제1 동적 범위를 커버하는 제1 포맷으로 표현되도록, 상기 프레임들의 제1 시퀀스(102)를 재구축하기 위한 비디오 디코더에 있어서,
    상기 데이터 스트림에 의해 구성된 오프셋 파라미터에 의해 오프셋되고 가중 파라미터에 의해 가중화된, 제2 시퀀스(30')의 제2 프레임을 참조로서 이용하여, 상기 제2 시퀀스(30')의 제1 프레임의 가중화된 시간적 예측에 의해, 상기 데이터 스트림으로부터, 프레임들(32)의 제2 시퀀스(30)를 재구축하도록 구성되는 비디오 디코딩 스테이지(108)로서, 상기 프레임들(32)의 샘플값들은 상기 제1 동적 범위보다 낮은 제2 동적 범위(42)를 커버하는 제2 포맷으로 표현되는, 상기 비디오 디코딩 스테이지(108);
    상기 제2 시퀀스(30')의 제2 프레임에 대한 매핑 파라미터, 상기 가중 파라미터 및 상기 오프셋 파라미터에 따라 상기 제2 시퀀스(30')의 제1 프레임에 대한 매핑 파라미터(132)를 설정하도록 구성되는 파라미터 설정기(110); 및
    상기 제2 시퀀스의 각각의 프레임에 대한 매핑 파라미터에 의해 설정되는 상기 제1 동적 범위(40) 중의 부분상으로 상기 제2 동적 범위(42)를 매핑시키는 매핑 함수를 이용하여 상기 제2 시퀀스의 프레임들(32')의 샘플값들(34')을 상기 제2 포맷으로부터 상기 제1 포맷으로 변환시키도록 구성되는 샘플값 재변환기(112);
    를 포함하는, 비디오 디코더.
  11. 제10항에 있어서, 상기 매핑 파라미터는,
    상기 제1 동적 범위(40) 중의 상기 부분(38)의 길이와, 상기 제1 동적 범위 중의 상기 부분(38)의 하한값과 상한값을 정의하고,
    상기 파라미터 설정기는.
    상기 제2 시퀀스(30')의 제1 프레임에 대한 모션 파라미터에 의해 정의된 상기 부분(38)의 길이를 유도하기 위해, 상기 가중 파라미터에 따라서 상기 제2 시퀀스(30')의 제2 프레임에 대한 모션 파라미터에 의해 정의된, 상기 제1 동적 범위(40) 중의 부분(48)의 길이를 수정하고, 상기 제2 시퀀스의 제1 프레임을 유도하기 위해, 상기 오프셋 파라미터에 따라 상기 제2 시퀀스의 제2 프레임에 대한 상기 모션 파라미터에 의해 정의된 상기 제1 동적 범위(40) 중의 부분(48)의 하한값 또는 상한값을 수정함으로써,
    상기 제2 시퀀스(30')의 제1 프레임에 대한 상기 매핑 파라미터를 설정하도록 구성되는, 비디오 디코더.
  12. 제10항에 있어서, 상기 샘플값 재변환기(112)는
    Figure 112014105308264-pct00131

    에 따라 상기 제2 시퀀스(30')의 프레임들(32')의 샘플값(Ln)(34')을 상기 제1 포맷으로부터 상기 제2 포맷으로 변환시키도록 구성되고,
    여기서, b와 a는 상기 매핑 파라미터에 의해 구성되며,
    Figure 112014105308264-pct00132

    에 따라, 상기 제1 동적 범위 중의 부분(38)의 하한값(Ymin)과 상한값(Ymax), 즉 Ymin 내지 Ymax와 관련이 있으며,
    여기서, logm은 m을 밑(base)으로 하는 로그 함수이며, n은 상기 제2 포맷의 정수 표현 비트들의 갯수를 나타내는 정수인 것인, 비디오 디코더.
  13. 제12항에 있어서, 상기 파라미터 설정기(110)는
    Figure 112014105308264-pct00133

    이도록 a와 b를 계산하도록 구성되며,
    n0은
    Figure 112014105308264-pct00134
    의 정의 범위와 관련된 정수이고, 인덱스
    Figure 112014105308264-pct00141
    은 상기 제2 시퀀스의 제1 프레임을 인덱싱하고, 인덱스 k는 상기 제2 시퀀스의 제2 프레임을 인덱싱하고,
    Figure 112014105308264-pct00135
    와 logWD는 상기 가중 파라미터에 의해 구성되며,
    Figure 112014105308264-pct00136
    은 상기 오프셋 파라미터에 의해 구성되는, 비디오 디코더.
  14. 제10항에 있어서, 상기 비디오 디코딩 스테이지(108)는 프레임들의 상기 제2 시퀀스를 재구축할 때 양자화기 스텝 크기 파라미터를 이용하도록 구성되고, 상기 파라미터 설정기는 상기 제2 시퀀스의 각각의 프레임들에 대해 설정된, 상기 제1 동적 범위 중의 상기 부분의 길이에 따라 상기 제2 시퀀스의 프레임들에 대한 양자화기 스텝 크기 파라미터를 설정하도록 구성되는, 비디오 디코더.
  15. 제14항에 있어서, 상기 파라미터 설정기(110)는 상기 제2 시퀀스의 시작 프레임에 대한 양자화된 스텝 크기 파라미터에 대해 상기 데이터 스트림으로부터의 양자화기 스텝 크기 파라미터를 차별적으로 디코딩하도록 구성되는, 비디오 디코더.
  16. 제10항에 있어서, 상기 제1 시퀀스의 프레임들의 샘플값들은 휘도 부동소수점 값들이며, 상기 제2 시퀀스의 프레임들의 샘플값들은 루마 정수값들인, 비디오 디코더.
  17. 프레임들(14)의 샘플값들(16)이 제1 동적 범위를 커버하는 제1 포맷으로 표현되도록 상기 프레임들(14)의 제1 시퀀스(12)를 인코딩하기 위한 방법에 있어서,
    프레임들(32)의 제2 시퀀스(30)를 획득하기 위해, 매핑 함수(36)―매핑 파라미터(45)에 의해 설정가능하며, 상기 제1 동적 범위(40) 중의 부분(38)을 상기 제2 동적 범위(42)로 매핑함―를 이용하여 상기 제1 시퀀스(12)의 프레임들(14)의 샘플값들(16)을 상기 제1 포맷으로부터 상기 제1 동적 범위보다 낮은 제2 동적 범위를 갖는 제2 포맷으로 변환하는 단계;
    오프셋 파라미터에 의해 오프셋되고 가중 파라미터에 의해 가중화된, 상기 제2 시퀀스(30)의 재구축된 버전의 제2 프레임의 상기 제2 시퀀스(30)의 제2 프레임을 참조로서 이용하여, 상기 제2 시퀀스(30)의 제1 프레임의 가중화된 시간적 예측에 의해, 상기 프레임들(32)의 제2 시퀀스(30)를 인코딩하는 단계; 및
    상기 제2 시퀀스의 제2 프레임에 대응하는 상기 제1 시퀀스의 제2 프레임에 대한 매핑 파라미터(45)에 따라 상기 가중 파라미터와 상기 오프셋 파라미터(50)를 설정하고, 상기 제1 시퀀스의 제2 프레임에 대한 매핑 파라미터, 상기 가중 파라미터와 상기 오프셋 파라미터에 따라 상기 제2 시퀀스의 제1 프레임에 대응하는 상기 제1 시퀀스의 제1 프레임에 대한 매핑 파라미터를 설정하는 단계;
    를 포함하는, 프레임들의 제1 시퀀스 인코딩 방법.
  18. 데이터 스트림으로부터의 프레임들의 샘플값들이 제1 동적 범위를 커버하는 제1 포맷으로 표현되도록, 상기 프레임들의 제1 시퀀스(102)를 재구축하기 위한 방법에 있어서,
    상기 데이터 스트림에 의해 구성된 오프셋 파라미터에 의해 오프셋되고 가중 파라미터에 의해 가중화된, 제2 시퀀스(30')의 제2 프레임을 참조로서 이용하여, 상기 제2 시퀀스(30')의 제1 프레임의 가중화된 시간적 예측에 의해, 상기 데이터 스트림으로부터, 프레임들(32)의 제2 시퀀스(30)를 재구축하기 위한 단계―상기 프레임들(32)의 샘플값들은 상기 제1 동적 범위보다 낮은 제2 동적 범위(42)를 커버하는 제2 포맷으로 표현됨―;
    상기 제2 시퀀스(30')의 제2 프레임에 대한 매핑 파라미터, 상기 가중 파라미터 및 상기 오프셋 파라미터에 따라 상기 제2 시퀀스(30')의 제1 프레임에 대한 매핑 파라미터(132)를 설정하는 단계; 및
    상기 제2 시퀀스의 각각의 프레임에 대한 매핑 파라미터에 의해 설정되는 상기 제1 동적 범위(40) 중의 부분상으로 상기 제2 동적 범위(42)를 매핑시키는 매핑 함수를 이용하여 상기 제2 시퀀스의 프레임들(32')의 샘플값들(34')을 상기 제2 포맷으로부터 상기 제1 포맷으로 변환시키는 단계
    를 포함하는, 프레임들의 제1 시퀀스 재구축 방법.
  19. 데이터 스트림을 저장하는 컴퓨터 판독 가능한 저장매체로서, 상기 데이터 스트림으로부터의 프레임들의 샘플값들이 제1 동적 범위를 커버하는 제1 포맷으로 표현되도록 상기 프레임들의 제1 시퀀스(102)가 재구축가능한 것인, 상기 데이터 스트림에 있어서,
    상기 제1 시퀀스는 프레임들(32)의 제2 시퀀스(30)를 통해 간접적으로 상기 데이터 스트림 내로 인코딩되고, 상기 프레임들(32)의 샘플값들은 상기 제1 동적 범위보다 낮은 제2 동적 범위(42)를 커버하는 제2 포맷으로 표현되고, 상기 제2 시퀀스는 오프셋 파라미터에 의해 오프셋되고 가중 파라미터에 의해 가중화된, 제2 시퀀스(30')의 제2 프레임을 참조로서 이용하여, 상기 제2 시퀀스(30')의 제1 프레임의 가중화된 시간적 예측에 의해, 상기 데이터 스트림 내로 인코딩되고, 상기 가중 파라미터와 상기 오프셋 파라미터는, 상기 제2 시퀀스(30')의 제1 프레임에 대한 매핑 파라미터(132)가 상기 제2 시퀀스(30')의 제2 프레임에 대한 매핑 파라미터, 상기 가중 파라미터 및 상기 오프셋 파라미터에 의존하도록, 상기 데이터 스트림내에 구성되며, 상기 제2 시퀀스의 프레임들(32')의 샘플값들(34')은, 상기 제2 동적 범위(42)를, 상기 제2 시퀀스의 각각의 프레임에 대한 매핑 파라미터에 의해 설정되는 상기 제1 동적 범위(40) 중의 부분상으로 매핑시키고 상기 제1 시퀀스를 재구축하는 매핑 함수를 이용하여, 상기 제2 포맷으로부터 상기 제1 포맷으로 변환되는, 데이터 스트림을 저장하는 컴퓨터 판독 가능한 저장매체.
  20. 컴퓨터 상에서 구동될 때, 제17항 또는 제18항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 디지털 저장 매체.
KR1020137012694A 2010-10-19 2011-10-12 시간적 코히어런트 동적 범위 매핑을 이용한 비디오 코딩 KR101531119B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US39440510P 2010-10-19 2010-10-19
US61/394,405 2010-10-19
EP11166909A EP2445214A1 (en) 2010-10-19 2011-05-20 Video coding using temporally coherent dynamic range mapping
EP11166909.9 2011-05-20
PCT/EP2011/067840 WO2012052338A1 (en) 2010-10-19 2011-10-12 Video coding using temporally coherent dynamic range mapping

Publications (2)

Publication Number Publication Date
KR20130084670A KR20130084670A (ko) 2013-07-25
KR101531119B1 true KR101531119B1 (ko) 2015-06-23

Family

ID=44117856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137012694A KR101531119B1 (ko) 2010-10-19 2011-10-12 시간적 코히어런트 동적 범위 매핑을 이용한 비디오 코딩

Country Status (15)

Country Link
US (2) US9532047B2 (ko)
EP (2) EP2445214A1 (ko)
JP (2) JP6121331B2 (ko)
KR (1) KR101531119B1 (ko)
CN (1) CN103262535B (ko)
AR (1) AR083481A1 (ko)
AU (1) AU2011319562B2 (ko)
BR (1) BR112013009596A2 (ko)
CA (1) CA2815158C (ko)
ES (1) ES2663213T3 (ko)
MX (1) MX2013004362A (ko)
RU (1) RU2550533C2 (ko)
TR (1) TR201802251T4 (ko)
TW (1) TWI539822B (ko)
WO (1) WO2012052338A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420302B2 (en) 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
EA201492098A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Кодирование и декодирование на основании смешивания последовательностей выборок с течением времени
GB2513111A (en) * 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
WO2015062942A1 (en) * 2013-10-31 2015-05-07 Thomson Licensing Method and device for predictive coding/decoding of a group of pictures of a sequence of images with conversion of the dynamic of the values of the pixels
EP3069513B1 (en) * 2013-11-12 2019-03-13 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
US10045024B2 (en) 2013-11-27 2018-08-07 Thomson Licensing Method and device for quantising the floating value of a pixel in an image
CN111246050B (zh) * 2014-02-25 2022-10-28 苹果公司 用于视频数据处理的系统、装置和方法
US10104388B2 (en) * 2014-06-30 2018-10-16 Sony Corporation Video processing system with high dynamic range sensor mechanism and method of operation thereof
MX368411B (es) * 2014-08-08 2019-10-02 Koninklijke Philips Nv Metodos y aparatos para codificacion de imagenes de alto rango dinamico (hdr).
FR3018149A1 (fr) * 2014-09-02 2015-09-04 Thomson Licensing Procede et dispositif de selection d'un operateur de conversion de dynamique d'image, programme d'ordinateur et support de stockage correspondant
WO2016123001A1 (en) 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US10306240B2 (en) 2015-06-08 2019-05-28 Vid Scale, Inc. Intra block copy mode for screen content coding
EP3107300A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
KR102403360B1 (ko) * 2015-06-16 2022-05-30 광운대학교 산학협력단 하위 호환성을 고려한 hdr 영상 복호화 장치에서 다이나믹 레인지 매핑 정보를 이용하는 방법 및 장치
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
ITUB20155949A1 (it) 2015-11-26 2017-05-26 Trellis Europe S R L Metodo per la codifica e decodifica di immagini hdr
JP6495552B2 (ja) * 2015-12-17 2019-04-03 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像及びビデオのためのダイナミックレンジ符号化
CN107027027B (zh) * 2016-01-31 2021-02-12 西安电子科技大学 图像的编码、解码方法及装置、以及图像的编解码系统
AU2017235369B2 (en) * 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
ITUA20163652A1 (it) 2016-05-20 2017-11-20 Trellis Europe S R L Metodo per la codifica e decodifica di immagini hdr
US10810970B1 (en) * 2017-03-29 2020-10-20 Sharp Kabushiki Kaisha Display device
EP3685578A1 (en) * 2017-09-21 2020-07-29 Fraunhofer Gesellschaft zur Förderung der Angewand Concept for varying a coding quantization parameter across a picture, coding quantization parameter adjustment, and coding quantization parameter adaptation of a multi-channel picture
US11706404B2 (en) * 2018-04-28 2023-07-18 Intel Corporaton Weighted prediction mechanism
EP4058976A1 (en) * 2019-11-15 2022-09-21 Huawei Technologies Co., Ltd. Device and method for pre-processing image data for a computer vision application

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1936994A2 (en) * 2006-12-21 2008-06-25 Tandberg Television ASA Weighted prediction video encoding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
US6028608A (en) * 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
US6560285B1 (en) 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
JP4186470B2 (ja) * 2002-02-05 2008-11-26 ソニー株式会社 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム
RU2287909C2 (ru) * 2004-12-15 2006-11-20 Московский технический университет связи и информатики Способ преобразования цифрового сигнала изображения и устройство для его реализации
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
JP2008227702A (ja) 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
US7983496B2 (en) * 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
CN101796841B (zh) * 2007-06-27 2012-07-18 汤姆逊许可公司 用增强层残差预测对视频数据编码/解码的方法和设备
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1936994A2 (en) * 2006-12-21 2008-06-25 Tandberg Television ASA Weighted prediction video encoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AJIT MOTRA et al:'An adaptive Logluv transform for High Dynamic Range video compression',ICIP-2010,pages 2061-2064,2010-9-26. *

Also Published As

Publication number Publication date
CN103262535B (zh) 2016-08-31
WO2012052338A1 (en) 2012-04-26
US9532047B2 (en) 2016-12-27
JP6121331B2 (ja) 2017-04-26
JP2017073792A (ja) 2017-04-13
KR20130084670A (ko) 2013-07-25
US10205958B2 (en) 2019-02-12
AU2011319562A1 (en) 2013-05-02
RU2550533C2 (ru) 2015-05-10
AR083481A1 (es) 2013-02-27
JP2013545371A (ja) 2013-12-19
CA2815158C (en) 2016-08-16
JP6453832B2 (ja) 2019-01-16
CA2815158A1 (en) 2012-04-26
AU2011319562B2 (en) 2015-08-06
BR112013009596A2 (pt) 2016-07-12
TR201802251T4 (tr) 2018-03-21
ES2663213T3 (es) 2018-04-11
EP2630794B1 (en) 2017-12-13
EP2630794A1 (en) 2013-08-28
US20170064324A1 (en) 2017-03-02
EP2445214A1 (en) 2012-04-25
MX2013004362A (es) 2013-06-05
TW201234860A (en) 2012-08-16
RU2013122852A (ru) 2014-11-27
TWI539822B (zh) 2016-06-21
CN103262535A (zh) 2013-08-21
US20130223531A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
KR101531119B1 (ko) 시간적 코히어런트 동적 범위 매핑을 이용한 비디오 코딩
RU2586837C2 (ru) Интер-уровневое предсказание между уровнями с разным динамическим диапазоном значения отсчетов
US9554145B2 (en) Re-encoding image sets using frequency-domain differences
KR101789954B1 (ko) 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
KR101365444B1 (ko) 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치
Garbas et al. Temporally coherent luminance-to-luma mapping for high dynamic range video coding with H. 264/AVC
WO2013067101A1 (en) Layer decomposition in hierarchical vdr coding
US20180352259A1 (en) Video Compression Techniques for High Dynamic Range Data
US20160337668A1 (en) Method and apparatus for encoding image data and method and apparatus for decoding image data
KR20160102414A (ko) 높은 동적 범위 이미지를 인코딩 및／또는 비트스트림을 디코딩하기 위한 방법 및 장치
EP3107301A1 (en) Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
Le Pendu et al. Local inverse tone curve learning for high dynamic range image scalable compression
Nascimento et al. H. 264/AVC backward compatible bit-depth scalable video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190611

Year of fee payment: 5