KR20080107389A - High dynamic range codecs - Google Patents
High dynamic range codecs Download PDFInfo
- Publication number
- KR20080107389A KR20080107389A KR1020087020660A KR20087020660A KR20080107389A KR 20080107389 A KR20080107389 A KR 20080107389A KR 1020087020660 A KR1020087020660 A KR 1020087020660A KR 20087020660 A KR20087020660 A KR 20087020660A KR 20080107389 A KR20080107389 A KR 20080107389A
- Authority
- KR
- South Korea
- Prior art keywords
- dynamic range
- range image
- high dynamic
- image
- values
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Studio Devices (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
Abstract
Description
본 발명은 이미지 데이터를 인코딩하는데 관한 것이다. 본 발명은 구체적으로 이미지들을 인코딩하기 위해 또는 비디오 데이터의 시퀀스들을 인코딩하기 위해 적용된다.The present invention relates to encoding image data. The invention is specifically applied for encoding images or for encoding sequences of video data.
다이나믹 레인지(dynamic range)는, 이미지의 가장 밝은 부분들과 가장 어두운 부분들의 상대적인 밝기의 척도이다. 최근까지, 대부분의 텔레비젼들, 컴퓨터 모니터들, 및 다른 표시 장치들은 겨우 수백 내지 1의 다이나믹 레인지들을 재현할(reproduce) 수 있었다. 이는 인간의 육안에 의해 인식될 수 있는 다이나믹 레인지보다 훨씬 더 적은 것이다. 더 큰 다이나믹 레인지들을 갖는 표시 장치들이 구입 가능해지고 있다. 이와 같은 하이 다이나믹 레인지 표시 장치들(high dynamic range display devices)은, 종래의 "로우 다이나믹 레인지(low dynamic range)" 표시 장치들에 의해 생성되는 이미지들보다 훨씬 더 자연스럽고 사실적인 이미지들을 제공할 수 있다.Dynamic range is a measure of the relative brightness of the lightest and darkest parts of an image. Until recently, most televisions, computer monitors, and other display devices could only reproduce dynamic ranges of hundreds to ones. This is much less than the dynamic range that can be perceived by the human eye. Display devices with larger dynamic ranges are becoming available. Such high dynamic range display devices can provide much more natural and realistic images than images produced by conventional "low dynamic range" display devices. have.
하이 다이나믹 레인지 표시 장치들은 광범위한 응용 분야들에서 이점이 있 다. 예를 들어, 하이 다이나믹 레인지 표시 장치들은, 영화 및 게임 영상부들(visuals)에서부터, 모의 비행장치들(flight simulators)과 같은 시뮬레이터들의 영상 표시들까지의 범위에서 사실적인 비디오 이미지들을 표시하기 위해 사용될 수 있다. 하이 다이나믹 레인지 표시 장치들은 또한, 의료용 이미징(medical imaging)과 같은 이미지 응용을 필요로 하는 분야에 적용된다.High dynamic range displays have advantages in a wide range of applications. For example, high dynamic range display devices may be used to display realistic video images in the range from movie and game visuals to visual displays of simulators such as flight simulators. have. High dynamic range display devices also find application in applications requiring image applications such as medical imaging.
현재의 많은 이미지 데이터 포맷들은 픽셀마다 24 비트들 또는 더 적은 비트들을 사용하여 픽셀 값들을 규정한다(specify). 이 비트들은 픽셀에 대한 밝기와 컬러 모두를 규정한다(specify). 24 비트들은, 하이 다이나믹 레인지 표시 장치가 재현할 수 있는 범위에 걸쳐서 순조롭게 변화될 수 있는 밝기와 전체 범위의 컬러들 두 가지 모두를 규정하기에는 너무 적다. 하이 다이나믹 레인지 디스플레이 장치의 이점을 전부 누리기 위해, 광범위한 픽셀 값들을 규정할 수 있는 이미지 데이터를 제공하는 것이 필요하다. 픽셀마다 더 많은 수의 비트들을 제공하는, 다양한 하이 다이나믹 레인지 데이터 포맷들이 개발되거나 제안되어 왔다. 이러한 하이 다이나믹 레인지 데이터 포맷들은 더 낮은 다이나믹 레인지의 종래의 데이터 포맷들과는 역 호환성이지(backward compatible) 않은 것이 일반적이다.Many current image data formats specify pixel values using 24 bits or fewer bits per pixel. These bits specify both brightness and color for the pixel. The 24 bits are too small to define both brightness and the full range of colors that can be smoothly changed over the range that the high dynamic range display can reproduce. In order to take full advantage of the high dynamic range display device, it is necessary to provide image data that can define a wide range of pixel values. Various high dynamic range data formats have been developed or proposed, providing a greater number of bits per pixel. These high dynamic range data formats are generally not backward compatible with conventional data formats of lower dynamic range.
예를 들어, "Perception-motivated high dynamic range video encoding."[R. Mantiuk, G. Krawczyk, K. Myszkowski, 및 H-P. Seidel., ACM Transactions on Graphics(SIGGRAPH 2004 학회지), 23(3):730- 38, 2004]에 기술된, HDRV "인지-동인 HDR 비디오 인코딩(perception-motivated HDR Vedio Encoding)" 방법은 손실이 많은 HDR 비디오 압축 방법인데, 역 호환성이 제공되지 않는다. 이 방법은, 루미넌 스(luminance)를 위해 11 비트들을, 그리고 크로미넌스(chrominance)를 위해 두 배의 8 비트들을 사용하여 HDR 픽셀들을 인코딩한다. 그 결과로서의 비디오 스트림은 LDR 프레임들에 대한 어떠한 정보도 포함하지 않는다.For example, "Perception-motivated high dynamic range video encoding." [R. Mantiuk, G. Krawczyk, K. Myszkowski, and H-P. Seidel., ACM Transactions on Graphics (SIGGRAPH 2004 Journal), 23 (3): 730-38, 2004, describes the lossy method of HDRV "perception-motivated HDR Vedio Encoding". It is an HDR video compression method, but no backward compatibility is provided. This method encodes HDR pixels using 11 bits for luminance and double 8 bits for chrominance. The resulting video stream does not contain any information about the LDR frames.
JPEG HDR 방법이, "Subband encoding of high dynamic range imagenery"[2004년도 1차 APGV(Applied perception in graphics and visualization) 심포지움 학회지, 페이지 83-90, 뉴욕, 미국, 2004. ACM Press]에 기술되어 있다. 이 방법은 서브밴드 레이어(subband layer)를 서브-샘플링하는(sub-sample) 것을 포함하는 방법인데, 고주파의 손실을 일으킬 수 있다. 이를 막기 위해, 이 방법은 다음의 세 가지의 접근법을 제안한다: 서브-샘플링 때문에 소실될 수 있는 고주파를 이 레이어 내에 인코딩하기 위한 LDR 레이어의 사전-보정(pre-correction); LDR 이미지를 수정하는(modify) 대신에, 소실된 고주파를 복원하는 사후-보정(post-correction), 그리고 서브-샘플링이 수행되지 않음을 의미하는, 전수-샘플링(full-sampling).The JPEG HDR method is described in "Subband encoding of high dynamic range imagenery" [2004 First Applied Perception in Graphics and Visualization (APGV) Symposium Journal, pages 83-90, New York, USA, 2004. ACM Press]. This method involves sub-sampling a subband layer, which can cause loss of high frequencies. To prevent this, the method proposes three approaches: pre-correction of the LDR layer to encode high frequencies in this layer that may be lost due to sub-sampling; Instead of modifying the LDR image, post-correction to restore lost high frequencies, and full-sampling, meaning no sub-sampling is performed.
HDR 이미지들, 특히 HDR 비디오 이미지들을 인코딩하고 디코딩하기 위한 실질적인 방법들 및 장치들이 아직도 필요하다. 더 낮은 다이나믹 레인지 이미지들을 재현하기 위한 현재의 하드웨어와의 역 호환성을 제공하는 그러한 방법들 및 장치들이 특히 필요하다.There is still a need for practical methods and apparatus for encoding and decoding HDR images, in particular HDR video images. There is a particular need for such methods and apparatus that provide backwards compatibility with current hardware for reproducing lower dynamic range images.
발명의 요약Summary of the Invention
본 발명은, 하이 다이나믹 레인지 이미지 데이터를 인코딩하고, 더 낮은 다이나믹 레인지 이미지 데이터와 더 높은 다이나믹 레인지 이미지 데이터 모두를 제공하기 위해, 이 데이터를 디코딩하기 위한 방법들과 장치들을 제공한다. 이 방법들과 장치들은 비디오 데이터를 인코딩하는데 적용될 수 있다. 본 발명의 몇몇 구체예들에서, 더 낮은 다이나믹 레인지 데이터가 MPEG(Motion Pictures Experts Group) 포맷과 같은 표준 포맷으로 인코딩된다.The present invention provides methods and apparatuses for encoding high dynamic range image data and to decode this data to provide both lower dynamic range image data and higher dynamic range image data. These methods and apparatuses can be applied to encode video data. In some embodiments of the invention, the lower dynamic range data is encoded in a standard format, such as the Motion Pictures Experts Group (MPEG) format.
본 발명의 하나의 측면은, 하이 다이나믹 레인지 이미지를 인코딩하기 위한 방법을 제공하는 것이다. 이 방법은, 하이 다이나믹 레인지 이미지와 상응하는 더 낮은 다이나믹 레인지 이미지를 획득하고; 그에 대해 더 낮은 다이나믹 레인지 이미지 내의 상응하는 픽셀들 모두가 동일한 픽셀 값을 갖는, 하이 다이나믹 레인지 이미지 내의 픽셀들의 군들을 식별하고; 복수의 픽셀 군들 각각에 속하는 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들에 적어도 부분적으로 기초하는 예측 함수(prediction function)를 생성하고; 예측된 이미지를 획득하기 위해, 이 예측 함수를 더 낮은 다이나믹 레인지 이미지에 적용하고; 예측된 이미지 내의 픽셀 값들과 하이 다이나믹 레인지 이미지 내의 상응하는 픽셀 값들 간의 차이들을 나타내는 잔상(residual image)을 컴퓨터 계산하고; 그리고, 더 낮은 다이나믹 레인지 이미지, 예측 함수, 및 잔상을 나타내는 데이터를 인코딩 및 저장하는 단계를 포함하여 구성된다.One aspect of the present invention is to provide a method for encoding a high dynamic range image. The method obtains a lower dynamic range image corresponding to the high dynamic range image; Identify therein groups of pixels in the high dynamic range image, all of the corresponding pixels in the lower dynamic range image having the same pixel value; Generate a prediction function based at least in part on pixel values of pixels in a high dynamic range image belonging to each of the plurality of pixel groups; Apply this prediction function to the lower dynamic range image to obtain a predicted image; Computerly compute a residual image representing differences between pixel values in the predicted image and corresponding pixel values in the high dynamic range image; And encoding and storing the data representing the lower dynamic range image, the prediction function, and the afterimage.
본 발명의 다른 측면들은, 본 발명에 의하여 인코딩된 하이 다이나믹 레인지 이미지들을 디코딩하기 위한 방법들과, 하이 다이나믹 레인지 이미지들을 인코딩 및/또는 디코딩하기 위한 장치를 제공한다.Other aspects of the present invention provide methods for decoding high dynamic range images encoded by the present invention, and an apparatus for encoding and / or decoding high dynamic range images.
본 발명의 또 다른 측면들과, 본 발명의 특정한 구체예들의 특징들을 아래에서 설명한다.Further aspects of the invention and features of specific embodiments of the invention are described below.
본 발명의 비제한적 구체예들을 도시한 도면들로서,As drawings depict non-limiting embodiments of the invention,
도 1은, 본 발명의 하나의 구체예에 의한 인코딩 방법을 도시한 흐름도이고 ;1 is a flowchart showing an encoding method according to one embodiment of the present invention;
도 1A는, 그에 상응하는 더 낮은 다이나믹 레인지 버젼 내의 픽셀들이 모두 동일한 픽셀 값을 갖는, 하이 다이나믹 레인지 이미지로부터의 픽셀 값들의 히스토그램(histogram)이고;1A is a histogram of pixel values from a high dynamic range image, in which pixels in the corresponding lower dynamic range version all have the same pixel value;
도 2는, 본 발명에 의한 하나의 디코딩 방법을 도시한 흐름도이고;2 is a flowchart showing one decoding method according to the present invention;
도 3는, 하나의 특정 구체예에 의한 MPEG 인코딩 방법을 도시한 흐름도이고;3 is a flowchart illustrating an MPEG encoding method according to one specific embodiment;
도 4A 내지 도 4F는, 다양한 톤 맵핑(tone mapping) 알고리즘들에 대한, 상응하는 HDR 이미지들과 LDR 이미지들 내의 루마(luma) 값들 간의 상관 관계를 나타내는 도면이고;4A-4F illustrate correlations between luma values within corresponding HDR images and LDR images for various tone mapping algorithms;
도 5는, 본 발명의 하나의 구체예에 의한, 잔상 이미지 데이터를 필터링하기 위한 방법을 나타내는 도면이고; 그리고, 5 is a diagram illustrating a method for filtering afterimage image data according to one embodiment of the present invention; And,
도 6은, 하나의 프로토타입 인코딩 시스템을 위한 이미지 품질 파라미터로서의 비트 레이트(bit rate)를 도시한 도면이다.FIG. 6 is a diagram illustrating bit rate as an image quality parameter for one prototype encoding system.
발명의 설명Description of the Invention
다음의 상세한 설명 전반에 걸쳐, 본 발명에 대한 보다 철저한 이해를 제공하기 위해 구체적인 사항들이 기술되어 있다. 그러나, 본 발명은 이러한 특정 사항들을 벗어나서 실시될 수 있다. 다른 경우들에서, 본 발명을 불필요하게 불분명하게 하는 것을 피하기 위해, 잘 알려진 요소들을 도시하지 않거나 상세히 설명하지 않을 수 있다. 따라서, 본 명세서 및 도면들은 한정적이기보다는 예시적인 의미로 받아들여져야 한다.Throughout the following detailed description, specific details are set forth in order to provide a thorough understanding of the present invention. However, the invention may be practiced without these specific details. In other instances, well known elements may not be shown or described in detail in order to avoid unnecessarily obscuring the present invention. Accordingly, the specification and drawings are to be regarded in an illustrative rather than a restrictive sense.
도 1은, 본 발명의 하나의 기본적 구체예에 의해 한 프레임의 이미지 데이터를 인코딩하기 위한 방법 (10)을 나타낸다. 방법 (10)은, 하이 다이나믹 레인지(HDR) 데이터 (12)와 더 낮은 다이나믹 레인지(LDR) 데이터 (14) 모두를 인코딩된 이미지 데이터 (38)로 인코딩한다. 아래에 설명되는 바와 같이, 인코딩된 이미지 데이터 (38)는 LDR 데이터와 HDR 데이터 모두를 재구성하도록(reconstruct) 디코딩될 수 있다. 1 shows a
단지 예시적으로, HDR 데이터 (12)는, 각 픽셀의 컬러와 밝기가 세 부동 소수들(three floating point numbers)로 규정되는 절대 CIE XYZ(2E 표준 관찰자) 색 공간(color space)과 같은, 색 공간에 나타낼 수 있다. LDR 데이터 (14)는, 각 픽셀의 컬러와 밝기가 3 바이트들로 규정되는 sRGB 색 공간과 같은, 색 공간에 나타낼 수 있다. 몇몇 구체예들에서, LDR 데이터 (14)는, 적절한 다이나믹 레인지 감축 처리(reduction process) (16)에 의해 HDR 데이터 (12)(또는 HDR 데이터 (12)의 프리커서(precusor))로부터 유도된다.By way of example only,
다이나믹 레인지 감축은, 예를 들어, 톤 맵핑(tone mapping) 및/또는 색역사상(gamut mapping)을 포함하여 구성될 수 있다. 적절한 톤 맵핑 오퍼레이터나 색역 사상이 사용될 수 있다. 예를 들어, 톤 맵핑 오퍼레이터는, 루미넌스와 컬러 모두를 포화시키고(saturate), 컬러 값들(color values)을 변경하고, 그리고 국부 명암대비(local contrast)를 증강시키기 위해 선택될 수 있다. 이러한 변화가 압축률을 더 낮출 수 있지만, LDR과 HDR 프레임들 모두가 결과물인 비디오 스트림 내에 보존될 것이다.Dynamic range reduction may, for example, comprise tone mapping and / or gamut mapping. Appropriate tone mapping operators or color gamut mapping may be used. For example, the tone mapping operator can be selected to saturate both luminance and color, change color values, and enhance local contrast. This change may lower the compression rate, but both LDR and HDR frames will be preserved in the resulting video stream.
블록 (18)에서, 이 방법 (10)은 하나의 예측 함수(prediction function) (19)를 확립한다. 예측 함수 (19)는, LDR 데이터 (14) 내의 상응하는 픽셀에 대한 픽셀 값에 기초하여, HDR 데이터 (12) 내의 하나의 픽셀에 대한 예측된 픽셀 값을 출력으로서 제공한다. 인코딩된 이미지 데이터 (38)로부터 HDR 데이터 (12)와 LDR 데이터 (14)를 재현할 수 있는 것이 목표이므로, 예측 함수 (19)가, 인코딩된 이미지 데이터 (38)로부터 재구성될 수 있는, LDR 데이터 (14)의 버젼에 기초하게 하는 것이 바람직하다.At
손실이 많은 알고리즘을 사용하여 LDR 데이터 (14)가 인코딩 및 압축되는 경우에는, LDR 데이터 (14)의 재구성된 버젼이 원래의 LDR 데이터 (14)와 동일할 것이라고 장담할 수 없다. 이러한 이유들로, 도 1은 블록 (19)이 재구성된 LDR 데이터 (26)를 입력으로서 수신하는 것을 보여준다. 인코딩되고 압축된 LDR 데이터 (22)를 제공하기 위해, 블록 (20)에서 LDR 데이터 (14)를 인코딩/압축함으로써, 그리고 다음으로, 인코딩되고 압축된 LDR 데이터 (22)를 블록 (24)에서 디코딩/압축해제(복원)함으로써, 재구성된 LDR 데이터 (26)를 얻는다. 인코딩되고 압축된 LDR 데이터 (22)는 인코딩된 이미지 데이터 (38)에 포함된다. 라인 (15)은, 예측 함수 (19)를 확립하기 위해, 블록 (18)이 LDR 데이터 (14)를 직접 사용하는 덜 정확한 대안을 도시한다.If the
예측 함수 (19)가, 재구성된 LDR 데이터 (26) 내의 픽셀 값들과 HDR 데이터 (12) 내의 상응하는 픽셀 값들 간의 통계적 상관관계들을 이용하는 것이 바람직하다. 일반적으로, 동일한 특정 픽셀 값을 가지는, 재구성된 LDR 이미지 (26) 내의 모든 픽셀들을 취할지라도, HDR 이미지 데이터 (12) 내의 상응하는 픽셀들이 모두 동일한 픽셀 값을 갖지는 않을 것이다. 즉, 일반적으로, LDR 픽셀 값들과 HDR 픽셀 값들 간에는 1-대-다수의 상관관계가 있다.
도 1A는, 수평축이 모든 가능한 HDR 픽셀 값들의 범위에 있고, 수직축이 HDR 이미지 데이터 (12)에 의해 나타내어진 이미지 내의 얼마나 많은 픽셀들이 그 값을 갖는 지를 나타내는 히스토그램이다. 이미지에 그 값을 갖는 픽셀들이 전혀 없는, 상당한 수의 픽셀 값들이 있을 수 있다. 도 1A의 칠하여진 막대들은, 재구성된 LDR 이미지 데이터 (26) 내의 상응하는 픽셀들이 모두 동일한 픽셀 값 (XLDR)을 가지는, HDR 이미지 데이터 (12) 내의 픽셀들의 값들을 나타낸다. LDR 픽셀 값 (XLDR)에 상응하는 HDR 픽셀 값들은 A에서 B까지의 범위에 있다. 재구성된 LDR 이미지 데이터 (26) 내의 동일한 픽셀 값에 상응하는 픽셀들에 있어서의 HDR 픽셀 값들 모두를 하나의 빈(bin)으로 부를 수 있다. 상이한 빈들은 중첩되지 않는 것이 일반적이지만, 강제적인 것은 아니다.1A is a histogram that shows how many pixels in the image the horizontal axis is in the range of all possible HDR pixel values, and the vertical axis has that value. There may be a significant number of pixel values, without any pixels having that value in the image. The painted bars in FIG. 1A represent the values of the pixels in
이미지에 대한 예측 함수 (19)는, HDR 이미지 데이터 (12) 및 재구성된 LDR 이미지 데이터 (26)로부터 HDR 픽셀 값들을 빈들(bins) 별로 모으고, 이 빈들 각각을 통계적으로 분석함으로써 얻을 수 있다. HDR 픽셀 값들을 빈들에 모으는 것은 다음을 포함하여 구성될 수 있다: The
$ 재구성된 LDR 이미지 데이터 (26)를 취하고, 재구성된 LDR 이미지 데이터 (26) 내에 나타내어진 각 픽셀 값에 대해, 그 픽셀 값을 갖는 모든 픽셀들의 세트를 식별하는 것;Taking the reconstructed
$ 각 LDR 픽셀 값에 상응하는 모든 HDR 픽셀 값들의 한 세트를 제공하기(yield) 위해, 이 픽셀들의 세트들 각각에 대해, HDR 데이터 (12) 내의 상응하는 픽셀들을 식별하고, 그 상응하는 픽셀들의 픽셀 값들을 결정하는(determining) 것.$ For each of these sets of pixels, to identify the corresponding pixels in the
예측 함수 (19)는 다음 중 어떠한 방식에 의해서도 얻을 수 있다: The
$ 각 빈 내의 HDR 픽셀 값들의 산술 평균을 구하는 것; $ Arithmetic mean of HDR pixel values in each bin;
$ 각 빈 내의 HDR 픽셀 값들의 중앙값(median)을 구하는 것;$ To find the median of the HDR pixel values in each bin;
$ 빈의 범위를 정하는(delimit) 값들인 A와 B의 평균을 구하는 것; $ Average the values of A and B that delimit the bins;
$ 이들의 어떠한 조합; 또는$ Any combination thereof; or
$ 이와 동등한 것.$ Equivalent.
많은 응용분야들에 있어서, 산술 평균법이, 정확성과 컴퓨터 계산 효율성의 양호한 조합을 제공한다고 믿어진다.For many applications, it is believed that arithmetic averaging provides a good combination of accuracy and computer computational efficiency.
예측 함수 (19)가 주어지면, 예측 함수 (19)에 의해 예측된 값들과 HDR 이미지 데이터 (12)로부터의 실제 값들 간의 차이들을 인코딩하는 것이 필요할 뿐이다. 이와 같은 차이들은 대개 0에 가까워서, 그러므로 레지듀얼 프레임들(residual frames) 내에 효율적으로 압축될 수 있다.Given the
예측 함수 (19)는, LDR 데이터 (14) 내의 가능한 픽셀 값들(픽셀 값들이 8-비트 수로 나타내어지는 경우에는 256개 값들)에 대해서만 정의될 필요가 있다. 예측 함수 (19)는 LDR 픽셀들에 대해 유효한 값들에 의해 인덱싱되는(indexed) 룩업 테이블(lookup table)을 포함하여 구성될 수 있다. 예측 함수 (19)는 각 인덱스 값과 상응하는 하나의 출력 값을 가진 룩업 테이블로서 구현될 수 있다. 예를 들어, LDR 픽셀들이 8-비트 값들을 가지는 경우에, 룩업 테이블은 1 내지 256의 범위에 있는 정수들에 의해 인덱싱된 256 개의 상이한 값들을 포함할 수 있다. 예측 함수 (19)는, 그것의 주된 역할이 레지듀얼 프레임들의 값들을 가능한 한 작게 만드는 것이므로, 연속적일 필요는 없다. 이와 달리, 예측 함수 (19)는, 부분적으로 또는 전체적으로, 적절히 파라미터화된 연속적인 곡선으로 나타내어질 수 있다.The
블록 (28)에서, 이 방법 (10)은 재구성된 LDR 데이터 (26)에 예측 함수 (19)를 적용함으로써 예측된 HDR 이미지를 획득한다. 재구성된 LDR 데이터 (26)의 각 픽셀에 대한 픽셀 값은 입력으로서 예측 함수 (19)에 가해지고, 이 픽셀 값은, 예측된 HDR 이미지 (29)를 제공하기 위해, 예측 함수 (19)로부터의 결과 출력으로 대 체된다.At
블록 (30)은, 레지듀얼 이미지 (32)를 제공하기 위해, 예측된 HDR 이미지 (29)와 HDR 데이터 (12)의 이미지 간의 차이를 컴퓨터 계산한다. 잔상 (32)은 블록 (34)에서 인코딩/압축되어, 잔상 데이터 (35)로서 인코딩된 이미지 데이터 (38)에게로 출력된다. 블록 (34)은, 인코딩된 이미지 데이터 (38)로부터, 재구성된 HDR 이미지의 신뢰성에 대해 식별가능한 영향을 갖지 못할 정보를(또는, 보다 더 적극적인 필터링 및/또는 양자화(quantization)로써 과도하게 해로운 영향을) 제거하기 위해, 잔상 (32)을 필터링 및 양자화하는 것을 포함하여 구성될 수 있다.
도 2는, 인코딩된 이미지 데이터 (38)를 디코딩하기 위한 하나의 방법 (40)을 나타낸다. LDR 데이터 출력 (44)으로서 출력되는 LDR 데이터 (43)를 제공하기 위해, LDR 데이터 (22)는 인코딩된 이미지 데이터 (38)로부터 추출되어, 블록 (32)에서 디코딩/압축해제될 수 있다. 만일 LDR 데이터 출력 (44)이 필요한 전부라면, 그 경우에는 추가적인 처리가 행해질 필요가 없다.2 shows one
만일 HDR 데이터 출력 (56)이 또한 필요하면, 그 경우에는, 예측 함수 (47)를 제공하기 위해, 예측 함수 (37)가 블록 (46)에서 디코딩되고, 잔상 (52)을 제공하기 위해, 잔상 데이터 (35)가 블록 (50)에서 디코딩/압축해제된다.If
블록 (48)에서, 예측 함수 (47)가, 예측된 HDR 이미지 (49)를 제공하기 위해, LDR 데이터 (43)에 적용된다. 블록 (54)에서, 예측된 HDR 이미지 (49)가, HDR 데이터 출력 (56)을 제공하기 위해, 잔상 (52)과 결합된다. 도 2에 나타낸 바와 같이 작동하는 디코더는, HDR 데이터 출력부 (56)에 고품질 HDR 데이터를 제공하는 한편, LDR 데이터 출력부 (44)를 필요로 하는 시스템들 및 장치들과 역-호환될 수 있다.At
방법 (10) 및 방법 (40)은 다음에 의해 수행될 수 있다:
$ 데이터 프로세서들로 하여금 이 방법들을 실시하도록(implement) 만드는 소프트웨어를 실행하는 하나 또는 그보다 많은 마이크로프로세서들, 디지털 신호 프로세서들, 이들의 어떠한 조합, 또는 그 동등물을 포함하여 구성될 수 있는, 프로그램된 데이터 프로세서들;$ Program, which may comprise one or more microprocessors, digital signal processors, any combination thereof, or equivalent thereof that executes software that causes data processors to implement these methods. Data processors;
$ 하드웨어 회로들, 예를 들어, 이 방법을 실시하기 위해 협력하는 기능적인 블록들을 포함하고, 예를 들어, 적절하게 구성된 현장-프로그램가능 게이트 어레이들("FPGAs") 또는 주문형 집적 회로들("ASICs": application-specific integrated circuits)을 포함하여 구성될 수 있는 회로들; 또는,$ Hardware circuits, eg, functional blocks that contain functional blocks cooperating to implement the method, for example, properly configured field-programmable gate arrays ("FPGAs") or application specific integrated circuits (" ASICs ": circuits that can be configured including application-specific integrated circuits; or,
$ 프로그램된 데이터 프로세서들에서 이 방법들의 몇몇 부분들을, 그리고 적절한 하드웨어 회로들에서 이 방법들의 다른 부분들을 수행하는 것.$ Performing some parts of these methods in programmed data processors and other parts of these methods in appropriate hardware circuits.
도 3은, 하나의 보다 더 구체적인 예시적 구체예에 의한 방법 (70)을 나타낸다. 이 방법 (70)은, MPEG(Motion Pictures Experts Group) 표준에 의해 설정된 표준에 따르는 방법으로 비디오 프레임들을 인코딩한다. 이 방법 (70)은 비디오 데이터의 두 개의 인입 스트림들을 수신한다. HDR 프레임들 (74)을 포함하는 하나의 스트림이 입력부 (72)에서 수신된다. LDR 프레임들 (76)을 포함하는 하나의 스트림은 입력부 (78)에서 수신된다. LDR 프레임들 (76)은 입력부 (78)로부터 상부의 HDR 프레임들 (74) 업스트림 또는 HDR 프레임들 (74)의 어떤 프리커서(precusor)로부터 유도될 수 있다.3 shows a
도 3에 나타낸 바와 같이 작동하는 인코더는, 다음의 세 가지 압축된 스트림들을 생성한다: MPEG와 완전히 호환성인 LDR 스트림 (80); LDR 프레임들 (76)과 이에 상응하는 HDR 프레임들 (74) 간의 차이들을 포함하는 레지듀얼 스트림 (82); 그리고 HDR 프레임들 (74)을 재구성하기 위한 보조 데이터(auxiliary data)를 포함하는 보조 스트림 (84). 최고의 성능은, 레지듀얼 스트림 (82)과 보조 스트림 (84)이 LDR 스트림 (80) 내에 인코딩된 정보를 되풀이하지(duplicate) 않는 때에 달성될 수 있다.An encoder operating as shown in FIG. 3 produces three compressed streams: an
LDR 프레임들 (76)은 적절한 인코더를 사용하여 블록 (88)에서 인코딩된다. 예를 들어, 블록 (88)은 ISO/IEC 14496-2 표준과 호환성인 MPEG 비디오 인코더를 사용할 수 있다. 다른 비디오 인코더들이 그 대신에 사용될 수 있다. 그 결과로서의 비디오 스트림은, 현재의 소프트웨어에 의해 인식되고 재생될 수 있도록, AVI(Audio Vedio Interleave) 또는 QuickTimeTM과 같은 적절한 미디어 컨테이너 포맷(media container format)으로 캡슐화될(encapsulated) 수 있다.LDR frames 76 are encoded at
블록 (90)에서, MPEG 인코딩된 LDR 프레임들이 디코딩된다. 컴퓨터 계산을 최소화하기 위해, 블록 (90)에서의 디코딩은 블록 (88)에서 사용된 MPEG 인코더에 의해 수행될 수 있다. MPEG 인코더들은 모션 벡터들(motion vectors)을 예측하는데(estimating) 사용하기 위해 프레임들을 내부적으로 디코딩하는 것이 일반적이다. 블록 (90)은, MPEG 인코더에 의해 발생된 디코딩된 프레임들을 액세스(access) 하는 것을 포함하여 구성될 수 있다. 이와 달리, 블록 (90)은 블록 (88)과는 독립적으로 수행될 수 있다.At
블록 (90)으로부터의 출력은, MPEG이 손실이 많은 압축 방법이므로, 블록 (88)에 대한 입력과 상이한 것이 일반적일 것이다. MPEG 인코딩된 다음에 디코딩된 LDR 프레임들은 원래의 LDR 프레임들과 완전히 동일하지 않고, 압축 가공물들(compression artifacts)을 포함한다.The output from
블록들 (92A 및 92B)에서, 상호 호환성인 색 공간들에 나타내어지는 LDR 프레임들 및 HDR 프레임들을 제공하기 위해, 필요하면, LDR 프레임들 (76)과 HDR 프레임들 (74) 중 하나 또는 모두의 색 공간들이 변환된다(transformed). 만일 변환이 있다면, 블록들 (92A 및 92B)에서 어떠한 변환이 수행될 것인가는 인입되는 LDR 프레임들 (76) 및 HDR 프레임들 (74)의 색 공간들에 좌우된다. 몇몇 경우들에서는, 블록들 (92A 및 92B)은 필요하지 않다. 다른 경우들에서는, 블록들 (92A 및 92B) 중 하나만 필요하다. In
HDR 및 LDR 색 공간들은, LDR와 HDR 색 공간들 모두의 컬러 채널들이 대략적으로 동일한 정보를 나타낼 때 호환성이다. HDR과 LDR 색 공간들이 지각적으로 통일적인(perceptually uniform) 것이 또한 바람직하다. 지각적인 통일성은 산술적인 차이들보다는 지각적인 차이들에 의한 컬러 차이들에 대한 예측을 용이하게 한다. 비록 전체 가시성 컬러 개멋(full visible color gamut)이 현재의 디스플레이 장치들 상에 표시될 수는 없지만, HDR 색 공간이 넓은 컬러 개멋(색상 전반)을, 이상적으로는 전체 가시성 컬러 개멋을 보존하는 것이 또한 바람직하다.HDR and LDR color spaces are compatible when color channels in both LDR and HDR color spaces exhibit approximately the same information. It is also desirable that the HDR and LDR color spaces be perceptually uniform. Perceptual uniformity facilitates prediction of color differences due to perceptual differences rather than arithmetic differences. Although a full visible color gamut cannot be displayed on current display devices, it is also desirable to preserve color gamuts (wide color gamut) with a large HDR color space, ideally full color gamuts. desirable.
발명자들은, HDR 이미지 데이터를 나타내는데 사용하기 위한 우수한 색 공간은, CIE 1976 UCS(Uniform Chromacity Scales) (uo, vo)의 sRGB 색 공간의 감마 보정(gamma correction)과의 조합이라고 생각한다. 다른 색 공간들 또한 사용될 수 있다. 하나의 예에서, 인입되는 LDR 프레임들 (76)은 sRGB 색 공간에 나타내어지고, 그 반면 인입되는 HDR 프레임들 (74)은 CIE XYZ(2E 표준 관찰자) 색 공간에 나타내어진다. 이러한 경우에서, 블록 (92A)은 LDR 픽셀들을 sRGB 색 공간으로부터 lldruldrvldr 공간으로 전환하는(converting) 것을 포함하여 구성된다. 이것은, CIE XYZ 컬러 좌표들을 컴퓨터 계산한 다음에, 이 XYZ 값들로부터 u'와 v' 좌표들과 루마(luma)를 계산함으로써 수행될 수 있다. XYZ 값들은, IEC 61966-2-1:1999(멀티미디어 시스템들 및 장치 - 컬러 측정 및 매니지먼트 - 파트 2-1: 디폴트 RGB 색 공간 - sRGB. 국제 전기 기술 표준 위원회, 1999)에 주어진 sRGB 전환식들을 사용하여 결정될 수 있다. 예를 들어, R8 - 비트 에 대한 8-비트 컬러 좌표는 다음과 같다:The inventors believe that an excellent color space for use in displaying HDR image data is in combination with gamma correction of the sRGB color space of CIE 1976 Uniform Chromacity Scales (UCS) (u o , v o ). Other color spaces can also be used. In one example, incoming LDR frames 76 are represented in the sRGB color space, while incoming HDR frames 74 are represented in the CIE XYZ (2E standard observer) color space. In this case, block 92A is configured to include converting LDR pixels from the sRGB color space to l ldr u ldr v ldr space. This can be done by computer computing the CIE XYZ color coordinates and then calculating the u 'and v' coordinates and luma from these XYZ values. XYZ values are based on the sRGB conversion equations given in IEC 61966-2-1: 1999 (Multimedia Systems and Devices-Color Measurement and Management-Part 2-1: Default RGB Color Space-sRGB. International Electrotechnical Standards Committee, 1999). Can be determined using. For example, R 8 - 8- bit color coordinates for the bits are as follows:
G8 -비트와 B8-비트 컬러 좌표들은, 유사하게 부동 소수 값들로 변환될 수 있고, 그 다음에 X, Y, 및 Z는 다음 방정식으로부터 결정될 수 있다:G 8 -bit and B 8-bit color coordinates can be similarly converted to floating point values, and then X, Y, and Z can be determined from the following equation:
방정식 (3)의 예시적인 매트릭스는 화이트 지점(white point) D65를 가정한 것이다. 루마는 적절한 보정된 컬러 값들을 사용하여 각 LDR 픽셀에 대해 컴퓨터 계산될 수 있다. 예를 들어, 루마는 다음에 의해 주어질 수 있다:An exemplary matrix of equation (3) assumes white point D65. Luma can be computer computed for each LDR pixel using appropriate corrected color values. For example, luma can be given by:
[상기 식에서, lldr은 LDR 픽셀에 대한 루마 값임]. 루마는 감마 보정이 적용된 후의 비선형 R' G' B' 성분들의 가중 합(weighted sum)이다.[ Wherein , l ldr is a luma value for the LDR pixel]. Luma is the weighted sum of the nonlinear R 'G' B 'components after gamma correction is applied.
색도(chromaticity)들 (u'와 v')은 다음으로부터 얻을 수 있다:Chromaticities (u 'and v') can be obtained from:
그리고And
다음으로, 8-비트 수들(uldr과 vldr)은 다음과 같은 적절한 변환 인자(scaling factor)를 u'와 v' 각각에 곱함으로써 얻을 수 있다:Next, the 8-bit numbers u ldr and v ldr can be obtained by multiplying u 'and v' by the appropriate scaling factor as follows:
그리고And
변환된(transformed) 색 공간에서, LDR 데이터의 각 픽셀은 픽셀 값들 lldr, vldr, uldr로 나타내어진다.In the transformed color space, each pixel of the LDR data is represented by pixel values l ldr , v ldr , u ldr .
블록 (92B)은, LDR 픽셀 값들에 대해 위에서 설명된 바와 실질적으로 동일한 방식으로 HDR 프레임들 (74)의 컬러 값들을 변환시킬 수 있다. 일반적인 감마 보정은, HDR 프레임 내에 규정될(specified) 수 있는 루미넌스 값들의 범위에 대해서는 일반적으로 사용될 수 없다. 그러므로, 몇몇 구체예들은 인간 관찰자를 위한 콘트라스트 검출 측정값들로부터 유도된 지각적으로 균일한 루미넌스 표현을 사용한다. 이러한 공간은 LDR 픽셀 값들이 감마 보정된 공간과 유사한 성질들을 갖지만, (예를 들어 11-12 비트들을 사용하여) 루미넌스의 가시성 범위 전부를 인코딩할 수 있다.
하나의 예시적인 구체예에서, HDR 루미넌스 (y)는 다음 식에 의해 12-비트 HDR 루마(lhdr)로 변환된다:In one exemplary embodiment, HDR luminance (y) is converted to 12-bit HDR luma (l hdr ) by the following equation:
[상기 식에서, 상수들은 아래의 표 I에 열거되어 있음]. 그 역 변환은 다음 식에 의해 주어진다:Wherein the constants are listed in Table I below. The inverse transformation is given by the following equation:
[상기 식에서, 방정식들 (9 및 10)에 사용된 여러 상수들은 아래의 표 I에 열거되어 있음].[Wherein, the various constants used in equations (9 and 10) are listed in Table I below].
표 I - 방정식들 (9 및 10)에 대한 예시적인 상수들Table I-Exemplary Constants for
블록 (94)은 HDR 이미지 데이터에 대한 예측 함수를 생성한다. 예측 함수는, LDR 이미지 데이터 내의 상응하는 픽셀에 대한 상응하는 픽셀 값에 기초하여, HDR 이미지 데이터 내의 하나의 픽셀에 대한 픽셀 값을 예측하려는 것이다. 예측 함수는, 예측 함수에 의해 예측된 값들과는 현저하게 다른 값들을 갖는 HDR 이미지 데이터 내의 픽셀들의 수를 최소화하도록 선택되는 것이 이상적이다. 예측 함수는 로그 도메인(logarithmic domain)에서 비선형적인 것이 바람직하다.
HDR 데이터 내의 색도를 나타내는 픽셀 값들이 LDR 이미지 데이터 내의 상응하는 픽셀 값들과 거의 동일한 경우들에서, 색도 픽셀 값들(예컨대, u' 및 v')에 대해 예측 함수를 컴퓨터 계산하는 것은 이점이 없다. 이와 같은 경우들에서, 밝기 값들(예컨대, 루마, 루미넌스 등)에 대해서 예측 함수를 제공하는 것이 필요할 뿐이다.In cases where pixel values representing chromaticity in the HDR data are approximately equal to corresponding pixel values in the LDR image data, it is not advantageous to computer calculate a prediction function for the chromaticity pixel values (eg, u 'and v'). In such cases, it is only necessary to provide a prediction function for brightness values (eg luma, luminance, etc.).
LDR 프레임들 (76) 및 HDR 프레임들 (74)은 유사한 정보를 포함하기 때문에, 이 프레임들은 강하게 상관되어(correlated) 있다. HDR 프레임들 (74)에 톤 맵핑 알고리즘을 적용함으로써 LDR 프레임들 (76)이 얻어지는 경우에, 상관관계의 특정한 성질은 어떤 톤 맵핑이 사용되었는 지에 의해 좌우된다. Since LDR frames 76 and HDR frames 74 contain similar information, these frames are strongly correlated. In the case where the LDR frames 76 are obtained by applying the tone mapping algorithm to the HDR frames 74, the specific nature of the correlation depends on which tone mapping is used.
도 4A 내지 도 4F는, LDR 프레임의 루마 값들이 상응하는 HDR 프레임의 루마 값들과 어떻게 관련되는 지를 나타낸다. 각각의 이들 도면은, 예시적인 HDR 이미지로부터 LDR 이미지를 유도하기 위해 상이한 톤 맵핑을 적용한다. 이들 톤 맵핑 함수들은, 낮은 값들에서 lldr과 lhdr간에 선형 관계를 제공하는 것이 일반적이다. 더 높은 루미넌스 값들에 대해서는 톤 맵핑 함수들 간에 더 많은 변동(variation)이 있다. 도 4A 내지 도 4D 각각에서, LDR 루마 값들은 수평축에 찍혀 있고, HDR 루마 값들은 수직축에 찍혀 있다. X 표시된 지점들은 LDR과 HDR 이미지들 내의 상응하는 픽셀들의 픽셀 값들을 나타낸다.4A-4F show how luma values of an LDR frame relate to luma values of a corresponding HDR frame. Each of these figures applies different tone mapping to derive the LDR image from the exemplary HDR image. These tone mapping functions generally provide a linear relationship between l ldr and l hdr at low values. There is more variation between tone mapping functions for higher luminance values. In each of FIGS. 4A-4D, LDR luma values are plotted on the horizontal axis and HDR luma values are plotted on the vertical axis. The X marked points represent pixel values of the corresponding pixels in the LDR and HDR images.
도 4A 내지 도 4F는, 다음에 개시된 톤 맵핑에 각각 상응한다:4A-4F correspond to tone mapping, respectively, disclosed in the following:
$ S. Pattanaik, J.E. Tumblin, H Yee, 및 D.P. Greenberg의 "사실적인 이미지 표시를 위한 시간 의존성 시각적 적응(Time dependent visual adaptation for realistic image display)"[Proceedings of ACM SIGGRAPH 2000, Computer Graphics Proceedings, Annual Conference Series, 47-54 페이지, 2000년 7월]. $ S. Pattanaik, J.E. Tumblin, H Yee, and D.P. Greenberg's "Time dependent visual adaptation for realistic image display" [Proceedings of ACM SIGGRAPH 2000, Computer Graphics Proceedings, Annual Conference Series, pages 47-54, July 2000].
$ Erik Reinhard, Michael Stark, Peter Shirley, 및 Jim Ferwerda의 "디지털 이미지들을 위한 사진 톤 재현(Photographic tone reproduction for digital image)"[ACM Trans. on Graph., 21(3):267-276, 2002].$ "Photographic Reproduction for Digital Images" by Erik Reinhard, Michael Stark, Peter Shirley, and Jim Ferwerda [ACM Trans. on Graph., 21 (3): 267-276, 2002.
$ Fredo Durand와 Julie Dorsey의 "하이-다이나믹-레인지 이미지들의 표시를 위한 고속 양방향 필터링(Fast filtering for the display of high-dynamic-range images)"[ACM Trans. on Graph., 21(3):257-266, 2002].$ Fredo Durand and Julie Dorsey's "Fast filtering for the display of high-dynamic-range images" [ACM Trans. on Graph., 21 (3): 257-266, 2002].
$ Raanan Fattal, Dani Lischinski, 및 Michael Werman의 "그래디언트 도메인 하이 다이나믹 레인지 압축(Gradient domain high dynamic range compression)"[ACM Trans. on Graph., 21(3):249-256, 2002].$ "Gradient domain high dynamic range compression" by Raanan Fattal, Dani Lischinski, and Michael Werman [ACM Trans. on Graph., 21 (3): 249-256, 2002].
$ Frederic Drago, Karol Myszkowski, Thomas Annen, 및 Norishige Chiba의 "높은 콘트라스트 장면들을 표시하기 위한 적응성 로그 맵핑(Adaptive logarithmic mapping for displaying high contrast scenes)"[Computer Graphics Forum, proceedings of Eurographics 2003, 22(3):419-426, 2003]. $ "Adaptive logarithmic mapping for displaying high contrast scenes" by Frederic Drago, Karol Myszkowski, Thomas Annen, and Norishige Chiba [Computer Graphics Forum, proceedings of Eurographics 2003, 22 (3) : 419-426, 2003].
$ Rafal Mantiuk, Karol Myszkowski, 및 Hans-Peter Seidel의 "하이 다이나믹 레인지 이미지들의 콘트라스트 처리를 위한 인지적 프레임웍(A perceptual framework for contrast processing of high dynamic range images)"[APGV '05: Proceedings of the 2nd Symposium on Applied Perception in Graphics and Visualization, 87-94 페이지, New York, NY, USA, 2005. ACM Press].$ Rafal Mantiuk, Karol Myszkowski, and Hans-Peter Seidel's "A perceptual framework for contrast processing of high dynamic range images" [APGV '05: Proceedings of the 2nd Symposium on Applied Perception in Graphics and Visualization, pages 87-94, New York, NY, USA, 2005. ACM Press].
예측 함수는 위에서 설명한 바와 같이 생성될 수 있다. 예측 함수가, 상응하는 빈(bin)에 속하는 모든 HDR 픽셀들의 값들의 산술 평균으로 정의되는 경우에, 그 경우의 예측은 다음과 같이 표기될 수 있다:The prediction function may be generated as described above. If the prediction function is defined as the arithmetic mean of the values of all the HDR pixels belonging to the corresponding bin, then the prediction in that case can be written as:
[상기 식에서, Σi={i=1...N*lldr(i)=l}, l=0...255이고;[Wherein,? I = {i = 1 ... N * l ldr (i) = l}, l = 0 ... 255;
N은 프레임 내의 픽셀들의 수이고, lldr(i)와 lldr(I)는 LDR과 HDR 프레임들 각각의 i번째 픽셀에 대한 루마 값들임] 예측 함수는 각 프레임에 대해 갱신되는 것이 바람직하다.N is the number of pixels in the frame, and l ldr (i) and l ldr (I) are luma values for the i th pixel of each of the LDR and HDR frames. The prediction function is preferably updated for each frame.
도 4A 내지 도 4F에서, 예측 함수들은 실선들로 도시되어 있다. 예측 함수들은, 사용된 톤-맵핑 함수는 물론이고, 이미지의 내용(image content)에 의해 좌우될 것이다. 도 4A 내지 도 4F는, 일반적인 HDR 이미지들에 대한 예측 함수들을 나타낸다. 도 4A 내지 도 4F는, 그 범위의 상당한 부분들에 걸쳐 기울기가 증가하며 천천히 변화하는 경향이 있음을 보여준다. 그러므로, 몇몇 구체예들에서, 모든 빈(bin)에 대한 예측 함수의 값들을 인코딩하는 대신에, 두 개의 연속적인 빈들에 대한 예측 함수 값들 간의 차이들이 인코딩된다. 비트들의 수를 더 줄이기 위해, 이 차이들은, 예를 들어, 블록 (95)에 나타낸 바와 같은 적응성 허프만 알고리즘(adaptive Huffman algorithm)을 사용하여 압축될 수 있다. 보조 데이터 스트림 (84)의 크기는, 몇몇 구체예들에서는 전체 스트림 크기의 1%이거나 그보다 작다. 그러므로 예측 함수의 저장 오버헤드(storage overhead)는 거의 미미할 수 있다. 예측 함수들, 또는 예측 함수들의 일부분은, 예를 들어, 파라미터화된 다항식 곡선들, 스플라인 곡선들, 또는 다른 파라미터화된 함수들과 같은 다른 방식으로 나타내어질 수 있다.4A-4F, prediction functions are shown by solid lines. The prediction functions will depend on the image content as well as the tone-mapping function used. 4A-4F show prediction functions for general HDR images. 4A-4F show that the slope increases over a significant portion of the range and tends to change slowly. Therefore, in some embodiments, instead of encoding the values of the prediction function for every bin, the differences between the prediction function values for two consecutive bins are encoded. To further reduce the number of bits, these differences can be compressed using, for example, an adaptive Huffman algorithm as shown in
블록 (96)에서, 레지듀얼 프레임들이 컴퓨터 계산된다. 레지듀얼 프레임 각각의 픽셀 값들은, HDR 프레임의 상응하는 픽셀에 대한 픽셀 값과, LDR 프레임의 상응하는 픽셀의 픽셀 값에 예측 함수를 적용함으로써 예측된 픽셀에 대한 픽셀 값 간의 차이를 나타낸다. 블록 (96)은 각 픽셀 값(이 예에서는, l, u 및 v)에 대해 별개로 수행될 수 있다. 루미넌스 값들에 대해, 레지듀얼 프레임 내의 각 픽셀 rl(i)은 다음과 같이 계산될 수 있고:In
색도 값들에 대해, 예측 함수는 항등 함수(identity function)일 수 있으며, 그 경우에는 다음과 같다:For chromatic values, the prediction function may be an identity function, in which case:
그리고And
적절히 선택된 예측 함수가 HDR 프레임들을 인코딩하는 데이터의 양을 현저하게 감소시킬 수 있다. 이러한 감소에도 불구하고, 레지듀얼 프레임들은, 재구성된 HDR 이미지들의 품질을 가시적으로 개선시킬 수 없게 만드는 상당한 양의 노이즈를 여전히 포함할 수 있다. 이러한 노이즈를 줄이거나 제거하기 위해 레지듀얼 프레임들을 필터링함으로써 이미지 품질의 눈에 띌만한 저하를 일으키지 않고도, 압축율이 개선될 수 있다. 블록 (98)은 레지듀얼 프레임들을 필터링한다. 레지듀얼 프레임들 내의 신호는 종종 상대적으로 시인성 임계(visibility threshold)에 근접한다. 그러므로, 필터링은, 데이터로부터 재구성된 HDR 이미지들의 품질의 현저한 저하 없이, 데이터의 현저한 감소를 일으킬 수 있다.Properly selected prediction function can significantly reduce the amount of data encoding HDR frames. Despite this reduction, residual frames may still contain a significant amount of noise, making it impossible to visually improve the quality of the reconstructed HDR images. By filtering the residual frames to reduce or remove this noise, the compression rate can be improved without causing a noticeable degradation of image quality.
블록 (98)의 출력은, 고주파들이 비가시성인 영역들에서 약화되어 있는 레지 듀얼 프레임이다. 도 5는, 레지듀얼 프레임들을 필터링하기 위해 적용될 수 있는 방법 (110)을 나타낸다. 방법 (110)은, 본 발명에 의한 인코딩 방법의 맥락에서 수행될 수 있을 뿐만 아니라, 이미지 내로 가시성 가공물들(visible artifacts)을 생기도록 하지 않음으로써 이미지를 나타내는 데이터의 양을 감소시키기를 바라는 다른 맥락들에 적용될 수 있다.The output of
이어지는 설명은 루마 채널에 대해 행해지는 처리를 설명한다. 동일한 처리가 또한 크로마 채널들(chroma channels)에 적용될 수 있다. 크로마 채널들은, 예를 들어, 처리를 감소시키기 위해 그 원래의 레졀루션(resolution)의 절반으로 서브샘플링될 수 있다. 이러한 감소가 루미넌스와 크로미넌스 CSF의 차이를 대략적으로 설명한다.The following description describes the processing performed on the luma channel. The same process can also be applied to chroma channels. Chroma channels may, for example, be subsampled at half of their original resolution to reduce processing. This reduction roughly accounts for the difference between luminance and chrominance CSF.
방법 (110)은 하나의 레지듀얼 프레임 (112)과 이 레지듀얼 프레임을 마스킹하는 하나의 HDR 프레임 (114)을 수신한다. 블록들 (116 및 118)에서, 이산 웨이블렛 변환(DWT: Discrete Wavelet Transform)이, 마스킹 프레임 (114)과 레지듀얼 프레임 (112) 각각을 몇 개의 프리퀀시-선택성 및 방향-선택성(orientation-selective) 채널들로 분할하기 위해 사용된다. A.B. Watson의 "코르텍스 변환: 시뮬레이션된 신경 이미지들의 급속 계산(The cortex transform: Rapid computation of simulated neural images)"[Computer Vision Graphics and Image Processing, 39:311-327, 1987]에 기술된 코르텍스 변환과 같은 다른 적절한 변환들이, DWT를 대신하여 적용될 수 있다. 코르텍스 변환은 고도로 컴퓨터 계산적이어서, 만일 충분한 컴퓨터 계산 자원들이 가용하다면 매우 실용적이다.The
프로토타입 구체예는, (JPEG-2000 표준에 의한 이미지들의 손실 많은 압축에 또한 사용되는) CDF 9/7 이산 웨이블렛 베이시스를 사용한다. 이러한 웨이블렛 베이시스는 원활함(smoothness)과 계산 효율을 양호하게 절충시켜 준다. 프로토타입에서, 더 성긴 스케일들(coarser scales)에서의 더 낮은 공간 프리퀀시들의 필터링은 눈에 띨만한 결함들을 초래할 수 있으므로, 세 가지 가장 미세한 스케일들의 웨이블렛 분해(decomposition)만이 사용된다.The prototype embodiment uses CDF 9/7 discrete wavelet basis (also used for lossy compression of images by the JPEG-2000 standard). This wavelet basis provides a good compromise between smoothness and computational efficiency. In the prototype, the filtering of lower spatial frequencies at coarser scales can result in noticeable defects, so only the wavelet decomposition of the three finest scales is used.
블록 (120)에서, 콘트라스트 감도 함수(CSF: contrast sensitivity function)와 같은 함수가, 높은 공간 프리퀀시에 대한 인간 시각 시스템의 더 낮은 감도를 설명하기 위해 적용된다. CSF를 적용하는 것은, 각 밴드의 웨이블렛 계수들을 일정한 값으로 가중하는(weighting) 것을 포함한다. 1700 픽셀들의 시 거리(viewing distance)에 대한 예시적인 가중 인자들(weighting factors)이 표 2에 주어져 있다.In
표 2TABLE 2
인간의 시각 채널들은 제한된 위상 감도(phase sensitivity)를 가진다. 이러한 점은, 재구성된 이미지들의 눈에 띌만한 저하 없이 정보를 폐기할 추가적인 기회를 제공한다. 마스킹 신호는 웨이블렛 계수들의 값들이 가장 높은 영역들에 영향을 줄 뿐만 아니라, 인접 영역들에도 영향을 미칠 수 있다. 위상 불확실도(phase uncertainty)는, 더 많은 양의 마스킹을 보여주는 텍스쳐들(textures)과는 반대로, 또한 주변부들(edges)에서의 마스킹의 영향을 감소시킨다.Human visual channels have limited phase sensitivity. This provides an additional opportunity to discard the information without noticeable degradation of the reconstructed images. The masking signal not only affects the regions where the values of the wavelet coefficients are highest, but can also affect adjacent regions. Phase uncertainty also reduces the effect of masking on edges, as opposed to textures showing a greater amount of masking.
위상 불확실성은, JPEG-2000 이미지 압축에도 또한 사용되는 L0.2 놈(norm)으로 모델링될 수 있다. L0.2 놈은 다음에 의해 주어진다:Phase uncertainty is also used in L 0 . Can be modeled as 2 norms. L 0 . The two guys are given by:
및 그 수학적 등가식.And mathematical equivalents thereof.
[상기 식에서, 1은 계수의 네이버후드(neighbourhood)를 의미하고(13H13 박스가 프로토타입 실시에서의 네이버후드로 사용됨), LCSF는 CSF 인자를 적용함으로써 가중된 웨이블렛 계수이고, 그리고 는 위상 불확실성을 고려한 후의 CFS-가중된 웨이블렛 계수임].[In the above formula, 1 means neighborhood of coefficients (13H13 box is used as neighbor hood in prototype implementation), L CSF is wavelet coefficient weighted by applying CSF factor, and Is the CFS-weighted wavelet coefficient after taking into account phase uncertainty.
블록 (124)은, 임계 콘트라스트(threshold contrast)가, 원래의 HDR 프레임 (114)으로부터의 마스킹 신호의 존재하에 어떻게 변화할 것인지를 예측한다. 콘트라스트 마스킹을 모델링하기 위해, 임계 상승 함수(threshold elevation function)를 사용할 수 있다. 임계 상승 함수는, 예를 들어, 다음의 식을 가질 수 있다:
프로토타입 구체예에서, 식 (16)의 상수들은 a=0.093071이고, b=1.0299이며, 그리고 c=11.535로 주어진다.In the prototype embodiment, the constants of formula (16) are given by a = 0.093071, b = 1.0299, and c = 11.535.
레지듀얼 프레임에 대한 각각의 CSF-가중된 계수(RCSF)는, 원래의 HDR 프레임 (114)으로부터 계산된, 상응하는 임계 상승의 값(Te)과 비교된다. 만일 RCSF가 방정식 (16)의 가시성 임계(visibility threshold) (Te)보다 작으면, 계수는, 최종 재구성된 이미지에 눈에 띌만한 변화들을 도입함이 없이, 0으로 설정될 수 있다. 이것은 다음으로 표현된다:Each CSF- weighted coefficient R CSF for the residual frame is compared to the value T e of the corresponding threshold rise, calculated from the
마지막으로, 필터링된 웨이블렛 계수들(Rfilt)는 이미지 도메인으로 역으로 변환된다. 위에 제시된 사전 필터링 방법은 레지듀얼 스트림의 크기를 실질적으로 감소시킬 수 있다. 이 필터링은 계산 효율과 시각적 모델의 정확성 간의 합리적인 절충 방법이다. 본 명세서에서 기술된 필터링은, 단지 약 80% 정도로 인코딩 시간을 증가시키는 것이 일반적이다. 인코딩 도중의 필터링은 디코딩 시간을 증가시키지 않는다.Finally, the filtered wavelet coefficients R filt are inversely transformed into the image domain. The pre-filtering method presented above can substantially reduce the size of the residual stream. This filtering is a reasonable compromise between computational efficiency and the accuracy of the visual model. The filtering described herein generally increases the encoding time by only about 80%. Filtering during encoding does not increase decoding time.
도 3으로 되돌아가서, 블록 (100)은 필터링된 레지듀얼 프레임들을 양자화한다. 레지듀얼 프레임들 내에 인코딩된 차이들의 크기들이 작은 것이 일반적일지라도, 그것들은, (12-비트 HDR 루마 인코딩의 경우) !4095 내지 4095의 범위 내에 있는 값들을 취할 수 있다. 명백하게, 이와 같은 값들은 8-비트 MPEG 인코더를 사용하여 인코딩될 수 없다. 비록 MPEG 표준이 12 비트들 상에 루마 값들을 인코딩하기 위한 익스텐션(extension)을 제공할지라도, 이와 같은 익스텐션은, 특히 하드웨어 로는, 거의 실시되지 않는다.Returning to FIG. 3, block 100 quantizes the filtered residual frames. Although it is common for the magnitudes of the differences encoded in the residual frames to be small, they can take values in the range of! 4095 to 4095 (for 12-bit HDR luma encoding). Clearly, such values cannot be encoded using an 8-bit MPEG encoder. Although the MPEG standard provides extensions for encoding luma values on 12 bits, such extensions are rarely implemented, especially in hardware.
양자화 블록 (100)은 레지듀얼 값들의 크기가, 바람직하게는 이들 값들이 표준 8-비트 MPEG 인코더를 사용하여 인코딩될 수 있을 정도로 충분히, 감소될 수 있도록 해준다. 다양한 양자화 방법들(schemes)이 사용될 수 있다. 예를 들어, 몇몇 구체예들은, 레지듀얼의 큰 절대 값들은 강하게(heavily) 양자화되고, 반면에 작은 값들은 최대의 정확성을 갖고 보존되는, 비선형 양자화를 적용한다. 매우 적은 픽셀들이 커다란 크기를 갖는 레지듀얼을 포함하므로, 대부분의 픽셀들은 강한 양자화에 의해 영향을 받지 않는다.
강한 양자화는 저조한 시각적 품질을 갖는 몇몇 이미지들을 초래할 수 있다. 이는, 커다란 양자화 오류들을 갖는 픽셀들이 몇 안될지라도 지각된 이미지 품질에 손상이 가는 방식으로 두드러질 수 있기 때문이다.Strong quantization can result in some images with poor visual quality. This is because even a few pixels with large quantization errors can be noticeable in a way that impairs perceived image quality.
(예를 들어, 8-비트 레인지로의) 레지듀얼 값들의 단순한 클램핑(clamping)은, 매우 밝거나 매우 어두운 영역들 내의 디테일들을 놓치게 되지만, 시각적으로 더 좋은 결과들을 낳을 수 있다. 나아가, 일반적인 이미지들에서는, 적절하게 선택된 예측 함수들을 사용하여, 매우 적은 픽셀들만이 8-비트 레인지를 초과하는 레지듀얼 값들을 가진다.Simple clamping of residual values (eg, into an 8-bit range) may miss details in very bright or very dark areas, but may produce visually better results. Furthermore, in typical images, using properly selected prediction functions, only very few pixels have residual values exceeding the 8-bit range.
몇몇 구체예들에서, 더 강하게 양자화시키는 댓가로 클램핑을 감소시키기 위해, 레지듀얼 값들이 일정한 양자화 인자(constant quantization factor)로 나눠진다(divide). 이 인자는, 클램핑에 기인하는 오류들과 양자화에 기인하는 오류들 간의 절충(trade-off)에 기초하여 선택될 수 있다. 이와 같은 양자화 인자들은, 그 빈에 속하는 모든 픽셀들에 대한 레지듀얼의 최대 크기에 기초하여, 각 빈(bin)에 대해 별개로 설정될 수 있다. 그러므로, 양자화 후의 레지듀얼 값들은 다음과 같이 계산될 수 있다:In some embodiments, the residual values are divided by a constant quantization factor in order to reduce clamping at the expense of stronger quantization. This factor may be selected based on the trade-off between errors due to clamping and errors due to quantization. Such quantization factors may be set separately for each bin, based on the maximum size of the residual for all pixels belonging to that bin. Therefore, the residual values after quantization can be calculated as follows:
[상기 식에서,[Wherein,
$ 오퍼레이터 [.]-127÷ 127는 대괄호 내부의 값을 가장 근사한 정수로 반올림한 다음에, 그것이 127보다 크거나 -127보다 작으면 그 값을 클램핑하고;$ Operator [.] -127 ÷ 127 rounds the value inside the square bracket to the nearest integer, then clamps the value if it is greater than 127 or less than -127;
$ q(l)은, 각 빈(Σk)에 대해 별개로 선택된 양자화 인자임]. $ q (l) is a quantization factor selected separately for each bin Σ k ].
이 양자화 인자는 다음에 의해 주어질 수 있다:This quantization factor can be given by:
[상기 식에서, qmin은, 예를 들어, 1 또는 2일 수 있는, 최소 양자화 인자임].[Wherein q min is a minimum quantization factor, which can be, for example, 1 or 2].
양자화 인자들 (q(l))은 보조 데이터 스트림 (84)에 예측 함수와 함께 저장될 수 있다. 이 데이터는 블록 (95)에서와 같이 먼저 압축될 수 있다. 대부분의 경우들에서, 대부분의 양자화 인자들 (q(l))은 qmin 값을 가질 것이다. 그러므로, 반복 길이(run-length) 인코딩을 한 다음에 허프만 인코딩(Huffman encoding)을 하는 것이 양자화 인자들을 나타내는 데이터를 압축하는 효과적인 방법이다.Quantization factors q (l) may be stored with the prediction function in
블록 (102)에서, 레지듀얼 값들이 인코딩된다. 레지듀얼 값들이 8-비트 값들일 때, 이것들은 일반적인 MPEG 압축(예컨대, MPEG-4 압축)을 사용하여 인코딩될 수 있다. 프로토타입 구체예에서, 양자화된 레지듀얼 값들()과 크로마 레지듀얼 값들(ru 및 rv)은, 가장 근사한 정수 값으로 반올림된 후에 MPEG 인코딩된다. 레지듀얼 값들을 획득하기 위해 적용된 연산들(operations)이, 예측 함수가 거의 선형이고 방정식 (18)의 적응성 양자화의 효과가 극히 적은 경우들에서는, 대략적으로 선형이라는 것에 주목해야 한다. 이와 같은 경우들에서, 레지듀얼 프레임의 시각 정보는 원래의 HDR 프레임과 동일한 프리퀀시 밴드들 내에 있고, 레지듀얼의 DCT 양자화는 원래의 HDR 픽셀 값들에 대한 것과 유사한 효과를 가진다. 그러므로, 표준 DCT 양자화 매트릭스가 레지듀얼 프레임들을 인코딩하기 위해 사용될 수 있다.In
블록들 (88 및 102)에서의 MPEG 인코딩은 독립적이므로, 블록들 (88 및 102) 각각에 대해 MPEG 품질 파라미터들을 별개로 설정하는 것이 가능하다. 대부분의 응용들에서, 두 세트의 MPEG 품질 파라미터들을 설정하는 것은 직감적이지도 또한 편리하지도 않다. 바람직한 구체예들에서, 단일 품질 조절부가 블록들 (88 및 102) 모두에 대한 품질 파라미터들을 설정한다. 블록들 (88 및 102)에서 품질 파라미터들을 서로 동등하게 설정하는 것이 일반적으로 만족스런 결과를 제공하는 것으로 밝혀졌다. Since the MPEG encoding in
블록들 (88 및 102)에 대한 몇몇 품질 설정들은 다른 것들보다 더 나은 압축 결과들을 가져올 수 있다. 최고 품질 HDR 이미지들을 달성하기 위해, 블록 (102)은 최고 품질을 사용하여 인코딩하는 것을 포함해야 한다. 블록 (88)에서의 품질 설정들은 주로, 스트림 (80)으로부터 재구성된 LDR 이미지들의 품질에 영향을 주지만, 또한 HDR 이미지들의 품질에도 상당한 영향을 가질 수 있다.Some quality settings for
발명의 몇몇 구체예들은 LDR과 HDR 프레임들 모두가 동일한 씬들(scenes)을 포함한다는 사실을 활용한다. 그러므로 옵티칼 플로우(optical flow)은 이들 모두에 대해 동일해야 한다. 이와 같은 구체예들에서, LDR 프레임들에 대해 계산된 것과 동일한 모션 벡터들이 레지듀얼 프레임들에 대해서도 또한 사용된다. 데이터 구조(data structure) (38)는 단지 1 세트의 모션 벡터들을 포함할 수 있다. 본 발명의 다른 구체예들에서, 모션 벡터들은, LDR과 레지듀얼 프레임들에 대해 별개로 계산되고, 모션 벡터들의 양 세트들은 인코딩된 이미지 데이터 (38)에 저장된다.Some embodiments of the invention take advantage of the fact that both LDR and HDR frames contain the same scenes. Therefore the optical flow must be the same for all of them. In such embodiments, the same motion vectors as calculated for the LDR frames are also used for the residual frames.
본 발명에 의한 방법들을 수행하기 위한 소프트웨어는 다양한 방식들로 구현될 수 있다. 프로토타입 구체예에서, 이 소프트웨어는, 외부 소프트웨어와의 통합을 단순화시키기 위해, 다이나믹 라이브러리(dynamic library)로서 구현된다. 별개의 코맨드 라인 툴들(command line tools)의 세트가, HDR 이미지 파일들로부터의 그리고 HDR 이미지 파일들로의, 비디오 스트림들의 인코딩 및 디코딩을 가능케 한다. The software for performing the methods according to the invention can be implemented in various ways. In a prototype embodiment, the software is implemented as a dynamic library to simplify integration with external software. A set of separate command line tools enables encoding and decoding of video streams from and into HDR image files.
HDR 비디오 재생은, 두 MPEG 스트림들 (80 및 82)을 디코딩하는 것을 포함하여 구성되므로, 받아들일만한 프레임 레이트을 달성하는 것은, 일반적인 LDR 비디오 재생의 경우에서보다 더 어렵다. 재생 프레임 레이트는, 그래픽 처리장치를 사용하여 디코딩 처리의 몇몇 부분들을 수행함으로써 증가될 수 있다. 예를 들어, 컬 러 채널들의 업-샘플링(up-sampling)과 색 공간 변환 모두가 하나의 CPU 상에서 실행될 때는 컴퓨터 계산상 부담이 될(computationally expensive) 수 있지만, 프래그먼트 프로그램들(fragment programs)과 같은 그래픽 처리장치(GPU) 내에서는 극히 효율적으로 수행될 수 있다. 추가로, 몇몇 컬러 변환 함수들은, 고정 소수점 계산(fixed point arithmetic)과 룩업 테이블들의 사용으로 현저하게 가속화될 수 있다.Since HDR video playback comprises decoding two
도 6은, 품질 설정의 함수로서(as a function of the quality section) 프로토타입 구체예의 성능을 나타내고 있다. 낮은 지점들은 LDR 스트림 (80)에 상응하고, 반면에 높은 지점들은 LDR 스트림 (80)과 레지듀얼 스트림 (82)의 합에 상응한다. 낮은 값들의 큐스케일(qscale) 품질 파라미터의 더 낮은 값들의 경우에(즉, 높은 품질 이미지들의 경우에), 레지듀얼 스트림 (82)이 차지하는 전체 데이터 스트림의 백분율은, 품질 파라미터의 더 높은 값들의 경우에서(낮은 품질 LDR 이미지들에 상응함)보다 더 작다는 것을 알 수 있다.6 shows the performance of a prototype embodiment as a function of the quality section. The low points correspond to the
본 명세서에서 설명된 코덱들(Codecs)은 개별적인 이미지들과 비디오 시퀀스들 모두를 인코딩하고 디코딩하기 위해 사용될 수 있다. 이와 같은 코덱들은, DVD들과 같은 매체나, 미래에 동영상들(movies)을 저장하기 위해 보편화될 수 있는 여타의 저장 매체에 저장될 수 있도록 동영상들을 인코딩하고 디코딩하기 위해 사용될 수 있다.Codecs described herein can be used to encode and decode both individual images and video sequences. Such codecs can be used to encode and decode movies so that they can be stored on media such as DVDs or on other storage media that may be universal for storing movies in the future.
본 발명의 몇몇 측면들은, HDR 표시 장치가 연결되거나 연결될 수 있고, HDR 이미지들에 대한 출력부를 포함하는 미디어 플레이어들(media players)을 제공한 다. 이 미디어 플레이어들은, 예를 들어, 도 2에 나타낸 디코딩 방법들을 실시하는, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 포함한다.Some aspects of the present invention provide media players, which may or may be connected to an HDR display, and which include an output for HDR images. These media players include, for example, hardware, software, or a combination of hardware and software, for example implementing the decoding methods shown in FIG.
본 발명의 특정한 실시예들은, 프로세서들로 하여금 본 발명의 방법을 수행하도록 만드는 소프트웨어 명령들을 실행하는 컴퓨터 프로세서들을 포함하여 구성된다. 예를 들어, 데이터 처리 시스템 내의 하나 또는 그보다 많은 프로세서들은, 그 프로세서들이 액세스 가능한 메모리 내에 저장된 소프트웨어 명령들을 실행함으로써, 도 1 또는 도 3의 인코딩 방법들이나 도 2의 디코딩 방법을 실시할 수 있다. 본 발명은 또한, 프로그램 제품(program product)의 형태로 제공될 수 있다. 이 프로그램 제품은, 데이터 프로세서에 의해 실행될 때, 그 데이터 프로세서로 하여금 본 발명의 방법을 실행하도록 만드는 명령들을 포함하여 구성되는, 한 세트의 컴퓨터-판독가능 신호들을 지니고 있는 여하한 매체를 포함하여 구성될 수 있다. 본 발명에 의한 프로그램 제품들은 매우 다양한 형태들로 가질 수 있다. 프로그램 제품들은, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체들; CD ROM들, DVD들을 포함하는 광학 데이터 저장 매체들; ROM들, 플래쉬 RAM을 포함하는 전자 데이터 저장 매체들 등과 같은 물리적 매체들을 포함하여 구성될 수 있다. 프로그램 제품 상의 컴퓨터-판독가능 신호들은, 선택적으로, 압축되거나 암호화될 수 있다.Certain embodiments of the present invention comprise computer processors for executing software instructions that cause the processors to perform the method of the present invention. For example, one or more processors in a data processing system may implement the encoding methods of FIG. 1 or 3 or the decoding method of FIG. 2 by executing software instructions stored in memory accessible to the processors. The invention may also be provided in the form of a program product. The program product includes any medium having a set of computer-readable signals, comprising instructions that, when executed by a data processor, cause the data processor to execute the method of the present invention. Can be. The program products according to the present invention may have a wide variety of forms. Program products include magnetic data storage media including floppy disks, hard disk drives; Optical data storage media including CD ROMs, DVDs; Physical media such as ROMs, electronic data storage media including flash RAM, and the like. Computer-readable signals on the program product may optionally be compressed or encrypted.
하나의 구성요소[예컨대, 소프트웨어 모듈, 프로세서, 어셈블리, 장치, 회로 등]가 위에서 언급된 경우에, 달리 표시되지 않는 한, 그러한 구성요소에 대한 언급("수단"에 대한 언급 포함)은, 설명된 구성요소의 기능을 수행하는(즉, 기능적으 로 균등한) 여하한 구성요소를 그 구성요소의 균등물로서 포함하는 것으로 해석되어야 하며, 그러한 구성요소는 예를 들어 설명한 본 발명의 구체예들에서의 기능을 수행하는, 개시된 구조와 구조적으로 동일하지 않은 구성요소들을 포함하는 것이다.Where one component (eg, a software module, processor, assembly, apparatus, circuit, etc.) is mentioned above, references to such components (including references to “means”), unless stated otherwise, are described It is to be construed as including any component that performs the function of a given component (ie, functionally equivalent) as an equivalent of that component, which component is described by way of example in the embodiments of the invention described herein. It is to include components that are not structurally identical to the disclosed structure, performing a function in.
이 분야의 통상의 지식을 가진 자들에게 명백한 바와 같이, 전술한 설명들에 비추어 본 발명의 정신과 범위를 벗어나지 않고서, 본 발명의 실시에 대한 많은 변경들 및 변형들이 가능하다. 따라서, 본 발명의 범위는 다음의 청구범위에 의해 정의되는 내용에 의하여 해석되어야 한다.As will be apparent to those skilled in the art, many modifications and variations of the implementation of the invention are possible without departing from the spirit and scope of the invention in light of the above teachings. Therefore, the scope of the present invention should be interpreted by the contents defined by the following claims.
Claims (30)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US76151006P | 2006-01-23 | 2006-01-23 | |
US60/761,510 | 2006-01-23 | ||
PCT/EP2006/008741 WO2007082562A2 (en) | 2006-01-23 | 2006-09-07 | High dynamic range codecs |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080107389A true KR20080107389A (en) | 2008-12-10 |
KR101356548B1 KR101356548B1 (en) | 2014-01-28 |
Family
ID=38222685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087020660A KR101356548B1 (en) | 2006-01-23 | 2006-09-07 | High dynamic range codecs |
Country Status (8)
Country | Link |
---|---|
US (8) | US8537893B2 (en) |
EP (5) | EP2988499B1 (en) |
JP (2) | JP5249784B2 (en) |
KR (1) | KR101356548B1 (en) |
CN (2) | CN101742306A (en) |
ES (2) | ES2551562T3 (en) |
HK (1) | HK1129181A1 (en) |
WO (1) | WO2007082562A2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101448494B1 (en) * | 2012-08-08 | 2014-10-15 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | Image processing for hdr images |
KR20160106967A (en) * | 2015-03-03 | 2016-09-13 | 세종대학교산학협력단 | Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value |
WO2017142360A1 (en) * | 2016-02-19 | 2017-08-24 | 세종대학교산학협력단 | Image encoding and decoding method, and image encoder and image decoder using same |
Families Citing this family (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2893806A1 (en) * | 2005-11-21 | 2007-05-25 | Thomson Licensing Sas | High-dynamics digital image e.g. video film image, transmission system, has encoding unit to generate standard bit stream and bit stream, containing image luminance reconstructing data, sent to standard and high dynamic image receivers |
EP2988499B1 (en) | 2006-01-23 | 2017-03-22 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | High dynamic range codecs |
US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
CN101449586B (en) * | 2006-05-25 | 2012-08-29 | 汤姆逊许可证公司 | Method and system for weighted coding |
JP4991851B2 (en) * | 2006-07-17 | 2012-08-01 | トムソン ライセンシング | Method and apparatus for encoding video color enhancement data and method and apparatus for decoding video color enhancement data |
US8665942B2 (en) * | 2007-01-23 | 2014-03-04 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction signaling |
US8503524B2 (en) | 2007-01-23 | 2013-08-06 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction |
US8233536B2 (en) * | 2007-01-23 | 2012-07-31 | Sharp Laboratories Of America, Inc. | Methods and systems for multiplication-free inter-layer image prediction |
US8175158B2 (en) | 2008-01-04 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction parameter determination |
US9338475B2 (en) * | 2008-04-16 | 2016-05-10 | Intel Corporation | Tone mapping for bit-depth scalable video codec |
US8165393B2 (en) | 2008-06-05 | 2012-04-24 | Microsoft Corp. | High dynamic range texture compression |
EP2144444B1 (en) * | 2008-07-10 | 2012-06-27 | The University Of Warwick | HDR video data compression devices and methods |
CN101415117B (en) * | 2008-11-18 | 2010-06-09 | 浙江大学 | Transmission method for high presence image based on GPGPU |
BRPI1008372A2 (en) * | 2009-02-11 | 2018-03-06 | Thomson Licensing | methods and apparatus for bit depth scalable video encoding and decoding using tone mapping and reverse tone mapping |
RU2504011C2 (en) * | 2009-03-13 | 2014-01-10 | Долби Лабораторис Лайсэнзин Корпорейшн | Multilayer compression of video with extended dynamic range, visual dynamic range and wide colour gamma |
CA2756884A1 (en) * | 2009-04-03 | 2010-10-07 | Than Marc-Eric Gervais | Method for processing a digital file notably of the image, video and/or audio type |
CN101859430B (en) * | 2009-04-09 | 2014-01-01 | 恩斯迈电子(深圳)有限公司 | Method for generating high dynamic range (HDR) image and device therefor |
WO2011002505A1 (en) | 2009-06-29 | 2011-01-06 | Thomson Licensing | Zone-based tone mapping |
EP2360926A1 (en) | 2010-01-19 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Image encoder and image decoder |
US8606009B2 (en) * | 2010-02-04 | 2013-12-10 | Microsoft Corporation | High dynamic range image generation and rendering |
WO2011126272A2 (en) * | 2010-04-05 | 2011-10-13 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation |
KR101664123B1 (en) * | 2010-06-14 | 2016-10-11 | 삼성전자주식회사 | Apparatus and method of creating high dynamic range image empty ghost image by using filtering |
US20130107956A1 (en) * | 2010-07-06 | 2013-05-02 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
TWI479898B (en) * | 2010-08-25 | 2015-04-01 | Dolby Lab Licensing Corp | Extending image dynamic range |
US8462221B2 (en) * | 2010-11-03 | 2013-06-11 | Eastman Kodak Company | Method for producing high dynamic range images |
US8466976B2 (en) | 2010-11-03 | 2013-06-18 | Eastman Kodak Company | Digital camera providing high dynamic range images |
US9024951B2 (en) * | 2011-02-16 | 2015-05-05 | Apple Inc. | Devices and methods for obtaining high-local-contrast image data |
EP2993905B1 (en) | 2011-02-21 | 2017-05-24 | Dolby Laboratories Licensing Corporation | Floating point video coding |
CN103403759B (en) | 2011-03-02 | 2016-08-10 | 杜比实验室特许公司 | Locally many grades tone mapping operations device |
EP2498499B1 (en) | 2011-03-08 | 2018-04-18 | Dolby Laboratories Licensing Corporation | Interpolation of color gamut for display on target display |
RU2607981C2 (en) * | 2011-03-24 | 2017-01-11 | Конинклейке Филипс Н.В. | Devices and methods for image graduations analyzing |
WO2012142285A2 (en) * | 2011-04-12 | 2012-10-18 | Dolby Laboratories Licensing Corporation | Quality assessment for images that have extended dynamic ranges or wide color gamuts |
US8811490B2 (en) | 2011-04-14 | 2014-08-19 | Dolby Laboratories Licensing Corporation | Multiple color channel multiple regression predictor |
CN103493489B (en) * | 2011-04-14 | 2016-10-19 | 杜比实验室特许公司 | Image prediction based on primary colors hierarchy model |
US9036042B2 (en) | 2011-04-15 | 2015-05-19 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
US8334911B2 (en) * | 2011-04-15 | 2012-12-18 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
TWI624182B (en) * | 2011-04-15 | 2018-05-11 | 杜比實驗室特許公司 | Encoding, decoding, and representing high dynamic range images |
CN103493490B (en) * | 2011-04-25 | 2016-12-28 | 杜比实验室特许公司 | Non-linear VDR residual quantizer |
JP5992997B2 (en) * | 2011-04-28 | 2016-09-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Method and apparatus for generating a video encoded signal |
EP2702766B1 (en) * | 2011-04-28 | 2017-06-14 | Koninklijke Philips N.V. | Apparatuses and methods for hdr image encoding and decoding |
WO2012158504A1 (en) * | 2011-05-16 | 2012-11-22 | Dolby Laboratories Licensing Corporation | Efficient architecture for layered vdr coding |
KR101405032B1 (en) * | 2011-05-27 | 2014-06-10 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | Scalable systems for controlling color management comprising varying levels of metadata |
US8891863B2 (en) * | 2011-06-13 | 2014-11-18 | Dolby Laboratories Licensing Corporation | High dynamic range, backwards-compatible, digital cinema |
US9451292B2 (en) * | 2011-09-15 | 2016-09-20 | Dolby Laboratories Licensing Corporation | Method and system for backward compatible, extended dynamic range encoding of video |
WO2013046095A1 (en) * | 2011-09-27 | 2013-04-04 | Koninklijke Philips Electronics N.V. | Apparatus and method for dynamic range transforming of images |
EP3675498A1 (en) * | 2011-10-17 | 2020-07-01 | Kabushiki Kaisha Toshiba | Encoding method and decoding method |
JP5638731B1 (en) * | 2011-11-01 | 2014-12-10 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Adaptive false contour generation prevention in hierarchical coding of images with extended dynamic range |
TWI575933B (en) | 2011-11-04 | 2017-03-21 | 杜比實驗室特許公司 | Layer decomposition in hierarchical vdr coding |
RU2586837C2 (en) * | 2011-11-09 | 2016-06-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Inter-level reading between levels with different dynamic range of count value |
WO2013072889A1 (en) * | 2011-11-18 | 2013-05-23 | Koninklijke Philips Electronics N.V. | Encoding high quality (medical) images using standard lower quality (web) image formats |
KR20130068823A (en) * | 2011-12-16 | 2013-06-26 | 삼성전자주식회사 | Method and apparatus for image signal processing |
EP2613532A1 (en) | 2012-01-06 | 2013-07-10 | Thomson Licensing | Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium |
US9756353B2 (en) | 2012-01-09 | 2017-09-05 | Dolby Laboratories Licensing Corporation | Hybrid reference picture reconstruction method for single and multiple layered video coding systems |
US9420302B2 (en) | 2012-01-24 | 2016-08-16 | Dolby Laboratories Licensing Corporation | Weighted multi-band cross color channel predictor |
KR101654750B1 (en) * | 2012-03-12 | 2016-09-06 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 3d visual dynamic range coding |
US9129445B2 (en) | 2012-03-14 | 2015-09-08 | Dolby Laboratories Licensing Corporation | Efficient tone-mapping of high-bit-depth video to low-bit-depth display |
TR201911093T4 (en) * | 2012-03-26 | 2019-08-21 | Koninklijke Philips Nv | Bright region based apparatuses and methods for HDR image coding and decoding. |
JP6382805B2 (en) * | 2012-07-13 | 2018-08-29 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Improved HDR image encoding and decoding method and apparatus |
GB2518061B (en) * | 2012-07-27 | 2019-11-27 | Hewlett Packard Development Co | Techniques for video compression |
KR101367777B1 (en) * | 2012-08-22 | 2014-03-06 | 주식회사 핀그램 | Adaptive predictive image compression system and method thereof |
EP2836983B1 (en) * | 2012-10-08 | 2017-07-12 | Koninklijke Philips N.V. | Luminance changing image processing with color constraints |
BR112015011219A2 (en) | 2012-11-16 | 2017-07-11 | Thomson Licensing | high dynamic range image processing |
US9767542B2 (en) * | 2013-02-27 | 2017-09-19 | Thomson Licensing | Method and device for selecting an image dynamic range conversion operator |
CN105052143B (en) * | 2013-03-26 | 2018-04-20 | 杜比实验室特许公司 | The video content that perception in being decoded to multilayer VDR quantifies encodes |
EP3008902A1 (en) * | 2013-06-10 | 2016-04-20 | Thomson Licensing | Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder |
CN105324997B (en) | 2013-06-17 | 2018-06-29 | 杜比实验室特许公司 | For enhancing the adaptive shaping of the hierarchical coding of dynamic range signal |
JP5639228B2 (en) * | 2013-06-18 | 2014-12-10 | トムソン ライセンシングThomson Licensing | Weighted encoding method and system |
CN103391435A (en) * | 2013-07-02 | 2013-11-13 | 广东工业大学 | Coding method for high dynamic range (HDR) image compatible with low dynamic range (LDR) and decoding method thereof |
JP6174926B2 (en) * | 2013-07-11 | 2017-08-02 | キヤノン株式会社 | Image decoding apparatus and control method thereof |
US10194162B2 (en) * | 2013-07-18 | 2019-01-29 | Koninklijke Philips N.V. | Methods and apparatuses for creating code mapping functions for encoding an HDR image, and methods and apparatuses for use of such encoded images |
TWI630820B (en) * | 2013-07-19 | 2018-07-21 | 新力股份有限公司 | File generation device, file generation method, file reproduction device, and file reproduction method |
TWI632810B (en) * | 2013-07-19 | 2018-08-11 | 新力股份有限公司 | Data generating device, data generating method, data reproducing device, and data reproducing method |
TWI630821B (en) * | 2013-07-19 | 2018-07-21 | 新力股份有限公司 | File generation device, file generation method, file reproduction device, and file reproduction method |
KR102198673B1 (en) * | 2013-08-20 | 2021-01-05 | 소니 주식회사 | Reproduction device, reproduction method, and recording medium |
US9438827B2 (en) | 2013-08-27 | 2016-09-06 | Semiconductor Components Industries, Llc | Imaging systems and methods for generating binned high-dynamic-range images |
US9712834B2 (en) * | 2013-10-01 | 2017-07-18 | Dolby Laboratories Licensing Corporation | Hardware efficient sparse FIR filtering in video codec |
EP3069513B1 (en) * | 2013-11-12 | 2019-03-13 | Dolby Laboratories Licensing Corporation | Pre-dithering in high dynamic range video coding |
CN106030503B (en) | 2014-02-25 | 2020-04-17 | 苹果公司 | Adaptive video processing |
US10182241B2 (en) | 2014-03-04 | 2019-01-15 | Microsoft Technology Licensing, Llc | Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths |
AU2014385774B2 (en) * | 2014-03-04 | 2019-01-17 | Microsoft Technology Licensing, Llc | Adaptive switching of color spaces, color sampling rates and/or bit depths |
BR122022001585B1 (en) | 2014-03-27 | 2023-05-16 | Microsoft Technology Licensing, Llc | METHOD FOR ADJUSTING QUANTIZATION/SCALING, COMPUTER READABLE MEMORY AND COMPUTING DEVICE |
GB201408618D0 (en) * | 2014-05-15 | 2014-06-25 | Univ Warwick | Compressing high dynamic range images |
JP6358718B2 (en) * | 2014-05-28 | 2018-07-18 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Method and apparatus for encoding HDR images, and method and apparatus for use of such encoded images |
GB201410635D0 (en) | 2014-06-13 | 2014-07-30 | Univ Bangor | Improvements in and relating to the display of images |
EP2958075A1 (en) * | 2014-06-20 | 2015-12-23 | Thomson Licensing | Method and apparatus for dynamic range expansion of LDR video sequence |
KR102445762B1 (en) * | 2014-06-25 | 2022-09-22 | 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 | Method and device for processing images |
KR20160003502A (en) | 2014-07-01 | 2016-01-11 | 삼성전자주식회사 | Parallelization method and electronic device |
CN107005720B (en) * | 2014-08-08 | 2020-03-06 | 皇家飞利浦有限公司 | Method and apparatus for encoding HDR images |
WO2016040255A1 (en) * | 2014-09-09 | 2016-03-17 | Dolby Laboratories Licensing Corporation | Self-adaptive prediction method for multi-layer codec |
CN114513617B (en) * | 2014-09-10 | 2024-04-09 | 松下电器(美国)知识产权公司 | Reproduction device and reproduction method |
RU2648634C1 (en) * | 2014-09-26 | 2018-03-26 | Долби Лабораторис Лайсэнзин Корпорейшн | Coding and decoding of a perceptionally quantized video content |
US10469849B2 (en) * | 2014-10-07 | 2019-11-05 | Trellis Europe Srl | Video and image encoding process |
WO2016054765A1 (en) | 2014-10-08 | 2016-04-14 | Microsoft Technology Licensing, Llc | Adjustments to encoding and decoding when switching color spaces |
JP2016100039A (en) * | 2014-11-17 | 2016-05-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Recording medium, playback method, and playback device |
HUE063996T2 (en) * | 2014-12-03 | 2024-02-28 | panasonic intellectual property | Data generation device |
HUE056171T2 (en) * | 2014-12-29 | 2022-01-28 | Sony Group Corp | Transmitting device, transmitting method, receiving device and receiving method |
EP3251351B1 (en) | 2015-01-27 | 2021-07-14 | Dolby International AB | Predictive image encoding and decoding with pixel group based quantization |
WO2016120354A1 (en) | 2015-01-30 | 2016-08-04 | Thomson Licensing | Method and device for matching colors between color pictures of different dynamic range |
CN107211130B (en) | 2015-01-30 | 2020-07-24 | 交互数字Vc控股公司 | Method and apparatus for encoding and decoding color picture |
EP3051818A1 (en) * | 2015-01-30 | 2016-08-03 | Thomson Licensing | Method and device for decoding a color picture |
US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
EP3272123B1 (en) | 2015-03-20 | 2019-06-19 | Dolby Laboratories Licensing Corporation | Signal reshaping approximation |
US20160286226A1 (en) * | 2015-03-24 | 2016-09-29 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
US20160286241A1 (en) * | 2015-03-24 | 2016-09-29 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
EP3096519A1 (en) | 2015-05-18 | 2016-11-23 | Thomson Licensing | A method for encoding/decoding a picture block |
WO2016183681A1 (en) | 2015-05-19 | 2016-11-24 | Irystec Software Inc. | System and method for color retargeting |
US10349127B2 (en) * | 2015-06-01 | 2019-07-09 | Disney Enterprises, Inc. | Methods for creating and distributing art-directable continuous dynamic range video |
EP3107300A1 (en) * | 2015-06-15 | 2016-12-21 | Thomson Licensing | Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame |
EP3113496A1 (en) | 2015-06-30 | 2017-01-04 | Thomson Licensing | Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions |
KR102309676B1 (en) | 2015-07-24 | 2021-10-07 | 삼성전자주식회사 | User adaptive image compensator |
TWI764870B (en) * | 2015-07-28 | 2022-05-21 | 法商內數位麥德遜專利控股有限公司 | Video signal processing device and method |
US10184835B2 (en) * | 2015-09-23 | 2019-01-22 | Agilent Technologies, Inc. | High dynamic range infrared imaging spectroscopy |
JP6871945B2 (en) | 2015-12-21 | 2021-05-19 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | High dynamic range image optimization for specific displays |
KR20170098163A (en) * | 2016-02-19 | 2017-08-29 | 세종대학교산학협력단 | Image encoding and decoding methods, encoder and decoder using the methods |
WO2017165494A2 (en) * | 2016-03-23 | 2017-09-28 | Dolby Laboratories Licensing Corporation | Encoding and decoding reversible production-quality single-layer video signals |
GB201611253D0 (en) * | 2016-06-29 | 2016-08-10 | Dolby Laboratories Licensing Corp | Efficient Histogram-based luma look matching |
EP3510772B1 (en) * | 2016-09-09 | 2020-12-09 | Dolby Laboratories Licensing Corporation | Coding of high dynamic range video using segment-based reshaping |
CN106506983B (en) * | 2016-12-12 | 2019-07-19 | 天津大学 | A kind of HDR video generation method suitable for LDR video |
JP6852411B2 (en) * | 2017-01-19 | 2021-03-31 | ソニー株式会社 | Video signal processing device, video signal processing method and program |
EP3386198A1 (en) | 2017-04-07 | 2018-10-10 | Thomson Licensing | Method and device for predictive picture encoding and decoding |
EP3399497A1 (en) | 2017-05-05 | 2018-11-07 | Koninklijke Philips N.V. | Optimizing decoded high dynamic range image saturation |
EP3416363A1 (en) * | 2017-06-13 | 2018-12-19 | Koninklijke Philips N.V. | Gamut mapping for hdr (de)coding |
CN107944422B (en) * | 2017-12-08 | 2020-05-12 | 业成科技(成都)有限公司 | Three-dimensional camera device, three-dimensional camera method and face recognition method |
US10778979B2 (en) * | 2018-01-11 | 2020-09-15 | Qualcomm Incorporated | Signaling mechanisms for equal ranges and other DRA parameters for video coding |
JP6584538B2 (en) * | 2018-01-16 | 2019-10-02 | トムソン ライセンシングThomson Licensing | High dynamic range image processing |
CN108717690B (en) * | 2018-05-21 | 2022-03-04 | 电子科技大学 | Method for synthesizing high dynamic range picture |
KR102681436B1 (en) * | 2019-04-23 | 2024-07-05 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | Display management for high dynamic range images |
CN110232669A (en) * | 2019-06-19 | 2019-09-13 | 湖北工业大学 | A kind of tone mapping method and system of high dynamic range images |
TWI812874B (en) | 2019-10-01 | 2023-08-21 | 美商杜拜研究特許公司 | Tensor-product b-spline predictor |
CN110933416B (en) * | 2019-11-12 | 2021-07-20 | 宁波大学 | High dynamic range video self-adaptive preprocessing method |
CN114830640A (en) * | 2019-12-06 | 2022-07-29 | 杜比实验室特许公司 | Cascaded prediction |
CN115811616A (en) * | 2021-09-15 | 2023-03-17 | 华为技术有限公司 | Video coding and decoding method and device |
US11995743B2 (en) * | 2021-09-21 | 2024-05-28 | Samsung Electronics Co., Ltd. | Skin tone protection using a dual-core geometric skin tone model built in device-independent space |
CN115115518B (en) * | 2022-07-01 | 2024-04-09 | 腾讯科技(深圳)有限公司 | Method, device, equipment, medium and product for generating high dynamic range image |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69413575T2 (en) * | 1993-02-12 | 1999-05-20 | Eastman Kodak Co., Rochester, N.Y. | Method and device for transforming input color sizes into an input color space into output color sizes into an output color space |
DE69420874T2 (en) * | 1993-02-12 | 2000-05-04 | Eastman Kodak Co., Rochester | Procedure for cross-device color image calibration and improvement |
US6335983B1 (en) * | 1998-09-28 | 2002-01-01 | Eastman Kodak Company | Representing an extended color gamut digital image in a limited color gamut color space |
JP4362895B2 (en) | 1999-06-21 | 2009-11-11 | ソニー株式会社 | Data processing apparatus, data processing method, and recording medium |
US6301393B1 (en) * | 2000-01-21 | 2001-10-09 | Eastman Kodak Company | Using a residual image formed from a clipped limited color gamut digital image to represent an extended color gamut digital image |
US6748106B1 (en) * | 2000-03-28 | 2004-06-08 | Eastman Kodak Company | Method for representing an extended color gamut digital image on a hard-copy output medium |
JP4012669B2 (en) * | 2000-07-21 | 2007-11-21 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Image processing method and apparatus, recording medium, and image photographing apparatus |
US8374237B2 (en) * | 2001-03-02 | 2013-02-12 | Dolby Laboratories Licensing Corporation | High precision encoding and decoding of video images |
JP3948229B2 (en) * | 2001-08-01 | 2007-07-25 | ソニー株式会社 | Image capturing apparatus and method |
US7046852B2 (en) * | 2001-09-13 | 2006-05-16 | Sharp Laboratories Of America, Inc. | Fast image decompression via look up table |
US7305144B2 (en) * | 2002-01-15 | 2007-12-04 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for compressing the dynamic range of an image |
US6879731B2 (en) | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
JP2007538415A (en) * | 2003-06-27 | 2007-12-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Encoding method for handheld devices |
US20050117799A1 (en) * | 2003-12-01 | 2005-06-02 | Chiou-Shann Fuh | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
JP2005284534A (en) * | 2004-03-29 | 2005-10-13 | Inventec Appliances Corp | Method for converting image of high dynamic range into image of low dynamic range and device related to the method |
CN1954339B (en) * | 2004-04-15 | 2010-05-12 | 杜比实验室特许公司 | Methods and systems for converting images from low dynamic range to high dynamic range |
US8218625B2 (en) * | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
US20050259730A1 (en) * | 2004-05-18 | 2005-11-24 | Sharp Laboratories Of America, Inc. | Video coding with residual color conversion using reversible YCoCg |
US20050259729A1 (en) * | 2004-05-21 | 2005-11-24 | Shijun Sun | Video coding with quality scalability |
US7483486B2 (en) * | 2004-07-02 | 2009-01-27 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | Method and apparatus for encoding high dynamic range video |
US8050512B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
US7433514B2 (en) * | 2005-07-13 | 2008-10-07 | Canon Kabushiki Kaisha | Tone mapping of high dynamic range images |
US20070076971A1 (en) * | 2005-09-30 | 2007-04-05 | Nokia Corporation | Compression of images for computer graphics |
US7932914B1 (en) * | 2005-10-20 | 2011-04-26 | Nvidia Corporation | Storing high dynamic range data in a low dynamic range format |
EP2988499B1 (en) | 2006-01-23 | 2017-03-22 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | High dynamic range codecs |
US20130107956A1 (en) * | 2010-07-06 | 2013-05-02 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
-
2006
- 2006-09-07 EP EP15179312.2A patent/EP2988499B1/en active Active
- 2006-09-07 KR KR1020087020660A patent/KR101356548B1/en active IP Right Grant
- 2006-09-07 ES ES10186006.2T patent/ES2551562T3/en active Active
- 2006-09-07 EP EP06791913.4A patent/EP1989882B1/en active Active
- 2006-09-07 WO PCT/EP2006/008741 patent/WO2007082562A2/en active Application Filing
- 2006-09-07 EP EP10185996.5A patent/EP2290983B1/en active Active
- 2006-09-07 JP JP2008551653A patent/JP5249784B2/en active Active
- 2006-09-07 EP EP10186006.2A patent/EP2320653B1/en active Active
- 2006-09-07 EP EP17155127.8A patent/EP3197157B1/en active Active
- 2006-09-07 CN CN200910173271A patent/CN101742306A/en active Pending
- 2006-09-07 US US12/160,738 patent/US8537893B2/en active Active
- 2006-09-07 CN CN2006800516409A patent/CN101371583B/en active Active
- 2006-09-07 ES ES10185996.5T patent/ES2551561T3/en active Active
-
2009
- 2009-08-10 HK HK09107303.8A patent/HK1129181A1/en unknown
-
2013
- 2013-03-15 JP JP2013052804A patent/JP5558603B2/en active Active
- 2013-08-07 US US13/961,266 patent/US8611421B1/en active Active
- 2013-11-08 US US14/076,000 patent/US8989267B2/en active Active
-
2015
- 2015-02-09 US US14/617,445 patent/US9210439B2/en active Active
- 2015-10-30 US US14/929,032 patent/US9544610B2/en active Active
-
2016
- 2016-10-21 US US15/331,782 patent/US9894374B2/en active Active
-
2017
- 2017-11-30 US US15/828,220 patent/US10165297B2/en active Active
-
2018
- 2018-10-15 US US16/159,866 patent/US10931961B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101448494B1 (en) * | 2012-08-08 | 2014-10-15 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | Image processing for hdr images |
KR20150029606A (en) * | 2012-08-08 | 2015-03-18 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | Image processing for hdr images |
KR20160106967A (en) * | 2015-03-03 | 2016-09-13 | 세종대학교산학협력단 | Method and Apparatus for pre-processing of HDR iamge encoding apparatus based on a single quality value, Method for encoding HDR iamge based on a single quality value |
WO2017142360A1 (en) * | 2016-02-19 | 2017-08-24 | 세종대학교산학협력단 | Image encoding and decoding method, and image encoder and image decoder using same |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10931961B2 (en) | High dynamic range codecs | |
Mantiuk et al. | Backward compatible high dynamic range MPEG video compression | |
EP3011741B1 (en) | Adaptive reshaping for layered coding of enhanced dynamic range signals | |
EP3375190B1 (en) | High dynamic range color conversion correction | |
JP2003517796A (en) | How to reduce the "uneven picture" effect | |
US20180048892A1 (en) | High dynamic range color conversion correction | |
Watanabe et al. | Two-layer lossless HDR coding considering histogram sparseness with backward compatibility to JPEG | |
Watanabe et al. | Lossless two-layer coding using histogram packing technique for HDR images | |
JP7541055B2 (en) | System for encoding high dynamic range and wide color gamut sequences - Patents.com | |
US10715772B2 (en) | High dynamic range color conversion correction | |
WO2019071045A1 (en) | High dynamic range color conversion correction | |
Efremov et al. | Design and evaluation of backward compatible high dynamic range video compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170116 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180109 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190109 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 7 |