KR20150029606A - Hdr 이미지들을 위한 이미지 프로세싱 - Google Patents

Hdr 이미지들을 위한 이미지 프로세싱 Download PDF

Info

Publication number
KR20150029606A
KR20150029606A KR1020147018414A KR20147018414A KR20150029606A KR 20150029606 A KR20150029606 A KR 20150029606A KR 1020147018414 A KR1020147018414 A KR 1020147018414A KR 20147018414 A KR20147018414 A KR 20147018414A KR 20150029606 A KR20150029606 A KR 20150029606A
Authority
KR
South Korea
Prior art keywords
image
hdr
ratio
color space
tone
Prior art date
Application number
KR1020147018414A
Other languages
English (en)
Other versions
KR101970122B1 (ko
Inventor
앵커 샤
아지트 니난
웬후이 지아
후이밍 통
퀴아올리 양
아카디 텐
가벤 왕
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20150029606A publication Critical patent/KR20150029606A/ko
Application granted granted Critical
Publication of KR101970122B1 publication Critical patent/KR101970122B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

이미지 인코딩이 설명된다. HDR 입력 이미지에서의 로그 휘도들은, 로그 글로벌 톤-매핑된 휘도 이미지가 계산되는 것과 함께, 톤-맵을 생성하기 위해 히스토그램된다. 로그 글로벌 톤-매핑된 휘도 이미지는 다운스케일된다. 로그 휘도들 및 로그 글로벌 톤 매핑된 휘도 이미지는 로그 비율 이미지를 생성한다. 로그 비율 이미지에 대한 다중-스케일 해상도 필터링은 로그 다중-스케일 비율 이미지를 생성한다. 로그 다중-스케일 비율 이미지 및 로그 휘도들은, 다운스케일된 로그 글로벌 톤-매핑된 휘도 이미지 및 정규화된 이미지에 기초하여 톤-매핑된 이미지를 출력하도록 정규화되는, 제 2 로그 톤-매핑된 이미지를 생성한다. HDR 입력 이미지 및 출력 톤-매핑된 이미지는 양자화되는, 제 2 비율 이미지를 생성한다.

Description

HDR 이미지들을 위한 이미지 프로세싱{IMAGE PROCESSING FOR HDR IMAGES}
본 특허 문헌의 내용은 저작권에 영향을 받는 자료들을 포함한다. 저작권 소유자는, 특허청 특허 파일 또는 기록들에 있는 한, 특허 문헌 또는 특허의 제 3 자에 의한 복제 재생산에 이의가 없지만, 그렇지 않을 경우 무엇이건 간에 모든 저작권들을 보유한다.
본 발명은 전체가 참조문헌으로써 여기에 포함되는, 2012년 8월 8일에 출원된 미국가특허출원 제61/681,061호에 대한 우선권을 청구한다.
본 발명은 일반적으로 이미징 프로세싱(imaging processing)에 관한 것이다. 특히, 본 발명의 실시예는 HDR(high dynamic range)를 갖는 이미지들에 대한 이미지 프로세싱에 관한 것이다.
몇몇 최신 또는 레거시 디지털 이미지들(contemporary or legacy digital image)은 24-비트 포맷들에 따른다. 이들 이미지들은, 이미지에서의 각각의 픽셀에 대해, 휘도 및 색차 데이터(luminance and chrominance data)와 같은, 컬러 및 밝기 정보 둘 모두를 저장하기 위해 24비트들 정도를 포함한다. 그러한 포맷들은 이미지로 하여금 레거시 전자 디스플레이들(legacy electronic displays)에 의해 렌더링(render)되거나 재생산도록 허용하기에 충분한 이미지 정보를 보유하여, 출력 참조된 표준들(output referred standards)로 고려된다. 레거시 디스플레이들은 통상적으로, 3자리수의 다이내믹 레인지(dynamic range: DR)를 갖는다. 일반적인 인간 시력이 1:10,000 이상까지 콘트라스트 비들(contrast ratios)을 구별할 수 있으므로, 충분히 높은 다이내믹 레인지를 갖는 이미지들이 인지될 수 있다.
현대 전자 디스플레이 기술의 발전들은, 레거시 디스플레이들의 DR를 상당히 초과하는, 보다 높은 다이내믹 레인지에서 이미지 렌더링 및 재생산을 허용한다. HDR(high dynamic range: HDR) 이미지는, 출력 참조된 표준들에 따르는 이미지 포맷들보다 현실 세계 장면들을 보다 충실히 나타낸다. 그러므로, HDR 이미지들은 참조되는 장면으로서 고려될 수 있다. 그것들을 렌더링할 수 있는 HDR 이미지들 및 디스플레이들의 맥락에서, 보다 제한된 DR의 레거시 또는 다른 이미지들 및 디스플레이들은 LDR(low dynamic range) 이미지들/디스플레이들로서 여기에서서 참조될 수 있다.
본 단락에서 설명되는 접근법들은 추구될 수 있는 접근법들이지만, 필연적으로, 이전에 고려되거나 추구되었던 접근법들인 것은 아니다. 그러므로, 달리 나타내지지 않으면, 본 단락에서 설명되는 접근법들 중 어느 하나가 본 단락에서 단순히 그것들을 포함한다는 이유로 종래 기술로서 자격이 있다고 고려되지는 않는다. 유사하게, 하나 이상의 접근법들에 대해 식별되는 이슈들(issues)은, 달리 나타내지지 않으면, 본 단락에 기초하여 임의의 종래 기술에서 인식되는 것으로 가정되지 않아야 한다.
본 발명은 동일한 참조 번호들이 유사한 것을 나타내는 첨부된 도면들에서 제한하는 것이 아닌, 예로서 설명된다.
도 1a는 본 발명의 실시예에 따르는, 예시적인 로컬 다중스케일 톤 매핑 시스템(local multiscale tone mapping system)을 도시하는 도면.
도 1b는 본 발명의 실시예에 따르는, 예시적인 이미지 인코딩 프로세스(image encoding process)를 도시하는 도면.
도 2는 본 발명의 실시예에 따르는, 예시적인 로컬 다중스케일 이미지 프로세싱 방법을 도시하는 도면.
도 3a 및 도 3b는 본 발명의 실시예에 따르는, 예시적인 HCTN 블록 및 대응하는 다중스케일 필터링을 각각 도시하는 도면.
도 4a, 도 4b, 및 도 4c는 본 발명의 실시예에 따르는, 예시적인 다중스케일 필터 블록과, 대응하는 예시적인 다중스케일 필터링 구현 및 예시적인 프로세스를 각각 도시하는 도면.
도 5는 본 발명의 실시예에 따르는, 예시적인 비율 이미지 프로세서(ratio image processor)를 도시하는 도면.
도 6a, 도 6b 및 도 6c는 본 발명의 실시예에 따르는, HDR 이미지들에 대한 예시적인 인코딩 프로세스 데이터 흐름들을 나타내는 도면.
도 7은 본 발명의 실시예에 따르는, HDR 이미지를 디스플레이하기 위한 융합-병합 노출 프로세스(fusion-merge exposure process)를 도시하는 도면.
도 8a 및 도 8b는 본 발명의 실시예에 따르는, 와이드 컬러 색역(wide color gamut) 및 다중 컬러 스페이스들(multiple color spaces)을 지원하는 예시적인 JPEG-HDR 인코딩 및 디코딩 프로세스들을 도시하는 도면.
HDR 이미지의 이미지 프로세싱에 관련되는 예시적인 실시예들이 여기에서 설명된다. 설명의 목적을 위해, 아래의 설명에서는, 다수의 특정한 세부사항들이 본 발명의 이해를 통해 제공하기 위해 설명된다. 하지만, 본 발명은 이러한 특정한 세부사항 없이 실행될 수 있음이 자명하다. 다른 예들에서, 잘 알려진 구조들 및 디바이스들은 본 발명의 양상을 불필요하게 가로막거나, 애매하게 하거나, 혼란스럽게 하는 것을 회피하기 위해 완전히 세부적으로 설명되지는 않는다.
개관 - HDR 이미지들(OVERVIEW - HDR IMAGES)
이 개관은 본 발명의 예시적인 실시예들의 몇몇 특징들에 대한 기본적인 설명을 제공한다. 이 개관은 가능한 실시예의 특징들의 광범위하고 완벽한 요약이 아님에 유의해야 한다. 또한, 이 개관이 가능한 실시예의 임의의 특별히 중요한 양상들 또는 요소들을 식별하는 것으로서, 또는, 특별히, 가능한 실시예의 임의의 범위를 제한하는 것으로서, 또는 일반적으로 본 발명으로서 이해되도록 하는 것이 아니다. 이 개관은 단순히, 압축되고 단순화된 포맷으로 예시적인 가능한 실시예에 관련되는 몇몇 개념들을 제공하며, 아래에 이어지는 예시적인 실시예의 더 상세한 설명에 대해 단순히 개념적인 실마리로서 이해되어야 한다.
본 발명의 예시적인 실시예는 HDR 이미지들을 인코딩하는 것에 관련된다. HDR 입력 이미지의 로그-휘도들(log-luminances)은, 로그 글로벌 톤-매핑된 휘도 이미지(log global tone-mapped luminance image)가 계산(compute)되는 것과 더불어, 톤-맵(tone-map)을 생성하도록 히스토그램(histogram)된다. 로그 글로벌 톤-매핑된 휘도 이미지는 다운스케일된다. 로그 휘도들 및 로그 글로벌 톤-매핑된 휘도 이미지는 로그 비율 이미지를 생성한다. 로그 비율 이미지에 대한 다중-스케일 해상도로 필터링하는 것은 로그 다중-스케일 비율 이미지를 생성한다. 다중스케일 비율 이미지 및 로그 휘도들은 제 2 로그 톤-매핑된 이미지를 생성하고, 그것은 다운스케일된 로그 글로벌 톤-매핑된 휘도 이미지 및 정규화된 이미지(normalized image)에 기초하여 톤-매핑된 이미지를 출력하도록 정규화된다. HDR 입력 이미지 및 출력 톤-매핑된 이미지는 양자화(quantize)되는, 제 2 비율 이미지를 생성한다.
능동 디바이스들(예컨대, 트랜지스터들)의 어레이는 반도체 다이(semiconductor die)에 배치된다. 능동 디바이스들은 이미지 인코더로서 기능하기 위해 구성되거나 동작가능하게 상호접속된다. 인코더는 HDR(high dynamic range) 입력 이미지의 각 픽셀로부터 유도되는, 다중 로그 휘도 값들(multiple logarithmic luminance values)을 히스토그램하기 위한 제 1 톤 매퍼를 갖는다. 제 1 톤 매퍼는 히스토그램된 값들로 제 1 비율 이미지를 렌더링한다. 다중-스케일 필터-데시메이터(multiple-scale filter-decimator)는 제 1 비율 이미지를 다운스케일하고, 각각 수평 방향 및 수직 방향으로 그것의 각 픽셀을 로우-패스한다. 제 1 비율 이미지의 사이즈에 의존하여, 제 1 비율 이미지는 데시메이트되고, 1, 2, 또는 3 레벨들에 대해 필터링된다. 그러므로, 대응하는 비율 이미지는 상기 레벨들 각각에서 렌더링된다. 대응하는 비율 이미지들 각각은 IC 디바이스에 무관한(예컨대 외부에 있는) 저장장치(예컨대, 메모리)에 기록된다. 상기 레벨들 각각에서 증폭기는 데시메이터가 기능하는 레벨 각각에 대응하는 스케일링 팩터(scaling factor)로 대응하는 비율 이미지들 각각의 필터링된 픽셀들 각각을 가중한다. 2중선형 보간기(bilinear interpolator)는 이전의 레벨들 각각에 다음으로 후속하는 레벨로 가중된 비율 이미지들 각각을 업스케일(upscale)한다. 상기 레벨들 각각에서 가산기는 다음의 이전 레벨들로부터 가중된 비율 이미지와 가중된 비율 이미지들 각각을 합산한다. 제 2 톤 매퍼는 기본 이미지(base image) 및 그것의 톤-매핑된 비율 이미지를 톤 매핑하고, 그것들 각각은 낮은 DR(dynamic range)를 갖는 입력 HDR 이미지에 대응한다. 기본 이미지 및 그것의 기본 비율 이미지는 양자화된다. 양자화된 기본 이미지 및 기본 비율 이미지는 예컨대 JPEG 포맷으로 압축을 위한 JPEG 인코더에 출력될 수 있다.
몇몇 현대 전자 디스플레이들은 레거시 디스플레이들의 DR 성능을 초과하는, 장면 참조된 HDR 이미지들(scene referred HDR images)을 필연적으로 렌더링한다. 디스플레이 DR 성능의 문맥에서, 용어 "렌더하다", "재생하다", "복원하다", "제공하다", "생산하다", "저장하다" 및 "생성하다"는 동의어적으로 그리고/또는 상호교환가능하게 사용될 수 있다. 본 발명의 실시예는 레거시 디스플레이들뿐만 아니라, 현대 디스플레이들(modern display) 둘 모두로 효과적으로 기능한다. 실시예는, 가능한 현대 디스플레이들로 하여금 실질적으로 완전한 콘트라스트 비율로 그리고 역호환가능하게 HDR 이미지들을 렌더링하도록 허용하고, 레거시 및 LDR 디스플레이가 좀 더 제한된 DR 재생 성능들로, 그것들 자신 내의 이미지를 렌더링하도록 허용한다. 실시예는 새로운 HDR 디스플레이 기술들뿐만 아니라, LDR 디스플레이들에 대한 그러한 역호환성(backwards compatibility)을 지원한다.
실시예는 이미지에 대한 부가적인 정보를 제공하는, 인코딩된 메타데이터와 함께, (이미지의 대응하는 HDR 인스턴스(instance)보다 낮은 DR를 갖는 이미지의 인스턴스와 같은) 톤-매핑된 기본 이미지를 갖는 HDR 이미지를 필수적으로 나타낸다. 부가적인 정보는 세기 관련(예컨대, 휘도, 루마(luma)) 데이터 및/또는 컬러 관련(예컨대, 색차, 크로마(chroma)) 데이터를 포함한다. 부가적인 데이터는 HDR 이미지 인스턴스와 대응하는 기본 이미지 인스턴스 사이의 DR 차이에 관련된다. 그러므로, 비교적 제한된 DR 재생 성능을 갖는 제 1(예컨대, 레거시) 디스플레이는 예컨대, 존재하는, 확립된, 또는 대중적인 이미지 압축/압축해제 (코덱) 표준들에 따라, 일반적인 DR 이미지를 제공하기 위해 톤-매핑된 이미지를 사용할 수 있다.
예시적인 실시예는 일반적인 DR 이미지들로 하여금, 국제 전기통신 협회 및 국제 전자기술 협회의 조인트 포토그래픽 전문가 그룹(Joint Photographic Experts Group)의 JPEG 표준, JPEG ISO/IEC 10918-1 ITU-T Rec.T.81에 따라 프로세스되도록 허용하며, 그것은 모든 목적을 위해, 여기에서 충분히 설명되는 바와 같이, 전체가 참조문헌으로써 포함된다. 또한, 제 2(예컨대, 현대(modern)) HDR 가능 디스플레이는 HDR 이미지를 효과적으로 제공하기 위해 이미지 메타데이터와 함께 톤-매핑된 이미지를 프로세스할 수 있다. 한편, 톤-매핑된 이미지는 레거시 디스플레이 상에 일방적인 DR 이미지를 제공하는데 사용된다. 다른 한편, 부가적인 메타데이터는 HDR 이미지(예컨대, HDR 디스플레이에 의한)를 생성, 복원, 또는 제공하기 위해 톤-매핑된 이미지와 함께 사용될 수 있다. 실시예는 HDR 이미지들에 기초하여 톤-매핑된 이미지 인스턴스들을 만들기 위해 톤 매핑 오퍼레이터(tone mapping operator: TMO)를 사용한다.
리인하르트 글로벌 포토그래픽 오퍼레이터(Reinhard global photographic operator)와 같은, 다양한 TMO들은 비교적 효과적으로, 톤-매핑된 이미지들을 생성하는데 사용될 수 있다. 계산 비용은 중요하지 않거나, 이용가능하거나, 그렇지 않으면 무시할만한 경우, 쌍방 필터(bilateral filter)는 비교적 고품질 톤-매핑 이미지들을 생성하는데 사용될 수 있다. 쌍방 필터링은 그것의 밝은 영역들에서와 같이, 통상적으로 보다 더 계산하는데 경제적인 리인하르트 오퍼레이터가 잃어버릴 수 있는, 이미지 세부사항들을 보유하도록 돕는다. 부가적으로 또는 대안으로, 히스토그램 조정 오퍼레이터 TMO들 및/또는 그레디언트 도메인 오퍼레이터 TMO들이 사용될 수 있다.
실시예에서, 이미지 포맷은 넌(non)-HDR 이미지들뿐만 아니라 가능하게는 및 효과적으로 HDR 이미지들을 렌더링한다. 실시예들은 JPEG 포맷 및/또는 다양한 다른 이미지 포맷들로 기능할 수 있다. 예를 들어, 실시예들은 이미지들에 관련되는 분야들의 당업자들에게 친숙한, MPEG, AVI, TIFF, BMP, GIF 또는 다른 적절한 포맷들 중 하나 이상으로 기능할 수 있다. 실시예들은 JPEG-HDR 포맷에 따라 기능하고, 이 포맷은 와드(Ward), 그레그(Greg) 및 시몬스(Simmons), 마리안(Maryanne)의 "HDR 이미지의 서브밴드 인코딩(Subband Encoding of High Dynamic Range Imagery)"(그래픽들 및 시각화의 응용된 인식(Applied Perception in Graphics and Visualization: APGV)에 대한 제 1 ACM 심포지엄, 83~90 페이지, 2004년); 와드, 그레그 및 시몬스, 마리안의 "JPEG-HDR: 후방-호환가능한, JPEG에 대한 HDR 연장(Backwards-Compatible, High Dynamic Range Extension to JPEG)"(제 13 컬러 이미징 회의의 과정(Proceedings of the Thirteenth Color Imaging Conference), 283~290 페이지, 2005년); 및 이,리인하르트(E.Reinhard), 지.와드(G. Ward) 등의, "HDR 이미징 - 에큐이지션, 디스플레이 및 이미지 기반 라이팅(High Dynamic Range Imaging - Aequisition, Display and Image-Based Lighting)"(엘스비어(elsevier), 105~108 페이지, MA, 2010년);에서 설명되고, 이들 문헌은 여기에서 충분히 설명되는 바와 같이, 모든 목적들을 위해, 전체가 참조로써 본 명세서에 포함된다.
광범위한 이미지 렌더링 디바이스들 상에 이미지들을 디스플레이하기 위해, 톤 매핑 오퍼레이터들(TMO들)은 입력 HDR 이미지들을 톤 매핑된 (TM) 기본 이미지들에 프로세스한다. TM 기본 이미지들은 입력 이미지에 관련되는 컬러 변화들(예컨대, 색조 변경들(hue changes), 컬러 클리핑(color clipping), 예술적 모습들(artistic looks) 등)을 포함할 수 있다. 몇몇 기술들 하에서, TM 기본 이미지들은 입력 HDR 이미지들에 등가인 HDR 이미지들을 재구성하기 위해 휘도 비율들과 함께 이미지 디코더들을 다운스트림(downstream)하기 위해 제공된다. 하지만, 다운스트림 이미지 디코더는 TM 기본 이미지 및 그레이 스케일 휘도 비율들에 의존하여, 재구성된 HDR 이미지에서의 컬러 변화들을 제거할 수 없다. 결국, 컬러 변화들은 재구성된 HDR 이미지에서 현저하게 남게 된다.
여기에서 설명되는 실시예의 HDR 이미지 인코더들은 휘도 비율들뿐만 아니라, 입력 HDR 이미지 및 TM 기본 이미지에 기초한 컬러 잔여 값들(color residual values)을 생성한다. 휘도 비율들 및 컬러 잔여 값들은 집합적으로 HDR 재구성 데이터로서 언급될 수 있다. 선택적으로 및/또는 부가적으로, 휘도 비율들은 비교적 넓은 범위의 휘도 값들을 지원하기 위해 로그 도메인(logarithmic domain)으로 변형된다. 선택적으로 및/또는 부가적으로, 결과 로그 휘도 비율 및 컬러 잔여 값들은 양자화된다. 선택적으로 및/또는 부가적으로, 양자화된 로그 비율들 및 컬러 잔여 값들은 잔여 이미지에 저장된다. 몇몇 실시예들에서, 양자화된 로그 비율들 및 컬러 잔여 값들, 또는 잔여 이미지에는, 다운스트림 이미지 디코더에 대한 TM 기본 이미지가 제공된다. 선택적으로 및/또는 부가적으로, 양자화 로그 비율들 및 컬러 잔여 값들(예컨대, 범위 제한들 등)에 관련되는 파라미터들에는, 또한 TM 기본 이미지가 제공된다.
여기에서 설명되는 실시예의 TMO는 낮은(블랙) 또는 높은(화이트) 휘도 레벨들을 갖는 각각의 픽셀들에 대해 컬러 채널들에서의 컬러 클리핑들을 자유롭게 수행할 수 있다. 또한, 여기에서 설명되는 TMO는 각각의 픽셀에서 색조를 유지하도록 요구되지 않는다. 여기에서 설명되는 기술들 하에서, 사용자는 이미지 콘텐트(예컨대, 인간의 외모들, 내부 이미지, 외부 장면, 야경, 일몰 등) 또는 어플리케이션들들(예컨대, 영화, 포스터, 결혼 사진, 잡지 등에서 사용되는)에 기초하여 TMO를 자유롭게 선택한다. 컬러 클리핑들 또는 수정들(modifications)은 의도적으로 그리고 자유롭게, 이미지들의 예술적인 외관들을 생성하는데 사용될 수 있다. 여기에서, HDR 이미지 인코더들 및 디코더들은 넓은 범위의 가능한 컬러 변경들을 소개할 수 있는 상이한 타입들의 편집 소프트웨어 및 카메라 메이커들에 의해 구현되는 TMO들을 지원한다. 여기에서 설명되는 기술들 하에서, HDR 인코더들은 컬러 잔여 값들을 HDR 디코더들에 제공한다. HDR 디코더들은 차례로, 컬러 변화들이 재구성된 HDR 이미지들에 제공되는 것을 방지(최소화)하기 위해 컬러 잔여 값들을 이용한다.
실시예는, 디코딩 및/또는 렌더링을 위한 다운스트림 이미지 뷰어들 또는 디코더들에, TM 기본 이미지들 및 그것들 각각, 대응하는 HDR 재구성 데이터를 저장 및 제공하기 위해 비트 스트림들 및/또는 이미지 파일들을 사용할 수 있다. 예시적인 실시예에서, 이미지 포맷은, 다양한 편집 소프트웨어 어플리케이션들 및/또는 카메라 메이커들로 구현될 수 있는, TMO들을 지원한다. 예시적인 실시예들은 예컨대 표준 JPEG 이미지 포맷들 및 JPEG-HDR와 같은 확장된, 강화된(enhanced), 증가된, 또는 개선된 JPEG 관련 포맷들을 포함하는 다양한 이미지 포맷들로 기능할 수 있다. 부가적으로, 대안으로, 또는 선택적으로, 예시적인 실시예는, JPEG 관련 이미지 포맷으로 사용될 수 있는 것들과 관련되는 하나 이상의 실질적인 양상들, 속성들, 대상들, 코딩 명세들(coding specifications) 또는 성능 파라미터들에서 변하는 코덱/표준에 기초하거나 그것으로 사용되는 이미지 포맷을 사용할 수 있다. 예시적인 실시예는 휘도 비율들 및 컬러 잔여 값들을 갖는 TM 기본 이미지를 저장하는 것을 지원하기 위해 JPEG-HDR 이미지 포맷을 사용한다. 부가적으로, 선택적으로, 또는 대안으로, 이미지 파일에 저장된 TM 기본 이미지 및 잔여 이미지 중 하나 또는 둘 모두는 압축될 수 있다. 예시적인 실시예에서, 이미지 데이터 압축은 JPEG 표준에 따라 수행된다. 부가적으로, 대안으로, 또는 선택적으로, 예시적인 실시예는 JPEG 관련 이미지 포맷으로 사용될 수 있는 것들과 관련되는 하나 이상의 실질적인 양상들, 속성들, 대상들, 코딩 명세들 또는 성능 파라미터들에서 변하는 표준에 따라 압축을 수행할 수 있다.
JPEG 포맷이 LDR 이미지들로 제한되기 때문에, JPEG-HDR는 필연적으로, JPEG 포맷에 대해 역호환가능 HDR 확장(backwards-compatible HDR extension)을 포함한다. JPEG-HDR는, 새로운 HDR 디스플레이 디바이스들 상에서 HDR 이미지 렌더링 및 HDR 또는 넌-HDR 디스플레이 디바이스들 상에서 넌-HDR(예컨대, LDR) 이미지 렌더링을 동시에 지원한다. JPEG-HDR는 JPEG에서 정의되는 바와 같이, 표준 위치들(예컨대, 비트스트림, 디스크 포맷 등에)에 톤-매핑된 이미지들을 저장하고, 넌-HDR 디스플레이 디바이스들에 의해 무시될 수 있는 새로운 위치들에 부가적인 메타데이터를 저장한다. 부가적인 메타데이터는 원래 HDR 이미지의 HDR 버전(version)을 생성/복원(restore)시키기 위해 톤-매핑된 이미지와 함께 사용될 수 있다.
일 실시예에서, JPEG HDR 인코더는 집적 회로(IC) 디바이스와 함께 구현되거나, 그것 내에 배치된다. 실시예에서, 여기에서 설명되는, 디바이스들, 회로들 및/또는 메커니즘들은 카메라의 구성요소 또는 다른 이미지 기록 및 렌더링 또는 디스플레이 시스템, 셀룰러 무선전화, PDA(personal digital assistant), 또는 개인용, 휴대용, 또는 가전 디바이스(예컨대, 그림들, 계산(computing), 영화들, 음악, 정보, 엔터테인먼트, 연산들(calculating), 음성에 대한)를 포함한다.
실시예는 2012년 4월 16일에 출원되었고, 발명의 명칭이 "인코딩, 디코딩, 및 HDR 이미지들의 표현"인 웬휴이 지아(Wenhui Jia) 등에 의한 PCT 특허출원 PCT/US2012/033795호, 또는 모든 목적들을 위해 본 명세서에 포함되고, 그 사본이 부록(Annex) 'A'로서 (출원될 때) 본 명세서에 첨부된 돌비 래버러토리스(Dolby Laboratories)에 의한, 규격 문서 "JPEG-HDR 인코더 및 디코더 알고리즘 명세(JPEG-HDR Encoder and Decoder Algorithm Specification)"에서 설명되는 바와 같이, 하나 이상의 기능들을 수행할 수 있다.
실시예는 모든 목적들을 위해 전체가 참조문헌으로써 여기에 포함되는, 그레고리 존 와드(Gregory John Ward)에 의해 2012년 3월 1일에 출원되었고, 발명의 명칭이 "로컬 다중-스케일 톤 매핑 오퍼레이터(LOCAL MULTI-SCALE TONE MAPPING OPERATOR)"인 PCT 특허출원 PCT/US2012/027267호에서 설명되는 바와 같은 하나 이상의 기능들을 수행할 수 있다.
여기에서 설명되는 바람직한 실시예 및 일반적인 원리들과 특징들에 대한 다양한 수정예들은 기술분야의 당업자들에게 자명하다. 그러므로, 본 개시사항은 도시된 실시예들에 제한되도록 의도되지 않으며, 여기에서 설명되는 원리들 및 특징들에 일치하여 가장 넓은 범위에 부합되어야 한다.
예시적인 JPEG HDR 인코더
실시예에서, JPEG HDR 인코더는 일반적으로 칩(chip)로서 언급되는, 집적 회로(IC) 디바이스로 구현된다. 예를 들어, 인코더는 IC 디바이스 내에 배치될 수 있다. IC 디바이스는 ASIC(application specific IC) 디바이스, 디지털 신호 프로세서(DSP), 필드 프로그램가능 게이트 어레이(FPGA) 및/또는 그래픽 프로세서로서 구현될 수 있다. IC 디바이스는 ASIC를 갖는, 또는 마이크로프로세서, 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 또는 마이크로제어기와 같은 하나 이상의 구성가능하거나 프로그램가능한 디바이스들을 갖는, 칩 상 시스템(system on a chip: SOC)으로서 구현될 수 있다.
IC 디바이스는 반도체 다이 내에 배치되는 트랜지스터들과 같은 능동 디바이스 성분들의 어레이를 포함한다. 능동 디바이스 성분들은 모듈들, 레지스터들, 캐시들, 로직 게이트들, 로직 및 연산(예컨대, 산술/부동-소수점(arithmetic/floating-point)) 장치들로서 기능하거나, JPEG HDR 인코딩과 일치할 수 있는 다른 그러한 동작들을 수행하기 위해 어레이되고, 배열되고, 구성되고 그리고/또는 프로그램된다. 어레이의 능동 성분들은, 능동 디바이스 성분들과 그것과 함께 형성되는 다양한 기능적인 모듈들 사이에 신호들 및 데이터의 전기적/전자적 교환을 허용하기 위해 다이 내에 배치되는, 어드레스/워드 라인들 등의 래티스워크(latticework), 트레이스들(traces)/바이어스(vias)의 네트워크와 같은, 적어도 부분적으로 도전성 라우팅 패브릭(conductive routing fabric)과 상호접속된다. 능동 성분들은, 신호와 전기적, 전자적 및/또는 통신적인 결합을 허용하는, 적어도 부분적으로 도전성 인터페이스, IC 디바이스 외부에 있는 데이터 및 파워 소스들과 동적으로 어드레스가능(예컨대, 노드들(nodes) 또는 부분들(portions)을 통해 라우팅 패브릭)하다.
예시적인 JPEG HDR 인코더는 ASIC로 구현되는 것으로서 여기에서 설명된다. 명료성, 단순화, 요약 및 일관성을 위해, 여기에서 설명되는 예시적인 ASIC 구현예는 또한, 구성가능하고 프로그램가능한 IC 구현예들을 나타낸다. 도 1a는 본 발명의 실시예에 따르는, 예시적인 JPEG HDR 인코더(10)를 도시한다.
예시적인 인코더(10)는 ASIC로 구현된다. 인코더(10)는 진보된 고성능 버스(advanced high performance bus: AHB) 인터페이스를 통해 입력 이미지들을 수신한다. 프리 톤 매핑 Pre_TM은 입력 이미지 데이터를, 톤 매핑하기 위해 유용한 포맷으로 변환한다. PRE_TM은 예컨대, 4:2:2 크로마 샘플링 포맷으로부터 4:4:4 포맷으로 크로마 업샘플링을 수행한다. PRE_TM은 이미지 입력(예컨대, YCbCr)의 컬러 스페이스를 RGB와 같은 3자극 컬러 스페이스(tristimulus color space)로 변환한다. Pre_TM은 RGB 변환된 이미지에 대해 역(반전) 감마(γ) 보정(correction)을 수행한다.
인코더(10)는 입력 HDR 이미지로부터 톤 매핑된 기본 이미지를 생성하는, 톤 매핑 기능을 수행한다. 인코더(10)는 아래의 테이블 1에서 보여지는 예시적인 입력 포맷들과 같은, 다양한 포맷들로 입력되는 HDR 이미지들을 처리하도록 구현될 수 있다.
테이블 1
포맷 비트 깊이들
RGB 선형 16, 14, 12
YCbCr 4:2:2 선형 16, 14, 12
YCbCr 4:4:4 선형 16, 14, 12
RGB 감마 14, 12, 10
YCbCr 4:2:2 감마 14, 12, 10
YCbCr 4:4:4 감마 14, 12, 10
톤 매핑 기능은, 입력 HDR 이미지들에 대해 톤 매핑 정규환 기능을 수행하기 위해 콘트라스트-제한된 적응형 히스토그램 등화(contrast-limited adaptive histogram equalization: CLAHE)를 사용하는, 히스토그램 조정된 다중-스케일 톤 매핑 오퍼레이터(histogram adjusted multi-scale tone mapping operator: HAMS-TMO)를 포함한다. 정규화 기능은 입력 이미지들에 대해 히스토그램 CLAHE 톤 맵 정규화(HCTN)로 구현될 수 있다. HAMS-TMO HCTN은 12비트 선형 RGB 포맷으로 정규화된 톤 매핑된 기본 이미지를 출력한다. 예시적인 HAMS-TMO HCTN 실시예들이 아래에서(도 2 및 도 3) 설명된다. 비율 이미지 프로세서 RI_Proc는 정규화된 톤 매핑된 기본 이미지로부터 하나 이상의 비율 이미지들을 계산하고 프로세스할 수 있다.
HAMS-TMO HCTN 프로세싱 시에, 포스트 톤 매핑(post tone mapping) Post_TM은 정규화된 12비트 RGB 이미지에 대해 감마 보정을 복원하고, 그것과 함께 8비트 RGB 이미지를 생성한다. Post_TM은 압축을 위해 JPEG 인코더에 톤 매핑된 기본 이미지를 전달할 책임이 있다. Post_TM은 감마 재보정된 8 비트 이미지의 RGB 컬러 스페이스를 JPEG 호환가능 컬러 포맷(예컨대, 4:2:2 또는 4:2:0)을 갖는 YCbCr 이미지로 변환한다. 예를 들어, Post-TMO는 다음의 동작들: 감마 인코딩(12비트 RGB 입력이 통상적으로, 사용자 정의된 룩업 테이블을 통해 8비트 입력으로 변환됨); RGB 대 YCbCr 컬러 변형(예컨대, 3 x 3 컬러 행렬 변환을 통해), 및 크로마 컬러 플랜들의 적절한 서브-샘플링(sub-sampling)을 통한 4:4:4로부터 4:2:2 또는 4:2:0으로의 변형을 포함할 수 있다. 인코더(10)는 하나보다 많은 포스트 톤 매핑 모듈 Post_TM 서브-블록을 포함할 수 있다. 예를 들어, 인코더(10)는 3 Post_TM 서브-블록들로 구현될 수 있다.
도 1b는 본 발명의 실시예에 따르는, 예시적인 이미지 인코딩 프로세스(100)를 도시한다. 실시예에서, 인코더(10)는 입력 HDR 이미지를 수신하거나 액세스할 시에 프로세스(100)에 관련하여 설명되는 바와 같이 기능한다. 스텝(101)에서, 히스토그램은 HDR 입력 이미지에서 픽셀들의 로그 휘도 값들에 기초하여 계산된다. 톤 맵 곡선은 계산된 히스토그램에 기초하여 스텝(102)에서 생성된다. 스텝(103)에서, 로그 글로벌 톤-매핑된 휘도 이미지는 톤 맵 곡선 및 입력 HDR 이미지의 로그 휘도 픽셀 값들에 기초하여 계산된다.
스텝(104)에서, 로그 글로벌 톤-매핑된 휘도 이미지는 다운스케일된 로그 글로벌 톤-매핑된 휘도 이미지를 계산하기 위해 다운샘플링된다(예컨대, 수직으로 그리고 수평으로 데시메이트된다). 로그 비율 이미지는 HDR 입력 이미지의 로그 휘도 픽셀 값들 및 다운스케일된 로그 글로벌 톤-매핑된 휘도 이미지에 기초하여 스텝(105)에서 계산된다. 스텝(106)에서, 다중스케일 필터링은 로그 다중스케일 비율 이미지를 생성하기 위해 로그 비율 이미지에 대해 수행된다. 제 2 로그 톤-매핑된 이미지는 HDR 입력 이미지의 로그 휘도 픽셀 값들 및 로그 다중스케일 비율 이미지에 기초하여, 스텝(107)에서 생성된다.
스텝(108)에서, 제 2 로그 톤-매핑된 이미지는 픽셀 세기 값들의 범위를 변경하고, 콘트라스트 스트레칭(contrast stretching)을 달성하도록 정규화되고, 출력 톤-매핑된 이미지는 여기에 기초하여 그리고 다운스케일된 로그 글로벌 톤-매핑된 휘도 이미지에 기초하여 생성된다. 제 2 비율 이미지는 입력 HDR 이미지 및 출력 톤-매핑된 이미지에 기초하여 스텝(109)에서 생성된다. 스텝(110)에서, 제 2 비율 이미지는 양자화된다. 스텝(111)에서, 출력 톤-매핑된 이미지 및 양자화된 제 2 비율은 JPEG 인코더에 출력된다. 예시적인 프로세스(100)의 각각의 스텝에서, 생성된 글로벌 톤-매핑된 이미지들 및 이미지된 비율은 예컨대 예시적인 인코더(10)의 인터페이스들을 통해, 외부 메모리에 기록 및/또는 이로부터 판독될 수 있다.
도 2는 본 발명의 실시예에 따르는, 예시적인 히스토그램 조정된 다중-스케일 톤 매퍼(200)를 도시한다. 실시예에서, 히스토그램 조정된 다중-스케일 톤 매퍼(200)는 위 (도1)에서 설명되는, HAMS-TMO HCTN 기능을 구현한다. HAMS-TMO(200)는 3자극(예컨대, RGB) 또는 다른(예컨대, YCbCr) 컬러 스페이스에서 HDR 이미지를 수신한다. 휘도 모듈(201)은 입력 HDR RGB 이미지에 대해 16비트 휘도 값들(Y)을 계산한다. 로그 휘도 모듈 LOG(202)은 선형 도메인에서 로그 도메인으로 휘도 값(Y)을 변형한다. LOG(202) 모듈은 휘도 값들(Y)의 밑수가 2인 로그들(base-2 logarithms)('logY')로의 변형을 구현한다.
16 비트 선형 휘도 값들을 변형할 시에, LOG 모듈은 얻어진 밑수가 2인 로그(log2) 값들(logY)을, Q4.12 데이터(예컨대, 개념적인 2진 포인트(notional binary point) 앞의 4비트들 및 그것 후의 12비트들)로서 저장한다. 예를 들어, 로그들은 정수 및 분수 성분들을 포함한다. 그러므로, 실시예는 밑수가 2인 로그(log2Y)를 구현하기 위해 정수 logY 성분과 분수 logY 성분을 분리한다. 정수 부분은 정상화시 왼쪽 시프트들(shifts)의 넘버에 따라 계산되고, 분수 8비트들은 예컨대 아래의 테이블 2의 예시적인 의사-코드(pseudo-code)에서 보여지는 바와 같이, 룩업 테이블 LUT에 인덱스(index)된다.
테이블 2
Figure pat00001
512 빈들(bins)을 포함하는 히스토그램 HIST(203)는 분수 logY 성분으로부터 만들어진다. 분수 로그 휘도 값들은 16 비트 정수 값들로서 처리된다. 그러므로, 빈들 간의 구간들은 65536/512 = 128을 포함한다. 이어서, HAMS-TMO(200)는 히스토그램에 대해 CLAHE 조정들을 수행한다. 다이내믹 범위(dynamic range)는 예컨대, 아래의 테이블 3A에서 보여지는 예시적인 의사-코드에 따라, 히스토그램으로부터 계산된다.
테이블 3A
Figure pat00002
ODR(output dynamic range)는 5의 밑수가 2인 값으로 변형되는, 자연수(밑수-e) 로그 도메인에서 디폴트 값 3.5로 구성가능하다. 히스토그램 클리핑 팩터('cf')는 예컨대, 아래와 같이 계산되며,
cf = ((odr*(bmax-bmin+1) << 12) / (drin);
히스토그램은 예컨대, 아래의 테이블 3B에서 보여지는 의사-코드에 따라, 다중 반복들(iterations)에 대해 조정될 수 있다.
테이블 3B
Figure pat00003
Figure pat00004
누적 히스토그램(cumulative histogram)은 조정된 히스토그램으로부터 계산되고, 예컨대, 아래의 테이블 3C에서 보여지는 의사-코드에 따라, Q4.12 데이터 포맷으로 12비트 로그 도메인에 매핑된다.
테이블 3C
Figure pat00005
그러한 CLAHE 히스토그램 등화는, logY 이미지를 위한 글로벌 톤 매핑 오퍼레이터로서 구현되는, 매핑 곡선을 생성한다. 매핑 곡선이 512 빈들을 포함하므로, 선형 보간은 예컨대 아래의 테이블 3D에서 보여지는 의사-코드에 따라, 512 빈들 각각에서 휘도 값들에 대해 계산된다.
테이블 3D
Figure pat00006
Figure pat00007
CLAHE 매핑 출력은 Q4.12 포맷으로 logY 이미지(204)를 포함한다. 실시예에서, HAMS-TMO(200)는 히스토그램 CLAHE(콘트라스트-제한된 적응형 히스토그램 등화) 톤 맵 정규화 기능을 수행하는 블록으로 구현된다.
도 3a 및 도 3b 각각은 본 발명의 실시예에 따르는, 예시적인 히스토그램 CLAHE 톤 맵 정규화(HCTN) 블록(30) 및 대응하는 예시적인 HCTN 프로세스(300)의 흐름을 도시한다. HCTN 블록(30)은 2천5백만 픽셀들 또는 그 이상의 이미지들을 지원하도록 구현될 수 있다. 3자극(예컨대, RGB) 또는 다른 것(예컨대, YCbCr) 컬러 스페이스에서 입력 이미지를 수신할 시에, HCTN(30)은 그것의 휘도 값(Y)을 계산한다(프로세스 스텝 301). 스텝(302)에서, Y 값들은 그것에 대응하는 휘도 값들('logY')의 계산을 위한 공유된 로직(shared logic)으로 수출(extort)되고, 그것은 HCTN 블록(30)으로 되돌려진다. 스텝(303)에서, 히스토그램은 logY 값들에 기초하여 계산되고, 테이블 'ht0'에 저장된다. 모든 입력 이미지 픽셀들을 카운트할 시에, 콘트라스트-제한된 적응형 히스토그램 등화(CLAHE)는 스텝(304)에서 ht0 히스토그램 값들을 정규화하기 위해 계산된다.
모든 입력 이미지 픽셀들을 카운트할 시에, 콘트라스트-제한된 적응형 히스토그램 등화(CLAHE)는 스텝(304)에서 ht0 히스토그램 값들을 정규화하기 위해 계산된다. 스텝(305)에서, 버퍼된 logY 값들은 보간되며, 로그 톤 매칭된 이미지('logYtm')가 이와 같이 생성된다. 예를 들어, 톤 매핑 곡선은 히스토그램의 512 빈들에 대해 구현된다. 그러므로, 선형 보간은 logYtm을 달성하기 위해 512 빈들 각각에서 휘도 값들에 대해 계산된다. 스텝(306)에서, 로그 비율 이미지('logRI')는 로그 도메인: logRI = logTtm - logY에 대해 실행하는 감산 함수(subtractive function)로 logY 값들 및 logTtm 이미지로부터 계산된다. 이어서, 스텝(307)에서, logY 히스토그램이 클리핑된다. 스텝(308)에서, 다중-스케일 필터링 후에, 톤-매핑된 logY 값들은 선형 휘도 값들(Y')에 정규화된다. 스텝(309)에서, 최적 곡선 함수는 최종 톤-매핑된 이미지를 출력하기 위해 선형 톤-매핑된 Y'값들에 대해 적용될 수 있다.
도 4a, 도 4b, 및 도 4c는 본 발명의 실시예에 따르는, 예시적인 다중스케일 필터(MSF) 블록(4000), 대응하는 예시적인 다중스케일 필터링 구현예 및 예시적인 프로세스(400)를 각각 도시한다. HCTN 블록(30)(도 3a)과 같이, MSF(4000)는 2천5백만 이상의 이미지들을 지원하도록 구현될 수 있다. MSF(4000)는 그것의 수평 차원 및 그것의 수직 차원에 대해, 선-계산된 팩터(pre-computed factor)(예컨대, 8)에 의해 입력 로그 비율 이미지(IBI)를 데시메이트한다. MSF(4000)는 다중 예컨대 7개의 탭들에 대해 데시메이트된 이미지를 포함하는 각각의 픽셀을 로우-패스 필터링한다. 로우-패스된 다운스케일된 이미지는 후속적으로 예컨대, 이전에 다운스케일된 동일한 선-계산된 팩터에 의해 업스케일될 수 있다.
MSF(4000)는, 입력 이미지가 예컨대 예시적인 구현 수식에 따라, 입력에서 그것의 원래 사이즈에 기초하여 스케일되는 스테이지들(stages)의 넘버 'msn'를 선-계산한다: msn=floor(log8min(폭,높이)) + 1 = floor(log2min(폭, 높이)/3)+1. MSF(4000)는, 각각의 차원에서 총 64에 대한 4개의 스테이지들 각각에 대한 그것의 수평 차원 및 그것의 수직 차원에 대해 8까지의 팩터에 의해 입력 로그 비율 이미지(IBI)를 데시메이트하기 위해 구현될 수 있다.
그러므로, 실시예에서, 도 4b에 도시되는 바와 같이, 필터링 구현예는 4개의 스테이지들(40, 41, 42, 43)을 포함한다. 스테이지들(40~43) 각각은, 이미지 사이즈가 82=64의 팩터만큼 감소되도록, 8의 팩터에 의해 수직 차원 및 수평 차원에서 이미지를 데시메이트하고, 그러므로, MSF(4000)는 64개의 총 팩터로써 이미지를 데시메이트한다. 그러므로, 각각의 스테이지에서, 로그 비율 이미지는 8의 팩터로써 다운스케일된다. 8의 팩터에 의한 다운스케일링은 예컨대 아래의 테이블 4에서 보여지는 의사코드에 따라, msn 레벨(예컨대 스테이지) 각각에서 반복된다.
테이블 4
Figure pat00008
각각의 스테이지에서, 7-탭 로우 패스 필터링은 데시메이트된 이미지들의 각 픽셀에 대해 수행될 수 있다. 데시메이트된 이미지들이 그것의 제 1 공간 배향에 대응하는 수평 방향에서 가장 먼저 각각 필터링되고, 이어서, 제 1 배향에 대해 공간적으로 수직인 수직 방향으로 필터링되는 실시예가 구현된다. 다양한 스케일된 이미지들은 예컨대, 미러 확장(mirror extension)과 같은 패딩(padding)으로, 그것들의 경계들에서 정렬된다.
증폭기는 각각의 스테이지에서 비율 이미지에 가중 팩터 'Alpha'를 적용한다. k가 0에서부터 msn 마이너스 1에 이르는 정수(k=0, 1,..., msn-1)를 포함하는, 스테이지들 각각 'k'에 대해, 실시예는 Ak = 2*(k+1)/(msn(msn+1))에 따라, 가중 팩터 Alpha(A)를 계산한다. 가중들은 유니티(unity)로 합산한다. 가중 팩터가 2*(msn-(k-1)+1)/msn*(msn+1) 또는 1/msn으로서 계산되는 실시예가 구현될 수 있다.
업스케일링은 다운스케일되는 필터링된 비율 이미지들에 대해 (msn-1)회 수행된다. 가중된 로그 비율 이미지는 각각의 스테이지에서 업스케일된 이미지들에 부가된다. 실시예는 예컨대, 이미지의 공간 코너들(spatial corners)에서 4개의 포인트들을 사용하여 선행하는 스테이지의 낮은 해상도 이미지들(lower resolution images)의 보간(예컨대, 2중선형 보간) 및 업-스케일된 블록을 구성하기 위한 수평 및 수직 차원들에 대한 보간으로 업스케일링을 구현한다.
스테이지(401)는 입력 이미지(R0)를 다운스케일하고 필터링하며, 제 1 비율 이미지(R1)를 스테이지(402)로 패스한다. 마찬가지로, 스테이지(402) 및 스테이지들(403~407) 각각은 포괄적으로, 그것들 각각의 이전 스테이지들 각각에 의해 그것에 패스되는 비율 이미지에 대해 서수적으로(ordinally) 후속하는, 다운스케일된 로우-패스된 비율 이미지들을, 그것들 각각의 다음 스테이지로 전달한다. 각각의 스테이지로부터의 가중된 비율 이미지는 다음 스테이지로부터 업스케일된 이미지와 합산된다.
MSF(4000)는 톤 매핑된 루마(tone mapped luma), 휘도 또는 다른 세기 관련 톤 매핑된 값들을 생성하고, 그것들은 레지스터 인터페이스를 통해 오프-보드 메모리(off-board memory)에 대한 구성 레지스터들을 통해 기록된다.
실시예에서, MSF(4000) 및/또는 구현예(400)는 예시적인 다중스케일 해상도 필터링 프로세스(multiscale resolution filtering process: 400)의 하나 이상의 스텝들에 따라 기능한다. 예시적인 프로세스(400)는 도 4b, 및 도 4c에 도시된 흐름도를 참조하여 아래에서 설명된다. 프로세스(400)는 레벨들(41, 42, 43) 각각에 대해 이미지를 점진적으로 다운스케일링함으로써 로그 비율 이미지(R0)(예컨대, 도 1b의 스텝(105)에서 생성됨)를 프로세스하기 시작한다. 다운스케일링의 각각의 레벨에서, 이미지는 수직 방향 및 수평 방향으로 점진적으로 데시메이트된다.
스텝(401)에서, 로그 비율 이미지(R0)는 'N'의 팩터에 의해 수직으로 그리고 수평으로 다운스케일되며, 여기에서 N은 양의 정수 예컨대 8을 포함한다. 그러므로, 제 1 레벨 다운스케일된 로그 비율 이미지(R1)가 생성된다. 이어서, 제 1 레벨 다운스케일된 로그 비율 이미지(R1)는 제 2 레벨 다운스케일된 로그 비율 이미지(R2)를 생성하기 위해 스텝(402)에서의 팩터 N에 의해 데시메이트된다. 이어서, 제 2 레벨 다운스케일된 로그 비율 이미지(R2)는 제 3 레벨 다운스케일된 로그 비율 이미지(R3)를 생성하기 위해 스텝(403)에서의 팩터 N에 의해 데시메이트된다. 예시적인 실시예에서, 각 레벨의 다운스케일된 이미지 출력은 로우-패스된다. 예시적인 실시예에서, 모든 레벨들이 사용될 필요는 없다.
스텝(404)에서, 제 3 레벨 다운스케일된 로그 비율 이미지(R3)의 픽셀 값들은 제 3 레벨 가중된 비율 이미지(R'3)를 생성하기 위해 제 3 레벨 스케일 팩터들(예컨대, Alpha[3])로 스케일된다. 스텝(405)에서, 제 2 레벨 다운스케일된 로그 비율 이미지(R2)의 픽셀 값들은 제 2 레벨 스케일된 가중된 비율 이미지(R'2)를 생성하기 위해 제 2 레벨 스케일 팩터들(예컨대, Alpha[2])로 스케일된다. 스텝(406)에서, 제 3 레벨 가중된 비율 이미지(R'3)는 팩터 N에 의해 업스케일되고, 제 2 레벨 업스케일된 로그 비율 이미지(
Figure pat00009
)를 생성하기 위해 제 2 레벨 스케일된 가중된 비율 이미지(R'2)와 합산된다.
스텝(407)에서, 제 1 레벨 다운스케일된 비율 이미지(R'1)는 제 1 레벨 가중된 로그 비율 이미지(R'1)를 생성하기 위해 제 1 레벨 스케일 팩터들(예컨대, Alpha[1])로 스케일된다. 스텝(408)에서, 제 2 레벨 업스케일된 로그 비율 이미지(
Figure pat00010
)는 팩터 N에 의해 업스케일되고, 제 1 레벨 업스케일된 로그 비율 이미지(
Figure pat00011
)를 생성하기 위해 제 2 레벨 스케일된 가중된 비율 이미지(R'2)와 합산된다. 스텝(409)에서, 로그 비율 이미지(R0)는 제로-레벨 가중된 로그 비율 이미지(R'0)를 생성하기 위해 제로-레벨 스케일링 팩터들(예컨대, Alpha[0])로 스케일된다. 스텝(410)에서, 제 1 레벨 업스케일된 로그 비율 이미지(
Figure pat00012
)는 팩터 N에 의해 업스케일되고, 제로-레벨 스케일된 가중 비율 이미지(R'0)와 합산되어, 로그 다중스케일 비율 이미지(
Figure pat00013
)를 생성한다. 예시적인 프로세스(400)의 스텝들은 최적이 될 수 있다.
도 5는 본 발명의 실시예에 따르는, 예시적인 비율 이미지 프로세서(500)를 도시한다. 실시예는 비율 이미지 프로세서(500)로 RI_Proc(도 1)를 구현한다. 비율 이미지 프로세서(500)는 TMO(200)(도 2)로부터 입력 이미지들을 수신한다. 휘도 비율은 원래 HDR 입력 이미지로부터의 휘도 값들 및 톤 매핑된 이미지로부터의 휘도 값들로부터 계산된다. 최소 및 최대 값들은 전체 픽처(picture)에 대해 계산되고, 그것들은 상이한 이미지의 로그 휘도 값들 logY 및 CbCr 색차 값들 DiffCbCr을 양자화하는데 사용된다.
logY 및 DiffCbCr 값들은 예컨대, 진보된 마이크로제어기 버스 아키텍처, 진보된 확장가능 인터페이스(Advanced eXtensible Interface: AXI) 인터페이스 또는 유사하게 가능한 인터페이스를 통해, 외부 메모리에 세이브/기록된다. 외부적으로 세이브/저장되는 값들은 시간에 맞춰 양자화되도록 AXI를 통해 다시 판독/로드(load)된다. LFSR(linear feedback shift register)는 양자화 동안 logY 채널에 대해 디더링(dithering)을 위한 랜덤 넘버 값들(random number values)을 생성한다. RI_Proc(500)는 양자화된 DiffCbCr 및 logY 값들을 JPEG 인코더에 출력하고, JPEG 인코더는 입력 이미지에 대응하는 JPEG 포맷으로 이미지들을 출력할 수 있다.
도 6a, 도 6b 및 도 6c는 본 발명의 실시예에 따르는, 예시적인 인코딩 프로세스(60) 및 이의 예시적인 데이터 흐름 타임라인(data flow timeline: 600)을 각각 도시한다. HDR 입력 픽처를 수신할 시에(61), 히스토그램 및 다운스케일된 LogY 이미지(LogY1)는 스텝(62)에서 생성된다. 히스토그램은 정규화된다. 흐름(600)에서, JPEG-HDR 인코더(예컨대, 인코더(100); 도 1) 코어(core)는 전체 HDR 입력 이미지를 판독한다. 인코더는 입력 이미지 픽셀들의 LogY 값들에 기초하여 히스토그램을 생성하고, 히스토그램을 등화하고, LogY1를 다운스케일된 이미지 버퍼 Buff_Log1에 기록한다. 실시예에서, 히스토그램은 CLAHE를 사용하여 등화된다.
스텝(63)에서, 톤 매핑에서 사용하기 위한 실제 픽셀마다의 스케일링 팩터(actual per-pixel scaling factor)를 생성하는 다중스케일 필터링이 수행된다. 스텝(64)에서, 픽셀마다의 스케일링 팩터가 각각의 픽셀에 대해 적용된다. 톤 매핑된 기본 이미지는 8비트 감마-코드된(gamma-coded) YCbCr4:2:2/4:2:0/4:4:4로 변환되고, 외부 메모리에 압축된 기본 이미지를 기록하는, JPEG 인코더로 보내질 수 있다. 원래 및 톤 매핑된 RGB 데이터는 외부 메모리에 또한 기록되는, 가공되지 않은 선-양자화된 비율 이미지(raw pre-quantized ratio image)를 생성하기 위해 프로세스된다. 스텝(65)에서, 가공되지 않은 비율 이미지는 외부 메모리로부터 판독되고, 양자화된다. 양자화된 비율 이미지는 JPEG 인코더에 출력될 수 있고(66), 그것과 함께 압축된다.
HDR 이미지들에 대한 예시적인 가중된, 다중 영역-기반의 노출
스마트폰, 컴퓨터 모니터 등과 같은, 전통적인 로우-엔드 소비자 디스플레이 디바이스(low-end consumer display device)는 JPEG-HDR 이미지의 완전한 다이내믹 범위를 디스플레이할 수 없을 수 있다. 그러한 경우들에서, 디스플레이는 통상적으로, 대응하는 HDR 이미지의 톤-매핑된, LDR(low dynamic range) 버전을 출력한다. 이 톤-매핑된 이미지는 통상적으로, 사용자로부터의 입력 없이 카메라에 의해 자동으로 생성되고, 그러므로, 그것은 사진사의 의도를 캡처할 수 없다.
몇몇 실시예들에서, 사용자는 터치스크린, 컴퓨터 마우스, 스크롤 바들(scroll bars) 등과 같은, 디바이스의 사용자 인터페이스를 사용하여 HDR 픽처를 스크롤할 수 있다. 그 경우에, 사용자는 완전한 다이내믹 범위에서 이미지의 일부를 관찰할 수 있지만, 이미지의 나머지는 매우 어둡거나 매우 밝은 것으로서 디스플레이될 수 있다. 하지만, 사용자는 이미지의 다중 부분들에서 세부사항들을 보고자할 수 있다. 그러므로, 사용자들로 하여금, 흥미있는 영역들에 기초하여 HDR 이미지의 노출을 조절하도록 허용하는 것이 이롭다.
일 실시예에서, 최종 HDR 이미지의 노출은 사용자에 의해 선택되는 흥미있는 2 이상의 영역들을 고려할 수 있다. 이들 영역들은 이미지를 캡처하기 전에(예컨대, 카메라 또는 다른 캡처하는 디바이스로) 또는 이미지를 캡처한 후(예컨대, 대응하는 LDR 이미지를 디스플레이할 때)에, 선택될 수 있다. 터치스크린 인터페이스(예컨대, 아이폰 또는 아이패드)를 갖춘 몇몇 실시예들에서, 이들 영역들은 사용자에 의해 터치되는 하나 이상의 픽셀들을 둘러싸는 비교적 동일한 휘도의 픽셀들을 나타낼 수 있다. 다른 실시예들에서, 사용자는 컴퓨터 마우스, 트랙 볼, 키보드 등과 같은, 이들 영역들을 선택하는 대안의 인터페이스들을 사용할 수 있다. 다른 실시예들에서, 이들 영역들은 미리선택된 사용자 선호도들(예컨대, 얼굴들, 동물들, 텍스트 등)에 기초하여 자동으로 선택될 수 있다.
일 실시예에서, 제 1 터치 포인트를 둘러싸는 영역은 제 1 최적 노출 감마(예컨대 18% 그레이)로 설정될 수 있다. 다음으로, 제 2 터치 포인트에 대해, 제 2 최적 노출 감마가 계산된다. 최종 이미지는 제 1 및 제 2 노출 감마들에 의해 가중되는 최종 노출 감마를 사용하여 디스플레이될 수 있다. 이것은 얻어진 픽처의 나머지를 혼합하는 동안 디스플레이의 다이내믹 범위 내에서 제 1 및 제 2 터치 포인트들 둘 모두를 가져온다. 터치 포인트들의 임의의 수는 3, 4, 또는 N과 같이, 식별될 수 있다. 가중 팩터들은 동일 평균(equal average), 평균(mean), 중간, 비율 가중, 선형, 비-선형이거나, 그리고/또는 (최대/최소) 캡(capped)될 수 있다. 특정한 실시예에서, 상기 기술은 사용자 명령(예컨대, 취소 버튼(undo button))에 의해 취소될 수 있다.
도 7에 도시되는 바와 같이, 또 다른 실시예에서, 얻어진 픽처는 융합-병합 프로세스를 사용하여 생성될 수 있다. 이 프로세스에서, 흥미있는 각각의 선택된 포인트에 대해(710), 프로세스는 대응하는 노출된 LDR 이미지(720)를 생성한다. 원래 HDR 이미지로부터 생성된 N개의 그러한 노출들(또는 LDR 이미지들)이 주어지면, 실시예는 모든 N개의 노출들을 단일 출력 이미지로 적절히 혼합함으로써 융합된 이미지를 생성할 수 있다. 그러한 융합 프로세스의 예는, 여기에서 충분히 설명되는 바와 같이 전체가 참조문헌으로써 포함되는, 티. 메르텐스(T. Mertens) 등에 의해, "노출 융합"(컴퓨터 그래픽스와 어플리케이션들에 대한 제 15회 퍼시픽 컨퍼런스(15th Pacific Conference on Computer Graphics and Applications), 2007년, 퍼시픽 그래픽스(Pacific Graphics))에서 설명되는 기술들을 사용하여 구현될 수 있다.
예시적인 적응형 비율 이미지 양자화
앞에서 설명된 바와 같이, 휘도 HDR 이미지(Yh) 및 그것의 톤-매핑된 대표(tone-mapped representation)(Yt)가 주어지면, 비율 이미지(YR)는 다음 수식으로서 표현될 수 있다.
Figure pat00014
비율 이미지의 다이내믹 범위는 로그 함수 또는 제곱근 함수와 같은, 가역 함수(invertible function)를 그것에 적용함으로써 압축될 수 있다. 그러므로, 일 실시예에서, 로그 함수가 적용된다.
Figure pat00015
로그 비율 이미지(log(YR))는 아래의 8비트 비율 이미지를 산출하기 위해 추가로 양자화될 수 있다.
Figure pat00016
원래 비율 이미지가 높은 정밀도 또는 다이내믹 범위(예컨대, 부동 소수점 넘버들을 사용하여)에서 나타내지는 픽셀 값들을 포함하는 한, 8비트 픽셀 값으로 비율 이미지를 양자화하는 것은, 역 양자화 함수를 적용할 때 복원될 수 없는 라운드-오프 에러들(round-off errors)을 생성할 것이다. 이 에러는 이미지 인코딩의 정확성에 영향을 미치고, JPEG-HDR 포맷을 사용하여 인코딩될 수 있는 이미지의 다이내믹 범위를 제한할 수 있다.
일 실시예에서, 그러므로, 위의 로그 함수는 임의의 가역 함수('F')로써 교체된다. F가 주어지면, 양자화되는 8비트 이미지는 아래 수식으로서 표현될 수 있다.
Figure pat00017
이것은 디코더로 하여금, 아래 수식에 대해 원래 비율 이미지를 복원하도록 허용하며,
Figure pat00018
여기에서, YR'는 복원된 비율 이미지를 나타낸다. 실시예에서, 최소 및 최대 F(YR) 값들은, JPEG 디코더에 의해 액세스가능한, 메타데이터로서 JPEG-HDR 이미지에 포함된다.
실시예에서, F 함수는, 그것은 M(YR', YR)을 최소화화도록 선택될 수 있으며, 여기에서 M은, 평균 자승 에러(mean square error), 신호 대 잡음 비율(SNR), 또는 피크 신호 대 잡은 비율(PSNR)과 같은, 몇몇 품질 기준에 따라, YR'과 YR 사이의 차이를 측정하는 메트릭(metric)을 나타낸다. M(예컨대, 두 개의 이미지들 간의 MSE)은 F의 최적화 프로세스를 위한 목적 함수를 나타낸다. F는 파라메트릭 함수일 NT 있고, 또는 룩업 테이블(LUT)을 통해 정의될 수 있다. M이 주어지면, 제이.에이 넬더(J. A Nelder), 존(Jone) 및 알.미드(R. Mead)에 의한 "함수 최소화를 위한 샘플렉스 방법(A simplex method for function minimization)"(컴퓨터 저널(Computer Journal) 넘버 7, 308~313 페이지, 1965년)에서 설명되는 넬더-미드(Nelder-Mead) 방법과 같은, F를 결정하기 위한 잘 알려진 최적화 기술들을 적용할 수 있다.
실시예에서, JPEG-HDR 헤더는 역 인코딩 함수(inverse encoding function)(F-1)를 나타내는 디코딩 LUT를 포함할 수 있다. 순응형(compliant) JPEG-HDR 디코더는 수신된 비율 이미지를, 8비트 데이터로부터 보다 높은 정확성의 (예컨대, 부동 소수점) Y 채널 데이터로 변환하기 위해 LUT를 사용할 수 있다. LUT는 8비트 데이터를 부동 소수점 값들로 직접 매핑하는 256 엔트리들(entries)을 가질 수 있다.
예시적인 히스토그램 등화 기반 방법들(EXAMPLE HISTOGRAM EQUALIZATION-BASED METHODS)
실시예는, 히스토그램 등화 또는 콘트라스트 제한된 히스토그램 등화가 F 함수를 유도하기 위한 프로세스를 또한 제공하는 계산 효율성에 관련된다. 히스토그램 등화 프로세스는 임의의 분포를 갖는 소스 휘도(source luminance)를 균일한 히스토그램을 갖는 휘도로 변환하여, 비율 이미지가 보다 효과적으로 코딩될 수 있다. 히스토그램 등화를 사용하는 실시예에서, F는 아래에서 설명되는 바와 같이 계산될 수 있다.
a) YR의 히스토그램. hist를 계산한다. 히스토그램은 단순히, 인스턴스들의 수(예컨대, hist i )를 나타내고, 픽셀 값(i)은 비율 이미지에서 만나게 된다;
b) hist의 누적 히스토그램, c_hist를 계산한다. 누적 히스토그램은 아래 수식과 같이 계산될 수 있다:
Figure pat00019
및
c) c_hist를 정규화하고 스케일링함으로써 F를 결정한다. 예를 들어:
Figure pat00020
여기에서, 변수 scale은 F의 최대값, 예컨대 255를 결정한다.
위에서와 같이 계산된 인코딩 함수(F)는 무한 도함수 또는 기울기를 갖는 영역들을 가질 수 있고, 그러므로, F는 고유한 매핑을 제공할 수 없고, 역 함수(F-1)가 존재하지 않는다. F의 기울기 또는 도함수를 제한하는 것(limiting)은 실시예로 하여금 F-1의 존재 및 F에 의해 제공되는 매핑의 고유성(uniqueness)을 보장하도록 허용한다.
히스토그램 등화 접근법은 인코딩 정확성을 휘도 값 발생들의 빈도에 대한 와 비례하게 한다. 그러므로, 빈번하지 않게 일어나는 휘도 값들은 높은 에러로 양자화될 수 있고, 빈번하게 발생하는 휘도 값들은 낮은 에러로 양자화될 수 있다.
JPEG-HDR에서의 예시적인 커스텀 컬러 색역 지원(EXAMPLE CUSTOM COLOR GAMUT SUPPORT IN JPEG-HDR)
통상적인, 신호 이미지, 파일 포맷은 렌더링 디바이스(예컨대, 디스플레이)에 컬러 정보를 통신하기 위해 ICC(International Color Consortium) 또는 WCS(Windows Color management System) 프로파일들을 사용할 수 있다. ICC 프로파일들 및 WCS 프로파일들은 이미지로 하여금 특정한 컬러 스페이스에 렌더링하도록 요구한다. 렌더링의 일부로서, 타깃 컬러 스페이스에서 표현가능하지 않은 모든 컬러들은 표현가능한 컬러들에 색역 매핑되어야 한다. 이 색역 매핑의 결과로서, 컬러 정보의 일부는 렌더링되는 이미지에서 손실될 수 있다.
예를 들어, 이미지는 하이 엔드(high end)의 넓은 컬러 색역의 카메라에 의해 캡처될 수 있고, 또는 그것은 컴퓨터 그래픽(CG) 소프트웨어를 사용하여 생성될 수 있다. 이어서, 얻어진 이미지는 sRGB 컬러 스페이스에 렌더링될 수 있다. sRGB 컬러 스페이스는 가장 일반적인 컬러 스페이스이고, 대부분의 동작하는 시스템들 및 디스플레이 디바이스들에 의해 지원된다. 하지만, sRGB 컬러 스페이스가 비교적 작은 컬러 색역을 가지므로, sRGB에 의해 변환되지 않는 모든 이미지 컬러들은 sRGB 컬러들로 매칭될 필요가 있다. sRGB 이미지가 이후 훨씬 넓은 컬러 색역을 갖는 이미징 디바이스에 전달되면, 원래의 보다 높은 색역 매핑된 컬러들을 복원하기 위한 신뢰할만한 방식이 존재하지 않는다. 그러므로, 색역 매핑은 되돌릴 수 없는 정보 손실을 일으킬 수 있고, 최적이하의 컬러 재생을 야기할 수 있다.
이미지 렌더링의 또 다른 특징은 뷰잉 조건들(viewing conditions)을 명시하는 것에 관련된다. 예를 들어, 가정 및 사무실 뷰잉 조건들은 통상적으로, 컬러 그레이딩(color grading) 또는 컬러 매칭 환경에서 사용되는 뷰잉 조건들과는 상이하다. ICC 워크플로우는 워크플로우를 경직되게(inflexible) 만드는, 정확한 뷰잉 조건들(VC)을 명시한다. WCS는 약간의 VC 융통성을 허용하지만, 이미지가 일단 렌더링되면, 변화를 뒤집는 것을 실질적으로 불가능하게 한다.
색역 매핑 및 VC 둘 모두는, 콘텐트 창작자가 이미지가 어떻게 뷰되는지에 대한 가정들에 기초하여 행하는 렌더링 결정들의 세트를 정의한다. 실생활에서, 모든 가능한 목적들뿐만 아니라, 모든 가능한 사용 케이스들(all possible use cases) 및 타깃 이미징 디바이스들(target imaging devices)에 대한 최적의 렌더링 결정들을 행하는 것이 불가능하다.
일 실시예에서, JPEG-HDR 파일 포맷은 컬러 색역 관련 메타데이터의 두 개의 개별 세트들: 캡처 디바이스 또는 원래 HDR 데이터에 관련되는 하나의 세트 및 컬러된 이미지들을 사용하는 타깃 레거시 워크플로우들에 관련된 다른 하나의 세트를 허용한다. 그러므로, 표준 컬러 색역 및 다이내믹 범위를 갖는 레거시 이미징 디바이스들은 컬러-정확한 이미지 콘텐트(color-accurate image content)를 전달하기 위해 종래의 ICC 및 WCS 워크플로우에 기초하여, 디폴트 렌더된 이미지를 보여줄 수 있다. 동시에, 넓은 색역의 높은 다이내믹 범위 및/또는 제시간의 렌더링을 지원하는 디바이스들은 또한, 뷰잉 조건들 및 디바이스 특성들 둘 모두를 고려하는 다이내믹 렌더링을 위한 원래 이미지 데이터를 복원할 수 있다. 예를 들어, 어플리케이션은 원래 장면 데이터를 복원할 수 있고, 그것을, 현재의 뷰잉 조건들 및 타깃 디스플레이 디바이스의 특징들에 기초하여 렌더링할 수 있다. 그러므로, 기본 이미지는 기존의 컬러 관리 워크플로우(color management workflows)에 역호환성(backward compatibility)을 제공할 수 있고, 한편, JPEG-HDR 메타데이터는 보다 정확하고 유연한 제시간의 렌더링을 허용한다.
JPEG-HDR 이미지는 기본 이미지(예컨대, 베이스라인 JPEG 이미지) 및 HDR 메타데이터(예컨대, 비율 이미지 및 컬러 잔여 데이터)를 포함한다. 기본 이미지는 sRGB 컬러 스페이스에서 통상적으로 렌더링되는, 톤-매핑되고 색역 매핑된 렌더링된 이미지이다. JPEG 콘테이너(container)는 기본 이미지의 컬러 스페이스를 나타내거나, 그것은 다양한 이미징 디바이스들 상에서의 일정한 컬러 재생을 인에이블하는 ICC/WCS 컬러 프로파일을 포함할 수 있다.
HDR 메타데이터는 또한, XYZ 원색들과 같은, 디바이스 독립형 스페이스에서 또는 첨부된 제 2 ICC/WCS 컬러 프로파일에서 컬러 스페이스 정보를 포함할 수 있다. HDR 메타데이터 컬러 스페이스는 기본 이미지의 컬러 스페이스와는 상이할 수 있다. 메타데이터의 컬러 색역은 통상적으로, 기본 이미지의 컬러 색역보다 크다. 예를 들어, 카메라들을 위한 메타데이터 컬러 스페이스는 통상적으로 카메라 센서들의 컬러 스페이스와 매칭한다. CG 이미지들에 대해, 메타데이터 컬러 스페이스는 원래 이미지에서 제공되는 모든 컬러들을 포함할 수 있다. 그러므로, 실시예는 2 이상의 컬러 스페이스 디스크립터들, 예컨대 프로파일들을 사용하여 JPEG-HDR에서 넓은 컬러 색역의 개선된 지원을 제공한다. 하나의 프로파일은 기본 이미지의 인코딩 컬러 스페이스를 정의하고, 제 2 프로파일은 HDR 메타데이터의 인코딩 컬러 스페이스를 정의한다.
도 8a는 예시적인 실시예에 따르는 이중 컬러 스페이스들을 지원하는 인코딩 프로세스를 도시한다. 도 8a에 도시된 바와 같이, 컬러 스페이스(B)에서 캡처되는, 입력 HDR 이미지(605)는 컬러 스페이스(B)에서, 톤-매핑된 이미지(815)를 생성하기 위해 TMO 프로세스(810)에 의해 톤-매핑될 수 있다. 이미지(815)는 컬러 스페이스(A)에서, 기본 이미지(825)를 생성하기 위해 색역 변형 프로세스(820)에 의해 추가로 프로세스될 수 있다. 두 개의 컬러 스페이스들에 관한 정보를 사용하여, 컬러 스페이스(A)로부터 컬러 스페이스(B)로 이미지들을 변형하기 위한 컬러 변형 TAB를 생성할 수 있다. 변형(TAB)은 컬러 스페이스(B)에서, 기본 이미지(845)를 생성하기 위해 컬러 변형 스텝(840)에서 기본 이미지(825)에 적용될 수 있다.
원래 HDR 이미지(805) 및 기본 이미지(845)를 사용하여, 프로세스(830)는 본 발명의 앞에서 설명한 방법들에 따라, HDR 메타데이터(835)를 생성할 수 있다. 마지막으로, 이미지(825)(컬러 스페이스 A에서) 및 HDR 메타데이터(835)(컬러 스페이스 B에서)는 코딩되고, 조합되어, JPEG-HDR 이미지(855)를 생성할 수 있다. JPEG-HDR 이미지(855)의 파일 포맷은 두 개의 컬러 스페이스들에 대한 적절한 컬러 디스크립터들을 포함할 수 있다. 몇몇 실시예들에서, 프로세싱 스텝들(810, 820)은 단일 스텝으로 조합될 수 있고, 여기에서, 컬러 스페이스(B)에서 HDR 이미지(805)가 주어지면, 그것은 컬러 스페이스(A)에서 톤-매핑된 이미지를 출력한다(825). 메트릭-TRC(톤 재생 곡선)과 같은, 부가적인 컬러 스페이스들을 사용하여, 인코딩 동안, 조합 스텝들(810, 820)을 허용하고, 색역 매핑 및 톤 매핑 둘 모두는 원래 컬러 스페이스(예컨대, B)에서 행해질 수 있다. 또한, 컬러 스페이들 간의 컬러 변형들은 보다 정확하게 그리고 계산적으로 보다 효과적으로 된다.
도 8b는 예시적인 실시예에 따르는 이중 컬러 색역을 지원하는 디코딩 프로세스는 도시한다. 도 8b에 도시된 바와 같이, 2개의 컬러 스페이스들: 컬러 스페이스(A)에서의 기본 이미지 및 컬러 스페이스(B)에서의 HDR 메타데이터를 정의하는 입력 JPEG-HDR 이미지가 주어지면, 기본 디코더는 컬러 스페이스(A)에서, 기본 이미지(865)를 추출한다(즉, sRGB). 이미지(865)는 표준 다이내믹 범위를 갖는 레거시 디스플레이 디바이스들에서 기본 이미지를 디스플레이하는데 사용될 수 있다.
2개의 컬러 스페이스들에 관한 정보를 사용하여, 컬러 스페이스(A)로부터 컬러 스페이스(B)로 이미지들을 변형하기 위한 컬러 변형(Ts)을 행할 수 있다. 변형(TAB)은 컬러 스페이스(B)에서, 기본 이미지(875)를 생성하기 위해 컬러 변형 스텝(870)에서 기본 이미지(856)에 적용될 수 있다. 입력(855)이 주어지면, 메타데이터 디코딩 프로세스(890)는 컬러 스페이스(B)에서 HDR 메타데이터(895)를 추출한다. 마지막으로, HDR 디코더(880)는 컬러 스페이스(B)에서 HDR 이미지(885)를 생성하기 위해 기본 이미지(875)와 메타데이터(895)를 조합할 수 있다.
HDR 메타데이터가 이미지의 모든 가능한 컬러들을 캡슐화(encapsulate)하는 넓은 컬러 스페이스에 상주하면, 인코딩된 이미지 값들은 항상 양(positive)이다. 양의 값들은 인코딩 및 디코딩 스테이지들 동안 이미지들을 입증하는 것을 허용한다. 즉, 음의 값들이 검출되면, 이들 값들은 0으로 될 수 있고, 그리고/또는 에러 메시지가 발행될 수 있다. 여기에서 설명되는 방법들은 또한, 종래의 SDR 이미지들보다 넓은 컬러 색역을 갖는 입력 표준 다이내믹 범위(SDR) 이미지들을 코딩하는데 적용될 수 있다. 입력 SDR 이미지들(예컨대, 805)에 대해, TMO 프로세싱 스텝(810)은 생략될 수 있다.
이미지(885)는 실질적으로, 특정한 현재의 뷰잉 조건들에 대한 타깃 이미징 디바이스에 렌더링될 수 있다. 표준 디스플레이들, HDR 디스플레이들, 넓은 색역 디스플레이들 및 프린터들은 타깃 이미징 디바이스들의 예들이다. 흐릿하게 조명되고 자연 컬러 채색되며 밝게 조명된 노란색 채색된 룸들(rooms)은 상이한 뷰잉 조건들의 예이다.
그러므로, 본 발명의 예시적인 실시예는 인코딩 HDR 이미지들에 관련하여 설명된다. HDR 입력 이미지에서의 로그-휘도들은, 로그 글로벌 톤-매핑된 휘도 이미지가 컴퓨팅되는 것과 함께, 톤-맵을 생성하도록 히스토그램된다. 로그 글로벌 톤-매핑된 휘도 이미지는 다운스케일된다. 로그-휘도들 및 로그 글로벌 콘-매핑된 휘도 이미지는 로그 비율 이미지를 생성한다. 로그 비율 이미지에 대한 다중-스케일 해상도 필터링은 로그-다중 스케일 비율 이미지를 생성한다. 로그 다중-스케일 비율 이미지 및 로그 휘도들은 제 2 로그 톤-매핑된 이미지를 생성하고, 그것은 다운스케일된 로그 글로벌 톤-매핑된 휘도 이미지 및 정규화된 이미지에 기초하여 톤-매핑된 이미지를 출력하도록 정규화된다. HDR 입력 이미지 및 출력 톤-매핑된 이미지는, 양자화되는 제 2 비율 이미지를 생성한다. 양자화된 기본 이미지 및 기본 비율 이미지는 예컨대, JPEG 포맷으로 압축하기 위해 JPEG 인코더에 출력될 수 있다.
다중스케일 비율 이미지 포맷을 갖는 예시적인 JPEG-HDR 인코딩(EXAMPLE JPEG-HDR ENCODING WITH MULTISCALE RATIO IMAGE FORMATION)
실시예에서, 부가적인 이미지 메타데이터는, 원래 HDR 이미지로부터 유도되는, 로컬 다중스케일 그레이 스테일 비율 이미지(local multiscale gray scale ratio image)를 포함한다. 일 실시예는, 원래 HDR 이미지의 HDR 버전의 각각의 픽셀에서 완전한 복원을 가능하게 하도록 여기에서 이미지 포맷으로 발행되는 확장된-YCC 색역과 같은, 컬러 색역을 톤-매핑된 이미지 및 로컬 다중스케일 그레이 스케일 비율 이미지로부터 생성/복원되는 것으로 사용한다. 일 실시예에서, 여기에서 설명되는 바와 같은 기술들은 원래 HDR 이미지의 HDR 버전의 각각의 픽셀에서 완전한 복원을 가능하게 하도록 임계치(예컨대, 톤-매핑된 이미지에서의 픽셀들의 총 넘버의 0.01%, 0.1%, 1%, 2%, 등) 아래인 톤-매핑된 이미지에서의 충분히 검은 톤-매핑 값들(fully black tone-mapped values)의 넘버를 최소화한다.
여기에서의 기술들 하에서, 휘도 값들의 요구된 출력 범위를 맞추기 위해 글로벌 콘트라스트를 압축하고, 인간 시각 감지에 문제가 되는 로컬 콘트라스트를 손실하는 글로벌 톤 매핑(TM) 오퍼레이터를 사용하는 대신에, 로컬 다중스케일 톤 매핑 프로세싱은 전체 매핑을 있는 그대로 남겨둔 동안, 글로벌 TM 오퍼레이터에서 절충된 로컬 콘트라스트를 개선하는 톤-매핑된 이미지를 생성하는데 사용될 수 있다. 일 실시예에서, 로컬 다중스케일 TM 프로세싱은 세부사항의 손실 없이 휘도 값들을 매핑하기 위해 글로벌 곡선(예컨대, 히스토그램 조정 TM 곡선)을 사용한다. 실시예에서, 로컬 다중스케일 TM 프로세싱은 프로세스에서 (할로들(halos)과 같은) 새로운 아티팩트들(artifacts)을 생성/도입함이 없이 효과적으로 수행된다. 특정한 실시예에서, 효과적인 반복 프로세싱은 높은 계산 효율성을 가지며 여기에서 설명되는 바와 같은 로컬 다중스케일 프로세싱을 수행하도록 구현된다. 특히 가능한 실시예에서, 로컬 다중스케일 프로세싱은 단지, 글로벌 TM 오퍼레이터에 의한 TM 프로세싱 보다 30% 긴 시간을 소비한다.
여기에서의 기술들 하에서, 휘도 값들의 요구된 출력 범위를 맞추기 위해 글로벌 콘트라스트를 압축하고, 인간 시각 감지에 문제가 되는 로컬 콘트라스트를 손실하는 글로벌 톤 매핑(TM) 오퍼레이터를 사용하는 대신에, 로컬 다중스케일 톤 매핑 프로세싱은 전체 매핑을 있는 그대로 남겨둔 동안, 글로벌 TM 오퍼레이터에서 절충된 로컬 콘트라스트를 개선하는 톤-매핑된 이미지를 생성하는데 사용될 수 있다. 일 실시예에서, 로컬 다중스케일 TM 프로세싱은 세부사항의 손실 없이 휘도 값들을 매핑하기 위해 글로벌 곡선(예컨대, 히스토그램 조정 TM 곡선)을 사용한다. 실시예에서, 로컬 다중스케일 TM 프로세싱은 프로세스에서 (할로들(halos)과 같은) 새로운 아티팩트들(artifacts)을 생성/도입함이 없이 효과적으로 수행된다. 특정한 실시예에서, 효과적인 반복 프로세싱은 높은 계산 효율성을 가지며 여기에서 설명되는 바와 같은 로컬 다중스케일 프로세싱을 수행하도록 구현된다. 특히 가능한 실시예에서, 로컬 다중스케일 프로세싱은 단지, 글로벌 TM 오퍼레이터에 의한 TM 프로세싱 보다 30% 긴 시간이 소비한다.
실시예에서, 입력 HDR 이미지는 로드(load)되고, 그것의 휘도 값들은 로그 도메인으로 변환된다. 히스토그램 조정 TM 곡선은, 글로벌 비율 그레이 스케일 이미지를 결정하기 위해 계산되어 휘도 값들에 적용된다. 여기에서 사용되는 바와 같이, 비율 이미지는 일반적으로, 프리-톤-매핑 이미지(pre-tone-mapping image)(예컨대, 입력 HDR 이미지 또는 그것의 로그 등가물)에서의 휘도 값들과, 포스트-톤-매핑 이미지(post-tone-mapping image)(예컨대, 톤-매핑된 이미지 또는 그것의 로그 등가물)에서의 휘도 값들 사이의 비율 값들을 포함하는 이미지를 언급한다. 일 실시예에서, 비율 이미지는 논리적으로, 넌-로그 도메인(non-logarithmic domain)에서 각각의 픽셀 위치에서 포스트-톤-매핑 이미지에 의해 분할되는 프리-톤-매핑 이미지로서 나타내지고, 또는 로그 도메인에서의 각각의 픽셀 위치에서 프리-톤-매핑 이미지 마이너스(minus) 포스트-톤-매핑 이미지로서 등가적으로 나타내진다. 몇몇 다른 실시예에서, 비율 이미지는 논리적으로, 넌-로그 도메인에서의 각각의 픽셀 위치에서 프리-톤-매핑 이미지에 의해 분할되는 포스트-톤-매핑 이미지로서 나타내지고, 또는 로그 도메인에서의 각각의 픽셀 위치에서 포스트-톤-매핑 이미지 마이너스 프리-톤-매핑 이미지로서 등가적으로 나타내진다. 모든 이들 실시예에서, 비율 이미지(예컨대, 로컬 다중스케일 TM 이미지) 및 프리-톤-매핑 이미지(예컨대, 입력 HDR 이미지)가 알려지면, 프리-톤-매핑 이미지(예컨대, 로컬 다중스케일 TM 이미지)가 간단한 대수적 연산들(algebraic operations)(예컨대, 넌-로그 도메인에서의 곱셈들/나눗셈들; 로그 도메인에서의 덧셈 뺄셈들)을 통해 얻어질 수 있다.
실시예에서, 로그 도메인에서, 로컬 다중스케일 비율로 병합될 다른 비율 이미지들을 생성하는데 사용되는 글로벌 비율 이미지는 16비트 정수 양들(integer quantities)을 사용하는 뺄셈들(subtractions)에 의해 효과적으로 계산된다. 일 실시예에서, 톤-매핑된 이미지에 대한 기준 최대값(reference maximum)이 계산될 수 있고, 톤-매핑된 이미지는, 작은 퍼센티지보다 크지 않은 픽셀들이 지원된 컬러 색역(예컨대, 확장된-YCC 컬러 색역) 외부에 놓이도록, 수정될 수 있다.
일 실시예에서, 로그 도메인에서, 로컬 다중스케일 비율로 병합될 다른 비율 이미지들을 생성하는데 사용되는 글로벌 비율 이미지는 16비트 정수 양들(integer quantities)을 사용하는 뺄셈들(subtractions)에 의해 효과적으로 계산된다. 일 실시예에서, 톤-매핑된 이미지에 대한 기준 최대값(reference maximum)이 계산될 수 있고, 톤-매핑된 이미지는, 작은 퍼센티지보다 큰 픽셀들이 지원된 컬러 색역(예컨대, 확장된-YCC 컬러 색역) 외부에 놓이지 않도록, 수정될 수 있다.
등가물, 연장들, 대안들, 및 잡다한 것(EQUIVALENTS, EXTENSIONS, ALTERNATIVES AND MISCELLANEOUS)
앞의 명세서에서, 본 발명의 실시예는 구현예마다 변할 수 있는 다수의 세부사항들을 참조하여 설명되었다. 그러므로, 무엇이 본 발명이며, 무엇이 본 발명자들에 의해 발명이 되는 것으로 의도되는지에 대한 유일하고 배타적인 표시자는, 본 출원으로부터 발행되는 청구항들의 세트로서, 임의의 후속 수정을 포함하여 그러한 청구항이 발행되는, 특정 형태의 청구항들의 세트이다. 그러한 청구항들에 포함되는 용어들에 대해 본 명세서에서 명시적으로 설명되는 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 지배한다. 그래서, 청구항들에서 명시적으로 언급되지 않는 제한, 요소, 특성, 특징, 이익 또는 속성은 어떠한 방식으로든지 청구항들을 제한하지 않는다. 명세서 및 도면들은 따라서, 제한적이라기보다는 예시적인 것으로 고려된다.
10: 인코더 201: 휘도 모듈
202: 로그 203: 히스토그램
209: 톤 맵 500: 비율 이미지 프로세서

Claims (16)

  1. 하이 다이나믹 레인지(HDR: High Dynamic Range) 이미지를 인코딩하는 방법에 있어서,
    입력 HDR 이미지를 수신하는 단계;
    제 1 컬러 공간에 제 1 베이스 이미지(825)를 생성하기 위하여 상기 입력 HDR 이미지에 톤 매핑 및 감마 매핑을 적용하는 단계;
    제 2 컬러 공간에 제 2 베이스 이미지(845)를 생성하기 위하여 상기 제 1 베이스 이미지에 컬러 변환 처리를 적용하는 단계;
    상기 입력 HDR 이미지 및 상기 제 2 베이스 이미지에 응답하여 HDR 메타데이터(835)를 생성하는 단계; 및
    상기 제 1 베이스 이미지(825)와 상기 HDR 메타데이터(835)에 기초하여 출력 코딩된 HDR 이미지(855)를 생성하는 단계;
    를 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 인코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 출력 코딩된 HDR 이미지(855)에 대한 파일 포맷은 상기 제 1 컬러 공간 및 제 2 컬러 공간에 대한 컬러 기술자들(color descriptors)을 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 인코딩하는 방법.
  3. 제 1 항에 있어서,
    상기 제 1 컬러 공간은 sRGB 컬러 공간을 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 인코딩하는 방법.
  4. 제 1 항에 있어서,
    상기 제 2 컬러 공간은 상기 제 1 컬러 공간 보다 더 넓은 색역(color gamut)을 가지는, 하이 다이나믹 레인지(HDR) 이미지를 인코딩하는 방법.
  5. 제 1 항에 있어서,
    상기 HDR 메타데이터는 비율 이미지(ratio image) 및 컬러 잔여 데이터(color residual data)를 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 인코딩하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 베이스 이미지와 상기 제 2 베이스 이미지는 상기 입력 HDR 이미지의 다이나믹 레인지보다 낮은 다아나믹 레인지를 갖는 이미지들을 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 인코딩하는 방법.
  7. 코딩된 HDR 이미지를 디코딩하는 방법에 있어서,
    제 1 컬러 공간에서 코딩된 베이스 이미지와 제 2 컬러 공간과 관련된 HDR 메타데이터를 포함하는 코딩된 HDR 이미지(855)를 수신하는 단계로서, 상기 제 2 컬러 공간은 상기 제 1 컬러 공간과는 다른, 상기 코딩된 HDR 이미지(855) 수신 단계;
    상기 코딩된 베이스 이미지에 기초하여 상기 제 1 컬러 공간에서 디코딩된 베이스 이미지(865)를 생성하는 단계;
    상기 제 2 컬러 공간에서 제 2 베이스 이미지를 생성하기 위해 상기 디코딩된 베이스 이미지(865)에 컬러 변환을 적용하는 단계; 및
    상기 제 2 컬러 공간(885)에서 디코딩된 HDR 이미지를 생성하기 위해 상기 제 2 컬러 공간에 관련된 상기 HDR 메타데이터와 상기 제 2 베이스 이미지(875)를 결합하는 단계;
    를 포함하는 코딩된 HDR 이미지를 디코딩하는 방법.
  8. 제 7 항에 있어서,
    상기 제 1 컬러 공간은 상기 sRGB 컬러 공간을 포함하는, 코딩된 HDR 이미지를 디코딩하는 방법.
  9. 제 7 항에 있어서,
    상기 제 2 컬러 공간은 상기 제 1 컬러 공간 보다 더 넓은 색역을 갖는, 코딩된 HDR 이미지를 디코딩하는 방법.
  10. 제 7 항에 있어서,
    상기 디코딩된 베이스 이미지는 상기 디코딩된 HDR 이미지 보다 더 낮은 다이나믹 레인지를 갖는, 코딩된 HDR 이미지를 디코딩하는 방법.
  11. 하이 다이나믹 레인지 이미지(HDR)를 코딩하는 방법에 있어서,
    입력 하이 다이나믹 레인지(HDR) 이미지를 수신하는 단계;
    상기 HDR 이미지에 기초하여 톤 매핑된 이미지를 생성하는 단계로서, 상기 톤 매핑된 이미지는 상기 입력 HDR 이미지의 다이나믹 레인지 보다 더 낮은 다이나믹 레인지를 갖는, 상기 톤 매핑된 이미지를 생성하는 단계;
    비율 이미지(YR)를 생성하는 단계로서, 상기 비율 이미지는 상기 톤 매핑된 이미지 내 대응하는 휘도 픽셀 값들에 의해 픽셀 단위로 나누어진 상기 입력 HDR 이미지의 휘도 픽셀 값들을 포함하는, 상기 비율 이미지(YR)를 생성하는 단계;
    수정된 비율 이미지(F(YR))를 생성하기 위하여 상기 비율 이미지에 역산가능한 함수(invertible function)(F)를 적용하는 단계;
    상기 역산가능한 함수의 역함수(F-1)를 나타내는 룩업 테이블(look-up table)을 생성하는 단계로서, 상기 룩업 테이블을 상기 수정된 비율 이미지에 적용하여 상기 비율 이미지의 근사치(approximation)를 생성하는, 상기 룩업 테이블을 생성하는 단계; 및
    상기 톤 매핑된 이미지와 상기 수정된 비율 이미지에 기초하여 코딩된 HDR 이미지를 생성하는 단계;
    를 포함하며, 상기 역산가능한 함수의 역함수를 상기 수정된 비율 이미지에 적용할 때 상기 비율 이미지와 상기 비율 이미지의 근사치 간의 거리가 미리 정해진 척도에 따라 최소화되도록 상기 역산가능함 함수가 선택되는, 하이 다이나믹 레인지(HDR) 이미지를 코딩하는 방법.
  12. 제 11 항에 있어서,
    상기 미리 정해진 척도는 상기 비율 이미지와 상기 비율 이미지의 근사치 간의 평균 제곱 에러, 신호 대 잡음 비, 또는 피크 신호 대 잡음 비 중 하나를 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 코딩하는 방법.
  13. 제 11 항에 있어서,
    상기 코딩된 HDR 이미지의 파일 포맷은 코딩된 톤 매핑된 이미지, 상기 수정된 비율 이미지의 코딩된 버전, 및 상기 역산가능한 함수의 역함수를 나타내는 룩업 테이블을 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 코딩하는 방법.
  14. 제 13 항에 있어서,
    디코더 내에서,
    상기 코딩된 HDR 이미지를 수신하는 단계;
    상기 코딩된 HDR 이미지로부터 상기 톤 매핑된 이미지, 상기 수정된 비율 이미지, 및 상기 룩업 테이블을 추출하는 단계;
    상기 비율 이미지의 근사치를 생성하기 위해 상기 수정된 비율 이미지에 상기 룩업 테이블을 적용하는 단계; 및
    상기 톤 매핑된 이미지와 상기 비율 이미지의 근사치에 기초하여 상기 입력 HDR 이미지의 근사치를 생성하는 단계;
    를 더 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 코딩하는 방법.
  15. 제 11 항에 있어서,
    양자화된 비율 이미지를 생성하기 위하여 상기 수정된 비율 이미지를 양자화하는 단계를 더 포함하는, 하이 다이나믹 레인지(HDR) 이미지를 코딩하는 방법.
  16. 제 15 항에 있어서,
    상기 수정된 비율 이미지를 양자화하는 단계는,
    Figure pat00021

    를 연산하는 것을 포함하며, 여기서 Y8bit는 양자화된 비율 이미지를 나타내고, YR는 상기 비율 이미지를 나타내고, F(YR)는 수정된 비율 이미지를 나타내고, min (F(YR)) 및 max (F(YR))는 수정된 비율 이미지의 최소치 및 최대치를 나타내는, 하이 다이나믹 레인지(HDR) 이미지를 코딩하는 방법.
KR1020147018414A 2012-08-08 2013-07-31 Hdr 이미지들을 위한 이미지 프로세싱 KR101970122B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261681061P 2012-08-08 2012-08-08
US61/681,061 2012-08-08
PCT/US2013/053036 WO2014025588A1 (en) 2012-08-08 2013-07-31 Image processing for hdr images

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147005217A Division KR101448494B1 (ko) 2012-08-08 2013-07-31 Hdr 이미지들을 위한 이미지 프로세싱

Publications (2)

Publication Number Publication Date
KR20150029606A true KR20150029606A (ko) 2015-03-18
KR101970122B1 KR101970122B1 (ko) 2019-04-19

Family

ID=48949270

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147005217A KR101448494B1 (ko) 2012-08-08 2013-07-31 Hdr 이미지들을 위한 이미지 프로세싱
KR1020147018414A KR101970122B1 (ko) 2012-08-08 2013-07-31 Hdr 이미지들을 위한 이미지 프로세싱

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020147005217A KR101448494B1 (ko) 2012-08-08 2013-07-31 Hdr 이미지들을 위한 이미지 프로세싱

Country Status (9)

Country Link
US (3) US9076224B1 (ko)
EP (2) EP3168809B1 (ko)
JP (3) JP5747136B2 (ko)
KR (2) KR101448494B1 (ko)
CN (3) CN103843032B (ko)
BR (1) BR112014008513B1 (ko)
HK (1) HK1221544A1 (ko)
RU (1) RU2580093C2 (ko)
WO (1) WO2014025588A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171510A1 (ko) * 2015-04-24 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
KR20160128729A (ko) * 2015-04-29 2016-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
KR20180057225A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법
US10021453B2 (en) 2016-01-06 2018-07-10 Samsung Electronics Co., Ltd. Video content providing apparatus, control method thereof and system
US11973982B2 (en) 2023-01-30 2024-04-30 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
PL2681710T3 (pl) * 2011-03-02 2019-03-29 Dolby Laboratories Licensing Corporation Lokalny wieloskalowy operator mapowania tonowego
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
KR20160019060A (ko) * 2013-06-10 2016-02-18 톰슨 라이센싱 큰 동적 범위 픽처들의 평균 휘도를 적응시키기 위한 인코딩과 디코딩 방법들 및 대응하는 인코더 및 디코더
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9275445B2 (en) 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
EP3074946B1 (en) * 2013-11-27 2018-10-17 Thomson Licensing Method and device for quantising the floating value of a pixel in an image
US10003809B2 (en) 2013-12-27 2018-06-19 Thomson Licensing Method and device for tone-mapping a high dynamic range image
TWI492187B (zh) * 2014-02-17 2015-07-11 Delta Electronics Inc 超解析度影像處理方法及其裝置
JP6383425B2 (ja) 2014-02-25 2018-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ビデオ符号化及び復号のための適応的伝達関数
TWI597658B (zh) * 2014-03-10 2017-09-01 緯創資通股份有限公司 電子裝置、顯示系統及影像處理方法
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
ES2694858T3 (es) 2014-05-28 2018-12-27 Koninklijke Philips N.V. Métodos y aparatos para codificar imágenes de HDR, y métodos y aparatos para el uso de tales imágenes codificadas
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
US9613407B2 (en) * 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US9936199B2 (en) * 2014-09-26 2018-04-03 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
EP3026912A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Method and device for encoding and decoding a HDR picture and a LDR picture using illumination information
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
TW201633779A (zh) * 2014-12-16 2016-09-16 湯姆生特許公司 將圖像之高動態範圍版本轉換至該圖像之標準動態範圍版本之方法及裝置
US9654755B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Dynamic range converter with logarithmic conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US9560330B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with reconfigurable architecture and methods for use therewith
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9558538B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with frame by frame adaptation and methods for use therewith
US9544560B2 (en) * 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
JP6362793B2 (ja) 2015-01-19 2018-07-25 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像のためのディスプレイマネジメント
EP3051818A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
EP3251082A1 (en) 2015-01-30 2017-12-06 Koninklijke Philips N.V. Simple but versatile dynamic range coding
RU2678483C1 (ru) * 2015-03-02 2019-01-29 Долби Лэборетериз Лайсенсинг Корпорейшн Контент-адаптивный перцепционный квантизатор для изображений с высоким динамическим диапазоном
GB201506644D0 (en) * 2015-04-20 2015-06-03 Univ Warwick HDR compression method and application to viewers
US20180167597A1 (en) * 2015-05-29 2018-06-14 Thomson Licensing Methods, apparatus, and systems for hdr tone mapping operator
US10136074B2 (en) 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
CA2992654A1 (en) 2015-07-16 2017-01-19 Thomson Licensing A method and device for tone-mapping a picture by using a parametric tone-adjustment function
KR102309676B1 (ko) 2015-07-24 2021-10-07 삼성전자주식회사 사용자 적응 이미지 보상기
KR102049481B1 (ko) * 2015-08-19 2019-11-27 삼성전자주식회사 이미지 변환을 수행하는 전자 장치 및 이의 방법
US9767543B2 (en) * 2015-09-22 2017-09-19 Samsung Electronics Co., Ltd. Method and apparatus for enhancing images via white pop-out
US10043251B2 (en) * 2015-10-09 2018-08-07 Stmicroelectronics Asia Pacific Pte Ltd Enhanced tone mapper for high dynamic range images and video
CN108353110B (zh) * 2015-10-28 2021-10-08 交互数字Vc控股公司 从候选处理集合中选择要应用于视频数据的处理的方法、设备和计算机可读介质
CN106878694B (zh) * 2015-12-10 2018-12-18 瑞昱半导体股份有限公司 高动态范围信号处理系统与方法
EP3300363B1 (en) * 2015-12-15 2018-08-29 Axis AB A bit rate controller and a method for limiting output bit rate
EP3364654B1 (en) 2015-12-15 2021-03-03 Huawei Technologies Co., Ltd. High dynamic range image processing method and apparatus
CN105635525A (zh) * 2015-12-23 2016-06-01 努比亚技术有限公司 一种图像细节处理方法和装置
CN105516674B (zh) * 2015-12-24 2018-06-05 潮州响石数码技术有限公司 一种具有hdr显示功能的监视设备
EP3214600B1 (en) 2016-03-04 2019-02-06 Aptiv Technologies Limited Method for processing high dynamic range (hdr) data from a nonlinear camera
CN108885783B (zh) * 2016-03-23 2022-02-15 杜比实验室特许公司 编码和解码可逆制作质量单层视频信号
CN105894484B (zh) * 2016-03-30 2017-03-08 山东大学 一种基于直方图归一化与超像素分割的hdr重建算法
CN105933617B (zh) * 2016-05-19 2018-08-21 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
US10922796B2 (en) 2016-07-11 2021-02-16 Tonetech Inc. Method of presenting wide dynamic range images and a system employing same
US10074162B2 (en) * 2016-08-11 2018-09-11 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
US10575028B2 (en) * 2016-09-09 2020-02-25 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
GB2554669B (en) * 2016-09-30 2022-04-06 Apical Ltd Image processing
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) * 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
HUE050807T2 (hu) * 2017-02-15 2021-01-28 Dolby Laboratories Licensing Corp Árnyalatgörbe-leképezés nagy dinamikus tartományú képek számára
CN108694030B (zh) * 2017-04-11 2020-07-28 华为技术有限公司 处理高动态范围图像的方法和装置
JP6866224B2 (ja) * 2017-05-09 2021-04-28 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法及びプログラム
US11100888B2 (en) 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
CN107451974B (zh) * 2017-07-31 2020-06-02 北京电子工程总体研究所 一种高动态范围图像的自适应再现显示方法
US10504263B2 (en) * 2017-08-01 2019-12-10 Samsung Electronics Co., Ltd. Adaptive high dynamic range (HDR) tone mapping with overlay indication
CN107403422B (zh) * 2017-08-04 2020-03-27 上海兆芯集成电路有限公司 用以增强图像对比度的方法及其系统
CN107545871B (zh) * 2017-09-30 2020-03-24 青岛海信电器股份有限公司 图像亮度处理方法及装置
WO2019069483A1 (ja) * 2017-10-06 2019-04-11 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
KR102413839B1 (ko) 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
KR102448497B1 (ko) 2017-11-17 2022-09-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치
WO2019118319A1 (en) * 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
CN108022223B (zh) * 2017-12-18 2021-06-25 中山大学 一种基于对数映射函数分块处理融合的色调映射方法
KR102524671B1 (ko) 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법
AU2019222715B2 (en) 2018-02-14 2021-09-16 Dolby Laboratories Licensing Corporation Image reshaping in video coding using rate distortion optimization
CN108632505B (zh) * 2018-03-21 2020-12-01 西安电子科技大学 一种基于SoC FPGA的高动态视频处理系统
US10546554B2 (en) 2018-03-26 2020-01-28 Dell Products, Lp System and method for adaptive tone mapping for high dynamic ratio digital images
CN108765304B (zh) * 2018-04-08 2022-06-17 西安电子科技大学 基于自适应梯度增益控制的高动态红外图像增强方法
KR102485885B1 (ko) * 2018-06-07 2023-01-09 돌비 레버러토리즈 라이쎈싱 코오포레이션 싱글-샷 hdr 컬러 이미지 센서로부터 hdr 이미지 생성
US10943335B2 (en) * 2018-06-15 2021-03-09 Intel Corporation Hybrid tone mapping for consistent tone reproduction of scenes in camera systems
CN110691227B (zh) * 2018-07-05 2024-04-09 华为技术有限公司 一种视频信号处理方法及装置
KR102533723B1 (ko) * 2018-09-14 2023-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN111294522A (zh) * 2019-02-28 2020-06-16 北京展讯高科通信技术有限公司 Hdr图像成像方法、装置以及计算机存储介质
US11567683B2 (en) * 2019-03-28 2023-01-31 Intel Corporation Technologies for providing edge deduplication
US11544823B2 (en) * 2019-06-12 2023-01-03 Intel Corporation Systems and methods for tone mapping of high dynamic range images for high-quality deep learning based processing
CN110599418B (zh) * 2019-09-05 2023-04-28 西安邮电大学 一种变换域融合的全局色调映射方法
US11356623B2 (en) 2020-06-01 2022-06-07 City University Of Hong Kong System and method for processing an image
US11361476B2 (en) 2020-09-14 2022-06-14 Apple Inc. Efficient color mapping systems and methods
CN113674231B (zh) * 2021-08-11 2022-06-07 宿迁林讯新材料有限公司 基于图像增强的轧制过程中氧化铁皮检测方法与系统
US20230206399A1 (en) * 2021-12-24 2023-06-29 Advanced Micro Devices, Inc. Low-latency architecture for full frequency noise reduction in image processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050068327A (ko) * 2003-12-30 2005-07-05 인벤텍 어플라이언시스 코퍼레이션 하이 다이나믹 레인지 이미지를 로우 다이나믹 레인지이미지로 전환하기 위한 방법 및 장치
KR20080107389A (ko) * 2006-01-23 2008-12-10 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우. 하이 다이나믹 레인지 코덱들
US20120002898A1 (en) * 2010-07-05 2012-01-05 Guy Cote Operating a Device to Capture High Dynamic Range Images
KR101225574B1 (ko) * 2008-10-14 2013-01-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이나믹 레인지 이미지를 위한 광의 공간 변조를 결정하기 위한 감소된 해상도에서 백라이트 시뮬레이션

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347374A (en) 1993-11-05 1994-09-13 Xerox Corporation Cascaded image processing using histogram prediction
JPH0851542A (ja) * 1994-05-31 1996-02-20 Fuji Xerox Co Ltd 画像処理方法および装置
US6108047A (en) 1997-10-28 2000-08-22 Stream Machine Company Variable-size spatial and temporal video scaler
US6348929B1 (en) 1998-01-16 2002-02-19 Intel Corporation Scaling algorithm and architecture for integer scaling in video
US6829301B1 (en) 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
EP1126410A1 (en) 2000-02-14 2001-08-22 Koninklijke Philips Electronics N.V. Picture signal enhancement
US6778691B1 (en) 2000-05-16 2004-08-17 Eastman Kodak Company Method of automatically determining tone-scale parameters for a digital image
US6735330B1 (en) 2000-10-17 2004-05-11 Eastman Kodak Company Automatic digital radiographic bright light
US7492375B2 (en) 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7433514B2 (en) 2005-07-13 2008-10-07 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
US7565018B2 (en) * 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US7639893B2 (en) 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US8687087B2 (en) 2006-08-29 2014-04-01 Csr Technology Inc. Digital camera with selectively increased dynamic range by control of parameters during image acquisition
US8320460B2 (en) 2006-09-18 2012-11-27 Freescale, Semiconductor, Inc. Dyadic spatial re-sampling filters for inter-layer texture predictions in scalable image processing
US20080089602A1 (en) 2006-10-17 2008-04-17 Eastman Kodak Company Advanced automatic digital radiographic hot light method and apparatus
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8014027B1 (en) * 2007-03-21 2011-09-06 Adobe Systems Incorporated Automatic selection of color conversion method using image state information
US8150199B2 (en) 2007-03-29 2012-04-03 Texas Instruments Incorporated Methods and apparatus for image enhancement
US7899267B2 (en) 2007-05-23 2011-03-01 Zoran Corporation Dynamic range compensation by filter cascade
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
CN101420531A (zh) 2007-10-23 2009-04-29 鸿富锦精密工业（深圳）有限公司 高动态范围图片撷取装置及方法
JP2009118297A (ja) * 2007-11-08 2009-05-28 Dainippon Printing Co Ltd 標本値の量子化方法および量子化装置
JP2009200743A (ja) * 2008-02-20 2009-09-03 Ricoh Co Ltd 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
TWI363311B (en) 2008-05-15 2012-05-01 Silicon Motion Inc Method and device for scaling up or scaling down images with the same hardware
EP2144444B1 (en) * 2008-07-10 2012-06-27 The University Of Warwick HDR video data compression devices and methods
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US7844174B2 (en) 2008-07-31 2010-11-30 Fuji Xerox Co., Ltd. System and method for manual selection of multiple evaluation points for camera control
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
KR101520069B1 (ko) 2008-12-26 2015-05-21 삼성전자 주식회사 관심 영역 기반 영상 처리 장치 및 방법
US8363131B2 (en) 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
EP2406959B1 (en) * 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US8570396B2 (en) 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5052569B2 (ja) 2009-06-25 2012-10-17 シャープ株式会社 画像圧縮装置、画像圧縮方法、画像伸張装置、画像伸張方法、画像形成装置、コンピュータプログラム及び記録媒体
JP2011010108A (ja) 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
US8345975B2 (en) 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics
JP2011028345A (ja) 2009-07-22 2011-02-10 Olympus Imaging Corp 条件変更装置、カメラ、携帯機器、およびプログラム
JP2011077797A (ja) * 2009-09-30 2011-04-14 Sony Corp 画像処理装置、撮像装置、画像処理方法、及び、プログラム
US8558849B2 (en) 2009-12-14 2013-10-15 Samsung Electronics Co., Ltd. Method and apparatus for processing a user interface in an image processor
US20110157089A1 (en) 2009-12-28 2011-06-30 Nokia Corporation Method and apparatus for managing image exposure setting in a touch screen device
JP2012029029A (ja) * 2010-07-23 2012-02-09 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
CN101951510B (zh) 2010-07-26 2012-07-11 武汉大学 一种基于多尺度DoG滤波器的高动态范围压缩方法
US20120120277A1 (en) 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
PL2681710T3 (pl) 2011-03-02 2019-03-29 Dolby Laboratories Licensing Corporation Lokalny wieloskalowy operator mapowania tonowego
WO2012142285A2 (en) * 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
US9036042B2 (en) * 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
CN102436640A (zh) * 2011-09-21 2012-05-02 北京航空航天大学 一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法
WO2014009844A1 (en) * 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050068327A (ko) * 2003-12-30 2005-07-05 인벤텍 어플라이언시스 코퍼레이션 하이 다이나믹 레인지 이미지를 로우 다이나믹 레인지이미지로 전환하기 위한 방법 및 장치
KR20080107389A (ko) * 2006-01-23 2008-12-10 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우. 하이 다이나믹 레인지 코덱들
KR101225574B1 (ko) * 2008-10-14 2013-01-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이나믹 레인지 이미지를 위한 광의 공간 변조를 결정하기 위한 감소된 해상도에서 백라이트 시뮬레이션
US20120002898A1 (en) * 2010-07-05 2012-01-05 Guy Cote Operating a Device to Capture High Dynamic Range Images

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171510A1 (ko) * 2015-04-24 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10516915B2 (en) 2015-04-24 2019-12-24 Lg Electronics Inc. Apparatus and method of processing metadata for indicating a change in HDR information
KR20160128729A (ko) * 2015-04-29 2016-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
US10021453B2 (en) 2016-01-06 2018-07-10 Samsung Electronics Co., Ltd. Video content providing apparatus, control method thereof and system
US10499106B2 (en) 2016-01-06 2019-12-03 Samsung Electronics Co., Ltd. Video content providing apparatus, control method thereof and system
US10917688B2 (en) 2016-01-06 2021-02-09 Samsung Electronics Co., Ltd. Video content providing apparatus, control method thereof and system
KR20180057225A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법
US11417003B2 (en) 2016-11-22 2022-08-16 Samsung Electronics Co., Ltd. Method and apparatus for tracking eyes of user and method of generating inverse-transform image
US11973982B2 (en) 2023-01-30 2024-04-30 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences

Also Published As

Publication number Publication date
CN105787909A (zh) 2016-07-20
US20150249832A1 (en) 2015-09-03
RU2014114631A (ru) 2015-10-20
EP2748792A1 (en) 2014-07-02
KR20140038566A (ko) 2014-03-28
JP2015508589A (ja) 2015-03-19
EP2748792B1 (en) 2016-12-21
US20160205405A1 (en) 2016-07-14
JP5965025B2 (ja) 2016-08-03
BR112014008513A2 (pt) 2017-04-18
EP3168809A1 (en) 2017-05-17
JP2015172956A (ja) 2015-10-01
JP2016197430A (ja) 2016-11-24
EP3168809B1 (en) 2023-08-30
HK1221544A1 (zh) 2017-06-02
KR101970122B1 (ko) 2019-04-19
JP6255063B2 (ja) 2017-12-27
JP5747136B2 (ja) 2015-07-08
US9374589B2 (en) 2016-06-21
CN105787909B (zh) 2018-07-20
KR101448494B1 (ko) 2014-10-15
RU2580093C2 (ru) 2016-04-10
CN105787908A (zh) 2016-07-20
CN103843032A (zh) 2014-06-04
CN105787908B (zh) 2019-05-14
WO2014025588A1 (en) 2014-02-13
US9076224B1 (en) 2015-07-07
BR112014008513B1 (pt) 2021-08-17
US9467704B2 (en) 2016-10-11
US20150206295A1 (en) 2015-07-23
CN103843032B (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
KR101970122B1 (ko) Hdr 이미지들을 위한 이미지 프로세싱
US9501818B2 (en) Local multiscale tone-mapping operator
TWI521973B (zh) 高動態範圍影像的編碼、解碼及表示
CN102741883B (zh) 高动态范围图像生成和渲染
Bandoh et al. Recent advances in high dynamic range imaging technology
JP2011193511A (ja) 高ダイナミックレンジ画像データを復号化するための装置及び方法、表示用画像を処理可能なビューア、ならびに表示装置
CN110770787B (zh) 高效端到端单层逆向显示管理编码
Deever et al. Digital camera image formation: Processing and storage
WO2021093980A1 (en) Device and method for pre-processing image data for a computer vision application

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right