KR101764943B1

KR101764943B1 - 높은 동적 범위의 이미지 생성 및 렌더링

Info

Publication number: KR101764943B1
Application number: KR1020127020349A
Authority: KR
Inventors: 쉬준 선
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2010-02-04
Filing date: 2011-01-16
Publication date: 2017-08-03
Also published as: TWI518638B; TW201142754A; JP5974128B2; JP2015122110A; WO2011097060A3; US9978130B2; US20140079335A1; WO2011097060A2; JP5806682B2; AU2014213524B2; AU2014213524A1; AU2011213266A1; US20110188744A1; KR20120112709A; EP2531978B1; CA2786456C; KR101831551B1; CN102741883A; AU2011213266B2; JP2013519157A

Abstract

높은 동적 범위(HDR) 이미지 렌더링 및 생성을 위한 기법 및 도구. HDR 이미지 생성 시스템은 보다 낮은 동적 범위(LDR) 이미지들의 집합에 대한 모션 분석을 수행하며, 모션 분석 시 얻어진 정보에 기초하여 이미지들에 대한 상대적 노출 수준을 도출한다. 이러한 상대적 노출 수준은 LDR 이미지들을 통합하여 HDR 이미지를 형성할 때 사용된다. HDR 이미지 렌더링 시스템은 HDR 이미지 안의 값들을 각자의 보다 낮은 동적 범위 값으로 톤 매핑하며, 국지적 콘트라스트 값들을 산출한다. 국지적 콘트라스트에 기초하여 잔차 신호들이 도출되며, LDR 이미지의 샘플 값들은 톤 매핑된 샘플 값들과 잔차 신호들에 기초하여 산출된다. HDR 이미지 생성이나 렌더링의 다양한 단계 중에 사용자 선호 정보가 사용될 수 있다.

Description

높은 동적 범위의 이미지 생성 및 렌더링{HIGH DYNAMIC RANGE IMAGE GENERATION AND RENDERING}

본 기술은 디지털 이미지를 생성하며 렌더링하는 것에 관한 것으로서, 특히 높은 동적 범위의 디지털 이미지를 생성하며 렌더링하는 것에 관한 것이다.

비디오 및 이미징 시스템에서, 컬러는 일반적으로 셋 이상의 채널을 가진 다차원 "컬러 공간" 내 벡터 좌표들로서 표현된다. 전형적 예는 RGB 및 YUV 컬러 공간들에 대한 공지된 분류를 포함한다. RGB 컬러 공간들은 적색, 녹색 및 청색 광의 강도들을 각기 나타내는 좌표들을 사용하여 픽셀 값들을 특정한다. YUV 컬러 공간들은 휘도나 색차 값을 나타내는 좌표들을 사용하여 픽셀 값들을 특정한다.

현재, 많은 이미지 캡처, 처리 및 디스플레이 장치들은 8 비트로 나타내는 채널 당 256(2⁸) 개의 이산 값들(discrete values)의 작은 동적 범위를 가진 픽셀 값들만을 다룰 수 있다. 그러한 이미지들은 8 비트의 "비트 깊이"를 가진다고 기술될 수 있다. 적색, 녹생, 청색 채널들의 채널 당 8 비트(8bpc)를 가진 통상적 RGB 디지털 이미지에서, 적색, 녹색, 및 청색 값들 각각에 대해 256 가지의 상이한 값들만이 가능하다. 다른 값들(가령, 알파 또는 불투명도 값들, 휘도 등) 역시 낮은 동적 범위의 한계에 의해 제약될 수 있다. 일부 장치들은 채널 당 10 또는 12 비트의 동적 범위까지 다룰 수 있다. 그러나, 사람의 시각 체계는 약 45비트로 해석되는 14 자리 수의 넓은 휘도 범위를 인식할 수 있다. 자연 상태의 휘도 값들은 밝은 태양 광 안의 10⁸칸델라(candela)/m² 만큼 높을 수 있으며, 달 없는 밤 바위 밑에서의 10^-6 칸델라/m² 만큼 낮을 수 있다.

높은 동적 범위(HDR(High dynamic range))의 이미징은 사람의 시각 체계에 맞춘 보다 다양하고 자연스러운 이미지 표현을 제공한다. HDR 이미지들은 전통적인 8 비트, 10 비트 및 12 비트 표현들보다 높은 동적 범위를 제공하여 훨씬 높은 영상 품질을 달성하게 할 수 있다. HDR 이미지 포맷이 해당 장치나 도구와 호환가능하면, HDR 이미지들은 일반적인 이미지들을 처리하는 동일한 종류의 장치 및 소프트웨어 도구들에서 사용될 수 있다. 여러 HDR 이미지 포맷들이 개발되어 왔으며, 카메라, 컴퓨터 그래픽 및 디스플레이 장치들은 점점 커지는 동적 범위들을 가진 이미지들을 생성, 처리 및 디스플레이하기 시작하였다. HDR 이미지들은 또한 낮은 동적 범위 이미지들의 모음으로부터 구성될 수 있다. SIGGRAPH '97(1997년 8월)의 Debevec 등에 의한 "사진으로부터 높은 동적 범위의 래디언스 맵들(Recovering High Dynamic Range Radiance Maps from Photographs)"을 참조할 수 있다.

다양한 선행 기법들이 고 해상도 및/또는 높은 동적 범위 이미지들을 디스플레이하거나 처리하는 것과 관련된 문제들을 다루어 왔다.

미국 특허 번호 제7,120,293호는 인터랙티브(interactive) 이미지 내 각각의 픽셀 위치가 서로 다른 특징을 가진 여러 대표 이미지들 중 하나에 할당되는 "인터랙티브 이미지"에 대해 기술한다. 선택된 픽셀 위치와 관련하여 여러 대표적 이미지들 중 어느 것이 최선의 노출 수준이나 초점 설정을 나타내는지를 판단하기 위한 이미지 처리 기법들이 사용된다.

미국 특허 제7,492,375호는 HDR 이미지 안의 한 개 이상의 특정 관심 영역들이 선택되어 디스프레이될 수 있게 하는 HDR 뷰어들에 대해 기술한다. 관심 영역들에서, HDR 뷰어는 HDR 이미지의 해당 부분이나 부분들을 디스플레이한다. 그러한 해당 부분이나 부분들은 최초의 HDR 이미지로부터 어떤 방식에 따라 가변된다. 예를 들어, 관심 영역에 해당하는 HDR 이미지의 어떤 부분이 다른 동적 범위로 톤 매핑될 수 있다.

HDR 뷰라고 불리는 공공연히 사용될 수 있는 애플리케이션은 사용자가 HDR 이미지를 낮은 동적 범위의 디스플레이 상에서 오픈하고, HDR 이미지 내 어떤 선택된 픽셀 위치에서 쉬프트 클릭(shift-click)하여 그 선택된 픽셀 위치의 노출 수준에 따라 이미지의 노출을 가변시킬 수 있게 한다. HDR 뷰의 내용은 http :/7athens ict.usc. edu/FiatLux/hdrview/에서 입수 가능하다.

엔지니어들은 또한 HDR이나 SDR 디지털 이미지들과 같은 디지털 이미지를 나타내는 데 필요로 되는 비트들의 양을 줄이기 위해 압축(코딩 또는 인코딩이라고도 칭함)을 이용한다. 압축은 디지털 이미지를 보다 낮은 비트율의 형식으로 변환함으로써 디지털 이미지를 저장하고 전송하는 비용을 낮춘다. 압축해제(디코딩이라고도 칭함)는 압축 형식으로부터 원래의 이미지 버전을 복원한다. "코덱(codec)"은 인코더/디코더 시스템이다.

인코딩이나 다른 처리 후 디지털 이미지들의 인지적 결함을 종종 아티팩트(artifacts)라고 부르는데, 이는 그것들이 인코딩이나 다른 처리로부터 비롯되고 인코딩이나 다른 처리가 일어났다는 것을 보이기 때문이다. 이러한 아티팩트들에는 블로킹(blocking) 아티팩트, 밴딩(banding) 아티팩트, 및 링잉(ringing) 아티팩트가 포함된다.

압축에 의해 생겨나며 복원된 이미지들 안에 나타나는 블록 패턴들이 보통 블록 아티팩트들이라 불려진다. 블록 아티팩트들은 특히 맑은 하늘의 이미지와 같은 완만하게 가변하는 그래디언트(gradient) 영역들 안에서 두드러질 수 있다. 블록 아티팩트들은 예컨대 인코딩하기 위해 이미지를 블록들로 분할하는 것으로부터 비롯되며, 여기서 인코딩은 블록들의 AC 계수들의 주파수 변환 프로세스 및 양자화를 포함한다. 예컨대 어떤 이미지의 샘플 값들이 높은 비트 해상도(가령, 샘플 값 당 10 비트 또는 12 비트)에서 낮은 비트의 해상도(가령, 샘플 값 당 8 비트)로 변환될 때, 밴딩 또는 컨투어링(contouring) 아티팩트들이 발생한다. 샘플 값들이 낮은 비트 해상도로 클리핑될 때, 값들의 대역들 사이의 스텝들이 인지될 수 있게 될 것이고, 특히 완만하게 변화하는 샘플 값들을 가진 영역들(예컨대, 밝은 것에서 어두운 것으로의 점진적 전환)에서 인지될 수 있게 될 것이다. 링잉 아티팩트들은 리플(ripple) 패턴이나, 아티팩트의 엣지로부터 화상의 배경 안으로 떠나는 다른 대역의 잡음으로서 나타날 수 있다. 링잉 아티팩트들은 주파수 변환 프로세스 및 오브젝트 또는 오브젝트의 일부를 포함하는 블록의 양자화의 결과로 발생할 수 있다. 링잉 아티팩트는 또한 편집 중의 과도한 샤프닝(sharpening)에 의해 에지들에서 생겨날 수 있다.

아티팩트들을 제어하는 일부 후처리 접근방식들은 아티팩트들을 가라앉히거나 그렇지 않으면 감추기 위해 디코딩 후에 이미지들을 처리한다. 어떤 시스템들은 블록 아티팩트들의 가시성을 줄이기 위해 블록 경계들에 걸쳐 적응적인 필터링을 행한다. 다른 시스템들은 복원된 화상들의 샘플 값들을 조정하기 위해 후처리 중에 디더링(dithering)을 이용한다. 예를 들어, 디더링은 들쭉날쭉한 에지 주변 값들에 대해 작은 조정을 도입함으로써 사람인 뷰어가 그 값들을 "평균"내어 스무더 에지(smoother edge)를 지각하도록 한다.

이전 기법들의 이점들이 무엇이든지, 그 기법들은 이하에 제시되는 기법들 및 도구들의 이점을 가지지 않는다.

높은 동적 범위(HDR) 이미지 렌더링 및 생성을 위한 기법 및 도구가 기술된다. 몇몇 기술된 실시예들에서, HDR 이미지 생성 시스템은 낮은 동적 범위(LDR) 이미지들의 집합에 대한 모션 분석을 수행하고 모션 분석 시 얻어진 정보에 기초하여 이미지들에 대한 상대적 노출 수준을 도출한다. 이러한 상대적 노출 수준은 LDR 이미지들을 통합하여 HDR 이미지를 형성할 때 사용된다. 몇몇 기술된 실시예들에서, HDR 이미지 렌더러는 HDR 이미지 안의 값들을 각자의 낮은 동적 범위 값으로 톤 매핑하며, 국지적 콘트라스트 값들을 산출한다. 국지적 콘트라스트에 기초하여 잔차 신호들(residual signals)이 도출되며, LDR 이미지의 샘플 값들은 톤 매핑된 샘플 값들과 잔차 신호들에 기초하여 산출된다. HDR 이미지 생성이나 렌더링의 다양한 단계 중에 사용자 선호 정보가 사용될 수 있다.

한 양태에서, 모션 분석은 한 장면을 묘사하는 디지털 이미지들의 집합 안의 어떤 기준 이미지에 대해 상대적으로 수행된다. 기준 이미지는 (가령, 사용자 설정(preference) 정보나 이미지 내 검출된 노출 범위에 기초하여) 선택될 수 있다. 모션 분석은 기준 이미지에 대해 상대적인, 상기 집합 내 한 개 이상의 기준 아닌 이미지들 각각의 이미지 차들을 판단하는 것을 포함한다. 모션 분석에 적어도 부분적으로 기초하여, 각각의 기준 아닌 이미지에 대해 기준 이미지에 대한 한 개 이상의 상대적 노출 수준이 도출된다. 예를 들어, 상대적 노출 수준들은 선형 도메인으로 변환된 샘플 값들 및 각자의 기준 아닌 이미지에 대한 평균 샘플 비율에 기초하여 도출된다. 상대적 노출 수준에 적어도 부분적으로 기초하여 복수의 디지털 이미지들의 집합이 통합되어 장면을 묘사하는 HDR 이미지를 형성한다. 샘플 값들은 상대적 노출 수준에 기초하여 정규화 레벨로 스케일링 될 수 있다. HDR 이미지를 형성하도록 통합되어 있는 이미지들 안의 이미지 아티팩트들을 제거하기 위해 (가령 모션 분석 전에) 전처리가 수행될 수 있다.

모션 분석은 기준 이미지에 대해 상대적인 이미지 차들을 판단하기 위해 정규화된 교차 상관을 이용하는 것을 포함할 수 있다. 모션 분석은 기준 이미지에 대해 상대적인 이미지 차들을 판단하기 위해 기준 아닌 이미지 내 샘플 값들의 부분 집합(subset)을 선택하는 것을 포함할 수 있으며, 그 부분 집합은 샘플 값들이 노출 값들의 범위 안에 들어오는지 여부에 기초하여 선택된다. 모션 분석은 국지적 모션 정밀화(refinement)가 뒤따르는 전반적(global) 모션 분석을 포함할 수 있다. 모션 분석은 한 개 이상의 기준 아닌 이미지들 각각의 한 개 이상의 픽셀들에 대한 모션 벡터를 결정하는 것을 포함할 수 있다.

통합은 HDR 이미지 내 각각의 샘플 위치에 대해, 기준 이미지 내 샘플 위치에 해당하는 샘플 값 및 각각의 기준 아닌 이미지 내 샘플 위치에 해당하는 스케일링된 샘플 값의 가중된 평균을 산출하는 것을 포함할 수 있다. 예를 들어, 가중된 평균에 있어서 각각의 샘플 값 s에 대한 가중 팩터 w가 신뢰 수준, 상대적 노출 값, 및 양의 지수(가령, 0.5)에 기초하여 산출된다. 신뢰 수준은 샘플 값에 따라 가변될 수 있다. 예를 들어, 보다 극단적인(예컨대, 매우 밝거나 매우 어두운) 샘플 값들에 대한 신뢰 수준은 보다 적다.

다른 양태에서, HDR 이미지는 LDR 이미지로서 렌더링된다. HDR 이미지 내 샘플 값들이 각자의 하위 동적 범위 값들로 톤 매핑된다. 톤 매핑된 샘플 값들 각각에 대한 국지적 콘트라스트 값이 산출된다. 각자의 국지적 콘트라스트 값에 적어도 부분적으로 기초하여, 톤 매핑된 샘플 값들 각각에 대한 잔차 신호가 도출된다. 예를 들어, 각각의 톤 매핑된 샘플 값은 각자의 국지적 콘트라스트 값과 곱해진다. 잔차 신호들에 대해 스케일링 및 필터링이 적용될 수 있다. 스케일링은 각자의 잔차 신호에 해당하는 톤 매핑된 샘플 값의 함수인 스케일링 팩터를 인가하는 것을 포함할 수 있다. 톤 매핑된 샘플 값들 및 각자의 잔차 신호들에 적어도 부분적으로 기초하여 LD 이미지들의 샘플 값들이 산출된다. 예를 들어, LDR 이미지의 샘플 값들은 톤 매핑된 샘플 값, 잔차 신호 및 고주파 디더링 신호를 결합하고, 0과 255까지의 범위 안에 있는 어떤 정수에 매핑함으로써 산출될 수 있다. 그런 다음 LDR 이미지가 어떤 다른 방식을 통해 디스플레이되거나 처리될 수 있다. 전처리(가령, 화상 크기 리사이징, 명시적 노출 조정, 명시적 동적 범위 조정, 컬러 온더 조정, 컬러 개선)이 톤 매핑에 앞서 HDR 이미지에 대해 수행될 수 있다.

톤 매핑은 전역 톤 매핑 룩업 테이블을 생성하는 것, 및 룩업 테이블에 대한 검색 수행과 같은 것을 통해 HDR 이미지 내 샘플 값들에 대한 LDR 값을 식별하는 것을 포함할 수 있다. 전역 톤 매핑 룩업 테이블은 적응적 감마(gamma) 함수에 기초하여 생성될 수 있다. 톤 매핑이 HDR 이미지의 저 해상도 미리보기 버전이나 HDR 이미지의 완전 해상도 버전에 적용될 수 있다. 예를 들어, 이미지의 프리뷰 버전에 적용되는 톤 매핑은 최종 이미지를 저장할 때 이미지의 완전 해상도 버전에 적용될 수 있다. 변형된 톤 매핑 파라미터들이 HDR 이미지의 사본들에 대해 적용될 수 있고, 톤 매핑된 버전들이 가령 애니메이션 효과를 내기 위해 순차적으로 디스플레이될 수 있다.

다른 양태로서, HDR 이미지 렌더링 파라미터들의 사용자 선호사항들을 설정하기 위해 한 개 이상의 사용자 선호 콘트롤들이 제공된다. 예를 들어, 사용자 조정 가능 콘트롤들이 이미지 편집 애플리케이션의 일환으로서 사용자 인터페이스를 통해 제공될 수 있다. 사용자 선호 콘트롤들로부터 사용자 선호 정보가 수신된다. 사용자 선호 정보는 HDR 이미지를 포함하는 HDR 이미지 파일을 위한 HDR 이미지 렌더링 파라미터들에 해당한다. HDR 디지털 이미지가 사용자 선호 정보에 적어도 부분적으로 기초하여 렌더링된다. 렌더링은 복수의 톤 매핑된 샘플 값들 각각에 대한 국지적 콘트라스트 값을 산출하는 것과, 각자의 톤 매핑된 샘플 값들에 대한 국지적 콘트라스트 값들에 적어도 부분적으로 기초하여 LDR 이미지의 샘플 값들을 산출하는 것을 포함한다.

단일 사용자나 다중 사용자들과 관련된 사용자 선호 정보는 메타데이터로서 이미지 파일 안에 저장될 수 있다. 예를 들어, 사용자 신원 정보가 사용자 선호 정보와 함께 저장될 수 있으며, 사용자 신원 정보는 각자의 사용자와 연관될 수 있다. 사용자 선호 정보를 메타데이터로서 저장하는 것은 오리지널 HDR 이미지 정보를 파일 안에 보존하는 것을 용이하게 할 수 있다. 사용자 선호 콘트롤들은, 예컨대 신호 스케일링 콘트롤들, 신호 필터링 콘트롤들, 감마 콘트롤들, 컬러 개선 콘트롤들, 리사이징 콘트롤들, 컬러 온도 콘트롤들, 및 백색 포인트 콘트롤들을 포함할 수 있다.

상기 및 다른 본 발명의 목적, 특징 및 이점은 첨부된 도면을 참조하여 기술되는 이하의 상세할 설명으로부터 보다 자명해질 수 있다.

도 1a는 기술된 실시예들의 일부가 구현될 수 있는 적절한 컴퓨팅 환경(100)의 일반화된 예를 도시한다.
도 1b는 기술된 실시예들이 구현될 수 있는 적절한 구현 환경의 일반화된 예를 도시한다.
도 2는 한 개 이상의 기술된 실시예들에 따른 HDR 이미지 생성 및 HDR 이미지 렌더링을 포함하는 전형적인 디지털 HDR 이미징 작업흐름도를 예시한 도면이다.
도 3은 한 개 이상의 기술된 실시예들에 따른 일반화된 HDR 이미지 처리 시스템을 예시한 도면이다.
도 4는 한 개 이상의 기술된 실시예들에 따라 SDR 이미지들의 집합으로부터 HDR 이미지를 생성하는 전형적 기법을 도시한 흐름도이다.
도 5는 한 개 이상의 기술된 실시예들에 따른 HDR 이미지 생성 시스템의 전형적 구현예를 도시한 도면이다.
도 6은 한 개 이상의 기술된 실시예들에 따라 HDR 이미지를 렌더링하기 위한 전형적 기법을 도시한 흐름도이다.
도 7은 한 개 이상의 기술된 실시예들에 따른 HDR 이미지 렌더링 시스템의 전형적 구현예를 도시한 도면이다.
도 8은 한 개 이상의 기술된 실시예들에 따른 필터링 동작을 위한 현재 샘플 위치를 포함하는 축들을 도시한 도면이다.
도 9는 한 개 이상의 기술된 실시예들에 따른 사용자 선호 정보에 기초하여 HDR 이미지를 처리하는 전형적 기법을 도시한 흐름도이다.
도 10은 한 개 이상의 기술된 실시예들에 따른 사용자 선호 정보에 기초하여 HDR 이미지들을 생성하거나 렌더링하는 HDR 이미지 처리 시스템의 전형적 구현예를 도시한 도면이다.

기술되는 기법들 및 도구들은 높은 동적 범위(HDR) 디지털 이미지들을 생성 및 렌더링하는 다양한 양태들 및 관련된 사용자 인터페이스 특성들에 관한 것이다.

여기 기술된 구현예들에 대한 다양한 대안들이 있을 수 있다. 예를 들어, 흐름도들을 참조하여 기술된 기법들은 소정 단계들을 반복하거나 생략하는 것 등을 통해 그 흐름도들에서 보여진 단계들의 배열을 바꿈으로써 변경될 수 있다. 또 다른 예로서, 일부 구현예들은 특정 디지털 미디어 포맷들을 참조하여 기술되고 있지만, 다른 포맷들 역시 사용될 수 있다.

다양한 기법과 도구가 결합되거나 독립적으로 사용될 수 있다. 여러 실시예들은 기술된 기법들과 도구들 중 한 개 이상을 구현한다. 여기 기술되는 일부 기법들 및 도구들은 디지털 정지 이미지들을 처리하기 위한 소프트웨어를 가진 컴퓨터 시스템이나 디지털 정지 이미지들의 처리에 특정하게 국한되지 않는 어떤 다른 시스템에서 사용될 수 있다. 예를 들어, 여기에 기술되는 기법들 및 도구들은 디지털 비디오를 처리하기 위해 사용될 수 있다.

I. 전형적 컴퓨팅 환경

도 1a는 기술된 실시예들의 일부가 구현될 수 있는 적절한 컴퓨팅 환경(100)의 일반화된 예를 도시한다. 여기 기술되는 기법들 및 도구들이 다양한 범용 혹은 특수 목적 컴퓨팅 환경에서 구현될 수 있으므로, 이 컴퓨팅 환경(100)이 사용 범위나 기능에 관한 어떤 한계를 제시하는 것으로 의도된 것은 아니다.

도 1a를 참조하면, 컴퓨팅 환경(100)은 적어도 한 개의 CPU(110) 및 관련 메모리(120)뿐 아니라, 비디오 가속화에 사용되는 GPU나 다른 코프로세싱 유닛(115) 및 관련 메모리(125)를 포함한다. 도 1a에서 이러한 가장 기본적인 구성(130)은 점선 안에 포함된다. 처리 유닛(310)은 컴퓨터 실행 가능 명령들을 실행하며 실제 혹은 가상의 프로세서일 수 있다. 멀티 프로세싱 시스템에서는 여러 처리 유닛들이 컴퓨터 실행 가능 명령어들을 실행함으로써 처리 능력을 높인다. 메모리(120, 125)는 휘발성 메모리(가령, 레지스터, 캐시, RAM), 비휘발성 메모리(가령, ROM, EEPROM, 플래시 메모리 등), 또는 그 둘의 어떤 조합일 수 있다. 메모리(120, 125)는 기술된 기법들 및 도구들 중 한 개 이상을 가진 시스템을 구현하기 위한 소프트웨어(180)를 저장한다.

컴퓨팅 환경은 추가적 특징을 가질 수 있다. 예를 들어, 컴퓨팅 환경(100)은 스토리지(140), 한 개 이상의 입력 장치들(150), 한 개 이상의 출력 장치들(160), 및 한 개 이상의 통신 연결부들(170)을 포함한다. 버스, 제어기, 또는 네트워크 같은 상호연결 메커니즘(미도시)이 컴퓨팅 환경(100)의 구성요소들을 상호 연결한다. 통상적으로, 운영체계 소프트웨어(미도시)가 컴퓨팅 환경(100)에서 실행되는 다른 소프트웨어의 운영 환경을 제공하고, 컴퓨팅 환경(100)의 구성요소들의 활동들을 조정한다.

스토리지(140)는 착탈형 또는 비착탈형일 수 있고, 정보를 저장하는데 사용될 수 있고 컴퓨팅 환경(100) 안에서 액세스될 수 있는 마그네틱 디스크, 마그네틱 테이프 또는 카세트, CD-ROM, DVD, 메모리 카드 또는 어떤 다른 매체를 포함한다. 스토리지(140)는 기술된 기법들 및 도구들을 구현하는 소프트웨어(180)의 명령어들을 저장한다.

입력 장치(들)(150)은 키보드, 마우스, 펜, 트랙볼 또는 터치 스크린과 같은 터치 입력 장치, 음성 입력 장치, 스캐닝 장치, 디지털 카메라, 또는 컴퓨팅 환경(100)에 입력을 제공하는 다른 장치일 수 있다. 비디오에 있어서, 입력 장치(들)(150)은 비디오 카드, TV 튜너 카드, 또는 아날로그나 디지털 형식의 비디오 입력을 수용하는 그와 유사한 장치이거나, 컴퓨팅 환경(100)으로 비디오 샘플들을 판독하는 CD-ROM 또는 CD-RW일 수 있다. 출력 장치(들)(160)은 디스플레이, 프린터, 스피커, CD-라이터, 또는 컴퓨팅 환경(100)으로부터 출력을 제공하는 다른 장치일 수 있다.

통신 접속부(들)(170)은 통신 매체를 통해 다른 컴퓨팅 개체와 통신을 가능하게 한다. 통신 매체는 컴퓨터 실행 가능 명령어, 오디오나 비디오 입력 또는 출력, 또는 변조된 데이터 신호로 된 다른 데이터와 같은 정보를 전달한다. 변조된 데이터 신호는 신호 안에 정보를 인코딩하기 위한 방식으로 세팅되거나 변경되는 신호의 특성들 중 한 개 이상을 가지는 신호이다. 한정하는 것이 아닌 예로서, 통신 매체는 전기, 광, RF, 적외선, 음향, 또는 다른 캐리어를 이용하여 구현되는 유선 또는 무선 기법들을 포함한다.

상기 기법들과 도구들은 일반적 맥락의 컴퓨터 판독 가능 매체 안에 기술될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨팅 환경 안에서 액세스될 수 있는 어떤 이용 가능한 매체이다. 한정하는 것이 아닌 예로서, 컴퓨팅 환경(100)을 이용할 때, 컴퓨터 판독 가능 매체는 메모리(120, 125), 스토리지(140), 및 위의 것들 중 임의의 조합들을 포함한다.

상기 기법들과 도구들은 프로그램 모듈들 안에 포함되어 실제나 가상의 타깃 프로세서 상의 컴퓨팅 환경 안에서 실행되는 컴퓨터 실행 가능 명령어들의 일반적 맥락 안에서 기술될 수 있다. 일반적으로 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터 타입을 구현하는 루틴, 프로그램, 라이브러리, 오브젝트, 클래스, 컴포넌트, 데이터 구조 등을 포함한다. 프로그램 모듈들의 기능은 다양한 실시예들에서 원하는 바대로 프로그램 모듈들 사이에 결합되거나 분산될 수 있다. 프로그램 모듈들의 컴퓨터 실행 가능 명령어들은 국지적 또는 분산 컴퓨팅 환경 안에서 실행될 수 있다.

표현의 목적 상, 상세한 설명은 "선택한다(select)" 및 "판단(결정)한다(determine)"와 같은 용어들을 사용하여 컴퓨팅 환경 내 컴퓨터 동작들을 기술한다. 이러한 용어들은 컴퓨터에 의해 수행되는 동작들의 고급 추상 관념들로서, 사람에 의해 수행되는 행위들과 혼동해서는 안될 것이다. 그러한 용어들에 상응하는 실제 컴퓨터 동작들은 구현예에 따라 달라진다.

II . 전형적 구현 환경

도 1b는 기술된 실시예, 기법, 및 기술들이 구현될 수 있는 적절한 구현 환경(190)의 일반화된 예를 도시한다.

전형적 환경(190)에서 다양한 타입의 서비스들(가령, 컴퓨팅 서비스들)이 클라우드(192)를 통해 제공된다. 예를 들어 클라우드(192)는 중앙 집중식으로 위치되거나 분산될 수 있으며, 인터넷과 같은 네트워크를 통해 연결되는 다양한 유형의 사용자들 및 장치들로 클라우드 기반 서비스들을 제공하는 컴퓨팅 장치들의 모음을 포함할 수 있다.

전형적 환경(190)에서, 클라우드(192)는 다양한 스크린 기능들을 가진 연결 장치들(194A-N)로 서비스를 제공한다. 연결 장치(194A)는 대형 스크린을 가진 장치를 나타낸다. 예를 들어 연결 장치(194A)는 데스크 탑 컴퓨터, 랩탑, 노트북, 넷북 등과 같은 퍼스널 컴퓨터일 수 있다. 연결 장치(194B)는 작은 크기의 스크린을 가진 장치를 나타낸다. 예를 들어 연결 장치(194B)는 모바일 전화기, 스마트 폰, PDA, 태블릿 컴퓨터 등일 수 있다. 연결 장치(194N)는 대형 스크린을 가진 장치를 나타낸다. 예를 들어 연결 장치(194A)는 텔레비전 스크린(가령, 스마트 텔레비전)이나 텔레비전에 연결되는 다른 장치(가령, 셋톱박스 또는 게임 콘솔)일 수 있다.

다양한 서비스들이 클라우드(192)에 의해 한 개 이상의 서비스 제공자들(미도시)을 거쳐 제공될 수 있다. 예를 들어 클라우드(192)는 HD 이미지 생성 및 렌더링과 관련된 서비스들을 다양한 연결 장치들(194A-N) 중 한 개 이상에 제공할 수 있다. 클라우드 서비스들은 특정 연결 장치(가령, 연결 장치들(194A-N))의 스크린 크기, 디스플레이 능력, 또는 다른 기능에 맞춤화될 수 있다. 예를 들어 클라우드 서비스는 통상적으로 모바일 장치들과 연관된 스크린 사이즈, 입력 장치, 및 통신 대역폭 제한을 참작함으로써 모바일 장치들에 대해 맞춤화될 수 있다.

III. 높은 동적 범위 이미징 -개요

사람의 시각 체계가 특히 밝기와 관련하여 매우 광대한 동적 범위 안의 세부사항들을 인지할 수는 있다고 해도, 사람들은 보통 그 동적 범위의 전체 넓이에 걸친 세부사항들을 보통 모두 한 번에 습득하지 못한다. 예를 들어, 사람들이 매우 밝은 영역과 매우 어두운 영역에서 동시에 세부사항들을 습득하는 것은 어렵다. 그러나, 장면 안의 다양한 국지적 영역들 상에 초점을 맞춤으로써, 사람의 시각 체계는 밝은 영역들(가령, 하늘)뿐 아니라 어두운 영역들(가령, 그늘) 안의 세부사항들을 보기 위해 국지적 영역들에서의 밝기에 매우 빠르게 적응할 수 있다.

기존의 많은 디지털 카메라들(대부분의 DSLR(digital single lens reflex) 카메라들을 포함)은 직접적 HDR 이미지 캡처 기능을 결여하며, 단지 표준 동적 범위에 있는 하나의 관점으로부터 각각의 샷을 전달할 수 밖에 없다. 따라서, 사람이 인지할 수 있는 세부사항의 수준과 SDR 이미지들에 표현될 수 있는 세부사항의 수준 사이에는 큰 갭이 존재한다. 이 문제에 대한 실행 가능한 해법이 높은 동적 범위(HDR(High Dynamic Range)) 이미징이다. HDR 이미지는 한 장면 내에서 풍부한 정보를 캡처할 수 있으며, 적절히 렌더링될 때 매우 현실적인 시각적 경험을 제공할 수 있다. 사람의 시각 체계의 비선형성 및 국지 적응 성질로 인해, 대부분의 HDR 이미징 경험은 일반적 프린트 출력이나 기존의 디스플레이를 통해 이루어질 수 있으며, 이는 HDR 이미지들에 대한 시장을 잠재적으로 매우 크게 만들 수 있다. 그에 따라 최근들어 HDR 이미징 기술들이 전문 사진가들과 취미 생활자들을 포함하는 사용자들로부터 보다 많은 관심을 끌고 있다.

A. 톤 매핑 ( tone mapping )

HDR 이미지를 SDR 디스플레이를 위해 렌더링하는 것과 같이, HDR 이미지 정보를 보다 낮은 동적 범위로 변환하는 한 가지 방법은 HDR 이미지 정보에 톤 맵(tone map)을 적용하는 것이다. 톤 맵은 이미지 샘플 값 s를 샘플 값 g(s)로 매핑하는 함수를 말한다. 전역 톤 매핑은 주어진 이미지 안의 샘플 값들 각각에 전역 톤 맵을 적용하는 프로세스이다. 예를 들어 이미지의 밝기 및/또는 콘트라스트 품질들을 사용자에 의해 요망되는 것과 같이 변경하기 위해 전역 톤 맵이 이미지에 적용될 수 있고, 그 결과 톤 매핑된 이미지 G(I)를 낳을 수 있다. 국지적 톤 매핑은 이미지 I를 톤 매핑된 이미지 L(I)로 변환하는 함수 L를 말한다. 전역 톤 매핑에서와 같이, 국지적 톤 맵은 이미지의 밝기 및 콘트라스트 조정을 목적으로 이미지에 적용될 수 있다. 그러나, 국지적 톤 맵은 이미지에 균일하게 적용될 수는 없는 국지적 조정을 허용할 수 있다.

톤 매핑은 다양한 목적으로 이미지들에 적용될 수 있다. 예를 들어 톤 매핑은 HDR 이미지 내 샘플 값들을 보다 좁은 동적 범위로 매핑하는 것을 포함할 수 있다. 이러한 종류의 매핑에 대한 하나의 적용예가 완전 동적 범위의 HDR 이미지를 디스플레이할 수 없는 모니터 상에 디스플레이하기 위해 HDR을 렌더링하는 것이다. 이러한 종류의 또 다른 적용예는 HDR 이미지를 이미지에 대해 보다 낮은 비트 깊이 표현을 요하는 포맷으로 인코딩하기 위해 준비시키는 것이다.

B. 전형적인 이미지 포맷들

여기 기술된 디지털 이미지들은 컬러, 그레이 스케일, 또는 다른 타입의 이미지들일 수 있으며, 다양한 파일 포맷들(가령, GIF, PNG, BMP, TIFF, TIFF Float32, JP2, HDR, OpenEXR, JPEG XR, Radiance RGBE 및/또는 다른 포맷들)로 표현될 수 있다. 이 장에서는 HDR 이미지들을 생성하고 HDR 이미지들을 렌더링하기 위해 기술된 기법들 및 도구들, 그리고 관련 사용자 인터페이스 특성들을 이용하여 사용될 수 있는 어떤 이미지 포맷들에 관한 세부사항을 제공한다. 예를 들어 기술된 기법들과 도구들은 JPEG XR 포맷으로 HDR 이미지들을 처리할 수 있다.

JPEG XR은 HDR 이미지들을 인코딩하는데 유용한 유연하고 강력한 포맷으로, 최대 32 비트의 유동 소수점 수까지 지원한다. JPEG XR은 HDR 이미지 코딩을 지원하면서 압축 및 압축해제 둘 모두를 위해 정수 연산(분수 이용 안 함)만을 요한다. JPEG XR은 이미지 데이터 및, IFD 태그들을 통한 Exif 메타데이터, HD 포토 메타데이터, 및 XMP 메타데이터를 포함할 수 있는 메타데이터를 저장하기 위한 파일 컨테이너와 호환가능하다. TIFF Float, OpenEXR, 및 Radiance RGBE와 같은 기존의 HDR 포맷들과 비교할 때, JPEG XR 포맷은 훨씬 더 높은 압축 능력을 제공하면서 합당한 이미지 품질을 유지한다. JPEG XR 파일 포맷은 확장성이 있으므로, 이미지 비트 스트림들을 변경하지 않고 추가 메타데이터(전매 특허 또는 표준형)가 JPEG XR 파일들 안에 삽입될 수 있다.

래디언스(Radiance) RGBE는 HDR 이미지 데이터를 운반하기 위한 또 다른 포맷이다. RGBE 이미지 안에서 각각의 픽셀은 32 개의 비트들로 표현된다: 적색 가수(mantissa) (R)를 위한 비트들의 한 그룹(가령, 한 바이트), 녹색 가수(G)를 위한 비트들의 한 그룹(가령, 한 바이트), 청색 가수(B)를 위한 비트들의 한 그룹(가령, 한 바이트), 및 R, G 및 B 채널들 각각에 대해 가수로 표현되는 값들로 적용되는 상용 지수(E)에 대한 나머지 비트들(가령, 한 바이트). RGBE에서, 유효 픽셀 값들(fR, fG, fB)은 유동 소수점 수들이며, 여기서 fR = R*2^(E-128); fG = G*2^(E-128); 및 fB = B*2^(E-128)이다. RGBE 규칙은 최대 8 비트 가수를 [128, 255] 범위 안으로 한정하지만, 다른 두 개의 8 비트 가수들은 한정되지 않는다(즉, 그 범위가 [0, 255]이다). 따라서, RGB로부터 RGBE로의 매핑은 단 하나 뿐이다. RGBE가 제공할 수 있는 동적 범위는 [2^-127, 2⁺¹²⁷]이며, 이것은 대략 십의 76 제곱이 된다. RGBE 픽셀로부터 복원된 RGB 값은 미부호이다-모든 0 아닌 값들은 양의 값이다. 그러나, 세 개의 컬러 성분들이 동일한 지수를 공유하므로, 두 개의 보다 작은 성분들의 정밀성이 희생된다. E=0은 해당 픽셀 값이 0임을 나타내는 특별한 경우이다.

Radiance RGBE (9:9:9:5)의 한 변종은 적색, 녹생 및 청색 가수 채널들에 대해 각각 9 비트씩을 할당하고 지수에 5 비트를 할당하므로, 상술한 8:8:8:8 포맷에서와 같이 각 픽셀을 32 비트들로 나타낼 수 있다. 가수 및 지수에 다양한 수의 비트들이 할당되는 RGBE의 다른 표현들 역시 있을 수 있다.

유동 소수점 이미지 데이터를 나타냄에 있어 32 비트 유동 소수점("32-bit float")이 일반적으로 사용된다. 32 비트 유동 소수점 이미지들을 규정하는 컨테이너 포맷들은 휴대형 유동 맵("PFM(Portable Float Map)") 및 태깅된 이미지 파일 포맷("TIFF(Tagged Image File Format)")을 포함한다. IEEE 754, 32 비트 단정밀 유동 수는 부호(들)을 위해 1 비트, 지수(e)에 대해 8 비트, 그리고 가수(m)에 대해 23 비트들을 포함한다. 16 비트 유동수("half"이라고도 칭함)는 한 개의 부호 비트, 다섯 개의 지수 비트들 및 열 개의 가수 비트들을 가진다. 16 비트 및 32 비트 유동 소수 표현들은 필드들의 길이에 있어서의 특정 차이를 제외하면 구조적으로 동일하므로, 이들은 일반적으로 "유동 소수점"이라 불릴 수 있다.

어떤 이미지 포맷들은 국제 표준들에 의해 특정된다. 예를 들어 JPEG 및 JPEG2000 표준들은 디코더들이 각기 JPEG 및 JPEG2000 포맷으로 인코딩된 이미지들을 디코딩하도록 하는 요건들을 기술한다. JPEG2000 부합 인코더 및 디코더("코덱")는 양호한 압축 효율성을 가진 고품질 이미지들을 제공한다. JPEG XR 표준은 윈도우즈 미디어 기술들의 패밀리의 일부로서 마이크로소프트 사가 개발한 독점적 이미지 압축 포맷들인 윈도우즈 미디어 포토 및 HD 포토(Windows Media Photo and HD Photo)로부터 개발되었다. JPEG XR은 국제 표준 ISO/IEC 29199-2:2009에 기술되어 있다.

IV. 높은 동적 범위 이미지 생성 및 렌더링을 위한 기법들과 도구들

기술된 실시예들은 HDR 이미지들을 생성하기 위한 기법들 및 도구들(가령, 다양한 노출 수준을 가진 SDR 이미지들의 집합으로부터 HDR 이미지를 생성하는 알고리즘), HDR 이미지들을 렌더링하는 기법들 및 도구들(가령, HDR 이미지를 SDR 이미지나 디스플레이로 렌더링하는 알고리즘), 및 HDR 이미지 처리를 위한 제어 파라미터들을 설정하기 위한 기법들 및 도구들(가령, 제어 파라미터들로서 내장된 렌더링 파라미터들을 사용하여 HDR 이미지 코딩을 촉진하는 도구들)을 포함한다.

도 2에 도시된 바와 같이, 전형적인 디지털 HDR 이미징 작업흐름도(200)는HDR 이미지 생성(210) 및 HDR 이미지 렌더링(220)을 포함한다. HDR 이미지 생성(210) 시, HDR 이미지가 생성된다. 예를 들어 여러 SDR 이미지들(가령, 살짝 다른 시점에 촬영된 동일한 장면의 이미지들로서 각각이 상이한 노출 설정을 가짐)로부터 정보를 합성하여 HDR 이미지가 생성될 수 있다. HDR 비트 깊이를 가진 오리지널 이미지들을 캡처할 수 있는 이미지 캡처 장치를 사용하여 이미지를 캡처하는 등과 같이, 여러 이미지들을 결합하지 않고 바로 HDR 이미지들을 생성하는 것 역시 가능하다. HDR 이미지 생성(210)은 원치않는 이미지 아티팩트들(가령, HDR 이미지를 형성하는데 사용될 소스 이미지들을 압축할 때 생기는 아티팩트들)을 제거하기 위한 전처리(가령, 수동적이거나 자동적 동작들)를 포함할 수 있다.

HDR 이미지 렌더링(220)에서, HDR 이미지 정보는 다른 형식으로 변환된다. 예를 들어, HDR 이미지는 SDR 이미지(가령, JPEG 이미지)로서 렌더링되어 SDR 디스플레이 상에 디스플레이될 수 있다. 이미지 렌더링은 톤 매핑 프로세스(가령, 자동 혹은 반자동 톤 매핑 프로세스)를 수반할 수 있다. 렌더링된 이미지들은 공개되거나 보관될 수 있다. 그러나, HDR 이미지들을 SDR 이미지들로 변환할 때 이미지 데이터가 통상적으로 손실된다. 따라서, HDR 이미지의 오리지널 버전을 기록하는 것(가령, 이후의 단계에서 오리지널 이미지에 대한 추가 변경을 수행하기 위해)이 유용할 수 있다. 디스플레이가 재매핑 없이 완전 동적 범위의 HDR 이미지를 렌더링할 수 있을 때와 같이, 표준 동적 범위에 대한 재매핑 없이 HDR 이미지들을 렌더링하는 것 역시 가능하다.

전형적인 작업 흐름도(200)는 HDR 이미지 생성(210) 뒤에 HDR 이미지 렌더링(220)이 뒤따르는 것을 보여주지만, HDR 이미지 처리 시스템은 HDR 이미지들이 디스플레이되는 것이 아니라 저장이나 추후 처리를 위해 생성될 때와 같이, 그들의 렌더링 없이 HDR 이미지들을 생성할 수 있다. HDR 이미지 처리 시스템은 또한, HDR 이미지 처리 시스템이 HDR 이미지를 먼저 생성하지 않고 어떤 다른 소스로부터 (가령, 통신 매체를 통해) HDR 이미지 정보를 획득할 때와 같이, 그들의 생성 없이 HDR 이미지들을 렌더링할 수도 있다.

여기 기술된 예들에서 SDR 이미지들은 컬러 채널 당 8 비트(bpc)를 가지는 이미지들이며, HDR 이미지들은 16bpc나 그 이상의 이미지들이다. 좀 더 일반적으로 말하면, "표준 동적 범위" 또는 "SDR"은 HDR 이미지보다 좁거나 낮은 동적 범위를 갖는 디스플레이, 이미지, 포맷 등을 말한다. (SDR 이미지들은 또한 보다 낮은 동적 범위 또는 LDR 이미지들이라 불릴 수 있다.) 마찬가지로, "높은 동적 범위" 또는 HDR은 SDR 이미지보다 넓거나 높은 동적 범위를 갖는 디스플레이, 이미지, 포맷 등을 말한다. 예를 들어 기술되는 실시예들은 16bpc SDR 이미지들로부터 32bpc HDR 이미지들을 생성하거나, 32bpc HDR 이미지들을 16bpc 모니터 상에 디스플레이하기 위해 렌더링하는 데 사용될 수 있다.

일반적으로 여기에 기술된 디지털 이미지들은 디지털 이미지들을 캡처할 수 있는 어떤 장치(가령, 디지털 정지 이미지 카메라, 디지털 비디오 카메라, 스캐너, 또는 카메라 폰과 같이 이미지 캡처 기능을 가진 다목적 장치들)나 디지털 이미지들을 저장할 수 있는 어떤 매체(가령, 광 디스크나 플래시 메모리와 같은 ㅂ휘발성 메모리나 휘발성 메모리)에 의해 캡처되거나 저장될 수 있다.

A. 일반화된 HDR 이미징 시스템

도 3은 일반화된 HDR 이미지 처리 시스템(310)을 예시한 도면이다. 도 3은 시스템(310)이 수용할 수 있는 다양한 종류의 이미지 입력을 보여준다. 예를 들어, 도 3은 HDR 이미지(320) 및, HDR 이미지(320)보다 나은 동적 범위들(가령, 보다 작은 노출 범위들)을 가진 SDR 이미지들(332, 334, 336 및 338)의 집합(330)을 도시한다. 일반적으로, 시스템(310)에 대한 이미지 입력은 단일 이미지, 이미지들의 집합(가령, HDR 이미지를 구성하는데 사용되는 가변하는 동적 범위들을 가지는 이미지들의 집합, 또는 몇몇 HDR 이미지들의 집합), 및/또는 이미지들과 관련된 메타데이터나 사용자 설정 데이터(미도시)와 같은 다른 정보일 수 있다. 메타데이터는 예컨대 카메라 설정사항들을 가리키는 정보를 포함할 수 있다. 사용자 설정 데이터는 가령, 이미지들을 보거나 수정하기 위한 사용자 제어형 파라미터 설정사항들을 포함할 수 있다. 메타데이터 및 사용자 설정 데이터는 이미지 파일들 안에 포함되거나 따로따로 제공될 수 있다. 오직 한 개의 HDR 이미지만이 도 3에 도시되어 있지만, 시스템(310)은 한 개를 넘는 HDR 이미지를 입력으로서 수용할 수 있다.

도 3은 HDR 이미지들을 생성하도록 동작하는 HDR 생성기(340) 및 디스플레이하기 위해 HDR 이미지들을 렌더링하도록 동작하는 HDR 이미지 렌더러(350)를 도시한다. 이 시스템(310)은 HDR 이미지 생성기(340) 및 HDR 이미지 렌더러(350)를 보여주며, 시스템(310)은 HDR 이미지들이 디스플레이되는 것이 아니라 저장이나 추후 처리를 위해 생성될 때와 같이, 렌더링 없는 HDR 이미지들의 생성을 수행할 수 있다. 시스템(310)은 또한, HDR 이미지 처리 시스템이 HDR 이미지를 먼저 생성하지 않고 어떤 다른 소스로부터 (가령, 통신 매체를 통해) HDR 이미지 정보를 획득할 때와 같이, HDR 이미지 생성 없이 HDR 이미지 렌더링을 수행할 수도 있다.

도 3에 도시된 예에서, HDR 이미지 생성기(340)는 SDR 이미지 집합(330)(가령, 살짝 다른 시점에 촬영된 동일한 장면의 이미지들로서 각각이 상이한 노출 설정을 가짐)으로부터 정보를 합성한다. 그런 다음 HDR 이미지 렌더러(350)는 생성된 HDR 이미지를 SDR 이미지로 매핑하여 디스플레이(360) 상에 출력할 SDR 이미지를 준비할 수 있다. 디스플레이가 재매핑 없이 완전 동적 범위의 HDR 이미지를 디스플레이할 수 있을 때와 같이, 표준 동적 범위로의 재매핑 없이 HDR 이미지들을 렌더링하는 것 역시 가능하다.

시스템(310) 안에 있는 모듈들 사이에 보여진 관계들은 시스템 내 정보의 일반적 흐름을 나타낸다; 다른 관계들은 단순성을 위해 보여지지 않는다. 특정 실시예들은 통상적으로, 일반화된 시스템(310)의 변형 또는 보충된 버전을 이용한다. 원하는 구현예 및 처리 유형에 따라, 시스템의 모듈들이 추가, 생략, 여러 모듈들로의 분할, 다른 모듈들과의 결합, 및/또는 유사 모듈들로 대체될 수 있다. 다른 대안적 실시예들에서, 다양한 모듈들 및/또는 모듈들의 다른 구성을 가진 시스템들이 상기 기술된 기법들 중 한 개 이상을 수행한다.

예를 들어, 시스템(310)은 고주파 성분들을 선택적으로 제거하기 위해, 저대역 통과 필터나 다른 필터를 사용하여, 입력된 디지털 이미지들을 평탄화하는 전치 프로세서를 포함할 수 있다. 또는 전치 프로세서가 다른 전처리 작업들을 수행한다. 시스템(310)은 또한 이미지 데이터를 포함하는 한 개 이상의 인코더들을 포함할 수 있고, 압축된 디지털 이미지 정보의 비트 스트림을 출력한다. 인코더에 의해 수행되는 엄밀한 동작들은 압축 포맷에 따라 가변될 수 있다. 예를 들어 인코더는 JPEG XR과 같은 HDR 이미지 포맷에 따라 HDR 이미지 정보를 압축하거나, 인코더가 JPEG과 같은 포맷에 따라 SDR 이미지 정보를 압축할 수 있다. 시스템(310)은 또한 압축된 이미지 데이터를 압축해제하는 한 개 이상의 디코더들을 포함할 수 있으며, 압축해제된 디지털 이미지 정보의 비트 스트림을 출력한다. 디코더에 의해 수행되는 엄밀한 동작들은 압축 포맷에 따라 가변될 수 있다. 예를 들어, JPEG XR 부합 디코더는 JPEG XR 파일 안의 HDR 이미지 정보를 압축해제할 수 있고, 아니면 JPEG 부합 디코더가 JPEG 파일 안의 SDR 이미지 정보를 압축해제할 수 있다.

B. 높은 동적 이미지 생성을 위한 접근법

1. 일반화된 기법

도 4는 모션 분석에 기초하여 SDR 이미지들의 상대적 노출이 도출되는, SDR 이미지들의 집합으로부터 HDR 이미지를 생성하는 기법(400)을 도시한다. 도 3에 도시된 HDR 이미지 처리 시스템(310)과 같은 시스템이나 다른 시스템이 이 기법(400)을 수행한다.

410에서, 시스템은 한 장면을 묘사하는 디지털 이미지들의 집합 안의 어떤 기준 이미지에 대한 모션 분석을 수행한다. 모션 분석은 기준 이미지에 대해 상대적인, 상기 집합 내 기준 아닌 이미지들 각각의 이미지 차들을 판단하는 것을 포함한다. 한 구현예에서, 시스템은 집합 내 이미지들 중 어느 것이 허용가능한 노출 범위 안에 들어오는 대부분의 샘플 값들을 가지는지를 판단하고 그 이미지를 기준 이미지로 지정함으로써 후보 이미지들의 집합에서 기준 이미지를 선택한다. 대안적으로, 기준 이미지가 어떤 다른 방식에 따라 기준 이미지로 지정되기도 한다.

420에서, 시스템은 모션 분석에 적어도 부분적으로 기초하여 기준 이미지에 대한 노출 수준들을 도출한다. 예를 들어, 시스템은 기준 아닌 이미지들에 대한 모션 분석 정보에 기초하여 각각의 기준 아닌 이미지의 상대적 노출 레벨들을 도출한다.

430에서 시스템은 복수의 디지털 이미지들의 집합을 통합하여 장면을 묘사하는 HDR 디지털 이미지를 형성한다. 상기 통합은 상대적 노출 레벨들을 적어도 부분적으로 기반으로 한다. 예를 들어 각각의 기준 아닌 이미지에 대한 상대적 노출 레벨들이 도출되었을 때, 시스템은 그러한 상대적 노출 레벨들을 사용하여 HDR 디지털 이미지의 샘플 값들을 산출한다.

2. 전형적인 구현예들

이 장은 SDR 이미지들로부터 HDR 이미지를 생성하는 접근법들의 그룹 중 전형적인 구현예들의 구현 세부사항을 제공한다.

HDR 이미지 생성 시스템(510)의 전형적 구현예가 도 5에 도시된다. 이 예에서, HDR 이미지 생성 시스템(510)은 입력으로서 SDR 이미지 정보를 취하며, SDR 이미지 정보는 이미지들이 처리 및 통합될 때 보다 높은 동적 범위 이미지(590)를 도출할 한 개 이상의 여러 설정들을 가진 장면의 이미지들인 SDR 이미지들(522, 524, 526, 528)의 집합에 대한 이미지 정보를 포함한다. 예를 들어 SDR 이미지들(522, 524, 526, 528)은 상이한 시점에 상이한 노출 설정을 가지고 촬영되는 장면의 이미지들이다. 도 5는 다양한 처리 단계들을 구현하여 출력으로서 HDR 이미지(590)를 생성하는 전형적인 모듈들을 도시한다.

a. 모션 분석

모션 분석기(530)가 입력된 SDR 이미지들(522, 524, 526, 528)의 모션을 분석한다. 예를 들어 SDR 이미지들(522, 524, 526, 528)이 어떤 장면의 서로 다른 시점에서의 시각적 상태를 나타낼 때, 모션 분석기(530)는 이미지들의 시퀀스에서 일어난 모션을 분석한다. 어떤 장면의 이미지들이 서로 다른 시점에서 촬영될 때, 장면의 서로 다른 샷들 사이에 이미지 모션(전역적인 모션이거나 국지적인 모션)이 있을 가능성이 매우 높다. 모션 분석기(530)는 다양한 샷들에 걸친 이미지 텍스처들을 맞추고 움직임을 정량화함으로써 그 움직임이 추후 처리를 수행할 때 고려될 수 있도록 한다.

모션 분석기(530)는 기준 이미지에 대해 상대적인 모션 분석을 수행한다. 도 5에 도시된 예에서, 이미지(524)가 기준 이미지로 지정된다. 기준 이미지는 통상적으로, 중간 노출 범위(즉, 입력 이미지들의 집합에서 가장 밝지도 가장 어둡지도 않은 노출 범위)를 가진 이미지이다. 한 구현예에서, 기준 이미지는 입력된 이미지들의 집합에서 어느 이미지가 "정상" 범위-즉, 너무 높거나(포화되거나) 너무 낮은(노출부족) 것이 아닌 범위- 안에 가장 많은 샘플 값들을 가지는가에 기초하여 선택된다. 정상 노출 범위의 한계, 및 정상 범위가 결정되는 방법은 가변될 수 있다. 예를 들어 정상 노출 범위는 모든 이미지들에 대해 미리 정해지거나, (가령, 이미지 정보 및/또는 사용자 설정사항에 기초하여) 각각의 이미지나 입력 이미지 집합에 대해 적응적으로 결정될 수 있다. 기준 이미지의 선택은 (가령, 이미지 정보 및/또는 사용자 선호 정보에 기초하여) 모션 분석기(530)에 의해 자동적으로 수행되거나, 이미지가 모션 분석기(530)로 제공되기 전에 기준 이미지로서 지정될 수 있다.

모션 분석기(530)는 이미지 차들을 이용하여 입력된 이미지들(522, 524, 526, 528)의 모션을 모델링한다. 비디오의 모션을 분석하기 위해 비디오 화상들의 차들을 평가하기 위한 다양한 기법들(가령, 평균 제곱 차, 제곱 차들의 합)이 개발되어 왔지만, 전형적 구현예들은 여러 샷들의 노출 차들을 설명한다는 요망성으로 인해 통상적 비디오 응용예들에서 사용될 수 있는 것과 다른 정지 이미지들의 모션 분석을 위한 평가를 이용한다. 한 구현예에서, 모션 분석기(530)는 "정규화된 교차 상관" 메트릭으로 샘플 값들의 차들을 산출함으로써 이미지 차들을 평가한다. 예를 들어 한 이미지 t(x, v)와 다른 이미지 f(x,y)와의 정규화된 교차 상관은 다음 식과 같다.

여기에서 n은 t(x, y) 및 f(x, y) 안의 픽셀들의 개수이고, σ는 표준 편차를 나타낸다. 대안적으로, 이미지 차들의 평가는 각각의 화상에서의 평균 샘플 값들 (

및

)의 감산식을 제거하는 것과 같은 다른 방법을 통해 수행될 수 있다.

다른 식으로 표현할 때, 두 이미지들(또는 이미지 영역들)을 i1(x, y) 및 i2(x', y')로 정의할 수 있다. 두 이미지들 또는 이미지 영역들(동일한 해상도와 크기 전제) 사이의 차("diff")가 다음과 같이 표현될 수 있다.

여기에서 <i>는 개별 이미지 또는 이미지 영역 "i"의 평균 샘플 값을 나타내고, sd(i)는 개별 데이터 집합의 표준 편차 (squrt(<(i-<i>)²>)를 나타낸다. "corr"는 데이터가 노출 수준들을 조정하기 위한 스케일링 팩터와 같은 상수에 의해 스케일링되는 경우의 불변식이다, 즉 다음과 같은 식이다.

여기에서 S는 스케일링 팩터를 나타내는 상수이다. 이것은 상이한 노출 레벨들을 가진 이미지들 사이의 차들을 평가하기 위한 유용한 수단일 수 있으며, 노출 수준들의 차는 스케일링 팩터를 나타내는 상수로서 나타낼 수 있다. 컬러 이미지들(가령, RGB 이미지들)에 있어서, 이미지 차는 컬러 채널들 각각의 "corr"의 평균이거나 채널들(가령, R, G, 및 B 채널들 각각에 대해 1/4, 1/2 및 1/4 가중 팩터를 가짐)의 가중 평균일 수 있다.

대안적으로, 이미지 차들의 평가는 평균 샘플 값들(가령, 상기 수학식 1의

및

)의 감산식을 생략하는 식을 이용하는 것과 같은 다른 방법으로 수행될 수도 있다. 또 대안적으로, 정규화된 상관 계수와 같은 다른 메트릭들이 모션 분석 시 적용될 수 있다.

모션 분석기(530)는 기준 이미지들 내 픽셀 위치들과 기준 아닌 이미지들 내 픽셀 위치들 사이의 매치를 검색한다. 한 구현예에서, 정규화된 교차 상관 메트릭은 샘플 값들을 분석하고 매치가 존재하는지 여부를 판단하기 위해 사용된다. 매치를 검출하는데 사용되는 매치 및 검색 패턴들을 이루는 것이 무엇인지에 대한 기준과 같은 모션 분석의 세부사항들은 구현예에 따라 가변될 수 있다. 예를 들어 모션 분석기(530)는 인접 픽셀 위치들에서 매치를 검색할 수 있고, 그 다음 검색 영역을 점진적으로 확장하여(확장되는 나선형 패턴에서와 같이) 기준 아닌 이미지 내 픽셀을 기준 이미지 내 픽셀과 매치할 수 있다.

전역 모션 분석은 패닝(panning), 셔더(shudder), 로테이션, 줌, 또는 전체 이미지에 영향을 미치는 다른 움직임들과 같은 모션을 모델링하는 것을 목적으로 하는 분석을 말한다. 전역 모션 분석은 특정 유형의 전역 모션에 부합하는 픽셀 위치들에서 매치하는 샘플 값들을 찾는 일을 포함할 수 있다. 예를 들어 기준 아닌 이미지의 패닝 모션을 찾는 일은 기준 이미지 안에서 지배적 수평 방향으로 매치하는 샘플 값들을 검색하는 일을 포함할 수 있다. 국지적 모션 분석은 물건이나 인적 대상의 움직임과 같은 이미지의 개별 부분들의 움직임을 모델링하는 것을 목적으로 하는 분석을 말한다.

특정 픽셀 위치에서 다른 위치로의 모션을 검출한 후, 모션 분석기(530)는 그 모션을 정량화한다. 한 구현예에서, 모션 분석기(530)는 어떤 이미지 안의 각각의 픽셀에 대해 기준 이미지에 상대적인 모션 벡터를 산출한다. 예를 들어 모션 벡터는 기준 이미지에 대해 상대적인 수평적 차원의 변위 및 수직적 차원의 변위를 나타낼 수 있다. 0인 모션 벡터는 특정 픽셀에 대해 아무 모션도 검출되지 않았다는 것을 나타내는 데 사용될 수 있다. 대안적으로, 모션 분석기(530)는 어떤 다른 방식으로 모션을 정량화한다. 예를 들어, 모션 분석기(530)는 입력 이미지들을 서브샘플링하고 서브샘플링된 이미지들의 픽셀들에 대한 모션 벡터들을 산출할 수 있다.

전형적 구현예에서, 현저히 낮은 샘플 값들이나 현저히 높은 샘플 값들은 모션 분석 시 고려되지 않는데, 이는 그것들이 보통 신뢰할 수 없는 것이기 때문이다; 예를 들어, 높거나 낮은 값의 샘플은 이미지 노이즈로 인한 것이거나, 그 값이 이미지 캡처 장치 내 이미지 센서의 동적 범위 한계로 인해 정확한 측정치가 아닐 수 있다. 모션 분석에 사용할 허용가능한 샘플 값들의 범위, 및 그 범위가 판단되는 방식은 가변될 수 있다. 예를 들어 모션 분석에 사용하기 위해 허용가능한 샘플 값들의 범위는 모든 이미지들에 대해 미리 정해지거나, (가령, 이미지 정보 및/또는 사용자 설정사항에 기초하여) 각각의 이미지나 입력 이미지 집합에 대해 적응적으로 결정될 수 있다.

전역 및 국지적 분석을 수행하는데 사용되는 특정 기법들은 구현예에 따라 달라질 수 있으며, 전역 모션 분석에 사용되는 기법들은 국지적 모션 분석에 사용되는 기법들과 구별될 수 있다.

b. 감마-선형( Gamma - to - linear ) 변환

감마-선형 변환기들(540)은 선형 도메인에 없는 입력 이미지 신호들을 변환하는 데 사용될 수 있다. 정지 이미지 파일들(가령, JPEG 파일들) 안의 데이터는 통상적으로 감마 인코딩된 값들을 포함한다. 한 구현예에서, 각각의 이미지 안에 포함되는 컬러 프로파일이나 HDR 이미지 생성 시스템(510)의 디폴트 컬러 프로파일에 따라 모든 R/G/B 샘플들이 선형 도메인으로 변환된다. 이것은 감마 인코딩된 샘플 값들이 선형 도메인으로 변환될 수 있게 하며, 선형 도메인에서 이미지 데이터를 HDR 이미지 안에 통합하기 전에 샘플 값들이 (이하에 보다 상세히 기술되는 것과 같이) 스케일링될 수 있다. 대안적으로, 감마-선형 변환이 필요로 되지 않는 것과 같은 경우, 감마-선형 변환기(540)는 생략될 수 있다.

c. 상대적 노출 수준들의 도출

상대적 노출 도출기(550)는 모션 분석에 기초하여 입력 SDR 이미지들의 상대적 노출들을 도출한다. 이런 식으로, 각각의 이미지의 상대적 노출 수준은 모션을 고려하여 기준 이미지에 대하여 도출될 수 있다. 예를 들어 샘플 값을 가진 기준 아닌 이미지 안의 픽셀에 있어서, 모션 벡터는 기준 이미지에 대해 상대적인 모션을 나타낸다. 모션 벡터는 자체 샘플 값을 가진 기준 이미지 안의 해당 픽셀을 가리킨다. 샘플 값들 쌍의 비율이 샘플 비율이다. 이런 식으로 샘플 비율은 모션 분석에 기반하는 샘플 값들의 각 쌍에 대해 도출될 수 있다. 그런 다음 샘플 비율들의 평균을 구함으로써 상대적 노출이 계산될 수 있다. 한 구현예에서, 상대적 노출은 감마-선형 변환기(540)에 의해 제공되는 선형 RGB 도메인 내 데이터에 기초하여 도출된다. 대안적으로, 노출 도출기(550)는 어떤 다른 방식으로 상대적 노출 수준을 계산한다.

d. 이미지 신호 스케일링

이미지 신호 스케일러(560)는 상대적 노출 수준에 기초하여 샘플 값들을 스케일링한다. 한 구현예에서, 이미지 신호 스케일러(560)는 기준 아닌 입력 SDR 이미지(522, 526, 528) 각각의 샘플 값들을 개별 이미지의 상대적 노출 수준에 대응하는 스케일링 팩터로 곱하지만, 기준 이미지에 대한 스케일링은 생략한다. 스케일링은 스케일링된 샘플 값들을 동일한 (기준) 정규화 수준으로 유지한다. 한 구현예에서 스케일링 동작들은 감마-선형 변환기(540)에 의해 제공되는 선형 RGB 데이터에 적용되며, 이미지의 모든 R, G 및 B 샘플 값들에 걸쳐 동일한 스케일링 팩터가 적용된다. 대안적으로, 스케일링은 모션 분석 전에 수행되며, 모션 분석은 스케일링된 화상들에 대해 수행될 수 있다. 그러나 이 경우, 모션 분석은 스케일링된 샘플 값들에 대해 수행되기 때문에 신뢰성이 덜할 수 있다.

e. 이미지 통합

모션 통합기(570)가 입력된 SDR 이미지들(522, 524, 526, 528)을 통합한다. HDR 이미지 생성 시스템(510)이 어떤 장면을 묘사하는 몇몇 SDR 이미지들을 입력으로 취했을 때, 그 장면 내 각각의 샘플 위치에 대해 여러 샘플 값들이 존재한다. 이미지 통합기(570)는 그 샘플 값들을 통합하여 HDR 이미지 안의 해당 샘플 위치의 샘플 값을 형성한다.

한 구현예에서, 이미지 통합기(570)는 각각의 샘플 위치에 대한 스케일링된 샘플 값들을 포함하는 샘플 값들의 가중 평균을 산출한다-동일한 "기준" 노출 수준으로 스케일링된 선형 신호들이 가중 평균으로서 통합된다. 각각의 샘플 값에 대한 가중 팩터는 스케일링 및 선형 변환 전에 해당하는 오리지널 샘플 값에 따라 정해진 신뢰 수준을 기반으로 한다. 가중 팩터는 신뢰 수준에 비례한다; 신뢰도 수준이 높을수록 가중 팩터도 크다. 신뢰도 수준은 오리지널 값이 얼마나 극단적이냐에 따라 가변된다. 예를 들어 극단적으로 어둡거나 포화된 영역들에 대한 신뢰 수준은 0으로 설정된다.

오리지널 값이 (선형 도메인이 아닌) 감마 도메인에 있는 경우들에 있어서 신뢰 수준 C(s)이 어떻게 산출될 수 있는가에 대한 하나의 예가 이하에 보여진다.

수학식 4는 0인 신뢰 수준이 너무 높거나 너무 낮은 값들에 적용된다는 것을 나타낸다. 대안적으로 신뢰 수준은 어떤 다른 방식으로 산출된다. 예를 들어 0인 신뢰 수준이 할당될 수 있는 값들의 문턱치들은 구현예에 따라 가변될 수 있다.

한 구현예에서, 가중 팩터들은 또한 노출 수준의 함수이다. 가중 평균을 산출할 때, 보다 높은 노출 샷들로부터의 샘플 값들이 보다 낮은 노출을 가진 이미지들로부터의 샘플 값들보다 더 많이 가중된다. 이것은 통계적으로, 이미지 센서 안으로 들어오는 포톤(photon)의 수가 보다 클 때 샘플 값들이 보다 정확해지는 경향이 있다는 관찰에 기반한다.

예로서, 오리지널 값 "s"(s는 [0, 1]의 범위 안에서 정규화됨)를 가진 샘플의 가중 팩터 w는 다음과 같이 표현될 수 있다.

여기에서 "e"는 (상대적 노출 도출기(550)에 의해 산출된 상대적 노출 값과 같은) 상대적 노출 값이고, C(s)는 신뢰도 수준이다. 멱수 팩터 "a"의 통상적 값은 0.25 및 1.0 사이에 있다. 한 구현예에서 멱수 팩터 "a"는 0.5(즉, e의 제곱근)로 세팅된다.

가중 팩터들이 결정되었으면, 가중 평균이 도출될 수 있다. 예를 들어 가중 평균은 가중 산술 평균 또는 가중 기하 평균으로서 산출될 수 있다.

f. 포맷 변환

포맷 변환기/인코더(580)는 통합된 이미지를 적절한 픽셀 포맷으로 변환한다. 예를 들어 포맷 변환기/인코더(580)는 이미지 통합기(570)에 의해 제공된 통합된 픽셀 데이터를 취하여 그 데이터를 인코딩하여 JPEG XR 이미지 파일을 생성한다. 대안적으로, 포맷 변환기/인코더(580)는 그 데이터를 처리하여 RGBF 파일, "half float" 파일, 또는 HD 이미지 데이터를 나타내기 적합한 다른 파일과 같은 상이한 이미지 파일을 생성하기도 한다. 포맷 변환기/인코더(580)는 어떤 원하는 이미지 포맷에 대한 인코딩 모듈들을 포함할 수 있다. 포맷 변환기/인코더(580)는 미가공 H,DR 픽셀 데이터가 원하는 출력이고 아무 특별한 포맷팅이나 인코딩도 필요하지 않을 때와 같을 때, HDR 이미지 생성 시스템(510)으로부터 생략될 수 있다.

g. 확장 및 대안

시스템(510) 안에 있는 모듈들 사이에 보여진 관계들은 시스템 내 정보의 일반적 흐름을 나타낸다; 다른 관계들은 단순성을 위해 보여지지 않는다. 원하는 구현예 및 처리 유형에 따라, 시스템의 모듈들이 추가, 생략, 여러 모듈들로의 분할, 다른 모듈들과의 결합, 및/또는 유사 모듈들로 대체될 수 있다. 다른 대안적 실시예들에서, 다양한 모듈들 및/또는 모듈들의 다른 구성을 가진 시스템들이 상기 기술된 기법들 중 한 개 이상을 수행한다.

예를 들어, 시스템(510)은 고주파 성분들을 선택적으로 제거하기 위해, 저대역 통과 필터나 다른 필터를 사용하여, 입력된 디지털 이미지들을 평탄화하는 전치 프로세서를 포함할 수 있다. 또는 전치 프로세서가 다른 전처리 작업들을 수행한다. 예를 들어 전치 프로세서는 블록 아티팩트, 밴딩 아티팩트, 링잉 아티팩트, 또는 이미지 캡처 장치에서의 디모자이크(demosaicing) 동작들로부터 나올 수 있는 아티팩트들과 같은 이미지 아티팩트들을 감소하도록 특정된 작업들을 수행할 수 있다.

B. 높은 동적 이미지 렌더링을 위한 접근법

1. 일반화된 기법

도 6은 HD 이미지를 렌더링하기 위한 전형적 기법(600)을 도시한 흐름도이다. 도 3에 도시된 HDR 이미지 처리 시스템(310)과 같은 시스템이나 다른 시스템이 이 기법(600)을 수행한다. 여기 사용된 바와 같이, "렌더링(rendering)"이라는 용어는 HDR 이미지 데이터를 다른 형식으로 변환하는 것을 말한다. HDR 이미지 데이터를 렌더링하기 위한 애플리케이션들의 예는 보다 낮은 동적 범위를 가진 모니터 상에 디스플레이 하기 위해 HDR을 준비시키는 일이나, HDR 이미지 파일 내 HDR 이미지 데이터를 SDR 이미지 파일로 저장하기 위해 변환하는 일을 포함한다.

전형적 기법(600)의 610에서 시스템은 HDR 디지털 이미지 내 샘플 값들을 각자의 보다 낮은 동적 범위(LDR) 값으로 톤 매핑한다. 예를 들어 시스템은 전역 톤 매핑 룩업 테이블에서 개별 LDR 값을 식별하고, 식별된 값들을 LDR 이미지 버퍼 안에 저장한다.

620에서, 시스템은 톤 매핑된 샘플 값들 각각의 국지적 콘트라스트 값을 산출한다. 예를 들어 시스템은 선형 도메인에서 국지적 콘트라스트 기반 이미지 데이터를 산출한다.

630에서, 시스템은 각자의 국지적 콘트라스트 값에 적어도 부분적으로 기초하여, 톤 매핑된 샘플 값들 각각에 대한 잔차 신호를 도출한다. 예를 들어 시스템은 LDR 이미지 버퍼 안의 샘플 값을 상응하는 국지적 콘트라스트 값과 곱한다.

640에서, 시스템은 톤 매핑된 샘플 값들 및 각자의 잔차 신호들에 적어도 부분적으로 기초하여 LDR 디지털 이미지의 샘플 값들을 산출한다. 예를 들어 시스템은 LDR 버퍼 내 샘플 값, 해당 잔차 신호 및 고주파 디더링 신호를 함께 가산한다.

2. 전형적인 구현예들

이 장은 HDR 이미지들을 렌더링하는 접근법들의 그룹 중 전형적인 구현예들의 구현 세부사항을 제공한다.

도 7은 HDR 이미지 렌더링 시스템(710)의 전형적 구현예를 도시한 도면이다. 도 7에 도시된 예에서 시스템(710)은 입력으로서 HDR 이미지(720)를 취한다. 도 7은 다양한 처리 단계들을 구현하여 출력으로서 LDR 이미지(790)를 생성하는 전형적인 모듈들을 도시한다. 특히 시스템(710)은 쌍방 이미지 처리를 이용하여 HDR 렌더링을 구현하는 모듈들을 보여준다. 여기 사용되는 "쌍방 이미지 처리(bilateral image processing)"는 오리지널 HDR 이미지 정보 및 톤 매핑된 보다 낮은 동적 범위 정보 두 가지 모두를 사용하는 HDR 이미지 처리를 말한다. 예를 들어 시스템(710)은 HDR 이미지 렌더링 중에 국지적 콘트라스트 계산을 수행하기 위해 오리지널 HDR 이미지 정보 및 톤 매핑된 이미지 정보 둘 모두를 사용한다.

a. 처리

도 7에 도시된 예에서 시스템(710)은 전처리 프로세서(722)를 포함한다. 전처리 프로세서(722)는 전처리 단계에서 HDR 이미지(720)로부터의 HDR 이미지 데이터에 대한 디지털 신호 처리(DSP) 연산을 수행한다. 전처리 프로세서(722)에서 수행될 수 있는 연산들은 비한정저인 것으로서, 이미지 리사이징, 명시적 노출 또는 동적 범위 제어, 컬러 온도 제어, 및 컬러 개선을 포함한다. 전처리 연산은 이미지 품질에 대한 다양한 효과들을 달성하기 위해 수행될 수 있다. 예를 들어, 렌더링된 화상에 대해 보다 예술적인 보기를 제공하기 위해 컬러 개선이 사용될 수 있다. 전처리 동작들은 구현예에 따라 여러 방식으로 수행될 수 있다. 예를 들어, 컬러 개선은 색조 포화 강도(HIS(hue-saturation-intensity)) 공간에서 포화도를 부스팅함으로써 달성되거나, 더 간단한 대안으로서 각 픽셀의 주요 컬러 채널(가령, RGB 컬러 공간 내 R, G 또는 B)이 부스팅될 수 있다. 전처리 연산은 사용자 설정 사항에 기초하여 조정되거나 선택(turn on) 또는 비선택(turn off)될 수 있다.

전치 프로세서(722)를 참조하여 기술된 연산들이 전처리 단계에 형성되는 것으로 국한되는 것은 아니며, 그렇지 않고, 렌더링된 LDR 이미지(가령 LDR 이미지(790))에 대해 수행될 수 있다. 그러나, HDR 이미지 데이터에 대한 전처리 단계에서의 그러한 연산들의 수행은 보다 정확한 결과들을 도출할 수 있는데, 이는 HDR 이미지 데이터를 보다 낮은 동적 범위로 매핑할 때 일부 이미지 데이터가 통상적으로 상실되기 때문이다.

b. 톤 매핑

도 7에 도시된 예에서 시스템(710)은 톤 매퍼(730)를 포함한다. 한 구현예에서, 선형 도메인 내 각각의 샘플에 대하여, 톤 매퍼(730)는 LUT(732)를 이용하여 해당 LDR 값을 식별하고 해당 값을 LDR 이미지 버퍼 안에 저장한다. 선형 도메인에서 감마 정정된 도메인으로의 톤 매핑 프로세스에서, 통상적으로 식 x'=x^gamma을 따라 선형 샘플 값 x가 감마 정정된 값 x'으로 변환되며, 여기서 제어 파라미터 "감마"는 실제 상의 상수이다. LUT(732)가 생성되었으면, 톤 매퍼(730)는 LDR 샘플 값들을 결정하기 위해 LUT(732)에서 HDR 이미지 샘플 값들을 찾는다. HDR 이미지 내 샘플 값들에 대한 해당 LDR 값들을 식별하고 그들을 LDR 이미지 버퍼 안에 저장하는 이러한 프로세스는 제1패스 톤 매핑이라고 불릴 수 있다. HDR 이미지의 모든 부분들에 대해 적용될 때, 이 프로세스를 제1패스 전역 톤 매핑이라고 부를 수 있다.

LUT(732)는 적응적 감마 함수에 기초하여 생성될 수 있다. 적응적 감마 함수는 LUT(732)를 생성하기 위한 적응적 감마 파라미터를 생성한다. 감마가 선형 샘플 값 x의 함수일 때(적응적 감마 함수), 이 상황은 일반적으로 x'=x^gamma으로 나타낼 수 있다. 한 구현예에서, 감마 도메인 내 샘플 값 x의 적응적 감마 파라미터

는 이하의 수학식 6에 보여진 바와 같이 두 개의 제어 파라미터들

및

의 가중 평균이다.

단순화된 경우,

가 2.2로 설정될 수 있다. 감마 제어 파라미터들은 감마 파라미터들과 관련된 사용자 선호 정보를 얻기 위해 사용될 수 있는 감마 콘트롤들(734)로부터 얻어지는 정보로 특정될 수 있다. 다른 대안에서, 감마 콘트롤들(734)은 생략된다.

가중 함수 w(x)는 여러 방식들에 따라 구현될 수 있다. 예로서, 함수 w(x)는

로서 나타내거나, 보다 많은 융통성을 제공하기 위해 함수 w(x)가

로 표현될 수 있으며, 이때 "b"는 [0.2, 1.0]의 범위 안에 있다. 대안적으로, b가 다른 범위로 한정되거나 가중 함수 w(x)가 어떤 다른 방식으로 구현되기도 한다.

제1패스 톤 매핑(가령, 제1패스 전역 톤 매핑)에서, 상대적으로 밝은 영역들의 이미지 콘트라스트가 크게 감소될 수 있다. 그러나, 시스템(710) 내 다른 모듈들이 사용되어 시각적 품질과 관련하여 이미지 콘트라스트를 정상으로, 혹은 개선된 수준까지 회복시킬 수 있다.

c. 잔차 신호 추출 및 관련 필터링

도 7에 도시된 예에서 시스템(710)은 잔차 신호 추출기(740)를 포함한다. 잔차 신호 추출기(740)는 국지적 이미지 콘트라스트를 산출한다. 한 구현예에서, 잔차 신호 추출기(740)는 선형 도메인 내 데이터에 기초하여 각각의 샘플에 대한 저역 통과 필터를 이용해 국지적 이미지 콘트라스트를 산출하며, 제1패스 톤 매핑에서 얻어진 데이터는 필터링의 문턱치 T를 설정하는 데 사용되어, 강한 텍스처가 더 개선되지 못하게 할 수 있다. 문턱치 T는 사용자 제어형 파라미터 일 수도 있다(가령, 옵션인 필터 콘트롤들(742)로부터 얻어진 사용자 선호 정보에 기반하는 것일 수 있다).

잔차 신호 추출기(740)는 국지적 이미지 콘트라스트를 산출하기 위해 쌍방 이미지 처리를 이용한다. 예를 들어 필터 연산이 HDR 데이터 공간 안에서 수행될 때 문턱치 T는 제1패스 전역 톤 매핑을 기반으로 한다. HDR 공간에서, 필터 출력은 "배경"을 규정한다. 오리지널 샘플 값과 "배경" 사이의 상대적 델타가 수학식 7에 보여진 것과 같은 국지적 콘트라스트 값이다.

각각의 샘플에 대한 잔차 신호가 이제, 국지적 콘트라스트 값을 LDR 버퍼 안의 해당 샘플 값과 곱함으로써 도출된다.

잔차 신호 추출의 필터링 단계에서, 시스템(710)은 이미지의 현재 샘플을 필터링한다. 예를 들어 시스템은 현재 샘플을 포함하는 샘플들의 한 개 이상의 라인들 각각을 따라 적응적인 문턱치 필터를 이용한다. 그렇지 않으면 시스템은 상응하는 2차원 필터를 사용한다. 필터링의 세기(가령, 문턱치에 따라 설정되는 것)는 제1패스 톤 매핑 결과, 사용자 설정사항들(가령, 옵션인 필터 콘트롤들(742)로부터 얻어진 사용자 선호 정보), 및/또는 다른 팩터들에 따라 가변될 수 있다. 대안적으로 시스템이 다른 필터를 사용하기도 한다.

일 실시예에서, 입력 이미지 내 위치(x, y)에 있는 현재 샘플 값 s(x, y)에 있어서, 필터링은 다음과 같이 표현될 수 있다.

이 식에서, w(i, j)는 N의 정규화 팩터를 가진 2차원 저역 통과 필터를 나타내며, K는 필터링 범위를 나타낸다. 따라서, s'(x, y)는 필터링된 샘플 값을 나타낸다.

2차원 필터는 2차원 윈도우나 한 개 이상의 축들을 따라 있는 1차원 필터들의 조합으로서 구현될 수 있다. 도 8은 네 방향인 수평, 수직, 좌측 상부에서 우측 하부, 및 좌측 하부에서 우측 상부 방향을 따라 있는 축들을 도시하며, 그 각각은 현재의 샘플 위치(810)를 포함한다. 이 축들 중 하나에 떨어지지 않은 위치들에 있는 샘플 값들에는 아무 가중치도 주어지지 않는다(w(i, j)=0). 이 축들 중 하나에 떨어지는 위치들에 있는 샘플 값들에는 완전 가중치(w(i, u)=1)가 주어지며 정규화 팩터로 합산된다. 대안적으로 필터가 다른 모양을 사용하기도 한다.

사이즈 값 K는 필터를 이용할 때 가능한 필터링 정도를 나타낸다. K=8인 한 구현예에서, 현재 위치 (x, y)에 대해 수평 및 수직방향으로 -8에서 +8까지의 샘플 위치들이 잠정적으로 고려된다. 이 개념은 저역 통과 필터링 프로세스 중에 중심점에 있는 샘플(810)과 가까운 샘플 값들만을 사용한다는 것이다.

윈도우 안의 일부 구현예들에서, 필터는 소정 위치들을 배제하기 위한 문턱치를 이용한다. 일반성의 상실 없이, 이하의 규칙은 1 차원 수평 윈도우 안에서의 필터링에 기여하는 어떤 샘플 위치들에 따라 문턱치가 어떻게 적응적으로 바뀌는지를 보여준다. 위치 오프셋 m은 현재의 위치(x, y)로부터 멀리 이동한 1 차원 윈도우 내 유사 값들의 정보를 나타낸다. 예를 들어 오프셋 m은 다음과 같은 구속조건을 만족하는 i의 최소 절대값이라고 정해진다.

-K<i<K에 대해, t(x, y)는 LDR 버퍼 안의 값들을 나타낸다. 어떤 i의 값도 그 구속조건을 만족하지 않으면, m=K이다. 적응적 필터는 단순성을 도모하기 위해 대칭적인 것이다; 각 방향에서 동일한 오프셋 m이 사용된다. 대안적으로, 현재 위치로부터 떨어진 여러 방향들에서 여러 오프셋 값들이 사용된다. 문턱치 T는 필터 문턱 제어 파라미터이다. 현재 위치 (x, y)에 대해 상대적인 오프셋 m 안의 위치들에 있는 샘플 값들에는 필터링 시 가중치가 부여되며, 1 차원 윈도우 안의 다른 샘플 값들에는 가중치가 부여되지 않는다.

1 차원 수평 윈도우 안에서의 필터링에 대해 j=0이고, -K<i<K이다.

1 차원 수평 윈도우 안에서 샘플 값들의 열 67, 67, 67, 68, 68, 69, 69, 70, 71, 72, 73, 73, 74, 75, 76을 고려할 수 있으며, 여기서 현재 샘플 값 t(x, y)=70이다. T=3이면, 오프셋 값 m=5인데 이는 오프셋에서 +5|74 - 70|> 3이기 때문이다.

마찬가지로, 1 차원 수직 윈도우를 따라 적용되는 적응적 문턱치 규정에 있어서, 위치 오프셋 m이 발견될 때 j는 -K<j<K사이에서 가변한다. 대각선 방향 1 차원 윈도우를 따라 적용되는 적응적 문턱치 규정에 있어서, i 및 j는 i=j(도 8에 도시된 한 대각선)나 i=-j(도 8에 도시된 다른 대각선)인 경우, 위치 오프셋 m을 찾기 위해 -K 및 K의 한계치 안에서 가변될 수 있다. 2 차원 윈도우에 대해, 서로 다른 값들의 i 및 j에 있는 위치들까지의 유클리드 거리가 -K 및 K의 한계치 안에서 위치 오프셋 m을 찾기 위해 고려될 수 있다.

적응적 문턱치 규칙들이 적용되는지 안되는지의 여부에 따라, w(i, j)의 값들이 정해질 때 정규화 팩터 N이 결정된다. 일부 구현예들에서, w(i, j)의 탭 계수들은 단순성을 위해 0 아니면 1이 된다. 정규화 팩터 N은 간단히, w(i, j)=1인 경우의 위치들의 카운트이다. 보다 일반적으로 말하면, w(i, j) 내 서로 다른 위치들은 예컨대 현재 위치에 더 많은 가중치를 제공하기 위해, 혹은 바이리니어(bilinear)나 바이큐빅(bicubic) 필터를 구현하기 위해 서로 다른 탭 값들을 가질 수 있으며, 이 경우 정규화 팩터 N을 결정하기 위해 필터링에 기여하는 위치들에 대한 탭 값들이 합산된다.

필터링의 세기는 파라미터 값 T 및 K를 설정함으로써 효과적으로 제어될 수 있다. K를 증가시키는 것이 필터링을 위한 가능한 윈도우 사이즈를 증가시키며, 이는 보다 강력한 필터링을 낳을 수 있다. T의 증가는 보다 많은 위치들이 필터링에 기여하게 하는 경향이 있는데, 이는 더 많은 샘플 값들이 유사도 구속조건을 만족시켜 보다 강력한 필터링을 하게 하는 경향이 있기 때문이다.

d. 잔차 신호 필터링

도 7에 도시된 예에서 시스템(710)은 잔차 신호 필터기(760)를 포함한다. 잔차 신호 필터기(760)는 저 대역 통과 필터를 이용하여 잔차 신호 추출기(740)로부터 얻어지는 잔차 신호들을 필터링한다. 잔차 신호 필터기(760)에서 일어나는 필터링은 국지적 콘트라스트 값들을 얻기 위해 필터링이 수행되는 잔차 신호 추출기(740)에서 일어나는 필터링에 더해진다.

잔차 신호 필터기(760)에서, 원치않는 샘플 값들을 제거하기 위해 필터링이 수행된다. 예를 들어 잔차 신호 필터기(760)는 아웃라이어들인 샘플 값들(가령, 해당 상황에 비해 너무 밝거나 너무 어두운 샘플 값들)을 제거하고, 이미지 노이즈를 제거하기 위해 3x3 박스카(boxcar) 필터를 사용한다. 이 예에서, 3x3 박스카 필터는 필터링될 "현재" 픽셀 위치를 중심으로 3x3 행렬 안에 정렬된 9 개의 샘플들에 대해 균등 가중된 평균이며, 다음과 같이 표현될 수 있다: { { 1/9, 1/9, 1/9} , { 1/9, 1/9, 1/9} , {1/9, 1/9, 1/9} }. 신호가 저대역 통과 필터링 이후 반대 부호를 가지는 경우(가령, 양에서 음으로 바뀐 경우), 필터링된 값은 "0"으로 세팅된다. 필터링의 세기는 사용자 설정사항들(가령, 옵션인 필터 콘트롤들(742)로부터 얻어진 사용자 선호 정보), 및/또는 다른 팩터들에 따라 가변될 수 있다. 대안적으로 시스템이 다른 필터를 사용하기도 한다. 또 대안적으로, 잔차 신호 필터기(760)는 생략되기도 한다.

e. 잔차 신호 스케일링

도 7에 도시된 예에서 시스템(710)은 잔차 신호 스케일러(770)를 포함한다. 잔차 신호 스케일러(770)는 잔차 신호들(가령, 잔차 신호 추출기(740)로부터 얻어진 잔차 신호들)을 스케일링한다. 잔차 신호 스케일링은 사용자 제어에 따라 조정될 수 있다. 예를 들어 사용자 설정사항들이 스케일링 콘트롤들(772)로부터 얻어진 파라미터들로 표현될 수 있다. 다른 대안에서, 스케일링 콘트롤들(772)은 생략된다.

한 구현예에서 잔차 신호 스케일러(770)는 이하의 수학식 11에 보여진 스케일링 함수를 적용한다.

"x"는 LDR 이미지 버퍼 내 0에서 1의 범위 안에 있는 샘플 값이고, "S"는 사용자 제어형 스케일링 팩터이다. 사용자 제어형 스케일링 팩터는 여러 값들을 취할 수 있고, 디폴트 값(가령, 4)을 취할 수 있다.

잔차 신호 스케일러(770)에 의해 적용되는 스케일링 팩터들은 LDR 이미지 버퍼 내 샘플 값들의 함수일 수 있다. 예를 들어 스케일링 팩터들은 LDR 이미지 버퍼 안의 해당 샘플 값들이 적을 때 적을 수 있고, 혹은 LDR 이미지 버퍼 안의 해당 샘플 값들이 클 때 클 수 있다. 샘플 값들(가령, LDR 이미지 버퍼 안의 LDR 샘플 값들)에 좌우되는 스케일링 팩터들을 적용하는 스케일링을 상대적 잔차 스케일링이라 부를 수 있다.

일 실시예에서, 잔차 신호 스케일러는 잔차 신호 필터(760)로부터 얻어진 필터링된 잔차 신호들을 스케일링한다. 대안적으로, 잔차 신호 스케일링이 생략되거나, 잔차 신호 필터링 전에 적용될 수도 있다.

f. 디더링

도 7에 도시된 예에서, 시스템(710)은 디더링 신호들(782)을 샘플 값들에 선택적으로 더한다. 예를 들어 시스템은 현재 샘플의 위치에 대한 디더링 오프셋을 결정한다.

사람의 시각 체계는 미묘한 저주파 신호 레벨 변화에 대해, 특히 어두운 이미지 영역들에서 상대적으로 민감하지만 고주파 신호들에 대해서는 특별히 민감하지 않다. 일반적인 전처리는 고주파 노이즈를 제거한다. 높은 시공간 주파수 디더링 신호가 적절히 더해질 때는 그러나, 인간의 시각 체계가 디더링 신호를 이미지 신호와 "통합한다". 이것은 이미지들이나 디스플레이의 제한된 비트 깊이에 의해 야기되는 다른 경우 지각 가능한 밴딩 아티팩트나 기타 아티팩트들을 평탄화하면서, 효과적으로, 디더링 신호를 인지적으로 두드러지지 않게 한다. 예를 들어 세 개의 화상 높이들과 같은 적절한 길이로부터 보았을 때, 추가된 디더링 신호는 정수 값들 사이에 있는 샘플 값들에 대한 인지력을 생성할 수 있는데, 이는 인간의 시각 체계가 디더링을 통해 샘플 값들을 함께 통합하기 때문이다.

일부 구현예들에서, 디더링 신호들은 정수 값(가령, 8 비트 정수 값)으로 클리핑하기 전에 변환의 마지막 라운드의 단계에 적용된다. 다른 구현예들에서 디더링 신호들은 클리핑 이후에 적용된다. 디더링 신호들의 세기는 구현예에 따라 좌우되며, 국지적 이미지 특성, 디지털 이미지의 고역 통과 신호의 특성, 또는 기타 팩터들에 따라 적응적으로 가변될 수 있다. 통상적으로 디더링 신호(또는 표준 변동)의 신호 세기는 정수 레벨 안에 들어온다.

g. LDR 이미지 생성

도 7에 도시된 예에서 시스템(710)은 LDR 이미지 생성기(780)를 포함한다. LDR 이미지 생성기(780)는 다른 처리 단계들에서 얻어진 정보에 기초하여 출력 LDR 이미지(790)에 대한 샘플 값들을 생성한다. 예를 들어 LDR 이미지 버퍼 안의 각각의 샘플 값에 대해, LDR 이미지 생성기(780)는 샘플 값을 잔차 신호 및 고주파 디더링 신호와 결합한다.

일 실시예에서, LDR 이미지 생성기는 LDR 버퍼로부터 얻어진 LDR 샘플 값, 잔차 신호 및 디더링 신호를 함께 더하고, 그 결과를 정수로 반올림하며, 그 반올림 결과를 8 비트 값(가령, 8bpc 컬러 모니터 상에 디스플레이될 이미지에 대해)으로 크로핑한다. 예를 들어 LDR 이미지 생성기(780)는 출력 LDR 이미지(790)의 출력 샘플 값들을 결정하기 위해 이하의 수학식을 이용한다.

LDR 이미지 버퍼로부터 얻어진 샘플 값들은 8 비트 정수들(기수를 10으로 하는 값들 0-255을 나타냄)이고, 디더링 신호들은 반올림 동작을 완만히 하기 위한 "청색 노이즈"(-0.5와 +0.5 사이의 값들)이다. 수학식 12에 보여진 예에서, 0.5는 반올림을 위해 가장 가까운 정수에 더해진다. 대안적으로, 0.5의 가산이 생략될 수도 있다. 예를 들어 디더링 신호들이 0이 아닌 0.5를 중심으로 하는 경우, 반올림을 위한 0.5의 가산은 생략될 수 있다.

h. 확장 및 대안

시스템(710) 안에 있는 모듈들 사이에 보여진 관계들은 시스템 내 정보의 일반적 흐름을 나타낸다; 다른 관계들은 단순성을 위해 보여지지 않는다. 원하는 구현예 및 처리 유형에 따라, 시스템의 모듈들이 추가, 생략, 여러 모듈들로의 분할, 다른 모듈들과의 결합, 및/또는 유사 모듈들로 대체될 수 있다. 다른 대안적 실시예들에서, 다양한 모듈들 및/또는 모듈들의 다른 구성을 가진 시스템들이 상기 기술된 기법들 중 한 개 이상을 수행한다.

예를 들어 시스템(710)은 압축된 이미지를 압축해제할 디코더를 포함할 수 있다. 디코더는 시스템 안에 포함되어, 전치 프로세서가 압축해제된 HDR 이미지 데이터에 대한 전처리 연산을 수행할 수 있도록 할 수 있다. 디코더에 의해 수행되는 엄밀한 동작들은 압축 포맷에 따라 가변될 수 있다. 예를 들어, JPEG XR 부합 디코더는 JPEG XR 파일 안의 HDR 이미지 정보를 압축해제할 수 있고, 아니면 JPEG 부합 디코더가 JPEG 파일 안의 SDR 이미지 정보를 압축해제할 수 있다.

시스템(710)은 또한 이미지 데이터를 포함하는 한 개 이상의 인코더들을 포함할 수 있고, 압축된 디지털 이미지 정보의 비트 스트림을 출력한다. 인코더에 의해 수행되는 엄밀한 동작들은 압축 포맷에 따라 가변될 수 있다. 예를 들어 인코더는 JPEG과 같은 포맷에 따라 LDR 이미지 정보를 압축할 수 있다.

C. 사용자 상호동작 및 파라미터 제어를 위한 접근법

이 장은 HDR 이미지들을 생성하거나 렌더링하는 시스템들과의 사용자 상호동작에 대한 접근법들에 대해 기술한다. 예를 들어, 사용자 선호 정보가 HDR 이미지 생성, HDR 이미지 렌더링, 또는 HDR 이미지 생성 및 HDR 이미지 렌더링의 조합에 적용될 수 있다. 여기 기술된 예들은 HDR 이미지 렌더링과 관련된 파라미터들의 조정 시 사용할 사용자 조정 가능 콘트롤들을 참조하고 있지만, HDR 이미지 생성과 관련된 파라미터들의 조정 시 사용할 사용자 조정가능 콘트롤들 역시 사용될 수 있다.

1. 일반화된 기법

도 9는 사용자 선호 정보에 따라 HDR 이미지를 처리하는 기법(900)을 보인다. 도 10에 도시된 HDR 이미지 처리 시스템(1010)과 같은 시스템이나 다른 시스템이 이 기법(900)을 수행한다.

910에서, 시스템은 HDR 이미지 생성 파라미터들이나 HDR 이미지 렌더링 파라미터들에 대한 사용자 선호사항들을 설정하기 위한 한 개 이상의 사용자 선호 콘트롤들을 제공한다. 920에서, 시스템은 사용자 선호 콘트롤들과 관련된 사용자 선호 정보를 수신한다. 930에서, 시스템은 사용자 선호 정보에 적어도 부분적으로 기초하여 HDR 디지털 이미지를 생성하거나 렌더링한다. 940에서, HDR 이미지 처리가 완료되었으면, 프로세스가 종료되거나, 시스템이 다른 방식들에 따라 HDR 디지털 이미지를 생성하거나 렌더링하기 위해 동일한 사용자나 다른 사용자들, 동일한 사용자 선호 콘트롤들이나 다른 사용자 선호 콘트롤들로부터 추가적인 사용자 선호 정보를 획득할 수 있다. 예를 들어 사용자는 감마 조정을 위한 사용자 설정에 따라 HDR 이미지의 LDR 버전을 볼 수 있고, 그런 다음 필터링을 위한 사용자 설정에 따라 HDR 이미지의 다른 LDR 버전을 볼 수 있다. 오리지널 HDR 디지털 이미지는 오리지널 이미지 데이터에 기반하는 추후의 수정을 가능하게 하기 위한 디지털 네거티브(negative)로서 보존될 수 있다.

2. 전형적인 구현예들

이 장은 사용자 선호 정보에 따라 HDR 이미지를 생성하거나 렌더링하는 접근법들의 그룹 중 전형적인 구현예들의 구현 세부사항을 제공한다.

도 10은 사용자 선호 정보에 기초하여 HDR 이미지들을 생성하거나 렌더링하는 HDR 이미지 처리 시스템(1010)의 전형적 구현예를 도시한 도면이다. 도 10에 도시된 예에서 시스템(1010)은입력 이미지(들)(1020)를 처리한다. 시스템(1010)은 HDR 이미지 렌더링을 위한 입력 HDR 이미지, 또는 HDR 이미지 생성을 위한 입력 LDR 이미지들을 처리한다. 도 10은 다양한 처리 단계들을 구현하여 출력 이미지(들)(1060)을 생성하는 전형적인 모듈들을 도시한다. 특히 시스템(710)은 사용자 인터페이스를 제공하고/하거나 사용자 입력(1080)을 해석하기 위한 사용자 설정 모듈(1070)을 포함한다. 예를 들어 사용자는 한 개 이상의 사용자 입력 장치들(가령, 마우스, 키보드, 마이크로폰, 아이(eye) 추적 장치, 터치 스크린 또는 어떤 다른 장치)에 대한 동작을 수행할 수 있다. 대안적으로, HDR 이미지 프로세싱 시스템(1010)은 이미지 파일들 안에 저장된 사용자 설정 메타데이터를 수신하는 등과 같은 어떤 다른 방식으로 사용자 설정사항들을 결정한다. 사용자 설정 모듈(1070)은 수행될 처리 유형에 따라, HDR 이미지 생성기(1040) 및/또는 HDR 이미지 렌더러(1050)로 사용자 선호 정보를 제공한다.

개별 사용자들은 수많은 방식으로 이미지들을 처리할 수 있고, 여러 사용자들이 동일 이미지에 대해 사용자 선호사항들을 설정할 수 있다. 사용자 선호 정보는 이미지 데이터의 변경 없이 이미지 파일들 안에 메타데이터로서 저장될 수 있다. 이것은 오리지널 이미지 데이터를 보존하면서, 서로 다른 사용자들이 이미지에 적용되는 그들 자신의 사용자 설정사항들을 가진 이미지를 공유할 수 있게 한다. 사용자 설정사항들은 감마 제어 파라미터들, 잔차 필터 제어 파라미터들, 잔차 스케일링 제어 파라미터들, 컬러 개선 파라미터들, 리사이징 파라미터들, 컬러 온도 제어 파라미터들, 및 백색 포인트 제어 파라미터들과 같은 이미지 처리 파라미터들을 조정하는데 사용될 수 있다. 사용자 식별 정보는 또한 해당하는 사용자 선호 정보와 함께 저장될 수도 있다. 메타데이터의 여러 집합들이 이미지 파일 안에 저장됨으로써 동일한 화상이 동일한 시스템에서 여러 사용자들에 의해 다양한 방식으로 렌더링될 수 있다.

예를 들어 사용자 설정 모듈(1070)은 사용자들이 HDR 이미지 렌더링을 위한 파라미터들을 제어할 수 있게 하는 사용자 조정가능 콘트롤들을 제공할 수 있다. 사용자 설정 모듈(1070)에 의해 제공되는 특정 콘트롤들은 구현예에 따라 가변될 수 있다. 예를 들어 도 7을 다시 참조하면, 이미지 렌더링을 위한 사용자 조정가능 콘트롤들은 톤 매핑 파라미터들을 조정하기 위한 콘트롤들(가령, 감마 콘트롤들(734)), 필터 콘트롤들(742), 및 스케일링 콘트롤들(772)을 포함할 수 있다.

시스템(1010) 안에 있는 모듈들 사이에 보여진 관계들은 시스템 내 정보의 일반적 흐름을 나타낸다; 다른 관계들은 단순성을 위해 보여지지 않는다. 원하는 구현예 및 처리 유형에 따라, 시스템의 모듈들이 추가, 생략, 여러 모듈들로의 분할, 다른 모듈들과의 결합, 및/또는 유사 모듈들로 대체될 수 있다. 다른 대안적 실시예들에서, 다양한 모듈들 및/또는 모듈들의 다른 구성을 가진 시스템들이 상기 기술된 기법들 중 한 개 이상을 수행한다.

V. 확장 및 대안

이 장은 위에서 제시된 기법들 및 도구들의 다른 확장들, 대안들 및 응용예들 중 일부를 제공한다.

HDR 이미지 생성 및 렌더링을 위해 기술된 기법들 및 도구들은 이미지 수정사항을 미리 보기 하기 위해 HDR 이미지의 하향 샘플링(즉, 저 해상도) 버전에 적용될 수 있다. 예를 들어 톤 매핑 제어 파라미터들 및 톤 매핑 동작들이 이미지 수정사항을 미리 보기 하기 위해 HDR 이미지의 하향 샘플링(즉, 저 해상도) 버전에 적용될 수 있다. 동일한 파라미터들이나 동작들, 또는 다른 파라미터들이나 동작들이 완전 해상도 버전의 이미지에 적용될 수 있다(가령, 이미지의 최종 버전을 생성할 때).

HDR 이미지 생성 및 렌더링을 위해 기술된 기법들과 도구들이 HDR 이미지들에 적용되어 애니메이션이나 전환 효과들을 달성하도록 하거나 이미지들 안의 다른 정보를 드러내도록 할 수 있다. 예를 들어 HDR 이미지는 일련의 LDR 이미지들로서 렌더링될 수 있으며, LDR 이미지들 각각은 저 노출 세팅에서 고 노출 세팅으로의 애니메이션식 전환을 가능하게 하고, 잠정적으로 서로 다른 이미지 세부사항들 및 서로 다른 노출 세팅들을 드러내는 서로 다른 톤 매핑 파라미터들을 가진다.

HDR 이미지 생성 및 렌더링을 위해 기술된 기법들과 도구들이 비디오나 가상 3D 환경에 적용될 수 있다.

HDR 이미지 생성 및 렌더링을 위해 기술된 기법들과 도구들은 다른 디지털 이미지 처리 기법들 및 도구들과 함께 사용될 수 있다. 예를 들어, HDR 이미지 생성 및 렌더링을 위해 기술된 기법들과 도구들은 가령, 사용자들이 HDR 이미지의 서로 다른 부분들의 톤 매핑 파라미터들을 변경하는 것을 포함하는 이미지 수정을 미리 보기 할 수 있도록 함으로써, 컴퓨터 상에서 HDR 이미지들을 편집하기 위한 디지털 포토 편집 상황에서 사용될 수 있다.

기술된 실시예들을 참조하여 본 발명의 원리들 기술되고 도시되었지만, 그러한 원리들에서 벗어나지 않고 여러 실시예들의 배열 및 세부사항에 있어 수정이 이루어질 수 있다는 것을 알 수 있을 것이다. 여기에 기술된 프로그램, 프로세스 또는 방법들은 다르게 지시되지 않는 한 어떤 특정한 유형의 컴퓨팅 환경과도 관련되거나 국한되지 않는다는 것을 알아야 한다. 다양한 유형의 범용 또는 특수용 컴퓨팅 환경은 여기 기술된 가르침에 따른 동작들을 수행하거나 그 동작들과 함께 사용될 수 있다. 소프트웨어를 통해 보여진 기술된 실시예들의 구성요소들은 하드웨어를 통해 구현될 수 있고, 그 반대의 경우 역시 성립한다.

본 발명의 원리가 적용될 수 있는 많은 가능한 실시예들을 고려하여, 이하의 청구범위 및 그 균등물의 범위 및 사상 안에 들어올 수 있는 모든 실시예들을 본 발명으로서 청구한다.

Claims

컴퓨팅 장치에 의해 실행되는 경우, 높은 동적 범위 디지털 이미지를 보다 낮은 동적 범위 디지털 이미지로서 렌더링하는 방법을 수행하는 명령어들을 저장하는 하나 이상의 컴퓨터 판독가능 저장 장치로서,
상기 방법은,
높은 동적 범위 디지털 이미지 내의 복수의 샘플 값 각각을 제각기의 보다 낮은 동적 범위 값에 톤 매핑(tone mapping)하는 단계와,
상기 톤 매핑된 샘플 값 각각에 대한 국지적 콘트라스트 값을 산출하는 단계와,
제각기의 상기 국지적 콘트라스트 값에 적어도 부분적으로 기초하여, 상기 톤 매핑된 샘플 값 각각에 대한 잔차 신호(residual signal)를 도출하는 단계와,
상기 톤 매핑된 샘플 값 및 제각기의 상기 잔차 신호에 적어도 부분적으로 기초하여, 보다 낮은 동적 범위 디지털 이미지에 대한 샘플 값을 산출하는 단계
를 포함하는
컴퓨터 판독가능 저장 장치.
제1항에 있어서,
상기 방법은 상기 톤 매핑하는 단계 이전에 상기 높은 동적 범위 디지털 이미지를 전처리하는 단계를 더 포함하는
컴퓨터 판독가능 저장 장치.
제1항에 있어서,
상기 톤 매핑하는 단계는
전역 톤 매핑 룩업 테이블을 생성하는 단계와,
상기 높은 동적 범위 디지털 이미지 내 복수의 샘플 값 각각에 대한 보다 낮은 동적 범위 값을 식별하는 단계
를 더 포함하며,
상기 식별하는 단계는 상기 전역 톤 매핑 룩업 테이블 내에서 상기 복수의 샘플 값 각각을 찾는 단계를 포함하는
컴퓨터 판독가능 저장 장치.
제3항에 있어서,
상기 전역 톤 매핑 룩업 테이블은 적응적 감마 함수에 기초하여 생성되는
컴퓨터 판독가능 저장 장치.
제1항에 있어서,
상기 톤 매핑된 샘플 값 각각에 대한 상기 잔차 신호를 도출하는 단계는 각각의 톤 매핑된 샘플 값에 제각기의 상기 국지적 콘트라스트 값을 곱하는 단계를 포함하는
컴퓨터 판독가능 저장 장치.
제1항에 있어서,
상기 방법은 상기 잔차 신호 중 하나 이상에 필터링을 적용하는 단계를 더 포함하는
컴퓨터 판독가능 저장 장치.
제1항에 있어서,
상기 방법은 상기 잔차 신호 중 하나 이상에 스케일링을 적용하는 단계를 더 포함하되, 상기 스케일링은 제각기의 상기 잔차 신호에 대응하는 상기 톤 매핑된 샘플 값의 함수인 스케일링 팩터(factor)를 적용하는 단계를 포함하는
컴퓨터 판독가능 저장 장치.
제1항에 있어서,
상기 보다 낮은 동적 범위 디지털 이미지에 대한 샘플 값은 각각 톤 매핑된 샘플 값, 잔차 신호 및 고주파 디더링(dithering) 신호를 조합함으로써 산출되는
컴퓨터 판독가능 저장 장치.
제1항에 있어서,
상기 방법은
상기 높은 동적 범위 디지털 이미지의 보다 낮은 해상도의 미리 보기 버전 내 복수의 샘플 값 각각에 대한 보다 낮은 동적 범위 값을 식별하는 단계와,
상기 보다 낮은 해상도의 미리 보기 버전 내 상기 복수의 샘플 값을 제각기의 상기 식별된 보다 낮은 동적 범위 값에 톤 매핑하는 단계와,
상기 보다 낮은 해상도의 미리 보기 버전 내 상기 톤 매핑된 샘플 값 각각에 대한 국지적 콘트라스트 값을 산출하는 단계와,
제각기의 상기 국지적 콘트라스트 값에 적어도 부분적으로 기초하여, 상기 보다 낮은 해상도의 미리 보기 버전 내 상기 톤 매핑된 샘플 값 각각에 대한 잔차 신호를 도출하는 단계와,
상기 보다 낮은 해상도의 미리 보기 버전 내 상기 톤 매핑된 샘플 값 및 제각기의 상기 잔차 신호에 적어도 부분적으로 기초하여 미리 보기 이미지에 대한 샘플 값을 산출하는 단계를 더 포함하는
컴퓨터 판독가능 저장 장치.
컴퓨터 시스템에서, 사용자 선호 정보에 기초하여 높은 동적 범위 이미지를 렌더링하는 방법으로서,
높은 동적 범위 이미지 렌더링 파라미터에 대한 사용자 선호사항을 설정하기 위한 하나 이상의 사용자 선호 콘트롤을 제공하는 단계와,
상기 사용자 선호 콘트롤로부터 사용자와 연관된 사용자 선호 정보를 수신하는 단계- 상기 사용자 선호 정보는 높은 동적 범위 디지털 이미지를 포함하는 높은 동적 범위 디지털 이미지 파일에 대한 높은 동적 범위 이미지 렌더링 파라미터에 대응함 - 와,
상기 사용자 선호 정보에 적어도 부분적으로 기초하여 상기 높은 동적 범위 디지털 이미지를 렌더링하는 단계를 포함하며,
상기 렌더링하는 단계는
복수의 톤 매핑된 샘플 값 각각에 대한 국지적 콘트라스트 값을 산출하는 단계와,
제각기의 상기 국지적 콘트라스트 값에 적어도 부분적으로 기초하여, 상기 복수의 톤 매핑된 샘플 값 각각에 대한 잔차 신호를 도출하는 단계와,
상기 복수의 톤 매핑된 샘플 값 및 제각기의 상기 잔차 신호에 적어도 부분적으로 기초하여, 보다 낮은 동적 범위 디지털 이미지에 대한 샘플 값을 산출하는 단계
를 포함하는,
렌더링 방법.
제10항에 있어서,
상기 사용자와 연관된 상기 사용자 선호 정보를 메타데이터로서 상기 높은 동적 범위 디지털 이미지 파일 내에 저장하는 단계를 더 포함하는 렌더링 방법.
제11항에 있어서,
상기 사용자 선호 정보를 메타데이터로서 저장하는 단계는 본래의 높은 동적 범위 디지털 이미지 정보를 상기 파일 내에 보존하는 것을 용이하게 하는
렌더링 방법.
제1항에 있어서,
상기 방법은
상기 보다 낮은 동적 범위 디지털 이미지의 수정된 버전을 얻기 위해 하나 이상의 수정된 톤 매핑 파라미터를 상기 높은 동적 범위 디지털 이미지의 하나 이상의 사본에 적용하는 단계와,
상기 보다 낮은 동적 범위 디지털 이미지를 상기 수정된 버전의 상기 보다 낮은 동적 범위 디지털 이미지와 함께 순차적으로 디스플레이함으로써 애니메이션 효과를 생성하는 단계
를 더 포함하는, 컴퓨터 판독가능 저장 장치.
제10항에 있어서,
상기 방법은
제2 사용자와 연관된 사용자 선호 정보를 상기 사용자 선호 콘트롤로부터 수신하는 단계와,
제1 사용자와 연관된 상기 사용자 선호 정보와 함께 상기 제2 사용자와 연관된 상기 사용자 선호 정보를 메타데이터로서 상기 높은 동적 범위 디지털 이미지 파일에 저장하는 단계
를 더 포함하는 렌더링 방법.
높은 동적 범위 디지털 이미지 렌더링 시스템으로서,
복수의 높은 동적 범위(high dynamic range: HDR) 디지털 이미지 샘플 값 및 대응하는 보다 낮은 동적 범위(LDR) 샘플 값을 포함하는 룩업 테이블과,
톤 매핑된 샘플 값을 생성하기 위해 렌더링되고 있는 HDR 디지털 이미지의 샘플 값에 대응하는 LDR 샘플 값을 상기 룩업 테이블로부터 획득하는 톤 매퍼(tone mapper)와,
상기 톤 매핑된 샘플 값에 대한 국지적 콘트라스트 값을 산출하고, 상기 톤 매핑된 샘플 값에 대응하는 국지적 콘트라스트 값을 곱하여 상기 톤 매핑된 샘플 값에 대한 잔차 신호를 도출하는 잔차 신호 추출기와,
상기 톤 매핑된 샘플 값 및 상기 잔차 신호에 기초하여 출력 LDR 이미지에 대한 샘플을 생성하는 LDR 이미지 생성기와,
상기 톤 매퍼, 상기 잔차 신호 추출기 및 상기 LDR 이미지 생성기와 통신하여 제각기의 기능을 수행하는 적어도 하나의 처리기
를 포함하는 높은 동적 범위 디지털 이미지 렌더링 시스템.
제15항에 있어서,
렌더링되고 있는 상기 HDR 디지털 이미지에 대해 디지털 신호 처리 동작을 수행하는 전처리기를 더 포함하는
높은 동적 범위 디지털 이미지 렌더링 시스템.
제15항에 있어서,
상기 톤 매퍼에 의해 얻어진 상기 LDR 샘플 값은 LDR 이미지 버퍼에 저장되는
높은 동적 범위 디지털 이미지 렌더링 시스템.
제15항에 있어서,
상기 룩업 테이블 LDR 샘플 값은 적응적 감마 함수를 이용하여 생성되는
높은 동적 범위 디지털 이미지 렌더링 시스템.
제15항에 있어서,
상기 잔차 신호 추출기에 의해 도출된 잔차 신호를 필터링하는 잔차 신호 필터를 더 포함하는
높은 동적 범위 디지털 이미지 렌더링 시스템.
제19항에 있어서,
상기 잔차 신호 필터는 비정상 샘플(outlier sample)을 제거하기 위해 3x3 박스카(boxcar) 필터를 적용하는
높은 동적 범위 디지털 이미지 렌더링 시스템.
높은 동적 범위 디지털 이미지를 보다 낮은 동적 범위 디지털 이미지로서 렌더링하는 컴퓨터로 구현된 방법으로서,
높은 동적 범위 디지털 이미지 내의 복수의 샘플 값 각각을 제각기의 보다 낮은 동적 범위 값에 톤 매핑하는 단계와,
상기 톤 매핑된 샘플 값 각각에 대한 국지적 콘트라스트 값을 산출하는 단계와,
제각기의 상기 국지적 콘트라스트 값에 적어도 부분적으로 기초하여, 상기 톤 매핑된 샘플 값 각각에 대한 잔차 신호를 도출하는 단계와,
상기 톤 매핑된 샘플 값 및 제각기의 상기 잔차 신호에 적어도 부분적으로 기초하여, 보다 낮은 동적 범위 디지털 이미지에 대한 샘플 값을 산출하는 단계
를 포함하는 컴퓨터로 구현된 방법.
제21항에 있어서,
상기 톤 매핑하는 단계는
전역 톤 매핑 룩업 테이블을 생성하는 단계와,
상기 높은 동적 범위 디지털 이미지 내 복수의 샘플 값 각각에 대한 보다 낮은 동적 범위 값을 식별하는 단계
를 더 포함하며,
상기 식별하는 단계는 상기 전역 톤 매핑 룩업 테이블 내에서 상기 복수의 샘플 값 각각을 찾는 단계를 포함하는
컴퓨터로 구현된 방법.
제21항에 있어서,
상기 톤 매핑된 샘플 값 각각에 대한 상기 잔차 신호를 도출하는 단계는 각각의 톤 매핑된 샘플 값에 제각기의 상기 국지적 콘트라스트 값을 곱하는 단계를 포함하는
컴퓨터로 구현된 방법.
제21항에 있어서,
상기 잔차 신호 중 하나 이상에 스케일링을 적용하는 단계를 더 포함하되, 상기 스케일링은 제각기의 상기 잔차 신호에 대응하는 상기 톤 매핑된 샘플 값의 함수인 스케일링 팩터를 적용하는 단계를 포함하는
컴퓨터로 구현된 방법.