KR20090091207A

KR20090091207A - 디지털 이미지들에서의 동적 범위를 부스팅하기 위한 장치 및 방법들

Info

Publication number: KR20090091207A
Application number: KR1020097013215A
Authority: KR
Inventors: 프란세스코 밴털; 패트릭 레다; 커트 데바티스타; 앨런 찰머스
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2006-11-27
Filing date: 2007-11-27
Publication date: 2009-08-26
Also published as: WO2008066840A3; EP2098060B1; IL198599A0; CN101595719A; RU2444786C2; BRPI0719548B1; EP2098060A2; RU2009123903A; JP2010511326A; NO20092391L; HK1135543A1; JP5411706B2; AU2007325737A1; CA2669028A1; IL198599A; US20100208143A1; KR101466596B1; UA99449C2; MX2009005564A; NO338509B1

Abstract

이미지를 표현하는 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법은 원 이미지 데이터로부터 원 이미지 데이터의 동적 범위보다 더 큰 동적 범위를 갖는 확장된 데이터를 생성하도록 확장 함수를 적용하는 단계, 및 이미지에서의 픽셀들과 연관된 영역들의 휘도의 정도를 나타내는 데이터를 포함하는 확장 맵을 획득하는 단계를 포함한다. 그 다음, 방법은 강화된 이미지 데이터를 산출하기 위해 확장 맵에 따라 원 이미지 데이터와 확장된 데이터를 조합한다. 이미지 데이터의 동적 범위를 부스팅하기 위한 장치는 확장된 데이터를 산출하는 동적 범위 확장기, 확장 맵을 생성하는 휘도 분석기 및 확장 맵에 의해 제공된 다양한 가중치에 따라 원 및 확장된 데이터를 조합하는 조합기를 포함한다.

동적 범위, 확장 함수, 확장 맵

Description

디지털 이미지들에서의 동적 범위를 부스팅하기 위한 장치 및 방법들{APPARATUS AND METHODS FOR BOOSTING DYNAMIC RANGE IN DIGITAL IMAGES}

관련된 출원의 상호 참조

본 출원은 2006년 11월 27일자로 출원되고, 명칭이 '디지털 이미지들에서의 동적 범위를 부스팅하기 위한 장치 및 방법들{APPARATUS AND METHOD FOR BOOSTING DYNAMIC RANGE IN DIGITAL IMAGES}'라는 제목으로 본원에 전체적으로 통합된 미국 가 출원 번호 60/867,325의 이점을 주장한다.

본 발명은 디지털 이미징(digital imaging)에 관한 것이다. 본 발명은 특히 디지털 이미지의 동적 범위를 증가시키기 위한 방법들 및 장치에 관한 것이다.

인간의 눈은 매우 넓은 범위의 명암도에 걸쳐 빛에 민감하다. 이미지들은 정확하게 실제 장면들을 재생성하기 위해 고도의 동적 범위들을 가져야만 한다. 고성능 CCD 어레이들(arrays)과 같은 고성능 이미지 센서들은 높은 동적 범위들을 갖는 이미지들을 획득할 수 있다. Dolby Canada Corporation으로부터 이용가능한 디스플레이들(displays)과 같이, 높은 동적 범위 이미지들을 디스플레이할 수 있는 디스플레이들이 존재한다. 그러나 많은 컴퓨터 디스플레이들, 텔레비전들 등은 제한된 동적 범위들을 갖고 이러한 높은 동적 범위 이미지들을 디스플레이할 수 없다.

일부 이미지 데이터는 이미지 데이터가 획득되거나 생성되는 방식 때문에 낮은 동적 범위를 갖는다. 다른 경우들에서, 이미지 데이터의 동적 범위는 이미지 데이터의 이미지가 재생성될 디스플레이들의 특성들과 매치(match)하도록 감소될 수 있다. 이미지 데이터의 동적 범위를 감소시키기 위해 톤 매핑 연산자(tone mapping operator)가 더 높은 동적 범위 이미지 데이터에서 적용될 수 있다. 이는 예를 들면, 어떤 유형의 디스플레이 또는 특정한 이미지 데이터 포맷의 동적 범위를 매치하는 이미지 데이터를 제공하기 위해 행해질 수 있다.

이용가능한 높은 동적 범위 디스플레이들에 의해 디스플레이되고/되거나 인간의 눈에 의해 인식될 수 있는 동적 범위보다 더 낮은 동적 범위를 갖는 방대한 양의 현존 이미지 데이터가 존재한다.

더 낮은 동적 범위 이미지 데이터의 동적 범위를 부스팅(boosting)할 수 있는 방법들 및 장치가 필요하다.

다음의 실시예들 및 그의 양태들은 예시적이고 도시적이더라도 범위가 제한되지 않도록 의도되는 시스템들, 도구들 및 방법들에 부합해서 설명되고 도시된다. 다양한 실시예들에서, 다른 실시예들이 다른 개선점들에 관한 것일지라도, 하나 이상의 상술한 문제점들이 감소되었거나 제거되었다.

본 발명의 하나의 양태는 이미지를 표현하는 원 이미지 데이터(original image data)의 동적 범위를 증가시키기 위한 방법을 제공한다. 방법은 임의의 순서로: 원 이미지 데이터로부터 원 이미지 데이터의 동적 범위보다 더 큰 동적 범위를 갖는 확장된 데이터를 생성하기 위해 확장 함수를 적용하는 단계; 및 이미지에서의 픽셀들과 연관된 영역들의 휘도의 정도를 나타내는 데이터를 포함하는 확장 맵을 획득하는 단계를 포함한다. 방법은 강화된 이미지 데이터를 산출하기 위해 확장 맵에 따라 원 이미지 데이터와 확장된 데이터를 조합한다.

본 발명의 또 다른 양태는 원 이미지 데이터의 동적 범위를 확장하기 위한 장치를 제공한다. 장치는: 원 이미지 데이터를 수신하고 원 이미지 데이터의 동적 범위보다 더 큰 동적 범위를 갖는 확장된 데이터를 출력하도록 연결된 동적 범위 확장기; 원 이미지 데이터의 이미지 내에서의 픽셀들과 연관된 영역들의 휘도를 나타내는 확장 맵을 생성하도록 구성된 휘도 분포 분석기; 및 강화된 이미지 데이터를 산출하기 위해 확장 맵에 따라 원 이미지 데이터를 동적 범위 확장기로부터의 확장된 데이터와 조합하도록 구성된 이미지 조합기를 포함한다.

본 발명의 또 다른 양태는 원 이미지 데이터의 동적 범위를 강화하기 위한 방법을 제공하고, 방법은:

로 주어지는 역 톤 매핑 연산자에 따라 원 이미지 데이터의 픽셀들에 대한 휘도값들 또는 그의 수학적인 등가식을 처리하는 단계를 포함하고, 여기서, α, L_white,

은 파라미터들(parameters)이고 L_d는 원 이미지 데이터에서의 픽셀에 대응하는 휘도값이다.

상술한 예시적인 양태들 및 실시예들 외에, 부가적인 양태들 및 실시예들이 후술되고/되거나 도면들을 참조하고 다음의 상세한 설명의 연구에 의해 명백해질 것이다.

도시한 첨부된 도면들은 본 발명을 제한하지 않는 실시예들을 도시한다.

도 1은 본 발명의 일 실시예에 따른 방법을 도시한 흐름도.

도 2는 본 발명에 따른 장치의 블록도.

도 3은 본 발명의 또 다른 실시예에 따른 장치의 블록도.

다음의 설명을 통해서 당업자들에게 더욱 완전한 이해를 제공하기 위해 특정한 세부항목들이 설명된다. 그러나, 충분하게 공지된 소자들은 개시된 내용을 불필요하게 불명료하게 하는 것을 회피하기 위해 상세하게 도시되거나 설명되지 않을 수도 있다. 따라서, 설명 및 도면들은 제한하기보다는, 도시적인 것으로 간주되어야 한다.

본 발명은 이미지 데이터의 동적 범위를 부스팅하기 위한 방법들 및 장치를 제공한다. 방법들 및 장치는 예를 들면, 높은 동적 범위 디스플레이들 상에 디스플레이하기 위한 레거시 이미지들(legacy images)의 동적 범위를 증가시키기 위해 적용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 방법(20)을 도시한 도면이다. 방법(20)은 이미지 데이터(23)의 동적 범위를 확장하기 위해 블록(24)에서 획득된 원 이미 지 데이터(23)에 대해 작용한다. 블록(26)에서, 방법(20)은 원 이미지 데이터(23)를 확장하여 확장된 이미지 데이터(25)를 획득한다. 확장은 제 1 범위로부터 제 2 범위까지의 픽셀 광도값들을 매핑한다. 제 2 범위는 제 1 범위보다 더 가능한 값들을 제공한다. 예를 들면, 제 1 범위는 0 내지 255 범위의 값들을 허용하는 반면에, 제 2, 확장된 범위는 어떤 특정 정확성에 따라 0 내지 1023 범위의 값들 또는 0.00 내지 1.00 범위의 값들을 허용한다. 일부 실시예들에서, 확장된 이미지 데이터(25)에서의 픽셀의 광도값은 원 이미지 데이터(23)에서의 대응하는 픽셀의 광도값의 함수이다.

확장은 선형 스케일링(scaling), 비-선형 스케일링 또는 톤 매핑 함수의 역함수와 같은 더 복잡한 확장 함수의 적용 중 임의의 것을 포함할 수 있다. 블록(26)이 역 톤-매핑 함수를 적용하는 경우, 블록(26)에 적용된 역 톤-매핑 함수는 반드시 원 이미지 데이터(23)의 생성에 사용된 임의의 특정 톤 매핑 함수의 역이 아니다. 사실, 일부의 경우들에서, 원 이미지 데이터(23)는 톤 매핑 함수의 애플리케이션(application) 없이 또는 블록(26)에 적용된 톤 매핑 함수의 역과 상이한 톤 매핑 함수의 애플리케이션을 통해서 획득되었을 수 있다.

하나의 예시적인 톤 매핑 함수는 Reinhard 등의 Photographic Tone Reproduction, ACM Trans. Graph.,21,3,267-276(2002)의 Photographic tone reproduction for digital images에서 설명된다. 다른 톤 매핑 함수들은 예를 들면, Smith 등의 Beyond tone mapping: Enhanced depiction of tone mapped HDR images., Computer Graphics Forum 25, 3(2006); 및 Ledda 등의 Evaluation of tone mapping operators using a high dynamic range display, ACM Trans. Graph., 24, 3, 640 내지 648(2005)에서 설명된다.

사진 톤 감소 톤 매핑 연산자는 장면의 키(key)들이거나 근접하는 기하학적 평균값에 기초하여 픽셀 광도값들을 스케일링한 다음, 결과값들을 압축한다. 스케일링은:

(1)

에 의해 주어질 수 있고, 여기서 L_m은 스케일링된 값이고, α는 사용자 파라미터이고, L_w는 원 이미지 데이터(23)에서의 픽셀의 광도이다. 원 이미지 데이터(23)가 RGB 포맷 상태라면 Lw는:

L_w = 0.213R_w + 0.715G_w + 0.072B_w (2)

에 의해 주어질 수 있고, 여기서 R_w, G_w 및 B_w는 각각 RGB 컬러(color) 공간에서 픽셀에 대한 레드, 그린 및 블루 픽셀 값들이다.

은:

(3)

에 의해 규정된 기하학적 평균값이고, 여기서 δ는 작은 음수가 아닌 값이고 N은 이미지의 픽셀들의 수이다.

압축은 제 1 범위 내의 입력 값들을 취하고 제 2의, 더 좁은 범위 내의 출력 값들을 생성하는 함수에 의해 제공될 수 있다. 예를 들면, 압축은:

(4)

에 의해 제공될 수 있고, 여기서 L_d는 (x, y)에서의 픽셀에 대한 압축된 값이다. 보다 가변적인 실시예에서, 압축은:

(5)

에 의해 제공되고, 여기서 L_white는 압축된 데이터에서 화이트로 매핑될 압축되지 않은 데이터로부터의 가장 작은 광도값에 대응하는 파라미터이다.

식 (5)는 2차 식을 풀어서 역변환될 수 있다:

(6)

식 (5)에서, L_m은 식 (1)으로부터의 값에 의해 치환되어:

(7)

을 산출할 수 있다.

식 (7)은 가장 큰 양수 값의 답을 획득하기 위해 이차식을 사용하여 L_w에 대해 풀 수 있다. 이는 확장된 이미지 데이터(25)를 획득하기 위해 이미지의 각 픽셀에 대해 수행될 수 있다.

식 (7)의 답을 역 톤 매핑에 적용하기 위해 파라미터들 α, L_white, L_d 및 기하학적 평균

에 값들을 할당해야만 한다. 톤-매핑 연산자(있는 경우에)가 작동하고 있는 더 낮은 동적 범위 이미지를 획득하기 위해 적용되었다는 것이 인지되지 못하면, 이들 파라미터들은 공지되지 않을 것이다. 일부 실시예들에 따른 방법들에서, 사용자는 이들 파라미터들에 대한 값들을 설정할 수 있다. 일부 실시에들에서, 파라미터들은 자동으로 설정되거나 미리결정될 수 있다. 일부 실시예들에서, 파라미터들의 일부 또는 전체는 값들을 이니셜(initial) 값들로 자동으로 설정되고 사용자는 원한다면 그러한 이니셜 값들을 파라미터 값들로 변경할 수 있다.

을 할당하기 위한 하나의 방식은 처리되고 있는 더 낮은 동적 범위 이미지의 기하학적 평균 휘도를 사용하는 것이다. 동일한 장면의 더 높은 그리고 더 낮은 동적 범위 이미지들의 기하학적 평균 휘도는 통상적으로 상당히 비슷하다는 것(더 낮은 동적 범위 이미지가 현저하게 과도 또는 과소 노출되지 않는 경우)이 발견되었다. 특정-톤 매핑 연산자는 기하학적 평균 휘도를 변화시키는 경향이 있다. 이러한 톤 매핑 연산자들이 원 이미지 데이터(23)의 생성에 사용되었던 경우에,

에 대해 처리되고 있는 더 낮은 동적 범위 이미지의 기하학적 평균 휘도의 함수를 사용하는 것은 바람직할 수 있다. 함수는 원 이미지 데이터(23)를 생성하기 위해 사용된 톤-매핑 연산자의 정보에 기초하여 선택될 수 있다.

값을 파라미터 L_d(x,y)에 할당하기 위한 하나의 방식은 L_d가 처리되고 있는 더 낮은 동적 범위 이미지의 휘도임을 인식하는 것이다.

파라미터들 α 및 L_white는 사용자에 의해 설정될 수 있다. 파라미터 α의 의미는 상당히 인지하기 어렵다. 그러므로 발명자들은 파라미터 L_max´를:

(8)

와 같이 규정하고자 한다.

L_max´는 역 톤 매핑된 이미지에서 기대되는 최대 휘도값이다. L_white는 원래의 낮은 및 중간 휘도값들의 확장에 영향을 준다. L_white가 매우 높은 경우, 그러한 값들은 매우 낮은 휘도값들로 매핑된다. L_white가 매우 낮은 경우, 역-톤-매핑된 이미지는 팩터(factor) L_max´에 의해 스케일링된 원래의 더 낮은 동적 범위 이미지에서의 휘도값들과 유사한 휘도값들을 가질 것이다. 통상적인 애플리케이션들에서, 동일하거나 같은 차수의 값들을 갖는 L_white 및 L_max´는 적당한 결과들을 산출하는 경향이 있다.

블록(26)에 적용된 확장 함수는 아주 만족스럽지 못한 확장된 이미지를 생성할 수 있다. 확장 함수가 높은 출력 휘도값들을 산출하는 경우 결과적인 이미지는 외형이 "블러키(blocky)"일 수 있다.

방법(20)은 블록(28)에서 생성된 확장 맵(29)에 따라 확장된 이미지(25)를 원 이미지(23)와 조합함으로써 출력 이미지(33)를 획득한다. 확장 맵(29)은 원 이미지(23)의 더 높은 휘도 및 더 낮은 휘도 영역들(areas)을 식별한다. 확장 맵(29) 을 사용하여, 방법(20)은 출력 이미지(33)를 더 높은 휘도 영역들의 확장된 이미지(25)에 더 많이(more heavily) 기초하고 출력 이미지(33)를 더 낮은 휘도 영역들의 원 이미지(23)에 더 많이 기초한다. 블록(28)은 픽셀이 속하는 영역의 휘도 레벨을 구하기 위한 임의의 적합한 방법을 사용할 수 있다. 예를 들면, 블록(28)은 각 픽셀이 속하는 영역의 픽셀들의 평균 휘도 또는 가중된 평균 휘도를 계산할 수 있다. 확장 맵(29)은 각 픽셀과 연관된 가중치들을 포함한다. 가중치들은 원 이미지(23) 및 확장된 이미지(25)가 강화된 이미지(33)에서의 그 픽셀에 대한 값에 기여하는 상대적인 정도를 나타낸다.

도시된 실시예에서, 블록(28)은 블록(28A)에서 미디언 컷 알고리즘(median cut algorithm) 알고리즘을 적용한다. 미디언 컷 알고리즘은 예를 들면, Debevec, P., A median cut algorithm for light probe sampling, ACM Siggraph 2005 posters (2005)에 설명된다. 미디언 컷 알고리즘은 이미지에서 높은 휘도의 영역들 부근에서 군(cluster)을 이루는 한 세트의 포인트 광원들(light sources)을 식별한다. 픽셀 부근에서의 이러한 광원들의 수 및 세기(intensity)는 일부 실시예들에서 확장 맵(29)을 생성하기 위해 사용된다.

미디언 컷 알고리즘은 이미지를 유사한 빛 에너지의 2ⁿ 영역들로 분할한다. 이 영역들은 휘도가 결과적인 영역들 사이에 동일하게 배분되도록 가장 긴 길이에 따라 이미지를 다시 분할함으로써 식별될 수 있다. 처리는 결과적인 영역들에 대해서 반복된다. 광원은 이미지를 영역들을 n번 분할하는 처리를 반복함으로써 획득된 2ⁿ의 영역들의 각각의 중심에 위치된다. 각 광원의 컬러는 영역에 걸쳐 평균값으로 설정된다.

본 발명의 일부 실시예들에서, n은 적어도 9(512개의 광원들에 대응하는)이다. 일부 실시예들에서 n은 10 이상이다.

일부 실시예들에서, 포인트 광원들은 확장 맵(29)의 생성에 수행될 수 있는 가장 근접한 인접 검색들을 용이하게 하도록 2D 트리(tree)를 포함하는 데이터 구조에 저장될 수 있다.

원 이미지(23)가 더 높은 그리고 더 낮은 휘도 영역들의 식별을 위해 사용되어야 하는 것은 필수적이다. 더 높은 그리고 더 낮은 휘도 영역들의 분포는 원 이미지 데이터(23) 및 확장된 이미지 데이터(25)에서와 유사할 것이다. 미디언 컷 알고리즘은 확장된 이미지 데이터(25) 상에서 수행될 수 있다.

블록(28A)에서 수행된 미디언 컷 알고리즘에 의해 식별된 광원들로부터 한 세트의 가중치들을 획득하기 위한 방식은 픽셀을 둘러싸는 영역 내에 광원들의 밀도를 각 픽셀(x, y)에 대해 결정하는 것이다. 영역은 종래적으로 예를 들면, 임의의 반지름 r을 갖는 원형 영역을 포함할 수 있다. 다른 영역 형상들이 또한 사용될 수 있다. 밀도 추정치는 Duda 등의 Pattern Classification 2^nd Edition, Wiley Interscience (2001)에 설명된다.

밀도 추정치를 위해 사용될 수 있는 기본 공식은:

(9)

이고, 여기서 Λ는 밀도이고; X는 이미지에서의 위치 (x, y)이고; Ψ_p는 포인트 p에서의 광원에 대한 휘도이고; P는 미디언 컷 알고리즘에 의해 식별된 광원들에 대응하는 영역(이 예에서 반지름 r을 갖고 중점이 X인 원) 내에서의 세트의 포인트들이다.

밀도 추정치는:

· 미디언 컷 알고리즘을 반복하여 상당한 수의 광원들을(n을 더욱 크게 하여) 획득하는 단계;

· 밀도 추정의 결과들에 스무딩 필터(smoothing filter)를 적용하는 단계; 및

· 픽셀에 영이 아닌 밀도 Λ를 할당하기 전에 적어도 문턱치 개수(threshold number)의 광원들(예를 들면, 1024개 이상의 광원들 - n=10 이 있는 경우 문턱치 개수는 4 이상일 것이고 - 일부의 경우들에서 4 내지 6개의 광원들)이 픽셀의 영향권 영역 내부에 있는 것을 요구하는 단계를 포함하는 다수의 방식들로 개선될 수 있다.

스무딩 필터는 가우시안(Gaussian) 스무딩 필터를 포함할 수 있다. 예를 들면, 전형적인 실시예는 다음에 의해 주어지는 커널(kernel)의 가중치에 의해 규정된 가우시안 필터를 적용하였고:

(10)

여기서, w_g ^p는 커널이고; γ 및 β는 파라미터들이다. 이 필터는 예를 들면, Pavicic, Convenient Anti-Aliasing Filters that Minimize Bumpy Sampling, Morgan Kaufmann(1990)에 설명된다. γ 및 β에 대한 예시적인 값들은 γ=0.918이고 β=1.953이다. 이 필터는 상술한 바와 같이 밀도 추정치를 계산할 때 w_g ^p로 휘도들을 스케일링함으로써 표준화되고 적용될 수 있다. 이 필터는 픽셀로부터 더 멀리 있는 광원들보다 픽셀에 더 근접한 광원들을 더 많이 가중하는 것이 확인될 수 있다.

블록(30)에서, 원 데이터(23) 및 확장된 데이터(25)는 확장 맵(29)을 사용하여 조합하여 강화된 데이터(33)를 산출한다. 일 도시적인 예에서, 확장 맵(29)은 범위[0, 1]의 값을 각 픽셀에 대해 제공한다. 이 값은 원 데이터(23) 및 확장된 데이터(25) 사이의 선형 보간법(linear interpolation)에 대해 가중치들로써 사용될 수 있다. 예를 들면:

(11)

여기서: L_final은 위치(x, y)에서의 픽셀에 대한 강화된 데이터(33)에서의 픽 셀 휘도값이고; L_w는 확장된 데이터(25)에서의 픽셀에 대한 휘도값이고; L_d는 원 데이터(23)에서의 픽셀에 대한 휘도값이고; Λ는 확장 맵(29)으로부터 범위[0, 1]의 픽셀에 대한 가중치이다.

블록(30)은 다른 방식들로 원 데이터(23) 및 확장된 데이터(25)를 선택적으로 조합할 수 있다. 예를 들면, 보간법은 비선형일 수 있다.

본원에 설명된 방법들은 예를 들면, 디지털 정지 이미지들(digital still images) 또는 비디오 이미지들의 동적 범위를 강화하기 위해 적용될 수 있다. 강화된 데이터(33)는 블록(34)에서 나타내어진 바와 같이, 저장되거나 또는 블록(36)에서 나타내어진 바와 같이, 디스플레이 상에 디스플레이될 수 있다.

식 (6) 및 (7)에 관하여 상술된 역 톤 매핑 연산자는 방법(20) 이외의 애플리케이션을 갖는다. 예를 들면, 역 톤 매핑 연산자는 비디오에 프레임들(frames)의 동적 범위를 증가시키기 위해 직접 적용될 수 있다. 이러한 실시예들에서, 비디오의 각 프레임의 이미지는 확장된 프레임을 획득하기 위해 역 톤 매핑 연산자에 의해 처리될 수 있다. 확장된 프레임들은 원 비디오의 동적 범위보다 더 높은 동적 범위를 갖는 비디오를 제공하기 위해 저장되고/되거나 또는 재생될 수 있다.

통상적인 이미지들은 수십만의 픽셀들, 더욱 통상적으로, 수백만의 픽셀들을 포함한다. 본원에 설명된 방법들은 특정 하드웨어 및/또는 프로그래밍된 컴퓨터 시스템들과 같은, 자동화 장치를 사용하여 수행된다.

도 2는 원 이미지 데이터(23로부터 확장된 동적 범위들을 갖는 이미지들을 생성하기 위한 장치(40)를 개략적으로 도시한 도면이다. 장치(40)는 확장된 데이터(25)를 산출하기 위해 원 이미지 데이터(23)를 처리하는 동적 범위 확장기(44)를 포함한다. 일부 실시예들에서, 동적 범위 확장기(44)는 원 이미지 데이터(23)를 취한 소프트웨어 모듈(software module)을 포함하고 동적 범위 확장 함수를 원 이미지 데이터(23)에서의 각 휘도값에 적용하여 확장된 데이터(25)를 산출한다.

장치(40)는 확장 맵(29)을 산출하기 위해 원 이미지 데이터(23)(또는 선택적으로 확장된 데이터(25))를 처리하는 휘도 분포 분석기(46)를 포함한다. 휘도 분포 분석기(46)는 원 이미지 데이터(23)에서의 픽셀들이 원 이미지 데이터(23)에 의해 표현된 이미지의 고 휘도 및 저 휘도 영역들에 속하는 정도를 결정한다.

조합기(48)는 강화된 데이터(33)를 산출하기 위해 원 이미지 데이터(23) 및 확장된 데이터(25)를 조합한다. 강화된 데이터(33)의 각 픽셀은 원 이미지 데이터(23)의 대응하는 픽셀에 대한 값에 기초하고 확장된 데이터(25)는 확장 맵(29)에서의 대응하는 픽셀의 값에 의존한다.

동적 범위 확장기(44), 휘도 분포 분석기(46) 및 조합기(48) 각각은 하드웨어 모듈, 하드웨어 및 소프트웨어의 조합, 또는 하나 이상의 적합하게 구성된 필드-프로그래밍가능한 게이트 어레이들(field-programmable gate arrays: FPGAs)과 같은, 구성가능한 하드웨어를 포함할 수 있다. 일부 실시예들에서, 장치(40)는 정지 및/또는 비디오 이미지들을 디스플레이할 수 있는 높은 동적 범위 전자 디스플레이 시스템에 제공될 수 있다. 이러한 실시예들에서, 장치(40)는 활성화되어 디스플레이 시스템이 재생성할 수 있는 동적 범위보다 더 낮은 동적 범위를 갖는 레거시 이 미지들 및/또는 비디오 이미지들을 강화할 수 있다.

도 3은 본 발명의 또 다른 실시예에 따른 장치(50)를 도시한 도면이다. 장치(50)는 사용자가 데이터 저장장치(54)에서 파라미터들(31)의 값들을 제어하도록 하는 사용자 인터페이스(52)를 갖는다. 파라미터들(31)은 본원에 기술된 바와 같이 강화된 이미지 데이터(33)를 획득하기 위해 원 이미지 데이터(23)를 처리하는 동적 범위 부스팅 시스템의 작동을 제어한다. 강화된 이미지 데이터(33)는 높은 동적 범위 디스플레이 드라이버(driver)(58)에 의해 제어된 디스플레이(60) 상에 디스플레이된다. 도시된 실시예에서, 사용자는 디스플레이(60) 상에 디스플레이된 이미지에 대한 특정한 세트의 파라미터들(31)의 효과를 관찰하고 그 다음, 이미지의 희망하는 외형을 달성하기 위해 사용자 인터페이스(52)를 통해 하나 이상의 파라미터들(31)의 값들을 변경할 수 있다. 그 다음, 사용자는 디스플레이(60) 상에서 또는 다른 높은 동적 범위 디스플레이들 상에서 나중에 디스플레이하기 위해 강화된 이미지 데이터(33)를 저장할 수 있다.

본 발명의 특정 구현들은 프로세서들로 하여금 본 발명의 방법을 수행하도록 하는 소프트웨어 명령들을 실행하는 컴퓨터 프로세서들(processors)을 포함한다. 예를 들면, 이미지-처리 또는 이미지 디스플레이 시스템에서의 하나 이상의 프로세서들은 프로세서들에 액세스가능한 프로그램 메모리의 소프트웨어 명령들을 실행함으로써 도 1의 방법들을 구현할 수 있다. 본 발명은 프로그램 제품 형태로 또한 제공될 수 있다. 프로그램 제품은 데이터 프로세서에 의해 실행될 때, 데이터 프로세서로 하여금 본 발명의 방법을 실행하도록 하는 명령들을 포함하는 한 세트의 컴퓨 터-판독가능한 신호들을 지니는(carry) 임의의 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 임의의 아주 다양한 형태일 수 있다. 프로그램 제품은 예를 들면, 플로피 디스켓들, 하드디스크 드라이브들을 포함하는 자기 데이터 저장 매체와 같은 물리적 매체, CD-ROM들, DVD들을 포함하는 광학 데이터 저장 매체, ROM들, 플래시 RAM을 포함하는 전자 데이터 저장 매체, 등을 포함할 수 있다. 프로그램 제품에 대한 컴퓨터-판독가능한 신호들은 선택적으로 압축되거나 암호화될 수 있다.

상기에 컴포넌트(component)(예를 들면, 소프트웨어 모듈, 프로세서, 어셈블리(assembly), 디바이스, 회로 등)가 언급된 경우에, 달리 나타내어 지지 않으면, 그 컴포넌트에 대한 언급은("수단(means)"에 대한 언급을 포함하는), 설명된 컴포넌트의 기능을 수행하는 임의의 컴포넌트를 그 컴포넌트의 등가물들(즉, 기능적으로 등가인)로서 포함하고, 개시된 구조에 대해 구조적으로 등가가 아니어도 본 발명의 도시된 예시적인 실시예들에서의 기능을 수행하는 컴포넌트들을 포함하는 것으로서 해석되어야 한다.

다수의 예시적인 양태들 및 실시예들이 상술되었을지라도, 당업자는 어떤 수정들, 변경들, 부가들 및 그들의 서브-조합들을 인식할 것이다. 예를 들면:

· 본 발명의 애플리케이션은 이미지 데이터를 표현하기 위한 임의의 특정한 포맷들 또는 임의의 특정한 컬러 공간들로 제한되지 않는다. 휘도값들이 처리될지라도, 원 이미지 데이터(23) 또는 강화된 이미지 데이터(33)는 휘도값들이 명백하게 표시되는 LUV 또는 다른 포맷일 필요는 없다. 본 발명은 휘도값들이 도출될 수 있는 정보를 포함하는 다른 이미지 포맷들에 의해 실행될 수 있다. 예를 들면, 이미지 데이터가 RGB 포맷에서 표현되는 경우, 휘도값들은 이미지의 개별 컬러들에 대한 값들로부터 휘도에 관련된 값을 산출하는 식 (2) 또는 다른 적합한 관계식의 애플리케이션을 통해 도출될 수 있다.

그러므로, 다음의 첨부된 청구항들 및 이후에 제시되는 청구항들은 그들 본래의 사상 및 범위 내에 있는 모든 이러한 수정들, 변경들, 부가들 및 서브-조합들을 포함하도록 해석됨이 의도된다.

Claims

이미지를 표현하는 원 이미지 데이터(original image data)의 동적 범위를 증가시키기 위한 방법에 있어서:

임의의 순서로:

상기 원 이미지 데이터로부터 상기 원 이미지 데이터의 동적 범위보다 더 큰 동적 범위를 갖는 확장된 데이터를 생성하도록 확장 함수를 적용하는 단계;

상기 이미지에서의 픽셀들과 연관된 영역들의 휘도의 정도를 나타내는 데이터를 포함하는 확장 맵을 획득하는 단계; 및

강화된 이미지 데이터를 산출하기 위해 상기 확장 맵에 따라 상기 원 이미지 데이터와 상기 확장된 데이터를 조합하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 1 항에 있어서,

상기 확장 맵을 획득하는 단계는 상기 이미지를 표현하는 데이터에 대해 미디언 컷 알고리즘(median cut algorithm)을 수행하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 2 항에 있어서,

상기 이미지를 표현하는 상기 데이터는 상기 원 이미지 데이터를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 2 항에 있어서,

상기 이미지를 표현하는 상기 데이터는 상기 확장된 데이터를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 확장 맵을 획득하는 단계는 상기 픽셀들과 연관된 영역들에서 상기 미디언 컷 알고리즘에 의해 식별된 광원들의 밀도를 추정하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 5 항에 있어서,

상기 픽셀들과 연관된 영역들은 상기 픽셀들의 중앙에 위치된 원형 영역들을 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 6 항에 있어서,

상기 원형 영역들은 10 내지 20개의 픽셀들의 범위에서의 반지름들을 갖는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 5 항 내지 제 7 항 중 어느 한 항에 있어서,

상기 밀도를 추정하는 단계는 스무딩 함수(smoothing function)에 따라 상기 광원들을 가중하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 8 항에 있어서,

상기 스무딩 함수는 상기 픽셀로부터 상기 광원의 거리의 함수인 음의 값의 지수의 계산을 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 5 항 내지 제 7 항 중 어느 한 항에 있어서,

픽셀에 대한 상기 밀도를 추정하는 단계는 상기 픽셀로부터의 상기 광원들의 거리에 따라 상기 픽셀로부터 더 멀리 있는 광원들보다 상기 픽셀에 더 근접한 광원들이 더 많이 가중되도록 상기 광원들을 가중하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 2 항 내지 제 7 항 중 어느 한 항에 있어서,

상기 미디언 컷 알고리즘을 수행하여 적어도 2ⁿ의 광원들을 획득하는 단계로서, n은 적어도 9인, 상기 광원들 획득 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 11 항에 있어서,

상기 픽셀과 연관된 상기 영역에서 적어도 광원들의 문턱치 개수(threshold number)가 존재하지 않는 경우 상기 확장 맵에서의 픽셀 값을 미리결정된 값으로 설정하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 12 항에 있어서,

상기 문턱치는 적어도 4인, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 13 항에 있어서,

상기 문턱치는 4 내지 6의 범위에 있는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 1 항 내지 제 14 항 중 어느 한 항에 있어서,

상기 확장 함수를 적용하는 단계는 역 톤-매핑 연산자를 적용하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 1 항 내지 제 14 항 중 어느 한 항에 있어서,

상기 확장 함수를 적용하는 단계는 상기 원 이미지 데이터의 선형 스케일링 픽셀 광도값을 포함하는, 원 이미지 데이터의 동적 범위를 증가시키는 방법.
제 1 항 내지 제 14 항 중 어느 한 항에 있어서,

상기 확장 함수를 적용하는 단계는 상기 원 이미지 데이터의 비선형 스케일링 픽셀 광도값들을 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 1 항 내지 제 14 항 중 어느 한 항에 있어서,

상기 확장 함수를 적용하는 단계는 이차식:

또는 그와 수학적인 등가식에서 L_w에 대해 푸는 단계로서, α, L_white,
는 파라미터들이고 L_d는 상기 원 이미지 데이터에서의 픽셀에 대응하는 휘도값인, 상기 L_w에 대해 푸는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 18 항에 있어서,

상기 원 이미지 데이터의 기하학적 평균 휘도와 같은
를 설정하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 18 항 또는 제 19 항에 있어서,

동일한 크기의 차수인 값들을 갖도록
및 L_white를 설정하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 1 항 내지 제 20 항 중 어느 한 항에 있어서,

상기 원 이미지 데이터 및 상기 확장된 데이터를 조합하는 단계는 상기 확장 맵으로부터 결정된 가중 값들로 상기 원 이미지 데이터 및 상기 확장된 데이터의 픽셀 휘도값들의 가중된 평균들을 계산하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
제 1 항 내지 제 20 항 중 어느 한 항에 있어서,

상기 원 이미지 데이터 및 상기 확장된 데이터를 조합하는 단계는 상기 원 이미지 데이터 및 상기 확장된 데이터의 픽셀 휘도값들을 상기 확장 맵으로부터 결정된 가중 값들로 보간하는 단계를 포함하는, 원 이미지 데이터의 동적 범위를 증가시키기 위한 방법.
원 이미지 데이터의 동적 범위를 확장하기 위한 장치에 있어서:

상기 원 이미지 데이터를 수신하고 상기 원 이미지 데이터의 동적 범위보다 더 큰 동적 범위를 갖는 확장된 데이터를 출력하도록 접속된 동적 범위 확장기;

상기 원 이미지 데이터의 이미지 내에서의 픽셀들과 연관된 영역들의 휘도를 나타내는 확장 맵을 생성하도록 구성된 휘도 분포 분석기; 및

강화된 이미지 데이터를 산출하기 위해 상기 확장 맵에 따라 상기 원 이미지 데이터를 상기 동적 범위 확장기로부터의 상기 확장된 데이터와 조합하도록 구성된 이미지 조합기를 포함하는, 원 이미지 데이터의 동적 범위를 확장하기 위한 장치.
제 23 항에 있어서,

상기 휘도 분포 분석기는 미디언 컷 알고리즘을 수행하도록 구성되는, 원 이미지 데이터의 동적 범위를 확장하기 위한 장치.
제 24 항에 있어서,

상기 휘도 분포 분석기는 상기 미디언 컷 알고리즘을 적용함으로써 적어도 512개의 광원들을 생성하도록 구성되는, 원 이미지 데이터의 동적 범위를 확장하기 위한 장치.
원 이미지 데이터의 동적 범위를 강화하기 위한 방법에 있어서:

또는 그의 수학적인 등가식에 의해 주어진 역 톤 매핑 연산자에 따라 상기 원 이미지 데이터의 픽셀들에 대한 휘도값들을 처리하는 단계로서, α, L_white, 및
는 파라미터들이고 L_d는 상기 원 이미지 데이터에서의 픽셀에 대응하는 휘도값인, 상기 휘도값들 처리 단계를 포함하는, 원 이미지 데이터의 동적 범위를 강화하기 위한 방법.