KR20070111391A - 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정 - Google Patents

Abstract

이미지 데이터의 자동 매핑 방법은 이미지에 대한 이미지 데이터를 휘도값들로 표현하는 단계; 상기 이미지의 평균 휘도값과 상기 이미지의 최소 및 최대 휘도값들의 함수로서 키값을 결정하는 단계; 상기 휘도값들 각각에 오프셋을 적용하는 단계를 포함하는 오프셋 조정된 휘도값들을 발생하는 단계로서, 상기 오프셋은 상기 결정된 키값의 함수인, 상기 오프셋 조정된 휘도값들의 발생 단계; 및 상기 오프셋 조정된 휘도값들에 매핑 함수를 적용하는 단계를 포함하는 상기 이미지의 적어도 한 영역에 대한 톤 재생 곡선을 계산하는 단계를 포함한다.

동작 범위, 톤 재생 곡선, 히스토그램, 오프셋 조정된 휘도값, 매핑 함수

Description

높은 동작 범위 이미지 매핑을 위한 히스토그램 조정{Histogram adjustment for high dynamic range image mapping}

도 1은 대표적인 실시예의 한 양태에 따른 이미징 시스템의 기능 블록도.

도 2는 대표적인 실시예의 다른 양태에 따라 로컬 히스토그램 조정 기반 동작 범위 이미지 매핑에 대한 방법의 흐름도.

도 3은 입력 이미지의 대표적인 휘도 히스토그램을 도시한 도면.

도 4는 처리를 위해 블록들로 다시 나뉘어진 대표적인 이미지의 개략도.

도 5는 전체 이미지 또는 이미지의 한 영역(region)에 대한 오프셋 조정되거나 정규화된 휘도값들에 적용될 수 있는 매핑 함수들을 도시한 도면.

도 6은 거리 가중 함수에 따른 가중된 평균 처리를 도시한 도면.

*도면의 주요부분에 대한 도면부호의 설명*

10: 이미징 시스템 14: 이미지 획득 디바이스

16: 활성 픽셀 센서 18: 신호

20: 이미지 처리 디바이스 22: 처리기

24: 디스플레이 26: 이미징 디바이스

28: 메모리 30: 데이터/제어 버스

32; 휘발성 메모리

대표적인 실시예는 이미지 처리에 관한 것이다. 특히, 본 출원은 더 높은 동작 범위에서 더 낮은 동작 범위로의 이미지들의 매핑에 관한 것이다.

장면, 이미지 또는 재생 디바이스의 "동작 범위(dynamic range)"는 최고 휘도 레벨과 최저 휘도 레벨 사이의 비로서 규정된다. 최근의 기술들은 높은 동작 범위(HDR) 배경들에 대한 라디언스 맵(radiance map)들을 비교적 생성하기 쉽도록 한다. 프린터들 및 CRT 모니터들과 같은 종래의 낮은 동작 범위(LDR) 재생 디바이스들은 통상적으로 8비트, 즉 휘도가 0 내지 255의 정수값들의 범위가 될 수 있다. 이들 디바이스들은 높은 동작 범위 이미지들(일반적으로 채널당 12, 16, 또는 심지어 32 비트들)을 직접 재생할 수 없다. 그러나, 종래의 재생 디바이스들에 대한 높은 콘트라스트 배경의 실질적인 재생이 프린트 산업, 사진 산업 및 컴퓨터 그래픽스에 요구된다.

높은 동작 범위에서 낮은 동작 범위로 변환하는데 동일한 양자화 단계들이 이용된다면, 그 후 가장 밝은 이미지 부분 또는 가장 어두운 이미지 부분이 흔히 손상된다. 동작 범위 압축에 대한 여러가지 톤 재생 기술들이 제안되어 왔다. 그러나, 대부분의 이들 기술들은 배경의 로컬 콘트라스트 및 미세한 세부사항들을 재생할 수 없고, 아티팩트들을 도입하려는 경향이 있다. 이러한 결함을 극복하기 위한 기술들은 빈번히 수치적으로 값비싸다. 그 외에도, 이들 방법들은 일반적으로, 이 미지 의존적인 수동 파라미터 조정들(image-dependent manual parameter adjustments)을 포함하며, 이것은 이들 방법들을 자동화된 디스플레이 또는 프린트 처리에 활용하는 것을 어렵게 한다.

Eschbach 등에 의한 미국 특허 번호 제 5,450,502호에는 자연스러운 장면 이미지에서의 글로벌 콘트라스트를 개선하는 방법을 개시하고 있으며, 여기서 이미지는 표현들에 대한 컬러 좌표들의 원래 세트로부터 변환되고, 한 항(term)은 전체 이미지 세기에 대한 관계를 갖는다. 이미지의 글로벌 히스토그램은 그 항에 대해 도출되며, 이미지 세기의 각각의 가능한 레벨로 픽셀들의 개체군을 플롯팅(plot)한다. 히스토그램을 기술하는 신호는, 신호의 평평한 부분들에 영향을 미치지 않고, 함수의 강한 피크들(peaks) 및 밸리들(valleys)을 약화시키는 필터로 동작된다. 필터링된 히스토그램 신호는 이미지가 프린트될 디바이스에서 TRC 매핑을 제어하기 위해 사용된다. 이미지는 다수의 세그먼트들로 분할되며, 각각은 그 이미지 세그먼트에 대한 로컬 히스토그램 신호에 의해 설명될 수 있다. 각각의 로컬 히스토그램 신호는 글로벌 히스토그램에 비교되어, 어느 신호들이 더 평평한 지를 결정한다. 로컬 히스토그램들 중 어느 하나가 글로벌 히스토그램보다 더 평평한 신호들을 가진다면, 그 신호들은 관련된 히스토그램 신호로 합산되고, 적절한 곳에 플래터닝 필터(flattening filter)로 향하게 된다.

본 명세서에 기술된 양태들에 따라, 이미지 데이터의 자동 매핑 방법에 있어서: 이미지에 대한 이미지 데이터를 휘도값들로서 표현하는 단계; 이미지의 평균 휘도값과 이미지의 최소 및 최대 휘도값들의 함수로서 키값을 결정하는 단계; 휘도값들 각각에 오프셋을 적용하는 단계를 포함하는 오프셋 조정된 휘도값들을 발생하는 단계로서, 오프셋은 결정된 키값의 함수이며, 상기 오프셋 조정된 휘도값들에 매핑 함수를 적용하는 단계를 포함하는 이미지의 적어도 한 영역에 대한 톤 재생 곡선을 계산하는 단계를 포함하는, 이미지 데이터의 자동 매핑 방법이 제공된다.

이렇게 기술된 방법에서, 키값은 이미지의 전체 밝기에 관련하여 증가할 수 있다.

이 방법에서, 키값은 다음의 방정식에 따라 계산될 수 있다:

여기서 r 및 s는 상수들이며, L_min은 이미지의 최소 휘도이고 L_max는 최대 휘도이다.

이 방법에서, 오프셋은 다음의 방정식에 따라 계산될 수 있다:

이 방법에서, 휘도는 다음의 방정식에 따라 정규화될 수 있다:

여기서 L_min은 이미지의 최소 휘도값이고 L_max는 이미지의 최대 휘도값이다.

이 방법에서, 톤 재생 곡선 계산 단계는 이미지의 복수의 영역들 각각에 대 한 상이한 톤 재생 곡선을 계산하는 단계를 포함할 수 있다.

이 방법에서, 영역들은 동일한 크기의 블록들이 될 수 있다.

상기 방법은 이미지의 픽셀에 대한 매핑된 픽셀 휘도값을 계산하는 단계를 더 포함할 수 있으며, 상기 매핑된 픽셀 휘도값은, 픽셀이 위치된 영역의 톤 재생 곡선과 픽셀이 위치된 영역에 이웃하는 영역들의 톤 재생 곡선들에 대해 결정된 매핑된 값들의 가중된 평균의 함수이다.

이 방법에서, 가중된 평균은 픽셀의 휘도값과 이웃하는 영역의 평균 휘도값 사이의 유사성의 함수가 될 수 있다.

이 방법에서, 계산된 키값은 영역들 각각에 대해 동일할 수 있다.

상기 방법은 톤 재생 곡선 조정된 휘도값들을 발생시키기 위하여, 이미지의 상기 적어도 한 영역의 휘도값들에 톤 재생 곡선을 적용하는 단계를 더 포함할 수 있다.

이 방법에서, 이미지 데이터를 휘도값들로 표현하는 단계는 각각의 픽셀에 대한 색소값들(colorant values)의 가중된 평균을 계산하는 단계를 포함할 수 있으며, 상기 방법은 발생된 톤 재생 곡선 조정된 휘도값들의 함수로서 조정된 색소값들을 계산하는 단계를 더 포함한다.

상기 방법은 이미지 렌더링 디바이스 상에 이미지를 렌더링하는 단계를 더 포함할 수 있다.

이 방법에서, 톤 재생 곡선을 계산하는 단계는 오프셋 조정된 휘도값들을 더 낮은 동작 범위를 갖는 휘도값들로 매핑하는 단계를 더 포함할 수 있다.

이 방법에서, 오프셋 조정된 휘도값들은 톤 재생 곡선을 계산하기 전에 대수 눈금(logarithmic scale) 상에 정규화된다.

컴퓨터 프로그램 제품은 컴퓨터 상에서 실행시, 컴퓨터가 상술된 방법을 수행하게 하는 명령들을 저장하는 실제적인 컴퓨터 사용 가능한 데이터 캐리어를 포함할 수 있다.

본 발명의 또 다른 양태에 따라, 이미지 처리 디바이스는 이미지에 대한 이미지 데이터를 휘도값들로 표현하고, 이미지의 평균 휘도값과 이미지의 최소 및 최대 휘도값들의 함수로서 키값을 결정하고, 휘도값들 각각에 오프셋을 적용하는 명령을 포함하는 오프셋 조정된 휘도값들을 생성하는 명령으로서, 오프셋은 결정된 키값의 함수이며, 상기 오프셋 조정된 휘도값들을 매핑 함수에 적용하는 단계를 포함하는 이미지의 적어도 한 영역에 대한 톤 재생 곡선을 계산하는 명령을 저장하는 메모리를 포함한다. 처리기는 명령들을 실행하고 처리된 이미지를 출력한다.

이렇게 기술된 이미지 처리 디바이스는 처리기에 의해 출력된 이미지를 수신하는 처리기와 연관된 이미지 렌더링 디바이스 및 디스플레이 중 적어도 하나를 더 포함할 수 있다.

본 발명의 또 다른 양태에 따라, 컴퓨터 프로그램 제품은, 컴퓨터상에서 실행될 때 컴퓨터로 하여금, 이미지에 대한 이미지 데이터를 휘도값들로 표현하는 단계; 이미지의 평균 휘도값과 이미지의 최소 및 최대 휘도값들의 함수로서 키값을 결정하는 단계; 오프셋-조정된 휘도값들을 생성하기 위해 휘도값들의 각각에 오프셋을 적용하는 단계를 포함한 휘도값들의 동작 범위를 압축하는 단계로서, 오프셋 은 결정된 키값의 함수인 상기 오프셋 조정된 휘도값들에 매핑 함수를 적용하는 단계를 포함하는 이미지의 적어도 한 영역에 대한 톤 재생 곡선을 계산하는 단계를 포함하는 방법을 수행하도록 하는 명령들을 저장하는 컴퓨터 사용 가능한 데이터 캐리어를 포함한다.

본 발명의 또 다른 양태에 따라, 높은 동작 범위로부터 높은 동작 범위보다 더 낮은, 낮은 동작 범위로의 이미지 데이터의 자동 매핑 방법이 제공된다. 이 방법은 높은 동작 범위 이미지에 대한 이미지 데이터를 휘도값들의 글로벌 히스토그램으로 표현하고 높은 동작 범위 이미지의 전체 휘도의 함수로서 오프셋을 자동으로 결정하는 단계를 포함한다. 글로벌 히스토그램의 휘도값들은 오프셋을 통합하는 대수 동작 범위 압축으로 압축된다. 이미지는 복수의 영역들로 나누어지며, 영역들 각각은 압축된 글로벌 히스토그램으로부터 선택된 휘도값들의 로컬 히스토그램에 의해 설명될 수 있다. 톤 재생 곡선은 낮은 동작 범위의 휘도값들을 출력하기 위해 로컬 히스토그램을 매핑하는 이미지의 복수의 영역들 각각에 대해 계산된다.

대표적인 실시예는 낮은 동작 범위 디바이스들 상에 렌더링될 때 높은 동작 범위 배경의 만족스럽고 실제적인 외관을 보유한 보다 낮은 동작 범위를 갖는 이미지로의 높은 동작 범위 이미지들의 압축을 위한 시스템 및 방법에 관한 것이다.

이 기술은, 아티팩트들을 도입하지 않고 배경들의 로컬 콘트라스트 및 미세한 세부사항들을 재생하는 완전히 자동화되고 고속인 톤 재생 방법에 사용하기에 적당하다.

다양한 양태들에서, 상기 방법은 초기의 대수 동작 범위 압축에서 매핑된 높은 동작 범위 이미지의 전체 밝기(휘도)를 자동으로 설정하는 단계를 포함한다. 다양한 양태들에서, 로컬 히스토그램들은 윈도우된 애플리케이션 방식(windowed application approach)에 기초하여 높은 동작 범위 이미지의 로컬 콘트라스트 및 세부들을 재생하도록 조정된다. 윈도우 내부의 상대적 균일성에 따라 상이한 윈도우들의 콘트라스트 향상 정도를 제어함으로써 잡음 아티팩트들이 회피되거나 감소될 수 있다. 상기 방법은 대부분의 로컬 톤 재생 기술들보다는 더욱 효과적으로 할로 아티팩트들(halo artifacts)을 억제할 수 있다. 아티팩트들을 더 감소시키기 위해 유사 가중 함수가 도입될 수 있다.

도 1을 참조하면, 이미징 시스템(10)은 장면(12)의 이미지와 같은 이미지를 얻는다. 이미지는 카메라, 스케너 등과 같은 높은 동작 범위 이미지 획득 디바이스(14)에 의해 얻어질 수 있으며, 이것은 장면(12)의 이미지를 나타내는 광을 수신하는 활성 픽셀 센서(16)를 포함할 수 있다. 획득 디바이스는 그 광을 픽셀 레벨 수신 신호들을 나타내는 신호(18)로 변환한다. 획득 디바이스는, 예를 들면, 채널당 12, 16 또는 32비트들까지 기록할 수 있다. 기록된 이미지는 스틸 이미지 또는 비디오 이미지가 될 수 있다. 이미지 처리 디바이스(20)는, 신호 동작 범위의 비트들의 수를 감소시키기 위하여 본 명세서에 기술된 이 이미지를 처리하는 처리기(22)를 포함한다. 처리기(22)의 출력은 CRT 모니터와 같은 디스플레이(24) 상에 디스플레이될 수 있다. 대안적으로, 이미지는 프린터와 같은 이미징 디바이스(26) 상에서 렌더링되며, 이미징 디바이스(26)는 종이와 같은 기판 상에 물리적 형태로 이미지를 발생시킨다. 이러한 목적으로, 처리 디바이스(20)는 또한 디스플레이 드라이버 및/또는 프린터 드라이버를 포함할 수 있다. 이미지 처리 디바이스(20)는 범용 컴퓨터 또는 전용 처리 디바이스의 형태일 수 있다. 처리기에 대한 명령들은 RAM 또는 ROM과 같은 개별 메모리(28)에 저장될 수 있고, 메모리는 처리기(22)와 함께 단일칩으로 조합될 수 있다. 이미지 처리 디바이스(20)의 구성성분들은 데이터/제어 버스(30)를 통해 통신할 수 있다. 처리 동안, 휘발성 메모리(32)에 이미지가 저장될 수 있다.

이미지 센서(16)에 의해 생성되는 이미지(18)는 디스플레이(22) 상에 디스플레이되거나 이미징 디바이스(24) 상에서 렌더링될 수 있는 보다 높은 동작 범위를 가질 수 있다. 따라서, 본 시스템의 동작은 이미지의 밝기 히스토그램을 더 낮은 동작 범위 중 하나에 매핑한다. 처리기(22)는 도 2의 흐름도에 약술된 방법을 수행하는 명령들을 포함한다.

도 1은 이미징 시스템(10)의 매우 단순화된 기능도임을 알 것이다. 그러나, 이러한 이미징 처리 디바이스들의 세부사항들이 알려져 있고 더 기술할 필요가 없음을 알 것이다.

일 실시예에서, 디스크 또는 다른 데이터 캐리어 디바이스와 같은 컴퓨터 프로그램 제품은 컴퓨터(20) 상에 명령들을 인스톨하기 위해 사용되거나 또는 명령들은 서버를 통해 컴퓨터에 제공될 수 있다.

디지털 이미지는 정규 격자 상에 배열될 픽셀들 또는 화상의 요소들의 집합을 포함한다. 컬러 이미지는 픽셀에서 컬러를 기술하기 위해, 여러 개의 색소 채널 들, 보통 3개 또는 4개의 색소 채널들을 포함한다. 예를 들면, 적색, 녹색 및 청색(RGB) 채널들, 또는 청록색, 자홍색, 황색 및 흑색(CMYK) 채널들이 있을 수 있다. 각 채널은 다시, 각 픽셀의 컬러량을 표현하는 색소값들을 포함한다. 컬러 이미지들에서, 채널들은 간접적으로만 명도 및 밝기 (brightness or lightness)의 인간의 감각을 표현하고, 따라서 컬러 정보는 더 낮은 동작 범위로 매핑하기 전에 밝기를 나타내는 양으로 변환된다.

인간의 밝기 지각을 실질적으로 나타내는 일차원을 갖는 3차원 컬러 공간들이 본 기술 분야에 잘 알려져 있다. 이러한 공간들은 일반적으로 밝기 차원과 직교하는 색차(chrominance) 평면을 통상적으로 가지며, 그 평면은 색의 색채 성분을 표현한다. 색차 평면 내의 밝기축과 상이한 방향은 상이한 컬러 색조에 대응하며, 밝기 축으로부터의 거리는 적어도 대략적으로는 지각된 컬러의 생생함 및 포화도에 관련된다. 이러한 컬러 공간은 극좌표에서 표현될 수 있고, 밝기축에 관한 회전은 색조 각 또는 컬러 위상을 표현하고, 색조축으로부터의 거리는 포화도를 나타낸다. 밝기축(또는 그레이 스케일)은 예를 들면 세기, 밝기, 휘도, 값 또는 루마(luma)로서 렌더링될 수 있고, 본 명세서에서는 휘도로 칭해진다.

도 2를 참조하면, 제 1 동작 범위의 이미지(HDR 이미지)를 제 2의 더 낮은 동작 범위(LDR 이미지)로 매핑하기 위한 대표적인 방법이 도시되어 있다. 이러한 방법은 글로벌 휘도 히스토그램의 형태로 이미지 데이터를 표현하고 동작 범위에 대한 오프셋을 결정하는 단계를 포함한다. 이어서, 휘도 이미지의 동작 범위는 압축되고 색차가 재삽입된다. 상기 방법은 이미지의 복수의 영역들에 대한 로컬 히스 토그램들을 발생시키는 단계를 포함할 수 있다. 영역들의 에지들에서의 급격한 변경들을 감소시키고 2개 이상의 영역들에 이르는 균일한 영역들의 오브젝트들 주위의 할로 아티팩트들을 최소화하도록 결정되는 휘도값들에 평탄화 기술들이 적용될 수 있다.

상기 방법은 단계(S100)에서 시작한다. 단계(S102)에서, HDR 이미지에 대한 이미지 데이터가 처리기(20)에 의해 수신된다.

단계(S104)에서 이미지 데이터는 글로벌 휘도 히스토그램(예를 들면, 이미지의 모든 픽셀들에 대한 히스토그램)으로 변환된다. 도 3은 대표적인 히스토그램을 도시하고 있지만, 실제로, 높은 동작 범위 이미지가 도시된 것보다 더 많은 휘도값들을 포함할 수 있음을 알 것이다.

이미지의 각 픽셀에 대해, 단계(S104)에서, 픽셀의 컬러 성분들이 휘도값으로 변환될 수 있다. 예를 들면, RGB 입력이 가중된 평균과 같은 평균이 휘도 성분 L을 결정하기 위해 사용될 수 있다. 일 양태에서, 다음의 식이 이용될 수 있다:

L = 0.299 * R + 0.587 * G + 0.114 * B 식 1

이러한 단계는 입력이 L*a*b*와 같이 이미 휘도로 표현되는 경우에는 물론 필요하지 않다. 다음의 계산들은 휘도 성분 L에 기초하고 있다. RGB 컬러 정보는 동작 범위의 압축 후에 재저장될 수 있다(식 11).

단계들(S106 내지 S110)에서, 동작 범위를 압축하는데 적용될 오프셋이 결정된다. 오프셋은 매핑된 이미지의 전체 밝기를 결정한다. 이미지의 동작 범위는, 각 픽셀에 대한 오프셋과 휘도 성분 L의 대수를 계산함으로써 압축될 수 있으며, 이는 0과 1 사이의 값을 생성하도록 정규화될 수 있다. 특히, 각 픽셀에 대해, 압축된 휘도값 D는 다음과 같이 계산될 수 있다:

식 2

여기서 L_min은 이미지의 최소 휘도이고 L_max는 최대 휘도이다.

본 명세서에 사용된 바와 같이, 최대 및 최소 휘도값들은 이미지에 대한 실제 최대 및 최소 휘도값들이 될 수 있거나, 범위의 상단 및 하단에 각각 있는 휘도값들의 작은 부분을 평균하여 결정될 수 있다. 최대 및 최소 휘도값들은 또한, 휘도 분포의 어떤 상위 및 하위 백분위수들이 각각 될 수 있다. 통상적으로 상위 백분위수는 90% 보다 크게 선택되고 하위 백분위수는 10%보다 작게 선택된다.

한 실시예에서, 전체 이미지에 대해 동일한 오프셋값이 이용된다. 다른 실시예들에서, 비록 필요하지 않더라도 동일한 크기 및 형상이 될 수 있는 이미지의 복수의 영역들 각각에 대해 오프셋이 결정된다. 다음의 설명에서 전체 이미지는 하나의 영역으로 간주된다.

오프셋은 다음과 같이 자동으로 추정될 수 있다. 단계(S106)에서 이미지의 평균 휘도의 추정이 결정된다. 예를 들면, 전체 이미지의 평균 로그-휘도는 다음과 같이 결정될 수 있다:

식 3

여기서 N은 이미지의 전체 픽셀수이고, L(x,y)은 식 1로부터 계산된 위치 x,y의 입력의 픽셀 휘도이고, ε는 블랙 픽셀들(0값들, 1의 로그를 갖는다.)이 이미지 내에 존재하는 경우 발생할 수 있는 단일성을 회피하기 위한 작은 값(약 0.00001)이다.

단계(S108)에서, 키값 k가 결정된다. 키값은 이미지의 휘도의 함수이다. 더 큰 키값들은 더 밝은 이미지들(더 높은 휘도값들)에 대응하고, 더 작은 키값들은 더 작은 이미지들(더 낮은 휘도값들)에 대응한다. 이미지의 키값은 다음의 수학식에 의해 L_ave로부터 결정될 수 있다:

식 4

여기서 r 및 s는 상수이고, 여기서 L_min은 이미지의 최소 휘도이고 L_max는 최대 휘도이다.

식 4는 평균 휘도가 최대 휘도(보다 밝은 이미지)에 보다 가까울 때, 더 우두운 이미지와 더 큰 k 값에 대응하는, 가장 낮은 휘도값에 이미지의 평균 휘도가 더 가까울 때 k의 비교적 낮은 값을 할당하도록 구성된다. 상수들은 예를 들면 상수들 r 및 s의 상이한 값들을 가진 이미지들을 생성하고, 관찰자들의 그룹으로 선호 연구들(preference studies)을 행함으로써 경험적으로 결정될 수 있다. 예를 들면, r이 0.35이고 s가 2인 경우 적절한 값들이 발견되었으면, 식 4는 다음과 같이 된다:

여기서 k는 0.175 내지 0.70의 범위이다.

단계(S110)에서, 오프셋은 이미지의 L_ave가 0과 1 사이의 비율로 상기와 같이 결정된 키값으로 매핑되도록 결정된다:

식 5

오프셋은, 미리 선택된 수의 반복들 내에서(예를 들면, 약 20회 반복) 예를 들면 뉴톤 방법과 같은 수치 계산을 사용하여 풀 수 있다.

단계(S112)에서, 이미지(200)는 예를 들면 블록들(202)과 같은 영역들로 분할될 수 있다(도 4). 블록들은 동일한 크기 및 형상이 되거나 또는 상이할 수도 있다. 예를 들면, 삼각형들 또는 육각형들과 같은 다른 형상의 블록들도 있지만, 매트릭스로 배열된 직사각형 블록들이 또한 고려된다. 블록들은 같은 크기 및 형상이 될 수 있다. 블록들의 크기는 이미지의 해상에 어느 정도 의존할 수 있다. 예를 들면, 이미지(200)는 약 2 내지 약 1000 블록들(202), 예를 들면 약 64 블록들로 분할될 수 있다. 블록들의 크기는 이미지의 픽셀의 수에 부분적으로 의존할 수 있다. 블록들에 너무 적은 수의 픽셀들이 있다면, 계산이 부정확해질 수 있다. 예를 들면, 각각의 블록(202)은 적어도 약 500 픽셀들을 포함할 수 있고, 일 실시예에서, 적어도 약 1000 픽셀들을 포함할 수 있다.

단계(S114)에서, 블록들 각각에 대해, 톤 재생 곡선(TRC)이 로컬 영역의 히 스토그램 조정에 기초하여 계산된다. 특히, 각각의 영역(202)에서의 픽셀들에 대한 D 값들을 포함하는 로컬 히스토그램이 발생되고, 선택된 더 낮은 동작 범위 내의 출력 휘도값들의 세트에 매핑된다. 도 5에 도시된 바와 같이, 히스토그램 등화 매핑 및 선형 매핑을 포함하는 히스토그램 조정에 대한 다양한 방법들이 존재한다. 선형 매핑 방법에서, 블록의 모든 픽셀들에 대한 D 값들의 입력 히스토그램은 선형 매핑 함수를 사용하여 출력 히스토그램에 매핑된다(출력 D 값은 입력 D 값에 정비례한다). 예를 들면, 히스토그램의 최소 휘도는 더 낮은 동작 범위의 최소 휘도와 같고, 히스토그램의 최대 휘도는 더 낮은 동작 범위의 최대 휘도와 같을 수 있다. 그 다음, 밝기의 나머지 값들은 이들 한도들 사이의 보간에 의해 구성된다. 히스토그램 등화 매핑은 이미지 픽셀들의 밝기 랭킹을 유지하지만, 동일한 수의 픽셀들이 각각의 가능한 밝기값을 갖도록 밝기값들을 재분배한다. 이러한 방법은, 동일하거나 유사한 입력 D값들을 갖는 픽셀들의 큰 집중(concentration)이 있는 범위(더 높은 콘트라스트를 제공함)에 이르고, 보다 적은 픽셀들이 있는 범위를 압축한다.

한 실시예에서, TRC들을 계산하는데 사용된 기술은 2개 이상의 매핑 기술들의 가중된 평균인 매핑 함수에 기초한다. 매핑 함수는 히스토그램 등화 매핑 함수와 선형 매핑 함수의 가중된 평균이 될 수 있다. 상기 방법은 균일성의 임계 레벨을 초과하는 이미지의 임의의 영역들을 검출하고 검출된 영역들의 선형 매핑 함수에 더 큰 가중을 두기 위해 이 매핑 함수를 국부적으로 조정하는 단계를 포함할 수 있다.

예를 들면 매핑 함수는, 식 6에 기술된 바와 같이, 적절히 결정된 오프셋으 로 초기의 대수 압축 후에, 히스토그램 등화 매핑 함수와 선형 매핑 함수의 가중된 평균일 수 있다. 이러한 히스토그램 조정 기술은, 2004년 ICPR2004, 17차 패턴 인식에 관한 국제 회의, 2권 847 내지 850면의 J.Duan 및 G. Qiu에 의한 "Fast Tone Mapping for High Dynamic Range Images"에 기술된 방법에 기초한다. 이 기술은 원래 글로벌 톤 매핑을 위해 설계되었다:

식 6

여기서,0 ≤β≤1이다. EC는 초기 대수 압축 후의 히스토그램 등화 매핑이고 LC는 초기 대수 압축 후의 선형 매핑이다. β= 0으로 설정하면, 매핑은 선형이고, β= 1이면, 매핑은 히스토그램 등화된다. 일반적으로 더 큰 값들의 β는 더 많은 콘트라스트를 가진 이미지들을 생성하는데, 그 이유는 이것이 보다 많이 등화 방법을 가중화하기 때문이다.

예를 들면, Trifonov 등에 의한 미국 특허 제6,826,310호에 기술된 바와 같은 다른 히스토그램 등화 기술들이 TRC를 생성하기 위해 고려된다.

상기 약술된 로컬 콘트라스트 향상 방법은 매우 상이한 값들로 매핑되는 유사한 픽셀들의 균일한 영역들(204)을 유발할 수 있다. 이것은 잡음을 유발하는 경향이 있다. 이를 해결하기 위한 한 방법은 균일한 영역들을 검출한 다음 이 영역에서의 콘트라스트 향상을 감소시키는 것이다(단계 S116). 상이한 로컬 영역들에 대한 파라미터 β를 자동으로 결정하기 위해 적응적 방법이 사용될 수 있다. 예를 들면, 히스토그램 값들에 대해 계산된 확산(spread)의 임의의 측정이 계산될 수 있 다. 샘플 측정들은 분산, 표준 편차, 범위(range), 사분위간(inter-quartile) 편차 등이 될 수 있다. 이 측정이 미리 결정된 임계값보다 더 큰 경우(예를 들면, 분산이 확산의 측정으로 사용되는 경우에 약 18.8이 임계값으로 사용될 수 있다), 그것은 균일한 블록으로 간주된다. 그 후, 로컬 히스토그램 조정 기술(식 6)에서 비교적 더 작은 파라미터 β가 사용된다. 이것은 이 영역에 더 작은 콘트라스트 향상을 제공한다.

각 블록을 개별적으로 처리하는 콘트라스트 향상의 대표적 방법은 매우 상이한 값들로 매핑되는 유사한 픽셀들의 인접한 영역들을 유발할 수 있다. 한 실시예에서, 한 블록에서 다음 블록으로의 급격한 변화들을 감소시키기 위하여 평탄화 방법(단계 S116)이 사용된다. 평탄화 기술은 픽셀이 존재하는 블록들로부터의 TRC뿐만 아니라 인접한 블록들(최대 8개까지)의 TRC들에 의해 제공된 출력 P 매핑값의 가중된 평균을 생성하는 거리 가중 함수를 포함할 수 있다. 가중은 각각의 블록의 중간으로부터 픽셀의 거리에 반비례할 수 있다. 따라서, 픽셀이 블록들 사이의 에지에 더 가까울 때, 인접한 블록의 TRC에 더 큰 가중을 둔다. 가중 함수는, 각각의 이웃하는 블록에 대한 평균 D값과 픽셀 입력 D 값 사이의 유사성을 고려하는 유사성 함수에 따라 더 수정될 수 있다.

예를 들면, 도 6에 도시된 바와 같이, 이미지의 각 픽셀 D(x,y)(식 2로부터 결정됨)에 대해, 이웃하는 블록들에서 전개된 TRC들은 TRC₁[D(x,y)], TRC₂, [D(x,y)], TRC₃[D(x,y)] ... TRC₉[D(x,y)]로 이송하기 위해 사용된다. 그 다음, 최 종 매핑된 픽셀값은 다음과 같은 유사성 가중 함수 및 거리 가중 함수에 따라, TRC₁[D(x,y)], TRC₂, [D(x,y)], TRC₃[D(x,y)] 등의 가중된 평균으로 계산될 수 있다:

식 7

여기서,

식 8

식 9

식 10

여기서, w_d(n)은 거리 가중 함수이며, σ_d는 상수이고(예를 들면 18), d_n은 도 6에 도시된 바와 같이 현재 픽셀 위치와 이웃하는 블록들의 중심 사이의 유클리드 거리이며, w_s(n)은 유사성 가중 함수이고, σ_d는 상수이고(예를 들면 0.1), S_n은 현재 픽셀 값과 이웃하는 블록들의 평균 픽셀 값(Dmean_n) 사이의 정규화된 차이다.

거리 가중 함수는 픽셀이 위치되는 블록에 대한 TRC에 최대 가중을 항상 할당하기 때문에 로컬 콘트라스트의 보존(preservation)을 선호하는 반면, 유사성 가중 함수는 균일한 영역들에서 유사한 픽셀들이 상이한 블록들로 나누어지는 경우일 지라도 유사한 값들로 매핑되는 기회를 증가시킨다. 네트 효과(net effect)는 매핑된 이미지들이 로컬 콘트라스트를 보전하고 그렇지 않으면 균일한 영역들에 오브젝트들의 윤곽들에 가깝게 발생하려는 경향이 있는 할로 아티팩트들을 제거한다는 것이다.

선택적으로, 하나의 블록의 모든 픽셀들에 대해 거리 가중 함수를 계산함으로써 계산을 감소시킬 수 있다. 그 후 계산된 값들은 픽셀들과 이웃하는 센터들 사이의 상대 거리들이 항상 동일(균일한 크기 및 형상의 블록들로 가정)하기 때문에 다른 블록들 모두에 사용될 수 있다. 부가적으로, 유사성 함수의 계산은 룩업 테이블을 사용하여 근사화될 수 있다. 알고리즘을 가속화하기 위한 대안적 전략은 저해상도 이미지들에 대한 값들을 계산한 다음 보간을 통해 원래 크기로 다시 돌아가는 것이다.

단계(S 118)에서, RGB 출력은 식 7을 사용하여 결정된 P_mapped 휘도값들 및 오리지널 RGB 값들의 함수로서 재구성된다. 선택적으로 이들은 다음의 식을 사용하여 결정될 수 있다:

식 11

여기서 감마 파라미터 γ는 매핑된 이미지의 컬러를 제어하는 상수이다. 예를 들면, γ는 0.5로 설정된다.

상술한 방법은 여러 이점들을 가진다. 첫째, 로컬 히스토그램 조정은 글로벌 매핑에 의존하는 히스토그램 조정 방법들로 달성될 수 있는 것보다 더 큰 콘트라스트를 달성하도록 허용한다. 둘째, 초기의 동작 범위의 감소는 대수 압축이며, 여기서 전체 밝기는 뉴톤 방법을 사용하여 자동으로 설정될 수 있다. 이것은 인간의 상호 작용에 대한 요구를 감소시키며, 예를 들면 사진관 환경에서 이미지들의 자동화된 대량 프린트에 적절한 기술을 렌더링한다. 넷째, 이 방법은 할로 효과들을 최소화하고 균일한 영역들이 유사한 방식들로 처리되도록 허용한다. 이미지의 상이한 영역들에서의 β의 상이한 값들을 사용함으로써, 콘트라스트가 그렇게 하기에 적합한 곳에 제공되도록 허용한다. 확산의 히스토그램 측정들에 기초하여, β를 자동으로 결정하는 방법이 또한 제공된다.

상기 방법은 대표적인 디폴트 파라미터들을 가진 광범위한 높은 동작 범위 이미지들에 대해 테스트되었고, 매우 긍정적인 결과들을 보여준다. 기존의 톤 재생 방법들에 비해, 일관성 있게 양호한 재생은 본 방법을 사용하여 인간 입력에 대한 요구 없이 달성된다.

상기 방법은, 프린터들 및 CRT 모니터들과 같은 종래의 8-비트의 낮은 동작 범위 재생 디바이스들에 대한 시각화(visualization)에 적합한 형태로 높은 동작 범위 이미지 데이터(일반적으로 채널당 12 또는 16, 또는 심지어 32비트들)의 변환에서 응용을 발견한다. 재생된 이미지들을 보기 좋게 하고 시각 경험을 유발하게 함으로써, 프린트 산업, 사진 산업 및 컴퓨터 그래픽스에 초점을 맞춘다. 본 기술은 그 목적을 달성할 수 있고, 사용자 평가들에서 최상의 기존 기술들과의 매우 비교 가능한 성능을 보여준다. 그 외에도, 이 기술이 고속이고 완전히 자동적이기 때 문에, 자동 프린팅 파이프라인에 포함될 수 있다.

본 발명에 의한 톤 재생 방법은, 아티팩트들을 도입하지 않고, 배경들의 로컬 콘트라스트 및 미세한 세부들을 완전 자동 및 고속으로 재생할 수 있다.

Claims (10)

1. 이미지 데이터의 자동 매핑 방법에 있어서,

   이미지에 대한 이미지 데이터를 휘도값들로 표현하는 단계;

   상기 이미지의 평균 휘도값과 상기 이미지의 최소 및 최대 휘도값들의 함수로서 키값을 결정하는 단계;

   상기 휘도값들 각각에 오프셋을 적용하는 단계를 포함하는 오프셋 조정된 휘도값들을 발생시키는 단계로서, 상기 오프셋은 상기 결정된 키값의 함수인, 상기 오프셋 조정된 휘도값들의 발생 단계; 및

   상기 오프셋 조정된 휘도값들에 매핑 함수를 적용하는 단계를 포함하는 상기 이미지의 적어도 한 영역에 대한 톤 재생 곡선을 계산하는 단계를 포함하는, 이미지 데이터 자동 매핑 방법.
2. 제 1 항에 있어서,

   상기 키값은 상기 이미지의 전체 밝기에 관련하여 증가하는, 이미지 데이터 자동 매핑 방법.
3. 제 1 항에 있어서,

   상기 톤 재생 곡선의 계산 단계는 상기 이미지의 복수의 영역들 각각에 대한 상이한 톤 재생 곡선을 계산하는 단계를 포함하는, 이미지 데이터 자동 매핑 방법.
4. 제 3 항에 있어서,

   상기 이미지의 픽셀에 대한 매핑된 픽셀 휘도값을 계산하는 단계를 더 포함하며, 상기 매핑된 픽셀 휘도값은 상기 픽셀이 위치된 영역의 톤 재생 곡선에 대해 결정된 매핑된 값들과 상기 픽셀이 위치되는 상기 영역들에 이웃하는 영역들의 톤 재생 곡선들의 가중된 평균의 함수인, 이미지 데이터 자동 매핑 방법.
5. 제 3 항에 있어서,

   상기 계산된 키값은 상기 영역들 각각에 대해 동일한, 이미지 데이터 자동 매핑 방법.
6. 제 1 항에 있어서,

   톤 재생 곡선 조정된 휘도값들을 발생시키기 위하여 상기 이미지의 상기 적어도 한 영역의 휘도값들에 상기 톤 재생 곡선을 적용하는 단계를 더 포함하는, 이미지 데이터 자동 매핑 방법.
7. 제 6 항에 있어서,

   상기 이미지 데이터를 휘도값들로 표현하는 단계는 각각의 픽셀에 대한 색소값들(colorant values)의 가중된 평균을 계산하는 단계를 포함하며,

   상기 방법은, 상기 발생된 톤 재생 곡선 조정된 휘도값들의 함수로서 조정된 색소값들을 계산하는 단계를 더 포함하는, 이미지 데이터 자동 매핑 방법.
8. 제 1 항에 있어서,

   상기 톤 재생 곡선 계산 단계는 상기 오프셋 조정된 휘도값들을 더 낮은 동작 범위(dynamic range)를 갖는 휘도값들로 매핑하는 단계를 포함하는, 이미지 데이터 자동 매핑 방법.
9. 제 1 항에 있어서,

   상기 오프셋 조정된 휘도값들은 상기 톤 재생 곡선을 계산하기 전에 대수 눈금(logarithmic scale)으로 정규화되는, 이미지 데이터 자동 매핑 방법.
10. 이미지 처리 디바이스에 있어서,

    메모리로서,

    이미지에 대한 이미지 데이터를 휘도값들로 표현하는 명령과,

    상기 이미지의 평균 휘도값과 상기 이미지의 최소 및 최대 휘도값들의 함수로서 키값을 결정하는 명령과,

    상기 휘도값들 각각에 오프셋을 적용하는 명령을 포함하는 오프셋 조정된 휘도값들을 발생시키는 명령으로서, 상기 오프셋은 상기 결정된 키값의 함수인, 상기 오프셋 조정된 휘도값들의 발생 명령과,

    상기 오프셋 조정된 휘도값들에 매핑 함수를 적용하는 명령을 포함하는 상기 이미지의 적어도 한 영역에 대한 톤 재생 곡선을 계산하는 명령을 저장하는, 상기 메모리; 및

    상기 명령들을 실행하고 처리된 이미지를 출력하는 처리기를 포함하는, 이미지 처리 디바이스.

Images