KR102127760B1

KR102127760B1 - 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체

Info

Publication number: KR102127760B1
Application number: KR1020180151963A
Authority: KR
Inventors: 고성제; 엄광현; 조성진; 국형근; 김승욱
Original assignee: 고려대학교 산학협력단
Priority date: 2018-11-30
Filing date: 2018-11-30
Publication date: 2020-06-29
Also published as: WO2020111382A1; US20220051376A1; KR20200065458A; US11783460B2

Abstract

본 발명은 LDR(Low Dynamic Range) 이미지를 이용하여 고품질의 HDR(High Dynamic Range) 이미지로 재구성할 수 있도록 구현한 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체에 관한 것으로, ITM(Inverse Tone Mapping) 연산자(Operator)에 LDR(Low Dynamic Range) 이미지를 입력시키는 단계; ITM 연산자에 의한 결과값을 TM(Tone Mapping) 연산자에 입력시키는 단계; TM 연산자에 의한 결과값을 HDR 휘도(Luminance) 판독을 위한 문턱값과 비교하는 단계; 및 문턱값보다 작은 TM 연산자에 의한 결과값을 HDR(High Dynamic Range) 이미지로 선택하는 단계를 포함한다.

Description

단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체{DEVICE AND METHOD FOR INVERSE TONE MAPPING USING A SINGLE LOW DYNAMIC RANGE IMAGE, RECORDING MEDIUM FOR PERFORMING THE METHOD}

본 발명은 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체에 관한 것으로, 더욱 상세하게는 LDR(Low Dynamic Range) 이미지를 이용하여 고품질의 HDR(High Dynamic Range) 이미지로 재구성할 수 있도록 구현한 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체에 관한 것이다.

최근 몇 년 동안, HDR(High Dynamic Range) 디스플레이는 시각적 경험이 풍부하기 때문에 빠르게 개발되었다. 따라서 HDR 디스플레이에 LDR(Low Dynamic Range) 영상을 표시하기 위해 다양한 역 톤 매핑(ITM) 방법이 제안되었는데, 이러한 ITM 방법은 시각적인 인공물을 도입하지 않고 LDR 이미지의 명암 및 밝기를 향상시키는 데 중점을 두어 왔다.

LDM 이미지의 대비 범위를 확장하기 위해 ITM 방법은 선형 매핑, 감마 보정 및 기존 톤 매핑(TM) 기능의 근사화된 역 버전과 같은 LDR-HDR 매핑 기능이 사용되어 왔다.

LDR 이미지에서 재구성된 HDR 이미지의 품질은 불안정한 공간 인공물의 존재 여부에 따라 크게 좌우되는데, 이미지 재구성 동안의 주요 쟁점은 전체 구조를 보존하면서 원본 이미지의 중요한 특징을 유지하는 것이다.

그러나 기존 ITM 방법에 사용된 LDR-HDR 매핑 기능은 재구성된 HDR 이미지가 입력 LDR 이미지의 중요한 기능과 전반적인 구조를 최소한 보존해야 한다는 제약없이 LDR 이미지의 대비 범위만 확장하는데, 이러한 방법은 명암 손실 및 왜곡이 있는 저화질 HDR 이미지를 생성하는 경향이 있다.

LDR 이미지에서 재구성된 HDR 이미지의 품질은 불안정한 공간 인공물의 존재 여부에 따라 크게 좌우되는 바, 이미지 재구성 과정에서 중요한 문제는 전체 이미지 구조를 유지하면서 원본 이미지의 중요한 특징을 유지하는 것이다.

그러나, 기존 ITM 방법에 사용된 LDR-HDR 매핑 기능은 재구성된 HDR 이미지가 입력 LDR 이미지의 중요한 기능과 전반적인 구조를 최소한 보존해야 한다는 제약없이 LDR 이미지의 대비 범위만 확장하였는 바, 이러한 방법은 명암 손실 및 왜곡이 있는 저화질 HDR 이미지를 생성한다는 문제점을 가지고 있었다.

한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

한국공개특허 제10-2018-0043741호 한국공개특허 제10-2016-0102524호

본 발명의 일측면은 입력 LDR(Low Dynamic Range) 이미지가 실제 HDR 이미지를 톤 매핑하여 얻은 LDR 이미지와 유사하다는 가정하여 새로운 ITM 최적화 프레임 워크를 제공한 수 있는 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체를 제공한다.

또한, 원래의 톤 매핑 기능을 역으로 적용하여 HDR 이미지를 초기에 재구성한 다음, 재구성된 HDR 이미지를 입력된 LDR 이미지와 재구성된 HDR 이미지로부터 얻어진 톤 매핑 된 LDR 이미지 간의 차이를 최소화함으로써 최적의 HDR 이미지로 반복적으로 수정할 수 있는 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체를 제공한다.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, ITM(Inverse Tone Mapping) 연산자(Operator)에 LDR(Low Dynamic Range) 이미지를 입력시키는 단계; ITM 연산자에 의한 결과값을 TM(Tone Mapping) 연산자에 입력시키는 단계; TM 연산자에 의한 결과값을 HDR 휘도(Luminance) 판독을 위한 문턱값과 비교하는 단계; 및 문턱값보다 작은 TM 연산자에 의한 결과값을 HDR(High Dynamic Range) 이미지로 선택하는 단계를 포함한다.

일 실시예에서, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, 상기 문턱값과 비교하는 단계에서 TM 연산자에 의한 결과값이 문턱값보다 크거나 같은 경우, i+1 번째에서의 HDR 휘도를 계산하여 업데이트된 추정값을 획득하는 단계를 더 포함할 수 있다.

일 실시예에서, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, 상기 업데이트된 추정값을 획득하는 단계에서 획득된 결과값의 i 번째 반복에서의 모든 픽셀에 대한 차이값이 0보다 크거나 같은 경우, 상기 HDR 이미지로 선택하는 단계의 입력값으로 대입시킬 수 있다.

일 실시예에서, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, 상기 업데이트된 추정값을 획득하는 단계에서 획득된 결과값의 i 번째 반복에서의 모든 픽셀에 대한 차이값이 0보다 작고, i+1 번째 반복에서의 차이값이 1보다 크거나 같은 경우 차이값을 상기 TM 연산자에 입력시키는 단계의 입력값으로 대입시킬 수 있다.

일 실시예에서, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, 상기 업데이트된 추정값을 획득하는 단계에서 획득된 결과값의 i 번째 반복에서의 모든 픽셀에 대한 차이값이 0보다 작고, i+1 번째 반복에서의 차이값이 1보다 작은 경우, i+1 번째 반복에서의 휘도값을 상기 HDR 이미지로 선택하는 단계의 입력값으로 대입시킬 수 있다.

일 실시예에서, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, 상기 HDR 이미지로 선택하는 단계에서 선택된 이미지의 고휘도 영역을 향상시키는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 고휘도 영역을 향상시키는 단계는, 픽셀의 휘도값이 과노출 판독을 위한 문턱값보다 큰 입력 LDR 이미지의 고휘도 영역을 검출하는 단계; 및 검출된 고휘도 영역을 갖는 입력 LDR 이미지를 처리하는 단계를 포함할 수 있다.

일 실시예에서, 상기 고휘도 영역을 검출하는 단계는, 검출된 고휘도 영역을 교차 양측 필터(Cross Bilateral Filter)를 사용하여 평활화(smoothed)시킬 수 있다.

일 실시예에서, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, 고휘도 영역의 픽셀 값은, 평활화된 고휘도 영역에 따라 HDR 이미지의 입력값을 스케일링함으로써 얻어질 수 있다.

일 실시예에서, 상기 입력 LDR 이미지를 처리하는 단계는, 평활화된 고휘도 영역을 획득하는 단계; 획득한 평활화된 고휘도 영역을 스케일하는 단계; 및 스케일된 고휘도 영역을 이용하여 출력 HDR 이미지를 획득하는 단계를 포함할 수 있다.

일 실시예에서, 상기 평활화된 고휘도 영역을 획득하는 단계는, 다음의 수학식에 의하여 각 위치 p에서 계산하여 평활화된 고휘도 영역(

)을 획득할 수 있다.

여기서,

이고,

는 공간(휘도) 가중치를 계산하는 데 사용된 표준 편차이고,

는 범위(휘도) 가중치를 계산하는 데 사용된 표준 편차이며,

는 p의 이웃(neighborhood)이다.

일 실시예에서, 상기 스케일하는 단계는, 상기 평활화된 고휘도 영역을 획득하는 단계에서 획득한 평활화된 고휘도 영역(

)을 다음의 수학식을 이용하여 [1 내지

] 범위로 스케일시킬 수 있다.

여기서,

은 위치 p에서의 평활화된 고휘도 영역(M)의 스케일 된 값이고,

는 평활화 된 고휘도 영역의 최대값이고,

는 평활화된 고휘도 영역의 최소값이다

일 실시예에서, 상기 출력 HDR 이미지를 획득하는 단계는, HDR 이미지(

)와 평활화된 고휘도 영역의 스케일 된 값(

)의 픽셀 단위 곱셈에 의하여 출력 HDR 이미지를 획득할 수 있다.

본 발명의 다른 실시예에 따른 컴퓨터로 판독 가능한 기록 매체에는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.

본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치장치는, ITM(Inverse Tone Mapping) 연산자(Operator)에 LDR(Low Dynamic Range) 이미지를 입력시키는 ITM 연산부; 상기 ITM 연산부에 의한 결과값을 TM(Tone Mapping) 연산자에 입력시키는 TM 연산부; 상기 TM 연산부에 의한 결과값을 HDR 휘도 판독을 위한 문턱값과 비교하는 문턱값 비교부; 및 상기 문턱값 비교부에 의해 상기 TM 연산부에 의한 결과값이 문턱값보다 작다고 판독된 경우, 상기 TM 연산부에 의한 결과값을 HDR(High Dynamic Range) 이미지로 선택하는 HDR 이미지 선택부를 포함한다.

상술한 본 발명의 일측면에 따르면, 재구성된 HDR 이미지에서 콘트라스트 손실 및 콘트라스트 반전과 같은 콘트라스트 왜곡을 생성하는 종래의 역 톤 맵핑(ITM) 방법을 개선시킴으로써, 고품질의 HDR 이미지를 효과적으로 재구성하고, 객관적인 품질 측면에서 다른 기존의 방법보다 우수한 성능 향상의 효과를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치의 개략적인 구성이 도시된 도면이다.
도 2는 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법을 설명하는 순서도이다.
도 3은 본 발명을 이용한 실제 HDR 이미지와 중간 HDR 이미지 간의 입력 LDR 이미지와 차이를 보여주는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법을 설명하는 순서도이다.
도 5는 본 발명과 기존 방법의 DRIM 결과를 비교한 도면이다.
도 6은 ITM 방법에 대한 노출 시간 및 DRIM 결과로 캡처한 야외 장면을 보여주는 도면이다.
도 7은 각 ITM 방법으로 재구성된 HDR 이미지로부터의 톤 매핑 된 LDR 이미지를 보여주는 도면이다.
도 8은 각 ITM 방법 및 해당 톤 매핑 HDR 이미지에 대한 DRUM 결과와 함께 노출 시간으로 캡처한 실내 장면을 보여주는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

본 발명을 설명하기에 앞서 기존의 기존의 TM(Tone Mapping) 및 ITM(Inverse Tone Mapping) 연산자를 설명하기로 한다.

본 발명은 TM 연산자와 역 버전을 사용하여 최적의 HDR 이미지를 얻기 위한 것으로, 차별화되고 가역적인 TM 연산자가 필요로 한다.

이에 따라, 본 발명에서는, Reinhard의 TM 연산자(E. Reinhard, M. Stark, P. Shirley, J. Ferwerda, Photographic tone reproduction for digital images, ACM transactions on graphics (TOG) 21 (3) (2002) 267-276.)를 채택하는데, 이는 널리 사용되는 글로벌 TM 연산자로서, Reinhard의 TM 연산자의 역변환은 철저히 연구되어왔다(F. Banterle, P. Ledda, K. Debattista, A. Chalmers, M. Bloj, A framework for inverse tone mapping, The Visual Computer 23 (7) (2007) 467-478.). Reinhard의 TM 연산자는 세부 사항 보존 측면에서 다른 전역 TM 연산자보다 우수한 성능을 보이며(Y. Salih, A. Malik, N. Saad, Tone mapping of hdr images: A review, in: Intelligent and Advanced Systems (ICIAS), 2012 4th International Conference on, Vol. 1, IEEE, 2012, pp. 368-373.), 보편성을 잃지 않고, 본 발명의 프레임 워크에 모든 미분 가능하고 가역적인 TM 연산자를 적용시킬 수 있다.

이하에서는 Reinhard의 TM 연산자와 해당 ITM 연산자를 검토하기로 한다.

먼저,

인풋이 HDR 이미지

를 가지는

를 고려하기로 한다. 여기서,

는 입력 HDR 이미지의 최소 및 최대 휘도 값이다.

Reinhard의 TM 연산자의 설계는 사진 인쇄의 최종 모양을 제어하는 zone system이라고하는 사진 기법의 개념 프레임 워크를 기반으로 한다(J. McCann, The ansel adams zone system: Hdr capture and range compression by chemical processing, in: Human Vision and Electronic Imaging XV, Vol. 7527, International Society for Optics and Photonics, 2010, p. 75270S.).

톤 매핑 된 LDR 영상에서 입력 HDR 이미지의 텍스처 및 세부 사항과 같은 고유한 특성을 보존하기 위해, 각 픽셀 (x, y)에서의 입력 HDR 이미지

의 휘도가 다음의 수학식 1과 같이 선형적으로 스케일된다(E. Reinhard, M. Stark, P. Shirley, J. Ferwerda, Photographic tone reproduction for digital images, ACM transactions on graphics (TOG) 21 (3) (2002) 267-276.).

여기서

는 선형으로 스케일링 된 HDR 이미지이고, α는 스케일링 된 HDR 이미지의 키 값이며,

는에 의해 주어진 HDR 이미지의 로그 평균 휘도이다.

여기서, N=HХW이고 특이성을 피하기 위해 ε은 작은 값이며, 수학식1의 키 값 α는 다음의 수학식 3과 같이 추정된다(E. Reinhard, Parameter estimation for photographic tone reproduction, Journal of graphics tools 7 (1) (2002) 45-51.).

다음으로, 스케일링 된 HDR 이미지

로부터 톤 매핑 된 LDR 이미지

가 다음의 수학식 4와 같이 계산된다.

여기서

는 순백색으로 매핑되는 HDR 이미지의 최소 휘도 값, 예를 들어 8비트 톤 매핑 LDR 이미지에 대해 255를 나타낸다

가

보다 클 경우

는 255가 된다.

Reinhard의 TM 함수 f(·)는 수학식 1을 수학식 4에 대입하면 다음의 수학식 5와 같이 정의될 수 있다.

수학식 5를 이용하여 ITM 함수 g(·)를 다음과 같이 유도할 수 있다(F. Banterle, P. Ledda, K. Debattista, A. Chalmers, M. Bloj, A framework for inverse tone mapping, The Visual Computer 23 (7) (2007) 467-478.).

여기서

은 입력 LDR 이미지의 휘도이고

는 생성된 HDR 이미지의 최대 휘도 값이다. ITM의 경우,

은 g(·)의 곡률을 결정한다.

도 1은 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치의 개략적인 구성이 도시된 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치(10)는, ITM 연산부(100), TM 연산부(200), 문턱값 비교부(300) 및 HDR 이미지 선택부(400)를 포함한다.

ITM 연산부(100)는, ITM(Inverse Tone Mapping) 연산자(Operator)에 LDR(Low Dynamic Range) 이미지를 입력시키며, 입력에 따른 결과값을 TM 연산부(200)로 전달한다.

TM 연산부(200)는, ITM 연산부(100)에 의한 결과값을 TM(Tone Mapping) 연산자에 입력시키며, 입력에 따른 결과값을 문턱값 비교부(300)로 전달한다.

문턱값 비교부(300)는, TM 연산부(200)에 의한 결과값을 HDR 휘도 판독을 위한 문턱값과 비교하며, 비교된 결과에 따른 결과값을 HDR 이미지 선택부(400)로 전달한다.

HDR 이미지 선택부(400)는, 문턱값 비교부(300)에 의해 TM 연산부(200)에 의한 결과값이 문턱값보다 작다고 판독된 경우, TM 연산부(200)에 의한 결과값을 HDR(High Dynamic Range) 이미지로 선택한다.

상술한 바와 같은 구성을 가지는 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치(10)는, 재구성된 HDR 영상에서 입력 LDR 영상과 톤 매핑 된 LDR 영상의 차이를 최소화하여 HDR 영상을 재구성하는 ITM 방법을 제공할 수 있다.

또한, 상술한 바와 같은 구성을 가지는 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치(10)는, 재구성된 HDR 이미지의 채도 영역은 교차 양측 필터를 사용하여 더욱 강화하고, DRIM 결과는 제안된 방법으로 재구성된 HDR 이미지가 다른 방법으로 재구성된 HDR 이미지보다 더 많은 CA와 CL 및 CR을 나타낼 수 있고, 톤 매핑 된 LDR 이미지는 디테일 보존 및 글로벌 콘트라스트의 관점에서 종래의 방법보다 우수한 시각 품질을 가질 수 있다.

상술한 바와 같은 구성을 가지는 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치(10)는, 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.

상술한 바와 같은 구성을 가지는 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치(10)의 각 구성에 의한 인버스 톤 매핑의 최적화 방법은 도 2 이하의 방법 설명에서 후술한다.

도 2는 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법을 설명하는 순서도이다.

본 발명의 목표 톤 매핑 된 LDR 이미지가 공간 도메인 Ω에서 정의된 입력 LDR 이미지

과 동일한 HDR 이미지

를 얻는 것입니다

도 2를 참조하면, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, 우선 ITM(Inverse Tone Mapping) 연산자(Operator)(g(·))에 LDR(Low Dynamic Range) 이미지를 입력시킨다(S110).

이를 위해, 다음의 수학식 7을 이용하여 ITM 연산자 g(·)를 사용하여 모든 픽셀에서의

의 톤 매핑 된 휘도 인

과

의 차이값

을 계산한다.

여기서, 초기 HDR 휘도

은 입력

로부터 재구성되며, 인덱스 i는 i 번째 반복을 나타낸다.

상술한 단계 S110에 따른 ITM 연산자에 의한 결과값을 TM(Tone Mapping) 연산자에 입력시킨다(S120).

상술한 단계 S120에 따른 TM 연산자에 의한 결과값을 HDR 휘도(Luminance) 판독을 위한 문턱값과 비교한다(S130).

수학식 7에서

가 특정 문턱 값 δ보다 작다면,

을 만족하게 되어, 문턱값보다 작은 TM 연산자에 의한 결과값을 HDR(High Dynamic Range) 이미지로 선택한다(S140).

다만,

가 특정 문턱 값 δ보다 크거나 같다면, 다음의 수학식 8과 같이 비선형 방정식을 이용하여 i+1 번째에서의 HDR 휘도를 계산하여 업데이트된 추정값을 획득할 수 있다(S150).

수학식 8의 최적 해를 구하기 위해 Newton-Raphson 방법(E. Reinhard, "Parameter estimation for photographic tone reproduction," J. Graphics Tools, vol. 7, no. 1, pp. 45-51, 2003.)을 초기 HDR 이미지

와 함께 사용한다

그리고, 각 반복에서 각 픽셀에 대한 HDR 휘도는 다음의 수학식 9과 같이 표현된다.

수학식 9에서의

의 계산은 매우 복잡하기 때문에 다음의 수학식 10에 주어진 역함수의 특성을 사용한다.

수학식 10의

의 미분은 다음의 수학식 11과 같이 순방향 차분을 사용하여 근사값을 구할 수 있다.

여기서, h는 반복 프로세스의 단계 크기이다.

입력 LDR 휘도는 일반적으로 256 개의 이산 레벨로 양자화되는 바, 따라서 수렴에 있어서, h는 1보다 작거나 같아야 한다.

h=1 일 때, 수학식 9는 다음의 수학식 12와 같이 수학식 10과 수학식 11을 사용하여 다시 쓸 수 있다.

업데이트된 추정값을 획득하는 단계(S150)에서 획득된 결과값의 i 번째 반복에서의 모든 픽셀에 대한 차이값이 0보다 작고(S160의 No의 경우), i+1 번째 반복에서의 차이값이 1보다 크거나 같은 경우(S170의 No의 경우) 차이값을 TM 연산자에 입력시키는 단계(S120)의 입력값으로 대입시킨다.

반면, 업데이트된 추정값을 획득하는 단계(S150)에서 획득된 결과값의 i 번째 반복에서의 모든 픽셀에 대한 차이값이 0보다 작고(S160의 No의 경우), i+1 번째 반복에서의 차이값이 1보다 작은 경우(S170의 Yes의 경우) 차이값을 HDR 이미지로 선택(S180)하게 된다. 즉, 수학식 12에서

이면, 다음의 수학식 13과 같이 반복 과정을 종료하고,

을 설정하게 된다.

Newton-Raphson 방법은 출발점이 최적해로부터 멀리 떨어져 있으면 수렴하지 못할 수 있다.

이 경우, 반복 프로세스는 다음의 수학식 14와 같이 계산된 모든 픽셀에 대한 차이

의 합에 따라 종료된다.

업데이트된 추정값을 획득하는 단계(S150)에서 획득된 결과값의 i 번째 반복에서의 모든 픽셀에 대한 차이값이 0보다 크거나 같은 경우, 즉, 수학식 14에서,

인 경우(S160의 Yes의 경우), 많은 수의 픽셀에 대해 i 번째 반복에서 얻은 해가 i+1 번째 반복에서 계산된 해보다 좋음을 나타내면 Newton 반복

는

의 최종 해가 되어, HDR 이미지로 선택하는 단계(S140)의 입력값으로 대입시킨다.

도 3은, 본 발명을 이용하여 0, 5, 및 최종 반복에서 생성된 실제 HDR 이미지와 중간 HDR 이미지 간의 입력 LDR 이미지와 차이를 보여준다.

차이점은 HDR 시각 차이 예측기(HDR-VDP2)(J. J. Mccann, "The Ansel Adams Zone System: HDR capture and range compression by chemical processing," IS&T/SPIE Electron. Imaging. Int. Soc. Opt. Photonics, vol. 7527, p. 75270S, Feb. 2010.)를 사용하여 측정되며, 이는 인간의 시각 시스템을 기반으로 원본 및 재구성된 HDR 이미지를 비교하는 데 널리 채택되는 평가 척도이다.

빨간색 픽셀은 두 이미지의 차이를 나타내는 반면, 파란색 픽셀은 이미지 간에 차이를 나타내지 않습니다. 이 결과는 반복 횟수가 증가함에 따라 가시적인 차이가 점차 감소함을 보여준다.

도 4는 본 발명의 다른 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법을 설명하는 순서도이다.

도 4를 참조하면, 본 발명의 다른 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은, 도 2에서 상술한 HDR 이미지로 선택하는 단계(S140)에서 선택된 이미지의 고휘도 영역을 향상시키는 단계(S190)를 더 포함한다.

일 실시예에서, 고휘도 영역을 향상시키는 단계(S190)는, 픽셀의 휘도값이 과노출 판독을 위한 문턱값보다 큰 입력 LDR 이미지의 고휘도 영역을 검출할 후, 검출된 고휘도 영역을 갖는 입력 LDR 이미지를 처리할 수 있다.

이때, 입력 LDR 이미지를 처리는, 평활화된 고휘도 영역을 획득하고, 획득한 평활화된 고휘도 영역을 스케일한 후, 스케일된 고휘도 영역을 이용하여 출력 HDR 이미지를 획득함으로써 처리될 수 있다.

각 단계에서의 구체적인 실행 방법은 이하에서 설명하기로 한다.

재구성된 HDR 이미지의 고휘도 영역을 더욱 향상시키기 위해, 픽셀 휘도 값이 임계 값

(Over Expose)보다 큰 입력 LDR 이미지의 고휘도 영역이 먼저 검출되며, 해당 검출된 고휘도 영역을 교차 양측 필터(Cross Bilateral Filter)를 사용하여 평활화(smoothed)된다.

그리고, 고휘도 영역의 픽셀 값은, 평활화된 고휘도 영역에 따라 HDR 이미지의 입력값(

)을 스케일링함으로써 얻어진다.

다음으로, 검출된 고휘도 영역(S)을 갖는 입력 LDR 이미지(L)를 고려한다.

고휘도 영역은 다음은 수학식 15와 같이 각 위치 p에서 계산된다.

여기서,

이고, M은 평활화된 고휘도 영역이다.

파라미터

는 공간(휘도) 가중치를 계산하는 데 사용된 표준 편차이고, 파라미터

는 범위(휘도) 가중치를 계산하는 데 사용된 표준 편차이며,

는 p의 이웃(neighborhood)이다.

본 발명에서는,

그리고

를 이용하였다(R. Kovaleski and M. M. Oliveira, "High-quality brightness enhancement functions for real-time reverse tone mapping," Vis. Comput., vol. 25, no. 5-7, pp. 539-547, May. 2009.).

M 값을 얻은 후 그 값은 다음의 수학식 16을 이용하여 [1..a] 범위로 스케일된다.

여기서,

는 위치 p에서의 M의 스케일 된 값이고,

및

은 평활화 된 고휘도 영역의 최대 및 최소 값이고, α의 값은 밝기의 증폭 정도를 결정한다.

마지막으로, 출력 HDR 이미지는 HDR 이미지(

)와 평활화된 고휘도 영역의 스케일 된 값(

)의 픽셀 단위 곱셈에 의해 얻어진다.

이하에서는, 본 발명의 일 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법에 따른 결과물을 실험적으로 검토하기로 한다.

본 발명의 성능은, Banterle's method(L. Meylan, S. Daly, and S. Su ¨sstrunk, "The reproduction of specular highlights on high dynamic range displays," Proc. Color Imaging Conf., vol. 2006, no. 1, pp. 333-338, Jan. 2006.), Huo's method(R. Kovaleski and M. M. Oliveira, "High-quality reverse tone mapping for a wide range of exposures", Proc. SIBGRAPI, pp. 49-56, Aug. 2014.) 그리고 Kovaleski's method(R. Kovaleski and M. M. Oliveira, "High-quality brightness enhancement functions for real-time reverse tone mapping," Vis. Comput., vol. 25, no. 5-7, pp. 539-547, May. 2009.)과 비교될 수 있다.

사후 처리가 있거나 없는 본 발명에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법을 각각 IITM 및 IITMPP라고 한다.

본 발명의 평가에 앞서, HDR 영상의 RGB 색상 채널은 (L. Meylan, S. Daly, and S. Su ¨sstrunk, "The reproduction of specular highlights on high dynamic range displays," Proc. Color Imaging Conf., vol. 2006, no. 1, pp. 333-338, Jan. 2006.), (R. Mantiuk, K. J. Kim, A. G. Rempel, W. Heidrich, "HDR-VDP2: A calibrated visual metric for visibility and quality predictions in all luminance conditions," ACM Trans. Graph., vol. 30, no. 4, pp. 40-52, Aug. 2011.)에 따라 다음의 수학식 17과 같이 복원되었다.

여기서,

및

는 각각 입력 LDR 및 재구성된 HDR 이미지의 컬러 채널을 나타낸다

본 발명의 검증 과정에서,

,

, and

으로 설정하였다.

입력 LDR 이미지에서 Reinhard의 TM 연산자의 매개 변수

를 얻기 위해 계수 2.2의 역 감마 보정 함수를 사용하여 입력 LDR 이미지를 선형화한다.

선형화된 LDR 이미지의 log 평균 값은 해당 HDR 이미지의 로그 평균 값에 가깝기 때문에(F. Banterle, P. Ledda, K. Debattista, A. Chalmers, and M. Bloj, "A framework for inverse tone mapping," Vis. Comput.: Int. J. Comput. Graph., vol. 23, no. 7, pp. 467-478, Jul. 2007.), 선형화 된 LDR 이미지에 수학식 2를 적용하여

를 계산한다.

본 발명의 검증 과정에서 최대 반복 횟수는 300으로 설정되었다.

또한, 노출 부족(UE) 및 노출 과다(OE) 이미지는 일반적으로 컨버전스에 대해 0 내지 100 회 반복을 필요로 한다는 것을 확인하였다.

적정 노출된(WE) LDR 이미지는 일반적으로 최종 HDR 이미지를 얻기 위해 100 내지 300 회 반복이 필요로 한다.

본 발명에서는, 휘도 채널의 동적 범위를 확장하는 데 초점을 맞추기 때문에 색상 복구가 그 범위 내에 있지 않다.

테스트 이미지는, 서로 다른 노출 시간으로 포착된 LDR 이미지를 포함하는 MEF 데이터 세트(K. Ma, K. Zeng, and Z. Wang, "Perceptual quality assessment for multi-exposure image fusion," IEEE Trans. Image Process., vol. 24, no. 11, pp. 3345-3356, Nov. 2015.)에서 선택되었다.

정량적 비교를 위해 DRIM(T. O. Aydm, R. Mantiuk, K. Myszkowski, and H. Seidel, "Dynamic range independent image quality assessment," in Proc. Int. Conf. Comput. Graph. Interact. Tech., vol. 27, no. 3, pp. 1-69, Aug. 2008.)을 사용하였다.

DRIM은 참조 이미지와 테스트 이미지의 대비의 차이를 식별한다. 또한, 평가 결과를 각 화소의 콘트라스트 왜곡 오차를 3 색으로 나타내는 왜곡 맵으로서 출력하고, 적색, 녹색 및 청색은 각각 콘트라스트 반전(CR), 콘트라스트 손실(CL) 및 콘트라스트 증폭(CA)을 나타낸다.

DRIM 결과를 정량화하기 위해 적색, 녹색 및 청색 픽셀의 백분율을 계산하였다.

(B. Masia, S. Agustin, R. W. Fleming, O. Sorkine, and D. Gutierrez, "Evaluation of reverse tone mapping through varying exposure conditions," ACM Trans. Graph., vol. 28, no. 5, pp. 160:1-160:8, 2009.)과 (R. Kovaleski and M. M. Oliveira, "High-quality reverse tone mapping for a wide range of exposures", Proc. SIBGRAPI, pp. 49-56, Aug. 2014.)에 따르면, CL과 CR은 바람직하지 않다.

대조적으로, 보이지 않는 콘트라스트의 증폭은 ITM 운영자를 위한 인지된 이미지 품질을 증가시킨다.

HDR 영상의 화질은, 해당 톤 매핑된 LDR 영상(B. Masia, S. Agustin, R. W. Fleming, O. Sorkine, and D. Gutierrez, "Evaluation of reverse tone mapping through varying exposure conditions," ACM Trans. Graph., vol. 28, no. 5, pp. 160:1-160:8, 2009.)의 화질과 관련이 있기 때문에 Reinhard의 TM 연산자(E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, "Photographic tone reproduction for digital images," ACM Trans. Graph., vol. 21, no. 3, pp. 267-276, Jul. 2002.)를 이용하여 재구성된 HDR 영상의 톤 매핑 된 LDR 영상을 얻는다.

도 3의 (a) 내지 (f)는 입력된 UE LDR 영상, 기존 및 본 발명의 DRIM 결과, 그리고 각 ITM 방법의 최종 HDR 영상으로부터 톤 매핑 된 LDR 영상을 보여준다.

대응하는 수치적인 DRIM 결과는 표 1에 나열되어 있으며, CR, CL 및 CA에 대한 최상의 성능은 굵은 글씨체로 기재되어 있다.

도 5의 (a) 내지 (f)와 표 1에 본 발명과 기존 방법의 DRIM 결과를 비교하여, 본 발명에 따라 재구성된 HDR 이미지는 CL과 CR이 가장 낮았고 IRR 연산자를 사용하여 재구성된 HDR 이미지가 가장 낮았다.

각 방법의 WE LDR 이미지와 DRIM 결과는 도 5의 (g) 내지 (l)에 나와 있으며, EM(F. Banterle, P. Ledda, K. Debattista, A. Chalmers, and M. Bloj, "A framework for inverse tone mapping," Vis. Comput.: Int. J. Comput. Graph., vol. 23, no. 7, pp. 467-478, Jul. 2007.)은 도 5의 (h)와 같이 하늘에 CL과 CR이있는 HDR 영상을 생성한다.

이 CR 및 CL은 DRIM 결과 아래에 표시된 해당 톤 매핑 LDR 이미지에서 볼 수 있는 시각적인 인공물들(artifacts)을 유발할 수 있는데, 시각적 인공물은 시각적 경험을 불쾌하게 만드는 요소가 될 수 있다.

또한, EM(F. Banterle, P. Ledda, K. Debattista, A. Chalmers, and M. Bloj, "A framework for inverse tone mapping," Vis. Comput.: Int. J. Comput. Graph., vol. 23, no. 7, pp. 467-478, Jul. 2007.)은 때때로 얇은 구조를 갖는 고휘도 영역에서 CR과 CL을 나타내는 HDR 이미지를 재구성한다.

표 1의 수치 결과는 IRR 연산자를 사용하여 재구성된 HDR 이미지가 HQBEF를 사용하여 재구성된 것보다 많은 CA를 나타냄을 보여준다. 그러나 IRR은 또한 높은 CR을 유발한다.

도 5의 (i) 내지 (j)에서 하늘 영역의 녹색 픽셀은 두 방법을 사용하여 재구성된 HDR 이미지에서 CL을 나타낸다.

표 1의 수치 DRIM 결과에 따르면 본 발명에 따라 얻은 HDR 이미지는 기존의 방법으로 얻은 것보다 상당히 많은 CA와 CR 및 CL을 나타낸다.

고휘도 영역은 문턱값 방법으로는 검출되지 않기 때문에 IITM과 IITMPP의 DRIM 결과 간에는 차이가 없다.

각각의 ITM 방법의 결과적인 HDR 이미지로부터의 대응하는 톤-매핑 된 LDR 이미지는 도 5의 제4 행에 도시된다.

DRIM 결과에 따라, 제안된 방법은 다른 방법보다 하늘 영역에서 보다 양호한 국부적인 콘트라스트를 달성한다.

도 5의 마지막 두 행은 OE LDR 이미지에 대한 DRIM 결과 및 대응하는 LDR 이미지를 도시한다.

UE 및 WE LDR 이미지와 달리, OE LDR 이미지의 포화된 하늘 영역은 도 5의 (m)에 표시된 것처럼 텍스처 및 세부 사항을 갖지 않는다.

EM(F. Banterle, P. Ledda, K. Debattista, A. Chalmers, and M. Bloj, "A framework for inverse tone mapping," Vis. Comput.: Int. J. Comput. Graph., vol. 23, no. 7, pp. 467-478, Jul. 2007.)은 앞에서 언급했듯이 가우시안 함수가 강한 에지를 유지할 수 없으므로 예리한 모서리를 중심으로 CR로 HDR 이미지를 생성한다.

CR 및 CL은, 도 5의 (n)에 도시된 바와 같이 대응하는 톤-매핑 된 LDR 이미지에서 후광(halo) 인공물을 유발한다.

도 5의 (o) 내지 (r)에서의 DRIM 결과의 비교는 본 발명에 따른 방법만이 입력 LDR 이미지의 보이지 않는 콘트라스트를 향상시킨다는 것을 보여준다. 또한 날카로운 모서리 주변에서 CR 및 CL이 적다.

IITM 및 IITMPP의 수치적인 DRIM 결과는 후 처리가 포화 영역의 동적 범위를 더욱 확장시킨다는 것을 보여주나, 그것은 또한 CR과 CL을 증가시킨다.

도 6은, ITM 방법에 대한 다양한 노출 시간 및 DRIM 결과로 캡처한 야외 장면을 보여준다.

도 7은, 각 ITM 방법으로 재구성된 HDR 이미지로부터의 톤 매핑 된 LDR 이미지를 보여준다.

표 2는, 수치적인 DRIM 결과를 나열한 것이다.

도 6에 도시된 입력 LDR 이미지는 도 5에 도시된 입력 LDR 이미지보다 포화 영역 주변의 상당히 많은 세부 사항 및 텍스처를 포함한다.

UE 이미지의 경우, 표 2에 나열된 수치 DRIM 결과는 본 발명에 따른 방법으로 재구성된 HDR 이미지가 다른 방법으로 재구성된 HDR 이미지보다 적은 CR을 나타냄을 보여준다.

도 6의 WE와 OE LDR 영상에서 EM(F. Banterle, P. Ledda, K. Debattista, A. Chalmers, and M. Bloj, "A framework for inverse tone mapping," Vis. Comput.: Int. J. Comput. Graph., vol. 23, no. 7, pp. 467-478, Jul. 2007.)은 하늘 영역에 CL과 CR을 도입했는데, 이는 가우시안 함수는 영상의 미세 구조를 보존하지 못하고 포화 영역을 부드럽게 하기 때문이다.

도 6과 표 2는 Cross Bilateral Filter가 Gaussian 함수에 비해 얇은 구조를 잘 보존하기 때문에 HQBEF(Y. Huo, F. Yang, L. Dong, and V. Brost, "Physiological inverse tone mapping based on retina response," The Visual Computer, Springer, vol. 30, no. 5, pp. 507-517, May. 2014.)의 HDR 영상은 EM의 것보다 CL과 CR이 적다는 것을 보여준다.

IRR과 HQBEF의 DRIM 결과를 비교해 보면 HQBEF(R. Kovaleski and M. M. Oliveira, "High-quality reverse tone mapping for a wide range of exposures", Proc. SIBGRAPI, pp. 49-56, Aug. 2014.)가 포화 영역에 대해 CL과 CR 측면에서 IRR보다 우수하다는 것을 알 수 있다.

그러나, HQBEF는 포화 영역의 동적 범위를 효율적으로 확장하지만, 얻어지는 CA는 비포화 영역에서 EM(F. Banterle, P. Ledda, K. Debattista, A. Chalmers, and M. Bloj, "A framework for inverse tone mapping," Vis. Comput.: Int. J. Comput. Graph., vol. 23, no. 7, pp. 467-478, Jul. 2007.) 및 IRR(L. Wang, L. Wei, K. Zhou, B. Guo, and H. Shum, "High dynamic range image hallucination," in Proc. Eurographics Symp. Rendering, pp. 321-326, June. 2007.)에 의한 것보다 적다.

복잡한 텍스처 영역에 대한 망막-반응 함수(retina-response function)의 국부적 적응 레벨의 정확한 추정은 어렵기 때문에, 따라서 IRR 연산자(Y. Huo, F. Yang, L. Dong, and V. Brost, "Physiological inverse tone mapping based on retina response," The Visual Computer, Springer, vol. 30, no. 5, pp. 507-517, May. 2014.)는 항상이 지역에 CL, CR 및 CA를 동시에 도입한다.

또한, 매우 얇은 구조의 영역을 매끄럽게 하는 경향이 있다.

예를 들어, 도 4의 (m)에 도시된 입력 LDR 이미지는 하늘 영역에 다수의 매우 얇은 구조를 포함한다.

큰 CL은, IRR(L. Wang, L. Wei, K. Zhou, B. Guo, and H. Shum, "High dynamic range image hallucination," in Proc. Eurographics Symp. Rendering, pp. 321-326, June. 2007.)에 의해 소개되며, 이것은 대응하는 톤 매핑 된 LDR 이미지를 입력된 OE LDR 이미지와 비교함으로써 확인될 수 있다.

DRIM 결과는 본 발명에 따라 재구성된 HDR 이미지가 다른 방법으로 재구성된 것보다 CA가 크고 CA와 CR이 적음을 보여준다.

또한, 도 7은 본 발명에 따른 톤-매핑 된 LDR 이미지가 로컬 및 글로벌 콘트라스트의 관점에서 종래의 방법의 따른 톤-맵 이미지를 능가하는 것을 나타낸다.

이러한 결과는 해당 톤 매핑된 LDR 이미지와 입력 LDR 이미지 간의 차이를 최소화하여 고품질의 HDR 이미지를 얻을 수 있음을 보여준다.

또한, 후 처리는 고휘도 영역의 콘트라스트를 더욱 향상시킬 수 있다.

도 8은 각 ITM 방법 및 해당 톤 매핑 HDR 이미지에 대한 DRUM 결과와 함께 다양한 노출 시간으로 캡처한 실내 장면을 보여주며, 수치 결과는 표 3에 요약되어 있다.

CL, CR 및 CA의 측면에서 볼 때 최상의 성능은 굵은 체로 표시되며, 도 5 및 도 6에 도시된 입력 LDR 이미지와 비교하여, 실내 이미지는 고휘도 영역에서 예리한 에지뿐만 아니라 텍스처 및 디테일을 덜 포함한다.

WE와 OE 이미지에서 본 발명에 따른 DRIM 결과에서 파란색 픽셀로 표시된 CA의 관점에서 뛰어난 성능을 달성했다.

도 8의 (m)에 도시 된 OE 이미지에 대하여, 본 발명에 따른 발명만이 CL 및 CR을 도입하지 않으면서 동적 범위를 효율적으로 확장시킨다.

모든 입력 영상에 대해 얻어진 수치적 DRIM 결과는 본 발명에 따른 ITM 방법이 LDR 영상의 동적 범위를 확장하면서 CR과 CL을 효과적으로 최소화함을 보여준다. 또한, 본 발명에 따른 방법은 WE 이미지에 대해 우수한 성능을 제공한다.

이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.

도 2 또는 도 4를 통해 설명된 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.

또한 도 2 또는 도 4를 통해 설명된 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 도 2 또는 도 4를 통해 설명된 실시예에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 명세서를 통해 보호받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.

10: 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치
100: ITM 연산부
200: TM 연산부
300: 문턱값 비교부
400: HDR 이미지 선택부

Claims

ITM(Inverse Tone Mapping) 연산자(Operator)에 LDR(Low Dynamic Range) 이미지를 입력시키는 단계;
ITM 연산자에 의한 결과값을 TM(Tone Mapping) 연산자에 입력시키는 단계;
TM 연산자에 의한 결과값을 HDR 휘도(Luminance) 판독을 위한 문턱값과 비교하는 단계;
문턱값보다 작은 TM 연산자에 의한 결과값을 HDR(High Dynamic Range) 이미지로 선택하는 단계; 및
상기 HDR 이미지로 선택하는 단계에서 선택된 이미지의 고휘도 영역을 향상시키는 단계를 포함하며,
상기 고휘도 영역을 향상시키는 단계는,
픽셀의 휘도값이 과노출 판독을 위한 문턱값보다 큰 입력 LDR 이미지의 고휘도 영역을 검출하는 단계; 및
검출된 고휘도 영역을 갖는 입력 LDR 이미지를 처리하는 단계를 포함하는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.
제1항에 있어서,
상기 문턱값과 비교하는 단계에서 TM 연산자에 의한 결과값이 문턱값보다 크거나 같은 경우, 상기 HDR 휘도의 업데이트된 추정값을 획득하는 단계를 더 포함하는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.
제2항에 있어서,
다음의 수학식에 따른 결과값(
)이 0보다 크거나 같은 경우, 상기 HDR 휘도를 상기 HDR 이미지로 선택하는 단계의 입력값으로 대입시키는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.

여기서,
는 HDR 휘도,

은 HDR 휘도의 업데이트된 추정값,

는 LDR 이미지,

는 TM(Tone Mapping) 연산자이다.
제2항에 있어서,
제 1 결과값이 0보다 작고, 제 2 결과값이 1보다 크거나 같은 경우, 상기 제 2 결과값을 상기 TM 연산자에 입력시키는 단계의 입력값으로 대입시키는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.
여기서, 상기 제 1 결과값은 아래의 수학식을 따르며,

상기 제 2 결과값은 아래의 수학식을 따른다.

여기서,
는 HDR 휘도,

은 HDR 휘도의 업데이트된 추정값,

는 LDR 이미지,

는 TM(Tone Mapping) 연산자이다.
제2항에 있어서,
제 1 결과값이 0보다 작고, 제 2 결과값이 1보다 작은 경우, HDR 휘도의 업데이트된 추정값을 상기 HDR 이미지로 선택하는 단계의 입력값으로 대입시키는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.
여기서, 상기 제 1 결과값은 아래의 수학식을 따르며,

상기 제 2 결과값은 아래의 수학식을 따른다.

여기서,
는 HDR 휘도,

은 HDR 휘도의 업데이트된 추정값,

는 LDR 이미지,

는 TM(Tone Mapping) 연산자이다.
삭제
삭제
제1항에 있어서, 상기 고휘도 영역을 검출하는 단계는,
검출된 고휘도 영역을 교차 양측 필터(Cross Bilateral Filter)를 사용하여 평활화(smoothed)시키는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.
제8항에 있어서,
고휘도 영역의 픽셀 값은, 평활화된 고휘도 영역에 따라 HDR 이미지의 입력값을 스케일링함으로써 얻어지는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.
제1항에 있어서, 상기 입력 LDR 이미지를 처리하는 단계는,
평활화된 고휘도 영역을 획득하는 단계;
획득한 평활화된 고휘도 영역을 스케일하는 단계; 및
스케일된 고휘도 영역을 이용하여 출력 HDR 이미지를 획득하는 단계를 포함하는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.
제10항에 있어서, 상기 평활화된 고휘도 영역을 획득하는 단계는,
다음의 수학식에 의하여 각 위치 p에서 계산하여 평활화된 고휘도 영역(
)을 획득하는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.

여기서,
이고,
는 공간(휘도) 가중치를 계산하는 데 사용된 표준 편차이고,
는 범위(휘도) 가중치를 계산하는 데 사용된 표준 편차이며,
는 p의 이웃(neighborhood)이다.
제10항에 있어서, 상기 스케일하는 단계는,
상기 평활화된 고휘도 영역을 획득하는 단계에서 획득한 평활화된 고휘도 영역(
)을 다음의 수학식을 이용하여 [1 내지
] 범위로 스케일시키는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.

여기서,
은 위치 p에서의 평활화된 고휘도 영역(M)의 스케일 된 값이고,
는 평활화 된 고휘도 영역의 최대값이고,
는 평활화된 고휘도 영역의 최소값이다
제10항에 있어서, 상기 출력 HDR 이미지를 획득하는 단계는,
HDR 이미지(
)와 평활화된 고휘도 영역의 스케일 된 값(
)의 픽셀 단위 곱셈에 의하여 출력 HDR 이미지를 획득하는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법.
제1항 내지 제5항 및 제8항 내지 제13항 중 어느 하나의 항에 따른 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
ITM(Inverse Tone Mapping) 연산자(Operator)에 LDR(Low Dynamic Range) 이미지를 입력시키는 ITM 연산부;
상기 ITM 연산부에 의한 결과값을 TM(Tone Mapping) 연산자에 입력시키는 TM 연산부;
상기 TM 연산부에 의한 결과값을 HDR 휘도 판독을 위한 문턱값과 비교하는 문턱값 비교부; 및
상기 문턱값 비교부에 의해 상기 TM 연산부에 의한 결과값이 문턱값보다 작다고 판독된 경우, 상기 TM 연산부에 의한 결과값을 HDR(High Dynamic Range) 이미지로 선택하는 HDR 이미지 선택부를 포함하는며,
상기 HDR 이미지 선택부는, 픽셀의 휘도값이 과노출 판독을 위한 문턱값보다 큰 입력 LDR 이미지의 고휘도 영역을 검출하고, 검출된 고휘도 영역을 갖는 입력 LDR 이미지를 처리하여 선택된 이미지의 고휘도 영역을 향상시키는, 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치.