KR102086756B1 - 하이 다이내믹 레인지 이미지 생성 장치 및 방법 - Google Patents

하이 다이내믹 레인지 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
KR102086756B1
KR102086756B1 KR1020180068212A KR20180068212A KR102086756B1 KR 102086756 B1 KR102086756 B1 KR 102086756B1 KR 1020180068212 A KR1020180068212 A KR 1020180068212A KR 20180068212 A KR20180068212 A KR 20180068212A KR 102086756 B1 KR102086756 B1 KR 102086756B1
Authority
KR
South Korea
Prior art keywords
light region
luminance
reflected light
value
ldr
Prior art date
Application number
KR1020180068212A
Other languages
English (en)
Other versions
KR20190141438A (ko
Inventor
강석주
안권환
이시영
안용덕
Original Assignee
서강대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교 산학협력단 filed Critical 서강대학교 산학협력단
Priority to KR1020180068212A priority Critical patent/KR102086756B1/ko
Publication of KR20190141438A publication Critical patent/KR20190141438A/ko
Application granted granted Critical
Publication of KR102086756B1 publication Critical patent/KR102086756B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

하이 다이내믹 레인지 이미지 생성 장치가, 로우 다이내믹 레인지 이미지에서 반사광 영역을 검출하고, 반사광 영역의 반사도에 따라 로우 다이내믹 레인지 이미지를 반사광 영역과 확산광 영역으로 구분하는 기준 값인 LDR 휘도 경계값을 결정한다. LDR 휘도 경계값과 동일한 값을 초기 출력 휘도 값으로 매핑되도록 초기 매핑 곡선을 생성하고, 확산광 영역의 평균 휘도와 지역 적응 망막 반응 값을 고려하여 LDR 휘도 경계값에 대응하는 매핑 곡선 변형 출력 휘도 값을 결정한다. 그리고 입력 휘도 값과 매핑 곡선 변형 출력 휘도 값을 토대로 초기 출력 매핑 곡선의 기울기를 변형한다.

Description

하이 다이내믹 레인지 이미지 생성 장치 및 방법{Apparatus and method for generating a high dynamic range image}
본 발명은 하이 다이내믹 레인지 이미지 생성 장치 및 방법에 관한 것이다.
하이 다이나믹 레인지 이미징(HDR imaging: High Dynamic Range Imaging) 기법은 기존의 휘도 출력 범위보다 더 넓은 휘도 범위를 출력하고 색 재현율을 높여, HDR 디스플레이에 출력할 수 있는 HDR 영상을 제작하는 기술이다. HDR 영상은 기존 단일 노출 영상보다 더 넓은 휘도 범위를 저장하여 기존 단일 노출 영상이 저장하지 못한 휘도 정보까지 저장할 수 있다. 기존 HDR 이미징 기법으로 다중 노출 영상을 이용하여 HDR 영상의 계조를 매핑하는 방법과 단일 노출 영상을 이용하여 HDR 영상의 계조를 매핑하는 방법 등 다양하게 있다.
기존 HDR 이미징 기법들 중 고정된 기준 값(threshold value)을 기준으로 단일 노출 영상의 밝은 영역과 어두운 영역을 구분하여 각 영역의 밝기를 매핑하는 기술로 HDR 영상을 제작하는 경우, 고정된 기준 값과 모서리(edge)를 검출하는 필터를 이용하여 밝은 영역을 검출하기 때문에 영상의 특성에 따라 검출 성능이 강인하지 못하는 단점이 있다. 그리고 최종적인 인지적 밝기를 고려하지 않고 출력 디스플레이의 휘도 범위만을 고려하기 때문에 결과 영상이 인지적으로 화질이 저하될 수 있다는 단점이 있다.
또 다른 기법으로 HDR 영상을 제작하는 경우, 입력 영상에서 반사광 영역을 추출할 때 크기가 다른 2개의 저역 필터(low-pass filter)를 이용하여 기준 값을 도출하기 때문에, 반사광 영역의 크기와 필터의 크기에 따라 성능이 달라진다. 그리고 반사광 영의 기준 값이 달라지더라도 출력 매핑 값이 고정되어 있어, 인지적 밝기가 고려되지 않으므로 HDR 이미징의 성능을 보장하기 어렵다.
또 다른 기법인 인간의 시각 모델에 기반하여 지역적 망막 반응을 사용하여 인지적 화질을 중심으로 매핑하는 기술을 이용할 경우, 지역적 망막 반응을 고려한 시그모이드 곡선을 이용하여 출력 매핑을 진행하기 때문에 포화 영역의 계조(gradation) 세분화 성능이 떨어진다. 그리고 지역적 영역의 평균 밝기를 고려하기 위해 사용된 양방향(bilateral) 필터링은 최적의 값을 찾기 위해 여러 번 수행되므로, 실시간 적용이 어렵다.
영상의 통계적 정보를 이용하여 감마 확장을 이용하는 방법 경우에는, 입력 영상을 분석한 후 감마(gamma) 곡선을 이용하여 매핑이 결정되기 때문에 포화(saturated) 영역을 효율적으로 계조 세분화하기 어렵다. 그리고, 매핑 구간에서 디스플레이의 출력 휘도를 고려하지 않으므로 인지적 화질 저하가 발생할 수 있다.
따라서, 본 발명은 인지 밝기 기반의 역 톤 매핑 기법을 사용하는 하이 다이내믹 이미지 생성 장치 및 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 이미지 생성 장치가, 하나의 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지를 생성하는 방법으로서,
상기 로우 다이내믹 레인지 이미지에서 반사광 영역을 검출하고, 상기 반사광 영역의 반사도에 따라 상기 로우 다이내믹 레인지 이미지를 반사광 영역과 확산광 영역으로 구분하는 LDR 휘도 경계값을 결정하는 단계, 확산광 영역의 평균 휘도와 지역 적응 망막 반응 값을 고려하여 HDR 휘도 경계값 범위를 결정하고, 상기 결정한 HDR 휘도 경계값 범위 내에서 상기 확산광 영역의 평균 휘도와 반사광 영역의 평균 휘도를 이용하여 상기 LDR 휘도 경계값에 대응하는 최종 HDR 휘도 경계값을 결정하는 단계, 상기 입력 휘도 값과 상기 최종 HDR 휘도 경계값을 토대로 초기 LDR-HDR 휘도 변환 그래프에서 확산광 영역의 기울기와 반사광 영역 기울기를 변형하는 단계, 그리고 기울기가 변형된 출력 LDR-HDR 휘도 변환 그래프를 기초로 상기 로우 다이내믹 레인지 이미지의 휘도를 변형하여, 상기 하이 다이내믹 레인지 이미지로 생성하는 단계를 포함한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 이미지 생성 장치가, 로우 다이내믹 레인지 이미지(Low Dynamic Range, LDR)로부터 하이 다이내믹 레인지(High Dynamic Range, HDR) 이미지를 생성하는 방법으로서,
상기 로우 다이내믹 레인지 이미지를 반사광 영역과 확산광 영역으로 구분하는 LDR 휘도 경계값을 결정하는 단계, 제1 LDR-HDR 휘도 변환 그래프에서 상기 LDR 휘도 경계값에 대응하는 제1 HDR 휘도 경계값을 제2 HDR 휘도 경계값으로 변경하는 단계, 상기 제1 LDR-HDR 휘도 변환 그래프에서 상기 LDR 휘도 경계값에 대응하는 HDR 휘도를 상기 제2 HDR 휘도 경계값으로 변경하여 상기 확산광 영역의 LDR-HDR 휘도 변환 기울기와 상기 반사광 영역의 LDR-HDR 휘도 변환 기울기가 다른 제2 LDR-HDR 휘도 변환 그래프를 생성하는 단계, 그리고 상기 제2 LDR-HDR 휘도 변환 그래프를 기초로 상기 로우 다이내믹 레인지 이미지의 휘도를 변환하여 상기 하이 다이내믹 레인지 이미지를 생성하는 단계를 포함한다.
본 발명에 따르면 단일 노출 영상 한 장을 이용하여 HDR 이미지를 생성할 수 있다.
또한, 입력 이미지의 특성에 따라 적응적으로 기준 값을 선정하기 때문에, 이미지의 특성에 강인하게 반사광 영역과 확산광 영역을 검출할 수 있다.
또한 출력 매핑 시, 적응적인 지역적 망막 반응(adaptive local retina response)를 통해 인지적 화질을 향상시킬 수 있다
도 1은 본 발명의 실시예에 따른 하이 다이내믹 레인지 이미지 생성 장치의 구조도이다.
도 2는 본 발명의 실시예에 따른 하이 다이내믹 레인지 이미지 생성 방법에 대한 흐름도이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 후보 반사광 영역 추출 방법에 대한 흐름도 및 예시도이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 반사광 영역을 결정하는 방법에 대한 흐름도 및 예시도이다.
도 5a 내지 도 5d는 본 발명의 실시예에 따른 초기 LDR-HDR 휘도 변환 그래프 생성 방법에 대한 흐름도 및 예시도이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 최종 LDR-HDR 휘도 변환 그래프 생성 방법에 대한 흐름도 및 예시도이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 역 톤 매핑 기반 HDR 이미징 곡선을 생성하는 방법에 대한 흐름도 및 예시도이다.
도 8은 본 발명의 실시예에 따라 생성된 HDR 이미지와 종래 방법으로 생성한 HDR 이미지를 비교한 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 하이 다이내믹 레인지 이미지 생성 장치 및 방법에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 하이 다이내믹 레인지 이미지 생성 장치의 구조도이다.
도 1에 도시된 바와 같이, 적어도 하나의 프로세서에 의해 제어되는 하이 다이내믹 레인지 이미지 생성 장치(이하, 설명의 편의를 위하여 'HDR 이미지 생성 장치'라 지칭함)(100)는 후보 반사광 영역 추출 모듈(110), 반사광 영역 결정 모듈(120), 매핑 곡선 생성 모듈(130), 그리고 역 톤 매핑 모듈(140)을 포함한다.
후보 반사광 영역 추출 모듈(110)은 외부로부터 복수의 픽셀을 가지는 로우 다이나믹 레인지(Low Dynamic Range) 이미지(이하, 설명의 편의를 위하여 'LDR 이미지'라 지칭함)를 수신하면, LDR 이미지에서 반사광 영역이 될 확률이 높은 후보 영역을 탐색한다.
LDR 이미지에서 후보 반사광 영역을 탐색하기 위해, 후보 반사광 영역 추출 모듈(110)은 입력된 LDR 이미지로부터 선형적인 빛 정보를 복원한다. 선형적인 빛 정보를 복원하기 위해 후보 반사광 영역 추출 모듈(110)은 감마 역변환(gamma decoding)을 수행하는데, 감마 역변환에 대한 사항은 이미 알려진 내용으로 본 발명의 실시예에서는 상세한 설명을 생략한다.
그리고, 후보 반사광 영역 추출 모듈(110)은 감마 역변환을 수행하여 감마 역변환 이미지를 생성하면, 감마 역변환 이미지에 복수의 픽셀 각각에 대한 감마 역변환 이미지 RGB 데이터를 생성하고, 이를 토대로 복수의 픽셀 각각에 대하여 반사광의 반사도를 정의한다. 여기서 모든 픽셀 각각에 생성된 감마 역변환 이미지 RGB 데이터는 해당 픽셀의 R값, G값, B값을 포함하고 있다.
후보 반사광 영역 추출 모듈(110)은 복수의 픽셀로 구성된 감마 역변환 이미지로부터 무반사광 이미지를 생성하고, 무반사광 이미지의 RGB 데이터를 생성한다. 여기서 무반사광 이미지를 구성하는 모든 픽셀 각각에 생성된 무반사광 이미지의 RGB 데이터는 해당 픽셀의 R값, G값, B값을 포함하고 있다.
후보 반사광 영역 추출 모듈(110)은 감마 역변환 이미지의 RGB 데이터 평균(이하, 설명의 편의를 위하여 '제1 RGB 데이터 평균'이라 지칭함), 무반사광 영상의 RGB 데이터 평균(이하, 설명의 편의를 위하여 '제2 RGB 데이터 평균'이라 지칭함), 반사광의 반사도 평균을 계산한다. 후보 반사광 영역 추출 모듈(110)은 제1 RGB 데이터 평균과 제2 RGB 데이터 평균을 이용하여 초기 후보 반사광 영역을 검출한다.
그리고 후보 반사광 영역 추출 모듈(110)은 검출한 초기 후보 반사광 영역과 반사광의 반사도 평균을 이용하여 LDR 이미지에 대한 후보 반사광 영역을 추출한다.
반사광 영역 결정 모듈(120)은 후보 반사광 영역 추출 모듈(110)이 탐색한 후보 반사광 영역으로부터 대표 값을 복수 개 가지는 히스토그램을 생성한다. 후보 반사광 영역에서 히스토그램을 생성하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다. 그리고 후보 반사광 영역 추출 모듈(110)에서 정의한 반사광의 반사도의 평균에 따라, 반사광 영역을 검출하기 위한 반사도 평균에 적응적인 기준 값(adaptive threshold)(이하 설명의 편의를 위하여 '적응적 기준 값'이라 지칭함)을 계산한다.
반사광 영역 결정 모듈(120)은 적응적 기준 값을 계산하면, 후보 반사광 영역에서 적응적 기준 값 이상의 값을 가진 영역을 반사광 영역으로 검출한다. 그리고 HDR 이미징을 위하여 반사광 영역을 결정하는 적응적 기준 값을 휘도 기반 데이터로 변경한다. 여기서 적응적 기준 값을 휘도 기반 데이터로 변경하는 방법은 다양한 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
반사광 영역 결정 모듈(120)은 검출한 반사광 영역과 휘도 기반 데이터를 매칭하여, 반사광과 확산광을 나누는 기준값인 반사광 구분 휘도 값을 획득한다. 본 발명의 실시예에서는 설명의 편의를 위하여 반사광 구분 휘도 값을 LDR 휘도 경계값(ω)이라 지칭하나, 반드시 이와 같이 한정되는 것은 아니다.
반사광 영역 결정 모듈(120)은 획득한 LDR 휘도 경계값(ω)을 이용하여 반사광 영역에서 휘도 기반의 반사광 영역을 추출한다. 여기서, 반사광 영역 결정 모듈(120)이 LDR 휘도 경계값(ω)을 획득하는 방법이나 LDR 휘도 경계값(ω)을 이용하여 반사광 영역에서 휘도 기반 반사광 영역을 추출하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
매핑 곡선 생성 모듈(130)은 반사광 영역 결정 모듈(120)이 반사광 영역을 검출하면, 제1 LDR-HDR 휘도 변환 그래프를 생성한다. 제1 LDR-HDR 휘도 변환 그래프는 LDR 휘도 경계값(ω)과 동일한 값을 초기 HDR 휘도 경계값(ρ0)으로 가지도록 매핑된 그래프인 것을 예로 하여 설명하나, 매핑 값이 반드시 LDR 휘도 경계값과 동일할 필요는 없다.
그리고 반사광 영역 결정 모듈(120)이 검출한 확산광 영역의 평균 휘도를 계산한다. 여기서, 확산광 영역은 LDR 이미지에서 LDR 휘도 경계값(ω)보다 작은 값을 가지는 영역을 의미한다.
매핑 곡선 생성 모듈(130)은 확산광 영역에 속하는 모든 픽셀들의 밝기 값을 더해주고, 확산광 영역에 속하는 픽셀 수로 나누어 평균 휘도를 계산한다. 평균 휘도를 계산한 매핑 곡선 생성 모듈(130)은 사람의 인지적 능력을 고려하기 위해 지역 적응 망막 반응 값(local adaptation retina response)을 이용하여, HDR 휘도 경계값이 포함될 HDR 휘도 범위를 결정한다.
여기서, 지역 적응 망막 반응 값은 빛의 강도, 적응 값, 망막 반응 민감도 결정 계수, 반응 최대 값을 이용하여 계산된다. 본 발명의 실시예에서는 반응 최대 값은 1로 설정하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
그리고, HDR 휘도 경계값이라 함은 LDR 휘도 경계값 대비 LDR-HDR 휘도 변환 그래프에서 확산광 영역의 기울기와 반사광 영역의 기울기를 변화시키는, 그래프의 꺽은 점의 위치를 결정하기 위한 값을 의미한다. 여기서, 지역 적응 망막 반응 값을 사용하는 것은, 인간의 시각이 영상에서 배경 빛의 강도가 달라짐에 따라 비배경 부분인 지역적 반사광 영역에 대한 인지적 밝기가 달라지는 것을 고려하기 위함이다.
이와 같이 확산광 영역의 지역 적응 망막 반응 값을 이용하면, 지역적 영역에서 사람이 느끼는 밝기의 정도를 고려할 수 있다. 적응적인 지역적 망막 반응 값을 이용하여 HDR 휘도 경계값을 계산하는 방법은 다양하나, 본 발명의 실시예에서는 지역적 영역의 평균 밝기를 이용한다.
매핑 곡선 생성 모듈(130)은 반사광 영역의 평균 휘도와 확산광 영역의 평균 휘도를 포함하는 이미지 정보와 인지적 특성을 고려하여, HDR 휘도 경계값의 범위를 결정한다. 그리고, 베버 상수를 이용하여 지역적 HDR 휘도 경계값을 결정한다. 매핑 곡선 생성 모듈(130)은 지역적 HDR 휘도 경계값을 결정한 후, 디스플레이 장치의 출력 휘도와 베버의 법칙에 따라 결정되는 상수를 고려하여 지역적 HDR 휘도 경계값을 보정한 후, LDR 휘도 경계값(ω)에 대응하는 최종 HDR 휘도 경계값(ρ)을 결정한다.
여기서, 베버의 법칙은 자극을 받고 있는 감각기에서 자극의 크기가 변화된 것을 느끼려면, 현재 자극에 대하여 일정 비율 이상의 차이가 나는 자극을 주어야 한다는 법칙이다. 베버에 법칙에 따르면, 처음에 약한 자극을 주면 자극의 변화가 적어도 그 변화를 쉽게 감지할 수 있으나, 처음에 강한 자극을 주면 자극의 변화를 감지하는 능력이 약해져서 더 큰 자극에서만 변화를 느낄 수 있다.
즉, 현재 자극과 그 다음에 주어지는 자극의 세기간의 차이가 일정한 비율 이상이 되어야만 그 자극의 변화량을 감각기가 느낄 수 있다. 이때의 비율을 베버 상수로 정의할 수 있다.
역 톤 매핑 모듈(140)은 매핑 곡선 생성 모듈(130)에서 계산한 LDR 휘도 경계값(ω)과 HDR 휘도 경계값(ρ)을 이용하여 LDR-HDR 휘도 변환 그래프의 기울기가 변경될 점의 위치를 확인하여 초기 LDR-HDR 휘도 변환 그래프를 변형한 후, 변형된 LDR-HDR 휘도 변환 그래프에 따라 LDR 이미지의 LDR 휘도 경계값을 HDR 휘도 경계값으로 역 톤 매핑한다.
즉, 역 톤 매핑 모듈(140)은 매핑 곡선을 변환하기 위해 확산광 영역의 평균 휘도(average luminance)를 사용하여, LDR 이미지에서 확산광 영역의 계조를 수정한다. 그리고 LDR 이미지에서 반사광 영역의 지각적 밝기(perceptual brightness)를 고려하여 전체 LDR 이미지의 계조를 보정한다.
이상에서 설명한 HDR 이미지 생성 장치(100)를 이용하여 역 톤 매핑을 수행하여 HDR 이미지를 생성하는 방법에 대해 도 2 내지 도 7b를 참조로 설명한다.
도 2는 본 발명의 실시예에 따른 하이 다이내믹 레인지 이미지 생성 방법에 대한 흐름도이다.
도 2에 도시된 바와 같이, HDR 이미지 생성 장치(100)의 후보 반사광 영역 추출 모듈(110)은 복수의 픽셀들로 구성된 단일 노출 이미지인 LDR 이미지를 수신하면(S100), 수신한 입력 이미지에서 후보 반사광 영역을 추출한다(S200). 후보 반사광 영역을 추출하는 절차에 대해 도 3a 및 도 3b를 참조하여 먼저 설명한다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 후보 반사광 영역 추출 방법에 대한 흐름도 및 예시도이다.
도 3a에 도시된 바와 같이, HDR 이미지 생성 장치(100)의 후보 반사광 영역 추출 모듈(110)은 LDR 이미지에서 선형적인 빛 정보를 복원하기 위해 다음 수학식 1과 같이 수신한 LDR 이미지에 감마 역변환을 진행하여 감마 역변환 이미지를 생성한다(S201).
Figure 112018058215969-pat00001
여기서 I'R, I'G, I'B는 감마 변환(gamma encoding)이 적용되어 있는 이미지의 R, G, B 채널을 의미하고,
Figure 112018058215969-pat00002
는 감마 보정 계수를, IR, IG, IB는 감마 역변환이 적용된 R, G, B 채널을 의미한다. 이때, 감마 보정 계수는 어느 하나의 수치로 한정되지 않는다.
후보 반사광 영역 추출 모듈(110)이 수신한 LDR 이미지에 감마 역변환을 수행하면, 도 3b의 (①)에 나타낸 바와 같이 감마 역변환 이미지가 생성된다. 후보 반사광 영역 추출 모듈(110)은 감마 역변환 이미지에 포함된 모든 픽셀 각각에 대하여 역변환 이미지 RGB 데이터를 생성한다. 후보 반사광 영역 추출 모듈(110)은 모든 픽셀 각각에 대해, R, G, B 값을 비교한다.
그리고 후보 반사광 영역 추출 모듈(110)은 R, G, B 값 중 최소 값을 해당 픽셀에 대한 반사광의 반사도로 정의한다(S202). 예를 들어, 감마 역변환 이미지에서 임의의 픽셀에 대한 R, G, B 값이 (100, 50, 50)인 경우를 예로 하면, 해당 임의의 픽셀에 대한 반사광의 반사도는 50이 된다.
후보 반사광 영역 추출 모듈(110)은 모든 픽셀에 대하여 반사광의 반사도를 결정하면, 결정된 반사도를 이용하여 감마 역변환 이미지로부터 생성한 무반사광(specular free) 이미지에서 모든 픽셀에 대한 무반사광 이미지의 RGB 데이터를 생성한다(S203). 여기서, 무반사광 이미지는 도 3b의 (②)에 도시한 바와 같으며, 무반사광 이미지는 다음 수학식 2와 같이 정의할 수 있다.
Figure 112018058215969-pat00003
이때, Sγ 은 반사광의 반사도이고, Isf _RGB는 무반사광 이미지를 의미한다.
반사광의 반사도와 무반사광의 이미지가 생성되면, 후보 반사광 영역 추출 모듈(110)은 감마 역변환 이미지로부터 제1 RGB 데이터의 평균을 구하고, 무반사광 이미지로부터 제2 RGB 데이터의 평균을 구한다. 그리고 복수의 픽셀 수만큼 결정된 반사광의 반사도의 평균을 구한다. 제1 RGB 데이터의 평균(Iavg), 제2 RGB 데이터의 평균(Isf_avg), 그리고 반사도의 평균(
Figure 112018058215969-pat00004
)은 다음 수학식 3을 이용하여 구한다.
Figure 112018058215969-pat00005
여기서 N은 이미지의 총 픽셀 수를 의미한다.
후보 반사광 영역 추출 모듈(110)은 수학식 3을 통해 구한 제1 RGB 데이터 평균과 제2 RGB 데이터 평균의 차이를 이용하여 도 3b의 (③)와 같이 초기 후보 반사광 영역을 구한다(S204). 그리고 후보 반사광 영역 추출 모듈(110)은 초기 후보 반사광 영역에서 반사광의 반사도 평균 값의 차를 구한다.
초기 후보 반사광 영역에서 반사도 평균 값의 차를 구하면 초기 후보 반사광 영역에서 확산광 영역이 사라지게 되고, 도 3b (④)에 도시한 바와 같이 초기 후보 반사광 영역에서 반사광의 반사도 평균 값 이상의 영역만이 검출된다. 이 영역을 후보 반사광 영역으로 정의한다(S205). 이때, 후보 반사광 영역(SHcand)은 다음 수학식 4로 계산할 수 있다.
Figure 112018058215969-pat00006
S205 단계에서와 같이 후보 반사광 영역이 추출되면, HDR 이미지 생성 장치(100)의 반사광 영역 결정 모듈(120)은 상기 도 2에 도시한 바와 같이 적응적으로 반사광 영역을 결정한다(S300). 반사광 영역 결정 모듈(120)이 적응적으로 반사광 영역을 결정하는 절차에 대해 도 4a 및 도 4b의 도면을 참조로 하여 먼저 설명한다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 반사광 영역을 결정하는 방법에 대한 흐름도 및 예시도이다.
본 발명의 실시예에서는 후보 반사광 영역에서 반사광 영역을 검출하는 기법은 종래와 같이 기준값을 하나의 값으로 결정하는 것이 아니라, 후보 반사광 영역의 반사도에 적응적으로 기준값을 설정하는 것을 고려한다.
따라서, 반사광 영역 결정 모듈(120)은 상기 도 3a의 S205 단계에서 후보 반사광 영역 추출 모듈(110)이 추출한 후보 반사광 영역으로부터 도 4a 및 도 4b-1과 같이 후보 반사광 영역으로부터 복수의 대표 값을 가지는 히스토그램을 생성한다(S301). 히스토그램을 생성한 후, 반사광 영역 결정 모듈(120)은 반사광 영역을 결정하기 위한 적응적 기준 값을 계산한다(S302).
여기서, 적응적 기준 값이라 함은, 후보 반사광 영역에서 반사도의 평균이 계산된 값보다 낮다면 반사광 영역을 작게 검출하도록 하고, 반사도의 평균이 계산된 값보다 높다면 반사광 영역을 크게 검출할 수 있도록 하는 반사도 평균에 따라 조정될 수 있는 기준 값을 의미한다. 적응적 기준 값(TH)은 다음 수학식 5를 통해 정의한다.
Figure 112018058215969-pat00007
여기서 Sth는
Figure 112018058215969-pat00008
로 계산되고, C(M)은
Figure 112018058215969-pat00009
로 계산된다. 그리고 H는 후보 반사광 영역의 히스토그램이고, M은 히스토그램의 대표 값 총 개수를 의미한다. 또한 C(M)은 조건을 만족하는 히스토그램의 개수이고, Sth은 반사도 성분 기반 파라미터를 의미한다. 여기서 반사도 성분 기반 파라미터는 영상의 반사도 특성을 반영하여 적응적으로 기준값을 찾기 위해 사용된다.
반사광 영역을 결정하는 적응적 기준 값을 결정하면, 반사광 영역 결정 모듈(120)은 적응적 기준 값을 이용하여 후보 반사광 영역에서 반사광 영역을 결정한다(S303). 그리고 나서, 역 톤 매핑 기반 HDR 이미징을 위해, 적응적 기준 값을 휘도 기반 데이터로 변경한다(S304).
즉, 도 4b-2에 도시된 바와 같이, 반사광 영역 결정 모듈(120)은 이미지에서 반사광 영역과 휘도 기반 이미지를 지역 매칭을 이용하여 검출한다. 여기서, 반사광 영역 결정 모듈(120)은 입력 영상의 밝기와 디스플레이 휘도가 비례하다고 가정하고, 적응적 기준 값을 휘도 기반 데이터로 변경한다.
반사광 영역 결정 모듈(120)이 적응적 기준 값으로 반사광 영역을 결정하는 방법이나, 적응적 기준 값을 휘도 기반 데이터로 변경하는 방법은 다양한 방법으로 수행할 수 있다. 그러나, 본 발명의 실시예에서는 다음 수학식 6 및 7을 이용하여 적응적 기준 값 이상의 반사광 영역(SHfinal)을 결정하고, 적응적 기준 값을 휘도 기반 데이터로 변경하는 것을 예로 하여 설명한다.
Figure 112018058215969-pat00010
Figure 112018058215969-pat00011
수학식 6에서 SHfinal은 적응적 기준 값 이상의 반사광 영역을 의미한다.
수학식 7에서 α는 디스플레이의 최대 휘도이고, Iγ는 R, G, B 이미지의 밝기(IR, IG, IB)를 휘도 기반 이미지로 변환한 결과이다.
반사광 영역 결정 모듈(120)은 검출한 반사광 영역과 휘도 기반 데이터를 매칭하여, LDR 이미지에서 반사광과 확산광을 나누는 기준값인 LDR 휘도 경계값(ω)을 획득한다(S305). 그리고 획득한 LDR 휘도 경계값(ω)을 이용하여, 휘도 기반의 반사광 영역을 추출한다. 여기서 LDR 휘도 경계값(ω)은 다음 수학식 8과 같이 정의한다.
Figure 112018058215969-pat00012
S305 단계에서 LDR 휘도 경계값(ω)을 획득하면, 매핑 곡선 생성 모듈(130)은 초기 LDR-HDR 휘도 변환 그래프를 생성하는 절차를 수행한다(S400). 이에 대해 도 5a 내지 도 5d를 참조로 하여 함께 설명한다.
도 5a 내지 도 5d는 본 발명의 실시예에 따른 초기 LDR-HDR 휘도 변환 그래프 생성 방법에 대한 흐름도 및 예시도이다.
도 5a에 도시된 바와 같이, 매핑 곡선 생성 모듈(130)은 반사광 영역 결정 모듈(120)이 LDR 휘도 경계값(ω)으로 기준 값을 변경하면, 사람의 인지적 능력을 고려하기 위해 적응적인 지역적 망막 반응을 사용하여 출력 매핑 값의 범위 즉, 도 5b에 도시한 Y축인 출력 휘도(Output luminance)의 기준을 정해, LDR 휘도 경계값(ω)에 대응되는 HDR 휘도 경계값을 어떻게 선택할지를 결정한다.
이때, 매핑 곡선 생성 모듈(130)은 반사광 영역 결정 모듈(120)이 결정한 LDR 휘도 경계값(ω)과 동일한 값이 LDR 휘도 경계값(ω)에 대응하는 초기 HDR 휘도 경계값(ρ0)에 매핑되도록 LDR-HDR 휘도 변환 그래프를 도 5b의 좌측 그래프와 같이 생성한다.
여기서, 인지적 능력을 고려하는 적응적 반응은 수학식 9를 이용하여 계산한다.
Figure 112018058215969-pat00013
여기서, R은 망막 반응, Rmax는 반응의 최대값, L은 빛의 강도를 의미한다. σ은 적응 값, n은 망막 반응의 민감도를 결정하는 계수를 의미한다.
구체적으로 지역 적응 망막 반응 값을 이용하면, 지역적 영역에서 사람이 느끼는 밝기의 정도를 고려할 수 있다. 즉, 도 5c에 도시된 바와 같이, 인간의 시각이 배경 밝기 정도가 달라짐에 따라 인지적 밝기 정도가 달라짐을 알 수 있다. 도 5c의 제1 그래프(①), 제2 그래프(②), 제3 그래프(③)는 각각의 적응 정도가 변화했을 때, 지역 적응 망막 반응의 변화를 나타낸 것이다.
이와 같이, 매핑 곡선 생성 모듈(130)은 지역 적응 망막 반응 값을 사용하여 반사광 영역 결정 모듈(120)이 결정한 반사광 영역이 사람에게 어떻게 인지되는지 분석하고, 분석 결과를 가지고 HDR 휘도 경계값 범위를 결정한다. 이를 위해, 매핑 곡선 생성 모듈(130)은 LDR 이미지에서 LDR 휘도 경계값(ω)보다 작은 값을 가지는 영역인 확산광 영역의 평균 휘도를 계산한다. 그리고 나서, 다음 수학식 10을 이용하여 HDR 휘도 경계값의 범위를 결정한다.
Figure 112018058215969-pat00014
여기서,
Figure 112018058215969-pat00015
이고,
Figure 112018058215969-pat00016
으로 계산된다. 그리고 N은 확산광 영역의 픽셀 개수, Dapl은 확산광 영역의 평균 휘도, Rω은 지역 적응 기반 망막 반응 값, ρn은 곡선의 꺽인 점 값을 의미한다.
기존에는 적응적인 값을 계산하는 기법이 많으나, 본 발명의 실시예에서는 도 5d에 도시한 바와 같이 지역적 영역의 평균 밝기를 이용하는 기법을 사용하는 기법을 사용한다. 이를 위해, 먼저 매핑 곡선 생성 모듈(130)은 확산광 영역의 평균 휘도를 계산한다(S401). 즉, 매핑 곡선 생성 모듈(130)은 확산광 영역에 속하는 모든 픽셀들의 밝기 값을 더해주고, 확산광 영역에 속하는 픽셀 수로 나누어 평균 휘도를 계산한다.
그리고 반사광 영역이 사람에게 어떠한 밝기로 느껴지는지 계산하기 위하여, 이미지 정보와 인지적 특성을 고려하는 지역 적응 망막 반응 값을 이용하여, HDR 휘도 경계값의 범위를 계산한다(S402). HDR 휘도 경계값의 범위는 이후 설명할 수학식 11의 ρ_max와 ρ_min을 이용하여 정의된다.
그리고, 매핑 곡선 생성 모듈(130)은 베버 상수를 이용하여 지역적 HDR 휘도 경계값을 결정한다(S403). 여기서, 지역적 HDR 휘도 경계값은 디스플레이 장치의 출력 휘도와 베버 상수를 고려하여 결정한다.
이상의 절차를 통해 출력 휘도 범위와 지역적 출력 휘도 값이 결정되면, 매핑 곡선 생성 모듈(130)은 최종 매핑 곡선을 결정하는 절차를 수행한다. 이에 대해 도 6a 및 도 6b를 참조로 함께 설명한다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 최종 LDR-HDR 휘도 변환 그래프 생성 방법에 대한 흐름도 및 예시도이다.
상기 S400 단계를 통해 적응적인 지역적 망막 반응만 고려하여 최소 HDR 휘도 경계값으로 최종 HDR 휘도 경계값을 결정하게 될 경우, 반사광 영역의 범위가 너무 넓어져 확산광 영역의 계조 표현력이 저하되고 전체 이미지의 인지적 화질이 저하될 수 있다. 따라서, 본 발명의 실시예에서는 이미지를 디스플레이 하는 디스플레이 장치의 출력 휘도와 지역적 영역의 인지적 대조비를 고려하는 베버 상수를 통해, HDR 휘도 경계값을 보정하고 보정된 값을 최종 HDR 휘도 경계값으로 사용하고자 한다.
이를 위해 매핑 곡선 생성 모듈(130)은 수학식 11을 이용하여 HDR 휘도 경계값에 대한 범위의 최소 값과 최대 값, 그리고 후보 HDR 휘도 경계값을 정의한다(S601).
Figure 112018058215969-pat00017
여기서,
Figure 112018058215969-pat00018
이고,
Figure 112018058215969-pat00019
으로 계산된다.
S601 단계에서 매핑 곡선 생성 모듈(130)이 정의한 매핑 범위의 최소 값과 최대 값, 후보 HDR 휘도 경계값에 대한 개념과 역 톤 매핑 기반 HDR 이미징 곡선은 도 6b에 도시한 바와 같다.
S601 단계에 의해 후보 매핑 값이 정의되면, 매핑 곡선 생성 모듈(130)은 수학식 12에 나타낸 베버 상수 기반의 식을 이용하여 반사광 영역의 베버 상수(SHwe)와 확산광 영역의 베버 상수(DFwe)를 계산한다.
Figure 112018058215969-pat00020
여기서, Sapl은 반사광 영역의 평균 휘도를 의미한다.
그리고, 수학식 13과 같이 후보 HDR 휘도 경계값을 변화시키며, 반사광 영역의 베버 상수(SHwe)와 확산광 영역의 베버 상수(DFwe)가 같아질 때의 후보 출력 휘도 값을 최종 HDR 휘도 경계값(ρ_final)으로 설정한다(S502).
Figure 112018058215969-pat00021
여기서, 수학식 13의 조건문을 토대로 수학식 14를 도출할 수 있다.
Figure 112018058215969-pat00022
이상의 절차를 통해 LDR 휘도 경계값과 최종 HDR 휘도 경계값이 정의되면, 역 톤 매핑 모듈(140)은 매핑 곡선 생성 모듈(130)에서 S110 단계에서 계산한 LDR 휘도 경계값과 HDR 휘도 경계값을 토대로 LDR 이미지를 역 톤 매핑한다. 이에 대해 도 7a 및 7b를 참조로 설명한다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 역 톤 매핑 기반 HDR 이미징 곡선을 생성하는 방법에 대한 흐름도 및 예시도이다.
도 7a에 도시한 바와 같이 역 톤 매핑 모듈(140)은 확산광 영역의 평균 휘도를 이용하여 곡선을 변형한다(S601). 즉, 도 7b에 나타낸 바와 같이 확산광 영역의 평균 휘도를 이용하여 곡선을 변형한다.
그리고 다음 수학식 15를 이용하여 역 톤 매핑을 적용한 후 HDR 이미지를 생성한다(S602).
Figure 112018058215969-pat00023
여기서,
Figure 112018058215969-pat00024
,
Figure 112018058215969-pat00025
,
Figure 112018058215969-pat00026
로 계산할 수 있으며, S1, S2, S3은 각각 최종 LDR-HDR 휘도 변환 그래프의 기울기이고, dγ은 디스플레이의 출력 휘도이다.
이상에서 설명한 본 발명의 실시예에 따른 방법으로 생성하는 HDR 이미지와 종래 방법으로 생성한 HDR 이미지를 비교하는 예에 대해 도 8을 참조로 설명한다.
도 8은 본 발명의 실시예에 따라 생성된 HDR 이미지와 종래 방법으로 생성한 HDR 이미지를 비교한 예시도이다.
도 8에서는 다중 노출 기반 방법을 사용하여 TMO의 결과, 탐지지도의 확률, VDP(Visual Difference Predictor) 품질 스코어 및 DRIM(Dynamic Range-Independent Metric)을 실제 HDR 이미지와 함께 나타내었다. 먼저 도 8의 (a)에 나타난 바와 같이, 영역 기반 방법(②)은 정반사 탐지 성능이 상대적으로 좋지 않기 때문에 반사 영역에서 높은 오류 확률을 보인다. 또 다른 종래 방법인 맵핑 커브 방법(③)은 맵핑 커브가 포화된 영역의 계조를 저하시키기 때문에 포화 된 영역에서 높은 오류 확률을 보였다. 영상 통계에 기반한 감마 확장 방법(④)은 영역 정보를 고려하지 않았기 때문에, 높은 오류 확률이 관찰되는 많은 영역을 가진다.
본 발명의 실시예에 따른 방법(①)을 이용하면, 높은 오류 확률 영역은 경미한 영역의 지각 밝기와 베버(weber) 대비에 기반한 곡선의 균일 성을 고려하여 상대적으로 좁게 나타난다. 또한 DRIM 결과는 본 발명의 실시예에 따른 방법이 경면 영역의 경계에서 녹색 점의 수가 적어, 로컬 적응을 사용하여 자연스럽게 입력 범위가 확장되었음을 알 수 있다.
도 8의 (b)와 (c)는 입력 이미지가 전반적으로 밝을 때의 결과를 보여준다. 이 경우, 본 발명의 실시예에 따른 방법에서 경면 영역의 매핑 곡선 기울기는 경면 영역의 상대적 휘도를 증가시키기 위해 편향되었다. 따라서, 밝은 영역에서의 차이 검출의 가능성이 감소되어, 고화질의 이미지가 생성되는 것을 알 수 있다. 또한, DRIM 결과는 본 발명의 실시예에 따른 방법이 다른 종래 방법보다 녹색 점의 수가 가장 적음을 나타낸다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (13)

  1. 이미지 생성 장치가, 하나의 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지를 생성하는 방법으로서,
    상기 로우 다이내믹 레인지 이미지에서 반사광 영역을 검출하고, 상기 반사광 영역에 대하여 계산된 반사도가 평균 값 이상인 영역을 후보 반사광 영역으로 검출하고, 검출한 후보 반사광 영역에서 반사광 영역과 확산광 영역으로 구분하는 LDR 휘도 경계값을 결정하는 단계,
    확산광 영역의 평균 휘도와 지역 적응 망막 반응 값을 고려하여 HDR 휘도 경계값 범위를 결정하고, 상기 결정한 HDR 휘도 경계값 범위 내에서 상기 확산광 영역의 평균 휘도와 반사광 영역의 평균 휘도를 이용하여 상기 LDR 휘도 경계값에 대응하는 최종 HDR 휘도 경계값을 결정하는 단계,
    상기 LDR 휘도 경계값과 상기 최종 HDR 휘도 경계값을 토대로 초기 LDR-HDR 휘도 변환 그래프에서 확산광 영역의 기울기와 반사광 영역 기울기를 변형하는 단계, 그리고
    기울기가 변형된 출력 LDR-HDR 휘도 변환 그래프를 기초로 상기 로우 다이내믹 레인지 이미지의 휘도를 변형하여, 상기 하이 다이내믹 레인지 이미지로 생성하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 LDR 휘도 경계값을 결정하는 단계는,
    상기 로우 다이내믹 레인지 이미지를 감마 역변환하여 복수의 픽셀로 구성되는 감마 역변환 이미지로 생성하는 단계,
    상기 복수의 픽셀 각각에 대한 RGB 데이터를 토대로 상기 복수의 픽셀 각각에 대하여 반사광의 반사도를 결정하는 단계,
    상기 RGB 데이터와 상기 반사광의 반사도를 이용하여 복수의 픽셀로 구성되는 무반사광 이미지를 생성하는 단계, 그리고
    상기 RGB 데이터로부터 구한 제1 RGB 데이터 평균, 상기 무반사광 이미지로부터 구한 제2 RGB 데이터 평균의 차이를 이용하여 상기 로우 다이내믹 레인지 이미지에서 초기 후보 반사광 영역을 구하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  3. 제2항에 있어서,
    상기 초기 후보 반사광 영역을 구하는 단계 이후에,
    상기 반사광의 반사도 평균 값을 구하는 단계, 그리고
    상기 초기 후보 반사광 영역에서 상기 반사도 평균 값 이상의 영역만을 상기 후보 반사광 영역으로 검출하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  4. 제2항에 있어서,
    상기 LDR 휘도 경계값을 결정하는 단계는,
    상기 후보 반사광 영역으로부터 복수의 대표 값을 가지는 히스토그램을 생성하는 단계,
    상기 후보 반사광 영역에서 반사광 영역을 결정하기 위하여, 후보 반사광 영역의 반사도의 평균에 적응적인 기준 값을 계산하는 단계, 그리고
    상기 반사도의 평균에 적응적인 기준 값을 토대로 상기 후보 반사광 영역에서 반사광 영역을 결정하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 LDR 휘도 경계값을 결정하는 단계는,
    상기 반사도의 평균에 적응적인 기준 값을 휘도 기반 데이터로 변경하는 단계,
    상기 반사광 영역과 상기 휘도 기반 데이터를 매칭하여, 상기 LDR 휘도 경계값을 결정하는 단계, 그리고
    상기 반사광 영역에서 상기 LDR 휘도 경계값을 이용하여, 휘도 기반 반사광 영역을 추출하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  6. 제5항에 있어서,
    상기 최종 HDR 휘도 경계값을 결정하는 단계는,
    상기 확산광 영역을 구성하는 복수의 픽셀들의 밝기 값과 픽셀 수를 이용하여 상기 확산광 영역의 평균 휘도를 계산하는 단계,
    상기 확산광 영역의 평균 휘도, 상기 확산광 영역의 픽셀 수, 상기 지역 적응 망막 반응 값을 이용하여, 상기 LDR 휘도 경계값에 대응하여 상기 초기 LDR-HDR 휘도 변환 그래프의 기울기를 변형하기 위한 반사광 영역의 HDR 휘도 경계값 범위를 계산하는 단계, 그리고
    상기 계산한 HDR 휘도 경계값 범위에 포함된 복수의 값들 베버의 법칙에 따라 결정되는 상수를 이용하여, 상기 HDR 휘도 경계값 범위에 해당하는 최소 HDR 휘도 경계값을 지역적 HDR 휘도 경계값으로 결정하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  7. 제6항에 있어서,
    상기 지역적 HDR 휘도 경계값으로 결정하는 단계 이후에,
    HDR 휘도 경계값 범위의 최소 값과 최대 값, 그리고 후보 HDR 휘도 경계값을 정의하는 단계,
    상기 반사광 영역에서 계산된 제1 값과 확산광 영역에서 계산된 제2 값이 같아지도록, 상기 후보 HDR 휘도 경계값을 변경하는 단계,
    상기 제1 값과 제2 값이 같아질 때의 HDR 휘도 경계값을 상기 최종 HDR 휘도 경계값으로 설정하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  8. 제7항에 있어서,
    상기 제1 값은 반사광 영역의 평균 휘도와 후보 HDR 휘도 경계값을 이용하여 계산되는 값이고,
    상기 제2 값은 확산광 영역의 평균 휘도와 후보 HDR 휘도 경계값을 이용하여 계산되는 값인 하이 다이내믹 레인지 이미지 생성 방법.
  9. 제8항에 있어서,
    상기 반사광 영역 기울기를 변형하는 단계는,
    상기 LDR 휘도 경계값과, 상기 LDR 휘도 경계값에 대응하는 최종 HDR 휘도 경계값을 이용하여, 상기 확산광 영역의 계조가 보정되도록 상기 초기 LDR-HDR 휘도 변환 그래프를 변형하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  10. 이미지 생성 장치가, 로우 다이내믹 레인지 이미지(Low Dynamic Range, LDR)로부터 하이 다이내믹 레인지(High Dynamic Range, HDR) 이미지를 생성하는 방법으로서,
    상기 로우 다이내믹 레인지 이미지로부터 구한 후보 반사광 영역에서 반사광 영역을 결정하기 위하여 계산된 후보 반사광 영역의 반사도 평균에 적응적인 기준 값에 따라 결정된 반사광 영역과 확산광 영역으로 구분하는 LDR 휘도 경계값을 결정하는 단계,
    제1 LDR-HDR 휘도 변환 그래프에서 상기 LDR 휘도 경계값에 대응하는 제1 HDR 휘도 경계값을 제2 HDR 휘도 경계값으로 변경하는 단계,
    상기 제1 LDR-HDR 휘도 변환 그래프에서 상기 LDR 휘도 경계값에 대응하는 HDR 휘도를 상기 제2 HDR 휘도 경계값으로 변경하여 상기 확산광 영역의 LDR-HDR 휘도 변환 기울기와 상기 반사광 영역의 LDR-HDR 휘도 변환 기울기가 다른 제2 LDR-HDR 휘도 변환 그래프를 생성하는 단계, 그리고
    상기 제2 LDR-HDR 휘도 변환 그래프를 기초로 상기 로우 다이내믹 레인지 이미지의 휘도를 변환하여 상기 하이 다이내믹 레인지 이미지를 생성하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  11. 제10항에 있어서,
    상기 LDR 휘도 경계 값을 결정하는 단계는,
    상기 로우 다이내믹 레인지 이미지로부터 상기 후보 반사광 영역을 구하는 단계,
    상기 후보 반사광 영역에서 반사광 영역을 결정하기 위하여, 후보 반사광 영역의 반사도 평균에 적응적인 기준 값을 계산하는 단계, 그리고
    상기 계산한 기준 값을 토대로 상기 후보 반사광 영역에서 반사광 영역을 결정하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  12. 제11항에 있어서,
    상기 제2 HDR 휘도 경계값으로 변경하는 단계는,
    상기 확산광 영역의 평균 휘도, 상기 확산광 영역의 픽셀 수, 지역 적응 망막 반응 값을 이용하여, 상기 LDR 휘도 경계값에 대응하는 반사광 영역의 HDR 휘도 경계값 범위를 계산하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
  13. 제12항에 있어서,
    상기 제2 HDR 휘도 경계값으로 변경하는 단계는,
    상기 확산광 영역의 평균 휘도와 상기 반사광 영역의 평균 휘도를 계산하는 단계, 그리고
    상기 확산광 영역의 평균 휘도와 반사광 영역의 평균 휘도의 합을 반으로 나눈 값을 상기 제2 HDR 휘도 경계값으로 결정하는 단계
    를 포함하는 하이 다이내믹 레인지 이미지 생성 방법.
KR1020180068212A 2018-06-14 2018-06-14 하이 다이내믹 레인지 이미지 생성 장치 및 방법 KR102086756B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180068212A KR102086756B1 (ko) 2018-06-14 2018-06-14 하이 다이내믹 레인지 이미지 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180068212A KR102086756B1 (ko) 2018-06-14 2018-06-14 하이 다이내믹 레인지 이미지 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190141438A KR20190141438A (ko) 2019-12-24
KR102086756B1 true KR102086756B1 (ko) 2020-03-09

Family

ID=69022177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180068212A KR102086756B1 (ko) 2018-06-14 2018-06-14 하이 다이내믹 레인지 이미지 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102086756B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091595A (ja) 2009-10-22 2011-05-06 Kyocera Mita Corp 画像処理装置、画像処理方法及び画像形成装置
JP2012191360A (ja) 2011-03-09 2012-10-04 Fujitsu Ltd 画像合成装置、画像合成方法および画像合成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091595A (ja) 2009-10-22 2011-05-06 Kyocera Mita Corp 画像処理装置、画像処理方法及び画像形成装置
JP2012191360A (ja) 2011-03-09 2012-10-04 Fujitsu Ltd 画像合成装置、画像合成方法および画像合成プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Meylan, Laurence ET AL:"The Reproduction of Specular Highlights on High Dynamic Range Displays", 14th Color and Imaging Conference Final Program and Proceedings, pp.333-338(2006.01.01.) 1부.*
Yongqing Huo ET AL:"High-dynamic range image generation from single low-dynamic range image", IET Image Processing, Volume: 10, Issue: 3, pp.1-8, 2016(2016.02.29.) 1부.*
Yongqing Huo ET AL:"Physiological inverse tone mapping based on retina response", The Visual Computer May 2014, Volume 30, Issue 5, pp.507-517(2013.09.13.) 1부.*

Also Published As

Publication number Publication date
KR20190141438A (ko) 2019-12-24

Similar Documents

Publication Publication Date Title
US11069057B2 (en) Skin diagnostic device and skin diagnostic method
EP0747855B1 (en) Method and apparatus for enhancing a digital image
US7747071B2 (en) Detecting and correcting peteye
US9336581B2 (en) Method for correcting gradations and device or method for determining threshold of epsilon filter
US7907786B2 (en) Red-eye detection and correction
KR100707270B1 (ko) Ｒｇｂ값을 이용한 영상 콘트라스트 개선 방법 및 장치
EP1965348A1 (en) Gray-scale correcting method, gray-scale correcting device, gray-scale correcting program, and image device
US20160110846A1 (en) Automatic display image enhancement based on user's visual perception model
US8503734B2 (en) Detecting image detail level
CN101916431A (zh) 一种低照度图像数据处理方法及系统
US9299003B2 (en) Image processing apparatus, non-transitory computer readable medium, and image processing method
CN109147005A (zh) 一种用于红外图像的自适应染色方法、系统、存储介质、终端
US20040120599A1 (en) Detection and enhancement of backlit images
US9147115B2 (en) Method and device for detecting an object in an image
Yu et al. Adaptive inverse hyperbolic tangent algorithm for dynamic contrast adjustment in displaying scenes
KR101389932B1 (ko) 이미지 톤 매핑 장치 및 방법
JP2008234315A (ja) デジタル画像の階調圧縮方法及び階調圧縮装置
US20100100813A1 (en) Document processing apparatus and document processing method
JPWO2008004439A1 (ja) 階調補正特性評価装置、画像処理装置、階調補正特性評価方法、画像処理方法、階調補正特性評価プログラム、および画像処理プログラム
KR102086756B1 (ko) 하이 다이내믹 레인지 이미지 생성 장치 및 방법
JP2004246618A (ja) パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
JP4499599B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
EP1919189B1 (en) Method and apparatus for processing digital images
KR101143555B1 (ko) 얼굴 색상 필터링 및 모폴로지 연산을 이용한 얼굴 검출 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant