KR20130060110A - 이미지 톤 매핑 장치 및 방법 - Google Patents

이미지 톤 매핑 장치 및 방법 Download PDF

Info

Publication number
KR20130060110A
KR20130060110A KR1020120090187A KR20120090187A KR20130060110A KR 20130060110 A KR20130060110 A KR 20130060110A KR 1020120090187 A KR1020120090187 A KR 1020120090187A KR 20120090187 A KR20120090187 A KR 20120090187A KR 20130060110 A KR20130060110 A KR 20130060110A
Authority
KR
South Korea
Prior art keywords
image
luminance value
value
parameter
contrast ratio
Prior art date
Application number
KR1020120090187A
Other languages
English (en)
Other versions
KR101389932B1 (ko
Inventor
김재석
김경만
배종현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20130060110A publication Critical patent/KR20130060110A/ko
Application granted granted Critical
Publication of KR101389932B1 publication Critical patent/KR101389932B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 톤 매핑 장치 및 방법에 관한 것이다. 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 보다 자연스럽고 정교하게 렌더링된 이미지를 얻을 수 있다. 나아가, 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 이미지의 어두운 영역의 표현이 보다 잘 보존될 수 있어 사용자가 느끼는 주관적 화질이 개선되는 효과를 얻을 수 있다.

Description

이미지 톤 매핑 장치 및 방법{APPARATUS AND METHOD FOR PERFORMING TONE MAPPING FOR IMAGE}
본 발명은 이미지에 대해 톤 매핑(tone mapping)을 수행하는 장치 및 방법에 관한 것이다.
사람의 눈으로 느낄 수 있는 밝기의 동적 범위(dynamic range)는 수십 만에서 수십 억까지 매우 넓은 범위를 형성한다. 반면, 수백의 동적 범위만으로도 대부분의 영상 정보를 나타내는데 충분하기 때문에 일반적인 영상을 재생하는 디스플레이 장치는 256의 동적 범위를 가진다. 하지만, 방대한 연산을 통하여 실제 자연 영상과 유사한 영상을 생성하거나, 보다 상세한 정보를 표현해야 하는 의료 영상 같은 경우에는 256보다 넓은 동적 범위로 영상을 표현해야 한다. 이렇게 표현한 영상을 광역 동적 범위를 가진 영상이라고 한다. 광역 동적 범위를 가진 영상을 일반적인 디스플레이 장치나 인쇄 장치 등에서 재생하기 위해서는 각 장치에서 지원하는 제한된 동적 범위를 가진 영상으로 변환해야 한다. 톤 매핑이란 광역 동적 범위를 가진 영상, 즉 HDR(High Dynamic Range) 영상을 디스플레이 장치나 인쇄 장치 등에서 재생할 수 있는 제한된 동적 범위를 가진 영상, 즉 LDR(Low Dynamic Range) 영상으로 변환해 주는 프로세스를 의미한다.
본 발명은 이미지의 명암비(dynamic range)에 따라 톤 매핑에 사용되는 파라미터를 적응적으로(adaptive) 결정하고, 상기 파라미터를 사용하여 이미지를 디스플레이 장치의 명암비에 부합하도록 톤 매핑하는 이미지 톤 매핑 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 이미지 톤 매핑 장치는, 이미지의 명암비를 획득하고, 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정하는 파라미터 결정부; 상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 색상값 산출부; 상기 원 색상값으로부터 휘도값을 산출하는 휘도값 산출부; 상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 휘도값 조정부; 그리고 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 색상값 조정부를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지 톤 매핑 방법은 이미지의 명암비에 따라 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하고, 상기 파라미터를 사용하여 상기 이미지를 디스플레이 장치의 명암비에 부합하도록 톤 매핑할 수 있다. 본 발명의 일 실시예에 따르면, 상기 이미지 톤 매핑 방법은, 상기 이미지의 명암비를 획득하는 단계; 상기 명암비에 따라 상기 파라미터를 결정하는 단계; 상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 단계; 상기 원 색상값으로부터 휘도값을 산출하는 단계; 상기 휘도값을 상기 디스플레이 장치의 명암비에 부합하도록 조정하는 단계; 그리고 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지를 수신하는 수신부; 상기 수신된 이미지를 톤 매핑하는 톤 매핑부; 그리고 상기 톤 매핑된 이미지를 출력하는 출력부를 포함할 수 있으며, 상기 톤 매핑부는: 상기 이미지의 명암비를 획득하고, 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정하는 파라미터 결정부; 상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 색상값 산출부; 상기 원 색상값으로부터 휘도값을 산출하는 휘도값 산출부; 상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 휘도값 조정부; 그리고 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 색상값 조정부를 포함할 수 있다.
상술한 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법은 컴퓨터로 실행할 수 있는 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수도 있다.
본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 보다 자연스럽게 렌더링된 이미지를 제공할 수 있다. 그 결과, 톤 매핑된 이미지에 대해 사용자가 느끼는 주관적 화질(subjective quality)이 향상되고, 이미지 내 아티팩트(artifact)가 감소하는 효과를 얻을 수 있다.
또한, 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 이미지의 어두운 영역을 보다 정교하게 표현할 수 있는 효과를 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지의 명암비와 레티넥스(Retinex) 알고리즘의 파라미터 k값 간의 관계를 나타낸 그래프이다.
도 3은 본 발명의 일 실시예에 따른 톤 매핑 전 이미지의 휘도값에 대한 톤 매핑 후 이미지의 휘도값의 그래프를 도시한다.
도 4는 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록도이다.
도 6 내지 도 10은 본 발명의 일 실시예에 따라 톤 매핑된 이미지를 종래의 방식에 의해 톤 매핑된 이미지와 비교하는 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치(100)를 나타내는 블록도이다. 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치(100)는 톤 매핑될 이미지의 명암비에 따라 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하고, 상기 파라미터를 사용하여 이미지를 디스플레이 장치의 명암비에 부합하도록 톤 매핑할 수 있다.
본 발명의 일 실시예에 따른 이미지 톤 매핑 장치(100)는 파라미터 결정부(101), 색상값 산출부(102), 휘도값 산출부(103), 휘도값 조정부(104) 및 색상값 조정부(105)를 포함할 수 있다. 상기 파라미터 결정부(101)는 이미지의 명암비를 획득하고 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정할 수 있다. 상기 색상값 산출부(102)는 상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출할 수 있다. 상기 휘도값 산출부(103)는 상기 원 색상값으로부터 휘도값을 산출할 수 있다. 상기 휘도값 조정부(104)는 상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정할 수 있다. 상기 색상값 조정부(105)는 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정할 수 있다.
상기 파라미터 결정부(101)는 톤 매핑될 이미지의 명암비, 즉 다이내믹 레인지를 다음과 같은 수학식으로 계산할 수 있다:
Figure pat00001
여기서, D는 이미지의 명암비이고, Imax는 이미지를 구성하는 픽셀이 갖는 최대 휘도값, Imin은 이미지를 구성하는 픽셀이 갖는 최소 휘도값이다.
그리고 나서, 상기 파라미터 결정부(101)는 상기 계산된 명암비에 따라, 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정할 수 있다. 상기 파라미터는 톤 매핑 알고리즘에 사용되는 파라미터로서, 본 발명의 일 실시예에 따르면 상기 파라미터는 다음의 수학식과 같은 레티넥스(Retinex) 알고리즘 중 파라미터 k에 해당될 수 있다:
Figure pat00002
여기서, RSSR은 이미지에 나타난 피사체의 반사성분으로서, 피사체에 조사되는 조명의 분포에 관계없이 피사체로부터 반사되는 빛의 색상값을 나타낸다. 상기 색상값은 빛이 3원색을 구성하는 R 색상값, G 색상값 및 B 색상값을 포함할 수 있다. I(x,y)는 이미지를 구성하는 픽셀의 색상값이다. Im blur는 I(x,y)와 가우시안 필터(Gaussian Filter)를 컨볼루션한 값이다.
인간이 인지하는 물체의 색은 물체로부터 반사되는 빛인 반사성분과 광원의 분포의 곱으로 표현될 수 있다. 만약 인간이 인지하는 색으로부터 광원의 분포를 추정한다면 물체의 원 색상값을 나타내는 반사성분을 구할 수 있다. 광원으로부터 조사되는 빛은 불균일한 분포를 가지며, 상기 레티넥스 알고리즘에서는 상기 광원의 분포를 가우시안 필터를 사용하여 추정한다. 이와 같이, 레티넥스 알고리즘은 인간의 시각 특성을 기초로 하여 이미지 생성 과정에서 발생할 수 있는 블러링을 보상할 수 있고, 조명 환경이 변하더라도 이미지의 색상을 일정하게 유지시킬 수 있으며, HDR 이미지의 명암비를 압축하여 LDR 이미지를 생성하기 위해 사용될 수 있다.
본 발명의 일 실시예에 따르면, 상기 파라미터 결정부(101)는, 톤 매핑될 이미지의 명암비에 따라, 상기 레티넥스 알고리즘을 나타내는 수학식 2 중 피사체에 조사되는 조명의 분포 log(Im blur(x,y))에 관한 가중치인 파라미터 k를 적응적으로 결정할 수 있다.
수학식 2를 참조하면, 파라미터 k 값이 커지면 이미지에서 반사성분(reflectance) 값을 더 많이 나누어주게 되므로, 이미지의 명암비가 더 많이 압축될 수 있다. 하지만, 이미지에서 필요 이상으로 반사성분을 나누어주면 오리지널 이미지의 정보가 과하게 제거되므로, 이미지에 색바램 현상과 같은 아티팩트가 많이 발생할 수 있다. 다시 말해, k 값이 클수록 이미지의 명암비의 압축률이 커지지만 아티팩트가 증가하게 되고, 반대로 k 값이 작을수록 이미지의 명암비의 압축률이 작아지지만 아티팩트가 감소하게 된다. 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치(100)는 이미지의 명암비에 따라 적응적으로 k 값을 결정하여 톤 매핑을 수행하므로, 이미지의 명암비 압축률 및 아티팩트를 고려한 톤 매핑 효율이 향상될 수 있다.
도 2는 본 발명의 일 실시예에 따른 이미지의 명암비와 레티넥스 알고리즘의 파라미터 k값 간의 관계를 나타낸 그래프이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 상기 파라미터 결정부(101)는 상기 파라미터 k를 명암비에 비례하도록 결정할 수 있다. 나아가, 상기 파라미터 결정부(101)는 상기 명암비가 기설정된 최소 명암비보다 작거나 같은 경우, 파라미터 k를 기설정된 최소 파라미터 값으로 결정할 수 있다. 또한, 상기 파라미터 결정부(101)는 상기 명암비가 기설정된 최대 명암비보다 큰 경우, 파라미터 k를 기설정된 최대 파라미터 값으로 결정할 수 있다.
본 발명의 일 실시예에 따르면, 상기 최소 명암비는 0.25일 수 있고, 상기 최소 파라미터 값은 0.2일 수 있다. 본 발명의 일 실시예에 따르면, 상기 최대 명암비는 5.5일 수 있고, 상기 최대 파라미터 값은 0.5일 수 있다. 본 발명의 일 실시예에 따르면, 상기 명암비에 대한 파라미터 k값의 그래프의 기울기는 0.1일 수 있다. 결과적으로, 상기 파라미터 결정부(101)는 다음과 같은 수학식에 따라 명암비 D로부터 파라미터 k 값을 결정할 수 있다:
Figure pat00003
전술한 최소 및 최대 명암비, 최소 및 최대 파라미터 값 및 기울기는 실시예에 따라 다르게 설정될 수 있다. 나아가, 수학식 3은 0.25 내지 5.5의 명암비 구간에 대하여 일차함수 그래프 형태로 명암비와 파라미터 k 값의 관계를 표현하고 있으나, 상기 파라미터 결정부(101)는 해당 구간에서 이차함수, 삼차함수와 같은 비선형 그래프의 형태로 명암비와 파라미터 k 값을 매핑시킬 수 있다. 또한, 명암비에 비례하여 파라미터 k 값이 증가하는 구간은 실시예에 따라 변경될 수도 있다. 예를 들어, 일 실시예에서 상기 구간은 2.5 내지 5.5의 구간보다 더 넓어지거나 좁아질 수도 있다.
본 발명의 일 실시예에 따르면, 상기 색상값 산출부(102)는 전술한 수학식 3과 같은 레티넥스 알고리즘을 사용하여 피사체의 원 색상값(즉, 피사체로부터 반사되는 빛의 색상값 RSSR)을 산출할 수 있다.
상기 휘도값 산출부(103)는 상기 피사체의 원 색상값으로부터 휘도값을 산출할 수 있다. 본 발명의 일 실시예에 따르면, 상기 휘도값 산출부(103)는 다음과 같은 수학식에 의해 피사체의 원 색상값 R, G, B로부터 휘도값 L을 산출할 수 있다:
L = 0.299·R + 0.587·G + 0.114·B
상기 휘도값 조정부(104)는 상기 계산된 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정할 수 있다. 다시 말해, 상기 휘도값 조정부(104)는 HDR 이미지를 구성하는 각 픽셀의 휘도값을, 명암비가 낮은 LDR 이미지용 디스플레이 장치에 적합하게 휘도값의 레벨을 조정할 수 있다. 그 결과, HDR 이미지의 명암비가 보다 작은 값으로 압축되어 LDR 이미지로 변환될 수 있다.
본 발명의 일 실시예에 따르면, 상기 휘도값 조정부(104)는 상기 이미지의 휘도값을 휘도 구간에 따라 다른 비율로 조정할 수 있다. 도 3은 본 발명의 일 실시예에 따른 톤 매핑 전 이미지의 휘도값에 대한 톤 매핑 후 이미지의 휘도값의 그래프를 도시한다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 이미지의 휘도값 Iin은 크게 제 1 휘도 구간(31) 및 제 2 휘도 구간(32)으로 구분될 수 있으며, 상기 제 1 휘도 구간(31)의 휘도값은 상기 제 2 휘도 구간(32)의 휘도값보다 더 작다. 상기 제 1 휘도 구간(31)에서 조정 전 휘도값 Iin에 대한 조정 후 휘도값 Iout의 그래프 기울기는, 제 2 휘도 구간(32)에서 조정 전 휘도값 Iin에 대한 조정 후 휘도값Iout의 그래프 기울기보다 더 클 수 있다. 다시 말해, Iout의 전체 휘도 구간 중 Iin의 제 1 휘도 구간(31)에 대응되는 제 3 휘도 구간(33)은, Iin의 제 2 휘도 구간(32)에 대응되는 제 4 휘도 구간(34)보다 더 넓을 수 있다. 그 결과, 이미지 중 어두운 영역은 보다 상세하고 정교하게 표현될 수 있으며, 밝은 영역은 톤 매핑 전에 비해 휘도 구간이 압축되어 표현될 수 있다.
본 발명의 일 실시예에 따르면, 상기 휘도값은 다음과 같은 수학식에 의해 조정될 수 있다:
Figure pat00004
여기서, Iout은 조정 후 휘도값이고, I는 조정 전 휘도값이고, Imax는 이미지를 구성하는 픽셀의 최대 휘도값, a는 휘도값의 조정 비율에 관한 파라미터이다. 상기 a는 도 3에 도시된 그래프의 만곡도와 관련된 파라미터로서, a가 클수록 그래프의 만곡도가 커져서 제 4 휘도 구간(34)이 좁아지고, a가 작을수록 만곡도가 작아져서 제 4 휘도 구간(34)이 넓어진다. 본 발명의 일 실시예에 따르면, 상기 a는 4로 설정될 수 있으나, 이에 제한되지 않고 실시예에 따라 다양한 값으로 설정될 수 있다.
전술한 수학식 5와 같은 알고리즘은 인간의 시각 시스템이 밝은 부분보다 어두운 부분의 변화에 더 민감하다는 특성을 반영한다. 휘도값 조정부(104)가 수학식 5와 같이 이미지의 휘도값을 조정하는 경우, 밝은 영역에 비해 어두운 영역을 표현하는 휘도 레벨 구간이 넓어지므로, 톤 매핑된 이미지의 어두운 영역이 보다 잘 보존될 수 있다.
본 발명의 다른 실시예에 따르면, 조정 전 휘도값 Iin은 셋 또는 그 이상의 구간으로 구분될 수도 있다. 이 경우, 각 구간마다 조정 전 휘도값에 대한 조정 후 휘도값의 그래프 기울기는 서로 상이하게 설정될 수 있다.
상기 색상값 조정부(105)는 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 피사체의 원 색상값을 조정할 수 있다. 본 발명의 일 실시예에 따르면, 상기 색상값 조정부(105)는, 조정 전 휘도값 Iin에 대한 조정 후 휘도값 Iout의 비가, 조정 전 원 색상값에 대한 조정 후 원 색상값의 비와 동일하도록 상기 피사체의 원 색상값을 조정할 수 있다. 예를 들어, 상기 색상값 조정부(105)는 다음과 같은 수학식으로 피사체의 색상값을 조정할 수 있다:
Figure pat00005
여기서, Rout, Gout 및 Bout은 조정 후 피사체의 원 색상값이고, Rin, Gin 및 Bin은 조정 전 피사체의 원 색상값이고, L'은 조정 후 이미지의 휘도값이고, Lin은 조정 전 이미지의 휘도값이고, s는 감마 보정 계수이다. 본 발명의 일 실시예에 따르면, 상기 s는 0 내지 1의 값으로 선택될 수 있으며, 예를 들어 0.75로 설정될 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법을 설명하는 흐름도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법(40)은, 이미지의 명암비를 획득하는 단계(S41), 상기 명암비에 따라 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하는 단계(S42), 상기 파라미터를 사용하여 이미지의 색상값으로부터 피사체의 원 색상값을 산출하는 단계(S43), 상기 원 색상값으로부터 휘도값을 산출하는 단계(S44), 상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 단계(S45), 및 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 단계(S46)를 포함할 수 있다.
상기 이미지의 명암비를 획득하는 단계(S41)는 전술한 수학식 1을 사용하여 입력 이미지의 명암비를 계산하는 단계를 포함할 수 있다.
상기 명암비에 따라 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하는 단계(S42)는, 상기 파라미터를 상기 명암비에 비례하도록 결정하는 단계; 상기 명암비가 기설정된 최소 명암비보다 작거나 같은 경우, 상기 파라미터를 기설정된 최소 파라미터값으로 결정하는 단계; 상기 명암비가 기설정된 최대 명암비보다 큰 경우, 상기 파라미터를 기설정된 최대 파라미터값으로 결정하는 단계를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 상기 명암비에 따라 파라미터를 결정하는 단계(S42)는 전술한 수학식 3을 사용하여 파라미터를 결정하는 단계를 포함할 수 있다.
상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 단계(S43)는, 전술한 수학식 2로 구현되는 레티넥스 알고리즘을 사용하여 상기 피사체의 원 색상값을 산출하는 단계를 포함할 수 있다.
상기 원 색상값으로부터 휘도값을 산출하는 단계(S44)는, 전술한 수학식 4를 사용하여 피사체의 원 색상값 R, G 및 B 값으로부터 휘도값을 산출하는 단계를 포함할 수 있다.
상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 단계(S45)는, 상기 휘도값을 휘도 구간에 따라 다른 비율로 조정하는 단계를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 상기 휘도값을 조정하는 단계(S45)는, 제 1 휘도 구간(31)에서 조정 전 휘도값에 대한 조정 후 휘도값의 그래프의 기울기가, 제 2 휘도 구간(32)에서 조정 전 휘도값에 대한 조정 후 휘도값의 그래프의 기울기보다 더 크도록 휘도값을 조정하는 단계를 포함할 수 있다. 상기 제 1 휘도 구간(31)의 휘도값은 상기 제 2 휘도 구간(32)의 휘도값보다 낮을 수 있다. 본 발명의 일 실시예에 따르면, 상기 휘도값을 조정하는 단계(S45)는 전술한 수학식 5에 따라 휘도값을 조정하는 단계를 포함할 수 있다.
상기 조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 원 색상값을 조정하는 단계(S46)는, 조정 전 휘도값에 대한 조정 후 휘도값의 비가 조정 전 원 색상값에 대한 조정 후 원 색상값의 비와 동일하도록 상기 원 색상값을 조정하는 단계를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 상기 원 색상값을 조정하는 단계(S46)는 전술한 수학식 6에 의해 원 색상값을 조정하는 단계를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치(50)를 나타내는 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지 처리 장치(50)는, 이미지를 수신하는 수신부(51), 수신된 이미지를 톤 매핑하는 톤 매핑부(52), 및 톤 매핑된 이미지를 출력하는 출력부(53)를 포함할 수 있다. 상기 톤 매핑부(52)는 파라미터 결정부(521), 색상값 산출부(522), 휘도값 산출부(523), 휘도값 조정부(524) 및 색상값 조정부(525)를 포함할 수 있다. 상기 톤 매핑부(52)에 포함된 파라미터 결정부(521), 색상값 산출부(522), 휘도값 산출부(523), 휘도값 조정부(524) 및 색상값 조정부(525)는 도 1을 참조하여 설명한 이미지 톤 매핑 장치(100)에 포함된 파라미터 결정부(101), 색상값 산출부(102), 휘도값 산출부(103), 휘도값 조정부(104) 및 색상값 조정부(105)의 구성과 동일하다.
상기 이미지 처리 장치(50)는 저장부(53)를 더 포함할 수 있다. 상기 저장부(53)는 이미지에 대해 톤 매핑을 수행하기 위해 요구되는 정보를 저장할 수 있다. 상기 저장부(53)는 톤 매핑될 이미지 및 톤 매핑된 이미지 중 적어도 하나를 저장할 수 있다.
본 발명의 일 실시예에 따르면, 상기 톤 매핑부(52)는 HDR 이미지를 LDR 이미지로 변환하도록, 수신된 이미지의 휘도값 레벨을 디스플레이 장치의 명암비에 맞게 조정할 수 있다.
전술한 본 발명의 일 실시예에 따른 이미지 톤 매핑 방법(40)은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
도 6 내지 도 10은 본 발명의 일 실시예에 따라 톤 매핑된 이미지를 종래의 방식에 의해 톤 매핑된 이미지와 비교하는 도면이다. 도 6 내지 도 10의 (a)는 대표적인 광역 톤 매핑 알고리즘인 로그(logarithmic) 톤 매핑 알고리즘으로 톤 매핑한 이미지이며, (b)는 주파수 도메인에서 톤 매핑을 수행하는 그래디언트(gradient) 톤 매핑 알고리즘으로 톤 매핑한 이미지이며, (c)는 고정된 k 값을 사용한 레티넥스 알고리즘에 의해 톤 매핑된 이미지이며, (d)는 본 발명의 일 실시예에 따른 톤 매핑 방법에 의해 톤 매핑된 이미지이다. 도 6 내지 도 10의 이미지에 대한 톤 매핑은 2.40 GHz의 CPU와 3 GB의 RAM을 장착한 컴퓨터에서 실행되었다. 도 6 내지 도 10의 이미지 각각에 대한 명암비 및 그에 따른 파라미터 k 값은 다음과 같다:
이미지 명암비(log) 파라미터 k
도 6 1.96 0.20
도 7 3.94 0.34
도 8 4.61 0.41
도 9 5.52 0.50
도 10 5.59 0.50
도 6 내지 도 10 각각에 있어서 (a) 내지 (d)의 톤 매핑된 출력 이미지를 비교해 보면, 종래의 알고리즘에 의해 톤 매핑된 이미지 (a) 내지 (c)보다 본 발명의 일 실시예에 따라 톤 매핑된 이미지 (d)가 더 자연스럽게 렌더링되고 아티팩트가 줄어들었음을 확인할 수 있다. 나아가, 본 발명의 일 실시예에 따라 톤 매핑을 하는 경우, 이미지 중 어두운 영역의 표현이 보다 정교해졌음을 확인할 수 있다.
이상에서 이미지의 명암비에 따라 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 적응적으로 결정하고 상기 파라미터를 사용하여 이미지를 톤 매핑하는 본 발명의 일 실시예에 따른 이미지 톤 매핑 장치 및 방법을 설명하였다. 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 보다 자연스럽고 정교하게 렌더링된 이미지를 얻을 수 있다. 나아가, 본 발명에 따르면, 종래의 톤 매핑 알고리즘에 비해 이미지의 어두운 영역의 표현이 보다 잘 보존될 수 있어 사용자가 느끼는 주관적 화질이 개선되는 효과를 얻을 수 있다.
100: 이미지 톤 매핑 장치 101: 파라미터 결정부
102: 색상값 산출부 103: 휘도값 산출부
104: 휘도값 조정부 105: 색상값 조정부

Claims (21)

  1. 이미지의 명암비(dynamic range)를 획득하고, 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정하는 파라미터 결정부;
    상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 색상값 산출부;
    상기 원 색상값으로부터 휘도값을 산출하는 휘도값 산출부;
    상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 휘도값 조정부; 그리고
    조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 색상값 조정부;
    를 포함하는 이미지 톤 매핑 장치.
  2. 제 1 항에 있어서,
    상기 파라미터 결정부는 상기 파라미터를 상기 명암비에 비례하도록 결정하는 이미지 톤 매핑 장치.
  3. 제 1 항에 있어서,
    상기 파라미터 결정부는, 상기 명암비가 기설정된 최소 명암비보다 작거나 같은 경우, 상기 파라미터를 기설정된 최소 파라미터값으로 결정하는 이미지 톤 매핑 장치.
  4. 제 1 항에 있어서,
    상기 파라미터 결정부는, 상기 명암비가 기설정된 최대 명암비보다 큰 경우, 상기 파라미터를 기설정된 최대 파라미터값으로 결정하는 이미지 톤 매핑 장치.
  5. 제 1 항에 있어서,
    상기 색상값 산출부는 레티넥스(Retinex) 알고리즘을 사용하여 상기 피사체의 원 색상값을 산출하는 이미지 톤 매핑 장치.
  6. 제 1 항에 있어서,
    상기 피사체에 조사되는 조명의 분포는, 상기 이미지의 색상값과 가우시안 필터(Gaussian Filter)를 컨볼루션하여 얻어지는 이미지 톤 매핑 장치.
  7. 제 1 항에 있어서,
    상기 휘도값 산출부는 L = 0.299·R + 0.587·G + 0.114·B (여기서, L은 휘도값, R은 R 색상값, G는 G 색상값, B는 B 색상값)의 공식에 의해 휘도값을 산출하는 이미지 톤 매핑 장치.
  8. 제 1 항에 있어서,
    상기 휘도값 조정부는 상기 휘도값을 휘도 구간에 따라 다른 비율로 조정하는 이미지 톤 매핑 장치.
  9. 제 8 항에 있어서,
    상기 휘도값 조정부는, 제 1 휘도 구간에서 조정 전 휘도값에 대한 조정 후 휘도값의 그래프의 기울기가, 제 2 휘도 구간에서 조정 전 휘도값에 대한 조정 후 휘도값의 그래프의 기울기보다 더 크도록 상기 휘도값을 조정하는 이미지 톤 매핑 장치.
  10. 제 9 항에 있어서,
    상기 제 1 휘도 구간의 휘도값은 상기 제 2 휘도 구간의 휘도값보다 더 낮은 이미지 톤 매핑 장치.
  11. 제 1 항에 있어서,
    상기 색상값 조정부는, 상기 조정 전 휘도값에 대한 상기 조정 후 휘도값의 비가 조정 전 원 색상값에 대한 조정 후 원 색상값의 비와 동일하도록 상기 원 색상값을 조정하는 이미지 톤 매핑 장치.
  12. 이미지의 명암비에 따라 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하고, 상기 파라미터를 사용하여 상기 이미지를 디스플레이 장치의 명암비에 부합하도록 톤 매핑하는 이미지 톤 매핑 방법.
  13. 제 12 항에 있어서,
    상기 이미지 톤 매핑 방법은:
    상기 이미지의 명암비를 획득하는 단계;
    상기 명암비에 따라 상기 파라미터를 결정하는 단계;
    상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 단계;
    상기 원 색상값으로부터 휘도값을 산출하는 단계;
    상기 휘도값을 상기 디스플레이 장치의 명암비에 부합하도록 조정하는 단계; 그리고
    조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 단계;
    를 포함하는 이미지 톤 매핑 방법.
  14. 제 13 항에 있어서,
    상기 이미지의 명암비를 획득하는 단계는:
    Figure pat00006
    (여기서, D는 명암비, Imax는 이미지의 최대 휘도값, Imin은 이미지의 최소 휘도값)의 수학식에 의해 명암비를 획득하는 단계를 포함하는 이미지 톤 매핑 방법.
  15. 제 13 항에 있어서,
    상기 명암비에 따라 파라미터를 결정하는 단계는:
    Figure pat00007
    (여기서, k는 파라미터, D는 명암비)의 수학식에 의해 파라미터를 결정하는 단계를 포함하는 이미지 톤 매핑 방법.
  16. 제 13 항에 있어서,
    상기 원 색상값을 산출하는 단계는:
    Figure pat00008
    (여기서, I(x,y)는 이미지의 R, G, B 색상값, k는 파라미터, Im blur는 I(x,y)와 가우시안 필터를 컨볼루션한 값)의 수학식에 의해 원 색상값을 산출하는 단계를 포함하는 이미지 톤 매핑 방법.
  17. 제 13 항에 있어서,
    상기 휘도값을 조정하는 단계는:
    Figure pat00009
    (여기서, Iout은 조정된 휘도값, I는 조정 전 휘도값, Imax는 이미지의 최대 휘도값, a는 휘도값의 조정 비율에 관한 파라미터)의 수학식에 의해 휘도값을 조정하는 단계를 포함하는 이미지 톤 매핑 방법.
  18. 제 13 항에 있어서,
    상기 원 색상값을 조정하는 단계는:
    (여기서, Rout, Gout 및 Bout은 조정된 원 색상값, Rin, Gin 및 Bin은 조정 전 원 색상값, L'은 조정 후 휘도값, Lin은 조정 전 휘도값, s는 감마 보정 계수)의 수학식에 의해 원 색상값을 조정하는 단계를 포함하는 이미지 톤 매핑 방법.
  19. 이미지를 수신하는 수신부;
    상기 수신된 이미지를 톤 매핑하는 톤 매핑부; 그리고
    상기 톤 매핑된 이미지를 출력하는 출력부를 포함하며,
    상기 톤 매핑부는:
    상기 이미지의 명암비를 획득하고, 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 상기 명암비에 따라 결정하는 파라미터 결정부;
    상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 색상값 산출부;
    상기 원 색상값으로부터 휘도값을 산출하는 휘도값 산출부;
    상기 휘도값을 디스플레이 장치의 명암비에 부합하도록 조정하는 휘도값 조정부; 그리고
    조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 색상값 조정부;
    를 포함하는 이미지 처리 장치.
  20. 제 18 항에 있어서,
    상기 톤 매핑부는 HDR(High Dynamic Range) 이미지를 LDR(Low Dynamic Range) 이미지로 변환하는 이미지 처리 장치.
  21. 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    이미지의 명암비를 획득하는 단계;
    상기 명암비에 따라 상기 이미지의 피사체에 조사되는 조명의 분포에 관한 파라미터를 결정하는 단계;
    상기 파라미터를 사용하여 상기 이미지의 색상값으로부터 상기 피사체의 원 색상값을 산출하는 단계;
    상기 원 색상값으로부터 휘도값을 산출하는 단계;
    상기 휘도값을 상기 디스플레이 장치의 명암비에 부합하도록 조정하는 단계; 그리고
    조정 전 휘도값과 조정 후 휘도값 간의 관계를 기반으로 상기 원 색상값을 조정하는 단계;
    를 포함하는 이미지 톤 매핑 프로세스를 구현하는 프로그램이 기록된 기록매체.
KR1020120090187A 2011-11-29 2012-08-17 이미지 톤 매핑 장치 및 방법 KR101389932B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110125578 2011-11-29
KR1020110125578 2011-11-29

Publications (2)

Publication Number Publication Date
KR20130060110A true KR20130060110A (ko) 2013-06-07
KR101389932B1 KR101389932B1 (ko) 2014-04-29

Family

ID=48858791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120090187A KR101389932B1 (ko) 2011-11-29 2012-08-17 이미지 톤 매핑 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101389932B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
WO2019022387A1 (en) * 2017-07-27 2019-01-31 Samsung Electronics Co., Ltd. DISPLAY APPARATUS AND METHOD OF CONTROLLING THE SAME
KR20200103348A (ko) * 2019-02-25 2020-09-02 한양대학교 에리카산학협력단 객체 인식 장치 및 객체 인식 방법
CN112348761A (zh) * 2020-11-30 2021-02-09 广州绿怡信息科技有限公司 设备外观图像亮度调节方法及装置
CN113747251A (zh) * 2021-08-20 2021-12-03 武汉瓯越网视有限公司 图像色调调整方法、存储介质、电子设备及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101089426B1 (ko) 2003-09-11 2011-12-07 파나소닉 주식회사 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및 반도체 장치
JP4434073B2 (ja) * 2005-05-16 2010-03-17 ソニー株式会社 画像処理装置および撮像装置
JP2010193199A (ja) 2009-02-18 2010-09-02 Victor Co Of Japan Ltd 画像処理装置および画像処理方法
JP5392560B2 (ja) 2009-10-13 2014-01-22 株式会社Ｊｖｃケンウッド 画像処理装置および画像処理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
US9641767B2 (en) 2014-12-04 2017-05-02 Hyundai Mobis Co., Ltd. Display apparatus and method using high dynamic range function for vehicle
WO2019022387A1 (en) * 2017-07-27 2019-01-31 Samsung Electronics Co., Ltd. DISPLAY APPARATUS AND METHOD OF CONTROLLING THE SAME
US10692466B2 (en) 2017-07-27 2020-06-23 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
KR20200103348A (ko) * 2019-02-25 2020-09-02 한양대학교 에리카산학협력단 객체 인식 장치 및 객체 인식 방법
CN112348761A (zh) * 2020-11-30 2021-02-09 广州绿怡信息科技有限公司 设备外观图像亮度调节方法及装置
CN112348761B (zh) * 2020-11-30 2024-04-26 广州绿怡信息科技有限公司 设备外观图像亮度调节方法及装置
CN113747251A (zh) * 2021-08-20 2021-12-03 武汉瓯越网视有限公司 图像色调调整方法、存储介质、电子设备及系统

Also Published As

Publication number Publication date
KR101389932B1 (ko) 2014-04-29

Similar Documents

Publication Publication Date Title
US10134359B2 (en) Device or method for displaying image
KR100782845B1 (ko) 비로그 도메인 조도 수정을 이용한 디지털 영상 개선방법과 시스템
Lin et al. Multi-scale retinex improvement for nighttime image enhancement
JP4210577B2 (ja) 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法
EP2750101B1 (en) Endoscopic video system with dynamic contrast and detail enhancement
Vonikakis et al. Fast centre–surround contrast modification
EP2899688A1 (en) Image processing device, image display device, image capture device, image printing device, gradation conversion method, and program
JP5596075B2 (ja) 階調補正装置またはその方法
CN102696220A (zh) 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统
KR20070111392A (ko) 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정
KR101389932B1 (ko) 이미지 톤 매핑 장치 및 방법
US9747674B2 (en) Method and device for converting an image sequence whose luminance values belong to a high dynamic range
KR101648762B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
JP2008234315A (ja) デジタル画像の階調圧縮方法及び階調圧縮装置
KR101642034B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
Srinivas et al. Channel prior based Retinex model for underwater image enhancement
Jung et al. Naturalness-preserved tone mapping in images based on perceptual quantization
KR20160103903A (ko) 영상 처리 장치, 영상 처리 방법, 및 영상 처리 프로그램
KR101872015B1 (ko) 적외선 영상 생성장치 및 방법
JP6627530B2 (ja) 画像処理装置及びプログラム
JP5381354B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2014211914A (ja) 階調補正装置またはその方法
US11869455B2 (en) Systems and methods for ambient light compensation using PQ shift
KR20160103213A (ko) 레티넥스 기법을 이용한 고속의 영상처리방법
KR20160103212A (ko) 레티넥스 기법을 이용한 고속의 영상처리장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee