KR101846743B1 - 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치 - Google Patents

톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치 Download PDF

Info

Publication number
KR101846743B1
KR101846743B1 KR1020160159102A KR20160159102A KR101846743B1 KR 101846743 B1 KR101846743 B1 KR 101846743B1 KR 1020160159102 A KR1020160159102 A KR 1020160159102A KR 20160159102 A KR20160159102 A KR 20160159102A KR 101846743 B1 KR101846743 B1 KR 101846743B1
Authority
KR
South Korea
Prior art keywords
image
detail
light amount
hdr
tone mapping
Prior art date
Application number
KR1020160159102A
Other languages
English (en)
Inventor
이철희
옥지헌
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160159102A priority Critical patent/KR101846743B1/ko
Application granted granted Critical
Publication of KR101846743B1 publication Critical patent/KR101846743B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/2355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치가 제공된다. 본 발명의 일 실시예에 따른 톤 맵핑 영상에 대한 객관적 화질을 평가하는 장치는 높은 동적 영역(High Dynamic Range; HDR) 영상(이하 ‘HDR 영상’이라 칭함)에서 과다 광량 지역 및 과소 광량 지역을 각각 검출하는 광량 지역 검출부, 상기 HDR 영상과 상기 HDR 영상을 톤 맵핑한(Low Dynamic Range; LDR) 영상(이하 ‘LDR 영상’이라 칭함)간 상기 검출된 과다 광량 지역 및 과소 광량 지역의 디테일 유사도를 계산하는 유사도 계산부 및 상기 과다 광량 지역의 디테일 유사도와 과소 광량 지역의 디테일 유사도를 이용하여 디테일의 반영 정도를 수치화한 디테일 메트릭(detailness metric; DS)을 계산하는 디테일 메트릭 계산부를 포함하는 것을 특징으로 한다.

Description

톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치{OBJECTIVE QUALITY ASSESSMENT METHOD AND APPARATUS FOR TONE MAPPED IMAGES}
본 발명은 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치에 관한 것으로서, 더욱 상세하게는 실세계 묘사의 충실도 및 인지적 화질 정도를 정량적으로 평가함으로써 주관적 톤 맵핑 평가 방법을 대체할 수 있는 기술에 관한 것이다.
디지털 영상의 동적 영역(Dynamic Range)은 영상 내에서 가장 밝은 화소 값과 가장 어두운 화소 값의 비율로 정의된다.
일반적인 디지털 카메라 및 모니터와 같은 디스플레이 장치는 2의 차수 크기의 동적 영역을 가지는데 반해, 사람의 시각 인지 시스템(HVS)은 3.73 차수 크기의 동적 영역을 인지하며 실세계에 나타나는 동적 영역은 8의 차수 크기에 달한다.
따라서, 기존의 디스플레이 장치는 인간이 인지하는 영상을 그대로 획득(capture) 또는 표현(display) 할 수 없다.
따라서, 낮은 동적 영역(Low Dynamic Range; 이하 ‘LDR’이라 칭함)을 가지는 디스플레이 장치에서 높은 동적 영역(High Dynamic Range, 이하 ‘HDR’이라 칭함) 영상을 효과적으로 표현하기 위한 ‘톤 맵핑 알고리즘’은 HDR 영상과 기존 LDR 디스플레이 장치의 호환성을 유지하기 위해 필수적이다.
한편, 이러한 톤 맵핑 알고리즘들의 성능 평가와 최적 파라미터 결정을 위하여 톤 맵핑 영상의 인지적 화질 평가가 요구된다.
톤 맵핑 영상의 인지적 화질 평가로서 가장 직관적이고 신뢰성 높은 방법인 주관적 화질 평가가 이용되어 왔지만, 주관적 화질 평가는 높은 비용과 많은 시간을 필요로 하고 파라미터 최적화를 위한 시스템이 임베드되기 어려운 문제가 있다.
이에, 주관적 톤 맵핑 평가 방법을 대체 가능한, 실세계 묘사의 충실도 및 인지적 화질 정도를 정량적으로 평가할 수 있는 톤 맵핑 영상의 객관적 화질 모델이 요구되어져 왔다.
대표적인 객관적 톤 맵핑 영상 평가 모델로 TMQI(Tone Mapped Quality Index)가 개발되었고 이는 주관적 평가 결과와 높은 상관도를 보인다는 평가를 받고 있다.
TMQI는 SSIM(Structural SIMilarity index)를 변형하여 HDR 영상과 LDR 영상 간 멀티스케일 신호 충실도(multiscale signal fidelity)를 측정하고, 이와 함께 자연 영상의 통계 분포를 이용한 자연스러움(naturalness)을 측정한 후, 톤 맵핑 영상의 화질 지수를 단일 지수로 산출하는 방법이다.
그러나 TMQI 의 멀티스케일 신호 충실도의 특징은 멀티스케일에 걸친 전체 픽셀을 이용하여 계산된다는 점에서 특정 영역에서 발생하는 디테일 열화를 반영하기 어려운 문제가 있다.
이에, 톤 맵핑 영상 인지적 화질의 중요한 요소인 디테일 재현 및 영상 전반의 자연스러운 정도의 평가가 가능하고 주관적 평가와 보다 높은 상관도를 가지는 객관적 톤 맵핑 화질 모델이 요구되고 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 톤 맵핑 영상 인지적 화질의 중요한 요소인 디테일 재현 및 영상 전반의 자연스러운 정도의 평가가 가능하고 주관적 평가와 보다 높은 상관도를 가지는 객관적 톤 맵핑 화질 모델을 제공하고자 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 톤 맵핑 영상에 대한 객관적 화질을 평가하는 장치는 높은 동적 영역(High Dynamic Range; HDR) 영상(이하 ‘HDR 영상’이라 칭함)에서 과다 광량 지역 및 과소 광량 지역을 각각 검출하는 광량 지역 검출부, 상기 HDR 영상과 상기 HDR 영상을 톤 맵핑한(Low Dynamic Range; LDR) 영상(이하 ‘LDR 영상’이라 칭함)간 상기 검출된 과다 광량 지역 및 과소 광량 지역의 디테일 유사도를 계산하는 유사도 계산부 및 상기 과다 광량 지역의 디테일 유사도와 과소 광량 지역의 디테일 유사도를 이용하여 디테일의 반영 정도를 수치화한 디테일 메트릭(detailness metric; DS)을 계산하는 디테일 메트릭 계산부를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 객관적 화질 평가 장치가 톤 맵핑 영상에 대한 객관적 화질을 평가하는 방법은 (a) 높은 동적 영역(High Dynamic Range; HDR) 영상(이하 ‘HDR 영상’이라 칭함)에서 과다 광량 지역 및 과소 광량 지역을 각각 검출하는 단계, (b) 상기 HDR 영상과 상기 HDR 영상을 톤 맵핑한(Low Dynamic Range; LDR) 영상(이하 ‘LDR 영상’이라 칭함)간 상기 검출된 과다 광량 지역 및 과소 광량 지역의 디테일 유사도를 계산하는 단계 및 (c) 상기 과다 광량 지역의 디테일 유사도와 과소 광량 지역의 디테일 유사도를 이용하여 디테일의 반영 정도를 수치화한 디테일 메트릭(detailness metric; DS)을 계산하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 톤 맵핑 영상 인지적 화질의 중요한 요소인 디테일 재현 및 영상 전반의 자연스러운 정도의 평가가 가능하다.
또한, 주관적 평가와 보다 높은 상관도를 가지므로, 톤 맵핑 영상의 인지적 화질 평가에 대한 직관적이고 신뢰성 높은 평가 결과를 제공할 수 있다.
또한, 주관적 화질 평가에 비하여 비용과 시간을 절약할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 톤 맵핑 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 톤 맵핑 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 객관적 화질 평가 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 객관적 화질 평가 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 과다 광량 지역 및 과소 광량 지역을 검출하는 상세 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 디테일 영상을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 톤 맵핑 영상에 대한 객관적 화질 평가 방법을 비교한 결과이다.
도 8 및 도 9는 본 발명의 실시예에 따른 TMQM의 성능을 측정한 결과이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 톤 맵핑 시스템의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 톤 맵핑 시스템은 영상 획득 장치(10), 톤 맵핑 장치(100), 영상 표시 장치(20) 및 객관적 화질 평가 장치(200)를 포함할 수 있다.
참고로 도 1a에서, 이해를 돕기 위해 톤 맵핑 장치(100)가 영상 획득 장치(10) 및 영상 표시 장치(20)와 별도로 존재하는 것으로 도시하였지만, 실시예에 따라서 톤 맵핑 장치(100)는 영상 획득 장치(10)에 포함될 수도 있고, 영상 표시 장치(20)에 포함될 수도 있다.
또한, 객관적 화질 평가 장치(200)가 영상 표시 장치(20)와 별도로 존재하는 것으로 도시하였지만, 실시예에 따라서 영상 표시 장치(20)에 포함될 수도 있다.
실세계의 장면은 영상 획득 장치(10)에 의하여 HDR 촬영 영상으로 변환되며, HDR 촬영 영상은 톤 맵핑 장치(100)를 통해 LDR 영상으로 변환되어 LDR의 영상 표시 장치(20)에 의해 표시될 수 있다. 즉, 사용자는 실세계의 장면이 아닌, 영상 표시 장치(20)에 표시되는 LDR 영상을 보는 것이다.
객관적 화질 평가 장치(200)는 영상 표시 장치(20)에 표시되는 LDR 영상이 사용자가 실세계에서 바라보는 장면과 얼마나 유사한지(근접하는지) - 실세계 묘사의 충실도 및 인지적 화질 정도 - 를 정량적으로 평가할 수 있다.
실세계의 장면과 보다 유사한 영상을 영상 표시 장치(20)에 구현하는 것은 영상 표시 장치(20)의 하드웨어 성능을 향상시키는 것과는 별도로, 얼마나 정확한 톤 맵핑(tone mapping) 작업을 수행하는가에 달려 있다.
이러한 톤 맵핑은 전역(global) 톤 맵핑 방법과 국부(local) 톤 맵핑 방법으로 나누어질 수 있는데, 종래의 톤 맵핑 방식은 다수의 파라미터를 사용하고 파라미터 값에 따라 성능이 의존적이기 때문에, 영상의 특성에 따라서 사용자의 적절한 파라미터 선정이 요구되며, 과다 광량 및 과소 광량 지역에서 손실되기 쉬운 디테일 부분을 효과적으로 보존하는데 어려움이 있다.
이에, 톤 맵핑 장치(100)는 영상의 특성에 따라 자연스러움과 디테일한 재현력을 적응적으로 강조하며, 사용자의 개입 없이 높은 인지 화질의 톤 맵핑 영상을 일관성 있게 획득할 수 있다.
그리고, 객관적 화질 평가 장치(200)는 톤 맵핑 영상에 대한 인지적 화질의 중요한 요소인 디테일 재현 및 영상 전반의 자연스러운 정도의 평가가 가능하고 주관적 평가와 보다 높은 상관도를 가지는 평가 방법을 제공할 수 있다.
이하, 도 2와 도 3을 참조하여 톤 맵핑 장치(100)와 객관적 화질 평가 장치(200)에 대하여 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 톤 맵핑 장치의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 톤 맵핑 장치(100)는 전역 톤 맵핑부(110), 국부 톤 맵핑부(120), 톤 맵핑 영상 조합부(130), 제어부(140) 및 저장부(150)를 포함할 수 있다.
각 구성 요소를 설명하면, 전역 톤 맵핑부(110)는 로그 함수를 이용하여 HDR 영상을 전역 압축(initial global compression)할 수 있다.
이는 감각 강도(HDR 영상의 perceived brightness에 해당함)는 자극 강도(HDR 영상의 luminance에 해당함)의 로그에 비례한다는 베버-페히너 법칙(Weber-Fechner law)에 따른 것이다.
전역 톤 맵핑부(110)의 로그 함수를 이용한 전역 압축은 아래의 [수학식 1]을 이용할 수 있다.
Figure 112016116107760-pat00001
여기서 i와 j는 영상의 픽셀 좌표이고, L(i, j)는 픽셀의 HDR 루미넌스(luminance) 이다.
그리고 C는 픽셀 값이 0이 되는 특이점 문제(singularity problem)를 방지하는데 사용되는 임계 값으로서 본 발명의 실시예에서는 10-6을 사용하였다.
또한, 전역 톤 맵핑부(110)는 상기 [수학식 1]을 통해 생성된 영상(Ilog)에 정규화(normalization)를 수행하여 정규화된 영상(Ilog _norm)을 생성할 수 있으며, 정규화된 출력 영상은 아래의 [수학식 2]과 같이 나타낼 수 있다.
Figure 112016116107760-pat00002
여기서. max(output)과 min(ouput)은 출력 영상의 최대 그리고 최소값을 나타낸다.
또한, 전역 톤 맵핑부(110)는 정규화된 영상(Ilog _norm)에 히스토그램 평활화(histogram equalization)를 수행하여 전역 톤 맵핑 영상(OGTMO)을 생성할 수 있으며, 이를 통해 콘트라스트가 강화될 수 있다.
이는 아래의 [수학식 3]과 같이 나타낼 수 있다.
Figure 112016116107760-pat00003
한편, 선형, 감마, 로그 함수를 이용하는 기존의 전역 압축 방법(global compression methods)은 영상의 최소값 또는 0을 기준으로 동적 범위를 압축하는 방식으로서, 맵핑 함수에 종속되어 어둡거나 밝은 영역에서 디테일 정보의 손실을 발생시키는 문제가 있다.
이에, 본 발명에서는, 디테일 정보의 손실 없이 동적 범위를 압축하기 위해 영상의 최소값이나 0 대신에 ‘적응적 기준 값(Adaptive Reference value)’을 설정하고, 픽셀 값과 적응적 기준 값의 차이를 비선형 함수로 압축(Difference Compression)(이하, ‘차이 압축’이라 칭함)하여 어둡거나 밝은 영역 모두에서 디테일을 유지할 수 있다.
고정 기준 값(R)을 이용한 차이 압축(Difference Compression with a Constant Reference value; DCCR)은 아래의 [수학식 4]로 정의될 수 있다.
Figure 112016116107760-pat00004
여기서, f(x)는 비선형 맵핑 함수(로그 함수나 지수 함수를 포함함)이며, 본 발명의 실시예에서 지수 함수 f(x)는 아래의 [수학식 5]과 같이 정의될 수 있다.
Figure 112016116107760-pat00005
여기서 파라미터 β는 차이 압축의 레벨을 나타내며 0≤β≤1 범위의 값을 가질 수 있다.
참고로, 상기 [수학식 4]는 선형, 감마, 로그 함수 등을 이용하여 영상의 최소값 또는 0과 같은 일정한 값을 기준으로 동적 범위를 압축하는 기존의 전역 압축 방법으로부터 도출될 수 있다.
국부 톤 맵핑부(120)는 고정 기준 값 대신에 적응적 기준 값을 이용한 차이 압축을 통해 영상(ODCAR)을 생성할 수 있으며, 이는 아래의 [수학식 6]으로 정의될 수 있다.
Figure 112016116107760-pat00006
여기서 sgn(x)는 부호 함수(sign function)이고, R은 상기 적응적 기준 값(adaptive reference value)이다.
예를 들어, β가 0에 가까울 때 상기 적응적 기준 값 R 주변의 콘트라스트(contrast)는 더 강화될 수 있으며, 상기 β 값의 바람직한 실시예로서 0.9가 사용될 수 있다.
β는 1보다 작은 ‘지수 승’이므로 적응적 기준 값 R에 가까운 픽셀 값을 강화시킬 수 있다. 즉, β는 픽셀 값이 적응적 기준 값 R에 가까울수록 강조되도록 하며, 이는 정규화를 적용한 후 적응적 기준 값 R 주변에 있는 픽셀들은 픽셀간 차이 값이 더 커져 부각됨을 의미한다.
국부 톤 맵핑부(120)는 상기 [수학식 6]의 적응적 기준 값 R을 계산하기 위해 ‘에지 보존 평활화 필터’와 ‘로우 패스 필터’를 이용할 수 있다.
구체적으로, 국부 톤 맵핑부(120)는 [수학식 2]를 통해 정규화된 영상(Ilog_norm)에 제1 에지 보존 평활화 필터를 적용하여 제1 스무딩 영상(Iinit _smooth)을 생성할 수 있다.
여기서, 에지 보존 평활화 필터를 적용함으로써 후광 효과(halo artifact)를 최소화할 수 있다.
이후, 국부 톤 맵핑부(120)는 제1 스무딩 영상(Iinit _smooth)에 로우 패스 필터인 가우시안 로우 패스 필터(Gaussian Low Pass Filter, 이하 ‘GLPF’라 칭함)를 적용하여 제2 스무딩 영상을 생성할 수 있다.
여기서 제1 스무딩 영상(Iinit _smooth)에 GLPF를 적용함으로써 제1 스무딩 영상(Iinit_smooth)보다 더 부드러운 제2 스무딩 영상이 획득될 수 있다.
이후, 국부 톤 맵핑부(120)는 GLPF를 적용한 제2 스무딩 영상과, 제1 에지 보존 평활화 필터에 의한 제1 스무딩 영상(Iinit _smooth)에 제2 에지 보존 평활화 필터를 적용하여, 최종 스무딩 영상(Ifinal_smoothed)을 생성한다.
여기서, 국부 톤 맵핑부(120)는 아래의 [수학식 7]을 이용하여 최종 스무딩 영상(Ifinal_smoothed)을 생성할 수 있다.
Figure 112016116107760-pat00007
여기서 GLPF()는 GLPF의 함수를 나타내며, Guided(p, q)는 에지 보존 평활화 필터에 해당하는 가이드 필터를 의미하고 필터링하는 입력 이미지 p와 가이드 이미지 q를 각각 나타낸다.
국부 톤 맵핑부(120)는 위와 같은 결과를 이용하여 적응적 기준 값 R을 계산하되 아래의 [수학식 8]을 이용할 수 있다.
Figure 112016116107760-pat00008
여기서, α는 밝은 영역 또는 어두운 영역의 디테일을 선택적으로 유지하기 위한 기준 값 변형 지수로서, 해당 영역의 전체적인 콘트라스트를 강화하는데 사용될 수 있다.
기준 값 변형 지수 α는 1보다 작은 임의의 상수 값으로 정의될 수 있으며, 일 실시예로서 바람직하게는 α=0.1로 정해질 수 있다.
만일 α가 1보다 작은 경우 밝은 영역은 강화되며, 1보다 큰 경우 어두운 영역이 강화될 수 있다. 즉, α를 이용하여 밝기를 조절할 수 있다.
참고로, 어두운 영역을 강화하는 것은 큰 의미가 없으므로 본 발명에서는 α가 1보다 작은 경우를 고려하도록 한다.
이후, 국부 톤 맵핑부(120)는 적응적 기준 값 R을 이용한 차이 압축을 통해 생성된 영상(ODCAR)에 ‘대비 제한의 적응적 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization; CLAHE)’와 같은 지역 대비 개선(local contrast enhancement) 알고리즘을 적용하여, 주어진 동적 범위를 충실히 활용하는 국부 톤 맵핑 영상(OLTMO)을 생성할 수 있다.
국부 톤 맵핑부(120)는 아래의 [수학식 9]를 이용하여 국부 톤 맵핑 영상을 (OLTMO)을 생성할 수 있으며, 이를 통해 콘트라스트가 강화될 수 있다.
Figure 112016116107760-pat00009
한편, 톤 맵핑 영상 조합부(130)는 국부 톤 맵핑 영상(OLTMO)과 전역 톤 맵핑 영상(OGTMO)을 조합(blending)할 수 있다.
이를 위해 톤 맵핑 영상 조합부(130)는 일 실시예로서 아래의 [수학식 10]을 이용할 수 있다.
Figure 112016116107760-pat00010
여기서 γ는 블렌딩 팩터(blending factor)로서 국부적인 디테일과 전역적인 루미넌스의 균형을 위해 사용될 수 있으며, 0부터 1까지의 범위를 가진다.
일 실시예로서, γ가 0.5보다 큰 경우 국부적인 디테일은 더 강조될 수 있으며 γ가 0.5보다 더 작은 경우 전역적인 루미넌스는 더 자연스럽게 유지될 수 있다.
영상의 특성에 따라서 γ 값을 적응적으로 설정하는 것이 중요하며, γ는 객관적 화질 평가 방법을 이용하여 결정될 수 있다.
또한, 톤 맵핑 영상 조합부(130)는 다른 실시예로서 시각적 주목도(visual saliency) 모델링 기술을 이용하여 국부 톤 맵핑 영상(OLTMO)과 전역 톤 맵핑 영상(OGTMO)을 조합할 수 있다.
여기서 시각적 주목도는 전반적인 퀄리티에 영향을 주는 높은 시각적 주목도를 가지는 디테일한 영상 영역을 결정함으로써 예측될 수 있다.
톤 맵핑 영상 조합부(130)는 아래의 [수학식 11]을 이용하여 높은 시각적 주목도를 가지는 디테일한 영상 영역을 적응적으로 반영한 국부 적응적 조합(locally adaptive blending) 영상(OTMO _L)을 생성할 수 있다.
Figure 112016116107760-pat00011
여기서
Figure 112016116107760-pat00012
은 관심 영역 지도(saliency map)로서 HDR 톤 맵핑을 위한 가중치 함수(saliency aware weighting function)로 사용될 수 있다.
즉, 톤 맵핑 영상 조합부(130)는 시각적 주목도를 반영하는 관심 영역 지도를 기반으로, 시각적 주목도에 따라 국부 톤 맵핑 영상(OLTMO)과 전역 톤 맵핑 영상(OGTMO)의 조합 비율을 픽셀마다 달리하여 국부 적응적 조합 영상(OTMO _L)을 생성할 수 있다.
한편, 제어부(140)는 톤 맵핑 장치(100)의 구성 요소들, 예를 들어, 전역 톤 맵핑부(110), 국부 톤 맵핑부(120), 톤 맵핑 영상 조합부(130)가 전술한 각각의 동작을 수행하도록 제어할 수 있으며, 후술하는 저장부(150)를 제어할 수 있다.
한편, 저장부(150)는 제어부(140)가 톤 맵핑 장치(100)의 구성 요소들이 전술한 각각의 동작을 수행하도록 제어하는 알고리즘과 그 과정에서 파생되는 다양한 데이터들을 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 객관적 화질 평가 장치의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 객관적 화질 평가 장치(200)는 광량 지역 검출부(210), 유사도 계산부(220), 디테일 메트릭 계산부(230), 화질 평가부(240), 제어부(250) 및 저장부(260)를 포함할 수 있다.
각 구성 요소를 설명하면, 광량 지역 검출부(210)는 HDR 영상에서 과다 광량 지역 및 과소 광량 지역을 각각 검출할 수 있다.
참고로, 객관적 화질 평가 장치(200)에서 과다 광량 지역과 과소 광량 지역을 검출하는 이유는 톤 맵핑 시 영상의 특정 영역에서 발생하는 디테일 열화를 반영하기 위해서이다.
즉, 디테일 열화는 아주 밝은 지역과 아주 어두운 지역에서 발생하므로, 이를 반영하기 위해 과다 광량 지역과 과소 광량 지역을 검출하는 것이다.
이를 위해 광량 지역 검출부(210)는 영상 획득 장치(10)로부터 HDR 영상을 획득하고 톤 맵핑 장치(100)로부터 LDR 영상을 획득할 수 있다.
또한, 광량 지역 검출부(210)는 HDR 영상을 정규화하여 정규화 영상(Ilog _norm)을 생성하고, 정규화 영상(Ilog _norm)에 전역 톤 맵핑 알고리즘을 적용하여 전역 톤 맵핑 영상(OGTMO)을 생성할 수 있다.
또한, 광량 지역 검출부(210)는 상기 정규화 영상과 전역 톤 맵핑 영상을 이용하여, 과다 광량 지역(O)을 검출하기 위한 경계 값(Thupper)과, 과소 광량 지역(U)을 검출하기 위한 경계 값(Thlower)을 각각 결정할 수 있다.
여기서, 광량 지역 검출부(210)는 과다 광량 지역과 과소 광량 지역을 검출하기 위한 각 경계 값(Thupper, Thlower)을 아래의 [수학식 12]를 이용하여 결정할 수 있다.
Figure 112016116107760-pat00013
이후, 광량 지역 검출부(210)는 Thupper보다 큰 펙셀들은 과다 광량 후보 픽셀로, Thlower보다 작은 펙셀들은 과소 광량 후보 픽셀로 검출하고, 검출된 과다 광량 후보 픽셀과 과소 광량 후보 펙셀의 영상에 모폴로지 연산(morphologic operators)을 적용하여 군집화할 수 있다.
여기서 모폴로지 연상을 통하여 ‘군집화’를 하는 이유는, 산발적으로 존재하는 과다 광량 후보 픽셀이나 과소 광량 후보 픽셀을 이용하여 영역(지역)을 형성하도록 하기 위함이다.
이후, 광량 지역 검출부(210)는 군집화된 과다 광량 후보 픽셀과 과소 광량 후보 펙셀의 영상에 에지 보존 평활화 필터를 적용하여 객체 경계를 유지하는 과다 광량 지역(O) 및 과소 광량 지역(U)을 검출할 수 있다.
여기서 ‘에지 보존 평활화 필터’를 적용하는 이유는 군집화 이후에도 오브젝트의 엣지를 넘어서는 결과가 발생하기 때문에 엣지를 넘어서는 픽셀들을 배제시키기 위해서이다.
한편, 유사도 계산부(220)는 광량 지역 검출부(210)에서 검출된 과다 광량 지역(O)과 과소 광량 지역(U)의 디테일 유사도를 계산할 수 있다.
이를 위해 유사도 계산부(220)는 과다 광량 지역(O)과 과소 광량 지역(U)에서 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO _detail)을 각각 생성하고, HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO _detail)의 유사도를 계산함으로써 과다 광량 지역(O)과 과소 광량 지역(U)의 디테일 유사도(DSover, DSunder)를 계산할 수 있다.
구체적으로, 유사도 계산부(220)는 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO_detail)을 각각 생성할 수 있으며, 이를 수학식으로 나타내면 아래의 [수학식 13]과 같다.
Figure 112016116107760-pat00014
상기 [수학식 13]을 설명하면, HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO_detail)은 입력 영상(원 영상)에 엣지 보존 스무딩 필터(edge-preserving smoothing filter)를 적용한 영상(coarse edge)을 각 원 영상(Ilog _norm 및 ITMO)에서 차감하여 생성할 수 있다.
여기서 각 coarse 엣지 영상은 상기 [수학식 13]과 같이 입력 영상에 대하여 에지 보존 평활화 필터 Guided()와 로우 패스 필터 GLPF()를 적용하여 계산될 수 있다.
이후, 유사도 계산부(220)는 상기 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO_detail)간 연관성을 나타내는 상관 계수를 통해 과소 광량 디테일 유사도(DSunder) 및 과다 광량 디테일 유사도(DSover)를 각각 계산할 수 있으며, 이를 수학식으로 나타내면 아래의 [수학식 14]와 같다.
Figure 112016116107760-pat00015
참고로, 과다 광량 디테일 유사도(DSover)를 계산하는 수학식은 상기 [수학식 14]와 동일하되, 상기 과소 광량 지역을 나타내는 U를 상기 과다 광량 지역을 나타내는 ‘O’로 치환하면 된다.
한편, 디테일 메트릭 계산부(230)는 상기 과소 광량 디테일 유사도(DSunder)와 과다 광량 디테일 유사도(DSover)의 가중치의 합을 반영하여 디테일 메트릭(DS)을 계산할 수 있다.
여기서 디테일 메트릭(DS)은 톤 맵핑 시 디테일이 얼마나 잘 반영되었는지를 나타내는 값으로서, 이를 수학식으로 나타내면 아래의 [수학식 15]와 같다.
Figure 112016116107760-pat00016
여기서, 디테일 메트릭(DS)은 -1부터 1까지의 범위를 가지며, 과다 광량 디테일 유사도(DSover)와 과소 광량 디테일 유사도(DSunder)의 각 가중치는 과다 광량 지역(O)과 과소 광량 지역(U)에 해당하는 관심 영역 지도(saliency map; VS)의 합에 의해 결정될 수 있다.
한편, 화질 평가부(240)는 디테일 메트릭 계산부(230)에서 계산된 디테일 메트릭(DS)을 이용하여 톤 맵핑 영상에 대한 객과적 화질을 평가하고, 평가된 결과를 제공할 수 있다.
앞서 [발명의 배경이 되는 기술]에서 설명한 바와 같이, 대표적인 객관적 톤 맵핑 영상 평가 모델인 TMQI(Tone Mapped Quality Index)는 주관적 평가 결과와 높은 상관도를 보인다는 평가를 받고 있지만, TMQI 의 멀티스케일 신호 충실도의 특징은 멀티스케일에 걸친 전체 픽셀을 이용하여 계산된다는 점에서 특정 영역에서 발생하는 디테일 열화를 반영하기 어려운 문제가 있다.
이에, 본 발명의 화질 평가부(240)는 TMQI에 상기 디테일 메트릭(DS)을 적용함으로써, 톤 맵핑 영상 인지적 화질의 중요한 요소인 디테일 재현 및 영상 전반의 자연스러운 정도의 평가가 가능하고 주관적 평가와 보다 높은 상관도를 가지는 객관적 톤 맵핑 화질 모델(Tone Mapping Quality Metric; TMQM)을 제공할 수 있다.
이를 수학식으로 나타내면 아래의 [수학식 16]과 같다.
Figure 112016116107760-pat00017
여기서, TMQM은 -1, 1의 범위를 가지며, TMQI는 0부터 1까지의 범위를 가진다. 그리고 디테일 메트릭(DS)은 -1부터 1까지의 범위를 가지며 1에 가까울수록 LDR 영상이 HDR 영상과 디테일 재현 및 영상 전반의 자연스러운 정도가 유사한 것으로 볼 수 있다.
한편, 제어부(250)는 객관적 화질 평가 장치(200)의 구성 요소들, 예를 들어 광량 지역 검출부(210), 유사도 계산부(220), 디테일 메트릭 계산부(230) 및 화질 평가부(240)가 전술한 각각의 동작을 수행하도록 제어할 수 있으며, 후술하는 저장부(260)를 제어할 수 있다.
한편, 저장부(260)는 제어부(250)가 객관적 화질 평가 장치(200)의 구성 요소들이 전술한 각각의 동작을 수행하도록 제어하는 알고리즘과 그 과정에서 파생되는 다양한 데이터들을 저장할 수 있다.
도 4는 본 발명의 일 실시예에 따른 객관적 화질 평가 방법을 도시한 흐름도이다.
도 4의 흐름도는 도 3에 도시된 객관적 화질 평가 장치(200)에 의해 수행될 수 있으며, HDR 영상과 LDR 영상은 획득된 상태이다.
먼저, 객관적 화질 평가 장치(200)는 HDR 영상에서 과다 광량 지역 및 과소 광량 지역을 각각 검출한다(S401).
여기서, 과다 광량 지역과 과소 광량 지역을 검출하는 이유는 톤 맵핑 시 영상의 특정 영역에서 발생하는 디테일 열화를 반영하기 위해서이다.
객관적 화질 평가 장치(200)가 과다 광량 지역 및 과소 광량 지역을 검출하는 상세한 과정은 도 5를 참조하여 후술하도록 한다.
S401 후, 객관적 화질 평가 장치(200)는 과다 광량 지역(O)과 과소 광량 지역(U)에서 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO _detail)을 각각 생성한다(S402).
S402 후, 객관적 화질 평가 장치(200)는 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO _detail)의 유사도를 계산함으로써 과다 광량 지역(O)과 과소 광량 지역(U)의 디테일 유사도(DSover, DSunder)를 계산한다(S403).
여기서 각 지역의 디테일 유사도(DSover, DSunder)는 입력 영상(원 영상)에 엣지 보존 스무딩 필터(edge-preserving smoothing filter)를 적용한 영상(coarse edge)을 각 원 영상에서 차감하여 생성할 수 있다.
S403 후, 객관적 화질 평가 장치(200)는 과소 광량 디테일 유사도(DSunder)와 과다 광량 디테일 유사도(DSover)의 가중치의 합을 반영하여 디테일 메트릭(DS)을 계산한다(S404).
여기서, 디테일 메트릭(DS)은 톤 맵핑 시 디테일이 얼마나 잘 반영되었는지를 나타내는 값으로서 -1부터 1까지의 범위를 가지며, 과다 광량 디테일 유사도(DSover)와 과소 광량 디테일 유사도(DSunder)의 각 가중치는 과다 광량 지역(O)과 과소 광량 지역(U)에 해당하는 관심 영역 지도(saliency map; VS)의 합에 의해 결정될 수 있다.
S404 후, 객관적 화질 평가 장치(200)는 계산된 디테일 메트릭(DS)을 이용하여 톤 맵핑 영상에 대한 객관적 화질을 평가하고, 평가된 결과를 제공한다(S405)
여기서 객관적 화질 평가 장치(200)는 객관적 톤 맵핑 영상 평가 모델(TMQI)에 디테일 메트릭(DS)을 적용할 수 있다.
도 5a 내지 도 5f는 본 발명의 일 실시예에 따른 과다 광량 지역 및 과소 광량 지역을 검출하는 상세 과정을 도시한 흐름도이다.
객관적 화질 평가 장치(200)는 HDR 영상을 정규화하여 정규화 영상(Ilog _norm)을 생성한다(S501).
S501 후, 객관적 화질 평가 장치(200)는 정규화 영상(Ilog _norm)에 전역 톤 맵핑 알고리즘을 적용하여 전역 톤 맵핑 영상(OGTMO)을 생성한다(S502).
S502 후, 객관적 화질 평가 장치(200)는 정규화 영상(Ilog _norm)과 전역 톤 맵핑 영상(OGTMO)을 이용하여, 과다 광량 지역(O)을 검출하기 위한 경계 값(Thupper)과, 과소 광량 지역(U)을 검출하기 위한 경계 값(Thlower)을 각각 결정한다(S503).
참고로, 톤 맵핑의 결과는 도 5와 같이 S자 곡선을 가지며, 직선 함수의 그래프를 기준으로 윗 부분에서 거리 값이 가장 큰 부분이 과다 광량 지역(O)을 검출하기 위한 경계 값(Thupper)으로, 아래 부분에서 거리 값이 가장 큰 부분이 과소 광량 지역(U)을 검출하기 위한 경계 값(Thupper)으로 각각 결정될 수 있다.
S503 후, 객관적 화질 평가 장치(200)는 Thupper보다 큰 펙셀들은 과다 광량 후보 픽셀로, Thlower보다 작은 펙셀들은 과소 광량 후보 픽셀로 검출한다(S504)
S504 후, 객관적 화질 평가 장치(200)는 검출된 과다 광량 후보 픽셀과 과소 광량 후보 펙셀의 영상에 모폴로지 연산(morphologic operators)을 적용하여 군집화한다(S505).
S505 후, 객관적 화질 평가 장치(200)는 군집화된 과다 광량 후보 픽셀과 과소 광량 후보 펙셀의 영상에 에지 보존 평활화 필터를 적용한다(S506).
이를 통해 군집화 후 엣지를 넘어서는 픽셀들(small noise elements)을 배제시킬 수 있다.
S506 후, 객관적 화질 평가 장치(200)는 특정 경계 값을 이용하여 객체 경계를 유지하는 과다 광량 지역(O) 및 과소 광량 지역(U)을 검출한다(S507).
도 6은 본 발명의 일 실시예에 따른 디테일 영상을 도시한 도면이다.
도 6은 디테일 영상으로서, (a)는 HDR 디테일 영상(Idetail)이고, (b)는 전역 톤 맵핑 영상(OGTMO)의 LDR 디테일 영상(ITMO _detail)이며, (c)는 국부 톤 맵핑 영상(OLTMO)의 LDR 디테일 영상(ITMO _detail)이다. 참고로 (b)와 (c)의 γ값은 각각 0과 1이다.
도 6에서 과다 광량 지역은 스테인드글라스(stained glass) 부분이고, 과소 광량 지역은 천정(ceiling)이며, 각 지역을 확대하였다.
(b)는 디테일 열화로 인해 과다 광량 지역과 과소 광량 지역이 (a)와 다른 것을 볼 수 있으며, (c)의 과다 광량 지역과 과소 광량 지역은 (b)에 비하여 (a)와 매우 유사함을 볼 수 있다.
도 7은 본 발명의 일 실시예에 따른 톤 맵핑 영상에 대한 객관적 화질 평가 방법을 비교한 결과이다.
(a)와 (b)는 기념관(memorial) 및 책상(desk)의 영상에 대하여 0부터 1까지 변화하는 γ에 따른 TMQM, 디테일 메트릭(DS) 및 TMQI의 퀄리티를 나타내고 있다.
참고로, γ는 상기 [수학식 9]에서 전역 맵핑 영상과 국부 맵핑 영상의 조합 비율로서 γ값에 따라서 디테일 보존 또는 자연스러움을 선택적으로 강조할 수 있다.
(a)와 (b)를 살펴보면, TMQI는 γ이 증가함에 따라서 퀄리티가 감소하지만, 디테일 메트릭(DS)은 γ이 증가함에 따라서 퀄리티가 꾸준하게 증가하는 것을 볼 수 있다.
그리고 TMQM은 γ이 증가함에 따라서 퀄리티 또한 증가하다가 이후 감소하는 것을 볼 수 있다.
퀄리티만을 고려하면 디테일 메트릭(DS)이 TMQM보다 더 좋으나, 디테일 보존과 자연스러움을 모두 고려했을 때 TMQM이 인지적 화질면에서는 더 좋은 결과를 제공한다.
도 8은 본 발명의 일 실시예에 따른 TMQM의 성능을 측정한 결과이다.
도 8에서는, TMQM의 성능을 측정하기 위해 두 가지의 주관적 데이터 셋을 사용하였다.
첫 번째 데이터 셋은 15개의 HDR 영상에 대하여 각 HDR 영상마다 8개의 톤 맵핑 방법을 적용하여 생성된 톤 맵핑 영상을 사용하였다. 포토샵(Adobe Photoshop)에서 지원되는 노출과 감마(Exposure and Gamma), 로컬 어댑테이션(Local adaptation), 이퀄라이즈 히스토그램(Equalize histogram) 의3가지 톤 맵핑 방식이 포함되었다.
주관적 테스트를 위해, 각 HDR 영상의 8개의 톤 맵핑 이미지에 대해서 20명의 관찰자에게 순위를 정하도록 하고, 모든 주관적인 순위를 평균냄으로써 각 영상별로 MOS(Mean Opinion Score)를 계산하였다.
두 번째 데이터 셋은 HDR-Eye 데이터셋으로부터 공개적으로 사용 가능한 8개의 HDR 영상을 사용하였다.
여기서 HDR-Eye 데이터셋은 HDR영상과 함께, 서로 다른 노출로 셋팅되어 획득된 9개의 bracketed 영상을 제공한다.
9개의 LDR 영상에서 주관적 평가에 기초하여 기준(baseline) LDR 영상을 선택하였다.
기준(baseline) LDR 영상과 함께, HDR 영상에서 포토샵의 Equalize histogram 함수와 오픈 소스 소프트웨어인 Luminance HDR 2.4.0에 의해 7개의 톤 맵핑 영상이 생성되었다.
참고로, 주관적 테스트는 ITU-R BT.500에서 권고하는 두 가지 주관적 평가 방법을 사용하여 수행되었다.
첫 번째 주관적 평가 방법은 관찰자에게 두 개의 LDR 영상을 비교하고 그 결과를 받는 것인데, 두 영상의 비교는 도 8의 테이블 1을 따라 수행되었다.
이때, 두 개의 LDR 영상을 동시에 나란히 보여줌으로써 비교할 수 있도록 하였고, 그에 대하여 MOS를 계산하였다
두 번째 주관적 평가 방법은 단일 자극(single stimulus) 방법인 Absolute Category Rating(ACR)이다.
각 단계에서, 도 8의 테이블 2와 같이 5개 등급으로 평가하으며, 그에 대하여 MOS를 계산하였다.
참고로, 관찰자의 선발에 있어서, MOS 값이 특정 값 미만(MOS < 0.75)인 관찰자는 다른 관찰자로 교체하여 테스트의 신뢰를 높였다.
한편, 품질 평가 모델을 측정하기 위해 3가지 성능 지표를 사용하였는데, 이는 1. Spearman’s rank-order correlation coefficient (SRCC); 2. Kendall’s rank-order correlation coefficient (KRCC) 및 3. Pearson’s correlation coefficient (PCC) 이다.
전술한 조건에서 TMQI, 디테일 메트릭(DS) 및 TMQM의 측정 결과는 도 8의 테이블 3 내지 5와 같다.
테이블 3 내지 5는 본 발명의 디테일 메트릭(DS)이 주관적 점수에 있어서 높은 상관 관계가 있음을 보여주고 있다.
또한, 본 발명의 TMQM이 모든 데이터 셋의 모든 성능 지표에서TMQI보다 더 좋은 성능을 발휘함을 보여주고 있다.
도 9는 본 발명의 다른 실시예에 따른 TMQM의 성능을 측정한 결과이다.
도 9는 본 발명의 톤 맵핑을 위한 파라미터 셋팅을 나타낸 것으로서, 도 2의 톤 맵핑 장치(100)의 적응적 기준 값을 이용한 차이 압축은 파라미터 α 및 β에 의해 수행된다고 기재한바 있다.
본 발명에서 국부 톤 맵핑을 사용하는 주된 이유가 디테일의 유지에 있으므로, 성능을 평가하는 기준으로서 디테일 메트릭(DS)을 사용할 수 있다.
도 9에서는 각 SRC마다 디테일 메트릭(DS) 값을 정규화하였으며, 테이블 6은 파라미터 α 및 β에 따라서 정규화된 디테일 메트릭(DS) 값의 평균을 보여주고 있으며, 그 아래는 이에 대한 그래프이다.
테이블 6과 그래프에서 보는 것처럼, α = 0.1 그리고 β = 0.9일 때 결과 값이 가장 큰 것을 볼 수 있다.
따라서, 적응적 기준 값을 이용한 차이 압축에서 파라미터 α 및 β의 최적 값은 α = 0.1과 β = 0.9로 각각 설정될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 톤 맵핑 장치
110 : 전역 톤 맵핑부
120 : 국부 톤 맵핑부
130 : 톤 맵핑 영상 조합부
140: 제어부
150 : 저장부
200 : 객관적 화질 평가 장치
210 : 광량 지역 검출부
220 : 유사도 계산부
230 : 디테일 메트릭 계산부
240 : 화질 평가부
250 : 제어부
260 : 저장부

Claims (17)

  1. 톤 맵핑 영상에 대한 객관적 화질을 평가하는 장치에 있어서,
    높은 동적 영역(High Dynamic Range; HDR) 영상(이하 ‘HDR 영상’이라 칭함)에서 과다 광량 지역 및 과소 광량 지역을 각각 검출하는 광량 지역 검출부;
    상기 HDR 영상과 상기 HDR 영상을 톤 맵핑한(Low Dynamic Range; LDR) 영상(이하 ‘LDR 영상’이라 칭함)간 상기 검출된 과다 광량 지역 및 과소 광량 지역의 디테일 유사도를 계산하는 유사도 계산부; 및
    상기 과다 광량 지역의 디테일 유사도와 과소 광량 지역의 디테일 유사도를 이용하여 디테일의 반영 정도를 수치화한 디테일 메트릭(detailness metric; DS)을 계산하는 디테일 메트릭 계산부
    를 포함하되,
    상기 광량 지역 검출부는
    상기 HDR 영상을 정규화하여 정규화 영상(Ilog_norm)을 생성하고,
    상기 정규화 영상(Ilog_norm)에 전역 톤 맵핑 알고리즘을 적용하여 전역 톤 맵핑 영상(OGTMO)을 생성하며,
    상기 정규화 영상(Ilog_norm)과 전역 톤 맵핑 영상(OGTMO)을 이용하여 상기 과다 광량 지역과 과소 광량 지역을 검출하기 위한 경계 값(Thupper, Thlower)을 각각 결정하는 것을 특징으로 하는 객관적 화질 평가 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 광량 지역 검출부는
    상기 과다 광량 지역을 검출하기 위한 경계 값(Thupper) 및 과소 광량 지역을 검출하기 위한 경계 값(Thlower)을 아래의 수학식을 이용하여 결정하는 것을 특징으로 하는 객관적 화질 평가 장치.
    [수학식]
    Figure 112017102156007-pat00018

  4. 제1 항에 있어서,
    상기 광량 지역 검출부는
    상기 과다 광량 지역을 검출하기 위한 경계 값(Thupper)보다 큰 펙셀들은 과다 광량 후보 픽셀로, 상기 과소 광량 지역을 검출하기 위한 경계 값(Thlower)보다 작은 펙셀들은 과소 광량 후보 픽셀로 검출하고,
    상기 검출된 과다 광량 후보 픽셀과 과소 광량 후보 펙셀의 영상에 모폴로지 연산(morphologic operators)을 적용하여 군집화하며,
    상기 군집화된 과다 광량 후보 픽셀과 과소 광량 후보 펙셀의 영상에 에지 보존 평활화 필터를 적용하여 객체 경계를 유지하는 상기 과다 광량 지역 및 과소 광량 지역을 검출하는 것을 특징으로 하는 객관적 화질 평가 장치.
  5. 제1 항에 있어서,
    상기 유사도 계산부는
    상기 디테일 유사도를 계산하기 위해 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO_detail) 각각 생성하되,
    상기 HDR 디테일 영상(Idetail)은 상기 HDR 영상을 정규화한 영상(Ilog _norm)에서 컬스 엣지(coarse edge)를 차감하고, 상기 LDR 디테일 영상(ITMO _detail)은 상기 LDR 영상에서 컬스 엣지를 차감하여 생성하되,
    상기 컬스 엣지는
    에지 보존 평활화 필터(edge-preserving smoothing filter)와 로우 패스 필터(Low Pass Filter; LPF)를 이용하여 계산되는 것을 특징으로 하는 객관적 화질 평가 장치.
  6. 제5 항에 있어서,
    상기 유사도 계산부는
    아래의 수학식을 이용하여 상기 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO_detail)을 계산하는 것을 특징으로 하는 객관적 화질 평가 장치.
    [수학식]
    Figure 112016116107760-pat00019

  7. 제6 항에 있어서,
    상기 유사도 계산부는
    상기 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO_detail)간 연관성을 나타내는 상관 계수를 통해 상기 과소 광량 지역의 디테일 유사도(DSunder) 및 과다 광량 지역의 디테일 유사도(DSover)를 각각 계산하되, 아래의 [수학식]을 이용하는 것을 특징으로 하는 객관적 화질 평가 장치.
    [수학식]
    Figure 112016116107760-pat00020

    여기서, U는 상기 과소 광량 지역을 나타내며, 상기 과다 광량 지역의 디테일 유사도(DSover)를 계산하는 수학식은 상기 과소 광량 지역의 디테일 유사도(DSunder)를 계산하는 [수학식]과 동일하되, 상기 과소 광량 지역을 나타내는 U를 상기 과다 광량 지역을 나타내는 ‘O’로 치환함.
  8. 제7 항에 있어서,
    상기 디테일 메트릭 계산부는
    상기 과소 광량 지역의 디테일 유사도(DSunder)와 과다 광량 지역의 디테일 유사도(DSover)의 가중치의 합을 반영하여 상기 디테일 메트릭(DS)을 계산하되, 아래의 [수학식]을 이용하는 것을 특징으로 하는 객관적 화질 평가 장치.
    [수학식]
    Figure 112016116107760-pat00021

    여기서, 상기 가중치는 상기 과소 광량 지역과 과다 광량 지역에 해당하는 관심 영역 지도(saliency map; VS)의 합에 의해 결정됨.
  9. 제1 항에 있어서,
    상기 계산된 디테일 메트릭(DS)을 이용하여 톤 맵핑 영상에 대한 객관적 화질을 평가하고, 상기 평가된 결과를 제공하는 화질 평가부
    를 더 포함하는 것을 특징으로 하는 객관적 화질 평가 장치.
  10. 제9 항에 있어서,
    상기 화질 평가부는
    상기 계산된 디테일 메트릭(DS)을 객관적 톤 맵핑 영상 평가 모델인 TMQI(Tone Mapped Quality Index)에 적용하여 상기 객관적 화질을 평가하는 것을 특징으로 하는 객관적 화질 평가 장치.
  11. 객관적 화질 평가 장치가 톤 맵핑 영상에 대한 객관적 화질을 평가하는 방법에 있어서,
    (a) 높은 동적 영역(High Dynamic Range; HDR) 영상(이하 ‘HDR 영상’이라 칭함)에서 과다 광량 지역 및 과소 광량 지역을 각각 검출하는 단계;
    (b) 상기 HDR 영상과 상기 HDR 영상을 톤 맵핑한(Low Dynamic Range; LDR) 영상(이하 ‘LDR 영상’이라 칭함)간 상기 검출된 과다 광량 지역 및 과소 광량 지역의 디테일 유사도를 계산하는 단계; 및
    (c) 상기 과다 광량 지역의 디테일 유사도와 과소 광량 지역의 디테일 유사도를 이용하여 디테일의 반영 정도를 수치화한 디테일 메트릭(detailness metric; DS)을 계산하는 단계
    를 포함하되,
    상기 (a) 단계는
    상기 HDR 영상을 정규화하여 정규화 영상(Ilog_norm)을 생성하는 단계;
    상기 정규화 영상(Ilog_norm)에 전역 톤 맵핑 알고리즘을 적용하여 전역 톤 맵핑 영상(OGTMO)을 생성하는 단계; 및
    상기 정규화 영상(Ilog_norm)과 전역 톤 맵핑 영상(OGTMO)을 이용하여 상기 과다 광량 지역과 과소 광량 지역을 검출하기 위한 경계 값(Thupper, Thlower)을 각각 결정하는 단계를 포함하는 것을 특징으로 하는 객관적 화질 평가 방법.
  12. 제11 항에 있어서,
    상기 (a) 단계는
    상기 과다 광량 지역을 검출하기 위한 경계 값(Thupper)보다 큰 펙셀들은 과다 광량 후보 픽셀로, 상기 과소 광량 지역을 검출하기 위한 경계 값(Thlower)보다 작은 펙셀들은 과소 광량 후보 픽셀로 검출하는 단계;
    상기 검출된 과다 광량 후보 픽셀과 과소 광량 후보 펙셀의 영상에 모폴로지 연산(morphologic operators)을 적용하여 군집화하는 단계; 및
    상기 군집화된 과다 광량 후보 픽셀과 과소 광량 후보 펙셀의 영상에 에지 보존 평활화 필터를 적용하여 객체 경계를 유지하는 상기 과다 광량 지역 및 과소 광량 지역을 검출하는 단계
    를 더 포함하는 것을 특징으로 하는 객관적 화질 평가 방법.
  13. 제11 항에 있어서,
    상기 (b) 단계는
    상기 디테일 유사도를 계산하기 위해 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO_detail)을 각각 생성하는 단계
    를 포함하되,
    상기 HDR 디테일 영상(Idetail)은 상기 HDR 영상을 정규화한 영상(Ilog _norm)에서 컬스 엣지(coarse edge)를 차감하고, 상기 LDR 디테일 영상(ITMO _detail)은 상기 LDR 영상에서 컬스 엣지를 차감하여 생성하되,
    상기 컬스 엣지는
    에지 보존 평활화 필터(edge-preserving smoothing filter)와 로우 패스 필터(Low Pass Filter; LPF)를 이용하여 계산되는 것을 특징으로 하는 객관적 화질 평가 방법.
  14. 제13 항에 있어서,
    상기 (b) 단계는
    상기 HDR 디테일 영상(Idetail)과 LDR 디테일 영상(ITMO_detail)간 연관성을 나타내는 상관 계수를 통해 상기 과소 광량 지역의 디테일 유사도(DSunder) 및 과다 광량 지역의 디테일 유사도(DSover)를 각각 계산하는 것을 특징으로 하는 객관적 화질 평가 방법.
  15. 제14 항에 있어서,
    상기 (c) 단계는
    상기 과소 광량 지역의 디테일 유사도(DSunder)와 과다 광량 지역의 디테일 유사도(DSover)의 가중치의 합을 반영하여 상기 디테일 메트릭(DS)을 계산하되,
    상기 가중치는
    상기 과다 광량 지역과 과소 광량 지역에 해당하는 관심 영역 지도(saliency map; VS)의 합에 의해 결정되는 것을 특징으로 하는 객관적 화질 평가 방법.
  16. 제11 항에 있어서,
    상기 계산된 디테일 메트릭(DS)을 이용하여 톤 맵핑 영상에 대한 객관적 화질을 평가하고, 상기 평가된 결과를 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 객관적 화질 평가 방법.
  17. 제11 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.
KR1020160159102A 2016-11-28 2016-11-28 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치 KR101846743B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160159102A KR101846743B1 (ko) 2016-11-28 2016-11-28 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160159102A KR101846743B1 (ko) 2016-11-28 2016-11-28 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101846743B1 true KR101846743B1 (ko) 2018-04-09

Family

ID=61978212

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160159102A KR101846743B1 (ko) 2016-11-28 2016-11-28 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101846743B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717892A (zh) * 2019-09-18 2020-01-21 宁波大学 一种色调映射图像质量评价方法
CN110930370A (zh) * 2019-11-04 2020-03-27 北京工业大学 一种全景图像质量评估方法
CN110996096A (zh) * 2019-12-24 2020-04-10 嘉兴学院 一种基于结构相似性差异度的色调映射图像质量评价方法
CN112269175A (zh) * 2020-09-09 2021-01-26 国网山西省电力公司阳泉供电公司 一种结合斯皮尔曼系数的分布式散射体选取方法
JP7475187B2 (ja) 2020-04-15 2024-04-26 キヤノン株式会社 表示制御装置および方法、プログラム、記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Akiko Yoshida ET AL:"Perceptual evaluation of tone mapping operators with real-world scenes", SPIE 5666, Human Vision and Electronic Imaging X, 18 March 2005(2005.03.18.)*
Keda Ma ET AL:"High Dynamic Range Image Compression by Optimizing Tone Mapped Image Quality Index", IEEE Transactions on Image Processing, Volume: 24, Issue: 10, Oct. 2015(2015.10.31.)*

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717892A (zh) * 2019-09-18 2020-01-21 宁波大学 一种色调映射图像质量评价方法
CN110717892B (zh) * 2019-09-18 2022-06-28 宁波大学 一种色调映射图像质量评价方法
CN110930370A (zh) * 2019-11-04 2020-03-27 北京工业大学 一种全景图像质量评估方法
CN110930370B (zh) * 2019-11-04 2023-03-31 北京工业大学 一种全景图像质量评估方法
CN110996096A (zh) * 2019-12-24 2020-04-10 嘉兴学院 一种基于结构相似性差异度的色调映射图像质量评价方法
CN110996096B (zh) * 2019-12-24 2021-05-25 嘉兴学院 一种基于结构相似性差异度的色调映射图像质量评价方法
JP7475187B2 (ja) 2020-04-15 2024-04-26 キヤノン株式会社 表示制御装置および方法、プログラム、記憶媒体
CN112269175A (zh) * 2020-09-09 2021-01-26 国网山西省电力公司阳泉供电公司 一种结合斯皮尔曼系数的分布式散射体选取方法
CN112269175B (zh) * 2020-09-09 2023-11-21 国网山西省电力公司阳泉供电公司 一种结合斯皮尔曼系数的分布式散射体选取方法

Similar Documents

Publication Publication Date Title
KR101846743B1 (ko) 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치
Wang et al. Low-light image enhancement via the absorption light scattering model
Duan et al. Tone-mapping high dynamic range images by novel histogram adjustment
Ma et al. Objective quality assessment for color-to-gray image conversion
JP5624062B2 (ja) 入力画像データを出力画像データに変換するための方法、入力画像データを出力画像データに変換するための画像変換ユニット、画像処理装置、ディスプレイデバイス
Yeganeh et al. Objective quality assessment of tone-mapped images
WO2010143549A1 (ja) 画像処理装置および方法、並びにプログラム
Boschetti et al. High dynamic range image tone mapping based on local histogram equalization
Smith et al. Beyond tone mapping: Enhanced depiction of tone mapped HDR images
Ok et al. HDR tone mapping algorithm based on difference compression with adaptive reference values
CN109478316B (zh) 实时自适应阴影和高光增强
CN110910347B (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
KR101828180B1 (ko) 디지털 영상의 톤 맵핑 방법 및 장치
KR101389932B1 (ko) 이미지 톤 매핑 장치 및 방법
Singh et al. Image enhancement by adaptive power-law transformations
An et al. Perceptual brightness-based inverse tone mapping for high dynamic range imaging
CN111489333B (zh) 一种无参考夜间自然图像质量评价方法
CN112651945A (zh) 一种基于多特征的多曝光图像感知质量评价方法
Madmad et al. Bilateral histogram equalization for X-ray image tone mapping
Redi et al. How to apply spatial saliency into objective metrics for JPEG compressed images?
Benzi et al. A bio-inspired synergistic virtual retina model for tone mapping
Mu et al. Color image enhancement method based on weighted image guided filtering
Choi et al. ToneMapping for High Dynamic Range Image Using Modified Guided Filter and TV-based RestorationModel.
Avatavului et al. Evaluating Image Contrast: A Comprehensive Review and Comparison of Metrics
KR102086756B1 (ko) 하이 다이내믹 레인지 이미지 생성 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant