KR20180025153A - 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법 - Google Patents

화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20180025153A
KR20180025153A KR1020170078055A KR20170078055A KR20180025153A KR 20180025153 A KR20180025153 A KR 20180025153A KR 1020170078055 A KR1020170078055 A KR 1020170078055A KR 20170078055 A KR20170078055 A KR 20170078055A KR 20180025153 A KR20180025153 A KR 20180025153A
Authority
KR
South Korea
Prior art keywords
waveform
image
luminance
dynamic range
luminance value
Prior art date
Application number
KR1020170078055A
Other languages
English (en)
Other versions
KR101920403B1 (ko
Inventor
츠토무 이치카와
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Publication of KR20180025153A publication Critical patent/KR20180025153A/ko
Application granted granted Critical
Publication of KR101920403B1 publication Critical patent/KR101920403B1/ko

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

본 발명은 낮은 다이나믹 레인지 화상을, 고휘도 영역에서의 표현 능력이 뛰어난 높은 다이나믹 레인지 화상으로 변환 가능한 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법을 제공하는 것을 과제로 한다.
제 1 다이나믹 레인지 화상(2)을, 상기 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지 화상(3)으로 변환하는 화상 처리 회로(1)로서, 상기 제 1 다이나믹 레인지 화상(2)의, 휘도값이 제 1 다이나믹 레인지(2)의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출하는 휘도 포화 영역 검출기(4)와, 검출된 상기 휘도 포화 영역에 대해서 상기 휘도 포화 영역의 근방에 위치하는 화소에 관하여 얻어지는 휘도값의 파형을 바탕으로, 상기 휘도 포화 영역 내의 각 화소의 상기 상한값을 초과한 피크 휘도값의 파형을 도출하여, 상기 피크 휘도값을 산출하는 피크 휘도값 생성기(5)와, 상기 제 1 다이나믹 레인지 화상(2)과 상기 휘도 포화 영역의 각 화소의 상기 피크 휘도값으로부터 상기 제 2 다이나믹 레인지 화상(3)을 생성하는 화상 합성기(7)를 구비하는 화상 처리 회로(1)를 제공한다.

Description

화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법{Image treating circuit, image transform device, image display device and image treating method}
본 발명은 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법에 관한 것이다.
근년 촬상 소자의 고성능화에 수반하여 통상적인 SDR(스탠다드 다이나믹 레인지) 화상에 비교하여, 더욱 폭넓은 다이나믹 레인지를 표현 가능한 HDR(하이 다이나믹 레인지) 화상이 사용되고 있다.
HDR 화상에 관해서는 PQ 방식과 HLG 방식 등의 표준화, 규격화가 수행되고 있다. 예를 들면 PQ 방식은 최소 0.005 nits부터 최대 10,000 nits까지의 절대 휘도를 취급하고 있다. HLG 방식에서도 최대 휘도가 SDR 화상의 10배 이상이다. 따라서, 예를 들면 디스플레이 등에서도 종래는 500 nits가 되지 않을 정도의 최대 표시 휘도였지만, 근년에는 최대 표시 휘도가 수천 혹은 10,000 nits인 장치 개발이 진행되고 있다.
또한 HDR 화상에 관해서는, 예를 들면 특허문헌 1에 기재되어 있는 부호화 방법 등을 비롯한 다양한 제안이 이루어져 있다.
특허문헌 1: 일본특허공개공보 2013-106333호
SDR 화상은 여러 해에 걸쳐서 계속 사용되어왔기 때문에 컨텐츠양이 방대하다. SDR 화상의 방대한 컨테츠를 유효하게 활용하기 위해서, 이들을, HDR 화상을 사용 가능한 기기 등에서도 사용할 수 있도록 하는 것이 바람직하다. 예를 들면 디스플레이 등의, HDR 화상을 표시 가능한 화상 표시 장치에서 SDR 화상을 표시하는 경우에 통상적으로 생각할 수 있는 대응 방법을, 도 8을 가지고 이하에 설명한다.
도 8에 도시된 그래프에서, 횡축은 입력되는 SDR 화상의 휘도값이고, 종축은 HDR 화상으로서 표시되는 휘도값이다. 여기서는 설명을 간단히 하기 위해서 HDR 화상의 휘도값의 상한값은, SDR 화상의 휘도값의 상한값의 10배인 경우를 상정하고 있다. 횡축인 SDR 화상의 휘도값은 상한값이 1로 정규화되어 있고, 종축인 HDR 화상의 휘도값은 상한값이 10으로 정규화되어 있다.
HDR 화상을 표시 가능한 화상 표시 장치에서 SDR 화상을 표시하는 방법의 하나로서 도 8에 선(101)으로 도시된 것과 같이, 화상 표시 장치에서 SDR 화상을 표시할 때의 최대 휘도를, HDR 화상을 표시할 때의 최대 휘도의 1/10로 하고, SDR 화상의 다이나믹 레인지를 그대로 유지하여 표시하는 것을 생각할 수 있다. 이 경우에는, 화상 표시 장치에 표시된 SDR 화상은 인간의 눈에는 매우 어둡게 느껴지는 경우가 있다.
다음으로 도 8에 선(102)으로 도시된 것과 같이, 화상 표시 장치에서 SDR 화상을 표시할 때의 최대 휘도를, HDR 화상을 표시할 때의 최대 휘도와 동일하게 하도록, SDR 화상의 다이나믹 레인지를 HDR 화상의 다이나믹 레인지 최대한으로 확대하는 것을 생각할 수 있다. 이 경우에는, 화상 표시 장치에 표시된 SDR 화상은 인간의 눈에는 과다 노출이 현저해서 너무 밝은 것처럼 느껴지는 일이 있다.
더욱이 도 8에 선(103)으로 도시된 것과 같이, 화상 표시 장치에서 SDR 화상을 표시할 때의 최대 휘도를, 선(101)과 선(102)인 경우의 사이 값으로, 예를 들면 HDR 화상을 표시할 때의 최대 휘도의 1/2이 되도록 조정하는 것을 생각할 수 있다. 이 경우에는, 상기 2가지 경우보다 인간의 눈에 비교적 보기 쉽게 느껴지는 일이 많다. 그러나 이 경우에도 상기 2가지 경우와 동일하게 SDR 화상은, 휘도값의 상한값을 초과하는, 더욱 밝은 휘도값에 의해 표시하는 것이 본래 바람직한 화소에서도, 상기 화소의 휘도값이 상한값으로 제한된 상태로 표시되고 있다. 즉 SDR 화상이 휘도 포화된 상태로 표시되고 있다. 따라서 이 경우에도 본질적으로는 상기 2가지 경우와 동일하게, HDR 화상을 표시 가능한 화상 표시 장치의 표시 능력을 최대한으로 활용하지 못하며, 고휘도 영역에서의 표현 능력이 뛰어나다고는 할 수 없다.
본 발명이 해결하고자 하는 과제는, 낮은 다이나믹 레인지 화상을, 고휘도 영역에서의 표현 능력이 뛰어난 높은 다이나믹 레인지 화상으로 변환 가능한 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법을 제공하는 것이다.
본 발명에 따른 화상 처리 회로는, 제 1 다이나믹 레인지 화상을, 상기 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지 화상으로 변환하는 화상 처리 회로로서, 상기 제 1 다이나믹 레인지 화상의, 휘도값이 제 1 다이나믹 레인지의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출하는 휘도 포화 영역 검출기와, 검출된 상기 휘도 포화 영역에 대해서, 상기 휘도 포화 영역의 근방에 위치하는 화소에 관하여 얻어지는 휘도값의 파형을 바탕으로, 상기 휘도 포화 영역 내의 각 화소의 상기 상한값을 초과한 피크 휘도값의 파형을 도출하여, 상기 피크 휘도값을 산출하는 피크 휘도값 생성기와, 상기 제 1 다이나믹 레인지 화상과 상기 휘도 포화 영역의 각 화소의 상기 피크 휘도값으로부터 상기 제 2 다이나믹 레인지 화상을 생성하는 화상 합성기를 구비한다.
또한 본 발명에 따른 화상 표시 방법은, 제 1 다이나믹 레인지 화상을, 상기 제 1 다이나믹 레인지보다 넓은 범위의 제 2 다이나믹 레인지 화상으로 변환하는 화상 처리 방법으로서, 상기 제 1 다이나믹 레인지 화상의, 휘도값이 제 1 다이나믹 레인지의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출하고, 검출된 상기 휘도 포화 영역에 대해서, 상기 휘도 포화 영역의 근방에 위치하는 화소에 관하여 얻어지는 휘도값의 파형을 바탕으로, 상기 휘도 포화 영역 내의 각 화소의 상기 상한값을 초과한 피크 휘도값의 파형을 도출하여 상기 피크 휘도값을 산출하고, 상기 제 1 다이나믹 레인지 화상과 상기 휘도 포화 영역의 각 화소의 상기 피크 휘도값으로부터, 상기 제 2 다이나믹 레인지 화상을 생성한다.
본 발명에 의하면, 낮은 다이나믹 레인지 화상을, 고휘도 영역에서의 표현 능력이 뛰어난 높은 다이나믹 레인지 화상으로 변환 가능한 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법을 제공할 수 있다.
도 1은 본 발명의 제 1 실시형태의 화상 처리 회로의 신호 처리 블록도이다.
도 2는 상기 제 1 실시형태의 화상 표시 회로의, 피크 휘도값 생성기의 신호 처리 블록도이다.
도 3은 상기 제 1 실시형태의 화상 표시 회로의, 피크 휘도값 생성기의 동작 설명도이다.
도 4는 본 발명의 제 2 실시형태의 화상 표시 장치의 신호 처리 블록도이다.
도 5는 본 발명의 제 3 실시형태의 화상 변환 장치의 신호 처리 블록도이다.
도 6은 상기 제 1 실시형태의 실험 결과 설명도이다.
도 7은 상기 제 1 실시형태의 실험 결과 설명도이다.
도 8은 종래의 화상 처리 방법 설명도이다.
이하, 본 발명의 실시형태에 대하여 도면을 참조하여 상세히 설명한다.
<제 1 실시형태>
본 제 1 실시형태의 화상 처리 회로는, 제 1 다이나믹 레인지 화상을, 상기 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지 화상으로 변환하는 화상 처리 회로로서, 제 1 다이나믹 레인지 화상의, 휘도값이 제 1 다이나믹 레인지의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출하는 휘도 포화 영역 검출기와, 검출된 휘도 포화 영역에 대해서, 휘도 포화 영역의 근방에 위치하는 화소에 관하여 얻어지는 휘도값의 파형을 바탕으로, 휘도 포화 영역 내의 각 화소의 상한값을 초과한 피크 휘도값의 파형을 도출하여, 피크 휘도값을 산출하는 피크 휘도값 생성기와, 제 1 다이나믹 레인지 화상과 휘도 포화 영역의 각 화소의 피크 휘도값으로부터 제 2 다이나믹 레인지 화상을 생성하는 화상 합성기를 구비한다.
본 제 1 실시형태에서는, 제 1 다이나믹 레인지는 SDR(스탠다드 다이나믹 레인지)이고, 제 1 다이나믹 레인지보다 넓은 범위의 제 2 다이나믹 레인지는 HDR(하이 다이나믹 레인지)이다. 또한 다이나믹 레인지의 상한값이란, 상기 다이나믹 레인지 화상 데이터가 취할 수 있는 휘도값의 최대값으로, 예를 들면 8 비트, 256 계조의 화상 데이터에서는 255가 상한값이 된다.
본 제 1 실시형태의 화상 처리 회로는, 예를 들면 256 계조 화상의 SDR 화상이 입력된 경우에, 휘도값의 상한값을 초과하는, 더욱 밝은 휘도값에 의해 표시하는 것이 본래 바람직한 화소에서도, 상기 화소의 휘도값이 상한값으로 제한되어 휘도 포화된 상태로 표시되고 있다는 상황을 개선하기 위해서, 휘도 포화된 영역 이외의 화소의 휘도값을 바탕으로 휘도 포화된 영역의 화소의 휘도값을, 본래 바람직한 휘도값에 가까운, 보다 밝은 휘도값을 추측함으로써 보완하려고 하는 것이다. 휘도 포화된 영역의 각 화소에 대해서 결정되는, 휘도값의 상한값보다 밝은 휘도값이 피크 휘도값이다.
또한 본 제 1 실시형태의 화상 처리 회로(1)에서의 각 처리는 각 서브 픽셀(R, G, B)마다 수행된다. 설명을 간단히 하기 위해서 이후 각 처리 내용을, 특별히 서브 픽셀마다 설명하지 않는다. 즉, 예를 들면 화소의 휘도값이라고 기재한 경우에는 화소의 각 서브 픽셀의 각각의 휘도값을 의미하고, 관련된 처리는 서브 픽셀마다 수행되는 것이다.
도 1은, 제 1 실시형태의 화상 처리 회로의 신호 처리 블록도이다. 화상 처리 회로(1)는 휘도 포화 영역 검출기(4), 피크 휘도값 생성기(5), 지연 회로(6) 및 화상 합성기(7)를 구비하고 있고, 확장 SDR 화상(제 1 다이나믹 레인지 화상, 2)으로부터 피크 휘도가 생성된 SDR 화상, 즉 HDR 화상(제 2 다이나믹 레인지 화상, 3)을 생성한다.
제 1 실시형태에서 입력되는 확장 SDR 화상(2)은, 감마 커브가 적용되어 있는 SDR 화상이 역보정되어 빛에 대해서 선형 상태가 된 후에 각 화소의 휘도값에, 예를 들면 5 등의 일정한 값을 곱함으로써, 화상 처리 회로(1)로부터 출력되는 HDR 화상(3)의 다이나믹 레인지를 초과하지 않는 범위에서, 다이나믹 레인지가 확장되어 있다. 화상 처리 회로(1)의 입력으로서 다이나믹 레인지가 일정한 값만큼 곱해져 확장된 확장 SDR 화상(2)을 사용하는 이유는 다음과 같다.
본 제 1 실시형태의 화상 처리 회로(1)에서는, 상기와 같이 휘도 포화된 영역 이외의 화소의 휘도값을 바탕으로, 휘도 포화된 영역의 휘도값을, 본래 바람직한 휘도값에 가까운 피크 휘도값을 추측함으로써 보완하려고 하는 것이다. 단, 본 제 1 실시형태에서는, 예를 들면 휘도값의 상한값이 255인 SDR 화상에 대해서, 예를 들면 그 10배에 가까운 값이 되는 것과 같은, 휘도값의 상한값으로부터 크게 괴리된 피크 휘도값을 출력하지 않는 경우가 많다. 즉 HDR 화상의 휘도값의 상한값이 SDR 화상 휘도값의 상한값의 예를 들면 10배인 경우에는, 보완되는 피크 휘도값이 입력 SDR 화상의, 예를 들면 2배 정도가 되도록 본 제 1 실시형태에 의해 도출되어도, 남은 8배 부분에 상당하는 HDR 화상의 다이나믹 레인지가 여전히 사용되지 않을 가능성이 있다.
그래서 본 제 1 실시형태에서는 상기와 같이, 역보정이 적용된 SDR 화상의 각 화소의 휘도값에, 예를 들면 5 등의 일정한 값이 미리 곱해져 확장된, 확장 SDR 화상(2)을 입력으로 하고, 확장 SDR 화상(2)에 대해서 휘도 포화된 영역의 피크 휘도값을 보완하여, HDR 화상(3)을 생성하고 있다. 이로써 예를 들면 피크 휘도값이 확장 SDR 화상(2)의 2배 정도가 되도록 산출된 경우라도, 출력되는 HDR 화상(3)의 휘도값의 최대값을 HDR 화상의 다이나믹 레인지의 상한값에 가깝게 하는 것이 가능하므로, HDR 화상의 다이나믹 레인지를 충분히 활용한 HDR 화상(3)을 출력할 수 있다.
혹은 감마 커브를 역보정한 SDR 화상을 화상 처리 회로(1)에 직접 입력하고, 출력된 HDR 화상의 각 화소의 휘도값에 대해서 상기와 같은 일정한 값을 곱해도 된다. 즉 감마 커브를 역보정한 SDR 화상에 대해서, 이하에 설명하는 휘도 포화 영역 검출, 피크 휘도값 생성 및 화상 합성을 수행하여, 피크 휘도값이 입력된 SDR 화상의 예를 들면 2배 정도인 잠정 HDR 화상을 생성하고, 이에 대해서 예를 들면 5 등의 일정한 값을 곱한 HDR 화상(3)을 생성하여 출력으로 해도 된다. 이 경우의 휘도 포화 영역 검출, 피크 휘도값 생성 및 화상 합성의 각 처리는, 확장 SDR 화상(2)을 바탕으로 HDR 화상(3)을 생성하는 경우와, 취급하는 수치의 크기는 전체적으로 다르지만, 본질적인 처리 내용은 변하지 않는다. 따라서 이후에서는 확장 SDR 화상(2)을 바탕으로 HDR 화상(3)을 생성하는 경우를 예로서 설명한다.
본 제 1 실시형태는, 상기와 같은 확장 SDR 화상(2)을 화상 처리 회로(1)의 입력으로 하는 것이지만, 통상적인 SDR 화상을 입력으로서 수신하고 확장 SDR 화상(2)을 생성하는 확장 처리부를, 후술하는 휘도 포화 영역 검출기(4)의 전 단계로서 본 화상 처리 회로(1) 내에 설치해도 상관없고, 휘도 포화 영역 검출기(4) 내에서 휘도 포화 영역 검출기(4)의 전처리로서 본 확장 처리를 실시해도 상관없는 것은 말할 것도 없다.
휘도 포화 영역 검출기(4)는, 화상 처리 회로(1)로 입력된 확장 SDR 화상(2)을 수신하고, 휘도값이 확장 SDR 화상(2)의 휘도값의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출한다. 더욱 상세하게는 휘도 포화 영역 검출기(4)는, 확장 SDR 화상(2)의 각 화소의 휘도값과, 확장 SDR 화상(2)의 다이나믹 레인지의 상한값, 즉 SDR 화상의 다이나믹 레인지의 상한값에 상기 일정한 값을 곱한 값을 비교함으로써, 휘도값이 상한값에 일치하고 있는 화소를 찾는다. 이와 같은 화소가 일정 이상, 예를 들면 10 × 10 이상의 면적을 차지하는 것과 같은 영역이 된 경우에 상기 영역을 휘도 포화 영역으로서 검출한다.
휘도 포화 영역 검출기(4)는, 확장 SDR 화상(2)을 그대로 지연 회로(6)에 송신하는 동시에 확장 SDR 화상(2)과, 검출한 휘도 포화 영역에 관한 정보를, 피크 휘도값 생성기(5)로 송신한다.
피크 휘도값 생성기(5)는, 휘도 포화 영역 검출기(4)에 의해 검출된 휘도 포화 영역에 대해서, 휘도 포화 영역의 근방에 위치하는 화소에 관해서 얻어지는 휘도값의 파형을 바탕으로, 휘도 포화 영역 내의 각 화소의 상한값을 초과한 피크 휘도값의 파형을 도출하여, 피크 휘도값을 산출한다. 도 2에 피크 휘도값 생성기(5)의 신호 처리 블록도를 도시한다. 피크 휘도값 생성기(5)는 수평 파형 추출기(10), 수직 파형 추출기(13), 4개의 파형 생성기(11a, 11b, 14a, 14b), 2개의 일차원 파형 합성기(12, 15), 이차원 파형 합성기(16) 및 이차원 LPF(Low-Pass Filter, 17)를 구비하고 있다.
수평 파형 추출기(10)는, 휘도 포화 영역 검출기(4)로부터 확장 SDR 화상(2)과 휘도 포화 영역에 관한 정보를 수신한다. 수평 파형 추출기(10)는, 모든 휘도 포화 영역 각각에 대하여, 확장 SDR 화상(2) 내의 화소에 의해 구성되는 행 중에서 휘도 포화 영역이 포함되는 모든 행에서, 상기 행에서의 수평 방향의 파형을 생성한다. 여기서 수평 방향의 파형이란, 횡축이 수평 방향의 화소 위치를, 종축이 횡축 상의 각 화소의 휘도값을 나타내는 이차원 그래프에서, 어느 특정 행에서 수평 방향으로 연속되어 위치하는 화소에 대해서, 예를 들면 도 3(a)에 도시된 것과 같이 상기 화소의 휘도값을 플롯한 점을 연결한 것이다.
도 3(a)에서는, 확장 SDR 화상(2)이 취할 수 있는 휘도값의 상한이 파선(30)으로서 도시되어 있고, 파선(30)에 중첩되는 포화선(33)이 휘도 포화 영역(S)에 상당한다. 휘도 포화 영역(S)을 개재하듯이 2개의 영역(R1, R2)이 위치하고 있다. 휘도 포화 영역(S)과 좌측 영역인 영역 R1의 경계인 화소의 위치는 X1b로서, 그리고 우측 단부 영역인 영역 R2와의 경계인 화소의 위치는 Xrb로서 각각 도시되어 있다. 영역 R1에서의 화소의 휘도값의 파형은 좌측 파형(31)으로서 도시되어 있고, 영역 R2에서의 화소의 휘도값의 파형은 우측 파형(32)으로서 도시되어 있다. 이들 파형(31, 32)은 각각 경계 위치(X1b, Xrb)로부터 멀어짐에 따라서 하강하고 있다. 즉 파형(31, 32)에 상당하는 화소에서는, 휘도 포화 영역(S)으로부터 멀어짐에 따라서 휘도값이 낮아졌다.
수평 파형 추출기(10)는 각 휘도 포화 영역(S)에 대해서, 상기 휘도 포화 영역(2)이 포함되는 모든 행에서, 도 3(a)에 도시된 것과 같은 휘도 포화 영역(S)과 그 근방의 수평 방향의 파형을 추출하고, 도 2에 도시된 파형 생성기(11a), 파형 생성기(11b)에 송신한다.
파형 생성기(11a)는, 수평 파형 추출기(10)로부터 수평 방향의 파형을 수신하고, 영역 R1의 파형, 즉 좌측 파형(31)을 바탕으로, 휘도 포화 영역(S)에 상당하는 부분에서의, 좌측 파형(31)을 바탕으로 한 휘도값의 파형을 도출한다. 도 3(b)에, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형, 41)의 일례를 도시한다. 도 3(b)에서, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41)은, 위치 X1b로부터 우측 방향으로 단조증가하는 파형(41a)과, 파형(41a)으로부터 더욱 우측 방향으로 파선으로 도시되어 있는 파형(41b)으로 구성되어 있다.
좌측 파형(31)의 기울기 변화가 휘도 포화 영역(S)에 근접함에 따라서 완만해지는 경우에는, 피크 휘도값의 파형은 휘도 포화 영역(S) 내에서, 휘도 포화 영역(S)의 경계 근방의 어느 위치에서 휘도값 상승이 한계점이 되는 경향에 있다고 생각된다. 또한 좌측 파형(31)의 기울기 변화가 휘도 포화 영역(S)에 근접함에 따라서 가파르게 되어 있는 경우에는, 피크 휘도값의 파형은 휘도 포화 영역(S) 내에서, 휘도 포화 영역(S)의 경계 근방에서도 휘도값 상승이 한계값이 되지 않고 상승을 계속하고, 휘도 포화 영역(S)의 경계로부터 더욱 멀어진 위치에서 휘도값 상승이 완만해져서 이윽고 한계점이 되는 것과 같은 경향에 있다고 생각된다.
본 제 1 실시형태에서는, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41)을, 좌측 파형(31)의 이차 미분값(D2)을 바탕으로 도출하고 있다. 더욱 구체적으로는, 다음 수식 (1)과 같은 함수 Lh1(x)에 의해, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41)을 도출한다. 함수 Lh1(x)는, 좌측 파형(31)의 형상과, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41)의 형상 사이의, 상기한 것과 같은 관련성을 고려하여 모델화한 함수이다.
식 (1)
Figure pat00001
여기서 L(x)는, 화소(x)와 그 확장 SDR 화상(2)에서의 휘도값의 대응을 나타낸 함수, U1은 HDR 화상(3)의 휘도값의 상한값, U2는 확장 SDR 화상(2)의 휘도값의 상한값, k0, k1, k2는 조정 파라미터이다.
개념적으로는, 상기 수식 (1)은 x1b ≤ x ≤ x1s 부분에서는, 삼각함수의 파형에서 값이 -1부터 1로 추이하는 부분에 의해 모델화되어 있다. x1s는 삼각함수의 값이 1, 즉 최대값이 되는 부분으로, 휘도 포화 영역(S)의 좌측 경계 x1b로부터 휘도 포화 영역(S) 내를 향해서 멀어짐에 따라서 상승한 후에 휘도값이 한계점이 되는 위치에 상당한다. 이 부분은 도 3(b)에서 x1b ≤ x ≤ x1s 부분에 도시되는 파형(41a)에 상당한다. 상기 수식 (1)은, 포화선(33)의 좌측 단부 경계인 위치 x1b로부터, 1개 및 2개 왼쪽에 위치하는 화소의, 확장 SDR 화상(2)에서의 휘도값 L(x1b-1), L(x1b-2)를 바탕으로 계수(w)를 계산하고, 본 계수(w) 및 이차 미분값(D2)을 바탕으로, 휘도 포화 영역에서의 휘도값이 한계점이 되는 위치인 x1s와, x1b부터 x1s까지의 함수 Lh1(x)의 형상을 결정하고 있다.
또한 상기 수식 (1)은 x1s ≤ x ≤ xrb 부분에서는, x1s에서 도달한 최대값을 유지하도록 모델화되어 있다. 이것은 도 3(b)에서 x1s ≤ x ≤ xrb 부분에 파선으로 도시된 파형(41b)에 상당한다. 파형 생성기(11a)는, 이와 같이 해서 생성된 파형(41a)과 파형(41b)을 연결하여, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41)을 생성한다.
파형 생성기(11a)는, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41), 즉 함수 Lh1(x)를, 1차원 파형 합성기(12)로 송신한다.
파형 생성기(11b)는 수평 파형 추출기(10)로부터 수평 방향의 파형을 수신하고, 영역 R2의 파형, 즉 우측 파형(32)을 바탕으로, 휘도 포화 영역(S)에 상당하는 부분에서의, 우측 파형(32)을 바탕으로 한 휘도값의 파형을 도출한다. 도 3(b)에, 우측 파형(32)을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형, 42)의 일례를 도시한다. 도 3(b)에서, 우측 파형(32)을 바탕으로 한 휘도값의 파형(42)은, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41)과 동일하게 파형(42a)과 파형(42b)으로 구성되어 있다.
우측 파형(32)을 바탕으로 한 휘도값의 파형(42)에서도, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41)과 동일하게, 우측 파형(32)의 이차 미분값(D2)을 바탕으로 해서 도출되어 있다. 우측 파형(32)을 바탕으로 한 휘도값의 파형(42)을 도출하는 함수 Lhr(x)는, 상기 수식 (1)과 동일하게, 수식 (1)과 대칭적으로, 설정하는 것이 가능하다. 즉 xrs를 휘도 포화 영역(S)의 우측 경계 xrb로부터 휘도 포화 영역(S) 내를 향해서 멀어짐에 따라서 상승한 후, 휘도값이 한계점이 되는 위치가 되었을 때 xrb로부터 좌측 방향으로 위치 xrs를 향함에 따라서 휘도값이 상승하는 부분의 파형(42a)과, xrs로부터 좌측 휘도값이 일정해진 부분의 파형(42b)을 생성하고, 이들을 연결하여, 우측 파형(32)을 바탕으로 한 휘도값의 파형(42)을 생성한다.
파형 생성기(11b)는, 생성한 우측 파형(32)을 바탕으로 한 휘도값의 파형(42), 즉 함수 Lhr(x)를 일차원 파형 합성기(12)로 송신한다.
일차원 파형 합성기(12)는, 파형 생성기(11a)와 파형 생성기(11b)로부터 각각 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41), 즉 함수 Lh1(x)와, 우측 파형(32)을 바탕으로 한 휘도값의 파형(42), 즉 함수 Lhr(x)를 수신하여 이들을 합성한다.
일차원 파형 합성기(12)는, 위치 x1s와 위치 xrs의 위치 관계에 의해, 다른 식을 이용하여 파형을 합성한다. 우선 도 3(b)에 도시된 것과 같은, 위치 x1s가 위치 xrs의 좌측에 위치하고 있는 경우에는, 다음 수식 (2)에 의해, 도 3(b)에 굵은 선으로 도시되는, 파형(41a), 파형(43) 및 파형(42a)로 이루어지는, 수평 방향에서의 파형(제 1 방향에서의 파형)인 함수 Lh(x)를 도출한다.
식 (2)
Figure pat00002
도 3(b)에서는, 상기 x1b ≤ x ≤ x1s인 경우의 함수 Lh(x)는 파형(41a)에, x1s ≤ x ≤ xrs인 경우의 함수 Lh(x)는 파형(43)에, 그리고 상기 xrs ≤ x ≤ xrb인 경우의 함수 Lh(x)는 파형(42a)에 각각 상당한다. 이와 같이 수식 (2)는, 위치 x1s와 위치 xrs 사이에서는, 위치 x1s에서의 함수 Lh1(x)의 값과 위치 xrs에서의 함수 Lhr(x)의 값을 직선으로 연결하듯이 파형, 즉 함수 Lh(x)를 생성한다.
또한 일차원 파형 합성기(12)는, 도 3(c)에 도시된 것과 같은, 위치 x1s가 위치 xrs의 우측에 위치하고 있는 경우에는, 휘도 포화 영역(S)의 좌측 경계 x1b로부터 우측 방향 및 휘도 포화 영역(S)의 우측 경계 xrb로부터 좌측 방향으로, 각각 함수 Lh1(x)와 함수 Lhr(x)를 봤을 때, 모두 휘도값이 삼각함수의 최대값에 도달하기 전에, 즉 위치 x1s 및 위치 xrs에 도달하여 휘도값이 한계점이 되기 전에 감소 경향으로 바뀌는 것으로 판단하고, 다음 수식 (3)에 의해, 도 3(c)에 굵은 선으로 도시되는, 파형(41a)의 일부와 파형(42a)의 일부로 이루어지는 것과 같은 함수 Lh(x)를 도출한다.
식 (3)
Figure pat00003
이와 같이 위치 x1s가 위치 xrs의 우측에 위치하고 있는 경우에는, 이들 함수의 최소값을 취함으로써, 즉 휘도 포화 영역(S)의 좌측 경계 x1b와 우측 경계 xrb 각각으로부터 파형(41a)과 파형(42a)의 교점까지의 파형을 서로 연결함으로써, 함수 Lh(x)를 도출한다.
이와 같이 파형 생성기(11a), 파형 생성기(11b) 및 일차원 파형 합성기(12)는, 2개의 영역 R1, R2 각각에서, 상기 영역 R1, R2에서의 화소의 휘도값 L(x)의 파형의 이차 미분값(D2)을 바탕으로, 개별로 휘도 포화 영역(S)에서의 파형(41, 42)을 도출하고, 이들을 합성함으로써, 수평 방향에서의 파형, 즉 함수 Lh(x)를 도출한다.
일차원 파형 합성기(12)는, 도출한 수평 방향에서의 파형, 즉 함수 Lh(x)를, 도 2에 도시된 이차원 파형 합성기(16)로 송신한다.
여기서 예외적으로 경계 x1b, xrb가 화상 자체의 외주인 경우가 생각될 수 있다. 예를 들면 어느 화상의 좌측 단부의 화소의 휘도값이 포화된 경우에는, 이 휘도 포화 영역(S)에 상당하는 수평 파형에서는, 경계 x1b의 좌표값이 0이 되기 때문에 영역 R1이 존재하지 않는다. 또한 어느 화상의 우측 단부의 화소의 휘도값이 포화된 경우에는, 이 휘도 포화 영역(S)에 상당하는 수평 파형에서는, 경계 xrb의 좌표값이 0이 되기 때문에 영역 R2가 존재하지 않는다. 이와 같은 경우에는, 함수 Lh1(x) 또는 함수 Lhr(x) 도출에 필요한, 영역 R1 또는 영역 R2 내의, 휘도 포화 영역(S) 근방에 있는 화소의 휘도값을 취득할 수 없기 때문에 함수 Lh1(x) 또는 함수 Lhr(x)의 도출이 불가능하다.
이와 같은 경우에, 함수 Lh1(x) 또는 함수 Lhr(x) 중 어느 일방이 도출되었다면, 도출된 함수를 그대로 함수 Lh(x)로서 이차원 파형 합성기(16)로 출력한다. 또한 예를 들면 화상 내의 어느 행에서, 좌측 단부부터 우측 단부까지, 전화소의 휘도가 포화된 경우 등에는, 함수 Lh1(x)와 함수 Lhr(x) 중 어느 함수도 도출할 수 없다. 이와 같은 경우에는 함수 Lh(x)를 도출할 수 없었던 취지를, 이차원 파형 합성기(16)로 송신한다.
도 2에 도시된 피크 휘도값 생성기(5)는 수평 파형 추출기(10), 파형 생성기(11a, 11b), 일차원 파형 합성기(12)와 동일하게, 다음과 같이 해서 수직 파형 추출기(13), 파형 생성기(14a, 14b), 일차원 파형 합성기(15)를 이용하여, 수직 방향(제 2 방향)에 관해서도 동일하게 수직 방향에서의 파형, 즉 함수 Lv(x)를 도출한다.
수직 파형 추출기(13)는 수평 파형 추출기(10)와 동일하게, 휘도 포화 영역 검출기(4)로부터 확장 SDR 화상(2)과 휘도 포화 영역에 관한 정보를 수신한다. 수직 파형 추출기(13)는 복수의 휘도 포화 영역(S) 각각에 대해서, 상기 휘도 포화 영역(S)이 포함되는 모든 열에서, 도 3(a)에 도시된 파형과 동일한, 휘도 포화 영역(S)과 그 근방의 수직 방향의 파형을 추출하고, 파형 생성기(14a), 파형 생성기(14b)에 송신한다.
파형 생성기(14a)는 파형 생성기(11a)와 동일하게, 수직 파형 추출기(13)로부터 수직 방향의 파형을 수신하고, 휘도 포화 영역(S)의 상측 영역의 파형, 즉 상측 파형을 바탕으로, 휘도 포화 영역에서의, 상측 파형을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형)을 도출하고, 그 함수 Lvt(x)를 일차원 파형 합성기(15)로 송신한다.
파형 생성기(14b)는 파형 생성기(11b)와 동일하게, 수직 파형 추출기(13)로부터 수직 방향의 파형을 수신하고, 휘도 포화 영역(S)의 하측 영역의 파형, 즉 하측 파형을 바탕으로, 휘도 포화 영역에서의, 하측 파형을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형)을 도출하고, 그 함수 Lvb(x)를 일차원 파형 합성기(15)로 송신한다.
일차원 파형 합성기(15)는, 파형 생성기(14a)와 파형 생성기(14b)로부터 각각 상측 파형을 바탕으로 한 휘도값의 파형, 즉 함수 Lvt(x)와, 하측 파형을 바탕으로 한 휘도값의 파형, 즉 함수 Lvb(x)를 수신하고, 이들을 합성한다. 일차원 파형 합성기(15)는, 도 3(b), 도 3(c)를 가지고 설명한 일차원 파형 합성기(12)와 동일하게, 수직 방향에서의 파형, 즉 함수 Lv(x)를 도출하고, 이차원 파형 합성기(16)로 송신한다.
이차원 파형 합성기(16)는, 일차원 파형 합성기(12), 일차원 파형 합성기(15) 각각으로부터, 각 휘도 포화 영역에 대하여, 상기 휘도 포화 영역이 포함되는 모든 행에서의 수평 방향의 파형, 즉 함수 Lh(x)와, 상기 휘도 포화 영역이 포함되는 모든 열에서의 수직 방향의 파형, 즉 함수 Lv(x)를 수신하고 다음과 같이 이들을 합성한다.
이차원 파형 합성기(16)는, 휘도 포화 영역에 속하는 모든 화소에 대해서, 상기 화소가 위치하는 행의 함수 Lh(x)에서의 상기 화소의 휘도값과, 상기 화소가 위치하는 열의 함수 Lv(x)에서의 상기 화소의 휘도값의 평균을 계산함으로써, 상기 화소의 잠정적인 피크 휘도값인 잠정 피크 휘도값을 결정한다.
그러나 일차원 파형 합성기(12)에 관해서 설명한 것과 같이 함수 Lh1(x)와 함수 Lhr(x) 중 어느 것 혹은 둘 다 도출되지 않는 경우가 있다. 수직 방향에 관해서도 동일하게 함수 Lvt(x)와 함수 Lvb(x) 중 어느 것 혹은 둘 다 도출되지 않는 경우가 있다.
이차원 파형 합성기(16)는, 예를 들면 어느 행에서, 함수 Lh(x)를 도출하는 바탕이 되는 함수 Lh1(x), Lhr(x) 중 어느 일방이 도출되지 않은 경우에는, 휘도 포화 영역의 상기 행 내의 화소에서는 함수 Lh(x)와 함수 Lv(x)의 평균을 계산할 때, 함수 Lh(x)와 함수 Lv(x)에, 예를 들면 1:2의 가중치를 부여하여 평균을 계산한다. 반대로 함수 Lv(x)를 도출하는 바탕이 되는 함수 Lvt(x), Lvb(x) 중 어느 일방이 도출되지 않은 경우에는, 휘도 포화 영역의 상기 열 내의 화소에서는 함수 Lh(x)와 함수 Lv(x)의 평균을 계산할 때, 함수 Lh(x)와 함수 Lv(x)에, 예를 들면 2:1의 가중치를 부여하여 평균을 계산한다. 이와 같이 보다 많은 정보를 바탕으로 도출된 함수에 큰 가중치를 부여하도록 해서 평균을 계산한다.
또한 어느 행에서, 함수 Lh(x)를 도출하는 바탕이 되는 함수 Lh1(x), Lhr(x) 둘 다 도출되지 않은 경우에는, 상기 행 내의 화소에서는, 함수 Lv(x)의 값 자체를 상기 화소의 잠정 피크 휘도값으로 한다. 반대로 어느 열에서, 함수 Lv(x)를 도출하는 바탕이 되는 함수 Lvt(x), Lvb(x) 둘 다 도출되지 않은 경우에는, 상기 열 내의 화소에서는, 함수 Lh(x)의 값 자체를 상기 화소의 잠정 피크 휘도값으로 한다.
더욱이 휘도 포화 영역 내의 어느 화소에 관해서, 상기 화소가 위치하는 행에서의 함수 Lh(x)와, 상기 화소가 위치하는 열에서의 함수 Lv(x) 중 어느 것도 도출되지 않은 경우에는, 상기 화소의 잠정 피크 휘도값을 확장 SDR 화상(2)의 휘도값의 상한값으로 한다.
이차원 파형 합성기(16)는 상기와 같이 해서, 확장 SDR 화상(2) 내의 모든 휘도 포화 영역에 관해서 상기 휘도 포화 영역 내의 모든 화소의 잠정 피크 휘도값을 결정하고, 이차원 LPF(17)로 송신한다.
이차원 LPF(17)는, 이차원 파형 합성기(16)로부터 각 화소의 잠정 피크 휘도값을 수신하고, LPF를 적용하여 휘도 포화 영역의 최종적인 피크 휘도값의 파형을 도출하고, 각 화소의 피크 휘도값을 산출한다. 상기와 같이 생성된, 휘도 포화 영역 내의 각 화소의 잠정 피크 휘도값은, 화소마다 함수 Lh(x)와 함수 Lv(x)의 평균을 계산함으로써 결정되어 있기 때문에, 인접하는 화소 사이에서 잠정 피크 휘도값에 일정 이상의 차이가 발생했을 가능성이 있다. 이차원 LPF(17)는, 잠정 피크 휘도값에 LPF를 적용하여 인접하는 휘도값 사이의 변화를 둔화시킴으로써, 이차원 LPF(17)가 출력하는 피크 휘도값이 화상 전체적으로 자연스럽게 보이도록 조정하고 있다.
이차원 LPF(17)는, 각 휘도 포화 영역에 대하여, 산출한 피크 휘도값을 출력한다.
이상과 같이 피크 휘도값 생성기(5)는, 수평 방향인 제 1 방향에서 휘도 포화 영역(S)을 개재하듯이 위지하는 2개의 영역(R1, R2)에 관하여, 상기 2개의 영역(R1, R2) 각각에서의 화소의 휘도값의 파형(31, 32)의 이차 미분값(D2)을 바탕으로, 제 1 방향에서의 파형 Lh(x)를 도출하고, 상기 제 1 방향에서의 파형 Lh(x)로부터 피크 휘도값의 파형을 도출한다.
또한 제 1 방향과는 다른 제 2 방향에 관해서도, 상기 제 2 방향에서의 파형 Lv(x)를 도출하고, 제 1 방향에서의 파형 Lh(x)와 제 2 방향에서의 파형 Lv(x)로부터 피크 휘도값의 파형을 도출한다.
더욱이 제 1 방향에서의 파형 Lh(x)와 제 2 방향에서의 파형 Lv(x)를 합성하고, 로우 패스 필터를 적용함으로써, 피크 휘도값의 파형을 도출한다.
도 1에 도시된 지연 회로(6)는, 휘도 포화 영역 검출기(4)로부터 확장 SDR 화상(2)을 수신한다. 지연 회로(6)는 수신한 확장 SDR 화상(2)에 대해서 적절히 지연시킨다. 이 '적절히 지연'이란, 피크 휘도값 생성기(5)에 의한 처리의 지연분을 보상하고, 지연 회로(6)를 통하여 화상 합성기(7)로 송신되는 확장 SDR 화상(2)과, 피크 휘도값 생성기(5)로부터 송신되는 휘도 포화 영역에서의 피크 휘도값의 파형을 동기하기 위한 것이다.
지연 회로(6)는, 지연이 적용된 확장 SDR 화상(2)을 화상 합성기(7)로 송신한다.
화상 합성기(7)는 지연 회로(6)로부터 확장 SDR 화상(2)을, 피크 휘도값 생성기(5)로부터 휘도 포화 영역의 각 화소의 피크 휘도값을 각각 수신한다. 화상 합성기(7)는, 확장 SDR 화상(2)의 휘도 포화 영역의 각 화소의 휘도값을, 상기 화소의 피크 휘도값으로 변환함으로써 HDR 화상(3)을 생성한다.
화상 합성기(7)는, 생성한 HDR 화상(3)을 외부로 출력한다.
다음으로 도 1 내지 도 3을 참조하여, 상기 화상 처리 회로(1)를 사용한 화상 처리 방법을 설명한다.
본 화상 표시 방법은, 제 1 다이나믹 레인지 화상을, 상기 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지 화상으로 변환하는 화상 처리 방법으로서, 제 1 다이나믹 레인지 화상의, 휘도값이 제 1 다이나믹 레인지의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출하고, 검출된 휘도 포화 영역에 대해서, 휘도 포화 영역의 근방에 위치하는 화소에 관하여 얻어지는 휘도값의 파형을 바탕으로, 휘도 포화 영역 내의 각 화소의 상한값을 초과한 피크 휘도값의 파형을 도출하여 피크 휘도값을 산출하고, 제 1 다이나믹 레인지 화상과 휘도 포화 영역의 각 화소의 피크 휘도값으로부터 제 2 다이나믹 레인지 화상을 생성한다. 또한 제 1 방향에서 휘도 포화 영역을 개재하듯이 위치하는 2개의 영역에 관하여, 상기 2개의 영역 각각에서의 화소의 휘도값의 파형의 이차 미분값을 바탕으로 제 1 방향의 파형을 도출하고, 제 1 방향의 파형으로부터 피크 휘도값의 파형을 도출한다.
우선 휘도 포화 영역 검출기(4)가 입력된 확장 SDR 화상(2)을 수신하고, 확장 SDR 화상(2)의 각 화소의 휘도값과, 확장 SDR 화상(2)의 다이나믹 레인지의 상한값을 비교하여, 휘도값이 상한값에 일치하고 있는 화소를 검색함으로써, 휘도값이 확장 SDR 화상(2)의 휘도값의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출한다. 휘도 포화 영역 검출기(4)는, 확장 SDR 화상(2)을 그대로 지연 회로(6)에 송신하는 동시에 확장 SDR 화상(2)과, 검출한 휘도 포화 영역에 관한 정보를, 피크 휘도값 생성기(5)로 송신한다.
피크 휘도값 생성기(5)의 수평 파형 추출기(10)는, 휘도 포화 영역 검출기(4)로부터 확장 SDR 화상(2)과 휘도 포화 영역에 관한 정보를 수신한다. 수평 파형 추출기(10)는, 모든 휘도 포화 영역의 각각에 대하여, 확장 SDR 화상(2) 내의, 화소에 의해 구성되는 행 중에서 휘도 포화 영역이 포함되는 모든 행에서, 상기 행에서의 수평 방향의 파형을 생성한다. 수평 파형 추출기(10)는, 추출된 수평 방향의 파형을 파형 생성기(11a), 파형 생성기(11b)에 송신한다.
파형 생성기(11a)는, 수평 파형 추출기(10)로부터 수평 방향의 파형을 수신하고, 영역 R1의 파형, 즉 좌측 파형(31)을 바탕으로, 휘도 포화 영역(S)에 상당하는 부분에서의, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형)을 도출한다. 본 제 1 실시형태에서는, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41)을, 상기 수식 (1)과 같이, 좌측 파형(31)의 이차 미분값(D2)을 바탕으로 도출하고 있다. 파형 생성기(11a)는, 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41), 즉 함수 Lh1(x)를 일차원 파형 합성기(12)로 송신한다.
파형 생성기(11b)는 수평 파형 추출기(10)로부터 수평 방향의 파형을 수신하고, 영역 R2의 파형, 즉 우측 파형(32)을 바탕으로, 휘도 포화 영역(S)에 상당하는 부분에서의, 우측 파형(32)을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형)을 도출한다. 파형 생성기(11b)는, 우측 파형(32)을 바탕으로 한 휘도값의 파형(42), 즉 함수 Lhr(x)를 일차원 파형 합성기(12)로 송신한다.
일차원 파형 합성기(12)는, 파형 생성기(11a)와 파형 생성기(11b)로부터 각각 좌측 파형(31)을 바탕으로 한 휘도값의 파형(41), 즉 함수 Lh1(x)와, 우측 파형(32)을 바탕으로 한 휘도값의 파형(42), 즉 함수 Lhr(x)를 수신하여 이들을 합성한다. 합성은 상기 수식 (2)에 의해 수행된다. 일차원 파형 합성기(12)는 도출한 수평 방향에서의 파형, 즉 함수 Lh(x)를 이차원 파형 합성기(16)로 송신한다.
수직 파형 추출기(13)는 수평 파형 추출기(10)와 동일하게, 휘도 포화 영역 검출기(4)로부터 확장 SDR 화상(2)과 휘도 포화 영역에 관한 정보를 수신한다. 수직 파형 추출기(13)는 복수의 휘도 포화 영역(S) 각각에 대해서, 상기 휘도 포화 영역(S)이 포함되는 모든 열에서, 휘도 포화 영역(S)과 그 근방의 수직 방향의 파형을 추출하고, 파형 생성기(14a), 파형 생성기(14b)에 송신한다.
파형 생성기(14a)는 파형 생성기(11a)와 동일하게, 수직 파형 추출기(13)로부터 수직 방향의 파형을 수신하고, 휘도 포화 영역(S)의 상측 영역의 파형, 즉 상측 파형을 바탕으로, 휘도 포화 영역에서의, 상측 파형을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형)을 도출하고, 그 함수 Lvt(x)를 일차원 파형 합성기(15)로 송신한다.
파형 생성기(14b)는 파형 생성기(11b)와 동일하게, 수직 파형 추출기(13)로부터 수직 방향의 파형을 수신하고, 휘도 포화 영역(S)의 하측 영역의 파형, 즉 하측 파형을 바탕으로, 휘도 포화 영역에서의, 하측 파형을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형)을 도출하고, 그 함수 Lvb(x)를 일차원 파형 합성기(15)로 송신한다.
일차원 파형 합성기(15)는, 파형 생성기(14a)와 파형 생성기(14b)로부터 각각 상측 파형을 바탕으로 한 휘도값의 파형, 즉 함수 Lvt(x)와, 하측 파형을 바탕으로 한 휘도값의 파형, 즉 함수 Lvb(x)를 수신하고 이들을 합성한다. 일차원 파형 합성기(15)는 일차원 파형 합성기(12)와 동일하게, 수직 방향에서의 파형인 함수 Lv(x)를 도출하고 수평 파형 추출기(10)로 송신한다.
이차원 파형 합성기(16)는, 일차원 파형 합성기(12), 일차원 파형 합성기(15) 각각으로부터, 각 휘도 포화 영역에 대하여, 상기 휘도 포화 영역이 포함되는 모든 행에서의 수평 방향의 파형, 즉 함수 Lh(x)와, 상기 휘도 포화 영역이 포함되는 모든 열에서의 수직 방향의 파형, 즉 함수 Lv(x)를 수신한다. 이차원 파형 합성기(16)는 이들을 합성함으로써, 확장 SDR 화상(2) 내의 모든 휘도 포화 영역에 관하여, 상기 휘도 포화 영역 내의 모든 화소의 잠정 피크 휘도값을 결정하고, 이차원 LPF(17)로 송신한다.
이차원 LPF(17)는, 이차원 파형 합성기(16)로부터 각 화소의 잠정 피크 휘도값을 수신하고, LPF를 적용하여 휘도 포화 영역의 최종적인 피크 휘도값의 파형을 도출하고, 각 화소의 피크 휘도값을 산출한다. 이차원 LPF(17)는, 각 휘도 포화 영역(S)에 대하여, 도출한 피크 휘도값을 출력한다.
화상 합성기(7)는, 휘도 포화 영역 검출기(4)로부터 지연 회로(6)를 거친 확장 SDR 화상(2)을, 피크 휘도값 생성기(5)로부터 휘도 포화 영역의 각 화소의 피크 휘도값을, 각각 수신한다. 화상 합성기(7)는, 확장 SDR 화상(2)의 휘도 포화 영역의 각 화소의 휘도값을 상기 화소의 피크 휘도값으로 변환함으로써 HDR 화상(3)을 생성하고, 외부로 출력한다.
다음으로 상기 화상 처리 회로 및 화상 처리 방법의 효과에 대하여 설명한다.
상기와 같은 구성에 의하면, 휘도 포화 영역 검출기(4)가, 제 1 다이나믹 레인지 화상의, 휘도값이 제 1 다이나믹 레인지 화상의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출하고, 피크 휘도값 생성기(5)가, 검출된 휘도 포화 영역에 대해서, 휘도 포화 영역 근방에 위치하는 화소에 관하여 얻어지는 휘도값의 파형을 바탕으로, 휘도 포화 영역 내의 각 화소의 상한값을 초과한 피크 휘도값의 파형을 도출하여 피크 휘도값을 산출하고, 화상 합성기(7)가, 제 1 다이나믹 레인지 화상과 휘도 포화 영역의 각 화소의 피크 휘도값으로부터, 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지 화상을 생성한다. 즉, 제 1 다이나믹 레인지 화상의 휘도가 포화된 부분에서, 제 1 다이나믹 레인지 화상의 휘도의 상한값에 의해 제한됨으로써 제 1 다이나믹 레인지 화상에서는 표현할 수 없었던, 제 1 다이나믹 레인지 화상의 휘도의 상한값 이상의 높은 휘도값을 추측하여 보완할 수 있다. 이로써 제 1 다이나믹 레인지 화상으로부터, 제 2 다이나믹 레인지 화상 표시 장치에서 표시했을 때 인간의 눈에 자연스럽고 아름답게 비치는, 고휘도 영역에서의 표현 능력이 뛰어난 제 2 다이나믹 레인지 화상으로 변환하는 것이 가능해진다.
또한 피크 휘도값 생성기(5)는, 수평 방향 및 수직 방향 각각에서, 휘도 포화 영역을 개재하듯이 위치하는 2개의 영역에 관하여, 수식 (1)을 가지고 설명한 것과 같이 상기 2개의 영역 각각에서의 화소의 휘도값의 파형의 이차 미분값을 바탕으로, 수평 방향 및 수직 방향 각각에서의 파형을 도출하고, 피크 휘도값의 파형을 도출한다. 이로써 휘도 포화 영역 외측의 휘도값의 파형과, 휘도 포화 영역 내측에서 생성된 피크 휘도값의 파형이 매끄럽게 연속되므로, 제 1 다이나믹 레인지 화상으로부터, 제 2 다이나믹 레인지 화상 표시 장치에서 표시했을 때 위화감 없이 인간의 눈에 자연스럽고 아름답게 비치는, 고휘도 영역에서의 표현 능력이 더욱 뛰어난 제 2 다이나믹 레인지 화상으로 변환하는 것이 가능해진다.
또한 피크 휘도값 생성기(5)는 도 3을 가지고 설명한 것과 같이 수평 방향 및 수직 방향 각각에서, 휘도 포화 영역을 개재하듯이 위치하는 2개의 영역 각각에서, 개별로 휘도 포화 영역에서의 파형을 도출하고 이들을 합성함으로써, 수평 방향 및 수직 방향 각각에서의 파형을 도출하고, 피크 휘도값의 파형을 도출한다. 즉, 예를 들면 수평 방향에서의 파형을 도출하는 경우에는, 휘도 포화 영역의 좌측 부분 파형은 휘도 포화 영역의 좌측 방향에 위치하는 휘도값을 바탕으로, 또 휘도 포화 영역의 우측 부분 파형은 휘도 포화 영역의 우측 방향에 위치하는 휘도값을 바탕으로 개별 도출된다. 이로써 휘도 포화 영역 내의 특히 주변 부분의 피크 휘도값이, 상기 주변 부분에 접하는 휘도 포화 영역 외측 영역의 휘도값에 비교적 강하게 의존하도록 피크 휘도값의 파형을 도출할 수 있으므로, 휘도 포화 영역 외측의 휘도값의 파형과, 휘도 포화 영역 내측에서 생성된 피크 휘도값의 파형이 매끄럽게 연속된다. 따라서 제 1 다이나믹 레인지 화상으로부터, 제 2 다이나믹 레인지 화상 표시 장치에서 표시했을 때 인간의 눈에 자연스럽고 아름답게 비치는, 고휘도 영역에서의 표현 능력이 더욱 뛰어난 제 2 다이나믹 레인지 화상으로 변환하는 것이 가능해진다.
또한 피크 휘도값 생성기(5)는, 수평 방향에서의 파형과 수직 방향에서의 파형을 합성하고 로우 패스 필터를 적용함으로써, 피크 휘도값의 파형을 도출한다. 상기와 같이 로우 패스 필터를 실시하는 이차원 LPF(17)는, 인접하는 휘도값 사이의 변화를 둔화시킴으로써, 이차원 LPF(17)가 출력하는 피크 휘도값이 화상 전체적으로 자연스럽게 보이도록 조정하고 있다. 이로써 제 1 다이나믹 레인지 화상으로부터, 제 2 다이나믹 레인지 화상 표시 장치에서 표시했을 때 인간의 눈에 자연스럽고 아름답게 비치는, 고휘도 영역에서의 표현 능력이 더욱 뛰어난 제 2 다이나믹 레인지 화상으로 변환하는 것이 가능해진다.
또한 화상 합성기(7)는, 제 1 다이나믹 레인지 화상의, 휘도 포화 영역의 각 화소의 휘도값을 상기 화상의 피크 휘도값으로 변환함으로써, 제 2 다이나믹 레인지 화상을 생성한다. 즉, 제 1 다이나믹 레인지 화상을 제 2 다이나믹 레인지 화상으로 변환할 때, 제 1 다이나믹 레인지 화상에 대해서 적용되는 보정 처리는 휘도 포화 영역에 해당하는 부분으로 제한된다. 즉, 휘도 포화 영역 이외의 영역에 대한 보정 처리가 수행되지 않으므로, 휘도 포화 영역 이외의 영역에서는 원래 입력되는 제 1 다이나믹 레인지 화상의 화질을 유지한 후 제 2 다이나믹 레인지 화상으로 변환하는 것이 가능하다.
또한 본 제 1 실시형태에서는, 제 1 다이나믹 레인지 화상의 각 화소의 원래 휘도값에, 예를 들면 5 등의 일정한 값이 미리 곱해진 화상, 즉 확장 SDR 화상(2)을, 화상 처리 회로(1)에 입력으로 하고 있다. 이로써 이미 설명한 것과 같이, 제 2 다이나믹 레인지 화상의, 넓은 다이나믹 레인지가 충분히 활용 가능해진다. 따라서 제 1 다이나믹 레인지 화상으로부터, 제 2 다이나믹 레인지 화상 표시 장치에서 표시했을 때 인간의 눈에 자연스럽고 아름답게 비치는, 고휘도 영역에서의 표현 능력이 더욱 뛰어난 제 2 다이나믹 레인지 화상으로 변환하는 것이 가능해진다.
<제 2 실시형태>
다음으로, 제 2 실시형태에서의 화상 표시 장치를 설명한다. 도 4는, 제 2 실시형태에서의 화상 표시 장치(50)의 신호 처리 블록도이다. 화상 표시 장치(50)에서는 제 1 실시형태와 동일하게, 제 1 다이나믹 레인지는 SDR이고, 제 1 다이나믹 레인지보다 넓은 범위의 제 2 다이나믹 레인지는 HDR이다. 화상 표시 장치(50)는, 제 1 실시형태로서 도시한 화상 처리 회로(1)를, SDR 화상 처리부(57)로서 구비한 표시 장치이다.
화상 표시 장치(50)는 I/F(인터페이스)부(51), 제 1 HDR용 EOTF(Electro-Optical Transfer Function) 계조 변환기(52), 제 2 HDR용 EOTF 계조 변환기(53), SDR용 EOTF 계조 변환기(EOTF 계조 변환기, 54), 제 1 HDR 화상 처리부(55), 제 2 HDR 화상 처리부(56), SDR 화상 처리부(화상 처리 회로, 57), 셀렉터(58), OETF(Optical-Electro Transfer Function) 계조 변환기(59), 패널 구동제어부(60) 및 HDR 화상 표시 패널(화상 표시 패널, 61)을 구비하고 있다.
I/F부(51)는 화상 표시 장치(50)의 외부로부터 화상 데이터와 조작 정보 등을 수신하고, 후단에 위치하는 제 1 HDR용 EOTF 계조 변환기(52), 제 2 HDR용 EOTF 계조 변환기(53) 또는 SDR용 EOTF 계조 변환기(54) 중에서 어느 적절한 처리 경로로 화상 데이터를 송신한다. 예를 들면 화상 데이터가 PQ 방식 HDR 화상인 경우에는 제 1 HDR용 EOTF 계조 변환기(52)로, HLG 방식 HDR 화상인 경우에는 제 2 HDR용 EOTF 계조 변환기(53)로, SDR 화상인 경우에는 SDR용 EOTF 계조 변환기(54)로 화상 데이터를 송신한다.
제 1 HDR용 EOTF 계조 변환기(52)는 HDR 화상을 수신하고, PQ 방식에 의해 선형(Linear) 신호로 EOTF 계조 변환을 수행하고, 계조 변환된 화상 데이터를 제 1 HDR 화상 처리부(55)로 송신한다. 제 1 HDR 화상 처리부(55)는, 계조 변환된 화상 데이터를 수신하고 노이즈 저감과 화소값 레벨 조정 등 화상 처리를 수행한다.
제 2 HDR용 EOTF 계조 변환기(53)는 HDR 화상을 수신하고, HLG 방식에 의해 선형(Linear) 신호로 EOTF 계조 변환을 수행하고, 계조 변환된 화상 데이터를 제 2 HDR 화상 처리부(56)로 송신한다. 제 2 HDR 화상 처리부(56)는, 계조 변환된 화상 데이터를 수신하고 노이즈 저감과 화소값 레벨 조정 등 화상 처리를 수행한다.
SDR용 EOTF 계조 변환기(54)는 SDR 화상을 수신하여 선형(Linear) 신호로 EOTF 계조 변환을 수행하고, 계조 변환된 화상 데이터를 SDR 화상 처리부(57)로 송신한다. SDR 화상 처리부(57)는, 계조 변환된 화상 데이터를 수신하고 상기 제 1 실시형태에서 설명한 것과 같은 화상 처리를 수행한다.
셀렉터(58)는 I/F부(51)로부터의 화상 데이터 송신처에 맞추어, 제 1 HDR 화상 처리부(55), 제 2 HDR 화상 처리부(56), SDR 화상 처리부(57) 중에서 어느 것을 선택하고, 선택처로부터 적절한 화상 데이터를 수신한다. 셀렉터(58)는, 수신한 화상 데이터를 OETF 계조 변환기(59)로 송신한다.
OETF 계조 변환기(59)는, 셀렉터(58)에 의해 선택된 화상 처리부로부터 HDR 화상을 수신하고, 비디오 신호로, 패널 표시 특성에 맞춘 OETF 계조 변환을 수행하여, 패널 구동제어부(60)로 송신한다. HDR 화상 표시 패널(61)은, 수신한 OETF 계조 변환 후의 HDR 화상을 바탕으로 화상을 표시한다.
본 제 2 실시형태에서의 화상 표시 장치(50)가, 상기 제 1 실시형태와 동일한 효과를 가지는 것은 말할 것도 없다.
<제 3 실시형태>
다음으로, 제 3 실시형태에서의 화상 표시 장치를 설명한다. 도 5는, 제 3 실시형태에서의 화상 변환 장치(70)의 신호 처리 블록도이다. 화상 변환 장치(70)에서는 제 1 실시형태와 동일하게, 제 1 다이나믹 레인지는 SDR이고, 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지는 HDR이다. 화상 변환 장치(70)는, 제 1 실시형태로서 도시한 화상 처리 회로(1)를, SDR 화상 처리부(73)로서 구비한 변환 장치이다.
화상 변환 장치(70)는 I/F부(71), SDR용 EOTF 계조 변환기(EOTF 계조 변환기, 72), SDR 화상 처리부(화상 처리 회로, 73), 제 1 HDR용 OETF 계조 변환기(OETF 계조 변환기, 74), 제 2 HDR용 OETF 계조 변환기(OETF 계조 변환기, 75) 및 셀렉터(76)를 구비하고 있다.
I/F부(71)는 화상 변환 장치(70)의 외부로부터 SDR 화상과 조작 정보 등을 수신하고, SDR용 EOTF 계조 변환기(72)로 송신한다.
SDR용 EOTF 계조 변환기(72)는 SDR 화상을 수신하여 선형(Linear) 신호로 EOTF 계조 변환을 수행하고, 계조 변환된 화상 데이터를 SDR 화상 처리부(73)로 송신한다. SDR 화상 처리부(73)는, 계조 변환된 화상 데이터를 수신하고 상기 제 1 실시형태에서 설명한 것과 같은 화상 처리를 수행하여 HDR 화상을 생성하고, 제 1 HDR용 OETF 계조 변환기(74), 제 2 HDR용 OETF 계조 변환기(75)로 송신한다.
제 1 HDR용 OETF 계조 변환기(74)는 SDR 화상 처리부(73)로부터 HDR 화상을 수신하고, PQ 방식에 의해 OETF 계조 변환을 수행한다. 제 2 HDR용 OETF 계조 변환기(75)는 SDR 화상 처리부(73)로부터 HDR 화상을 수신하고, HLG 방식에 의해 OETF 계조 변환을 수행한다.
셀렉터(76)는, 출력할 HDR 방식을 PQ 방식과 HLG 방식 중에서 선택하고, 제 1 HDR용 OETF 계조 변환기(74) 또는 제 2 HDR용 OETF 계조 변환기(75) 중 어느 것으로부터 화상 데이터를 수신한다. 셀렉터(76)는, 수신한 화상 데이터를 화상 변환 장치(70) 외부로 송신한다.
본 제 3 실시형태에서의 화상 변환 장치(70)가, 상기 제 1 실시형태와 동일한 효과를 가지는 것은 말할 것도 없다.
<실험 결과>
다음으로 도 6, 도 7을 참조하여, 상기 제 1 실시형태에 관한 실험 결과에 대하여 설명한다.
우선 도 6(a)에 도시된 SDR 화상을, 상기 제 1 실시형태의 화상 처리 회로(1)에 의해 HDR 화상으로 변환했다. 변환 전 SDR 화상에는, 화상의 중앙 상부에 밝은 영역이 있다. 도 6(b)는, 이 밝은 영역이 포함되는 A 부분에서의 밝은 영역 근방의 수평 방향 파형이다. 도 6(b)에서는 서브 픽셀(R, G, B) 각각의 휘도값에 관하여, 대응하는 파형이 각각 파형(80, 81, 82)으로서 도시되어 있다. 도 6(b)로부터 알 수 있듯이 상기 밝은 영역에서는 서브 픽셀(R과 G), 즉 파형(80, 81)에 관해서는 그 상측 단부가 대략 수평으로 되어 있다. 즉 서브 픽셀(R과 G)에 관해서는, 휘도값이 SDR 화상의 휘도값의 상한값(U)이 되어 휘도가 포화되고, 휘도 포화 영역이 형성되어 있다.
상기 SDR 화상을 화상 처리 회로(1)에 의해 변환한 변환 후 HDR 화상의, 도 6(b)와 동일한 부분에서의 파형을 도 6(c)에 도시한다. 도 6(c)에서는 서브 픽셀(R, G, B) 각각의 휘도값에 관하여, 대응하는 파형이 각각 파형(83, 84, 85)으로서 도시되어 있다. 파형(83, 84)으로부터 알 수 있듯이 변환 후 HDR 화상에서는, 변환 전 SDR 화상의 서브 픽셀(R, G)에서 형성된 휘도 포화 영역에 상당하는 부분에, SDR 화상의 휘도값의 상한값(U)을 상회하는 피크 휘도값을 가지는, 매끄러운 형상의 파형이 형성되어 있다.
다음으로 도 7(a)에 도시된 것과 같은, 휘도 포화 영역이 형성되어 있는 파형을 구비한 SDR 화상을, 상기 제 1 실시형태의 화상 처리 회로(1)에 의해 HDR 화상으로 변환했다. 도 7(a)에서는 서브 픽셀(R, G, B) 각각의 휘도값에 관하여, 대응하는 파형이 각각 파형(90, 91, 92)으로서 도시되어 있다. 도 7(a)로부터 알 수 있듯이 서브 픽셀(R), 즉 파형(90)에 관해서는 휘도 포화 영역이 형성되어 있다.
상기 SDR 화상을 화상 처리 회로(1)에 의해 변환한 변환 후 HDR 화상의, 도 7(a)와 동일한 부분에서의 파형을 도 7(b)에 도시한다. 도 7(b)에서는 서브 픽셀(R, G, B) 각각의 휘도값에 관하여, 대응하는 파형이 각각 파형(93, 94, 95)으로서 도시되어 있다. 파형(93)으로부터 알 수 있듯이 변환 후 HDR 화상에서는, 변환 전 SDR 화상의 서브 픽셀(R)에서 형성된 휘도 포화 영역에 상당하는 부분에, SDR 화상의 휘도값의 상한값(U)을 상회하는 피크 휘도값을 가지는, 매끄러운 형상의 파형이 형성되어 있다.
여기서, 변환 후 HDR 화상의 파형(93)은 화상 처리 회로(1)에 의해, 상기 수식 (2)에 의해 생성되어 있다. 수식 (2)는 도 3(b)를 가지고 설명한 것과 같이, 위치 x1s가 위치 xrs의 좌측에 위치하고 있는 경우, 위치 x1s와 위치 xrs 사이 부분의 수평 방향의 휘도값의 파형을, 함수 Lh1(x)에서의 위치 x1s의 휘도값과 함수 Lhr(x)에서의 위치 xrs의 휘도값을 직선으로 연결하는 것처럼 생성하는 것이지만, 도 7(b)에 도시된 파형(93)에서는, 휘도 포화 영역을 보완한 피크 휘도값에 상당하는 부분의 파형이 직선이 아니라, 상하 방향에 미묘한 요철을 구비한 것과 같은 형상으로 되어 있다.
이것은, 화상 처리 회로(1)에서는 수평 방향과 수직 방향, 2방향에서 각 행, 각 열마다 파형을 생성하고, 수평 방향과 수직 방향 파형의 교점에 위치하는 화소마다 2개 파형의 평균을 계산함으로써 피크 휘도값을 도출하고 있는 점에 기인한다. 즉, 본 실험예에서는 파형(90)에 직교하는, 도시되지 않은 수직 방향 파형의 영향으로, 파형(93)에서 좌우로 인접하는 화소의 피크 휘도값에 차이가 나타나고 있다. 이 휘도값의 차이가, 로우 패스 필터가 적용되어 파형이 완만해짐으로써 주위에 영향을 끼쳐, 도 7(b)에 도시된 것과 같은 미묘한 요철이 형성되어 있다.
또한 본 발명의 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법은, 도면을 참조하여 설명한, 상술한 각 실시형태에 한정되는 것이 아니라 그 기술적 범위에서 다른 다양한 변형예를 생각할 수 있다.
예를 들면 상기 각 실시형태에서는, 제 1 다이나믹 레인지는 SDR이고, 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지는 HDR이라고 했지만 여기에 한정되지 않고, 화상 처리의 입력이 되는 화상의 다이나믹 레인지가, 화상 처리의 출력이 되는 화상의 다이나믹 레인지보다 상대적으로 낮은 관계에 있으면 되는 것은 말할 것도 없다.
또한 상기 각 실시형태에서 수식 (1)에 입력되는 U1, U2, k0, k1, k2 등의 각 파라미터는, 화상 처리 회로(1)의 외부로부터 변경 가능하게 설정되도록 되어 있어도 된다.
또한 상기 각 실시형태에서는, 예를 들면 수평 방향에 관하여, 우측 파형을 바탕으로 한 휘도값의 파형을 도출할 때, 좌측 파형을 바탕으로 한 휘도값의 파형을 도출하는 수식 (1)과 대칭적인 함수 Lhr(x)를 개별로 이용했지만, 여기에 한정되지 않는다. 예를 들면 우측 파형을 바탕으로 한 휘도값의 파형은, 수평 파형 추출기(10)에서의 파형 추출 시에, 화소를 좌우 반대 방향으로 재배열한 상태의 파형을 생성하고, 이를, 수식 (1)을 실현한 파형 생성기(11a)와 동일한 구성의 파형 생성기에 입력한 후 상기 파형 생성기로부터의 출력을 다시 좌우 반대 방향으로 되돌리도록 함으로써, 수식 (1)과 동일한 모델을 사용하는 것이 가능하다.
또한 상기 제 2, 제 3 실시형태에서는, HDR용 EOTF 계조 변환기, 이에 대응하는 화상 처리부 및 HDR용 OETF 계조 변환기는 PQ 방식과 HLG 방식, 2종류 방식에 대해서 2개씩 설치되어 있었지만 여기에 한정되지 않고 다른 개수여도 된다.
이외에도 본 발명의 주지를 벗어나지 않는 한 상기 각 실시형태에서 예로 든 구성을 취사선택하거나 다른 구성으로 적절히 변경하는 것이 가능하다.
1: 화상 처리 회로
2: 확장 SDR 화상(제 1 다이나믹 레인지 화상)
3: HDR 화상(제 2 다이나믹 레인지 화상)
4: 휘도 포화 영역 검출기
5: 피크 휘도값 생성기
6: 지연 회로
7: 화상 합성기
10: 수평 파형 추출기
11a, 11b: 파형 생성기
12, 15: 일차원 파형 합성기
13: 수직 파형 추출기
14a, 14b: 파형 생성기
16: 이차원 파형 합성기
17: 이차원 LPF
31: 좌측 파형(영역에서의 화소의 휘도값의 파형)
32: 우측 파형(영역에서의 화소의 휘도값의 파형)
41: 좌측 파형을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형)
42: 우측 파형을 바탕으로 한 휘도값의 파형(휘도 포화 영역에서의 파형)
50: 화상 표시 장치
51, 71: I/F부
52: 제 1 HDR용 EOTF 계조 변환기
53: 제 2 HDR용 EOTF 계조 변환기
54, 72: SDR용 EOTF 계조 변환기(EOTF 계조 변환기)
55: 제 1 HDR 화상 처리부
56: 제 2 HDR 화상 처리부
57, 73: SDR 화상 처리부(화상 처리 회로)
58, 76: 셀렉터
59: OETF 계조 변환기
60: 패널 구동제어부
61: HDR 화상 표시 패널(화상 표시 패널)
70: 화상 변환 장치
R1, R2: 영역
S: 휘도 포화 영역
74: 제 1 HDR용 OETF 계조 변환기(OETF 계조 변환기)
75: 제 2 HDR용 OETF 계조 변환기(OETF 계조 변환기)

Claims (13)

  1. 제 1 다이나믹 레인지 화상을, 상기 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지 화상으로 변환하는 화상 처리 회로로서,
    상기 제 1 다이나믹 레인지 화상의, 휘도값이 제 1 다이나믹 레인지의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출하는 휘도 포화 영역 검출기와,
    검출된 상기 휘도 포화 영역에 대해서 상기 휘도 포화 영역의 근방에 위치하는 화소에 관하여 얻어지는 휘도값의 파형을 바탕으로, 상기 휘도 포화 영역 내의 각 화소의 상기 상한값을 초과한 피크 휘도값의 파형을 도출하여, 상기 피크 휘도값을 산출하는 피크 휘도값 생성기와,
    상기 제 1 다이나믹 레인지 화상과 상기 휘도 포화 영역의 각 화소의 상기 피크 휘도값으로부터 상기 제 2 다이나믹 레인지 화상을 생성하는 화상 합성기를 구비한 화상 처리 회로.
  2. 제 1 항에 있어서,
    상기 피크 휘도값 생성기는, 제 1 방향에서 상기 휘도 포화 영역을 개재하듯이 위치하는 2개 영역에 관하여, 상기 2개 영역 각각에서의 상기 화소의 휘도값의 파형의 이차 미분값을 바탕으로, 상기 제 1 방향에서의 파형을 도출하고, 상기 제 1 방향에서의 파형으로부터, 상기 피크 휘도값의 파형을 도출하는 화상 처리 회로.
  3. 제 2 항에 있어서,
    상기 피크 휘도값 생성기는, 상기 2개 영역 각각에서, 상기 영역에서의 상기 화소의 휘도값의 파형의 이차 미분값을 바탕으로, 상기 휘도 포화 영역에서의 파형을 개별로 도출하고 이들을 합성함으로써, 상기 제 1 방향에서의 파형을 도출하는 화상 처리 회로.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 제 1 방향은 수평 방향인 화상 처리 회로.
  5. 제 2 항에 있어서,
    상기 피크 휘도값 생성기는, 상기 제 1 방향과는 다른 제 2 방향에 관해서도, 상기 제 2 방향의 파형을 도출하고, 상기 제 1 방향의 파형과 상기 제 2 방향의 파형으로부터, 상기 피크 휘도값의 파형을 도출하는 화상 처리 회로.
  6. 제 5 항에 있어서,
    상기 피크 휘도값 생성기는, 상기 제 1 방향에서의 파형과 상기 제 2 방향에서의 파형을 합성하고 로우 패스 필터를 적용함으로써, 상기 피크 휘도값의 파형을 도출하는 화상 처리 회로.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 제 2 방향은 수직 방향인 화상 처리 회로.
  8. 제 1 항에 있어서,
    상기 화상 합성기는, 상기 제 1 다이나믹 레인지 화상의, 상기 휘도 포화 영역의 각 화소의 휘도값을, 상기 화소의 상기 피크 휘도값으로 변환함으로써, 상기 제 2 다이나믹 레인지 화상을 생성하는 화상 처리 회로.
  9. 제 1 항에 있어서,
    상기 제 1 다이나믹 레인지는 SDR이고, 상기 제 2 다이나믹 레인지는 HDR인 화상 처리 회로.
  10. 제 1 항 내지 제 3 항, 제 5항, 제 6항, 제 8항, 제 9 항 중 어느 한 항에 기재한 화상 처리 회로와,
    상기 제 1 다이나믹 레인지 화상을 계조 변환하여 상기 화상 처리 회로로 송신하는 EOTF 계조 변환기와,
    상기 화상 처리 회로로부터 상기 제 2 다이나믹 레인지 화상을 수신하여 계조 변환을 수행하는 OETF 계조 변환기와,
    상기 OETF 계조 변환기에 의해 계조 변환된 제 2 다이나믹 레인지 화상을 수신하여 표시하는 화상 표시 패널을 구비하는 화상 표시 장치.
  11. 제 1 항 내지 제 3 항, 제 5항, 제 6항, 제 8항, 제 9 항 중 어느 한 항에 기재한 화상 처리 회로와,
    상기 제 1 다이나믹 레인지 화상을 계조 변환하여 상기 화상 처리 회로로 송신하는 EOTF 계조 변환기와,
    상기 화상 처리 회로로부터 상기 제 2 다이나믹 레인지 화상을 수신하여 계조 변환을 수행하는 OETF 계조 변환기를 구비하는 화상 변환 장치.
  12. 제 1 다이나믹 레인지 화상을, 상기 제 1 다이나믹 레인지보다 넓은 범위인 제 2 다이나믹 레인지 화상으로 변환하는 화상 처리 방법으로서,
    상기 제 1 다이나믹 레인지 화상의, 휘도값이 제 1 다이나믹 레인지의 상한값 이상이 되어 포화된 휘도 포화 영역을 검출하고,
    검출된 상기 휘도 포화 영역에 대해서, 상기 휘도 포화 영역의 근방에 위치하는 화소에 관하여 얻어지는 휘도값의 파형을 바탕으로, 상기 휘도 포화 영역 내의 각 화소의 상기 상한값을 초과한 피크 휘도값의 파형을 도출하여 상기 피크 휘도값을 산출하고,
    상기 제 1 다이나믹 레인지 화상과 상기 휘도 포화 영역의 각 화소의 상기 피크 휘도값으로부터 상기 제 2 다이나믹 레인지 화상을 생성하는 화상 처리 방법.
  13. 제 12 항에 있어서,
    제 1 방향에서 상기 휘도 포화 영역을 개재하듯이 위치하는 2개 영역에 관하여, 상기 2개 영역 각각에서의 상기 화소의 휘도값의 파형의 이차 미분값을 바탕으로, 상기 제 1 방향의 파형을 도출하고, 상기 제 1 방향의 파형으로부터, 상기 피크 휘도값의 파형을 도출하는 화상 처리 방법.
KR1020170078055A 2016-08-31 2017-06-20 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법 KR101920403B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2016-169531 2016-08-31
JP2016169531A JP6799423B2 (ja) 2016-08-31 2016-08-31 画像処理回路、画像変換装置、画像表示装置及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20180025153A true KR20180025153A (ko) 2018-03-08
KR101920403B1 KR101920403B1 (ko) 2018-11-20

Family

ID=61565848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170078055A KR101920403B1 (ko) 2016-08-31 2017-06-20 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법

Country Status (2)

Country Link
JP (1) JP6799423B2 (ko)
KR (1) KR101920403B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021067863A (ja) * 2019-10-25 2021-04-30 株式会社Ｊｖｃケンウッド 表示制御装置、表示システム、表示制御方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7015976B2 (ja) 2018-03-01 2022-02-04 三菱マテリアル株式会社 レーザー吸収率に優れた金属積層造形用銅合金粉末
JP7373299B2 (ja) * 2019-04-26 2023-11-02 キヤノン株式会社 画像処理装置およびその制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070004853A (ko) * 2004-04-15 2007-01-09 더 유니버시티 오브 브리티쉬 콜롬비아 낮은 동적 범위로부터 높은 동적 범위로 이미지를 변환하는방법 및 시스템
JP2016034125A (ja) * 2014-07-28 2016-03-10 ソニー株式会社 画像処理装置及び画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861851B2 (en) * 2011-05-13 2014-10-14 Dolby Laboratories Licensing Corporation Color highlight reconstruction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070004853A (ko) * 2004-04-15 2007-01-09 더 유니버시티 오브 브리티쉬 콜롬비아 낮은 동적 범위로부터 높은 동적 범위로 이미지를 변환하는방법 및 시스템
JP2016034125A (ja) * 2014-07-28 2016-03-10 ソニー株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P.Didyk ET AL: "Enhancement of Bright Video Features for HDR Displays", COMPUTER GRAPPHICS FORUM, Wiley Online Library, Volume 27, Issue 4, Pages 1265-1274, Sept. 2008(2008.09.10) 1부. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021067863A (ja) * 2019-10-25 2021-04-30 株式会社Ｊｖｃケンウッド 表示制御装置、表示システム、表示制御方法及びプログラム

Also Published As

Publication number Publication date
JP2018036502A (ja) 2018-03-08
JP6799423B2 (ja) 2020-12-16
KR101920403B1 (ko) 2018-11-20

Similar Documents

Publication Publication Date Title
US9832445B2 (en) Stereoscopic image display system, disparity conversion device, disparity conversion method, and program
KR101314453B1 (ko) 시각 처리 장치, 시각 처리 방법, 프로그램, 표시 장치 및 집적 회로
US11803947B2 (en) Brightness and contrast enhancement for video
KR101920403B1 (ko) 화상 처리 회로, 화상 변환 장치, 화상 표시 장치 및 화상 처리 방법
CN105850114A (zh) 用于图像的逆色调映射的方法
WO2005106789A1 (ja) 階調補正装置、携帯端末機器、撮像装置、携帯電話、階調補正方法及びプログラム
JP5370761B2 (ja) 映像信号処理装置および表示装置
KR100843817B1 (ko) 계조 보정 장치, 휴대 단말 기기, 촬상 장치, 휴대 전화 및 계조 보정 방법
JP5669599B2 (ja) 画像処理装置及びその制御方法
JP2013502602A (ja) 表示パネルによる表示のための画像データ処理のための装置、表示装置、プログラムおよび方法
JPWO2010061493A1 (ja) 映像処理装置及び映像処理方法
JP4011073B2 (ja) 階調補正装置
JP2010197597A (ja) 表示制御装置、及び表示制御方法
KR20180031154A (ko) 디스플레이 장치 및 이의 영상 처리 방법
KR100791374B1 (ko) 색역 내에 존재하는 색상을 영상 적응적으로 조절하는 방법및 장치
KR102552747B1 (ko) 역 톤 매핑 방법
JP2018007133A (ja) 画像処理装置とその制御方法及びプログラム
KR101746853B1 (ko) 영상처리부와 이를 이용한 표시장치, 및 영상처리방법
KR101731113B1 (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
KR102423052B1 (ko) 개용 표시 장치 및 이의 구동 방법
JP2018059999A (ja) 電子機器、表示装置、及び情報出力方法
JP4308280B2 (ja) 階調補正装置
KR102244918B1 (ko) 시인성을 향상시키고 전력 소모를 줄일 수 있는 디스플레이 컨트롤러와 이를 포함하는 디스플레이 시스템
CN114565518A (zh) 一种根据图像颜色美化三维码的方法
KR20170000869A (ko) 영상 처리 방법, 영상 처리 방법을 수행하는 영상 처리 장치, 및 영상 처리 장치를 포함하는 표시 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant