KR101648983B1

KR101648983B1 - 영상 처리 장치 및 방법

Info

Publication number: KR101648983B1
Application number: KR1020100019127A
Authority: KR
Inventors: 임경원; 이상진; 김문철
Original assignee: 엘지전자 주식회사
Priority date: 2010-03-03
Filing date: 2010-03-03
Publication date: 2016-08-17
Also published as: KR20110100050A

Abstract

실시 예에 따른 영상 처리 장치는, 주변광의 조도 및 입력 영상의 휘도 정보를 참조하여 인간의 인지 가능 절대 흑색 휘도를 산출하는 흑색 휘도 계산부; 상기 주변광의 조도 및 상기 입력 영상의 휘도 정보를 참조하여 인간 인지 휘도의 비선형 특성 변화를 반영하여 영상신호의 톤 커브를 제어할 감마 값을 산출하는 영상 감마 계산부; 상기 흑색 휘도 계산부에서 산출된 인간의 인지 가능 절대 흑색 휘도를 참조하여 영상신호를 보정하는 영상흑색 보정부; 상기 영상 감마 계산부에서 산출된 감마 값을 이용하여 영상신호의 톤 특성을 보정하는 영상감마 보정부; 를 포함한다.

Description

영상 처리 장치 및 방법 {Image processing device and method of image processing}

본 발명은 영상 처리 장치 및 방법에 관한 것이다.

시청환경의 조명 밝기나 조명 색에 따라 영상 변화를 보상하기 위한 방안들이 알려져 있다. 그러나, 종래 알려진 보상 방안들은 주변 환경 변화 및 특히 입력영상의 평균휘도에 따른 인간의 인지가능 흑색 임계치 수준을 반영하지 않아 흑색영역에 대한 올바른 영상 표현에 제약이 따르는 문제점이 있다.

본 발명은 변화하는 영상의 주변 밝기 및 영상의 평균휘도에 따른 인간의 시감특성을 반영하여 최적의 영상 콘트라스트를 제공할 수 있는 영상 처리 장치 및 방법을 제공한다.

본 발명의 실시 예에 따른 영상 처리 장치는, 주변광의 조도 및 입력 영상의 휘도 정보를 참조하여 인간의 인지 가능 절대 흑색 휘도를 산출하는 흑색 휘도 계산부; 상기 주변광의 조도 및 상기 입력 영상의 휘도 정보를 참조하여 인간 인지 휘도의 비선형 특성 변화를 반영하여 영상신호의 톤 커브를 제어할 감마 값을 산출하는 영상 감마 계산부; 상기 흑색 휘도 계산부에서 산출된 인간의 인지 가능 절대 흑색 휘도를 참조하여 영상신호를 보정하는 영상흑색 보정부; 상기 영상 감마 계산부에서 산출된 감마 값을 이용하여 영상신호의 톤 특성을 보정하는 영상감마 보정부; 를 포함한다.

본 발명의 실시 예에 따른 영상 처리 방법은, 주변광의 조도 및 입력 영상의 휘도 정보를 참조하여 인간의 인지 가능 절대 흑색 휘도를 산출하는 단계; 상기 주변광의 조도 및 상기 입력 영상의 휘도 정보를 참조하여 인간 인지 휘도의 비선형 특성 변화를 반영하여 영상신호의 톤 커브를 제어할 감마 값을 산출하는 단계; 상기 산출된 인간의 인지 가능 절대 흑색 휘도를 참조하여 영상신호를 보정하는 단계; 상기 산출된 감마 값을 이용하여 영상신호의 톤 특성을 보정하는 단계; 를 포함한다.

실시 예에 따른 영상 처리 장치 및 방법에 의하면, 변화하는 영상의 주변 밝기 및 영상의 평균휘도에 따른 인간의 시감특성을 반영하여 최적의 영상 콘트라스트를 제공할 수 있는 장점이 있다.

도 1은 본 발명의 실시 예에 따른 영상 처리 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시 예에 있어서, 영상의 평균 밝기 및 주변광 조도에 따른 인간의 인지 가능 흑색휘도 세기를 나타낸 그래프이다.
도 3은 본 발명의 실시 예에 있어서, 시청 환경 밝기 변화에 따른 시청자의 물리적 밝기에 대한 인지 휘도 변화를 나타낸 그래프이다.
도 4는 본 발명의 실시 예에 있어서, 순응 휘도에 따른 γ를 나타낸 그래프이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 설명한다.

도 1은 본 발명의 실시 예에 따른 영상 처리 장치를 나타낸 블록도이다.

본 발명의 실시 예에 따른 영상 처리 장치는, 도 1에 나타낸 바와 같이, 센서(101), 조도 변환부(102), 흑색 휘도 계산부(103), RGB 오프셋(offset) 계산부(104)를 포함한다. 또한 실시 예에 따른 영상 처리 장치는 RGB 영상 입력부(105), 선형 신호 변환부(106), 영상 평균휘도 계산부(107), 영상 감마 계산부(108), 영상흑색 보정부(109), 영상감마 보정부(110), 비선형 신호 변환부(111), RGB 영상 출력부(112)를 포함한다.

실시 예에 의하면, 상기 센서(101)는 시청환경 주변광을 검출하고, 상기 조도 변환부(102)는 상기 센서(101)에서 검출된 센서신호를 디스플레이 주변광의 절대조도(lx)로 변환한다.

또한 상기 RGB 영상 입력부(105)에 입력된 비선형 RGB 영상 입력신호는 상기 선형 신호 변환부(106)를 거쳐 선형 RGB 영상 신호로 변환된다. 그리고, 영상의 평균휘도를 산출하는 상기 영상 평균휘도 계산부(107)에 의하여 영상의 절대 평균 휘도값(cd/m²)이 산출된다. 예를 들어, 상기 선형 신호 변환부(106)는 표준신호규격(ITU-R.BT.709 나 IEC-sRGB)에 따르도록 설계될 수 있다.

산출된 조도 및 휘도 정보로부터 상기 흑색 휘도 계산부(103)에서 인간의 인지 가능 절대 흑색 휘도를 계산하고, 이 값을 기초로 RGB 오프셋 계산부(104)를 통해 디스플레이 설정을 반영하여 인간 인지가능 절대흑색 휘도에 대응하는 선형 디스플레이 RGB 제어 신호를 계산한다. 계산된 선형 RGB 오프셋(offset)은 상기 영상흑색 보정부(109)를 통해 입력 영상 선형 RGB 신호에 가산하여 보상한다.

한편 상기 영상 감마 계산부(108)는 기 산출된 주변광 조도 및 입력 영상의 휘도 정보에 따른 인간 인지 휘도의 비선형 특성 변화를 반영하여 영상신호의 톤커브를 제어할 감마 값을 산출하고 상기 영상감마 보정부(110)를 통하여 영상신호의 톤 특성을 제어한다.

상기 영상감마 보정부(110)의 보정된 신호출력은 상기 선형 신호 변환부(106)에 대응하는 역변환이 수행되는 상기 비선형 신호 변환부(111)를 통하여 비선형 RGB 신호로 바뀌어 상기 RGB 영상 출력부(112)로 출력된다.

이하 본 발명의 실시 예를 더 상세히 설명한다.

먼저 상기 센서(101)에 의해 시청환경 주변광을 검출하며 이는 휘도, 조도, 컬러 센서 등으로 구현될 수 있다. 이때 각 해당 센서의 출력신호와 실제 절대 휘도 값 상관 관계를 이용하여 상기 조도 변환부(102)를 통하여 주변광의 절대조도(lx)로 변환하는 조도를 추출한다. 여기서 상관관계란 센서의 분광감도 특성이 이상적인 조도 센서와 다를 경우 분광 감도 특성 차이, 즉 신호의 세기차이를 보정하는 것을 의미하여 일반적으로

로 표기하며 k는 비례상수를, Ys는 센서 출력을, 이때 검출된 조도를 Ya라 한다.

이와 동시에 비선형 RGB (R(i,j), G(i,j), B(i,j)) 영상입력신호로부터 상기 선형 RGB (R_L(i,j), G_L(i,j), B_L(i,j)) 신호 변환부(106)를 통하여 화소 단위 신호변환을 통하여 한 프레임 영상(m(수평)*n(수직) 화소)에 대한 평균휘도를 산출한다. 산출은 먼저 모든 화소에 대한 각 신호의 평균값 (Rm, Gm, Bm)을 다음 Rm 수식과 같이 각각 계산한다.

------- (1)

상기 영상 평균휘도 계산부(107)에서는 계산된 평균값으로부터 디스플레이 고유 R,G,B 원색과 이 원색조합(수식 (2)의 Rm, Gm, Bm 로 표시한 정규화된 디스플레이 제어신호, 즉 제어 범위 0 ~ 1 사이)에 의해 디스플레이된 색의 절대 휘도와의 상관성으로부터 도출된 변환 계수(a, b, c)에 의하여 절대휘도(Ys)로 변환된다. 여기서 변환계수는 디스플레이 원색 스펙트럼에 따라 변화하며 예를 들어 a는 표준 관찰자 XYZ-color matching function의 y(λ)와 적색(red) 원색 스펙트럼의 r(λ)와 곱의 적분 값으로 계산할 수 있다. 예를 들어, ITU-R.BT 709 표준 디스플레이의 경우 (a,b,c)는 대략 (0.3, 0.59, 0.11)을 갖는다.

------ (2)

얻어진 영상 평균 휘도(Ys)와 주변광 절대조도(Ya)에 대한 인간의 인지가능 최소 흑색휘도값(Yb)이 상기 흑색 휘도 계산부(103)에서 계산된다. 이때 사용되는 계산식은 디스플레이 영상의 평균 밝기 및 시청환경 주변 조도 변화에 대한 인간의 인지가능 최소 흑색휘도 실험을 통해 도출한 통계적 결과에 기반하여 도출하는데 일반적으로 다음 수식과 같이 근사화 표현된다.

------ (3)

일반적으로, 도 2에 나타낸 바와 같이, 인간의 인지가능 최소 흑색휘도는 주변광의 밝기 및 영상의 평균밝기가 증가할수록 선형적으로 증가하는 현상을 갖고 있다. 도 2는 본 발명의 실시 예에 있어서, 영상의 평균 밝기 및 주변광 조도에 따른 인간의 인지 가능 흑색휘도 세기를 나타낸 그래프이다. 이들 통계치를 근사화한 수식의 계수 (k1, k2, k3)는 일반적인 시청환경(주변조도 0 lx ~ 1000 lx)에서 얻은 실험치를 선형방정식으로 근사화함으로써 얻을 수 있다.

상기 RGB 오프셋 계산부(104)는 수식 (3)에 의해 산출된 흑색휘도에 대응하는 선형 디스플레이 그레이(Display grey) 계조값

을 산출하는 블록으로 수식 (2)의 관계식으로부터 해당 Yb에 대응하는 p 값을 구한다(수식 (4)). 이는 주변 조도 상승으로 인한 인간의 인지 흑색 휘도도 상승함으로 이를 보상하기 위해 계산한 흑색 휘도를 통하여 동일한 영상을 구현하기 위함이다.

------ (4)

계산된 그레이 계조값

을 반영하여 상기 영상흑색 보정부(109)에서 인지가능 최소 흑색휘도를 보상하는 신호처리를 입력 선형 RGB (R_L, G_L, B_L) 신호에 대해 다음 수식 (5)와 같이 정규화 및 가산처리한다.

;

;

------(5)

여기서 정규화 상수 N은 입력 선형 RGB(R_L, G_L, B_L) 및 검출된 그레이 오프셋 계조 p 가 n-비트(bit) 영상신호범위를 가질 때

가 된다.

한편 인간의 물리적 밝기(Physical Luminance) L에 대한 실제 인지휘도(Perceived Luminance) Lp와의 관계는, 도 3에 나타낸 바와 같이, 시청환경 평균밝기 세기에 의해 인간의 눈이 순응된 'adapted luminance(La)' 에 따라 다음 수식 (6)과 같이 변화한다. 도 3은 본 발명의 실시 예에 있어서, 시청 환경 밝기 변화에 따른 시청자의 물리적 밝기에 대한 인지 휘도 변화를 나타낸 그래프이다.

---------(6)

일반적으로 어두운 시청환경하(dark surround: 0 lx)에서 γ 값은 4.5이고, 평균밝기 시청환경(average-surround 약 100~500lx)에서 γ 값은 3.3이다. 이는 'Bartlesson-Brennemann effect'로 알려진 사실이다. 그런데 디스플레이(Display) 시청환경 하에서 실제 순응 밝기 휘도는 주변조명 밝기뿐만 아니라 변화하는 영상의 평균 밝기 휘도에도 영향을 받게 된다. 특히 어두운 환경하에서는 영상의 평균밝기가 지배적으로 영향을 끼치게 된다.

따라서 상기 영상 감마 계산부(108)에서는 먼저 영상의 평균밝기와 조명의 조도를 고려하여 순응휘도(adapted luminance: La)를 계산한다. 신호처리는 먼저 상기 조도 변환부(102)의 출력신호인 주변 조명의 조도와 상기 영상 평균휘도 계산부(107)에서 산출된 영상의 평균 밝기를 다음 수식에 의해 합산한다.

--------(7)

여기서 조명의 조도(lx)를 이상적 램버트 반사기(Lambert reflector)를 가정하여 Yb/p 보정식으로 절대 휘도(cd/m²)로 변환한다. 구해진 La에 대해서 이미 알려진 수식 (6)의 La 에 대한 γ값 관계식을 이용하여, 도 4에 나타낸 바와 같이, 임의의 시청환경(La)에 대한 γ값에 대한 함수를 선형 방정식으로 근사할 수 있다. 도 4는 본 발명의 실시 예에 있어서, 순응 휘도에 따른 γ를 나타낸 그래프이다. 도 4에 도시된 그래프의 기울기는 실험적인 수치나 기존의 'Brtlesson-Brenneman Effect' 연구결과에 따르며 실제 적용시 주변 환경조건에 다소간 가변 가능하다.

한편 텔레비젼(TV) 표준 신호는 표준 시청환경이 딤-서라운드(Dim-Surround)를 기준으로 신호가 인코딩(Encoding)되어 있음으로 기존의 선형 RGB 신호는 이미 γ_tv 값은 3.3 이 반영되어 있다. 따라서 임의의 시청환경에 따라 계산된 γ가 γ_tv 와 상이할 때 시청자가 받는 영상의 변화를 감안하여 신호 보정을 하게 된다. 즉 보정 감마는 다음 수식 (8)과 같이 γ_c를 이용하여 처리한다.

---- (8)

상기 영상 감마 계산부(108)의 출력 γ_c는 상기 영상감마 보정부(110)에 가해지고 흑색 보정된 신호입력(수식 5)인 (R_LB, G_LB, B_LB)를 다음과 같이 보정한다.

,

, ---- (9)

상기 영상감마 보정부(110)를 통해 주변환경에 따른 시감 변화를 보정한 감마보정된 신호 (Rγ, Gγ, Bγ) 는 최종적으로 상기 선형 신호 변환부(106)의 역 변환인 상기 비선형 신호 변환부(111)를 통하여 비선형 RGB 디스플레이 제어신호로 변환된다.

실시 예에서는, 일반적인 RGB 영상신호는 빛의 세기와 비선형적 관계이므로, 상기 선형 신호 변환부(106)에서 빛의 세기와 선형 관계인 신호로 변환하여 계산함으로써 연산을 간략하게 수행하고 정확한 결과를 얻을 수 있도록 하였다. 이에 따라, 실시 예에서는 상기 선형 신호 변환부(106)와의 역 변환 관계에 있는 상기 비선형 신호 변환부(111)를 통하여 최종적으로 비선형 RGB 디스플레이 제어신호가 출력되도록 구현될 수 있다.

이와 같은 보정에 의하여, 실시 예에 따른 영상 처리 장치는 시청환경의 주변 조명 및 디스플레이된 영상 종류에 관계없이 항상 일정한 영상표현이 가능하도록 시청환경의 주변광 밝기 정보와 입력 영상의 평균휘도정보를 기반으로 영상의 최소인지휘도를 보상하고 영상의 톤(계조) 특성을 감마지수를 이용하여 표시할 수 있게 된다.

본 발명의 실시 예에 있어서, 정지 영상 적용시에는 영상의 평균휘도 계산 후 동일한 영상의 모든 화소에 대해 처리를 가함으로써 이뤄진다. 그러나 동영상 적용에 있어서는 현재의 영상에서 추출한 평균휘도 정보를 바탕으로 다음 프레임(frame)의 영상에 적용함으로써 프레임 지연(frame delay)에 의한 영상 메모리를 절감할 수 있다. 이는 인접한 영상의 상관성이 높음을 이유로 가능하게 된다.

이와 같이 본 발명의 실시 예에 의하면, 주변 조명 밝기뿐만 아니라 영상의 평균휘도의 변화를 반영함으로써 실제 시청환경에서 인감의 시감 변화 특성을 보다 정확히 분석 적용함으로써 항상 일정한 영상재현을 가능하게끔 해준다. 또한 빛의 세기와 선형 관계인 선형 RGB 신호영역에서 신호처리를 수행함으로써 부수적인 컬러 보상회로의 추가가 필요 없게 된다.

통상의 지식을 가진 자라면 본 발명 범주 내에서 주변광 밝기를 조도가 아닌 휘도나 센서 자체 신호로 설계가능하며 하드웨어 감소를 위한 블록간 통합, 순서의 변화 등이 가능함을 알 수 있을 것이다.

이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

101... 센서
102... 조도 변환부
103... 흑색 휘도 계산부
104... RGB 오프셋 계산부
105... RGB 영상 입력부
106... 선형 신호 변환부
107... 영상 평균휘도 계산부
108... 영상 감마 계산부
109... 영상흑색 보정부
110... 영상감마 보정부
111... 비선형 신호 변환부
112... RGB 영상 출력부

Claims

영상 처리 장치에 있어서,
상기 영상 처리 장치의 주변광을 검출하는 센서;
상기 영상 처리 장치에 수신된 입력 영상의 평균휘도를 산출하는 영상 평균휘도 계산부;
상기 주변광의 조도 및 상기 입력 영상의 평균휘도에 기초하여 인간의 인지 가능 최소 흑색 휘도를 산출하는 흑색 휘도 계산부;
상기 주변광의 조도 및 상기 입력 영상의 평균휘도에 따른 인간 인지 휘도의 비선형 특성 변화를 반영하여 상기 입력 영상의 톤 커브를 제어할 감마 값을 산출하는 영상 감마 계산부;
상기 흑색 휘도 계산부에서 산출된 인간의 인지 가능 최소 흑색 휘도에 기초하여 상기 입력 영상을 보정하는 영상흑색 보정부; 및
상기 영상 감마 계산부에서 산출된 감마 값을 이용하여 상기 입력 영상의 톤 특성을 보정하는 영상감마 보정부를 포함하는
영상 처리 장치.
제1항에 있어서, 상기 인간의 인지 가능 최소 흑색 휘도는,
상기 주변광의 조도 및 상기 입력 영상의 평균휘도가 증가함에 따라 선형적으로 증가하는
영상 처리 장치.
제1항에 있어서,
상기 입력 영상의 비선형 RGB 신호를 선형 RGB 신호로 변환하는 선형 신호 변환부를 더 포함하고,
상기 영상 평균휘도 계산부는,
상기 변환된 선형 RGB 신호에 기초하여 상기 입력 영상의 평균휘도를 산출하는
영상 처리 장치.
제1항에 있어서, 상기 영상 평균휘도 계산부는,
디스플레이 기기의 원색신호특성과 표현색 휘도와의 물리적 관계를 이용하여 상기 입력 영상의 평균휘도를 산출하는
영상 처리 장치.
제3항에 있어서,
상기 영상감마 보정부로부터 출력되는 신호를 비선형 RGB 신호로 변환하여 출력하는 비선형 신호 변환부를 더 포함하는
영상 처리 장치.
제5항에 있어서,
상기 선형 신호 변환부와 상기 비선형 신호 변환부는 서로 역 변환의 관계를 갖는
영상 처리 장치.
영상 처리 장치가 입력 영상에 대해 수행하는 영상 처리 방법에 있어서,
상기 영상 처리 장치의 주변광을 검출하는 단계;
상기 입력 영상의 평균휘도를 산출하는 단계;
상기 주변광의 조도 및 상기 입력 영상의 평균휘도에 기초하여 인간의 인지 가능 최소 흑색 휘도를 산출하는 단계;
상기 주변광의 조도 및 상기 입력 영상의 평균휘도에 따른 인간 인지 휘도의 비선형 특성 변화를 반영하여 상기 입력 영상의 톤 커브를 제어할 감마 값을 산출하는 단계;
상기 산출된 인간의 인지 가능 최소 흑색 휘도에 기초하여 상기 입력 영상을 보정하는 단계; 및
상기 산출된 감마 값을 이용하여 상기 입력 영상의 톤 특성을 보정하는 단계를 포함하는
영상 처리 방법.
제7항에 있어서, 상기 인간의 인지 가능 최소 흑색 휘도는,
상기 주변광의 조도 및 상기 입력 영상의 평균휘도가 증가함에 따라 선형적으로 증가하는
영상 처리 방법.
제7항에 있어서,
상기 입력 영상의 비선형 RGB 신호를 선형 RGB 신호로 변환하는 단계를 더 포함하고,
상기 입력 영상의 평균휘도를 산출하는 단계는,
상기 변환된 선형 RGB 신호에 기초하여 상기 입력 영상의 평균휘도를 산출하는 단계를 포함하는
영상 처리 방법.
제7항에 있어서, 상기 입력 영상의 평균휘도를 산출하는 단계는,
디스플레이 기기의 원색신호특성과 표현색 휘도와의 물리적 관계를 이용하여 상기 입력 영상의 평균휘도를 산출하는 단계를 포함하는
영상 처리 방법.
제9항에 있어서,
상기 산출된 감마 값을 이용하여 상기 입력 영상의 톤 특성이 보정되어 출력되는 신호에 대하여, 비선형 RGB 신호로 변환하는 단계를 더 포함하는
영상 처리 방법.
제11항에 있어서,
상기 선형 RGB 신호로 변환하는 단계와 상기 비선형 RGB 신호로 변환하는 단계는 서로 역 변환의 관계를 갖는
영상 처리 방법.