KR100790327B1

KR100790327B1 - 화상 신호 개선

Info

Publication number: KR100790327B1
Application number: KR1020017013098A
Authority: KR
Inventors: 니콜라스마리나엠.페.; 니에우벤후이젠미첼베어.
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2000-02-14
Filing date: 2001-02-13
Publication date: 2008-01-02
Also published as: JP2003523110A; WO2001059183A3; ATE426870T1; DE60138076D1; EP1183408A2; EP1126410A1; WO2001059183A2; US7619691B2; US20020180893A1; EP1183408B1; KR20020000166A

Abstract

화상 신호를 개선하기 위한 방법에 있어서, 화상 신호에는 전체 화상 또는 상기 화상의 제 1 부분에 걸친 휘도 레벨 분포에 기초하여, 히스토그램 기초의 화상 신호 수정이 행해지고(3, 7), 상기 히스토그램 기초의 화상 신호 수정은 콘트라스트 및 명도 이외의 국부적으로 측정된 화상 신호 특성들에 의존하여 국부적으로 조정되고(5), 상기 국부적으로 측정된 화상 신호는 각각 실질적으로 상기 전체 화상 또는 상기 화상의 제 1 부분보다도 작은 화상의 제 2 부분들에 관련되고, 상기 제 2 부분들은 상기 전체 화상 또는 상기 화상의 제 1 부분내에 있다.

화상 신호, 휘도 레벨 분포, 디스플레이 장치

Description

화상 신호 개선{Picture signal enhancement}

본 발명은 화상 신호를 개선하기 위한 방법 및 장치뿐만 아니라, 그러한 화상 신호를 개선하기 위한 장치를 포함하는 디스플레이 장치에 관한 것이다.

EP-A-0,747,855는 자연 장면 영상(natural scene image)의 콘트라스트(contrast)를 개선하는 방법을 개시한다. 영상의 관련 히스토그램은 영상의 영역들을 나타내는 국부 히스토그램들의 선택된 서브세트로부터 얻어진다. 히스토그램을 기술하는 신호는 함수내의 강한 피크들과 밸리들(valleys)을 약화시키지만, 신호의 평평한 부분들에 영향을 미치지 않는 특성을 가진 필터에서 작동한다. 필터링된 히스토그램 신호는 영상이 인쇄되는 장치에서 TRC 맵핑을 제어하는데 사용된다. 국부 히스토그램들의 최적의 선택을 보증하기 위하여, 영상의 검은 점과 흰 점을 포함하는 영역들이 결정되어, 영상의 영역들을 나타내는 국부 히스토그램들의 서브세트에 부가된다.

EP-A-0,833,501은 개선된 휘도 신호가 수신된 휘도 신호의 평균값에 기초하여 분리된 서브 영상들에 대하여 히스토그램들을 독립적으로 양자화함으로써 출력되는 영상 개선 회로를 개시한다. 국부 콘트라스트(local contrast)는 개선된 휘도 신호에 관한 입력 샘플의 값과 상기 입력 샘플을 포함하는 미리 결정된 크기의 윈도우에서 샘플들을 저역 통과 필터링함으로써 얻어진 각 값 사이의 차로서 정의되고, 상기 입력 샘플값은 검출된 국부 콘트라스트에 따라 적응적으로 가중화되어, 변경된 휘도 신호가 출력된다.

화상 개선의 분야에서, 히스토그램 수정 알고리즘들은 전체 화상(또는 이의 전체 관련 부분)에 걸친 휘도 레벨 분포에 기초하여 콘트라스트/상세 개선 알고리즘들(detail enhancement algorithms)이다. 질감들(textures) 또는 색 성분들을 고려하지 않고 측정이 포괄적으로 이루어지기 때문에, 히스토그램 수정 알고리즘들은 특정한 질감 또는 색 영역들에서 최적화될 수 없다. 국부 측정을 기초로 하는 전형적인 국부 히스토그램 수정 알고리즘들은 통상적으로 연속성의 아티팩트들(artifacts)을 야기하기 때문에 화상 개선에 적합하지 않다. 그러한 전형적인 국부 히스토그램 수정 알고리즘의 일반 버전은, 먼저 간단한 공간 블록들, 즉 직교 블록들 또는 상기 화상 내의 오브젝트들의 제한들에 대응하는 블록들의 화상을 분해한 다음에, 주어진 블록의 히스토그램 분포만을 고려하여 각각의 블록에 대해 동일한 알고리즘을 적용하는 것이다. 이러한 종류의 알고리즘의 주된 문제점은 "블록킹(blocking)" 아티팩트들에 의해 형성된다.

보다 정교한 다른 버전은 먼저 화상을 색/질감 특성들에 의존하여 상이한 영역들로 분해한 다음에, 각각의 색/구조 블록(structure block)을 개별적으로 최적화하기 위해 상이한 영역들에 대해 상이한 알고리즘들을 적용한다. 이러한 종류의 알고리즘의 주된 문제점은 한 알고리즘에서 다른 알고리즘으로의 전환으로 인한 연속성 문제, 및 검출이 완벽할 수 없다는 사실로 인한 아티팩트들이다.

특히, 본 발명의 목적은 개선된 화상 신호 개선을 제공하는데 있다. 이를 위해, 본 발명은 독립 청구항들에 정의된 화상 신호 개선을 제공한다. 유리한 실시예들이 종속 청구항들에 정의되어 있다.

본 발명의 주된 양상에 따른 화상 신호를 개선하기 위한 방법에서, 화상 신호에는 전체 화상 또는 상기 화상의 제 1 부분에 걸친 휘도 레벨 분포에 기초하여 히스토그램 기초의 화상 신호 수정이 행해지고, 히스토그램 기초의 화상 신호 수정은 콘트라스트와 명도 이외의 국부적으로 측정된 화상 신호 특성들에 의존하여 국부적으로 조정되고, 상기 국부적으로 측정된 화상 신호 특성들은 각각 실질적으로 상기 전체 화상 또는 상기 화상의 제 1 부분보다도 작은 화상의 제 2 부분들에 관련되고, 상기 제 2 부분들은 상기 전체 화상 또는 상기 화상의 제 1 부분 내에 존재한다. 바람직하게, 상기 제 2 부분들은 개개의 픽셀들이다. 화상 신호 특성들이 측정되고 히스토그램 기초의 화상 신호 수정이 국부적으로 조정되는 상기 제 2 부분들은 각각 실질적으로 상기 전체 화상 또는 상기 화상의 제 1 부분보다도 작지만, 예컨대 스킨 톤(skin tone)이 전체 화상의 상당한 부분을 점유하는 것으로 판명되면, 상기 상당한 부분 또는 제 1 부분에 대해 (실질적으로) 동일한 국부 조정들이 행해지는 것으로 판명되었다.

본 발명의 이들 양상 및 다른 양상은 이하에서 설명하는 실시예들을 참조하면 명백하다.

도 1은 본 발명에 따른 화상 신호 개선 장치를 포함하는 디스플레이 장치의 제 1 실시예의 기본 블록도.

도 2는 휘도의 함수로서 두 개의 매개변수들을 도시하는 도면.

도 3은 상이한 매개변수 설정들에 대하여 스킨 톤 대 히스토그램 보정을 도시하는 도면.

도 4는 도 1의 블록도의 부분을 보다 상세하게 도시하는 도면.

도 5는 YUV에서 스킨 톤 검출 영역을 도시하는 도면.

도 6은 Y>256에 대한 UV의 스킨 톤 검출 영역을 도시하는 도면.

도 7은 Y>256에 대한 Vref1, Vref2의 스킨 톤 검출 영역을 도시하는 도면.

도 8은 스킨 톤 검출 영역의 위치에 의존하여 보정 팩터를 도시하는 도면.

본 발명에 의해 제시된 해결책으로는 원래의 히스토그램 수정에 대한 약간의 국부 변경으로, 국부 변경 매개변수는 국부 색 또는 질감 특성들에 의해 정의된다. 해결책의 기본 블록도는 도 1에 도시된다.

국부 색/질감 검출 블록(1)에서, YUV의 서로 다른 측정들은 하기에 상세히 설명될 보정 팩터(cor_fac)를 얻도록, 각각의 픽셀에 대하여, 상기 픽셀이 특정한 색 또는 질감 특성들을 갖는 영역에 속한다고 결정한다. 또한, 휘도 신호(Y)는 값(delta_y)을 얻도록 히스토그램 수정 블록(3)에 인가된다. 보정 팩터(cor_fac) 및 히스토그램 값(delta_y)은 값(local_delta_y)을 발생하도록 국부 색/질감 보정 블록(5)에 인가된다. UV 히스토그램 보정 블록(7)은 입력 UV 신호들, 보정 팩터(cor_fac) 및 값(local_delta_y)에 응답하여 출력값들(Yout, Uout, 및 Vout)을 발생한다.

각 검출 유형에 있어서, 보정 팩터(cor_fac)는, 상기 픽셀이 대응하는 검출 영역의 외부 또는 경계들에 있다면 값 0으로 정의되고, 대응하는 검출 영역의 중심에 있다면 Max 값으로 정의된다.

보정 팩터(cor_fac)의 값은, 픽셀이 검출 영역의 경계들로부터 검출 영역의 중심으로 이동함에 따라 계속적으로 증가한다. Max 값을 검출 영역의 중심 주변의 더 많거나 적은 큰 영역에 할당하도록 클리핑(clipping)할 수 있다.

여기에서, 검출 영역은 어떤 것을 검출하고 싶은지에 의존한다. 원래, 특성들은 상기 영역을 확인한다고 정의된다. 이를테면, 스킨 톤에 있어서, 일반적으로 YUV 영역 내에서 일종의 절단된 단순한 기하학적 형태 내부의 YUV 점을 바란다. 이러한 견해는 보정 팩터(cor_fac)가 원래의 히스토그램 수정에 약간의 변경을 준다는 것이다. 상기 원래의 히스토그램 수정은 대부분의 신호 조건들, 대부분(80%)의 색들 또는 질감들에 최적이다. 스킨 톤, 그라스(grass) 등과 같은 일부 제한된 경우에서만, 서로 약간 다른 히스토그램 수정을 갖기를 소망한다. 검출 영역은, 원래의 히스토그램 수정이 약간 조정되는 영역들을 제한한다. 전체 YUV 영역과 비교하면, 상대적으로 작아야 한다. 그렇지 않으면, 원래의 히스토그램 수정이 알맞게 구상된 것이 아님을 의미하는데, 이는 대부분의 조건들에 적합하지 않기 때문이다.

보정 팩터(cor_fac)의 Max 값에 대한 전형적인 값은 검출 영역의 중심에서 바라는 효과에 따라 선택된다. 일반적으로, 계산의 용이함을 위해 값들(4, 8, 16 또는 12)중 하나가 선택될 것이다. 그 선택은 다음에 의해서 결정된다.

히스토그램의 단계들에서 요구되는 감도는 피하고 싶은 것이 무엇이냐에 따라, 히스토그램의 단계들에서 요구하는 민감한 것은 보정된 영역에서 히스토그램의 열악한 단계들을 보는 것이다. 스킨 톤에 대하여는 비교적 평평한 휘도 영역들을 다뤄야 하고, 사람의 시각이 스킨 톤에 매우 예민하기 때문에, 신중을 기하는 것이 바람직하다. 대부분의 경우, 상기 32(64) 값은, 히스토그램에서 도입된 미분 이득들이 변조 효과에서의 64 단계들을 필요로 할 정도로 크지 않으므로 32(64) 이상의 값은 필요가 없다.

원하는 최대 변경 즉, 4 또는 8은 위험해 보이지만, 변경 효과가 그리 크지 않다면 상기 4 또는 8이 선택될 수 있다. 이어서, 함수(Fy)의 이득을 양자화하는 문제는 아래와 같다.

함수들, 즉

local_delta_y = Fy(cor_fac, delta_y)

local_delta_u = Fu(cor_fac, delta_y, U, Y)

local_delta_v = Fv(cor_fac, delta_y, V, Y)

은 모두, local_delta_x 와 delta_x(x=y, u, v) 사이의 차의 절대값이 매개변수(cor_fac)에 따라 단조롭게 상승하는 것을 유지하는 함수들이고, 여기서 그 조건은,

local_delta_y = delta_y for cor_fac = 0

local_delta_u = delta_u for cor_fac = 0

local_delta_v = delta_v for cor_fac = 0

이며, delta_y, delta_u 및 delta_v는 원래의 히스토그램 알고리즘에서 얻어지는 것과 같다.

상기 문제 해결의 장점에 있어서,

- 특정한 색 또는 질감 영역들을 포함하는 전체 화상은 범용 히스토그램 수정 알고리즘에서 포괄적으로 이익을 얻는다.

- 히스토그램 수정 알고리즘들은 대략 포괄적으로 최적화될 수 있고, 보정 팩터는 최종적으로 양호한 조정을 할 것이다. 각각의 색/질감 유형을 위해 서로 다른 히스토그램 알고리즘들을 개발할 필요는 없다.

- 보정 알고리즘들은 범용 히스토그램 수정 알고리즘들로부터 조금은 독립해 있다.

- 국부 보정은 연속성의 문제들 없이 특정 색 또는 질감 영역들을 위한 전용 개선을 허용한다.

- 검출 영역의 정확성은, 보정 팩터가 상기 영역의 경계들에서 0으로 감소하기 때문에 보다 덜 엄격하다.

- 시스템은 다소 유연성(flexible)이 있다. 이것은 이를테면, UV만을 기초로 하는 색 검출기(color detector) 및 UV 히스토그램 보정 블록에서 색 보상을 오직 스위치 오프하는 보정 팩터로 최소 한도로 축소될 수 있다.

상기 견해는 원래의 히스토그램 수정에서, Y 레벨 분포를 주시하여 delta_Y를 산정한다. Y에 대해서만 보정하는 경우, 일반적으로 포화 문제(saturation problem)를 얻게 된다. 그리하여, delta_U 및 delta_V에 의해서 보상될 필요가 있다. delta_U = (delta_Y/Y)*U 및 delta_V = (delta_Y/Y)*V인 경우에 100% 보정을 선택한다. 또한, 50%를 보상하거나 delta_Y>0 때에만 보상하는데, 이는 동적 콘트라스트 알고리즘에서 바람직하다.

delta_Y가 국부적으로 보정될 때, U 및 V의 보정에 local_delta_y를 이용할 필요가 있다. 100% 보정을 바란다면, delta_U = (local_delta_y/Y)*U 및 delta_V = (local_delta_y/Y)*V 가 된다. 원래, 이것은 delta_U = Fu(local_delta_y, U, Y) 및 delta_V = Fv(local_delta_y, V, Y)과 같이 쓰여질 수 있다.

마지막 공식에서, 보정 팩터는 사라진다. U, V 보상(100%, 50%, 또는 delta_Y에 대해서만)의 같은 유형은 보정 영역내 및 영역밖에서 이루어진다. 정확하게, 보정 영역내 및 영역밖에서의 같은 종류의 보상을 갖기를 바라지 않는 위치들이 존재할 수 있었다. 즉, 다음과 같은 공식 즉, delta_U = Fu(cor_fac, delta_y, U, Y), delta_V = Fv(cor_fac, delta_y, V, Y)이 바람직한 이유가 있다.

실제 실시예에서, delta_U 및 delta_V는 local_delta_u 및 local_delta_v과 같다.

상기 공식들은 실제 문제에서 실제로 훨씬 더 복잡하다. 우선 첫째로, Fu 및 Fv은 항상 거의 대부분의 경우에 같을 것이다.

Fu(cor_fac, delta_y, U, Y)=Fu1(delta_y, U, Y) for correction_factor=0

Fu2(delta_y, U, Y) for correction_factor > 0

local_delta_u = Uout_U

local_delta_v = Vout_V

Fy, Fu 및 Fv에 대한 예들은 다음과 같이 주어질 수 있다.

예 1 :

스킨 톤에 대하여, 스킨 영역의 중심에서 cor_fac = 32 이고, 원래의 히스토그램이 주는 것보다 더 밝은 스킨들을 갖는다고 가정하면,

Fy(cor_fac, delta_y) = delta_Y*(32 + cor_fac)/32 for delta_Y > o

Fy(cor_fac, delta_y) = delta_Y*(32 - cor_fac)/32 for delta_Y < o

이다.

Fu(cor_fac, delta_y, U, Y)=U*(delta_Y*(32+cor_fac)/32)/Y for delta_Y > 0 및

Fu(cor_fac, delta_y, U, Y)=U*(delta_Y*(32-cor_fac)/32)/Y for delta_Y < 0

이고, Fv에 대해서, 동일하다.

그러한 경우, 전형적인 스킨 톤에 대해서,

local_delta_Y = 2*delta_Y for delta_Y >0 및

local_delta_Y = 0 for delta_Y<0

을 얻는다.

이는 더 밝아지는 것을 의미한다. U, V 보상은 100%이다.

예 2 :

U, V 보상을 다르게 하기 보다 스스로 히스토그램을 수정하기를 바라지 않는 영역이 있다고 가정하자. 화상의 정지에서, 일반적으로 100% 보상을 갖지만, 특정한 영역에서 delta_Y<0 일 때, 탈포화(desaturate)를 바라지 않는다. 그러한 경우 다음과 같이 선택할 수 있다.

Fy(cor_fac, delta_y)=delta_y

Fu(cor_fac, delta_y, U, Y)=U*(delta_Y*(32+cor_fac)/32)/Y for delta_Y > 0 및

Fu(cor_fac, delta_y, U, Y) = 0 for delta_Y <=0

이고, Fv에 대해서, 동일하다.

Fy, Fu 및 Fv에서 중요한 것은 함수의 연속성이다.

특히, 특정 색 또는 질감에 상기 시스템이 적합하다. 이는 스킨 톤 영역들에서 히스토그램 알고리즘들의 실행을 개선시키는 성과와 함께 적용되었다. 종래 기술로 간주되는 범용 히스토그램 알고리즘의 취약점은 보다 어두운 스킨들이 지나치게 어둡다는 것, 밝은 면상의 흰 점들이 악화되려 한다는 것이다. 그러한 경우, 보정 팩터는 스킨 영역의 위치에 따라 보정량을 결정한다. 상기 스킨 영역의 경계들에서는 0이고, 상기 스킨 영역의 중심에서는 32이다.

국부 색/질감 보정 블록(1)의 출력은 다음과 같다.

LocalDelta_y = (Local_pos_gain(Y)*max(0,Delta_y+max(Delta_Y, delta_yo)+ Local_neg_gain(Y)*min(0,Delta_y+min(Delta_Y,-delta_yo)-
4*Delta_y) * cor_fac/128+Delta_y

여기에서,

delta_yo은 작은 양수값으로 주어진다.

Local_pos_gain(Y) 및 Local_neg_gain(Y)는 도 2에 도시된다.

LocalDelta_u = Delta_u

Local_Delta_v = Delta_v

이 단순한 알고리즘은, 새로운 아티팩트들을 생성하지 않고 화상 정지에도 작용하지 않는, 스킨 톤들에서의 히스토그램 알고리즘 문제들을 실제로 완화시킬 수 있다. 녹색과 같은 다른 색 영역들에서의 히스토그램 실행을 개선시키는데 유사한 개념이 적용될 수 있다. 상기 시스템은 질감들에도 적용될 수 있다. 국부 측정의 입력은 현재 픽셀의 YUV와 이웃하는 픽셀들의 YUV로 구성된다.

히스토그램 수정 알고리즘들은 전체 화상에 걸쳐 측정된 휘도 레벨 분포에 기초하여 콘트라스트/상세 개선 알고리즘들이다. 상기 측정은 포괄적으로 이루어지지만 질감들 또는 색 성분들을 고려하지 않기 때문에, 히스토그램 수정 알고리즘들은 특정 질감 또는 색 영역들에서 최적화될 수 없다. 사람의 시각에 있어서 매우 엄격한 특정 스킨 톤들은 히스토그램 알고리즘들에 의해 열화될 수 있다. 보통의 경우에는 어두운 스킨에서 지나친 검은 색의 퍼짐이나 이미 매우 밝은 스킨에서 지나친 흰색의 퍼짐이 있다.(여기에서, 어두운 스킨들 및 밝은 스킨들은 스킨 톤의 휘도 레벨에 의해 정의되는데, 이것은 어떤 인종의 스킨 차이를 말하는 것은 아니다.) 그러므로, 히스토그램 보정에 스킨 톤을 국부적으로 연결시킬 필요가 있다.

스킨 톤/히스토그램 알고리즘의 기본 블록도는 다시 도 1에 도시된 바와 같다. 국부 색/질감 측정 블록(1)은 스킨 톤 검출을 실행한다. 상기 국부 색/질감 보정 블록(5)은 조직-스킨(histo-skin) 보정을 실행한다.

알고리즘 개발에 대한 기본 기준은 다음과 같다.

- 연결은 단순할 필요가 있다. 최초의 수정 알고리즘의 끝부분에서, 스킨 톤 검출기에서 나온 보정 팩터는 local_delta_y에 대한 delta_y의 약간의 변경을 허용한다.

- 이는 선택된 히스토그램 수정 알고리즘으로부터 다소 독립된 연결 알고리즘의 개발을 허용한다.

- 상이한 히스토그램 알고리즘들은 스킨 톤 영역들에서 서로 다른 방식으로 틀려질 수 있다. 어떤 종류의 위치가 보정되도록 6개의 매개변수들을 도입한다. 이들은 히스토그램 수정의 이득을 국부적으로 바꾸거나, 또는 스킨을 더 어둡게 하거나 더 밝게 하도록 오프셋을 부가한다. 상기 매개변수들은 하기에 충분히 기술된다. 마침내, 스킨 톤 보정 색 알고리즘에서 선택되는 스킨 톤 각에 상기 매개변수들을 연결할 수 있었다.

스킨 톤 검출은 색 알고리즘 블록에서 사람에게 매우 밀접하다. 상기 매개변수(cor_fac)는 스킨 영역의 위치에 따라 보정량을 결정한다. 스킨 범부의 중심에서, cor_fac는 32 값에서 최대이다. 스킨 영역의 경계에서는 연속성 때문에, 0이어야 한다.

6개의 매개변수들은 스킨 톤/히스토그램의 연결을 조정하는 것을 허용한다.

1. max_dark_skin은 어두운 스킨들에 대응하는 휘도의 최고 레벨을 정의한다. max_dark_skin은 0에서 31(주어진 Y 레벨에 대한 LUT의 인덱스에 대응하는)까지 조정될 수 있다.

2. min_bright_skin은 밝은 스킨들에 대응하는 휘도의 최소 레벨을 정의한다. min_bright_skin은 0에서 31(주어진 Y 레벨에 대한 LUT의 인덱스에 대응하는)까지 조정될 수 있다. 알고리즘의 적당한 작용에 있어서, min_bright_skin은 max_dark_skin보다 높거나 같게 선택되어야 한다.

3. 어두운 스킨들이 증가된다면(delta_y>0), dark_pos_gain은 어두운 스킨들을 위한 스킨 톤-히스토그램 보정의 유형을 정의한다. 그것은 Delta_y>0 및 index(Y)<max_dark_skin 의 경우에 다음의 식에 의해서 0에서 4까지 조정될 수 있다.

4. 어두운 스킨들이 검게 퍼진다면(delta_y<0), dark_neg_gain은 어두운 스킨들을 위한 스킨 톤-히스토그램 보정의 유형을 정의한다. 그것은 delta_y<0 및 index(y)<max_dark_skin의 경우에 다음의 식에 의해서 0에서 4까지 조정될 수 있다.

5. 밝은 스킨들이 증가된다면(delta_y>0), bright_pos_gain은 밝은 스킨들을 위한 스킨 톤-히스토그램 보정의 유형을 정의한다. 그것은 Delta_y>0 및 index(Y)>min_bright_skin의 경우에 다음의 식에 의해서 0에서 4까지 조정될 수 있다.

6. 밝은 스킨 레벨들이 감소된다면(delta_y<0), bright_neg_gain은 밝은 스킨들을 위한 스킨 톤-히스토그램 보정의 유형을 정의한다. 그것은 Delta_y<0 및 index(Y)>min_bright_skin의 경우에 따라 다음의 식에 의해서 0에서 4까지 조정될 수 있다.

상기 공식의 연속성은 delta_y = 0을 기초로 한다.

그러나, 상기 공식들은 0을 기초로 하는 delta_y에 항상 적합한 것은 아니다. 이를테면, dark_pos_gain = 4 및 dark_neg_gain = 0 상태는 어두운 스킨들이 보다 덜 검게 퍼지는 것과, 어두운 스킨들이 더 많이 증가하는 것을 의미한다. 또한, 단순히 어두운 스킨들이 밝아지게 되는 것으로 해석될 수 있다. 이는 abs(Delta_y)≤delta_y0 에 대해 다음과 같은 새로운 공식을 도출한다.

delta_y의 전체 범위에 대한 일반적인 공식은 다음과 같다.

LocalDelta_y = (dark_pos_gain*max(0, Delta_y+max(Delta_y,

delta_yo)+dark_neg_gain*min(0,Delta_y+min

(Delta_Y,-delta_yo)-4*Delta_y)*cor_fac/128+Delta_y

delta_y = 0을 기초로 하는 밝은 스킨들을 위한 유사한 공식이 도출된다. 상기 알고리즘에서, delta_y0의 값은 5로 선택된다.

도 3은 dark_pos_gain 및 dark_neg_gain의 서로 다른 조합에 대한 스킨 영역(즉, cor_fac = 32)의 중심에서, 함수 delta_y에 따른 Localdelta_y를 도시한다.

이 방식에서, 우리는 어두운 스킨들에서 히스토그램의 효과를 감소시키거나 증가시키고, 어두운 스킨들을 더 밝게 또는 더 어둡게 만들 수 있는 가능성을 얻는다. 유사한 가능성들인 밝은 스킨들에 대해 실현된다.

max_dark_skin 및 min_bright_skin 사이의 천이.

max_dark_skin 및 min_bright_skin의 선택은 낮은 휘도 및 밝은 휘도 영역들의 히스토그램 상에 다룬 보정들을 만들도록 허용한다. 통상적으로 min_bright_skin는 max_dark_skin보다 더 높게 선택된다. 어두운 매개변수들로부터 밝은 매개변수들로의 부드러운 천이가 이루어진다.

그 뒤, 우리는 전체 휘도 범위에 걸쳐 일반적인 공식들을 얻는다.

같은 방식으로, dark_neg_gain 및 bright_neg_gain은 Local_neg_gain을 계산하기 위해 조합된다. 그 뒤, Localdelta_Y는 일반적인 공식:

을 이용하여 계산된다.

알고리즘은 스킨 톤에서 히스토그램 수정 효과들의 변조를 허용한다. 특히, 동적 콘트라스트 알고리즘(dynamic contrast algorithm)이 사용될 때, 이것은 검정에 가까운 스킨들 및 흰색에 가까운 스킨들에서 상당한 실현을 제공한다.

히스토그램의 기초들이 매우 간단하다. 어두운 영역으로부터 밝은 영역으로, 그리고 delta_y<0 으로부터 delta_y>0으로의 필요한 연속성을 제공하는 것에만 주의가 요구된다. 이득 매개변수들(gain parameters)은, UV 히스토그램 보상에 대해 이미 존재하는 매개변수들을 고려하여 선택된다.

히스토그램 수정 알고리즘들은 많은 수의 op 화상들(op pictures)을 고려하여 최적화된다. 알고리즘이 스킨 톤과 같은 기준 재료에 적절하게 실행되도록 타협들이 종종 이루어진다. 따라서, 히스토그램에 대한 국부적인 스킨 톤의 결합은 스킨 톤들을 저하시키지 않고, 전체 화상에 대한 히스토그램 수정 알고리즘을 개선하도록 할 수 있다. 알고리즘의 주요 한계는 실질적으로 스킨 톤 영역의 정밀도이다. 때때로, 대부분의 보정은 스킨 톤 영역의 한계들내에서만 요구된다. 그러나, 연속성 이유들에 대해, 비-스킨 영역들(non-skin areas)에의 영향을 회피하도록, 보정은 스킨 영역의 한계에서 0으로 되어야 한다. 제안된 보정은 대부분의 화상들을 개 선하기 위해 관리한다.

도 4는 히스토 스킨 보정 블록(5)의 상세한 실시예와 스킨 검출기(1)가 이 블록(5)을 어떻게 제어하는지를 도시한다. 그것은, 파라미터들 dark_pos_gain, bright_pos_gain, dark_neg_gain, bright_neg_gain, min_bright_skin, max_dark_skin, 및 인덱스를 이용하여, 보정 팩터 cor_fac 및 delta_y로부터 local_delta_y를 어떻게 구하는지를 나타내는 상기 공식들을 실시예이다.

스킨 톤 검출 블록(1)의 실시예에 있어서, 보정 팩터 cor_fac는 다음과 같이 YUV로부터 도출된다. 두 축들은 다음과 같이 규정된다.

Vref1 = 4*U + 3*V

Vref2 + 2.5*V - 2*U - min(Y, 256) - 256

Y 상수에서, 스킨 톤은 abs(Vref1)<min(Y, 256) 및 abs(Vref2) < min(Y, 256)에 의해 규정된 평행사변형이다. 코스의 공식은 YUV 포맷에 의존하고, 그의 원래 포맷은 9비트이다. 중요한 것은 그것은 항상 상수 Y 평면에서 평행사변형처럼 보인다는 것이다.

Y 상수에서 보정 팩터는 피라미드이고, 그에 대한 상세한 설명은 아래에서 기술될 것이다.

스킨 톤 이외의 다른 용용예의 경우에, 목적은 단지 3 또는 4차원에서 단순한 기하 형태를 유지하는 것이 된다. 트릭은 양호한 Verf1 및 Verf2 축을 규정하는 것이다. 기본적으로, 그것은 검출 영역이 평행사변형처럼 보이는 축을 구해서, 보정 팩터 cor_fac가 피라미드로서 쉽게 표현하고자 하는 것이다. 4차원 이상이 존재하는 경우에, 보다 많은 연속성 조건들을 처리해야 하고 대부분의 경우에 그것은 신호 조건들의 매우 작은 부분인 매우 특정적인 부분을 격리시키고자 하는 것을 의미한다. 검출은 전체 영역에 비해서 극소하게 유지되어야 하지만, 관련이 있어야 한다.

실험들은 도 5에 도시된 바와 같이 YUV에 스킨 톤들이 집중되어 있음을 보여주고 있다. 스킨 톤은 4*U+3*V = Vref 1에 의해 규정된 축을 따라 집중된다. Vref1 = 0을 따르는 방향으로, 통상적인 스킨 톤이 Y와는 무관하게 최고로 집중되어 있다.

Vref1 > 0 은 더 많이 적색을 띤 스키에 대응한다.

Vref1 < 0 은 더 많이 황색을 띤 스킨에 대응한다.

UV 영역만을 보면, Y가 감소할 때 스킨 톤 영역은 점점 작아지는 것을 알게된다. 또한, 이 영역의 중심은 Y가 감소됐을 때 더 작은 UV 값들로 이동한다.

Y 상수에 있어서, 스킨 영역은 다음과 같이 정의된 평행사변형으로 표현될 수 있다.

|Vref1| < MaxSkinTon eVariation

|Vref2| < MaxSaturat ionVariati on

여기서, Vref2 = 2.5 * V - 2 * U - min(Y, 256) - 256

MaxSkinTon eVariation = min(Y, 256)

MaxSaturat ionVariati on = min(Y, 256)

도 6 및 도 7은 Y>256에 대해 UV 및 Vref1, Vref2의 스킨 톤 영역을 도시한다. Vref1, Vref2로 정의된 검출 각도들 및 MaxSkinToneVariation, MaxSaturat ionVariation으로 정의된 범위는 영역에 가능한 한 많은 스킨 톤들을 포함하고 가능한 한 많은 실제 노랑 또는 빨강 톤들을 배제하도록 한다. (Vref1, Vref2) = (0, 0)의 스킨 톤들은 스킨 톤들에서 특히 소망의 히스토그램 보정으로 백분율로 보정될 것이다. 영역의 중심으로부터 더 멀어지며, 더 적은 보정이 행해질 것이다.

도 8의 피라미드는 보정량(256으로 스케일링됨)을 정의한다. 이것은 다음 알고리즘으로 정의되며, 여기서, local_y, local_u 및 local_v는 국부 YUV 값들이다.

SkinVRef1 = 3 * local_v + 4 * local_u

최대 스킨 보정 SkinCorrMax = min(local_y, 256)

SkinVRef2 = 5 * local_v / 2 - 2 * local_u - 256

SkinDistance=min(max(2*abs(SkinVRef1),2*abs(SkinVRef2)),SkinCorrMax)

cor_fac=min(32,64*(SkinCorrMax-SkinDistance)/max(SkinCorrMax, 8))

상기 기술된 실시예들은 본 발명을 한정하는 것이라기 보다는 예시적인 것이라는 점에 유의해야 하며, 이 기술분야에 숙련된 사람들은 청구항의 범위를 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있을 것이다. 청구항에 있어서, 괄호 사이의 참조 부호들은 청구항을 제한하는 것으로 해석되어서는 안된다. 용어 " 포함하다"는 청구항에 표시된 것 이외의 구성 요소들 또는 단계들이 존재하는 것을 배제하는 것은 아니다. 구성 요소 앞의 단어 "한(a 또는 an)"은 이러한 다수의 요소들이 존재하는 것을 배제하는 것은 아니다. 본 발명은 여러 개의 별개의 구성 요소들을 포함하는 하드웨어에 의해, 및 적절히 프로그램된 컴퓨터에 의해 실시될 수 있다. 여러 개의 수단들을 열거하는 장치 청구항에 있어서, 여러 개의 상기 수단들은 동일한 항목의 하드웨어에 의해 구체화될 수 있다. 특정 방법이 상이한 종속항들을 서로 참조하는 것은 단지 이 방법들의 조합이 유리하게 사용될 수 없는 것을 나타내는 것은 아니다.

Claims

화상 신호를 개선하기 위한 방법에 있어서:

화상 신호에, 전체 화상 또는 상기 화상의 제 1 부분에 걸친 휘도 레벨 분포(luminance level distribution)에 기초하여 히스토그램 기초의 화상 신호 수정을 행하는 단계(3, 7); 및

콘트라스트 및 명도 이외의 국부적으로 측정된 화상 신호 특성들에 의존하여, 상기 히스토그램 기초의 화상 신호 수정을 국부적으로 조정하는 단계(5)를 포함하고,

상기 국부적으로 측정된 화상 신호 특성들은 각각 실질적으로 상기 전체 화상 또는 상기 화상의 제 1 부분보다도 작은 상기 화상의 제 2 부분들에 관련되고, 상기 제 2 부분들은 상기 전체 화상 또는 상기 화상의 제 1 부분내에 있는, 화상 신호 개선 방법.
제 1 항에 있어서,

최대 국부 조정은 상기 국부적으로 측정된 화상 신호 특성들의 검출 영역의 중심에서 실행되고, 상기 검출 영역의 외측 또는 경계들에서 국부 조정이 실행되지 않으며, 상기 국부 조정은 상기 검출 영역의 중심에서 상기 검출 영역의 경계들 쪽으로 실질적으로 연속해서 변화하는, 화상 신호 개선 방법.
제 1 항에 있어서,

상기 국부적으로 측정된 화상 신호 특성들은 색(color) 및/또는 질감(texture)인, 화상 신호 개선 방법.
제 3 항에 있어서,

상기 국부적으로 측정된 화상 신호 특성들은 상기 제 2 부분이 스킨(skin)과 관련하는지를 나타내는, 화상 신호 개선 방법.
제 1 항에 있어서,

상기 제 2 부분들은 개개의 픽셀들인, 화상 신호 개선 방법.
화상 신호를 개선하기 위한 장치에 있어서:

화상 신호에, 전체 화상 또는 상기 화상의 제 1 부분에 걸친 휘도 레벨 분포에 기초하여 히스토그램 기초의 화상 신호 수정을 행하는 수단(3, 7); 및

콘트라스트 및 명도 이외의 국부적으로 측정된 화상 신호 특성들에 의존하여, 상기 히스토그램 기초의 화상 신호 수정을 국부적으로 조정하는 수단(5)을 포함하고,

상기 국부적으로 측정된 화상 신호 특성들은 각각 실질적으로 상기 전체 화상 또는 상기 화상의 제 1 부분보다도 작은 상기 화상의 제 2 부분들에 관련되고, 상기 제 2 부분들은 상기 전체 화상 또는 상기 화상의 제 1 부분내에 있는, 화상 신호 개선 장치.
디스플레이 장치에 있어서:

개선된 화상 신호를 발생시키는 제 6 항에 청구된 화상 신호 개선 장치; 및

상기 개선된 화상 신호를 디스플레이하는 디스플레이 유닛(D)을 포함하는, 디스플레이 장치.