KR20060115651A

KR20060115651A - 색조, 채도, 휘도 방향으로 검출, 보정, 페이딩 및 처리방법

Info

Publication number: KR20060115651A
Application number: KR1020060040314A
Authority: KR
Inventors: 앤드류 맥키넌; 피터 스와츠
Original assignee: 제네시스 마이크로칩 인코포레이티드
Priority date: 2005-05-05
Filing date: 2006-05-04
Publication date: 2006-11-09
Also published as: EP1720361A1; SG144137A1; US20060251323A1; JP2006325201A; TW200718223A; SG126924A1

Abstract

색 관리를 위한 방법, 시스템 및 장치는 U/V 값 대신, 색조, 채도, 휘도 값을 직접 다룬다. 덧붙이자면, 색 공간을 균등한 구역으로 분할하는 대신, 상기 색 공간은 사용자 정의 다중 영역으로 분할된다. 픽셀을 검출하는 것은 픽셀의 색조, 채도, 휘도 값에 기반을 둬서, 이 값들의 세트가 전체 색조에 대한 보정을 형성할 수 있다.

Description

색조, 채도, 휘도 방향으로 검출, 보정, 페이딩 및 처리 방법{DETECTION, CORRECTION FADING AND PROCESSING IN HUE, SATURATION AND LUMINANCE DIRECTIONS}

도 1은 RGB 색 공간을 도식한 도면이다.

도 2는 YUV 색 공간을 도식한 도면이다.

도 3은 종래의 NTSC 표준 TV 화면을 도식한 도면이다.

도 4는 본 발명의 하나의 실시예에 따른 실시간 프로세서 시스템의 도면이다.

도 5는 RGB 기반 24 비트(또는 트루컬러) 시스템에 적합한, 본 발명을 따르는 픽셀 데이터 워드를 도식한 도면이다.

도 6은 본 발명의 실시예에 따르는, 주사 선 데이터 워드를 도식한 도면이다.

도 7은 본 발명을 따르는 검출 및 프로세싱을 기반으로 하는 필수 색조를 제공하는 프로세서로서 설정된 디지털 신호 처리 엔진을 도식한 도면이다.

도 8은 데카르트 좌표에서 극 좌표로의 변환을 도식한 도면이다.

도 9는 본 발명의 실시예에 따른 대표 영역을 도식한 도면이다.

도 10은 본 발명의 실시예에 따르는 대표 영역 값을 나타내는 표 1이다.

도 11은 본 발명의 실시예에 따라, 특정 픽셀이 있는 영역을 검출하기 위한 프로세스를 도식한 흐름도이다.

도 12는 본 발명의 실시예에 따라, 영역 거리를 연산하기 위한 프로세스를 자세히 묘사한 흐름도이다.

도 13은 본 발명을 구현하기 위한 시스템을 도식한 도면이다.

본 발명에서는 로컬 색 제어를 설명한다.

주요 색(primary color)을 기반으로 하여, 3차원 공간에 모든 색을 나타내기 위한 여러 가지 색 모델들이 발전 되어 왔다. 상기 공간내의 각각의 포인트는 특정한 색조를 나타내며, 어떤 색 모델은 또한 명도와 채도도 나타낸다. 이러한 모델 중 하나가 RGB(Red, Green, Blue) 색 모델이라 불리는 것이다. 기존의 RGB 색 모델의 일반적인 모습이 도 1에서 도식된다. 데카르트 좌표(R, G, B)를 갖는 입방체(100)를 기반으로 하여 RGB 색 모델이 3차원 공간에 사상되고, 그에 따라 상기 입방체(100)의 각각의 차원은 주요 색을 나타낸다. 이와 유사하게, 특정 색조를 나타내는 각각의 포인트는 상기 입방체(100)내에 있는 삼중점(r, g, b)에 의해 나타나는데, 이때 좌표(r, g, b)가 주어진 색 방향으로의 각 주요 색의 기여도를 보여준다. 간결성을 위해서, 입방체(100)는 R, G, B의 모든 값이 [0,1]의 범위내에 있는 단위 입방체이도록 모든 색 값이 규격화된다.

도면에 나타낸 바와 같이, 제 1 좌표(r)는 색조에서 빨강의 크기를 내타내 며, 제 2 좌표(g)는 초록을 나타내고, 제 3 좌표(b)는 파랑의 크기를 나타낸다. 입방체상에 위치하거나 입방체내에 위치하는 한 포인트에 대하여 각각의 좌표는 0과 1 사이의 값을 가지며, 순수 빨강은 좌표(1, 0, 0)를 갖고, 순수 초록은 좌표(0, 1, 0)에 위치하고, 순수 파랑은 좌표(0, 0, 1)에 위치한다. 이러한 방식으로, 노랑은 좌표(1, 1, 0)에 위치하며, 주황이 빨강과 노랑의 중간색이기 때문에, 주황의 위치는 상기 입방체의 좌표(1, 1/2, 0)가 된다. 검정(0, 0, 0)과 하양(1, 1, 1) 사이에서 점선으로 표시된 대각선 D는 회색의 명암 변화를 제공한다.

(총 24-비트 RGB 색에 대한) 8-비트 색을 수용할 수 있는 디지털 시스템에서, RGB 모델은, 입방체(100)상에서나 입방체 내부에서의 포인트 개수인 256³ 또는 16백만 가지의 색을 표시할 수 있다. 그러나 RGB 색 공간을 이용하여 디지털 이미지를 표시할 때, 각각의 픽셀은 Red, Green, Blue 이미지 평면 중 하나를 나타내는 3가지 색 요소와 관련되어 있다. 그러므로 RGB 색 공간에서 나타나는 이미지에서 제거함으로써 색을 관리하기 위해, 예를 들면 조명으로 사용한 텅스턴 전구로 인한 과도한 노랑을 제거하기 위해, RGB 색 공간의 3색 요소 모두가 수정된다. 왜냐하면 3개 평면의 각각은 서로 교차 연결되어 있기 때문이다. 그러므로 예를 들어 과도한 노랑을 제거할 때, 디지털 이미지에서 나타나는 모든 주요 색(primary color)들 간의 관계에 영향을 끼치는 것을 피하기 어렵다. 통상적으로, RGB 모니터상으로 관찰될 때, 이미지상의 중요 색 속성, 예를 들어 피부 톤이 자연스럽게 나타나지 않는다.

RGB 색 공간은 디지털 이미지를 개선하기 위한 최선의 방법이 아닐 수 있으며, 다른 대안 색 공간, 가령, 색조 기반 색 공간(hue-based color space)이 이러한 기술적 문제를 보완하기에 더 적합할 수 있다. 그러므로 예를 들어 보면, 색 보정에 의해 디지털 이미지를 보정할 때, 상기 디지털 이미지는 RGB 색 공간을, 사람이 색을 감지할 수 있도록 하는 다른 색 공간으로 변환시킨다. 이러한 색 공간에는 색조 기반 공간이 포함된다. 왜냐하면 색조는 순수 색(순수 노랑, 순수 주황, 순수 빨강)을 나타내는 색 속성이기 때문이다. RGB 이미지를 색조 기반 색 공간의 이미지로 변환시킴에 따라, 디지털 이미지의 색 양상이 휘도와 채도로 분리된다.

이러한 색 모델 중 하나가 YUV 색 공간이라 일컬어지는 것이다. YUV 색 공간은 하나의 휘도(Y) 요소와 두 개의 색차(UV) 요소로 색 공간을 정의하며, 이때 Y는 휘도 요소(밝기)를 나타내고 U 및 V는 원시 RGB 소스로부터 생성된 색차(색) 요소를 나타낸다. 가중된 R, G, B의 값이 서로 더해져서 관심 영역의 밝기 또는 휘도 모두를 나타내는 하나의 Y 신호가 생성된다. 그 후 Y를 원시 RGB의 파랑 신호로부터 추출함으로써 U 신호는 생성되고, 스케일링된다. 그리고 빨강 신호로부터 Y를 추출함으로써 V 신호는 생성되고, 다른 인자에 의해 스케일링된다. 이것은 아날로그 회로를 이용하여 쉽게 성취될 수 있다.

도 2는 3차원 YUV 색 공간을 UV 평면(200)에 투영한 것을 도식한 도면이다. UV 공간에서, 색 지각은 두 값들의 함수이다. 색조(hue)는 지각되는 색이며, +U 축에서의 각도로서 측정된다. 채도(saturation)는 무색의 픽셀이고, UV 원점에서부터의 극성 벡터의 크기이며, 이때 UV 원점은 U=V=0이며 채도가 0인 포인트(회색 포인 트)이고, 이때 U 및 V의 범위는 +/-112.5이다. UV 평면(200)상에서, 색조는 +U 축(0도)으로부터의 각 거리θ에 의해 나타내어진다. 채도는 원점(0, 0)으로부터의 거리 크기 R에 의해 나타내어진다. 반면에 휘도는 UV 평면에 수직인 길이의 크기 Y로 나타내어진다. 종래의 색 관리 시스템은 YUV 범위 내에서 UV 평면(200)을, 거친 정도에 대한 두 개의 레벨을 갖는 다수의 사각형으로 분할함으로서 색의 로컬 제어를 제공한다. 이러한 사각형의 꼭짓점이 제어 포인트로서 사용된다. 각각의 꼭짓점을 이용하여 UV 오프셋이 특정된다. 전체 UV 평면에 대한 UV 오프셋을 끌어내기 위해 이러한 오프셋 값이 제어 포인트들 사이에서 보간(interpolation)된다.

그러나 UV 공간은 사각형으로 분할되기 때문에, 대부분의 영역에서 색조 또는 채도에 평행하지 않는 보간이 발생한다. 이에 따른 바람직하지 못하게 제어된 그리드(grid) 때문에, 눈에 보이는 결함이 초래된다. 이러한 결함은 그리드 경계부에서의 바람직하지 못한 색조를 포함하고, 이는 형성된 그리드가 부작용을 방지하기에 충분치 못하기 때문이다. 가령, 피부 톤을 조정하는 것이 피부 톤에 인접해 있는 색조들에게 바람직하지 못한 변화를 초래하는 경우가 있다. 조정이 바람직한 그리드에 의해 둘러싸인 한 포인트에서 발생하는 경우에, 바람직한 조정이 발생한다. 그러나 보정될 색이 바람직하지 못한 그리드와 바람직한 그리드에 의해 경계 지어질 때, 바람직하지 못한 그리드가 조정되어, 색을 수정하지 못하게 되거나 바람직하지 못한 그리드가 수정되지 않을 경우 모서리 부작용이 발생한다. 왜냐하면 어떤 페이딩(fading)도 행해지지 않기 때문이다. 덧붙이자면 색 조정은 입력휘도(Y) 값과는 관계없이 UV 평면에서 발생하고, 휘도 값에 영향을 끼치지도 못한다. 이것은 여러 경우에 있어서 바람직하지 못하다. 가령, 빨강 축 제어가 낮은 휘도 범위에서 가장 잘 수정될 수 있는 반면에, 피부 톤은 높거나 낮은 휘도 대역에서의 부작용은 최소화하면서 중간 휘도 대역에서 가장 잘 수정될 수 있다.

그러므로 바람직한 방법은 픽셀의 U 및 V 값 대신에 픽셀의 색조, 채도, 휘도의 값을 직접 다루는 것이다.

일반적으로, 본 발명은 픽셀의 U 및 V 값 대신 색조, 채도, 휘도 값을 직접 제어하는 방법, 시스템, 장치에 관한 것이다. 덧붙이자면, 색 공간을 균등한 구역으로 분할하는 대신, 사용자 정의 다중 영역을 사용하는 실시예에 관한 것이다. 이러한 방식으로, 영역 검출 및 보정이 명백하게 형성되기 때문에, 사용자는 그가 영향을 주고자 선택한 것 외의 다른 색은 변하지 않음을 보장받을 수 있다. 하나의 실시예에 의해, 색상에 추가로 입력 휘도 값을 기반으로 하는 픽셀의 조정이 형성될 수 있고, 상기 픽셀의 휘도를 수정할 수 있다. 픽셀의 검출은 색조, 채도, 휘도 값을 기반으로 하고, 그래서 값들의 단일 세트가 전체 색조에 대한 보정을 형성할 수 있다. 이는 모든 채도 값에 걸쳐 있는 단일 색조에 영향을 주기 위해서는 다중 보정 값이 요구되는 다른 시스템에 비해 프로그램을 간단하게 한다. 보정 페이딩이 다른 시스템에서처럼 U/V 방향 대신에 색조, 채도, 휘도 방향으로 발생하여, 매끄러운 페이딩이 다른 색조에 영향 주는 일 없이 이용될 수 있다.

본 발명의 방법은, 픽셀의 색 공간을 데카르트 좌표계에서 극 좌표계로 변환시키고, 픽셀이 영역 매개변수의 세트로 설명되는 3차원 영역내에 있는지를 판단 하여, 상기 3차원 영역내의 픽셀의 위치를 기반으로 보정 인자를 적용하고 픽셀의 극 좌표계를 데카르트 좌표계로 변환함으로써 수행된다.

본 발명의 다른 태양과 이점들이 다음의 상세 설명에서, 보다 명확해질 것이다.

본 발명의 특정 실시예에 대한 세부 설명이 도면을 참조하여 이뤄질 것이다. 본 발명이 특정 실시예를 설명하기는 하나, 특정 실시예를 설명하는 것이 본 발명의 범위를 제한하는 것은 아님이 이해되어야 할 것이다. 본 발명은 본 발명의 사상과 범위내에서 포함될 수 있는 대안과 수정을 모두 포함한다.

일반적으로, 본 발명은 픽셀의 U 및 V 값만 제어하는 대신 색조, 채도, 휘도 값을 직접 제어하는 방법, 시스템, 장치에 관한 것이다. 덧붙이자면, 색 공간을 균등한 구역으로 분할하는 대신, 사용자 정의 다중 영역을 사용하는 실시예에 관한 것이다. 이러한 방식으로, 영역 검출 및 보정이 명백하게 형성되기 때문에, 사용자는 그가 영향을 주고자 선택한 것 외의 다른 색은 변하지 않음을 보장받을 수 있다. 하나의 실시예에 의해, 색상에 추가로 입력 휘도 값을 기반으로 하는 픽셀의 조정이 형성될 수 있고, 상기 픽셀의 휘도를 수정할 수 있다. 픽셀의 검출은 색조, 채도, 휘도 값을 기반으로 하고, 그래서 값들의 단일 세트가 전체 색조에 대한 보정을 형성할 수 있다. 이는 모든 채도 값에 걸쳐 있는 단일 색조에 영향을 주기 위해서는 다중 보정 값이 요구되는 다른 시스템에 비해 프로그램을 간단하게 한다. 보정 페이딩이 다른 시스템에서처럼 U/V 방향 대신에 색조, 채도, 휘도 방향으로 발생하여, 매끄러운 페이딩이 다른 색조에 영향 주는 일 없이 이용될 수 있다.

본 발명에서는 비디오 소스와 컴퓨터 모니터, 아날로그/디지털 텔레비전 같은 디스플레이에 기반하는 시스템을 설명할 것이다. 텔레비전 디스플레이의 경우에, 도 3은 종래의 NTSC 표준 TV 화면(301)을 도식한다. 상기 TV 화면(301)은 TV 화면(301)의 화면 정보를 지니는 영역인 유효 화면(310)으로 형성되어 있다. 상기 유효 화면 영역(310)의 바깥 쪽은 선 및 장을 소거하는 것에 적합한 소거 영역(311)이다. 상기 유효 화면 영역(310)은 프레임(312), 픽셀(314), 주사 선(316)을 사용하여 실제 TV 이미지를 형성한다. 상기 프레임(312)은 다양한 소스들(아날로그 비디오 카메라, 아날로그 텔레비전)뿐 아니라 디지털 소스(컴퓨터 모니터, 디지털 텔레비전) 중 임의의 것으로부터 생성된 정지 이미지를 나타낸다. 비월주사(interlaced scan)가 사용되는 시스템에서, 각각의 프레임(312)은 정보의 장을 나타낸다. 사용되는 주사의 종류에 따라, 프레임(312)은 또한 정지 이미지의 다른 파손을 나타낼 수도 있다.

디지털 포맷에서, 각각의 픽셀은 명도/휘도 요소(루마(luma), “Y"라고 일컬어짐)와 색/색차 요소에 의해 나타난다. 인간 시각 시스템이 명도의 경우에 대해서 보다, 색상의 공간 변화에 대해 덜 민감함을 갖기 때문에, 밝기 요소 또는 루마를 하나의 채널로 루마가 제거된 색 정보를 두 개의 다른 채널들로 전달하는 것이 바람직하다. 디지털 시스템에서 각각의 두 개의 색 채널은 루마 채널의 경우 보다 상당히 낮은 데이터 전송률(또는 데이터 수용력)을 갖는다. 초록이 상기 루마 채널을 좌우하기 때문에(통상적으로 루마 신호의 약 59%가 초록 정보를 포함하고 있다), 두 개의 색 채널(파랑, 빨강)을 기반으로 하는 것이 반응성이 뛰어나며, 신호 대 노이즈 비(signal-to-noise)에 유리하다. 디지털의 경우에, 이러한 두 개의 색 채널은 파랑 Cb와 빨강 Cr로 불리운다.

복합 비디오의 경우, NTSC, PAL, SECAM 같은 코딩 표준들 중 하나를 이용하여 타이밍 참조자 ‘싱크’정보를 따라 휘도와 색차가 조합된다. 사람의 눈은 색을 구별하는 능력보다 명도를 구별하는 능력을 더 지니기 때문에, 코딩된 신호의 색 선예도(대역폭)는 휘도의 선예도보다 낮게 감소한다.

도 4는 본 발명의 실시예에 따르는, 실시간 프로세서 시스템(400)의 블록 다이어그램이다. 실시간 프로세서 시스템(400)은 처리하기 위한 임의의 개수의 비디오 입력 신호를 제공하도록 배치된 이미지 소스(402)를 포함한다. 상기 비디오 신호는 임의의 개수의 잘 알려진 포맷을 지닌다. 예를 들자면 BNC 컴포지트, 직렬 디지털, 병렬 디지털, RGB, 주문 디지털 비디오가 있다. 신호는 아날로그 이미지 소스(404)를 포함하는 이미지 소스(402)에서 제공되는 아날로그일 수 있다. 예를 들어, 아날로그 이미지 소스(404)에는 아날로그 텔레비전, 정지 카메라, 아날로그 VCR, DVD 플레이어, 캠코더, 레이저 디스크 플레이어, TV 튜너, 위성 DSS 또는 케이블 셋톱 박스 등이 있다. 상기 이미지 소스(402)는 또한 디지털 이미지 소스(406)를 포함할 수 있으며, 그 예로는 디지털 텔레비전(DTV), 디지털 스틸 카메라 등이 있다. 상기 디지털 비디오 신호는 임의의 개수이고 임의의 종류인 종래의 디지털 포맷일 수 있으며, 그 예는 SMPTE 274M-1995(1920x1080 분해능, 순차 주사(progressive scan) 또는 비월 주사(interlaced scan)), SMPTE 296M- 1997(1280x720 분해능, 순차 주사)뿐 아니라 표준 480 순차 주사 비디오(standard 480 progressive scan video)가 있다.

이미지 소스(402)가 아날로그 이미지 신호를 제공하는 경우에서, A/D 컨버터(analog-to-digital converter)(408)가 아날로그 이미지 소스(404)에 연결되어 있다. 본 실시예에서, A/D 컨버터(408)는 아날로그 전압 또는 전류 신호를, 디지털 프로세싱에 적합한 적정 디지털 이미지 데이터 워드를 처리하는 과정에서 형성된, 디지털로 인코딩된 일련의 이산 숫자(신호)로 변환한다.

따라서 도 5는 본 발명에 따른 RGB 기반 24 비트(또는 트루컬러) 시스템에 적합하게 나타나는 대표 픽셀 데이터 워드(500)를 도식한다. 그러나 픽셀 워드(500)를 설명하기 RGB 기반 시스템이 사용되나, 다음의 논의가 YUV 같은 임의의 색 공간에도 적용될 수 있다. 따라서 RGB 색 공간에서, 픽셀 데이터 워드(500)는 3개의 서브-픽셀인 R(Red) 서브-픽셀(502), G(Green) 서브-픽셀(504), B(Blue) 서브-픽셀(506)로 이뤄져 있고, 각각의 서브-픽셀이 n 비트 길이를 가져 총 3n 비트이다. 이러한 방식으로, 각각의 서브-픽셀은 2ⁿ(즉, 256)의 전압 레벨을 생성할 수 있다. 상기 전압 레벨은 히스토그램으로 표시될 때 빈 값(bins)이다. 예를 들자면, 24 비트 색 시스템에서, 연관된 파랑 마스크를 통과하는 광량을 변조시키는 액체 수정의 투명도를 변화시킴으로써, n=8이고 B 서브-픽셀(506)이 색상 파랑의 256 레벨을 표시하기 위해 사용될 수 있다. 반면에 G 서브-픽셀(504)은 색상의 256 레벨을 표시하기 위해 사용된다. 더 설명하자면, 사용되는 색 공간과 색 깊이(즉, 픽셀 당 비트의 수) 모두를 명시하는 약어가 사용될 것이다. 가령, 픽셀 데이터 워드(500)는 색 공간이 RGB이고 각각의 서브-픽셀이 8 비트 길이를 지녔다는 의미의 RGB888로 설명된다.

도 6을 참조하면, A/D 컨버터(408)는 픽셀 데이터 워드(500)로 형성된 주사 선 데이터 워드(600)를 생성하기 위해 4:x:x 샘플링을 사용한다. 4:x:x 샘플링은 색상 차이 요소를 지니는 비디오 신호(Y)에 적용되는 샘플링 기법이며, 4:x:x 샘플링 기법에서, 색상 차이 신호, Cr 및 Cb가 휘도 Y 주파수의 약수에서 샘플링된다. 4:2:2 샘플링이 적용될 경우, 두 개의 색 차이 신호 Cr 및 Cb는 짝수 휘도 Y 샘플과 같은 순간에서 샘플링된다. 4:2:2 샘플링을 사용하는 것은 전문 비디오에 대해 “표준”이다. 왜냐하면 상기 샘플링에 의해, 휘도와 색차 디지털 정보가 동시에 부합됨이 보증되고, 그에 따라 크로마/루마 딜레이를 최소화함에 따른 훌륭한 화상 품질이 제공되고 샘플 크기는 1/3로 감소된다.

도 4를 다시 참조하여, 디지털 이미지 소스(406)와 A/D 컨버터(408)에 연결된 내장된 비디오 신호 선별기(410)가 배치되어, 두 개의 이미지 소스(아날로그 이미지 소스(404) 또는 디지털 이미지 소스(406)) 중 어느 하나가 연결되어 있는, 디지털 이미지를 보강하는 이미지 프로세싱 엔진(412)으로 디지털 이미지를 제공할 것인지를 선택할 수 있다. 비디오 신호 선별기(410)로부터 수신된 디지털 이미지를 적절하게 처리한 후, 상기 디지털 이미지 프로세싱 엔진(412)은 보강된 버전의 수신 디지털 이미지를 외장 비디오 신호 선별기(414)로 출력한다. 내장 비디오 선별기(410)를 구비함에 따라, 외장 비디오 선별기(414)는 보강된 디지털 신호를 이미 지 디스플레이 유닛(416)에 전송하도록 배치된다. 상기 이미지 디스플레이 유닛(416)에는 표준 아날로그 TV, 디지털 TV, 컴퓨터 모니터 등이 포함된다. 이미지 디스플레이 유닛(416)이 아날로그 디스플레이 기기(418), 가령, 표준 아날로그 TV를 포함할 경우, 외장 비디오 신호 선별기(414)에 연결되어 있는 D/A(digital-to-analog) 컨버터(420)는 보강된 디지털 신호를 적정한 아날로그 포맷으로 변환한다.

도 7은 본 발명에 따른 검출과 처리를 바탕으로 하여, 필수 색조를 제공하도록 프로세서(700)로서 설정된 디지털 신호 프로세싱 엔진(412)의 특정 실시예를 도식한다. 따라서 프로세서(700)는 입력 픽셀 포맷 검출 및 컨버터 유닛(702), 영역 검출기 및 선별기 블록(704), 영역 거리 연산 블록(706), 색조 보정 블록/채도 보정/페이드 보정을 위해 제공하는 보정 블록(708), 오버랩 허용 블록(710), U/V 오프셋 적용 및 최종 출력 블록(712)을 포함한다.

메모리 자원 및 대역폭을 보존하기 위해, 입력 픽셀 포맷 검출 및 컨버터 유닛(702)은 입력 픽셀 포맷을 검출하고, YUV 색 공간이 아니라고 판단되어질 경우, 상기 입력 픽셀 데이터 워드 포맷은 도 8에서 도식된 임의의 기존 변환 프로토콜을 기반으로 하여 YUV 색 공간으로 변환된다. YUV 색 공간으로 변화되면, 상기 입력 픽셀 데이터 워드의 길이가 YUV444 포맷으로 설정되며, 이에 따라 각각의 서브-픽셀 데이터 워드의 길이가 4 비트로 설정된다(또는, 그 밖의 다른 포맷이 고려될 수 있다).

단일 포맷 제공하는 것 외에, 본 실시예는 도 9 및 도 10에서 도식된 표 1에서 나타나는 보정 매개변수와 함께 다중 영역 정의를 이용한다. 영역(902)은 매개 변수에 의해 정의되며, 색조, 채도, 휘도(YUV) 색 공간에서 매개변수 {θ_center, θ_aperture, R₁, R₂, Y₁, Y₂}는 보정 영역(904)을 정의하는 반면에, 매개변수{θ_fade, R_fade, Y_fade}는 페이드 영역(906)을 정의하며, 이때 θ는 색상의 색조, R은 색상의 채도이다. 각각의 영역 픽셀의 내부는 보정 매개변수에 따라 덧셈(오프셋) 방식 또는 곱셈(게인) 방식으로 수정된다. 상기 보정 매개변수로는 Hue_offset, Hue_gain, Sat_offset, Sat_gain, Lum_offset, Lum_gain, U_offset, V_offset이 있다. 전체 보정이 보정 영역 내부의 모든 픽셀에게 적용된다. 그 반면에 보정의 정도가 페이드 영역에서 보정 영역의 모서리에서는 전체 보정이고 보정 영역에서 가장 멀리 떨어진 페이드 영역의 모서리에서는 보정의 정도가 0이다.

본 실시예에서, 각각의 영역은 모든 매개 변수 θ_center, θ_aperture, R₁, R₂, Y₁, Y₂, Hue_offset, Hue_gain, Sat_offset, Sat_gain, Lum_offset, Lum_gain, U_offset, V_offset에 대해 고유의 사용자 구성 값을 갖는다(값의 바람직한 설정에 대해서는 도 10의 표 1을 참조할 것). 어떤 경우에서는, 최종 결과가 제공되도록 각각의 보정이 어느 정도로 적용되어야 하는지를 결정하기 위한 보간 프로세스가 사용되기 때문에, 특수 색상이 다중 영역에 존재할 수 있다. 한 가지 구현예에서 우선순위/순열 보정 접근법이 사용되는데, 이는 가장 높은 우선순위를 갖는 영역에 인접한 픽셀을 먼저 처리하고 이렇게 보정된 값을 더 낮은 우선 순위를 갖는 영역에 대한 제 2 보정 블록으로 보낸다. 본 구현예에서는 2개의 오버랩 영역만 허용하 지만, 그 밖의 다른 구현예에서 2개 이상의 오버랩 영역이 사용되는 것이 고려될 수 있다.

영역 검출

도 7을 다시 참조하여, 본 실시예에서, 적정 보정 매개변수를 적용하기 위해, 임의의 주어진 픽셀이 존재하는 특정 영역(또는 오버랩 영역)이 검출 블록(704)에 의해 검출된다(도 11에서 도식된 흐름도에서 나타난 프로세스(1100)를 이용하여 검출). 본 실시예에서, 상기 영역 검출 프로세스는 임의의 픽셀이 두 영역의 최대치 내에 있다는 가정에 기반을 두고 있다. 즉, 최대 두개의 영역이 임의의 포인트에서 오버랩될 수 있다. 특정 구현예에서, 하나의 영역당 하나의 영역 검출기가 단일 영역 선별기(705)와 함께 검출 프로세스를 위해 사용된다. 도 11을 참조하여, 프로세스(1100)는 사용되는 영역의 개수를 획득함으로써 스텝(1102)에서 시작된다. 사용되는 영역의 개수는 2개이나 임의의 숫자가 될 수 있다. 스텝(1104)에서, 각 영역에 대한 색조, 채도, 휘도 매개변수가 획득되고, 스텝(1106)에서, 각각의 영역 검출기(각 영역 당 하나의 검출기)가 픽셀의 색조, 채도, 휘도 값을 각각의 영역에 대해 특정된 영역 검출 매개변수와 비교한다. 스텝(1108)에서, 영역 식별자가 설정되고, 스텝(1110)에서 상기 검출기가 픽셀이 자신의 영역에 속해 있음을 발견할 경우, 상기 영역의 주소가 스텝(1112)에서 식별된다. 그러나 스텝(1110)에서 픽셀이 상기 영역에 속해 있지 않다고 판단되어질 경우, 스텝(1114)에서 MAX_REGION이라 명시된 상기 검출기는 영역+1의 합계 숫자와 같은 값을 출력 한다. 예를 들면, 영역 2에 대한 영역 검출기는 영역 2에 대해 매개변수 θ_center, θ_aperture, R₁, R₂, Y₁, Y₂, θ_fade, R_fade, Y_fade를 사용할 수 있다. 픽셀이 이러한 값들에 의해 경계 지워진 범위 내부에 존재할 경우, 상기 검출기는 “2”를 출력한고, 다른 경우에는 “MAX_REGION"을 출력한다.

스텝(1116, 1118)에서, 영역 선별기(705)는 상기 픽셀의 제 1 순위(그리고 오버랩 영역을 허용하는 구현예의 경우에는 제 2 순위도 함께) 검출 영역 주소를 결정한다. 상기 제 1 순위 영역은 가장 낮은 주소 숫자를 갖는 검출 영역이며, 제 2 순위 영역은 두 번째로 낮은 숫자를 갖는 검출 영역이다. 가령, 픽셀이 영역 3과 영역 6의 오버래핑된 구역에 존재할 경우, 제 1 순위 영역은 3이고 제 2 순위 영역은 6이다. 상기 픽셀이 임의의 정의된 영역에 속해 있지 않을 경우, 제 1 순위 및 제 2 순위 영역 모두가 각각 스텝(1120, 1122)에서 MAX_REGION과 같게 설정된다.

영역 길이 연산

전체 보정 구역(“하드”구역)의 모서리로부터 페이드 영역을 거쳐 인접 비-보정 픽셀로까지의 선형 페이드를 촉진하기 위해, 페이드 구역 내부의 픽셀의 하드 구역 모서리로부터의 거리가 연산되어야 한다. 그 후, 보정 블록에서, 예를 들어 픽셀이 하드 구역으로부터 상기 페이드 구역의 외부 에지까지 경로의 1/3일 경우, 특정 보정의 2/3(즉, 1-1/3)가 적용된다. 하드 영역 전체에 대한 전체 보정이 지시되면서, 영역의 하드 구역 내의 픽셀에 의해서는 길이 0이 생성된다. 각각의 픽셀 채널(색조 각도, 채도 크기, 휘도)은 길이 연산 블록(706)의 개별 출력물인 연계된 길이 연산을 갖는다. 색조θ(Th) 경로는 도 12의 흐름도로 나타나는 프로세스(1200)에 따라 연산된다. 우선, 스텝(1202)에서, 값 θ_th가 생성된다. 채도가 0일 경우, 색조 각도는 결정되지 않는다. 픽셀 보정에 채도 오프셋이 포함될 경우, 채도는 영역의 중심선을 따라 위치한다. 그러므로 스텝(1204)에서, 채도 R==0일 경우, 제 1 순위 또는 제 2 순위 영역에 대해 θ_th이 θ_center로 설정된다. 스텝(1206) 다음에는, 값 θ_plus360 및 θ_min360은 픽셀 색조 각도 θ에서 360도를 더하거나 뺌으로써 생성된다. 색조 각도의 속성(모듈로 360)에 대해 설명할 때 이것은 필수적이다. 예를 들어, θ_centre=0, θ_ap=30일 경우, 영역 하드 구역은 30도(0+30)에서 -30도(0-30)까지로 정의된다. 데카르트->극 블록이 0에서 360까지의 색조 각도를 출력하기 때문에, 색조 각도θ=359를 갖는 픽셀은 상기 영역에서 검출되지 않을 것이다. 이와 유사하게, 영역이 θ_centre=359, θ_ap=30으로 정의될 경우, 영역 하드 구역은 389도(359+30)에서 329도(359-30)까지로 정의된다. 색조 각도θ=0을 갖는 픽셀은 상기 영역에서 바람직하지 못하게 제외될 것이다. 이러한 이유 때문에 영역 경계부가 θ, θ_plus360, θ_min360와 비교된다. 색조, 채도, 휘도 방향으로의 페이드 거리에 대응하는 Sdist_1, Sdist_2, Sdist_3는 스텝(1208)의 블록의 (비부호 8 비트 정수+7 분수 비트 값 또는 적정한 값으로 나타나는)출력이다. 본 실시예에서, 예를 들어 도 7에서, 두 개의 영역 거리 연산 블록이 있으며, 제 1 순위 검출 영역 및 제 2 순위 검출 영역에 대한 것이다.

보정

각각의 제 1 순위 검출 영역 및 제 2 순위 검출 영역에 대한 보정 블록은 적정 영역 기반 보정을 입력 픽셀에 적용하는데 필요한 모든 동작을 캡슐화한다. 각각의 블록은 색조 각도, 채도 값, 휘도 값을 입력 받고 보정된 색조 각도, 채도 값, 휘도 값을 출력한다. 덧붙이자면 제 2 보정 블록은 또한 연산된 Fade_factor를 출력한다. 보정 블록/함수는 픽셀이“하드”영역(비 페이드 영역)에 있는냐 상기 “하드”영역 부근의 페이드 영역에 있는지에 따라 픽셀을 서로 다르게 취급한다. “하드”영역 내부의 픽셀에 대하여, 영역의 θ_center에서 멀리 떨어지거나 더 가깝게 색조를 이동시키도록 색조 게인(gain)이 적용된다. 채도 및 휘도 게인은 상기 영역의 픽셀에 대한 채도 및 휘도를 감소시키거나 증가시킨다. 각각의 게인이 적용되면, 색조, 채도, 휘도에 관한 영역의 오프셋이 더해진다.

페이드 인자 보정

영역 보정에 페이드 인자를 적용하는 것이 설명될 것이다. 영역의 하드 구역 전체에 걸쳐 전체 영역 보정 값이 적용된다. 그러나 하드 구역의 외부 모서리로부터 페이드 구역의 외부 모서리까지, 보정의 강도가 1x보정(전체 보정)에서 0x보정(영역 외부의 보정되지 않은 픽셀)까지로 선형 감소한다.

개념상으로, 페이드 인자는

[1-(Sdist_1/fade_dist_hue)] x [1-(Sdist_2/fade_dist_sat)]

x [1-(Sdist_3/fade_dist_lum)]이며,

이때, Sdist_x는 각각의 채널에 대한 영역 거리 연산 블록의 출력이고, fade_dist_x는 관련 방향으로의 페이드 영역의 길이이다. 외부로 연산되는 1/fade_dist_x에 대한 값을 고정하기 위해 레지스터들을 할당함으로써 분할기는 사용되지 않는다. 간편하게, 다섯 개의 레지스트 중 하나가 1/Th_fade 값을 내포한다. 다른 영역들은 값 Rsoftlower, Rsoftupper, Ysoftlower, Ysoftupper의 역을 포함한다. 이러한 값들은 0과 255의 클램핑이 주어진 페이드 거리로서 연산된 값이다. 가령, Rsoftlower=min(R1, Rfade)이고 Rsoftupper=min(255-R2, Rfade)이다.

색조 보정

다른 보정 경로에서처럼, 색조 보정 경로는 색조 게인 및 오프셋을 입력 색조 값에 적용한다. 그러나 색조 게인 함수의 서로 다른 동작은 색조 보정 경로의 차이점을 수반한다. 먼저, θ_diff가 영역 중앙 각도 θ_center와 픽셀 색조 각도 θ 사이의 부호화된 차로서 연산된다. 즉, 채도가 0일 경우, 영역 중앙 각도가 사용되고, 그 후, 영역 경계 각도를 기반으로 이 값 또는 값 +/-360도를 사용하기 위한 결정이 내려진다. 그 후, θ_diff가 +/- Theta_ap로 고정된다. 이 고정된 값은 θ_gain로 곱해지고 오른쪽으로 3비트만큼 이동한다. 이것은, θ_gain의 부호에 따라, 픽셀의 색조를 영역의 중앙 쪽으로나 중앙에서 멀리 이동시키는 효과를 갖는다. θ_add를 이러한 값에 더함으로써 영역의 하드 구역 내에 있는 픽셀에 적용될 총 보정 θ_totoffset이 제공된다. 픽셀이 페이드 구역 내에 있을 경우, θ_totoffset이 Fade_factor에 의해 곱해져서 보정 강도가 감소될 수 있고 페이딩된 보정의 양이 본래의 색조 각도 θ에 더해진다. 마지막으로, 보정 블록으로부터의 출력(θ_corr)이 나오기 전에, 보정된 출력이 모듈로 360(modulo 360) 값까지로 감소한다.

채도 보정

먼저, 입력 채도 값 R이 Rgain으로 곱해지고 7 비트만큼 오른쪽으로 이동하여 X=R*Rgain/128을 제공한다. 게인에 의해 결정되는 보정 양을 분리시키도록 R에서 이 값이 차감되어 진다. 그 후, 채도 오프셋 Radd가 가산되어 총 채도 보정 값, R_totoffset이 제공되어 진다. 그 후, Rcorr이 출력되기 전에, 보정은 Fade_factor와 곱해짐으로써 페이딩되고, 픽셀 채도 R에 더해지고, 출력 비트 넓이를 보정하기 위해 고정되고 추정된다. 휘도 보정 경로는 채도 보정 경로와 동일하다.

U/V 오프셋

영역에 대한 U 및 V 오프셋은, U 또는 V 방향에서의 오프셋 크기를 제공하는 각각의 영역에 대해 등록된 매개변수이다. 상기 오프셋은 극(polar)에서 데카르트(Cartesian)로의 변환 후에 적용될 수 있다. 이는 크로마(chroma) 조정을 허용하며, 이는 단지 색조와 채도 조정만 취급하기에는 불충분할 수 있다. 가령, 파랑 변위의 경우에, 회색 근방의 모든 픽셀(즉, 본래 이미지의 중앙에 위치하는 낮은 채도의 원)이 높은 채도 파랑으로 이동하는 것이 바람직하다. 영역 내부의 픽셀의 임의의 색조 각도가 주어지면, 순수 색조와 순수 채도 조정은 이를 달성하지 못한다. 그러므로 U 및 V 오프셋이 요구되는 것이다.

오버랩 허용

픽셀이 두 영역의 오버래핑되는 구역내에 있을 경우, 색조, 채도, 휘도 보정이 우선적으로 제 1 순위 보정 블록에서, 그리고 두 번째로 제 2 순위 보정 블록에서 적용될 것이다. 픽셀이 하나의 영역내에만 있을 경우, 제 1 순위 보정 블록으로 부터의 보정만이 적용될 것이다. 픽셀 데이터의 가능한 가장 바람직한 정확도를 유지하기 위해 제 2 보정 블록은 지나쳐진다. 오버랩 허용 블록은 영역 선별기에서 생성되는 Overlap_Detected 신호를 사용하여 제 1 순위 보정 블록 또는 제 2 순위 보정 블록의 출력을 선택한다. 또한 총 U 및 V 오프셋을 연산하는데 상기 오프셋은 양 보정 블록으로부터의 U/V 오프셋들의 합계, 또는 제 1 순위 보정 블록의 U/V 오프셋만일 수 있다. 영역의 페이드 구역에서 U/V 보정을 페이딩하기 위해, U/V 오프셋은 보정 블록을 통과하여 Fade_factor에 곱해진다. 그 결과로, Ucorr 및 Vcorr이 보정 블록의 출력이 되고, 처리된 후에 보정된 픽셀에 적용될 것이다.

U/V 오프셋 적용 및 최종 출력

픽셀이 출력되기 전의 최종 작업에는 U 및 V 오프셋을 가산하는 것이 포함된다. 이러한 오프셋들은 보정 블록 내부에서 페이딩되고 오버랩 허용 블록 내에서 서로 가산되는 등록 매개변수이다. 상기 오프셋들은 출력 픽셀의 출력 U 채널 및 V 채널에 각각 가산된다. 보정된 YUV 값이 마지막으로 0 내지 255의 범위로 고정되어 Yfinal, Ufinal, Vfinal이 획득될 수 있다. 마지막 스텝은 보정된 최종 값과 본래의 입력 값을 섞는 것이다. 하나 이상의 영역에서 존재하는 픽셀이 검출될 경우, 상기 보정된 YUV 값인 Yfinal, Ufinal, Vfinal은 Yout, Uout, Vout인 블록으로부터의 출력이다. 그렇지 않을 경우, 본래의 입력 픽셀 값 Yin, Uin, vin이 출력이 된다.

도 13은 본 발명을 구현하기 위해 사용되는 시스템(1300)을 도식한다. 컴퓨터 시스템(1300)은 본 발명이 구현되는 그래픽 시스템의 단 한 가지 예에 불과하 다. 시스템(1300)은 CPU(1310), RAM(1320), ROM(1325), 하나 이상의 주변 기기(1330), 그래픽 제어기(1360), 주기억장치(1340, 1350), 디지털 디스플레이 유닛(1370)을 포함한다. CPU(1310)는 또한 하나 이상의 입/출력 장치(1390)에 연결되어 있다. 그래픽 제어기(1360)는 아날로그 이미지 데이터와 그에 대응하는 참조 신호를 생성하고 이 둘을 디지털 디스플레이 유닛(1370)에 지공한다, 아날로그 이미지 데이터는, 예를 들어 CPU(1310)에서 수신된, 또는 외부 인코더(도면상에는 나타나지 않음)에서 수신된 픽셀 데이터에 기반하여 생성될 수 있다. 한 가지 실시예에서, 아날로그 이미지 데이터는 RGB 포맷으로 제공되고 참조 신호는 종래의 V_sync 및 H_sync 신호를 포함한다. 그러나 본 발명은 아날로그 이미지, 디지털 데이터 또는 다른 포맷의 참조 신호를 이용해 구현될 수 있음을 명심하여야 한다. 가령, 아날로그 이미지 데이터는 대응하는 시간 참조 신호와 함께 비디오 신호 데이터를 포함할 수 있다.

본 발명의 몇 가지 실시예가 설명되었지만, 본 발명은 본 발명의 상상과 범위내에서 다른 많은 형태로 구현될 수 있다. 본 발명의 실시예들은 본 원에서 주어진 세부 사항에 의해 제한받지 않고, 첨부된 청구 범위에 의해 한정된다.

아날로그 이미지 데이터는 RGB 포맷으로 제공되고 참조 신호는 종래의 V_sync 및 H_sync 신호를 포함한다. 그러나 본 발명은 아날로그 이미지, 디지털 데이터 또는 다른 포맷의 참조 신호를 이용해 구현될 수 있음을 명심하여야 한다. 가령, 아날로 그 이미지 데이터는 대응하는 시간 참조 신호와 함께 비디오 신호 데이터를 포함할 수 있다.

Claims

픽셀을 처리하는 방법에 있어서, 상기 방법은

픽셀의 색 공간을 데카르트(Cartesian) 좌표에서 극(polar) 좌표로 변환하는 단계,

상기 픽셀이 영역 매개변수의 세트에 의해 묘사된 3차원 영역 내에 존재하는지의 여부를 결정하는 단계,

3차원 영역의 상기 픽셀의 위치에 기반하여 보정 인자를 적용하는 단계,

상기 픽셀의 극 좌표를 데카르트 좌표로 변환하는 단계

를 포함함을 특징으로 하는 픽셀을 처리하는 방법.
제 1 항에 있어서, 상기 색 공간은 YUV(색조, 채도, 휘도) 색 공간임을 특징으로 하는 픽셀을 처리하는 방법.
제 2 항에 있어서,

상기 3차원 영역은 2차원 U,V 평면과, 3차원 Y 축을 포함하며,

이때 2차원 U,V 평면은 페이드(fade) 구역을 포함하는 색 보정 영역을 포함하며, 이때 상기 페이드 구역은 상기 색 보정 영역의 모서리로부터의 특정 거리이고, 상기 특정 거리는 U, V, Y 방향으로 연산됨을 특징으로 하는 픽셀을 처리하는 방법.
제 3 항에 있어서, 픽셀 위치가 페이드 구역 내에 있으면, 색조, 채도, 휘도 방향으로 연산된 상기 거리를 기반으로 하여 페이드 인자를 결정하는 단계를 더 포함함을 특징으로 하는 픽셀을 처리하는 방법.
제 3 항에 있어서, 픽셀의 위치가 상기 색 보정 영역내에 있으면, 상기 픽셀의 위치를 기반으로 하여 색 보정 인자를 연산하는 단계를 더 포함함을 특징으로 하는 픽셀을 처리하는 방법.
제 5 항에 있어서, 색조, 채도, 휘도 방향으로 게인(gain) 및 오프셋(offset) 매개변수를 적용하여 픽셀에 적용하기 위한 보정 크기를 결정하는 단계를 더 포함함을 특징으로 하는 픽셀을 처리하는 방법.
제 6 항에 있어서, 픽셀의 수정된 휘도는 변경시키지 말고, 픽셀의 극 색조 및 채도 좌표를 데카르트 UV 좌표로 변환하는 단계가 더 포함됨을 특징으로 하는 픽셀을 처리하는 방법.
제 7 항에 있어서,

상기 페이드 인자에 의해 보정 크기를 감소시켜 상기 감소된 보정 크기를 픽셀에 적용하는 단계를 더 포함함을 특징으로 하는 픽셀을 처리하는 방법.