KR101178472B1 - 화이트 밸런스 유지 및 정확한 발색을 위한 색 보정 방법 및 장치 - Google Patents

Abstract

화이트 밸런스 유지 및 정확한 발색을 위한 색 보정 방법 및 장치가 개시된다. 입력 영상에 대하여 색 보정을 수행하는 색 보정 장치로서, 색 보정 대상이 되는 컬러 영상을 입력받고 각 화소의 RGB 값을 출력하는 입력부; 상기 RGB 값에 대하여 무채색 색 보정을 수행한 무채색 색 보정값을 생성하는 무채색 색 보정부; 상기 RGB 값에 대하여 유채색 색 보정을 수행한 유채색 색 보정값을 생성하는 유채색 색 보정부; 및 상기 무채색 색 보정값과 상기 유채색 색 보정값을 조합하여 상기 컬러 영상의 각 화소에 대한 최종 보정값을 생성하여 출력하는 조합부를 포함하는 색 보정 장치에 의하면, 유채색과 무채색에 대하여 서로 다른 색 보정을 수행하여 화이트 밸런스를 유지하면서도 정확한 발색이 가능하도록 하는 효과가 있다.

Description

화이트 밸런스 유지 및 정확한 발색을 위한 색 보정 방법 및 장치{Color compensating method and device for maintenance of white balance and correct color}

본 발명은 화이트 밸런스 유지 및 정확한 발색을 위한 색 보정 방법 및 장치에 관한 것이다.

일반적으로 이미지 센서(image sensor)로부터 획득한 입력 영상은 실제 색을 나타내는 목표 영상과 차이가 난다. 이러한 차이를 보정하기 위한 과정이 색 보정이다.

도 1은 기본적인 색 보정을 설명하기 위한 도면이다.

도 1을 참조하면, 이미지 센서로부터 획득한 입력 영상(1)에 대하여 색 보정함으로써, 목표 영상(2)과 동일 또는 유사한 색을 나타내는 출력 영상(3)을 출력할 수 있게 된다.

이러한 색 보정은 하기 수학식 1에 의해 수행된다.

[수학식 1]

여기서, R_in, G_in, B_in은 입력 영상의 각 화소의 RGB 값이며, R_out, G_out, B_out은 색 보정 결과인 출력 영상의 각 화소의 RGB 값이다.

그리고 c11, c12, …, c33은 색 보정 변환 계수로서, 입력 영상(1)과 목표 영상(2)을 이용하여 하기와 같은 방법으로 구한다.'

입력 영상(1)과 목표 영상(2)은 24종류의 컬러 패치(color patch)로 구성되어 있다. 입력 영상(1)의 24종류의 컬러 패치를 R_i1/G_i1/B_i1, R_i2/G_i2/B_i2, …, R_i24/G_i24/B_i24라 하고, 목표 영상(2)의 24종류의 컬러 패치를 R_t1/G_t1/B_t1, R_t2/G_t2/B_t2, …, R_t24/G_t24/B_t24라고 가정한다.

이 경우 입력 영상(1)과 목표 영상(2)의 각 색의 RGB 값을 모두 알고 있으므로, 하나의 패치로부터 입력 RGB(R_i1/G_i1/B_i1)에서 목표 RGB((R_t1/G_t1/B_t1)로 변환하는 3개의 식을 만들 수 있고, 이를 매트릭스 연산으로 표현하면 하기 수학식 2와 같다.

[수학식 2]

24개의 컬러 패치에 대하여 모두 만족하는 색 보정 변환 계수를 만들어야 하므로, 하기 수학식 3과 같은 매트릭스 연산식을 풀면, 9개의 색 보정 변환 계수를 모두 구할 수 있다.

[수학식 3]

하지만, 24개의 컬러 패치는 18개의 유채색(chromatic color)과 6개의 무채색(achromatic color)으로 구성되어 있기 때문에, 상기 수학식 3을 통해 구해진 9개의 색 보정 변환 계수(c11, c12, …, c33)를 상기 수학식 1에 그대로 적용할 경우 6개의 무채색의 화이트 밸런스(white balance)가 어긋나는 문제점이 있다.

이러한 문제점을 방지하기 위해 하기 수학식 4와 같이 9개의 색 보정 변환 계수의 행방향 합계(row sum)를 1로 맞추는 작업을 한다.

[수학식 4]

화이트 밸런스를 유지하는 것은 필수적인 사항이기 때문에 이를 맞추기 위해 수학식 4와 같이 색 보정 변환 계수를 수정해야 한다. 즉, 색 보정 변환 계수는 상기 수학식 3에서 획득한 결과에 따를 때 비교적 정확한 발색이 이루어질 수 있는데, 화이트 밸런스의 유지를 위해 전술한 것과 같이 색 보정 변환 계수를 수정함으로써 정확한 발색이 어려워져 입력 영상(1)을 목표 영상(2)의 색으로 표현하는 데에 한계가 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명은 유채색과 무채색에 대하여 서로 다른 색 보정을 수행하여 화이트 밸런스를 유지하면서도 정확한 발색이 가능하도록 하는 색 보정 방법 및 장치를 제공하기 위한 것이다.

또한, 본 발명은 목표 색으로의 접근이 용이하며, 무채색의 경우 가중치의 합을 1로 맞추어 화이트 밸런스를 유지시키고, 유채색의 경우 유채색에 관련된 컬러 패치만을 이용하여 정확한 색 표현이 가능하도록 하는 색 보정 방법 및 장치를 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 입력 영상에 대하여 색 보정을 수행하는 색 보정 장치로서, 색 보정 대상이 되는 컬러 영상을 입력받고 각 화소의 RGB 값을 출력하는 입력부; 상기 RGB 값에 대하여 무채색 색 보정을 수행한 무채색 색 보정값을 생성하는 무채색 색 보정부; 상기 RGB 값에 대하여 유채색 색 보정을 수행한 유채색 색 보정값을 생성하는 유채색 색 보정부; 및 상기 무채색 색 보정값과 상기 유채색 색 보정값을 조합하여 상기 컬러 영상의 각 화소에 대한 최종 보정값을 생성하여 출력하는 조합부를 포함하는 색 보정 장치가 제공된다.

상기 무채색 색 보정부는 상기 컬러 영상 및 목표 영상에 대한 n개의 컬러 패치를 이용하여 매트릭스 연산된 무채색 색 보정 변환 계수를 이용하여 상기 무채색 색 보정값을 생성하되, 상기 n은 자연수일 수 있다. 상기 무채색 색 보정 변환 계수 각각을 행렬 요소로 가지는 무채색 색 보정 매트릭스의 행방향 합계(row sum)가 1을 만족할 수 있다. 상기 무채색 색 보정부는 하기 수학식에 따라 상기 무채색 색 보정값을 생성하여 출력할 수 있다.

R_2 = w11 * R_1 + w12 * G_1 + w13 * B_1

G_2 = w21 * R_1 + w22 * G_1 + w23 * B_1

B_2 = w31 * R_1 + w32 * G_1 + w33 * B_1

여기서, R_1, G_1, B_1은 상기 컬러 영상의 RGB 값, R_2, G_2, B_2는 상기 무채색 색 보정값, w11, w12, …, w33은 상기 무채색 색 보정 변환 계수이다.

상기 유채색 색 보정부는 상기 컬러 영상 및 목표 영상에 대한 n개의 컬러 패치 중 무채색에 관한 m개의 컬러 패치를 제외한 (n-m)개의 컬러 패치를 이용하여 매트릭스 연산된 유채색 색 보정 변환 계수 및 오프셋 값을 이용하여 상기 유채색 색 보정값을 생성하되, 상기 n, m은 자연수이고, n>m일 수 있다. 상기 유채색 색 보정부는 하기 수학식에 따라 상기 유채색 색 보정값을 생성하여 출력할 수 있다.

R_3 = c11' * R_1 + c12' * G_1 + c13' * B_1 + o1

G_3 = c21' * R_1 + c22' * G_1 + c23' * B_1 + o2

B_3 = c31' * R_1 + c32' * G_1 + c33' * B_1 + o3

여기서, R_1, G_1, B_1은 상기 컬러 영상의 RGB 값, R_3, G_3, B_3은 상기 유채색 색 보정값, c11', c12', …, c33'는 상기 유채색 색 보정 변환 계수, o1, o2, o3는 상기 오프셋 값이다.

상기 조합부는, 보정 대상 화소가 무채색영역 및 유채색영역 중 어디에 속하는지를 판단하는 영역 구분 모듈과; 상기 보정 대상 화소가 유채색영역에 속하는 경우 상기 유채색 색 보정값을 이용하여 상기 최종 보정값을 생성 출력하는 유채색영역 색 보정 모듈과; 상기 보정 대상 화소가 무채색영역에 속하는 경우 상기 무채색 색 보정값 및 상기 유채색 색 보정값을 이용하여 상기 최종 보정값을 생성 출력하는 무채색영역 색 보정 모듈을 포함할 수 있다.

상기 영역 구분 모듈은 상기 보정 대상 화소의 RGB 값의 편차를 이용하여 영역을 구분할 수 있다. 상기 영역 구분 모듈은 상기 보정 대상 화소의 RGB 값 중 최대값과 최소값의 차이인 차이값이 미리 결정된 임계값보다 작은 경우 상기 보정 대상 화소가 무채색영역에 속하는 것으로 판단하고, 크거나 같은 경우 상기 보정 대상 화소가 유채색영역에 속하는 것으로 판단할 수 있다.

상기 무채색영역 색 보정 모듈은 하기 수학식에 따라 상기 최종 보정값을 생성 출력할 수 있다.

R_4 = ((threshold - diff_value) * R_2 + diff_value * R_3) / threshold

G_4 = ((threshold - diff_value) * G_2 + diff_value * G_3) / threshold

B_4 = ((threshold - diff_value) * B_2 + diff_value * B_3) / threshold

여기서, R_2, G_2, B_2는 상기 무채색 색 보정값, R_3, G_3, B_3는 상기 유채색 색 보정값, threshold는 상기 임계값, diff_value는 상기 차이값, R_4, G_4, B_4는 상기 최종 보정값이다.

한편 본 발명의 다른 측면에 따르면, 입력 영상에 대하여 색 보정을 수행하는 색 보정 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.

일 실시예에 따른 색 보정 방법은, 색 보정 대상이 되는 컬러 영상을 입력받고 각 화소의 RGB 값을 출력하는 단계; 상기 RGB 값에 대하여 무채색 색 보정을 수행한 무채색 색 보정값을 생성하는 단계; 상기 RGB 값에 대하여 유채색 색 보정을 수행한 유채색 색 보정값을 생성하는 단계; 및 상기 무채색 색 보정값과 상기 유채색 색 보정값을 조합하여 상기 컬러 영상의 각 화소에 대한 최종 보정값을 생성하여 출력하는 단계를 포함할 수 있다.

상기 무채색 색 보정 단계는 상기 컬러 영상 및 목표 영상에 대한 n개의 컬러 패치를 이용하여 매트릭스 연산된 무채색 색 보정 변환 계수를 이용하여 상기 무채색 색 보정값을 생성하되, 상기 n은 자연수일 수 있다. 상기 무채색 색 보정 변환 계수 각각을 행렬 요소로 가지는 무채색 색 보정 매트릭스의 행방향 합계가 1을 만족할 수 있다. 상기 무채색 색 보정 단계는 하기 수학식에 따라 상기 무채색 색 보정값을 생성하여 출력할 수 있다.

R_2 = w11 * R_1 + w12 * G_1 + w13 * B_1

G_2 = w21 * R_1 + w22 * G_1 + w23 * B_1

B_2 = w31 * R_1 + w32 * G_1 + w33 * B_1

여기서, R_1, G_1, B_1은 상기 컬러 영상의 RGB 값, R_2, G_2, B_2는 상기 무채색 색 보정값, w11, w12, …, w33은 상기 무채색 색 보정 변환 계수이다.

상기 유채색 색 보정 단계는 상기 컬러 영상 및 목표 영상에 대한 n개의 컬러 패치 중 무채색에 관한 m개의 컬러 패치를 제외한 (n-m)개의 컬러 패치를 이용하여 매트릭스 연산된 유채색 색 보정 변환 계수 및 오프셋 값을 이용하여 상기 유채색 색 보정값을 생성하되, 상기 n, m은 자연수이고, n>m일 수 있다. 상기 유채색 색 보정 단계는 하기 수학식에 따라 상기 유채색 색 보정값을 생성하여 출력할 수 있다.

R_3 = c11' * R_1 + c12' * G_1 + c13' * B_1 + o1

G_3 = c21' * R_1 + c22' * G_1 + c23' * B_1 + o2

B_3 = c31' * R_1 + c32' * G_1 + c33' * B_1 + o3

여기서, R_1, G_1, B_1은 상기 컬러 영상의 RGB 값, R_3, G_3, B_3은 상기 유채색 색 보정값, c11', c12', …, c33'는 상기 유채색 색 보정 변환 계수, o1, o2, o3는 상기 오프셋 값이다.

상기 최종 보정값을 생성하여 출력하는 단계는, 보정 대상 화소가 무채색영역 및 유채색영역 중 어디에 속하는지를 판단하는 단계와; 상기 보정 대상 화소가 유채색영역에 속하는 경우 상기 유채색 색 보정값을 이용하여 상기 최종 보정값을 생성 출력하는 단계와; 상기 보정 대상 화소가 무채색영역에 속하는 경우 상기 무채색 색 보정값 및 상기 유채색 색 보정값을 이용하여 상기 최종 보정값을 생성 출력하는 단계를 포함할 수 있다.

상기 판단 단계는 상기 보정 대상 화소의 RGB 값의 편차를 이용하여 영역을 구분할 수 있다. 상기 판단 단계는 상기 보정 대상 화소의 RGB 값 중 최대값과 최소값의 차이인 차이값이 미리 결정된 임계값보다 작은 경우 상기 보정 대상 화소가 무채색영역에 속하는 것으로 판단하고, 크거나 같은 경우 상기 보정 대상 화소가 유채색영역에 속하는 것으로 판단할 수 있다.

상기 무채색영역 색 보정 단계는 하기 수학식에 따라 상기 최종 보정값을 생성 출력할 수 있다.

R_4 = ((threshold - diff_value) * R_2 + diff_value * R_3) / threshold

G_4 = ((threshold - diff_value) * G_2 + diff_value * G_3) / threshold

B_4 = ((threshold - diff_value) * B_2 + diff_value * B_3) / threshold

여기서, R_2, G_2, B_2는 상기 무채색 색 보정값, R_3, G_3, B_3는 상기 유채색 색 보정값, threshold는 상기 임계값, diff_value는 상기 차이값, R_4, G_4, B_4는 상기 최종 보정값이다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 유채색과 무채색에 대하여 서로 다른 색 보정을 수행하여 화이트 밸런스를 유지하면서도 정확한 발색이 가능하도록 하는 효과가 있다.

또한, 목표 색으로의 접근이 용이하며, 무채색의 경우 가중치의 합을 1로 맞추어 화이트 밸런스를 유지시키고, 유채색의 경우 유채색에 관련된 컬러 패치만을 이용하여 정확한 색 표현이 가능하도록 하는 효과가 있다.

도 1은 기본적인 색 보정을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 색 보정 장치의 개략적인 구성을 나타낸 도면,
도 3은 색 보정의 대상이 되는 보정 대상 영상 및 목표 영상의 일례가 도시된 도면,
도 4는 본 발명의 일 실시예에 따른 색 보정 장치의 무채색 색 보정부에 의해 무채색 색 보정이 이루어진 결과 영상이 도시된 도면,
도 5는 본 발명의 일 실시예에 따른 색 보정 장치의 유채색 색 보정부에 의해 유채색 색 보정이 이루어진 결과 영상이 도시된 도면,
도 6은 본 발명의 일 실시예에 따른 조합부의 개략적인 구성을 나타낸 도면,
도 7은 본 발명의 일 실시예에 따른 색 보정 장치의 조합부에 의해 무채색 색 보정 및 유채색 색 보정이 조합된 결과 영상이 도시된 도면,
도 8은 본 발명의 일 실시예에 따른 색 보정 장치에서 수행되는 색 보정 방법의 순서도,
도 9는 본 발명의 일 실시예에 따른 색 보정 장치에서 무채색 색 보정값과 유채색 색 보정값을 조합하여 최종 보정값을 생성 출력하는 방법의 순서도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 색 보정 장치의 개략적인 구성을 나타낸 도면이고, 도 3은 색 보정의 대상이 되는 보정 대상 영상 및 목표 영상의 일례가 도시된 도면이며, 도 4는 본 발명의 일 실시예에 따른 색 보정 장치의 무채색 색 보정부에 의해 무채색 색 보정이 이루어진 결과 영상이 도시된 도면이고, 도 5는 본 발명의 일 실시예에 따른 색 보정 장치의 유채색 색 보정부에 의해 유채색 색 보정이 이루어진 결과 영상이 도시된 도면이며, 도 6은 본 발명의 일 실시예에 따른 조합부의 개략적인 구성을 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 색 보정 장치의 조합부에 의해 무채색 색 보정 및 유채색 색 보정이 조합된 결과 영상이 도시된 도면이다. 여기서, 도 3의 (a)는 보정 대상이 되는 입력 영상이며, (b)는 색 보정의 기준이 되는 목표 영상이 도시되어 있다.

본 발명의 일 실시예에 따른 색 보정 장치(100)는 무채색과 유채색에 대하여 서로 다른 색 보정을 수행함으로써, 무채색 색 보정을 통해 화이트 밸런스를 유지하고 유채색 색 보정을 통해 정확한 발색이 가능하도록 한다. 도 2를 참조하면, 색 보정 장치(100)는 입력부(110), 무채색 색 보정부(120), 유채색 색 보정부(130), 조합부(140)를 포함한다.

입력부(110)는 색 보정 대상이 되는 컬러 영상을 입력받고, 각 화소의 RGB 값(R_1, G_1, B_1)을 후단의 무채색 색 보정부(120), 유채색 색 보정부(130), 조합부(140)로 출력한다.

무채색 색 보정부(120)는 입력부(110)에서 출력된 보정 대상 영상의 각 화소의 RGB 값에 대하여 무채색 색 보정을 수행하여 무채색 색 보정값(R_2, G_2, B_2)을 생성한다. 무채색 색 보정은 화이트 밸런스 유지를 위해 수행되며, 보정 대상 영상의 RGB 값을 이용하여 하기의 수학식 5와 같이 계산함으로써 수행될 수 있다.

[수학식 5]

R_2 = w11 * R_1 + w12 * G_1 + w13 * B_1

G_2 = w21 * R_1 + w22 * G_1 + w23 * B_1

B_2 = w31 * R_1 + w32 * G_1 + w33 * B_1

여기서, 무채색 색 보정 변환 계수(w11, w12, …, w33)는 화이트 밸런스를 맞추기 위하여 하기의 수학식 6을 만족해야 한다.

[수학식 6]

w11+w12+w13=1, w21+w22+w23=1, w31+w32+w33=1

즉, 무채색 색 보정 변환 계수 각각을 행렬 요소로 가지는 무채색 색 보정 매트릭스의 행방향 합계(w11+w12+w13, w21+w22+w23, w31+w32+w33)가 1을 만족해야 한다. 무채색 색 보정 변환 계수의 행방향 합계를 1로 맞춤으로써 무채색의 화이트 밸런스를 유지할 수 있게 된다.

여기서, 무채색 색 보정을 위해 사용되는 무채색 색 보정 변환 계수(w11, w12, …, w33)는 도 1에 도시된 입력 영상(1)과 목표 영상(2)의 24개의 컬러 패치를 모두 사용하여 하기 수학식 7과 같은 매트릭스 연산식을 풀게 되면 모두 구해질 수 있다.

본 실시예에서 사용되는 24개의 컬러 패치(도 1 참조)는 컬러 체크 차트(color check chart)로서, 이미지 센서, 이미지 프로세서 등에서의 색을 판단하고 평가하는 기준을 제시한다. 예를 들어, 그레택 맥버스(Gretag Macbeth) 사의 컬러 체크 차트가 이용될 수 있다.

컬러 체크 차트에 포함되는 24개의 컬러 패치는 자연계를 대표하는 색상과, 1차색(R, G, B), 2차색(C, M, Y), 무채색으로 구성되어 있으며, 첫번째 행은 피부색과 일상에서 쉽게 접할 수 있는 색이고, 두번째 행은 1차색(R, G, B)과 2차색(C, M, Y)의 혼합으로 구성되어 있다. 세번째 행은 1차색(R, G, B)과 2차색(C, M, Y)으로 구성되어 있으며, 네번째 행은 무채색의 단계를 6단계로 나누어 구성되어 있다.

[수학식 7]

도 4를 참조하면, 도 3에 도시된 보정 대상 영상(10)에 대하여 무채색 색 보정이 수행된 결과 영상(30)이 예시하여 도시되어 있다. 이를 통해 무채색 색 보정 결과 영상(30)에서 목표 색으로의 변환이 아직은 잘 이루어져 있지 않음을 알 수 있다.

다시 도 2를 참조하면, 유채색 색 보정부(130)는 입력부(110)에서 출력된 보정 대상 영상의 각 화소의 RGB 값에 대하여 유채색 색 보정을 수행한다. 유채색 색 보정은 정확한 발색을 위해 수행되며, 유채색 색 보정은 보정 대상 영상의 RGB 값을 이용하여 하기의 수학식 7과 같이 계산함으로써 수행될 수 있다.

[수학식 8]

R_3 = c11' * R_1 + c12' * G_1 + c13' * B_1 + o1

G_3 = c21' * R_1 + c22' * G_1 + c23' * B_1 + o2

B_3 = c31' * R_1 + c32' * G_1 + c33' * B_1 + o3

여기서, c11', c12', …, c33'은 유채색 색 보정 변환 계수이며, o1, o2, o3는 정확한 색상의 발현을 위한 오프셋(offset) 값이다.

무채색 색 보정 매트릭스와는 달리 유채색 색 보정 변환 계수 각각을 행렬 요소로 가지는 유채색 색 보정 매트릭스는 그 행방향 합계(c11'+c12'+c13', c21'+c22'+c23', c31'+c32'+c33')가 1을 만족하지 않아도 되고 오프셋 값(o1, o2, o3)이 가산되기 때문에, 목표 색으로의 접근이 더욱 효과적이어서 기존의 색 보정 방법에 비하여 정확한 색 보정이 가능하다.

여기서, 유채색 색 보정을 위해 사용되는 유채색 색 보정 변환 계수(c11', c12', …, c33') 및 오프셋 값(o1, o2, o3)는 도 1에 도시된 입력 영상(1)과 목표 영상(2)의 24개의 컬러 패치 중 무채색으로 구성된 6개의 화이트 패치(네번째 행)를 제외한 18개의 컬러 패치를 사용하여 하기 수학식 9와 같은 매트릭스 연산식을 풀게 되면 모두 구해질 수 있다.

[수학식 9]

여기서, 유채색 색 보정 변환 계수를 구하기 위해 사용되는 18개의 컬러 패치는 유채색으로 구성되어 있다.

도 5를 참조하면, 도 3에 도시된 보정 대상 영상(10)에 대하여 유채색 색 보정이 수행된 결과 영상(40)이 예시하여 도시되어 있다. 이를 통해 유채색 색 보정 결과 영상(40)의 하단의 6개의 화이트 패치가 입력 영상과 다르게 화이트 밸런스가 틀어져 있음을 알 수 있다.

다시 도 2를 참조하면, 조합부(140)는 무채색 색 보정부(120)에 의한 무채색 색 보정값과 유채색 색 보정부(130)에 의한 유채색 색 보정값을 조합하여 보정 대상 영상에 대해 최종적인 색 보정을 수행한다. 이를 위해 보정 대상 영상을 무채색영역과 유채색영역으로 구분하고, 무채색영역과 유채색영역에 대하여 서로 다른 방식으로 무채색 색 보정값과 유채색 색 보정값이 적용되도록 한다.

도 6을 참조하면, 조합부(140)는 영역 구분 모듈(142), 유채색영역 색 보정 모듈(144), 무채색영역 색 보정 모듈(146)을 포함한다.

영역 구분 모듈(142)은 보정 대상 영상을 무채색영역과 유채색영역으로 구분하기 위한 임계값(threshold)을 실험적으로 통계적으로 결정한다.

그리고 무채색영역과 유채색영역을 구분하기 위해 보정 대상 영상의 각 화소의 RGB 값(R_1, G_1, B_1)의 편차를 이용하여 하기 수학식 10과 같은 차이값(diff_value)을 계산한다.

[수학식 10]

max_value = max (R_1, G_1, B_1)

min_value = min (R_1, G_1, B_1)

diff_value = max_value - min_value

여기서, max_value는 보정 대상 영상의 임의의 화소의 RGB 값 중 최대값, min_value는 보정 대상 영상의 임의의 화소의 RGB 값 중 최소값이다.

영역 구분 모듈(142)은 상기 수학식 10에 의해 계산된 차이값(diff_value)이 임계값(threshold)보다 작은 경우 무채색영역으로 분류하고, 크거나 같은 경우 유채색영역으로 분류할 수 있다. 이는 무채색의 경우 RGB 값의 각 성분 R, G, B의 값이 서로 유사함을 이용한 것이다.

영역 구분 모듈(142)에 의해 현재 보정 대상 영상의 해당 화소가 유채색영역에 속하는 경우에는 유채색영역 색 보정 모듈(144)에 의해, 무채색영역에 속하는 경우에는 무채색영역 색 보정 모듈(146)에 의해 최종적인 색 보정이 수행된다.

유채색영역 색 보정 모듈(144)은 해당 화소에 대하여 하기 수학식 11과 같이 유채색 색 보정부(130)에서 계산된 유채색 색 보정값(R_3, G_3, B_3)을 적용하여 최종 보정값(R_4, G_4, B_4)으로 출력한다.

[수학식 11]

R_4 = R_3, G_4 = G_3, B_4 = B_3

무채색영역 색 보정 모듈(146)은 해당 화소에 대하여 하기 수학식 12와 같이 유채색 색 보정부(130)에서 계산된 유채색 색 보정값(R_3, G_3, B_3)과 무채색 색 보정부(120)에서 계산된 무채색 색 보정값(R_2, G_2, B_2)을 조합하여 최종 보정값(R_4, G_4, B_4)으로 출력한다. 이 때 영역 구분 모듈(142)에서 결정되고 계산된 임계값(threshold)과 차이값(diff_value)도 함께 사용될 수 있다.

[수학식 12]

R_4 = ((threshold - diff_value) * R_2 + diff_value * R_3) / threshold

G_4 = ((threshold - diff_value) * G_2 + diff_value * G_3) / threshold

B_4 = ((threshold - diff_value) * B_2 + diff_value * B_3) / threshold

도 7을 참조하면, 도 3에 도시된 보정 대상 영상에 대하여 무채색 색 보정 결과와 유채색 색 보정 결과가 조합된 결과 영상(50)이 예시하여 도시되어 있다. 도 4에 도시된 무채색 색 보정 결과 영상(30)에 비하여 목표 색으로의 변환이 잘 이루어져 있음을 알 수 있다.

또한, 도 5에 도시된 유채색 색 보정 결과 영상(40)은 하단의 6개의 화이트 패치가 입력 영상과 다르게 화이트 밸런스가 틀어져 있지만, 도 7에 도시된 최종 결과 영상(50)에서는 화이트 밸런스가 유지되고 있음을 알 수 있다.

즉, 본 실시예에 따른 색 보정 장치(100)에 의하면, 무채색 색 보정 결과와 유채색 색 보정 결과를 조합함으로써 화이트 밸런스를 유지함과 동시에 정확한 발색도 가능하여 도 3에 도시된 목표 영상(20)과 동일하거나 근접한 컬러를 표현할 수 있는 결과 영상(50)의 생성이 가능하다.

본 실시예에 따른 색 보정 장치()에 의하면, 무채색과 유채색에 대하여 서로 다른 색 보정을 함에 있어서 무채색과 유채색의 경계에 존재하는 색 영역에 대하여 무채색 색 보정 결과와 유채색 색 보정 결과를 비율적으로 조합함으로써 경계에서 발생 가능한 색 찢어짐 현상을 억제할 수도 있다.

상술한 색 보정 장치(100)는 이미지 센서에 의해 촬영된 영상을 처리하는 이미지 프로세서(image processor)에 포함되는, 해당 영상에 대한 색 보정을 수행하는 구성요소일 수 있을 것이다.

도 8은 본 발명의 일 실시예에 따른 색 보정 장치에서 수행되는 색 보정 방법의 순서도이고, 도 9는 본 발명의 일 실시예에 따른 색 보정 장치에서 무채색 색 보정값과 유채색 색 보정값을 조합하여 최종 보정값을 생성 출력하는 방법의 순서도이다. 이하에서 설명되는 각각의 단계는 색 보정 장치(100)의 각 내부 구성요소에 의해 수행될 수 있다.

도 8을 참조하면, 우선 단계 S210에서 입력부(110)는 색 보정 대상이 되는 컬러 영상을 입력받는다. 그리고 컬러 영상의 각 화소에 대한 RGB 값(R_1, G_1, B_1)을 무채색 색 보정부(120), 유채색 색 보정부(130), 조합부(140)로 출력한다.

단계 S220에서 무채색 색 보정부(120)는 무채색 색 보정 변환 계수(w11, w12, …, w33)를 이용하여 무채색 색 보정값(R_2, G_2, B_2)을 계산한다. 무채색 색 보정값의 계산은 상기 수학식 5에 의해 이루어진다.

이 경우 무채색 색 보정 변환 계수는 24개의 컬러 패치를 모두 사용하여 계산된 결과이며, 무채색 색 보정 매트릭스의 행방향 합계가 1을 만족하도록 한다.

단계 S230에서 유채색 색 보정부(130)는 유채색 색 보정 변환 계수(c11', c12', …, c33') 및 오프셋 값(o1, o2, o3)를 이용하여 유채색 색 보정값(R_3, G_3, B_3)을 계산한다. 유채색 색 보정값의 계산은 상기 수학식 8에 의해 이루어진다.

이 경우 유채색 색 보정 변환 계수는 24개의 컬러 패치 중 유채색에 관련된 18개의 컬러 패치만을 사용하여 계산된 결과이며, 무채색 색 보정 변환 계수와는 달리 유채색 색 보정 매트릭스의 행방향 합계가 1을 만족할 필요가 없다.

단계 S220과 단계 S230은 동시에 혹은 순차적으로 수행될 수 있으며, 무채색 색 보정부(120)와 유채색 색 보정부(130)에 의해 독립적으로 수행될 수 있다.

단계 S240에서 조합부(140)는 무채색 색 보정값과 유채색 색 보정값을 조합하여 최종 보정값을 생성한다.

도 9를 참조하면, 단계 S242에서 영역 구분 모듈(142)은 보정 대상 영상의 해당 화소의 RGB 값으로부터 해당 화소가 무채색영역과 유채색영역 중 어디에 속하는지를 판단한다. 이는 상기 수학식 10과 같이 계산된 RGB 값의 최대값 및 최소값의 차이인 차이값(diff_value)과 실험적 통계적으로 결정된 임계값(threshold)을 비교함으로써 이루어질 수 있다.

판단 결과 해당 화소가 유채색영역에 속하는 경우(diff_value ≥ threshold), 단계 S244으로 진행하여 유채색영역 색 보정 모듈(144)은 상기 수학식 11과 같이 단계 S230에서 계산된 유채색 색 보정값(R_3, G_3, B_3)을 최종 보정값(R_4, G_4, B_4)으로 출력한다.

판단 결과 해당 화소가 무채색영역에 속하는 경우(diff_value < threshold), 단계 S246으로 진행하여 무채색영역 색 보정 모듈(146)은 상기 수학식 12와 같이 단계 S220에서 계산된 무채색 색 보정값(R_2, G_2, B_2)과 단계 S230에서 계산된 유채색 색 보정값(R_3, G_3, B_3)을 조합하여 최종 보정값(R_4, G_4, B_4)으로 출력한다. 여기서, 단계 S242에서 계산된 차이값 및 임계값이 함께 사용될 수 있다.

상술한 색 보정 방법은 색 보정 장치(100)에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

본 명세서에서는 색 보정을 위한 색 보정 변환 계수를 구하기 위해 6개의 무채색과 18개의 유채색을 포함하는 24개의 컬러 패치를 이용하는 것을 가정하여 설명하였지만, 이는 일 실시예에 불과하며, n개의 컬러 패치(이 중 m개는 무채색, (n-m)개는 유채색)에 대해서도 동일한 내용이 적용 가능할 것이다. 여기서, n, m은 자연수이고, n>m 이다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 색 보정 장치
110: 입력부
120: 무채색 색 보정부
130: 유채색 색 보정부
140: 조합부
142: 영역 구분 모듈
144: 유채색영역 색 보정 모듈
146: 무채색영역 색 보정 모듈

Claims (21)

1. 입력 영상에 대하여 색 보정을 수행하는 색 보정 장치로서,
   색 보정 대상이 되는 컬러 영상을 입력받고 각 화소의 RGB 값을 출력하는 입력부;
   상기 RGB 값에 대하여 무채색 색 보정을 수행한 무채색 색 보정값을 생성하는 무채색 색 보정부;
   상기 RGB 값에 대하여 유채색 색 보정을 수행한 유채색 색 보정값을 생성하는 유채색 색 보정부; 및
   상기 무채색 색 보정값과 상기 유채색 색 보정값을 조합하여 상기 컬러 영상의 각 화소에 대한 최종 보정값을 생성하여 출력하는 조합부를 포함하되,
   상기 유채색 색 보정부는 상기 컬러 영상 및 목표 영상에 대한 n개의 컬러 패치 중 무채색에 관한 m개의 컬러 패치를 제외한 (n-m)개의 패치를 이용하여 매트릭스 연산된 유채색 색 보정 변환 계수 및 오프셋 값을 이용하여 상기 유채색 색 보정값을 생성하되, 상기 n, m은 자연수이고 n>m인 것을 특징으로 하는 색 보정 장치.
   
2. 제1항에 있어서,
   상기 무채색 색 보정부는 상기 컬러 영상 및 목표 영상에 대한 n개의 컬러 패치를 이용하여 매트릭스 연산된 무채색 색 보정 변환 계수를 이용하여 상기 무채색 색 보정값을 생성하되, 상기 n은 자연수인 것을 특징으로 하는 색 보정 장치.
   
3. 제2항에 있어서,
   상기 무채색 색 보정 변환 계수 각각을 행렬 요소로 가지는 무채색 색 보정 매트릭스의 행방향 합계(row sum)가 1을 만족하는 것을 특징으로 하는 색 보정 장치.
   
4. 제3항에 있어서,
   상기 무채색 색 보정부는 하기 수학식에 따라 상기 무채색 색 보정값을 생성하여 출력하는 것을 특징으로 하는 색 보정 장치.
   [수학식]
   R_2 = w11 * R_1 + w12 * G_1 + w13 * B_1
   G_2 = w21 * R_1 + w22 * G_1 + w23 * B_1
   B_2 = w31 * R_1 + w32 * G_1 + w33 * B_1
   여기서, R_1, G_1, B_1은 상기 컬러 영상의 RGB 값, R_2, G_2, B_2는 상기 무채색 색 보정값, w11, w12, …, w33은 상기 무채색 색 보정 변환 계수임.
   
5. 삭제
6. 제1항에 있어서,
   상기 유채색 색 보정부는 하기 수학식에 따라 상기 유채색 색 보정값을 생성하여 출력하는 것을 특징으로 하는 색 보정 장치.
   [수학식]
   R_3 = c11' * R_1 + c12' * G_1 + c13' * B_1 + o1
   G_3 = c21' * R_1 + c22' * G_1 + c23' * B_1 + o2
   B_3 = c31' * R_1 + c32' * G_1 + c33' * B_1 + o3
   여기서, R_1, G_1, B_1은 상기 컬러 영상의 RGB 값, R_3, G_3, B_3은 상기 유채색 색 보정값, c11', c12', …, c33'는 상기 유채색 색 보정 변환 계수, o1, o2, o3는 상기 오프셋 값임.
   
7. 제1항에 있어서,
   상기 조합부는,
   보정 대상 화소가 무채색영역 및 유채색영역 중 어디에 속하는지를 판단하는 영역 구분 모듈과;
   상기 보정 대상 화소가 유채색영역에 속하는 경우 상기 유채색 색 보정값을 이용하여 상기 최종 보정값을 생성 출력하는 유채색영역 색 보정 모듈과;
   상기 보정 대상 화소가 무채색영역에 속하는 경우 상기 무채색 색 보정값 및 상기 유채색 색 보정값을 이용하여 상기 최종 보정값을 생성 출력하는 무채색영역 색 보정 모듈을 포함하는 것을 특징으로 하는 색 보정 장치.
   
8. 제7항에 있어서,
   상기 영역 구분 모듈은 상기 보정 대상 화소의 RGB 값의 편차를 이용하여 영역을 구분하는 것을 특징으로 하는 색 보정 장치.
   
9. 제8항에 있어서,
   상기 영역 구분 모듈은 상기 보정 대상 화소의 RGB 값 중 최대값과 최소값의 차이인 차이값이 미리 결정된 임계값보다 작은 경우 상기 보정 대상 화소가 무채색영역에 속하는 것으로 판단하고, 크거나 같은 경우 상기 보정 대상 화소가 유채색영역에 속하는 것으로 판단하는 것을 특징으로 하는 색 보정 장치.
   
10. 제9항에 있어서,
    상기 무채색영역 색 보정 모듈은 하기 수학식에 따라 상기 최종 보정값을 생성 출력하는 것을 특징으로 하는 색 보정 장치.
    [수학식]
    R_4 = ((threshold - diff_value) * R_2 + diff_value * R_3) / threshold
    G_4 = ((threshold - diff_value) * G_2 + diff_value * G_3) / threshold
    B_4 = ((threshold - diff_value) * B_2 + diff_value * B_3) / threshold
    여기서, R_2, G_2, B_2는 상기 무채색 색 보정값, R_3, G_3, B_3는 상기 유채색 색 보정값, threshold는 상기 임계값, diff_value는 상기 차이값, R_4, G_4, B_4는 상기 최종 보정값임.
    
11. 입력 영상에 대하여 색 보정을 수행하는 색 보정 방법으로서,
    (a) 색 보정 대상이 되는 컬러 영상을 입력받고 각 화소의 RGB 값을 출력하는 단계;
    (b) 상기 RGB 값에 대하여 무채색 색 보정을 수행한 무채색 색 보정값을 생성하는 단계;
    (c) 상기 RGB 값에 대하여 유채색 색 보정을 수행한 유채색 색 보정값을 생성하는 단계; 및
    (d) 상기 무채색 색 보정값과 상기 유채색 색 보정값을 조합하여 상기 컬러 영상의 각 화소에 대한 최종 보정값을 생성하여 출력하는 단계를 포함하되,
    상기 단계 (c)는 상기 컬러 영상 및 목표 영상에 대한 n개의 컬러 패치 중 무채색에 관한 m개의 컬러 패치를 제외한 (n-m)개의 컬러 패치를 이용하여 매트릭스 연산된 유채색 색 보정 변환 계수 및 오프셋 값을 이용하여 상기 유채색 색 보정값을 생성하되, 상기 n, m은 자연수이고, n>m인 것을 특징으로 하는 색 보정 방법.
    
12. 제11항에 있어서,
    상기 단계 (b)는 상기 컬러 영상 및 목표 영상에 대한 n개의 컬러 패치를 이용하여 매트릭스 연산된 무채색 색 보정 변환 계수를 이용하여 상기 무채색 색 보정값을 생성하되, 상기 n은 자연수인 것을 특징으로 하는 색 보정 방법.
    
13. 제12항에 있어서,
    상기 무채색 색 보정 변환 계수 각각을 행렬 요소로 가지는 무채색 색 보정 매트릭스의 행방향 합계(row sum)가 1을 만족하는 것을 특징으로 하는 색 보정 방법.
    
14. 제13항에 있어서,
    상기 단계 (b)는 하기 수학식에 따라 상기 무채색 색 보정값을 생성하여 출력하는 것을 특징으로 하는 색 보정 방법.
    [수학식]
    R_2 = w11 * R_1 + w12 * G_1 + w13 * B_1
    G_2 = w21 * R_1 + w22 * G_1 + w23 * B_1
    B_2 = w31 * R_1 + w32 * G_1 + w33 * B_1
    여기서, R_1, G_1, B_1은 상기 컬러 영상의 RGB 값, R_2, G_2, B_2는 상기 무채색 색 보정값, w11, w12, …, w33은 상기 무채색 색 보정 변환 계수임.
    
    
15. 삭제
16. 제11항에 있어서,
    상기 단계 (c)는 하기 수학식에 따라 상기 유채색 색 보정값을 생성하여 출력하는 것을 특징으로 하는 색 보정 방법.
    [수학식]
    R_3 = c11' * R_1 + c12' * G_1 + c13' * B_1 + o1
    G_3 = c21' * R_1 + c22' * G_1 + c23' * B_1 + o2
    B_3 = c31' * R_1 + c32' * G_1 + c33' * B_1 + o3
    여기서, R_1, G_1, B_1은 상기 컬러 영상의 RGB 값, R_3, G_3, B_3은 상기 유채색 색 보정값, c11', c12', …, c33'는 상기 유채색 색 보정 변환 계수, o1, o2, o3는 상기 오프셋 값임.
    
17. 제11항에 있어서,
    상기 단계 (d)는,
    (d1) 보정 대상 화소가 무채색영역 및 유채색영역 중 어디에 속하는지를 판단하는 단계와;
    (d2) 상기 보정 대상 화소가 유채색영역에 속하는 경우 상기 유채색 색 보정값을 이용하여 상기 최종 보정값을 생성 출력하는 단계와;
    (d3) 상기 보정 대상 화소가 무채색영역에 속하는 경우 상기 무채색 색 보정값 및 상기 유채색 색 보정값을 이용하여 상기 최종 보정값을 생성 출력하는 단계를 포함하는 것을 특징으로 하는 색 보정 방법.
    
18. 제17항에 있어서,
    상기 단계 (d1)은 상기 보정 대상 화소의 RGB 값의 편차를 이용하여 영역을 구분하는 것을 특징으로 하는 색 보정 방법.
    
19. 제18항에 있어서,
    상기 단계 (d1)은 상기 보정 대상 화소의 RGB 값 중 최대값과 최소값의 차이인 차이값이 미리 결정된 임계값보다 작은 경우 상기 보정 대상 화소가 무채색영역에 속하는 것으로 판단하고, 크거나 같은 경우 상기 보정 대상 화소가 유채색영역에 속하는 것으로 판단하는 것을 특징으로 하는 색 보정 방법.
    
20. 제19항에 있어서,
    상기 단계 (d3)는 하기 수학식에 따라 상기 최종 보정값을 생성 출력하는 것을 특징으로 하는 색 보정 방법.
    [수학식]
    R_4 = ((threshold - diff_value) * R_2 + diff_value * R_3) / threshold
    G_4 = ((threshold - diff_value) * G_2 + diff_value * G_3) / threshold
    B_4 = ((threshold - diff_value) * B_2 + diff_value * B_3) / threshold
    여기서, R_2, G_2, B_2는 상기 무채색 색 보정값, R_3, G_3, B_3는 상기 유채색 색 보정값, threshold는 상기 임계값, diff_value는 상기 차이값, R_4, G_4, B_4는 상기 최종 보정값임.
    
21. 제11항 내지 제14항 및 제16항 내지 제20항 중 어느 한 항에 기재된 색 보정 방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체.

Images