KR20100082452A

KR20100082452A - 이미지 신호 처리 장치 및 방법

Info

Publication number: KR20100082452A
Application number: KR1020090001772A
Authority: KR
Inventors: 이정현
Original assignee: 엘지이노텍 주식회사
Priority date: 2009-01-09
Filing date: 2009-01-09
Publication date: 2010-07-19

Abstract

본 발명의 실시 예에 따른 이미지 신호 처리 장치는 이미지 센서로부터 신호를 입력받아 각 픽셀마다 대응하는 RGB값으로 변환하는 RGB 변환부와, 상기 변환된 RGB 값에 대한 컬러보정을 수행하는 컬러보정행렬, 화이트밸런스보정을 수행하는 화이트밸런스보정행렬 및 상기 RGB 값을 색차정보값으로 변환하는 색공간변환행렬을 병합한 병합 행렬을 구비하고, 상기 변환된 RGB 값을 입력받아 상기 병합 행렬을 이용하여 색차정보값으로 변환하여 출력하는 통합보정변환부 및 상기 통합보정변환부로부터 출력되는 색차정보값 중 휘도(Y)값을 입력받아 감마보정을 수행하는 감마보정부를 포함한다.

이미지 신호 처리, 컬러 보정, 감마 보정, 컬러 공간 변환

Description

이미지 신호 처리 장치 및 방법{Apparatus for processing image signal and method for the same}

본 발명의 실시 예는 이미지 신호 처리 장치 및 방법에 관한 것이다.

종래의 CMOS 이미지 센서는 CCD에 비해 영상 품질이 떨어지는 단점이 있다. 이러한 이유로 CMOS 이미지 센서의 영상을 처리하는 DSP인 ISP는 CMOS 이미지 센서의 품질을 개선하기 위해 여러 방식의 형태로 설계되어진다.

도 1은 종래의 ISP 구조를 나타내는 블럭도로써, 종래의 ISP는 이미지센서(101)에서 출력되는 베이어 데이터(Bayer data)를 RGB값으로 변환하는 RGB 변환부(103), 변환된 RGB값의 보정을 위한 컬러보정부(105), 피사체의 백색 부분을 표한하기 위해 RGB 게인값을 동일한 비율이 되도록 조정하기 위한 화이트밸런스 보정부(107), 보정된 RGB값을 이용하여 각 픽셀에 대한 감마 보정을 수행하는 감마 보정부(109) 및 보정된 RGB값을 색차정보(YUV 또는 YCbCr)로 변환하는 색공간변환부(111)를 포함한다. 이와 같은 방법으로, 품질이 개선된 영상을 출력하는 것이다.

그러나, 최근 ISP 기술의 발달로 인해 다양한 기능이 첨부되면서 카메라 튜닝 과정에 있어서, RGB 게인값을 통합적으로 관리하는데 어려움이 있고, 또한 ISP의 구조가 점점 복잡해지면서 그 비용이 증가하고 최종 영상을 출력하기 위한 지연시간이 늘어나는 문제가 있다.

본 발명의 실시 예는 최종 영상 출력 지연 시간을 감소시킬 수 있고, RGB 게인값을 용이하게 통합관리할 수 있는 이미지 신호 처리 장치 및 방법을 제공한다.

본 발명의 실시 예에 따른 이미지 신호 처리 방법은 피사체로부터 입사받는 빛을 전기적인 신호로 변환한 후, 상기 변환된 전기적인 신호를 입력받아 각 픽셀마다 대응하는 RGB값으로 변환하여 출력하는 제1단계와, 상기 출력된 RGB 값에 대한 컬러보정을 수행하기 위한 컬러보정행렬, 화이트밸런스보정을 수행하기 위한 화이트밸런스보정행렬 및 상기 RGB 값을 색차정보값으로 변환하기 위한 색공간변환행 렬을 통합한 병합 행렬을 생성하는 제2단계 및 상기 출력된 RGB값을 입력받아 상기 병합 행렬을 이용하여 색차정보값으로 변환하여 출력하는 제3단계를 포함한다.

본 발명의 실시 예는 컬러 보정, 화이트밸런스 보정 및 컬러 공간 변환 영역을 하나로 통합하여 연산함으로써, 효율적인 CMOS 이미지 센서 프로세스를 구성할 수 있고, 최종 영상 출력을 위한 시간을 감소시킬 수 있으며, 카메라 튜닝을 위한 레지스터 세팅을 용이하게 할 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 이미지 신호 처리 장치 및 방법에 관하여 상세히 설명한다.

도 2는 본 발명의 실시 예에 따른 이미지 신호 처리 장치의 구성을 나타내는 블럭도이다.

도 2에 도시한 바와 같이, 본 발명의 실시 예에 따른 이미지 신호 처리 장치는 RGB 변환부(203), 통합보정변환부(205) 및 감마보정부(207)로 구성된다.

촬영 렌즈(미도시)를 통해 입사되는 피사체의 빛을 칼라 필터(미도시)에서 칼라 필터링하고, 이미지 센서(201)는 상기 칼라 필터링된 빛을 촬상하여 해당하는 전기적인 신호를 출력하게 되는데, 이때 각 픽셀마다 R(Red), G(Green), B(Blue) 중 하나의 칼라 성분을 가지며, 이를 베이어 데이터(Bayer data)라 한다.

RGB 변환부(203)는 상기 이미지 센서(201)로부터 베이터 데이터(bayer data)를 입력받아 보간법(interpolation)을 이용하여 각 픽셀에서 RGB값으로 변환한다.

통합보정변환부(205)는 상기 변환된 RGB 값에 대하여 각 픽셀마다 컬러보정을 수행하는 컬러보정행렬, 각 픽셀의 화이트밸런스보정을 수행하기 위한 R과 B의 게인 값을 조정하는 화이트밸런스보정행렬 및 상기 RGB 값을 색차정보값으로 변환하는 색공간변환행렬을 병합한 병합 행렬을 구비한다. 이때, 상기 색차정보값은 YUV 포맷 또는 YCbCr 포맷이다.

상기 컬러보정행렬은 RGB 변환부(203)에 의해 변환된 RGB값이 컬러 필터 어레이(미도시)의 크로스-컬러 블리딩 왜곡(cross-color bleeding distortion) 등으로 인해 정확한 파장대의 RGB를 표현하지 못하므로, 원래(original)의 RGB값을 재현하기 위한 것으로 아래 수식(1)과 같이 표현될 수 있다.

(1)

즉, 상기 변환된 RGB값과 컬러보정행렬의 곱에 의해 보정된 RGB값이 생성된다.

또한, 상기 화이트밸런스보정행렬은 RGB 변환부(203)에 의해 변환된 RGB값에 대하여 각 픽셀마다 화이트밸런스보정을 수행하기 위해 R과 B의 게인값을 조정하기 위한 것으로 아래 수식(2)와 같이 표현될 수 있다.

(2)

즉, 상기 변환된 RGB값과 화이트밸런스보정행렬의 곱에 의해 R과 B의 게인값이 조정된 RGB값이 생성된다.

또한, 상기 색공간변환행렬은 상기 변환된 RGB값을 색차정보값 즉 YUV 또는 YCbCr로 변환하기 위한 것으로, 이는 인간의 눈이 크로미낸스(Chrominance)보다 루미넨스(Luminance)에 민감하기 때문이다. 이를 수식으로 표현하면 아래와 같다.

(3)

상기 수식 (1), (2), (3)에서 보는 바와 같이, 컬러보정행렬, 화이트밸런스보정행렬, 색공간변환행렬은 모두 3×3 동차 행렬로 구성되어 있다. 따라서, 전형적인 동차 행렬들의 합성을 이용하여 상기 세 가지 과정 영역을 하나의 과정으로 통합할 수 있다. 즉, 아래와 같이 나타낼 수 있다.

(4)

이와 같이, 컬러보정행렬, 화이트밸런스보정행렬 및 색공간변환행렬을 곱함으로써, 하나의 병합 행렬을 생성할 수 있고, 이에 상기 변환된 RGB 값을 곱함으로써, 최종적인 색차정보값 즉, YCbCr값을 출력할 수 있고, 이는 아래와 같이 표현할 수 있다.

(5)

이때, 본 실시 예에서는 YCbCr을 예로 들어 설명하였으나, YUV를 출력하는 과정도 동일하다.

즉, 상기 수식(5)를 이용하여 상기 변환된 RGB 값을 입력받아 색차정보값으로 변환하여 출력할 수 있다.

또한, 감마보정부(207)는 통합보정변환부(205)로부터 출력된 YCbCr 중 Y(휘도) 값 하나에 대하여 각 픽셀의 감마 보정을 수행한다.

또한, 통합보정변환부(205)로부터 출력된 Y, Cb, Cr 값은 종래와 같이 휘도신호인 Y는 자동노출조정부로 입력되고, 색채신호인 Cb 및 Cr은 화이트밸런스조정부로 입력되게 된다.

도 3은 본 발명의 실시 예에 따른 이미지 신호 처리 방법을 나타내는 순서도이다.

먼저, 피사체로부터 입사받는 빛을 전기적인 신호로 변환한 후(S301), 상기 변환된 전기적인 신호를 입력받아 각 픽셀마다 대응하는 RGB값으로 변환하여 출력한다(S303). 이때, 상기 전기적인 신호는 베이어 데이터(Bayer data)로써, 각 픽셀마다 R(Red), G(Green), B(Blue) 중 하나의 칼라 성분을 가진다. 따라서, 각 픽셀마다 R,G,B 세가지의 컬러를 갖도록 변환되고, 이는 보간법(interpolation)에 의해 수행된다.

다음으로 상기 출력된 RGB 값에 대한 컬러보정을 수행하기 위한 컬러보정행렬, 화이트밸런스보정을 수행하기 위한 화이트밸런스보정행렬 및 상기 RGB 값을 색차정보값으로 변환하기 위한 색공간변환행렬을 통합한 병합 행렬을 생성한다(S305).

이때, 상기 컬러보정행렬은 상기 수식(1)에 나타낸 바와 같고, 화이트밸런스보정행렬은 상기 수식(2)에 나타낸 바와 같으며, 색공간변환행렬은 상기 수식(3)에 나타낸 바와 같다. 또한, 상기 세 가지의 행렬을 곱함으로써 하나의 통합된 병합 행렬이 생성되고 이는 상기 수식(5)에 나타낸 바와 같다.

다음으로 상기 출력된 RGB값을 입력받아 상기 생성된 병합 행렬을 이용하여 색차정보값으로 변환하여 출력한다(S307).

이때, 상기 색차정보값은 YUV 또는 YCbCr을 가리킨다. 또한, 상기 출력된 색차정보값중 휘도 성분 즉 Y값만을 이용하여 각 픽셀의 감마를 조정하고, 이후에는 종래와 같이 휘도성분(Y)은 자동노출조정에 이용되고, 색채성분(CbCr)은 화이트밸런스조정에 이용되게 된다.

상기 설명은 본 발명의 특정 실시 예에 대한 설명에 불과하고, 본 발명은 이러한 특정 실시 예에 한정되지 않으며, 상술한 구체적인 실시 예로부터 다양한 변형이나 응용이 가능하다는 것을 본 발명이 속하는 기술분야의 통상적인 지식을 가진자는 쉽게 알 수 있다.

도 1은 종래의 이미지 신호 처리 장치의 구성을 나타내는 블럭도이다.

Claims

이미지 센서로부터 신호를 입력받아 각 픽셀마다 대응하는 RGB값으로 변환하는 RGB 변환부;

상기 변환된 RGB 값에 대한 컬러보정을 수행하는 컬러보정행렬, 화이트밸런스보정을 수행하는 화이트밸런스보정행렬 및 상기 RGB 값을 색차정보값으로 변환하는 색공간변환행렬을 병합한 병합 행렬을 구비하고, 상기 변환된 RGB 값을 입력받아 상기 병합 행렬을 이용하여 색차정보값으로 변환하여 출력하는 통합보정변환부;

상기 통합보정변환부로부터 출력되는 색차정보값 중 휘도(Y)값을 입력받아 감마보정을 수행하는 감마보정부

를 포함하는 이미지 신호 처리 장치.
제 1항에 있어서,

상기 색차정보값은 YUV 포맷 또는 YCbCr 포맷인 이미지 신호 처리 장치.
제 1항에 있어서,

상기 컬러보정행렬은
이고, 화이트밸런스보정행렬은

이고, 색차변환행렬은
이고,

상기 병합 행렬은
이고,
에 의해 생성된다고 할때, 상기 변환은
에 의해 수행되는 이미지 신호 처리 장치.
피사체로부터 입사받는 빛을 전기적인 신호로 변환한 후, 상기 변환된 전기적인 신호를 입력받아 각 픽셀마다 대응하는 RGB값으로 변환하여 출력하는 제1단계;

상기 출력된 RGB 값에 대한 컬러보정을 수행하기 위한 컬러보정행렬, 화이트밸런스보정을 수행하기 위한 화이트밸런스보정행렬 및 상기 RGB 값을 색차정보값으로 변환하기 위한 색공간변환행렬을 통합한 병합 행렬을 생성하는 제2단계;

상기 출력된 RGB값을 입력받아 상기 병합 행렬을 이용하여 색차정보값으로 변환하여 출력하는 제3단계

를 포함하는 이미지 신호 처리 방법.
제 4항에 있어서,

상기 색차정보값은 YUV 포맷 또는 YCbCr 포맷인 이미지 신호 처리 방법.
제 5항에 있어서, 상기 제3단계 이후,

출력되는 색차정보값 중 Y값을 입력받아 감마보정을 수행하는 단계를 더 포함하는 이미지 신호 처리 방법.
제 4항에 있어서, 상기 제2단계에서

상기 컬러보정행렬은
이고, 화이트밸런스보정행렬은

이고, 색차변환행렬은
이고,

상기 병합 행렬은
이고,
에 의해 생성된다고 할때, 상기 변환은
에 의해 수행되는 이미지 신호 처리 방법.