KR20050105782A

KR20050105782A - 아이피를 공유할 수 있는 디지털 색공간 변환 회로

Info

Publication number: KR20050105782A
Application number: KR1020040031043A
Authority: KR
Inventors: 편창희; 김미랑
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2004-05-03
Filing date: 2004-05-03
Publication date: 2005-11-08
Also published as: KR100607804B1

Abstract

본 발명은 색차 신호 변환부와 원색 신호 변환부의 단일 IP 설계가 가능하며 오차를 감소시킬 수 있는 이미지센서의 디지털 색공간 변환 회로를 제공하기 위한 것으로, 이를 위해 본 발명은, 입력되는 색공간 신호를 컬러 매트릭스 구조를 통해 선택적으로 승산 및 가산하여 변환된 색공간 신호를 출력하기 위한 색공간 변환부; 및 상기 색공간 변환부의 색차 신호 변환 또는 원색 신호 변환 모드를 선택하기 위한 모드 선택부를 포함하는 디지털 색공간 변환 회로를 제공한다.

Description

아이피를 공유할 수 있는 디지털 색공간 변환 회로{DIGITAL COLOR SPACE CONVERSION CIRCUIT CAPABLE OF COMMONLY SHARING IP}

본 발명은 이미지센서(Image sensor)에 관한 것으로, 특히 색차 신호 변환부와 원색 신호 변환부의 단일 IP(Intellectual property) 설계가 가능한 이미지센서의 디지털 색공간 변환 회로에 관한 것이다.

인간의 컬러 지각 능력은 세가지 콘(Cone)들의 반응에 의해 발휘된다. 이 때문에 시스템들은 세개의 숫자를 기반으로 이루어지며 이를 삼중 자극값(RGB)라 부른다.

현재 산업 응용 분야에 따라 삼중 자극값에 기반한 많은 컬러 공간이 사용된다. 이미지센서에서 RGB 컬러 공간신호는 상호 밀접한 상관 관계를 가지므로, 원활한 이미지 보상 기법을 적용하는 것이 어렵다. 이미지 보상 기번들을 쉽게 적용하기 위해 삼중 자극값(RGB)들의 상호 연관성을 분리한 컬러 공간 표현 방법이 적용되고 있다.

컬러 공간 표현 방법은 상이한 컬러 공간 신호 변환시 발생되는 신호 변환 오차를 감소시키므로써 원색 신호 손실을 최소화하여 분리된 색상 공간 값을 이미지 보상을 위한 다른 블럭의 기준값으로 사용되도록 한다. 컬러 공간 표현의 중요도는 높다고 할 수 있으며, 컬러 공간 표현은 컬러 공간 신호 변환 구현에 최소한의 오차 범위를 결정하는 필수적인 기준이다.

디지털 색공간 변환 회로는 YUV, YCbCr, YIQ, RGB 등의 색공간 성분으로 변환해야 하는 장비 즉, CMOS(Complementary Metal Oxide Semiconductor)/CCD(Charge Coupled Device) 이미지센서, 영상 획득/처리 및 저장 장치, 모니터 등과 같은 시스템 간의 컬러 매칭 장비 등에 많이 사용되고 있고, 디지털 색공간 회로는 소자의 크기를 많이 차지하는 매트릭스 연산 구조에서 소자의 크기를 작게 사용할 수 있는 방법을 채택하고 있다.

그 대표적인 예로, 승산기와 가산기 및 일련의 레지스터들을 구성하여 클럭 신호에 따라 데이터와 변환 계수를 입력하여 연산하고, 연산된 결과는 다음 클럭의 연산 결과가 출력 레지스터에 입력될 때마다 자리 이동을 한 후 세번재 클럭 신호의 연산 결과가 출력 레지스터에 입력되면 자리 이동과 함께 최종 데이터 값으로 출력함으로써 소자의 크기를 줄이게 된다.

하지만, 승산기와 가산기의 비트 연산에 사용하는 계수(Coegfficient) 해상도에 따라 비트 절단 시 오차 값만큼 원색 신호의 왜곡된 변환값을 가지게 되고, 컬러 필터 특성으로 인해 왜곡된 원색 대비 색상차를 보상하기 위한 색상 보정부 또한 승산기와 가산기 및 일련의 레지스터들로 구성되므로 원색 신호 고정 오차를 가지게 된다.

본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 색차 신호 변환부와 원색 신호 변환부의 단일 IP 설계가 가능하며 오차를 감소시킬 수 있는 이미지센서의 디지털 색공간 변환 회로를 제공하는 것을 그 목적으로 한다.

상기의 목적을 달성하기 위해 본 발명은, 입력되는 색공간 신호를 컬러 매트릭스 구조를 통해 선택적으로 승산 및 가산하여 변환된 색공간 신호를 출력하기 위한 색공간 변환부; 및 상기 색공간 변환부의 색차 신호 변환 또는 원색 신호 변환 모드를 선택하기 위한 모드 선택부를 포함하는 디지털 색공간 변환 회로를 제공한다.

본 발명은 승산기와 가산기 및 일련의 레지스터를 사용하는 구조에서 최대 오차값을 만드는 색상 공간 신호 레지스터 값을 최소의 원색 신호 오차값을 가지도록 최적의 레지스터 해상도 값을 만들어 오차 범위를 최소화 한다.

또한, 승산기와 가산기 및 일련의 레지스터 레지스터를 사용하는 구조를 색차 신호 변화부 및 원색 신호 변환부 구리고, 색상 보상부를 단일 IP로 모두 사용이 가능하도록 함으로써 IP 재사용과 범용성을 극대화한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

광원을 받아들여 이미지를 데이터를 활용하는 산업 응용 분야에서 이미지 데이터는 세개의 숫자를 기반으로 이루어지며 이를 삼중 자극값을 정의하여 이미지 정보를 표현한다. 원색 공간 신호인 RGB 컬러 공간 신호는 상호 밀접한 상관관계로 원활한 이미지 보상 기법을 적용하기 어렵기 때문에 색상 공간 신호 변환부(회로)를 사용해 삼중 자극값(RGB)들의 상호 연관성을 분리한 컬러 공간 표현 방법이 필수적으로 적용된다.

기존의 승산기와 가산기 및 일련의 레지스터를 이용한 색상 공간 신호 변환 공식은 하나의 화소 정보인 원색 공간 신호값 RGB를 이용하여 색상 공간 변환값의 해상도를 결정함으로써 적용 분야에 따라 다양한 색상 공간 변환부가 존재한다. 기존 사용되는 색차 공간 신호 변환부는 승산기와 가산기 및 일련의 레지스터를 사용하며, 최대 오차값을 나타내는 부분은 공간 신호 레지스터 변환값의 고정 소수점 변환 과정과 입력된 원색 공간 신호 연상 과정에서 발생한다. 이러힌 오차값은 아날로그/디지털 변환부(이하, ADC라 함)에서 넘어 온 원색 공간 신호의 오차 범위는 이미지 보상 과정의 기준값이 되어 다음 프레임의 이미지 보상에 적용되고, 이 오차값으로 인해 조정 오차를 발생시킨다.

따라서, 본 발명에서는 오차 범위와 소자 면적과의 트레이드 오프(Trade-off) 관계를 미리 인지하고, 최소한의 오차 범위 및 소자 면적을 고려하여 공간 신호 레지스터 변환값의 고정 소수점 변환 과정을 정의한다.

도 1은 이미지센서를 개략적으로 도시한 블럭도이다.

도 1을 참조하면, 화소 배열부(10)와, 제어 및 외부시스템 인터페이스부(11)와, 아날로그 라인 버퍼부(12)와, 가변 증폭부(13)와, 아날로그 신호 처리부(이하 ASP라 함, 14)와, ADC(15)와, ISP(Image Signal Processing) 변환부(16)와, 디지털 색공간 변환 회로(17)와, 이미지 포맷 변환부(18)를 구비하여 구성된다.

ASP(14)는 색상 보간 제어부(140)와, 색상 보정 제어부(141) 및 자동 백색 조절부/자동 노출 제어부(142)로 구성되며, ISP 변환부(16)는 컬러 보정부(160)와 도면에 도시되지는 않았지만, 오류 보정, 색상 보간, 감마 보정 등의 기능을 수행한다.

이하, 전술한 이미지센서를 구성하는 각 구성 요소들의 동작을 자세히 살펴본다.

화소 배열부(10)는 빛에 반응하는 성질을 극대화시키도록 화소(Pixel)를 가로 N개, 세로 M개(N,M은 정수)로 배치하여 외부에서 들어오는 이미지에 대한 정보를 감지하는 부분으로 전체적인 이미지센서의 가장 핵심적인 부분이다.

제어 및 외부시스템 인터페이스부(11)는 FSM(Finite State Machine)을 이용하여 이미지센서의 전체적인 동작을 제어하며, 외부 시스템에 대한 인터페이스 동작을 담당하는 바, 배치 레지스터(도시하지 않음)를 갖고 있어 여러가지 내부 동작에 관련된 사항에 대한 프로그램이 가능하며, 이 프로그램된 정보에 따라 전체 칩의 동작을 제어하는 역할을 한다.

아날로그 라인 버퍼부(12)는 선택된 한 로(Row)의 화소들의 전압을 감지하여 저장하는 역할을 하며 뒷단에서 사용될 색상 보간 및 이미지 신호 처리에 이용하기 위해 여러 라인으로 구성되며, 아날로그 라인 버퍼부(12)에 저장된 아날로그 데이터는 칼럼 디코더(도시하지 않음)의 제어에 의해 선택된 칼럼의 데이터 값이 아날로그 버스(도시하지 않음)를 통해 가변 증폭부(13)로 전송된다.

가변증폭부 예컨대, PGA는 아날로그 라인 버퍼부(12)에 저장된 화소 전압이 작은 경우 이를 증폭하는 역할을 하며, 가변 증폭부를 거친 아날로그 데이터는 ASP(14)에서 색상 보정과 자동 백색 조절 및 자동 노출 등의 과정을 거친 후, ADC(15)를 통해 디지털 값으로 변환되며, ISP 변환부(16)를 통해 오류 보정, 색상 보간, 감마 보정 등의 과정을 거친다.

디지털 색공간 변환 회로(17)는 RGB 원색 공간 신호를 YCbCr 등의 색차 공간 신호로 변환하는 기능과 그 역인 YCbCr 등의 색차 공간 신호를 RGB 원색 공간 신호로 변환하는 기능을 수행한다.

이미지 포맷 변환부(18)는 전술한 과정을 거친 후 4:2:2 또는 4:4:4 등의 비디오 규격에 맞게 변환한다.

한편, 이미지센서는 제조 공정 상의 미세한 차이에 의해 오프셋 전압에 의한 고정 패턴 잡음이 발생한다. 이러한 고정 패턴 잡음을 보상하기 위해 이미지센서는 화소 배열부(10)의 각 화소에서 리셋 신호를 읽고 데이터 신호를 읽은 후 그 차를 출력하는 CDS 방식을 사용한다.

종래의 경우 디지털 색공간 변환 회로(17)를 색차 공간 신호 변환부와 원색 공간 신호 변환의 두개로 분리하여 사용하였는 바, 본 발명에서는 이 들을 단일 IP 블럭으로 적용한다.

도 2는 디지털 색공간 변환 회로를 도시한 블럭도이다.

도 2을 참조하면, 디지털 색공간 변환 회로는 입력되는 색공간 신호를 컬러 매트릭스 구조를 통해 선택적으로 승산 및 가산하여 변환된 색공간 신호를 출력하기 위한 색공간 변환부(21)와, 색공간 변환부(21)의 색차 신호 변환 또는 원색 신호 변환 모드를 선택하기 위한 모드 선택부(20)를 구비하여 구성된다.

즉, 본 발명의 디지털 색공간 변환 회로는 모드의 선택에 따라 3개의 입력되는 원색 신호 입력(In1 ∼ In3)을 이용하여 변환값 즉, 최저 오차 입력 가변계수를 승산하며, 최저 오차 입력 가변 계수를 이용하여 합성 색 신호에 대한 이득 설정 및 연산을 수행한다.

여기서, 색공간 변환부(21)는 컬러 매트릭스 구조를 이루며 모드 선택에 따라 가변적인 변환값을 갖는 복수의 공간 신호 레지스터(210_1 ∼ 210_9)와, 복수의 공간 신호 레지스터(210_1 ∼ 210_9)에서 제공되는 변환값과 입력된 색공간 신호(In1 ∼ In3)를 승산하기 위한 승산기(211_1 ∼ 211_9)와, 각 승산기(211_1 ∼ 211_9)의 출력을 선택적으로 가산하여 변환된 색공간 신호(Out1 ∼ Out3)를 출력하기 위한 가산기(212_1 ∼ 212_3)로 이루어진다.

예컨대, 가산기(212_1 ∼ 212_3)에서는 3개의 원색 신호 중 적색 원색 신호 R에서 녹색 원색 신호 G를 감산하는 연산을 수행하고 합성된 색신호를 얻거나, 청색 신호 B에서 녹색 신호 G를 가산하는 연산을 수행하여 합성된 색신호를 얻는다.

전술한 디지털 색공간 변환 회로는 모드 선택부(20)에 따라 색공간 변환부(21)가 색차 공간 신호 변환부 또는 원색 공간 신호 변환부의 기능을 선택적으로 수행하므로 단일 IP로 설계가 가능하다.

예컨대, 원색 신호 데이터가 1클럭 주기로 입력되고, 입력 계수와 입력 계수와 원색 신호의 승산 연산은 1클럭 내에 이루어지고, 색산 공간 신호 변환 및 원색 신호 공간 변환이 데이터 패스를 따라 2클럭 내에 이루어진다.

하기의 표 1은 압력 변환 계수 값의 최저 오차 해상도 결정을 위해 11비트 헥사 코드표로 변환된 계수 비교표이다.

상기한 표 1은 레지스터 값의 고정 소수점 변환 오차 범위 계산 결과값을 나타낸다.

RGB에서 YCbCr로의 색차 공간 변환시를 나타내는 YCbCr(0 ∼ 255, 16 ∼ 235)에서 CSPM(Color SPace Matrix)11 ∼ CSPM13은 'Y', CSPM21 ∼ CSPM23은 'Cb', CSPM31 ∼ CSPM33은 'Cr'을 각가 나타낸다. 이 때, 계수 매트릭스(Coefficient Matrix)에 따라 각각의 변환값이 달라짐을 알 수 있다.

도 2에서 원색 신호의 변환 오차를 화소들의 평균값과 최대 오차값으로 정리하고 공간 신호 변환 화소들과 원색 신호들 간의 평균값은 1.1 코드의 차이를 보이며, 색차 코드 오차 범위는 색차 공간 신호 변환과 색상 보간부 간의 오차값이 최대 4코드를 나타낸다. 이러한 오차값을 최소화하기 위해 색차 공간 변환시 사용되는 레지스터 값에 대한 고정 소수점 변한부를 현재 적용되는 2⁶의 해상도를 2⁸ 해상도로 변환하여 레지스터 값을 계산하고 소자 면적을 고려하여 오버 플오우(Over flow)가 발생하지 않는 범위와 ADC에서 출력되는 원신호 비트 수를 일치시키기 위해 레지스터 비트율을 11비트로 고정한다.

그리고, 색상 보정부를 거쳐 디지털 색공간 변환 회로(17)의 원색 신호 변환시 비트 버림 비율을 2⁶ ∼ 2⁸으로 절단 과정에 대한 오차 결가값을 증명하기 위해 공간 신호 변환에서의 오차 범위 최저치를 결정한다.

입력 변환 계수에서 오버 플로우가 발생하므로 디지털 색공간 변환 회로(17)는 2⁸의 해상도로 연산하는 것이 최저의 오차율로 연산하는 것이다. 그러므로, 상기한 표 1은최저 오차 범위를 보장하는 2⁸의 해상도로 입력 변환 계수를 변환하여 정의한 것이다.

도 2의 구성에서, 원색 신호 데이터가 공간 신호 레지스터(210_1 ∼ 210_9)에 입력되고 표 1에 도시된 입력 변환 계수 가 9개의 공간 신호 레지스터(210_1 ∼ 210_9)에 동시에 입력된다. 공간 신호 레지스터(210_1 ∼ 210_9)애는 9개의 변환 계수가 병렬로 입력되어 입력 데이터가 시스템 클럭 1주기 동안 변환 계수와 연산이 수행된다.

또한, 4가지 모드를 설정하여 레지스터에 입력되는 입력 변환 계수를 표 1에 도시된 바와 같이 코드 선택 신호에 따라 다양한 형태의 최소 오차 범위를 갖는 색차 공간 신호 변환이 가능하다. 이러한 모드는 모드 셀렉트 비트 신호(Mode select bit signal)를 이용하여 총 6가지 (YCbCr(16∼235), YCbCr(0∼255), InvYCbCr(16∼235), InvYCbCr(0∼255), UserCSP, UserICSP) 모드를 선택할 수 있도록 설계하며, 모드 셀렉트 비트 신호에 따라 색차 공간 신호 변환(SDTV: 000), 색차 공간 신호 변환(HDTV: 001), 역 색차 공간 신호 변환(SDTV: 010), 역 색차 공간 신호 변환(HDTV: 011), 사용자 계수 입력 변환(100), 사용자 역 계수입력(101)로 모드 비트 만으로 공간 신호 변환을 수행할 수 있다. 그리고, 원색 공간 신호 변환과 색차 공간 신호 변환을 단일 IP로, 색상 보상부는 동일 IP를 재사용으로 연산을 수행할 수 있다.

도 3은 원색 신호값과 공간 신호 변환을 거친 이미지의 코드 에러율을 도시한 그래프이다.

도 3의 (a)와 도 3의 (b)에서 가로축은 색차 공간 신호 변환시의 계수 매트릭스/원색 공간 신호 변환시의 계수 매트릭스/비트수를 나타내고, 세로축은 그 때의 최대 에러 코드 수를 나타낸다.

따라서, 도 3의 (b)에 비해 도 3의 (a)와 같은 계수 매트릭스의 수치를 증가시키고 이 때, 비트수를 11비트로 할 수록 최대 에러 코드를 줄일 수 있다.

도 4는 원색 신호값과 공간 신호 변환을 거친 이미지의 평균값 에러율을 도시한 그래프이다.

도 4의 (a)와 도 4의 (b)에서 가로축은 색차 공간 신호 변환시의 계수 매트릭스/원색 공간 신호 변환시의 계수 매트릭스/비트수를 나타내고, 세로축은 그 때의 평균 에러율(Mean error rate)을 나타낸다.

이를 참조하면, 계수 매트릭스의 수치를 증가시키고 이 때, 비트수를 11비트로 할 수록 평균 에러율이 감소함을 알 수 있으나, 256/128/11과 256/256/11의 차이가 거의 없으므로 계산이 복잡해지는 것을 방지하고 또한 에러율도 낮은 256/128/11을 적용하는 것이 바람직하다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상술한 바와 같은 본 발명은, 색차 공간 변환부과 원색 공간 변환부의 레지스터 연산에서 발생하는 원색 공간 신호 변환 오차 범위를 최소화 하고 공간 신호 변환시 단일 IP로 동일한 구조가 적용 가능하여 색차 공간 신호 변환 및 역 색차 공간 신호 변환을 하나의 IP로 연산 가능하며, 동일한 IP를 사용하여 색상 보정부에서도 사용할 수 있어 범용성을 극대화하는 효과가 있다.

도 1은 이미지센서를 개략적으로 도시한 블럭도.

도 2는 디지털 색공간 변환 회로를 도시한 블럭도.

도 3은 원색 신호값과 공간 신호 변환을 거친 이미지의 코드 에러율을 도시한 그래프.

도 4는 원색 신호값과 공간 신호 변환을 거친 이미지의 평균값 에러율을 도시한 그래프.

* 도면의 주요부분에 대한 부호의 설명 *

20 : 모드 선택부 21 : 색공간 변환부

210_1 ∼ 210_9 : 공간 신호 레지스터

211_1 ∼ 211_9 : 승산기

212_1 ∼ 212_3 : 가산기

Claims

입력되는 색공간 신호를 컬러 매트릭스 구조를 통해 선택적으로 승산 및 가산하여 변환된 색공간 신호를 출력하기 위한 색공간 변환부; 및

상기 색공간 변환부의 색차 신호 변환 또는 원색 신호 변환 모드를 선택하기 위한 모드 선택부

를 포함하는 디지털 색공간 변환 회로.
제 1 항에 있어서.

상기 디지털 색공간 변환 회로는, 모드의 선택에 따라 3개의 입력되는 색공간 신호를 이용하여 변환값인 최저 오차 입력 가변계수를 승산하며, 상기 최저 오차 입력 가변 계수를 이용하여 변환된 색공간 신호에 대한 이득 설정 및 연산을 수행하는 것을 특징으로 하는 디지털 색공간 변환 회로.
제 1 항 또는 제 2 항에 있어서,

상기 색공간 변환부는,

컬러 매트릭스 구조를 이루며 모드 선택에 따라 가변적인 변환값을 갖는 복수의 공간 신호 레지스터와,

상기 복수의 공간 신호 레지스터에서 제공되는 변환값과 상기 입력된 색공간 신호를 승산하기 위한 복수의 승산기와,

상기 각 승산기의 출력을 선택적으로 가산하여 상기 변환된 색공간 신호를 출력하기 위한 복수의 가산기를 포함하는 것을 특징으로 하는 디지털 색공간 변환 회로.
제 1 항 또는 제 2 항에 있어서,

상기 디지털 색공간 변환 회로는,

상기 모드 선택부에 따라 상기 색공간 변환부가 색차 공간 신호 변환부 또는 원색 공간 신호 변환부의 기능을 선택적으로 수행하는 것을 특징으로 하는 디지털 색공간 변환 회로.
제 3 항에 있어서,

상기 색공간 변환부는,

9개의 공간 신호 레지스터와 9개의 승산기와 3개의 가산기로 이루어진 것을 특징으로 하는 디지털 색공간 변환 회로
제 4 항에 있어서,

상기 모드 선택부는,

모드 셀렉트 비트 신호를 이용하여 YCbCr(16∼235), YCbCr(0∼255), InvYCbCr(16∼235), InvYCbCr(0∼255), UserCSP, UserICSP의 총 6가지의 모드를 선택할 수 있는 것을 특징으로 하는 디지털 색공간 변환 회로.