KR100647402B1

KR100647402B1 - 이미지 센서의 화질개선장치 및 그 방법

Info

Publication number: KR100647402B1
Application number: KR1020050103737A
Authority: KR
Inventors: 황성현
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2005-11-01
Filing date: 2005-11-01
Publication date: 2006-11-23
Also published as: US20090262223A1; US8199216B2; JP2007129671A; US20070097391A1; US7576891B2; JP4654118B2

Abstract

본 발명은 베이어 패턴 기반의 단일 채널 화소 구조로부터 R(Red), G(Green), B(Blue)의 3채널 데이터를 생성하기 위한 데-모자이킹 기술에서 수반되는 색상잡음을 적응적으로 제거할 수 있는 이미지 센서의 화질개선장치 및 그 방법을 제공하기 위한 것으로, 이를 위해 본 발명은 베이어 데이터로부터 데-모자이킹 기술을 통해 얻은 RGB 칼라영상을 YCbCr 칼라공간으로 변환하는 제1 변환부와, 상기 제1 변환부로부터 출력된 Cb 및 Cr 데이터의 색상잡음을 제거하는 색상잡음 제거부와, 상기 색상잡음 제거부로부터 출력된 Cb 및 Cr 데이터와 상기 제1 변환부로부터 출력된 Y 데이터를 RGB 칼라공간으로 변환하는 제2 변환부를 포함하는 이미지 센서의 화질개선장치를 제공한다.

CCD, CMOS 이미지 센서, 베이어 패턴, 데-모자이킹, 색상잡음 제거, 평탄화, 문턱 값

Description

이미지 센서의 화질개선장치 및 그 방법{APPARATUS AND METHOD FOR IMPROVING IMAGE OF IMAGE SENSOR}

도 1은 일반적인 베이어 패턴을 도시한 도면.

도 2의 (a)는 원본 칼라 영상을 도시한 도면.

도 2의 (b)는 도 2의 (a)의 원본 칼라 영상에 데-모자이킹(de-mosaicking)을 수행한 결과 영상을 도시한 도면.

도 3은 본 발명의 실시예에 따른 이미지 센서의 화질개선장치를 설명하기 위해 도시한 블록도.

도 4는 도 3에 도시된 적응적 칼라 노이즈 필터링부를 설명하기 위하여 도시한 블록도.

도 5는 도 4에 도시된 선형 필터링부를 설명하기 위하여 도시한 블록도.

도 6은 도 3에 도시된 YCbCr 칼라공간 변환부의 동작특성을 설명하기 위하여 도시한 도면.

도 7의 (a)는 원본 칼라 영상을 도시한 도면.

도 7의 (b)는 도 7의 (a)의 원본 칼라 영상의 베이어 패턴 영상을 도시한 도면.

도 7의 (c)는 도 7의 (b)의 베이어 패턴에 데-모자이킹을 수행한 결과 영상을 도시한 도면.

도 7의 (d)는 도 7의 (c)의 영상에 본 발명의 실시예에 따라 색상잡음을 제거한 후의 영상을 도시한 도면.

<도면의 주요 부분에 대한 부호의 설명>

10 : 데-모자이킹부

20 : YCbCr 칼라공간 변환부

30 : 적응적 칼라 노이즈 필터링부

40 : RGB 칼라공간 변환부

31 : 레지스터부

32 : 적응적 문턱값 발생부

33 : 데이터 선택부

34 : 선형 필터부

341 : 멀티 플렉서

342 : 곱셈기

343 : 누산기1

344 : 누산기2

345 : 분배기

본 발명은 반도체 기술에 관한 것으로, 특히 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 및 CCD(Charge Coupled Device)와 같은 이미지 센서의 색상잡음을 제거하여 화질을 개선하기 위한 장치 및 그 방법에 관한 것이다.

최근들어 디지털 카메라(digital camera)는 인터넷을 이용한 영상통신의 발전과 더불어 그 수요가 폭발적으로 증가하고 있는 추세에 있다. 더욱이, 카메라가 장착된 PDA(Personal Digital Assistant), IMT-2000(International Mobile Telecommunications-2000), CDMA(Code Division Multiple Access) 단말기 등과 같은 이동통신단말기의 보급이 증가됨에 따라 소형 카메라 모듈의 수요가 증가하고 있다.

카메라 모듈은 기본적으로 이미지 센서를 포함한다. 일반적으로, 이미지 센서라 함은 광학 영상(optical image)을 전기 신호로 변환시키는 소자를 말한다. 이러한 이미지 센서로는 전하 결합 소자(Charge Coupled Device, 이하, CCD라 함)와 시모스(CMOS; Complementary Metal-Oxide-Semiconductor) 이미지 센서가 널리 사용되고 있다.

CCD는 구동 방식이 복잡하고, 전력 소모가 많으며, 제조공정시 마스크 공정 수가 많아 공정이 복잡하고, 시그날 프로세싱 회로(signal processing circuit)를 칩 내에 구현할 수 없어 원 칩(one chip)화가 어렵다는 등의 여러 단점이 있다. 이에 반해, 시모스 이미지 센서는 하나의 단일 칩 상에 제어, 구동 및 신호 처리 회로의 모놀리식 집적화가 가능하기 때문에 최근에 보다 주목을 받고 있다. 게다가, 시모스 이미지 센서는 저전압 동작 및 저전력 소모, 주변기기와의 호환성 및 표준 CMOS 제조 공정의 유용성으로 인하여 기존의 CCD에 비해 잠재적으로 적은 비용을 제공한다.

그러나, 시모스 이미지 센서에서 수광 소자, 예컨대 포토 다이오드(photo diode)에 의해 생성된 아날로그 신호는 기생 캐패시턴스, 저항, 암전류 누설 또는 반도체 소자 특성의 불일치 등에 의해 야기되는 다양한 기생 효과(parasitic effect)를 갖는다. 이러한 기생 효과는 반도체 소자에서는 필수적으로 발생되는 것으로서, 이미지 데이터의 신호대 잡음비(Signal to Noise Ratio)의 저하를 가져온다. 따라서, 잡음은 시모스 이미지 센서의 성능을 제한하는 중요한 요인으로 작용하고 있다.

시모스 이미지 센서에서 잡음이 발생되는 원인은 이미지 데이터의 샘플링과 관련되는 kT/C 잡음, 이미지 신호를 증폭하기 위해 사용되는 회로와 관련되는 1/f 잡음 및 센서의 신호 처리 회로의 불일치와 관련되는 고정 패턴 잡음(Fixed Pattern Noise, 이하, FPN이라 함) 등이 있다. FPN은 이미지 안에 세로선 또는 스트립(strip)으로 나타나서 사람의 눈에 쉽게 발견되므로 시각적으로 매우 좋지 않다.

이러한 이미지 센서에서는 영상을 처리하기 위하여 ISP(Image Sensor Processor)를 두고 있다. ISP는 이미지 센서의 이미지 품질을 개선하기 위해 여러 방식으로 설계되어 있다. 여러 방식 중 하나가 데-모자이킹(de-mosaicking) 기술이다.

도 1은 베이어 패턴(bayer pattern)을 도시화한 도면이다.

도 1에 도시된 바와 같이, 각 화소는 단일 색상의 정보만을 보존하고 있기 때문에 베이어 패턴을 채용하고 있는 모든 이미지 센서는 화소의 단일 색상을 제외한 잉여의 두 가지 색상 정보를 얻기 위해서 주변의 상이한 색상 정보를 이용하여 미지의 색상에 대한 예측 값을 생성하는데 이러한 기술인 데-모자이킹 기술을 요구한다.

데-모자이킹 기술은 기본적으로 데이터 보간 기법의 범례에 속한다. 데-모자이킹 기술 중 가장 간단한 방법으로는 이웃하는 화소로부터 색상 정보를 변형하지 않고 그대로 차용하는 0차 보간 기법이 있다. 또한, 주변의 상이한 색상 정보를 모두 이용하는 선형 보간 기법, 그리고 주변 화소에 대해 가중치를 할당함으로써 적응적으로 값을 산출하는 적응적 보간 기법들이 있다. 그러나, 이러한 데-모자이킹 기술들은 베이어 패턴이 가지고 있는 근본적인 한계로 인해 허위 색상잡음을 야기시킨다.

도 2a는 원본 칼라 영상을 도시한 도면이고, 도 2b는 도 2a의 원본 칼라 영상에 대해 데-모자이킹 기술을 수행한 결과를 도시한 도면으로서, 데-모자이킹 기술 중 선형 보간 기법을 이용하여 얻은 칼라 영상을 도 2a에 도시된 원본 칼라 영상과 비교하여 도시화하였다. 도 2b에 도시된 바와 같이, 영상 내 피사체의 경계 부분에서 원본 칼라 영상에는 존재하지 않았던 색상잡음이 발생한 것을 확인할 수 있다.

따라서, 본 발명은 상기한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 베이어 패턴 기반의 단일 채널 화소 구조로부터 R(Red), G(Green), B(Blue)의 3채널 데이터를 생성하기 위한 데-모자이킹 기술에서 수반되는 색상잡음을 적응적으로 제거할 수 있는 이미지 센서의 화질개선장치 및 그 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 일측면에 따른 본 발명은, 베이어 데이터로부터 데-모자이킹 기술을 통해 얻은 RGB 칼라영상을 YCbCr 칼라공간으로 변환하는 제1 변환부와, 상기 제1 변환부로부터 출력된 Cb 및 Cr 데이터의 색상잡음을 제거하는 색상잡음 제거부와, 상기 색상잡음 제거부로부터 출력된 Cb 및 Cr 데이터와 상기 제1 변환부로부터 출력된 Y 데이터를 RGB 칼라공간으로 변환하는 제2 변환부를 포함하는 이미지 센서의 화질개선장치를 제공한다.

또한, 상기한 목적을 달성하기 위한 다른 측면에 따른 본 발명은, 베이어 데이터로부터 데-모자이킹 기술을 통해 얻은 RGB 칼라영상을 YCbCr 칼라공간으로 변환하는 단계와, 상기 YCbCr 칼라공간으로 변환된 데이터 중 Cb 및 Cr 데이터의 색 상잡음을 제거하는 단계와, 상기 색상잡음이 제거된 Cb 및 Cr 데이터와 상기 YCbCr 칼라공간으로 변환된 Y 데이터를 RGB 칼라공간으로 변환하는 단계를 포함하는 이미지 센서의 화질개선방법을 제공한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분은 동일한 기능을 수행하는 동일 요소들을 나타낸다.

실시예

도 3는 본 발명의 실시예에 따른 이미지 센서의 화질개선장치를 설명하기 위하여 도시한 구성도이다.

도 3을 참조하면, 본 발명의 실시예에 따른 이미지 센서의 화질개선장치는 도 1에 도시된 바와 같은 베이어 데이터(bayer data)로부터 데-모자이킹 기술을 통해 얻은 RGB 칼라 영상을 YCbCr 칼라공간으로 변환하는 YCbCr 칼라공간 변환부(20)와, YCbCr 칼라공간 변환부(20)로부터 출력되는 Cb, Cr 데이터에 따라 독립적으로 평탄화를 수행하여 색상잡음을 제거하는 적응적 칼라 노이즈 필터링부(30)와, 적응적 칼라 노이즈 필터링부(30)로부터 출력된 Cb, Cr 데이터와 YCbCr 칼라공간 변환부(20)로부터 출력되는 Y 데이터를 RGB 칼라공간으로 변환하는 RGB 칼라공간 변환 부(40)를 포함한다.

YCbCr 칼라공간 변환부(20)는 행렬과 벡터 곱을 이용하여 베이어 데이터로부터 데-모자이킹 기술을 통해 얻은 RGB 칼라영상을 YCbCr 칼라공간으로 변환하여 출력한다. 행렬과 벡터 곱을 이용한 변환방법 중 일례를 하기의 수학식1에 나타내었다.

상기 수학식1을 통해 얻은 Cb, Cr 데이터들은 대부분의 색상정보를 포함하고 있기 때문에 데-모자이킹 기술과정에서 야기될 수 있는 색상잡음을 제거하기에 적합하다.

색상잡음 제거부인 적응적 칼라 노이즈 필터링부(30)는 YCbCr 칼라공간 변환부(20)를 통해 변환된 Cb, Cr 데이터에 대하여 독립적으로 평탄화를 수행하는 적응적 평탄화 방법을 이용한다. 여기서, 적응적 평탄화 방법이라 함은 평탄화(smoothing)하는 과정에서 영역에 따라 평탄화를 다르게 적용하는 것을 의미한다. 예컨대, Cb, Cr 데이터가 저장되는 커널(kernel) 내에 에지(edge)(또는, 경계영역)가 존재하는 경우, 단순히 모든 커널 내 요소들을 평균하여 그 평균값을 추출하게 되면 경계부분이 흐려지는 문제가 발생된다. 따라서, 본 발명에서는 입력되는 데이터로부터 중간 위치의 입력값을 이용하여 여과과정에서 사용될 문턱(threhold) 값 을 결정하고, 이렇게 결정된 문턱 값을 이용하여 평탄화를 수행하는데, 이러한 방법을 적응적 평탄화 방법이라 한다.

일례로, 도 6을 결부시켜 적응적 평탄화 방법에 대해 설명하기로 한다. 여기서, 커널 사이즈는 9이고, 데이터는 이 커널 내에서 순차적으로 입력되는 것으로 한다.

도 6을 참조하면, 입력되는 입력 데이터에서 중심 화소는 P5(Pixel_5)를 나타내고, 이 중심 화소(P5)를 중심으로 주변 화소를 평탄화(적응적 평탄화)를 수행하게 된다. 만약, 중심 화소를 설정하지 않고 평탄화(비적응적 평탄화)를 수행하는 경우 도시된 'B1'에서와 같이 색상잡음을 어느 정도 제거할 수는 있으나, 도시된 'A1'에서와 같이 경계영역에서 흐릿하게 번지는 현상(blur)이 발생되어 소자 특성에 악영향을 미치게 된다. 'A1'와 같이 색상 경계부분에서 색 번짐 현상이 발생되었다.

이와 같이, 비적응적 평탄화 방법 적용시 경계부분에서 발생되는 색 번짐 현상을 방지하기 위해 적응적 평탄화 방법에서는 중심 화소(P5)를 기준으로 어느 정도의 범위(문턱 값에 의해 결정) 내에 들어오는 주변 화소만을 평탄화에 이용하여 도시된 'A2'에서와 같이 밝기 레벨(level)이 흐릿하게 번지는 현상을 제거하고, 도시된 'B2'와 같이 잡음을 제거한다. 상기 범위는 'threshold1'와 'threshold2'에 의해 결정된다. 결국, 입력되는 화소들 중 중심 화소에 대해서 그 값과 유사한 레벨에 있는 값만을 평탄화함으로써 경계영역에 대해서 적응적 평탄화가 이루어지게 된다.

상기에서 설명한 바와 같이 적응적 칼라 노이즈 필터링부(30)는 Cb, Cr 데이터에 대하여 독립적으로 적응적 평탄화를 수행하기 위하여 1차원 여과기(filtering)를 사용한다. 1차원 여과기는 하드웨어 구현에서 메모리 사용을 배제할 수 있는 이점이 있다. 한편, 적응적 칼라 노이즈 필터링부(30)는 1차원 여과기에 한정되는 것은 아니며, 공간적인 재원에 여유가 있는 경우 2차원 여과기를 사용할 수도 있다.

이하, 설명의 편의를 위해 일례로 1차원 여과기의 구성을 도 4를 결부시켜 설명하기로 한다.

도 4를 참조하면, 1차원 여과기는 YCbCr 칼라공간 변환부(20)로부터 출력되는 Cb, Cr 데이터를 순차적으로 저장하는 레지스터(register)부(31)와, 레지스터부(31)에 저장된 데이터들 중 중간 위치에 위치된 데이터를 이용하여 여과과정에서 사용될 문턱 값을 결정하는 적응적 문턱 값 발생부(32)와, 적응적 문턱 값 발생부(32)로부터 출력되는 문턱 값(Threshold1, Threshold2)을 이용하여 레지스터부(31)로부터 출력되는 데이터를 선별하는 데이터 선별부(33)와, 데이터 선별부(33)로부터 선별된 데이터를 선택신호(selection)에 따라 평탄화를 수행하는 선형 필터링부(34)를 포함한다.

레지스터부(31)는 Cb 또는 Cr 데이터를 순차적으로 입력받아 파이프 라인(pipe line) 형태로 저장한다. 즉, 이미지 센서에서 얻어지는 각 화소의 값이 파이프 라인 형태로 실시간으로 전달되기 때문에 중심 화소를 기준으로 인접한 N개의 화소를 이용하여 평탄화를 수행하는 동안 각각의 레지스터에 N+1개의 데이터를 저 장해야 한다. 예컨대, 동도면에 도시된 바와 같이 중심 화소를 기준으로 인접한 8개의 화소를 이용하여 평탄화를 수행하는 동안 각각의 레지스터에 9개의 데이터를 저장한다. 이 외에도, 레지스터부(31)는 보다 많은 주변 화소를 참조하여 평탄화를 수행하고자 하는 경우 11개 또는 13개 등으로 그 범위를 확장하거나, 그 역으로, 참조되는 주변 화소 수를 적게 하려면 7개 혹은 5개 등으로 그 범위를 축소할 수도 있다.

적응적 문턱 값 발생부(32)는 인에이블 신호(enable)에 따라 동작하여 레지스터에 저장된 N+1(여기서, N은 주변 화소 개수)개(예컨대, 9개)의 데이터로부터 중간에 위치된 데이터의 입력 값을 이용하여 여과과정에서 사용될 문턱 값을 결정한다. 여기서, 문턱 값은 주변 화소에 첨가된 잡음의 확률적 특성이 가우시안(Gaussian) 분포를 따른 다는 가정 하에 화소들 간의 편차를 산출하여 얻어진 표준편차 σ에 대해 각각 최소 문턱 값은 'P5 - 3 ×σ', 최대 문턱 값은 'P5 + 3 ×σ'로 결정된다. 이와 같은 수학식은 가우시안 분포에서 잡음이 존재할 수 있는 확률의 99%가 평균을 중심으로 ±3σ안에 존재한다는 특성에 기인한다. 그리고, 9개의 저장된 화소들 값에 대해 위상학적 구조를 참조하고, 이러한 화소들의 크기 분포가 계단함수 형태를 가질 경우를 고려하여 하기의 수학식2와 같이 최종적으로 문턱 값을 산출해 낸다.

데이터 선별부(33)는 레지스터부(31)로부터 순차적으로 입력되는 데이터를 적응적 문턱 값 발생부(32)를 통해 결정된 문턱 값(Threshold1, Threshold2)를 이용하여 선별한다. 상기 수학식2에서 P1에서 P9까지의 원소들은 레지스터부(31)에 저장된 화소들을 나타내고, min{}은 집합내 최소값을 산출하고, max{}는 집합내 최대값을 산출한다. 최종적으로 문턱값은 커널 내 상이한 밝기 레벨을 침범하지 않기 위해서 3σ와 최소값과 최대값에 대한 평균의 1/2값 중 최소값으로 결정된다. 물론, 문턱 값(Threshold1, Threshold2)은 상기 수학식2를 통해 구해진다.

도 6에 도시된 바와 같이, 문턱 값(Threshold1, Threshold2)을 기준으로 레지스터부(31)로부터 순차적으로 입력되는 데이터를 비교하여 평탄화시 사용될 2차 입력값을 선별한다. 예컨대, 레지스터부(31)로부터 입력되는 데이터가 Th1(Threshold1)보다 크고, Th2(Threshold2)보다 작은 값이면 2차 입력값으로 선별된다. 이렇게 선별된 데이터는 중심 화소를 기준으로 가우시안 형태의 가중치(Gaussian weight)를 부여할 수도 있으며, 단순히 산술적 평균(unit weight)을 통해 평탄화를 수행할 수도 있다. 그 외의 데이터에 대해서는 2차 입력값으로 사용되 지 않는다. 예컨대, 도 6에서 선별된 데이터는 P5~P9가 되고, 비선별된 데이터는 P1~P4가 된다.

선형 필터링부(linear filtering, 34)는 데이터 선별부(33)를 통해 선별된 데이터에 대하여 평탄화를 수행한다. 이러한 선형 필터링부(34)의 일례가 도 5에 도시되었다.

도 5를 참조하면, 선형 필터링부(34)는 선택신호(Selection)에 따라 평탄화를 위한 가중치(weight)를 선택하기 위한 선택부, 예컨대 멀티 플렉서(multiplexer, 341)와, 멀티 플렉서(341)에 의해 선택된 가중치와 데이터 선별부(33)로부터 선별된 데이터를 곱셈하는 곱셈기(multiplier, 342)와, 곱셈기(342)로부터 출력된 데이터를 순차적으로 합산하는 누산기1(accumulator1, 343)과, 멀티 플렉서(341)로부터 선택된 가중치를 순차적으로 합산하는 누산기2(accumulator2, 344)와, 누산기1(343)를 통해 출력된 데이터(S1)를 정규화(normalization)하기 위해 누산기2(344)로부터 출력된 데이터(S2)로 나누는 분배기(divider, 345)를 포함한다.

멀티 플렉서(341)는 선택신호(Selection)에 따라 가우시안 가중치(Gaussian weight) 또는 유닛 가중치(unit weight)('1')를 선택하여 출력한다. 여기서, 유닛 가중치는 산술적 평균을 위한 가중치이다. 예컨대, 선택신호(Selection, λ)가 '0'인 경우 유닛 가중치(unit weight), 즉 단순 평균을 선택하고, '1'인 경우 가우시안 가중치(Gaussian weight)를 선택하여 출력한다. 여기서, 선택신호(Selection)는 사용자에 따라 결정된다.

곱셈기(342)는 멀티 플렉서(341)에 의해 선택된 가중치와 데이터 선별부(33)로부터 선별되어 순차적으로 입력되는 데이터를 하나 하나씩 가중치와 곱셈하여 출력한다. 예컨대, 멀티 플렉서(341)에 의해 유닛 가중치(unit weight)가 선택되는 경우 데이터 선별부(33)로부터 순차적으로 입력되는 각 데이터에 '1'을 곱하고, 가우시안 가중치(Gaussian weight)가 선택되는 경우 각 데이터에 가우시안 가중치를 곱한다.

누산기1(343)은 곱셈기(342)를 통해 곱셈되어 나온 값을 순차적으로 합산한다.

누산기2(344)는 멀티 플렉서(341)로부터 출력된 가중치를 순차적으로 합산한다.

분배기(345)는 누산기1(343)을 통해 출력된 데이터(S1)를 정규화하기 위해 누산기2(344)로부터 출력된 데이터(S2)로 나누어 평탄화된 데이터, 예컨대 Cb 또는 Cr를 출력한다.

하기의 수학식3은 최종적인 사용자 입력과 평탄화의 관계식을 나타내고 있다.

상기 수학식 3에서 λ는 사용자의 입력에 따라 가우시안 형태의 가중치를 부 여할 경우에는 '1', 그렇지 않고 단순 산술 평균을 사용할 경우에는 '0'으로 결정된다. 또한, P(n)은 이전 단계에서 얻어진 입력 데이터를 나타내고, 이때, n은 문턱 값의 범위 내에 존재하는 입력 데이터의 총 개수로서 구해진다. 그리고, 상기 수학식3에서 우변의 첫 번째 항에 나타낸 'C'는 하기의 수학식4로 표현되고, 이것은 입력된 데이터의 총 에너지를 보존하기 위한 상수이다. 또한, K(n)은 선별하여 입력된 데이터 N개 중에서 n번째 화소의 값이 원래 9개의 화소의 입력 데이터에서 차지하는 위치를 나타낸다. 예컨대, n=2이고, 이때 화소의 위치가 원래 3에 있다면 'K(2)=3'이다.

상기한 평탄화 과정을 모든 입력 화소에 대해 수행하게 되면 잡음이 제거된 Cb 또는 Cr 데이터(평탄화된 Cb 또는 Cr)를 얻을 수 있다.

RGB 칼라공간 변환부(40)는 적응적 칼라 노이즈 필터링부(30)로부터 출력된 Cb, Cr 데이터(평탄화된 Cb 또는 Cr)와 YCbCr 칼라공간 변환부(20)로부터 출력되는 Y 데이터를 RGB 칼라공간으로 변환하여 출력한다. 즉, YCbCr 데이터를 RGB 칼라로 변환한다. 행렬과 벡터 곱을 이용한 변환방법 중 일례를 하기의 수학식5에 나타내었다.

도 7은 본 발명의 실시예에 따른 이미지 센서의 화질개선장치를 사용한 결과를 도시한 도면이다.

도 7의 (a)는 원본 영상을 도시한 도면이고, 도 7의 (b)는 도 7의 (a)에 대해 베이어 패턴으로 변환한 영상을 도시한 도면이고, 도 7의 (c)는 도 7의 (b)에 대해 데-모자이킹 기술을 수행한 결과를 도시한 도면이며, 도 7의 (d)는 도 7의 (c)에 대해 본 발명의 실시예에 따른 색상잡음 제거기법을 수행한 결과를 도시한 도면이다.

본 발명의 기술 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명은 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예들이 가능함을 이해할 수 있을 것이다.

이상에서 설명한 바와 같이, 본 발명에 의하면, 베이어 패턴에 대해 데-모자이킹 기술을 수행시 발생하는 색상잡음을 적응적으로 평탄화함으로써 보다 개선된 영상을 제공할 수 있다.

또한, 본 발명에 의하면, 분리된 채널을 평탄화함으로써 영상신호대 잡음비를 향상시켜 모든 베이어 패턴을 채용하고 있는 이미지 센서에서 양질의 영상을 제공할 수 있다.

또한, 본 발명에 의하면, 그 사용 목적과 응용에 따라 비디오 추적기술에서는 인식 및 추적의 정확도를 향상시킬 수 있다.

또한, 본 발명에 의하면, 모바일 이미지 센서에서는 개선된 결과물을 제공하여 사용자의 보다 높은 요구에 부응할 수 있다.

Claims

베이어 데이터로부터 데-모자이킹 기술을 통해 얻은 RGB 칼라영상을 YCbCr 칼라공간으로 변환하는 제1 변환부;

상기 제1 변환부로부터 출력된 Cb 및 Cr 데이터의 색상잡음을 제거하는 색상잡음 제거부; 및

상기 색상잡음 제거부로부터 출력된 Cb 및 Cr 데이터와 상기 제1 변환부로부터 출력된 Y 데이터를 RGB 칼라공간으로 변환하는 제2 변환부

를 포함하는 이미지 센서의 화질개선장치.
제 1 항에 있어서,

상기 제1 변환부는 행렬과 벡터 곱을 이용하여 상기 RGB 칼라영상을 상기 YCbCr 칼라공간으로 변환하여 출력하는 이미지 센서의 화질개선장치.
제 2 항에 있어서,

상기 제1 변환부는 하기의 수학식1을 통해 상기 RGB 칼라영상을 상기 YCbCr 칼라공간으로 변환하여 출력하는 이미지 센서의 화질개선장치.

[수학식 1]
제 3 항에 있어서,

상기 제1 변환부를 통해 얻어지는 상기 Cb 및 Cr 데이터는 색상정보를 포함하는 이미지 센서의 화질개선장치.
제 2 항에 있어서,

상기 색상잡음 제거부는 상기 제1 변환부로부터 출력되는 상기 Cb 및 Cr 데이터로부터 중간 위치에 위치된 데이터를 이용하여 여과과정에서 사용될 문턱 값을 결정하고, 상기 결정된 문턱 값을 이용하여 평탄화를 수행하는 이미지 센서의 화질개선장치.
제 5 항에 있어서,

상기 색상잡음 제거부는 1차원 또는 2차원 여과기로 이루어진 이미지 센서의 화질개선장치.
제 6 항에 있어서, 상기 1차원 여과기는,

상기 제1 변환부로부터 출력되는 상기 Cb 및 Cr 데이터를 순차적으로 저장하는 레지스터부;

상기 레지스터부에 저장된 데이터들 중 중간 위치에 위치된 데이터를 이용하여 여과과정에서 사용될 문턱 값을 결정하는 문턱 값 발생부;

상기 문턱 값 발생부로부터 출력되는 상기 문턱 값을 이용하여 상기 레지스터부로부터 출력되는 데이터를 선별하는 데이터 선별부; 및

상기 데이터 선별부로부터 선별된 데이터의 색상잡음을 제거하여 출력하는 선형 필터링부

를 포함하는 이미지 센서의 화질개선장치.
제 7 항에 있어서,

상기 레지스터부는 상기 제1 변환부로부터 출력되는 상기 Cb 및 Cr 데이터를 순차적으로 입력받아 파이프 라인 형태로 저장 및 출력하는 이미지 센서의 화질개선장치.
제 8 항에 있어서,

상기 문턱 값 발생부는 인에이블 신호에 따라 동작하여 상기 레지스터부에 저장된 데이터로부터 중간에 위치된 데이터의 입력 값을 이용하여 여과과정에서 사용될 문턱 값을 결정하는 이미지 센서의 화질개선장치.
제 9 항에 있어서,

상기 문턱 값은 주변 화소에 첨가된 잡음의 확률적 특성이 가우시안 분포를 따르는 경우 화소들 간의 편차를 산출하여 얻어진 표준편차 σ에 대해 각각 최소 문턱 값은 'P5(중간에 위치되는 화소의 데이터 값) - 3 ×σ', 최대 문턱 값은 'P5(중간에 위치되는 화소의 데이터 값) + 3 ×σ'로 결정되는 이미지 센서의 화질개선장치.
제 10 항에 있어서,

상기 문턱 값 발생부는 하기의 수학식2를 이용하여 상기 문턱 값을 산출하는 이미지 센서의 화질개선장치.

[수학식 2]

상기 수학식2에서 Cb(n)의 원소들은 상기 레지스터부에 저장된 화소들을 나타내고, min{}은 집합 내 최소값을 산출하고, max{}는 집합 내 최대값을 산출하며, 상기 문턱값은 3σ와 최소값과 최대값에 대한 평균의 1/2값 중 최소값으로 결정된다
제 11 항에 있어서,

상기 데이터 선별부는 상기 레지스터부로부터 순차적으로 입력되는 데이터를 상기 문턱 값 발생부를 통해 결정된 상기 문턱 값을 이용하여 선별하는 이미지 센서의 화질개선장치.
제 12 항에 있어서, 상기 선형 필터링부는,

상기 데이터 선별부를 통해 선별된 데이터에 대하여 선택신호에 따라 평탄화 를 위한 가중치를 선택하기 위한 멀티 플렉서;

상기 멀티 플렉서에 의해 선택된 가중치와 상기 데이터 선별부로부터 선별된 데이터를 곱셈하는 곱셈기;

상기 곱셈기로부터 출력된 데이터를 순차적으로 합산하는 제1 누산기;

상기 멀티 플렉서로부터 선택된 가중치를 순차적으로 합산하는 제2 누산기; 및

상기 제1 누산기를 통해 출력된 데이터를 상기 제2 누산기로부터 출력된 데이터로 나누어 상기 제1 누산기를 통해 출력된 데이터를 정규화하여 출력하는 분배기

를 포함하는 이미지 센서의 화질개선장치.
제 13 항에 있어서,

상기 멀티 플렉서는 상기 선택신호에 따라 가우시안 가중치 또는 유닛 가중치를 선택하여 출력하는 이미지 센서의 화질개선장치.
제 14 항에 있어서,

상기 유닛 가중치는 산술적 평균을 위한 가중치인 이미지 센서의 화질개선장치.
제 15 항에 있어서,

상기 선택신호는 사용자에 의해 선택되는 이미지 센서의 화질개선장치.
제 15 항에 있어서,

상기 곱셈기는 상기 멀티 플렉서에 의해 선택된 가중치와 상기 데이터 선별부로부터 선별되어 순차적으로 입력되는 데이터를 하나 하나씩 가중치와 곱셈하여 출력하는 이미지 센서의 화질개선장치.
제 17 항에 있어서,

상기 선형 필터링부는 하기의 수학식3을 이용하여 상기 데이터 선별부로부터 순차적으로 출력되는 데이터에 대한 평탄화를 수행하는 이미지 센서의 화질개선장치.

[수학식 3]

상기 수학식3에서 'λ'는 가우시안 형태의 가중치를 부여할 경우에는 '1'로 결정되고, 단순 산술 평균을 사용할 경우에는 '0'으로 결정되고, P(n)은 이전 단계에서 얻어진 입력 데이터를 나타내고, 이때, n은 문턱 값의 범위 내에 존재하는 입력 데이터의 총 개수로서 구해진다. 또한, K(n)은 선별하여 입력된 데이터 N개 중에서 n번째 화소의 값이 원래 총 화소의 입력 데이터에서 차지하는 위치를 나타낸다.
제 5 항에 있어서,

상기 제2 변환부는 행렬과 벡터 곱을 이용하여 상기 색상잡음 제거부로부터 출력된 Cb 및 Cr 데이터와 상기 제1 변환부로부터 출력된 Y 데이터를 RGB 칼라공간으로 변환하는 이미지 센서의 화질개선장치.
제 19 항에 있어서,

상기 제2 변환부는 하기의 수학식4를 통해 상기 YCbCr 데이터를 상기 RGB 칼라공간으로 변환하여 출력하는 이미지 센서의 화질개선장치.

[수학식 4]
베이어 데이터로부터 데-모자이킹 기술을 통해 얻은 RGB 칼라영상을 YCbCr 칼라공간으로 변환하는 단계;

상기 YCbCr 칼라공간으로 변환된 데이터 중 Cb 및 Cr 데이터의 색상잡음을 제거하는 단계; 및

상기 색상잡음이 제거된 Cb 및 Cr 데이터와 상기 YCbCr 칼라공간으로 변환된 Y 데이터를 RGB 칼라공간으로 변환하는 단계

를 포함하는 이미지 센서의 화질개선방법.
제 21 항에 있어서,

상기 RGB 칼라영상을 YCbCr 칼라공간으로 변환하는 단계는 행렬과 벡터 곱을 이용하는 이미지 센서의 화질개선방법.
제 22 항에 있어서,

상기 RGB 칼라영상을 YCbCr 칼라공간으로 변환하는 단계는 하기의 수학식1를 통해 상기 RGB 칼라영상을 상기 YCbCr 칼라공간으로 변환하는 이미지 센서의 화질개선방법.

[수학식 1]
제 23 항에 있어서,

상기 YCbCr 칼라공간으로 변환된 Cb 및 Cr 데이터는 색상정보를 포함하는 이미지 센서의 화질개선방법.
제 22 항에 있어서,

상기 Cb 및 Cr 데이터의 색상잡음을 제거하는 단계는 상기 Cb 및 Cr 데이터로부터 중간 위치에 위치된 데이터를 이용하여 여과과정에서 사용될 문턱 값을 결정하고, 상기 결정된 문턱 값을 이용하여 평탄화를 수행하는 이미지 센서의 화질개선방법.
제 25 항에 있어서,

상기 Cb 및 Cr 데이터의 색상잡음을 제거하는 단계는 1차원 또는 2차원 여과기를 이용하여 실시하는 이미지 센서의 화질개선방법.
제 26 항에 있어서, 상기 Cb 및 Cr 데이터의 색상잡음을 제거하는 단계는,

상기 Cb 및 Cr 데이터를 순차적으로 레지스터에 저장하는 단계;

상기 레지스터에 저장된 데이터들 중 중간 위치에 위치된 데이터를 이용하여 여과과정에서 사용될 문턱 값을 결정하는 단계

상기 문턱 값을 이용하여 상기 레지스터에 저장된 데이터를 선별하는 단계; 및

상기 선별된 데이터의 색상잡음을 제거하는 단계

를 포함하는 이미지 센서의 화질개선방법.
제 27 항에 있어서,

상기 Cb 및 Cr 데이터는 상기 레지스터에 파이프 라인 형태로 저장 및 출력되는 이미지 센서의 화질개선방법.
제 28 항에 있어서,

상기 문턱 값을 결정하는 단계는 상기 레지스터에 저장된 데이터로부터 중간에 위치된 데이터의 입력 값을 이용하여 여과과정에서 사용될 상기 문턱 값을 결정하는 이미지 센서의 화질개선방법.
제 29 항에 있어서,

상기 문턱 값은 주변 화소에 첨가된 잡음의 확률적 특성이 가우시안 분포를 따르는 경우 화소들 간의 편차를 산출하여 얻어진 표준편차 σ에 대해 각각 최소 문턱 값은 'P5(중간에 위치되는 화소의 데이터 값) - 3 ×σ', 최대 문턱 값은 'P5(중간에 위치되는 화소의 데이터 값) + 3 ×σ'로 결정되는 이미지 센서의 화질개선방법.
제 30 항에 있어서,

상기 문턱 값을 결정하는 단계는 하기의 수학식2를 이용하여 상기 문턱 값을 산출하는 이미지 센서의 화질개선방법.

[수학식 2]

상기 수학식2에서 Cb(n)의 원소들은 상기 레지스터부에 저장된 화소들을 나타내고, min{}은 집합 내 최소값을 산출하고, max{}는 집합 내 최대값을 산출하며, 상기 문턱값은 3σ와 최소값과 최대값에 대한 평균의 1/2값 중 최소값으로 결정된다.
제 31 항에 있어서,

상기 레지스터에 저장된 데이터를 선별하는 단계는 상기 레지스터로부터 순차적으로 입력되는 데이터를 상기 문턱 값을 이용하여 선별하는 이미지 센서의 화질개선방법.
제 32 항에 있어서, 상기 선별된 데이터의 색상잡음을 제거하는 단계는,

상기 선별된 데이터에 대하여 선택신호에 따라 평탄화를 위한 가중치를 선택 하는 단계;

상기 선택된 가중치와 상기 선별된 데이터를 곱셈하는 단계;

상기 곱셈된 데이터를 순차적으로 합산하는 단계;

상기 선택된 가중치를 순차적으로 합산하는 단계; 및

상기 곱셈된 데이터가 순차적으로 합산된 값을 상기 선택된 가중치가 순차적으로 합산된 값으로 나누어 상기 곱셈된 데이터가 순차적으로 합산된 값을 정량화하는 단계

를 포함하는 이미지 센서의 화질개선방법.
제 33 항에 있어서,

상기 선택된 가중치는 가우시안 가중치 또는 유닛 가중치인 이미지 센서의 화질개선방법.
제 34 항에 있어서,

상기 유닛 가중치는 산술적 평균을 위한 가중치인 이미지 센서의 화질개선방법.
제 35 항에 있어서,

상기 선택신호는 사용자에 의해 선택되는 이미지 센서의 화질개선방법.
제 35 항에 있어서,

상기 선택된 가중치와 상기 선별된 데이터를 곱셈하는 단계는 상기 선택된 가중치와 상기 선별된 데이터를 순차적으로 하나씩 곱셈하는 이미지 센서의 화질개선방법.
제 37 항에 있어서,

상기 선별된 데이터의 색상잡음을 제거하는 단계는 하기의 수학식3을 이용하여 상기 선별된 데이터에 대한 평탄화를 수행하는 이미지 센서의 화질개선방법.

[수학식 3]

상기 수학식3에서 'λ'는 가우시안 형태의 가중치를 부여할 경우에는 '1'로 결정되고, 단순 산술 평균을 사용할 경우에는 '0'으로 결정되고, P(n)은 이전 단계에서 얻어진 입력 데이터를 나타내고, 이때, n은 문턱 값의 범위 내에 존재하는 입력 데이터의 총 개수로서 구해진다. 또한, K(n)은 선별하여 입력된 데이터 N개 중에서 n번째 화소의 값이 원래 총 화소의 입력 데이터에서 차지하는 위치를 나타낸다.
제 25 항에 있어서,

상기 색상잡음이 제거된 Cb 및 Cr 데이터와 상기 YCbCr 칼라공간으로 변환된 Y 데이터를 RGB 칼라공간으로 변환하는 단계는 행렬과 벡터 곱을 이용하는 이미지 센서의 화질개선방법.
제 39 항에 있어서,

상기 색상잡음이 제거된 Cb 및 Cr 데이터와 상기 YCbCr 칼라공간으로 변환된 Y 데이터를 RGB 칼라공간으로 변환하는 단계는 하기의 수학식4를 통해 상기 YCbCr 데이터를 상기 RGB 칼라공간으로 변환하는 이미지 센서의 화질개선방법.

[수학식 4]