KR100690171B1 - 이미지 보정 회로 및 이미지 보정 방법 - Google Patents

Abstract

본 발명은 이미지 센서의 촬영 이미지에 포함된 잡음값을 제거하기 위한 이미지 보정 회로에 관한 것으로, 특히 CMOS 이미지 센서의 인터폴레이션 회로에 포함되는 이미지 보정 회로에 관한 것이다.

본 발명의 이미지 보정 회로는, 이미지 센서의 각 감광 픽셀의 수광 정도에 따른 픽셀 데이터가 기록된 픽셀 데이터 버퍼; 상기 픽셀 데이터 버퍼에 기록된 각 픽셀 데이터가 에지 영역에 속하는 가를 판단하기 위한 에지 디텍터; 각 픽셀 데이터에 포함된 잡음 성분을 제거하기 위해, 해당 픽셀 데이터를 소정의 비율로 주변 픽셀 데이터를 평균한 데이터로 변환하기 위한 잡음 억제부; 상기 잡음 억제부의 평균 작업에 사용하기 위한 해당 픽셀 데이터와 주변 픽셀 데이터의 가중치비를 계산하는데, 에지로 판단된 픽셀 데이터는 해당 픽셀 데이터에 대한 가중치는 보다 높이는 가중치 계산부를 포함하는 것을 특징으로 한다.

이미지 센서, 노이즈 제거, 이미지 보정, CMOS 센서, 인터폴레이션

Description

이미지 보정 회로 및 이미지 보정 방법{IMAGE CORRECTION CIRCUIT AND IMAGE CORRECTION METHOD}

도 1a 내지 도 1c는 일반적인 CMOS 이미지 센서의 인터폴레이션을 표현한 설명도,

도 2a 내지 도 2c는 종래 기술에 의한 CMOS 이미지 센서에서의 G픽셀값 편차 제거 방법을 표현한 설명도,

도 3은 본 발명에 따른 이미지 보정 회로 일실시예의 블록도,

도 4a 내지 도 4c는 5×5 인터폴레이션 윈도우를 가지는 CMOS 이미지 센서의 G픽셀에 대하여 본 발명에 따른 이미지 보정 방법을 수행하는 것을 표현한 설명도.

본 발명은 이미지 센서의 촬영 이미지에 포함된 잡음값을 제거하기 위한 이미지 보정 회로에 관한 것으로, 특히 CMOS 이미지 센서의 인터폴레이션 회로에 포함되는 이미지 보정 회로에 관한 것이다.

CCD 센서나 CMOS 센서와 같은 이미지 센서가 촬영한 이미지에는 공정상 편차나 외부의 전기적 리플에 의한 잡음값이 포함된다. 종래 기술에 의한 상기 촬영 이미지내 잡음값 제거는, 특정 위치의 픽셀이 감지한 값(감광값)을 그대로 그 위치의 픽셀값으로 결정하지 않고, 주변 픽셀의 감광값들과 소정 비율로 평균내는 방법으로 수행한다.

도 2a 내지 도 2c는 CMOS 이미지 센서의 인터폴레이션 회로에서 종래 기술에 의한 촬영 이미지내 잡음값 제거 방법을 도시하고 있다. 휘도에 영향을 크게 주는 그린(G) 픽셀에 대하여 인터폴레이션 및 잡음값 보정 방법을 설명하면, G픽셀이 없는 위치에 대한 G데이터값은 주변의 G픽셀의 감광값들을 평균내어 구하므로, 당해 위치의 잡음값이 포함되지 않는다. G픽셀이 존재하는 위치에 대한 G데이터값도 포함된 잡음값의 비중을 줄이기 위해 주변의 G픽셀의 감광값들과 평균내어 구한다. 이때 보다 잡음값 제거에 중점을 두는 경우에는 보정값 중에 해당 G픽셀의 데이터값의 비중을 낮춘다. 예컨데, 도 1의 경우 보정된 G데이터값을 G' = (G1+G2+G3+G4+G5)/5 로 구한다. 반면 보다 정확한 이미지 표현에 중점을 두는 경우에는 보정값 중에 해당 G픽셀 데이터값의 비중을 높인다. 예컨데, 도 1의 경우 보정된 G데이터값을 G' = (G1+G2+4G3+G4+G5)/8 로 구한다.

그런데, 상기 종래 기술의 경우 다음과 같은 문제점이 발생한다. 정확한 이미지 표현을 위해 보정값 중 해당 픽셀의 비중을 높이는 경우에는 잡음값이 충분히 억제되지 않고 촬영 이미지에 두드러지게 나타나게 되며, 반대로 잡음값 제거에 중점을 두는 경우 촬영 이미지 중 에지 영역의 선명도가 크게 저하된다.

본 발명은 상기 문제점들을 해결하기 위하여 안출된 것으로서, 촬영 이미지에 포함된 잡음값을 충분히 억제하면서도, 촬영 이미지의 선명도를 떨어뜨리지 않는 이미지 보정 회로를 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 이미지 보정 회로는, 이미지 센서의 각 감광 픽셀의 수광 정도에 따른 픽셀 데이터가 기록된 픽셀 데이터 버퍼; 상기 픽셀 데이터 버퍼에 기록된 각 픽셀 데이터가 에지 영역에 속하는 가를 판단하기 위한 에지 디텍터; 각 픽셀 데이터에 포함된 잡음 성분을 제거하기 위해, 해당 픽셀 데이터를 소정의 비율로 주변 픽셀 데이터를 평균한 데이터로 변환하기 위한 잡음 억제부; 상기 잡음 억제부의 평균 작업에 사용하기 위한 해당 픽셀 데이터와 주변 픽셀 데이터의 가중치비를 계산하는데, 에지로 판단된 픽셀 데이터는 해당 픽셀 데이터에 대한 가중치는 보다 높이는 가중치 계산부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

( 실시예 )

본 실시예의 이미지 보정 회로는 CMOS 이미지 센서 내에 구현한 것으로서, 도 3에 도시한 바와 같이, 이미지 센서의 픽셀 메트릭스(10)의 각 감광 픽셀의 수광 정도에 따른 픽셀 데이터가 기록된 픽셀 데이터 버퍼(20); 상기 픽셀 데이터 버퍼(20)에 기록된 각 픽셀 데이터가 에지 영역에 속하는 가를 판단하기 위한 에지 디텍터(30); 각 픽셀 데이터에 포함된 잡음 성분을 제거하기 위해, 해당 픽셀 데이터를 소정의 비율로 주변 픽셀 데이터를 평균한 데이터로 변환하기 위한 잡음 억제부(50); 상기 잡음 억제부의 평균 작업에 사용하기 위한 해당 픽셀 데이터와 주변 픽셀 데이터의 가중치비를 계산하는데, 에지로 판단된 픽셀 데이터는 해당 픽셀 데이터에 대한 가중치는 보다 높이는 가중치 계산부(40)를 포함한다.

도시한 픽셀 데이터 버퍼(20)는 픽셀 메트릭스(10)의 각 감광 픽셀이 감지한 값 자체가 저장된다. 따라서, CMOS 이미지 센서의 경우 프레임 영상의 각 좌표 위치별로 RGB중 하나의 값만을 포함하는 베이어 데이터(bayer data)가 저장된다. 픽셀 데이터 버퍼의 크기는 CMOS 이미지 센서의 구현에 따라 한 프레임의 베어어 데이터를 저장하는 크기일 수도 있고, 소정 개수(3개 내지 7개)의 스캔 라인에 대한 이미지 데이터를 저장하는 크기일 수도 있다.

도시한 에지 디텍터(30)는 픽셀 데이터 버퍼(20)에 저장된 이미지 데이터에 소정의 에지 디텍션 연산을 적용하여, 각 좌표 위치의 픽셀에 대하여 에지 정도를 나타내는 에지 정도값을 생성한다. 에지 디텍션은 주변 위치의 픽셀값들과 해당 위치의 픽셀값의 편차로서 판단하게 되는데, 당연히 편차가 클수록 보다 에지 성향이 강한 것으로 표시하는 에지 정도값을 부여한다.

도시한 가중치 계산부(40)는 각 좌표 위치의 픽셀에 대하여 상기 에지 정도값에 따라 정해지는 가중치를 결정한다. 가중치는 상기 에지 정도값을 소정의 함수에 적용하여 산출한 연속적인 값일 수도 있고, 상기 에지 정도값이 소정의 문턱값에 도달한 경우에 적용하는 제한된 개수의 불연속적인 값일 수도 있다. 전자의 경우가 보다 고품질의 보정 이미지를 얻을 수 있으며, 반면 후자의 경우는 가중치 계산부(40) 및 잡음 억제부(50)의 구성이 보다 단순해지는 장점이 있다.

도시한 잡음 억제부(50)는 각 위치의 픽셀값에 대하여, 상기 해당 위치의 가중치를 적용하여 주변 위치의 G픽셀값들과 평균 연산을 수행하여 보정 픽셀값을 생성한다. 도 1에 도시한 바와 같이 3개의 스캔 라인 이미지 데이터를 사용하여 잡음 억제 동작을 수행하는 경우, 특정 G픽셀값에 대하여 구하는 보정 픽셀값은 다음 수학식 1과 같다.

G' = (G1+G2+MG3+G4+G5) / (4+M)

M은 해당 좌표 위치에 적용되는 가중치

CMOS 이미지 센서의 경우에는 주변의 픽셀값들로부터 해당 위치에 존재하지 않는 RGB 값을 계산하는 인터폴레이션부 및 상기 인터폴레이션부의 동작을 보조하기 위한 에지 디텍터를 구비하는 바, 본 실시예의 에지 디텍터(30)는 상기 일반적인 CMOS 이미지 센서의 에지 디텍터로 대체하며, 본 실시예의 가중치 계산부(40) 및 잡음 억제부(50)는 상기 인터폴레이션부의 일부로서 구현할 수 있다. 나아가, 휘도에 가장 큰 영향을 주는 그린 픽셀에 대한 인터폴레이션 수행시에만, 본 발명의 사상에 따른 이미지 보정을 수행함으로써, 보다 간단하며 저렴한 구성으로 화상 품질의 현저한 향상을 얻을 수 있다.

본 실시예의 이미지 보정 회로에서 수행하는 이미지 보정 방법은, 보정을 수행하려는 특정 위치의 픽셀값 및 주변 위치의 픽셀값을 리드하는 단계(S110); 상기 특정 픽셀값 및 주변 픽셀값으로부터 상기 특정 위치의 에지 정도를 산정하는 단계(S120); 상기 에지 정도에 따라 상기 특정 위치에 적용할 가중치를 산정하는 단계(S130); 및 상기 가중치를 적용한 상기 특정 픽셀값 및 주변 픽셀값에 대하여 평균 연산을 수행하면서 상기 특정 픽셀값의 잡음을 제거하여 보정 픽셀값을 생성하는 단계(S140)를 포함한다.

상기 S110 단계는 도 3의 구성 중 픽셀 데이터 버퍼(20)를 중심으로 수행되는 동작이며, CMOS 이미지 센서의 경우에는 베이어 데이터 형태의 픽셀값을 리드하게 된다. 상기 S120 단계는 에지 디텍터(30)에서 수행되는 동작이며, 일반적인 이미지 센서의 에지 디텍션 동작 방법과 유사하다.

상기 S130 단계는 가중치 계산부(40)에서 수행되는 동작이며, 이때 가중치는 상기 에지 정도값을 소정의 함수에 적용하여 산출한 연속적인 값일 수도 있고, 상기 에지 정도값이 소정의 문턱값에 도달한 경우에 적용하는 제한된 개수의 불연속적인 값일 수도 있다. 상기 S140 단계는 잡음 억제부(50)에서 수행되는 동작이며, CMOS 이미지 센서에서 3개의 스캔라인을 가지고 수행하는 경우에는, 상기 수학식 1과 같은 보정 픽셀값을 얻을 수 있다.

본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

예컨데, 상기 실시예에서는 CMOS 이미지 센서에서 휘도에 영향이 큰 G픽셀값에 대해서만, 잡음 억제 이미지 보정을 수행하였지만, 구현에 따라서는 B픽셀 및 G픽셀에 대해서도 잡음 억제 이미지 보정을 수행할 수도 있다.

또한, 상기 실시예는 CMOS 이미지 센서에 적용한 경우이지만, 각 좌표 위치에 대하여 RGB 값을 모두 가지는 CCD 이미지 센서의 경우에도 본 발명의 사상을 적용할 수 있으며, 이 경우 RGB 각각에 대하여 보정을 위한 주변 픽셀의 개수가 다를 뿐이다.

또한, 상기 실시예는 3개의 스캔 라인 데이터를 가지고 이미지 보상을 수행하는 것으로 한정하여 설명하였지만, 구현에 따라서는 5개, 7개와 같은 홀수개의 스캔 라인 데이터를 가지고 이미지 보상을 수행할 수도 있다. 이 중, 5개의 스캔 라인 데이터로 보상을 수행하는 경우에는, 도 3에 도시한 바와 같이 특정 위치의 픽셀값에 소정의 가중치를 산정하여 적용할 뿐만 아니라, 다음 주변부 위치에 픽셀값에도 별도의 소정의 가중치를 산정하여 적용하도록 구현할 수도 있다.

본 발명에 따른 이미지 보정 회로를 사용하여 이미지 보정을 수행하면, 촬영 이미지에 포함된 잡음값을 충분히 억제하면서도, 촬영 이미지의 선명도를 떨어뜨리지 않는 효과가 있다.

또한, 본 발명에 따른 이미지 보정 회로는 원칩형 CMOS 이미지 센서의 인터폴레이션 회로의 일부로서 구현함으로써, 비용 및/또는 공간을 절감할 수 있는 보다 간단한 구조로 실현할 수 있는 효과도 있다. 특히, 상기 효과는 본 발명의 사상에 따른 이미지 보정 방법을 물리적으로 존재하는 좌표의 G픽셀에 대해서만 수행하도록 구현하는 경우, 극대화된다.

Claims (5)

1. 이미지 센서의 각 감광 픽셀의 수광 정도에 따른 픽셀 데이터가 기록된 픽셀 데이터 버퍼;

   상기 픽셀 데이터 버퍼에 기록된 각 픽셀 데이터가 에지 영역에 속하는 가를 판단하기 위한 에지 디텍터;

   각 픽셀 데이터에 포함된 잡음 성분을 제거하기 위해, 해당 픽셀 데이터를 소정의 비율로 주변 픽셀 데이터를 평균-연산한 데이터로 변환하기 위한 잡음 억제부; 및

   상기 잡음 억제부의 평균-연산 작업에 사용하기 위한 해당 픽셀 데이터와 주변 픽셀 데이터의 가중치비를 계산하는데, 에지로 판단된 픽셀 데이터는 해당 픽셀 데이터에 대한 가중치는 보다 높이는 가중치 계산부

   를 포함하는 이미지 보정 회로.
2. 제1항에 있어서,

   상기 이미지 센서는 CMOS 이미지 센서이며,

   상기 잡음 억제부 및 상기 가중치 계산부는 상기 CMOS 이미지 센서에 내장 또는 외장되며, 베이어 이미지 데이터를 인터폴레이션 하는 인터폴레이션부에 포함되는 이미지 보정 회로.
3. 제2항에 있어서,

   상기 잡음 억제부의 상기 가중치를 적용한 편차제거는 그린 픽셀에 대해서만 수행하는 이미지 보정 회로.
4. 보정을 수행하려는 특정 위치의 픽셀값 및 주변 위치의 픽셀값을 리드하는 단계(S110);

   상기 특정 픽셀값 및 주변 픽셀값으로부터 상기 특정 위치의 에지 정도를 산정하는 단계(S120);

   상기 에지 정도에 따라 상기 특정 위치에 적용할 가중치를 산정하는 단계(S130); 및

   상기 가중치를 적용한 상기 특정 픽셀값 및 주변 픽셀값에 대하여 평균 연산을 수행하면서 상기 특정 픽셀값의 잡음을 제거하여 보정 픽셀값을 생성하는 단계(S140)

   를 포함하는 이미지 보정 방법.
5. 제4항에 있어서, 상기 이미지 보정 방법은,

   CMOS 이미지 센서가 생성한 베이어 이미지 데이터에 대한 그린 픽셀 인터폴레이션 과정으로써 수행되는 것을 특징으로 하는 이미지 보정 방법.

Images