KR20060022575A - 이미지센서의 디지털 줌 방법 - Google Patents

Abstract

본 발명은 이미지의 열화없이 하드웨어적인 부담과 시간 지연없이 실시간으로 디지털 줌 기능을 수행할 수 있는 이미지센서의 디지털 줌 방법을 제공하기 위한 것으로, 이를 위해 본 발명은, 그 내부에 디지털 줌 수단을 구비하는 이미지센서의 디지털 줌 방법에 있어서, RGB 베이어 신호를 보간하여 RGB 신호를 생성한 후, 상기 RGB 신호를 이용하여 수평 방향으로 디지털 줌을 실시하는 것을 특징으로 하는 이미지센서의 디지털 줌 방법을 제공한다.

이미지센서, 디지털 줌, 수평동기, 수직동기.

Description

이미지센서의 디지털 줌 방법{METHOD FOR DIGITAL ZOOMING IN IMAGE SENSOR}

도 1은 본 발명의 일실시예에 따른 이미지센서를 도시한 블럭도.

도 2는 디지털 줌 수행시 원상과 보간된 이미지 사이의 관계을 도식화한 도면.

도 3은 2배의 배율로 베이어 단에서 입력 데이터의 수평 동기 사이의 인터벌인 'Hblank time'을 결정할 경우를 도시한 도면.

도 4는 베이어단에서 디지털 줌 수행 시의 예를 도시한 도면이며, 도 5는 RGB단에서 디지털 줌 수행시의 예를 도시한 도면.

도 5는 RGB단에서 디지털 줌 수행시의 예를 도시한 도면.

도 6은 수평 보간법을 사용하는 실시간 디지털 줌 수행시의 예를 도시한 타이밍도.

본 발명은 이미지센서(Image sensor)에 관한 것으로, 특히 RGB(Red,Green,Blue)단에서 실시간 디지털 줌(Digital zoom) 기능을 수행하는 이미지센서에 관한 것이다.

디지털 줌이란 단초점 렌즈를 사용하면서 촬영 시에 화상의 일부분을 잘라내어 화상을 확대하는 것으로, 줌 기능 수행시 새로 생긴 화소의 값은 이미 있던 이미지 값을 이용해 보간한 값이기 때문에, 그 특성상 광학 줌을 수행한 것보다 덜 섬세한 이미지를 보이게 된다. 하지만, 광학 렌즈를 사용하지 않고서도 마치 광학 렌즈를 사용한 것처럼 보이게 해주는 기능을 한다. 따라서, 디지털 줌 기능을 이미지센서에 구현함으로써 줌 기능이 추가된 센서를 초경량으로 만들 수 있다.

기존의 디지털 줌은 대부분의 경우 백엔드 칩(Backend chip)에서 프레임 버퍼(Frame buffer)를 이용하여 그 기능을 수행하는 경우가 많다. 이 때 4배 이상의 줌의 경우 LCD(Liquid Crystal Display) 등과 같은 디스플레이에 이미지를 표시할 때, 원 데이터에서 줌 기능을 처리하여 뿌려주는 것이 아닌 불필요한 이미지 압축 등을 사용함으로써 이미지의 열화가 두드러지는 단점이 있었다. 또한, 이미지센서에서 줌기능을 수행하는 경우일지라도 YCrCb 도메인(Domain)에서 줌 기능을 수행했을 때 톱니 무늬의 발생과 같은 이미지 열화의 문제가 발생한다.

또한, 종래에는 일정 수평라인까지의 보간된 이미지를 만든 후, 그 다음 수평라인의 보간된 이미지를 만들기 전에 또 다른 수평라인 데이터를 읽어 들이기 위해 하나의 수평라인 데이터를 읽어 들여야 한다. 이로 인해 하드웨어적으로 그 크기가 늘어날 뿐만 아니라 다음 수평라인 데이터를 읽어 들이는 데까지 지연시간이 발생하여 실시간 구현이 어려운 문제가 있다.

본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 이미지의 열화없이 하드웨어적인 부담과 시간 지연없이 실시간으로 디지털 줌 기능을 수행할 수 있는 이미지센서의 디지털 줌 방법을 제공하는 것을 그 목적으로 한다.

상기의 목적을 달성하기 위해 본 발명은, 그 내부에 디지털 줌 수단을 구비하는 이미지센서의 디지털 줌 방법에 있어서, RGB 베이어 신호를 보간하여 RGB 신호를 생성한 후, 상기 RGB 신호를 이용하여 수평 방향으로 디지털 줌을 실시하는 것을 특징으로 하는 이미지센서의 디지털 줌 방법을 제공한다.

본 발명은 디지털 줌 기능을 직접 이미지센서에서 수행함으로써 기존의 백엔드 칩에서 디지털 줌을 담당했을 때 발생했던 화질보다 선명한 화상을 얻을 수 있다. 또한, RGB 도메인에서 디지털 줌을 수행하므로 보간된 이미지가 원래의 이미지에 바로 이용된다, 따라서, 베이어(Bayer)와 YCbCr단에서 디지털 줌을 수행했을 때, 한 화소씩 건너 뛰어 보간된 이미지 데이터를 가질 경우 발생할 수 있는 화질 열화 방지가 가능하다.

또한, 실시간 들어오는 신호를 디지털 줌 처리 후 보간된 이미지의 처리시간까지 고려해 이미지센서에서 입력하기 때문에 실시간 신호처리가 가능하며, 화소값 사이를 수평 보간해 화질 열화를 발지할 수 있도록 한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 이미지센서를 도시한 블럭도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 이미지센서는 화소 어레이부(10)와, 가변증폭부(11, Programmable Gain Amplifier; PGA)와, 아날로그/디지털 변환부(23, Analog to Digital Converter; ADC)와, 감마 보정/저조도 노이즈 제거부(13)와, 색상 보간부(14)와, 디지털 줌부(15)와, 색신호 변환부(16)와, 자동 노출/자동 화이트 밸런스 조절부(20)와 ISP(Image Signal Processing) 변환부(17)와, 이미지 포맷 변환부(18)와, 인터페이스(19)를 구비하여 구성된다.

인터페이스(19)는 도면에 도시되지 않은 제어 및 외부 시스템 인터페이스부의 인터페이스 역할 만을 수행하도록 분리한 블럭이다.

한편, 제어 및 외부 시스템 인터페이스부는 FSM을 이용하여 이미지센서의 전체적인 동작을 제어하는 역할과 외부 시스템에 대한 인터페이스 동작을 담당하는 역할을 한다. 또한, 배치 레지스터를 갖고 있어 여러가지 내부 동작에 관련된 사항에 대한 프로그램이 가능하며, 이 프로그램된 정보에 따라 전체 칩의 동작을 제어한다.

화소 어레이부(10)는 빛에 반응하는 성질을 극대화시키도록 화소(Pixel)를 가로 N개, 세로 M개(N,M은 정수)로 배치하여 외부에서 들어오는 이미지에 대한 정보를 감지하여 아날로그 신호로 출력한다.

화소 어레이부(10)에서 출력된 출력 신호는 아날로그 라인 버퍼부와 칼럼 디코더 및 아날로그 버스 등을 통해 아날로그 신호 처리 동작을 수행하는 가변 증폭부(11)로 입력된다.

즉, 아날로그 라인 버퍼부는 선택된 한 로의 화소들의 전압을 감지하여 저장하는 역할을 하며 뒷단에서 사용될 색상 보간 및 이미지 신호 처리에 이용하기 위해 여러 라인으로 구성되며, 아날로그 라인 버퍼부에 저장된 아날로그 데이터는 칼럼 디코더의 제어에 의해 선택된 칼럼의 데이터 값이 아날로그 버스를 통해 가변 증폭부(11)로 전송된다.

가변 증폭부(11)는 아날로그 라인 버퍼부에 저장된 화소 전압이 작은 경우 이를 증폭하는 역할을 하며, 가변 증폭부(11)를 거친 아날로그 데이터는 색상 보정 등의 과정을 거친 후, 아날로그 디지털 변환부(12)를 통해 디지털 값으로 변환된다.

아날로그 디지털 변환부(12)에서 출력되는 디지털 신호는 베이어 신호이다. 감마 보정/저조도 노이즈 제거부(13)에서는 디지털 이득이 선형성을 갖도록 감마 보정을 하며, 저조도에서 두드러지게 나타나는 노이즈를 제거한다.

색상 보간부(14)는 베이어 신호에서 각 화소 별로 RGB 값을 갖도록 보간(Interpolation)을 실시함으로써, 화소 별로 보간이 아루어진 RGB 신호를 출력한다.

디지탈 줌부(15)는 선택된 영역으로부터 거기에 해당 배수로 확장된 형태로 보간과 유사한 방식으로 영역을 나머지 영역을 채움으로써 디지털 적으로 줌 기능 을 한다.

색 신호 변환부(16)는 RGB 신호를 YCbCr의 포맷으로 신호를 변환한다. 자동 노출/자동 하이트 밸런스 조절부(20)는 예컨대, 해당 프레임의 화소 평균 휘도를 이용하여 노출 정도를 자동 노출(Auto exposure) 기능으로 조절하며, 광원에 따라 색의 채도가 달라지는 것을 자동으로 조절하는 자동 화이트 밸런스(Auto white balance) 기능을 수행한다.

이미지 포맷 변환부(18)는 YCbCr 신호를 디스플레이에 적합하도록 YUV 등의 포맷으로 변환하는 기능을 한다.

한편, 색상 보간, 색상 보정, 감마 보정, 자동 화이트 밸런스, 자동 노출 등은 모두 화소 라인 메모리부에 저장된 화소의 출력 값을 이용한다.

한편, 이미지센서는 제조 공정 상의 미세한 차이에 의해 오프셋 전압에 의한 고정 패턴 잡음이 발생한다. 이러한 고정 패턴 잡음을 보상하기 위해 이미지센서는 화소 어레이부(10)의 각 화소에서 리셋 신호를 읽고 데이터 신호를 읽은 후 그 차를 출력하는 CDS(Co-related Double Sampling) 방식을 사용한다.

본 발명은 이미지센서 시스템에서 디지털 줌을 실시함에 있어서, RGB 단에서 실시간 디지털 줌 기능을 실시한다.

도 2는 디지털 줌 수행시 원상과 보간된 이미지 사이의 관계을 도식화한 도면이다.

디지털 줌을 수행할 때, 도 2에 도시된 바와 같이 전체 화상 중 일부분만을 입력 신호로 받아들여 나머지 부분은 입력된 일부분만으로 보간하여 채움으로써 화 상을 확대한다.

도 3은 2배의 배율로 베이어 단에서 입력 데이터의 수평 동기 사이의 인터벌인 'Hblank time'을 결정할 경우를 도시한 도면이다.

'Hblank time'는 CDS 수행을 위한 인터벌과 신호 자체에 포함된 정보(예컨대, 헤더) 등을 위해 필요한 인터벌이다.

'Hblank time'은 도 3에 도시된 'X' 구간 즉, 수평동기(Hsync) 사이의 시간을 나타내며, '3×(한 라인의 입력시간) + 디지털 줌 수행 후 예상 수평동기 시간(Hsync time)'이다.

여기서는, 2배의 줌일 경우이므로 한 라인의 입력 시간에 3이 곱해진 것이다. 따라서, 일반적인 경우로서는 'Hblank time'은 '2×N(줌의 배율)×(한 라인의 입력시간) + 디지털 줌 수행 후 예상 수평동기 시간(Hsync time)'이다.

VGA급일 경우 도 3에 도시된 'a'는 2배줌이므로 "320"이고, 'b'는 "320"이 2배로 확대된 "640"이다. 즉, 입력 수평 동기(Hsync)는 "320"이며, 디지털 줌 수행 후의 예상 수평 동기는 "640"이다.

입력 수평동기에 해당하는 'c'의 인터벌 후 'd'에 해당하는 "640"의 수평동기가 필요하다. 이는 예컨대, VGA급에서 480의 1/2에 해당하는 "240" 만이 입력되었으므로 이를 추가의 라인에서 메모리에 있는 것을 가져다가 다시 한번 뿌려 주는 것이다.

'c ∼ e'의 시간 동안 입력 수평동기는 별다른 타이밍 변화를 갖지 않는다. 이는 타이밍 변화가 있을 경우 이를 제어하기 위한 하드웨어적인 부담을 줄이기 위 한 것이다.

아울러, 'c ∼ e'의 동작을 위해 'Hblank time'이 사용된다.

본 발명은 도 3에 도시된 바와 같이, 디지털 줌 수행 후의 수평동기(Hsync)를 고려하여 입력신호를 받아들일 때 'Hblank time'을 조절하게 된다.

도 4는 베이어단에서 디지털 줌 수행 시의 예를 도시한 도면이며, 도 5는 RGB단에서 디지털 줌 수행시의 예를 도시한 도면이다.

베이어단에서 디지털 줌을 실시하게 되면, 도 4에 도시된 바와 같이 GR라인과 BG라인이 번갈아 입력되기 때문에 베이어 패턴에 맞추어 디지털 줌이 수행된 신호를 출력하기 위해서는 수 라인 정도의 지연시간이 생기게 되며, 또한 보간 수행시 데이트가 업데이트 될 동안에는 보간을 수행하지 못하고 대기하는 지연시간이 생기게 된다. 여기서, 'Vsync'는 수직동기를 나타낸다.

VGA급의 2배줌일 경우를 예를 들어 살펴본다.

베이어 입력단에서는 320에 해당하는 'Hsync'가 하나의 프레임 단위를 나타내는 'Vsync'에 대해 240개가 나타나며, 디지털 줌이 수행된 베이어단에서는 640에 해당하는 'Hsync'가 하나의 프레임 단위를 나타내는 'Vsync'에 대해 480개가 나타남을 알 수 있다.

한편, 이러한 과정에서 'Hsync' 및 'Vsync'에 각각 'Hsync Delay'와 'Vsync Delay'의 지연이 발생함을 알 수 있다.

베이어단에서 디지털 줌을 실시할 때 'Hsync'의 지연이 일어나는 것은 리드 어드레스와 라이트 어드레스가 분리되어 있지 않는 일반 메모리를 사용한 경우로, 리드와 라이트가 동시에 되지 않기 때문이다.

상기한 베이터단에서의 줌 실시로 인해 발생하는 문제점을 해결하기 위해 RGB단에서 디지털 줌을 수행한다.

이에, 본 발명에서는 리드 어드레스와 라이트 어드레스를 따로 쓰는 투포트 메모리(Two port memory)를 사용해 라인 딜레이가 생기는 것을 막는다.

즉, 도 5에 도시된 바와 같이, RGB단의 경우 베이어단과 달리 하나의 화소에 RGB 각각의 값이 모두 표현되어 있으므로, 줌을 위한 보간시 인접하는 색이 바로 옆에 위치하므로, 줌을 위해 동일한 색의 화소까지 기다리는 시간을 줄일 수 있다.

줌을 위한 보간시 인접하는 화소와의 평균을 이용한다. 도 5를 참조하면, 2클럭 정도의 지연시간 외에 실시간으로 줌 기능을 수행할 수 있음을 알 수 있다.

도 6은 수평 보간법을 사용하는 실시간 디지털 줌 수행시의 예를 도시한 타이밍도로서, 2배의 줌일 경우를 예로 나타낸다.

도 6을 참조하면, 하나의 라인에 4개의 화소를 갖는 디지털 줌을 수행할 경우 입력 Hsync 동안 1 ∼ 4의 5개의 어드레스를 갖는 화소 데이터가 라인 메모리에 라이트된다.

즉, 보간되기 전의 이미지의 한 줄의 화소수가 4화소라고 한다면, 한 화소값을 더 읽는다. 이는 보간되어 나올 이미지 데이터가 원래 보간되기 전에 들어오는 입력신호의 화소수의 2배가 되며, 본 발명의 알고리즘에서는 한 화소값이 더 필요하기 때문에 한 화소를 더 읽어들여 메모리에 저장해야 한다.

또한, 처음 이미지를 받아들일 때 보간되어 나오는 화소의 처리 시간까지 고 려해 입력을 받아들이게 된다. 이 때, RGB단에서 디지털 줌을 수행하기 위해서는 RGB 각각의 색상 정보를 담을 수 있는 메모리가 3라인 필요하다. 메모리에 저장된 데이터를 메모리에서 불러올 때는 메모리에 저장되는 속도보다 2배 느리게 읽어낸다.

이 후, 이렇게 읽어낸 신호와 이를 한 클럭 지연시킨 신호를 더한 후 쉬프트 레지스터(Shift register)를 한 비트 이동하는 평균을 내는 과정만을 거치면, 간단한 연산만으로 수평방향으로 보간이 수행된 디지털 줌 데이터를 얻을 수 있다.

이는 수직 방향의 보간은 고려하지 않고 수평 방향의 보간만을 처리한 것으로, 수직 방향까지 고려한 것보다 화질이 조금 떨어질 수도 있으나, 기존의 수직 방향의 보간에서 다른 수평라인 데이터를 읽어 들이기 위해 하나의 수평라인 데이터를 읽어야 하기 때문에 발생하는 지연속도와 하드웨어 증가까지 고려한다면 간단한 연산을 통해서 실시간으로 디지털 줌이 가능하고, 수평 방향의 보간을 수행하기 때문에 비교적 화질 저하를 막을 수 있고, 하드웨어 구현이 수월하기 때문에 실용적인 방법이 될 수 있다.

전술한 바와 같이 이루어지는 본 발명은, RGB단에서 디지털 줌 기능을 수행함으로써 베이어나 YCbCr단에서 디지털 줌 기능 수행시 발생하는 지연시간을 줄일 수 있게 되어, 이미지센서에서 실시간으로 디지털 줌이 가능하다.

또한, 디지털 줌된 출력신호의 처리 시간을 고려하여 'Hblank time'을 조절하여 이미지를 입력하기 때문에 보다 배율 조정에 융통성이 있으며, 적응적인 디지 털 줌 기능이 가능하게 함을 실시예를 통해 알아보았다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상술한 바와 같은 본 발명은, 시간지연 및 이미지 열화가 거의 없이 실시간 디지털 줌이 가능하도록 하여 디지털 줌의 성능을 향상시킬 수 있으며, 배율 조정을 융통성을 높이고 적응적 디지털 줌 기능이 가능하도록 함으로써 이미지센서의 응용 범위를 넓힐 수 있는 효과가 있다.

Claims (4)

1. 그 내부에 디지털 줌 수단을 구비하는 이미지센서의 디지털 줌 방법에 있어서,

   RGB 베이어 신호를 보간하여 RGB 신호를 생성한 후, 상기 RGB 신호를 이용하여 수평 방향으로 디지털 줌을 실시하는 것을 특징으로 하는 이미지센서의 디지털 줌 방법.
2. 제 1 항에 있어서,

   상기 디지털 줌을 실시함에 있어서, 수직 방향으로는 줌을 실시하지 않는 것을 특징으로 하는 이미지센서.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 디지털 줌을 실시함에 있어서, 수평동기 사이의 시간인 'Hblank time'을 임의로 변경하는 것을 특징으로 하는 이미지센서.
4. 제 3 항에 있어서,

   상기 'Hblank time'은 '2×(줌의 배율)×(한 라인의 입력시간) + 디지털 줌 수행 후 예상 수평동기 시간'인 것을 특징으로 하는 이미지센서의 디지털 줌 방법.

Images