KR20060077161A

KR20060077161A - 이미지 센서 및 이미지 스케일링 다운 방법

Info

Publication number: KR20060077161A
Application number: KR1020040115960A
Authority: KR
Inventors: 김기용; 유형석
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2004-12-30
Filing date: 2004-12-30
Publication date: 2006-07-05

Abstract

본 발명은 이 프레임 레이트 (frame rate) 향상과 더불어 화상의 로스(loss)를 최소화한 이미지 센서 및 스케일링 다운(scaling down) 방법에 관한 것으로, 캡처된 이미지를 저장하는 픽셀 메모리와, 상기 픽셀 메모리로부터 데이터를 읽어와 이미지 처리하는 이미지 신호 프로세서를 가지는 이미지 센서 스케일링방법에 있어서, 상기 픽셀 메모리에서 데이터를 읽어낼 때 어드레스 신호를 감소시켜, 감소된 데이터를 상기 메모리로부터 직접 읽어내고, 상기 선별적으로 읽어낸 데이터를 상기 이미지 신호 프로세서로 전송함으로써, 프레임 레이트를 증가시키고 아울러 1/4 샘플링을 적용하여 서브 스케일링(sub-scaling)을 할 때 가장 적은 화면의 로스를 가져올 수 있는 효과가 있다.

이미지 센서, CMOS, 어드레스, 스케일링

Description

이미지 센서 및 이미지 스케일링 다운 방법{image sensor and image scaling down method}

도1은 일반적인 CMOS이미지 센서의 픽셀 저장부를 도시한 불럭도.

도2는 본 발명에 따른 CMOS이미지 센서의 픽셀 저장부를 도시한 불럭도.

*도면의 주요 부분에 대한 설명

11, 21: 픽셀 메모리 12,22: 로우디코더

13.23: 컬럼디코더 14,24: ADC

15,25: 이미지신호 프로세서

본 발명은 이미지센서에 관한 것으로, 특히 프레임 레이트 (frame rate) 향상과 더불어 화상의 로스(loss)를 최소화한 이미지 센서 및 스케일링 다운(scaling down) 방법에 관한 것이다.

일반적으로, 카메라와 같은 이미지 장치에 의해 캡처(capture)된 원래의 이미지 크기는 특정 애플리케이션(application)에 대해 매우 것이 보통이다. 보다 큰 해상도의 이미지는 보다 많은 이미지 정보(실제 디스플레이되는 정보 보다 많은 픽셀)를 포함하여 이를 적정한 수준으로 스케일(scale) 다운(down)하여야 한다. 고해상도는 저해상도의 미지보다 우수한 시각적 품질을 제공할 수 있지만, 대역폭 및 기타 주변회로와 매치되기 위해서는 저해상도의 이미지가 사용되어야 한다. 디지털 카메라와 같은 장치에 대해서는, 보다 작은 해상도의 이미지를 사용함으로써, 전체 비용을 감소시키는 것이 바람직하고, 이에 따라 해당 장치에 필요한 저장 소자가 또한 보다 작아질 수 있다.

이미지의 스케일링은, 이미지의 일부를 잘라냄으로써 해상도를 감소시키는 이미지 크로핑(cropping)과는 구별되어야한다. 스케일링은, 이미지의 크기는 감소되지만, 스케일링 되지 않은 이미지에서의 전체 장면/환경은 거의 대부분 유지된다. 원래의 이미지로부터의 장면은 완전히 남아있지만, 스케일링 후에는 보다 낮은 해상도로 표현된다. 대부분의 일반적인 스케일링 기법은 특정 이미지 영역에서 동일한 가중치(weighting)로 픽셀을 평균화하고 나서, 그 영역에서의 전체 픽셀을 1/10을 제거(decimate) 또는 그 이상을 버림으로써, 스케일링된 이미지에서의 픽셀을 생성하게 된다.

특히, 이미지 센서의 응용 분야는 스틸 카메라(Still-Camera), PC-카메라(PC-Camera), 의학용, 완구용, 휴대용 단말기등 다양하다. 최근의 추세에 따르면, 이미지 센서는 그 픽셀의 크기가 30만, 100만, 130만, 200만, 300만으로 점차로 커지고 있다. 픽셀이 커지면 화면의 선명도와 해상도(resolution)가 증가하고, 디지털 카메라와도 결줄만한 성능을 보여주고 있다. 그러나 실제화면에서 디스플레이되는 부분은 사이즈는 그 캡처된 이미지보다 해산도가 떨어지는 것이 보통이다. QVGA(320x240), CIF(352x288) 정도의 크기로 주로 디스플레이되며, 이렇게 하기 위해서는 고해상도의 픽셀 데이터를 일부 제거하는 스케일링다운(scaling down)이 수행되어야 한다.

더욱이, 스케일링이 CMOS 이미지 장치와 같은 하드웨어에서 구현되는 경우, 특히, 많은 다른 기능들이 장치에 의해 수행되어야 할 때, 스케일링 절차의 계산상의 복잡성을 감소시키는 것이 중요하다. 이미지 장치가 화상회의를 위해 이미지 프레임(개별적인 스틸 이미지의 시퀀스)을 전송하는데 사용되는 경우, 그 전송은 프레임 속도를 유지하도록 충분히 빨라야 하고, 캡처된 이미지 프레임을 목적지로 전송 및 패키징하는데 사용되는 처리 장치(컴퓨터 시스템)와 이미지 장치 사이의 인터페이스의 대역폭 능력과 호환가능 해야 한다.

도1을 살펴보면 종래의 CMOS 이미지 센서의 구조를 보여주고 있다. 도면에서,11은 픽셀 메모리, 12는 로우디코더, 13은 컬럼디코더, 14는 ADC(analogue-to-digital converter), 15는 이미지신호 프로세서를 각각 나타낸다. 로우디코더(12)에서 픽셀 메모리(11)로부터 읽어올 라인을 선택해주면 컬럼디코터(13)에서 하나씩 증가하면서 데이터를 가져오는 구조로 되어있다. 출력된 데이터는 ADC(14)를 거쳐 이미지신호 프로세서(Image Signal Process)(15)에서 처리되어 가공된 데이터 (YCbCr, RGB, Bayer 등) 가 출력되게 된다. 여기서 픽셀의 크기에 따라서 뒷단에서 처리해야하는 데이터의 양이 증가하게 되며 샘플링을 하는 부분은 이미지 시그널 프로세스 부분으로서 출력해야할 화면 크기로 가공하게 된다. 즉, 샘플링이 상기 이미지신호 프로세서(15) 후단에서 이루어지게 된다.

일반적으로, 모바일폰에 주로 사용되는 CMOS 이미지 센서는 픽셀의 화소 수에 상관없이 출력되는 화면은 QVGA나 CIF 정도의 크기로 출력된다. 따라서 200만 화소의 이미지 센서라 하더라도 일단은 스케일링을 통해 1600x1200의 크기를 320x240 이나 352x288 정도로 줄여서 출력하게 된다. 이 과정에서 두가지 문제점을 제시할 수 있는데 그 하나는 프레임 레이트에 관련된 사항이며 또 다른 하나는 스케일링으로 인한 화상의 로스(loss) 현상이다.

먼저, 프레임 레이트에 관련된 사항을 살펴보면, 화면의 크기가 커지면 처리하는 용량의 증가에 따라서 프레임 레이트에 영향을 미치게 된다. 예를들어, 동일한 클럭(clock)과 구조를 가지고 있다면 결국은 화소 수가 커짐에 따라서 프레임 레이트는 자연히 그만큼 줄어들게 된다. 하나의 화면을 처리해야할 데이터의 양이 화소 수 만큼 증가하기 때문에 발생하는 현상이다. 화소 수가 커지면서도 동일한 프레임 레이트를 얻기 위해서는 그만큼 빠른 클럭을 써야한다.

둘째, 화소 수에 상관없이 디스플레이되는 화면은 QVGA나 CIF 정도의 사이즈로 작은 편이다. 여기에 맞추어 출력을 하기 위해서는 전체 화면을 샘플링하여야한다. 그러나 200만 화소를 기준으로 보면 1600x1200을 QVGA나 CIF 의 사이즈로 줄이기 위해서는 1/5, 1/7, 1/9와 같은 스케일링더운을 사용하여야 하는데 이러한 스 케일링을 하면 화면의 로스를 가져오는 것은 어쩔 수 없는 일이다.

상기 문제점을 해결하기 위하여 안출된 본 발명은, 가장 적은 화면 로스를 구현하면서도 프레임 레이트를 증가 시킬 수 있는 이미지 센서를 제공하는데 그 목적이 있다.

또한, 본 발명은 화면 로스를 구현하면서도 프레임 레이트를 증가시킬 수 있는 스케이링다운 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명은, 캡처된 이미지를 저장하는 픽셀 메모리와, 상기 픽셀 메모리로부터 데이터를 읽어와 이미지 처리하는 이미지 신호 프로세서를 가지는 이미지 센서에 있어서, 상기 픽셀 메모리로부터 데이터를 읽어내기 위하여, 로우어드레스 신호를 한열씩 건너 띄면서 발생시키는 로우디코더; 및 상기 픽셀 메모리로부터 데이터를 읽어내기 위하여, 컬럼어드레스 신호를 한열씩 건너 띄면서 발생시키는 컬럼디코더를 포함하는 것을 특징으로 한다.

또한, 본 발명은, 캡처된 이미지를 저장하는 픽셀 메모리와, 상기 픽셀 메모리로부터 데이터를 읽어와 이미지 처리하는 이미지 신호 프로세서를 가지는 이미지 센서 스케일링방법에 있어서, 상기 픽셀 메모리에서 데이터를 읽어낼 때 어드레스 신호를 감소시켜, 감소된 데이터를 상기 메모리로부터 직접 읽어내는 제 1 단 계; 및 상기 선별적으로 읽어낸 데이터를 상기 이미지 신호 프로세서로 전송하는 제 2 단계를 포함하는 것을 특징으로 한다.

이하, 본 발명에 따른 이미지 센서를 첨부된 도면 제1 도를 참조하여 상세히 설명하면 다음과 같다.

먼저, 본 발명에서 제안하는 방식은 프레임 레이트를 올리면서 동시에 스케일링으로 인한 화면의 로스를 최소화하기 위한 방식이다. 즉, 스케일링을 1/2로 샘플링하면 화면의 로스를 최소화하면서 작은 사이즈의 화면을 얻을 수 있다. 따라서 먼저 전체 화면을 한 라인 건너 한 라인을 샘플링하는 방식으로 샘플링해주면 화면의 로스를 최소화하면서 QVGA나 CIF 크기의 화면을 얻을 수 있다.

도2는 본 발명에 따른 CMOS 이미지 센서의 구조를 보여주고 있다. 도면에서,21은 픽셀 메모리, 22는 로우디코더, 23은 컬럼디코더, 24는 ADC(analogue-to-digital converter), 25는 이미지신호 프로세서를 각각 나타낸다.

도면에 도시된 바와 같이, 본 발명에 따른 이미지 스케일링은 로우 및 컬럼어드레스 신호 각각을 1/2로 줄여 데이터를 읽어낸다. 즉, 로우디코더(22)는 로우 어드레스 신호를 순차적으로 증가하지 않고 홀수 및 짝수 어드레스 신호를 이용하여 1/2 샘플링이 되게끔 증가시킨다. 아울러, 컬럼디코더(23)역시 컬럼 어드레스 신호를 순차적으로 증가하지 않고 홀수 및 짝수 어드레스 신호를 이용하여 1/2 샘플링이 되도록 증가시킨다. 이렇게 되면 뒷단에서 처리해야하는 데이터의 양이 줄어듬과 동시에 샘플링으로 인한 화면의 로스를 최소화하게 된다. 최종 출력 화면 사이즈는 물론 후단의 이미지 신호 프로세스(25) 부분에서 맞추어 주게 되면 화면 의 로스를 최소화한 데이터를 얻을 수 있음과 동시에 프레임 레이트를 증가하는 두 가지 이득을 볼 수 있게 된다.

상기와 같이 1/2 라인 리드 방식으로 처음에 데이터를 읽어낼 때 로우 어드레서(row address) 신호를 조절하게 되면, 처음 데이터를 읽어 갈 때 샘플링을 하는 것처럼 데이터를 가져가게 된다. 즉 전체 화면에서 샘플링하는 것처럼 로우 어드레스 신호를 샘플링하는 것처럼 발생시킨다. 예를 들면, 어드레스를 원래 0,1,2,3,4,...1598,1599,1600 이렇게 발생시키던 것을 0,2,4,6,...1598,1600과 같이 발생시키는 것이다. 이렇게 하면 출력되는 데이터는 로우디코더(22) 및 컬럼디코더(23) 각각이 1/2의 샘플링을 가지게 되면서, 결국 처리해야할 데이터의 양도 1/4로 줄어들게 되어 화면의 로스를 최대한으로 줄이면서 프레임 레이트를 줄이게 되는 효과를 가져오게 된다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기와 같이 이루어지는 본 발명은 픽셀 메모리로부터 처음 데이터를 가져오는 부분을 콘트롤함으로써 프레임 레이트를 증가시키고 아울러 1/4 샘플링을 적용하여 서브 스케일링(sub-scaling)을 할 때 가장 적은 화면의 로스를 가져올 수 있 는 효과가 있다.

Claims

캡처된 이미지를 저장하는 픽셀 메모리와, 상기 픽셀 메모리로부터 데이터를 읽어와 이미지 처리하는 이미지 신호 프로세서를 가지는 이미지 센서에 있어서,

상기 픽셀 메모리로부터 데이터를 읽어내기 위하여, 로우어드레스 신호를 한열씩 건너 띄면서 발생시키는 로우디코더; 및

상기 픽셀 메모리로부터 데이터를 읽어내기 위하여, 컬럼어드레스 신호를 한열씩 건너 띄면서 발생시키는 컬럼디코더

를 포함하는 이미지 센서.
캡처된 이미지를 저장하는 픽셀 메모리와, 상기 픽셀 메모리로부터 데이터를 읽어와 이미지 처리하는 이미지 신호 프로세서를 가지는 이미지 센서 스케일링방법에 있어서,

상기 픽셀 메모리에서 데이터를 읽어낼 때 어드레스 신호를 감소시켜, 감소된 데이터를 상기 메모리로부터 직접 읽어내는 제 1 단계; 및

상기 선별적으로 읽어낸 데이터를 상기 이미지 신호 프로세서로 전송하는 제 2 단계를 포함하는 이미지 센서 스케일링 방법.
제 2 항에 있어서,

상기 제 1 단계는 로우 및 컬럼 어드레스 신호를 각각 감소시키는 것을 특징으로 하는 이미지 센서 스케일링 방법.
제 3 항에 있어서,

상기 로우 어드레스 신호는 홀수 또는 짝수 번째 중 어느 하나만 상기 픽셀메모리로 입력되고,

상기 컬럼 어드레스 신호는 홀수 또는 짝수 번째 중 어느 하나만 상기 픽셀메모리로 입력되는 것 을 특징으로 하는 이미지 센서 스케일링 방법.