KR20060094383A - 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법 - Google Patents

스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법 Download PDF

Info

Publication number
KR20060094383A
KR20060094383A KR1020050015506A KR20050015506A KR20060094383A KR 20060094383 A KR20060094383 A KR 20060094383A KR 1020050015506 A KR1020050015506 A KR 1020050015506A KR 20050015506 A KR20050015506 A KR 20050015506A KR 20060094383 A KR20060094383 A KR 20060094383A
Authority
KR
South Korea
Prior art keywords
image
scaling
post
scaler
prescaler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020050015506A
Other languages
English (en)
Other versions
KR100657145B1 (ko
Inventor
안현주
Original Assignee
매그나칩 반도체 유한회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매그나칩 반도체 유한회사 filed Critical 매그나칩 반도체 유한회사
Priority to KR1020050015506A priority Critical patent/KR100657145B1/ko
Priority to US11/319,553 priority patent/US7589748B2/en
Priority to JP2006000100A priority patent/JP2006238420A/ja
Publication of KR20060094383A publication Critical patent/KR20060094383A/ko
Application granted granted Critical
Publication of KR100657145B1 publication Critical patent/KR100657145B1/ko
Priority to US12/495,641 priority patent/US9706079B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7839—Architectures of general purpose stored program computers comprising a single central processing unit with memory
    • G06F15/7842—Architectures of general purpose stored program computers comprising a single central processing unit with memory on one IC chip (single chip microcontrollers)
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

현재 이미지센서는 디지털 카메라, 핸드폰, 의료용이나 보안용 장치 등 그 응용 분야가 매우 다양하다. 그 중에서도 가장 많이 사용되고 있는 디지털 카메라와 핸드폰 등은 점점 더 고화질, 고해상도의 화상 캡쳐 이미지가 요구되고 있지만, 디지털 카메라와 핸드폰의 프리뷰(Pre-view) 또는 동영상 전송은 각각 디스플레이 크기의 제한과 전송 정보량의 제약으로 인해 오히려 작은 사이즈의 화상 이미지가 요구되고 있다. 따라서, 원하는 사이즈로 이미지를 줄이거나, 특정 영역을 좀더 확대하여 잘 표현하기 위해서는 이미지의 크기를 임의로 조절할 수 있는 기능이 필수적이다.
종래에는 이러한 기능을 수행하기 위해 이미지 스케일링을 위한 새로운 칩이 필요했다. 하지만, 본 발명에 의한 이미지센서는 그 자체 내에 스케일링을 위한 스케일링부를 포함하고 이를 통해 스케일링 기능을 수행함으로써, 스케일링을 위한 부가된 칩이 없이 영상 출력 사이즈를 임의로 조절할 수 있다.
이미지센서, 스케일링 비율, 스케일러, 프리 스케일러, 포스트 스케일러.

Description

스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법{IMAGE SENSOR HAVING SCALER AND IMAGE SCALING METHOD OF IMAGE SENSOR}
도 1은 이미지센서를 개략적으로 도시한 블럭도.
도 2는 본 발명의 일실시예에 따른 CMOS 이미지센서를 도시한 블럭도.
도 3은 도 2의 스케일러부를 보다 구체적으로 도시한 블럭도.
도 4는 도 3의 스케일러 비율 생성부를 보다 구체적으로 도시한 블럭도.
도 5는 도 3의 프리 스케일러부를 보다 구체적으로 도시한 블럭도.
도 6a는 프리 스케일링 비율이 "1/4"인 경우 풀 칼라 데이터 레벨에서의 프리 스케일러부의 출력을 도식화한 도면.
도 6b는 프리 스케일링 비율이 "1/4"인 경우 베이어 데이터 레벨에서의 프리 스케일러부의 출력을 도식화한 도면.
도 7는 도 3의 포스트 스케일러부를 보다 구체적으로 도시한 블럭도.
도 8a는 포스트 14×14 화소 배열부에 대해 포스트 스케일러 비율이 "5/7"인 경우 풀 칼라 데이터 레벨에서의 포스트 스케일러부의 출력을 도식화한 도면.
도 8b는 포스트 14×14 화소 배열부에 대해 포스트 스케일러 비율이 "5/7"인 경우 베이터 데이터 레벨에서의 포스트 스케일러부의 출력을 도식화한 도면.
도 9는 도 2에 도시된 스케일러부의 이미지 스케일링 알고리즘을 도시한 플로우챠트.
도 10은 본 발명의 이미지 스케일링을 위한 로/칼럼 어드레스 생성에 대한 알고리즘을 도시한 플로우챠트.
* 도면의 주요부분에 대한 부호의 설명 *
20 : 화소 배열부 21 : 타이밍 제어부
22 : 아날로그 신호 처리부 23 : 라인 메모리부
24 : 화상 신호 처리부 25 : 스케일러부
221 : CDS 및 아날로그 증폭부 222 : 아날로그 디지털 변환부
본 발명은 이미지센서(Image sensor)에 관한 것으로, 특히 CMOS(Complementary Metal Oxide Semiconductor) 이미지센서에 관한 것으로, 더욱 상세하게는 이미지 스케일러(Scaler)를 구비한 CMOS 이미지센서와 이미지센서의 이미지 스케일링 방법에 관한 것이다.
이미지센서란 반도체가 빛에 반응하는 성질을 이용하여 이미지를 찍어내는 장치를 말한다. 즉 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 화소 가 감지하여 전기적인 값으로 읽어내는 장치이다. 이 전기적인 값을 신호처리가 가능한 레벨로 만들어 주는 것이 바로 이미지센서의 역할이다.
도 1은 이미지센서를 개략적으로 도시한 블럭도이다.
도 1을 참조하면, 이미지센서는 크게 N×M개의(N,M은 자연수) 단위 화소로 구성된 화소 배열부(10)와, 타이밍 제어부(11)와, 아날로그 신호 처리부(12)와, 화상 신호 처리부(14)와, 라인 메모리부(13)로 이루어진다.
아날로그 신호 처리부(12)는 CDS(Correlated Double Sampling) 아날로그 증폭기부(121)와 아날로그/디지털 변환부(122, Analog to Digital Converter; ADC)로 이루어진다.
타이밍 제어부(11)는 제어 및 외부시스템 인터페이스부라고도 칭하며, FSM(Finite State Machine)을 이용하여 이미지센서의 전체적인 동작을 제어하며, 외부시스템에 대한 인터페이스 역할을 담당한다. 또한, 배치 레지스터를 갖고 있어, 여러 가지 내부동작에 관련된 사항에 대해 프로그램이 가능하며, 이 프로그램 정보에 따라 전체 칩의 동작을 제어한다.
화소 배열부(10)는 빛의 반응하는 성질을 극대화시키도록 만든 M×N 개로 단위 화소를 배치시켰으며, 외부에서 들어오는 이미지에 대한 정보를 감지하는 부분으로 전체 센서의 핵심적인 부분이다.
CDS 및 아날로그 증폭기부(121)에서, CDS는 상호 연관된 이중 샘플링 기법에 의해 화소의 고정 패턴 잡음(Fixed Pattern Noise)를 없애며, 아날로그 증폭기부는 화소 신호를 적당한 크기의 전기적 신호로 변환시킨다.
아날로그/디지털 변환부(122)는 화소 어레이부(10)의 각 화소에서 감지한 아날로그 전압을 디지털 시스템에서 처리가 가능하도록 디지털 전압으로 바꿔주는 역할을 한다.
화소 라인 메모리부(13)는 아날로그/디지털 변환부(122)를 통해 변환된 화소의 디지털 전압을 저장하는 역할을 하며, 화상 신호 처리부(14)의 다양한 기능을 수행하기 위해 여러 라인으로 구성된다.
화상신호 처리부(14)는 이미지센서의 기능에 따라 색 보간(Color interpolation), 색 보정(Color correction), 감마 보정(Gamma correction), 자동 화이트 밸런스(Auto white balance), 자동 노출(Auto exposure) 등 화소 라인 메모리부(13)에 저장된 화소의 출력 값을 바탕으로 이미지센서의 성능 향상을 위한 여러가지 기능을 수행한다.
일반적으로, 이미지센서를 이용한 카메라 시스템은 이미지센서와 백-엔드(Back-end) 칩으로 구성된다. 이미지센서는 빛을 받아 전기적 신호로 변환하여 그 정보를 전달하는 기능을 하고, 백-엔드 칩은 이미지센서가 보내준 화상 정보를 받아, 화상의 질을 높이고 정보를 압축하고, 화상의 크기를 조절하는 역할을 한다. 이미지센서의 화소 수는 계속해서 백만 화소 이상의 단위로 증가했고, 여전히 빠른 추세로 계속해서 증가하고 있으나, 핸드폰이나 디지털 카메라의 프리뷰 사이즈는 디스플레이 제약에 의해 여전히 작은 사이즈를 요구하기 때문에 이미지 스케일링은 백-엔드 칩의 중요한 역할이라고 할 수 있다.
그러나, 백-엔드 칩은 이미지센서가 보내준 한 화면의 화상 정보를 모두 저 장한 후, 화상의 크기를 조절해야 하기 때문에 이미지 스케일링에 많은 시간이 소요되므로, 백-엔드 칩이 처리하는 이미지 스케일링의 속도에 의해 이미지센서의 동작 속도가 제약을 받는다. 그 결과 이미지센서의 프레임 레이트(Frame rate)을 저하시키게 되며, 핸드폰이나 디지털 카메라의 프리뷰 시에 화면의 끊김 현상을 유발하게 된다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 스케일링을 위한 별도의 추가 칩 없이 내장된 스케일링 기능을 갖는 이미지센서와 이러한 이미지센서의 이미지 스케일링 방법을 제공하는 것을 그 목적으로 한다.
상기의 목적을 달성하기 위해 본 발명은, 빛에 반응하는 성질을 극대화시키도록 만든 화소를 복수개 배치하여 외부에서 들어오는 영상에 대한 정보를 감지하기 위한 화소 배열부; 이미지센서의 전체적인 동작을 제어하기 위한 타이밍 제어부; 상기 타이밍 제어부의 제어를 받아 상기 화소 배열부로부터 제공된 아날로그 신호를 처리한 후, 변환하여 디지털 신호를 출력하기 위한 아날로그 신호 처리부; 상기 디지털 신호를 라인 단위로 저장하기 위한 라인 메모리부; 상기 라인 메모리부에 저장된 디지털 신호를 이용하여 이미지 향상을 위한 복수의 영상 처리를 실시하는 화상 신호 처리부; 및 이미지의 사이즈 조절을 위해 상기 타이밍 제어부로부 터 원하는 이미지의 사이즈에 대한 스케일링 팩터를 받아 스케일링 비율을 구하고, 그에 상응하는 칼럼/로 어드레스 및 데이터를 만들어 상기 라인 메모리부에 저장된 이미지를 스케일링하여 원하는 사이즈로 출력하기 위한 스케일링부를 포함하는 이미지센서를 제공한다.
또한, 상기의 목적을 달성하기 위해 본 발명은, 원하는 사이즈의 이미지 출력을 위한 스케일링 팩터(scaleM, scaleN)에 상응하는 스케일링 비율을 계산하는 단계-스케일링 비율 = (scaleM/scaleN); 상기 스케일링 비율의 크기에 따라 프리 스케일링 여부를 판단하는 단계; 프리 스케일링이 필요하다고 판단됨에 따라 프리 스케일링을 실시하여 이미지의 사이즈를 조절하는 단계; 포스트 스케일링 여부를 판단하는 단계; 포스트 스케일링이 필요하다고 판단됨에 따라 포스트 스케일링을 실시하여 이미지의 사이즈를 조절하는 단계; 및 프리 스케일링과 포스트 스케일링 과정을 통해 스케일링된 이미지 데이터와 이미지센서의 출력 클럭을 동기화 시키는 단계를 포함하는 이미지센서의 이미지 스케일링 방법을 제공한다.
본 발명은 임의의 스케일링 팩터(Scaling factor)인 scaleM과 scaleN을 받아 스케일링 비율 생성부를 통해 스케일링 비율(scaleM/scaleN)을 결정하고, 타이밍 제어부에서 만들어진 이미지센서 전체 사이즈의 칼럼/로 어드레스를 스케일링 비율에 상응하는 칼럼/로 어드레스로 재구성하여 새롭게 생성된 가로/세러 어드레스와 매칭이 되는 위치의 데이터만을 출력하도록 한다.
스케일링 비율에 의해 프리 스케일러(Pre-scaler)와 포스트 스케일러(Post- scaler)부를 통해 임의로 사이즈로 조절이 가능하며, 스케일링 비율의 값이 1/2보다 큰 경우에는 프리 스케일러부는 오프되며, 포스트 스케일러 만으로 이미지 사이즈가 조절된다.
일반적으로, 스케일링 비율이 작은 경우 전체 이미지 사이즈를 아주 작은 사이즈로 변환해야 하기 때문에 화상이 손실이 발생하는데 반해, 프리 스케일러부는 스케일링 비율이 작은 경우 화상의 손실을 줄이기 위해 스케일링 비율의 중간 크기로 이미지를 조절하는 역할을 한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 CMOS 이미지센서를 도시한 블럭도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 CMOS 이미지센서는, N×M개의(N,M은 자연수) 단위 화소로 구성된 화소 배열부(20)와, 타이밍 제어부(21)와, 아날로그 신호 처리부(22)와, 화상 신호 처리부(24)와, 스케일러부(24)와, 라인 메모리부(23)를 구비하여 구성된다.
아날로그 신호 처리부(22)는 CDS 아날로그 증폭기부(221)와 아날로그/디지털 변환부(222, 이하 ADC라 함)로 이루어진다.
타이밍 제어부(21)는 제어 및 외부시스템 인터페이스부라고도 칭하며, FSM을 이용하여 이미지센서의 전체적인 동작을 제어하며, 외부시스템에 대한 인터페이스 역할을 담당한다. 또한, 배치 레지스터를 갖고 있어, 여러 가지 내부동작에 관련된 사항에 대해 프로그램이 가능하며, 이 프로그램 정보에 따라 전체 칩의 동작을 제어한다.
화소 배열부(20)는 빛의 반응하는 성질을 극대화시키도록 만든 M×N 개로 단위 화소를 배치시켰으며, 외부에서 들어오는 이미지에 대한 정보를 감지하는 부분으로 전체 센서의 핵심적인 부분이다.
CDS 및 아날로그 증폭기부(221)에서, CDS는 상호 연관된 이중 샘플링 기법에 의해 화소의 고정 패턴 잡음를 없애며, 아날로그 증폭기부는 화소 신호를 적당한 크기의 전기적 신호로 변환시킨다.
ADC(222)는 화소 어레이부(20)의 각 화소에서 감지한 아날로그 전압을 디지털 시스템에서 처리가 가능하도록 디지털 전압으로 바꿔주는 역할을 한다.
화소 라인 메모리부(23)는 ADC(222)를 통해 변환된 화소의 디지털 전압을 저장하는 역할을 하며, 화상 신호 처리부(24)의 다양한 기능을 수행하기 위해 여러 라인으로 구성된다.
화상신호 처리부(24)는 이미지센서의 기능에 따라 색 보간, 색 보정, 감마 보정, 자동 화이트 밸런스, 자동 노출 등 화소 라인 메모리부(23)에 저장된 화소의 출력 값을 바탕으로 이미지센서의 성능 향상을 위한 여러가지 기능을 수행한다.
스케일러부(25)는 이미지의 사이즈 조절을 위해 스케일링 팩터를 받아 스케일링 비율을 구하고, 그에 상응하는 칼럼/로 어드레스 및 데이터를 만들어 원하는 사이즈의 이미지를 출력한다.
도 9는 도 2에 도시된 스케일러부의 이미지 스케일링 알고리즘을 도시한 플로우챠트로서, 이를 참조하여 이미지 스케일링 알고리즘을 살펴본다.
원하는 사이즈의 이미지 출력을 위한 스케일링 팩터(scaleM, scaleN)이 타이밍 제어부를 통해 전달되면, 스케일링 비율을 생성한(S901) 다음, 구해진 스케일링 비율의 크기에 따라 프리 스케일러의 수행 여부를 판단한다(S902).
프리 스케일러의 수행이 필요하다고 판단되면, 프리 스케일러를 이용한 프리 스케일링을 실시하여 이미지 사이즈를 조절한다(S903). 후에, 포스트 스케일러의 수행 여부를 판단하고(S904), 필요하면 포스트 스케일러를 통한 포스트 스케일링 과정을 실시하여(S905) 이미지 사이즈를 조절하고, 필요하지 않으면 프리 스케일링 과정을 통한 이미지 사이즈가 최종 출력이 되도록 한다.
반면, 프리 스케일링 과정이 필요하지 않다고 판단이 되면, 프리 스케일링 과정은 바이패스(Bypass)되고 포스트 스케일링 과정(S905)을 통한 이미지 사이즈가 최종 출력되는 이미지의 사이즈가 된다.
한편, 프리 스케일링과 포스트 스케일링 과정을 통해 스케일링된 이미지 데이터는 이미지센서의 출력 클럭과 동기(Synchronization)를 맞추는 과정(S905) 즉, 데이터 타이밍 동기화 과정을 거친다.
도 10은 본 발명의 이미지 스케일링을 위한 로/칼럼 어드레스 생성에 대한 알고리즘을 도시한 플로우챠트로서, 이를 참조하여 로/칼럼 어드레스 생성 알고리즘을 살펴본다.
먼저, 이미지 스케일러의 수행 여부를 판단한다(S101). 판단 결과, 이미지 스케일링이 필요하지 않을 경우에는 로/칼럼 어드레스의 생성이 불필요하므로, 타이밍 제어부에서 출력되는 로/칼럼 어드레스가 그대로 출력된다.
이 경우에는 이미지센서의 화소 배열부와 이미지센서의 출력 이미지의 사이즈는 동일하다.
스케일링을 한다고 판단이 되면, RGB(Red, Green, Blue)의 풀 칼라 데이터 레벨에서 스케일링을 수행(FCS; Full Color Scaling)할 지 아니면 베이어(Bayer Mosaic Pattern) 데이터 레벨에서 스케일링을 수행(BMS; Bayer Mosaic Scaling)할지를 경정한다(S102).
풀 칼라 데이터와는 달리, 베이어 데이터는 B/Gb 또는 R/Gr 라인에서 각 화소 당 칼라 정보가 하나뿐이기 때문에 B/Gb 또는 R/Gr 화소의 어드레스가 항상 같이 생성되어야 한다. 후에, 스케일러 비율에 의해 프리 스케일링을 수행하게 되면, 프리 스케일링을 의한 로/칼럼 어드레스를 생성하여 프리 스케일러부에 사용이 되며, 포스트 스케일링을 수행할 경우에는 포스트 스케일링을 위한 로/칼럼 어드레스를 생성하여 프스트 스케일러부에서 사용한다.
'S102' 단계의 FCS 또는 BMS가 선택되면, S103 ∼ S109의 과정을 통해 각각에 대한 프리 스케일링 및 포스트 스케일링을 위한 로/칼럼 어드레스를 생성한다.
도 3은 도 2의 스케일러부(25)를 보다 구체적으로 도시한 블럭도이다.
도 3을 참조하면, 스케일러부(25)는 스케일링 팩터 scaleM과 scaleN에 의해 스케일링 비율을 결정하는 스케일링 비율 생성부(250)와, 스케일링 비율 생성부(250) 및 타이밍 제어부(21)에 의해 제어받아 선택적으로 프리 스케일링을 실시하 는 프리 스케일러부(251)와, 프리 스케일링된 이미지와 프리 스케일링되지 않은 이미지에 대해 각각 선택적으로 포스트 스케일링을 실시하는 포스트 스케일러부(152)와, 포스트 스케일러부(152)를 통해 출력되는 스케일링된 이미지 데이터와 이미지센서의 출력 클럭을 동기시키기 위한 출력 데이터 동기부(253)를 구비하여 구성된다.
상기한 구성을 갖는 스케일러부(25)의 상세 동작을 살펴본다.
스케일링 비율 생성부(250)는 스케일링 팩터 scaleM과 scaleN에 의해 스케일링 비율을 계산한다. 이 때, 스케일링 비율은 하기의 수학식1과 같다.
스케일링 비율(Scaling ratio) = (scaleM/scaleN)
또한, 스케일링 비율 생성부(250)는 스케일링 비율의 크기에 따라 프리 스케일러 유효(Pre-scaler valid) 신호 및 프리 스케일링 비율을 결정한다. 프리 스케일러 유효 신호는 프리 스케일러부(251)의 온/오프(On/Off)를 결정한다.
프리 스케일러부(251)는 프리 스케일러 유효 신호가 생성된 경우에만 스케일링 비율 생성부(250)에서 계산된 프리 스케일링 비율에 의해 프리 스케일러 칼럼/로 어드레스를 생성하고, 생성된 어드레스와 매칭이 되는 위치의 데이터만을 샘플링함으로써 적절한 크기의 이미지를 생성한다.
포스트 스케일러부(252)는 이미지 스케일러부(25)의 최종 이미지 사이즈를 조절하는 역할을 하며, 프리 스케일러부(251)를 거치지 않은 경우 스케일링 비율 생성부(250)에 의해 생성된 스케일링 비율이 바로 포스트 스케일링 비율이 되어 이미지센서의 출력 이미지의 사이즈를 조절한다. 한편, 프리 스케일러부(251)를 거친 경우의 포스트 스케일러부(252)의 포스트 스케일링 비율은 하기의 수학식2와 같다.
포스트 스케일링 비율 = [(scaleM/scaleN)/스케일링 비율]
포스트 스케일링 비율의 변화에 맞춰, 포스트 스케일러부(252) 역시 프리 스케일러부(251)가 오프인 경우에는 타이밍 제어부(21)에 의해 생성된 칼럼/로 어드레스, 프리 스케일러부(251)가 온인 경우에는 프리 스케일러부(251)에서 생성된 프리 스케일러 칼럼/로 어드레스를 입력받아 포스트 스케일링 비율에 맞는 새로운 칼럼/로 어드레스로 구성한다.
포스트 스케일러부(252)에 의한 이미지센서의 출력 타이밍은 일정하지 않으므로, 출력 데이터 동기부(253)는 포스트 스케일러부(252)의 이미지 데이터를 받아 이미지센서의 출력 클럭과 스케일링된 이미지 데이터를 동기시켜 주는 역할을 한다.
도 4는 도 3의 스케일러 비율 생성부(250)를 보다 구체적으로 도시한 블럭도이다.
도 4를 참조하면, 스케일러 비율 생성부(250)는 스케일링 팩터를 이용하여 scaleM을 scaleN으로 나눈 값 즉, 스케일링 비율을 출력하는 나눗셈기(250_1)와, 나눗셈기(250_1)로부터 출력된 스케일링 비율을 기설정된 스케일링 비율과 비교하 기 위해 각기 다른 기준값(1/2 ∼ 1/8)을 갖는 복수의 비교기(250_2a ∼ 250_2c)와, 복수의 비교기(250_2a ∼ 250_2c)의 출력 중 해당하는 프리 스케일링 비율을 출력하기 위한 선택기(250_3)와, 1/2의 스케일링 비율 기준값을 갖는 비교기(250_2c)의 출력(즉, 프리 스케일링 유효 신호)과 선택된 프리 스케일링 비율을 통해 포스트 스케일링 비율을 결정하기 위한 포스트 스케일링 비율 결정부(250_4)를 구비하여 구성된다.
상기한 구성을 갖는 포스트 스케일러부(250)는 스케일링 비율을 1 ∼ 1/8로 한정한 경우로서, 스케일링 비율의 범위가 이보다 더 크거나 작은 경우에도 같은 방식으로 구현할 수 있다.
이하에서는 상기한 구성을 갖는 포스트 스케일러부(250)의 상세 동작을 살펴본다.
나눗셈기(250_1)는 스케일러 팩터 ScaleM과 scaleN을 받아 나눗셈(scaleM/scaleN)을 실시하여 스케일링 비율을 계산하여 출력한다. 나눗셈기(250_1)로부터 출력된 스케일링 비율은 1/2, 1/4 및 1/8의 기준값을 갖는 비교기(250_2a ∼ 250_2c)의 부(-)입력단으로 입력된다.
스케일링 비율이 "1/2" 보다 크면(스케일링 비율 ＞ 1/2), 모든 비교기(250_2a ∼ 250_2c)의 출력이 '로직 로우'가 되고 스케일러 유효 신호 또한 '로직 로우'가 되어, 프리 스케일러부(251)는 오프된다. 이 때, 포스트 스케일링 비율은 수학식1과 같아진다.
스케일링 비율이 "1/2" 보다 작거나 같고 "1/4"보다 클 경우(1/2 ≥ 스케일 링 비율 ＞ 1/4), 1/2 비교기(250_2c)의 출력만 '로직 하이'가 되고, 프리 스케일링 비율은 "1/2"이 된다. 이 때, 포스트 스케일링 비율은 수학식2에 의해 (scaleM/scaleN)/(1/2)이 된다.
스케일링 비율이 "1/4" 보다 작거나 같고 "1/8"보다 클 경우(1/4 ≥ 스케일링 비율 ＞ 1/8), 1/2 비교기(250_2c)와 1/4 비교기(250_2b)의 출력만 '로직 하이'가 되고, 프리 스케일링 비율은 "1/4"이 된다. 이 때, 포스트 스케일링 비율은 수학식2에 의해 (scaleM/scaleN)/(1/4)이 된다.
스케일러 유효 신호는 스케일링 비율이 "1/2"보다 큰 경우에는 '로직 로우'가 되고, 스케일링 비율이 "1/2"보다 작거나 같은 경우에는 무조건 '로직 하이'가 된다.
도 5는 도 3의 프리 스케일러부(251)를 보다 구체적으로 도시한 블럭도이다.
도 5를 참조하면, 프리 스케일러부(251)는 각기 다른 기준값 "1/8" ∼ "1/2"을 일입력으로 하고, 프리 스케일링 비율을 타입력으로 하는 복수개의 앤드 게이트(251_1a ∼ 251_1c)와, 복수개의 앤드 게이트(251_1a ∼ 251_1c)의 출력을 통해 해당 어드레스 쉬프트 계수를 선택하는 어드레스 쉬프트 계수 선택부(251_2)와, 어드레스 쉬프트 계수 선택부(251_2)를 통해 선택된 쉬프트 계수를 통해 타이밍 제어부(21)로부터 제공된 어드레스를 해당 계수만큼 쉬프트시킨 프리 스케일러 칼럼/로 어드레스를 생성하는 프리 스케일러 어드레스 생성부(251_3)와, 프리 스케일러 칼럼/로 어드레스를 통해 원본 이미지 데이터와 라인 메모리부(23)에 저장된 데이터를 샘플링하여 프리 스케일러 이미지 데이타를 출력하는 프리 스케일러 데이터 샘 플링부(251_4)를 구비하여 구성된다.
프리 스케일러부(251)는 스케일러 유효 신호가 '로직 하이'인 경우에만 동작하며, 스케일러 비율 생성부(250)에 의해 결정된 프리 스케일링 비율에 따라 타이밍 제어부(21)로부터 제공된 칼럼/로 어드레스를 해당 비트별로 쉬프트시킨다. 즉, 프리 스케일링 비율이 "1/2"인 경우에는 1비트의 쉬프트, "1/4"인 경우에는 2비트의 쉬프트, "1/8"인 경우에는 3비트의 쉬프트를 실시함으로써, 프리 스케일러 칼럼/로 어드레스를 생성한다.
한편, 같은 프리 스케일링 비율이라 해도, 프리 스케일러 칼럼/로 어드레스는 이미지 스케일러를 풀 칼라 데이터 레벨에서 수행할 때와 베이어 데이터 레벨에서 수행할 때 각각 다르게 만들어져야 한다.
프리 스케일러 데이터 샘플링부(251_4)를 통해 원본 이미지의 데이터 중에서 새롭게 구성된 프리 스케일러 어드레스 위치와 매칭이 되는 위치의 데이터만 출력으로 내보내 줌으로써, 프리 스케일링 비율에 맞는 이미지센서의 출력 데이터를 구현한다.
프리 스케일러부(251)의 출력 데이터는 어드레스가 매칭이 되는 위치에서 라인 메모리부(23)를 통해 이전 라인의 데이터들과 현재 입력되는 데이터를 이용해 다양한 방법으로 출력 데이터를 결정할 수 있다.
따라서, 어떤 방법에 의해 출력 데이터를 결정하는지가 프리 스케일러 출력 이미지의 화질을 결정한다.
도 6a는 프리 스케일링 비율이 "1/4"인 경우 풀 칼라 데이터 레벨에서의 프 리 스케일러부의 출력을 도식화한 도면이며, 도 6b는 프리 스케일링 비율이 "1/4"인 경우 베이어 데이터 레벨에서의 프리 스케일러부의 출력을 도식화한 도면이다.
도 6a와 도 6b는 16×16 화소 배열부에 대해 프리 스케일링 비율이 "1/4"인 경우를 한 예로 하였다. 여기서, 프리 스케일러 칼럼/로 어드레스는 "1/4"과 같은 프리 스케일링 비율인 경우에도 풀 칼라 데이터 레벨에서는 칼럼/로 어드레스가 (1,5,9,13)이 되고, 베이어 레벨에서는 (1,2,9,10)이 된다.
따라서, 프리 스케일러부(251)의 출력 데이터도 칼럼/로 어드레스와 매칭이되는 위치의 데이터가 출력된다.
도 7는 도 3의 포스트 스케일러부(252)를 보다 구체적으로 도시한 블럭도이다.
도 7을 참조하면, 포스트 스케일러부(252)는 타이밍 제어부(21)로부터 제공되는 칼럼/로 어드레스와 프리 스케일러 칼럼/로 어드레스와 프리 스케일러 유효 신호 및 포스트 스케일링 비율을 입력으로 하여 포스트 스케일러 칼럼/로 어드레스를 생성하는 포스트 스케일러 어드레스 생성부(251_1)와, 프리 스케일러 유효 신호와 그 반전 신호를 각각 NMOS 및 PMOS 게이트단의 입력으로 하고 프리 스케일러 이미지 데이터와 원본 이미지 데이터를 각각 출력하기 위한 트랜스미션 게이트(252_3a, 252_3b)와, 포스트 스케일러 칼럼/로 어드레스를 통해 원본 이미지 데이터 또는 프리 스케일러 이미지 데이터를 샘플링하여 포스트 스케일러 이미지 데이타를 출력하는 포스트 스케일러 데이터 샘플링부(252_2)를 구비하여 구성된다.
포스트 스케일러 어드레스 생성부(252_1)는 수학식1 또는 수학식2에 의한 포 스트 스케일링 비율과 프리 스케일링 유효 신호에 의해 타이밍 제어부(21)에서 만들어진 이미지센서 전체 사이즈의 칼럼/로 어드레스 또는 프리 스케일러 칼럼/로 어드레스 중 하나를 선택하여 포스트 어드레스 칼럼/로 어드레스를 만든다. 이 때, 프리 스케일러부(251)에서와 같이 포스트 스케일러 칼럼/로 어드레스는, 이미지 스케일러를 풀 칼라 데이터 레벨에서 할 때와 베이어 데이터 레벨에서 할 때 각각 다르게 구성된다.
포스트 스케일러 어드레스 생성부(252_1) 역시 프리 스케일러 데이터 샘플링부(251_3)처럼 프리 스케일러 유혀 신호에 따라 원본 이미지 데이터 또는 프리 스케일러 이미지 데이터 중 하나를 선택하여 새롭게 구현된 포스트 스케일러 어드레스와 매칭이 되는 위치에서 출력 데이터를 내보낸다. 역시, 출력 데이터를 내보내는 방식에 의해 포스트 스케일러 출력 이미지의 화질이 결정된다.
도 8a는 포스트 14×14 화소 배열부에 대해 포스트 스케일러 비율이 "5/7"인 경우 풀 칼라 데이터 레벨에서의 포스트 스케일러부의 출력을 도식화한 도면이며, 도 8b는 포스트 14×14 화소 배열부에 대해 포스트 스케일러 비율이 "5/7"인 경우 베이터 데이터 레벨에서의 포스트 스케일러부의 출력을 도식화한 도면이다.
프리 스케일러부와 마찬가지로 포스트 스케일링 비율이 "5/7"로 같지만, 풀 칼라 데이터 레벨에서는 칼럼/로 어드레스가 (1,2,3,5,6,8,9,10,12,13)이 되고, 베이어 데이터 레벨에서는 (1,2,3,4,5,6,9,10,11,12)가 되어 포스트 스케일러 어드레스는 다르게 구현된다.
포스트 스케일링 비율은 스케일링 비율이 "1/2" 보다 큰 경우에는 프리 스케 일러부를 거치지 않고, 스케일링 비율이 "1/2" 보다 작은 경우에는 프리 스케일러부를 거치면서 수학식2에 의해 새롭게 구성되기 때문에 포스트 스케일링 비율은 항상 1과 1/2의 사이가 된다.
예컨대, 스케일링 비율이 "3/7"인 경우, 프리 스케일링 비율이 "1/2"이 되고, 포스트 스케일링 비율은 수학식2에 의해 "6/7"이 된다. 스케일링 비율이 "6/7"인 경우, 수학식1에 의해 포스트 스케일링 비율 또한 "6/7"이 된다.
그러므로, 스케일링 비율이 "3/7"인 경우와 "6/7"인 경우에 포스트 스케일링 비율은 똑같은 "6/7"이 된다.
이렇듯, 본 발명에 의한 스케일러 방식은 포스트 스케일링 비율을 같은 값으로 공유할 수 있기 때문에 포스트 스케일러부를 같은 방식으로 구현할 수 있고, 하드웨어의 복잡도를 감소시킬 수 있다.
출력 데이터 동기부는 포스트 스케일러부를 통해 출력된 랜덤한 주기의 이미지 스케일러 출력 데이터를 이미지센서의 출력 클럭에 동기시켜 일정한 주기로 데이터를 내보내주는 FIFO(First Input First Output) 역할을 하며, 여러 개의 라인 메모리로 구성되어 있다. 출력 데이터 동기부는 이미지센서의 출력 데이터의 일정한 주기뿐만 아니라, 각 라인간의 간격도 일정하게 맞춰주는 기능도 한다.
전술한 바와 같이 이루어진 본 발명은, 스케일링 비율에 의해 이미지센서의 출력 이미지 사이즈를 임의의 원하는 크기로 바꿀 수 있도록 함으로써, 디지털 카메라 또는 핸드폰 같이 이미지 영상을 디스플레이 하는 시스템에서 시스템의 요구 에 맞춰 영상의 사이즈를 조절할 수 있도록 한다.
이로 인해, 캡쳐 이미지는 고화질, 고해상도를 원하고, 영상 디스플레이는 작은 사이즈를 필요로 하는 기술적 요구를 충족시킬 수 있기 때문에 이미지센서의 원본 영상 크기에 상관없이 출력 이미지의 사이즈를 조절하는데 용이하다.
또한, 본 발명은 스케일러 비율의 크기에 따라 프리 스케일러와 포스트 스케일러를 따로 두어, 스케일러의 하드웨어 복잡도를 감소시킬 수 있음을 실시예를 통해 알아 보았다.
본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
예컨대, 상기한 실시예에서는 CMOS 이미지센서를 그 예로 하였으나, 이외에도 다양한 형태의 이미지센서에 적용이 가능하다.
상술한 바와 같은 본 발명은, 시스템의 요구에 맞춰 영상의 사이즈를 조절할 수 있도록 하여 이미지센서의 성능을 크게 향상시킬 수 있으며, 스케일러의 하드웨어 복잡도를 줄여 집적도를 향상시킬 수 있는 효과가 있다.

Claims (17)

  1. 빛에 반응하는 성질을 극대화시키도록 만든 화소를 복수개 배치하여 외부에서 들어오는 영상에 대한 정보를 감지하기 위한 화소 배열부;
    이미지센서의 전체적인 동작을 제어하기 위한 타이밍 제어부;
    상기 타이밍 제어부의 제어를 받아 상기 화소 배열부로부터 제공된 아날로그 신호를 처리한 후, 변환하여 디지털 신호를 출력하기 위한 아날로그 신호 처리부;
    상기 디지털 신호를 라인 단위로 저장하기 위한 라인 메모리부;
    상기 라인 메모리부에 저장된 디지털 신호를 이용하여 이미지 향상을 위한 복수의 영상 처리를 실시하는 화상 신호 처리부; 및
    이미지의 사이즈 조절을 위해 상기 타이밍 제어부로부터 원하는 이미지의 사이즈에 대한 스케일링 팩터를 받아 스케일링 비율을 구하고, 그에 상응하는 칼럼/로 어드레스 및 데이터를 만들어 상기 라인 메모리부에 저장된 이미지를 스케일링하여 원하는 사이즈로 출력하기 위한 스케일링부
    를 포함하는 이미지센서.
  2. 제 1 항에 있어서,
    상기 스케일링부,
    상기 스케일링 비율에 따라 프리 스케일링의 여부를 판단하고, 그에 따라 선 택적으로 프리 스케일링을 수행하여 미리 이미지의 사이즈를 조절한 다음, 포스트 스케일링의 여부를 판단하고, 그에 따라 선택적으로 포스트 스케일링을 수행하는 것을 특징으로 하는 이미지센서.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 스케일링을 통해 원하는 이미지의 사이즈가 M×N(M,N은 자연수, M은 칼럼, N은 로)일 경우, 상기 스케일링 팩터는 scaleM과 scaleN이며, 상기 스케일링 비율은 'scaleM/scaleN'인 것을 특징으로 하는 이미지센서.
  4. 제 3 항에 있어서,
    상기 스케일러부는,
    상기 스케일링 팩터 scaleM과 scaleN에 의해 상기 스케일링 비율을 결정하는 스케일링 비율 생성부;
    상기 스케일링 비율 생성부 및 상기 타이밍 제어부에 의해 제어받아 선택적으로 프리 스케일링을 실시하는 프리 스케일러부;
    상기 프리 스케일링된 이미지와 프리 스케일링되지 않은 이미지에 대해 각각 선택적으로 포스트 스케일링을 실시하는 포스트 스케일러부; 및
    상기 포스트 스케일러부를 통해 출력되는 스케일링된 이미지 데이터와 이미 지센서의 출력 클럭을 동기시키기 위한 출력 데이터 동기부
    를 포함하는 것을 특징으로 하는 이미지센서.
  5. 제 4 항에 있어서,
    상기 스케일링 비율 생성부는 상기 스케일링 비율의 크기에 따라 프리 스케일러 유효 신호 및 상기 프리 스케일링 비율을 결정하며, 상기 프리 스케일러 유효 신호는 상기 프리 스케일러부의 온/오프를 결정하는 것을 특징으로 하는 이미지센서.
  6. 제 5 항에 있어서,
    상기 프리 스케일러부는, 상기 프리 스케일러 유효 신호가 생성된 경우에만 상기 프리 스케일링 비율에 의해 프리 스케일러 칼럼/로 어드레스를 생성하고, 상기 프리 스케일러 칼럼/로 어드레스와 매칭되는 상기 라인 메모리부의 위치에 해당하는 데이터만을 샘플링하여 프리 스케일링된 크기의 이미지를 생성하는 것을 특징으로 하는 이미지센서.
  7. 제 6 항에 있어서,
    상기 포스트 스케일러부는,
    상기 프리 스케일러부를 거치지 않은 경우에는 상기 스케일링 비율 생성부에 의해 생성된 스케일링 비율을 포스트 스케일링 비율로 사용하고,
    상기 프리 스케일러부를 거친 경우에는 상기 포스트 스케일링 비율을 '[(scaleM/scaleN)/스케일링 비율]'로 하는 것을 특징으로 하는 이미지센서.
  8. 제 7 항에 있어서,
    상기 포스트 스케일러부는,
    상기 프리 스케일러부가 오프인 경우에는 상기 타이밍 제어부로부터 제공된 칼럼/로 어드레스를 입력으로 받아 스케일링 비율에 맞는 새로운 칼럼/로 어드레스로 구성하고,
    상기 프리 스케일러부가 온인 경우에는 상기 프리 스케일러 칼럼/로 어드레스를 입력받아 포스트 스케일링 비율에 맞는 새로운 칼럼/로 어드레스로 구성하는 것을 특징으로 하는 이미지센서.
  9. 제 5 항에 있어서,
    상기 스케일링 비율 생성부는,
    상기 스케일링 팩터를 이용하여 scaleM을 scaleN으로 나눈 값을 스케일링 비 율로 출력하는 나눗셈기;
    상기 스케일링 비율을 기설정된 스케일링 비율과 비교하기 위해 각기 다른 기준값을 갖는 복수의 비교기;
    상기 복수의 비교기의 출력 중 해당하는 프리 스케일링 비율을 출력하기 위한 선택기; 및
    1/2의 스케일링 비율 기준값을 갖는 비교기의 출력(프리 스케일링 유효 신호)과 선택된 프리 스케일링 비율을 통해 포스트 스케일링 비율을 결정하기 위한 포스트 스케일링 비율 결정부
    를 포함하는 것을 특징으로 하는 이미지센서.
  10. 제 6 항에 있어서,
    상기 프리 스케일러부는,
    상기 스케일러 유효 신호가 '로직 하이'인 경우에만 동작하며, 상기 스케일러 비율 생성부에 의해 결정된 상기 프리 스케일링 비율에 따라 상기 타이밍 제어부로부터 제공된 칼럼/로 어드레스를 해당 비트별로 쉬프트시키는 것을 특징으로 하는 이미지센서.
  11. 제 10 항에 있어서,
    상기 프리 스케일러부는,
    동일한 쉬프트 계수를 갖더라도, 풀 칼라 데이터 레벨과 베이어 데이터 레벨에서 각기 다른 프리 스케일러 칼럼/로 어드레스를 갖는 것을 특징으로 하는 이미지센서.
  12. 제 11 항에 있어서,
    상기 프리 스케일링부는,
    각기 다른 기준값을 일입력으로 하고, 상기 프리 스케일링 비율을 타입력으로 하는 복수개의 앤드 게이트;
    상기 복수개의 앤드 게이트의 출력을 통해 해당 어드레스의 쉬프트 계수를 선택하는 어드레스 쉬프트 계수 선택부;
    상기 어드레스 쉬프트 계수 선택부를 통해 선택된 쉬프트 계수를 통해 상기 타이밍 제어부로부터 제공된 어드레스를 해당 계수만큼 쉬프트시킨 프리 스케일러 칼럼/로 어드레스를 생성하는 프리 스케일러 어드레스 생성부; 및
    상기 프리 스케일러 칼럼/로 어드레스를 통해 원본 이미지 데이터와 상기 라인 메모리부에 저장된 데이터를 샘플링하여 프리 스케일러 이미지 데이타를 출력하는 프리 스케일러 데이터 샘플링부
    를 포함하는 것을 특징으로 하는 이미지센서.
  13. 제 8 항에 있어서,
    상기 포스트 스케일러부는,
    동일한 쉬프트 계수를 갖더라도, 풀 칼라 데이터 레벨과 베이어 데이터 레벨에서 각기 다른 포스트 스케일러 칼럼/로 어드레스를 갖는 것을 특징으로 하는 이미지센서.
  14. 제 13 항에 있어서,
    상기 포스트 스케일러부는,
    상기 타이밍 제어부로부터 제공되는 칼럼/로 어드레스와 상기 프리 스케일러 칼럼/로 어드레스와 상기 프리 스케일러 유효 신호 및 상기 포스트 스케일링 비율을 입력으로 하여 포스트 스케일러 칼럼/로 어드레스를 생성하는 포스트 스케일러 어드레스 생성부;
    상기 프리 스케일러 유효 신호와 그 반전 신호를 각각 NMOS 및 PMOS 게이트단의 입력으로 하고 프리 스케일러 이미지 데이터와 원본 이미지 데이터를 각각 출력하기 위한 제1 및 제2트랜스미션 게이트; 및
    상기 포스트 스케일러 칼럼/로 어드레스를 통해 원본 이미지 데이터 또는 프리 스케일러 이미지 데이터를 샘플링하여 포스트 스케일러 이미지 데이타를 출력하는 포스트 스케일러 데이터 샘플링부
    를 포함하는 것을 특징으로 하는 이미지센서.
  15. 원하는 사이즈의 이미지 출력을 위한 스케일링 팩터(scaleM, scaleN)에 상응하는 스케일링 비율을 계산하는 단계-스케일링 비율 = (scaleM/scaleN);
    상기 스케일링 비율의 크기에 따라 프리 스케일링 여부를 판단하는 단계;
    프리 스케일링이 필요하다고 판단됨에 따라 프리 스케일링을 실시하여 이미지의 사이즈를 조절하는 단계;
    포스트 스케일링 여부를 판단하는 단계;
    포스트 스케일링이 필요하다고 판단됨에 따라 포스트 스케일링을 실시하여 이미지의 사이즈를 조절하는 단계; 및
    프리 스케일링과 포스트 스케일링 과정을 통해 스케일링된 이미지 데이터와 이미지센서의 출력 클럭을 동기화 시키는 단계
    를 포함하는 이미지센서의 이미지 스케일링 방법.
  16. 제 15 항에 있어서,
    상기 프리 스케일링이 필요하지 않다고 판단됨에 따라, 상기 프리 스케일링을 바이패스하고 포스트 스케일링을 통한 이미지 사이즈를 최종 이미지의 사이즈로 하는 것을 특징으로 하는 이미지센서의 이미지 스케일링 방법.
  17. 제 15 항에 있어서,
    상기 포스트 스케일링이 필요하지 않다고 판단됨에 따라, 상기 프리 스케일링을 통한 이미지 사이즈를 최종 이미지의 사이즈로 하는 것을 특징으로 하는 이미지센서의 이미지 스케일링 방법.
KR1020050015506A 2005-02-24 2005-02-24 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법 Expired - Fee Related KR100657145B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020050015506A KR100657145B1 (ko) 2005-02-24 2005-02-24 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법
US11/319,553 US7589748B2 (en) 2005-02-24 2005-12-29 Image sensor with scaler and image scaling method thereof
JP2006000100A JP2006238420A (ja) 2005-02-24 2006-01-04 スケーラを備えたイメージセンサ及びそのイメージスケーリング方法
US12/495,641 US9706079B2 (en) 2005-02-24 2009-06-30 Image sensor with scaler and image scaling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050015506A KR100657145B1 (ko) 2005-02-24 2005-02-24 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법

Publications (2)

Publication Number Publication Date
KR20060094383A true KR20060094383A (ko) 2006-08-29
KR100657145B1 KR100657145B1 (ko) 2006-12-13

Family

ID=36912380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050015506A Expired - Fee Related KR100657145B1 (ko) 2005-02-24 2005-02-24 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법

Country Status (3)

Country Link
US (2) US7589748B2 (ko)
JP (1) JP2006238420A (ko)
KR (1) KR100657145B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI349259B (en) * 2006-05-23 2011-09-21 Au Optronics Corp A panel module and power saving method thereof
KR100849512B1 (ko) 2007-02-09 2008-07-31 엠텍비젼 주식회사 이미지 센서, 상기 이미지 센서의 프레임 순서 식별 방법, 및 상기 방법의 프로그램을 기록하는 기록 매체
US7710434B2 (en) * 2007-05-30 2010-05-04 Microsoft Corporation Rotation and scaling optimization for mobile devices
KR20100133806A (ko) * 2009-06-12 2010-12-22 삼성전자주식회사 이미지 디스플레이 방법 및 장치
KR20100133807A (ko) * 2009-06-12 2010-12-22 삼성전자주식회사 프리뷰 모드를 위한 해상도 변환 방법과 그를 이용한 이미지 센서
US8897602B2 (en) * 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
KR101087550B1 (ko) 2010-04-01 2011-11-29 엠텍비젼 주식회사 이미지 시그널 프로세서 및 셔터 랙 감소 방법
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
TWI442343B (zh) * 2010-08-13 2014-06-21 Au Optronics Corp 運用於顯示器的畫面放大控制方法與裝置
EP2819402A4 (en) 2012-02-22 2016-02-24 Sony Corp DISPLAY DEVICE, IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND COMPUTER PROGRAM
KR102023501B1 (ko) 2013-10-02 2019-09-20 삼성전자주식회사 설정가능한 이미지 처리 파이프라인을 포함하는 시스템 온 칩과, 상기 시스템 온 칩을 포함하는 시스템
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
KR102189647B1 (ko) 2014-09-02 2020-12-11 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
KR102317789B1 (ko) * 2015-02-12 2021-10-26 삼성전자주식회사 하나의 이미지로부터 다양한 해상도를 갖는 이미지들을 생성할 수 있는 스케일러 회로와 이를 포함하는 장치들
CN111861857B (zh) * 2020-07-06 2025-01-07 Oppo广东移动通信有限公司 一种显示模组、显示设备、图像显示方法及存储介质
KR102611423B1 (ko) * 2022-07-01 2023-12-07 주식회사 네패스 이미지 스케일링 장치 및 이미지 스케일링 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146278A (ja) 1997-11-13 1999-05-28 Nikon Corp 固体撮像装置、並びに固体撮像装置の駆動方法
US6348929B1 (en) * 1998-01-16 2002-02-19 Intel Corporation Scaling algorithm and architecture for integer scaling in video
KR100314801B1 (ko) * 1998-12-22 2002-01-15 박종섭 이미지센서에서화면을패닝및스켈링하기위한장치
JP2001160140A (ja) * 1999-12-02 2001-06-12 Hitachi Ltd デジタルフィルタ，画像処理装置ならびに画像処理方法
US6831761B2 (en) * 2001-03-30 2004-12-14 Eastman Kodak Company Document scanner having a selectable range of resolutions with reduced processing
JP4503878B2 (ja) * 2001-04-27 2010-07-14 オリンパス株式会社 撮像装置及び撮像方法
TW582176B (en) * 2001-07-06 2004-04-01 Hynix Semiconductor Inc Image sensor with defective pixel address storage
KR100411307B1 (ko) * 2002-03-12 2003-12-24 주식회사 하이닉스반도체 자동으로 리셋 전압을 제한하는 기능을 갖는 이미지센서및 이미지센서의 리셋 전압 자동 제어 방법
KR100449102B1 (ko) * 2002-03-19 2004-09-18 삼성전자주식회사 멀티미디어용 시스템온칩 프로세서
KR20030095663A (ko) * 2002-06-14 2003-12-24 삼성전자주식회사 트리플 윈도우 구현이 가능한 영상처리장치 및 그의구현방법
US7054496B2 (en) * 2002-06-27 2006-05-30 Seiko Epson Corporation Method and apparatus for displaying arbitrarily magnified high resolution images using compressed domain processing
ITTO20021072A1 (it) * 2002-12-10 2004-06-11 St Microelectronics Srl Procedimento e sistema per elaborare segnali video, ad esempio per la visualizzazione su display a colori di piccole dimensioni, relativo prodotto informatico.
US7492391B1 (en) * 2003-07-14 2009-02-17 Arecont Vision, Llc. Wide dynamic range network camera
JP3942569B2 (ja) * 2003-09-04 2007-07-11 オリンパス株式会社 撮像装置および画像データの変換方法
KR100510148B1 (ko) * 2003-09-20 2005-08-25 삼성전자주식회사 아날로그 영상신호 수신 시스템에서 디스플레이 동기 신호생성 장치 및 방법
KR101034493B1 (ko) * 2004-01-09 2011-05-17 삼성전자주식회사 화상 변환 장치, 화상 변환을 위한 직접 메모리 액세스장치 및 화상 변환을 지원하는 카메라 인터페이스
KR100843195B1 (ko) * 2004-02-26 2008-07-02 삼성전자주식회사 디스플레이 처리와 데이터 압축을 동시에 수행하는 촬상신호 처리 장치 및 그 방법

Also Published As

Publication number Publication date
US9706079B2 (en) 2017-07-11
KR100657145B1 (ko) 2006-12-13
US20090268071A1 (en) 2009-10-29
US20060187503A1 (en) 2006-08-24
JP2006238420A (ja) 2006-09-07
US7589748B2 (en) 2009-09-15

Similar Documents

Publication Publication Date Title
US9706079B2 (en) Image sensor with scaler and image scaling method thereof
USRE44062E1 (en) Image sensor for detecting flicker noise and method thereof
US7026969B2 (en) Analog-to-digital converting apparatus for processing a plurality of analog input signals at high rate and display device using the same
CN102640500B (zh) 图像处理设备
AU2012374649A1 (en) Image processing device, image-capturing element, image processing method, and program
US8976272B2 (en) Imaging apparatus which corrects effects of flash
KR20100133806A (ko) 이미지 디스플레이 방법 및 장치
JP2010538561A (ja) 広ダイナミックレンジｃｍｏｓ画像センサ
JP2000236473A (ja) 画像入力装置の画像処理回路
US11665446B2 (en) Image sensing system and operating method thereof
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
EP2214136B1 (en) Method and program for controlling image capture apparatus
JP4573769B2 (ja) 画像処理回路および画像処理方法
US20230142489A1 (en) Image processing device, image processing method, image processing program, and imaging device
US8970766B2 (en) Imaging device
US9007479B2 (en) Imaging apparatus and evaluation value generation apparatus
US12022205B2 (en) Image device, image sensor, and operation method of image sensor
US8264586B2 (en) Imaging apparatus
JP5594055B2 (ja) 画像処理装置、電子機器及び画像処理方法
JPH0614268A (ja) 赤外線撮像装置
US12207002B2 (en) Integrated circuit with multi-application image processing
JP4356651B2 (ja) 画像処理装置、撮像装置、および画像処理方法
JP2003244714A (ja) 画像処理装置及びデジタルスチルカメラ
KR20220161124A (ko) 이미지 신호 프로세서를 포함하는 이미지 센서 및 이의 동작 방법
JP2010103817A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20111129

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20131207

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20131207

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000