KR102530752B1 - 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법 - Google Patents

이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법 Download PDF

Info

Publication number
KR102530752B1
KR102530752B1 KR1020180101965A KR20180101965A KR102530752B1 KR 102530752 B1 KR102530752 B1 KR 102530752B1 KR 1020180101965 A KR1020180101965 A KR 1020180101965A KR 20180101965 A KR20180101965 A KR 20180101965A KR 102530752 B1 KR102530752 B1 KR 102530752B1
Authority
KR
South Korea
Prior art keywords
image
zoom
merged
pixels
pixel
Prior art date
Application number
KR1020180101965A
Other languages
English (en)
Other versions
KR20200025107A (ko
Inventor
정일윤
이제석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180101965A priority Critical patent/KR102530752B1/ko
Priority to US16/359,153 priority patent/US11044407B2/en
Priority to CN201910486359.7A priority patent/CN110876027B/zh
Publication of KR20200025107A publication Critical patent/KR20200025107A/ko
Application granted granted Critical
Publication of KR102530752B1 publication Critical patent/KR102530752B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 개시의 이미지 줌 프로세싱 방법은, 픽셀 어레이, 신호 처리부 및 신호 출력부를 포함하는 이미지 센서의 이미지 줌 프로세싱 방법에 있어서, 상기 픽셀 어레이에 배치된 복수의 머지드 픽셀을 구동시켜 전체 해상도 이미지를 생성한다. 상기 전체 해상도 이미지의 일부를 크롭하여 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성한다. 상기 신호 처리부에서 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 리모자이크 처리한다. 리모자이크 처리된 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 전자 기기의 호스트 칩으로 출력한다.

Description

이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법{IMAGE SENSOR AND ELECTRONIC DEVICE INCLUDING THE IMAGE SENSOR, AND METHOD OF IMAGE ZOOM PROCESSING}
본 발명은 복수의 렌즈를 적용하지 않고도 해상도의 저하 없이 줌-인, 줌-아웃을 구현할 수 있는 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법에 관한 것이다.
이미지 센서를 포함하는 전자 기기(예로서, 디지털 카메라, 스마트폰, 캠코더)는 줌-인(zoom-in) 및 줌-아웃(zoom-out) 기능을 제공하고 있다. 줌 기능을 구현하는 방법으로서, 이미지 시그널 프로세싱(Image Signal Processing: ISP)을 이용하여 줌 기능을 구현할 수 있다. 렌즈(lens)를 이용하여 줌 기능을 구현할 수 있다. 줌인 이미지 센서 및 줌-아웃 모드 이미지 센서를 적용하여 줌 기능을 구현할 수 있다. 렌즈를 이용하는 방식은 고가의 렌즈를 적용해야 하는 문제가 있다. ISP를 이용하는 방식은 줌인 기능만 제공할 수 있고, 화질이 저하되는 문제가 있다. 복수의 이미지 센서를 적용하는 방식은 비용이 증가하는 문제가 있다.
본 개시에 따른 실시 예들의 과제는 렌즈를 적용하지 않고 줌-인, 줌-아웃을 구현할 수 있는 이미지 센서 및 이미지 센서의 구동 방법과, 이미지 센서를 포함하는 전자 기기를 제공하는데 있다.
본 개시에 따른 실시 예들의 과제는 복수의 이미지 센서를 적용하지 않고 줌-인, 줌-아웃을 구현할 수 있는 이미지 센서 및 이미지 센서의 구동 방법과, 이미지 센서를 포함하는 전자 기기를 제공하는데 있다.
본 개시에 따른 실시 예들의 과제는 해상도의 저하 없이 줌-인, 줌-아웃을 구현할 수 있는 이미지 센서 및 이미지 센서의 구동 방법과, 이미지 센서를 포함하는 전자 기기를 제공하는데 있다.
본 개시의 이미지 줌 프로세싱 방법은, 픽셀 어레이, 신호 처리부 및 신호 출력부를 포함하는 이미지 센서의 이미지 줌 프로세싱 방법에 있어서, 상기 픽셀 어레이에 배치된 복수의 머지드 픽셀을 구동시켜 전체 해상도 이미지를 생성한다. 상기 전체 해상도 이미지의 일부를 크롭하여 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성한다. 상기 신호 처리부에서 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 리모자이크 처리한다. 리모자이크 처리된 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 전자 기기의 호스트 칩으로 출력한다.
본 개시의 이미지 줌 프로세싱 방법은, 픽셀 어레이, 신호 처리부 및 신호 출력부를 포함하는 이미지 센서의 이미지 줌 프로세싱 방법에 있어서, 상기 픽셀 어레이에 배치된 복수의 머지드 픽셀을 구동시켜 전체 해상도 이미지를 생성한다. 상기 전체 해상도 이미지의 일부를 크롭하여 줌-아웃 이미지를 생성한다. 상기 신호 처리부에서, 상기 줌-아웃 모드 이미지를 비닝(binning) 처리한다. 상기 신호 출력부에서, 비닝 처리된 상기 줌-아웃 이미지를 전자 기기의 호스트 칩으로 출력한다.
본 개시의 이미지 줌 프로세싱 방법은, 이미지 센서를 포함하는 전자 기기의 이미지 줌 프로세싱 방법에 있어서, 상기 이미지 센서의 픽셀 어레이에 배치된 복수의 머지드 픽셀을 구동시켜 전체 해상도 이미지를 생성한다. 상기 전체 해상도 이미지의 일부를 크롭하여 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성한다. 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 상기 전자 기기의 호스트 칩으로 전송한다. 상기 호스트 칩에서 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 리모자이크 처리한다.
본 개시의 이미지 센서는 픽셀 어레이, 타이밍 제너레이터, 신호 처리부 및 신호 출력부를 포함한다. 상기 픽셀 어레이는 복수의 머지드 픽셀이 배치되고, 상기 복수의 머지드 픽셀의 전체 또는 일부가 구동되어 노멀 모드 이미지, 줌-인 모드 이미지, 또는 줌-아웃 모드 이미지를 생성한다. 상기 타이밍 제너레이터는 유저 인터페이스에서 입력된 줌 모드에 기초하여 상기 복수의 머지드 픽셀 각각을 구동시킨다. 상기 신호 처리부는 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 리모자이크 처리하거나, 상기 줌-아웃 모드 이미지를 비닝(binning) 처리한다. 상기 신호 출력부는 리모자이크 또는 비닝 처리된 이미지를 전자 기기의 호스트 칩으로 출력한다.
본 개시에 따른 실시 예들에 따르면, 유저 인터페이스를 통해 입력된 줌 모드 신호에 따라서 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성할 수 있다.
본 개시에 따른 실시 예들에 따르면, 노멀 모드 용 렌즈 및 줌-인 모드 용 렌즈 없이도 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성할 수 있다.
본 개시에 따른 실시 예들에 따르면, 해상도의 저하 없이 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성할 수 있다.
본 개시에 따른 실시 예들에 따르면, 동일한 데이터 사이즈를 가지는 노멀 모드 이미지, 2배 줌-인 모드 이미지 또는 4배 줌-인 모드 이미지를 생성할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 이미지 센서를 포함하는 전자 기기를 나타내는 도면이다.
도 2는 이미지 센서의 신호 처리부를 나타내는 도면이다.
도 3a는 이미지 센서의 픽셀 어레이를 나타내는 도면이다.
도 3b는 하나의 단위 픽셀을 나타내는 도면이다.
도 4는 이미지 센서에서 획득된 전체 해상도 이미지를 나타내는 도면이다.
도 5a는 센터를 기준으로 전체 해상도 이미지의 일부를 크롭하여 생성되는 노멀 모드(normal mode)의 이미지를 나타내는 도면이다.
도 5b는 모서리를 기준으로 전체 해상도 이미지의 일부를 크롭하여 노멀 모드(normal mode) 이미지를 생성하는 것을 나타내는 도면이다.
도 6a는 센터를 기준으로 전체 해상도 이미지의 일부를 크롭하여 생성되는 줌-인 모드(zoom-in mode)의 이미지를 나타내는 도면이다.
도 6b는 모서리를 기준으로 전체 해상도 이미지의 일부를 크롭하여 줌-인 모드(zoom-in mode) 이미지를 생성하는 것을 나타내는 도면이다.
도 7은 줌-아웃 모드(zoom-out mode)의 이미지를 나타내는 도면이다.
도 8a는 16머지드 픽셀 패턴의 일 예를 나타내는 도면이다.
도 8b는 4머지드 픽셀의 패턴일 예를 나타내는 도면이다.
도 8c는 베이어(bayer) 픽셀 패턴의 일 예를 나타내는 도면이다.
도 9a는 16머지드 픽셀 패턴을 4머지드 픽셀 패턴으로 리모자이크 하는 일 예를 나타내는 도면이다.
도 9b는 4머지드 픽셀 패턴을 베이어 픽셀 패턴으로 리모자이크 하는 일 예를 나타내는 도면이다.
도 9c는 4머지드 픽셀 패턴을 16머지드 픽셀 패턴으로 리모자이크 하는 일 예를 나타내는 도면이다.
도 10은 4머지드 픽셀 패턴을 베이어 픽셀 패턴으로 리모자이크 하여 이미지를 줌-인하는 일 예를 나타내는 도면이다.
도 11a 및 도 11b는 4머지드 픽셀 패턴을 1/2N x 1/2M 베이어 픽셀 패턴으로 비닝(binning)하여 이미지를 줌-아웃하는 일 예를 나타내는 도면이다.
도 12는 4머지드 픽셀 구조를 가지는 이미지 센서에서 노멀 모드, 줌-인 모드 및 줌-아웃 모드의 이미지를 생성하는 일 예를 나타내는 도면이다.
도 13은 16머지드 픽셀 구조를 가지는 이미지 센서에서 이미지 파일의 용량을 증가시키기 않고 이미지를 1배, 2배, 4배 줌-인하는 일 예를 나타내는 도면이다.
도 14는 본 개시의 일 실시 예에 따른 이미지 센서를 포함하는 전자 기기를 나타내는 도면이다.
도 15는 이미지 센서의 신호 처리부를 나타내는 도면이다.
도 16은 호스트 칩을 나타내는 도면이다.
도 17은 호스트 칩의 이미지 처리부를 나타내는 도면이다.
이하, 첨부된 도면을 참고로 하여 본 개시에 따른 실시 예들의 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법을 설명하면 다음과 같다.
도 1은 본 개시의 일 실시 예에 따른 이미지 센서를 포함하는 전자 기기를 나타내는 도면이다. 도 2는 이미지 센서의 신호 처리부를 나타내는 도면이다. 도 3a는 이미지 센서의 픽셀 어레이를 나타내는 도면이다. 도 3b는 하나의 단위 픽셀을 나타내는 도면이다.
도 1 내지 도 3b를 참조하면, 본 개시의 일 실시 예에 따른 전자 기기(10)는 이미지 센서(100), 유저 인터페이스(210) 및 호스트 칩(220)을 포함할 수 있다. 이미지 센서(100)는 타이밍 제너레이터(110), 픽셀 어레이(120), 신호 처리부(130), 메모리(140) 및 신호 출력부(150)를 포함할 수 있다. 신호 처리부(130)는 제1 ISP(131, Image Signal Processor 1), 리모자이크 처리부(132, remosaic processor), 제2 ISP(133, Image Signal Processor 2), 다운 스케일러(134), 제3 ISP(135, Image Signal Processor 3), 출력 인터페이스(136, output interface)를 포함할 수 있다.
본 개시의 실시 예에 따른 전자 기기(10)는 유저 인터페이스(210) 및 호스트 칩(220)을 포함하며, 디스플레이 및 통신 기능이 포함된 장치일 수 있다. 일 예로서, 전자 기기(10)는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 웨어러블 장치(wearable device)(예로서, 스마트 워치(smart watch)), 전차 책(e-book), 노트북 컴퓨터(notebook computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), 모바일 의료기기 또는 디지털 카메라(digital camera) 중 하나일 수 있다.
도 3a에 도시된 바와 같이, 픽셀 어레이(120)는 복수의 단위 픽셀(121)을 포함할 수 있다. 복수의 단위 픽셀(121)은 2차원 어레이 형태로 배열될 수 있다. 일 예로서, 세로 방향으로 N개의(N은 1 이상의 정수) 단위 픽셀(121)이 배열되고, 가로 방향으로 M개의(M은 1 이상의 정수) 단위 픽셀(121)이 배열되어 픽셀 어레이(120)를 구성할 수 있다.
픽셀 어레이(120)는 칩(chip) 형태로 형성될 수 있으며, 각각의 단위 픽셀(121)의 신호 입출력을 위한 복수의 배선(도 3b 참조)과, 독출 회로(도 3b 참조)를 포함할 수 있다. 복수의 단위 픽셀(121) 각각은 컬러필터(예로서, 레드 컬러필터, 블루 컬러필터, 그린 컬러필터)를 포함할 수 있다. 인간의 시각 특성을 반영하여, 전체 단위 픽셀 중에서 25%는 레드 컬러필터를 포함하고, 25%는 블루 컬러필터를 포함하고, 50%는 그린 컬러필터를 포함할 수 있다. 픽셀 어레이(120)는 시모스 이미지 센서(CMOS Image Sensor, CIS)가 적용될 수 있다. 동일 컬러필터를 포함하는 단위 픽셀(121)이 인접하게 배치되어 픽셀 어레이(120)가 구성될 수 있다.
일 예로서, 동일한 컬러필터를 포함하는 16개의 단위 픽셀(121)이 4x4 형태로 배열된 16머지드 픽셀 패턴으로 픽셀 어레이(120)가 구성될 수 있다. 즉, 동일 컬러필터를 포함하는 16개의 단위 픽셀들이 모여 하나의 16머지드 픽셀을 구성할 수 있다. 상하좌우에 서로 다른 16머지드 픽셀들이 배치되어 픽셀 어레이(120)가 구성될 수 있다.
일 예로서, 동일한 컬러필터를 포함하는 4개의 단위 픽셀(121)이 2x2 형태로 배열된 4머지드 픽셀 패턴으로 픽셀 어레이(120)가 구성될 수 있다. 즉, 동일 컬러필터를 포함하는 4개의 단위 픽셀들이 모여 하나의 4머지드 픽셀을 구성할 수 있다. 상하좌우에 서로 다른 4머지드 픽셀들이 배치되어 픽셀 어레이(120)가 구성될 수 있다.
단위 픽셀(121)의 개수에 따라서 전자 기기(10)에서 생성되는 이미지의 해상도가 달라질 수 있다. 일 예로서, 픽셀 어레이(120)에 가로 방향으로 4,000개의 단위 픽셀(121)이 배치되고, 세로 방향으로 3,000개의 단위 픽셀(121)이 배치될 수 있다. 이 경우, 픽셀 어레이(120)는 12Mp(4,000x3,000) 해상도의 이미지를 생성할 수 있다. 일 예로서, 픽셀 어레이(120)에 가로 방향으로 8,000개의 단위 픽셀(121)이 배치되고, 세로 방향으로 6,000개의 단위 픽셀(121)이 배치될 수 있다. 이 경우, 픽셀 어레이(120)는 48Mp(8,000x6,000) 해상도의 이미지를 생성할 수 있다. 일 예로서, 픽셀 어레이(120)에 가로 방향으로 12,000개의 단위 픽셀(121)이 배치되고, 세로 방향으로 9,000개의 단위 픽셀(121)이 배치될 수 있다. 이경우, 픽셀 어레이(120)는 108Mp(12,000x9,000) 해상도의 이미지를 생성할 수 있다.
도 3b에 도시된 바와 같이, 복수의 단위 픽셀(121) 각각은 광 감지 소자인 포토 다이오드(PD), 독출 회로(Readout Circuit)로서 복수의 트랜지스터(TX, RX, DX, SX) 및 복수의 배선을 포함할 수 있다. 독출 회로는 포토 다이오드(PD)를 구동시키고, 포토 다이오드(PD)에서 생성된 이미지 신호를 독출할 수 있다. 독출 회로는 전송 트랜지스터(TX), 구동 트랜지스터(DX), 선택 트랜지스터(SX) 및 리셋 트랜지스터(RX)를 포함할 수 있다.
포토 다이오드(PD)에서 생성된 광 전하는 전송 트랜지스터(TX)를 통해 제1 노드(N1, 예로서, 플로팅 디퓨전 노드)로 출력될 수 있다. 일 예로서, 전송 제어 신호(TG)가 제1 레벨(예로서, 하이 레벨)일 때 전송 트랜지스터(TX)가 턴온(turn on)될 수 있다. 전송 트랜지스터(TX)가 턴온되면 포토 다이오드(PD)에서 생성된 광 전하가 전송 트랜지스터(TX)를 통해 제1 노드(N1)로 출력될 수 있다.
일 예로서, 구동 트랜지스터(DX)는 소스 팔로워 버퍼 증폭기(Source Follower buffer Amplifier)로 동작할 수 있다. 구동 트랜지스터(DX)는 제1 노드(N1)에 충전된 전하에 대응하는 신호를 증폭할 수 있다.
일 예로서, 선택 트랜지스터(SX)는 선택 신호(SEL)에 응답하여 턴온될 수 있다. 선택 트랜지스터(SX)가 턴온되면 구동 트랜지스터(DX)에 의해서 증폭된 신호가 컬럼 라인(COL)으로 전송될 수 있다.
일 예로서, 리셋 트랜지스터(RX)는 리셋 신호(RS)에 응답하여 턴온될 수 있다. 리셋 트랜지스터(RX)가 턴온되면 제1 노드(N1)에 충전되어 있던 전하가 방전될 수 있다. 도 3b에서는 하나의 포토 다이오드(PD)와 4개의 모스 트랜지스터들(TX, RX, DX, SX)을 포함하는 단위 픽셀(121)을 도시하고 있다. 이에 한정되지 않고, 각각의 단위 픽셀(121)은 하나의 포토 다이오드((PD)와 3개 이하의 모스 트랜지스터들을 포함할 수 있다. 이에 한정되지 않고, 각각의 단위 픽셀(121)은 하나의 포토 다이오드(PD)와 5개 이상의 모스 트랜지스터들을 포함할 수 있다.
도 4는 이미지 센서에서 획득된 전체 해상도 이미지를 나타내는 도면이다.
도 4를 참조하면, 전자 기기(10)의 유저 인터페이스(210)를 통해서 사용자가 줌 모드를 선택할 수 있다. 유저 인터페이스(210)는 사용자의 줌 모드 선택에 따른 줌 모드 신호를 이미지 센서(100)로 전송할 수 있다. 이미지 센서(100)는 입력된 줌 모드에 기초하여 노멀 모드, 줌-인 모드 또는 줌-아웃 모드에 따른 이미지를 생성할 수 있다.
노멀 모드 이미지 생성
도 5a는 센터를 기준으로 전체 해상도 이미지의 일부를 크롭하여 생성되는 노멀 모드(normal mode)의 이미지를 나타내는 도면이다. 도 5b는 모서리를 기준으로 전체 해상도 이미지의 일부를 크롭하여 노멀 모드(normal mode) 이미지를 생성하는 것을 나타내는 도면이다.
도 1 내지 도 4, 도 5a 및 도 5b를 참조하면, 타이밍 제너레이터(110)는 픽셀 어레이(120)의 구동을 위한 구동신호(예로서, 수평기준신호, 수직기준신호, 수평스캔 기준신호, 수직스캔 기준신호 및 필드신호)를 생성할 수 있다. 타이밍 제너레이터(110)는 생성된 구동신호를 픽셀 어레이(120)의 각 단위 픽셀(121)에 공급할 수 있다. 유저 인터페이스(210)에서 노멀 모드 신호가 이미지 센서(100)로 입력될 수 있다. 타이밍 제너레이터(110)는 입력된 노멀 모드 신호에 기초하여 픽셀 어레이(120)의 전체 단위 픽셀을 구동시킬 수 있다.
도 4에 도시된 바와 같이, 이미지 센서(100)는 픽셀 어레이(120)의 전체 단위 픽셀의 구동에 의해서 생성된 전체 해상도 이미지에서 일부를 크롭(crop)할 수 있다. 이미지 센서(100)는 전체 해상도 이미지에서 일부를 크롭하여 노멀 모드 이미지를 생성할 수 있다.
일 예로서, 타이밍 제너레이터(110)는 픽셀 어레이(120)의 전체 단위 픽셀 중에서 노멀 모드에 대응되는 제1 단위 픽셀들의 신호 출력을 온(on)시켜 노멀 모드 이미지를 생성할 수 있다. 타이밍 제너레이터(110)는 픽셀 어레이(120)의 전체 단위 픽셀 중에서 노멀 모드에 대응되는 제1 단위 픽셀들을 제외한 제2 단위 픽셀들의 신호 출력을 오프(off)시킬 수 있다. 즉, 이미지 센서(100)는 이미지의 줌 모드 신호가 입력되기 전에는 전체 단위 픽셀을 구동시키고, 전자 기기(10)는 전체 해상도 이미지를 화면에 표시할 수 있다. 이미지 센서(100)는 노멀 모드 신호가 입력되면 제1 단위 픽셀들의 신호 출력을 온(on)시켜 노멀 모드 이미지를 생성할 수 있다. 이미지 센서(100)는 노멀 모드 신호에 대응되는 제1 단위 픽셀들을 제외한 제2 단위 픽셀들의 신호 출력을 오프(off)시킬 수 있다.
일 예로서, 타이밍 제너레이터(110)는 입력된 노멀 모드 신호에 기초하여 픽셀 어레이(120)의 전체 단위 픽셀을 구동시킬 수 있다. 픽셀 어레이(120)의 전체 단위 픽셀의 신호 출력이 온(on)되어 전체 해상도 이미지가 생성될 수 있다. 이후, 픽셀 어레이(120)에서 생성된 전체 해상도 이미지가 신호 처리부(130)로 전송될 수 있다. 신호 처리부(130)에서 전체 해상도 이미지의 일부를 크롭하여 노멀 모드 이미지를 생성할 수 있다.
이미지 센서(100)가 전체 해상도 이미지에서 일부를 크롭하여 노멀 모드 이미지를 생성함으로, 전체 해상도 이미지에 대비 노멀 모드 이미지의 용량(즉, 데이터 사이즈)을 줄일 수 있다. 이미지 센서(100)는 전체 해상도 이미지에서 특정 지점을 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 즉, 전체 단위 픽셀 중에서 1/2~1/16의 단위 픽셀에서 출력되는 이미지 신호에 기초하여 노멀 모드 이미지를 생성할 수 있다. 전체 머지드 픽셀 중에서 1/2~1/16의 머지드 픽셀에서 출력되는 이미지 신호에 기초하여 노멀 모드 이미지를 생성할 수 있다.
일 예로서, 도 5a에 도시된 바와 같이, 이미지 센서(100)는 전체 해상도 이미지의 센터를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 즉, 이미지 센서(100)는 픽셀 어레이(120)의 센터를 기준으로 전체 단위 픽셀 중에서 1/2~1/16의 단위 픽셀들의 신호 출력을 온(on)시켜 노멀 모드 이미지를 생성할 수 있다.
일 예로서, 도 5b에 도시된 바와 같이, 이미지 센서(100)는 전체 해상도 이미지의 상부 좌측 모서리(a)를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 즉, 이미지 센서(100)는 픽셀 어레이(120)의 상부 좌측 모서리(a)를 기준으로 전체 단위 픽셀 중에서 1/2~1/16의 단위 픽셀들의 신호 출력을 온(on)시켜 노멀 모드 이미지를 생성할 수 있다.
이에 한정되지 않고, 이미지 센서(100)는 전체 해상도 이미지의 상부 우측 모서리(b)를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(100)는 전체 해상도 이미지의 하부 좌측 모서리(c)를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(100)는 전체 해상도 이미지의 하부 우측 모서리(d)를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다.
일 예로서, 이미지 센서(100)는 전체 해상도 이미지의 센터(즉, 픽셀 어레이(120)의 센터)와 4개의 모서리(a, b, c, d) 사이의 특정 지점을 기준으로, 전체 해상도 이미지의 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다.
줌-인 모드 이미지 생성
도 6a는 센터를 기준으로 전체 해상도 이미지의 일부를 크롭하여 생성되는 줌-인 모드(zoom-in mode)의 이미지를 나타내는 도면이다. 도 6b는 모서리를 기준으로 전체 해상도 이미지의 일부를 크롭하여 줌-인 모드(zoom-in mode) 이미지를 생성하는 것을 나타내는 도면이다.
도 1 내지 도 4, 도 6a 및 도 6b를 참조하면, 유저 인터페이스(210)에서 줌-인 모드 신호가 이미지 센서(100)로 입력될 수 있다. 타이밍 제너레이터(110)는 입력된 줌-인 모드 신호에 기초하여 픽셀 어레이(120)의 전체 단위 픽셀을 구동시킬 수 있다. 도 4에 도시된 바와 같이, 이미지 센서(100)는 픽셀 어레이(120)의 전체 단위 픽셀의 구동에 의해서 생성된 전체 해상도 이미지에서 일부를 크롭할 수 있다. 이미지 센서(100)는 전체 해상도 이미지에서 일부를 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 이미지 센서(100)는 전체 해상도 이미지에서 노멀 모드 이미지보다 작은 면적(예로서, 노멀 모드 이미지 대비 1/2~1/4 면적)을 크롭하여 줌-인 모드 이미지를 생성할 수 있다.
일 예로서, 타이밍 제너레이터(110)는 픽셀 어레이(120)의 전체 단위 픽셀 중에서 줌-인 모드에 대응되는 제1 단위 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다. 타이밍 제너레이터(110)는 픽셀 어레이(120)의 전체 단위 픽셀 중에서 줌-인 모드에 대응되는 제1 단위 픽셀들을 제외한 제2 단위 픽셀들의 신호 출력을 오프(off)시킬 수 있다. 즉, 이미지 센서(100)는 이미지의 줌 모드 신호가 입력되기 전에는 전체 단위 픽셀을 구동시키고, 전자 기기(10)는 전체 해상도 이미지를 화면에 표시할 수 있다. 이미지 센서(100)는 줌-인 모드 신호가 입력되면 제1 단위 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다. 이미지 센서(100)는 줌-인 모드 신호에 대응되는 제1 단위 픽셀들을 제외한 제2 단위 픽셀들의 신호 출력을 오프(off)시킬 수 있다.
일 예로서, 타이밍 제너레이터(110)는 입력된 줌-인 모드 신호에 기초하여 픽셀 어레이(120)의 전체 단위 픽셀을 구동시킬 수 있다. 픽셀 어레이(120)의 전체 단위 픽셀의 신호 출력이 온(on)되어 전체 해상도 이미지가 생성될 수 있다. 이후, 픽셀 어레이(120)에서 생성된 전체 해상도 이미지가 신호 처리부(130)로 전송될 수 있다. 신호 처리부(130)에서 전체 해상도 이미지의 일부를 크롭하여 줌-인 모드 이미지를 생성할 수 있다.
이미지 센서(100)가 전체 해상도 이미지에서 일부를 크롭하여 줌-인 모드 이미지를 생성함으로, 전체 해상도 이미지에 대비 줌-인 모드 이미지의 용량(즉, 데이터 사이즈)을 줄일 수 있다. 이미지 센서(100)는 전체 해상도 이미지에서 특정 지점을 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 즉, 전체 단위 픽셀 중에서 1/4~1/64의 단위 픽셀에서 출력되는 이미지 신호에 기초하여 줌-인 모드 이미지를 생성할 수 있다.
일 예로서, 도 6a에 도시된 바와 같이, 이미지 센서(100)는 전체 해상도 이미지의 센터를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 즉, 이미지 센서(100)는 픽셀 어레이(120)의 센터를 기준으로 전체 단위 픽셀 중에서 1/4~1/64의 단위 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다.
일 예로서, 도 6b에 도시된 바와 같이, 이미지 센서(100)는 전체 해상도 이미지의 상부 좌측 모서리(a)를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 즉, 이미지 센서(100)는 픽셀 어레이(120)의 상부 좌측 모서리(a)를 기준으로 전체 단위 픽셀 중에서 1/4~1/64의 단위 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다.
이에 한정되지 않고, 이미지 센서(100)는 전체 해상도 이미지의 상부 우측 모서리(b)를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(100)는 전체 해상도 이미지의 하부 좌측 모서리(c)를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(100)는 전체 해상도 이미지의 하부 우측 모서리(d)를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다.
일 예로서, 이미지 센서(100)는 전체 해상도 이미지의 센터(즉, 픽셀 어레이(120)의 센터)와 4개의 모서리(a, b, c, d) 사이의 특정 지점을 기준으로, 전체 해상도 이미지의 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다.
줌-아웃 모드 이미지 생성
도 7은 줌-아웃 모드(zoom-out mode)의 이미지를 나타내는 도면이다.
도 1 내지 도 4 및 도 7을 참조하면, 유저 인터페이스(210)에서 줌-아웃 모드 신호가 이미지 센서(100)로 입력될 수 있다. 타이밍 제너레이터(110)는 입력된 줌-아웃 모드 신호에 기초하여 픽셀 어레이(120)의 전체 단위 픽셀을 구동시킬 수 있다. 도 4에 도시된 바와 같이, 이미지 센서(100)는 픽셀 어레이(120)의 전체 단위 픽셀의 구동에 의해서 생성된 전체 해상도 이미지에 기초하여 줌-아웃 모드 이미지를 생성할 수 있다.
일 예로서, 타이밍 제너레이터(110)는 입력된 줌-아웃 모드 신호에 기초하여 픽셀 어레이(120)의 전체 단위 픽셀을 구동시킬 수 있다. 타이밍 제너레이터(110)는 픽셀 어레이(120)의 전체 단위 픽셀의 신호 출력을 온(on)시켜 줌-아웃 모드 이미지를 생성할 수 있다.
픽셀 어레이(120)의 전체 단위 픽셀의 신호 출력이 온(on)되어 전체 해상도 이미지가 생성될 수 있다. 이후, 픽셀 어레이(120)에서 생성된 전체 해상도 이미지가 신호 처리부(130)로 전송될 수 있다. 신호 처리부(130)에서 전체 해상도 이미지를 신호 처리하여 줌-아웃 모드 이미지를 생성할 수 있다. 전체 해상도 이미지를 그대로 줌-아웃 모드 이미지로 적용할 경우 데이터 용량이 커질 수 있다. 신호 처리부(130)는 신호 처리를 통해 줌-아웃 모드 이미지의 용량을 줄일 수 있다. 신호 처리부(130)는 용량을 줄인 줌-아웃 모드 이미지를 신호 출력부(150)를 통해 호스트 칩(220)으로 전송할 수 있다.
도 4에서는 이미지 센서(100)가 전체 해상도 이미지의 1배 줌으로 줌-아웃 모드 이미지를 생성하는 것으로 도시하였다. 이에 한정되지 않고, 이미지 센서(100)는 전체 해상도 이미지의 1~1/2배 줌으로 줌-아웃 모드 이미지를 생성할 수도 있다.
전체 해상도 이미지의 1~1/2배 줌으로 줌-아웃 모드 이미지를 생성하는 경우, 타이밍 제너레이터(110)는 입력된 줌-아웃 모드 신호에 기초하여 픽셀 어레이(120)의 전체 단위 픽셀을 구동시킬 수 있다. 이미지 센서(100)는 픽셀 어레이(120)의 전체 단위 픽셀의 구동에 의해서 생성된 전체 해상도 이미지에서 일부를 크롭(crop)할 수 있다. 이미지 센서(100)는 전체 해상도 이미지에서 일부를 크롭하여 줌-아웃 모드 이미지를 생성할 수 있다.
일 예로서, 타이밍 제너레이터(110)는 픽셀 어레이(120)의 전체 단위 픽셀 중에서 줌-아웃 모드에 대응되는 제1 단위 픽셀들의 신호 출력을 온(on)시켜 줌-아웃 모드 이미지를 생성할 수 있다. 타이밍 제너레이터(110)는 픽셀 어레이(120)의 전체 단위 픽셀 중에서 줌-아웃 모드에 대응되는 제1 단위 픽셀들을 제외한 제2 단위 픽셀들의 신호 출력을 오프(off)시킬 수 있다.
일 예로서, 타이밍 제너레이터(110)는 입력된 노멀 모드 신호에 기초하여 픽셀 어레이(120)의 전체 단위 픽셀을 구동시킬 수 있다. 픽셀 어레이(120)의 전체 단위 픽셀의 신호 출력이 온(on)되어 전체 해상도 이미지가 생성될 수 있다. 이후, 픽셀 어레이(120)에서 생성된 전체 해상도 이미지가 신호 처리부(130)로 전송될 수 있다. 신호 처리부(130)에서 전체 해상도 이미지의 1~1/2의 부분을 크롭하여 줌-아웃 모드 이미지를 생성할 수 있다. 이미지 센서(100)는 전체 해상도 이미지에서 특정 지점을 기준으로 1~1/2의 면적에 해당하는 부분을 크롭하여 줌-아웃 모드 이미지를 생성할 수 있다. 즉, 최대로 전체 단위 픽셀에서 출력되는 이미지 신호에 기초하여 줌-아웃 모드 이미지를 생성할 수 있다. 최소로 전체 단위 픽셀 중에서 1/2의 단위 픽셀에서 출력되는 이미지 신호에 기초하여 줌-아웃 모드 이미지를 생성할 수 있다.
이미지 센서(100)는 픽셀 어레이(120)의 센터를 기준으로 줌-아웃 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(100)는 픽셀 어레이(120)의 상부 좌측 모서리, 상부 우측 모서리, 하부 좌측 모서리 또는 하부 우측 모서리를 기준으로 줌-아웃 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(100)는 픽셀 어레이(120)의 센터와 4개의 모서리(a, b, c, d) 사이의 특정 지점을 기준으로 줌-아웃 모드 이미지를 생성할 수 있다.
도 8a는 16머지드 픽셀 패턴의 일 예를 나타내는 도면이다.
도 3a 및 도 8a를 참조하면, 픽셀 어레이(120)에 배치된 복수의 단위 픽셀(121) 각각은 레드 컬러필터, 블루 컬러필터 또는 그린 컬러필터를 포함할 수 있다. 동일한 컬러필터를 포함하는 16개의 단위 픽셀들이 4x4 형태로 배열되어 하나의 16머지드 픽셀이 구성될 수 있다. 픽셀 어레이(120)에는 레드 컬러필터를 포함하는 제1 16머지드 픽셀들과, 블루 컬러필터를 포함하는 제2 16머지드 픽셀들과, 그린 컬러필터를 포함하는 제3 16머지드 픽셀들이 1:1:2 비율로 배치될 수 있다. 레드 컬러필터를 포함하는 제1 16머지드 픽셀들의 대각선 방향에 블루 컬러필터를 포함하는 제2 16머지드 픽셀들이 배치될 수 있다. 레드 컬러필터를 포함하는 제1 16머지드 픽셀들의 상하좌우 방향에 그린 컬러필터를 포함하는 제3 16머지드 픽셀들이 배치될 수 있다. 블루 컬러필터를 포함하는 제2 16머지드 픽셀들의 대각선 방향에 레드 컬러필터를 포함하는 제1 16머지드 픽셀들이 배치될 수 있다. 블루 컬러필터를 포함하는 제2 16머지드 픽셀들의 상하좌우 방향에 그린 컬러필터를 포함하는 제3 16머지드 픽셀들이 배치될 수 있다. 그린 컬러필터를 포함하는 제3 16머지드 픽셀들의 상하 방향에 레드 컬러필터를 포함하는 제1 16머지드 픽셀들이 배치될 수 있다. 그린 컬러필터를 포함하는 제3 16머지드 픽셀들의 좌우 방향에 블루 컬러필터를 포함하는 제2 16머지드 픽셀들이 배치될 수 있다.
도 8b는 4머지드 픽셀의 패턴일 예를 나타내는 도면이다.
도 3a 및 도 8b를 참조하면, 픽셀 어레이(120)에 배치된 복수의 단위 픽셀(121) 각각은 레드 컬러필터, 블루 컬러필터 또는 그린 컬러필터를 포함할 수 있다. 동일한 컬러필터를 포함하는 4개의 단위 픽셀들이 2x2 형태로 배열되어 하나의 4머지드 픽셀이 구성될 수 있다. 픽셀 어레이(120)에는 레드 컬러필터를 포함하는 4머지드 픽셀들과, 블루 컬러필터를 포함하는 4머지드 픽셀들과, 그린 컬러필터를 포함하는 4머지드 픽셀들이 1:1:2 비율로 배치될 수 있다. 레드 컬러필터를 포함하는 제1 4머지드 픽셀들의 대각선 방향에 블루 컬러필터를 포함하는 제2 4머지드 픽셀들이 배치될 수 있다. 레드 컬러필터를 포함하는 제1 4머지드 픽셀들의 상하좌우 방향에 그린 컬러필터를 포함하는 제3 4머지드 픽셀들이 배치될 수 있다. 블루 컬러필터를 포함하는 제2 4머지드 픽셀들의 대각선 방향에 레드 컬러필터를 포함하는 제1 4머지드 픽셀들이 배치될 수 있다. 블루 컬러필터를 포함하는 제2 4머지드 픽셀들의 상하좌우 방향에 그린 컬러필터를 포함하는 제3 4머지드 픽셀들이 배치될 수 있다. 그린 컬러필터를 포함하는 제3 4머지드 픽셀들의 상하 방향에 레드 컬러필터를 포함하는 제1 4머지드 픽셀들이 배치될 수 있다. 그린 컬러필터를 포함하는 제3 4머지드 픽셀들의 좌우 방향에 블루 컬러필터를 포함하는 제2 4머지드 픽셀들이 배치될 수 있다.
도 8c는 베이어(bayer) 픽셀 패턴의 일 예를 나타내는 도면이다.
도 3a 및 도 8c를 참조하면, 픽셀 어레이(120)에 배치된 복수의 단위 픽셀(121) 각각은 레드 컬러필터, 블루 컬러필터 또는 그린 컬러필터를 포함할 수 있다. 레드 컬러필터를 포함하는 제1 단위 픽셀들과, 블루 컬러필터를 포함하는 제2 단위 픽셀들과, 그린 컬러필터를 포함하는 제3 단위 픽셀들이 1:1:2 비율로 배치될 수 있다. 레드 컬러필터를 포함하는 제1 단위 픽셀들의 대각선 방향에 블루 컬러필터를 포함하는 제2 단위 픽셀들이 배치될 수 있다. 레드 컬러필터를 포함하는 제1 단위 픽셀들의 상하좌우 방향에 그린 컬러필터를 포함하는 제3 단위 픽셀들이 배치될 수 있다. 블루 컬러필터를 포함하는 제2 단위 픽셀들의 대각선 방향에 레드 컬러필터를 포함하는 제1 단위 픽셀들이 배치될 수 있다. 블루 컬러필터를 포함하는 제2 단위 픽셀들의 상하좌우 방향에 그린 컬러필터를 포함하는 제3 단위 픽셀들이 배치될 수 있다. 그린 컬러필터를 포함하는 제3 단위 픽셀들의 상하좌우 방향에 레드 컬러필터를 포함하는 제2 단위 픽셀들과, 블루 컬러필터를 포함하는 제3 단위 픽셀들이 배치될 수 있다.
이미지 센서(100)에서 호스트 칩(220)으로 이미지를 전송하거나, 또는 전자 기기(10)에서 다른 전자 기기로 이미지를 전송할 수 있다. 이때, 전송하고자 하는 이미지의 해상도고 높아질수록 데이터 용량이 커지게 되어 FPS(frames per second)가 떨어지게 된다. 1,024x1,024의 이미지를 전송한다고 가정하면 한 개의 이미지 당 3MB의 데이터 전송이 필요하게 된다. 도 8c와 같이 베이어(bayer) 픽셀 패턴에 기초한 1,024x1,024의 이미지 데이터를 전송하면 한 개의 이미지 당 1MB의 데이터 전송이 필요하게 된다. 즉, 베이어(bayer) 픽셀 패턴에 기초한 이미지 데이터를 전송 시 FPS를 3배 높일 수 있다.
도 9a는 16머지드 픽셀 패턴을 4머지드 픽셀 패턴으로 리모자이크 하는 일 예를 나타내는 도면이다.
도 1, 도 2 및 도 9a를 참조하면, 신호 처리부(130)는 제1 ISP(131), 리모자이크 처리부(132), 제2 ISP(133), 다운 스케일러(134), 제3 ISP(135), 출력 인터페이스(136)를 포함할 수 있다.
신호 처리부(130)는 NxM개의 16머지드 픽셀들에서 출력된 제1 이미지를 입력 받을 수 있다. 제1 ISP(131)는 입력된 제1 이미지에 대해서 자동 다크 레벨 보정(ADLC: Auto Dark Level Compensation)을 처리할 수 있다. 제1 ISP(131)는 입력된 제1 이미지에 대해서 불량 픽셀 보정(bad Pixel Correction)을 처리할 수 있다. 제1 ISP(131)는 입력된 제1 이미지에 대해서 렌즈 음영 보정(Lens Shading Correction)을 처리할 수 있다. 제1 ISP(131)는 자동 다크 레벨 보정, 불량 픽셀 보정 및 렌즈 음영 보정 처리가 이루어진 제1 이미지를 리모자이크 처리부(132)로 전송할 수 있다.
리모자이크 처리부(132)는 NxM개의 16머지드 픽셀에 기초한 제1 이미지를 리모자이크 처리하여 2Nx2M개의 4머지드 픽셀들에서 출력되는 제2 이미지(예로서, 4머지드 픽셀 이미지)로 변환할 수 있다. 즉, 리모자이크 처리부(132)는 16머지드 픽셀들에서 출력된 제1 이미지를 리모자이크 처리하여 4머지드 픽셀들에서 출력되는 제2 이미지(예로서, 4머지드 픽셀 이미지)가 되도록 이미지를 변환시킬 수 있다. 픽셀 어레이(120)가 물리적으로 16머지드 픽셀 패턴으로 구성되어 있으나, 리모자이크 처리부(132)에서 리모자이크 처리를 수행하여 4머지드 픽셀 패턴의 이미지로 변환시킬 수 있다.
일 예로서, 리모자이크 처리부(132)는 NxM개의 16머지드 픽셀에서 출력된 제1 이미지를 1번 리모자이크 처리하여 2Nx2M개의 4머지드 픽셀에서 출력된 제2 이미지(예로서, 4머지드 픽셀 이미지)로 변환할 수 있다. 리모자이크 처리부(132)는 리모자이크 처리되어 2Nx2M개의 4머지드 픽셀에서 출력된 이미지로 변환된 제2 이미지(예로서, 4머지드 픽셀 이미지)를 제2 ISP(133)로 전송할 수 있다. 리모자이크 처리부(132)에서 16머지드 픽셀의 제1 이미지를 1번 리모자이크 처리하여 4머지드 픽셀의 제2 이미지로 변환함으로써, 해상도의 저하 없이 이미지를 2배 줌-인 시킬 수 있다.
일 예로서, 신호 처리부(130)는 NxM개의 16머지드 픽셀에서 출력된 제1 이미지를 2번 리모자이크 처리하여 4Nx4M개의 베이어 픽셀에서 출력된 제3 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 리모자이크 처리부(132)는 리모자이크 처리되어 4Nx4M개의 베이어 픽셀에서 출력된 이미지로 변환된 제3 이미지(예로서, 싱글 픽셀 이미지)를 제2 ISP(133)로 전송할 수 있다. 리모자이크 처리부(132)에서 16머지드 픽셀의 제1 이미지를 2번 리모자이크 처리하여 싱글 픽셀의 제3 이미지로 변환함으로써, 해상도의 저하 없이 이미지를 4배 줌-인 시킬 수 있다.
도 9b는 4머지드 픽셀 패턴을 베이어 픽셀 패턴으로 리모자이크 하는 일 예를 나타내는 도면이다.
도 1, 도 2 및 도 9b를 참조하면, 리모자이크 처리부(132)는 NxM개의 4머지드 픽셀에 기초한 제1 이미지를 리모자이크 처리하여 2Nx2M개의 베이어 픽셀들에서 출력되는 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 즉, 4머지드 픽셀들에서 출력된 제1 이미지를 리모자이크 처리하여 싱글 픽셀들에서 출력되는 제2 이미지(예로서, 싱글 픽셀 이미지)가 되도록 이미지를 변환시킬 수 있다. 픽셀 어레이(120)가 물리적으로 4머지드 픽셀 패턴으로 구성되어 있으나, 리모자이크 처리부(132)에서 리모자이크 처리를 수행하여 베이어 픽셀 패턴의 이미지로 변환시킬 수 있다.
리모자이크 처리부(132)는 리모자이크 처리되어 2Nx2M개의 베이어 픽셀에서 출력된 이미지로 변환된 제2 이미지(예로서, 싱글 픽셀 이미지)를 제2 ISP(133)로 전송할 수 있다. 리모자이크 처리부(132)에서 제1 이미지(예로서, 4머지드 픽셀 이미지)를 1번 리모자이크 처리하여 베이어 픽셀의 제2 이미지로 변환함으로써, 해상도의 저하 없이 이미지를 2배 줌-인 시킬 수 있다.
도 9c는 4머지드 픽셀 패턴을 16머지드 픽셀 패턴으로 리모자이크 하는 일 예를 나타내는 도면이다.
도 1, 도 2 및 도 9c를 참조하면, 리모자이크 처리부(132)는 NxM개의 4머지드 픽셀에 기초한 제1 이미지를 리모자이크 처리하여 1/2Nx1/2M개의 16머지드 픽셀에서 출력되는 제2 이미지(예로서, 16머지드 픽셀 이미지)로 변환할 수 있다. 즉, 4머지드 픽셀들에서 출력된 제1 이미지를 리모자이크 처리하여 16머지드 픽셀들에서 출력되는 제2 이미지(예로서, 16머지드 픽셀 이미지)가 되도록 이미지를 변환시킬 수 있다. 픽셀 어레이(120)가 물리적으로 4머지드 픽셀 패턴으로 구성되어 있으나, 리모자이크 처리부(132)에서 리모자이크 처리를 수행하여 16머지드 픽셀 패턴의 이미지로 변환시킬 수 있다.
리모자이크 처리부(132)는 리모자이크 처리되어 1/2Nx1/2M개의 16머지드 픽셀에서 출력된 이미지로 변환된 제2 이미지(예로서, 16머지드 픽셀 이미지)를 제2 ISP(133)로 전송할 수 있다. 리모자이크 처리부(132)에서 제1 이미지(예로서, 4머지드 픽셀 이미지)를 1번 리모자이크 처리하여 16머지드 픽셀의 제2 이미지로 변환함으로써, 해상도의 저하 없이 이미지를 1/2배 줌-아웃 시킬 수 있다.
다시, 도 1 및 도 2를 참조하면, 제2 ISP(133)는 입력된 제2 이미지(예로서, 4머지드 픽셀 이미지)에 대해서 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거(Noise Cancel)를 처리를 할 수 있다. 제2 ISP(133)은 입력된 제3 이미지(예로서, 싱글 픽셀 이미지)에 대해서 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거(Noise Cancel)를 처리를 할 수 있다. 제2 ISP(133)는 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거 처리 중에서 적어도 하나를 수행할 수 있다. 제2 ISP(133)는 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거 처리 중에서 적어도 하나가 수행된 제2 이미지 또는 제3 이미지를 제3 ISP(135)로 전송할 수 있다.
노멀 모드 이미지를 호스트 칩(220)으로 출력하거나, 또는 리모자이크 처리를 수행하여 줌-인 모드 이미지를 호스트 칩(220)으로 출력할 때에는 제2 ISP2(133)에서 출력되는 이미지가 다운 스케일러(134)를 거치지 않고 제3 ISP2(135)로 입력될 수 있다. 이미지를 줌-아웃 할 때 이미지가 다운 스케일러(134)로 입력되고, 다운 스케일러(134)의 동작에 의해서 이미지를 줌-아웃 시킬 수 있다. 다운 스케일러(134)는 입력된 이미지를 데시메이션(decimation) 처리하여 이미지의 데이터 용량을 줄일 수 있다. 다운 스케일러(134)의 데시메이션 처리를 통해서 호스트 칩(220)으로 이미지 데이터를 보다 빠르게 전송할 수 있고, 호스트 칩(220)에서 다른 전자 기기로 이미지를 전송할 때 FPS를 높일 수 있다. 다운 스케일러(134)는 데시메이션 처리된 이미지를 제3 ISP(135)로 전송할 수 있다.
제3 ISP(135)는 제2 ISP(133)에서 수행되지 않은 이미지 처리를 수행할 수 있다. 일 예로서, 제2 ISP(133)에서 불량 픽셀 보정 처리가 수행된 경우, 제3 ISP(135)는 렌즈 음영 보정 및 잡음 제거 처리를 수행할 수 있다. 일 예로서, 제2 ISP(133)에서 불량 픽셀 보정 및 렌즈 음영 보정 처리가 수행된 경우, 제3 ISP(135)는 잡음 제거 처리를 수행할 수 있다. 일 예로서, 제2 ISP(133)에서 렌즈 음영 보정 및 잡음 제거 처리가 수행된 경우, 제3 ISP(135)는 불량 픽셀 보정 처리를 수행할 수 있다. 일 예로서, 제2 ISP(133)에서 렌즈 음영 보정 처리가 수행된 경우, 제3 ISP(135)는 불량 픽셀 보정 및 잡음 제거 처리를 수행할 수 있다. 이에 한정되지 않고 제3 ISP(135)는 제2 ISP(133)와 동일한 이미지 처리를 수행할 수도 있다.
제3 ISP(135)는 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거 처리 중 적어도 하나가 수행된 이미지를 출력 인터페이스(136)로 전송할 수 있다. 출력 인터페이스(136)는 입력된 이미지를 전송에 적합한 데이터 신호로 변환하고, 변환된 데이터 신호를 신호 출력부(150)로 전송할 수 있다. 신호 출력부(150)는 출력 인터페이스(136)에서 입력된 데이터 신호를 호스트 칩(220)으로 전송할 수 있다. 신호 처리부(130)는 변환된 데이터 신호를 호스트 칩(220)으로 전송함과 아울러, 메모리(140)에 저장할 수 있다.
호스트 칩(220)은 이미지 센서(100)에서 입력된 데이터 신호를 이미지로 변환하여 디스플레이를 통해 표시할 수 있다. 호스트 칩(220)은 이미지 센서(100)에서 입력된 데이터 신호를 통신 모듈을 통해 다른 전자 기기로 전송할 수 있다.
호스트 칩(220)은 이미지 센서(100)에서 입력된 데이터 신호를 별도의 메모리에 저장할 수도 있다. 호스트 칩(220)은 이미지 센서(100)의 메모리(140)에 저장된 데이터 신호를 로딩하여 디스플레이를 통해 표시하거나, 또는 통신 모듈을 통해 다른 전자 기기로 전송할 수 있다.
도 10은 4머지드 픽셀 패턴을 베이어 픽셀 패턴으로 리모자이크 하여 이미지를 줌-인하는 일 예를 나타내는 도면이다.
도 1, 도 2 및 도 10을 참조하면, 픽셀 어레이(120)는 동일한 컬러필터를 포함하는 4개의 단위 픽셀들이 인접하게 배치된 4머지드 픽셀들로 구성될 수 있다. 픽셀 어레이(120)에서 전체 해상도 이미지의 일부를 크롭하여 N/2xM/2 해상도의 제1 이미지(예로서, 4머지드 픽셀 이미지)를 생성할 수 있다. 이때, 제1 이미지(예로서, 4머지드 픽셀 이미지)는 노멀 모드 이미지 또는 줌-인 모드 이미지일 수 있다. 픽셀 어레이(120)에서 생성된 제1 이미지(예로서, 4머지드 픽셀 이미지)는 신호 처리부(130)로 전송될 수 있다.
신호 처리부(130)의 제1 ISP(131)는 입력된 제1 이미지(예로서, 4머지드 픽셀 이미지)에 대해서 자동 다크 레벨 보정(ADLC), 불량 픽셀 보정, 렌즈 음영 보정 처리 중 적어도 하나를 수행할 수 있다. 제1 ISP(131)는 이미지 처리가 이루어진 제1 이미지(예로서, 4머지드 픽셀 이미지)를 리모자이크 처리부(132)로 전송할 수 있다.
리모자이크 처리부(132)는 N/2xM/2 해상도의 제1 이미지(4머지드 픽셀의 제1 이미지)를 리모자이크 처리하여 NxM 해상도의 베이어 픽셀의 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 리모자이크 처리부(132)에서 제1 이미지(예로서, 4머지드 픽셀 이미지)를 1번 리모자이크 처리하여 베이어 픽셀의 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환함으로써, 해상도의 저하 없이 이미지를 2배 줌-인 시킬 수 있다. 리모자이크 처리부(132)에서 2배 줌-인 처리된 이미지는 제2 ISP(133), 제3 ISP(135), 출력 인터페이스(136) 및 신호 출력부(150)를 거쳐 호스트 칩(220)으로 전송될 수 있다.
도 11a 및 도 11b는 4머지드 픽셀 패턴을 1/2N x 1/2M 베이어 픽셀 패턴으로 비닝(binning)하여 이미지를 줌-아웃하는 일 예를 나타내는 도면이다.
도 1, 도 2, 도 11a 및 도 11b를 참조하면, 픽셀 어레이(120)는 동일한 컬러필터를 포함하는 4개의 단위 픽셀들이 인접하게 배치된 4머지드 픽셀들로 구성될 수 있다. 픽셀 어레이(120)에서 전체 해상도 이미지의 일부를 크롭하여 NxM 해상도의 제1 이미지(예로서, 4머지드 픽셀 이미지)를 생성할 수 있다. 이때, 제1 이미지(예로서, 4머지드 픽셀 이미지)는 노멀 모드 이미지 또는 줌-아웃 모드 이미지일 수 있다. 픽셀 어레이(120)에서 생성된 제1 이미지(예로서, 4머지드 픽셀 이미지)는 신호 처리부(130)로 전송될 수 있다.
신호 처리부(130)의 제1 ISP(131)는 입력된 제1 이미지(예로서, 4머지드 픽셀 이미지)에 대해서 자동 다크 레벨 보정(ADLC), 불량 픽셀 보정, 렌즈 음영 보정 처리 중 적어도 하나를 수행할 수 있다. 제1 ISP(131)는 이미지 처리가 이루어진 제1 이미지(예로서, 4머지드 픽셀 이미지)를 리모자이크 처리부(132)로 전송할 수 있다.
리모자이크 처리부(132)는 NxM 해상도의 제1 이미지(4머지드 픽셀의 제1 이미지)를 비닝(binning) 처리하여 1/2Nx1/2M 해상도의 베이어 픽셀의 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 4머지드 픽셀의 배치구조에서, 레드 컬러필터를 포함하는 레드 픽셀과, 블루 컬러필터를 포함하는 블루 픽셀과, 그린 컬러필터를 포함하는 그린 픽셀의 비율이 1:1:2일 수 있다.
리모자이크 처리부(132)는 인접한 4개의 4머지드 픽셀 각각에서 레드 컬러 이미지 데이터를 추출하고, 추출된 4개의 레드 컬러 이미지 데이터를 머지하여 하나의 레드 컬러 데이터로 변환할 수 있다. 동일한 방식으로, 리모자이크 처리부(132)는 인접한 4개의 4머지드 픽셀 각각에서 블루 컬러 이미지 데이터를 추출하고, 추출된 4개의 블루 컬러 이미지 데이터를 머지하여 하나의 블루 컬러 데이터로 변환할 수 있다. 동일한 방식으로, 리모자이크 처리부(132)는 인접한 4개의 4머지드 픽셀 각각에서 그린 컬러 이미지 데이터를 추출하고, 추출된 4개의 그린 컬러 이미지 데이터를 머지하여 하나의 그린 컬러 데이터로 변환할 수 있다.
리모자이크 처리부(132)에서 제1 이미지(예로서, 4머지드 픽셀 이미지)를 1번 비닝 처리하여 베이어 픽셀의 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환함으로써, 해상도의 저하 없이 이미지를 1/2배 줌-아웃 시킬 수 있다. 리모자이크 처리부(132)에서 1/2배 줌-아웃 처리된 이미지는 제2 ISP(133), 다운 스케일러(134), 제3 ISP(135), 출력 인터페이스(136) 및 신호 출력부(150)를 거쳐 호스트 칩(220)으로 전송될 수 있다.
도 12는 4머지드 픽셀 구조를 가지는 이미지 센서에서 노멀 모드, 줌-인 모드 및 줌-아웃 모드의 이미지를 생성하는 일 예를 나타내는 도면이다.
도 1, 도 2 및 도 12를 참조하면, 픽셀 어레이(120)는 동일한 컬러필터를 포함하는 4개의 단위 픽셀들이 인접하게 배치된 4머지드 픽셀들로 구성될 수 있다. 픽셀 어레이(120)는 48Mp(8,000x6,000) 해상도의 4머지드 픽셀을 포함할 수 있다. 픽셀 어레이(120)의 전체 4머지드 픽셀을 모두 구동시켜 전체 해상도 이미지를 생성하는 경우, 48Mp 사이즈의 이미지를 생성할 수 있다.
노멀 모드 이미지 생성
일 예로서, 픽셀 어레이(120)에서 48Mp(8,000x6,000)의 전체 해상도 이미지의 센터를 기준으로 1/4을 크롭하여 12Mp(4,000x3,000)의 노멀 모드 이미지를 생성할 수 있다. 픽셀 어레이(120)의 전체 4머지드 픽셀들 중에서, 센터를 기준으로 1/4의 4머지드 픽셀들을 구동시켜 12Mp(4,000x3,000)의 노멀 모드 이미지를 생성할 수 있다.
일 예로서, 픽셀 어레이(120)에서 48Mp(8,000x6,000)의 전체 해상도 이미지를 신호 처리부(130)로 전송할 수 있다. 신호 처리부(130)는 48Mp(8,000x6,000)의 전체 해상도 이미지의 센터를 기준으로 1/4을 크롭하여 12Mp(4,000x3,000)의 노멀 모드 이미지를 생성할 수 있다.
줌-인 모드 이미지 생성
일 예로서, 픽셀 어레이(120)에서 48Mp(8,000x6,000)의 전체 해상도 이미지의 센터를 기준으로 1/16을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 픽셀 어레이(120)의 전체 4머지드 픽셀들 중에서, 센터를 기준으로 1/16의 4머지드 픽셀들을 구동시켜 3Mp(2,000x1,500)의 줌-인 모드 이미지를 생성할 수 있다.
일 예로서, 픽셀 어레이(120)에서 48Mp(8,000x6,000)의 전체 해상도 이미지를 신호 처리부(130)로 전송할 수 있다. 신호 처리부(130)는 48Mp(8,000x6,000)의 전체 해상도 이미지의 센터를 기준으로 1/16을 크롭하여 3Mp(2,000x1,500)의 줌-인 모드 이미지를 생성할 수 있다.
리모자이크 처리부(132)는 3Mp(2,000x1,500)의 줌-인 모드 이미지를 리모자이크 처리하여 12Mp(4,000x3,000)의 베이어 픽셀의 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 리모자이크 처리부(132)는 3Mp(2,000x1,500)의 줌-인 모드 이미지를 1번 리모자이크 처리하여 12Mp(4,000x3,000)의 베이어 픽셀의 이미지(예로서, 싱글 픽셀 이미지)로 변환함으로써, 해상도의 저하 없이 이미지를 2배 줌-인 시킬 수 있다. 리모자이크 처리부(132)에서 2배 줌-인 처리된 이미지는 제2 ISP(133), 제3 ISP(135), 출력 인터페이스(136) 및 신호 출력부(150)를 거쳐 호스트 칩(220)으로 전송될 수 있다.
줌-아웃 모드 이미지 생성
일 예로서, 픽셀 어레이(120)의 전체 4머지드 픽셀들을 구동시켜 48Mp(8,000x6,000)의 줌-아웃 모드 이미지를 생성할 수 있다. 줌-아웃 모드 미이지는 픽셀 어레이(120)의 전체 해상도 이미지와 동일할 수 있다. 48Mp(8,000x6,000)의 줌-아웃 모드 이미지는 데이터 사이즈가 큼으로, 데이터 전송에 불리할 수 있다.
일 예로서, 신호 처리부(130)의 리모자이크 처리부(132)에서 48Mp(8,000x6,000)의 줌-아웃 모드 이미지를 비닝 처리하여 이미지를 1/2배 줌-아웃 시킬 수 있다. 리모자이크 처리부(132)의 비닝 처리를 통해서 줌-아웃 모드 이미지의 데이터 사이즈를 노멀 모드 이미지(12Mp) 수준으로 줄일 수 있다.
일 예로서, 신호 처리부(130)의 다운 스케일러(134)에서 48Mp(8,000x6,000)의 줌-아웃 모드 이미지를 데시메이션 처리할 수 있다. 다운 스케일러(134)는 줌-아웃 모드 이미지의 데이터 사이즈를 노멀 모드 이미지(12Mp) 수준으로 줄일 수 있다.
신호 처리부(130)는 해상도의 저하 없이 줌-아웃 모드 이미지를 1/2배 줌-아웃 시킬 수 있다. 리모자이크 처리부(132)에서 2배 줌-아웃 처리된 이미지는 제2 ISP(133), 제3 ISP(135), 출력 인터페이스(136) 및 신호 출력부(150)를 거쳐 호스트 칩(220)으로 전송될 수 있다.
도 12에 도시된 바와 같이, 본 개시의 이미지 센서(100) 및 전자 기기(10)는 유저 인터페이스(210)를 통해 입력된 줌 모드 신호에 따라서 노멀 모드 이미지, 줌-인 모드 이미지 또는 줌-아웃 모드 이미지를 생성할 수 있다. 본 개시의 이미지 센서(100) 및 전자 기기(10)는 노멀 모드 용 렌즈, 줌-인 모드 용 렌즈 및 줌-아웃 모드 용 렌즈들 없이도 노멀 모드 이미지, 줌-인 모드 이미지 또는 줌-아웃 모드 이미지를 생성할 수 있다. 본 개시의 이미지 센서(100) 및 전자 기기(10)는 해상도의 저하 없이 노멀 모드 이미지, 줌-인 모드 이미지 또는 줌-아웃 모드 이미지를 생성할 수 있다. 본 개시의 이미지 센서(100) 및 전자 기기(10)는 48Mp의 전체 해상도 이미지에서 동일한 12Mp의 데이터 사이즈를 가지는 노멀 모드 이미지, 줌-인 모드 이미지 또는 줌-아웃 모드 이미지를 생성할 수 있다.
도 13은 16머지드 픽셀 구조를 가지는 이미지 센서에서 이미지 파일의 용량을 증가시키기 않고 이미지를 1배, 2배, 4배 줌-인하는 일 예를 나타내는 도면이다.
도 1, 도 2 및 도 13을 참조하면, 픽셀 어레이(120)는 동일한 컬러필터를 포함하는 16개의 단위 픽셀들이 인접하게 배치된 16머지드 픽셀들로 구성될 수 있다. 픽셀 어레이(120)는 108Mp(12,000x9,000) 해상도의 16머지드 픽셀을 포함할 수 있다. 픽셀 어레이(120)의 전체 16머지드 픽셀을 모두 구동시켜 전체 해상도 이미지를 생성하는 경우, 108Mp 사이즈의 이미지를 생성할 수 있다.
노멀 모드 이미지 생성
픽셀 어레이(120)에서 108Mp(12,000x9,000)의 전체 해상도 이미지를 신호 처리부(130)로 전송할 수 있다. 신호 처리부(130)는 108Mp(12,000x9,000)의 전체 해상도 이미지를 1/16로 머지하여 6.75Mp(3000x2250)의 노멀 모드 이미지를 생성할 수 있다.
신호 처리부(130)는 전체 해상도 이미지를 제1 ISP(131)를 이용한 이미지 처리를 수행한 후, 전체 해상도 이미지를 1/16로 머지하여 노멀 모드 이미지를 생성할 수 있다. 1/16로 머지된 노멀 모드 이미지를 제2 ISP(133) 및 제3 ISP(135)를 이용하여 이미지 처리를 수행하고, 출력 인터페이스(136)로 전송할 수 있다. 출력 인터페이스(136)는 노멀 모드 이미지를 전송에 적합한 데이터 신호로 변환하고, 변환된 데이터 신호를 신호 출력부(150)로 전송할 수 있다. 신호 출력부(150)는 출력 인터페이스(136)에서 입력된 데이터 신호를 호스트 칩(220)으로 전송할 수 있다. 신호 처리부(130)는 변환된 데이터 신호를 호스트 칩(220)으로 전송함과 아울러, 메모리(140)에 저장할 수 있다.
2배 줌-인 모드 이미지 생성
픽셀 어레이(120)에서 108Mp(12,000x9,000)의 전체 해상도 이미지의 센터를 기준으로 1/4을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 픽셀 어레이(120)의 전체 16머지드 픽셀들 중에서, 센터를 기준으로 1/4의 16머지드 픽셀들을 구동시켜 줌-인 모드 이미지를 생성할 수 있다. 이후, 리모자이크 처리부(132)에서 줌-인 모드 이미지를 리모자이크 처리하여 4머지드 픽셀 이미지로 변환시킬 수 있다. 결과적으로, 108Mp(12,000x9,000)의 전체 해상도 이미지에서 6.75Mp(3000x2250)의 2배 줌-인 모드 이미지를 생성할 수 있다.
108Mp(12,000x9,000)의 전체 해상도 이미지의 센터를 기준으로 1/4을 크롭하여 줌-인 모드 이미지를 생성한 후, 제1 ISP(131)를 이용하여 이미지 처리를 수행할 수 있다. 이후, 리모자이크 처리부(132)에서 줌-인 모드 이미지의 리모자이크 변환을 수행할 수 있다. 이후, 리모자이크 처리된 2배 줌-인 모드 이미지를 제2 ISP(133) 및 제3 ISP(135)를 이용하여 이미지 처리를 수행하고, 출력 인터페이스(136)로 전송할 수 있다. 출력 인터페이스(136)는 2배 줌-인 처리된 이미지를 전송에 적합한 데이터 신호로 변환하고, 변환된 데이터 신호를 신호 출력부(150)로 전송할 수 있다. 신호 출력부(150)는 출력 인터페이스(136)에서 입력된 데이터 신호를 호스트 칩(220)으로 전송할 수 있다. 신호 처리부(130)는 변환된 데이터 신호를 호스트 칩(220)으로 전송함과 아울러, 메모리(140)에 저장할 수 있다.
4배 줌-인 모드 이미지 생성
픽셀 어레이(120)에서 108Mp(12,000x9,000)의 전체 해상도 이미지의 센터를 기준으로 1/16을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 픽셀 어레이(120)의 전체 16머지드 픽셀들 중에서, 센터를 기준으로 1/6의 16머지드 픽셀들을 구동시켜 줌-인 모드 이미지를 생성할 수 있다. 이후, 리모자이크 처리부(132)에서 줌-인 모드 이미지를 리모자이크 처리하여 베이어 픽셀 이미지(싱글 픽셀 이미지)로 변환시킬 수 있다. 결과적으로, 108Mp(12,000x9,000)의 전체 해상도 이미지에서 6.75Mp(3000x2250)의 4배 줌-인 모드 이미지를 생성할 수 있다.
108Mp(12,000x9,000)의 전체 해상도 이미지의 센터를 기준으로 1/16을 크롭하여 줌-인 모드 이미지를 생성한 후, 제1 ISP(131)를 이용하여 이미지 처리를 수행할 수 있다. 이후, 리모자이크 처리부(132)에서 줌-인 모드 이미지의 리모자이크 변환을 수행할 수 있다. 이후, 리모자이크 처리된 4배 줌-인 모드 이미지를 제2 ISP(133) 및 제3 ISP(135)를 이용하여 이미지 처리를 수행하고, 출력 인터페이스(136)로 전송할 수 있다. 출력 인터페이스(136)는 4배 줌-인 처리된 이미지를 전송에 적합한 데이터 신호로 변환하고, 변환된 데이터 신호를 신호 출력부(150)로 전송할 수 있다. 신호 출력부(150)는 출력 인터페이스(136)에서 입력된 데이터 신호를 호스트 칩(220)으로 전송할 수 있다. 신호 처리부(130)는 변환된 데이터 신호를 호스트 칩(220)으로 전송함과 아울러, 메모리(140)에 저장할 수 있다.
도 13에 도시된 바와 같이, 본 개시의 이미지 센서(100) 및 전자 기기(10)는 유저 인터페이스(210)를 통해 입력된 줌 모드 신호에 따라서 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성할 수 있다. 본 개시의 이미지 센서(100) 및 전자 기기(10)는 노멀 모드 용 렌즈 및 줌-인 모드 용 렌즈 없이도 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성할 수 있다. 본 개시의 이미지 센서(100) 및 전자 기기(10)는 해상도의 저하 없이 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성할 수 있다. 본 개시의 이미지 센서(100) 및 전자 기기(10)는 108Mp의 전체 해상도 이미지에서 동일한 6.75Mp의 데이터 사이즈를 가지는 노멀 모드 이미지, 2배 줌-인 모드 이미지 또는 4배 줌-인 모드 이미지를 생성할 수 있다.
도 14는 본 개시의 일 실시 예에 따른 이미지 센서를 포함하는 전자 기기를 나타내는 도면이다. 도 15는 이미지 센서의 신호 처리부를 나타내는 도면이다. 도 16은 호스트 칩을 나타내는 도면이다. 도 17은 호스트 칩의 이미지 처리부를 나타내는 도면이다.
도 14 내지 도 17을 참조하면, 본 개시의 일 실시 예에 따른 전자 기기(20)는 이미지 센서(300), 유저 인터페이스(210) 및 호스트 칩(400)을 포함할 수 있다. 이미지 센서(300)는 타이밍 제너레이터(310), 픽셀 어레이(320), 신호 처리부(330), 메모리(340) 및 신호 출력부(350)를 포함할 수 있다. 신호 처리부(330)는 제1 ISP(331, Image Signal Processor 1) 및 출력 인터페이스(332, output interface)를 포함할 수 있다.
본 개시의 실시 예에 따른 전자 기기(20)는 유저 인터페이스(210) 및 호스트 칩(400)을 포함하며, 디스플레이 및 통신 기능이 포함된 장치일 수 있다. 일 예로서, 전자 기기(20)는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 웨어러블 장치(wearable device)(예로서, 스마트 워치(smart watch)), 전차 책(e-book), 노트북 컴퓨터(notebook computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), 모바일 의료기기 또는 디지털 카메라(digital camera) 중 하나일 수 있다.
이미지 센서(300)의 픽셀 어레이(320)는 도 3a에 도시된 픽셀 어레이(120)와 동일하게 단위 픽셀들이 2차원 어레이 형태로 배열될 수 있다. 일 예로서, 세로 방향으로 N개의(N은 1 이상의 정수) 단위 픽셀이 배열되고, 가로 방향으로 M개의(M은 1 이상의 정수) 단위 픽셀이 배열되어 픽셀 어레이(320)를 구성할 수 있다. 전체 단위 픽셀 중에서 25%는 레드 컬러필터를 포함하고, 25%는 블루 컬러필터를 포함하고, 50%는 그린 컬러필터를 포함할 수 있다. 픽셀 어레이(320)는 시모스 이미지 센서(CMOS Image Sensor, CIS)가 적용될 수 있다. 동일 컬러필터를 포함하는 단위 픽셀들이 인접하게 배치되어 픽셀 어레이(320)가 구성될 수 있다.
일 예로서, 동일한 컬러필터를 포함하는 16개의 단위 픽셀(121)이 4x4 형태로 배열된 16머지드 픽셀 패턴으로 픽셀 어레이(320)가 구성될 수 있다. 즉, 동일 컬러필터를 포함하는 16개의 단위 픽셀들이 모여 하나의 16머지드 픽셀을 구성할 수 있다. 상하좌우에 서로 다른 16머지드 픽셀들이 배치되어 픽셀 어레이(320)가 구성될 수 있다.
일 예로서, 동일한 컬러필터를 포함하는 4개의 단위 픽셀이 2x2 형태로 배열된 4머지드 픽셀 패턴으로 픽셀 어레이(320)가 구성될 수 있다. 즉, 동일 컬러필터를 포함하는 4개의 단위 픽셀들이 모여 하나의 4머지드 픽셀을 구성할 수 있다. 상하좌우에 서로 다른 4머지드 픽셀들이 배치되어 픽셀 어레이(320)가 구성될 수 있다.
이미지 센서(300)는 입력된 줌 모드에 따라서 전체 해상도 이미지에서 일부를 크롭하여 노멀 모드 이미지 또는 줌-인 모드 이미지 또는 줌 아웃-이미지를 생성할 수 있다.
노멀 모드 이미지 생성
타이밍 제너레이터(310)는 입력된 노멀 모드 신호에 기초하여 픽셀 어레이(320)의 전체 단위 픽셀을 구동시킬 수 있다. 픽셀 어레이(320)의 전체 단위 픽셀의 신호 출력이 온(on)되어 전체 해상도 이미지가 생성될 수 있다. 이후, 픽셀 어레이(320)에서 생성된 전체 해상도 이미지가 호스트 칩(500)으로 전송될 수 있다. 호스트 칩(400)에서 전체 해상도 이미지의 일부를 크롭하여 노멀 모드 이미지를 생성할 수 있다.
이미지 센서(300)는 전체 해상도 이미지에서 특정 지점을 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 즉, 전체 단위 픽셀 중에서 1/2~1/16의 단위 픽셀에서 출력되는 이미지 신호에 기초하여 노멀 모드 이미지를 생성할 수 있다. 전체 머지드 픽셀 중에서 1/2~1/16의 머지드 픽셀에서 출력되는 이미지 신호에 기초하여 노멀 모드 이미지를 생성할 수 있다.
일 예로서, 도 5a에 도시된 바와 같이, 이미지 센서(300)는 전체 해상도 이미지의 센터를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 즉, 이미지 센서(300)는 픽셀 어레이(320)의 센터를 기준으로 전체 단위 픽셀 중에서 1/2~1/16의 단위 픽셀들의 신호 출력을 온(on)시켜 노멀 모드 이미지를 생성할 수 있다.
일 예로서, 도 5b에 도시된 바와 같이, 이미지 센서(300)는 전체 해상도 이미지의 상부 좌측 모서리(a)를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 즉, 이미지 센서(300)는 픽셀 어레이(120)의 상부 좌측 모서리(a)를 기준으로 전체 단위 픽셀 중에서 1/2~1/16의 단위 픽셀들의 신호 출력을 온(on)시켜 노멀 모드 이미지를 생성할 수 있다.
이에 한정되지 않고, 이미지 센서(300)는 전체 해상도 이미지의 상부 우측 모서리(b)를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(300)는 전체 해상도 이미지의 하부 좌측 모서리(c)를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(300)는 전체 해상도 이미지의 하부 우측 모서리(d)를 기준으로 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다.
일 예로서, 이미지 센서(300)는 전체 해상도 이미지의 센터(즉, 픽셀 어레이(120)의 센터)와 4개의 모서리(a, b, c, d) 사이의 특정 지점을 기준으로, 전체 해상도 이미지의 1/2~1/16의 면적에 해당하는 부분을 크롭하여 노멀 모드 이미지를 생성할 수 있다.
줌-인 모드 이미지 생성
유저 인터페이스(210)에서 줌-인 모드 신호가 이미지 센서(300)로 입력될 수 있다. 타이밍 제너레이터(310)는 입력된 줌-인 모드 신호에 기초하여 픽셀 어레이(320)의 전체 단위 픽셀을 구동시킬 수 있다. 도 4에 도시된 바와 같이, 이미지 센서(300)는 픽셀 어레이(320)의 전체 단위 픽셀의 구동에 의해서 생성된 전체 해상도 이미지에서 일부를 크롭할 수 있다. 이미지 센서(300)는 전체 해상도 이미지에서 일부를 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 이미지 센서(300)는 전체 해상도 이미지에서 노멀 모드 이미지보다 작은 면적(예로서, 노멀 모드 이미지 대비 1/2~1/4 면적)을 크롭하여 줌-인 모드 이미지를 생성할 수 있다.
일 예로서, 타이밍 제너레이터(310)는 픽셀 어레이(320)의 전체 단위 픽셀 중에서 줌-인 모드에 대응되는 제1 단위 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다. 일 예로서, 타이밍 제너레이터(310)는 픽셀 어레이(320)의 전체 머지드 픽셀 중에서 줌-인 모드에 대응되는 제1 머지드 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다.
타이밍 제너레이터(310)는 픽셀 어레이(320)의 전체 단위 픽셀 중에서 줌-인 모드에 대응되는 제1 단위 픽셀들을 제외한 제2 단위 픽셀들의 신호 출력을 오프(off)시킬 수 있다. 타이밍 제너레이터(310)는 픽셀 어레이(320)의 전체 머지드 픽셀 중에서 줌-인 모드에 대응되는 제1 머지드 픽셀들을 제외한 제2 머지드 픽셀들의 신호 출력을 오프(off)시킬 수 있다. 즉, 이미지 센서(300)는 이미지의 줌 모드 신호가 입력되기 전에는 전체 단위 픽셀을 구동시키고, 전자 기기(20)는 전체 해상도 이미지를 화면에 표시할 수 있다. 이미지 센서(300)는 줌-인 모드 신호가 입력되면 제1 단위 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다. 이미지 센서(300)는 줌-인 모드 신호에 대응되는 제1 단위 픽셀들을 제외한 제2 단위 픽셀들의 신호 출력을 오프(off)시킬 수 있다.
일 예로서, 타이밍 제너레이터(310)는 입력된 줌-인 모드 신호에 기초하여 픽셀 어레이(320)의 전체 단위 픽셀을 구동시킬 수 있다. 픽셀 어레이(320)의 전체 단위 픽셀의 신호 출력이 온(on)되어 전체 해상도 이미지가 생성될 수 있다. 이후, 픽셀 어레이(320)에서 생성된 전체 해상도 이미지가 호스트 칩(400)으로 전송될 수 있다.
일 예로서, 도 6a에 도시된 바와 같이, 이미지 센서(300)는 전체 해상도 이미지의 센터를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 즉, 이미지 센서(300)는 픽셀 어레이(320)의 센터를 기준으로 전체 단위 픽셀 중에서 1/4~1/64의 단위 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다. 이미지 센서(300)는 픽셀 어레이(320)의 센터를 기준으로 전체 머지드 픽셀 중에서 1/4~1/64의 머지드 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다.
일 예로서, 도 6b에 도시된 바와 같이, 이미지 센서(300)는 전체 해상도 이미지의 상부 좌측 모서리(a)를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 즉, 이미지 센서(300)는 픽셀 어레이(320)의 상부 좌측 모서리(a)를 기준으로 전체 단위 픽셀 중에서 1/4~1/64의 단위 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다. 이미지 센서(300)는 픽셀 어레이(320)의 상부 좌측 모서리(a)를 기준으로 전체 머지드 픽셀 중에서 1/4~1/64의 머지드 픽셀들의 신호 출력을 온(on)시켜 줌-인 모드 이미지를 생성할 수 있다.
이에 한정되지 않고, 이미지 센서(300)는 전체 해상도 이미지의 상부 우측 모서리(b)를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(300)는 전체 해상도 이미지의 하부 좌측 모서리(c)를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다. 이에 한정되지 않고, 이미지 센서(300)는 전체 해상도 이미지의 하부 우측 모서리(d)를 기준으로 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다.
일 예로서, 이미지 센서(300)는 전체 해상도 이미지의 센터(즉, 픽셀 어레이(120)의 센터)와 4개의 모서리(a, b, c, d) 사이의 특정 지점을 기준으로, 전체 해상도 이미지의 1/4~1/64의 면적에 해당하는 부분을 크롭하여 줌-인 모드 이미지를 생성할 수 있다.
줌-아웃 모드 이미지 생성
유저 인터페이스(410)에서 줌-아웃 모드 신호가 이미지 센서(300)로 입력될 수 있다. 타이밍 제너레이터(310)는 입력된 줌-아웃 모드 신호에 기초하여 픽셀 어레이(320)의 전체 단위 픽셀을 구동시킬 수 있다. 도 4에 도시된 바와 같이, 이미지 센서(300)는 픽셀 어레이(320)의 전체 단위 픽셀의 구동에 의해서 생성된 전체 해상도 이미지에 기초하여 줌-아웃 모드 이미지를 생성할 수 있다. 이미지 센서(300)는 픽셀 어레이(320)의 전체 머지드 픽셀의 구동에 의해서 생성된 전체 해상도 이미지에 기초하여 줌-아웃 모드 이미지를 생성할 수 있다.
일 예로서, 타이밍 제너레이터(310)는 입력된 줌-아웃 모드 신호에 기초하여 픽셀 어레이(320)의 전체 단위 픽셀을 구동시킬 수 있다. 타이밍 제너레이터(310)는 픽셀 어레이(320)의 전체 단위 픽셀의 신호 출력을 온(on)시켜 줌-아웃 모드 이미지를 생성할 수 있다.
일 예로서, 타이밍 제너레이터(310)는 입력된 줌-아웃 모드 신호에 기초하여 픽셀 어레이(320)의 전체 머지드 픽셀을 구동시킬 수 있다. 타이밍 제너레이터(310)는 픽셀 어레이(320)의 전체 머지드 픽셀의 신호 출력을 온(on)시켜 줌-아웃 모드 이미지를 생성할 수 있다.
픽셀 어레이(320)의 전체 단위 픽셀 또는 전체 머지드 픽셀의 신호 출력이 온(on)되어 전체 해상도 이미지가 생성될 수 있다. 이후, 픽셀 어레이(320)에서 생성된 전체 해상도 이미지가 호스트 칩(400)으로 전송될 수 있다.
이미지 센서(300)의 제1 ISP(331)는 노멀 모드 이미지 또는 줌-인 모드 이미지 또는 줌 아웃-이미지에 대해서 이미지 처리를 수행한 후, 출력 인터페이스(332)로 전송할 수 있다.
출력 인터페이스(332)는 이미지 처리가 수행된 노멀 모드 이미지 또는 줌-인 모드 이미지 또는 줌 아웃-이미지를 전송에 적합한 데이터 신호로 변환하고, 변환된 데이터 신호를 신호 출력부(350)로 전송할 수 있다.
신호 출력부(350)는 출력 인터페이스(332)에서 입력된 데이터 신호를 호스트 칩(400)으로 전송할 수 있다. 신호 처리부(330)는 변환된 데이터 신호를 호스트 칩(400)으로 전송함과 아울러, 메모리(340)에 저장할 수 있다.
호스트 칩(400)은 신호 입력부(410) 및 이미지 처리부(420)를 포함할 수 있다. 호스트 칩(400)은 이미지 센서(300)에서 입력된 데이터 신호를 이미지로 변환하여 디스플레이를 통해 표시할 수 있다. 호스트 칩(400)은 이미지 센서(300)에서 입력된 데이터 신호를 통신 모듈을 통해 다른 전자 기기로 전송할 수 있다.
호스트 칩(400)은 이미지 센서(300)에서 입력된 데이터 신호를 별도의 메모리에 저장할 수도 있다. 호스트 칩(400)은 이미지 센서(300)의 메모리(340)에 저장된 데이터 신호를 로딩하여 디스플레이를 통해 표시하거나, 또는 통신 모듈을 통해 다른 전자 기기로 전송할 수 있다.
이미지 처리부(420)는 입력 인터페이스(421), 제2 ISP(422), 리모자이크 처리부(423), 제3 ISP(424) 및 다운 스케일러(425)를 포함할 수 있다.
이미지 센서(300)에서 NxM개의 16머지드 픽셀들에서 출력된 제1 이미지를 데이터 신호로 변환하여 호스트 칩(400)으로 전송할 수 있다. 이미지 처리부(420)는 이미지 센서(300)로부터 데이터 신호를 입력 받을 수 있다. 입력 인터페이스(421)는 입력된 데이터 신호를 NxM개의 16머지드 픽셀들에서 출력된 제1 이미지로 변환할 수 있다. 입력 인터페이스(421)는 제1 이미지를 제2 ISP(422)로 전송할 수 있다.
제2 ISP(422)는 입력된 제1 이미지(예로서, 4머지드 픽셀 이미지)에 대해서 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거(Noise Cancel) 처리 중 적어도 하나를 수행할 수 있다. 제2 ISP(422)는 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거 처리 중에서 적어도 하나가 수행된 제1 이미지를 리모자이크 처리부(423)로 전송할 수 있다.
일 예로서, 리모자이크 처리부(423)는 NxM개의 16머지드 픽셀에 기초한 제1 이미지를 리모자이크 처리하여 2Nx2M개의 4머지드 픽셀들에서 출력되는 제2 이미지(예로서, 4머지드 픽셀 이미지)로 변환할 수 있다. 즉, 리모자이크 처리부(423)는 16머지드 픽셀들에서 출력된 제1 이미지를 리모자이크 처리하여 4머지드 픽셀들에서 출력되는 제2 이미지(예로서, 4머지드 픽셀 이미지)가 되도록 이미지를 변환시킬 수 있다. 픽셀 어레이(320)가 물리적으로 16머지드 픽셀 패턴으로 구성되어 있으나, 리모자이크 처리부(423)에서 리모자이크 처리를 수행하여 4머지드 픽셀 패턴의 이미지로 변환시킬 수 있다. 리모자이크 처리부(423)는 리모자이크 처리되어 2Nx2M개의 4머지드 픽셀들에서 출력되는 제2 이미지(예로서, 4머지드 픽셀 이미지)를 제3 ISP(424)로 전송할 수 있다. 리모자이크 처리부(423)에서 16머지드 픽셀의 제1 이미지를 1번 리모자이크 처리하여 4머지드 픽셀의 제2 이미지로 변환함으로써, 해상도의 저하 없이 이미지를 2배 줌-인 시킬 수 있다.
일 예로서, 신호 처리부(423)는 NxM개의 16머지드 픽셀에서 출력된 제1 이미지를 2번 리모자이크 처리하여 4Nx4M개의 베이어 픽셀에서 출력된 제3 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 리모자이크 처리부(423)는 리모자이크 처리되어 4Nx4M개의 베이어 픽셀에서 출력된 이미지로 변환된 제3 이미지(예로서, 싱글 픽셀 이미지)를 제3 ISP(424)로 전송할 수 있다. 리모자이크 처리부(423)에서 16머지드 픽셀의 제1 이미지를 2번 리모자이크 처리하여 싱글 픽셀의 제3 이미지로 변환함으로써, 해상도의 저하 없이 이미지를 4배 줌-인 시킬 수 있다.
다시, 도 17을 참조하면, 제3 ISP(424)는 입력된 제2 이미지(예로서, 4머지드 픽셀 이미지) 또는 제3 이미지(예로서, 싱글 픽셀 이미지)에 대해서 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거(Noise Cancel)를 처리를 할 수 있다. 제3 ISP(424)는 불량 픽셀 보정, 렌즈 음영 보정 및 잡음 제거 처리가 수행된 제2 이미지 또는 제3 이미지를 디스플레이 장치 및 통신 모듈로 출력할 수 있다.
호스트 칩(400)에서 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성할 때에는 다운 스케일러(425)를 구동시키지 않을 수 있다.
호스트 칩(400)에서 이미지를 줌-아웃 할 때, 이미지가 다운 스케일러(425)로 입력되고, 다운 스케일러(425)의 동작에 의해서 이미지를 줌-아웃 시킬 수 있다. 다운 스케일러(425)는 입력된 이미지를 데시메이션(decimation) 처리하여 이미지의 데이터 용량을 줄일 수 있다. 다운 스케일러(425)의 데시메이션 처리를 통해서 다른 전자 기기로 이미지를 전송할 때 FPS를 높일 수 있다. 다운 스케일러(134)는 데시메이션 처리된 이미지를 제3 ISP(135)로 전송할 수 있다.
호스트 칩(400)에서 노멀 모드 이미지, 줌-인 모드 이미지 또는 줌-아웃 모드 이미지를 생성할 때, 도 9a 내지 도 13을 참조하여 설명한 노멀 모드 이미지, 줌-인 모드 이미지 또는 줌-아웃 모드 이미지의 생성 방법이 적용될 수 있다.
일 예로서, 리모자이크 처리부(423)는 N/2xM/2 해상도의 제1 이미지(4머지드 픽셀의 제1 이미지)를 리모자이크 처리하여 NxM 해상도의 베이어 픽셀의 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 리모자이크 처리부(423)에서 제1 이미지(예로서, 4머지드 픽셀 이미지)를 1번 리모자이크 처리하여 베이어 픽셀의 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환함으로써, 해상도의 저하 없이 이미지를 2배 줌-인 시킬 수 있다.
일 예로서, 리모자이크 처리부(423)는 NxM 해상도의 제1 이미지(4머지드 픽셀의 제1 이미지)를 비닝(binning) 처리하여 1/2Nx1/2M 해상도의 베이어 픽셀의 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 4머지드 픽셀의 배치구조에서, 레드 컬러필터를 포함하는 레드 픽셀과, 블루 컬러필터를 포함하는 블루 픽셀과, 그린 컬러필터를 포함하는 그린 픽셀의 비율이 1:1:2일 수 있다.
리모자이크 처리부(423)는 인접한 4개의 4머지드 픽셀 각각에서 레드 컬러 이미지 데이터를 추출하고, 추출된 4개의 레드 컬러 이미지 데이터를 머지하여 하나의 레드 컬러 데이터로 변환할 수 있다. 동일한 방식으로, 리모자이크 처리부(423)는 인접한 4개의 4머지드 픽셀 각각에서 블루 컬러 이미지 데이터를 추출하고, 추출된 4개의 블루 컬러 이미지 데이터를 머지하여 하나의 블루 컬러 데이터로 변환할 수 있다. 동일한 방식으로, 리모자이크 처리부(423)는 인접한 4개의 4머지드 픽셀 각각에서 그린 컬러 이미지 데이터를 추출하고, 추출된 4개의 그린 컬러 이미지 데이터를 머지하여 하나의 그린 컬러 데이터로 변환할 수 있다.
리모자이크 처리부(423)에서 제1 이미지(예로서, 4머지드 픽셀 이미지)를 1번 비닝 처리하여 베이어 픽셀의 제2 이미지(예로서, 싱글 픽셀 이미지)로 변환함으로써, 해상도의 저하 없이 이미지를 1/2배 줌-아웃 시킬 수 있다.
일 예로서, 리모자이크 처리부(423)는 3Mp(2,000x1,500)의 줌-인 모드 이미지를 리모자이크 처리하여 12Mp(4,000x3,000)의 베이어 픽셀의 이미지(예로서, 싱글 픽셀 이미지)로 변환할 수 있다. 리모자이크 처리부(423)는 3Mp(2,000x1,500)의 줌-인 모드 이미지를 1번 리모자이크 처리하여 12Mp(4,000x3,000)의 베이어 픽셀의 이미지(예로서, 싱글 픽셀 이미지)로 변환함으로써, 해상도의 저하 없이 이미지를 2배 줌-인 시킬 수 있다.
이상, 첨부된 도면을 참조하여 본 발명의 기술적 사상에 따른 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해하여야 한다.
10, 200: 전자 기기 100, 300: 이미지 센서
210: 유저 인터페이스 220, 400: 호스트 칩
110, 310: 타이밍 제너레이터 120, 320: 픽셀 어레이
130: 신호 처리부 140: 메모리
150: 신호 출력부 131: 제1 ISP
132: 리모자이크 처리부 133: 제2 ISP
134: 다운 스케일러 135: 제3 ISP
136: 출력 인터페이스

Claims (10)

  1. 픽셀 어레이, 신호 처리부 및 신호 출력부를 포함하는 이미지 센서의 이미지 줌 프로세싱 방법에 있어서,
    상기 픽셀 어레이에 배치된 복수의 머지드 픽셀을 구동시켜 전체 해상도 이미지를 생성하고, 상기 전체 해상도 이미지의 일부를 크롭하여 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성하고,
    상기 신호 처리부에서 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 리모자이크 처리하고,
    리모자이크 처리된 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 전자 기기의 호스트 칩으로 출력하는, 이미지 줌 프로세싱 방법.
  2. 제1 항에 있어서,
    상기 픽셀 어레이는 동일 컬러필터를 포함하는 16개의 단위 픽셀들이 인접하게 배치된 복수의 16머지드 픽셀 패턴을 포함하고,
    상기 복수의 16머지드 픽셀 패턴에서 입력된 이미지 신호로 상기 전체 해상도 이미지를 생성하는, 이미지 줌 프로세싱 방법.
  3. 제2 항에 있어서,
    상기 16머지드 픽셀 패턴에서 입력된 이미지 신호를 4머지드 픽셀 패턴의 이미지로 리모자이크하는, 이미지 줌 프로세싱 방법.
  4. 제3 항에 있어서,
    상기 4머지드 픽셀 패턴의 이미지를 베이어(bayer) 패턴 이미지로 변환하는, 이미지 줌 프로세싱 방법.
  5. 제1 항에 있어서,
    상기 픽셀 어레이는 동일 컬러필터를 포함하는 4개의 단위 픽셀들이 인접하게 배치된 복수의 4머지드 픽셀 패턴을 포함하고,
    상기 복수의 4머지드 픽셀 패턴에서 입력된 이미지 신호로 상기 전체 해상도 이미지를 생성하는, 이미지 줌 프로세싱 방법.
  6. 제5 항에 있어서,
    상기 4머지드 픽셀 패턴에서 입력된 이미지 신호를 베이어 패턴 이미지로 리모자이크하는, 이미지 줌 프로세싱 방법.
  7. 제5 항에 있어서,
    상기 4머지드 픽셀 패턴에서 입력된 이미지 신호를 16머지드 픽셀 패턴의 이미지로 리모자이크하는, 이미지 줌 프로세싱 방법.
  8. 픽셀 어레이, 신호 처리부 및 신호 출력부를 포함하는 이미지 센서의 이미지 줌 프로세싱 방법에 있어서,
    상기 픽셀 어레이에 배치된 복수의 머지드 픽셀을 구동시켜 전체 해상도 이미지를 생성하고, 상기 전체 해상도 이미지의 일부를 크롭하여 줌-아웃 모드 이미지를 생성하고,
    상기 신호 처리부에서, 상기 줌-아웃 모드 이미지를 비닝(binning) 처리하고,
    상기 신호 출력부에서, 비닝 처리된 상기 줌-아웃 모드 이미지를 전자 기기의 호스트 칩으로 출력하는, 이미지 줌 프로세싱 방법.
  9. 이미지 센서를 포함하는 전자 기기의 이미지 줌 프로세싱 방법에 있어서,
    상기 이미지 센서의 픽셀 어레이에 배치된 복수의 머지드 픽셀을 구동시켜 전체 해상도 이미지를 생성하고, 상기 전체 해상도 이미지의 일부를 크롭하여 노멀 모드 이미지 또는 줌-인 모드 이미지를 생성하고,
    상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 상기 전자 기기의 호스트 칩으로 전송하고,
    상기 호스트 칩에서 상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 리모자이크 처리하는, 이미지 줌 프로세싱 방법.
  10. 복수의 머지드 픽셀이 배치되고, 상기 복수의 머지드 픽셀의 전체 또는 일부가 구동되어 노멀 모드 이미지, 줌-인 모드 이미지, 또는 줌-아웃 모드 이미지를 생성하는 픽셀 어레이;
    유저 인터페이스에서 입력된 줌 모드에 기초하여 상기 복수의 머지드 픽셀 각각을 구동시키는 타이밍 제너레이터;
    상기 노멀 모드 이미지 또는 상기 줌-인 모드 이미지를 리모자이크 처리하거나, 상기 줌-아웃 모드 이미지를 비닝(binning) 처리하는 신호 처리부; 및
    리모자이크 또는 비닝 처리된 이미지를 전자 기기의 호스트 칩으로 출력하는 신호 출력부를 포함하는, 이미지 센서.
KR1020180101965A 2018-08-29 2018-08-29 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법 KR102530752B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180101965A KR102530752B1 (ko) 2018-08-29 2018-08-29 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법
US16/359,153 US11044407B2 (en) 2018-08-29 2019-03-20 Image sensor and electronic device including the image sensor, and method of image zoom processing
CN201910486359.7A CN110876027B (zh) 2018-08-29 2019-06-05 图像传感器和包括其的电子设备、以及图像缩放处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180101965A KR102530752B1 (ko) 2018-08-29 2018-08-29 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법

Publications (2)

Publication Number Publication Date
KR20200025107A KR20200025107A (ko) 2020-03-10
KR102530752B1 true KR102530752B1 (ko) 2023-05-10

Family

ID=69639182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180101965A KR102530752B1 (ko) 2018-08-29 2018-08-29 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법

Country Status (3)

Country Link
US (1) US11044407B2 (ko)
KR (1) KR102530752B1 (ko)
CN (1) CN110876027B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629343B1 (ko) * 2018-12-21 2024-01-26 삼성전자주식회사 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치
KR102213765B1 (ko) * 2019-08-09 2021-02-08 엘지이노텍 주식회사 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
KR20210158201A (ko) * 2020-06-23 2021-12-30 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 이에 대한 제어 방법
KR20220004436A (ko) 2020-07-03 2022-01-11 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
EP4216534A4 (en) * 2020-10-09 2024-01-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR RECEIVING IMAGES, TERMINAL AND COMPUTER-READABLE STORAGE MEDIUM
KR20220075028A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CN113727016A (zh) * 2021-06-15 2021-11-30 荣耀终端有限公司 一种拍摄方法及电子设备
KR20230014551A (ko) 2021-07-21 2023-01-30 삼성전자주식회사 이미지 센서, 이미지 처리 장치 및 이미지 처리 방법
EP4131947B1 (en) 2021-08-02 2024-04-17 Imec VZW An imaging system and a method for acquisition of multi-spectral images
CN115706850B (zh) * 2021-08-12 2024-04-05 荣耀终端有限公司 图像拍摄的方法、设备和存储介质
US11582405B1 (en) * 2021-09-23 2023-02-14 Qualcomm Incorporated Image data processing using non-integer ratio transforming for color arrays
CN116709042B (zh) * 2022-02-24 2024-07-09 荣耀终端有限公司 一种图像处理方法和电子设备
CN114693580B (zh) * 2022-05-31 2022-10-18 荣耀终端有限公司 图像处理方法及其相关设备
CN115426449B (zh) * 2022-07-30 2023-07-11 荣耀终端有限公司 一种拍照方法和终端
WO2024085501A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 이미지 센서의 이미지를 이용한 학습 기반 화질 개선 방법 및 이를 지원하는 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013005727A1 (ja) 2011-07-05 2013-01-10 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 撮像装置及び記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852405B1 (en) 2003-06-27 2010-12-14 Zoran Corporation Method and apparatus for high definition capture
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100624473B1 (ko) * 2004-12-14 2006-09-18 삼성전자주식회사 이미지 처리장치 및 그 방법
KR101086501B1 (ko) * 2008-11-26 2011-11-25 주식회사 하이닉스반도체 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
KR20110029217A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 내부 변환을 통하여 ｒｇｂ베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
HK1167067A2 (en) * 2011-09-06 2012-11-16 Smart Edge Invest Ltd A system and method for processing a very wide angle image
WO2013108656A1 (ja) * 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム
KR102092846B1 (ko) * 2013-03-08 2020-03-24 삼성전자주식회사 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법
KR102136852B1 (ko) * 2013-12-30 2020-07-22 삼성전자 주식회사 Tfa 기반의 시모스 이미지 센서 및 그 동작방법
KR101651741B1 (ko) 2014-09-30 2016-08-26 한국전자통신연구원 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법
KR20160061729A (ko) 2014-11-24 2016-06-01 삼성전자주식회사 촬영 장치 및 그의 제어 방법
KR101653802B1 (ko) 2015-03-23 2016-09-05 주식회사 엔씨소프트 3d 캡쳐 시스템 및 방법
KR102356706B1 (ko) * 2015-07-07 2022-01-27 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
KR102407624B1 (ko) * 2015-10-06 2022-06-10 삼성전자주식회사 전자 장치의 영상 처리 방법 및 그 전자 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013005727A1 (ja) 2011-07-05 2013-01-10 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 撮像装置及び記録媒体

Also Published As

Publication number Publication date
CN110876027B (zh) 2024-03-12
US11044407B2 (en) 2021-06-22
US20200077026A1 (en) 2020-03-05
CN110876027A (zh) 2020-03-10
KR20200025107A (ko) 2020-03-10

Similar Documents

Publication Publication Date Title
KR102530752B1 (ko) 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법
US11356629B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US11637970B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
JP6440844B2 (ja) 固体撮像装置
CN110771155B (zh) 固态摄像装置、固态摄像装置的驱动方法、以及电子设备
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP4609092B2 (ja) 物理情報取得方法および物理情報取得装置
US12107098B2 (en) Image sensor, focus adjustment device, and imaging device
US20040145668A1 (en) MOS solid-state imaging element and imaging device provided with the same
US20150036033A1 (en) Solid-state imaging device
JP2013197613A (ja) 撮像装置、画像処理装置及び画像処理プログラム
JP6798532B2 (ja) 撮像素子及び撮像装置
JP6760907B2 (ja) 撮像素子及び撮像装置
KR20230135389A (ko) 이미지 센싱 장치 및 그 이미지 신호 프로세싱 방법
CN115118856A (zh) 图像传感器、图像处理方法、摄像头模组及电子设备
JP2009130574A (ja) 撮像装置及び固体撮像素子の駆動方法
JP2013197610A (ja) 撮像装置、画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal