WO2020111369A1 - Image sensor and control method therefor - Google Patents

Image sensor and control method therefor Download PDF

Info

Publication number
WO2020111369A1
WO2020111369A1 PCT/KR2018/016000 KR2018016000W WO2020111369A1 WO 2020111369 A1 WO2020111369 A1 WO 2020111369A1 KR 2018016000 W KR2018016000 W KR 2018016000W WO 2020111369 A1 WO2020111369 A1 WO 2020111369A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel data
data
binning
image sensor
pixel
Prior art date
Application number
PCT/KR2018/016000
Other languages
French (fr)
Korean (ko)
Inventor
류철규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020111369A1 publication Critical patent/WO2020111369A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present invention relates to an image sensor and a control method therefor, and to an image sensor and a control method for improving the brightness of an original image using sensor binning.
  • the image sensor is a semiconductor that converts photons into electrons and displays them on a display or stores them in a storage device.
  • It is a light-receiving element that converts a light-receiving signal into an electrical signal, and converts the converted electrical signal into an analog signal to process the image signal It is composed of ASIC part, and is classified into CCD, CMOS, and CIS (Contact Image Sensor).
  • CMOS image sensor In more detail, it is a CCD image sensor that moves electrons generated by light to the output unit using a gate pulse as it is, and converts electrons generated by light into voltages within each pixel and outputs them through various CMOS switches.
  • This is a CMOS image sensor.
  • the field of application of these image sensors is not only for household products such as digital cameras and mobile phones, but also for endoscopes used in hospitals and satellite telescopes orbiting the earth.
  • binning is applied to original image data to generate binning data with improved brightness, and image sensor to generate image data with enhanced brightness by fusing original image data and binning data, and a control method thereof It aims at providing.
  • the binning data when the binning data is generated by adding the first line data and the second line data by adding more memory as a component, it is possible to provide a space for storing the first line data. It is an object to provide an image sensor and a control method therefor.
  • an image sensor converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns;
  • a row selector configured to receive a row address and generate a selection signal for selecting at least two rows from the plurality of rows;
  • An image combining unit that generates binning data by applying binning to the pixel data;
  • An analog-to-digital converter for converting the pixel data selected by the row selector and the generated binning data into digital video signals and outputting them;
  • a control unit that fuses the outputted pixel data and the output binning data to generate new pixel data.
  • binning is applied to the original image data to generate binning data with improved brightness, and the original image data and binning data are fused to generate image data with enhanced brightness.
  • the file size of is the same, the brightness is improved and the size of the sensor can be kept the same, thus improving user convenience.
  • the first line data and the second line data are added to provide space for storing the first line data when generating binning data. Since it is possible to easily generate binning data, user convenience can always be achieved.
  • FIG. 1 is a diagram illustrating a configuration diagram of an image sensor according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of controlling an image sensor according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating binning data generated by applying binning to pixel data and pixel data according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a system in which a control unit that fuses binning data and pixel data and another hardware configuration according to an embodiment of the present invention are combined.
  • FIG. 5 is a diagram for generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a quad bayer to a normal bayer according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an embodiment in which a fusion chip generates binning data and a fusion chip generates new pixel data by fusing pixel data with binning data generated according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data with binning data generated by a fusion chip according to an embodiment of the present invention.
  • FIG. 10 is a view illustrating horizontal binning, vertical binning, and full binning according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating generating binning data in an image sensor according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration diagram of an image sensor according to an embodiment of the present invention.
  • the image sensor 100 includes a pixel unit 110, a row selection unit 120, an image synthesis unit 130, an analog-to-digital conversion unit 140, a control unit 150, and an amplifier unit 160. , Memory 170.
  • the pixel unit 110 converts the optical signal of the subject into an electrical signal, and outputs pixel data (original image) arranged in a matrix of a plurality of rows and columns.
  • the pixel unit 110 is arranged in a Bayer pattern consisting of a first line in which red pixels and green pixels are alternately arranged, and a second line in which blue pixels and green pixels are alternately arranged.
  • the row selector 120 receives a row address and generates a selection signal for selecting at least two rows from the plurality of rows.
  • the image synthesizing unit 130 generates binning data by applying binning to pixel data (original image data).
  • the analog-to-digital conversion unit 140 converts the pixel data selected by the row selection unit 120 and the generated binning data into a digital image signal and outputs the converted digital image signal.
  • the control unit 150 generates new pixel data by fusing the output pixel data and the output binning data.
  • the amplifier unit 160 amplifies pixel data.
  • the memory 170 stores pixel data.
  • the memory 170 is a flash memory type, a hard disk type, a solid state disk type, an SDD type (Silicon Disk Drive type), a multimedia card micro type ), card type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read (EPMROM) It may include a storage medium of at least one type of -only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk and optical disk.
  • FIG. 2 is a flowchart illustrating a method of controlling an image sensor according to an embodiment of the present invention.
  • the pixel unit 110 converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns (S210).
  • the pixel data corresponds to the original image data.
  • the row selector 120 receives a row address and generates a selection signal for selecting at least two rows from the plurality of rows (S220).
  • the image synthesis unit 130 applies binning to the pixel data to generate binning data (S230).
  • the analog-to-digital converter 140 converts the pixel data and the binning data selected by the row selector 120 into digital image signals and outputs them (S240).
  • the controller 150 fuses the output pixel data and the output binning data to generate new pixel data (S250).
  • FIG. 3 is a diagram illustrating binning data generated by applying binning to pixel data and pixel data according to an embodiment of the present invention.
  • outputs of the image sensor 100 are pixel data 10 and binning data 20.
  • the image synthesis unit 130 generates binning data 20 by applying binning to the pixel data 10.
  • the pixel data 10 means original image data.
  • the exposure is the same as the pixel data 10
  • the brightness is the binning data 20 different from the pixel data.
  • the original image and the binning image are the same.
  • the binning image may be four times brighter than the original image.
  • the size of the original image may be 20 megapixels
  • the size of the binning image may be 5 megapixels.
  • the image synthesizing unit 130 may perform noise reduction of pixel data with a filter.
  • the original image is a dark image using 1/4 exposure compared to the binning image created. That is, the original image has more noise components compared to the binning image. This noise component is a factor that degrades the resolution when the controller 150 fuses.
  • the image synthesizing unit 130 performs noise reduction of pixel data with a filter.
  • the filter includes a Median Filter.
  • the median filter refers to a filter that obtains an intermediate value of a pixel density in an area around a certain pixel and processes it with a desired pixel density.
  • FIG. 4 is a diagram illustrating a system in which a control unit that fuses binning data and pixel data and another hardware configuration according to an embodiment of the present invention are combined.
  • the system includes an image sensor 100, a control unit 150, and an application processor 200.
  • the image sensor 100 transmits the pixel data 10 and binning data 20 to the control unit 150.
  • the control unit 150 may be a fusion chip.
  • the control unit 150 is installed spaced apart from the image sensor 100 by a predetermined distance.
  • the control unit 150 may be installed inside the application processor 200.
  • the image sensor 100, the control unit 150, and the application processor 200 are connected to Miffy.
  • MIPI stands for MIPI, a mobile industry processor interface, and was created to standardize an interface for connecting a mobile application processor 200 and peripheral devices.
  • Miffy's transmission speed is 9 Gps.
  • the ISP data transfer rate is 750 MHZ.
  • the output of the image sensor 100 becomes pixel data.
  • the pixel data is 16 megabytes, 30 frames are transmitted per second, and the coefficient is set to 1.2 in consideration of dummy data, and the transmission rate is 576 MHz. Therefore, if the transmission rate is 576 MHz, the application processor 200 can process this.
  • the output of the image sensor 100 becomes pixel data and binning data.
  • the pixel data is 16 megabytes and the binning data is 4, 30 frames are transmitted per second, and the coefficient is set to 1.2 in consideration of dummy data, so that the transmission rate is 720 MHz. Therefore, if the transmission rate is 720 MHz, the application processor 200 can process this.
  • the data amount of the pixel data and the generated data of the new pixel data are the same. That is, binning data and pixel data generated by the image synthesis unit 130 are transmitted to the control unit 150.
  • the controller 150 fuses binning data and pixel data to generate new pixel data, and the data amount of the new pixel data is the same as the data amount of the pixel data.
  • FIG. 5 is a diagram for generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
  • FIG. 5(a) is a diagram showing that pixel data and binning data are fused to generate new pixel data
  • FIG. 5(b) is a diagram showing a mathematical algorithm when generating new pixel data.
  • the controller 150 fuses the pixel data 10 and binning data 20 to generate new pixel data 30. Specifically, the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
  • the adjacent pixel data of the first pixel data Gr1 means the second pixel data Gr2, the third pixel data Gr3, and the fourth pixel data Gr4.
  • the binning data 20 includes Gr', R', B', and Gb'.
  • the image synthesizing unit 130 generates binning data Gr' by applying binning to Gr1, Gr2, Gr3, and Gr4.
  • the image synthesizing unit 130 generates binning data R'by applying binning to R1, R2, R3, and R4.
  • the image synthesis unit 130 generates binning data B'by applying binning to B1, B2, B3, and B4.
  • the image synthesizing unit 130 generates binning data Gb' by applying binning to Gr1, Gr2, Gr3, and Gr4.
  • the binning data 20 Gr', R', B', and Gb' mean brightness information.
  • applying binning means applying full binning, and the scope of the present invention is not limited to full binning, but includes both horizontal binning and vertical binning.
  • the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
  • the resolution information of the first pixel data means a ratio obtained by dividing the first pixel data by an average value of the first pixel data, the second pixel data, the third pixel data, and the fourth pixel data.
  • the resolution information of Gr1 is Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
  • the resolution information of Gr2 is Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4).
  • the resolution information of Gr2 is Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4).
  • the resolution information of Gr4 is Gr4/((Gr1 + Gr2 + Gr3 + Gr4)/4).
  • the resolution information of the first pixel data means a ratio between the first pixel data and the adjacent pixel data, and there is no unit.
  • the ratio of the pixel data to the adjacent pixel data is close to 1, but in the case of an interface, the ratio of the pixel data to the adjacent pixel data is greater than 1.
  • the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
  • the meaning of fusion means that the resolution information and the brightness information are multiplied.
  • the new pixel data is generated by multiplying the brightness information of binning data and the resolution information of pixel data.
  • the new first pixel data is Gr1
  • the new first pixel data Gr1" Gr1' x Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
  • the new second pixel data Gr2 Gr2' x Gr2/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
  • the new third pixel data Gr3 Gr3' x Gr3/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
  • the new pixel data is generated by multiplying the brightness information of binning data and the resolution information of pixel data.
  • the brightness information of the binning data becomes data of 4 times the brightness of the original image.
  • multiplying the ratio of the original image it is possible to obtain an original image with 4 times the brightness.
  • the image quality is mainly affected by the amount of light collected in each pixel constituting the image sensor.
  • the chip size of the CMOS image sensor is getting smaller and the number of pixels is increasing, so the size of the pixel is getting smaller.
  • the light receiving rate that is, the image sensor accepts light. It has been developed in the direction of increasing the degree.
  • the back-illuminated sensor (BSI sensor) has moved the light-receiving unit (the portion that receives light) to the uppermost portion of the sensor to increase the light-receiving rate.
  • BSI sensor back-illuminated sensor
  • binning is applied to the original image data to generate binning data with improved brightness, and original image data and binning data are fused to generate image data with improved brightness, thereby increasing the size of the image sensor Without it, the brightness of the image sensor can be improved.
  • the data amount of the pixel data and the data amount of the generated new pixel data are the same. Therefore, according to the present invention, it is possible to improve the brightness of the image sensor while keeping the amount of data constant and not increasing the amount of data.
  • FIG. 6 is a diagram illustrating a quad bayer to a normal bayer according to an embodiment of the present invention.
  • the controller 150 converts the quad bayer 30 including the generated new pixel data into a normal bayer 40.
  • the controller 150 converts the quad bayer 30 into a normal bayer 40, so that the application processor 200 can recognize pixel data.
  • FIG. 7 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
  • pixel data corresponds to the original image 710 and binning data corresponds to the binning image 720.
  • the new pixel data corresponds to the new image 730.
  • the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
  • the meaning of fusion means that the resolution information and the brightness information are multiplied.
  • the brightness information of the binning data becomes data of 4 times the brightness of the original image.
  • the ratio of the original image it is possible to obtain a new image 730 with 4 times the brightness.
  • the brightness of the generated new image is improved, the fuzzing is reduced, and the size of the pixel is not increased, so the production cost of the image sensor is reduced.
  • FIG. 8 is a diagram illustrating an embodiment in which a fusion chip generates binning data and a fusion chip generates new pixel data by fusing pixel data with binning data generated according to an embodiment of the present invention.
  • the system includes an image sensor 100, a control unit 150, and an application processor 200.
  • the image sensor 100 outputs pixel data 10.
  • the control unit 150 may be a fusion chip.
  • the control unit 100 generates binning data 20 based on the pixel data 10.
  • the controller 100 fuses the pixel data 10 and the binning data 20 to generate new pixel data 30.
  • the control unit 100 transmits the new pixel data to the application processor 200.
  • FIG. 9 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data with binning data generated by a fusion chip according to an embodiment of the present invention.
  • the system includes an image sensor 100, a control unit 150, and an application processor 200.
  • the image sensor 100 outputs the pixel data 10 and binning data 20.
  • the control unit 150 may be a fusion chip.
  • the controller 100 fuses the pixel data 10 and the binning data 20 to generate new pixel data 30.
  • the control unit 100 transmits the new pixel data to the application processor 200.
  • FIG. 10 is a view illustrating horizontal binning, vertical binning, and full binning according to an embodiment of the present invention.
  • FIG. 10(a) is a diagram showing horizontal binning
  • FIG. 10(b) is a diagram showing vertical binning
  • FIG. 10(c) is a diagram showing overall binning.
  • horizontal binning adds electric charges from adjacent pixels in a line and is applied as one pixel.
  • vertical binning adds charges from adjacent cells in a vertical direction in a plurality of lines and is applied as one pixel.
  • the whole binning is added in close and grouped charges in a two-dimensional plane, and is applied as one pixel.
  • binning adds the charges from adjacent pixels of the CCD sensor to increase the camera's sensitivity to light.
  • horizontal binning the charge from adjacent pixels in each line of the sensor is summed.
  • vertical binning the charges of adjacent pixels in the vertical direction in two rows are summed in the sensor.
  • Total binning is a combination of horizontal binning and vertical binning in which two adjacent pixels are summed in a two-dimensional plane.
  • the sensitivity of the image sensor can be doubled.
  • the sensitivity of the image sensor can be increased up to 4 times.
  • the present invention has been mainly described for applying the whole binning to pixel data.
  • FIG. 11 is a diagram illustrating generating binning data in an image sensor according to an embodiment of the present invention.
  • the image sensor 100 includes a pixel unit 110, a row selection unit 120, an image synthesis unit 130, an analog-to-digital conversion unit 140, a control unit 150, and an amplifier unit 160. , Memory 170.
  • the pixel unit 110 converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns.
  • the row selector 120 receives a row address and generates a selection signal for selecting at least two rows from a plurality of rows.
  • the image synthesizing unit 130 generates binning data by applying binning to pixel data.
  • the image combining unit 1300 generates binning data by applying any one of horizontal binning, vertical binning and full binning to pixel data.
  • the analog-to-digital conversion unit 140 converts the pixel data selected by the row selection unit 120 and the generated binning data into a digital image signal and outputs the converted digital image signal.
  • the amplifier 160 amplifies the output of the pixel unit and transmits it to the analog-to-digital converter 140.
  • the memory 170 stores pixel data.
  • the memory 170 includes a capacitor.
  • the memory 170 may be arranged for each column of the pixel unit 110.
  • the memory 170 is arranged for each column, there is an advantage of storing pixel data of a specific line included in the pixel unit 110.
  • the image synthesizing unit 130 stores the pixel data of the first line in the memory 170, and applies binning to the pixel data of the second line and the pixel data of the first line stored in the memory 170, and the binning data ( 1120). In addition, the image synthesizing unit 130 stores the pixel data of the third line in the memory 170 and applies binning to the pixel data of the fourth line and the pixel data of the third line stored in the memory 170, and binning Data 1120 is generated.
  • the image synthesis unit 130 outputs the first line, outputs the second line, outputs binning data from the first line and the second line, outputs a third line, and outputs a fourth line.
  • Binning data binning the third and fourth lines is output.
  • the image synthesizing unit 130 sequentially outputs a plurality of lines 1110.
  • the image synthesis unit 130 controls synchronization of the amplifier unit 160 and the analog-to-digital conversion unit 140.
  • binning is applied to the original image data to generate binning data with improved brightness, and original image data and binning data are fused to generate image data with enhanced brightness.
  • the file size of is the same, the brightness is improved, and the size of the sensor can be kept the same, thus improving user convenience.
  • the first line data and the second line data are added to provide space for storing the first line data when generating binning data. Since it is possible to easily generate binning data, user convenience can always be achieved.
  • the image display device and the operation method according to the present invention are not limited to the configuration and method of the above-described embodiments, and the above embodiments are all or part of each embodiment so that various modifications can be made. May be selectively combined.
  • the operation method of the video display device of the present invention can be implemented as a code that can be read by the processor on a recording medium that can be read by the processor provided in the video display device.
  • the processor-readable recording medium includes all kinds of recording devices in which data that can be read by the processor are stored. Examples of the recording medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and include those implemented in the form of carrier waves such as transmission through the Internet. .
  • the processor-readable recording medium may be distributed over a networked computer system so that the processor-readable code is stored and executed in a distributed manner.
  • the present invention is used in related fields of image sensors that enhance the brightness of an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

The present invention relates to an image sensor and a control method therefor, wherein binning is applied to original image data to generate binning data with enhanced brightness, and the original image data is fused with the binning data to generate image data with enhanced brightness.

Description

이미지 센서 및 그 제어 방법Image sensor and control method
본 발명은 이미지 센서 및 그 제어 방법에 관한 것으로, 센서 비닝을 이용하여 오리지널 이미지의 밝기를 향상시키는 이미지 센서 및 그 제어 방법에 관한 것이다. The present invention relates to an image sensor and a control method therefor, and to an image sensor and a control method for improving the brightness of an original image using sensor binning.
이미지 센서는 광자를 전자로 전환하여 디스플레이로 표시하거나 저장장치에 저장할 수 있게 하는 반도체로서 수광 신호를 전기 신호로 변환시키는 수광 소자, 변환된 전기 신호를 아날로그 신호를 디지털로 변환하여 이미지신호를 처리하는 ASIC부분으로 구성되며, CCD, CMOS, CIS(Contact Image Sensor) 등의 종류가 있다.The image sensor is a semiconductor that converts photons into electrons and displays them on a display or stores them in a storage device.It is a light-receiving element that converts a light-receiving signal into an electrical signal, and converts the converted electrical signal into an analog signal to process the image signal It is composed of ASIC part, and is classified into CCD, CMOS, and CIS (Contact Image Sensor).
더 구체적으로 살펴보면, 빛에 의해 발생한 전자를 그대로 게이트 펄스를 이용해서 출력부까지 이동시키는 것이 CCD 이미지 센서이며, 빛에 의해 발생한 전자를 각 화소 내에서 전압으로 변환한 후에 여러 CMOS 스위치를 통해 출력하는 것이 CMOS 이미지 센서이다. 이러한 이미지 센서의 적용 분야는 디지털 카메라, 휴대전화 등 가정용 제품만이 아니라 병원에서 사용하는 내시경, 지구를 돌고 있는 인공위성의 망원경에 이르기까지 매우 광범위하다.In more detail, it is a CCD image sensor that moves electrons generated by light to the output unit using a gate pulse as it is, and converts electrons generated by light into voltages within each pixel and outputs them through various CMOS switches. This is a CMOS image sensor. The field of application of these image sensors is not only for household products such as digital cameras and mobile phones, but also for endoscopes used in hospitals and satellite telescopes orbiting the earth.
종래 기술의 경우, 오리지널 이미지 데이터가 감도가 낮은 경우, 화면이 어두워서 사용자가 이를 보기 불편하고, 이를 해결하기 위해서는 픽셀의 크기를 키워야 하는데, 이 경우, 이미지 센서의 크기가 커지고 화질이 저하되어 사용자가 이미지를 보기에 불편한 문제점이 있었다.In the case of the prior art, if the original image data is low in sensitivity, the screen is dark and the user is inconvenient to see it, and in order to solve this, the size of the pixel needs to be increased. There was an uncomfortable problem with viewing images.
본 발명의 일 실시 예는, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성하는 이미지 센서 및 그 제어 방법을 제공하는 것을 그 목적으로 한다. According to an embodiment of the present invention, binning is applied to original image data to generate binning data with improved brightness, and image sensor to generate image data with enhanced brightness by fusing original image data and binning data, and a control method thereof It aims at providing.
본 발명의 다른 일 실시 예는, 구성 요소로 메모리를 더 추가하여, 제 1 라인 데이터와 제 2 라인 데이터를 더해서, 비닝 데이터를 생성할 때, 제 1 라인 데이터를 저장할 수 있는 공간을 제공할 수 있는 이미지 센서 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.According to another embodiment of the present invention, when the binning data is generated by adding the first line data and the second line data by adding more memory as a component, it is possible to provide a space for storing the first line data. It is an object to provide an image sensor and a control method therefor.
본 발명에서 이루고자 하는 기술적 과제는 상기 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved in the present invention is not limited to the above-mentioned technical problem, and other technical problems not mentioned will be clearly understood by a person having ordinary knowledge in the technical field to which the present invention belongs from the following description. .
본 발명의 일 실시 예에 따른, 이미지 센서는 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력하는 픽셀부; 로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생하는 로우 선택부; 상기 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는 이미지 합성부; 상기 로우 선택부가 선택한 상기 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력하는 아날로그 디지털 변환부; 및 출력된 상기 픽셀 데이터와 출력된 상기 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 제어부를 포함한다. According to an embodiment of the present invention, an image sensor converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns; A row selector configured to receive a row address and generate a selection signal for selecting at least two rows from the plurality of rows; An image combining unit that generates binning data by applying binning to the pixel data; An analog-to-digital converter for converting the pixel data selected by the row selector and the generated binning data into digital video signals and outputting them; And a control unit that fuses the outputted pixel data and the output binning data to generate new pixel data.
본 발명의 다른 실시 예에 따른, 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력하는 단계; 로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생하는 단계; 상기 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는 단계; 상기 로우 선택부가 선택한 상기 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력하는 단계; 및 출력된 상기 픽셀 데이터와 출력된 상기 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 단계를 포함한다. According to another embodiment of the present invention, converting the optical signal of the subject into an electrical signal, and outputting pixel data arranged in a matrix of a plurality of rows and columns; Generating a selection signal for selecting at least two rows from the plurality of rows by receiving a row address; Generating binning data by applying binning to the pixel data; Converting and outputting the pixel data and the generated binning data selected by the row selector into a digital image signal; And fusing the outputted pixel data with the outputted data to generate new pixel data.
본 발명의 일 실시 예에 따르면, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성할 수 있어서, 이미지 데이터의 파일 크기가 동일하고, 밝기가 향상되며 센서의 크기는 동일하게 유지할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.According to an embodiment of the present invention, binning is applied to the original image data to generate binning data with improved brightness, and the original image data and binning data are fused to generate image data with enhanced brightness. The file size of is the same, the brightness is improved and the size of the sensor can be kept the same, thus improving user convenience.
본 발명의 다른 일 실시 예에 따르면, 구성 요소로 메모리를 더 추가하여, 제 1 라인 데이터와 제 2 라인 데이터를 더해서, 비닝 데이터를 생성할 때, 제 1 라인 데이터를 저장할 수 있는 공간을 제공할 수 있어서, 비닝 데이터를 용이하게 생성할 수 있으므로 사용자 편의성을 항상 시킬 수 있다.According to another embodiment of the present invention, by adding more memory as a component, the first line data and the second line data are added to provide space for storing the first line data when generating binning data. Since it is possible to easily generate binning data, user convenience can always be achieved.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those skilled in the art from the following description. will be.
도 1은 본 발명의 일 실시 예에 따른, 이미지 센서의 구성도를 도시한 도면이다. 1 is a diagram illustrating a configuration diagram of an image sensor according to an embodiment of the present invention.
도 2는 본 발명의 일 실시 예에 따른, 이미지 센서의 제어 방법의 순서도를 도시한 도면이다. 2 is a flowchart illustrating a method of controlling an image sensor according to an embodiment of the present invention.
도 3은 본 발명의 일 실시 예에 따른, 픽셀 데이터와 픽셀 데이터에 비닝을 적용하여 비닝 데이터를 생성하는 것을 도시한 도면이다. FIG. 3 is a diagram illustrating binning data generated by applying binning to pixel data and pixel data according to an embodiment of the present invention.
도 4은 본 발명의 일 실시 예에 따른, 비닝 데이터와 픽셀 데이터를 융합하는 제어부와 다른 하드웨어 구성이 결합한 시스템을 도시한 도면이다. FIG. 4 is a diagram illustrating a system in which a control unit that fuses binning data and pixel data and another hardware configuration according to an embodiment of the present invention are combined.
도 5는 본 발명의 일 실시 예에 따른, 픽셀 데이터와 비닝 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 것을 도시한 도면이다. 5 is a diagram for generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
도 6은 본 발명의 일 실시 예에 따른, 쿼드 베이어를 노멀 베이어로 변환하는 것을 도시한 도면이다. 6 is a diagram illustrating a quad bayer to a normal bayer according to an embodiment of the present invention.
도 7은 본 발명의 일 실시 예에 따른, 픽셀 데이터와 비닝 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다. 7 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
도 8은 본 발명의 일 실시 예에 따른, 퓨전 칩이 비닝 데이터를 생성하고, 퓨전 칩이 생성된 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다. FIG. 8 is a diagram illustrating an embodiment in which a fusion chip generates binning data and a fusion chip generates new pixel data by fusing pixel data with binning data generated according to an embodiment of the present invention.
도 9는 본 발명의 일 실시 예에 따른, 퓨전 칩이 생성된 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다. 9 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data with binning data generated by a fusion chip according to an embodiment of the present invention.
도 10은 본 발명의 일 실시 예에 따른, 수평 비닝, 수직 비닝, 전체 비닝을 도시한 도면이다. 10 is a view illustrating horizontal binning, vertical binning, and full binning according to an embodiment of the present invention.
도 11은 본 발명의 일 실시 예에 따른, 이미지 센서에서 비닝 데이터를 생성하는 것을 도시한 도면이다. 11 is a diagram illustrating generating binning data in an image sensor according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, exemplary embodiments disclosed herein will be described in detail with reference to the accompanying drawings, but the same or similar elements are assigned the same reference numbers regardless of the reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "modules" and "parts" for components used in the following description are given or mixed only considering the ease of writing the specification, and do not have meanings or roles distinguished from each other in themselves.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in describing the embodiments disclosed in this specification, detailed descriptions of related known technologies are omitted when it is determined that the gist of the embodiments disclosed in this specification may be obscured.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed in the specification is not limited by the accompanying drawings, and all modifications included in the spirit and technical scope of the present invention , It should be understood to include equivalents or substitutes.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is said to be "connected" or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but there may be other components in between. It should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly indicates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as "comprises" or "have" are intended to indicate the presence of features, numbers, steps, actions, components, parts or combinations thereof described in the specification, but one or more other features. It should be understood that the presence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.
도 1은 본 발명의 일 실시 예에 따른, 이미지 센서의 구성도를 도시한 도면이다. 1 is a diagram illustrating a configuration diagram of an image sensor according to an embodiment of the present invention.
도 1을 참조하면, 이미지 센서(100)는 픽셀부(110), 로우 선택부(120), 이미지 합성부(130), 아날로그 디지털 변환부(140), 제어부(150), 앰프부(160), 메모리(170)를 포함한다. Referring to FIG. 1, the image sensor 100 includes a pixel unit 110, a row selection unit 120, an image synthesis unit 130, an analog-to-digital conversion unit 140, a control unit 150, and an amplifier unit 160. , Memory 170.
픽셀부(110)는 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터(오리지널 이미지)를 출력한다. 픽셀부(110)는 레드 픽셀 및 그린 픽셀이 교대로 배열되는 제 1 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 제 2 라인으로 구성된 베이어 패턴으로 배열된다. The pixel unit 110 converts the optical signal of the subject into an electrical signal, and outputs pixel data (original image) arranged in a matrix of a plurality of rows and columns. The pixel unit 110 is arranged in a Bayer pattern consisting of a first line in which red pixels and green pixels are alternately arranged, and a second line in which blue pixels and green pixels are alternately arranged.
로우 선택부(120)는 로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생한다. The row selector 120 receives a row address and generates a selection signal for selecting at least two rows from the plurality of rows.
이미지 합성부(130)는 픽셀 데이터(오리지널 이미지 데이터)에 비닝을 적용하여, 비닝 데이터를 생성한다. The image synthesizing unit 130 generates binning data by applying binning to pixel data (original image data).
아날로그 디지털 변환부(140)는 로우 선택부(120)가 선택한 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력한다. The analog-to-digital conversion unit 140 converts the pixel data selected by the row selection unit 120 and the generated binning data into a digital image signal and outputs the converted digital image signal.
제어부(150)는 출력된 픽셀 데이터와 출력된 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성한다. The control unit 150 generates new pixel data by fusing the output pixel data and the output binning data.
앰프부(160)는 픽셀 데이터를 증폭한다. The amplifier unit 160 amplifies pixel data.
메모리(170)는 픽셀 데이터를 저장한다. 메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 170 stores pixel data. The memory 170 is a flash memory type, a hard disk type, a solid state disk type, an SDD type (Silicon Disk Drive type), a multimedia card micro type ), card type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read (EPMROM) It may include a storage medium of at least one type of -only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk and optical disk.
도 2는 본 발명의 일 실시 예에 따른, 이미지 센서의 제어 방법의 순서도를 도시한 도면이다.2 is a flowchart illustrating a method of controlling an image sensor according to an embodiment of the present invention.
도 2를 참조하면, 픽셀부(110)는 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력한다(S210). 여기서, 픽셀 데이터는 오리지널 이미지 데이터에 대응된다. Referring to FIG. 2, the pixel unit 110 converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns (S210). Here, the pixel data corresponds to the original image data.
로우 선택부(120)는 로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생한다(S220).The row selector 120 receives a row address and generates a selection signal for selecting at least two rows from the plurality of rows (S220).
이미지 합성부(130)는 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성한다(S230).The image synthesis unit 130 applies binning to the pixel data to generate binning data (S230).
아날로그 디지털 변환부(140)는 로우 선택부(120)가 선택한 픽셀 데이터와 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력한다(S240).The analog-to-digital converter 140 converts the pixel data and the binning data selected by the row selector 120 into digital image signals and outputs them (S240).
제어부(150)는 출력된 픽셀 데이터와 출력된 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성한다(S250).The controller 150 fuses the output pixel data and the output binning data to generate new pixel data (S250).
도 3은 본 발명의 일 실시 예에 따른, 픽셀 데이터와 픽셀 데이터에 비닝을 적용하여 비닝 데이터를 생성하는 것을 도시한 도면이다. FIG. 3 is a diagram illustrating binning data generated by applying binning to pixel data and pixel data according to an embodiment of the present invention.
도 3을 참조하면, 이미지 센서(100)의 출력물은 픽셀 데이터(10)와 비닝 데이터(20)가 된다. Referring to FIG. 3, outputs of the image sensor 100 are pixel data 10 and binning data 20.
이미지 합성부(130)는 픽셀 데이터(10)에 비닝을 적용하여, 비닝 데이터(20)를 생성한다. 여기서, 픽셀 데이터(10)는 오리지널 이미지 데이터를 의미한다. 여기서, 비닝 데이터의 속성과 관련하여, 이미지 합성부(130)는 비닝 데이터(20)를 생성할 때, 노출은 픽셀 데이터(10)와 동일하고, 밝기는 픽셀 데이터와 다른 비닝 데이터(20)를 생성한다. The image synthesis unit 130 generates binning data 20 by applying binning to the pixel data 10. Here, the pixel data 10 means original image data. Here, in relation to the properties of binning data, when the image synthesizing unit 130 generates binning data 20, the exposure is the same as the pixel data 10, and the brightness is the binning data 20 different from the pixel data. To create.
예를 들어, 픽셀 데이터에 대응하는 오리지날 이미지와 비닝 데이터에 대응하는 비닝 이미지를 비교할 때, 노출의 경우, 오리지날 이미지와 비닝 이미지가 동일하다. 밝기(brightness)의 경우, 비닝 이미지가 오리지날 이미지보다 4 배 더 밝을 수 있다. For example, when comparing the original image corresponding to the pixel data and the binning image corresponding to the binning data, in the case of exposure, the original image and the binning image are the same. In the case of brightness, the binning image may be four times brighter than the original image.
또한, 오리지날 이미지의 경우, 크기가 20 메가 픽셀이 되고, 비닝 이미지의 경우, 5 메가 픽셀이 될 수 있다. In addition, the size of the original image may be 20 megapixels, and the size of the binning image may be 5 megapixels.
다음으로, 이미지 합성부(130)는 필터로 픽셀 데이터의 노이즈 감소를 실행할 수 있다. 오리지널 이미지는 생성된 비닝 이미지와 비교할 때, 1/4 노출을 사용해서 어두운 이미지이다. 즉, 오리지널 이미지는 비닝 이미지와 비교해서, 노이즈 성분이 더 많다. 이러한 노이즈 성분은 제어부(150)가 융합을 할 때, 해상력을 저하시키는 요인이 된다. Next, the image synthesizing unit 130 may perform noise reduction of pixel data with a filter. The original image is a dark image using 1/4 exposure compared to the binning image created. That is, the original image has more noise components compared to the binning image. This noise component is a factor that degrades the resolution when the controller 150 fuses.
따라서, 이미지 합성부(130)는 필터로 픽셀 데이터의 노이즈 감소를 실행한다. 필터는 미디안 필터(Median Filter)를 포함한다. 미디언 필터는 어떤 픽셀 주변의 영역 내의 픽셀 농도의 중간값을 구하고, 원하는 픽셀의 농도로 처리하는 필터를 의미한다. Accordingly, the image synthesizing unit 130 performs noise reduction of pixel data with a filter. The filter includes a Median Filter. The median filter refers to a filter that obtains an intermediate value of a pixel density in an area around a certain pixel and processes it with a desired pixel density.
도 4은 본 발명의 일 실시 예에 따른, 비닝 데이터와 픽셀 데이터를 융합하는 제어부와 다른 하드웨어 구성이 결합한 시스템을 도시한 도면이다. FIG. 4 is a diagram illustrating a system in which a control unit that fuses binning data and pixel data and another hardware configuration according to an embodiment of the present invention are combined.
도 4를 참조하면, 시스템은 이미지 센서(100), 제어부(150), 애플리케이션 프로세서(200)를 포함한다. Referring to FIG. 4, the system includes an image sensor 100, a control unit 150, and an application processor 200.
이미지 센서(100)는 픽셀 데이터(10)와 비닝 데이터(20)를 제어부(150)에 전달한다. 본 발명의 일 실시 예에 따르면, 제어부(150)는 퓨전칩이 될 수 있다. The image sensor 100 transmits the pixel data 10 and binning data 20 to the control unit 150. According to an embodiment of the present invention, the control unit 150 may be a fusion chip.
제어부(150)는 이미지 센서(100)와 소정 거리만큼 이격되어 설치된다. 제어부(150)가 이미지 센서(100) 내부에 있는 경우, 픽셀 데이터와 비닝 데이터를 융합할 때, 열이 발생하는데, 이 열로 인하여 이미지 센서(100)가 제대로 작동되지 않을 수 있다. 따라서, 제어부(150)는 이미지 센서(100)와 소정 거리만큼 이격되어 설치된다. 또한, 제어부(150)는 애플리케이션 프로세서(200)의 내부에 설치될 수 있다. The control unit 150 is installed spaced apart from the image sensor 100 by a predetermined distance. When the controller 150 is inside the image sensor 100, heat is generated when the pixel data and binning data are fused, and the image sensor 100 may not operate properly due to the heat. Therefore, the control unit 150 is installed spaced apart from the image sensor 100 by a predetermined distance. Also, the control unit 150 may be installed inside the application processor 200.
다음으로, 데이터 전송량을 확인한다. 이미지 센서(100), 제어부(150), 애플리케이션 프로세서(200)는 미피로 연결된다. 미피는 MIPI, Mobile industry processor interface의 약자로 모바일의 애플리케이션 프로세서(200)와 주변 장치들을 연결하기 위한 인터페이스를 표준화하기 위하여 만들어졌다. 현재 미피의 전송 속도는 9 Gps 가 된다. 애플리케이션 프로세서(200)의 경우, ISP 데이터 전송 속도가 750 MHZ 가 된다. Next, check the data transmission amount. The image sensor 100, the control unit 150, and the application processor 200 are connected to Miffy. MIPI stands for MIPI, a mobile industry processor interface, and was created to standardize an interface for connecting a mobile application processor 200 and peripheral devices. Currently, Miffy's transmission speed is 9 Gps. In the case of the application processor 200, the ISP data transfer rate is 750 MHZ.
먼저, 비닝 데이터를 생성하지 않는 경우(410), 이미지 센서(100)의 출력물은 픽셀 데이터가 된다. 예를 들어, 픽셀 데이터가 16 메가 바이트인 경우, 1 초에 30 프레임이 전송되고, 더미 데이터를 고려하여 계수를 1.2 로 설정하여, 전송 속도는 576 MHz가 된다. 따라서, 전송 속도가 576 MHz 이면, 애플리케이션 프로세서(200)는 이를 처리할 수 있다. First, when binning data is not generated (410), the output of the image sensor 100 becomes pixel data. For example, if the pixel data is 16 megabytes, 30 frames are transmitted per second, and the coefficient is set to 1.2 in consideration of dummy data, and the transmission rate is 576 MHz. Therefore, if the transmission rate is 576 MHz, the application processor 200 can process this.
다음으로, 비닝 데이터를 생성한 경우(420), 이미지 센서(100)의 출력물은 픽셀 데이터와 비닝 데이터가 된다. 예를 들어, 픽셀 데이터가 16 메가 바이트이고, 비닝 데이터가 4인 경우, 1 초에 30 프레임이 전송되고, 더미 데이터를 고려하여 계수를 1.2 로 설정하여, 전송 속도는 720 MHz가 된다. 따라서, 전송 속도가 720 MHz 이면, 애플리케이션 프로세서(200)는 이를 처리할 수 있다. Next, when binning data is generated (420), the output of the image sensor 100 becomes pixel data and binning data. For example, if the pixel data is 16 megabytes and the binning data is 4, 30 frames are transmitted per second, and the coefficient is set to 1.2 in consideration of dummy data, so that the transmission rate is 720 MHz. Therefore, if the transmission rate is 720 MHz, the application processor 200 can process this.
본 발명의 따르면, 픽셀 데이터의 데이터량과 생성된 새로운 픽셀 데이터의 데이터량은 동일하다. 즉, 이미지 합성부(130)가 생성한 비닝 데이터와 픽셀 데이터가 제어부(150)로 전송된다. 제어부(150)는 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하며, 새로운 픽셀 데이터의 데이터량은 픽셀 데이터의 데이터량과 동일하다. According to the present invention, the data amount of the pixel data and the generated data of the new pixel data are the same. That is, binning data and pixel data generated by the image synthesis unit 130 are transmitted to the control unit 150. The controller 150 fuses binning data and pixel data to generate new pixel data, and the data amount of the new pixel data is the same as the data amount of the pixel data.
따라서, 본 발명에 따르면, 데이터량을 일정하게 유지시키고, 데이터량을 증가시키지 않고, 일정하게 유지하면서 이미지 센서의 밝기를 향상시킬 수 있다. Therefore, according to the present invention, it is possible to improve the brightness of the image sensor while keeping the amount of data constant and not increasing the amount of data.
도 5는 본 발명의 일 실시 예에 따른, 픽셀 데이터와 비닝 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 것을 도시한 도면이다. 5 is a diagram for generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
도 5(a)는 픽셀 데이터와 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 것을 도시한 도면이고, 도 5(b)는 새로운 픽셀 데이터를 생성할 때, 수학 알고리즘을 도시한 도면이다. FIG. 5(a) is a diagram showing that pixel data and binning data are fused to generate new pixel data, and FIG. 5(b) is a diagram showing a mathematical algorithm when generating new pixel data.
도 5(a)를 참조하면, 제어부(150)는 픽셀 데이터(10)와 비닝 데이터(20)를 융합하여, 새로운 픽셀 데이터(30)를 생성한다. 구체적으로, 제어부(150)는 픽셀 데이터의 해상력 정보와 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성한다. Referring to FIG. 5A, the controller 150 fuses the pixel data 10 and binning data 20 to generate new pixel data 30. Specifically, the controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
구체적으로, 픽셀 데이터가 제 1 픽셀 데이터 Gr1 인 경우, 제 1 픽셀 데이터 Gr1의 근접 픽셀 데이터는 제 2 픽셀 데이터 Gr2, 제 3 픽셀 데이터 Gr3 및 제 4 픽셀 데이터 Gr4를 의미한다. Specifically, when the pixel data is the first pixel data Gr1, the adjacent pixel data of the first pixel data Gr1 means the second pixel data Gr2, the third pixel data Gr3, and the fourth pixel data Gr4.
그리고, 비닝 데이터(20)는 Gr', R', B', Gb'를 포함한다. 이미지 합성부(130)는 Gr1, Gr2, Gr3, Gr4 에 비닝을 적용하여 비닝 데이터 Gr'를 생성한다. 이미지 합성부(130)는 R1, R2, R3, R4 에 비닝을 적용하여 비닝 데이터 R'를 생성한다. 이미지 합성부(130)는 B1, B2, B3, B4 에 비닝을 적용하여 비닝 데이터 B'를 생성한다. 이미지 합성부(130)는 Gr1, Gr2, Gr3, Gr4 에 비닝을 적용하여 비닝 데이터 Gb'를 생성한다. 여기서, 비닝 데이터(20) Gr', R', B', Gb'는 밝기 정보를 의미한다. 여기서, 비닝을 적용한다는 것은 전체 비닝을 적용한다는 것을 의미하고, 본 발명의 권리 범위는 전체 비닝에만 제한되지 않고, 수평 비닝, 수직 비닝의 경우를 모두 포함한다. Further, the binning data 20 includes Gr', R', B', and Gb'. The image synthesizing unit 130 generates binning data Gr' by applying binning to Gr1, Gr2, Gr3, and Gr4. The image synthesizing unit 130 generates binning data R'by applying binning to R1, R2, R3, and R4. The image synthesis unit 130 generates binning data B'by applying binning to B1, B2, B3, and B4. The image synthesizing unit 130 generates binning data Gb' by applying binning to Gr1, Gr2, Gr3, and Gr4. Here, the binning data 20 Gr', R', B', and Gb' mean brightness information. Here, applying binning means applying full binning, and the scope of the present invention is not limited to full binning, but includes both horizontal binning and vertical binning.
제어부(150)는 픽셀 데이터의 해상력 정보와 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성한다. The controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data.
다음으로, 제 1 픽셀 데이터의 해상력 정보는 제 1 픽셀 데이터를 상기 제 1 픽셀 데이터, 제 2 픽셀 데이터, 제 3 픽셀 데이터 및, 제 4 픽셀 데이터의 평균값으로 나눈 비율을 의미한다. Next, the resolution information of the first pixel data means a ratio obtained by dividing the first pixel data by an average value of the first pixel data, the second pixel data, the third pixel data, and the fourth pixel data.
예를 들어, 제 1 픽셀 데이터가 Gr1 인 경우, Gr1의 해상력 정보는 Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4)가 된다. 제 2 픽셀 데이터가 Gr2 인 경우, Gr2의 해상력 정보는 Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4)가 된다. 제 3 픽셀 데이터가 Gr2 인 경우, Gr2의 해상력 정보는 Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4)가 된다. 제 4 픽셀 데이터가 Gr4 인 경우, Gr4의 해상력 정보는 Gr4/((Gr1 + Gr2 + Gr3 + Gr4)/4)가 된다.For example, when the first pixel data is Gr1, the resolution information of Gr1 is Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4). When the second pixel data is Gr2, the resolution information of Gr2 is Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4). When the third pixel data is Gr2, the resolution information of Gr2 is Gr2/((Gr1 + Gr2 + Gr3 + Gr4)/4). When the fourth pixel data is Gr4, the resolution information of Gr4 is Gr4/((Gr1 + Gr2 + Gr3 + Gr4)/4).
제 1 픽셀 데이터의 해상력 정보는 제 1 픽셀 데이터와 근접 픽셀 데이터와의 비율을 의미하고, 단위는 없다. The resolution information of the first pixel data means a ratio between the first pixel data and the adjacent pixel data, and there is no unit.
본 발명의 실험에 따르면, 평면의 경우, 픽셀 데이터와 근접 픽셀 데이터와의 비율이 1에 가까우나, 경계면의 경우, 픽셀 데이터와 근접 픽셀 데이터와의 비율이 1보다 커지게 된다. According to the experiment of the present invention, in the case of a plane, the ratio of the pixel data to the adjacent pixel data is close to 1, but in the case of an interface, the ratio of the pixel data to the adjacent pixel data is greater than 1.
제어부(150)는 픽셀 데이터의 해상력 정보와 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성한다. 여기서, 융합한다는 것의 의미는 해상력 정보와 밝기 정보를 곱한다는 의미이다. 새로운 픽셀 데이터는 비닝 데이터의 밝기 정보와 픽셀 데이터의 해상력 정보의 곱으로 생성된다. The controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data. Here, the meaning of fusion means that the resolution information and the brightness information are multiplied. The new pixel data is generated by multiplying the brightness information of binning data and the resolution information of pixel data.
따라서, 새로운 제 1 픽셀 데이터가 Gr1"인 경우, 새로운 제 1 픽셀 데이터 Gr1"=Gr1' x Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4)이 된다. Therefore, when the new first pixel data is Gr1", the new first pixel data Gr1"=Gr1' x Gr1/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
다음으로, 새로운 제 2 픽셀 데이터가 Gr2"인 경우, 새로운 제 2 픽셀 데이터 Gr2"=Gr2' x Gr2/((Gr1 + Gr2 + Gr3 + Gr 4)/4)이 된다. 새로운 제 3 픽셀 데이터가 Gr3"인 경우, 새로운 제 3 픽셀 데이터 Gr3"=Gr3' x Gr3/((Gr1 + Gr2 + Gr3 + Gr 4)/4)이 된다. 새로운 제 4 픽셀 데이터가 Gr4"인 경우, 새로운 제 3 픽셀 데이터 Gr4"=Gr4' x Gr4/((Gr1 + Gr2 + Gr3 + Gr 4)/4)이 된다. Next, when the new second pixel data is Gr2", the new second pixel data Gr2"=Gr2' x Gr2/((Gr1 + Gr2 + Gr3 + Gr 4)/4). When the new third pixel data is Gr3", the new third pixel data Gr3"=Gr3' x Gr3/((Gr1 + Gr2 + Gr3 + Gr 4)/4). When the new fourth pixel data is Gr4", the new third pixel data Gr4"=Gr4' x Gr4/((Gr1 + Gr2 + Gr3 + Gr 4)/4).
새로운 픽셀 데이터는 비닝 데이터의 밝기 정보와 픽셀 데이터의 해상력 정보의 곱으로 생성된다. 픽셀 데이터가 오리지널 이미지에 대응하는 경우, 즉, 비닝 데이터의 밝기 정보는 오리지널 이미지의 4 배 밝기의 데이터가 된다. 여기에, 오리지널 이미지의 비율을 곱하여, 밝기가 4배 향상된 오리지널 이미지를 얻을 수 있다. The new pixel data is generated by multiplying the brightness information of binning data and the resolution information of pixel data. When the pixel data corresponds to the original image, that is, the brightness information of the binning data becomes data of 4 times the brightness of the original image. Here, by multiplying the ratio of the original image, it is possible to obtain an original image with 4 times the brightness.
일반적으로 이미지의 화질은 이미지 센서를 구성하는 각 픽셀(Pixel)에 모이는 빛의 양에 주로 영향을 받는다. 최근, CMOS 이미지 센서의 칩 크기는 작아지고 픽셀수는 늘어나 픽셀의 크기가 작아지고 있는데, 작은 픽셀일수록 충분한 빛을 흡수하기 어려워 CMOS 이미지 센서 기술은 수광율, 즉, 이미지 센서가 빛을 받아 들이는 정도를 높이는 방향으로 발전해왔다. 그래서, 후면 조사형 센서(BSI 센서)는 수광부(빛을 받아들이는 부분)를 센서의 가장 윗 부분으로 이동하여 수광율을 높여왔다. 그런데 픽셀의 크기가 계속 작아짐에 따라 한계가 있는 문제점이 있었다. In general, the image quality is mainly affected by the amount of light collected in each pixel constituting the image sensor. Recently, the chip size of the CMOS image sensor is getting smaller and the number of pixels is increasing, so the size of the pixel is getting smaller. The smaller the pixel, the more difficult it is to absorb enough light. In CMOS image sensor technology, the light receiving rate, that is, the image sensor accepts light. It has been developed in the direction of increasing the degree. Thus, the back-illuminated sensor (BSI sensor) has moved the light-receiving unit (the portion that receives light) to the uppermost portion of the sensor to increase the light-receiving rate. However, as the size of the pixel continues to decrease, there is a problem that there is a limit.
본 발명에 따르면, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성할 수 있어서, 이미지 센서의 크기를 증가시키지 않고, 이미지 센서의 밝기를 향상 시킬 수 있다. According to the present invention, binning is applied to the original image data to generate binning data with improved brightness, and original image data and binning data are fused to generate image data with improved brightness, thereby increasing the size of the image sensor Without it, the brightness of the image sensor can be improved.
또한, 픽셀 데이터의 데이터량과 생성된 새로운 픽셀 데이터의 데이터량은 동일하다. 따라서, 본 발명에 따르면, 데이터량을 일정하게 유지시키고, 데이터량을 증가시키지 않고, 일정하게 유지하면서 이미지 센서의 밝기를 향상시킬 수 있다. Further, the data amount of the pixel data and the data amount of the generated new pixel data are the same. Therefore, according to the present invention, it is possible to improve the brightness of the image sensor while keeping the amount of data constant and not increasing the amount of data.
도 6은 본 발명의 일 실시 예에 따른, 쿼드 베이어를 노멀 베이어로 변환하는 것을 도시한 도면이다. 6 is a diagram illustrating a quad bayer to a normal bayer according to an embodiment of the present invention.
도 6을 참조하면, 제어부(150)는 생성된 새로운 픽셀 데이터가 포함된 쿼드 베이어(30)를 정상 베이어(40)로 변환한다. Referring to FIG. 6, the controller 150 converts the quad bayer 30 including the generated new pixel data into a normal bayer 40.
왜나하면, 애플리케이션 프로세서(200)는 정상 베이어(40) 만을 인식하고, 쿼드 베이어(30)를 인식할 수 없기 때문이다. 따라서, 제어부(150)는 쿼드 베이어(30)를 정상 베이어(40)로 변환하여, 애플리케이션 프로세서(200)는 픽셀 데이터를 인식할 수 있다. This is because the application processor 200 recognizes only the normal Bayer 40 and cannot recognize the Quad Bayer 30. Accordingly, the controller 150 converts the quad bayer 30 into a normal bayer 40, so that the application processor 200 can recognize pixel data.
도 7은 본 발명의 일 실시 예에 따른, 픽셀 데이터와 비닝 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다. 7 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data and binning data according to an embodiment of the present invention.
도 7을 참조하면, 픽셀 데이터는 오리지널 이미지(710)에 대응하고, 비닝 데이터는 비닝 이미지(720)에 대응한다. 새로운 픽셀 데이터는 새로운 이미지(730)에 대응한다. Referring to FIG. 7, pixel data corresponds to the original image 710 and binning data corresponds to the binning image 720. The new pixel data corresponds to the new image 730.
제어부(150)는 픽셀 데이터의 해상력 정보와 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성한다. 여기서, 융합한다는 것의 의미는 해상력 정보와 밝기 정보를 곱한다는 의미이다. The controller 150 fuses the resolution information of the pixel data and the brightness information of the binning data to generate new pixel data. Here, the meaning of fusion means that the resolution information and the brightness information are multiplied.
픽셀 데이터가 오리지널 이미지에 대응하는 경우, 즉, 비닝 데이터의 밝기 정보는 오리지널 이미지의 4 배 밝기의 데이터가 된다. 여기에, 오리지널 이미지의 비율을 곱하여, 밝기가 4배 향상된 새로운 이미지(730)를 얻을 수 있다. When the pixel data corresponds to the original image, that is, the brightness information of the binning data becomes data of 4 times the brightness of the original image. Here, by multiplying the ratio of the original image, it is possible to obtain a new image 730 with 4 times the brightness.
본 발명에 따르면, 생성된 새로운 이미지의 밝기가 향상되고, 불러링이 감소되며, 픽셀의 크기가 증가되지 않기 때문에 이미지 센서의 제작 비용이 감소되는 효과가 있다. According to the present invention, the brightness of the generated new image is improved, the fuzzing is reduced, and the size of the pixel is not increased, so the production cost of the image sensor is reduced.
도 8은 본 발명의 일 실시 예에 따른, 퓨전 칩이 비닝 데이터를 생성하고, 퓨전 칩이 생성된 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다. FIG. 8 is a diagram illustrating an embodiment in which a fusion chip generates binning data and a fusion chip generates new pixel data by fusing pixel data with binning data generated according to an embodiment of the present invention.
도 8을 참조하면, 시스템은 이미지 센서(100), 제어부(150), 애플리케이션 프로세서(200)를 포함한다. Referring to FIG. 8, the system includes an image sensor 100, a control unit 150, and an application processor 200.
이미지 센서(100)는 픽셀 데이터(10)를 출력한다. 제어부(150)는 퓨전 칩이 될 수 있다. 제어부(100)는 픽셀 데이터(10)를 기초로 비닝 데이터(20)를 생성한다. 제어부(100)는 픽셀 데이터(10)와 비닝 데이터(20)를 융합하여 새로운 픽셀 데이터(30)를 생성한다. The image sensor 100 outputs pixel data 10. The control unit 150 may be a fusion chip. The control unit 100 generates binning data 20 based on the pixel data 10. The controller 100 fuses the pixel data 10 and the binning data 20 to generate new pixel data 30.
제어부(100)는 새로운 픽셀 데이터를 애플리케이션 프로세서(200)으로 전달한다. The control unit 100 transmits the new pixel data to the application processor 200.
도 9는 본 발명의 일 실시 예에 따른, 퓨전 칩이 생성된 비닝 데이터와 픽셀 데이터를 융합하여 새로운 픽셀 데이터를 생성하는 일 실시 예를 도시한 도면이다. 9 is a diagram illustrating an embodiment of generating new pixel data by fusing pixel data with binning data generated by a fusion chip according to an embodiment of the present invention.
도 9를 참조하면, 시스템은 이미지 센서(100), 제어부(150), 애플리케이션 프로세서(200)를 포함한다. Referring to FIG. 9, the system includes an image sensor 100, a control unit 150, and an application processor 200.
이미지 센서(100)는 픽셀 데이터(10)와 비닝 데이터(20)를 출력한다. 제어부(150)는 퓨전 칩이 될 수 있다. 제어부(100)는 픽셀 데이터(10)와 비닝 데이터(20)를 융합하여 새로운 픽셀 데이터(30)를 생성한다. The image sensor 100 outputs the pixel data 10 and binning data 20. The control unit 150 may be a fusion chip. The controller 100 fuses the pixel data 10 and the binning data 20 to generate new pixel data 30.
제어부(100)는 새로운 픽셀 데이터를 애플리케이션 프로세서(200)으로 전달한다. The control unit 100 transmits the new pixel data to the application processor 200.
도 10은 본 발명의 일 실시 예에 따른, 수평 비닝, 수직 비닝, 전체 비닝을 도시한 도면이다. 10 is a view illustrating horizontal binning, vertical binning, and full binning according to an embodiment of the present invention.
도 10(a)는 수평 비닝을 도시한 그림이고, 도 10(b)는 수직 비닝을 도시한 도면이고, 도 10(c)는 전체 비닝을 도시한 그림이다. 10(a) is a diagram showing horizontal binning, FIG. 10(b) is a diagram showing vertical binning, and FIG. 10(c) is a diagram showing overall binning.
도 10(a)를 참조하면, 수평 비닝은 라인에서 근접 픽셀로부터의 전하들이 더해지고, 하나의 픽셀로써 적용된다. Referring to FIG. 10(a), horizontal binning adds electric charges from adjacent pixels in a line and is applied as one pixel.
도 10(b)를 참조하면, 수직 비닝은 복수의 라인에서 수직 방향의 근접한 셀로부터 전하들이 더해지고, 하나의 픽셀로써 적용된다. Referring to FIG. 10(b), vertical binning adds charges from adjacent cells in a vertical direction in a plurality of lines and is applied as one pixel.
도 10(c)를 참조하면, 전체 비닝은 2차원 평면에서 근접하고 그룹핑된 전하들이 더해지고, 하나의 픽셀로써 적용된다. Referring to Fig. 10(c), the whole binning is added in close and grouped charges in a two-dimensional plane, and is applied as one pixel.
따라서, 비닝은 CCD 센서의 인접한 픽셀로부터의 전하를 합쳐서 빛에 대한 카메라의 감도(Sensitivity)를 증가 시킨다. 수평 비닝을 사용하면 센서의 각 라인에 있는 인접 픽셀의 전하가 합산된다. 수직 비닝을 사용하면 센서에서 두 줄에서 수직 방향의 인접 픽셀의 전하가 합산된다. 전체 비닝은 2차원 평면에서, 인접 픽셀이 합산되는 수평 비닝과 수직 비닝의 조합이다. Thus, binning adds the charges from adjacent pixels of the CCD sensor to increase the camera's sensitivity to light. With horizontal binning, the charge from adjacent pixels in each line of the sensor is summed. With vertical binning, the charges of adjacent pixels in the vertical direction in two rows are summed in the sensor. Total binning is a combination of horizontal binning and vertical binning in which two adjacent pixels are summed in a two-dimensional plane.
수평 비닝 또는 수직 비닝을 사용하는 경우, 이미지 센서의 감도(Sensitivity)가 2배까지 증가할 수 있다. 전체 비닝을 사용하는 경우, 이미지 센서의 감도(Sensitivity)를 4배까지 증가할 수 있다. 또한, 비닝을 사용하게 되면, SNR 이 향상되는 효과가 있다. 본 발명은 주로 픽셀 데이터에 전체 비닝을 적용한 것에 대하여 설명하였다. When using horizontal or vertical binning, the sensitivity of the image sensor can be doubled. When using full binning, the sensitivity of the image sensor can be increased up to 4 times. In addition, when binning is used, there is an effect that the SNR is improved. The present invention has been mainly described for applying the whole binning to pixel data.
도 11은 본 발명의 일 실시 예에 따른, 이미지 센서에서 비닝 데이터를 생성하는 것을 도시한 도면이다. 11 is a diagram illustrating generating binning data in an image sensor according to an embodiment of the present invention.
도 11을 참조하면, 이미지 센서(100)는 픽셀부(110), 로우 선택부(120), 이미지 합성부(130), 아날로그 디지털 변환부(140), 제어부(150), 앰프부(160), 메모리(170)를 포함한다. Referring to FIG. 11, the image sensor 100 includes a pixel unit 110, a row selection unit 120, an image synthesis unit 130, an analog-to-digital conversion unit 140, a control unit 150, and an amplifier unit 160. , Memory 170.
픽셀부(110)는 피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력한다. The pixel unit 110 converts an optical signal of an object into an electrical signal, and outputs pixel data arranged in a matrix of a plurality of rows and columns.
로우 선택부(120)는 로우 어드레스를 수신하여 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생한다. The row selector 120 receives a row address and generates a selection signal for selecting at least two rows from a plurality of rows.
이미지 합성부(130)는 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성한다. 이미지 합성부(1300는 수평 비닝, 수직 비닝 및 전체 비닝 중 어느 하나를 픽셀 데이터에 적용하여, 비닝 데이터를 생성한다. The image synthesizing unit 130 generates binning data by applying binning to pixel data. The image combining unit 1300 generates binning data by applying any one of horizontal binning, vertical binning and full binning to pixel data.
아날로그 디지털 변환부(140)는 로우 선택부(120)가 선택한 픽셀 데이터와 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력한다. The analog-to-digital conversion unit 140 converts the pixel data selected by the row selection unit 120 and the generated binning data into a digital image signal and outputs the converted digital image signal.
앰프부(160) 픽셀부의 출력을 증폭해서, 이를 아날로그 디지털 변환부(140)에 전달한다. The amplifier 160 amplifies the output of the pixel unit and transmits it to the analog-to-digital converter 140.
메모리(170)는 픽셀 데이터를 저장한다. 본 발명의 일 실시 예에 따르면, 메모리(170)는 커패시터를 포함한다. The memory 170 stores pixel data. According to an embodiment of the present invention, the memory 170 includes a capacitor.
다음으로, 메모리의 배열 구조에 대하여 설명한다. 도 11을 참조하면, 메모리(170)는 픽셀부(110)의 열마다 배치될 수 있다. 메모리(170)가 열마다 배치되는 경우, 픽셀부(110)에 포함된 특정 라인의 픽셀 데이터를 저장할 수 있는 장점이 있다. Next, the arrangement structure of the memory will be described. Referring to FIG. 11, the memory 170 may be arranged for each column of the pixel unit 110. When the memory 170 is arranged for each column, there is an advantage of storing pixel data of a specific line included in the pixel unit 110.
다음으로, 비닝 데이터를 생성하는 것에 대하여 더 구체적으로 설명한다. Next, generating binning data will be described in more detail.
이미지 합성부(130)는 제 1 라인의 픽셀 데이터를 메모리(170)에 저장하고, 제 2 라인의 픽셀 데이터와 메모리(170)에 저장된 제 1 라인의 픽셀 데이터에 비닝을 적용하여, 비닝 데이터(1120)를 생성한다. 또한, 이미지 합성부(130)는 제 3 라인의 픽셀 데이터를 메모리(170)에 저장하고, 제 4 라인의 픽셀 데이터와 메모리(170)에 저장된 제 3 라인의 픽셀 데이터에 비닝을 적용하여, 비닝 데이터(1120)를 생성한다. The image synthesizing unit 130 stores the pixel data of the first line in the memory 170, and applies binning to the pixel data of the second line and the pixel data of the first line stored in the memory 170, and the binning data ( 1120). In addition, the image synthesizing unit 130 stores the pixel data of the third line in the memory 170 and applies binning to the pixel data of the fourth line and the pixel data of the third line stored in the memory 170, and binning Data 1120 is generated.
즉, 이미지 합성부(130)는 제 1 라인을 출력하고, 제 2 라인을 출력하고, 제 1 라인과 제 2 라인을 비닝 데이터를 출력하고, 제 3 라인을 출력하고, 제 4 라인을 출력하고, 제 3 라인과 제 4 라인을 비닝한 비닝 데이터를 출력한다. That is, the image synthesis unit 130 outputs the first line, outputs the second line, outputs binning data from the first line and the second line, outputs a third line, and outputs a fourth line. , Binning data binning the third and fourth lines is output.
도 11을 참조하면, 이미지 합성부(13)가 비닝 데이터를 생성하지 않는 경우, 이미지 합성부(130)는 복수의 라인(1110)을 순차적으로 출력한다. Referring to FIG. 11, when the image synthesizing unit 13 does not generate binning data, the image synthesizing unit 130 sequentially outputs a plurality of lines 1110.
이미지 합성부(130)는 앰프부(160)와 아날로그 디지털 변환부(140)의 동기화를 제어한다. The image synthesis unit 130 controls synchronization of the amplifier unit 160 and the analog-to-digital conversion unit 140.
본 발명의 일 실시 예에 따르면, 오리지널 이미지 데이터에 비닝을 적용하여 밝기를 향상시킨 비닝 데이터를 생성하고, 오리지널 이미지 데이터와 비닝 데이터를 융합하여, 밝기가 향상된 이미지 데이터를 생성할 수 있어서, 이미지 데이터의 파일 크기가 동일하고, 밝기가 향상되며 센서의 크기는 동일하게 유지할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.According to an embodiment of the present invention, binning is applied to the original image data to generate binning data with improved brightness, and original image data and binning data are fused to generate image data with enhanced brightness. The file size of is the same, the brightness is improved, and the size of the sensor can be kept the same, thus improving user convenience.
본 발명의 다른 일 실시 예에 따르면, 구성 요소로 메모리를 더 추가하여, 제 1 라인 데이터와 제 2 라인 데이터를 더해서, 비닝 데이터를 생성할 때, 제 1 라인 데이터를 저장할 수 있는 공간을 제공할 수 있어서, 비닝 데이터를 용이하게 생성할 수 있으므로 사용자 편의성을 항상 시킬 수 있다.According to another embodiment of the present invention, by adding more memory as a component, the first line data and the second line data are added to provide space for storing the first line data when generating binning data. Since it is possible to easily generate binning data, user convenience can always be achieved.
본 발명에 따른 영상표시기기 및 그 동작 방법은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The image display device and the operation method according to the present invention are not limited to the configuration and method of the above-described embodiments, and the above embodiments are all or part of each embodiment so that various modifications can be made. May be selectively combined.
한편, 본 발명의 영상표시기기의 동작방법은 영상표시기기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the operation method of the video display device of the present invention can be implemented as a code that can be read by the processor on a recording medium that can be read by the processor provided in the video display device. The processor-readable recording medium includes all kinds of recording devices in which data that can be read by the processor are stored. Examples of the recording medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and include those implemented in the form of carrier waves such as transmission through the Internet. . In addition, the processor-readable recording medium may be distributed over a networked computer system so that the processor-readable code is stored and executed in a distributed manner.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.
다양한 실시 예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.Various embodiments have been described in the best mode for practicing the present invention.
본 발명은 이미지의 밝기를 항샹시키는 이미지 센서의 관련 분야에서 이용된다.The present invention is used in related fields of image sensors that enhance the brightness of an image.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.It is apparent to those skilled in the art that various changes and modifications are possible in the present invention without departing from the spirit or scope of the present invention. Accordingly, the present invention is intended to cover the scope and modifications of the invention provided within the scope of the appended claims and their equivalents.

Claims (11)

  1. 이미지 센서에 있어서, In the image sensor,
    피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력하는 픽셀부;A pixel unit that converts an optical signal of a subject into an electrical signal and outputs pixel data arranged in a matrix of a plurality of rows and columns;
    로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생하는 로우 선택부;A row selector configured to receive a row address and generate a selection signal for selecting at least two rows from the plurality of rows;
    상기 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는 이미지 합성부;An image combining unit that generates binning data by applying binning to the pixel data;
    상기 로우 선택부가 선택한 상기 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력하는 아날로그 디지털 변환부; 및An analog-to-digital converter for converting the pixel data selected by the row selector and the generated binning data into digital video signals and outputting them; And
    출력된 상기 픽셀 데이터와 출력된 상기 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 제어부A control unit that generates new pixel data by fusing the output pixel data and the output binning data
    를 포함하는 이미지 센서.Image sensor comprising a.
  2. 제 1 항에 있어서, 상기 이미지 합성부는 The method of claim 1, wherein the image synthesis unit
    노출은 상기 픽셀 데이터와 동일하고, 밝기는 상기 픽셀 데이터와 다른 비닝 데이터를 생성하는,The exposure is the same as the pixel data, and the brightness produces binning data different from the pixel data,
    이미지 센서.Image sensor.
  3. 제 1 항에 있어서, 상기 제어부는 The method of claim 1, wherein the control unit
    상기 픽셀 데이터의 해상력 정보와 상기 비닝 데이터의 밝기 정보를 융합하여, 새로운 픽셀 데이터를 생성하는,A new pixel data is generated by fusing the resolution information of the pixel data and the brightness information of the binning data,
    이미지 센서.Image sensor.
  4. 제 3 항에 있어서, The method of claim 3,
    상기 픽셀 데이터가 제 1 픽셀 데이터인 경우, 상기 제 1 픽셀 데이터의 근접 픽셀 데이터는 제 2 픽셀 데이터, 제 3 픽셀 데이터 및 제 4 픽셀 데이터를 의미하고, When the pixel data is the first pixel data, the adjacent pixel data of the first pixel data means second pixel data, third pixel data, and fourth pixel data,
    상기 제 1 픽셀 데이터의 해상력 정보는 상기 제 1 픽셀 데이터를 상기 제 1 픽셀 데이터, 제 2 픽셀 데이터, 제 3 픽셀 데이터 및, 제 4 픽셀 데이터의 평균값으로 나눈 비율을 의미하는, Resolution information of the first pixel data refers to a ratio of the first pixel data divided by the average value of the first pixel data, the second pixel data, the third pixel data, and the fourth pixel data,
    이미지 센서,Image Sensor,
  5. 제 1 항에 있어서, 상기 제어부는 The method of claim 1, wherein the control unit
    생성된 상기 새로운 픽셀 데이터가 포함된 쿼드 베이어를 정상 베이어로 변환하는, The quad bayer containing the generated new pixel data is converted into a normal bayer,
    이미지 센서.Image sensor.
  6. 제 1 항에 있어서, According to claim 1,
    상기 이미지 합성부는 수평 비닝, 수직 비닝 및 전체 비닝 중 어느 하나를 상기 픽셀 데이터에 적용하여, 비닝 데이터를 생성하는, The image synthesizer generates binning data by applying any one of horizontal binning, vertical binning and full binning to the pixel data,
    이미지 센서.Image sensor.
  7. 제 1 항에 있어서, According to claim 1,
    픽셀 데이터를 저장하는 메모리를 더 포함하고, Further comprising a memory for storing pixel data,
    상기 이미지 합성부는 The image synthesis unit
    제 1 라인의 픽셀 데이터를 상기 메모리에 저장하고, 제 2 라인의 픽셀 데이터와 상기 메모리에 저장된 상기 제 1 라인의 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는A binning data is generated by storing the pixel data of the first line in the memory and applying binning to the pixel data of the second line and the pixel data of the first line stored in the memory
    이미지 센서.Image sensor.
  8. 제 7 항에 있어서, 상기 메모리는 The memory of claim 7, wherein the memory
    상기 픽셀부의 열마다 배치되는Arranged for each column of the pixel portion
    이미지 센서. Image sensor.
  9. 제 1 항에 있어서, 상기 픽셀부는, According to claim 1, wherein the pixel unit,
    레드 픽셀 및 그린 픽셀이 교대로 배열되는 제 1 라인과,A first line in which red pixels and green pixels are alternately arranged,
    블루 픽셀 및 그린 픽셀이 교대로 배열되는 제 2 라인으로 구성된 베이어 패턴으로 배열되는, The blue pixel and the green pixel are arranged in a Bayer pattern composed of alternately arranged second lines,
    이미지 센서.Image sensor.
  10. 제 1 항에 있어서, 상기 제어부는 The method of claim 1, wherein the control unit
    상기 이미지 센서와 소정 거리만큼 이격 되어 있는, Spaced a predetermined distance from the image sensor,
    이미지 센서.Image sensor.
  11. 이미지 센서의 제어 방법에 있어서, In the control method of the image sensor,
    피사체의 광학적 신호를 전기적 신호로 변환하여, 복수의 행과 열들의 매트릭스로 배열된 픽셀 데이터를 출력하는 단계; Converting the optical signal of the subject into an electrical signal, and outputting pixel data arranged in a matrix of a plurality of rows and columns;
    로우 어드레스를 수신하여 상기 복수의 행 중에서 적어도 두 개의 행을 선택하는 선택 신호를 발생하는 단계; Generating a selection signal for selecting at least two rows from the plurality of rows by receiving a row address;
    상기 픽셀 데이터에 비닝을 적용하여, 비닝 데이터를 생성하는 단계;Generating binning data by applying binning to the pixel data;
    상기 로우 선택부가 선택한 상기 픽셀 데이터와 상기 생성된 비닝 데이터를 디지털 영상 신호로 변환하여 출력하는 단계; 및Converting and outputting the pixel data and the generated binning data selected by the row selector into a digital image signal; And
    출력된 상기 픽셀 데이터와 출력된 상기 비닝 데이터를 융합하여, 새로운 픽셀 데이터를 생성하는 단계Fusing the outputted pixel data and the output binning data to generate new pixel data
    를 포함하는 이미지 센서의 제어 방법. Control method of an image sensor comprising a.
PCT/KR2018/016000 2018-11-30 2018-12-17 Image sensor and control method therefor WO2020111369A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862773187P 2018-11-30 2018-11-30
US62/773,187 2018-11-30
KR20180162029 2018-12-14
KR10-2018-0162029 2018-12-14

Publications (1)

Publication Number Publication Date
WO2020111369A1 true WO2020111369A1 (en) 2020-06-04

Family

ID=70852802

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2018/016000 WO2020111369A1 (en) 2018-11-30 2018-12-17 Image sensor and control method therefor
PCT/KR2019/009961 WO2020111441A1 (en) 2018-11-30 2019-08-08 Processor and control method therefor

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009961 WO2020111441A1 (en) 2018-11-30 2019-08-08 Processor and control method therefor

Country Status (1)

Country Link
WO (2) WO2020111369A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220053067A (en) * 2020-10-21 2022-04-29 삼성전자주식회사 Device for improving image resolution in camera system having lens causing distortion and operation method thereof
IL311275A (en) 2021-09-06 2024-05-01 Biond Biologics Ltd Cd28 shedding blocking agents

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140099625A (en) * 2013-02-04 2014-08-13 주식회사 동부하이텍 Image sensorand method for generating binning image using the same
JP2016139988A (en) * 2015-01-28 2016-08-04 株式会社東芝 Solid-state image pickup device
US20160269611A1 (en) * 2013-12-05 2016-09-15 Olympus Corporation Image pickup apparatus
KR20170007706A (en) * 2014-05-30 2017-01-19 애플 인크. Pixel binning in an image sensor
WO2017171412A2 (en) * 2016-03-30 2017-10-05 엘지전자 주식회사 Image processing apparatus and mobile terminal

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810698B2 (en) * 2009-10-07 2014-08-19 Panasonic Intellectual Property Corporation Of America Two sided solid state image sensor and an image capture device
US9930316B2 (en) * 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
WO2012161225A1 (en) * 2011-05-24 2012-11-29 ソニー株式会社 Solid-state imaging element and camera system
KR102195311B1 (en) * 2014-09-15 2020-12-24 삼성전자주식회사 Method for enhancing noise characteristics of image and an electronic device thereof
KR102292137B1 (en) * 2015-01-09 2021-08-20 삼성전자주식회사 Image sensor, and image processing system including the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140099625A (en) * 2013-02-04 2014-08-13 주식회사 동부하이텍 Image sensorand method for generating binning image using the same
US20160269611A1 (en) * 2013-12-05 2016-09-15 Olympus Corporation Image pickup apparatus
KR20170007706A (en) * 2014-05-30 2017-01-19 애플 인크. Pixel binning in an image sensor
JP2016139988A (en) * 2015-01-28 2016-08-04 株式会社東芝 Solid-state image pickup device
WO2017171412A2 (en) * 2016-03-30 2017-10-05 엘지전자 주식회사 Image processing apparatus and mobile terminal

Also Published As

Publication number Publication date
WO2020111441A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
EP0812114B1 (en) Solid-state image sensor, method for driving the same, and solid-state camera device and camera system
US10535687B2 (en) Solid-state imaging device and electronic apparatus
US9185318B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
US11496716B2 (en) Solid state imaging device and electronic apparatus
US20190349538A1 (en) Imaging device and camera system including sense circuits to make binary decision
US8031235B2 (en) Imaging apparatus and signal processing method
US20190364236A1 (en) Imaging device and imaging apparatus
CN1946136B (en) Drive method of imaging device
EP2940992A1 (en) Solid state image-sensing element, method of driving same, and electronic device
WO2015083971A1 (en) Electronic apparatus and method of controlling the same
WO2016099128A1 (en) Camera module and image sensing method therefor, and recording medium having recorded therein program for implementing method
WO2016204371A1 (en) Photographing apparatus for preventing light leakage and image sensor thereof
US20090046187A1 (en) Solid-state imaging device
WO2012001868A1 (en) Solid-state image capture element and image capture device comprising said solid-state image capture element, and image capture control method and image capture control program
WO2020111369A1 (en) Image sensor and control method therefor
WO2009113800A1 (en) Image-signal processor capable of supporting a plurality of ccd image sensors and method for processing image signals using the image-signal processor
US10944926B2 (en) Solid-state imaging element, method for driving solid-state imaging element, and electronic apparatus
US7463299B2 (en) CCD imaging device and driving method for processing image data without frame memory buffer
WO2018151499A1 (en) Method for driving pixels and cmos image sensor using same
Tabei et al. A new CCD architecture of high-resolution and sensitivity for color digital still picture
JP7439772B2 (en) Imaging device and imaging device
JPH08223588A (en) Color camera device for night vision
WO2019216029A1 (en) Imaging device, electronic apparatus, and drive method
TWI429281B (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
WO2013024938A1 (en) Pixel, pixel array, image sensor including the same and method for operating the image sensor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941217

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941217

Country of ref document: EP

Kind code of ref document: A1