WO2019078483A1 - 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법 - Google Patents

프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법 Download PDF

Info

Publication number
WO2019078483A1
WO2019078483A1 PCT/KR2018/010212 KR2018010212W WO2019078483A1 WO 2019078483 A1 WO2019078483 A1 WO 2019078483A1 KR 2018010212 W KR2018010212 W KR 2018010212W WO 2019078483 A1 WO2019078483 A1 WO 2019078483A1
Authority
WO
WIPO (PCT)
Prior art keywords
compression sensing
compression
image sensor
data
delta
Prior art date
Application number
PCT/KR2018/010212
Other languages
English (en)
French (fr)
Inventor
이병근
김진호
이현근
김우태
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170135944A external-priority patent/KR101950431B1/ko
Priority claimed from KR1020170147583A external-priority patent/KR102378468B1/ko
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to US16/757,360 priority Critical patent/US11223785B2/en
Publication of WO2019078483A1 publication Critical patent/WO2019078483A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3062—Compressive sampling or sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M3/00—Conversion of analogue values to or from differential modulation
    • H03M3/30—Delta-sigma modulation
    • H03M3/458—Analogue/digital converters using delta-sigma modulation as an intermediate step
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M3/00—Conversion of analogue values to or from differential modulation
    • H03M3/30—Delta-sigma modulation
    • H03M3/458—Analogue/digital converters using delta-sigma modulation as an intermediate step
    • H03M3/466—Multiplexed conversion systems

Definitions

  • the present invention relates to an image sensor, and more particularly to an image sensor capable of improving a frame rate of an image photographed by an image sensor having a high pixel, using a block-based compression sensing method and a delta-sigma analog- And to a method of operation.
  • the present invention relates to a compression sensing method using a second-order or higher-order delta-sigma structure, and more particularly, to a method of improving a sensing speed by applying a second-order or higher-order delta-sigma modulator to compression sensing.
  • CMOS image sensors are devices that convert optical signals into electrical signals using CMOS technology and are used in various fields such as mobile communication terminals, digital cameras, wearable devices, and medical products.
  • the most representative performance indicators of the image sensor may be the number of pixels and the frame rate, and the number of pixels is an index related to the resolution of the image.
  • the number of pixels In order to improve the resolution of the image, the number of pixels (pixels) must be increased. Accordingly, in order to load a larger number of pixels into an image sensor having a limited size, an image sensor process has been developed in such a direction that the size of the pixel continues to decrease.
  • ADC analog-to-digital converter
  • a single-slope (SS) ADC and a delta-sigma ( ⁇ ) ADC with low power consumption were mainly used.
  • the single-slope ADC has the smallest size among the ADC types, but has a disadvantage in that the conversion time is long when the resolution is high.
  • the delta-sigma ADC operates at a high speed compared to the single-slope ADC but is relatively larger than the single- There are disadvantages.
  • Rolling shutter method is the most popular method of operation of CMOS image sensor.
  • the rolling shutter system operates by analog-to-digital conversion of pixel values located in one row at a time, processing it, and sequentially processing the next row.
  • a method is employed in which, by arranging the ADC in every column of pixels to process one row of pixels, each ADC is connected to process the pixel data to maximize the frame rate have. This is defined as a column-parallel operation method, and a CMOS image sensor of this type is disclosed in a domestic registered patent (10-1448918).
  • a single-slope ADC and a delta-sigma ADC can be selectively adopted when the pixel size is equal to or larger than a predetermined size.
  • an image sensor of a thermal-parallel operation type is implemented using a general-sized delta-sigma ADC as shown in FIG. 1 (b) .
  • CMOS image sensors were forced to adopt mostly single-slope ADCs.
  • the number of pixels of the CMOS image sensor increases, the amount of data to be processed and the processing time can be increased. Accordingly, there is a limit to the frame rate of the image sensor.
  • the time that occupies the most part in determining the frame rate of the image sensor corresponds to the operating time of the ADC.
  • the operating time of the single-slope ADC is inversely proportional to the resolution of the ADC, so when using a high resolution single-slope ADC, the operating time of the ADC is significantly increased compared to the delta-sigma ADC, Resulting in a reduction in the frame rate. That is, although the number of pixels of the image sensor increases, the frame rate decreases, so that it is difficult to expect the overall performance improvement of the image sensor.
  • the demand for high pixel, high resolution, and high speed performance in the CMOS image sensor market is increasing.
  • Typical examples include HDR cameras, vehicle image sensors, surveillance drones image sensors, and medical equipment (MRI, CT).
  • MRI, CT medical equipment
  • the reason why the image sensor needs high resolution and high resolution and high speed is conflicting with each other is as follows.
  • the operating time of an existing image sensor is determined by the hardware characteristics of the ADC. Image sensors have been reduced in pixel size to accommodate more pixels at a finite size in response to the demand for high pixel performance.
  • CMOS image sensors mainly use a single slope ADC and a delta-sigma ADC, which are easy to design and have low power consumption.
  • the size of the ADC is small, but the time required to convert the data increases dramatically when the resolution is high.
  • the time required for converting the data increases sharply as the resolution increases. This results in a reduction in the frame rate of the image sensor soon.
  • compression sensing is a principle that if a signal has a rare characteristic, it can restore the signal close to the original signal even if the signal is sampled less than the conventional Shannon-Nyquist theory. According to this, it is possible to compress a large amount of original data based on the measurement matrix and to greatly reduce the time for data conversion. Therefore, since the limitation of the speed caused by the structural characteristics of the image sensor can be increased by the signal processing method, hardware for performing compression sensing on a CMOS image sensor requiring a high frame rate is being developed.
  • CMOS image sensor that performs compression sensing as a prior art is disclosed in U.S. Patent Publication No. 2014/0231620 A1.
  • This patent shows that the sampling scheme of the delta-sigma modulator is an efficient structure to be applied to the method required in the compression sense.
  • the delta sigma structure has a weighting factor for the input.
  • the first delta sigma it is easy to derive a linear sum from the original data because the weighting factor is constant.
  • the first-order delta-sigma method as shown in FIG. 17, there is a limitation that much time is required to convert data at a high resolution.
  • 1020160027257 proposed a compression sensing method using secondary delta sigma in order to solve the problem of the speed of the primary delta sigma structure in 2014/0231620 A1.
  • the invention using the secondary delta sigma includes a forward sampling process and a backward sampling process for a specific pixel using a characteristic that the weighting factor of the secondary delta sigma linearly decreases. For each pixel, it decreases linearly in the forward sampling process and linearly increases in the reverse sampling process. Therefore, it is a principle that all the pixels get the same weight when both sampling process is done.
  • the present invention has a limitation that can not be used in the third delta-sigma modulator structure.
  • the present invention proposes a sampling scheme in which the original signal can have a predetermined weight sum at the ADC output when the high-order delta sigma is used, and the fast sensing speed of the high-order delta sigma can be used for the compression sensing.
  • Another object of the present invention is to provide a method for improving a frame rate while maintaining a high compression ratio in video shooting of a high-resolution image sensor to which a compression sensing method is applied.
  • a compression-sensing image sensor includes: a pixel array including a plurality of pixels; And a readout circuit for receiving and processing pixel data in analog form for the photographed image from the plurality of pixels, wherein the pixel array has a plurality of pixels each having a plurality of pixels arranged in an array form,
  • the lead-out circuit comprises: a compression sensing multiplexer into which a plurality of pixel data output from a corresponding one of the plurality of blocks is input; An LFSR for arbitrarily selecting at least one pixel data among a plurality of pixel data input to the compression sensing multiplexer; And at least one pixel data selected by the LFSR, delta-sigma modulating the received at least one pixel data, and generating compression sensing data for reconstruction of the image of the corresponding one of the photographed images Delta-sigma ADCs.
  • the compression sensing data includes a plurality of compression sensing data, and the number of the plurality of compression sensing data can be changed based on a set compression ratio.
  • the number of the plurality of pieces of compression sensing data may increase as the set compression ratio is higher.
  • the number of the plurality of pieces of compression sensing data may be changed based on the number of pixels included in the corresponding block and the compression ratio.
  • the lead-out circuit when the compression-sensing image sensor captures a video image, includes at least one compression sense data obtained from a current frame of the video image, and at least one And outputting the compression sensing data as data for restoring the current frame.
  • a plurality of pixel data output from each of a plurality of blocks included in a corresponding block column among the plurality of blocks may be input to the compression sensing multiplexer.
  • the LFSR can arbitrarily select the at least one pixel data among the plurality of pixel data by applying a pseudo-random number generation method.
  • the delta-sigma ADC includes a delta-sigma modulator and a decimation filter, and the delta-sigma modulator may be a second-order delta-sigma modulator.
  • a method of operating a compression-sensing image sensor for capturing a video image includes: obtaining a plurality of pixel data for a first frame of the video image from a block having a plurality of pixels; Selecting a group of pixel data including at least one pixel data of the plurality of acquired pixel data; And performing a delta-sigma modulation on the selected pixel data group using the ADC corresponding to the block to obtain first compression sensing data for restoring the first frame of the block .
  • a method of compressing sensing in an image sensor includes the steps of selecting a series of pixel groups based on a measurement matrix in an array in an image sensor, determining the order in which the individual pixels in the selected group are input to the delta-sigma modulator Deriving a solution of the partitioning problem to derive a solution of the partitioning problem and applying it to derive a sampling order, and performing oversampling in accordance with the sampling procedure derived using the solution of the partitioning problem.
  • the image sensor employs a block-based compression sensing scheme to reduce the number of ADCs required to use a delta-sigma ADC with a high throughput rate for a high-resolution image sensor requiring a high resolution ADC have.
  • the frame rate of the image photographed by the high-pixel image sensor can be improved.
  • the image sensor when capturing a video image, provides compression sensing data for a previous frame acquired previously and compression sensing data for a current frame as data for restoring a current frame . That is, even if the process of acquiring the compression sense data for the current frame is performed only once, data for restoration of the current frame can be obtained, so that the frame rate can be improved while maintaining a high compression ratio for the video image. Therefore, the quality of the restored video image and the satisfaction of the performance in the frame rate aspect can be improved.
  • FIG. 1 is a schematic block diagram of a pixel array and ADC for thermal-parallel processing of a conventional image sensor.
  • FIG. 2 is a table showing the number of required sampling times of a single-slope ADC and a delta-sigma ADC according to the resolution of the ADC.
  • FIG. 3 is a schematic block diagram of an image sensor according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining the pixel array, the compression sensing multiplexer, and the delta-sigma ADC of the image sensor according to the embodiment of the present invention in more detail.
  • 5 and 6 are views for explaining a difference between a conventional rolling shutter video coding scheme and a block-based compression sensing scheme according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating images displayed according to a compression ratio when a block-based compression sensing method according to an embodiment of the present invention is applied.
  • FIG. 8 is a flowchart illustrating an operation method of an image sensor to which a block-based compression sensing method according to an embodiment of the present invention is applied.
  • FIG. 9 is a diagram illustrating an example of a measurement matrix when the compression ratio is 1/4, in relation to another embodiment of the present invention.
  • FIG. 10 is a graph illustrating an example of a weight set of a third-order delta-sigma modulator when solving a four-partition problem can be derived.
  • Fig. 11 is a diagram showing an example in which the solution is divided into four subsets having the same sum with respect to Fig. 10 using the solution of the four-division problem.
  • FIG. 12 is a graph illustrating an example of a set of weights of a third order delta-sigma modulator that can not yield a solution of a four-part problem.
  • FIG. 13 is a diagram showing an example of FIG. 12 showing that a sum can be divided into the same subset using a solution of a 4-division problem, excluding specific weights.
  • FIG. 14 is a diagram showing the operation of the compression sensing unit.
  • 15 is a flowchart showing a compression sensing method in an image sensor according to an embodiment of the present invention.
  • 16 is a diagram comparing the image quality according to the number of cycles when the second and fourth delta sigma modulators are used.
  • 17 is a graph comparing the number of cycles required to obtain each resolution from the first to fourth delta-sigma modulators designed based on the delta-sigma toolbox provided by the existing Mathworks.
  • FIG. 3 is a schematic block diagram of an image sensor according to an embodiment of the present invention.
  • the image sensor 10 may be implemented as a complementary metal-oxide semiconductor (CMOS) image sensor, but this is not necessarily so. Also, the image sensor 10 may be implemented as a compression sensing image sensor to which a compression sensing method is applied, as will be described later.
  • CMOS complementary metal-oxide semiconductor
  • the image sensor 10 includes a pixel array 20, a reference and bias circuit 30, timing control logic 40, row pixel selectors 50, , And a readout circuit (60).
  • the image sensor 10 shown in Fig. 3 is for convenience of explanation, and the image sensor 10 according to the embodiment may include more or fewer components.
  • the pixel array 20 may have a structure in which a plurality of pixels extend in the horizontal and vertical directions to form an array.
  • Each of the plurality of pixels includes a photoelectric conversion element such as a photodiode or a phototransistor and an analog voltage (or analog signal) output from the photoelectric conversion element to the outside of the lead-out circuit 60 or the pixel array 20 For example.
  • the image sensor 10 may be applied to a block-based compression sensing scheme other than a commonly used rolling shutter scheme.
  • the pixel array 20 can be divided into a plurality of blocks, and each of the blocks can be composed of an array having at least one pixel.
  • a plurality of blocks may also be arranged in the pixel array 20 as an array (a plurality of block rows and a plurality of block columns).
  • one block 21 is composed of an array of 4 ⁇ 4 pixel structures, and one block 21 includes 16 pixels.
  • the configuration of the block 21 may be freely can be changed.
  • the reference and bias circuit 30 may provide the bias voltages required for operation of the pixels of the pixel array 20 and the lead-out circuit 60 and the like.
  • the timing control logic 40 may generate various timing signals needed to control the operation of each component 20, 50, 60 and output the generated timing signals to the respective components.
  • the row pixel selector 50 can sequentially activate a plurality of pixel rows included in the pixel array 20. [ When a specific pixel row is activated, pixel data can be output from each of the pixels included in the corresponding pixel row.
  • the lead-out circuit 60 may process and convert an analog voltage or signal (pixel data) output from the pixels of the pixel array 20 into a digital code.
  • the lead-out circuit 60 according to the embodiment of the present invention includes a compressive sensing multiplexing block 61, a delta-sigma modulation block 63, a decimation filter block a decimation filter block 64, a column shift register 65, and a plurality of linear feedback shift registers (LFSRs) 66.
  • LFSRs linear feedback shift registers
  • the delta-sigma modulation block 63 and the decimation filter block 64 are collectively referred to as a delta-sigma ADC block 62.
  • the compression sensing multiplexing block 61 may comprise a plurality of compressive sensing MUXs.
  • Each of the plurality of compression sensing multiplexers is supplied with a plurality of pixel data for a corresponding one of a plurality of blocks of the pixel array 20 and outputs at least one of the plurality of pixel data that is arbitrarily selected by the LFSR 66 And output one pixel data to the delta-sigma ADC 62.
  • a plurality of blocks included in the same block sequence may correspond to one compression sensing multiplexer.
  • a plurality of compression sensing multiplexers may correspond to one block.
  • Each of the plurality of LFSRs 66 outputs to the delta-sigma ADC 62 arbitrarily selected at least one pixel data out of the plurality of pixel data input to the corresponding compression sensing multiplexer, Enabling compression sensing.
  • the LFSR 66 may arbitrarily select at least one of the plurality of pixel data by applying a pseudo-random number generation method.
  • the delta-sigma modulation block 63 comprises a plurality of delta-sigma modulators, and the decimation filter block 64 may comprise a plurality of decimation filters.
  • Each of the plurality of delta-sigma modulators and each of the plurality of decimation filters receives at least one pixel data (analog voltage) selected and output by the corresponding compression sensing multiplexer and LFSR 66,
  • the data can be delta-sigma modulated to generate digital code.
  • the generated digital code may correspond to compression sensing data.
  • the delta-sigma modulator may be implemented as a second delta-sigma modulator, but is not limited thereto.
  • a delta-sigma ADC can be composed of a delta-sigma modulator and a decimation filter.
  • the column shift register 65 can transmit the compression sensing data generated by the delta-sigma ADC 62 to the outside of the image sensor 10.
  • the compression sensing data may be transmitted to the memory of the mobile terminal or may be transmitted to the display unit of the mobile terminal.
  • the controller of the mobile terminal can recover the compression sensing data based on the information on the pseudo-random number generation method of the LFSR (66). According to the restoration result, the control unit may obtain the compressed sensing image and display the obtained compressed sensing image through the display unit.
  • the quality of the compression sensing image may vary depending on the compression ratio, and the number or amount of compression sensing data per block may vary depending on the compression ratio.
  • the higher the compression ratio the greater the number or amount of the compressed sensing data and the higher the quality of the compressed sensing image.
  • the lower the compression ratio the smaller the number or amount of the compression sensing data and the lower the quality of the compression sensing image.
  • FIG. 4 is a view for explaining the pixel array, the compression sensing multiplexer, and the delta-sigma ADC of the image sensor according to the embodiment of the present invention in more detail.
  • the image sensor 10 uses a block-based compression sensing method, so that one ADC is connected to each pixel column of the pixel array 20 . That is, in the case of the present invention, at least one of the ADCs is connected to each of the block columns to perform a block-based compression sensing method, thereby reducing the number of ADCs provided in the image sensor 10. Therefore, in a high-resolution image sensor 10 requiring a high-resolution ADC, a delta-sigma ADC having a higher operation speed than a single-slope ADC can be used.
  • the plurality of blocks included in the pixel array 20 can be arranged in an array form.
  • each of the plurality of block columns corresponds to at least one of the plurality of compression sensing multiplexers included in the compression sensing multiplexing block 61, and at least one of the plurality of delta-sigma ADCs of the delta- One can correspond to one.
  • the first block column BC1 including the first block 21 corresponds to the first compression sensing multiplexer 611 of the compression sensing multiplexing block 61, and the delta-sigma May correspond to the first delta-sigma ADC 621 of the ADC block 62.
  • the first row (ROW1) to the fourth row (ROW4) of the first block (21) can be sequentially activated by the row pixel selector (50). Pixel data of each of the first pixel P1 through the sixteenth pixel P16 of the first block 21 is sequentially output to the first compression sensing multiplexer 16 as the first row ROW1 through the fourth row ROW4 are sequentially activated. Sigma ADC 621 via the second delta-sigma ADC 611. [ At this time, the LFSR 66 arbitrarily selects a group of pixel data based on the pseudo-random number generation method among the pixel data of each of the first pixel P1 to the sixteenth pixel P16 to generate a first delta-sigma ADC (621). The group of pixel data may mean at least one pixel data output from each of at least one of the first pixel P1 through the sixteenth pixel P16.
  • the first delta-sigma ADC 621 may perform delta-sigma modulation on the pixel data group output through the first compression sensing multiplexer 611 and the LFSR 66.
  • the image sensor 10 can acquire compression sensing data having a digital code format.
  • the obtained compressed sensing data can be output to the outside of the image sensor 10.
  • a control unit or image signal processor (ISP) of various electronic devices including the image sensor 10 can recover the compression sensing data to obtain a compression sensing image.
  • the compression ratio when one piece of the compression sensing data is obtained for the sixteen pixels P1 to P16 included in the first block 21 may be 1/16.
  • a plurality of compression sensing data can be obtained from the corresponding block.
  • the ADCs may operate in parallel with each other.
  • each ADC operates once, a total of four pieces of compression sensing data are obtained, and the compression ratio at this time may correspond to 1/4.
  • each ADC operates four times, a total of 16 pieces of compression sensing data are obtained. Since the compression ratio is 1, a compression sensing image of the same quality as that of the original image can be obtained. This is because the rolling- And the operation time may be substantially the same.
  • the sensing data acquisition process uses only the pixel data of a part of pixels selected by the LFSR 66 among the pixels included in the first block 21, the compression data obtained by restoring at least one of the compression sensing data The quality of the sensing image may be lower than the quality of the original image. In this case, if the compression sensing data acquisition process for the first block 21 is repeatedly performed, the quality of the compression sensing image obtained from the plurality of compression sensing data may be improved. However, It can be difficult to expect.
  • the compression sensing data for the current frame is obtained by using the previously obtained compression sensing data and the compression sensing data obtained for the current frame.
  • the frame rate can be improved while maintaining a high compression ratio. This will be described below with reference to FIGS. 6 to 8.
  • 5 and 6 are views for explaining the difference between a conventional rolling shutter video coding scheme and a compression sensing video coding scheme according to an embodiment of the present invention.
  • the first image frame F1 is defined as the start frame of the video image taken by the image sensor 10 and the second image frame F2 is defined as the start frame of the first image frame F1 It is defined as corresponding to the next frame.
  • a fourth row (Row4) starting from the first row (Row1) In the case of the rolling shutter video coding scheme, in constructing one image frame (for example, the first image frame F1), a fourth row (Row4) starting from the first row (Row1)
  • a total of 16 pixel data for each image frame can be processed by four ADCs.
  • Each ADC can operate four times for the first row (Row1) to the fourth row (Row4).
  • each ADC operates four times for the second image frame F2 as shown in FIG.
  • a method of constructing one image frame by acquiring a plurality of compression sensing data for a frame of a specific block the data for constituting one image frame can be sufficiently obtained even if the operation is performed only once even if the compression ratio is low.
  • the time taken to acquire one image frame compared to the rolling shutter video coding scheme can be reduced.
  • the compression sensing video coding method is used to acquire 16 pieces of compression sensing data from the original image frame to obtain a compression sensing image frame of the same quality as the original image frame.
  • the image sensor 10 acquires the first to sixteenth compression sensing data (CSF1 to CSF16) for the first image frame F1, and outputs the obtained sixteen pieces of compression sensing data to the first image To the outside of the image sensor 10 as data for restoration of the frame F1.
  • each of the ADCs operates four times, so that the operating time with the rolling shutter video coding scheme of FIG. 5 can be substantially the same.
  • the image sensor 10 acquires the seventeenth compression sensing data to the twentieth compression sensing data (CSF17 to CSF20) from the second image frame F2, and outputs the obtained fifth compression sensing data to the sixteenth compression sensing data (CSF5 to CSF16) and the seventeenth compression sensing data to the twentieth compression sensing data (CSF17 to CSF20). That is, with respect to the second image frame F2, since each ADC operates only once to acquire the seventeenth compression sensing data to the twentieth compression sensing data CSF17 to CSF20, as compared with the embodiment shown in Fig. 5 A second compression sensing image frame of substantially the same quality as the second image frame F2 can be obtained since the processing speed of the second image frame F2 can be improved by four times and the compression ratio is also maintained at one.
  • the frame rate of the image sensor can be further improved by using a delta-sigma ADC compared to the conventional method using a high-resolution single-slope ADC.
  • the number or amount of compression sensing data necessary for acquiring one compression sensing image frame can be changed. Assuming that 16 compression sensing data are obtained when the compression ratio is 1, as described above, when the compression ratio is 1/2, 8 compression sensing data can be acquired and a compression sensing image frame can be obtained.
  • FIG. 7 is a diagram illustrating images displayed according to a compression ratio when a compression-sensing video coding scheme according to an embodiment of the present invention is applied.
  • the higher the compression ratio CR the higher the image quality is.
  • the PSNR of the image when the compression ratio CR is 1 may be about 88 dB, but the PSNR of the image when the compression ratio CR is 1/4 may be about 29 dB. That is, the quality of the compression sensing image may be slightly lowered according to the compression ratio CR in the case of the still image.
  • the image sensor 10 acquires a plurality of compression sensing data to generate a compression sensing image frame. Especially, for the remaining frames excluding the starting frame, The acquisition process can be performed only once. Accordingly, since the operation time of the readout circuit 60 for one frame is reduced, the frame rate can be improved, the high compression ratio can be maintained, and the quality of the compression-sensed image frame to be restored can be maximized.
  • FIG. 8 is a flowchart illustrating an operation method of an image sensor according to an embodiment of the present invention.
  • FIG. 8 illustrates the process of acquiring the compression sense data from any one of the blocks 21 of the pixel array 20, the embodiment of FIG. Can be performed in the same manner.
  • the image sensor 10 may acquire m first compression sense data for the first frame from the first block of the pixel array 20 based on the set compression ratio (SlOO).
  • the first frame is defined as the start frame of the image sensor 10 when capturing a video image.
  • the number m of the first compression sensing data may be related to the number of pixels of the first block and the compression ratio.
  • m may correspond to a product of the number of pixels of the first block and the compression ratio.
  • m corresponds to 16.
  • m may correspond to 8.
  • the image sensor 10 can output the obtained m pieces of first compression sensing data as data for restoration of the first frame (S110).
  • the obtained m pieces of first compression sensing data may be output to the outside of the image sensor 10.
  • the first compression sensing data may be transmitted to the memory of the mobile terminal or may be transmitted to the display unit of the mobile terminal.
  • the control unit or the ISP of the mobile terminal can obtain the first compression sensing image frame by restoring the first compression sensing data using information on the pseudo-random number generation scheme of the LFSR 66.
  • the image sensor 10 may obtain n second compression sense data for the second frame from the first block (S120).
  • the second frame may correspond to the next frame of the first frame.
  • the number n of second compression sensing data is equal to or less than m and may be equal to the number of ADCs corresponding to the first block. That is, for the second frame, the n ADCs corresponding to the first block operate only once each, so that n second compression sense data can be obtained.
  • the image sensor 10 can output at least one of m pieces of first compression sensing data and m pieces of compression sensing data including the n pieces of second compression sensing data as data for restoration of the second frame (S130).
  • the data for restoring the second frame may include m-n pieces of first compression sensing data and n pieces of second compression sensing data.
  • the frame rate of the image sensor 10 can be improved.
  • the image sensor 10 may output only n pieces of second compression sensing data as data for restoration of the second frame.
  • the control unit or the ISP of the electronic device restores the second compression-sensing image frame corresponding to the second frame by using the obtained n second compression-sensing data and the previously acquired mn first compression-sensing data can do.
  • FIG. 9 shows an example of a measurement matrix (simple deterministic measurement matrix) used in the present invention when the compression rate for determining the sensing method is 1/4.
  • the number of '1' constituting one row of the matrix in the measurement matrix is equal to the reciprocal of the compression rate. It is also equal to the number of data contained in one measurement value derived through the linear sum of the data.
  • FIG. 10 shows an example of a weight function of a third order delta-sigma modulator from 1 to 10 cycles.
  • the higher order delta-sigma modulator has different weights (weights) per input cycle.
  • FIG. 11 shows an example of a case where the weight obtained from the weight function of the third-order delta-sigma modulator is applied to a 4-partition problem, and the sum can be divided into 4 equal sub-sets.
  • FIG. 11 shows the result of dividing the weight of the third-order delta-sigma modulator shown in FIG. 10 into four subsets having the same sum.
  • FIG. 13 shows an example in which it is impossible to divide the sum into four equal sub-sets by applying the weighting function obtained from the weight function of the third-order delta-sigma modulator as a whole set to the 4-division problem.
  • FIG. 14 is a diagram showing the operation of the sensing unit.
  • the sensing unit 400 of the image sensor includes a Compressed Sensing Multiplexer (CS-MUX) 410 and a high-order delta-sigma modulator 420.
  • CS-MUX Compressed Sensing Multiplexer
  • the weights tend to decrease non-linearly with respect to the initial value.
  • weights are applied according to the weight function when the input signal is sequentially input. Therefore, in the case of the second-order or higher-order delta-sigma modulator, different weights are applied to sequentially input signals, which leads to problems in deriving a linear sum.
  • a pixel corresponding to the number of pixels constituting the linear sum is input to the compression sensing multiplexer 410.
  • the number of pixels input at this time is determined by the type of the measurement matrix.
  • the embodiment shown in Fig. 14 shows a case where the compression rate is 4 as shown in Fig. Therefore, according to FIG. 9, it can be seen that the linear sum is composed of four pixels.
  • the compression sensing multiplexer 410 receives a specific number of pixels at the same time.
  • the pixels are divided into a high-order delta-sigma modulator 420 ).
  • FIG. 14 shows an example when the compression rate is 1/4, and the order of the pixels input to the high-order delta-sigma modulator is the same as the order of input derived from the solution of the division problem Can be confirmed.
  • 15 is a flowchart showing a compression sensing method in an image sensor according to an embodiment of the present invention.
  • a compression sensing method (specifically, a method of compressing and sensing a natural image signal using a higher order delta-sigma modulator than a second order) is a method in which a series of pixel groups (S501), deriving a sampling order by applying a solution to the division problem to determine the order in which individual pixels in the selected group are input to the delta-sigma modulator (S503), applying the solution of the division problem (S505) of performing oversampling in accordance with the sampling sequence derived by the sampling step, and a step S507 of outputting a digital code by sequentially summing the voltages of the pixels corresponding to the respective sampling orders after performing the oversampling do.
  • the second-order sigma-delta modulator has different weighting functions depending on the order of the modulator to be used.
  • the number of pixels to be selected and the measurement matrix is determined according to the compression ratio.
  • the step of determining the order in which the pixels are input to the delta-sigma modulator takes into account the weighting function of a given sampling cycle and the delta-sigma modulator used to derive a total set of weights for each cycle over the entire cycle step. Dividing the entire set of derived weights into a plurality of subsets with the same sum using a solution of the partitioning problem and calculating a sampling order such that the weights of the individual pixels in the output of the delta- .
  • performing the oversampling includes inputting individual pixels of the pixel group derived according to the measurement matrix to the delta-sigma modulator in accordance with the derived sampling order.
  • FIG. 16 is a diagram comparing the image quality of the restored image according to the number of cycles by applying the sampling method of the embodiment when the second-order and fourth-order delta-sigma modulators are used. Compared with the quadratic method, using the quadratic means that the sampling rate increases.
  • FIG. 17 is a graph comparing the number of cycles for each of the resolutions of the first to fourth delta sigma designed based on the delta-sigma toolbox provided by the existing Mathworks. The number of cycles required decreases sharply as the order increases.
  • the above-described method can be implemented as a code readable by a processor on a medium on which a program is recorded.
  • Examples of the medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and may be implemented in the form of a carrier wave (e.g., transmission over the Internet) .
  • the above-described display device is not limited to the configuration and method of the above-described embodiments, but the embodiments may be configured such that all or some of the embodiments are selectively combined so that various modifications can be made. It is possible.

Abstract

본 발명의 실시 예에 따른 압축 센싱 이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이; 및 상기 복수의 픽셀들로부터, 촬영된 이미지에 대한 아날로그 형태의 픽셀 데이터를 수신하여 처리하는 리드아웃 회로를 포함하고, 상기 픽셀 어레이는, 각각 복수의 픽셀을 갖고, 어레이 형태로 배열되는 복수의 블록들을 포함하고, 상기 리드아웃 회로는, 상기 복수의 블록들 중 대응하는 블록으로부터 출력된 복수의 픽셀 데이터가 입력되는 압축 센싱 멀티플렉서; 상기 압축 센싱 멀티플렉서로 입력된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 임의로 선택하는 LFSR; 및 상기 LFSR에 의해 선택된 적어도 하나의 픽셀 데이터를 수신하고, 수신된 적어도 하나의 픽셀 데이터를 델타-시그마 변조하여, 상기 촬영된 이미지 중 상기 대응하는 블록의 이미지의 복원을 위한 압축 센싱 데이터를 생성하는 델타-시그마 ADC를 포함한다.

Description

프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
본 발명은 이미지 센서에 관한 것으로서, 특히 블록 기반의 압축 센싱 방식과 델타-시그마 아날로그-디지털 컨버터를 이용하여, 고화소를 갖는 이미지 센서에 의해 촬영되는 영상의 프레임 레이트를 향상시킬 수 있는 이미지 센서 및 그의 동작 방법에 관한 것이다.
또한, 본 발명은 2차 이상의 델타-시그마 구조를 이용한 압축 센싱 방법 관한 것으로서, 보다 상세하게는 압축 센싱를 2차 이상의 델타-시그마 변조기를 적용하여 센싱 속도를 개선할 수 있는 방법에 관한 것이다.
최근 CMOS 이미지 센서의 고화소, 고해상도 및 고속도에 대한 시장의 요구가 계속 증가하고 있다. CMOS 이미지 센서는 CMOS 기술을 사용하여 광학 신호를 전기 신호로 변환하는 소자로서 이동 통신 단말기, 디지털 카메라, 웨어러블 디바이스, 의료 제품 등 다양한 분야에 사용되고 있다.
이미지 센서의 가장 대표적 성능 지표는 화소수와 프레임 레이트일 수 있고, 이 중 화소수는 이미지의 해상도와 관련된 지표로서, 이미지의 해상도를 향상시키기 위해서는 화소(픽셀; Pixel)의 수가 증가되어야 한다. 이에 따라, 한정된 크기를 갖는 이미지 센서에 보다 많은 수의 픽셀을 넣기 위해, 픽셀의 크기가 계속 작아지는 방향으로 이미지 센서 공정이 개발되어 왔다.
그러나, 픽셀의 크기가 작아짐에 따라 하나의 픽셀이 흡수하는 빛의 양도 감소하고, 이는 픽셀의 동작 전압 영역 역시 감소함을 의미한다. 따라서 작은 전압 범위를 정확히 디지털 정보로 구분할 수 있는 고해상도를 갖는 아날로그-디지털 컨버터(Analog-to-Digital Converter, ADC)가 요구된다.
기존의 CMOS 이미지 센서에는, 전력 소모가 적은 싱글-슬로프 (single slope(SS)) ADC와 델타-시그마 (Delta-sigma(ΔΣ)) ADC가 주로 사용되었다. 싱글-슬로프 ADC는 ADC 종류 중 크기가 가장 작으나 고해상도로 가면 변환시간이 길어지는 단점이 있고, 델타-시그마 ADC는 싱글-슬로프 ADC에 비하여 빠른 속도로 동작하지만 상대적으로 싱글-슬로프 ADC보다 크기가 크다는 단점이 있다.
일반적인 CMOS 이미지 센서 동작 방식에서는 롤링 셔터(Rolling shutter) 방식을 가장 많이 채택하고 있다. 롤링 셔터 방식은 한번에 한 행(row)에 위치한 픽셀 값들을 아날로그-디지털 변환하여 처리하고, 다음 행을 순차적으로 처리하는 방식으로 동작한다. 롤링 셔터 방식에서 가장 효과적으로 프레임 레이트를 향상시키기 위해, 픽셀의 모든 열에 ADC를 배치시켜 픽셀의 한 행을 처리할 때 각각 모든 ADC가 연결되어 픽셀 데이터를 처리함으로써 프레임 레이트를 최대화할 수 있는 방법이 사용되고 있다. 이를 열-병렬(Column-Parallel) 동작 방식이라고 정의하고, 이러한 방식의 CMOS 이미지 센서가 국내등록특허(10-1448918호)에 개시된 바 있다.
도 1의 (a) 를 참조하면, 픽셀의 크기가 소정 크기 이상인 경우에는 싱글-슬로프 ADC와 델타-시그마 ADC를 선택적으로 채택할 수 있었다. 그러나, 고화소의 CMOS 이미지 센서의 구현을 위해 픽셀의 크기가 작아짐에 따라, 도 1의 (b)에 도시된 바와 같이 일반적인 사이즈의 델타-시그마 ADC를 이용하여 열-병렬 동작방식의 이미지 센서를 구현할 수 없으므로, CMOS 이미지 센서에서는 대부분 싱글-슬로프 ADC를 채택 할 수 밖에 없었다. CMOS 이미지 센서의 화소수가 증가함에 따라, 처리해야 하는 데이터의 양 및 처리 시간이 증가할 수 있다. 이에 따라, 이미지 센서의 프레임 레이트에 제한이 존재하게 된다. 특히, 이미지 센서의 프레임 레이트를 결정하는데 가장 많은 부분을 차지하는 시간은 ADC의 동작 시간에 해당한다. 도 2에 도시된 바와 같이, 싱글-슬로프 ADC의 동작 시간은 ADC의 해상도와 반비례하므로, 고해상도의 싱글-슬로프 ADC를 사용할 경우 ADC의 동작 시간이 델타-시그마 ADC에 비해 크게 증가하고, 이는 필연적으로 프레임 레이트의 감소를 초래한다. 즉, 이미지 센서의 화소수는 증가하였으나 프레임 레이트가 감소하게 되므로, 이미지 센서의 전체적인 성능 향상을 기대하기 어려울 수 있다.
한편, 상술한 바와 같이 CMOS 이미지 센서 시장에서 고화소, 고해상도 및 고속도 성능에 대한 요구가 증가하고 있다. 대표적인 예로서 HDR 카메라, 차량용 이미지 센서, 감시용 드론 이미지 센서, 의료 장비(MRI, CT) 등이 있다. 하지만 고화소와 고해상도에 대한 요구에 따라 이미지 센서가 처리하는 데이터의 양과 시간이 함께 증가하기 때문에 프레임 레이트에 대한 제한이 문제가 되고 있다. 이렇게 이미지 센서의 고화소, 고해상도의 요구와 고속도에 대한 요구가 서로 상충되는 관계를 보이는 이유는 다음과 같다. 기존 이미지 센서에서 동작 시간은 ADC의 하드웨어 적인 특성에 의해서 결정된다. 이미지 센서에는 고화소 성능에 대한 요구에 따라 한정된 크기에 더 많은 픽셀을 넣기 위해 화소의 크기가 점점 감소되어 왔다. 따라서 기존의 CMOS 이미지 센서에는 한정된 크기에 설계가 용이하고 전력 소모가 적은 싱글-슬로프 (single slope) ADC와 델타-시그마 (Delta-sigma) ADC를 주로 사용하였다. 하지만 상기 ADC의 경우 크기가 작으나 고해상도로 가면 데이터를 변환하는데 필요한 시간이 급격하게 증가한다. 또한 도 8에 도시된 바와 같이 싱글-슬로프 ADC의 경우데이터를 변환하는데 필요한 시간이 해상도 커짐에 따라 급격하게 증가한다. 이는 이미지 센서의 곧 프레임 레이트의 감소를 초래한다.
이러한 구조적 특징을 극복하고 데이터를 변환하는데 속도를 단축하기 위해서 압축센싱에 대한 연구가 활발히 진행되고 있다. 압축센싱이란 만약 신호가 희소한 특성을 가진다면 기존의 샤넌-나이퀴스트의 이론보다 적은 신호를 샘플링해도 원신호에 가깝게 신호를 복원할 수 있다는 원리이다. 이에 따르면 방대한 양의 원본 데이터를 측정행렬을 기반으로 압축하여 데이터를 변환하는 시간을 크게 단축할 수 있다. 따라서 이미지 센서에서 구조적 특성에서 발생하는 속도의 제한을 신호처리 방식으로 증가 시킬 수 있기 때문에 높은 프레임 레이트를 필요로 하는 CMOS 이미지 센서에 압축 센싱을 수행하는 하드웨어가 개발되고 있다.
종래 기술로서 압축 센싱을 수행하는 CMOS 이미지 센서는 미국공개특허 2014/0231620 A1에 개시된 바 있다. 본 특허에서는 델타-시그마 변조기의 샘플링 방식이 압축 센성에서 요구하는 방식에 적용되기에 효율적인 구조임을 나타낸다. 델타 시그마 구조의 경우 입력에 대하여 가중 인자(Weighting factor)를 지니는데 일차 델타 시그마의 경우 가중인자가 일정하기 때문에 원본 데이터로부터 선형 합을 도출하기 용이하다. 그러나 1차 델타-시그마의 경우 도 17에 도시된 바와 같이 높은 해상도에서 데이터를 변환하는데 많인 시간이 필요하다는 한계를 가진다. 이러한 문제는 고차 델타 시그마를 통해 해결할 수 있지만 고차 델타-시그마의 경우 데이터를 읽어오는 순서에 따라 가중 인자가 선형적으로 혹은 비선형적으로 감소하는 문제를 지닌다. 변조기가 선형합을 도출하기 위해서는 선형합을 구성하는 데이터들이 모두 동일한 가중인자를 지녀야 하기 때문에 기존의 압축 센싱 이미지 센서에서 2차 이상의 계수를 갖는 델타-시그마 변조기를 적용할 수 없었다.
두 번째 종래 기술로서 1020160027257 (2016.03.07)에서는 상기 2014/0231620 A1에서 일차 델타시그마 구조가 가진 속도의 문제를 해결하기 위해서 이차 델타시그마를 사용한 압축 센싱 방법을 제안했다. 상기 이차 델타시그마를 이용한 발명에서는 이차 델타시그마의 가중인자가 선형적으로 감소한다는 특성을 이용하여 특정 픽셀에 대하여 순방향 샘플링 과정과 역방향 샘플링 과정을 포함한다. 각 픽셀에 대하여 순방향 샘플링 과정에서는 선형적으로 감소하며 역방향 샘플링 과정에서는 가중치가 선형적으로 증가한다. 따라서 두 샘플링 과정을 모두 거치면 모든 픽셀이 동일한 가중치를 얻게 되는 원리이다. 하지만 상기 발명에서는 3차 델타-시그마 변조기 구조에서는 사용하지 못하는 한계를 지닌다.
최근에는 HDR 기술에 대한 요구가 증가하면서 넓은 다이나믹 레이지를 구현하기 위해 고해상도 ADC이 적용된 센서에 대한 요구도 함께 증가하고 있다. 하지만 도 17에 도시된 바와 같이 싱글-슬로프 ADC나 1차 델타시그마의 경우 해상도가 높아지면 필요한 사이클 수가 지수적으로 증가하기 때문에 프레임 레이트에 대한 제한이 크다. 따라서 고해상도에 대한 요구와 프레임 레이트에 대한 요구가 서로 상충되는 관계임을 확인할 수 있다. 하지만 도 8에 도시된 바와 같이 고차 델타시그마를 적용할 경우 고해상도에서도 필요한 사이클의 수가 급격하게 감소하며 이는 프레임 레이트의 증가를 의미한다. 따라서 고해상도와 고속도 이미지 센서에 대한 시장의 두 가지 요구를 모두 충족할 수 있는 구조라고 할 수 있다. 하지만 기존의 보편적인 이진 측정행렬(Binary measurement matrix) 기반의 압축센싱에서는 기존 센싱 방법과 다르게 원 신호의 선형합을 도출해야 한다. 기존 종래 기술에서 일차 델타시그마를 사용한 이유는 일차 델타시그마의 경우 입력의 순서에 상관 없이 일정한 가중치를 입력에 부여하기 때문에 선형합을 도출하는데 문제가 없었다. 하지만 고차 델타시그마는 입력에 순서에 따라 감소하는 가중치 함수를 지니기 때문에 순차적으로 데이터를 입력시키면 각 데이터들에 할당되는 가중치도 감소하므로 선형합을 도출하는데 어려움이 있다. 따라서 본 발명에서는 고차 델타시그마를 사용했을 때 원 신호가 ADC 출력에서 일정한 가중치 합을 지닐 수 있는 샘플링 방식을 제안하며 고차 델타시그마가 가지는 빠른 센싱 속도를 압축센싱에 이용할 수 있음을 보여준다.
본 발명이 해결하고자 하는 과제는, 고화소 이미지 센서에 델타-시그마 ADC를 적용함으로써 프레임 레이트를 향상시킬 수 있는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 압축 센싱 방식이 적용된 고화소 이미지 센서의 비디오 촬영 시, 높은 압축비를 유지하면서도 프레임 레이트를 향상시킬 수 있는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 압축 센싱 이미지 센서에 2차 이상의 고차 델타-시그마 구조의 변조기를 적용하기 위한 방법을 제공하는데 그 목적이 있다.
본 발명의 실시 예에 따른 압축 센싱 이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이; 및 상기 복수의 픽셀들로부터, 촬영된 이미지에 대한 아날로그 형태의 픽셀 데이터를 수신하여 처리하는 리드아웃 회로를 포함하고, 상기 픽셀 어레이는, 각각 복수의 픽셀을 갖고, 어레이 형태로 배열되는 복수의 블록들을 포함하고, 상기 리드아웃 회로는, 상기 복수의 블록들 중 대응하는 블록으로부터 출력된 복수의 픽셀 데이터가 입력되는 압축 센싱 멀티플렉서; 상기 압축 센싱 멀티플렉서로 입력된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 임의로 선택하는 LFSR; 및 상기 LFSR에 의해 선택된 적어도 하나의 픽셀 데이터를 수신하고, 수신된 적어도 하나의 픽셀 데이터를 델타-시그마 변조하여, 상기 촬영된 이미지 중 상기 대응하는 블록의 이미지의 복원을 위한 압축 센싱 데이터를 생성하는 델타-시그마 ADC를 포함한다.
실시 예에 따라, 상기 압축 센싱 데이터는, 복수의 압축 센싱 데이터를 포함하고, 상기 복수의 압축 센싱 데이터의 수는, 설정된 압축비에 기초하여 변경될 수 있다.
실시 예에 따라, 상기 복수의 압축 센싱 데이터의 수는, 상기 설정된 압축비가 높을수록 증가할 수 있다.
실시 예에 따라, 상기 복수의 압축 센싱 데이터의 수는, 상기 대응하는 블록에 포함된 픽셀의 수 및 상기 압축비에 기초하여 변경될 수 있다.
실시 예에 따라, 상기 압축 센싱 이미지 센서가 비디오 영상을 촬영하는 경우, 상기 리드아웃 회로는, 상기 비디오 영상의 현재 프레임으로부터 획득되는 적어도 하나의 압축 센싱 데이터와, 기 획득된 이전 프레임의 적어도 하나의 압축 센싱 데이터를 상기 현재 프레임의 복원을 위한 데이터로서 출력할 수 있다.
실시 예에 따라, 상기 압축 센싱 멀티플렉서에는, 상기 복수의 블록들 중 대응하는 블록 열에 포함된 복수의 블록들 각각으로부터 출력되는 복수의 픽셀 데이터가 입력될 수 있다.
상기 LFSR은 의사-난수 생성 방식을 적용하여 상기 복수의 픽셀 데이터 중 상기 적어도 하나의 픽셀 데이터를 임의로 선택할 수 있다.
상기 델타-시그마 ADC는 델타-시그마 변조기와 데시메이션 필터를 포함하고, 상기 델타-시그마 변조기는 2차 델타-시그마 변조기일 수 있다.
본 발명의 실시 예에 따른 비디오 영상을 촬영하는 압축 센싱 이미지 센서의 동작 방법은, 복수의 픽셀을 갖는 블록으로부터, 상기 비디오 영상의 제1 프레임에 대한 복수의 픽셀 데이터를 획득하는 단계; 획득된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 포함하는 일 그룹의 픽셀 데이터를 선택하는 단계; 및 상기 블록에 대응하는 ADC를 이용하여, 선택된 픽셀 데이터 그룹에 대한 델타-시그마 변조를 수행하여, 상기 블록의 상기 제1 프레임을 복원하기 위한 제1 압축 센싱 데이터를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지 센서에서의 압축 센싱 방법은 이미지 센서에 배열에서 측정행렬을 기반으로 일련의 픽셀 그룹을 선택하는 단계, 선택된 그룹 내의 개별 픽셀이 델타-시그마 변조기에 입력되는 순서를 결정하기 위해 분할 문제의 해를 도출하고 이것을 적용하여 샘플링 순서을 도출하는 단계, 상기 분할 문제의 해를 사용하여 도출한 샘플링 순서에 따라서 오버 샘플링을 수행하는 단계를 포함한다.
본 발명의 다양한 실시 예에 따르면, 이미지 센서는 블록 기반의 압축 센싱 방식을 적용하여 필요한 ADC의 수를 줄임으로써, 고해상도의 ADC가 필요한 고화소 이미지 센서에 빠른 처리속도를 갖는 델타-시그마 ADC를 사용할 수 있다. 이에 따라, 고해상도 ADC의 처리속도 지연을 최소화함으로써, 고화소 이미지 센서에 의해 촬영되는 영상의 프레임 레이트를 향상시킬 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 이미지 센서는 비디오 영상의 촬영 시, 기 획득된 이전 프레임에 대한 압축 센싱 데이터와 현재 프레임에 대한 압축 센싱 데이터를, 현재 프레임의 복원을 위한 데이터로서 제공할 수 있다. 즉, 현재 프레임에 대한 압축 센싱 데이터 획득 과정이 1회만 수행되더라도 현재 프레임의 복원을 위한 데이터가 획득될 수 있으므로, 비디오 영상에 대한 높은 압축비를 유지하면서 동시에 프레임 레이트 또한 향상시킬 수 있다. 따라서, 복원된 비디오 영상의 품질 측면과, 프레임 레이트 측면 각각에서의 성능 만족도를 높일 수 있다.
또한, 본 발명의 실시 예에 따르면, 2차 이상의 델타-시그마 변조기를 사용하여 더 낮은 차수의 변조기를 사용한 경우에 비교해 센싱 속도를 높일 수 있다.
도 1은 종래의 이미지 센서의 열-병렬 처리를 위한 픽셀 어레이와 ADC의 개략적인 블록도이다.
도 2는 ADC의 해상도에 따른 싱글-슬로프 ADC와 델타-시그마 ADC의 요구 샘플링 횟수를 나타내는 표이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 센서의 개략적인 블록도이다.
도 4는 본 발명의 실시 예에 따른 이미지 센서의 픽셀 어레이, 압축 센싱 멀티플렉서, 및 델타-시그마 ADC를 보다 구체적으로 설명하기 위한 도면이다.
도 5와 도 6은 종래의 롤링 셔터 비디오 코딩 방식과 본 발명의 실시 예에 따른 블록 기반의 압축 센싱 방식 간의 차이를 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 블록 기반의 압축 센싱 방식이 적용될 때, 압축비에 따라 표시되는 이미지를 비교하여 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 블록 기반의 압축 센싱 방식이 적용된 이미지 센서의 동작 방법을 설명하기 위한 플로우차트이다.
도 9는 본 발명의 다른 실시 예와 관련하여, 압축률이 1/4인 경우 측정행렬의 예시를 나타낸 도면이다.
도 10은 4-분할 문제의 해를 도출할 수 있는 경우의 3차 델타-시그마 변조기의 가중치 집합의 예시를 나타낸 그래프이다.
도 11은 4-분할 문제의 해를 사용하여 도 10에 대하여 합이 같은 4개의 부분집합으로 분할한 예시를 나타낸 도면이다.
도 12는 4-분할 문제의 해를 도출할 수 없는 3차 델타-시그마 변조기의 가중치 집합의 예시를 나타낸 그래프이다.
도 13은 도 12에 대하여 특정 가중치를 제외하면 4-분할 문제의 해를 사용하여 합이 같은 부분집합으로 나눌 수 있음을 보여준 예시를 나타낸 도면이다.
도 14는 압축센싱부의 동작을 나타낸 도면이다.
도 15는 본 발명의 일 실시 예에 따른 이미지 센서에서의 압축 센싱 방법을 나타내는 흐름도이다.
도 16은 2차와 4차 델타 시그마 변조기를 사용한 경우에 사이클 수에 따른 이미지 화질을 비교한 도면이다.
도 17은 기존 Mathworks에서 제공하는 델타-시그마 툴박스를 기반으로 디자인된 1차부터 4차 델타-시그마 변조기가 각 해상도를 얻기 위해 필요한 사이클 수를 비교해주는 그래프이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 3은 본 발명의 일 실시 예에 따른 이미지 센서의 개략적인 블록도이다.
도 3을 참조하면, 이미지 센서(10)는 CMOS (complementary metal-oxide semiconductor) 이미지 센서로 구현될 수 있으나, 반드시 그러한 것은 아니다. 또한, 이미지 센서(10)는 후술할 바와 같이 압축 센싱 방식이 적용된 압축 센싱 이미지 센서로 구현될 수 있다.
이러한 이미지 센서(10)는 픽셀 어레이(pixel array; 20), 레퍼런스&바이어스 회로(reference and bias circuit; 30), 타이밍 컨트롤 로직(timing control logic; 40), 로우 픽셀 선택기(row pixel selectors; 50), 및 리드아웃 회로(readout circuit; 60)를 포함할 수 있다. 도 3에 도시된 이미지 센서(10)는 설명의 편의를 위한 것으로서, 실시 예에 따라 이미지 센서(10)는 보다 많거나 적은 구성 요소를 포함할 수도 있다.
픽셀 어레이(20)는 복수의 픽셀들이 횡방향과 종방향으로 연장되어, 어레이를 이루는 구조로 이루어질 수 있다. 복수의 픽셀들 각각은 포토다이오드 또는 포토 트랜지스터 등의 광전 변환 소자와, 상기 광전 변환 소자로부터 출력되는 아날로그 전압(또는 아날로그 신호)을 리드아웃 회로(60) 또는 픽셀 어레이(20)의 외부로 전송하기 위한 복수의 트랜지스터들을 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서(10)는, 일반적으로 사용되는 롤링 셔터 방식이 아닌, 블록 기반의 압축 센싱 방식이 적용될 수 있다. 이에 따라, 픽셀 어레이(20)는 복수의 블록들로 구분될 수 있고, 블록들 각각은 적어도 하나의 픽셀들을 갖는 어레이로 구성될 수 있다. 이 때, 복수의 블록들 또한 일종의 어레이(복수의 블록 행들과 복수의 블록 열들)로 픽셀 어레이(20) 내에 배열될 수 있다.
본 명세서에서는 하나의 블록(21)이 4X4 픽셀 구조의 어레이로 구성되어, 하나의 블록(21)에 16개의 픽셀들이 포함되는 것으로 가정하여 설명하나, 블록(21)의 구성은 실시 예에 따라 자유롭게 변경될 수 있다.
레퍼런스&바이어스 회로(30)는, 픽셀 어레이(20)의 픽셀들, 및 리드아웃 회로(60) 등의 동작에 필요한 바이어스 전압을 제공할 수 있다. 타이밍 컨트롤 로직(40)은 각각의 구성 요소(20, 50, 60)의 동작을 제어하기 위하여 필요한 다양한 타이밍 신호들을 생성하고, 생성된 타이밍 신호들을 각각의 구성 요소로 출력할 수 있다.
로우 픽셀 선택기(50)는, 픽셀 어레이(20)에 포함된 복수의 픽셀 행들을 순차적으로 활성화시킬 수 있다. 특정 픽셀 행이 활성화되는 경우, 해당 픽셀 행에 포함된 픽셀들 각각으로부터 픽셀 데이터가 출력될 수 있다.
리드아웃 회로(60)는 픽셀 어레이(20)의 픽셀들로부터 출력되는 아날로그 전압 또는 신호(픽셀 데이터)를 처리하여 디지털 코드로 변환시킬 수 있다. 특히, 본 발명의 실시 예에 따른 리드아웃 회로(60)는, 압축 센싱 멀티플렉싱 블록(compressive sensing multiplexing block; 61), 델타-시그마 변조 블록(delta-sigma modulation block; 63), 데시메이션 필터 블록(decimation filter block; 64), 컬럼 시프트 레지스터(column shift register; 65), 및 복수의 LFSRs(linear feedback shift registers; 66)을 포함할 수 있다. 여기서, 델타-시그마 변조 블록(63)과 데시메이션 필터 블록(64)을 포괄하여 델타-시그마 ADC 블록(delta-sigma ADC block; 62)이라 정의할 수 있다.
압축 센싱 멀티플렉싱 블록(61)은 복수의 압축 센싱 멀티플렉서들(compressive sensing MUXs)을 포함할 수 있다. 복수의 압축 센싱 멀티플렉서들 각각에는, 픽셀 어레이(20)의 복수의 블록들 중 대응하는 블록에 대한 복수의 픽셀 데이터가 입력되고, 입력된 복수의 픽셀 데이터 중 LFSR(66)에 의해 임의로 선택되는 적어도 하나의 픽셀 데이터를 델타-시그마 ADC(62)로 출력할 수 있다. 실시 예에 따라, 하나의 압축 센싱 멀티플렉서에는 동일한 블록 열에 포함된 복수의 블록들이 대응할 수도 있다. 또한, 실시 예에 따라, 하나의 블록에 복수의 압축 센싱 멀티플렉서들이 대응할 수도 있다.
복수의 LFSRs(66) 각각은, 대응하는 압축 센싱 멀티플렉서로 입력되는 복수의 픽셀 데이터 중, 임의로 선택되는 적어도 하나의 픽셀 데이터를 델타-시그마 ADC(62)로 출력하도록 함으로써, 블록(21)에 대한 압축 센싱을 가능하게 한다. 추후 압축 센싱 데이터의 복원을 위해, LFSR(66)은 의사-난수(Pseudo-random number) 생성 방식을 적용하여 상기 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 임의로 선택할 수 있다.
델타-시그마 변조 블록(63)은 복수의 델타-시그마 변조기들을 포함하고, 데시메이션 필터 블록(64)은 복수의 데시메이션 필터들을 포함할 수 있다. 복수의 델타-시그마 변조기들 각각과 복수의 데시메이션 필터들 각각은, 대응하는 압축 센싱 멀티플렉서 및 LFSR(66)에 의해 선택되어 출력되는 적어도 하나의 픽셀 데이터(아날로그 전압)를 수신하고, 수신된 픽셀 데이터를 델타-시그마 변조하여 디지털 코드를 생성할 수 있다. 생성된 디지털 코드는 압축 센싱 데이터에 해당할 수 있다. 한편, 델타-시그마 변조기는 2차 델타-시그마 변조기로 구현될 수 있으나, 이에 한정되는 것만은 아니다. 또한, 델타-시그마 ADC는 델타-시그마 변조기와 데시메이션 필터로 구성될 수 있다.
컬럼 시프트 레지스터(65)는 델타-시그마 ADC(62)에서 생성되는 압축 센싱 데이터를 이미지 센서(10)의 외부로 전송할 수 있다. 예컨대, 이미지 센서(10)가 스마트폰, 태블릿 PC 등의 이동 단말기에 구현되는 경우, 압축 센싱 데이터는 이동 단말기의 메모리로 전송되거나, 이동 단말기의 디스플레이부로 전송될 수 있다. 이동 단말기의 제어부는, LFSR(66)의 의사-난수 생성 방식에 대한 정보에 기초하여 압축 센싱 데이터를 복원할 수 있다. 복원 결과에 따라 제어부는 압축 센싱 이미지를 획득하고, 획득된 압축 센싱 이미지를 디스플레이부를 통해 표시할 수도 있다. 압축 센싱 이미지의 품질은 압축비에 따라 달라질 수 있고, 상기 압축비에 따라 블록 당 압축 센싱 데이터의 수 또는 양이 달라질 수 있다. 압축비가 높을수록 상기 압축 센싱 데이터의 수 또는 양이 증가하고, 압축 센싱 이미지의 품질이 높아질 수 있다. 반면, 압축비가 낮을수록 상기 압축 센싱 데이터의 수 또는 양이 감소하고, 압축 센싱 이미지의 품질이 낮아질 수 있다.
도 4는 본 발명의 실시 예에 따른 이미지 센서의 픽셀 어레이, 압축 센싱 멀티플렉서, 및 델타-시그마 ADC를 보다 구체적으로 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 이미지 센서(10)는 블록 기반 압축 센싱 방식을 사용함으로써, 종래와 같이 픽셀 어레이(20)의 픽셀 열들(columns) 각각마다 하나의 ADC가 연결되지 않을 수 있다. 즉, 본 발명의 경우, ADC는 블록 열들 각각에 적어도 하나가 연결되어 블록 기반 압축 센싱 방식을 수행하는 바, 이미지 센서(10)에 구비되는 ADC의 수를 줄일 수 있다. 따라서, 고해상도의 ADC를 필요로 하는 고화소의 이미지 센서(10)에서, 싱글-슬로프 ADC에 비해 동작 속도가 빠른 델타-시그마 ADC를 사용할 수 있다.
상술한 바와 같이, 픽셀 어레이(20)에 포함되는 복수의 블록들은 어레이 형태로 배열될 수 있다. 이 경우, 복수의 블록 열들 각각은 압축 센싱 멀티플렉싱 블록(61)에 포함된 복수의 압축 센싱 멀티플렉서들 중 적어도 하나와 대응되고, 델타-시그마 ADC 블록(62)의 복수의 델타-시그마 ADC들 중 적어도 하나와 대응될 수 있다.
예컨대, 도 4에 도시된 바와 같이 제1 블록(21)이 포함되는 제1 블록 열(BC1)은, 압축 센싱 멀티플렉싱 블록(61)의 제1 압축 센싱 멀티플렉서(611)와 대응되고, 델타-시그마 ADC 블록(62)의 제1 델타-시그마 ADC(621)와 대응될 수 있다.
제1 블록(21)의 픽셀 데이터로부터 압축 센싱 데이터를 획득하는 과정을 간략히 설명하면 다음과 같다.
제1 블록(21)의 제1 행(ROW1) 내지 제4 행(ROW4)은 로우 픽셀 선택기(50)에 의해 순차적으로 활성화될 수 있다. 제1 행(ROW1) 내지 제4 행(ROW4)이 순차적으로 활성화됨에 따라, 제1 블록(21)의 제1 픽셀(P1) 내지 제16 픽셀(P16) 각각의 픽셀 데이터는 제1 압축 센싱 멀티플렉서(611)를 통해 제1 델타-시그마 ADC(621)로 출력될 수 있다. 이 때, LFSR(66)은 제1 픽셀(P1) 내지 제16 픽셀(P16) 각각의 픽셀 데이터 중, 의사-난수 생성 방식에 기초하여 일 그룹의 픽셀 데이터를 임의로 선택하여 제1 델타-시그마 ADC(621)로 출력하도록 한다. 상기 일 그룹의 픽셀 데이터는, 제1 픽셀(P1) 내지 제16 픽셀(P16) 중 적어도 하나의 픽셀 각각으로부터 출력된 적어도 하나의 픽셀 데이터를 의미할 수 있다.
제1 델타-시그마 ADC(621)는 제1 압축 센싱 멀티플렉서(611) 및 LFSR(66)을 통해 출력되는 픽셀 데이터 그룹에 대한 델타-시그마 변조를 수행할 수 있다. 상기 델타-시그마 변조 결과, 이미지 센서(10)는 디지털 코드 형식을 갖는 압축 센싱 데이터를 획득할 수 있다. 획득된 압축 센싱 데이터는 이미지 센서(10)의 외부로 출력될 수 있다. 이미지 센서(10)를 포함하는 각종 전자 기기의 제어부나 화상처리장치 (image signal processor(ISP))는, 상기 압축 센싱 데이터를 복원하여 압축 센싱 이미지를 획득할 수 있다. 상기 실시 예와 같이 제1 블록(21)에 포함된 16개의 픽셀들(P1~P16)에 대해 하나의 압축 센싱 데이터가 획득되는 경우의 압축비는 1/16에 해당할 수 있다.
추후 도 6에서 후술할 바와 같이, 특정 블록에 대응하는 압축 센싱 멀티플렉서와 델타-시그마 ADC가 복수 개인 경우, 해당 블록으로부터 복수의 압축 센싱 데이터가 획득될 수 있다. 예컨대, 제1 블록(21)에 대응하는 압축 센싱 멀티플렉서와 델타-시그마 ADC가 4개인 경우, ADC들은 서로 병렬적으로 동작할 수 있다. 각 ADC가 1회 동작하면 총 4개의 압축 센싱 데이터가 획득되고, 이 때의 압축비는 1/4에 해당할 수 있다. 한편, 각 ADC가 4회 동작하는 경우 총 16개의 압축 센싱 데이터가 획득되고, 압축비는 1이므로, 원본 이미지와 동일한 품질의 압축 센싱 이미지가 획득될 수 있고, 이는 4개의 ADC를 이용한 롤링-셔터 방식과 동작시간이 실질적으로 동일할 수 있다.
즉, 각 ADC가 1회 동작하는 것만으로도, 1/4의 압축비를 갖는 압축 센싱 이미지가 획득될 수 있으므로, 영상의 화질은 약간 감소할 수 있으나 보다 향상된 프레임 레이트를 제공할 수 있다.상기 압축 센싱 데이터 획득 과정은, 제1 블록(21)에 포함된 픽셀들 중 LFSR(66)에 의해 선택되는 일부의 픽셀들의 픽셀 데이터만을 이용하는 것이므로, 추후 적어도 하나의 압축 센싱 데이터를 복원함에 따라 획득되는 압축 센싱 이미지의 품질은, 원본 이미지의 품질보다 낮을 수 있다. 이 경우, 제1 블록(21)에 대한 상기 압축 센싱 데이터 획득 과정이 반복 수행되면, 복수의 압축 센싱 데이터로부터 획득되는 압축 센싱 이미지의 품질이 향상될 수 있으나, 롤링-셔터 방식 대비 프레임 레이트의 향상을 기대하기는 어려울 수 있다.
이와 관련하여, 본 발명의 실시 예에 따른 이미지 센서(10)는, 비디오 영상의 촬영 시, 기 획득된 압축 센싱 데이터와 현재 프레임에 대해 획득된 압축 센싱 데이터를 이용하여 현재 프레임에 대한 압축 센싱 이미지를 생성할 수 있도록 하고, 특히 현재 프레임에 대한 압축 센싱 데이터 획득 과정을 1회만 수행함으로써, 높은 압축비를 유지하면서도 프레임 레이트를 향상시킬 수 있다. 이에 대해서는 이후 도 6 내지 도 8을 참조하여 설명하기로 한다.
도 5와 도 6은 종래의 롤링 셔터 비디오 코딩 방식과 본 발명의 실시 예에 따른 압축 센싱 비디오 코딩 방식 간의 차이를 설명하기 위한 도면이다.
도 5와 도 6에서, 제1 이미지 프레임(F1)은 이미지 센서(10)에 의해 촬영되는 비디오 영상의 시작 프레임인 것으로 정의하고, 제2 이미지 프레임(F2)은 제1 이미지 프레임(F1)의 다음 프레임에 해당하는 것으로 정의한다.
도 5와 도 6에서는, 각 이미지 프레임(F1, F2)에 대해 4개의 ADC가 연결되어 있는 것으로 가정하여 설명한다. 도 5의 경우, 4개의 픽셀 열들 각각에 하나의 ADC가 연결될 수 있고, 도 6의 경우 이미지 프레임(F1, F2)의 블록 자체에 4개의 ADC가 연결될 수 있다.
도 5를 참조하면, 롤링 셔터 비디오 코딩 방식의 경우, 하나의 이미지 프레임(예컨대, 제1 이미지 프레임(F1))을 구성하는 데 있어서, 제1 행(Row1)부터 시작하여 제4 행(Row4)까지의 픽셀 데이터를 모두 처리한 후에 하나의 이미지 프레임이 생성될 수 있다. 하나의 행을 처리하는데 걸리는 시간의 대부분은 리드아웃 시간이므로, 롤링 셔터 비디오 코딩 방식의 경우 리드아웃 시간에 의해 프레임 레이트가 제한될 수 있다. 도 5의 실시 예에서는, 각 이미지 프레임에 대해 총 16개의 픽셀 데이터가 4개의 ADC에 의해 처리될 수 있다. 각 ADC는 제1 행(Row1) 내지 제4 행(Row4)에 대해 4회 동작할 수 있다. 특히, 종래의 롤링 셔터 비디오 코딩 방식의 경우, 각 이미지 프레임 마다 상술한 과정이 수행되어야 하므로, 도 5에 도시된 바와 같이 제2 이미지 프레임(F2)에 대해서도 각 ADC가 4회씩 동작하게 된다.
반면, 도 6을 참조하면, 본 발명의 실시 예에 따른 압축 센싱 비디오 코딩 방식의 경우, 특정 블록의 프레임에 대해 복수의 압축 센싱 데이터를 획득하여 하나의 이미지 프레임을 구성하는 방식으로서, 각 ADC가 1회만 동작하더라도 압축비가 낮을 뿐 하나의 이미지 프레임을 구성하기 위한 데이터는 충분히 획득될 수 있다. 따라서, 롤링 셔터 비디오 코딩 방식에 비해 하나의 이미지 프레임을 획득하는 데 걸리는 시간이 감소할 수 있다.
예컨대 도 6의 실시 예에서는 압축비가 1인 경우, 즉 상기 압축 센싱 비디오 코딩 방식을 이용하여 원본 이미지 프레임과 동일한 품질의 압축 센싱 이미지 프레임을 획득하기 위해, 원본 이미지 프레임으로부터 16개의 압축 센싱 데이터를 획득하는 것으로 가정한다. 이 경우, 이미지 센서(10)는 제1 이미지 프레임(F1)에 대해, 제1 압축 센싱 데이터 내지 제16 압축 센싱 데이터(CSF1~CSF16)를 획득하고, 획득된 16개의 압축 센싱 데이터를 제1 이미지 프레임(F1)의 복원을 위한 데이터로서 이미지 센서(10)의 외부로 출력할 수 있다. 이를 위해, ADC들 각각은 4회씩 동작하므로, 도 5의 롤링 셔터 비디오 코딩 방식과의 동작 시간이 실질적으로 동일할 수 있다.
이후, 이미지 센서(10)는 제2 이미지 프레임(F2)으로부터 제17 압축 센싱 데이터 내지 제20 압축 센싱 데이터(CSF17~CSF20)를 획득하고, 기 획득된 제5 압축 센싱 데이터 내지 제16 압축 센싱 데이터(CSF5~CSF16)와 상기 제17 압축 센싱 데이터 내지 제20 압축 센싱 데이터(CSF17~CSF20)를 이용하여 제2 압축 센싱 이미지 프레임을 획득할 수 있다. 즉, 제2 이미지 프레임(F2)에 대해서는, 제17 압축 센싱 데이터 내지 제20 압축 센싱 데이터(CSF17~CSF20)의 획득을 위해 각 ADC가 1회만 동작하게 되므로, 도 5에 도시된 실시 예에 비해 제2 이미지 프레임(F2)의 처리 속도가 4배 향상될 수 있고, 압축비 또한 1로 유지되므로 제2 이미지 프레임(F2)과 실질적으로 동일한 품질의 제2 압축 센싱 이미지 프레임이 획득될 수 있다.
또한, 고해상도의 싱글-슬로프 ADC를 사용하는 종래의 방식에 비해 델타-시그마 ADC를 사용함으로써 이미지 센서의 프레임 레이트를 추가적으로 향상시킬 수 있다.
한편, 설정된 압축비에 따라, 하나의 압축 센싱 이미지 프레임의 획득을 위해 필요한 압축 센싱 데이터의 수 또는 양이 변경될 수 있다. 상술한 바와 같이 압축비가 1인 경우 16개의 압축 센싱 데이터를 획득하는 것으로 가정하면, 압축비가 1/2인 경우에는 8개의 압축 센싱 데이터를 획득하여 압축 센싱 이미지 프레임을 획득할 수 있다.
도 7은 본 발명의 실시 예에 따른 압축 센싱 비디오 코딩 방식이 적용될 때, 압축비에 따라 표시되는 이미지를 비교하여 나타내는 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 블록 기반 압축 센싱 방식이 적용되는 경우, 압축비(CR)가 높을수록 이미지의 화질이 높은 것을 알 수 있다. 예컨대, 압축비(CR)가 1인 경우의 이미지의 PSNR은 약 88dB이나, 압축비(CR)가 1/4인 경우의 이미지의 PSNR은 약 29dB일 수 있다. 즉, 정지 이미지의 경우 압축비(CR)에 따라 압축 센싱 이미지의 품질이 다소 저하될 수도 있다.
그러나, 비디오 영상 이미지의 촬영 시, 본 발명의 실시 예에 따른 이미지 센서(10)는 복수의 압축 센싱 데이터를 획득하여 압축 센싱 이미지 프레임을 생성하고, 특히 시작 프레임을 제외한 나머지프레임에 대해서는 압축 센싱 데이터 획득 과정을 1회만 수행할 수 있다. 따라서, 하나의 프레임에 대한 리드아웃 회로(60)의 동작 시간이 감소하므로 프레임 레이트를 향상시킬 수 있고, 아울러 높은 압축비를 유지할 수 있어, 추후 복원되는 압축 센싱 이미지 프레임의 품질 또한 극대화할 수 있다.
도 8은 본 발명의 실시 예에 따른 이미지 센서의 동작 방법을 설명하기 위한 플로우차트이다.
도 8에 도시된 실시 예는, 픽셀 어레이(20)의 블록들 중 어느 하나의 블록(21)으로부터의 압축 센싱 데이터 획득 과정을 설명하고 있으나, 해당 실시 예는 픽셀 어레이(20)의 모든 블록들에 대해서도 마찬가지로 수행될 수 있다.
도 8을 참조하면, 이미지 센서(10)는 설정된 압축비에 기초하여, 픽셀 어레이(20)의 제1 블록으로부터, 제1 프레임에 대한 m개의 제1 압축 센싱 데이터를 획득할 수 있다(S100).
여기서, 제1 프레임은 이미지 센서(10)의 비디오 영상 촬영 시의 시작 프레임인 것으로 정의한다.
제1 압축 센싱 데이터의 개수 m은, 제1 블록의 픽셀 수 및 상기 압축비와 관련될 수 있다. 예컨대, 상기 m은 제1 블록의 픽셀 수와 상기 압축비의 곱에 해당할 수 있다. 예컨대, 픽셀 수가 16이고 압축비가 1인 경우, m은 16에 해당한다. 한편, 픽셀 수가 16이고 압축비가 1/2인 경우, m은 8에 해당할 수 있다.
이미지 센서(10)는, 획득된 m개의 제1 압축 센싱 데이터를, 제1 프레임의 복원을 위한 데이터로서 출력할 수 있다(S110).
획득된 m개의 제1 압축 센싱 데이터는 이미지 센서(10)의 외부로 출력될 수 있다. 예컨대, 이미지 센서(10)가 스마트폰, 태블릿 PC 등의 이동 단말기에 구현되는 경우, 제1 압축 센싱 데이터는 이동 단말기의 메모리로 전송되거나, 이동 단말기의 디스플레이부로 전송될 수 있다. 이동 단말기의 제어부 또는 ISP는, LFSR(66)의 의사-난수 생성 방식에 대한 정보를 이용하여, 제1 압축 센싱 데이터를 복원하여 제1 압축 센싱 이미지 프레임을 획득할 수 있다.
이미지 센서(10)는, 제1 블록으로부터 제2 프레임에 대한 n개의 제2 압축 센싱 데이터를 획득할 수 있다(S120). 제2 프레임은 제1 프레임의 다음 프레임에 해당할 수 있다.
제2 압축 센싱 데이터의 개수 n은 m 이하이고, 제1 블록에 대응하는 ADC의 수와 동일할 수 있다. 즉, 제2 프레임에 대해, 제1 블록에 대응하는 n개의 ADC는 각각 1회만 동작하고, 그 결과 n개의 제2 압축 센싱 데이터가 획득될 수 있다.
이미지 센서(10)는, m개의 제1 압축 센싱 데이터 중 적어도 하나와, 상기 n개의 제2 압축 센싱 데이터를 포함하는 m개의 압축 센싱 데이터를, 상기 제2 프레임의 복원을 위한 데이터로서 출력할 수 있다(S130).
즉, 제2 프레임의 복원을 위한 데이터는, m-n개의 제1 압축 센싱 데이터와 n개의 제2 압축 센싱 데이터를 포함할 수 있다. 상술한 바와 같이, 제2 프레임에 대해 n개의 ADC가 1회만 동작하므로, 이미지 센서(10)의 프레임 레이트가 향상될 수 있다.
실시 예에 따라, 이미지 센서(10)는 n개의 제2 압축 센싱 데이터만을 상기 제2 프레임의 복원을 위한 데이터로서 출력할 수도 있다. 이 경우, 전자 기기의 제어부 또는 ISP는, 획득된 n개의 제2 압축 센싱 데이터와, 기 획득된 m-n개의 제1 압축 센싱 데이터를 이용하여, 제2 프레임에 대응하는 제2 압축 센싱 이미지 프레임을 복원할 수 있다.
도 9는 센싱 방식을 결정하는 압축률이 1/4인 경우의 본 발명에서 사용 하는 측정행렬(Simple deterministic measurement matrix)의 예시를 나타낸다.
도 9를 참조하면, 측정행렬에서 행렬의 한 행을 구성하는 '1'의 개수는 압축률의 역수와 동일하다. 또한 이는 데이터의 선형합을 통해 도출한 하나의 측정값(Measurement value)에 포함된 데이터의 수와 동일하다.
도 10은 3차 델타-시그마 변조기의 가중치 함수를 1부터 10 사이클에 대한 예시를 나타낸다.
도 10에 도시된 바와 같이, 고차 델타-시그마 변조기는 입력 사이클마다 다른 웨이트(가중치)를 가짐을 알 수 있다.
도 11은 도 3차 델타-시그마 변조기의 가중치 함수로부터 얻은 가중치를 전체 집합으로 가정했을 때, 4-분할 문제에 적용하여 이것을 합이 같은 4개의 부분 집합으로 분할이 가능한 경우의 예시를 나타낸다.
도 11은 상기 도 10에 제시된 3차 델타-시그마 변조기의 가중치를 합이 같은 4개의 부분집합으로 분할한 결과를 나타낸다.
도 12는 3차 델타-시그마 변조기의 가중치 함수를 1부터 14 사이클에 대한 예시를 나타낸다.
도 13은 도 3차 델타-시그마 변조기의 가중치 함수로부터 얻은 가중치를 전체 집합으로 가정했을 때, 4-분할 문제에 적용하여 이것을 합이 같은 4개의 부분 집합으로 분할이 불가능한 예시를 나타낸다.
도 13은 도 12에 제시된 3차 델타-시그마 변조기의 가중치를 합이 같은 4개의 부분집합으로 분할되지 않기 때문에 임의로 선택한 사이클 (11, 12번째)를 제외하고 나머지에 대해서 4-분할 문제에 적용하여 합이 같은 4개의 집합으로 분할한 예시를 나타낸다. 이때 제외되는 사이클에는 0 또는 특정 직류 전압을 입력시킨다.
도 14는 센싱부의 동작을 나타낸 도면이다.
도 14에 도시된 바와 같이, 이미지 센서의 센싱부(400)는 압축 센싱 멀티플렉서(Compressed Sensing Multiplexer, CS-MUX)(410) 및 고차 델타-시그마 변조기(420)을 포함한다.
도 10을 참조하면, 3차 델타-시그마 변조기의 경우에는 가중치가 초기값을 기준으로 비선형적으로 점차 감소하는 경향을 나타낸다. 델타-시그마 변조기의 경우 입력신호가 순차적으로 입력되면 가중치 함수에 따라서 가중치가 적용된다. 따라서 2차 이상의 델타 시그마 변조기의 경우 순차적으로 입력되는 신호에 서로 상이한 가중치가 적용되기 때문에 선형합을 도출하는데 문제가 발생한다.
도 9를 참조하면 선형합을 도출하기 위해서는 컨버전이 종료되는 시점에 변조기 출력에서 선형합을 구성하는 픽셀들이 모두 같은 가중치를 가져야 한다. 본 발명에 따른 2차 이상에서 선형합을 도출하기 위한 센싱부(400)의 동작은 다음과 같다.
우선 선형합을 구성할 픽셀의 수에 해당하는 픽셀이 압축 센싱 멀티플렉서(410)에 입력된다. 이 때 입력되는 픽셀 수는 측정행렬의 형태에 의해서 결정된다. 도 14에 도시된 실시 예는 도 9에 도시된 것과 같이 압축률이 4인 경우를 나타낸다. 따라서 도 9에 따르면 선형합이 4개의 픽셀들로 구성되는 것을 알 수 있다. 도 14에 따르면 이렇게 특정 수의 픽셀을 동시에 입력 받은 압축 센싱 멀티플렉서(410) 앞서 본 발명에서 제안하는 바와 같이 부분집합 문제의 해를 활용하여 도출한 입력 순서에 따라서 픽셀을 고차 델타-시그마 변조기(420)에 입력한다.
다시 말해서, 도 14의 경우 압축률이 1/4 일 때의 예시를 나타내며, 고차 델타-시그마 변조기에 입력되는 픽셀의 순서는 도 10에 도시된 것과 같이 분할 문제의 해로부터 도출한 입력순서와 동일한 순서인 것을 확인 할 수 있다.
따라서 위와 같은 순서로 델타-시그마 변조기에 픽셀들을 입력시키면 컨버전이 종료되는 시점에서 모든 픽셀은 같은 가중치 합을 가지게 된다. 따라서 모든 픽셀이 같은 가중치를 가지는 선형합을 도출할 수 있는 원리이다.
도 15는 본 발명의 일 실시 예에 따른 이미지 센서에서의 압축 센싱 방법을 나타내는 흐름도이다.
본 발명의 일 실시 예에 따른 압축 센싱 방법은(구체적으로 2차 이상의 고차 델타-시그마 변조기를 사용하여 자연적인 이미지신호를 압축센싱하는 방법)은 이미지 센서에 배열에서 측정행렬에 따라서 일련의 픽셀 그룹을 선택하는 단계(S501), 선택된 그룹 내의 개별 픽셀이 델타-시그마 변조기에 입력되는 순서를 결정하기 위해 분할 문제의 해를 적용하여 샘플링 순서를 도출하는 단계(S503), 상기 분할 문제의 해를 적용하여 도출한 샘플링 순서에 따라서 오버 샘플링을 수행하는 단계(S505), 및 오버 샘플링을 수행한 후에 각각의 샘플링 차수에 해당하는 픽셀의 전압을 순차적으로 합산하여 디지털 코드를 출력하는 단계(S507)를 포함한다.
이때, 2차 이상의 시그마 델타 변조기는 사용되는 변조기의 차수에 따라서 서로 다른 가중치 함수를 가진다.
그리고, 상기 측정행렬에 따라서 픽셀의 그룹을 선택하는 단계에서는 압축률에 따라서 측정행렬과 선택되는 픽셀의 수가 결정된다.
여기에서, 델타-시그마 변조기에 픽셀이 입력되는 순서를 결정하기 위한 단계는 주어진 샘플링 사이클과 사용되는 델타-시그마 변조기의 가중치 함수를 고려해서 전체 사이클 동안 각각의 사이클이 가지는 가중치의 전체 집합을 도출하는 단계. 도출한 가중치의 전체 집합에 대하여 분할 문제의 해를 이용해 합이 같은 여러 개의 부분 집합으로 분할하는 단계 및 분할된 집합을 바탕으로 델타-시그마 변조기의 출력에서 개별 픽셀이 가지는 가중치가 모두 동일하도록 샘플링 순서를 도출하는 단계를 더 포함한다.
여기에서, 오버 샘플링을 수행하는 단계는 상기 측정행렬에 따라서 도출한 픽셀 그룹의 개별 픽셀들이 상기 도출한 샘플링 순서에 따라서 델타-시그마 변조기에 입력하는 단계를 포함한다.
도 16은 2차와 4차 델타 시그마 변조기를 사용한 경우 실시예의 샘플링 방법을 적용하여 사이클 수에 따른 복원 이미지 화질을 비교한 도면이다. 2차 방식과 비교해서 4차를 사용하면 샘플링 속도가 증가함을 나타낸다.
도 17은 기존 Mathworks에서 제공하는 델타-시그마 툴박스를 기반으로 디자인한 1차부터 4차 델타시그마가 각 해상도를 지니기 위한 사이클 수를 비교해주는 그래프이다. 차수가 증가함에 따라서 필요한 사이클 수가 급격하게 감소함을 나타낸다.
본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (14)

  1. 복수의 픽셀들을 포함하는 픽셀 어레이; 및
    상기 복수의 픽셀들로부터, 촬영된 이미지에 대한 아날로그 형태의 픽셀 데이터를 수신하여 처리하는 리드아웃 회로를 포함하고,
    상기 픽셀 어레이는,
    각각 복수의 픽셀을 갖고, 어레이 형태로 배열되는 복수의 블록들을 포함하고,
    상기 리드아웃 회로는,
    상기 복수의 블록들 중 대응하는 블록으로부터 출력된 복수의 픽셀 데이터가 입력되는 압축 센싱 멀티플렉서;
    상기 압축 센싱 멀티플렉서로 입력된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 임의로 선택하는 LFSR(linear feedback shift register); 및
    상기 LFSR에 의해 선택된 적어도 하나의 픽셀 데이터를 수신하고, 수신된 적어도 하나의 픽셀 데이터를 델타-시그마 변조하여, 상기 촬영된 이미지 중 상기 대응하는 블록의 이미지의 복원을 위한 압축 센싱 데이터를 생성하는 델타-시그마 ADC(analog-to-digital converter)를 포함하는
    압축 센싱 이미지 센서.
  2. 제1항에 있어서,
    상기 압축 센싱 데이터는,
    복수의 압축 센싱 데이터를 포함하고,
    상기 복수의 압축 센싱 데이터의 수는, 설정된 압축비에 기초하여 변경되는
    압축 센싱 이미지 센서.
  3. 제2항에 있어서,
    상기 복수의 압축 센싱 데이터의 수는,
    상기 설정된 압축비가 높을수록 증가하는
    압축 센싱 이미지 센서.
  4. 제2항에 있어서,
    상기 복수의 압축 센싱 데이터의 수는,
    상기 대응하는 블록에 포함된 픽셀의 수 및 상기 압축비에 기초하여 변경되는
    압축 센싱 이미지 센서.
  5. 제2항에 있어서,
    상기 압축 센싱 이미지 센서가 비디오 영상을 촬영하는 경우,
    상기 리드아웃 회로는,
    상기 비디오 영상의 현재 프레임으로부터 획득되는 적어도 하나의 압축 센싱 데이터와, 기 획득된 이전 프레임의 적어도 하나의 압축 센싱 데이터를 상기 현재 프레임의 복원을 위한 데이터로서 출력하는
    압축 센싱 이미지 센서.
  6. 제1항에 있어서,
    상기 압축 센싱 멀티플렉서에는,
    상기 복수의 블록들 중 대응하는 블록 열에 포함된 복수의 블록들 각각으로부터 출력되는 복수의 픽셀 데이터가 입력되는
    압축 센싱 이미지 센서.
  7. 제1항에 있어서,
    상기 LFSR은 의사-난수(pseudo-random number) 생성 방식을 적용하여 상기 복수의 픽셀 데이터 중 상기 적어도 하나의 픽셀 데이터를 임의로 선택하는
    압축 센싱 이미지 센서.
  8. 제1항에 있어서,
    상기 델타-시그마 ADC는 델타-시그마 변조기와 데시메이션 필터를 포함하고,
    상기 델타-시그마 변조기는 2차 델타-시그마 변조기인
    압축 센싱 이미지 센서.
  9. 비디오 영상을 촬영하는 압축 센싱 이미지 센서의 동작 방법에 있어서,
    (a) 복수의 픽셀을 갖는 블록으로부터, 상기 비디오 영상의 제1 프레임에 대한 복수의 픽셀 데이터를 획득하는 단계;
    (b) 획득된 복수의 픽셀 데이터 중 적어도 하나의 픽셀 데이터를 포함하는 일 그룹의 픽셀 데이터를 선택하는 단계; 및
    (c) 상기 블록에 대응하는 ADC를 이용하여, 선택된 픽셀 데이터 그룹에 대한 델타-시그마 변조를 수행함으로써, 상기 블록의 상기 제1 프레임을 복원하기 위한 제1 압축 센싱 데이터를 획득하는 단계를 포함하는
    압축 센싱 이미지 센서의 동작 방법.
  10. 제9항에 있어서,
    상기 (a) 단계와 상기 (b) 단계는 적어도 일 회 수행되고,
    상기 제1 압축 센싱 데이터는 M개의 제1 압축 센싱 데이터를 포함하고,
    상기 M은 상기 블록의 픽셀 수, 및 설정된 압축비에 기초하여 결정되고, 1 이상의 값을 갖는
    압축 센싱 이미지 센서의 동작 방법.
  11. 제10항에 있어서,
    상기 M은 상기 설정된 압축비가 높을수록 증가하는
    압축 센싱 이미지 센서의 동작 방법.
  12. 제10항에 있어서,
    상기 블록으로부터, 상기 제1 프레임의 다음 프레임인 제2 프레임에 대한 N개의 제2 압축 센싱 데이터를 획득하는 단계를 더 포함하고,
    상기 제2 프레임의 복원을 위한 압축 센싱 데이터는, M-N개의 제1 압축 센싱 데이터와, 상기 N개의 제2 압축 센싱 데이터를 포함하고,
    상기 N은 M 이하의 값을 갖는
    압축 센싱 이미지 센서의 동작 방법.
  13. 제12항에 있어서,
    상기 N은 상기 블록에 대응하는 ADC의 개수이고,
    상기 N개의 제2 압축 센싱 데이터를 획득하는 단계는,
    N개의 ADC 각각에 대해 1회 수행되는
    압축 센싱 이미지 센서의 동작 방법.
  14. 제9항에 있어서,
    상기 일 그룹의 픽셀 데이터를 선택하는 단계는,
    상기 복수의 픽셀 데이터 중, 의사-난수 생성 방식을 적용하여 상기 일 그룹의 픽셀 데이터를 임의로 선택하는
    압축 센싱 이미지 센서의 동작 방법.
PCT/KR2018/010212 2017-10-19 2018-09-03 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법 WO2019078483A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/757,360 US11223785B2 (en) 2017-10-19 2018-09-03 Compressive sensing image sensor for enhancing frame rate and operating method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0135944 2017-10-19
KR1020170135944A KR101950431B1 (ko) 2017-10-19 2017-10-19 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
KR1020170147583A KR102378468B1 (ko) 2017-11-07 2017-11-07 고차 델타-시그마 구조를 사용한 이미지 센서 및 이미지 센서의 압축센싱 방법
KR10-2017-0147583 2017-11-07

Publications (1)

Publication Number Publication Date
WO2019078483A1 true WO2019078483A1 (ko) 2019-04-25

Family

ID=66173777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/010212 WO2019078483A1 (ko) 2017-10-19 2018-09-03 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법

Country Status (2)

Country Link
US (1) US11223785B2 (ko)
WO (1) WO2019078483A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627830A1 (en) * 2018-09-18 2020-03-25 IniVation AG Image sensor and sensor device for imaging temporal and spatial contrast
US11050965B1 (en) * 2020-03-18 2021-06-29 Gwangju Institute Of Science And Technology Image sensor and image recognition apparatus using the same
JP2022144245A (ja) * 2021-03-18 2022-10-03 キヤノン株式会社 光電変換装置、電子機器および基板

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060043071A (ko) * 2004-02-23 2006-05-15 소니 가부시끼 가이샤 고체 촬상 장치 및 고체 촬상 장치의 구동 방법
KR20070091575A (ko) * 2006-03-06 2007-09-11 소니 가부시끼 가이샤 고체 촬상 장치, 그 구동 방법, 및 카메라
KR20120022034A (ko) * 2010-08-31 2012-03-09 삼성전자주식회사 픽셀 데이터의 고속 출력을 위한 이미지 센서
KR101741754B1 (ko) * 2016-03-07 2017-05-31 광주과학기술원 압축 센싱 이미지 센서의 화질 개선 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016039393A (ja) * 2014-08-05 2016-03-22 ソニー株式会社 撮像装置及び画素信号読み出し方法
JP6672070B2 (ja) * 2016-05-17 2020-03-25 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060043071A (ko) * 2004-02-23 2006-05-15 소니 가부시끼 가이샤 고체 촬상 장치 및 고체 촬상 장치의 구동 방법
KR20070091575A (ko) * 2006-03-06 2007-09-11 소니 가부시끼 가이샤 고체 촬상 장치, 그 구동 방법, 및 카메라
KR20120022034A (ko) * 2010-08-31 2012-03-09 삼성전자주식회사 픽셀 데이터의 고속 출력을 위한 이미지 센서
KR101741754B1 (ko) * 2016-03-07 2017-05-31 광주과학기술원 압축 센싱 이미지 센서의 화질 개선 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUSUKE OIKE ET AL.: "CMOS Image Sensor With Per-Column SIGMA DELTA ADC and Programmable Compressed Sensing", IEEE JOURNAL OF SOLID-STATE CIRCUITS, vol. 48, no. 1, January 2013 (2013-01-01), pages 318 - 328, XP011485444, DOI: 10.1109/JSSC.2012.2214851 *

Also Published As

Publication number Publication date
US20200344428A1 (en) 2020-10-29
US11223785B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
KR101141449B1 (ko) 고체 촬상 장치 및 고체 촬상 장치의 구동 방법
Oike et al. CMOS image sensor with per-column ΣΔ ADC and programmable compressed sensing
WO2019078483A1 (ko) 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
Kawahito et al. A CMOS image sensor with analog two-dimensional DCT-based compression circuits for one-chip cameras
EP2381675B1 (en) Imaging sensor having reduced column fixed pattern noise
Oike et al. A 256× 256 CMOS image sensor with ΔΣ-based single-shot compressed sensing
JP4453761B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
KR101486043B1 (ko) 시그마-델타 아날로그-디지털 변환기와 이를 포함하는이미지 촬상 장치
US20060066750A1 (en) Image sensors
KR20090023549A (ko) 높은 동적 범위 판독을 위한 혼합된 아날로그 및 디지털 픽셀
US20140231620A1 (en) Image sensor and imaging method with single shot compressed sensing
CA2758275A1 (en) Image sensor adc and cds per column
EP2350918B1 (en) Signal processor with analog residue
KR101950431B1 (ko) 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
KR101031591B1 (ko) 고속 대면적 광자 계수형 엑스선 동영상 센서, 이를 포함하는 엑스선 동영상 촬상 시스템 및 픽셀 데이터 독출 방법
CN111050096B (zh) 局部曝光传感器及其操作方法
JP2021027516A (ja) 撮像装置および撮像装置の制御方法
CN110855911A (zh) 用于图像数据压缩的系统和方法
KR20190051684A (ko) 고차 델타-시그마 구조를 사용한 이미지 센서 및 이미지 센서의 압축센싱 방법
Gao Theory, modeling and design of the indirect-feedback sigma-delta image sensor system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18869379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18869379

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26.01.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18869379

Country of ref document: EP

Kind code of ref document: A1