WO2010137310A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2010137310A1
WO2010137310A1 PCT/JP2010/003530 JP2010003530W WO2010137310A1 WO 2010137310 A1 WO2010137310 A1 WO 2010137310A1 JP 2010003530 W JP2010003530 W JP 2010003530W WO 2010137310 A1 WO2010137310 A1 WO 2010137310A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
unit
defective
defective pixel
Prior art date
Application number
PCT/JP2010/003530
Other languages
English (en)
French (fr)
Inventor
森圭一
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2010137310A1 publication Critical patent/WO2010137310A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Definitions

  • the present invention relates to a device that generates a moving image or a still image and displays or records it.
  • Technology that supports the high-speed imaging function of digital still cameras in recent years includes increasing the number of pixels that make pixel cells of a single-plate color image sensor fine, and increasing the functionality and high-speed operability of MOS type image sensors. Since the image signal corresponding to such high pixel and high speed operation outputs a pixel signal with a high data date, the interface circuit on the signal receiving side must be speeded up. In addition, it is necessary to increase the processing capability of the digital circuit that processes the video signal, and to increase the capacity and bandwidth of the memory that temporarily stores the video signal. As a result, the circuit scale increases, causing problems such as increased costs and increased current consumption.
  • the image sensor includes a certain amount of defective pixels, but the defective pixels are pixel signals that have no correlation with the image image projected on the image sensor.
  • the coding compression described above is intended to minimize the quantization error on the premise that the pixel signal data has a correlation. However, if the defective pixel is included, the quantization error increases. there were. Therefore, there is one that eliminates the influence of defective pixels on encoding compression (see, for example, Patent Document 2).
  • Patent Document 3 there are some which achieve high sensitivity and a high frame rate by adding and mixing pixels in a solid-state imaging device to reduce the number of pixels to be read.
  • an object of the present invention is to realize both a high-definition, high-speed continuous shooting and a high-quality moving image shooting function at low cost and low power consumption.
  • FIG. 1 shows a configuration of an imaging apparatus according to an embodiment of the present invention.
  • An imaging apparatus includes a solid-state imaging device 100 capable of switching between an all-pixel compression mode in which all pixels are compressed and output and a pixel mixture mode in which a plurality of pixels are added and mixed.
  • the solid-state imaging device 100 includes a photoelectric conversion unit 101 including a plurality of pixels arranged in a two-dimensional manner, and a pixel signal of a defective pixel among pixel signals output from the photoelectric conversion unit 101 in the all-pixel compression mode.
  • a defective pixel replacement unit 103 that performs predetermined replacement, an encoding / compression unit 104 that encodes and compresses the pixel signal after replacement, and a pixel of a defective pixel among the pixel signals output from the photoelectric conversion unit 101 in the pixel mixing mode
  • Pixel mixing means 105 for eliminating signals and adding and mixing a plurality of pixel signals.
  • the imaging apparatus includes a decoding unit 112 that decodes a compression-coded pixel signal output from the solid-state imaging device 101 in the all-pixel compression mode, and a pixel of a defective pixel among the decoded pixel signals.
  • a pixel defect correcting unit 113 that corrects a signal by a pixel signal of peripheral pixels and an image processing unit 115 are provided.
  • the image processing unit 115 performs color signal synchronization, color adjustment, and adjustment of spatial frequency characteristics of a two-dimensional image, which are necessary when the solid-state imaging device 100 is a single-plate color sensor.
  • the image processing unit 115 receives the pixel signal output from the pixel defect correction unit 113 in the all-pixel compression mode, and the pixel signal output from the individual image sensor 100 in the pixel mixture mode.
  • the pixel signal of the defective pixel is replaced with a predetermined pixel value in the solid-state imaging device in order to minimize the adverse effect on the compression encoding. Then, after the pixel signal is output from the solid-state imaging device and decoded, the replaced defective pixel is interpolated in consideration of image correlation of surrounding pixel signals. Therefore, the amount of data output from the solid-state imaging device can be reduced while the quantization error of the encoded data is in an optimal state, so that a high-quality and high-speed video signal can be output.
  • the pixel mixture mode pixel signals of defective pixels are excluded, and only normal pixels are added in the solid-state image sensor. Therefore, it is not necessary to interpolate the mixed pixel signal including the defective pixel from the surrounding mixed pixel signal with a low spatial resolution. Therefore, a high-quality image can be obtained even in the pixel mixture mode.
  • FIG. 1 is a schematic diagram showing the concept of the present invention.
  • FIG. 2 is a configuration diagram of the imaging apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration example of the pixel portion.
  • FIG. 4 is an equalization circuit diagram of the pixel cell.
  • FIG. 5 is a timing chart of the pixel portion.
  • FIG. 6 is a timing chart in the pixel mixing mode of the pixel portion.
  • FIG. 7 is a timing chart in the pixel mixing mode of the pixel portion.
  • FIG. 8 is a diagram illustrating a configuration example of the defective pixel replacement unit.
  • FIG. 9 is a diagram illustrating a configuration example of the defective pixel reject unit.
  • FIG. 10 is a diagram illustrating a configuration example of the pixel addition unit.
  • FIG. 11 is a diagram for explaining data addressing to the cumulative addition unit in the pixel addition unit.
  • FIG. 12 is a diagram for explaining data addressing to the cumulative addition unit in the pixel addition unit.
  • FIG. 13 is a configuration diagram of an imaging apparatus according to the second embodiment.
  • FIG. 2 shows a configuration of the imaging apparatus according to the first embodiment.
  • the solid-state image sensor 200 is a single-plate MOS solid-state image sensor having an all-pixel compression mode, a pixel mixture mode, and an all-pixel non-compression mode.
  • a pixel signal of each pixel cell is output to the selector 202 as a digital signal from the pixel unit 201 including a plurality of pixel cells arranged in a matrix.
  • the selector 202 outputs one of the defective pixel replacement unit 203, the defective pixel reject unit 205, and the selector 207 as an output destination of the digital pixel signal input from the pixel unit 201 according to the control signal input from the sensor control unit 208. Select one.
  • the sensor control unit 208 outputs a control signal to the pixel unit 201, the selector 202, and the selector 207 according to the operation mode of the solid-state imaging device 200 input from the control unit 218.
  • the input W of the selector 202 is connected to the output X, and the input S of the selector 207 is output to the output V So that the digital pixel signal output from the pixel unit 201 is input to the encoding / compression unit 204 via the defective pixel replacement unit 203 and is output from the selector 207 to the outside of the solid-state imaging device after signal processing. Be controlled.
  • the input W of the selector 202 is connected to the output Y, and the input T of the selector 207 is connected to the output V, so that the digital pixel signal output from the pixel unit 201 is connected to the defective pixel reject unit 205 and the pixel.
  • Control is performed so that the signal is output from the selector 207 to the outside of the solid-state imaging device via the adder 206.
  • the input W of the selector 202 is connected to the output Z, and the input U of the selector 207 is connected to the output V, so that the digital pixel signal output from the pixel unit 201 is used as it is. It is controlled so that it is output.
  • the sensor control unit 208 outputs an output reference corresponding to each operation mode based on a reference clock (not shown) to the synchronization signal generator 209 built in the solid-state imaging device 200 according to the operation mode instructed from the control unit 218. Instructs generation of clock, vertical sync signal, and horizontal sync signal.
  • a pixel cell array 2011 composed of a plurality of pixel cells arranged in a matrix is a MOS type solid-state imaging device. Each pixel cell has a color filter of, for example, a Bayer arrangement in which color phase coding is performed for each 2 ⁇ 2 unit.
  • the pixel cells P11, P12, P13,... Of the pixel cell array 2011 are connected to common signal readout lines L1 to L8 arranged for each column and a common signal readout line having a common configuration (not shown) via switching elements. Yes.
  • the switching elements are supplied with common selection signals S11 to S18 and a common configuration selection signal (not shown) from the timing generator 2012 for each row. When a high level which is a conduction signal is input to these selection signals, analog pixel signals of pixel cells arranged in the same row are read to the common signal readout line of each column.
  • the common signal readout line of each column is input to a column AD group 2103 composed of AD converters arranged in each column.
  • the column AD group 2103 is controlled by a control signal S31 input from the timing generator 2012.
  • the column AD group 2103 starts AD conversion at a high edge input in which S3 transitions from a low level to a high level. While S3 is in the high level period, the column AD group 2103 performs AD conversion, and the AD conversion ends with a low edge input in which S3 has transitioned from the high level to the low level.
  • the column AD group 2103 holds the digital pixel signal of each column subjected to AD conversion as an output.
  • the digital pixel signal output of each column of the column AD group 2013 is input to the horizontal scanning selector 2014.
  • the horizontal scanning selector 2014 sequentially turns on signals S41, S42, S43,... That turn on the switching elements in synchronization with a reference clock (not shown) in the horizontal direction.
  • the digital pixel signals of the column AD group 2013 are output in order from the left end in the figure.
  • FIG. 4 shows an equivalent circuit of the pixel cell.
  • Light incident on the photodiode 2015 is photoelectrically converted to generate charges.
  • the generated charges are read out to the floating diffusion 2017 through a read transistor 2016 having a read signal connected to the gate, and converted into a voltage.
  • the floating diffusion 2017 is reset by a reset transistor 2018.
  • the reset is performed by inputting a reset signal to the gate of the reset transistor 2018 before the charge from the photodiode 2015 is read out.
  • the voltage of the floating diffusion 2017 is connected to the common signal readout line of each column via the amplifier 2019 and further via the switching element.
  • the output from the amplifier 2019 of the pixel cell P11 in FIG. 3 is connected to the common signal readout line L11 via a switching element.
  • FIG. 1 shows an equivalent circuit of the pixel cell.
  • the signal lines for the readout signal and the reset signal are not shown, but both are applied from the timing generator 2012 in common to each row.
  • the floating diffusion 2017 is reset by applying a reset signal immediately before a high pulse as a conduction signal is applied to each of the common selection signals S11 to S18 and a common configuration selection signal (not shown) for each row.
  • the read signal is turned on later.
  • the operation of reading the charge of the photodiode 2015 to the floating diffusion 2017 is performed in units of rows, and as a result, an analog pixel signal proportional to the light incident on the photodiode 2015 is output from the amplifier 2019.
  • a mode selection signal for instructing the all-pixel compression mode is input from the sensor control unit 208 to the timing generator 2012.
  • the first horizontal synchronization period is started in synchronization with the high pulse of the vertical synchronization signal VD and horizontal synchronization signal HD input to the timing generator 2012.
  • the timing generator 2012 outputs a high level to S11 in synchronization with the high pulse of the input horizontal synchronization signal HD.
  • the analog pixel signals of the pixel cells P11, P12, P13, P14, P15... are output to the common signal readout line.
  • each analog pixel signal of the pixel cells P11, P12, P13, P14, P15... is AD-converted in each AD converter of the column AD group 2013, and the digital pixel signal is converted into a digital pixel signal. Retained as output.
  • the timing generator 2012 performs the same timing control as in the first horizontal synchronization period on the pixel cell connected to the common signal readout line via the switching element to which the selection signal S12 is connected. It carries out against. As a result, the digital pixel signals P21, P22, P23, P24, P25...
  • FIG. 7 is a timing chart in which the first horizontal synchronization period in FIG. 6 is enlarged.
  • a mode selection signal for instructing the pixel mixing mode is input from the sensor control unit 208 to the timing generator 2012.
  • the first horizontal synchronization period is started in synchronization with the high pulse of the vertical synchronization signal VD and horizontal synchronization signal HD input to the timing generator 2012.
  • a high level is output to S11 in synchronization with the high pulse of the input horizontal synchronization signal HD, and the analog pixel signals of the pixel cells P11, P12, P13,... Are connected to the common signal readout line.
  • a high level signal of S21 for operating the horizontal scanning selector 2014 is input from the timing generator 2012.
  • the horizontal scanning selector 2014 skips three columns in the order of S41, S43, S45, S44, S46, S48. Are sequentially turned on and then the switching elements are sequentially turned on by skipping three rows from the row returning to the left one row. Scanning is performed with this repeating pattern. Therefore, the digital pixel signals P11, P13, P15, P14, P16, P18,... Are output at the timing of A11 in FIGS. Thereafter, a high level is output to S13, and the analog pixel signals of the pixel cells P31, P32, P33,...
  • the digital pixel signals P31, P33, P35, P34, P36, P38,... are output at the timing A12 in FIGS. Thereafter, a high level is output to S15, and the analog pixel signals of the pixel cells P51, P52, P53,... Are connected to the common signal readout line, and the same as when reading P11, P12, P13,.
  • the digital pixel signals P51, P53, P55, P54, P56, P58,... are output at the timing A13 in FIGS.
  • FIG. 8 shows the configuration of the defective pixel replacement unit 203.
  • the defective pixel replacement unit 203 receives a digital pixel signal from the selector 202 in the solid-state imaging device 200, and a reference clock (not shown), a vertical synchronization signal (VD signal), and a horizontal synchronization signal (HD signal) from the synchronization signal generator 209.
  • a signal indicating a defective pixel address is input from the defective pixel address holding unit 217 outside the solid-state imaging device.
  • the input digital pixel signal is input to the 2T delay circuit 2031 and the input d of the selector 2032.
  • the 2T delay circuit 2031 delays the input pixel signal by two cycles of the reference clock and outputs it to the input e of the selector 2032.
  • the selector 2032 connects the input d or the input e to the output f according to the control signal input from the address comparator 2033, and outputs the defective pixel replacement unit 203.
  • the address counter 2034 recognizes the position address of the input digital pixel signal from the input reference clock, vertical synchronization signal, and horizontal synchronization signal, and outputs the pixel address signal to the address comparator 2033.
  • the address comparator 2033 compares the input pixel address signal with the defective pixel address signal and connects the input e of the selector 2032 to the output f when the addresses match, and outputs the input d when the addresses do not match. Connect to.
  • the digital pixel signal input to the defective pixel replacement unit 203 is compared with the pixel signal input to the defective pixel replacement unit 203 when the position address of the pixel signal is the address of the defective pixel.
  • it is replaced with the pixel signal two cycles before, that is, the nearest pixel signal having the same color sense in the horizontal direction.
  • the encoding compression unit 204 performs fixed-length irreversible compression processing on the input pixel signal.
  • the encoding / compression unit 204 has the same configuration as the CODEC 13 in Embodiment 1 of Patent Document 1.
  • the output destination of the CODEC 13 is SDRAM, but in this embodiment, the output destination is the selector 207.
  • this embodiment is equipped with a compression encoding circuit having a very small circuit scale.
  • the defective pixel is replaced with the nearest pixel signal having the same color sense in the horizontal direction in the defective image replacement unit 203, in the coding compression unit 203, an increase in quantization error due to the influence of the defective pixel is Does not occur.
  • FIG. 9 shows the configuration of the defective pixel reject unit 205.
  • the defective pixel reject unit 205 receives a digital pixel signal from the selector 202, a reference clock (not shown), a vertical synchronization signal (VD signal), and a horizontal synchronization signal (HD signal) from the synchronization signal generator 209.
  • a signal indicating a defective pixel address is input from the defective pixel address holding unit 217.
  • the input digital pixel signal is input to the input d of the selector 2051.
  • the other input e of the selector 2051 receives a no-signal value zero, which means no signal.
  • the selector 2051 connects the input d or the input e to the output f according to the control signal input from the address comparator 2052, and outputs the defective pixel reject unit 205.
  • the address counter 2053 recognizes the position address of the input digital pixel signal from the input reference clock, vertical synchronization signal, and horizontal synchronization signal, and outputs the pixel address signal to the address comparator 2052.
  • the address comparator 2052 compares the input pixel address signal with the defective pixel address signal and connects the input e of the selector 2051 to the output f when the addresses match, and outputs the input d when the addresses do not match. Connect to. With the above configuration, the digital pixel signal input to the defective pixel rejection unit 205 is converted to a no-signal value and output to the pixel addition unit 206 when the position address of the pixel signal is the address of the defective pixel.
  • the Rukoto is the digital pixel signal input to the defective pixel rejection unit 205 is converted to a no-signal value
  • FIG. 10 shows the configuration of the pixel addition unit 206.
  • the digital pixel signal input to the pixel addition unit 206 is input to the data selector unit 2061.
  • the data selector unit 2061 identifies a pixel address from the input VD signal, HD signal, and a reference clock (not shown), and outputs each digital pixel signal to the cumulative addition units 2062a, 2062b, 2062c, 2062d,. Is output.
  • the cumulative addition units 2062a, 2062b, 2062c, 2062d,... Have the same configuration, and the number thereof is 1/3 of the number of pixel cells arranged in the pixel array 2011 in the horizontal direction.
  • FIG. 12 is a diagram clarifying the relationship between each pixel cell arranged two-dimensionally in the pixel array 2011 and the color phase.
  • the pixel cell P11 corresponds to a pixel having a main sensitivity to the red light of R11 in FIG.
  • the pixel cell P12 corresponds to a pixel having main sensitivity to green light G12 in FIG.
  • the pixel cell P21 corresponds to a pixel having main sensitivity to green light G21 in FIG.
  • the pixel cell P22 corresponds to a pixel having main sensitivity to blue light B22 in FIG.
  • digital pixel signals P51, P53, P55, P54, P56, P58... are sequentially output. Therefore, digital pixel signals are input to the data selector unit 2061 in the pixel order as shown in FIG. However, when the pixel is a defective pixel, the digital pixel signal is converted into a no-signal value in the defective pixel reject unit 205.
  • the data selector unit 2061 outputs the pixel signals R11, R13, R15, R31, R33, R35, R51, R53, and R55 to the cumulative addition unit 2062a.
  • the pixel signals G14, G16, G18, G34, G36, G38, G54, G56, and G58 are output to the cumulative addition unit 2062b. Addressing to each cumulative adder 2062 is performed by using a pixel located at the center of the R pixel of 3 rows ⁇ 3 columns output in the first horizontal synchronization period (for example, a combination pattern of pixels between circles shown in FIG. 12).
  • R33 located at the center and the pixel located at the center of the G pixel of 3 rows ⁇ 3 columns (for example, G36 located at the center of the pixel combination pattern of octagonal marks shown in FIG. 12) in the horizontal direction This is performed so that the pitch is 3 pixels.
  • the pixel signals G41, G43, G45, G61, G63, G65, G81, G83, and G85 are output to the cumulative addition unit 2062a, and B44, B46, B48, B64, B66,
  • the pixel signals B68, B84, B86, and B88 are output to the cumulative addition unit 2062b.
  • the addressing to each cumulative adder 2062 is performed by using a pixel located at the center of the G pixel in 3 rows ⁇ 3 columns (for example, G63 located at the center of the combination pattern of the pixels between the square marks shown in FIG. 12) and 3 rows ⁇ 3 columns. This is performed so that the distance from the pixel located at the center of the B pixel (for example, B66 located at the center of the combination pattern of the diamond-shaped pixels shown in FIG. 12) is 3 pixels in the horizontal direction.
  • the cumulative addition unit 2062 includes a no-signal counter 2063, an addition calculator 2064, a memory 2065, and a gain correction unit 2066.
  • the no signal counter 2063 the number of no signals included in the digital pixel signal input to the cumulative addition unit 2062 is counted and input to the addition calculator 2064.
  • the addition result output of the addition calculator 2064 is input to the memory 2065 and the addition result is stored and held.
  • the held addition result is input to the addition computing unit 2064 as an addition target and cumulatively added.
  • the output of the memory 2065 that holds the cumulative addition value is input to the gain correction unit 2066.
  • the number of no-signal pixels is input from the no-signal counter 2063 to the gain correction unit 2066.
  • the gain correction unit 2066 performs gain correction on the cumulative addition result value output from the memory 2065 with a coefficient of (number of pixel mixture pixels) / (number of pixel mixture pixels ⁇ number of non-signal pixels) and outputs the result. Note that the count value of the no-signal counter 2063 and the accumulated addition value of the memory 2065 are reset by a high pulse indicating blanking of the input HD signal. In the present embodiment, the number of pixel mixture pixels is nine.
  • the output of the gain correction unit 2066 is input to the mixed pixel signal output unit 2067 as the output of the cumulative addition unit 2062.
  • the mixed pixel signal output unit 2067 synchronizes with an output reference clock (not shown) generated by the synchronization signal generator 209 and mixes the mixed pixel signals input from the cumulative addition units 2062 between the horizontal synchronizers.
  • the pixels are output so as to be sequentially output in one horizontal direction.
  • the digital pixel signal of each pixel shown in FIG. 12 is added in a combination pattern of circles, octagons, squares, and rhombuses by the configuration and operation of the pixel addition unit 206 described above.
  • the gain correction unit 2066 linearly corrects the signal level mismatch caused by the loss of part of the pixel signal to be added, so that a high-quality mixed pixel signal can be obtained.
  • the digital video signal output from the selector 207 of the solid-state imaging device 200 is output to the memory 219 via the memory controller 211 and stored.
  • the memory controller 211 receives an output reference clock, a vertical synchronization signal, and a horizontal synchronization signal (not shown) from the synchronization signal generator 209. Based on these signals, the memory controller 211 synchronizes with the digital video signal output from the solid-state imaging device 200.
  • the memory 219 is preferably an SDRAM, for example.
  • the memory 19 is a frame memory for digital video signals. Further, the memory controller 211 selectively reads out the digital video signal stored in the memory 219 to any one of the decoding unit 212, the selector 214, and the defective pixel detection unit 216 by operation control from the control unit 218.
  • the memory controller 211 controls the memory 219 to output the digital video signal output from the solid-state imaging device 200 under the control of the control unit 218.
  • the digital video signal of the frame stored in the memory 219 is read out to the decoding unit 212.
  • the selector 214 connects the digital video signal input to the input d from the image defect correction unit 213 to the output f. As a result, the digital video signal is input to the image processing unit 215.
  • the memory controller 211 writes the digital video signal output from the solid-state image sensor 200 into the memory 219 under the control of the control unit 218.
  • the stored digital video signal of the mixed pixel frame is read to the input e of the selector 214.
  • the selector 214 connects the input e to the output f.
  • the digital video signal is input to the image processing unit 215.
  • the memory controller 211 controls the control unit 218 to detect a defective pixel in the digital video signal of the frame of all pixels stored in the memory 219.
  • the decoding unit 212 has the same configuration as the decoding 33 in Embodiment 1 of Patent Document 1.
  • the pixel defect correcting unit 213 receives the position address information of the defective pixel from the defective pixel address holding unit 217, and has the same color sense with respect to the defective pixel of the video signal expanded into the digital pixel signal by the decoding unit 212.
  • the correlation of the image is detected from the digital pixel signals of the 8 pixels, and the interpolation value of the defective pixel is generated and correction is executed.
  • the defective pixel correction circuit 101 disclosed in JP-A-2005-184307 is satisfactory.
  • the flaw detection circuit 102 incorporated in the flaw pixel correction circuit is unnecessary, and the flaw pixel that is a defective pixel is specified by the position address of the defective pixel input from the defective pixel address holding unit 217. .
  • the defective pixel detection unit 216 receives a digital pixel signal from the memory 219 via the memory controller 211, and detects a pixel exceeding the threshold value as a defective pixel by comparing a preset threshold value with the signal level of the pixel signal. Then, the position address of the pixel is output to the defective pixel address holding unit 217.
  • the defective pixel address holding unit 217 includes, for example, a nonvolatile memory, and stores and holds the defective pixel position address input from the defective pixel detection unit 216. This position address information is output to the defective pixel correction unit 213, the defective pixel replacement unit 203, and the defective pixel reject unit 205.
  • the image processing unit 215 performs an RGB color signal synchronization process, a color adjustment process, and a two-dimensional image spatial frequency characteristic adjustment process on the input digital pixel signal, and converts it into a YCbCr signal.
  • the image processing unit 215 outputs a signal to a recording device for recording on a display unit such as a liquid crystal monitor (not shown) or a medium such as an SD card.
  • the solid-state imaging device 200 in the first operation mode, is driven in the all-pixel compression mode, and data compression is performed by an encoding process that is not affected by defective pixels.
  • a high-quality video signal with little quantization error noise can be read from the solid-state image sensor 200 while maintaining the frame rate while relatively reducing the output data rate from the solid-state image sensor.
  • highly accurate pixel defect correction after readout a high-speed and high-quality image can be obtained as a result. Therefore, for example, a high-quality still image can be obtained in still image recording that performs continuous shooting at high speed.
  • the compressed video signal since the compressed video signal is stored in the memory 219, it is possible to suppress the consumption of the data bandwidth of the memory writing and reading and the data capacity of the memory.
  • the second operation mode pixel mixing is performed within the solid-state imaging device 200 while eliminating the influence of defective pixels. Therefore, it is possible to obtain a high-quality mixed pixel signal that has a high S / N ratio and that does not require pixel defect correction in the subsequent stage. For this reason, for example, if this mode is used during moving image recording, a high-quality moving image can be obtained.
  • defective pixels are detected using the pixel signals of all pixels from the solid-state imaging device 200 as they are.
  • the solid-state imaging device is operated in the light-shielding state, and this operation mode is operated.
  • the position address of the defective pixel can be accurately specified in a state where there is no rounding due to the averaging error and the signal level of the defective pixel due to pixel mixture.
  • FIG. 13 shows the configuration of the second embodiment. Only differences from the first embodiment will be described below.
  • the solid-state imaging device 200A has an all-pixel compression mode and a pixel mixing mode.
  • the mode setting of the individual imaging element 200A is performed by inputting a mode instruction control signal from the control unit 218 to the sensor control unit 208.
  • the sensor control unit 208 sets the all-pixel compression mode in the pixel unit 201, controls the selector 221 to connect the input a to the output b, and outputs the input d to the selector 222. Control connection to f.
  • the pixel signal output from the pixel unit 201 is output from the solid-state imaging device 200A via the defective pixel detection unit 216A, the defective pixel non-signal generation unit 223, and the no-signal identification encoding compression unit 224.
  • the pixel signal output from the pixel unit 201 is output from the solid-state imaging device 200A via the defective pixel detection unit 216A, the defective pixel non-signal generation unit 223, and the pixel addition unit 206.
  • the defective pixel detection unit 216A calculates, for each input digital pixel signal, a difference value between the digital pixel signal of the two neighboring pixels with the same color sense in the horizontal direction with respect to the pixel of interest. When the difference value exceeds a preset threshold value, the target pixel is detected as a defective pixel. As a result, defective pixels having no image correlation can be detected in real time from the video signal that received the subject image.
  • a pixel detected as a defective pixel by the defective pixel detection unit 216A is replaced with a signal level indicating no signal by the defective pixel non-signaling unit 223.
  • the no-signal identification coding compression unit 224 the configuration and method of Embodiment 8 of Patent Document 2 are good.
  • a specific pixel value encoded into a specific quantized representative value is set to a zero level indicating no signal. With this configuration, encoding compression is possible without the influence of a specific signal level of a defective pixel appearing as a quantization error.
  • an encoded and data-compressed video signal of all pixels that is not affected by defective pixels is obtained in the all-pixel compression mode.
  • a defective pixel is excluded, and a mixed pixel signal that does not require pixel defect correction is obtained in the subsequent processing.
  • the memory controller 211 controls the memory controller 211 to control all the output from the solid-state image sensor 200A.
  • the encoded data of the pixel is written into the memory 219.
  • the memory 219 stores the encoded data as frame data.
  • the memory controller 211 reads the frame data to the no-signal identification decoding unit 225.
  • the decoding unit in Embodiment 8 of Patent Document 2 is good as the no-signal identification decoding unit 225.
  • the no-signal identification / decoding unit 225 of the present embodiment converts the digital pixel signal to a zero level indicating no signal.
  • the digital pixel signal decoded and expanded by the no-signal identification decoding unit 225 is input to the pixel defect correction unit 213, and defective pixel interpolation processing is performed in the same manner as described above.
  • the identification of the defective pixel is not based on position address information inputted from the outside, and when the digital pixel signal itself is at a zero level meaning no signal, the target pixel is processed as a defective pixel.
  • the selector 214 connects the input d to the output f. Therefore, the corrected digital pixel signal of the defective pixel output from the pixel defect correction unit 213 is input to the image processing unit 215.
  • the memory controller 211 controls the mixed pixel output from the solid-state imaging device 200A by the control of the control unit 218. Write signal to memory 219.
  • the memory 219 stores the mixed pixel signal as frame data.
  • the memory controller 211 reads the frame data to the input e of the selector 214.
  • the selector 214 connects the input e to the output f.
  • the mixed pixel signal stored and held in the memory 219 is directly input to the image processing unit 215.
  • the defective pixel is detected in the solid-state imaging device 200A.
  • the defective pixel is detected and stored in the subsequent stage of the solid-state imaging device 200A, and no defective pixel signal is output.
  • the conversion unit 223 may perform non-signal conversion of the target pixel based on the position address information of the defective pixel that is stored and input in the subsequent stage.
  • the image pickup apparatus realizes high-speed continuous shooting at high resolution for still image shooting with high image quality and high sensitivity with reduced resolution for moving image shooting while being low cost and low power consumption.
  • High-quality images that are not affected by defective pixels can be realized, so there is a strong need for high-speed continuous shooting still images triggered by specific events while recording moving images, as well as digital still cameras and movie cameras. This is useful for recorders, surveillance cameras, and medical cameras that have high-definition imaging of lesions in specific parts of the body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　固体撮像素子（１００）は、光電変換手段（１０１）から出力された画素信号のうち欠陥画素の画素信号に対して所定の置換を行う欠陥画素置換手段（１０２）と、置換後の画素信号を符号化し圧縮する符号化圧縮手段（１０３）と、光電変換手段（１０１）から出力された画素信号のうち欠陥画素の画素信号を排除して複数の画素信号の加算混合を行う画素混合手段（１０５）とを有する。撮像装置は、固体撮像素子（１００）と、固体撮像素子から（１００）出力された圧縮符号化された画素信号を復号化する復号化手段（１１２）と、復号化された画素信号のうち欠陥画素の画素信号を周辺画素の画素信号によって補間する画素欠陥補正手段（１１３）とを備えている。

Description

撮像装置
　本発明は、動画像または静止画像を生成してそれを表示または記録する機器に関する。
　近年のデジタルスチルカメラの高速撮像機能を支える技術として、単板カラーイメージセンサの画素セルを微細化する高画素化と、ＭＯＳ型イメージセンサの高機能化および高速動作性とが挙げられる。このような高画素化および高速動作化に対応したイメージセンサからは高いデータデートで画素信号が出力されるため、信号受信側のインターフェース回路を高速化しなければならない。また、映像信号を処理するデジタル回路の処理能力を上げ、さらに、映像信号を一時記憶するメモリーの容量および帯域を上げる必要がある。この結果、回路規模が増大し、コストＵＰや消費電流の増大という問題が生じる。
　上記問題を解消するために、画像データを符号化圧縮することで映像信号データの容量を減らし、単位時間当たりの取り扱いデータ量を減らしているものがある（例えば、特許文献１参照）。また、イメージセンサにはある程度の欠陥画素が含まれるが、欠陥画素は、イメージセンサ上に投影された像画像と全く相関性がない画素信号となる。上述の符号化圧縮は、画素信号データに相関性があることを前提として量子化誤差を最小化しようとするものであるが、欠陥画素が含まれていると量子化誤差が増大するという欠点があった。そこで、符号化圧縮に対する欠陥画素の影響を排除しているものがある（例えば、特許文献２参照）。また、固体撮像素子内で画素を加算混合することで、読み出す画素の数を減らし、高感度かつ高フレームレートを達成しているものがある（例えば、特許文献３参照）。
特開２００７－３６５６６号公報 特開２００７－１０４５２５号公報 特開２００４－３１２１４０号公報
　デジタルスチルカメラやムービーカメラの分野では動画像と静止画像の融合が進んでいる。コストや消費電力を抑えつつ、高解像度かつ高速連写の静止画像を生成することと高感度かつ高画質な動画像を生成することを両立するには、画素信号の符号化圧縮機能と加算混合機能とを固体撮像素子内に搭載する必要がある。
　しかしながら、符号化圧縮機能を前提とした全画素読み出しにおいて、欠陥画素が含まれていると量子化誤差が増大するという問題がある。解決手段として、符号化圧縮に影響を及ぼさない処理を欠陥画素に施し、後段の信号処理において周辺の画素から空間的な相関性を考慮して欠陥画素を補間する手法がある。
　一方、欠陥画素に加算混合処理を施した信号に対して後段の信号処理において補間処理を行うと、空間解像度の低い状態で補間処理が行われる。この結果、欠陥画素の補正痕が目立ちやすく、違和感の高い画像となる。すなわち、加算混合処理された信号に対して、全画素読み出しの場合と同様に補間処理をすると、大きな画質劣化が生じてしまう。
　上記問題に鑑み本発明は、低コストおよび低消費電力でありながら高精細で高速連写可能な静止画像撮影と高画質な動画像撮影機能の両方を実現することを課題とする。
　図１は、本発明の一実施形態に係る撮像装置の構成を示す。一実施形態に係る撮像装置は、全画素を圧縮符号化して出力する全画素圧縮モードと複数の画素を加算混合して出力する画素混合モードとの切り替えが可能な固体撮像素子１００を備えている。個体撮像素子１００は、２次元状に配置された複数の画素からなる光電変換手段１０１と、全画素圧縮モード時に、光電変換手段１０１から出力された画素信号のうち欠陥画素の画素信号に対して所定の置換を行う欠陥画素置換手段１０３と、置換後の画素信号を符号化し圧縮する符号化圧縮手段１０４と、画素混合モード時に、光電変換手段１０１から出力された画素信号のうち欠陥画素の画素信号を排除して複数の画素信号の加算混合を行う画素混合手段１０５とを有する。また、当該撮像装置は、全画素圧縮モード時に、固体撮像素子１０１から出力された圧縮符号化された画素信号を復号化する復号化手段１１２と、復号化された画素信号のうち欠陥画素の画素信号を周辺画素の画素信号によって補正する画素欠陥補正手段１１３と、画像処理手段１１５とを備えている。画像処理手段１１５は、固体撮像素子１００が単板カラーセンサである時に必要な色信号の同時化や色彩調整、２次元画像の空間周波数特性の調整等を行う。画像処理手段１１５には、全画素圧縮モード時には画素欠陥補正手段１１３から出力された画素信号が、画素混合モード時には個体撮像素子１００から出力された画素信号が、それぞれ入力される。
　全画素圧縮モードでは、圧縮符号化に対する悪影響を最小化するために、固体撮像素子内で欠陥画素の画素信号が所定の画素値に置換される。そして、置換された欠陥画素は、画素信号が固体撮像素子から出力され復号化された後に、周辺の画素信号の画像相関性を加味して補間される。したがって、符号化データの量子化誤差を最適な状態としつつ固体撮像素子から出力されるデータ量を減らすことができるので、高画質で高速な映像信号の出力が可能となる。一方、画素混合モードでは、欠陥画素の画素信号が排除され、固体撮像素子内で正常画素のみが信号加算される。したがって、欠陥画素が含まれる混合画素信号を、空間解像度が低い状態で周辺の混合画素信号から補間する必要がない。よって、画素混合モードにおいても高画質画像を得ることができる。
図１は、本発明の概念を示す模式図である。 図２は、第１の実施形態に係る撮像装置の構成図である。 図３は、画素部の構成例を示す図である。 図４は、画素セルの等化回路図である。 図５は、画素部のタイミングチャートである。 図６は、画素部の画素混合モード時のタイミングチャートである。 図７は、画素部の画素混合モード時のタイミングチャートである。 図８は、欠陥画素置換部の構成例を示す図である。 図９は、欠陥画素リジェクト部の構成例を示す図である。 図１０は、画素加算部の構成例を示す図である。 図１１は、画素加算部における累積加算部へのデータアドレッシングを説明するための図である。 図１２は、画素加算部における累積加算部へのデータアドレッシングを説明するための図である。 図１３は、第２の実施形態に係る撮像装置の構成図である。
　以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する実施の形態はあくまで一例であり、様々な改変を行うことが可能である。
　（第１の実施形態）
　図２は第１の実施形態における撮像装置の構成を示す。固体撮像素子２００は全画素圧縮モードと画素混合モードと全画素非圧縮モードを備えた単板型ＭＯＳ型固体撮像素子である。行列状に配置された複数の画素セルからなる画素部２０１からは各画素セルの画素信号がデジタル信号としてセレクタ２０２へ出力される。セレクタ２０２はセンサ制御部２０８から入力される制御信号に応じて、画素部２０１から入力されるデジタル画素信号の出力先として、欠陥画素置換部２０３、欠陥画素リジェクト部２０５およびセレクタ２０７のいずれか一つを選択する。センサ制御部２０８は制御部２１８から入力される固体撮像素子２００の動作モードに応じて画素部２０１、セレクタ２０２およびセレクタ２０７へ制御信号を出力する。
　具体的には、画素部２０１の全画素の画素信号を高速に固体撮像素子２００から出力する全画素圧縮モードでは、セレクタ２０２の入力Ｗが出力Ｘに接続され、セレクタ２０７の入力Ｓが出力Ｖに接続されることで、画素部２０１から出力されるデジタル画素信号が欠陥画素置換部２０３を介して符号化圧縮部２０４に入力され信号処理後にセレクタ２０７から固体撮像素子外部へ出力されるように制御される。画素混合モードでは、セレクタ２０２の入力Ｗが出力Ｙに接続され、セレクタ２０７の入力Ｔが出力Ｖに接続されることで、画素部２０１から出力されるデジタル画素信号が欠陥画素リジェクト部２０５と画素加算部２０６を介してセレクタ２０７から固体撮像素子外部へ出力されるように制御される。全画素非圧縮モードでは、セレクタ２０２の入力Ｗが出力Ｚに接続され、セレクタ２０７の入力Ｕが出力Ｖに接続されることで、画素部２０１から出力されるデジタル画素信号がそのまま固体撮像素子２００に出力されるように制御される。
　さらにセンサ制御部２０８は制御部２１８から指示される動作モードに応じて、固体撮像素子２００に内蔵された同期信号発生器２０９に対して図示しない基準クロックに基づいて各動作モードに応じた出力基準クロック、垂直同期信号、水平同期信号の生成を指示する。
　図３を用いて画素部２０１の構成を説明する。行列状に配置された複数の画素セルからなる画素セルアレイ２０１１はＭＯＳ型固体撮像素子である。各画素セルは２×２の単位毎に色位相コーディングが施された例えばベイヤー配列のカラーフィルターを有する。画素セルアレイ２０１１の各画素セルＰ１１、Ｐ１２、Ｐ１３・・・は、スイッチング素子を介して、列毎に配置された共通信号読み出し線Ｌ１～Ｌ８および図示しない共通構成の共通信号読み出し線へ接続されている。該スイッチング素子にはタイミングジェネレータ２０１２から各行毎に共通の選択信号Ｓ１１～Ｓ１８および図示しない共通構成の選択信号が供給される。これら選択信号に導通信号であるハイレベルが入力されると、各列の共通信号読み出し線へ同じ行に配置される画素セルのアナログ画素信号が読み出される。
　各列の共通信号読み出し線は各列に配置されたＡＤ変換器からなるカラムＡＤ群２１０３に入力される。カラムＡＤ群２１０３はタイミングジェネレータ２０１２から入力される制御信号Ｓ３１により制御される。カラムＡＤ群２１０３はＳ３がローレベルからハイレベルへ遷移したハイエッジ入力でＡＤ変換を開始する。Ｓ３がハイレベル期間中は、カラムＡＤ群２１０３はＡＤ変換を実施し、Ｓ３がハイレベルからローレベルへ遷移したローエッジ入力でＡＤ変換を終了する。Ｓ３がロー期間中は、カラムＡＤ群２１０３はＡＤ変換した各列のデジタル画素信号を出力として保持する。
　カラムＡＤ群２０１３の各列のデジタル画素信号出力は水平走査セレクタ２０１４へ入力される。水平走査セレクタ２０１４はタイミングジェネレータ２０１２から入力される制御信号Ｓ２１がハイレベルのとき、図示しない基準クロックに同期してスイッチング素子を導通させる信号Ｓ４１、Ｓ４２、Ｓ４３、・・・を水平方向に順次ＯＮしながら、カラムＡＤ群２０１３のデジタル画素信号を図中左端から順に出力する。
　図４は画素セルの等価回路を示す。フォトダイオード２０１５に入射した光は光電変換されて電荷を発生する。発生した電荷は、読み出し信号がゲートに接続された読み出しトランジスタ２０１６を介してフローティングディフュージョン２０１７へ読み出されて電圧に変換される。フローティングディフュージョン２０１７はリセットトランジスタ２０１８によってリセットされる。リセットは、フォトダイオード２０１５からの電荷が読み出される前に、リセットトランジスタ２０１８のゲートにリセット信号が入力されることで行われる。フローティングディフュージョン２０１７の電圧はアンプ２０１９を介して、さらにスイッチング素子を介して各列の共通信号読み出し線へ接続される。例えば、図３中の画素セルＰ１１のアンプ２０１９からの出力はスイッチング素子を介して共通信号読み出し線Ｌ１１へ接続されている。図３中では上記読み出し信号およびリセット信号の信号線が図示されていないが、いずれもタイミングジェネレータ２０１２より各行毎に共通に印加される。同様に、各行毎に共通の選択信号Ｓ１１～Ｓ１８および図示しない共通構成の選択信号の各々へ導通信号であるハイパルスが印加される直前に、リセット信号を印加してフローティングディフュージョン２０１７のリセットを実施した後に読み出し信号をオンする。これによりフォトダイオード２０１５の電荷をフローティングディフュージョン２０１７へ読み出す動作が各行単位で実施され、結果としてフォトダイオード２０１５に入射した光に比例するアナログ画素信号がアンプ２０１９から出力される。
　次に図５を用いて図３に示す画素部２０１の全画素圧縮モードおよび全画素非圧縮モードの動作について説明する。センサ制御部２０８からタイミングジェネレータ２０１２に、全画素圧縮モードを指示するモード選択信号が入力される。タイミングジェネレータ２０１２に入力される垂直同期信号ＶＤと水平同期信号ＨＤのハイパルスに同期して第１番目の水平同期期間が開始される。タイミングジェネレータ２０１２は、入力された水平同期信号ＨＤのハイパルスに同期してＳ１１にハイレベルを出力する。これにより、画素セルＰ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５・・・のアナログ画素信号が共通信号読み出し線へ出力される。
　Ｓ１１のハイ期間中に、タイミングジェネレータ２０１２からカラムＡＤ群２０１４に、Ｓ３１のローレベルからハイレベルへ遷移したハイエッジが入力され、ＡＤ変換が開始される。Ｓ３１のハイベルからローレベルへの遷移によって、カラムＡＤ群２０１３の各ＡＤ変換器において、画素セルＰ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５・・・の各アナログ画素信号がＡＤ変換され、デジタル画素信号が出力として保持されている。
　次にタイミングジェネレータ２０１２から水平走査セレクタ２０１４を動作させるＳ２１のハイレベル信号が入力されると、水平走査セレクタ２０１４のスイッチング素子が図３中右方向へ順次ＯＮする。これにより、出力端子から図５中のＡＡ１にて画素セルＰ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５・・・の各デジタル画素信号が行方向の順次で出力される。第２番目の水平同期期間では、タイミングジェネレータ２０１２は、第１番目の水平同期期間と同様なタイミング制御を、選択信号Ｓ１２が接続されたスイッチング素子を介して共通信号読み出し線に接続される画素セルに対して実施する。これにより、出力端子から図５中のＡＡ２にてＰ２１、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ２５・・・の各デジタル画素信号が行方向の順次で出力される。このようにひとつの水平同期期間で１行の各画素セルの画素信号を読み出し、読み出し行が列方向に１行毎に移ることから、ラスタースキャン順で全画素を読み出すこととなる。
　次に図６および図７を用いて図３に示す画素部２０１の画素混合モード時の動作を説明する。図７は図６中の第１番目の水平同期期間を拡大したタイミングチャートである。センサ制御部２０８からタイミングジェネレータ２０１２に、画素混合モードを指示するモード選択信号が入力される。タイミングジェネレータ２０１２に入力される垂直同期信号ＶＤと水平同期信号ＨＤのハイパルスに同期して第１番目の水平同期期間が開始される。入力された水平同期信号ＨＤのハイパルスに同期してＳ１１にハイレベルが出力され、画素セルＰ１１、Ｐ１２、Ｐ１３、・・・のアナログ画素信号が共通信号読み出し線へ接続される。
　Ｓ１１のハイ期間中に、タイミングジェネレータ２０１２からカラムＡＤ群２０１３に、Ｓ３１のローレベルからハイレベルへの遷移のハイエッジが入力され、ＡＤ変換が開始される。Ｓ３１のハイベルからローレベルへの遷移によって、カラムＡＤ群２０１３の各ＡＤ変換器において、画素セルＰ１１、Ｐ１２、Ｐ１３、・・・の各アンプ２０１９から出力された各アナログ画素信号がＡＤ変換され、デジタル画素信号が出力として保持されている。
　次にタイミングジェネレータ２０１２から水平走査セレクタ２０１４を動作させるＳ２１のハイレベル信号が入力される。図７に示すように、画素混合モードの場合、水平走査セレクタ２０１４はＳ４１、Ｓ４３、Ｓ４５、Ｓ４４、Ｓ４６、Ｓ４８・・・の順で３列を１列飛びで図３中右方向にスイッチング素子を順次導通させた後に１列左方向に戻った列から３列を１列飛びでスイッチング素子を順次導通させる。この繰り返しパターンで走査を行う。よって図６および図７のＡ１１のタイミングで、Ｐ１１、Ｐ１３、Ｐ１５、Ｐ１４、Ｐ１６、Ｐ１８・・・の各デジタル画素信号が出力される。この後、Ｓ１３にハイレベルが出力され、画素セルＰ３１、Ｐ３２、Ｐ３３、・・・のアナログ画素信号が共通信号読み出し線へ接続され、上記Ｐ１１、Ｐ１２、Ｐ１３、・・・の読み出し時と同様な工程を経て、図６および図７中のＡ１２のタイミングで、Ｐ３１、Ｐ３３、Ｐ３５、Ｐ３４、Ｐ３６、Ｐ３８・・・の各デジタル画素信号が出力される。この後、Ｓ１５にハイレベルが出力され、画素セルＰ５１、Ｐ５２、Ｐ５３、・・・のアナログ画素信号が共通信号読み出し線へ接続され、上記Ｐ１１、Ｐ１２、Ｐ１３、・・・の読み出し時と同様な工程を経て、図６および図７中のＡ１３のタイミングで、Ｐ５１、Ｐ５３、Ｐ５５、Ｐ５４、Ｐ５６、Ｐ５８・・・の各デジタル画素信号が出力される。このようにして第１番目の水平同期期間では、画素セル４０１のＰ１１、Ｐ１３、Ｐ１５、Ｐ１４、Ｐ１６、Ｐ１８・・・、続いてＰ３１、Ｐ３３、Ｐ３５、Ｐ３４、Ｐ３６、Ｐ３８・・・、続いてＰ５１、Ｐ５３、Ｐ５５、Ｐ５４、Ｐ５６、Ｐ５８・・・の各デジタル画素信号が、順次出力される。同様に第２番目の水平同期期間では、図６中のＡ２１のタイミングで画素セル４０１のＰ４１、Ｐ４３、Ｐ４５、Ｐ４４、Ｐ４６、Ｐ４８・・・、続いてＡ２２のタイミングでＰ６１、Ｐ６３、Ｐ６５、Ｐ６４、Ｐ６６、Ｐ６８・・・、続いてＡ２３のタイミングでＰ８１、Ｐ８３、Ｐ８５、Ｐ８４、Ｐ８６、Ｐ８８・・・のデジタル画素信号が、順次出力される。
　図８は欠陥画素置換部２０３の構成を示す。欠陥画素置換部２０３へは固体撮像素子２００内のセレクタ２０２からデジタル画素信号、同期信号発生器２０９から図示しない基準クロック、垂直同期信号（ＶＤ信号）、および水平同期信号（ＨＤ信号）が入力され、固体撮像素子外部の欠陥画素アドレス保持部２１７から欠陥画素アドレスを示す信号が入力される。入力されたデジタル画素信号は２Ｔ遅延回路２０３１およびセレクタ２０３２の入力ｄに入力される。２Ｔ遅延回路２０３１は入力された画素信号を基準クロック２周期分遅延させてセレクタ２０３２の入力ｅへ出力する。セレクタ２０３２はアドレス比較器２０３３から入力される制御信号により、入力ｄまたは入力ｅを出力ｆへ接続し、欠陥画素置換部２０３の出力を行う。アドレスカウンタ２０３４は入力される基準クロック、垂直同期信号、および水平同期信号から入力デジタル画素信号の位置アドレスを認識してアドレス比較器２０３３へ画素アドレス信号を出力する。アドレス比較器２０３３は、入力される画素アドレス信号と欠陥画素アドレス信号を比較しアドレスが一致した場合にはセレクタ２０３２の入力ｅを出力ｆへ接続し、アドレスが一致しない場合は入力ｄを出力ｆへ接続する。上記のような構成から、欠陥画素置換部２０３に入力されるデジタル画素信号は、画素信号の位置アドレスが欠陥画素のアドレスである場合には、欠陥画素置換部２０３に入力される画素信号に対して２周期前の画素信号、すなわち、水平方向に同色の色センスを有する最も近隣の画素信号と置き換えられることとなる。
　符号化圧縮部２０４は入力される画素信号に対して固定長の非可逆圧縮処理を行う。符号化圧縮部２０４は特許文献１の実施の形態１におけるＣＯＤＥＣ１３と同等の構成である。ただし、特許文献１の実施例ではＣＯＤＥＣ１３の出力先がＳＤＲＡＭであるが、本実施形態では該出力先はセレクタ２０７である。また、本実施形態では、ＳＤＲＡＭに記憶した圧縮符号化データを読み出して復号化し他ブロックへ出力する機能は有しない。これにより、本実施形態は非常に回路規模の小さい圧縮符号化回路を搭載していることになる。また、欠陥画置換部２０３において欠陥画素が水平方向に同色の色センスを有する最も近隣の画素信号に置換されているから、符号化圧縮部２０３において、欠陥画素の影響による量子化誤差の増大は発生しない。
　図９は欠陥画素リジェクト部２０５の構成を示す。欠陥画素リジェクト部２０５へはセレクタ２０２からデジタル画素信号、同期信号発生器２０９から図示しない基準クロック、垂直同期信号（ＶＤ信号）、および水平同期信号（ＨＤ信号）が入力され、固体撮像素子外部の欠陥画素アドレス保持部２１７から欠陥画素アドレスを示す信号が入力される。入力されたデジタル画素信号はセレクタ２０５１の入力ｄに入力される。セレクタ２０５１のもう一方の入力ｅには無信号を意味する無信号値ゼロが入力される。セレクタ２０５１はアドレス比較器２０５２から入力される制御信号により、入力ｄまたは入力ｅを出力ｆへ接続し、欠陥画素リジェクト部２０５の出力を行う。アドレスカウンタ２０５３は入力される基準クロック、垂直同期信号、および水平同期信号から入力デジタル画素信号の位置アドレスを認識してアドレス比較器２０５２へ画素アドレス信号を出力する。アドレス比較器２０５２は、入力される画素アドレス信号と欠陥画素アドレス信号を比較しアドレスが一致した場合にはセレクタ２０５１の入力ｅを出力ｆへ接続し、アドレスが一致しない場合は入力ｄを出力ｆへ接続する。上記のような構成から、欠陥画素リジェクト部２０５に入力されるデジタル画素信号は、画素信号の位置アドレスが欠陥画素のアドレスである場合には無信号値に変換されて画素加算部２０６へ出力されることとなる。
　図１０は画素加算部２０６の構成を示す。画素加算部２０６に入力されるデジタル画素信号はデータセレクタ部２０６１へ入力される。データセレクタ部２０６１は入力されるＶＤ信号、ＨＤ信号、および図示しない基準クロックより画素アドレスを特定して、累積加算部２０６２ａ、２０６２ｂ、２０６２ｃ、２０６２ｄ、・・・へ後述する順序で各デジタル画素信号を出力する。累積加算部２０６２ａ、２０６２ｂ、２０６２ｃ、２０６２ｄ、・・・は各々同一構成であり、その個数は画素アレイ２０１１に配置された画素セルの水平方向の数の１／３である。
　データセレクタ部２０６１から入力されるデジタル画素信号の各累積加算部２０６２へのアドレッシングを図１１および図１２を用いて説明する。図１２は画素アレイ２０１１の２次元状に配置された各画素セルと色位相との関連を明らかにした図である。画素セルＰ１１は図１２のＲ１１の赤色光に主感度をもつ画素に対応することを示す。同様に、画素セルＰ１２は図１２のＧ１２のグリーン光に主感度を持つ画素に対応する。画素セルＰ２１は図１２のＧ２１のグリーン光に主感度を持つ画素に対応する。画素セルＰ２２は図１２のＢ２２のブルー光に主感度を持つ画素に対応する。前述のように画素混合モードでは、第１番目の水平同期期間では、画素セルＰ１１、Ｐ１３、Ｐ１５、Ｐ１４、Ｐ１６、Ｐ１８・・・、続いてＰ３１、Ｐ３３、Ｐ３５、Ｐ３４、Ｐ３６、Ｐ３８・・・、続いてＰ５１、Ｐ５３、Ｐ５５、Ｐ５４、Ｐ５６、Ｐ５８・・・の各デジタル画素信号が順次出力される。したがって、図１１に示すような画素順でデジタル画素信号がデータセレクタ部２０６１へ入力される。ただし、画素が欠陥画素である場合には、欠陥画素リジェクト部２０５においてデジタル画素信号は無信号値に変換されている。
　図１１に示すように、データセレクタ部２０６１は第１番目の水平同期期間では、Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３３、Ｒ３５、Ｒ５１、Ｒ５３、Ｒ５５の画素信号を累積加算部２０６２ａへ出力され、Ｇ１４、Ｇ１６、Ｇ１８、Ｇ３４、Ｇ３６、Ｇ３８、Ｇ５４、Ｇ５６、Ｇ５８の画素信号が累積加算部２０６２ｂへ出力される。各累積加算部２０６２へアドレッシングは、第１番目の水平同期期間で出力される３行×３列のＲ画素の中心に位置する画素（例えば、図１２に示す丸印どうしの画素の組み合わせパターンの中心に位置するＲ３３）と３行×３列のＧ画素の中心に位置する画素（例えば、図１２に示す八角印どうしの画素の組み合わせパターンの中心に位置するＧ３６）との間隔が水平方向で３画素ピッチとなるように行われる。
　同様に第２番目の水平同期期間では、Ｇ４１、Ｇ４３、Ｇ４５、Ｇ６１、Ｇ６３、Ｇ６５、Ｇ８１、Ｇ８３、Ｇ８５の画素信号が累積加算部２０６２ａへ出力され、Ｂ４４、Ｂ４６、Ｂ４８、Ｂ６４、Ｂ６６、Ｂ６８、Ｂ８４、Ｂ８６、Ｂ８８の画素信号が累積加算部２０６２ｂへ出力される。各累積加算部２０６２へアドレッシングは、３行ｘ３列のＧ画素の中心に位置する画素（例えば、図１２に示す四角印どうしの画素の組み合わせパターンの中心に位置するＧ６３）と３行ｘ３列のＢ画素の中心に位置する画素（例えば、図１２に示すひし形どうしの画素の組み合わせパターンの中心に位置するＢ６６）との間隔が水平方向で３画素ピッチとなるように行われる。
　図１０に示すように、累積加算部２０６２は無信号カウンタ２０６３、加算演算器２０６４、メモリー２０６５およびゲイン補正部２０６６から構成される。無信号カウンタ２０６３において、累積加算部２０６２に入力されたデジタル画素信号に含まれる無信号の数がカウントされ、加算演算器２０６４に入力される。加算演算器２０６４の加算結果出力はメモリー２０６５に入力され加算結果が記憶保持される。該保持している加算結果は加算演算器２０６４に加算対象として入力され、累積加算される。一方、累積加算値を保持するメモリー２０６５の出力はゲイン補正部２０６６へ入力される。さらにゲイン補正部２０６６へは無信号カウンタ２０６３から無信号画素の数が入力される。ゲイン補正部２０６６はメモリー２０６５から出力される累積加算結果値に、(画素混合画素数)／(画素混合画素数－無信号画素数)の係数でゲイン補正を実施して出力する。なお、無信号カウンタ２０６３のカウント値およびメモリー２０６５の累積加算値は入力されるＨＤ信号のブランキングを示すハイパルスでリセットされる。本実施形態では画素混合画素数は９画素となる。
　ゲイン補正部２０６６の出力は累積加算部２０６２の出力として混合画素信号出力部２０６７へ入力される。混合画素信号出力部２０６７は、同期信号発生器２０９で生成される図示しない出力基準クロックに同期して、各累積加算部２０６２から入力される混合画素信号において水平同期器間に混合された各混合画素を、水平一方向への順次出力となるように出力する。上述の画素加算部２０６の構成と動作により図１２に示す各画素のデジタル画素信号は、丸印、八角印、四角印、ひし形印の組み合わせパターンで加算される。さらに、加算する画素が欠陥画素である場合、その画素は無信号となっているので、欠陥画素の特異な信号レベルの影響が排除される。さらに、ゲイン補正部２０６６において、加算する画素信号の一部が欠落したことによる信号レベルの不整合が線形補正されるので高品質な混合画素信号を得ることができる。
　＜固体撮像素子後段の説明＞
　図２に戻り、固体撮像素子２００のセレクタ２０７から出力されたデジタル映像信号はメモリーコントローラ２１１を介してメモリー２１９へ出力され記憶保持される。メモリーコントローラ２１１には同期信号発生器２０９から図示しない出力基準クロック、垂直同期信号、および水平同期信号が入力される。メモリーコントローラ２１１はこれら信号に基づいて、固体撮像素子２００から出力されるデジタル映像信号と同期をとる。メモリー２１９は例えばＳＤＲＡＭが良好である。メモリー１９はデジタル映像信号のフレームメモリーとなる。さらにメモリーコントローラ２１１は制御部２１８からの動作制御によりメモリー２１９に記憶されたデジタル映像信号を復号化部２１２、セレクタ２１４および欠陥画素検出部２１６のいずれかに選択的に読み出す。
　具体的には、固体撮像素子２００に全画素圧縮モードを指示する第１の動作モードでは、制御部２１８の制御により、メモリーコントローラ２１１は、固体撮像素子２００から出力されるデジタル映像信号をメモリー２１９に書き込み、メモリー２１９に記憶されたフレームのデジタル映像信号を復号化部２１２に読み出す。また、制御部２１８の制御により、セレクタ２１４は、画像欠陥補正部２１３から入力ｄに入力されたデジタル映像信号を出力ｆへ接続する。これにより、デジタル映像信号が画像処理部２１５へ入力される。
　固体撮像素子２００に画素混合モードを指示する第２の動作モードでは、制御部２１８の制御により、メモリーコントローラ２１１は、固体撮像素子２００から出力されるデジタル映像信号をメモリー２１９に書き込み、メモリー２１９に記憶された画素混合されたフレームのデジタル映像信号をセレクタ２１４の入力ｅに読み出す。制御部２１８の制御により、セレクタ２１４は、入力ｅを出力ｆへ接続する。これにより、デジタル映像信号が画像処理部２１５へ入力される。
　固体撮像素子２００に全画素非圧縮モードを指示する第３の動作モードでは、制御部２１８の制御により、メモリーコントローラ２１１は、メモリー２１９に記憶された全画素のフレームのデジタル映像信号を欠陥画素検出部２１６へ入力する。なお、復号化部２１２は特許文献１の実施の形態１における復号化３３と同等の構成である。
　画素欠陥補正部２１３は、欠陥画素アドレス保持部２１７から欠陥画素の位置アドレス情報を受け、復号化部２１２によりデジタル画素信号に伸長された映像信号の欠陥画素に対して、同色センスを有する最も近隣の８画素のデジタル画素信号から画像の相関性を検知して欠陥画素の補間値を生成し補正を実行する。具体的な方法は特開２００５－１８４３０７号公報に開示された傷画素補正回路１０１が良好である。ただし、本実施形態では、傷画素補正回路に内蔵される傷検出回路１０２が不要であり、欠陥画素である傷画素の特定は欠陥画素アドレス保持部２１７から入力される欠陥画素の位置アドレスにより行う。
　欠陥画素検出部２１６は、メモリーコントローラ２１１を介してメモリー２１９からデジタル画素信号を受け、あらかじめ設定された閾値と画素信号の信号レベルの比較を行うことで閾値を超える画素を欠陥画素として検出する。そして、その画素の位置アドレスを欠陥画素アドレス保持部２１７へ出力する。
　欠陥画素アドレス保持部２１７は例えば不揮発性メモリーからなり、欠陥画素検出部２１６から入力される欠陥画素位置アドレスを記憶保持する。この位置アドレス情報は欠陥画素補正部２１３、欠陥画素置換部２０３、および欠陥画素リジェクト部２０５へ出力される。
　画像処理部２１５は入力されるデジタル画素信号に対してＲＧＢ色信号の同時化処理や色彩調整処理、２次元画像の空間周波数特性の調整処理を演算実施してＹＣｂＣｒ信号へ変換する。画像処理部２１５はは、例えば図示しない液晶モニタからなる表示手段やＳＤカード等のメディアへ記録する記録装置へ信号を出力する。
　上述のような全体構成によると、第１の動作モードでは固体撮像素子２００を全画素圧縮モードで駆動し欠陥画素の影響がない符号化処理によりデータ圧縮する。これにより、固体撮像素子からの出力データレートを相対的に下げながら量子化誤差ノイズの少ない高品位な映像信号をフレームレートを保ちながら固体撮像素子２００から読み出すことができる。また、読み出し後に高精度な画素欠陥補正を行うことで結果として高速かつ高画質が画像を得ることができる。このため、例えば高速に連写を行う静止画記録において高品位な静止画像を得ることができる。また、データ圧縮された映像信号をメモリー２１９に記憶するのでメモリーの書き込みおよび読み出しのデータ帯域の消費およびメモリーのデータ容量を抑圧することができる。
　第２の動作モードでは固体撮像素子２００内で欠陥画素の影響を排除して画素混合を実施する。したがって、高Ｓ／Ｎかつ後段での画素欠陥補正の必要がない高品位な混合画素信号を得ることができる。このため、例えば動画記録時に本モードを使用すれば高品位な動画像を得ることができる。
　第３の動作モードでは固体撮像素子２００から全画素の画素信号をそのまま用いて欠陥画素の検出を行う。これにより、例えば撮像装置の製造工程での調整工程や撮像装置をユーザーが非動作状態としている場合において固体撮像素子を遮光状態として本動作モードを動作させることで、画素信号の符号化圧縮による量子化誤差や画素混合による欠陥画素の信号レベルの平均化によるなまりがない状態で、正確な欠陥画素の位置アドレスの特定が可能である。
　（第２の実施形態）
　図１３に第２の実施形態の構成を示す。以下、第１の実施形態と異なる点についてのみ説明する。固体撮像素子２００Ａは全画素圧縮モードと画素混合モードを有する。個体撮像素子２００Ａのモード設定は制御部２１８からセンサ制御部２０８へモード指示制御信号が入力されることで実施される。全画素圧縮モード時には、センサ制御部２０８は画素部２０１に全画素圧縮モードをを設定し、セレクタ２２１に対して入力ａを出力ｂへ接続する制御をし、セレクタ２２２に対して入力ｄを出力ｆへ接続する制御をする。これにより全画素圧縮モードでは画素部２０１から出力される画素信号が欠陥画素検出部２１６Ａ、欠陥画素無信号化部２２３および無信号識別符号化圧縮部２２４を介して固体撮像素子２００Ａから出力される。画素混合モードでは、画素部２０１から出力される画素信号が欠陥画素検出部２１６Ａ、欠陥画素無信号化部２２３および画素加算部２０６を介して固体撮像素子２００Ａから出力される。
　欠陥画素検出部２１６Ａは入力される各デジタル画素信号について、着目している画素に対して水平方向に同色の色センスで最も近隣の２画素のデジタル画素信号との各々の差分値を算出する。そして、該差分値があらかじめ設定された閾値を超える場合には、着目画素を欠陥画素として検出する。これにより被写体像を受光した映像信号から画像相関性のない欠陥画素をリアルタイムに検出可能となる。
　欠陥画素検出部２１６Ａで欠陥画素として検知された画素は欠陥画素無信号化部２２３で無信号を示す信号レベルに置換される。無信号識別符号化圧縮部２２４としては特許文献２の実施の形態８の構成と方式が良好である。ここで本実施形態では、特定の量子化代表値に符号化される特定の画素値は無信号を示すゼロレベルとする。このように構成することで欠陥画素の特異な信号レベルの影響が量子化誤差となって現れずに符号化圧縮が可能である。
　以上のような構成の固体撮像素子２００Ａによると、全画素圧縮モード時には欠陥画素の影響がない符号化されデータ圧縮された全画素の映像信号が得られる。また、画素混合モード時には欠陥画素を排除して後段の処理で画素欠陥補正が必要ない混合画素信号が得られる。
　制御部２１８が固体撮像素子２００Ａ内のセンサ制御部２０８へ全画素圧縮モードを設定する第１の動作モードでは、制御部２１８の制御により、メモリーコントローラ２１１は、固体撮像素子２００Ａから出力された全画素の符号化データをメモリー２１９へ書き込む。メモリー２１９は該符号化データをフレームデータとして記憶する。また、制御部２１８の制御により、メモリーコントローラ２１１は、該フレームデータを無信号識別復号化部２２５へ読み出す。無信号識別復号化部２２５として特許文献２の実施の形態８における復号化部が良好である。本実施形態の無信号識別復号化部２２５は特定の量子化代表値が入力された場合にはデジタル画素信号を無信号を示すゼロレベルへ変換する。
　無信号識別復号化部２２５で復号化され伸長されたデジタル画素信号は画素欠陥補正部２１３へ入力され、前述と同様に欠陥画素の補間処理が実施される。ただし、欠陥画素の特定は外部から入力される位置アドレス情報によるものではなく、デジタル画素信号自身が無信号を意味するゼロレベルである場合に、その着目画素を欠陥画素として処理実施する。制御部２１８の制御により、セレクタ２１４は入力ｄを出力ｆへ接続する。よって画素欠陥補正部２１３から出力される欠陥画素の補正済みデジタル画素信号が画像処理部２１５に入力される。
　制御部２１８が固体撮像素子２００Ａ内のセンサ制御部２０８へ画素混合モードを設定する第２の動作モードでは、制御部２１８の制御により、メモリーコントローラ２１１は、固体撮像素子２００Ａから出力さっる混合画素信号をメモリー２１９へ書き込まむ。メモリー２１９は該混合画素信号をフレームデータとして記憶する。また、制御部２１８の制御により、メモリーコントローラ２１１は、該フレームデータをセレクタ２１４の入力ｅへ読み出す。制御部２１８の制御により、セレクタ２１４は入力ｅを出力ｆへ接続する。これにより、メモリー２１９に記憶保持した混合画素信号は直接画像処理部２１５に入力される。
　上記のような構成により、全画素圧縮モードと画素混合モードのいずれの場合でも固体撮像素子２００Ａ内で実施する欠陥画素の画素信号に対する処理を共通化することができる。これにより、固体撮像素子２００Ａの回路規模を小型化することができる。さらに、欠陥画素の位置アドレスを記憶しておくメモリーを不要とすることができるとともに欠陥画素を検出する全画素非圧縮モードそのものをなくすことができる。
　本実施形態では固体撮像素子２００Ａ内で欠陥画素の検知を行う構成としたが、第１の実施形態と同様に固体撮像素子２００Ａの後段で欠陥画素の検出と記憶保持をし、欠陥画素無信号化部２２３は後段で記憶保持され入力された欠陥画素の位置アドレス情報に基づいて対象となる画素の無信号化変換を実施しても良い。
　本発明に係る撮像装置は、低コストおよび低消費電力でありながら静止画像撮影のための高解像度での高速連写を高画質で実現し、動画画像撮影のための解像度を落とした高感度で欠陥画素の影響がない高画質な画像を実現できるので、デジタルスチルカメラやムービーカメラはもちろんのこと、動画像を記録しながら特定イベントをトリガーとして高速連写の静止画を撮影するニーズが高いドライブレコーダーや監視カメラ、さらには体内の特定部位の病変を高精細で撮影する用途がある医療用カメラに有用である。
　１００　　固体撮像素子
　１０１　　光電変換手段
　１０３　　欠陥画素置換手段
　１０４　　符号化圧縮手段
　１０５　　画素混合手段
　１１２　　復号化手段
　１１３　　画素欠陥補正手段
　２００　　固体撮像素子
　２００Ａ　固体撮像素子
　２０１　　画素部（光電変換手段）
　２０３　　欠陥画素置換部（欠陥画素置換手段）
　２０４　　符号化圧縮部（符号化圧縮手段）
　２０５　　欠陥画素リジェクト部（画素混合手段）
　２０６　　画素加算部（画素混合手段）
　２１２　　復号化部（復号化手段）
　２１３　　画素欠陥補正部（画素欠陥補正手段）
　２１６　　欠陥画素検出部（欠陥画素検出手段）
　２１６Ａ　欠陥画素検出部（欠陥画素検出手段）
　２１７　　欠陥画素アドレス保持部（欠陥画素位置記憶手段）
　２２３　　欠陥画素無信号化部（欠陥画素無信号化手段）
　２２４　　無信号識別符号化圧縮部（無信号識別符号化圧縮手段）
　２２５　　無信号識別符号化部（無信号識別符号化手段）

Claims (13)

  1. ２次元状に配置された複数の画素からなる光電変換手段を有し、全画素を圧縮符号化して出力する全画素圧縮モードと複数の画素を加算混合して出力する画素混合モードとの切り替えが可能な固体撮像素子を備えている撮像装置であって、
    　前記固体撮像素子は、
    　　前記全画素圧縮モード時に、前記光電変換手段から出力された画素信号のうち欠陥画素の画素信号に対して所定の置換を行う欠陥画素置換手段と、
    　　前記置換後の画素信号を符号化し圧縮する符号化圧縮手段と、
    　　前記画素混合モード時に、前記光電変換手段から出力された画素信号のうち欠陥画素の画素信号を排除して複数の画素信号の加算混合を行う画素混合手段とを有するものであり、
    　当該撮像装置は、
    　　前記全画素圧縮モード時に、前記固体撮像素子から出力された圧縮符号化された画素信号を復号化する復号化手段と、
    　　前記復号化された画素信号のうち欠陥画素の画素信号を周辺画素の画素信号によって補正する画素欠陥補正手段とを備えている
    ことを特徴とする撮像装置。
  2. 　前記固体撮像素子は、画素セルが行列状に配置されたＭＯＳ型固体撮像素子である
    ことを特徴とする請求項１の撮像装置。
  3. 　前記欠陥画素置換手段は、欠陥画素の画素信号を当該欠陥画素近傍の同色位相画素の画素信号で置換する
    ことを特徴とする請求項１の撮像装置。
  4. 　前記画素混合手段は、欠陥画素の画素信号を加算混合対象から排除し、加算混合対象となる画素の数と欠陥画素の数とに基づいてゲイン補正を行う
    ことを特徴とする請求項１の撮像装置。
  5. 　前記符号化圧縮手段は、入力される画素信号に対して固定長の非可逆圧縮処理を行う
    ことを特徴とする請求項１の撮像装置。
  6. 　前記固体撮像素子は、全画素の画素信号を前記欠陥画素置換手段および前記符号化圧縮手段を介さずに出力する全画素非圧縮モードを有するものであり、
    　前記全画素非圧縮モード時に、前記固体撮像素子から出力された画素信号から欠陥画素を検出する欠陥画素検出手段と、
    　前記検出された欠陥画素のアドレスを記憶する欠陥画素位置記憶手段とを備え、
    　前記欠陥画素置換手段および前記画素欠陥補正手段は、前記欠陥画素位置記憶手段に記憶されたアドレス情報に基づいて欠陥画素の画素信号を特定する
    ことを特徴とする請求項１記載の撮像装置。
  7. 　前記固体撮像素子は、前記光電変換手段から出力された画素信号のうち近傍の画素どうしの相対的なレベル差に基づいて欠陥画素を検出する欠陥画素検出手段を有するものであり、
    　前記欠陥画素置換手段および前記画素欠陥補正手段は、前記欠陥画素検出手段の検出結果に基づいて欠陥画素の画素信号を特定する
    ことを特徴とする請求項１の撮像装置。
  8. ２次元状に配置された複数の画素からなる光電変換手段を有し、全画素を圧縮符号化して出力する全画素圧縮モードと複数の画素を加算混合して出力する画素混合モードとの切り替えが可能な固体撮像素子を備えている撮像装置であって、
    　前記固体撮像素子は、
    　　前記光電変換手段から出力された画素信号のうち欠陥画素の画素信号に対して無信号を意味する信号レベルに置換する欠陥画素無信号化手段と、
    　　前記全画素圧縮モード時に、前記欠陥画素無信号化手段から出力された画素信号のうち前記無信号の信号レベルの画素信号については所定の量子化代表値を代用して前記画素信号を符号化し圧縮する無信号識別符号化圧縮手段と、
    　　前記画素混合モード時に、前記欠陥画素無信号化手段から出力された画素信号のうち前記無信号を意味する信号レベルの画素信号を排除して複数の画素信号の加算混合を行う画素混合手段とを有するものであり、
    　当該撮像装置は、
    　　前記全画素圧縮モード時に、前記固体撮像素子から出力された圧縮符号化された画素信号を復号化し、当該復号化結果が前記所定の量子化代表値の場合には前記無信号を意味する信号レベルの画素信号を出力する無信号識別復号化手段と、
    　　前記復号化された画素信号のうち無信号を欠陥画素の画素信号と特定して周辺画素の画素信号によって補正する画素欠陥補正手段とを備えている
    ことを特徴とする撮像装置。
  9. 　前記固体撮像素子は、画素セルが行列状に配置されたＭＯＳ型固体撮像素子である
    ことを特徴とする請求項８の撮像装置。
  10. 　前記画素混合手段は、加算混合対象となる画素に対して無信号の画素の数と加算混合対象となる画素の数に基づいてゲイン補正を行う
    ことを特徴とする請求項８の撮像装置。
  11. 　前記符号化圧縮手段は、入力される画素信号に対して固定長の非可逆圧縮処理を行う
    ことを特徴とする請求項８の撮像装置。
  12. 　前記固体撮像素子は、全画素の画素信号を前記無信号識別符号化圧縮手段を介さずに出力する全画素非圧縮モードを有するものであり、
    　前記全画素非圧縮モード時に、前記固体撮像素子から出力された画素信号から欠陥画素を検出する欠陥画素検出手段と、
    　前記検出された欠陥画素のアドレスを記憶する欠陥画素位置記憶手段とを備え、
    　前記欠陥画素無信号化手段および前記画素欠陥補正手段は、前記欠陥画素位置記憶手段に記憶されたアドレス情報に基づいて欠陥画素の画素信号を特定する
    ことを特徴とする請求項８の撮像装置。
  13. 　前記固体撮像素子は、前記光電変換手段から出力された画素信号のうち近傍の画素どうしの相対的なレベル差に基づいて欠陥画素を検出する欠陥画素検出手段を有するものであり、
    　前記欠陥画素無信号化手段および前記画素欠陥補正手段は、前記欠陥画素検出手段の検出結果に基づいて欠陥画素の画素信号を特定する
    ことを特徴とする請求項８の撮像装置。
PCT/JP2010/003530 2009-05-26 2010-05-26 撮像装置 WO2010137310A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-126911 2009-05-26
JP2009126911 2009-05-26

Publications (1)

Publication Number Publication Date
WO2010137310A1 true WO2010137310A1 (ja) 2010-12-02

Family

ID=43222436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003530 WO2010137310A1 (ja) 2009-05-26 2010-05-26 撮像装置

Country Status (1)

Country Link
WO (1) WO2010137310A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057344A (ja) * 1991-06-20 1993-01-14 Canon Inc 撮像装置
JPH1056596A (ja) * 1997-06-06 1998-02-24 Sony Corp ビデオカメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057344A (ja) * 1991-06-20 1993-01-14 Canon Inc 撮像装置
JPH1056596A (ja) * 1997-06-06 1998-02-24 Sony Corp ビデオカメラ

Similar Documents

Publication Publication Date Title
JP4984981B2 (ja) 撮像方法および撮像装置並びに駆動装置
US7626619B2 (en) Digital camera
CN101505368B (zh) 逐行到隔行转换方法、图像处理装置、成像装置
US7372488B2 (en) Solid-state image pickup apparatus with horizontal thinning and a signal reading method for the same
WO2009118799A1 (ja) 撮像装置、撮像モジュール、及び撮像システム
US8400542B2 (en) Image sensor and image capture apparatus
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
KR20120024448A (ko) 촬상 장치, 신호 처리 방법 및 프로그램
JP2007135200A (ja) 撮像方法および撮像装置並びに駆動装置
US7236194B2 (en) Image signal processing apparatus
US7489356B2 (en) Image pickup apparatus
JP2005217955A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
WO2010137310A1 (ja) 撮像装置
JP2007214772A (ja) 画像信号処理装置
US8054364B2 (en) Image apparatus and drive control method for image pickup device with horizontal addition of pixel data
JP5066476B2 (ja) 撮像装置
JP5511205B2 (ja) 撮像装置及び撮像方法
JP5094313B2 (ja) 撮像装置及びその駆動方法
JP3948456B2 (ja) 固体撮像素子および固体撮像素子の制御方法
JP4688754B2 (ja) 固体撮像装置及びそれを用いたカメラ
JP4311473B2 (ja) 撮像装置
JP2010016450A (ja) 撮像装置
JP2005328411A (ja) 画像処理装置及び画像処理方法
JP2001078209A (ja) 固体撮像装置および信号読出し方法
JP2007214770A (ja) 画像信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780270

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10780270

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP