WO2006006398A1 - 撮像装置、撮像素子の集積回路及び撮像結果の処理方法 - Google Patents

撮像装置、撮像素子の集積回路及び撮像結果の処理方法 Download PDF

Info

Publication number
WO2006006398A1
WO2006006398A1 PCT/JP2005/011889 JP2005011889W WO2006006398A1 WO 2006006398 A1 WO2006006398 A1 WO 2006006398A1 JP 2005011889 W JP2005011889 W JP 2005011889W WO 2006006398 A1 WO2006006398 A1 WO 2006006398A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
data
image
block
Prior art date
Application number
PCT/JP2005/011889
Other languages
English (en)
French (fr)
Inventor
Takahiro Fukuhara
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to AU2005261106A priority Critical patent/AU2005261106A1/en
Priority to BRPI0513266-5A priority patent/BRPI0513266A/pt
Priority to US11/632,317 priority patent/US7936376B2/en
Priority to CA 2572904 priority patent/CA2572904A1/en
Priority to MX2007000063A priority patent/MX2007000063A/es
Priority to KR20077000090A priority patent/KR101055058B1/ko
Priority to EP05755867A priority patent/EP1770991A4/en
Publication of WO2006006398A1 publication Critical patent/WO2006006398A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Definitions

  • Imaging device integrated circuit of imaging device, and processing method of imaging result
  • the present invention relates to an imaging device, an integrated circuit of an imaging element, and a processing method of an imaging result, and can be applied to, for example, a video camera, an electronic still camera, a monitoring device, and the like that record imaging results of moving images.
  • the imaging means and the image compression means are connected and integrated by a wiring layer formed on the surface opposite to the imaging surface of the imaging means, and the imaging result is compressed in block units.
  • the data compression rate used for data compression of the block that continues at least can be varied, and the imaging results from each photoelectric conversion unit can be output from the imaging means so as to support this processing in units of blocks.
  • imaging results output from a CCD (Charge Coupled Device) solid-state image sensor are buffered in a frame memory, and data is compressed in units of blocks using the MP EG (oving Picture Experts Group) method.
  • MP EG 2 the rate is controlled by a technique such as TM5 (Test Mode 5).
  • TM5 Transmission Mode 5
  • the imaging results output from the CCD solid-state imaging device are buffered in a frame memory, and the data is compressed in units of blocks using the JPEG (Joint Photographic Coding Experts Group) method. Rate control is performed in the same way as MP EG 2.
  • CMOS solid-state imaging devices have been put into practical use.
  • the CMOS solid-state image sensor has various features.
  • the charge accumulation start and end times are all In contrast to the same pixel, the CMOS solid-state image sensor opens and closes charge storage. The start and end times are different times in units of columns or pixels.
  • the CCD solid-state imaging device reads out the imaging result of each pixel by serial transmission, whereas in the CMOS solid-state imaging device, as shown in Fig. 3, XY address control is used.
  • the imaging result of each pixel can be read out, and this has the feature that it has a high degree of freedom in reading the imaging result compared to a CCD solid-state imaging device.
  • Fig. 2 is a schematic diagram showing the output of the imaging results from the CCD solid-state image sensor.
  • the accumulated charge held in each pixel is transferred to the vertical transfer register.
  • the stored charge transferred to is sequentially transferred to the horizontal transfer register while being sequentially transferred to the horizontal transfer register.
  • FIG. 3 is a schematic diagram showing the output of the imaging results from the CMOS solid-state imaging device, in which the imaging results of each pixel are output sequentially in units of column lines.
  • the imaging results can be output simultaneously and in parallel by the number of lines.
  • the CMOS solid-state imaging device selectively turns on the MOSFET provided in each pixel by a horizontal address line extending in the horizontal direction and a vertical address line extending in the vertical direction.
  • the imaging result is output to the signal line from the pixel selected by the horizontal address line and the vertical address line.
  • a plurality of pixels that are continuous in the vertical direction share a signal line with one column line, so that a plurality of pixels connected to one column line can be By sequentially switching the setting of the related horizontal address lines and sequentially turning on the MOS FETs provided in the plurality of pixels, this one column line is time-divisionally assigned to each pixel continuous in the vertical direction, The imaging result of each pixel is output.
  • the time division assignment of each pixel that is continuous in the vertical direction to such a column line is horizontal. It is executed simultaneously in parallel with pixels that are continuous in the direction, thereby outputting the imaging result in line units.
  • Japanese Patent Application Laid-Open No. 2 0 0 4-3 1 7 8 5 proposes a configuration that is integrated with a peripheral circuit.
  • the image data is divided into four subbands by dividing the image data into high frequency components and low frequency components in the horizontal and vertical directions and down-sampling each.
  • this division process is executed only once and image data is processed by four subbands HH, HL, LH, and LL.
  • image data may be processed by repeating these band division processes.
  • Fig. 4 (B) shows the case where the band splitting process is repeated three times.
  • subband LL with a low frequency in the horizontal and vertical directions Performs band division processing to generate four subbands L LHH, LLHL, LLLH, and LLLL.
  • the frequency is low in the horizontal and vertical directions.
  • the subband LLLL is further divided into four subbands LLL LHH, LLLLHL, LLLLL H, and LLLLLL.
  • Coding processing using such wavelet transform processing includes so-called line-based wavelet transform that processes image data in units of lines, and image data in units of tiles that are rectangular blocks set by dividing one screen.
  • line-based wavelet transform that processes image data in units of lines, and image data in units of tiles that are rectangular blocks set by dividing one screen.
  • tile-based wavelet transform has been proposed.
  • the overall configuration of the imaging device can be further simplified and rate control can be reliably performed. Disclosure of the invention
  • the present invention has been made in consideration of the above points, and by making effective use of the high degree of freedom related to readout of imaging results, which is a feature of CMOS solid-state imaging devices, etc., the overall configuration can be simplified and ensured.
  • the present invention provides an imaging unit in which a plurality of photoelectric conversion units are arranged in a matrix and outputs an imaging result by XY address control, and receiving of the imaging unit. It has a peripheral circuit that is connected to the photoelectric conversion unit by a wiring layer formed on the surface opposite to the optical surface, and is held integrally with the imaging unit, and processes the imaging results of the imaging unit by the peripheral circuit
  • the peripheral circuit includes an image compression unit that compresses and outputs at least the imaging result for each predetermined processing unit, and a control unit that controls a data compression rate by the image compression unit.
  • the image is input from the imaging means in units of blocks formed by dividing the effective image area in the horizontal direction and the vertical direction, and the data is sequentially compressed.
  • At least the data compression rate when the data compression of the subsequent block is performed by the image compression means is varied.
  • the imaging results by the photoelectric conversion unit are output in the order corresponding to the data compression by the image compression means.
  • a plurality of photoelectric conversion units are arranged in a matrix shape, an imaging unit that outputs an imaging result by XY address control, and a wiring formed on a surface opposite to the light receiving surface of the imaging unit
  • an imaging apparatus that has a peripheral circuit that is connected to the photoelectric conversion unit by a layer and that is integrally held with the imaging unit, and that processes and outputs the imaging result of the imaging unit by the peripheral circuit, it is opposite to the light receiving surface.
  • the photoelectric conversion unit and the peripheral circuit can be connected with a high degree of freedom, so that the imaging results of the imaging means can be displayed in various ways without losing the high degree of freedom of the imaging means for reading the imaging results.
  • Supply to circuit can do.
  • the peripheral circuit includes at least an image compression unit that compresses and outputs an imaging result for each predetermined processing unit, and a control unit that controls a data compression rate by the image compression unit.
  • the imaging results are input from the imaging means in units of blocks formed by dividing the effective image area in the horizontal direction and the vertical direction, and the data is sequentially compressed.
  • the data compression rate when the subsequent block is compressed by the image compression means is variable.
  • the image pickup means uses the image compression means in units of blocks. If the imaging results from the photoelectric converter are output in the order corresponding to data compression, the imaging results from the imaging means Can be input directly to the image compression means and the data can be compressed, so that the rate can be controlled reliably. This makes it possible to effectively utilize the high degree of freedom of the image pickup means related to the reading of the image pickup results and simplify the overall configuration. The rate can be reliably controlled.
  • the present invention includes an imaging unit in which a plurality of photoelectric conversion units are arranged in a Matriggs shape and outputs an imaging result by XY address control, and a wiring layer formed on a surface opposite to the light receiving surface of the imaging unit.
  • a peripheral circuit connected to the photoelectric conversion unit and integrally held with the imaging unit, and applied to an integrated circuit of an imaging device that outputs the processed result of the imaging by the peripheral circuit.
  • the circuit includes at least an image compression unit that compresses and outputs an imaging result for each predetermined processing unit, and a control unit that controls a data compression rate by the image compression unit, and sets an effective image area in the horizontal and vertical directions. Input the imaging results from the imaging means in block units formed by dividing in the direction and sequentially compress the data.
  • the data compression rate at the time of data compression of at least the subsequent block by the image compression means is varied according to the code amount generated by data compression of one block by the image compression means.
  • the result of imaging by the photoelectric conversion unit is output in the order corresponding to the data compression by the image compression means in units of blocks.
  • the configuration of the present invention it is possible to effectively utilize the high degree of freedom related to readout of imaging results, which is a feature of the CMOS solid-state imaging device, and to simplify the overall configuration and reliably perform rate control.
  • An integrated circuit of an imaging element that can be provided can be provided.
  • a plurality of photoelectric conversion units are arranged in a matrix, and an image pickup unit that outputs an image pickup result by XY address control and a wiring layer formed on a surface opposite to the light receiving surface of the image pickup unit
  • the present invention is applied to a method of processing an imaging result in an imaging device that is connected to a conversion unit and has a peripheral circuit that is integrally held with the imaging unit, and that processes and outputs the imaging result of the imaging unit by the peripheral circuit.
  • An imaging result output step for outputting the imaging result of the photoelectric conversion unit from the imaging means to the peripheral circuit
  • an image compression step for outputting the compressed result of the imaging at least for each predetermined processing unit by the peripheral circuit.
  • a control step for controlling the data compression rate by the image compression step, and the image compression step is formed by dividing the effective image area in the horizontal direction and the vertical direction.
  • the data compression rate when data compression is performed on at least the following block in the image compression step is variable depending on the amount of code generated by compressing the data in one frame in the image compression step.
  • the imaging result output step outputs the imaging result by the photoelectric conversion unit in the order corresponding to the data compression in the image compression step in units of blocks.
  • a plurality of photoelectric conversion units are arranged in a matrix, and an image pickup unit that outputs an image pickup result by XY address control and a wiring layer formed on a surface opposite to the light receiving surface of the image pickup unit
  • Apply the imaging result output step to output the imaging result by the photoelectric conversion unit from the imaging means to the peripheral circuit, and the peripheral circuit to compress and output at least the imaging result for each predetermined processing unit.
  • a control step for controlling the data compression rate in the image compression step.
  • the image compression step divides the effective image area into the horizontal direction and the vertical direction.
  • the imaging results are input from the imaging means in units of formed blocks and sequentially compressed, and the control step is a code generated by compressing one block of data in the image compression step in one frame.
  • the data compression rate at the time of compressing the data by at least the subsequent block is compressed by the image compression step, and the imaging result output step is a block unit, and the order corresponding to the data compression by the image compression step As a result, the imaging result by the photoelectric conversion unit is output.
  • the configuration of the present invention it is possible to effectively utilize the high degree of freedom related to readout of imaging results, which is a feature of the CMOS solid-state imaging device, and to simplify the overall configuration and reliably perform rate control.
  • An imaging result processing method that can be performed can be provided.
  • the high degree of freedom relating to readout of imaging results, which is a feature of a CMOS solid-state imaging device is effectively used, and the overall configuration is simplified and rate control is reliably performed.
  • FIG. 1 is a chart showing comparison of image sensors.
  • FIG. 2 is a schematic diagram showing the output from the C CD solid-state imaging device.
  • FIG. 3 is a schematic diagram showing output from the CMO S solid-state imaging device.
  • FIG. 4 is a schematic diagram for explaining the wavelet transform process.
  • FIG. 5 is a block diagram showing the image pickup apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a plan view for explaining data compression processing in the imaging apparatus of FIG.
  • FIG. 7 is a cross-sectional view showing an integrated circuit applied to the imaging device of FIG.
  • 8 (A), 8 (B), 8 (C) and 8 (D) are schematic diagrams for explaining the output of the imaging result by the integrated circuit of FIG. .
  • FIG. 9 is a schematic diagram for explaining the wavelet transform unit in the image pickup apparatus according to Embodiment 2 of the present invention.
  • FIG. 1 is a schematic diagram for explaining the band division in the wavelet conversion unit in the imaging apparatus shown in FIG.
  • FIG. 11 is a schematic diagram for explaining line buffer coefficients by processing in the wavelet transform unit in the imaging apparatus shown in FIG.
  • FIG. 12 is a schematic diagram for explaining an image compression unit in an imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 13 is a schematic diagram for explaining an image compression unit in an imaging apparatus according to Embodiment 4 of the present invention.
  • FIG. 14 is a perspective view showing a part of an integrated circuit applied to an imaging apparatus according to Embodiment 5 of the present invention.
  • FIG. 15 is a plan view for explaining the output of the imaging result in the imaging apparatus according to Embodiment 6 of the present invention.
  • FIG. 16 is a block diagram showing an image pickup apparatus according to Embodiment 7 of the present invention.
  • FIG. 5 is a block diagram showing the image pickup apparatus according to Embodiment 1 of the present invention.
  • the imaging device 1 compresses data of the imaging result of a desired subject, records it on a recording medium, and sends it to a desired transmission target.
  • the lens 2 condenses incident light on the imaging surface of the imaging device 3 by changing the zoom magnification and the diaphragm in response to an operation by the user.
  • the optical low-pass filter 4 suppresses components having a higher spatial frequency than the light emitted from the lens 2, and the subsequent color correction filter 5 corrects the color temperature of the light emitted from the optical aperture one-pass filter 4 to emit light. To do.
  • the image pickup device 3 is formed by, for example, a CMOS solid-state image pickup device, operates in accordance with various timing signals output from a drive unit (not shown), and photoelectrically converts an optical image formed on the image pickup surface by each pixel. S 1 is output.
  • the image sensor 3 has a period in which the photoelectric conversion unit constituting each pixel is divided into regions corresponding to the processing units of the image compression unit 6 in the subsequent stage, and the imaging result is sequentially output to each division. Assigned.
  • the photoelectric conversion units belonging to each section perform photoelectric conversion processing on incident light and accumulate photoelectric conversion results in periods other than the period in which imaging results are output.
  • the image compression unit 6 in the subsequent stage is formed by dividing the imaging result by the imaging device 3 into a predetermined number in the horizontal direction and the vertical direction.
  • the image pickup device 3 is divided into photoelectric conversion units so as to correspond to the respective blocks B1, B2, B3,...,
  • the imaging results are obtained in the order of raster scanning by XY address control by the drive circuit.
  • the output period is assigned to each section, and the result of imaging by the photoelectric conversion unit belonging to each section is output by this period. This also assigns a period for photoelectric conversion processing to each photoelectric conversion unit belonging to each division in units of each division according to the order of raster scanning.
  • the imaging device 3 outputs the imaging result by these photoelectric conversion units by the imaging signal S 1.
  • the image sensor 3 is within a sub-division, the output of one system in the raster scan order, the output of sequential scanning in units of column lines, or the simultaneous and parallel output of multiple systems in units of lines or column lines, or even Imaging results are output by simultaneous parallel output of all pixels.
  • the analog-digital conversion circuit (A D) 7 performs analog-digital conversion processing on the imaging signal S 1 and outputs image data D 1.
  • the image pickup apparatus 1 inputs the image data D 1 to the image compression unit 6 after performing pixel interpolation processing, color space conversion processing, edge enhancement processing, noise removal processing, and the like by a signal processing circuit (not shown).
  • the image compression unit 6 compresses and encodes the image data D 1 in units of blocks B 1, B 2, B 3... And outputs encoded data D 2 based on the processing result.
  • 8 represents the amount of code generated by the data compression processing of the image compression unit 6 by measuring the amount of encoded data output from the image compression unit 6 in units of blocks B1, B2, B3. Is detected for each block B1, B2, ....
  • the compression rate determination unit 9 controls the data compression rate related to the data compression processing of the subsequent block in the image compression unit 6 based on the generated code amount detected by the code amount calculation unit 8, and thereby generates per frame.
  • the rate control process is executed so that the code amount becomes the target code amount. That is, the compression rate determination unit 9 uses the generated code detected by the code amount calculation unit 8 based on the target code amount TS obtained by dividing the code amount allocated to one frame by the number of blocks per frame.
  • the difference value TEX from the amount TE is calculated, and the target code amount related to the following block is corrected by this difference value TEX.
  • the difference value TEX is divided by the number of blocks that have not yet been encoded in this one frame, and this division value is added to or subtracted from the target code amount TS related to the subsequent block, and this difference value TEX is added to one frame. Therefore, various processing methods can be widely applied, for example, when distributing to blocks that have not yet been encoded.
  • the compression rate determination unit 9 uses the target code amount calculated in this way to compress the image compression unit 6.
  • the data compression rate is variably controlled.
  • the encoding stream storage unit 10 accumulates and outputs the encoded data D 2 output from the image compression unit 6, and the sub-rate control unit 11 outputs from the encoding stream storage unit 10.
  • the rate of the encoded data D 2 is controlled.
  • this rate control dummy data is inserted or transmission of encoded data D2 related to a predetermined block is stopped so that the code amount of each frame becomes the target code amount. .
  • the encoded data D2 output from the sub-rate control unit 11 is recorded on a recording medium and further transmitted to an external device.
  • the encoded stream storage unit 10 and the sub-rate control unit 11 1 store the output data D 2 of the image compression unit 6 as image compression means for one frame and correct the data size.
  • An amount correction unit is configured, and in this embodiment, rate control is performed with higher accuracy by the data amount correction unit.
  • FIG. 7 is a cross-sectional view showing a part of an integrated circuit applied to the imaging device 1.
  • the integrated circuit 51 is formed by integrating the image sensor 3 and a peripheral circuit.
  • the integrated circuit 51 includes a driver circuit, an analog circuit (not shown), and an analog circuit.
  • a digital conversion circuit 7, an image compression unit 6, a code amount calculation unit 8, a compression rate determination unit 9, a coding stream storage unit 10, a sub-rate control unit 11 and the like are applied. This simplifies the overall configuration of the imaging apparatus according to this embodiment.
  • an image pickup device portion is formed by arranging pixel portions in a matrix, and the image pickup device 3 is formed by the image pickup device portion. Further, a peripheral circuit portion is formed around the image pickup device portion. Accordingly, FIG. 7 is a cross-sectional view showing a part of the imaging element portion and the peripheral circuit portion.
  • an element layer 52 is formed by a silicon (S i) layer having a thickness of about 10 to 20 C / m].
  • the element layer 52 is provided with a pixel unit.
  • a photodiode 53 related to the photoelectric conversion process is formed, and in the peripheral circuit portion, each circuit element such as a MOS FET constituting the peripheral circuit is formed on the lower layer side of the element layer 52.
  • an upper layer of the element layer 52 is sequentially formed with a silicon oxide (S i 0 2 ) film 5 4, a light shielding film 5 5, a silicon nitride film (S i N) 5 6, a color filter 5 7, Microphone Mouth lenses 58 are stacked.
  • the photodiode 5 3 and the wiring layer 59 for wiring the circuit elements of the peripheral circuit are formed under the element layer 52, and the substrate support material 6 for holding the whole is formed under the wiring layer 59.
  • the integrated circuit 51 is provided with a wiring layer 59 on the opposite side of the light receiving surface, which solves various problems when the wiring layer is provided on the light receiving surface at once, and greatly improves wiring flexibility. To do.
  • the problem of providing the wiring layer on the light receiving surface side in this way there are a decrease in the amount of incident light on each pixel due to the wiring forming the wiring layer, crosstalk to adjacent pixels, and the like.
  • the wiring layer 59 is formed on the side opposite to the light-receiving surface in this way, so that a thin semiconductor substrate is processed from the wiring layer 59 side so that the photodiode 5 3
  • the wiring layer 59 and the substrate supporting material 60 are sequentially formed on this semiconductor substrate, and then the semiconductor substrate is turned over and polished by CMP to complete the element layer 52.
  • the light shielding film 55, the silicon nitride film (SiN) 56, the color filter 57, and the microlens 58 are formed in this order.
  • the imaging device 1 forms a wiring layer 59 on the side opposite to the light receiving surface as described above, and allows a degree of freedom in wiring.
  • the overall configuration is simplified so as not to impair the high degree of freedom associated with readout of imaging results, which is a feature of the CMOS solid-state imaging device. That is, in this integrated circuit 51, as shown in FIG. 8 (A), the image sensor section and the peripheral circuit are connected so that each pixel output is output to the peripheral circuit in parallel and analog-digital conversion processing is performed. Can also be configured. Alternatively, as shown in Fig.
  • the imaging results can be output simultaneously in parallel in units of column lines and processed in the peripheral circuit, and in Fig. 8 (C). As shown in the figure, it is also possible to output the imaging results in parallel in units of lines and process them in the peripheral circuit.In addition, as shown in Fig. 8 (D), it is possible to simultaneously output in units of predetermined blocks. It is also possible to output the imaging results in parallel and process them in the peripheral circuit, which can greatly improve the freedom of imaging device output.
  • each pixel is provided with a signal line, so that, for example, the MOS FETs provided in all the pixels are simultaneously turned on to simultaneously capture the imaging results of all the pixels.
  • the vertical address lines are used instead of the selection by the horizontal address lines.
  • the imaging results can be output by various XY address control, such as when outputting the imaging results from the pixels simultaneously in parallel.
  • the vertical address line control allows one signal line to be connected in the horizontal direction by time division.
  • Fig. 8 (D) can be sequentially assigned, and the imaging results of pixels that are continuous in the vertical direction can be output simultaneously in parallel.
  • multiple pixels in one block connected in common to one signal line are sequentially selected by controlling the vertical address line and the horizontal address line.
  • the imaging results can be output in various orders such as raster scan and zigzag scan.
  • the horizontal address line and the vertical address line are provided in common for pixels that are continuous in the horizontal direction and the vertical direction, the scanning order of these pixels is the same for a plurality of blocks.
  • sequential imaging results are output to the sections corresponding to the blocks B1, B2, B3,. Assign the period, and output the imaging results to the peripheral circuit through the corresponding connection among the connections in Figure 8 (A) to Figure 8 (D) according to the output form from the photoelectric conversion unit in each block .
  • this imaging apparatus 1 (FIG. 5) an image of a subject is formed on the imaging surface (light receiving surface) of the imaging element 3 by the lens 2, and the imaging result of this image is output from the imaging element 3. Then, it is converted to image data D 1 by the analog-digital conversion circuit 7.
  • the image data D 1 is subjected to processing such as edge enhancement, and then compressed by the image compression unit 6 to be converted into encoded data D 2.
  • the encoded data D 2 is converted into the encoded stream storage unit 1. 0, recorded on a recording medium via the sub-rate control unit 11 and further transmitted to an external device.
  • the image pickup apparatus 1 records the image pickup result after compressing the data and transmits it.
  • the image data D 1 is obtained by When image data D 1 of one block is subjected to data compression processing in units of blocks B 1, B 2, B 3... Based on the generated code amount, the data compression rate related to the data compression processing of the subsequent block is variably controlled, and data compression processing is performed in units of one frame by repeating this processing. As a result, the imaging apparatus 1 can reliably control the rate and record and output the imaging result on the recording medium at a desired transmission rate. Further, in this embodiment, the encoded data D 2 is temporarily recorded and held in the encoded stream storage unit 10, the dummy data is inserted by the secondary rate control unit 11, or the encoding relating to a predetermined block is performed. Output of data D2 is stopped and encoded data D2 is output. As a result, the imaging apparatus 1 can execute rate control processing more reliably, record the imaging result on a recording medium at a desired transmission rate, and output the result.
  • the imaging results sequentially processed in units of blocks as described above are obtained from blocks B 1, B 2, B, in which the photoelectric conversion unit corresponding to each pixel provided in the image sensor 3 is a processing unit in the image compression unit 6. 3 is assigned to each of these sections, and a period for sequentially outputting the imaging results is assigned to each of the sections corresponding to the processing in the image compression unit 6, and the imaging results of the corresponding section are assigned to the imaging signal S 1 by this period. Is output by. Outside this period, the photoelectric conversion units in each category are used for photoelectric conversion processing.
  • image compression processing is sequentially performed on a block-by-block basis by simply inputting the imaging results output from the imaging device 3 to the image compression unit 6 sequentially via the analog-digital conversion circuit 7.
  • the rate can be controlled, thereby simplifying the overall configuration.
  • the image sensor 3 based on the CMOS solid-state image sensor has a high degree of freedom in reading out the imaging result by outputting the imaging result by the XY address control, and thus by the line sequential unit by line.
  • the imaging result of the imaging means can be output in various forms such as the output of the imaging result in units of column lines, the output of the imaging result in units of predetermined blocks, and the like.
  • a period for outputting the imaging result is sequentially assigned to the section corresponding to the block which is a processing unit in the image compression unit 6, and the period corresponding to this period is more suitable.
  • the overall configuration is further simplified by effectively using the high degree of freedom related to the readout of the imaging results, which is a feature of the CMOS solid-state imaging device.
  • the imaging device 3 that outputs the imaging result in this way, and the analog-digital conversion circuit ⁇ , the image compression unit 6, and the like that are peripheral circuits for processing the imaging result by the imaging device 3 are integrated by an integrated circuit This reduces the overall structure and further simplifies the structure.
  • CMOS process if the image sensor and the peripheral circuit are simply integrated by the CMOS process, various problems occur due to the wiring pattern related to the image sensor and the peripheral circuit, and this gives a high degree of freedom for reading the imaging result. Cannot fully demonstrate.
  • a wiring layer is formed on the surface opposite to the light receiving surface of the image pickup means, and the photoelectric conversion section and the peripheral circuit constituting the image pickup means are connected by this wiring layer so as to be integrated.
  • the integrated circuit is configured so that the high degree of freedom related to the readout of the imaging results can be sufficiently exhibited, and the overall configuration is simplified by making effective use of the high degree of freedom relating to the readout of the imaging results.
  • the imaging unit and the image compression unit are connected and integrated by the wiring layer formed on the surface opposite to the light receiving surface of the imaging unit, so that the predetermined block unit is used.
  • the wavelet conversion process is applied to the data compression process of the image compression unit 6 described above with reference to FIG.
  • the imaging apparatus according to the present embodiment is configured in the same manner as the imaging apparatus 1 described above with respect to the first embodiment except that the configuration related to the wavelet conversion process related to the image compression unit 6 is different.
  • the configuration shown in FIG. the image compression unit 6 performs wavelet transform processing on the image data D 1 by the wavelet transform unit in block units, and then sequentially performs quantization processing and entropy coding by the quantization unit and the entropy coding unit. This process outputs encoded data D2.
  • the wavelet transform unit performs wavelet transform processing on a block basis by line-based wavelet transform processing.
  • the wavelet transform unit performs one-stage band division processing.
  • the image data D 1 is band-limited to two band components V L and V H by a low-pass filter 6 1 A and a high-pass filter 6 1 B having a predetermined number of taps in the vertical direction, and then each band component V L and V H
  • the subbands LL to HH are generated by band limiting the low-pass filter 6 2 A and the high-pass filter 6 2 B having a predetermined number of taps in the horizontal direction, the mouth-pass filter 6 3 A, and the high-pass filter 6 3 B.
  • the wavelet transform unit uses the line buffer 64 for the input image to be subjected to the band division process by the number of taps of the low pass filter 61A and the high pass filter 61B of the input stage related to each band division process.
  • Data D 1 is temporarily stored and output.
  • the wavelet transform unit performs such band division processing in three stages, and thereby, a subsequent processing circuit that continues the wavelet transform coefficients HH to LLLLLL by each band division process.
  • the line buffers 6 4 A to 6 4 C corresponding to the input stages of each of these band division processes are provided, and the output from the analog / digital conversion circuit 7 is output to the first line buffer 6 4 A.
  • Image data to be input is directly input.
  • wavelet transform coefficient data is stored in these line buffers 6 4 A to 6 4 C as shown in FIG. 11, and one line of image data D 1 is stored.
  • the corresponding coefficient data is output, so that the wavelet transform unit according to the image compression unit 6 Line buffer with horizontal sampling number of B l, B 2, B 3, ... 6 4 A, Line buffers 6 4 B and 6 4 C are provided according to the sampling number of 1 Z 2 and 14 of this line buffer 6 4 A, and output from each line buffer 6 4 A to 6 4 C simultaneously in parallel.
  • the wavelet transform unit applies a line-based wavelet transform process to process image data in units of blocks, thereby providing a line that is a memory circuit provided on the input side of each division process.
  • the overall structure is simplified by reducing the buffer capacity.
  • the image compression unit 6 performs sampling in the horizontal direction by the number of lines equal to or greater than the number of taps of the vertical filter of the wavelet transform unit and the number of taps of the horizontal filter. Each block is formed by a number.
  • the image pickup device 3 in each section has each photoelectric conversion according to the order of line scanning corresponding to the processing sequence of the wavelet transform unit by XY address control by the drive circuit.
  • the imaging result of the conversion unit is output.
  • the image data D1 can be directly input to the wavelet conversion unit and processed, and the entire configuration can be simplified accordingly.
  • the compression rate determination unit 9 can variably control the data compression rate in the image compression unit 6 by switching control of the quantization scale in the quantization unit, so that the data compression rate can be easily and reliably varied. It is configured to be able to.
  • the imaging unit and the image compression unit are connected and integrated by the wiring layer formed on the surface opposite to the light receiving surface of the imaging unit, and the predetermined block is used.
  • Data compression is performed in units, and the data compression rate of the subsequent block is controlled by the amount of code generated in each block, and the period for sequentially outputting the imaging results is set in the photoelectric conversion section corresponding to this block.
  • Output the imaging results from the element By executing the data compression processing related to this block by wavelet transform processing, the entire configuration can be simplified by effectively utilizing the high degree of freedom related to the readout of imaging results, which is a feature of the CMOS solid-state imaging device. And rate control can be ensured.
  • rate control can be performed easily and reliably.
  • the imaging apparatus in the imaging apparatus described above with respect to the second embodiment, data is compressed by tile-based wavelet transform processing instead of line-based wavelet transform processing.
  • the imaging apparatus according to the present embodiment is configured in the same manner as the imaging apparatus according to the second embodiment, except that the configuration related to the wavelet transform process is different. Accordingly, in the following description, as in the case of the second embodiment, FIG. 5 is used to explain the embodiment, and in this description, the same configuration as the imaging device 1 according to the first embodiment The description that has been made will be omitted.
  • the image compression unit 6 performs wavelet transform processing on the image data D 1 by the wavelet transform unit, and then quantizes the coefficient data obtained as a result by the quantization circuit and the entropy coding unit. Entropy encoding and output encoded data D2.
  • the wavelet transform unit according to the image compression unit 6 is a tile T 0, which is a block obtained by dividing an image of the imaging result in a horizontal division and a vertical division by a predetermined division number.
  • the wavelet transform unit performs these wavelet transform processes using a two-dimensional filter circuit.
  • the image pickup result is output in units of tiles by the address control by the drive circuit so as to correspond to the processing related to the wavelet conversion unit.
  • the imaging results are output in the order corresponding to the processing of the two-dimensional filter circuit related to the processing of the wavelet transform unit.
  • the imaging unit and the image compression unit are connected and integrated by the wiring layer formed on the surface opposite to the light receiving surface of the imaging unit, and the predetermined block is obtained.
  • the data compression rate of the following block is controlled by the amount of code generated in each block after data compression in units, and a period for sequentially outputting the imaging result is set in the photoelectric conversion section corresponding to this block, from the image sensor.
  • the image data is compressed by applying a discrete cosine transform process instead of the wavelet transform process in the imaging apparatus described above with respect to the second embodiment.
  • the imaging apparatus according to the present embodiment is configured in the same manner as the imaging apparatus according to the second embodiment, except that the configuration relating to the data compression process is different. Accordingly, in the following description, as in the case of the second embodiment, FIG. 5 is used to explain the embodiment, and in this description, the same configuration as the imaging device 1 according to the first embodiment is described. A duplicate description is omitted.
  • the image compression unit 6 inputs the image data D 1 in units of macroblocks, which are discrete cosine conversion processing units, and performs discrete cosine conversion processing by the discrete cosine conversion processing unit, and the resulting coefficient Data is quantized and variable length encoded and output.
  • this macro block is set to a block of 8 ⁇ 8 pixels.
  • the image compression unit 6 appropriately inputs the image data D1 to be used for the discrete cosine transform processing in the form of difference data processed by motion prediction.
  • the imaging device 3 outputs an imaging result in units of macroblocks in the order of raster scanning by XY address control by the drive circuit so as to correspond to the discrete cosine conversion processing.
  • the imaging results of 8 x 8 pixels that make up the macroblock are output in parallel.
  • the image pickup means and the image compression means are connected and integrated by the wiring layer formed on the surface opposite to the light receiving surface of the image pickup means.
  • the data compression rate of the subsequent block is controlled by the amount of code generated in each block after the data is compressed in units, and the period for sequentially outputting the imaging result is set in the photoelectric conversion section corresponding to this block, from the image sensor.
  • FIG. 14 is a perspective view showing a part of an integrated circuit applied to an imaging apparatus according to Embodiment 5 of the present invention.
  • the integrated circuit constitutes the imaging device according to the above-described first to fourth embodiments.
  • this integrated circuit 71 the same configuration as that of the integrated circuit 51 described above with respect to the first embodiment is indicated by the corresponding reference numeral, and redundant description is omitted.
  • the integrated circuit 71 is formed by integrating the image pickup device 3 and the peripheral circuit, and the peripheral circuit is formed in the same manner as the image compression unit and the like according to each of the above-described embodiments.
  • the overall configuration is simplified.
  • the integrated circuit 71 is formed by laminating an image pickup element portion on a peripheral circuit portion, and the peripheral circuit portion is formed by forming a semiconductor element constituting the peripheral circuit on the semiconductor substrate 72 by a predetermined semiconductor process.
  • the wiring layer 73 is formed on the upper layer of these semiconductor elements, and these semiconductor elements are connected.
  • electrodes for connection to the image pickup device portion and the like are formed on the surface layer of the wiring layer 73.
  • the image pickup element portion is formed by arranging the pixel portions in a matrix shape in the same manner as described above for the first embodiment, and is formed by a silicon (S i) layer having a thickness of about 10 to 20 [ ⁇ ].
  • the element layer 52 is formed.
  • a photodiode related to a photoelectric conversion process in units of pixels is formed in the element layer 52.
  • the imaging element section is formed by sequentially stacking a silicon oxide film, a light-shielding film, a silicon nitride film, a color filter 57, and a microlens 58 on the upper layer of the element layer 52.
  • the wiring layer 59 is formed below the element layer 52.
  • the image pickup device portion is provided with a peripheral circuit portion on the lower layer side of the wiring layer 59, and the image pickup device and the peripheral circuit are integrated into the body by connecting the wiring layer 73 and the wiring layer 59 in the peripheral circuit portion. Circuitized.
  • the wiring layer 59 is provided on the side opposite to the light receiving surface, and various problems in the case of providing the wiring layer 59 on the light receiving surface side are solved at once to increase the degree of wiring. Greatly improved.
  • the image pickup element part and the peripheral circuit part are made by different wafer processes. It can be created and integrated, and accordingly, the imaging device part and the peripheral circuit part are created by a wafer process suitable for each, and the various performances can be improved as a whole. .
  • each semiconductor element and the wiring pattern width are reduced and formed at a high density, so that the chip size can be reduced and the power consumption can be reduced.
  • the image sensor section if the pixel size is reduced, the sensitivity is reduced accordingly, and the chip area is increased according to the number of pixels.
  • the imaging element unit and the peripheral circuit unit are created and integrated by different wafer processes as in this embodiment, they are created by a wafer process suitable for each of the imaging element unit and the peripheral circuit unit. As a result, the overall performance can be improved accordingly.
  • the integrated circuit 7 1 is integrated with the peripheral circuit portion that forms the peripheral circuit via the wiring layer 59 formed on the side opposite to the light receiving surface in this way.
  • a thin semiconductor substrate is processed from the wiring layer 59 side to form a photodiode, and then a wiring layer 59 is formed on this semiconductor substrate, and the periphery formed by another process is formed. Circuit portions are stacked.
  • the integrated circuit 71 is formed by turning the semiconductor substrate over and polishing it by CMP to complete the element layer 52, and sequentially forming a light shielding film, a color finisher 57, a microlens 58, etc. .
  • the integrated circuit 71 outputs the imaging result to the peripheral circuit by a plurality of systems simultaneously and parallelly by such connection, and the peripheral circuit includes three image compression units 6 for data compression processing.
  • the three processing circuits C1 to C3 process image data from a plurality of systems simultaneously and in parallel.
  • the image sensor and the peripheral circuit are integrated into an integrated circuit with a higher degree of freedom, thereby obtaining an imaging result with a higher degree of freedom.
  • the high degree of freedom related to the readout of the imaging result which is a feature of the CMOS solid-state imaging device, to simplify the overall configuration and reliably control the rate.
  • this peripheral circuit by forming this peripheral circuit by a wafer generation process different from that of the imaging means, it is possible to create the imaging element part and the peripheral circuit part by a wafer process suitable for each, thereby improving various performances. it can.
  • FIGS. 15 (A) and (B) are plan views showing the processing sequence of blocks used for data compression processing in the image pickup apparatus according to Embodiment 6 of the present invention, in comparison with FIG.
  • the imaging apparatus according to this embodiment is configured in the same manner as the above-described embodiments 1 to 5 except that the configuration related to the processing of this block is different. Accordingly, in the following, the configuration of FIG. This will be explained.
  • the number of each block indicates the processing order of each block.
  • the setting of the shooting mode is received by a system controller (not shown), and the processing order of blocks in the image compression unit 6 is switched according to this shooting mode. For this reason, the system controller switches the operation of the drive circuit that drives the image sensor 3 in response to the user's selection of the shooting mode. In the image sensor 3, the operation of the drive circuit is switched in block units. Switch the output order of the imaging results.
  • the system controller switches the order of blocks output from the image sensor 3 so as to sequentially compress data from the most important points. That is, for example, when the shooting mode selected by the user is the person shooting mode, the imaging result relating to the person is important. In this case, the person is often located at the center of the effective imaging area, and the background of the person In the foreground, it is not as important as a person. As shown in Fig. 15 (A), the output of the imaging result is started from the center block of the effective imaging area, and the block that outputs the imaging result is Sequentially switch to a block outside this central block. In this embodiment, the block for outputting the imaging result is switched to a block outside the central block so as to draw a spiral trajectory.
  • Blocks for data compression are set, these blocks are first compressed, and then the operation of the image sensor 3 is controlled so that the other blocks are compressed in a predetermined order.
  • the discrete block setting is set at a plurality of locations in the center and the periphery of the effective image area.
  • the system controller assigns a large amount of code to the important locations, and compresses data for each block based on the generated code amount of these blocks detected by this preferential data compression.
  • the operation of the compression rate determination unit 9 is controlled so as to set the data compression rate. Specifically, the operation of the compression rate determination unit 9 is controlled so as to switch between a block to be preferentially processed and a code amount to be assigned to another block according to the shooting mode.
  • the block processing order and code amount allocation can be changed so that the block related to the area that the user thinks important is prioritized, and the configuration is the same as in Embodiments 1 to 5.
  • the rate control process is executed by this, and the overall configuration is simplified by effectively utilizing the high degree of freedom related to readout of imaging results, which is a feature of CMOS solid-state imaging devices, etc. It is configured so that the rate can be reliably controlled.
  • a block for preferentially compressing data when a block for preferentially compressing data is set discretely, the amount of codes generated by the preferential data compression processing of these blocks is set.
  • the generated code amount distribution over the entire screen, and further over the entire screen The generated code amount due to data compression can be generally detected.
  • the distribution of the generated code amount and the generated code amount of the entire screen are estimated based on the generated code amount by the preferential data compression processing, and the data compression rate of each block or the entire screen is estimated based on the estimation result.
  • the high degree of freedom for reading out the imaging result which is a feature of the CMOS solid-state imaging device, can be used effectively and more appropriately. It is possible to control the rate by reliably allocating the code amount.
  • FIG. 16 is a block diagram showing an image pickup apparatus according to Embodiment 7 of the present invention in comparison with FIG.
  • this imaging device 81 the operation of each unit is controlled by the rate control unit 82 according to the generated code amount detected by the code amount calculation unit 8.
  • the imaging device 81 according to this example is configured in the same manner as the imaging device described above with respect to Examples 1 to 6 except that the control of each unit by the rate control unit 82 is different. Only the configuration related to the rate control unit 82 will be described, and redundant description will be omitted.
  • the rate control unit 82 starts processing of one frame, and when the generated code amount detected by the code amount calculation unit 8 is within a certain range, the rate control unit 82 described above with respect to the above-described embodiments 1 to 6. Similarly to the above, rate control processing is executed by controlling the data compression rate by the compression rate determining unit 9. On the other hand, when the generated code amount exceeds a certain range, the image output from the image sensor 3 is controlled by the control of the data compression ratio by the compression ratio determination unit 9 and the drive circuit 8 3 that drives the image sensor 3. The frame rate of the signal S 1 is varied, thereby executing the rate control process.
  • the rate control unit 82 reduces the frame rate of the imaging signal S 1 according to this generated code amount, whereas when the generated code amount is smaller than this range, By increasing the frame rate of the imaging signal S 1 in accordance with the generated code amount and controlling the data compression rate together with this, the data transfer rate of the encoded data D 2 is held at a constant value.
  • the rate of the imaging result is also varied as in this embodiment, the rate can be controlled more reliably.
  • the frame level associated with such an image sensor 3 is In this case, it may be executed by direct instruction of the user or by instruction of the shooting mode and operation mode by the user, and further, by this, a certain range for controlling the frame rate is set. You can make it variable.
  • CMOS solid-state imaging device is applied to the imaging means.
  • the present invention is not limited to this, and various imaging devices based on XY address control are widely applied. Can do. Industrial applicability
  • the present invention can be applied to a video camera, an electronic still camera, a monitoring device, and the like that record imaging results of moving images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　本発明は、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用して、撮像手段３の撮像面とは逆側の面に形成された配線層により撮像手段３と画像圧縮手段６とを接続して一体化するようにして、撮像結果Ｓ１をブロック単位によりデータ圧縮して発生する符号量により、少なくとも続くブロックのデータ圧縮に供するデータ圧縮率を可変すると共に、このブロック単位の処理に対応するように撮像手段３から各光電変換部による撮像結果Ｓ１を出力する。

Description

明細書
撮像装置、 撮像素子の集積回路及び撮像結果の処理方法 発明の背景
技術分野
本発明は、 撮像装置、 撮像素子の集積回路及び撮像結果の処理方法に関し、 例 えば動画による撮像結果を記録するビデオカメラ、 電子スチルカメラ、 監視装置 等に適用することができる。 本発明は、 撮像手段の撮像面とは逆側の面に形成さ れた配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、 撮像結果をブロック単位によりデータ圧縮して発生する符号量により、 少なくと も続くプロックのデータ圧縮に供するデータ圧縮率を可変すると共に、 このプロ ック単位の処理に対応するように撮像手段から各光電変換部による撮像結果を出 力することにより、 CMOS固体撮像素子等の特徴である撮像結果の読み出しに 係る高い自由度を有効に利用して、 全体構成を簡略化して確実にレート制御する ことができるようにする。 背景技術
従来、 ビデオカメラにおいては、 CCD. (Charge Coupled Device ) 固体撮像 素子より出力される撮像結果をフレームメモリにバッファリングして MP EG ( oving Picture Experts Group) の手法によりブロック単位でデータ圧縮しており 、 この MP EG 2においては、 例えば TM5 (Test Mode 5 ) 等の手法によりレ —ト制御している。 また電子スチルカメラでは、 同様に、 CCD固体撮像素子よ り出力される撮像結果をフレームメモリにバッファリングし、 J PEG (Joint P hotographic Coding Experts Group ) の手法によりブロック単位でデータ圧縮し ており、 MP EG 2と同様にしてレート制御している。
これに対して近年、 CMOS固体撮像素子が実用に供されている。 ここで CC D固体撮像素子との対比により第 1図に示すように、 CMOS固体撮像素子は、 種々の特徴を有し、 例えば CCD固体撮像素子においては、 電荷の蓄積開始、 終 了時間が全画素で同一であるのに対し、 CMOS固体撮像素子は、 電荷の蓄積開 始、 終了時間がコラム又は画素単位で別時刻であるとの特徴がある。
特に、 第 2図に示すように、 C C D固体撮像素子がシリアル伝送により各画素 の撮像結果を読み出すのに対し、 C M O S固体撮像素子は、 第 3図に示すように 、 X— Yア ドレス制御により各画素の撮像結果を読み出すことができ、 これによ り C C D固体撮像素子に比して、 撮像結果の読み出しに関して高い自由度を有す る特徴がある。 しかして第 2図は、 C C D固体撮像素子からの撮像結果の出力を 示す模式図であり、 各画素に保持された蓄積電荷を垂直転送レジスタに転送し、 C C D固体撮像素子では、 この垂直転送レジスタに転送した蓄積電荷を水平転送 レジスタに順次転送しながら水平転送レジスタにより順次転送して出力する。 こ れに対して第 3図は、 C MO S固体撮像素子からの撮像結果の出力を示す模式図 であり、 コラム線単位で順次各画素による撮像結果を出力する場合であり、 この 場合、 コラム線の数の分だけ同時並列的に撮像結果を出力することができる。 具体的に、 C MO S固体撮像素子は、 水平方向に延長する水平アドレス線と垂 直方向に延長する垂直ァドレス線とにより、 各画素に設けられた MO S F E Tを 選択的にオン動作させることにより、 この水平アドレス線及び垂直アドレス線に より選択される画素より信号線に撮像結果が出力される。 これによりこの第 3図 に示す例では、 垂直方向に連続する複数の画素で、 1つのコラム線による信号線 を共通に使用していることにより、 1つのコラム線に接続された複数の画素に係 る水平ァドレス線の設定を順次切り換えて、 これら複数の画素に設けられた MO S F E Tを順次オン動作させることにより、 この 1つのコラム線を時分割により 垂直方向に連続する各画素に割り当てて、 これら各画素の撮像結果を出力する。 またこれにより水平方向について見た場合には、 水平方向に連続する画素で水平 ァドレス線が共通することにより、 このようなコラム線への垂直方向に連続する 各画素の時分割の割り当てが、 水平方向に連続する画素で同時並列的に実行され 、 これによりライン単位で撮像結果を出力する。
このような C MO S固体撮像素子については、 例えば日本特開 2 0 0 4 - 3 1 7 8 5号公報等に、 周辺回路と一体化する構成が提案されている。
これに対してこのような画像データの処理に係る符号化方式として、 近年、 ゥ エーブレツト変換処理を用いた符号化方法が種々に提案されている。 ここでゥェ 一ブレット変換処理においては、 水平方向及び垂直方向について、 それぞれ周波 数の高い成分と周波数の低い成分とに画像データを帯域分割してそれぞれダウン サンプリングすることにより、 画像データを 4つのサブバンドに分割して処理す る方法であり、 例えば第 4図 （A) に示すように、 このような分割処理を 1回だ け実行して 4つのサブバンド HH、 HL、 LH、 L Lにより画像データを処理す る場合、 さらには第 4図 （B) に示すように、 これらの帯域分割の処理を繰り返 して画像データを処理する場合等がある。 なおこの第 4図 （B) は、 帯域分割の 処理を 3回繰り返した場合であり、 サブバンド HH、 HL、 LH、 LLのうち水 平方向及び垂直方向に周波数の低いサブバンド L Lについて、 さらに帯域分割の 処理を実行して 4つのサブバンド L LHH、 LLHL、 LLLH、 LLLLを生 成し、 この 4つのサブバンド L LHH、 LLHL、 LLLH、 LLLLのうち水 平方向及び垂直方向に周波数の低いサブバンド L L L Lについて、 さらに帯域分 割の処理を実行して 4つのサブバンド L L L LHH、 LLLLHL、 LLLLL H、 L L L L L Lとした例である。
このようなウエーブレッ ト変換処理による符号化処理は、 画像データをライン 単位で処理するいわゆるラインベース型ウェーブレツト変換と、 1画面を分割し て設定された矩形ブロックであるタイル単位で画像デ一タを処理するいわゆるタ ィルベース型ウェーブレツト変換とが提案されている。
ところで C M O S固体撮像素子の特徴である撮像結果の読み出しに係る高い自 由度を有効に利用することができれば、 撮像装置の全体構成を一段と簡略化して 確実にレート制御することができると考えられる。 発明の開示
本発明は以上の点を考慮してなされたもので、 CMOS固体撮像素子等の特徴 である撮像結果の読み出しに係る高い自由度を有効に利用して、 全体構成を簡略 ィ匕して確実にレート制御することができる撮像装置、 撮像素子の集積回路及び撮 像結果の処理方法を提案しょうとするものである。
かかる課題を解決するため本発明は、 複数の光電変換部がマトリックス状に配 置され、 XYアドレス制御により撮像結果を出力する撮像手段と、 撮像手段の受 光面とは逆側の面に形成された配線層により光電変換部と接続されて、 撮像手段 と一体に保持された周辺回路とを有し、 撮像手段による撮像結果を周辺回路によ り処理して出力する撮像装置に適用して、 周辺回路は、 少なくとも撮像結果を所 定の処理単位毎にデータ圧縮して出力する画像圧縮手段と、 画像圧縮手段による データ圧縮率を制御する制御手段とを有し、 有効画像領域を水平方向及び垂直方 向に分割して形成されたプロック単位で撮像手段から撮像結果を入力して順次デ ータ圧縮し、 1つのフレーム内において、 1つのブロックを画像圧縮手段により データ圧縮して発生する符号量により、 少なくとも続くプロックを画像圧縮手段 によりデータ圧縮する際のデータ圧縮率を可変し、 撮像手段は、 ブロックを単位 にして、 画像圧縮手段によるデータ圧縮に対応する順序により、 光電変換部によ る撮像結果を出力する。 ―
本発明の構成に係る、 複数の光電変換部がマトリ ックス状に配置され、 X Yァ ドレス制御により撮像結果を出力する撮像手段と、 撮像手段の受光面とは逆側の 面に形成された配線層により光電変換部と接続されて、 撮像手段と一体に保持さ れた周辺回路とを有し、 撮像手段による撮像結果を周辺回路により処理して出力 する撮像装置においては、 受光面とは逆側の面に形成された配線層により撮像手 段の光電変換部と周辺回路とが接続されていることにより、 酉己線層を受光面側に 設ける場合の種々の不都合を有効に回避して、 高い自由度により光電変換部と周 辺回路とを接続することができ、 これにより撮像結果の読み出しに係る撮像手段 の高い自由度を損なうことなく、 種々の形態により撮像手段の撮像結果を周辺回 路に供給することができる。 この構成を前提に、 本発明の構成により、 周辺回路 は、 少なくとも撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧縮 手段と、 画像圧縮手段によるデータ圧縮率を制御する制御手段とを有し、 有効画 像領域を水平方向及び垂直方向に分割して形成されたプロック単位で撮像手段か ら撮像結果を入力して順次データ圧縮し、 1つのフレーム内において、 1つのブ 口ックを画像圧縮手段によりデータ圧縮して発生する符号量により、 少なくとも 続くプロックを画像圧縮手段によりデータ圧縮する際のデータ圧縮率を可変し、 撮像手段は、 ブロックを単位にして、 画像圧縮手段によるデータ圧縮に対応する 順序により、 光電変換部による撮像結果を出力すれば、 撮像手段による撮像結果 を直接画像圧縮手段に入力してデータ圧縮するようにして確実にレート制御する ことができ、 これにより撮像結果の読み出しに係る撮像手段の高い自由度を有効 に利用して、 全体構成を簡略化して確実にレート制御することができる。
また本発明は、 複数の光電変換部がマトリッグス状に配置され、 X Yア ドレス 制御により撮像結果を出力する撮像手段と、 撮像手段の受光面とは逆側の面に形 成された配線層により光電変換部と接続されて、 撮像手段と一体に保持された周 辺回路とを有し、 撮像手段による撮像結果を周辺回路により処理して出力する撮 像素子の集積回路に適用して、 周辺回路は、 少なくとも撮像結果を所定の処理単 位毎にデータ圧縮して出力する画像圧縮手段と、 画像圧縮手段によるデータ圧縮 率を制御する制御手段とを有し、 有効画像領域を水平方向及び垂直方向に分割し て形成されたプロック単位で撮像手段から撮像結果を入力して順次データ圧縮し
、 1つのフレーム内において、 1つのブロックを画像圧縮手段によりデータ圧縮 して発生する符号量により、 少なくとも続くプロックを画像圧縮手段によりデー タ圧縮する際のデータ圧縮率を可変し、 撮像手段は、 ブロックを単位にして、 画 像圧縮手段によるデータ圧縮に対応する順序により、 光電変換部による撮像結果 を出力する。
これにより本発明の構成によれば、 C MO S固体撮像素子等の特徴である撮像 結果の読み出しに係る高い自由度を有効に利用して、 全体構成を簡略化して確実 にレート制御することができる撮像素子の集積回路を提供することができる。 また本発明は、 複数の光電変換部がマトリックス状に配置され、 X Yァドレス 制御により撮像結果を出力する撮像手段と、 撮像手段の受光面とは逆側の面に形 成された配線層により光電変換部と接続されて、 撮像手段と一体に保持された周 辺回路とを有し、 撮像手段による撮像結果を周辺回路により処理して出力する撮 像装置における撮像結果の処理方法に適用して、 撮像手段から周辺回路に光電変 換部による撮像結果を出力する撮像結果出力のステップと、 周辺回路により、 少 なくとも撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧縮のステ ップと、 画像圧縮のステップによるデータ圧縮率を制御する制御のステツプとを 有し、 画像圧縮のステップは、 有効画像領域を水平方向及び垂直方向に分割して 形成されたブロック単位で撮像手段から撮像結果を入力して順次データ圧縮し、 制御のステップは、 1つのフレーム内において、 1つのブロックを画像圧縮のス テツプによりデータ圧縮して発生する符号量により、 少なくとも続くブロックを 画像圧縮のステップによりデータ圧縮する際のデータ圧縮率を可変し、 撮像結果 出力のステップは、 ブロックを単位にして、 画像圧縮のステップによるデータ圧 縮に対応する順序により、 光電変換部による撮像結果を出力する。
これにより本発明の構成によれば、 C MO S固体撮像素子等の特徴である撮像 結果の読み出しに係る高い自由度を有効に利用して、 全体構成を簡略化して確実 にレート制御することができる撮像結果の処理方法を提供することができる。 また本発明は、 複数の光電変換部がマトリックス状に配置され、 X Yァドレス 制御により撮像結果を出力する撮像手段と、 撮像手段の受光面とは逆側の面に形 成された配線層により光電変換部と接続されて、 撮像手段と一体に保持された周 辺回路とを有し、 撮像手段による撮像結果を周辺回路により処理して出力する撮 像素子の集積回路における撮像結果の処理方法に適用して、 撮像手段から周辺回 路に光電変換部による撮像結果を出力する撮像結果出力のステップと、 周辺回路 により、 少なくとも撮像結果を所定の処理単位毎にデータ圧縮して出力する画像 圧縮のステップと、 画像圧縮のステップによるデータ圧縮率を制御する制御のス テツプとを有し、 画像圧縮のステップは、 有効画像領域を水平方向及び垂直方向 に分割して形成されたプロック単位で撮像手段から撮像結果を入力して順次デ一 タ圧縮し、 制御のステップは、 1つのフレーム内において、 1つのブロックを画 像圧縮のステップによりデータ圧縮して発生する符号量により、 少なくとも続く プロックを画像圧縮のステップによりデータ圧縮する際のデータ圧縮率を可変し 、 撮像結果出力のステップは、 ブロックを単位にして、 画像圧縮のステップによ るデータ圧縮に対応する順序により、 光電変換部による撮像結果を出力する。 これにより本発明の構成によれば、 C MO S固体撮像素子等の特徴である撮像 結果の読み出しに係る高い自由度を有効に利用して、 全体構成を簡略化して確実 にレート制御することができる撮像結果の処理方法を提供することができる。 本発明によれば、 C MO S固体撮像素子等の特徴である撮像結果の読み出しに 係る高い自由度を有効に利用して、 全体構成を簡略化して確実にレート制御する ことができる 図面の簡単な説明
第 1図は、 撮像素子の比較を示す図表である。
第 2図は、 C C D固体撮像素子による出力を示す模式図である。
第 3図は、 CMO S固体撮像素子による出力を示す模式図である。
第 4図は、 ウェーブレツト変換処理の説明に供する略線図である。
第 5図は、 本発明の実施例 1に係る撮像装置を示すプロック図である。
第 6図は、 第 5図の撮像装置におけるデータ圧縮処理の説明に供する平面図で ある。
第 7図は、 第 5図の撮像装置に適用される集積回路を示す断面図である。
第 8 (A) 図、 第 8 ( B ) 図、 第 8 ( C ) 図及び第 8 ( D ) 図は、 第 7図の集 積回路による撮像結果の出力の説明に供する略線図である。
第 9図は、 本発明の実施例 2に係る撮像装置におけるウェーブレツト変換部の 説明に供する略線図である。
第 1◦図は、 第 9図に係る撮像装置におけるウエーブレツト変換部における帯 域分割の説明に供する略線図である。
第 1 1図は、 第 9図に係る撮像装置におけるウェーブレッ ト変換部における処 理によるラインバッファ用の係数の説明に供する略線図である。
第 1 2図は、 本発明の実施例 3に係る撮像装置における画像圧縮部の説明に供 する略線図である。
第 1 3図は、 本発明の実施例 4に係る撮像装置における画像圧縮部の説明に供 する略線図である。
第 1 4図は、 本発明の実施例 5に係る撮像装置に適用される集積回路の一部を 示す斜視図である。
第 1 5図は、 本発明の実施例 6に係る撮像装置における撮像結果の出力の説明 に供する平面図である。
第 1 6図は、 本発明の実施例 7に係る撮像装置を示すブロック図である。 発明を実施するための最良の形態
以下、 適宜図面を参照しながら本発明の実施例を詳述する。
( 1 ) 実施例 1の構成
第 5図は、 本発明の実施例 1に係る撮像装置を示すブロック図である。 この撮 像装置 1は、 所望の被写体の撮像結果をデータ圧縮して記録媒体に記録し、 また 所望の伝送対象に送出する。
ここでこの撮像装置 1において、 レンズ 2は、 ユーザーによる操作に応動して ズーム倍率、 絞りを可変して撮像素子 3の撮像面に入射光を集光する。 光学ロー パスフィルタ 4は、 このレンズ 2の出射光より空間周波数の高い成分を抑圧し、 続く色補正フィルタ 5は、 光学口一パスフィルタ 4から出射される出射光の色温 度を補正して出射する。
撮像素子 3は、 例えば C MO S固体撮像素子により形成され、 図示しない駆動 部から出力される各種タイミング信号により動作して、 撮像面に形成された光学 像を各画素により光電変換して撮像信号 S 1を出力する。 この一連の処理におい て、 撮像素子 3は、 各画素を構成する光電変換部が、 後段の画像圧縮部 6の処理 単位に対応する領域に区分され、 各区分に順次撮像結果を出力する期間を割り当 てる。 また各区分に属する光電変換部は、 撮像結果を出力する期間以外の期間に おいては、 それぞれ入射光を光電変換処理すると共に光電変換結果を蓄積する。 ここでこの実施例においては、 第 6図に示すように、 後段の画像圧縮部 6にお いて、 この撮像素子 3による撮像結果を水平方向及び垂直方向に所定数により分 割して形成されるブロック B 1、 B 2、 B 3、 ……を単位にして、 ラスタ走査の 順序によりこれらブロック B 1、 B 2、 B 3、 ……に係る画像データをデータ圧 縮処理する。 これにより撮像素子 3は、 この各ブロック B l、 B 2、 B 3、 …… に対応するように光電変換部が区分されて、 駆動回路による X Yァドレス制御に よりラスタ走査の順序で撮像結果を出力する期間を各区分に割り当て、 この期間 によりそれぞれ各区分に属する光電変換部による撮像結果を出力する。 またこれ により各区分に属する光電変換部は、 ラスタ走査の順序により各区分を単位にし て光電変換処理する期間が割り当てられる。 しかして撮像素子 3は、 これら光電 変換部による撮像結果を撮像信号 S 1により出力する。 なお撮像素子 3は、 各区 分内においては、 ラスタ走査順による 1系統の出力により、 又はコラム線を単位 にした順次走査の出力により、 若しくはライン又はコラム線を単位にした複数系 統による同時並列的な出力により、 さらには全画素の同時並列的な出力により、 撮像結果を出力する。
アナログディジタル変換回路 （A D ) 7は、 この撮像信号 S 1をアナログディ ジタル変換処理して画像データ D 1を出力する。 この撮像装置 1は、 図示しない 信号処理回路によりこの画像データ D 1を画素補間処理、 色空間変換処理、 エツ ジ強調処理、 ノイズ除去処理等した後、 画像圧縮部 6に入力する。
画像圧縮部 6は、 この画像データ D 1をブロック B 1、 B 2、 B 3……単位で データ圧縮して符号化処理し、 その処理結果による符号化データ D 2を出力する 符号量計算部 8は、 ブロック B l、 B 2、 B 3……単位で、 画像圧縮部 6より 出力される符号化データのデータ量を計測することにより、 画像圧縮部 6のデー タ圧縮処理による発生符号量をブロック B 1、 B 2、 ……毎に検出する。
圧縮率決定部 9は、 符号量計算部 8で検出される発生符号量に基づいて、 画像 圧縮部 6における続くブロックのデータ圧縮処理に係るデータ圧縮率を制御し、 これにより 1フレーム当たりの発生符号量が目標符号量となるようにレート制御 の処理を実行する。 すなわち圧縮率決定部 9は、 1フレームに割り当てる符号量 を 1フレーム当たりのプロック数により割り算して得られる目標符号量 T Sを基 準にして、 実際に符号量計算部 8で検出される発生符号量 T Eとの差分値 T EXを 計算し、 この差分値 T E Xにより続くブロックに係る目標符号量を補正する。 ここでこのプロックに係る目標符号量の補正にあっては、 続くプロックに係る 目標符号量 T Sにこの差分値 T EXを加減算して、 直接、 続くブロックに係る目標 符号量 T Sを補正する場合、 さらにはこの 1フレームで未だ符号化処理を完了し ていないブロック数により差分値 T E Xを割り算し、 この割り算値を続くブロッ クに係る目標符号量 T Sに加減算して、 この差分値 T E Xを 1フレームで未だ符 号化処理を完了していないプロックに振り分ける場合等、 種々の処理方法を広く 適用することができる。
圧縮率決定部 9は、 このようにして計算される目標符号量により画像圧縮部 6 におけるデータ圧縮率を可変制御する。
符号化ス トリーム記憶部 1 0は、 画像圧縮部 6から出力される符号化データ D 2を蓄積して出力し、 副レート制御部 1 1は、 この符号化ス トリーム記憶部 1 0 から出力される符号化データ D 2をレート制御する。 なおここでこのレート制御 においては、 各フレームの符号量が目標符号量となるように、 ダミーデータを介 挿して、 又は所定のプロックに係る符号化データ D 2の送出を中止して実行され る。 この撮像装置 1では、 この副レート制御部 1 1から出力されるこの符号化デ ータ D 2が記録媒体に記録され、 さらには外部機器に伝送される。 これらにより 符号化ストリーム記憶部 1 0と副レー卜制御部 1 1とは、 画像圧縮手段である画 像圧縮部 6の出力データ D 2を 1フレーム分蓄積してデータサイズを補正するデ ータ量補正手段を構成し、 この実施例においては、 このデータ量補正手段により 一段と高い精度でレート制御する。
第 7図は、 この撮像装置 1に適用される集積回路の一部を示す断面図である。 ここでこの集積回路 5 1は、 撮像素子 3と周辺回路とを一体化して形成され、 こ の実施例においては、 この一体化に係る周辺回路に、 図示しない撮像素子 3の駆 動回路、 アナログディジタル変換回路 7、 画像圧縮部 6、 符号量計算部 8、 圧縮 率決定部 9、 符号化ス トリ一ム記憶部 1 0、 副レート制御部 1 1等が適用される 。 これによりこの実施例に係る撮像装置においては、 全体構成を簡略化する。 集積回路 5 1は、 画素部をマトリ ックス状に配置して撮像素子部が形成され、 この撮像素子部により撮像素子 3が形成される。 またこの撮像素子部の周囲に周 辺回路部が形成される。 これにより第 7図は、 この撮像素子部と周辺回路部との 一部を示す断面図である。
集積回路 5 1は、 1 0〜2 0 C / m] 程度の厚さのシリコン （S i ) 層により 素子層 5 2が形成され、 画素部においては、 この素子層 5 2に、 画素単位の光電 変換処理に係るフォトダイオード 5 3が形成され、 周辺回路部においては、 この 素子層 5 2の下層側に、 周辺回路を構成する MO S F E T等の各回路素子が形成 される。
集積回路 5 1は、 この素子層 5 2の上層に、 順次、 シリコン酸化 （S i 02 ) 膜 5 4、 遮光膜 5 5、 シリコン窒化膜 （S i N ) 5 6、 色フィルタ 5 7、 マイク 口レンズ 5 8が積層される。 またこの素子層 5 2の下層に、 フォトダイオード 5 3、 周辺回路の回路素子を配線する配線層 5 9が形成され、 この配線層 5 9の下 層側に、 全体を保持する基板支持材 6◦が設けられる。 これにより集積回路 5 1 は、 受光面とは逆側に配線層 5 9が設けられ、 配線層を受光面側に設ける場合の 種々の不具合を一挙に解決して配線の自由度を格段に向上する。 なおこのように 配線層を受光面側に設ける不具合にあっては、 配線層を形成する配線による各画 素への入射光量の減少、 隣接画素へのクロストーク等がある。
なお集積回路 5 1は、 このように受光面とは逆側に配線層 5 9が形成されるこ とにより、 厚さの薄い半導体基板を配線層 5 9側より処理してフォトダイォ一ド 5 3、 周辺回路の回路素子を形成した後、 この半導体基板に配線層 5 9、 基板支 持材 6 0を順次形成し、 その後、 この半導体基板を裏返して C M Pにより研磨し て素子層 5 2が完成し、 遮光膜 5 5、 シリコン窒化膜 （S i N) 5 6、 '色フィル タ 5 7、 マイクロレンズ 5 8を順次形成して作成される。
これらによりこの撮像装置 1は、 撮像素子 3と周辺回路とを一体に集積回路化 することを前提に、 このように受光面とは逆側に配線層 5 9を形成して、 配線の 自由度を格段的に向上するようにし、 C MO S固体撮像素子の特徴である撮像結 果の読み出しに係る高い自由度を損なわないようにして全体構成を簡略化する。 すなわちこの集積回路 5 1においては、 第 8 (A) 図に示すように、 各画素出 力を同時並列的に周辺回路に出力してアナログディジタル変換処理するように、 撮像素子部と周辺回路との接続を構成することもできる。 またこれに代えて、 第 8 ( B ) 図に示すように、 コラム線を単位にして同時並列的に撮像結果を出力し て周辺回路で処理することもでき、 また第 8 ( C ) 図に示すように、 ラインを単 位にして同時並列的に撮像結果を出力して周辺回路で処理することもでき、 さら には第 8 ( D ) 図に示すように、 所定ブロックを単位にして同時並列的に撮像結 果を出力して周辺回路で処理することもでき、 これらにより格段的に撮像素子出 力の自由度を向上することができる。
なお第 8 (A) 図の例の場合、 各画素にそれぞれ信号線が設けられていること により、 例えば全画素に設けられた MO S F E Tを同時にオン動作させて全ての 画素による撮像結果を同時並列的に出力する場合、 第 3図について上述したよう に水平アドレス線の制御によりライン単位で撮像結果を出力する場合、 第 8 ( C ) 図について後述するように、 この水平アドレス線による選択に代えて垂直アド レス線による選択により垂直方向に連続する画素による撮像結果を同時並列に出 力する場合等、 種々の X— Yァドレス制御により撮像結果を出力することができ る。 また第 8 ( C ) 図の場合には、 第 3図について上述した水平アドレス線の制 御に代えて、 垂直ァドレス線の制御により、 1つの信号線を時分割により水平方 向に連続する画素に順次割り当てて、 垂直方向に連続する画素による撮像結果を 同時並列に出力することができる。 これに対して第 8 (D ) 図の例の場合、 1つ の信号線に共通に接続された 1つのブロックの複数画素を、 垂直ァ ドレス線及び 水平アドレス線の制御により順次選択することにより、 この 1つの信号線による 1つのブロックで、 ラスタスキャン、 ジグザグスキャン等、 種々の順序により撮 像結果を出力することができる。 なお水平ァドレス線及び垂直ァドレス線が水平 方向及び垂直方向に連続する画素でそれぞれ共通に設けられることにより、 これ ら画素のスキャン順序は、 複数のプロックで同一となる。
しかしてこの実施例に係る撮像装置 1においては、 第 6図について撮像素子 3 について上述したように、 ブロック B l、 B 2、 B 3、 ……に対応する区分に順 次撮像結果を出力する期間を割り当てて、 各プロック内における光電変換部から 出力形態に応じて、 これら第 8 (A) 図〜第 8 ( D ) 図の接続のうちの対応する 接続により撮像結果を周辺回路に出力する。
( 2 ) 実施例 1の動作
以上の構成において、 この撮像装置 1では （第 5図） 、 レンズ 2により撮像素 子 3の撮像面 （受光面） に被写体の画像が形成され、 この画像の撮像結果が撮像 素子 3より出力されてアナログディジタル変換回路 7により画像データ D 1に変 換される。 この画像データ D 1は、 エッジ強調等の処理が実行された後、 画像圧 縮部 6によりデータ圧縮されて符号化データ D 2に変換され、 この符号化データ D 2が符号化ストリーム記憶部 1 0、 副レート制御部 1 1を介して記録媒体に記 録され、 さらには外部機器に伝送される。 これにより撮像装置 1では、 撮像結果 をデータ圧縮して記録し、 また伝送する。
これら一連の処理において、 画像データ D 1は、 撮像結果を水平方向及び垂直 方向にそれぞれ所定数に分割して形成されるブロック B 1、 B 2、 B 3…… （第 6図） を単位にして、 1つのブロックの画像データ D 1がデータ圧縮処理される と、 その発生符号量に基づいて、 続くブロックのデータ圧縮処理に係るデータ圧 縮率が可変制御され、 この処理の繰り返しにより 1フレームを単位にしてデータ 圧縮処理される。 これにより撮像装置 1においては、 確実にレート制御して所望 の伝送レートにより撮像結果を記録媒体に記録し、 また出力することができる。 さらにこの実施例においては、 符号化ストリーム記憶部 1 0に符号化データ D 2を一時記録して保持し、 副レート制御部 1 1によりダミーデータを介挿して、 又は所定のプロックに係る符号化データ D 2の出力を中止して、 符号化データ D 2が出力される。 これによりこの撮像装置 1では、 一段と確実にレート制御の処 理を実行して所望の伝送レートにより撮像結果を記録媒体に記録し、 また出力す ることができる。
しかしてこのようにしてプロック単位で順次処理された撮像結果は、 撮像素子 3に設けられた各画素に対応する光電変換部が画像圧縮部 6における処理単位で あるブロック B l、 B 2、 B 3……に対応して区分され、 画像圧縮部 6における 処理に対応してこれら各区分に順次撮像結果を出力する期間が割り当てられ、 こ の期間により対応する区分の撮像結果が撮像信号 S 1により出力される。 またこ の期間以外にあっては、 各区分の光電変換部は、 光電変換処理に供される。
これによりこの撮像装置 1においては、 撮像素子 3から出力される撮像結果を アナログディジタル変換回路 7を介して画像圧縮部 6に順次入力するだけの構成 により、 順次、 ブロック単位で画像圧縮処理してレート制御することができ、 こ れにより全体構成を簡略化することができる。
しかして C MO S固体撮像素子による撮像素子 3においては、 X Yァドレス制 御により撮像結果を出力することにより、 撮像結果の読み出しに高い自由度を有 し、 これによりラインを単位にしたライン順次による撮像結果の出力のみならず 、 例えばコラム線を単位にした撮像結果の出力、 所定ブロックを単位にした撮像 結果の出力等、 種々の形態により撮像手段の撮像結果を出力することができる。 これによりこの実施例では、 画像圧縮部 6における処理単位であるプロックに対 応する区分に順次、 撮像結果を出力する期間を割り当て、 この期間により対応す る区分の撮像結果を出力するようにし、 これにより C MO S固体撮像素子の特徴 である撮像結果の読み出しに係る高い自由度を有効に利用して、 全体構成を一段 と簡略化する。
撮像装置 1では、 このようにして撮像結果を出力する撮像素子 3と、 この撮像 素子 3による撮像結果を処理する周辺回路であるアナログディジタル変換回路 Ί 、 画像圧縮部 6等とが集積回路により一体化して構成され、 これにより全体構成 を小型化し、 さらには構成を簡略化する。
しかしながら単に C MO Sプロセスにより撮像素子と周辺回路とを一体化した のでは、 撮像素子、 周辺回路に係る配線パターンにより、 種々の不具合が発生し 、 これにより撮像結果の読み出しに係る高い自由度を十分に発揮できなくなる。 このためこの実施例においては、 撮像手段の受光面とは逆側の面に配線層が形成 されて、 この配線層により撮像手段を構成する光電変換部と周辺回路とが接続さ れて一体に保持され、 これにより撮像結果の読み出しに係る高い自由度を十分に 発揮できるように集積回路を構成して、 確実に、 撮像結果の読み出しに係る高い 自由度を有効に利用して全体構成を簡略化することができる。
( 3 ) 実施例 1の効果
以上の構成によれば、 撮像手段の受光面とは逆側の面に形成された配線層によ り撮像手段と画像圧縮手段とを接続して一体化するようにして、 所定のブロック 単位でデータ圧縮して各プロックで発生する符号量により続くプロックのデータ 圧縮率を制御すると共に、 このブロックに対応する光電変換部の区分に順次撮像 結果を出力する期間を設定して撮像素子から撮像結果を出力することにより、 C MO S固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に 利用して、 全体構成を簡略化して確実にレート制御することができる。
( 4 ) 実施例 2
この実施例に係る撮像装置においては、 第 5図について上述した画像圧縮部 6 のデータ圧縮処理にウエーブレツト変換処理が適用される。 この実施例に係る撮 像装置においては、 この画像圧縮部 6に係るウエーブレツ ト変換処理に関連する 構成が異なる点を除いて、 実施例 1について上述した撮像装置 1と同一に構成さ れることにより、 この実施例においては、 第 5図に示す構成を流用して説明する ここで画像圧縮部 6においては、 プロック単位で、 ウェーブレッ ト変換部によ り画像データ D 1をウェーブレッ ト変換処理した後、 量子化部、 エントロピー符 号化部により順次量子化処理、 エントロピ一符号化処理し、 これにより符号化デ ータ D 2を出力する。 またウェーブレッ ト変換部においては、 ラインベースゥェ 一ブレッ ト変換処理により、 ブロック単位でウェーブレット変換処理を実行する ここで 1段階の帯域分割処理を第 9図に示すように、 ウェーブレツト変換部は 、 垂直方向に所定タップ数を有するローパスフィルタ 6 1 A及びハイパスフィル タ 6 1 Bにより画像データ D 1を 2つの帯域成分 V L、 VHに帯域制限した後、 各 帯域成分 V L、 VHを水平方向に所定タップ数を有するローパスフィルタ 6 2 A及 びハイパスフィルタ 6 2 B、 口一パスフィルタ 6 3 A及びハイパスフィルタ 6 3 Bにより帯域制限してサブバンド L L〜H Hを生成する。 これによりウェーブレ ット変換部は、 各帯域分割処理に係る入力段のローパスフィルタ 6 1 A及びハイ パスフィルタ 6 1 Bのタップ数の分だけ、 ラインバッファ 6 4により帯域分割処 理に供する入力画像データ D 1を一時保持して出力する。
ウェーブレッ ト変換部は、 第 1 0図に示すように、 このような帯域分割の処理 を 3段階により実行し、 これにより各帯域分割処理によるウェーブレツト変換係 数 H H〜L L L L L Lを続く後段の処理回路により処理するようにして、 これら 各帯域分割処理の入力段にそれぞれ対応するラインバッファ 6 4 A〜6 4 Cが設 けられ、 先頭段のラインバッファ 6 4 Aにアナログディジタル変換回路 7から出 力される画像データが直接入力される。
またこれらの処理により、 これらラインバッファ 6 4 A〜6 4 Cには、 第 1 1 図に示すようにウェーブレツト変換係数のデータが蓄積されることになり、 画像 データ D 1に係る 1枚のフレームの処理を開始した後、 これらラインバッファ 6 4 A〜6 4 Cにデータが蓄積されると、 それぞれ対応する係数データを出力する これらにより画像圧縮部 6に係るウェーブレツト変換部においては、 ブロック B l、 B 2、 B 3、 ……の水平方向のサンプリング数によるラインバッファ 6 4 A、 このラインバッファ 6 4 Aの 1 Z 2及び 1 4のサンプリング数によるライ ンバッファ 6 4 B、 6 4 Cが設けられ、 各ラインバッファ 6 4 A〜6 4 Cから同 時並列的に出力されるタップ出力をそれぞれ垂直方向の口一パスフィルタ及ぴハ ィパスフィルタ 6 1 A A及び 6 1 B A、 6 1 8及び6 1 8 8、 6 1 A C及び 6 1 B Cにより帯域制限、 ダウンサンプリングし、 また続いて水平方向のローパス フィルタ及びハイパスフィルタにより帯域制限、 ダウンサンプリングして各サブ バンド H H〜 L L L L L Lに係るウェーブレット変換係数データを生成する。 これらによりこの実施例において、 ゥェ ブレット変換部は、 ラインベース型 ウェーブレツ ト変換処理を適用してブロック単位により画像データを処理するこ とにより、 各分割処理の入力側に設けるメモリ回路であるラインバッファの容量 を小型化して全体構成を簡略化する。
またこのウェーブレッ ト変換部の構成に対応して、 画像圧縮部 6は、 このゥェ ーブレツト変換部の垂直フィルタのタップ数以上のライン数により、 また水平フ ィルタのタップ数以上の水平方向のサンプリング数により、 各プロックを形成す る。
このウェーブレッ ト変換部の処理に対応して、 撮像素子 3は、 各区分内におい ては、 駆動回路による X Yァドレス制御によりこのウェーブレツ ト変換部の処理 順序に対応するライン走査の順序により、 各光電変換部の撮像結果を出力する。 これによつてもこの実施例においては、 画像データ D 1をウェーブレツ 卜変換部 に直接入力して処理することができ、 その分、 全体構成を簡略化することができ る。
これに対して圧縮率決定部 9は、 量子化部における量子化スケールの切り換え 制御により、 画像圧縮部 6におけるデータ圧縮率を可変制御し、 これにより簡易 かつ確実にデータ圧縮率を可変することができるように構成されている。
実施例 2の構成によれば、 撮像手段の受光面とは逆側の面に形成された配線層 により撮像手段と画像圧縮手段とを接続して一体化するようにして、 所定のプロ ック単位でデータ圧縮して各プロックで発生する符号量により続くプロックのデ —タ圧縮率を制御すると共に、 このプロックに対応する光電変換部の区分に順次 撮像結果を出力する期間を設定して撮像素子から撮像結果を出力するようにし、 このプロックに係るデータ圧縮処理をウェーブレツト変換処理により実行するこ とにより、 C MO S固体撮像素子の特徴である撮像結果の読み出しに係る高い自 由度を有効に利用して、 全体構成を簡略化して確実にレート制御することができ る。
またこのウェーブレツ ト変換処理による係数データを量子化するようにして、 この量子化に係る量子化スケールの制御によりデータ圧縮率を制御することによ り、 簡易かつ確実にレート制御することができる。
( 5 ) 実施例 3
この実施例においては、 実施例 2について上述した撮像装置において、 ライン ベ一ス型ウェーブレッ ト変換処理に代えて、 タイルベース型ウェーブレット変換 処理によりデータ圧縮する。 この実施例に係る撮像装置においては、 ウェーブレ ット変換処理に係る構成が異なる点を除いて、 実施例 2に係る撮像装置と同一に 構成される。 これにより以下の説明においては、 実施例 2の場合と同様に第 5図 を流用して実施例を説明し、 またこの説明において、 実施例 1に係る撮像装置 1 と同一の構成については、 重複した説明を省略する。
すなわちこの撮像装置において、 画像圧縮部 6は、 ウェーブレット変換部によ り画像データ D 1をウェーブレツト変換処理した後、 その結果得られる係数デ一 タを量子化回路、 エントロピー符号化部により量子化、 エントロピー符号化して 符号化データ D 2を出力する。 この画像圧縮部 6に係るウェーブレツト変換部は 、 第 1 2図に示すように、 撮像結果による画像を水平方向及び垂直方向にそれぞ れ所定の分割数により分割したブロックであるタイル T 0、 T l、 Τ 2、 ··· ···を 処理単位に設定して、 順次、 ラスタ走査の順序によりタイル Τ 0、 T l、 Τ 2、 ……単位で画像データ D 1を入力してウェーブレツト変換処理する。 ウェーブレ ット変換部は、 2次元のフィルタ回路によりこれらウェーブレツト変換処理を実 行する。
撮像素子 3においては、 このウエーブレツト変換部に係る処理に対応するよう に、 駆動回路による Χ Υアドレス制御により、 各タイル単位で撮像結果を出力す る。 また各タイル内においては、 ウェーブレット変換部の処理に係る 2次元のフ ィルタ回路の処理に対応する順序により撮像結果を出力する。 この実施例 3の構成によれば、 撮像手段の受光面とは逆側の面に形成された配 線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、 所定の プロック単位でデータ圧縮して各プロックで発生する符号量により続くブロック のデータ圧縮率を制御すると共に、 このプロックに対応する光電変換部の区分に 順次撮像結果を出力する期間を設定して撮像素子から撮像結果を出力するように し、 このプロックに係る処理をタイルベース ¾1ウェーブレツト変換処理により実 行することにより、 C MO S固体撮像素子の特徴である撮像結果の読み出しに係 る高い自由度を有効に利用して、 全体構成を簡略化して確実にレート制御するこ とができる。
( 6 ) 実施例 4
この実施例においては、 実施例 2について上述した撮像装置において、 ゥエー ブレツト変換処理に代えてディスクリートコサイン変換処理を適用して画像デー タをデータ圧縮する。 この実施例に係る撮像装置においては、 このデータ圧縮処 理に係る構成が異なる点を除いて、 実施例 2に係る撮像装置と同一に構成される 。 これにより以下の説明においては、 実施例 2の場合と同様に第 5図を流用して 実施例を説明し、 またこの説明において、 実施例 1に係る撮像装置 1と同一の構 成については、 重複した説明を省略する。
すなわちこの撮像装置において、 画像圧縮部 6は、 ディスクリートコサイン変 換処理単位であるマクロブロック単位により画像データ D 1を入力し、 ディスク リートコサイン変換処理部によりディスクリートコサイン変換処理し、 その結果 得られる係数データを量子化処理、 可変長符号化処理して出力する。 この実施例 においては、 第 1 3図に示すように、 このマクロブロックが 8 X 8画素によるブ ロックに設定される。 なお画像圧縮部 6は、 適宜、 ディスクリートコサイン変換 処理に供する画像データ D 1を動き予測により処理した差分データの形式により 入力する。
撮像素子 3においては、 このディスクリートコサイン変換処理に対応するよう に、 駆動回路による X Yァドレス制御によってラスタ走査の順序によりマクロブ ロック単位で撮像結果を出力する。 また各マクロブロックにおいては、 マクロブ 口ックを構成する 8 X 8画素による撮像結果を同時並列的に出力する。 この実施例 4の構成によれば、 撮像手段の受光面とは逆側の面に形成された配 線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、 所定の プロック単位でデータ圧縮して各プロックで発生する符号量により続くプロック のデータ圧縮率を制御すると共に、 このプロックに対応する光電変換部の区分に 順次撮像結果を出力する期間を設定して撮像素子から撮像結果を出力するように し、 このブロックに係る処理をディスクリートコサイン変換処理により実行する ことにより、 C MO S固体撮像素子の特徴である撮像結果の読み出しに係る高い 自由度を有効に利用して、 全体構成を簡略化して確実にレート制御することがで きる。
( 7 ) 実施例 5
第 1 4図は、 本発明の実施例 5に係る撮像装置に適用される集積回路の一部を 示す斜視図である。 この実施例においては、 この集積回路により上述の実施例 1 〜4に係る撮像装置を構成する。 なおこの集積回路 7 1において、 実施例 1につ いて上述した集積回路 5 1と同一の構成は、 対応する符号を付して示し、 重複し た説明は省略する。
ここでこの集積回路 7 1は、 撮像素子 3と周辺回路とを一体化して形成され、 この周辺回路が上述の各実施例に係る画像圧縮部等と同一に形成され、 これによ りこの実施例に係る撮像装置においては、 全体構成を簡略化する。
この集積回路 7 1は、 周辺回路部に撮像素子部を積層して形成され、 周辺回路 部は、 所定の半導体プロセスにより、 半導体基板 7 2上に周辺回路を構成する半 導体素子を形成した後、 これら半導体素子の上層に配線層 7 3を形成してこれら 半導体素子を接続することにより形成される。 周辺回路部は、 この配線層 7 3の 表層に撮像素子部との接続用の電極等が形成される。
撮像素子部は、 実施例 1について上述したと同様に、 画素部をマ トリ ックス状 に配置して形成され、 1 0〜2 0 〔 πι〕 程度の厚さのシリコン （S i ) 層によ り素子層 5 2が形成される。 撮像素子部は、 この素子層 5 2に、 画素単位の光電 変換処理に係るフォトダイォ一ドが形成される。
撮像素子部は、 この素子層 5 2の上層に、 順次、 シリコン酸化膜、 遮光膜、 シ リコン窒化膜、 色フィルタ 5 7、 マイクロレンズ 5 8が積層されて撮像面が形成 されるのに対し、 素子層 5 2の下層に、 配線層 5 9が形成される。 撮像素子部は 、 この配線層 5 9の下層側に周辺回路部が設けられ、 周辺回路部の配線層 7 3と 配線層 5 9とが接続されて撮像素子と周辺回路とがー体に集積回路化される。 これにより集積回路 7 1は、 受光面とは逆側に配線層 5 9が設けられ、 配線層 5 9を受光面側に設ける場合の種々の不具合を一挙に解決して配線のき由度を格 段的に向上する。 またこのように受光面とは逆側に形成された配線層 5 9を介し て周辺回路を形成した周辺回路部と一体化されることにより、 撮像素子部と周辺 回路部とを異なるウェハプロセスにより作成して一体化することができ、 その分 、 撮像素子部と周辺回路部とをそれぞれに適したウェハプロセスにより作成して 、 全体として各種の性能を向上することができるように構成されている。
具体的に、 周辺回路を形成した周辺回路部においては、 各半導体素子、 配線パ ターン幅を小さく して高密度に形成することにより、 チップサイズを小型化して 消費電力を削減することができる。 しかしながら撮像素子部においては、 画素サ ィズを小さくすると、 その分、 感度が低下し、 また画素数に応じてチップ面積も 大きくなる。 これによりこの実施例のように撮像素子部と周辺回路部とを異なる ウェハプロセスにより作成して一体化する場合にあっては、 撮像素子部、 周辺回 路部の各々に適したウェハプロセスにより作成することができ、 その分、 全体と しての性能を向上することができる。
なおこのように受光面とは逆側に形成された配線層 5 9を介して周辺回路を形 成した周辺回路部と一体化されることにより、 この集積回路 7 1は、 実施例 1に ついて上述したと同様にして、 厚さの薄い半導体基板を配線層 5 9側より処理し てフォトダイオードを形成した後、 この半導体基板に配線層 5 9を形成し、 別ェ 程により作成された周辺回路部が積層される。 その後、 集積回路 7 1は、 この半 導体基板を裏返して C M Pにより研磨して素子層 5 2が完成し、 遮光膜、 色フィ ノレタ 5 7、 マイクロレンズ 5 8等を順次形成して作成される。
このような異なるウェハプロセスによる半導体基板の積層による集積回路 7 1 においては、 第 8 (A) 図〜第 8 (D ) 図について上述した各種の形態による撮 像結果の出力を一段と簡易に構成し得、 これらにより格段的に撮像素子出力の自 由度を向上することができる。 さらにこの実施例において、 集積回路 7 1は、 このような接続により撮像結果 を同時並列的に複数系統により周辺回路に出力し、 周辺回路においては、 データ 圧縮処理に係る画像圧縮部 6が 3系統の処理回路 C 1〜C 3により形成されて、 これら 3系統の処理回路 C 1〜C 3により複数系統による画像データを同時並列 的に処理する。
この実施例においては、 撮像素子部の配線層の下層に周辺回路を形成すること により、 一段と高い自由度により撮像素子と周辺回路とを一体に集積回路化し、 これにより一段と高い自由度により撮像結果を出力するようにして、 C MO S固 体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して 、 全体構成を簡略化して確実にレート制御することができる。
またさらにこの周辺回路を、 撮像手段とは異なるウェハ生成プロセスにより形 成することにより、 撮像素子部と周辺回路部とをそれぞれに適したウェハプロセ スにより作成して、 各種の性能を向上することができる。
( 8 ) 実施例 6
第 1 5図 （A) 及び （B ) は、 第 6図との対比により、 本発明の実施例 6に係 る撮像装置において、 データ圧縮処理に供するプロックの処理順序を示す平面図 である。 この実施例に係る撮像装置においては、 このブロックの処理に関する構 成が異なる点を除いて、 上述した実施例 1〜5と同一に構成され、 これにより以 下においては、 第 5図の構成を流用して説明する。 なお第 1 5図において、 各ブ ロックの数字は、 各ブロックの処理順序を示すものである。
この実施例においては、 図示しないシステムコントローラにより撮影モードの 設定を受け付け、 この撮影モードに応じて、 画像圧縮部 6におけるブロックの処 理順序を切り換える。 このためシステムコントローラは、 ユーザ一による撮影モ 一ドの選択操作に応動して撮像素子 3を駆動する駆動回路の動作を切り換え、 撮 像素子 3においては、 この駆動回路の動作の切り換えによりブロック単位に係る 撮像結果の出力順序を切り換える。
具体的にシステムコントローラは、 ユーザーにより選択される攝影モードにお いて、 最も重要とされる箇所より順次データ圧縮するように、 撮像素子 3から出 力するプロックの順序を切り換える。 すなわち例えばユーザーにより選択された撮影モードが人物撮影モードの場合 、 人物に係る撮像結果が重要であり、 この場合、 有効撮像領域の中央に人物が位 置する場合が多いことにより、 また人物の背景、 近景にあっては、 人物ほど重要 でないことにより、 第 1 5図 （A) に示すように、 有効撮像領域の中央のブロッ クより撮像結果の出力を開始し、 撮像結果を出力するブロックを順次この中央の ブロックより外側のブロックに切り換える。 この実施例では、 らせんの軌跡を描 くように、 この中央のプロックより外側のブロックに撮像結果を出力するブロッ クを切り換える。
これに対して例えばユーザーにより選択された撮影モードが風景モードの場合 、 有効撮像領域のほぼ全部が重要であることにより、 第 1 5図 （B ) に示すよう に、 離散的に、 優先してデータ圧縮するブロックを設定し、 これらのブロックを 始めにデータ圧縮するようにし、 続いて他のプロックを所定順序によりデータ圧 縮するように撮像素子 3の動作を制御する。 なおこの実施例では、 この離散的な プロックの設定が、 有効画像領域の中央及び周辺の複数箇所に設定される。
さらにシステムコントローラは、 重要とされる箇所程、 多くの符号量を割り当 てるように、 この優先的にデータ圧縮して検出されるこれらプロックの発生符号 量に基づいて、 各プロックのデータ圧縮に係るデータ圧縮率を設定するように、 圧縮率決定部 9の動作を制御する。 具体的に撮影モードに応じて、 優先的に処理 するブロックと、 他のブロックに割り当てる符号量とを切り換えるように、 圧縮 率決定部 9の動作を制御する。
これらによりこの実施例においては、 ユーザ一が重要と考える領域に係るプロ ックを優先するように、 ブロックの処理順序、 符号量の割り当てを可変して、 実 施例 1〜5と同様の構成により レート制御の処理を実行し、 その分、 高画質によ り、 C MO S固体撮像素子等の特徴である撮像結果の読み出しに係る高い自由度 を有効に利用して、 全体構成を簡略化して確実にレート制御することができるよ うに構成されている。
なお第 1 5図 （B ) に示すように、 離散的に、 優先してデータ圧縮するプロッ クを設定する場合にあっては、 これらのプロックの優先的なデータ圧縮処理によ る発生符号量により、 画面全体における発生符号量の分布、 さらには画面全体の データ圧縮による発生符号量を概ね検出することができる。 これにより優先的な データ圧縮処理による発生符号量に基づいて、 発生符号量の分布、 画面全体の発 生符号量を推定し、 この推定結果に基づいて各ブロックのデータ圧縮率、 さらに は画面全体に係るデータ圧縮率を設定するようにしてもよく、 このようにしても C MO S固体撮像素子等の特徴である撮像結果の読み出しに係る高い自由度を有 効に利用して、 一段と適切かつ確実に符号量を配分してレート制御することがで きる。
( 9 ) 実施例 7
第 1 6図は、 第 5図との対比により本発明の実施例 7に係る撮像装置を示すブ ロック図である。 この撮像装置 8 1においては、 符号量計算部 8で検出される発 生符号量によりレート制御部 8 2で各部の動作を制御する。 なおこのレート制御 部 8 2による各部の制御が異なる点を除いて、 この実施例に係る撮像装置 8 1は 、 実施例 1〜6について上述した撮像装置と同一に構成されることにより、 以下 においては、 レート制御部 8 2に係る構成についてのみ説明し、 重複した説明は 省略する。
この実施例において、 レート制御部 8 2は、 1フレームの処理を開始して符号 量計算部 8で検出される発生符号量が一定の範囲以内の場合、 上述の実施例 1〜 6について上述したと同様に、 圧縮率決定部 9によるデータ圧縮率の制御により 、 レート制御の処理を実行する。 これに対して発生符号量が一定の範囲を越える 場合、 圧縮率決定部 9によるデータ圧縮率の制御と共に、 撮像素子 3を駆動する 駆動回路 8 3の制御により、 撮像素子 3から出力される撮像信号 S 1のフレーム レートを可変し、 これによりレート制御の処理を実行する。
すなわちレート制御部 8 2は、 発生符号量がこの範囲より大きい場合、 この発 生符号量に応じて撮像信号 S 1のフレームレートを低減するのに対し、 発生符号 量がこの範囲より小さい場合、 この発生符号量に応じて撮像信号 S 1のフレーム レートを増大させ、 これにより併せてデータ圧縮率を制御することにより、 符号 化データ D 2のデータ転送速度を一定値に保持する。
この実施例のように併せて撮像結果のフレームレートを可変すれば、 一段と確 実にレート制御することができる。 なおこのような撮像素子 3に係るフレームレ ートの可変にあっては、 ユーザーの直接の指示により、 又はユーザーによる撮影 モード、 動作モードの指示により、 実行するようにしてもよく、 さらにはこれら によりこのフレームレートの制御に係る一定範囲を可変するようにしてもよレ、。
( 1 0 ) 他の実施例
なお上述の実施例においては、 副レート制御部 1 1によっても符号化データ D 2をレート制御する場合について述べたが、 本発明はこれに限らず、 実用上十分 にレート制御できる場合には、 この副レート制御部 1 1に係る構成を省略するよ うにしてもよレ、。
また上述の実施例においては、 撮像手段に C MO S固体撮像素子を適用してす る場合について述べたが、 本発明はこれに限らず、 X Yアドレス制御による種々 の撮像素子を広く適用することができる。 産業上の利用可能性
本発明は、 動画による撮像結果を記録するビデオカメラ、 電子スチルカメラ、 監視装置等に適用することができる。

Claims

請求の範囲
1 . 複数の光電変換部がマ ト リ ックス状に配置され、 X Yア ドレス制御により撮 像結果を出力する撮像手段と、
前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部 と接続されて、 前記撮像手段と一体に保持された周辺回路とを有し、
前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像装置 であって、
前記周辺回路は、
少なくとも前記撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧 縮手段と、
前記画像圧縮手段によるデータ圧縮率を制御する制御手段とを有し、
有効画像領域を水平方向及び垂直方向に分割して形成さ.れたブ口ック単位で前 記撮像手段から前記撮像結果を入力して順次データ圧縮し、
1つのフレーム内において、 1つのブロックを前記画像圧縮手段によりデータ 圧縮して発生する符号量により、 少なくとも続くプロックを前記画像圧縮手段に よりデータ圧縮する際のデータ圧縮率を可変し、
前記撮像手段は、
前記プロックを単位にして、 前記画像圧縮手段によるデータ圧縮に対応する順 序により、 前記光電変換部による撮像結果を出力する
ことを特徴とする撮像装置。
2 . 前記画像圧縮手段の出力データを 1フレーム分蓄積してデータサイズを補正 するデータ量補正手段を有する
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
3 . 前記画像圧縮手段によるデータ圧縮処理が、 ラインベース型ウェーブレッ ト 変換処理を用レ、たデ一タ圧縮処理である
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
4 . 前記画像圧縮手段によるデータ圧縮処理が、 タイルベース型ウェーブレッ ト 変換処理を用いたデータ圧縮処理である
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
5 . 前記画像圧縮手段によるデータ圧縮処理が、 ディスクリートコサイン変換処 理を用いたデータ圧縮処理である
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
6 . 前記画像圧縮手段は、
前記画像データを係数データに変換した後、 量子化処理、 符号化処理して出力 し、
前記制御手段によるデータ圧縮率の可変が、
前記量子化処理の量子化スケールの可変である
ことを特徴とする請求の範囲第 1項に記載の撮像装置。 '
7 . 前記周辺回路が、
前記配線層の下層に配置された
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
8 . 前記周辺回路が、 前記撮像手段とは異なるウェハ生成プロセスにより形成さ れた
ことを特徴とする請求の範囲第 7項に記載の撮像装置。
9 . 複数の光電変換部がマ トリ ックス状に配置され、 X Yアドレス制御により撮 像結果を出力する撮像手段と、
前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部 と接続されて、 前記撮像手段と一体に保持された周辺回路とを有し、
前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像素子 O 2006/006398
の集積回路であって、
前記周辺回路は、
少なくとも前記撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧 縮手段と、
前記画像圧縮手段によるデータ圧縮率を制御する制御手段とを有し、
有効画像領域を水平方向及び垂直方向に分割して形成されたプロック単位で前 記撮像手段から前記撮像結果を入力して順次データ圧縮し、
1つのフレーム内において、 1つのブロックを前記画像圧縮手段によりデ一タ 圧縮して発生する符号量により、 少なくとも続くプロックを前記画像圧縮手段に よりデータ圧縮する際のデータ圧縮率を可変し、
前記撮像手段は、
前記プロックを単位にして、 前記画像圧縮手段によるデータ圧縮に対応する順 序により、 前記光電変換部による撮像結果を出力する
ことを特徴とする撮像素子の集積回路。
1 0 . 複数の光電変換部がマトリ ックス状に配置され、 X Yアドレス制御により 撮像結果を出力する撮像部と、
前記撮像部の受光面とは逆側の面に形成された配線層により前記光電変換部と 接続されて、 前記撮像部と一体に保持された周辺回路とを有し、
前記撮像部による撮像結果を前記周辺回路により処理して出力する撮像装置で あって、
前記周辺回路は、
少なくとも前記撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧 縮部と、
前記画像圧縮部によるデータ圧縮率を制御する制御部とを有し、
有効画像領域を水平方向及び垂直方向に分割して形成されたブロック単位で前 記撮像部から前記撮像結果を入力して順次データ圧縮し、
1つのフレーム内において、 1つのブロックを前記画像圧縮部によりデータ圧 縮して発生する符号量により、 少なく とも続くブロックを前記画像圧縮部により データ圧縮する際のデータ圧縮率を可変し、
前記撮像部は、
前記プロックを単位にして、 前記画像圧縮部によるデータ圧縮に対応する順序 により、 前記光電変換部による撮像結果を出力する
ことを特徴とする撮像装置。
1 1 . 複数の光電変換部がマトリ ックス状に配置され、 X Yア ドレス制御により 撮像結果を出力する撮像部と、
前記撮像部の受光面とは逆側の面に形成された配線層により前記光電変換部と 接続されて、 前記撮像部と一体に保持された周辺回路とを有し、
前記撮像部による撮像結果を前記周辺回路により処理して出力する撮像素子の 集積回路であって、
前記周辺回路は、
少なくとも前記撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧 縮部と、
前記画像圧縮部によるデータ圧縮率を制御する制御部とを有し、
有効画像領域を水平方向及び垂直方向に分割して形成されたブロック単位で前 記撮像部から前記撮像結果を入力して順次データ圧縮し、
1つのフレーム内において、 1つのブロックを前記画像圧縮部によりデータ圧 縮して発生する符号量により、 少なくとも続くブロックを前記画像圧縮部により データ圧縮する際のデータ圧縮率を可変し、
前記撮像部は、
前記プロックを単位にして、 前記画像圧縮部によるデータ圧縮に対応する順序 により、 前記光電変換部による撮像結果を出力する
ことを特徴とする撮像素子の集積回路。
1 2 . 複数の光電変換部がマトリックス状に配置され、 X Yァドレス制御により 撮像結果を出力する撮像手段と、
前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部 と接続されて、 前記撮像手段と一体に保持された周辺回路とを有し、
前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像装置 における撮像結果の処理方法であって、
前記撮像手段から前記周辺回路に前記光電変換部による撮像結果を出力する撮 像結果出力のステップと、
前記周辺回路により、 少なくとも前記撮像結果を所定の処理単位毎にデータ圧 縮して出力する画像圧縮のステップと、
前記画像圧縮のステップによるデータ圧縮率を制御する制御のステップとを有 し、
前記画像圧縮のステップは、
有効画像領域を水平方向及び垂直方向に分割して形成されたプロック単位で前 記撮像手段から前記撮像結果を入力して順次データ圧縮し、
前記制御のステップは、
1つのフレーム内において、 1つのブロックを前記画像圧縮のステップにより データ圧縮して発生する符号量により、 少なくとも続くブロックを前記画像圧縮 のステップによりデータ圧縮する際のデータ圧縮率を可変し、
前記撮像結果出力のステップは、
前記ブロックを単位にして、 前記画像圧縮のステツプによるデータ圧縮に対応 する順序により、 前記光電変換部による撮像結果を出力する
ことを特徴とする撮像結果の処理方法。
1 3 . 複数の光電変換部がマトリ ックス状に配置され、 X Yア ドレス制御により 撮像結果を出力する撮像手段と、
前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部 と接続されて、 前記撮像手段と一体に保持された周辺回路とを有し、
前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像素子 の集積回路における撮像結果の処理方法であって、
前記撮像手段から前記周辺回路に前記光電変換部による撮像結果を出力する撮 像結果出力のステップと、 前記周辺回路により、 少なくとも前記撮像結果を所定の処理単位毎にデータ圧 縮して出力する画像圧縮のステップと、
前記画像圧縮のステップによるデータ圧縮率を制御する制御のステップとを有 し、
前記画像圧縮のステップは、
有効画像領域を水平方向及び垂直方向に分割して形成されたプロック単位で前 記撮像手段から前記撮像結果を入力して順次データ圧縮し、
前記制御のステップは、
1つのフレーム内において、 1つのブロックを前記画像圧縮のステップにより データ圧縮して発生する符号量により、 少なくとも続くブロックを前記画像圧縮 のステップによりデータ圧縮する際のデータ圧縮率を可変し、
前記撮像結果出力のステップは、
前記プロックを単位にして、 前記画像圧縮のステツプによるデータ圧縮に対応 する順序により、 前記光電変換部による撮像結果を出力する
ことを特徴とする撮像結果の処理方法。
PCT/JP2005/011889 2004-07-13 2005-06-22 撮像装置、撮像素子の集積回路及び撮像結果の処理方法 WO2006006398A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
AU2005261106A AU2005261106A1 (en) 2004-07-13 2005-06-22 Imaging device, imaging element integrated circuit, and imaging result processing method
BRPI0513266-5A BRPI0513266A (pt) 2004-07-13 2005-06-22 dispositivo de captura de imagem, circuito integrado de um elemento de captura de imagem, e, método de processamento de resultados de captura de imagem
US11/632,317 US7936376B2 (en) 2004-07-13 2005-06-22 Image pickup device, integrated circuit of image pickup element, and image pickup result processing method
CA 2572904 CA2572904A1 (en) 2004-07-13 2005-06-22 Imaging pickup device, integrated circuit of image pickup element, and image pickup result processing method
MX2007000063A MX2007000063A (es) 2004-07-13 2005-06-22 Dispositivo de recepcion de imagen, circuito integrado de elemento de recepcion de imagen, y metodo de procesamiento de resultado de recepcion de imagen.
KR20077000090A KR101055058B1 (ko) 2004-07-13 2005-06-22 촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리방법
EP05755867A EP1770991A4 (en) 2004-07-13 2005-06-22 IMAGING DEVICE, INTEGRATED IMAGING ELEMENT CIRCUIT, AND IMAGING RESULT PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-205381 2004-07-13
JP2004205381A JP4403396B2 (ja) 2004-07-13 2004-07-13 撮像装置及び撮像素子の集積回路

Publications (1)

Publication Number Publication Date
WO2006006398A1 true WO2006006398A1 (ja) 2006-01-19

Family

ID=35783742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/011889 WO2006006398A1 (ja) 2004-07-13 2005-06-22 撮像装置、撮像素子の集積回路及び撮像結果の処理方法

Country Status (12)

Country Link
US (1) US7936376B2 (ja)
EP (1) EP1770991A4 (ja)
JP (1) JP4403396B2 (ja)
KR (1) KR101055058B1 (ja)
CN (2) CN101459777B (ja)
AU (1) AU2005261106A1 (ja)
BR (1) BRPI0513266A (ja)
CA (1) CA2572904A1 (ja)
MX (1) MX2007000063A (ja)
RU (1) RU2367108C2 (ja)
TW (1) TWI267299B (ja)
WO (1) WO2006006398A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894531A (zh) * 2009-05-19 2010-11-24 瑞萨电子株式会社 显示驱动装置及其工作方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
KR101499498B1 (ko) 2008-10-08 2015-03-06 삼성전자주식회사 초고해상도 비디오 처리 장치 및 방법
CN101742294B (zh) * 2008-11-14 2012-09-05 北京中星微电子有限公司 一种提高监控视频压缩率的方法和设备
JP4670947B2 (ja) * 2008-12-05 2011-04-13 ソニー株式会社 情報処理装置および方法
JP5899120B2 (ja) * 2010-03-03 2016-04-06 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． カラーレジームを定義する装置及び方法
JP5560785B2 (ja) * 2010-03-12 2014-07-30 株式会社リコー 情報処理装置、画像形成装置及び情報処理方法
JP2012124653A (ja) * 2010-12-07 2012-06-28 Canon Inc 符号化装置、符号化方法およびプログラム
RU2551649C2 (ru) * 2011-02-28 2015-05-27 Фуджифилм Корпорэйшн Устройство формирования цветного изображения
EP2748714B1 (en) * 2011-11-15 2021-01-13 Nicira, Inc. Connection identifier assignment and source network address translation
WO2014155919A1 (ja) * 2013-03-27 2014-10-02 日本電気株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム
US20150049105A1 (en) 2013-08-13 2015-02-19 Mediatek Inc. Data processing apparatus for transmitting/receiving indication information of pixel data grouping setting via display interface and related data processing method
JP6248468B2 (ja) * 2013-08-23 2017-12-20 株式会社ニコン 撮像装置および電子機器
WO2015055093A1 (en) * 2013-10-17 2015-04-23 Mediatek Inc. Data processing apparatus for transmitting/receiving compressed pixel data groups of picture and indication information of pixel data grouping setting and related data processing method
CN105981391B (zh) 2014-02-07 2020-04-10 索尼公司 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法
US10178181B2 (en) * 2014-04-02 2019-01-08 Cisco Technology, Inc. Interposer with security assistant key escrow
JP6549366B2 (ja) * 2014-09-19 2019-07-24 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
US9978798B2 (en) * 2015-08-03 2018-05-22 Sony Corporation Sensors with variable sensitivity to maximize data use
RU2640298C1 (ru) * 2015-10-12 2017-12-27 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки и хранения изображений
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
US10477133B2 (en) * 2017-10-02 2019-11-12 Sony Semiconductor Solutions Corporation Solid-state imaging sensor and solid-state imaging device
JP2018029404A (ja) * 2017-11-24 2018-02-22 株式会社ニコン 撮像素子および撮像装置
AU2019228387B2 (en) * 2018-02-27 2024-07-25 Zetane Systems Inc. Scalable transform processing unit for heterogeneous data
CN110858191A (zh) * 2018-08-24 2020-03-03 北京三星通信技术研究有限公司 文件处理方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5892260A (ja) * 1981-11-27 1983-06-01 Mitsubishi Electric Corp 半導体装置
JPS63174356A (ja) * 1987-01-14 1988-07-18 Agency Of Ind Science & Technol 画像処理用半導体装置
JPH03101385A (ja) * 1989-09-13 1991-04-26 Olympus Optical Co Ltd 電子スチルカメラとその撮像記録素子
JPH05268535A (ja) * 1992-03-24 1993-10-15 Toshiba Corp 視覚センサー
JP2001094888A (ja) * 1999-09-22 2001-04-06 Canon Inc 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6509927B1 (en) * 1994-12-16 2003-01-21 Hyundai Electronics America Inc. Programmably addressable image sensor
JP3859815B2 (ja) * 1996-08-02 2006-12-20 シャープ株式会社 圧縮情報記憶装置
JP4150112B2 (ja) * 1998-08-24 2008-09-17 ソニー株式会社 画像データ処理方法および画像データ処理装置
US7369161B2 (en) * 1999-06-08 2008-05-06 Lightsurf Technologies, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US6809769B1 (en) * 2000-06-22 2004-10-26 Pixim, Inc. Designs of digital pixel sensors
US20020171743A1 (en) * 2001-05-16 2002-11-21 Konica Corporation Electronic device and digital still camera
JP3759435B2 (ja) * 2001-07-11 2006-03-22 ソニー株式会社 Ｘ−ｙアドレス型固体撮像素子
JP3617498B2 (ja) * 2001-10-31 2005-02-02 三菱電機株式会社 液晶駆動用画像処理回路、およびこれを用いた液晶ディスプレイ装置、ならびに画像処理方法
JP4123415B2 (ja) * 2002-05-20 2008-07-23 ソニー株式会社 固体撮像装置
JP2004031785A (ja) 2002-06-27 2004-01-29 Fujitsu Ltd 半導体装置及び半導体装置の設計方法
JP2004085936A (ja) * 2002-08-27 2004-03-18 Olympus Corp カメラ
JP4599917B2 (ja) * 2004-07-09 2010-12-15 ソニー株式会社 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5892260A (ja) * 1981-11-27 1983-06-01 Mitsubishi Electric Corp 半導体装置
JPS63174356A (ja) * 1987-01-14 1988-07-18 Agency Of Ind Science & Technol 画像処理用半導体装置
JPH03101385A (ja) * 1989-09-13 1991-04-26 Olympus Optical Co Ltd 電子スチルカメラとその撮像記録素子
JPH05268535A (ja) * 1992-03-24 1993-10-15 Toshiba Corp 視覚センサー
JP2001094888A (ja) * 1999-09-22 2001-04-06 Canon Inc 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1770991A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894531A (zh) * 2009-05-19 2010-11-24 瑞萨电子株式会社 显示驱动装置及其工作方法

Also Published As

Publication number Publication date
KR20070042138A (ko) 2007-04-20
CN101459777B (zh) 2012-04-25
EP1770991A1 (en) 2007-04-04
CN101459777A (zh) 2009-06-17
RU2007101299A (ru) 2008-07-27
TW200614806A (en) 2006-05-01
EP1770991A4 (en) 2012-07-11
JP2006033104A (ja) 2006-02-02
CA2572904A1 (en) 2006-01-19
TWI267299B (en) 2006-11-21
AU2005261106A1 (en) 2006-01-19
JP4403396B2 (ja) 2010-01-27
KR101055058B1 (ko) 2011-08-05
RU2367108C2 (ru) 2009-09-10
CN1985510A (zh) 2007-06-20
MX2007000063A (es) 2007-03-28
US20090002507A1 (en) 2009-01-01
CN100474900C (zh) 2009-04-01
US7936376B2 (en) 2011-05-03
BRPI0513266A (pt) 2008-05-06

Similar Documents

Publication Publication Date Title
JP4403396B2 (ja) 撮像装置及び撮像素子の集積回路
KR101148334B1 (ko) 촬상 장치와 촬상 결과의 처리 방법
JP4816457B2 (ja) 撮像装置及び撮像結果の出力方法
JP4978719B2 (ja) 撮像装置
KR101130375B1 (ko) 촬상 장치, 촬상 소자 및 촬상 장치의 제어 방법
JP7152890B2 (ja) 固体撮像素子、撮像装置及び撮像方法
JP3457407B2 (ja) 画像圧縮機能を有する撮像装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005261106

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 1020077000090

Country of ref document: KR

Ref document number: 85/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2572904

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: MX/a/2007/000063

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2007101299

Country of ref document: RU

Ref document number: 200580023649.4

Country of ref document: CN

Ref document number: 2005755867

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

ENP Entry into the national phase

Ref document number: 2005261106

Country of ref document: AU

Date of ref document: 20050622

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2005261106

Country of ref document: AU

WWP Wipo information: published in national office

Ref document number: 2005755867

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11632317

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0513266

Country of ref document: BR