WO2021130593A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2021130593A1
WO2021130593A1 PCT/IB2020/061874 IB2020061874W WO2021130593A1 WO 2021130593 A1 WO2021130593 A1 WO 2021130593A1 IB 2020061874 W IB2020061874 W IB 2020061874W WO 2021130593 A1 WO2021130593 A1 WO 2021130593A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
transistor
data
image
wiring
Prior art date
Application number
PCT/IB2020/061874
Other languages
English (en)
French (fr)
Inventor
秋元健吾
井上聖子
三嶋大地
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to US17/779,717 priority Critical patent/US11924589B2/en
Priority to JP2021566374A priority patent/JPWO2021130593A1/ja
Publication of WO2021130593A1 publication Critical patent/WO2021130593A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • One aspect of the present invention relates to a neural network and an imaging system using the neural network. Further, one aspect of the present invention relates to an electronic device using a neural network. Further, one aspect of the present invention relates to a vehicle using a neural network. One aspect of the present invention relates to an imaging system that obtains a color image from a black-and-white image obtained by a solid-state image sensor by using an image processing technique. The present invention relates to a video surveillance system or a security system using the imaging system, a safety information providing system, or a driving support system.
  • One aspect of the present invention is not limited to the above technical fields.
  • One aspect of the invention disclosed in the present specification and the like relates to a product, a method, or a manufacturing method.
  • One aspect of the invention relates to a process, machine, manufacture, or composition of matter. Therefore, more specifically, the technical fields of one aspect of the present invention disclosed in the present specification and the like include semiconductor devices, display devices, light emitting devices, power storage devices, storage devices, electronic devices, lighting devices, input devices, and input / output devices.
  • the devices, their driving methods, or their manufacturing methods can be given as an example.
  • the semiconductor device refers to all devices that can function by utilizing the semiconductor characteristics
  • the electro-optical device, the semiconductor circuit, and the electronic device are all semiconductor devices.
  • Image sensors are widely used as components for imaging such as digital cameras or video cameras.
  • the image sensor is also used as a part of security equipment such as a security camera, such equipment is accurate not only in bright places during the day but also at night or in dark places with little lighting and poor light. It is necessary to perform various imaging, and an image sensor with a wide dynamic range is required.
  • AI Artificial Intelligence
  • a method of learning with a large amount of image data, generating a model, and realizing colorization by inference using the obtained generated model is known.
  • Machine learning is a part of AI.
  • Colorization does not result in an optimal color image if a large amount of image data is learned, and the more image data to be learned, the more sepia or gray it becomes, and the coloring tends to be insufficient. is there.
  • Patent Document 1 discloses an image pickup apparatus having an oxide semiconductor and using a transistor having an extremely low off-current in a pixel circuit.
  • Patent Document 2 discloses a technique for adding a calculation function to an image pickup apparatus.
  • Patent Document 3 discloses a technique relating to super-resolution processing.
  • Japanese Unexamined Patent Publication No. 2011-119711 Japanese Unexamined Patent Publication No. 2016-123087 Japanese Unexamined Patent Publication No. 2010-262276
  • a color filter is used for a color image obtained by an image pickup device such as a conventional image sensor.
  • the image sensor is sold with a color filter attached, and the image sensor and a lens are appropriately combined and mounted in an electronic device.
  • the color filter reduces the amount of light that reaches the light receiving area simply by being placed on top of the light receiving area of the image sensor. Therefore, it is inevitable that the amount of received light is attenuated by the color filter.
  • Various color filters to be combined with the image sensor are being optimized by each company, but they do not pinpoint the wavelength of the light to pass through, but receive broad light in a certain wavelength range.
  • the amount of light is insufficient and it is difficult to recognize a distant object. Since it is difficult for the driver to recognize the object in a dark image, it is preferable to colorize the object to obtain an emphasized image as a result.
  • One of the problems is to provide an imaging method and an imaging system that obtain an image having high visibility and faithful to an actual color without using a color filter.
  • a security camera placed in a light environment with a narrow wavelength range needs to accurately grasp the situation reflected in the captured image as a clue leading to an incident or accident, so the characteristics of the object in the image are accurate. It is necessary to catch it. Therefore, for example, in the case of a night-vision camera, it is important to focus on the object and capture an image with good visibility of the object even in a dark place.
  • Some night-vision cameras acquire color images by color-separating them with a special color filter using an infrared light source.
  • the reflected light of infrared rays is used, there is a problem that the color is not reflected or expressed in a different color depending on the subject. This problem often occurs when the subject is a material that absorbs infrared rays. For example, human skin is more likely to be imaged whiter than it actually is, and warm colors such as yellow may be imaged blue.
  • One of the problems is to provide an imaging method and an imaging system that have high visibility even at night or in a dark place and can obtain an image faithful to the same color as when there is external light.
  • the image pickup system of the present invention includes a solid-state image pickup device that does not have a color filter, a storage device, and a learning device. Since no color filter is used, attenuation of light can be avoided, and highly sensitive imaging can be performed even with a small amount of light.
  • the obtained black-and-white image data (analog data) is colorized, but is colored using an AI system.
  • the AI system that is, a learning device that uses the teacher data stored in the storage device, uses the extracted features to make inferences and adjust the focus, and the color is highly visible even at night or in dark places.
  • An image colorized image data (digital data)) can be obtained.
  • the learning device includes at least a neural network unit, and can perform not only learning but also inference and output data.
  • the learning device may perform inference using a feature amount that has been learned in advance. In that case, by storing the learned features in the storage device and performing the calculation, it is possible to output data at the same level as when the previously learned features are not used.
  • the teacher data may be subjected to at least one super-resolution processing.
  • the super-resolution processing refers to an image processing that generates a high-resolution image from a low-resolution image.
  • the order in which they are performed is also important, and it is preferable to perform calculations using black-and-white image data and perform colorization as the final image processing.
  • the amount of black-and-white image data is smaller than that of image data having color information, and the burden on the processing capacity of the arithmetic unit can be reduced.
  • the configuration of the invention disclosed in the present specification is an image pickup system having a solid-state image sensor that does not have a color filter, a storage device, and a learning device, and the solid-state image pickup device acquires black-and-white image data and is a learning device.
  • the teacher data used in is the second set that is converted into the HSV color space and further thinned out based on the statistics of the first set that is the median value of the saturation histogram, and is the teacher stored in the storage device.
  • This is an image pickup system in which a learning device uses data to colorize black-and-white image data and create colorized image data.
  • the solid-state image sensor is a back-illuminated CMOS image sensor chip.
  • GAN Generic Adversarial Network
  • an image close to a natural hue is obtained by selecting and using not all 26646 sheets as learning data.
  • a histogram of S (saturation, saturation) in the HSV color space is used.
  • the HSV color space is represented by three parameters of hue, saturation, and brightness. Since the HSV color space is a general color expression method, details will be omitted here.
  • saturation is indicated by the distance from the center point of the color wheel and its value is indicated by 0 to 1.0.
  • the saturation is 1.0, the color becomes pure, and when the saturation is 0, the vividness is lost and the color becomes gray as a whole.
  • the characteristic is to use saturation in the HSV color space and select so as to obtain the saturation of the optimum distribution.
  • the saturation standard By converting the data set based on the saturation standard, selecting the training data using a certain standard, and reducing the amount of data (number of photos) used for training, it is possible to learn in a short time, and the black and white image is colored. A vivid image can be obtained as compared with the case where all the training data is used in the colorization of the image.
  • the median value when all the pixels of one image are histogramd by saturation is defined as the saturation of the image.
  • the saturation of the image is standardized to 256 gradations.
  • Another configuration of the invention disclosed herein is a travel support system with a camera in the vehicle, said camera having a solid-state image sensor, a learning device, and a storage device without color filters.
  • the teacher data imaged by the solid-state image sensor and used in the learning device is converted into the HSV color space, and is further thinned out based on the statistics of the first set as the median value of the saturation histogram.
  • There is a driving support system that executes a software program that creates colorized image data by inference of the learning device using the teacher data of the storage device.
  • a set of median saturation histograms is classified into 256 gradations, and data of 175 gradations or more is not used as teacher data.
  • the second set can be 1/250 or less of the first set.
  • An image surveillance system or a security system or a safety information providing system using the above-mentioned imaging system can clearly realize imaging in a relatively dark place.
  • a surveillance system equipped with a security camera, which has a solid-state image sensor without a color filter, a learning device, and a storage device while the security camera detects a person.
  • a software program is executed in which the solid-state image sensor takes an image and creates colorized image data by inference of the learning device using the teacher data of the storage device.
  • the in-vehicle camera has a solid-state image sensor, a learning device, and a storage device that do not have a color filter, and the in-vehicle camera moves in the direction of travel. While detecting an object far away from the camera, the solid-state image sensor captures an image and executes a software program that creates colorized image data by inference of the learning device using the learning data selected in advance.
  • the image obtained by the in-vehicle camera is vividly colored rather than the natural color because the driver's recognition level is improved. Therefore, by performing the colorization disclosed in the present specification, not only the colorization but also the emphasis processing of the object can be performed at the same time.
  • the program When the black-and-white image is colorized by software, the program may be installed from a computer, a network, or a recording medium in which the program constituting the software is incorporated in the hardware. Install a program recorded on a recording medium such as a computer-readable CD-ROM (Compact Disk Read Only Memory), and execute the program for colorizing a black-and-white image.
  • a recording medium such as a computer-readable CD-ROM (Compact Disk Read Only Memory)
  • the processing performed by the program is not limited to the processing performed in order, and may not be time-series, for example, may be performed in parallel.
  • the imaging system disclosed in the present specification it is possible to obtain a clear colorized image or a vivid colorized image even when shooting in a dimly lit situation with a small amount of light.
  • a security camera it is relatively easy to identify a person (such as a face) or identify the characteristics of clothing based on the obtained colorized image.
  • this imaging system By applying this imaging system to a security camera, it is possible to capture a person's face in a dark place with black-and-white image data, estimate it, colorize it, and output it to a display device for color display.
  • the imaging system disclosed in the present specification enables highlighting at the same time as colorization.
  • FIG. 1 is a block diagram showing one aspect of the present invention.
  • FIG. 2A shows an example of image data
  • FIG. 2B is a graph showing saturation standardized to a frequency on the vertical axis and 256 gradations on the horizontal axis for a color image having a median saturation of 58.
  • FIG. 2C is a diagram showing saturation standardized with frequency on the vertical axis and 256 gradations on the horizontal axis with respect to a color image having a median saturation of 90.
  • FIG. 3 is a graph showing the number of gradations on the vertical axis and the number of gradations classified on the horizontal axis, and a diagram showing an approximate curve.
  • FIG. 4 is an example of a flow chart showing one aspect of the present invention.
  • FIG. 4 is an example of a flow chart showing one aspect of the present invention.
  • FIG. 5 is an example of a flow chart showing one aspect of the present invention.
  • FIG. 6 is a block diagram showing a configuration example of the imaging unit.
  • FIG. 7 is a diagram showing a configuration example of the pixel block 200 and the circuit 201.
  • FIG. 8 is a diagram showing a configuration example of pixels.
  • 9A to 9C are diagrams showing filters.
  • FIG. 10A is a diagram showing a configuration example of pixels.
  • 10B to 10D are diagrams showing a configuration example of a photoelectric conversion device.
  • FIG. 11 is a cross-sectional view showing a configuration example of the imaging device.
  • 12A to 12C are cross-sectional views showing a configuration example of a transistor.
  • FIG. 13 is a cross-sectional view showing a configuration example of the imaging device.
  • FIG. 1 is a block diagram showing a configuration example of the imaging unit.
  • FIG. 7 is a diagram showing a configuration example of the pixel block 200 and the circuit 201.
  • FIG. 14 is a cross-sectional view showing a configuration example of the imaging device.
  • 15A1 to 15A3 and 15B1 to 15B3 are perspective views of a package and a module containing an imaging device.
  • FIG. 16A is a diagram showing the appearance of the vehicle
  • FIG. 16B is a schematic view when the direction of the windshield in front of the vehicle is viewed from the inside.
  • FIG. 17 is an example of an applied product showing one aspect of the present invention.
  • the data acquisition device 10 is a semiconductor chip including a solid-state image sensor 11 and a memory unit 14, and does not have a color filter.
  • the data acquisition device 10 has an optical system such as a lens.
  • the optical system may have any configuration as long as the imaging characteristics are known, and is not particularly limited.
  • CMOS image sensor chip As the data acquisition device 10, a back-illuminated CMOS image sensor chip, a DRAM chip, and a logic circuit chip may be laminated to form one semiconductor chip. Further, a back-illuminated CMOS image sensor chip and a logic circuit chip including an analog-digital conversion circuit may be laminated and used as one semiconductor chip. In that case, the memory unit 14 is an SRAM. Further, the chips to be laminated may be laminated and electrically connected by using a known technique of bonding.
  • the memory unit 14 is a circuit that stores digital data after conversion, and is configured to store data before being input to the neural network unit 16, but is not particularly limited to this configuration.
  • the image processing device 20 is a device for estimating the contour or color corresponding to the black-and-white image obtained by the data acquisition device 10.
  • the image processing device 20 is divided into a first stage of learning and a second stage of estimation.
  • the data acquisition device 10 and the image processing device 20 are configured as separate devices, but the data acquisition device 10 and the image processing device 20 can also be integrally configured. When configured integrally, it is also possible to update the feature amount obtained by the neural network unit in real time.
  • the neural network unit 16 is realized by software calculation by a microcontroller.
  • a microcontroller is a computer system incorporated into an integrated circuit (IC).
  • the neural network unit 16 may be configured by combining a plurality of ICs.
  • the learning device includes at least these a plurality of ICs.
  • free software can be used if the microcontroller is equipped with Linux (registered trademark), the total cost for configuring the neural network unit 16 can be reduced, which is preferable.
  • the present invention is not limited to Linux (registered trademark), and other OS (operating system) may be used.
  • the learning of the neural network unit 16 shown in FIG. 1 is shown below.
  • learning is performed in advance, and processing by a neural network is performed using weights. Since the teacher data for learning can be reduced, it can be stored in the storage unit 18 and trained as appropriate.
  • a free learning set also called a learning data set
  • the HSV color space is used as the data selection method.
  • the HSV color space is preferable because it can be quantified in a state close to human vision.
  • the median value when all the pixels of one image are histogramd by saturation is defined as the saturation of the image, and the saturation of the image is standardized to 256 gradations.
  • FIG. 2A shows one black-and-white image.
  • FIG. 2B is a histogram of the image of FIG. 2A in which the black-and-white image of FIG. 2A is colored under a certain first condition.
  • FIG. 2C shows a histogram of the image of FIG. 2A colored under the second condition different from the first condition.
  • the second condition can be regarded as a vivid image by the human eye, and the higher the median value of the histogram, the more vivid the image can be quantified.
  • FIG. 3 shows the results of standardizing by the above method and classifying the data of ILSVRC2012 according to the saturation of the image.
  • the median saturation is divided into 25 units and classified into classes. It is also shown in Table 1.
  • FIG. 3 shows an approximate curve, and the number of images used for learning can be thinned out and reduced by selecting each of the gradation number ranges (classes) based on the approximate curve.
  • Table 2 shows an example of the number of images used in the total learning.
  • the data of 175 or more and 256 or less are deleted, and the other classifications are obtained by an approximate curve.
  • the total number of sheets is 10,000, it may be selected in each class.
  • the number of gradations is 0 or more and less than 25, 17 sheets, 25 or more and less than 50, 22 sheets, 50 or more and less than 75, 21 sheets, and 75 or more and less than 100, 17 sheets.
  • 100 or more and less than 125 may be 12 sheets
  • 125 or more and less than 150 may be 7 sheets
  • 150 or more and less than 175 may be 5 sheets.
  • the ratio by percentage based on the numerical value when the total number of sheets is 100.
  • the number of these sheets is a standard, and the number of sheets is in the range of 0.5 times or twice that of each class.
  • the learning device makes inferences using the teacher data for learning.
  • the learning device may have any configuration as long as it can perform inference using the teacher data of the storage unit 18 based on the black-and-white image data and output the colorized image data.
  • the amount of data and the amount of calculation are reduced, so that there is an advantage that the learning device can be configured with a small-scale configuration, for example, one or two ICs.
  • the following convolutional neural networks (also referred to as artificial neural networks) can be used for colorization.
  • GAN Geneative Adversarial Network
  • the output data of the neural network unit 16 and the time data of the time information acquisition device 17 are combined and stored in the large-scale storage device 15.
  • the large-scale storage device 15 accumulates and stores the data obtained from the start of imaging. Although it is described as the large-scale storage device 15, it does not refer to a large-scale server, but for example, a surveillance device for a security camera or a small-scale large-capacity storage device that can be mounted on a vehicle (for example,). , SSD, or hard disk).
  • the time information acquisition device 17 may use a device that acquires time information by GPS.
  • the display unit 19 may be provided with an operation input unit such as a touch panel, and the user can select from the data stored in the large-scale storage device 15 and observe the data as appropriate.
  • the imaging system 21 can be used in a video surveillance system, a security system, or a driving support system.
  • the display unit of the user's mobile information terminal can be the display unit 19.
  • the large-scale storage device 15 By accessing the large-scale storage device 15 from the display unit of the mobile information terminal, it is possible to monitor the user regardless of the location of the user.
  • the installation of the imaging system 21 is not limited to the wall of the room, and the entire or part of the configuration of the imaging system 21 is mounted on an unmanned aerial vehicle (also called a drone) equipped with rotary wings to monitor images from the air. You can also do it. In particular, it is possible to take images in an environment with a small amount of light, especially in the evening or at night when the streetlights are not lit.
  • an unmanned aerial vehicle also called a drone
  • the video surveillance system or the security system has been described, but the present invention is not particularly limited, and semi-automatic by combining with a camera or radar that images the surroundings of the vehicle and an ECU (Electronic Control Unit) that performs image processing and the like. It can also be applied to a vehicle capable of driving or a vehicle capable of fully automatic driving.
  • a vehicle using an electric motor has a plurality of ECUs, and the motors are controlled by the ECUs.
  • the ECU includes a microcomputer.
  • the ECU is connected to a CAN (Control Area Area Network) provided in the electric vehicle.
  • CAN is one of the serial communication standards used as an in-vehicle LAN.
  • the ECU uses a CPU or GPU.
  • a solid-state image sensor without a color filter is used as one of a plurality of cameras (cameras for drive recorders, rear cameras, etc.) mounted on an electric vehicle, and the obtained black-and-white image is inferred by an ECU via a CAN. It may be configured so that a colorized image can be created and displayed on a display device in a vehicle or a display unit of a mobile information terminal.
  • FIG. 4 shows an example of a flow for colorizing the black-and-white image obtained by the solid-state image sensor 11 using the block diagram shown in the first embodiment.
  • a solid-state image sensor that does not have a color filter is provided in a place where the area to be monitored can be photographed (vehicle bonnet, vehicle ceiling, etc.), and the image sensor 21 shown in the first embodiment is installed, activated, and continuously photographed. Start.
  • Black-and-white image data is acquired using a solid-state image sensor without a color filter (S2).
  • the black-and-white image data is stored in the memory unit 14 (digital memory unit) (S5a). Compared to the amount of data for storing a color image as it is, the capacity can be reduced by saving as black-and-white image data.
  • the digital data black and white image data
  • a signal format JPEG (registered trademark) or the like
  • the converted digital data is convolved using a CPU or the like to infer contours, colors, and the like, and colorize the data (S7).
  • a CPU Central Processing Unit
  • a PMU Power Management Unit, etc.
  • the colorized image data is output (S8).
  • the colorized image data is saved together with the time data such as the date and time (S9).
  • the storage is stored in a large-scale storage device 15, a so-called large-capacity storage device (such as a hard disk) or a database.
  • the training data set selected as shown in the first embodiment is used as the training data for colorization.
  • the time required for learning the training data can be significantly shortened.
  • a vivid image can be obtained by colorization, which also becomes a highlighting.
  • the image obtained in this embodiment is highlighted more than before, and is suitable as a driving support system. Can be displayed.
  • the acquisition of the colorized image data is repeated. Colorization can be performed in real time by repeating the process.
  • each of the above-mentioned steps (S1 to S9) can be realized by one or a plurality of computers.
  • FIG. 5 shows a flow chart.
  • the same reference numerals are used for the same steps as the flow chart shown in FIG. 4 of the second embodiment. Since S1 to S6 in FIG. 4 and S8 to S9 are the same, detailed description thereof will be omitted here.
  • step S6 the super-resolution processing is performed a plurality of times on the converted digital data using the first learning model, and the contour is inferred (S7a).
  • the digital data after the super-resolution processing is inferred in color and the like using the second learning model and is colored (S7b). Subsequent steps are the same as in the second embodiment.
  • the amount of teacher data for obtaining a color image that can reach a certain standard can be reduced, the time required for machine learning can be shortened, and the configuration of the neural network unit can be simplified. ..
  • the neural network unit is a part of machine learning. Further, deep learning is a part of the neural network unit.
  • the colorized image data obtained in the present embodiment has a smoother outline than the image data in the second embodiment, and optimum colorization is performed.
  • the present embodiment can be freely combined with the first embodiment or the second embodiment.
  • FIG. 6 is a block diagram illustrating an imaging unit.
  • the imaging unit includes a pixel array 300, a circuit 201, a circuit 301, a circuit 302, a circuit 303, a circuit 304, a circuit 305, and a circuit 306.
  • Each of the circuit 201 and the circuits 301 to 306 is not limited to a single circuit configuration, and may be composed of a combination of a plurality of circuits. Alternatively, any one of the above circuits may be integrated. Further, a circuit other than the above may be connected.
  • the pixel array 300 has an imaging function and a calculation function.
  • the circuit 201 and the circuit 301 have an arithmetic function.
  • the circuit 302 has an arithmetic function or a data conversion function.
  • the circuit 303, the circuit 304, and the circuit 306 have a selection function.
  • the circuit 303 is electrically connected to the pixel block 200 via the wiring 424.
  • the circuit 304 is electrically connected to the pixel block 200 via the wiring 423.
  • the circuit 305 has a function of supplying a potential for multiply-accumulate calculation to the pixels. A shift register, a decoder, or the like can be used in the circuit having the selection function.
  • the circuit 306 is electrically connected to the pixel block 200 via the wiring 413.
  • the circuit 301 and the circuit 302 may be provided externally.
  • the pixel array 300 has a plurality of pixel blocks 200. As shown in FIG. 7, the pixel block 200 has a plurality of pixels 400 arranged in a matrix, and each pixel 400 is electrically connected to the circuit 201 via wiring 412. The circuit 201 can also be provided in the pixel block 200.
  • the pixel 400 is electrically connected to the adjacent pixel 400 via a transistor 450 (transistor 450a to transistor 450f).
  • transistor 450a to transistor 450f The function of the transistor 450 will be described later.
  • the number of pixels of the pixel block 200 is set to 3 ⁇ 3 as an example, but the number of pixels is not limited to this. For example, it can be 2 ⁇ 2, 4 ⁇ 4, or the like. Alternatively, the number of pixels in the horizontal direction and the number of pixels in the vertical direction may be different. Further, some pixels may be shared by adjacent pixel blocks.
  • FIG. 7 shows an example in which 10 transistors 450 (transistors 450a to 450j) are provided between the pixels 400, the number of transistors 450 may be further increased. Further, in the transistors 450g to 450j, some transistors may be omitted so as to eliminate parallel paths. Wiring 413g to 413j are connected to the transistors 450g to 450j as gates, respectively.
  • the pixel block 200 and the circuit 201 can be operated as a product-sum calculation circuit.
  • the pixel 400 can have a photoelectric conversion device 401, a transistor 402, a transistor 403, a transistor 404, a transistor 405, a transistor 406, and a capacitor 407.
  • One electrode of the photoelectric conversion device 401 is electrically connected to one of the source or drain of the transistor 402.
  • the other of the source or drain of transistor 402 is electrically connected to one of the source or drain of transistor 403, the gate of transistor 404 and one electrode of capacitor 407.
  • One of the source or drain of transistor 404 is electrically connected to one of the source or drain of transistor 405.
  • the other electrode of capacitor 407 is electrically connected to one of the source or drain of transistor 406.
  • the other electrode of the photoelectric conversion device 401 is electrically connected to the wiring 414.
  • the other of the source or drain of transistor 403 is electrically connected to wiring 415.
  • the other of the source or drain of the transistor 405 is electrically connected to the wiring 412.
  • the other side of the source or drain of the transistor 404 is electrically connected to the GND wiring or the like.
  • the other of the source or drain of transistor 406 is electrically connected to wire 411.
  • the other electrode of the capacitor 407 is electrically connected to the wiring 417.
  • the gate of the transistor 402 is electrically connected to the wiring 421.
  • the gate of transistor 403 is electrically connected to wiring 422.
  • the gate of transistor 405 is electrically connected to wiring 423.
  • the gate of transistor 406 is electrically connected to wiring 424.
  • a node FD is an electrical connection point between the other of the source or drain of the transistor 402, one of the source or drain of the transistor 403, one electrode of the capacitor 407, and the gate of the transistor 404. Further, the electrical connection point between the other electrode of the capacitor 407 and one of the source or drain of the transistor 406 is referred to as a node FDW.
  • the wiring 414 and the wiring 415 can have a function as a power supply line.
  • the wiring 414 can function as a high-potential power supply line
  • the wiring 415 can function as a low-potential power supply line.
  • the wiring 421, the wiring 422, the wiring 423, and the wiring 424 can function as signal lines for controlling the continuity of each transistor.
  • the wiring 411 can function as a wiring that supplies a potential corresponding to a weighting coefficient to the pixel 400.
  • the wiring 412 can function as a wiring that electrically connects the pixel 400 and the circuit 201.
  • the wiring 417 can function as a wiring that electrically connects the other electrode of the capacitor 407 of the pixel and the other electrode of the capacitor 407 of another pixel via the transistor 450 (see FIG. 7).
  • An amplifier circuit or a gain adjustment circuit may be electrically connected to the wiring 412.
  • a photodiode can be used as the photoelectric conversion device 401. Regardless of the type of photodiode, a Si photodiode having silicon in the photoelectric conversion layer, an organic photodiode having an organic photoconductor in the photoelectric conversion layer, or the like can be used. If it is desired to increase the light detection sensitivity at low illuminance, it is preferable to use an avalanche photodiode.
  • the transistor 402 can have a function of controlling the potential of the node FD.
  • the transistor 403 can have a function of initializing the potential of the node FD.
  • the transistor 404 can have a function of controlling the current flowing through the circuit 201 according to the potential of the node FD.
  • the transistor 405 can have a function of selecting pixels.
  • the transistor 406 can have a function of supplying a potential corresponding to a weighting coefficient to the node FDW.
  • a high voltage may be applied, and it is preferable to use a high voltage transistor for the transistor connected to the photoelectric conversion device 401.
  • a high voltage transistor for example, a transistor using a metal oxide in the channel forming region (hereinafter, OS transistor) or the like can be used. Specifically, it is preferable to apply an OS transistor to the transistor 402.
  • the OS transistor also has a characteristic that the off-current is extremely low.
  • the OS transistor for the transistor 402, the transistor 403, and the transistor 406, the period during which the charge can be held by the node FD and the node FDW can be extremely extended. Therefore, it is possible to apply the global shutter method in which the charge accumulation operation is performed simultaneously in all the pixels without complicating the circuit configuration or the operation method. Further, while holding the image data in the node FD, it is possible to perform a plurality of operations using the image data.
  • the transistor 404 may be desired to have excellent amplification characteristics. Further, as the transistor 406, it may be preferable to use a transistor having high mobility capable of high-speed operation. Therefore, a transistor using silicon in the channel forming region (hereinafter, Si transistor) may be applied to the transistor 404 and the transistor 406.
  • Si transistor silicon in the channel forming region
  • an OS transistor and a Si transistor may be arbitrarily combined and applied. Moreover, all the transistors may be OS transistors. Alternatively, all the transistors may be Si transistors. Examples of the Si transistor include a transistor having amorphous silicon, a transistor having crystalline silicon (microcrystalline silicon, low temperature polysilicon, single crystal silicon), and the like.
  • the potential of the node FD in the pixel 400 is determined by the sum of the reset potential supplied from the wiring 415 and the potential (image data) generated by the photoelectric conversion by the photoelectric conversion device 401.
  • the potential corresponding to the weighting coefficient supplied from the wiring 411 is capacitively coupled and determined. Therefore, a current corresponding to the data obtained by adding an arbitrary weighting coefficient to the image data can be passed through the transistor 405.
  • the above is an example of the circuit configuration of the pixel 400, and the photoelectric conversion operation can be performed by another circuit configuration.
  • each pixel 400 is electrically connected to each other by wiring 412.
  • the circuit 201 can perform calculations using the sum of the currents flowing through the transistors 404 of each pixel 400.
  • the circuit 201 has a capacitor 202, a transistor 203, a transistor 204, a transistor 205, a transistor 206, and a resistor 207.
  • One electrode of the capacitor 202 is electrically connected to one of the source or drain of the transistor 203.
  • One of the source and drain of transistor 203 is electrically connected to the gate of transistor 204.
  • One of the source or drain of transistor 204 is electrically connected to one of the source or drain of transistor 205.
  • One of the source or drain of transistor 205 is electrically connected to one of the source or drain of transistor 206.
  • One electrode of the resistor 207 is electrically connected to the other electrode of the capacitor 202.
  • the other electrode of the capacitor 202 is electrically connected to the wiring 412.
  • the other of the source or drain of transistor 203 is electrically connected to wiring 218.
  • the other of the source or drain of transistor 204 is electrically connected to wiring 219.
  • the other of the source or drain of the transistor 205 is electrically connected to a reference power line such as GND wiring.
  • the other of the source or drain of the transistor 206 is electrically connected to the wiring 212.
  • the other electrode of resistor 207 is electrically connected to wiring 217.
  • the wiring 217, the wiring 218, and the wiring 219 can have a function as a power supply line.
  • the wiring 218 can have a function as a wiring for supplying a dedicated potential for reading.
  • the wiring 217 and the wiring 219 can function as a high-potential power supply line.
  • the wiring 213, the wiring 215, and the wiring 216 can function as signal lines for controlling the continuity of each transistor.
  • the wiring 212 is an output line and can be electrically connected to, for example, the circuit 301 shown in FIG.
  • the transistor 203 can have a function of resetting the potential of the wiring 211 to the potential of the wiring 218.
  • the wiring 211 is a wiring connected to one electrode of the capacitor 202, one of the source or drain of the transistor 203, and the gate of the transistor 204.
  • the transistor 204 and the transistor 205 can have a function as a source follower circuit.
  • the transistor 206 can have a function of controlling reading.
  • the circuit 201 has a function as a correlated double sampling circuit (CDS circuit), and can be replaced with a circuit having another configuration having the function.
  • CDS circuit correlated double sampling circuit
  • an offset component other than the product of the image data (X) and the weighting coefficient (W) is removed, and the target WX is extracted.
  • WX can be calculated by using the data with and without imaging for the same pixel and the data when weighting is applied to each of them.
  • the total current (I p ) flowing through the pixel 400 when imaging is k ⁇ (X-V th ) 2
  • the total current (I p ) flowing through the pixel 400 when weighted is k ⁇ (W + X-V th).
  • the total current (I ref ) flowing through the pixel 400 without imaging is k ⁇ (0-V th ) 2
  • the total current (I ref ) flowing through the pixel 400 when weighted is k ⁇ (W-).
  • V th ) 2 is a constant and Vth is the threshold voltage of the transistor 405.
  • the difference (data A) between the data with imaging and the data obtained by weighting the data is calculated.
  • k ⁇ ((X-V th ) 2- (W + X-V th ) 2 ) k ⁇ (-W 2 -2W ⁇ X + 2W ⁇ V th ).
  • data A and data B can be read out.
  • the difference calculation between the data A and the data B can be performed by, for example, the circuit 301.
  • the weight supplied to the entire pixel block 200 functions as a filter.
  • a filter for example, a convolutional filter of a convolutional neural network (CNN) can be used.
  • CNN convolutional neural network
  • an image processing filter such as an edge extraction filter can be used.
  • the edge extraction filter include the Laplacian filter shown in FIG. 9A, the prewit filter shown in FIG. 9B, the Sobel filter shown in FIG. 9C, and the like.
  • the elements of the edge extraction filter can be allocated to and supplied to each pixel 400 as weights.
  • the data with and without imaging is data without weighting, and can be rephrased as data with weight 0 added to all pixels 400.
  • This operation corresponds to conducting the transistors 450 (transistors 450a to 450f) provided between the pixels 400 (see FIG. 7).
  • the transistor 450 By conducting the transistor 450, the node FDW of each pixel 400 is short-circuited through the wiring 417.
  • the weight ( ⁇ W) When the weight ( ⁇ W) is rewritten by supplying an electric charge from a circuit outside the pixel array 300, it takes time to complete the rewriting due to the capacity of the wiring 411 having a long distance and the like.
  • the pixel block 200 is a minute area, the distance of the wiring 417 is short, and the capacity is small. Therefore, in the operation of redistributing the electric charge accumulated in the node FDW in the pixel block 200, the weight ( ⁇ W) can be rewritten at high speed.
  • the pixel block 200 shown in FIG. 7 shows a configuration in which the transistors 450a to 450f are electrically connected to different gate wires (wiring 413a to wiring 413f).
  • the conduction of the transistors 450a to 450f can be controlled independently, and the operation of acquiring ⁇ W / N can be selectively performed.
  • the product-sum calculation result data output from the circuit 201 is sequentially input to the circuit 301.
  • the circuit 301 may have various calculation functions in addition to the above-mentioned function of calculating the difference between the data A and the data B.
  • the circuit 301 can have the same configuration as the circuit 201.
  • the function of the circuit 301 may be replaced by software processing.
  • the circuit 301 may have a circuit for calculating the activation function.
  • a comparator circuit can be used for the circuit.
  • the comparator circuit outputs the result of comparing the input data with the set threshold value as binary data. That is, the pixel block 200 and the circuit 301 can act as a part element of the neural network.
  • the data output from the circuit 301 is sequentially input to the circuit 302.
  • the circuit 302 can be configured to include, for example, a latch circuit and a shift register. With this configuration, parallel serial conversion can be performed, and the data input in parallel can be output to the wiring 311 as serial data.
  • FIG. 10A is a diagram showing a configuration example of the pixel 400.
  • the pixel 400 can have a laminated structure of layers 561 and 563.
  • Layer 561 has a photoelectric conversion device 401.
  • the photoelectric conversion device 401 can have a layer 565a and a layer 565b as shown in FIG. 10B. In some cases, the layer may be referred to as an area.
  • the photoelectric conversion device 401 shown in FIG. 10B is a pn junction type photodiode.
  • a p-type semiconductor can be used for the layer 565a and an n-type semiconductor can be used for the layer 565b.
  • an n-type semiconductor may be used for the layer 565a and a p-type semiconductor may be used for the layer 565b.
  • the pn junction type photodiode can be typically formed by using single crystal silicon.
  • the photoelectric conversion device 401 included in the layer 561 may be a laminate of the layer 566a, the layer 566b, the layer 566c, and the layer 566d.
  • the photoelectric conversion device 401 shown in FIG. 10C is an example of an avalanche photodiode, in which layers 566a and 566d correspond to electrodes, and layers 566b and 566c correspond to photoelectric conversion units.
  • the layer 566a is preferably a low resistance metal layer or the like.
  • a low resistance metal layer or the like aluminum, titanium, tungsten, tantalum, silver, or a laminate thereof can be used.
  • the layer 566d it is preferable to use a conductive layer having high translucency with respect to visible light.
  • a conductive layer having high translucency with respect to visible light For example, indium oxide, tin oxide, zinc oxide, indium-tin oxide, gallium-zinc oxide, indium-gallium-zinc oxide, graphene and the like can be used.
  • the layer 566d may be omitted.
  • the layers 566b and 566c of the photoelectric conversion unit can be configured as a pn junction type photodiode using, for example, a selenium-based material as a photoelectric conversion layer. It is preferable to use a selenium-based material which is a p-type semiconductor as the layer 566b and a gallium oxide or the like which is an n-type semiconductor as the layer 566c.
  • a photoelectric conversion device using a selenium-based material has a characteristic of high external quantum efficiency with respect to visible light.
  • the amplification of electrons with respect to the amount of incident light can be increased by utilizing the avalanche multiplication.
  • the selenium-based material has a high light absorption coefficient, it has a production advantage such that the photoelectric conversion layer can be formed of a thin film.
  • the thin film of the selenium-based material can be formed by using a vacuum vapor deposition method, a sputtering method, or the like.
  • selenium-based material examples include crystalline selenium such as single crystal selenium or polycrystalline selenium, amorphous selenium, copper, indium, and selenium compound (CIS), or copper, indium, gallium, and selenium compound (CIGS). Can be used.
  • crystalline selenium such as single crystal selenium or polycrystalline selenium, amorphous selenium, copper, indium, and selenium compound (CIS), or copper, indium, gallium, and selenium compound (CIGS).
  • the n-type semiconductor is preferably formed of a material having a wide bandgap and translucency with respect to visible light.
  • a material having a wide bandgap and translucency with respect to visible light For example, zinc oxide, gallium oxide, indium oxide, tin oxide, or an oxide in which they are mixed can be used.
  • these materials also have a function as a hole injection blocking layer, and can reduce the dark current.
  • the photoelectric conversion device 401 included in the layer 561 may be a stack of the layer 567a, the layer 567b, the layer 567c, the layer 567d, and the layer 567e.
  • the photoelectric conversion device 401 shown in FIG. 10D is an example of an organic photoconducting film.
  • Layer 567a is a lower electrode
  • layer 567e is a translucent upper electrode
  • layers 567b, 567c, and layer 567d are photoelectric conversion units. Corresponds to.
  • One of the layer 567b or the layer 567d of the photoelectric conversion unit can be a hole transport layer. Further, the other of the layer 567b or the layer 567d can be an electron transport layer. Further, the layer 567c can be a photoelectric conversion layer.
  • the hole transport layer for example, molybdenum oxide or the like can be used.
  • the electron transport layer for example, fullerenes such as C 60 and C 70 , or derivatives thereof and the like can be used.
  • a mixed layer (bulk heterojunction structure) of an n-type organic semiconductor and a p-type organic semiconductor can be used.
  • the layer 563 shown in FIG. 10A includes, for example, a silicon substrate.
  • a Si transistor or the like is provided on the silicon substrate. Pixels 400 can be formed using the Si transistor. Further, the circuit 201 and the circuits 301 to 306 shown in FIG. 6 can be formed.
  • the laminated structure of the image pickup apparatus will be described with reference to a cross-sectional view.
  • the elements such as the insulating layer and the conductive layer shown below are examples, and other elements may be included. Alternatively, some of the elements shown below may be omitted.
  • the laminated structure shown below can be formed by using a bonding step, a polishing step, or the like, if necessary.
  • the imaging device having the configuration shown in FIG. 11 has a layer 560, a layer 561, and a layer 563.
  • FIG. 11 shows the transistor 402 and the transistor 403 as the elements provided on the layer 563, other elements such as the transistor 404 to the transistor 406 can also be provided on the layer 563.
  • the layer 563 is provided with a silicon substrate 632, an insulating layer 633, an insulating layer 634, an insulating layer 635, and an insulating layer 637.
  • a conductive layer 636 is provided.
  • the insulating layer 634, the insulating layer 635, and the insulating layer 637 have functions as an interlayer insulating film and a flattening film.
  • the insulating layer 633 has a function as a protective film.
  • the conductive layer 636 is electrically connected to the wiring 414 shown in FIG.
  • an inorganic insulating film such as a silicon oxide film or an organic insulating film such as an acrylic resin or a polyimide resin
  • an acrylic resin or a polyimide resin can be used.
  • the protective film for example, a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used.
  • Conductive layers include aluminum, chromium, copper, silver, gold, platinum, tantalum, nickel, titanium, molybdenum, tungsten, hafnium, vanadium, niobium, manganese, magnesium, zirconium, beryllium, indium, ruthenium, iridium, strontium, and lanthanum.
  • the metal element selected from the above, an alloy containing the above-mentioned metal element as a component, an alloy in which the above-mentioned metal element is combined, or the like may be appropriately selected and used.
  • the conductor is not limited to a single layer, and may be a plurality of layers made of different materials.
  • the Si transistor shown in FIG. 11 is a fin type having a channel forming region on a silicon substrate.
  • a cross section in the channel width direction (cross section of A1-A2 shown in layer 563 of FIG. 11) is shown in FIG. 12A.
  • the Si transistor may be a planar type as shown in FIG. 12B.
  • FIG. 12C it may be a transistor having a semiconductor layer 545 of a silicon thin film.
  • the semiconductor layer 545 can be, for example, single crystal silicon (SOI: Silicon on Insulator) formed on the insulating layer 546 on the silicon substrate 632.
  • SOI Silicon on Insulator
  • a photoelectric conversion device 401 is provided on the layer 561.
  • the photoelectric conversion device 401 can be formed on the layer 563.
  • FIG. 11 shows a configuration in which the organic photoconductivity shown in FIG. 10D is used for the photoelectric conversion layer as the photoelectric conversion device 401.
  • the layer 567a is used as a cathode and the layer 567e is used as an anode.
  • the layer 561 is provided with an insulating layer 651, an insulating layer 652, an insulating layer 653, an insulating layer 654, and a conductive layer 655.
  • the insulating layer 651, the insulating layer 653, and the insulating layer 654 have a function as an interlayer insulating film and a flattening film. Further, the insulating layer 654 is provided so as to cover the end portion of the photoelectric conversion device 401, and has a function of preventing a short circuit between the layer 567e and the layer 567a.
  • the insulating layer 652 has a function as an element separation layer. It is preferable to use an organic insulating film or the like as the element separation layer.
  • the layer 567a corresponding to the cathode of the photoelectric conversion device 401 is electrically connected to one of the source and drain of the transistor 402 included in the layer 563.
  • the layer 567e corresponding to the anode of the photoelectric conversion device 401 is electrically connected to the conductive layer 636 provided in the layer 563 via the conductive layer 655.
  • Layer 560 is formed on layer 561.
  • Layer 560 has a light-shielding layer 671 and a microlens array 673.
  • the light-shielding layer 671 can suppress the inflow of light to adjacent pixels.
  • a metal layer such as aluminum or tungsten can be used for the light-shielding layer 671. Further, the metal layer and a dielectric film having a function as an antireflection film may be laminated.
  • a microlens array 673 is provided on the photoelectric conversion device 401.
  • the light passing through the individual lenses of the microlens array 673 is applied to the photoelectric conversion device 401 directly underneath.
  • the microlens array 673 is preferably formed of a resin, glass, or the like having high translucency with respect to light having a wavelength to be imaged.
  • FIG. 13 is a modification of the laminated structure shown in FIG. 11, and the configuration of the photoelectric conversion device 401 included in the layer 561 and a partial configuration of the layer 563 are different. In the configuration shown in FIG. 13, a bonded surface is provided between the layer 561 and the layer 563.
  • the layer 561 has a photoelectric conversion device 401, an insulating layer 661, an insulating layer 662, an insulating layer 664, and an insulating layer 665, and a conductive layer 685 and a conductive layer 686.
  • the photoelectric conversion device 401 is a pn junction type photodiode formed on a silicon substrate, and has a layer 565b corresponding to a p-type region and a layer 565a corresponding to an n-type region.
  • the photoelectric conversion device 401 is an embedded photodiode, and a thin p-type region (a part of the layer 565b) provided on the surface side (current extraction side) of the layer 565a can suppress dark current and reduce noise. it can.
  • the insulating layer 661, and the conductive layer 685 and the conductive layer 686 have a function as a bonding layer.
  • the insulating layer 662 has a function as an interlayer insulating film and a flattening film.
  • the insulating layer 664 has a function as an element separation layer.
  • the insulating layer 665 has a function of suppressing the outflow of carriers.
  • the silicon substrate is provided with a groove for separating pixels, and the insulating layer 665 is provided on the upper surface of the silicon substrate and the groove.
  • the insulating layer 665 By providing the insulating layer 665, it is possible to prevent the carriers generated in the photoelectric conversion device 401 from flowing out to the adjacent pixels.
  • the insulating layer 665 also has a function of suppressing the intrusion of stray light. Therefore, the insulating layer 665 can suppress color mixing.
  • An antireflection film may be provided between the upper surface of the silicon substrate and the insulating layer 665.
  • the element separation layer can be formed by using the LOCOS (LOCOxidation of Silicon) method. Alternatively, it may be formed by using an STI (Shallow Trench Isolation) method or the like.
  • LOCOS LOCxidation of Silicon
  • STI Shallow Trench Isolation
  • the insulating layer 665 for example, an inorganic insulating film such as silicon oxide or silicon nitride, or an organic insulating film such as a polyimide resin or an acrylic resin can be used.
  • the insulating layer 665 may have a multi-layer structure. It should be noted that the element separation layer may not be provided.
  • the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device 401 is electrically connected to the conductive layer 685.
  • the layer 565b (p-type region, corresponding to the anode) is electrically connected to the conductive layer 686.
  • the conductive layer 685 and the conductive layer 686 have a region embedded in the insulating layer 661. Further, the surfaces of the insulating layer 661, the conductive layer 685 and the conductive layer 686 are flattened so that their heights match.
  • an insulating layer 638 is formed on the insulating layer 637. Further, a conductive layer 683 that is electrically connected to one of the source and drain of the transistor 402 and a conductive layer 684 that is electrically connected to the conductive layer 636 are formed.
  • the insulating layer 638, and the conductive layer 683 and the conductive layer 684 have a function as a bonding layer.
  • the conductive layer 683 and the conductive layer 684 have a region embedded in the insulating layer 638. Further, the surfaces of the insulating layer 638, the conductive layer 683, and the conductive layer 684 are flattened so that their heights match.
  • the conductive layer 683 and the conductive layer 685 are preferably composed of metal elements whose main components are the same as each other, and the conductive layer 684 and the conductive layer 686 are composed of metal elements whose main components are the same as each other. Is preferable. Further, it is preferable that the main components of the insulating layer 638 and the insulating layer 661 are the same as each other.
  • Cu, Al, Sn, Zn, W, Ag, Pt, Au, or the like can be used for the conductive layer 683 to 686. From the viewpoint of ease of joining, it is particularly preferable to use Cu, Al, W, or Au. Further, silicon oxide, silicon oxide nitride, silicon nitride oxide, silicon nitride, titanium nitride and the like can be used for the insulating layer 638 and the insulating layer 661.
  • the conductive layer 683 to the conductive layer 686 may have a multi-layer structure composed of a plurality of layers, and in that case, the surface layer (bonding surface) may be the same metal material. Further, the insulating layer 638 and the insulating layer 661 may also have a multi-layer structure of a plurality of layers, in which case, the insulating materials having the same surface layer (bonding surface) may be used.
  • the conductive layer 683 and the conductive layer 685 can be electrically connected to each other, and the conductive layer 684 and the conductive layer 686 can be electrically connected to each other. Further, a connection having mechanical strength between the insulating layer 661 and the insulating layer 638 can be obtained.
  • a surface activation bonding method can be used in which the oxide film on the surface and the adsorption layer of impurities are removed by sputtering treatment or the like, and the cleaned and activated surfaces are brought into contact with each other for bonding. ..
  • a diffusion bonding method or the like in which surfaces are bonded to each other by using both temperature and pressure can be used. In both cases, bonding at the atomic level occurs, so that excellent bonding can be obtained not only electrically but also mechanically.
  • the surfaces treated with hydrophilicity by oxygen plasma or the like are brought into contact with each other for temporary bonding, and then main bonding is performed by dehydration by heat treatment.
  • a joining method or the like can be used. Since the hydrophilic bonding method also causes bonding at the atomic level, it is possible to obtain mechanically excellent bonding.
  • a metal layer and an insulating layer coexist on the respective bonding surfaces. Therefore, for example, a surface activation bonding method and a hydrophilic bonding method may be combined.
  • a method can be used in which the surface is cleaned after polishing, the surface of the metal layer is subjected to an antioxidant treatment, and then a hydrophilic treatment is performed to join the metal layer.
  • the surface of the metal layer may be made of a refractory metal such as Au and subjected to hydrophilic treatment.
  • a joining method other than the above-mentioned method may be used.
  • the element of the layer 563 and the element of the layer 561 can be electrically connected.
  • FIG. 14 is a modified example of the laminated structure shown in FIG. 13, and the partial configurations of the layer 561 and the layer 563 are different.
  • the transistor 402 of the pixel 400 is provided on the layer 561.
  • the transistor 402 covered with the insulating layer 663 is formed of a Si transistor.
  • One of the source and drain of the transistor 402 is directly connected to one electrode of the photoelectric conversion device 401. Also, the other of the source or drain of the transistor 402 is electrically connected to the node FD.
  • the layer 563 is provided with transistors excluding at least the transistor 402 among the transistors constituting the image pickup apparatus.
  • FIG. 14 shows the transistor 404 and the transistor 405 as the elements provided on the layer 563, other elements such as the transistor 403 and the transistor 406 can also be provided on the layer 563.
  • an insulating layer 647 is provided between the insulating layer 635 and the insulating layer 637.
  • the insulating layer 647 has a function as an interlayer insulating film and a flattening film.
  • the image pickup unit that is, the package containing the so-called image sensor chip will be described below.
  • FIG. 15A1 is an external perspective view of the upper surface side of the package containing the image sensor chip.
  • the package has a package substrate 410 for fixing the image sensor chip 452 (see FIG. 15A3), a cover glass 420, an adhesive 430 for adhering the two, and the like.
  • FIG. 15A2 is an external perspective view of the lower surface side of the package.
  • BGA Ball grid array
  • LGA Land grid array
  • PGA Peripheral array
  • FIG. 15A3 is a perspective view of the package shown by omitting a part of the cover glass 420 and the adhesive 430.
  • An electrode pad 460 is formed on the package substrate 410, and the electrode pad 460 and the bump 440 are electrically connected via a through hole.
  • the electrode pad 460 is electrically connected to the image sensor chip 452 by a wire 470.
  • FIG. 15B1 is an external perspective view of the upper surface side of the camera module in which the image sensor chip is housed in a lens-integrated package.
  • the camera module has an image sensor chip 451 (a package substrate 431 for fixing FIG. 15B3, a lens cover 432, a lens 435, and the like. Further, a drive circuit of an image pickup device and an image sensor chip 451 are sandwiched between the package substrate 431 and the image sensor chip 451.
  • An IC chip 490 having a function such as a signal conversion circuit (FIG. 15B3 is also provided, and has a configuration as a SiP (Sensem in package)).
  • FIG. 15B2 is an external perspective view of the lower surface side of the camera module.
  • the lower surface and the side surface of the package substrate 431 have a QFN (Quad flat no-lead package) configuration in which a land 441 for mounting is provided.
  • the configuration is an example, and QFP (Quad flat package) or the above-mentioned BGA may be provided.
  • FIG. 15B3 is a perspective view of the module shown by omitting a part of the lens cover 432 and the lens 435.
  • the land 441 is electrically connected to the electrode pad 461, and the electrode pad 461 is electrically connected to the image sensor chip 451 or the IC chip 490 by a wire 471.
  • the image sensor chip By housing the image sensor chip in a package having the above-mentioned form, it can be easily mounted on a printed circuit board or the like, and the image sensor chip can be incorporated into various semiconductor devices and electronic devices.
  • Level 1 refers to automating any of acceleration, steering, and braking, and is called a safe driving support system.
  • Level 2 automates a plurality of operations of acceleration, steering, and braking at the same time, and is called a semi-automatic driving system (also called semi-automatic driving).
  • Level 3 is a case where acceleration, steering, and braking are all automated and the driver responds only in an emergency, which is also called a semi-automatic driving system (also called semi-automatic driving).
  • Level 4 automates all acceleration, steering, and braking, and is called fully automated driving with little driver involvement.
  • level 2 or level 3 a new configuration or a new system is proposed mainly on the premise of semi-automatic operation.
  • an area of a display area corresponding to the number of each camera or the number of sensors is required.
  • FIG. 16A shows an external view of the vehicle 120.
  • FIG. 16A shows an example of the installation location of the front image sensor 114a and the left image sensor 114L.
  • FIG. 16B is a schematic view showing the field of view of the driver in front of the vehicle from the inside of the vehicle.
  • the upper part of the driver's field of view is the windshield 110, and the lower part of the field of view is a display device 111 having a display screen.
  • FIG. 16A shows an example in which the front image sensor 114a is installed at a position close to the driver's line of sight, but the present invention is not particularly limited, and the front image sensor 114a may be installed on the front grill or the front bumper. Further, in the present embodiment, a vehicle with a right-hand drive is shown as an example, but the present invention is not particularly limited, and if it is a left-hand drive vehicle, it may be installed according to the position of the driver.
  • the image sensor chip shown in the fifth embodiment for at least one of these image sensors.
  • the driver accelerates, steers, and brakes while mainly looking at the display device 111, and auxiliary checks the outside of the vehicle from the windshield.
  • the display device 111 any one of a liquid crystal display device, an EL (Electroluminescence) display device, and a micro LED (Light Emitting Diode) display device may be used.
  • an LED chip having a side dimension of more than 1 mm is called a macro LED
  • an LED chip larger than 100 ⁇ m and 1 mm or less is called a mini LED
  • an LED chip having a side size of 100 ⁇ m or less is called a micro LED. It is particularly preferable to use a micro LED as the LED element applied to the pixel.
  • the pixel density of the display device 111 can be 100 ppi or more and 5000 ppi or less, preferably 200 ppi or more and 2000 ppi or less.
  • the central portion 111a of the display screen of the display device displays an image acquired from an image pickup device installed in front of the outside of the vehicle.
  • meters such as speed, estimated travelable distance, and abnormality warning display are displayed on a part of the display screens 111b and 111c.
  • the lower left 111L of the display screen displays the image on the left side outside the vehicle
  • the lower right 111R of the display screen displays the image on the right side outside the vehicle.
  • the lower left 111L of the display screen and the lower right 111R of the display screen can digitize the side mirrors (also referred to as door mirrors) to eliminate the side mirror protrusions that greatly protrude outside the vehicle.
  • side mirrors also referred to as door mirrors
  • the display screen of the display device 111 capable of touch input operation, a part of the image may be enlarged or reduced, the display position may be changed, the area of the display area may be enlarged, or the like.
  • the image of the display screen of the display device 111 is to synthesize data from a plurality of image pickup devices or sensors, it is created by using an image signal processing device such as a GPU.
  • black-and-white image data having a wide dynamic range is acquired, and the highlighted image is output to the display device 111 by inferring with an image signal processing device or the like and colorizing the data. can do. For example, even in a tunnel, it is possible to color a dark figure and output an image in which the figure is emphasized.
  • the driver can operate the vehicle mainly by looking at the display image of the display device, that is, the image using the image sensor and AI, and can assist in looking at the front surface of the windshield. It can be safer to operate the vehicle by looking at an image using AI rather than driving only by the driver's eyes. In addition, the driver can operate the vehicle while gaining a sense of security.
  • the display device 111 can be applied around the driver's seat (also referred to as a cockpit portion) of various types of vehicles including large vehicles, medium-sized vehicles, and small vehicles. It can also be applied around the driver's seat of vehicles such as aircraft and ships.
  • the present invention is not particularly limited, and the imaging camera shown in FIG. 17 is placed on the bonnet or around the rearview mirror in the vehicle. It may be installed.
  • the image pickup camera of FIG. 17 can also be called a drive recorder, and has a housing 961, a lens 962, a support portion 963, and the like. By attaching double-sided tape or the like to the support portion 963, it can be installed on the windshield, the bonnet, the rearview mirror support portion, or the like.
  • An image sensor is arranged in the image pickup camera shown in FIG. 17, and a running image can be recorded and stored in a storage device inside the image pickup camera or in a vehicle. Further, when the color filter is not used, the image in which the dynamic range of the black-and-white image data is expanded can be stored in the storage device, and the capacity occupying the storage device can be reduced as compared with the case of capturing the color image. Further, the black-and-white image data stored in the storage device can be displayed in color by the method shown in the first embodiment only when the user wants to see the black-and-white image data in color after driving, not in real time. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

従来のイメージセンサなどの撮像装置によるカラー画像は、カラーフィルタを用いている。撮像素子にはカラーフィルタがつけられた状態で販売され、その撮像素子とレンズなどを適宜組み合わせて電子機器に搭載している。カラーフィルタは、イメージセンサの受光領域に重ねて設置するだけで受光領域に到達する光量を低減してしまう。 本発明の撮像システムは、カラーフィルタを有していない固体撮像素子と、記憶装置と、学習装置とを備える。学習データを減らす選別の基準として、ＨＳＶ色空間のうち、彩度を用い、 適な分布の彩度となるよう選別する。本明細書に開示するカラー化を行うことで、カラー化だけでなく、対象物の強調処理も同時に行うことができる。

Description

撮像システム
本発明の一態様は、ニューラルネットワーク、及びそれを用いた撮像システムに関する。また、本発明の一態様は、ニューラルネットワークを用いた電子機器に関する。また、本発明の一態様は、ニューラルネットワークを用いた車両に関する。本発明の一態様は、固体撮像素子で得られた白黒画像から、画像処理技術を用いてカラー画像を得る撮像システムに関する。該撮像システムを用いた映像監視システムまたは警備システムまたは安全情報提供システムまたは走行支援システムに関する。
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様は、物、方法、又は、製造方法に関する。本発明の一態様は、プロセス、マシン、マニュファクチャ、又は、組成物（コンポジション・オブ・マター）に関する。そのため、より具体的に本明細書等で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、入力装置、入出力装置、それらの駆動方法、又は、それらの製造方法、を一例として挙げることができる。
なお、本明細書中において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指し、電気光学装置、半導体回路および電子機器は全て半導体装置である。
従来、イメージセンサを使って撮像した画像をカラーフィルタを用いてカラー化する技術が知られている。イメージセンサは、デジタルカメラまたはビデオカメラなど撮像のための部品として広く使われている。また、イメージセンサは防犯カメラなど防犯機器の一部としても使われているため、そのような機器においては日中の明るい場所だけでなく、夜間または、照明が少なく光の乏しい暗い場所においても正確な撮像を行う必要があり、ダイナミックレンジの広いイメージセンサが必要である。
また、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を使った技術の進歩が目覚ましく、例えば昔の写真フィルムを用いた白黒写真をＡＩによってカラー化する自動着色技術の開発も盛んに行われている。ＡＩによるカラー化には、大量の画像データによる学習を行い、モデルを生成し、得られた生成モデルを用いた推論によってカラー化を実現する手法などが知られている。なお、機械学習（マシンラーニング）はＡＩの一部である。
カラー化は、画像データの量を多くして学習すれば、最適なカラー画像になるわけでなく、学習する画像データが多ければ多いほどセピア色または灰色になり、色付けが不十分になる傾向がある。
基板上に形成された酸化物半導体薄膜を用いてトランジスタを構成する技術が注目されている。例えば、酸化物半導体を有するオフ電流が極めて低いトランジスタを画素回路に用いる構成の撮像装置が特許文献１に開示されている。
また、撮像装置に演算機能を付加する技術が特許文献２に開示されている。また、超解像化処理に関する技術が特許文献３に開示されている。
特開２０１１−１１９７１１号公報 特開２０１６−１２３０８７号公報 特開２０１０−２６２２７６号公報
従来のイメージセンサなどの撮像装置によるカラー画像は、カラーフィルタを用いている。撮像素子にはカラーフィルタがつけられた状態で販売され、その撮像素子とレンズなどを適宜組み合わせて電子機器に搭載している。カラーフィルタは、イメージセンサの受光領域に重ねて設置するだけで受光領域に到達する光量を低減してしまう。従って、カラーフィルタによる受光光量の減衰が避けられない。撮像素子と組み合わせるカラーフィルタは各社様々であり、最適化を図っているが、通過させる光の波長をピンポイントで取得するわけではなく、ある程度の波長域でのブロードな光を受光している。
例えば、車両に搭載するカメラにおいて、薄暗い夕方、夜間、または悪天候の場合、光量が足りず、遠くの対象物を認識することが困難である。暗い映像では運転者が対象物を認識しにくいため、対象物をカラー化することで、結果として強調された画像となり、好ましい。
例えば、監視システムなどに用いられる防犯カメラにおいて、薄暗い中での撮影では、光量が足りないため、顔を認識できるほどの画像が得られないという課題もある。防犯カメラの設置者にとっては赤外線カメラによる白黒画像よりもカラー画像が好まれている。
例えば、海中での撮影においては、光量が足りない場所が多く、水深の深い場所では光源を必要とするが、魚を撮影したい場合にはその光源によって魚が逃げてしまう場合もある。また、海中においては光が届きにくいため、光源があっても遠くの魚を撮像することは困難である。
カラーフィルタを用いることなく、視認性が高く、実際の色に忠実な画像を得る撮像方法及び撮像システムを提供することを課題の一つとしている。
特に、夕方、夜間などの照明の少ない暗い場所の撮像においては、光の受光量が少ないため、鮮明な画像の撮像を行うのが難しいといった課題がある。そのため、暗い場所で撮像した画像は明るい場所に比べ、視認性の面で劣ってしまう。
波長領域の狭い光環境下に置かれた防犯カメラは、事件または事故などにつながる手掛かりとして撮像した画像に映っている状況を正確に把握する必要があるため、映っている対象物の特徴を正確に捉える必要がある。そのため、例えば暗視カメラの場合、暗い場所でも、対象物に焦点を合わせ、対象物の視認性の良い画像を撮像することが重要となる。
暗視カメラにおいては、赤外線光源を用いて特殊カラーフィルタで色分離することによりカラー映像を取得するカメラもある。しかしながら赤外線の反射光を用いているため、被写体によっては色が反映されない、もしくは異なった色に表現される問題がある。この問題は、被写体が赤外線を吸収する材料である場合に生じることが多い。例えば、人の肌は実際よりも白く撮像されやすく、黄色などの暖色は青く撮像される場合がある。
夜間または暗い場所の撮像においても視認性が高く、外光があった場合と同じ色に忠実な画像を得る撮像方法及び撮像システムを提供することを課題の一つとしている。
本発明の撮像システムは、カラーフィルタを有していない固体撮像素子と、記憶装置と、学習装置とを備える。カラーフィルタを用いないため、光の減衰を回避でき、少ない光量でも感度の高い撮像を行うことができる。
カラーフィルタを有していないため、得られた白黒画像データ（アナログデータ）には、カラー化を行うが、ＡＩシステムを用いて色付けを行う。ＡＩシステム、即ち、記憶装置に記憶された教師データを用いる学習装置により、抽出された特徴量を使って、推論を行なって焦点を調節し、夜間または暗い場所の撮像においても視認性の高いカラー画像（カラー化された画像データ（デジタルデータ））を得ることができる。なお、学習装置は、少なくともニューラルネットワーク部を含み、学習だけでなく推論を行い、データ出力ができる。また、学習装置は、予め学習済みの特徴量を用いた推論を行う場合もある。その場合には、記憶装置に学習済みの特徴量を保存しておき、演算を行うことで、予め学習済みの特徴量を用いない場合と同程度のレベルでのデータ出力ができる。
また、被写体への光量が少ないことが原因で被写体の輪郭の一部が不明瞭になる場合に、境界が判別できず、その箇所への色付けが不完全となる恐れがある。
そこで、カラーフィルタを用いないイメージセンサを用い、ダイナミックレンジの広い白黒画像データを取得し、超解像化処理を複数回繰り返した後、色の境界を判別し、色付けすることが好ましい。また、教師データに対して少なくとも１回の超解像化処理を行ってもよい。なお、超解像化処理とは、低解像度画像から高解像度画像を生成する画像処理を指している。
また、複数種類のニューラルネットワークを用いる画像処理を行う場合、行う順序も重要であり、白黒画像データを用いて演算を行い、最後の画像処理としてカラー化を行うことが好ましい。白黒画像データは、色情報をもつ画像データに比べてデータ量が少なく、演算装置の処理能力への負担が軽減できる。
また、予め、学習モデルを用意しておけば、光量が足りない状況でフラッシュ光源を使用することなく、比較的明るい白黒画像データを撮像により取得し、その白黒画像データを基にしてカラー化することにより、鮮やかにカラー化された画像データを得ることができる。
本明細書で開示する発明の構成は、カラーフィルタを有していない固体撮像素子と、記憶装置と、学習装置とを有する撮像システムであり、固体撮像素子は白黒画像データを取得し、学習装置で用いる教師データは、ＨＳＶ色空間に変換し、さらに彩度のヒストグラムの中央値とした第１の集合の統計に基づいて間引かれた第２の集合であり、記憶装置に記憶された教師データを用いて学習装置が白黒画像データのカラー化を行い、カラー化された画像データを作成する撮像システムである。
上記構成において、固体撮像素子は裏面照射型のＣＭＯＳイメージセンサチップである。
また、車両に搭載する撮像システムの場合、ある程度限られた電力しか使用できないため、車両に搭載したＣＰＵなどにより比較的大規模な演算などを行うことが困難である。特に学習データが膨大であれば、その学習データの学習に要する時間または、手間がかかることとなる場合がある。
本明細書においてカラー化の学習には、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ：敵対的生成ネットワーク）として知られた学習アルゴリズムを用いる。
例えば、カラー化のための学習用データセット（ＩＬＳＶＲＣ２０１２（ＩｍａｇｅＮｅｔ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｖｉｓｕａｌ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｃｈａｌｌｅｎｇｅ　２０１２））があるが、このデータセットは、２６６４６枚のカラー画像となっており、車両に搭載する際の学習に膨大な時間がかかる恐れがある。
また、この学習用データを用いてニューラルネットワークによるカラー化を行うと、自然の色合いとは異なる画像になる場合が多い。
そこで、ＩＬＳＶＲＣ２０１２のデータセットを用いる場合、学習用データとして２６６４６枚全部を用いるのではなく、選別して用いることで自然の色合いに近い画像を得る。選別方法としては、ＨＳＶ色空間のうち、Ｓ（彩度、ｓａｔｕａｔｉｏｎ）のヒストグラムを用いる。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度、明度（Ｖａｌｕｅ）の３つのパラメータで表現したものである。ＨＳＶ色空間は一般的な色の表現方法であるため、詳細はここでは省略することとする。
ＨＳＶ色空間において、彩度は、色相環の中心点からの距離で示され、その値は、０から１．０で示される。なお、彩度が１．０である場合には純色になり、彩度が０であると、鮮やかさが失われ、全体的に灰色になる。
ＩＬＳＶＲＣ２０１２のデータセットを用いる場合、画像の彩度を基にクラス分類をし、統計的に望ましい範囲に限定することで学習用データを減らし、且つ、自然な色合いに近い鮮やかな画像を出力することができる。
学習データを減らす選別の基準として、ＨＳＶ色空間のうち、彩度を用い、最適な分布の彩度となるよう選別することが特徴である。データセットを彩度の基準で変換し、ある基準を用いて学習データを選別し、学習に用いるデータ量（写真枚数）を減らすことで短時間で学習することができ、且つ、白黒画像をカラー画像とするカラー化において全部の学習データを用いる場合に比べて鮮やかな画像を得ることができる。
なお、本明細書では、１枚の画像の全画素を彩度でヒストグラム化したときの中央値を画像の彩度とする。画像の彩度は、２５６階調に規格化する。
比較として、彩度の範囲を限定し、偏りのある学習データのみ、例えば彩度の中央値１７５以上２５６以下の学習データのみを用いてカラー化した場合、出力されたカラー画像も偏り、不自然な色合いになる結果となる。単純に彩度の高く、鮮やかな画像データのみを学習データに用いても鮮やかなカラー化を行うことは困難であった。
本明細書で開示する他の発明の構成は、車両にカメラを備えた走行支援システムであり、前記カメラは、カラーフィルタを有していない固体撮像素子、学習装置、及び記憶装置を有し、固体撮像素子が撮像し、学習装置で用いる教師データは、ＨＳＶ色空間に変換し、さらに彩度のヒストグラムの中央値とした第１の集合の統計に基づいて間引かれた第２の集合であり、記憶装置の教師データを用いて学習装置の推論によりカラー化された画像データを作成するソフトウェアプログラムを実行する走行支援システムである。
また、上記各構成において、彩度のヒストグラムの中央値とした集合を２５６階調にクラス分けし、１７５階調以上のデータは教師データとして使用しない。また、上記各構成において第２の集合は、第１の集合の２５０分の一以下とすることができる。
上記撮像システムを用いた映像監視システムまたは警備システムまたは安全情報提供システムは、比較的暗い場所での撮像を明確に実現することができる。
具体的には、防犯カメラを備えた監視システムであり、防犯カメラは、カラーフィルタを有していない固体撮像素子、学習装置、及び記憶装置を有し、防犯カメラが人物を検知している間に、固体撮像素子が撮像し、記憶装置の教師データを用いて学習装置の推論によりカラー化された画像データを作成するソフトウェアプログラムを実行する。
また、車両に搭載したカメラ、いわゆる車載カメラを用いた走行支援システムであり、車載カメラは、カラーフィルタを有していない固体撮像素子、学習装置、及び記憶装置を有し、車載カメラが進行方向の遠くにある対象物を検知している間に、固体撮像素子が撮像し、予め選別された学習データを用いて学習装置の推論によりカラー化された画像データを作成するソフトウェアプログラムを実行する。走行支援システムにおいては、車載カメラで得られる画像が自然な色合いよりも鮮やかなカラー化がされたほうが、運転者の認識度があがるため、好ましい。従って、本明細書に開示するカラー化を行うことで、カラー化だけでなく、対象物の強調処理も同時に行うことができる。
また、白黒画像のカラー化をソフトウェアにより実行させる場合には、ソフトウェアを構成するプログラムがハードウェアに組み込まれているコンピュータ、またはネットワークまたは記録媒体からプログラムなどをインストールしてもよい。コンピュータで読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような記録媒体に記録されたプログラムをインストールし、白黒画像のカラー化のためのプログラムを実行する。プログラムで行われる処理は、順序に沿って処理を行うことに限定されず、時系列的でなくてもよく、例えば、並列的に行われてもよい。
本明細書で開示する撮像システムにより、光量が少なく、薄暗い状況の撮影であっても、はっきりしたカラー化画像または鮮やかなカラー化画像を得ることができる。
従って、防犯カメラであれば、得られたカラー化画像を基に、人物の特定（顔など）または、服装の特徴を識別することが比較的容易に行うことができる。防犯用カメラに本撮像システムを適用することにより、暗い場所の人物の顔を白黒画像データで撮像し、推定してカラー化して表示装置に出力することでカラー表示することもできる。
特に、撮像精度を上げるため、８Ｋサイズの入力画像データを固体撮像素子で得る場合、一つ一つの画素に配置された固体撮像素子の受光領域面積が狭くなってしまうため、得られる光量が少なくなる。しかしながら、本明細書で開示する撮像システムでは、固体撮像素子にカラーフィルタを用いないので、カラーフィルタによる光量の低減がない。これにより、８Ｋサイズの画像データを感度良く、撮像することができる。
また、車載カメラであれば、本明細書で開示する撮像システムにより、カラー化と同時に強調表示が可能となる。
図１は、本発明の一態様を示すブロック図である。
図２Ａは、画像データの一例を示し、図２Ｂは、彩度中央値を５８とするカラー画像に対して、縦軸を頻度、横軸を２５６階調に規格化した彩度を示すグラフであり、図２Ｃは彩度中央値を９０とするカラー画像に対して、縦軸を頻度、横軸を２５６階調に規格化した彩度を示す図である。
図３は、縦軸を枚数、横軸をクラス分けした階調数を示すグラフと近似曲線を示す図である。
図４は、本発明の一態様を示すフロー図の一例である。
図５は、本発明の一態様を示すフロー図の一例である。
図６は、撮像部の構成例を示すブロック図である。
図７は、画素ブロック２００及び回路２０１の構成例を示す図である。
図８は、画素の構成例を示す図である。
図９Ａ乃至図９Ｃは、フィルタを示す図である。
図１０Ａは、画素の構成例を示す図である。図１０Ｂ乃至図１０Ｄは、光電変換デバイスの構成例を示す図である。
図１１は、撮像装置の構成例を示す断面図である。
図１２Ａ乃至図１２Ｃは、トランジスタの構成例を示す断面図である。
図１３は、撮像装置の構成例を示す断面図である。
図１４は、撮像装置の構成例を示す断面図である。
図１５Ａ１~図１５Ａ３、図１５Ｂ１~図１５Ｂ３は、撮像装置を収めたパッケージ、モジュールの斜視図である。
図１６Ａは、車両の外観を示す図であり、図１６Ｂは車両の内側から前方のフロントガラスの方向をみた場合の模式図である。
図１７は、本発明の一態様を示す応用製品の一例である。
以下では、本発明の実施の形態について図面を用いて詳細に説明する
。ただし、本発明は以下の説明に限定されず、その形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。また、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
（実施の形態１）
映像監視システム、警備システムまたは走行支援システムに用いる撮像システム２１の構成の一例を図１に示すブロック図を参照して説明する。
データ取得装置１０は、固体撮像素子１１とメモリ部１４を含む半導体チップであり、カラーフィルタを有していない。データ取得装置１０は、レンズなどの光学系は有している。なお、光学系は結像特性が既知であれば、どのような構成のものでもよく、特に限定されない。
例えば、データ取得装置１０は、裏面照射型のＣＭＯＳイメージセンサチップと、ＤＲＡＭチップと、論理回路チップとを積層し、一つの半導体チップとしたものを用いてもよい。また、裏面照射型のＣＭＯＳイメージセンサチップと、アナログデジタル変換回路を含む論理回路チップとを積層し、一つの半導体チップとしてものを用いてもよく、その場合、メモリ部１４はＳＲＡＭである。また、積層するチップ同士は、貼り合わせの公知技術を用いて積層させて電気的な接続を行えばよい。
メモリ部１４は、変換後のデジタルデータを記憶する回路であり、ニューラルネットワーク部１６に入力する前にデータを記憶させる構成としているが、特に本構成に限定されない。
画像処理装置２０は、データ取得装置１０で得られる白黒画像に対応する輪郭または色を推定するための装置である。画像処理装置２０は、学習を行う第１の段階と、推定を行う第２の段階とに区別されて実行される。本実施の形態では、データ取得装置１０と画像処理装置２０を別々の装置として構成するようにしたが、データ取得装置１０と画像処理装置２０を一体的に構成することも可能である。一体的に構成する場合、ニューラルネットワーク部で得られる特徴量をリアルタイムで更新させるようにすることも可能である。
ニューラルネットワーク部１６は、マイクロコントローラによるソフトウェア演算により実現される。マイクロコントローラは、コンピュータシステムを一つの集積回路（ＩＣ）に組み込んだものである。演算規模または扱うデータが大きい場合には複数のＩＣを組み合わせてニューラルネットワーク部１６を構成してもよい。これら複数のＩＣを学習装置は少なくとも含む。また、Ｌｉｎｕｘ（登録商標）を搭載したマイクロコントローラであればフリーのソフトウェアを用いることができるため、ニューラルネットワーク部１６を構成するためのトータルのコストを低減することができるため好ましい。また、Ｌｉｎｕｘ（登録商標）に限定されず、他のＯＳ（オペレーティングシステム）を用いてもよい。
図１に示すニューラルネットワーク部１６の学習について以下に示す。本実施の形態では、予め学習させておき、重みを利用してニューラルネットワークによる処理を行う。学習用の教師データは、少なくすることができるため、記憶部１８に保存して、適宜、学習させることもできる。
学習用のデータは、フリーの学習用セット（学習データセットとも呼ばれる）を用いればトータルのコストを低減することができるため好ましい。
本実施の形態では、ＩＬＳＶＲＣ２０１２のデータのうち、選別して量を少なくしたものを用いることができる。
データの選別方法は、ＨＳＶ色空間を用いる。ＨＳＶ色空間は人間の視覚に近い状態で数値化できるため好ましい。１枚の画像の全画素を彩度でヒストグラム化したときの中央値を画像の彩度とし、画像の彩度は、２５６階調に規格化する。
ここで規格化したデータの一例を示す。図２Ａに１枚の白黒画像を示す。ある第１の条件で図２Ａの白黒画像に色付けした図２Ａの画像をヒストグラム化した結果が図２Ｂである。また、第１の条件と異なる第２の条件で色付けした図２Ａの画像をヒストグラム化した結果が図２Ｃである。
なお、第２の条件のほうが人間の目で鮮やかな画像とみなすことができ、ヒストグラムの中央値が高い方が鮮やかな画像と数値化できる。
図３に上記方法にて規格化し、ＩＬＳＶＲＣ２０１２のデータを画像の彩度で分類した結果を示す。彩度の中央値を２５ごとにわけていき、クラス分類を行っている。また、表１にも示す。
Figure JPOXMLDOC01-appb-T000001
また、上記クラス分類を行うことで、これらのデータから近似曲線を求めることができる。図３には近似曲線を示しており、この近似曲線に基づいて各階調数範囲（クラス）のそれぞれを選別することで学習に用いる画像枚数を間引き、減らすことができる。トータルの学習で用いる画像枚数の一例として表２に示す。
Figure JPOXMLDOC01-appb-T000002
表２に示すように、１７５以上２５６以下のデータを削除し、それ以外のクラス分けを近似曲線で求めている。例えば、トータル枚数を１万枚とする場合には、それぞれのクラスで選別すればよい。トータル枚数を１００枚（約２５０分の１）とする場合、階調数０以上２５未満を１７枚、２５以上５０未満を２２枚、５０以上７５未満を２１枚、７５以上１００未満を１７枚、１００以上１２５未満を１２枚、１２５以上１５０未満を７枚、１５０以上１７５未満を５枚とすればよい。また、トータル枚数を１００枚とする場合の数値に基づき、百分率で割合を選別することもできる。また、これらの枚数は基準であり、各クラスの０．５倍または２倍の範囲の枚数とする。
これら学習用の教師データを用いて学習装置が推論を行う。学習装置は、白黒画像データに基づき、記憶部１８の教師データを用いて推論を行ってカラー化された画像データを出力できるのであれば、どのような構成をとっても構わない。予め学習済の特徴量を用いる場合、データ量及び演算量が軽減されるため、小規模な構成、例えば１つまたは２つのＩＣで学習装置を構成できるメリットがある。
カラー化は、以下の畳み込みニューラルネットワーク（人工ニューラルネットワークとも呼ぶ）を用いることができる。
Ｌｉｎｕｘ（登録商標）の動作環境下にてｐｙｔｈｏｎを用いてプログラムを作成する。ニューラルネットワークをＧｅｎｅｒａｔｏｒとしたＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ）を用いる。
ニューラルネットワーク部１６の出力データと、時刻情報取得装置１７の時刻データとを結びつけて大規模記憶装置１５に保存する。大規模記憶装置１５には、撮像開始から得られたデータを累積して保存する。なお、大規模記憶装置１５と記載しているが、大型サーバーを指しているのではなく、例えば、防犯カメラの監視装置または、車両に搭載することが可能である小型の大容量記憶装置（例えば、ＳＳＤ、またはハードディスク）を指している。時刻情報取得装置１７はＧＰＳにより時刻情報を取得する装置を用いてもよい。
表示部１９には、タッチパネルなどの操作入力部を備えてもよく、使用者が、大規模記憶装置１５に記憶されたデータの中から選択して、適宜観察することができる。撮像システム２１は、映像監視システムまたは警備システムまたは走行支援システムに用いることができる。
また、使用者の携帯情報端末（スマートフォンなど）の表示部を表示部１９とすることもできる。携帯情報端末の表示部から大規模記憶装置１５にアクセスすることで使用者の居場所を問わず監視することもできる。
撮像システム２１の設置は、部屋の壁に限定されず、撮像システム２１の構成全部または一部を、回転翼を備える無人航空機（ドローンとも呼ばれる）に搭載することで、空中からの映像監視をすることもできる。特に夕方または夜間の街灯点灯の少ない光量の環境下での撮像ができる。
また、本実施の形態では、映像監視システムまたは警備システムに関して説明したが、特に限定されず、車両周辺を撮像するカメラまたはレーダと画像処理などを行うＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）と組み合わせることで、半自動運転を行える車両、或いは全自動運転を行える車両に適用することもできる。電動モータを用いる車両は、複数のＥＣＵを有し、ＥＣＵによってモータ制御などを行う。ＥＣＵは、マイクロコンピュータを含む。ＥＣＵは、電動車両に設けられたＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）に接続される。ＣＡＮは、車内ＬＡＮとして用いられるシリアル通信規格の一つである。ＥＣＵは、ＣＰＵまたはＧＰＵを用いる。例えば、電動車両に搭載する複数のカメラ（ドライブレコーダー用カメラ、リアカメラなど）の一つとして、カラーフィルタのない固体撮像素子を用い、得られた白黒画像をＣＡＮを介してＥＣＵにて推論を行い、カラー化画像を作成し、車内の表示装置または携帯情報端末の表示部に表示できるように構成してもよい。
（実施の形態２）
本実施の形態では、実施の形態１に示したブロック図を用いて、固体撮像素子１１で得られる白黒映像に対してカラー化を行うフローの一例を図４に示す。
監視する領域を撮影できる場所（車両のボンネット、車両の天井など）にカラーフィルタを有していない固体撮像素子を設け、実施の形態１に示す撮像システム２１を設置し、起動し、連続撮影を開始する。
まず、データを取得する準備を開始し、取得開始する（Ｓ１）。
カラーフィルタなしの固体撮像素子を用いて白黒画像データを取得する（Ｓ２）。
次いで、白黒画像データをメモリ部１４（デジタルメモリ部）に保存する（Ｓ５ａ）。カラー画像をそのまま保存するデータ量に比べ、白黒画像データで保存する方が容量を小さくすることができる。
次いで、デジタルデータ（白黒画像データ）を後段の推論用プログラムが必要とする信号フォーマット（ＪＰＥＧ（登録商標）など）に変換する（Ｓ６）。
次いで、変換後のデジタルデータを、ＣＰＵなどを用いて畳み込み処理を行い、輪郭、色などを推論し、カラー化する（Ｓ７）。ＣＰＵに代えてＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＰＭＵ（Ｐｏｗｅｒ　Ｍａｎａｇｅｍｅｎｔ　Ｕｎｉｔ）など）と統合した一つのＩＣチップを用いてもよい。そしてカラー化画像データを出力する（Ｓ８）。そして日時などの時刻データとともにカラー化画像データを保存する（Ｓ９）。保存は大規模記憶装置１５、いわゆる大容量記憶装置（ハードディスクなど）またはデータベースに蓄積する。
カラー化のための学習データは、実施の形態１に示したように学習データセットを選別したものを用いる。実施の形態１に示した選別方法により、学習データを学習するために要する時間を大幅に短くすることができる。また、少ない学習データであっても、カラー化により鮮やかな画像を得ることができ、それが強調表示にもなる。従来のカラーフィルタがある撮像素子を用いるとダイナミックレンジが狭くなり暗くなる撮像画像に比べて、本実施の形態で得られる画像は、従来よりも強調表示されることになり、走行支援システムとして適した表示とすることができる。
上記カラー化画像データの取得を繰り返し行う。繰り返し行うことでリアルタイムにカラー化を行うこともできる。
こうして得られるカラー化画像データは、カラーフィルタのない撮像素子を用い、ダイナミックレンジの広い白黒画像を基にしているため、従来のカラーフィルタ有りの撮像素子では光量が少なく識別不能な場合においても、識別可能なカラー化画像データを得ることができる。本実施の形態で示した撮像システムは、上述した各ステップ（Ｓ１~Ｓ９）を１または複数のコンピュータに実現させることができる。
（実施の形態３）
本実施の形態では、実施の形態２で得られるカラー化画像データと比べて、さらにスムーズな画像処理または細かい色付け処理を可能とする例を示す。
図５にフロー図を示す。なお、実施の形態２の図４に示したフロー図と同一のステップには同じ符号を用いる。図４中のＳ１~Ｓ６までと、Ｓ８~Ｓ９までは同一であるため、ここでは詳細な説明を省略することとする。
図５に示すようにステップＳ６の後に、変換後のデジタルデータに対して、超解像化処理を第１の学習モデルを用いて複数回行い、輪郭を推論する（Ｓ７ａ）。
そして、超解像化処理後のデジタルデータを第２の学習モデルを用いて、色などを推論し、カラー化する（Ｓ７ｂ）。以降のステップは、実施の形態２と同じである。
実施の形態１に示した方法により、ある一定の基準に到達できるカラー画像を得るための教師データのデータ量を少なくし、機械学習に要する時間を短縮し、ニューラルネットワーク部の構成を簡略化できる。なお、ニューラルネットワーク部は、機械学習の一部である。また、深層学習は、ニューラルネットワーク部の一部である。
本実施の形態で得られるカラー化画像データは、実施の形態２の画像データよりも輪郭がスムーズになり、最適なカラー化が行われる。
本実施の形態は実施の形態１または実施の形態２と自由に組み合わせることができる。
（実施の形態４）
本実施の形態では、データ取得装置１０として、撮像部となる構成例を以下に説明する。図６は撮像部を説明するブロック図である。
撮像部は、画素アレイ３００と、回路２０１と、回路３０１と、回路３０２と、回路３０３と、回路３０４と、回路３０５と、回路３０６を有する。なお、回路２０１及び回路３０１乃至回路３０６のそれぞれは、単一の回路構成に限らず、複数の回路の組み合わせで構成される場合がある。又は、上記いずれか複数の回路が統合されていてもよい。また、上記以外の回路が接続されてもよい。
画素アレイ３００は、撮像機能及び演算機能を有する。回路２０１、及び回路３０１は、演算機能を有する。回路３０２は、演算機能又はデータ変換機能を有する。回路３０３、回路３０４、及び回路３０６は、選択機能を有する。回路３０３は配線４２４を介して画素ブロック２００に電気的に接続されている。回路３０４は配線４２３を介して画素ブロック２００に電気的に接続されている。回路３０５は、画素に積和演算用の電位を供給する機能を有する。選択機能を有する回路には、シフトレジスタ又はデコーダ等を用いることができる。回路３０６は配線４１３を介して画素ブロック２００に電気的に接続されている。なお、回路３０１、及び回路３０２は、外部に設けられていてもよい。
画素アレイ３００は、複数の画素ブロック２００を有する。画素ブロック２００は、図７に示すように、マトリクス状に配置された複数の画素４００を有し、それぞれの画素４００は、配線４１２を介して回路２０１と電気的に接続される。なお、回路２０１は画素ブロック２００内に設けることもできる。
また、画素４００は、隣接する画素４００とトランジスタ４５０（トランジスタ４５０ａ乃至トランジスタ４５０ｆ）を介して電気的に接続される。トランジスタ４５０の機能は後述する。
画素４００では、画像データの取得及び画像データと重み係数とを加算したデータを生成することができる。なお、図７においては、一例として画素ブロック２００が有する画素数を３×３としているが、これに限らない。例えば、２×２、４×４等とすることができる。又は、水平方向と垂直方向の画素数が異なっていてもよい。また、一部の画素を隣り合う画素ブロックで共有してもよい。図７では、画素４００間に１０個のトランジスタ４５０（トランジスタ４５０ａ乃至４５０ｊ）を設けた例を示したが、さらにトランジスタ４５０の数を増やしてもよい。また、トランジスタ４５０ｇ乃至４５０ｊにおいては、並列のパスを解消するようにいくつかのトランジスタを省いてもよい。トランジスタ４５０ｇ乃至４５０ｊにはそれぞれ配線４１３ｇ乃至４１３ｊがゲートとして接続されている。
画素ブロック２００及び回路２０１は、積和演算回路として動作させることができる。
画素４００は、図８に示すように、光電変換デバイス４０１と、トランジスタ４０２と、トランジスタ４０３と、トランジスタ４０４と、トランジスタ４０５と、トランジスタ４０６と、キャパシタ４０７を有することができる。
光電変換デバイス４０１の一方の電極は、トランジスタ４０２のソース又はドレインの一方と電気的に接続される。トランジスタ４０２のソース又はドレインの他方は、トランジスタ４０３のソース又はドレインの一方、トランジスタ４０４のゲート及びキャパシタ４０７の一方の電極と電気的に接続される。トランジスタ４０４のソース又はドレインの一方は、トランジスタ４０５のソース又はドレインの一方と電気的に接続される。キャパシタ４０７の他方の電極は、トランジスタ４０６のソース又はドレインの一方と電気的に接続される。
光電変換デバイス４０１の他方の電極は、配線４１４と電気的に接続される。トランジスタ４０３のソース又はドレインの他方は、配線４１５と電気的に接続される。トランジスタ４０５のソース又はドレインの他方は、配線４１２と電気的に接続される。トランジスタ４０４のソース又はドレインの他方は、ＧＮＤ配線等と電気的に接続される。トランジスタ４０６のソース又はドレインの他方は、配線４１１と電気的に接続される。キャパシタ４０７の他方の電極は、配線４１７と電気的に接続される。
トランジスタ４０２のゲートは、配線４２１と電気的に接続される。トランジスタ４０３のゲートは、配線４２２と電気的に接続される。トランジスタ４０５のゲートは、配線４２３と電気的に接続される。トランジスタ４０６のゲートは、配線４２４と電気的に接続される。
ここで、トランジスタ４０２のソース又はドレインの他方と、トランジスタ４０３のソース又はドレインの一方と、キャパシタ４０７の一方の電極と、トランジスタ４０４のゲートとの電気的な接続点をノードＦＤとする。また、キャパシタ４０７の他方の電極と、トランジスタ４０６のソース又はドレインの一方との電気的な接続点をノードＦＤＷとする。
配線４１４、及び配線４１５は、電源線としての機能を有することができる。例えば、配線４１４、は高電位電源線、配線４１５は低電位電源線として機能させることができる。配線４２１、配線４２２、配線４２３、及び配線４２４は、各トランジスタの導通を制御する信号線として機能させることができる。配線４１１は、画素４００に重み係数に相当する電位を供給する配線として機能させることができる。配線４１２は、画素４００と回路２０１とを電気的に接続する配線として機能させることができる。配線４１７は、当該画素のキャパシタ４０７の他方の電極と、別の画素のキャパシタ４０７の他方の電極とをトランジスタ４５０を介して電気的に接続する配線として機能することができる（図７参照）。
なお、配線４１２には、増幅回路またはゲイン調整回路が電気的に接続されていてもよい。
光電変換デバイス４０１としては、フォトダイオードを用いることができる。フォトダイオードの種類は問わず、シリコンを光電変換層に有するＳｉフォトダイオード、有機光導電膜を光電変換層に有する有機フォトダイオード等を用いることができる。なお、低照度時の光検出感度を高めたい場合は、アバランシェフォトダイオードを用いることが好ましい。
トランジスタ４０２は、ノードＦＤの電位を制御する機能を有することができる。トランジスタ４０３は、ノードＦＤの電位を初期化する機能を有することができる。トランジスタ４０４は、ノードＦＤの電位に応じて回路２０１が流す電流を制御する機能を有することができる。トランジスタ４０５は、画素を選択する機能を有することができる。トランジスタ４０６は、ノードＦＤＷに重み係数に相当する電位を供給する機能を有することができる。
光電変換デバイス４０１にアバランシェフォトダイオードを用いる場合は、高電圧を印加することがあり、光電変換デバイス４０１と接続されるトランジスタには高耐圧のトランジスタを用いることが好ましい。高耐圧のトランジスタには、例えば、チャネル形成領域に金属酸化物を用いたトランジスタ（以下、ＯＳトランジスタ）等を用いることができる。具体的には、トランジスタ４０２にＯＳトランジスタを適用することが好ましい。
また、ＯＳトランジスタは、オフ電流が極めて低い特性も有する。トランジスタ４０２、トランジスタ４０３、及びトランジスタ４０６にＯＳトランジスタを用いることによって、ノードＦＤ及びノードＦＤＷで電荷を保持できる期間を極めて長くすることができる。そのため、回路構成または動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行うグローバルシャッタ方式を適用することができる。また、ノードＦＤに画像データを保持させつつ、当該画像データを用いた複数回の演算を行うこともできる。
一方、トランジスタ４０４は、増幅特性が優れていることが望まれる場合がある。また、トランジスタ４０６は、高速動作が可能な移動度が高いトランジスタを用いることが好ましい場合がある。したがって、トランジスタ４０４、及びトランジスタ４０６には、シリコンをチャネル形成領域に用いたトランジスタ（以下、Ｓｉトランジスタ）を適用してもよい。
なお、上記に限らず、ＯＳトランジスタ及びＳｉトランジスタを任意に組み合わせて適用してもよい。また、全てのトランジスタをＯＳトランジスタとしてもよい。又は、全てのトランジスタをＳｉトランジスタとしてもよい。Ｓｉトランジスタとしては、アモルファスシリコンを有するトランジスタ、結晶性のシリコン（微結晶シリコン、低温ポリシリコン、単結晶シリコン）を有するトランジスタ等が挙げられる。
画素４００におけるノードＦＤの電位は、配線４１５から供給されるリセット電位及び光電変換デバイス４０１による光電変換で生成される電位（画像データ）が加算された電位で確定される。又は、さらに配線４１１から供給される重み係数に相当する電位が容量結合されて確定される。したがって、トランジスタ４０５には、画像データに任意の重み係数が加わったデータに応じた電流を流すことができる。
なお、上記は画素４００の回路構成の一例であり、光電変換動作に関しては他の回路構成で行うこともできる。
図７に示すように、各画素４００は、配線４１２で互いに電気的に接続される。回路２０１は、各画素４００のトランジスタ４０４に流れる電流の和を用いて演算を行うことができる。
回路２０１は、キャパシタ２０２と、トランジスタ２０３と、トランジスタ２０４と、トランジスタ２０５と、トランジスタ２０６と、抵抗２０７を有する。
キャパシタ２０２の一方の電極は、トランジスタ２０３のソース又はドレインの一方と電気的に接続される。トランジスタ２０３のソース又はドレインの一方は、トランジスタ２０４のゲートと電気的に接続される。トランジスタ２０４のソース又はドレインの一方は、トランジスタ２０５のソース又はドレインの一方と電気的に接続される。トランジスタ２０５のソース又はドレインの一方は、トランジスタ２０６のソース又はドレインの一方と電気的に接続される。抵抗２０７の一方の電極は、キャパシタ２０２の他方の電極と電気的に接続される。
キャパシタ２０２の他方の電極は、配線４１２と電気的に接続される。トランジスタ２０３のソース又はドレインの他方は、配線２１８と電気的に接続される。トランジスタ２０４のソース又はドレインの他方は、配線２１９と電気的に接続される。トランジスタ２０５のソース又はドレインの他方は、ＧＮＤ配線等の基準電源線と電気的に接続される。トランジスタ２０６のソース又はドレインの他方は、配線２１２と電気的に接続される。抵抗２０７の他方の電極は、配線２１７と電気的に接続される。
配線２１７、配線２１８、及び配線２１９は、電源線としての機能を有することができる。例えば、配線２１８は、読み出し用の専用電位を供給する配線としての機能を有することができる。配線２１７、及び配線２１９は、高電位電源線として機能させることができる。配線２１３、配線２１５、及び配線２１６は、各トランジスタの導通を制御する信号線として機能させることができる。配線２１２は出力線であり、例えば、図６に示す回路３０１と電気的に接続することができる。
トランジスタ２０３は、配線２１１の電位を配線２１８の電位にリセットする機能を有することができる。配線２１１はキャパシタ２０２の一方の電極と、トランジスタ２０３のソースまたはドレインの一方と、トランジスタ２０４のゲートと接続される配線である。トランジスタ２０４、及びトランジスタ２０５は、ソースフォロア回路としての機能を有することができる。トランジスタ２０６は、読み出しを制御する機能を有することができる。なお、回路２０１は、相関二重サンプリング回路（ＣＤＳ回路）としての機能を有し、当該機能を有する他の構成の回路に置き換えることもできる。
本発明の一態様では、画像データ（Ｘ）と重み係数（Ｗ）との積以外のオフセット成分を除去し、目的のＷＸを抽出する。ＷＸは、同じ画素に対して、撮像あり、なしのデータと、そのそれぞれに対して、重みを加えたときのデータを利用して算出することができる。
撮像ありのときに画素４００に流れる電流（Ｉｐ）の合計はｋΣ（Ｘ−Ｖｔｈ）２、重みを加えたときに画素４００に流れる電流（Ｉｐ）の合計はｋΣ（Ｗ＋Ｘ−Ｖｔｈ）２となる。また、撮像なしのときに画素４００に流れる電流（Ｉｒｅｆ）の合計はｋΣ（０−Ｖｔｈ）２、重みを加えたときに画素４００に流れる電流（Ｉｒｅｆ）の合計はｋΣ（Ｗ−Ｖｔｈ）２となる。ここで、ｋは定数、Ｖｔｈはトランジスタ４０５のしきい値電圧である。
まず、撮像ありのデータと、当該データに重みを加えたデータとの差分（データＡ）を算出する。ｋΣ（（Ｘ−Ｖｔｈ）２−（Ｗ＋Ｘ−Ｖｔｈ）２）＝ｋΣ（−Ｗ２−２Ｗ・Ｘ＋２Ｗ・Ｖｔｈ）となる。
次に、撮像なしのデータと、当該データに重みを加えたデータとの差分（データＢ）を算出する。ｋΣ（（０−Ｖｔｈ）２−（Ｗ−Ｖｔｈ）２）＝ｋΣ（−Ｗ２＋２Ｗ・Ｖｔｈ）となる。
そして、データＡとデータＢとの差分をとる。ｋΣ（−Ｗ２−２Ｗ・Ｘ＋２Ｗ・Ｖｔｈ−（−Ｗ２＋２Ｗ・Ｖｔｈ））＝ｋΣ（−２Ｗ・Ｘ）となる。すなわち、画像データ（Ｘ）と重み係数（Ｗ）との積以外のオフセット成分を除去することができる。
回路２０１では、データＡ及びデータＢを読み出すことができる。なお、データＡとデータＢとの差分演算は、例えば回路３０１で行うことができる。
ここで、画素ブロック２００全体に供給される重みはフィルタとして機能する。当該フィルタとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）の畳み込みフィルタを用いることができる。又は、エッジ抽出フィルタ等の画像処理フィルタを用いることができる。エッジ抽出フィルタとしては、例えば、図９Ａに示すラプラシアンフィルタ、図９Ｂに示すプレウィットフィルタ、図９Ｃに示すソーベルフィルタ等を一例として挙げることができる。
画素ブロック２００が有する画素４００の数が３×３の場合、上記エッジ抽出フィルタの要素を重みとして各画素４００に割り振って供給することができる。前述したように、データＡ及びデータＢを算出するためには、撮像あり、なしのデータと、そのそれぞれに対して、重みを加えたときのデータを利用して算出することができる。ここで、撮像あり、なしのデータは、重みを加えないデータであり、全ての画素４００に重み０を加えたデータと換言することもできる。
図９Ａ乃至図９Ｃに例示したエッジ抽出フィルタは、フィルタの要素（重み：ΔＷ）の和（ΣΔＷ／Ｎ、Ｎは要素の数）が０となるフィルタである。したがって、新たに他の回路からΔＷ＝０を供給する動作を行わなくても、ΣΔＷ／Ｎを取得する動作を行えば、全ての画素４００にΔＷ＝０相当を加えたデータを取得することができる。
当該動作は、画素４００間に設けたトランジスタ４５０（トランジスタ４５０ａ乃至トランジスタ４５０ｆ）を導通させることに相当する（図７参照）。トランジスタ４５０を導通させることで、各画素４００のノードＦＤＷは、配線４１７を介してすべて短絡する。このとき、各画素４００のノードＦＤＷに蓄積されていた電荷は再分配され、図９Ａ乃至図９Ｃに例示したエッジ抽出フィルタを用いた場合には、ノードＦＤＷの電位（ΔＷ）は０又は略０となる。したがって、ΔＷ＝０相当を加えたデータを取得することができる。
なお、画素アレイ３００の外側にある回路から電荷を供給して重み（ΔＷ）を書き換える場合は、距離の長い配線４１１の容量等が起因し、書き換え完了までに時間を要する。一方で、画素ブロック２００は微小な領域であり、配線４１７の距離も短く容量も小さい。したがって、画素ブロック２００内のノードＦＤＷに蓄積されていた電荷の再分配を行う動作では、高速に重み（ΔＷ）を書き換えることができる。
図７に示す画素ブロック２００では、トランジスタ４５０ａ乃至トランジスタ４５０ｆがそれぞれ異なるゲート線（配線４１３ａ乃至配線４１３ｆ）と電気的に接続された構成を示している。当該構成では、トランジスタ４５０ａ乃至トランジスタ４５０ｆの導通を独立して制御することができ、ΣΔＷ／Ｎを取得する動作を選択的に行うことができる。
例えば、図９Ｂ、又は図９Ｃ等に示すフィルタを用いた場合は、初期にΔＷ＝０が供給されている画素がある。ΣΔＷ／Ｎ＝０であることを前提とする場合、ΔＷ＝０が供給されている画素は和の対象となる画素から除外してもよい。当該画素を除外することで、トランジスタ４５０ａ乃至トランジスタ４５０ｆの一部を動作させるための電位の供給が不要となるため、消費電力を抑えることができる。
回路２０１から出力される積和演算結果のデータは、回路３０１に順次入力される。回路３０１には、前述したデータＡとデータＢとの差分を演算する機能のほかに、様々な演算機能を有していてもよい。例えば、回路３０１は、回路２０１と同等の構成とすることができる。又は、回路３０１の機能をソフトウェア処理で代替えしてもよい。
また、回路３０１は、活性化関数の演算を行う回路を有していてもよい。当該回路には、例えばコンパレータ回路を用いることができる。コンパレータ回路では、入力されたデータと、設定されたしきい値とを比較した結果を２値データとして出力する。すなわち、画素ブロック２００及び回路３０１はニューラルネットワークの一部の要素として作用することができる。
回路３０１から出力されたデータは、回路３０２に順次入力される。回路３０２は、例えばラッチ回路及びシフトレジスタ等を有する構成とすることができる。当該構成によって、パラレルシリアル変換を行うことができ、並行して入力されたデータを配線３１１にシリアルデータとして出力することができる。
［画素の構成例］
図１０Ａは、画素４００の構成例を示す図である。画素４００は、層５６１と層５６３の積層構造とすることができる。
層５６１は、光電変換デバイス４０１を有する。光電変換デバイス４０１は、図１０Ｂに示すように層５６５ａと、層５６５ｂを有することができる。なお、場合によって、層を領域と言い換えてもよい。
図１０Ｂに示す光電変換デバイス４０１はｐｎ接合型フォトダイオードであり、例えば、層５６５ａにｐ型半導体、層５６５ｂにｎ型半導体を用いることができる。又は、層５６５ａにｎ型半導体、層５６５ｂにｐ型半導体用いてもよい。
上記ｐｎ接合型フォトダイオードは、代表的には単結晶シリコンを用いて形成することができる。
また、層５６１が有する光電変換デバイス４０１は、図１０Ｃに示すように、層５６６ａと、層５６６ｂと、層５６６ｃと、層５６６ｄとの積層としてもよい。図１０Ｃに示す光電変換デバイス４０１はアバランシェフォトダイオードの一例であり、層５６６ａ、及び層５６６ｄは電極に相当し、層５６６ｂ、及び層５６６ｃは光電変換部に相当する。
層５６６ａは、低抵抗の金属層等とすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀、又はそれらの積層を用いることができる。
層５６６ｄは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム−錫酸化物、ガリウム−亜鉛酸化物、インジウム−ガリウム−亜鉛酸化物、又はグラフェン等を用いることができる。なお、層５６６ｄを省く構成とすることもできる。
光電変換部の層５６６ｂ、及び層５６６ｃは、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードの構成とすることができる。層５６６ｂとしてはｐ型半導体であるセレン系材料を用い、層５６６ｃとしてはｎ型半導体であるガリウム酸化物等を用いることが好ましい。
セレン系材料を用いた光電変換デバイスは、可視光に対する外部量子効率が高い特性を有する。当該光電変換デバイスでは、アバランシェ増倍を利用することにより、入射される光の量に対する電子の増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できる等の生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法又はスパッタ法等を用いて形成することができる。
セレン系材料としては、単結晶セレンまたは多結晶セレン等の結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物（ＣＩＳ）、又は、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）等を用いることができる。
ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、又はそれらが混在した酸化物等を用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
また、層５６１が有する光電変換デバイス４０１は、図１０Ｄに示すように、層５６７ａと、層５６７ｂと、層５６７ｃと、層５６７ｄと、層５６７ｅとの積層としてもよい。図１０Ｄに示す光電変換デバイス４０１は有機光導電膜の一例であり、層５６７ａは下部電極、層５６７ｅは透光性を有する上部電極であり、層５６７ｂ、層５６７ｃ、及び層５６７ｄは光電変換部に相当する。
光電変換部の層５６７ｂ又は層５６７ｄの一方はホール輸送層とすることができる。また、層５６７ｂ又は層５６７ｄの他方は電子輸送層とすることができる。また、層５６７ｃは光電変換層とすることができる。
ホール輸送層としては、例えば酸化モリブデン等を用いることができる。電子輸送層としては、例えば、Ｃ６０、Ｃ７０等のフラーレン、又はそれらの誘導体等を用いることができる。
光電変換層としては、ｎ型有機半導体及びｐ型有機半導体の混合層（バルクヘテロ接合構造）を用いることができる。
図１０Ａに示す層５６３には、例えばシリコン基板が含まれる。当該シリコン基板上には、Ｓｉトランジスタ等が設けられる。当該Ｓｉトランジスタを用いて、画素４００を形成することができる。また、図６に示す回路２０１、及び回路３０１乃至回路３０６を形成することができる。
次に、撮像装置の積層構造について、断面図を用いて説明する。なお、以下に示す絶縁層及び導電層等の要素は一例であり、さらに他の要素が含まれていてもよい。又は、以下に示す要素の一部が省かれていてもよい。また、以下に示す積層構造は、必要に応じて、貼り合わせ工程、研磨工程等を用いて形成することができる。
図１１に示す構成の撮像装置は、層５６０、層５６１、及び層５６３を有する。図１１では、層５６３に設けられている要素として、トランジスタ４０２、及びトランジスタ４０３を示しているが、トランジスタ４０４乃至トランジスタ４０６等、他の要素も層５６３に設けることができる。
層５６３には、シリコン基板６３２、絶縁層６３３、絶縁層６３４、絶縁層６３５、及び絶縁層６３７が設けられる。また、導電層６３６が設けられる。
絶縁層６３４、絶縁層６３５、及び絶縁層６３７は、層間絶縁膜及び平坦化膜としての機能を有する。絶縁層６３３は、保護膜としての機能を有する。導電層６３６は、図８に示す配線４１４と電気的に接続される。
層間絶縁膜及び平坦化膜としては、例えば、酸化シリコン膜等の無機絶縁膜、アクリル樹脂、ポリイミド樹脂等の有機絶縁膜を用いることができる。保護膜としては、例えば、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜等を用いることができる。
導電層としては、アルミニウム、クロム、銅、銀、金、白金、タンタル、ニッケル、チタン、モリブデン、タングステン、ハフニウム、バナジウム、ニオブ、マンガン、マグネシウム、ジルコニウム、ベリリウム、インジウム、ルテニウム、イリジウム、ストロンチウム、ランタン等から選ばれた金属元素、又は上述した金属元素を成分とする合金か、上述した金属元素を組み合わせた合金等を適宜選択して用いればよい。当該導電体は単層に限らず、異なる材料で構成された複数の層であってもよい。
図１１に示すＳｉトランジスタはシリコン基板にチャネル形成領域を有するフィン型である。チャネル幅方向の断面（図１１の層５６３に示すＡ１−Ａ２の断面）を図１２Ａに示す。なお、Ｓｉトランジスタは、図１２Ｂに示すようにプレーナー型であってもよい。
又は、図１２Ｃに示すように、シリコン薄膜の半導体層５４５を有するトランジスタであってもよい。半導体層５４５は、例えば、シリコン基板６３２上の絶縁層５４６上に形成された単結晶シリコン（ＳＯＩ：Ｓｉｌｉｃｏｎ　ｏｎ　Ｉｎｓｕｌａｔｏｒ）とすることができる。
層５６１には、光電変換デバイス４０１が設けられる。光電変換デバイス４０１は、層５６３上に形成することができる。図１１では、光電変換デバイス４０１として、図１０Ｄに示す有機光導電膜を光電変換層に用いた構成を示している。なお、ここでは、層５６７ａをカソード、層５６７ｅをアノードとする。
層５６１には、絶縁層６５１、絶縁層６５２、絶縁層６５３、絶縁層６５４、及び導電層６５５が設けられる。
絶縁層６５１、絶縁層６５３、及び絶縁層６５４は、層間絶縁膜及び平坦化膜としての機能を有する。また、絶縁層６５４は光電変換デバイス４０１の端部を覆って設けられ、層５６７ｅと層５６７ａとの短絡を防止する機能も有する。絶縁層６５２は、素子分離層としての機能を有する。素子分離層としては、有機絶縁膜等を用いることが好ましい。
光電変換デバイス４０１のカソードに相当する層５６７ａは、層５６３が有するトランジスタ４０２のソース又はドレインの一方と電気的に接続される。光電変換デバイス４０１のアノードに相当する層５６７ｅは、導電層６５５を介して、層５６３に設けられる導電層６３６と電気的に接続される。
層５６０は、層５６１上に形成される。層５６０は、遮光層６７１、及びマイクロレンズアレイ６７３を有する。
遮光層６７１は、隣接する画素への光の流入を抑えることができる。遮光層６７１には、アルミニウム、タングステン等の金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
光電変換デバイス４０１上にはマイクロレンズアレイ６７３が設けられる。マイクロレンズアレイ６７３が有する個々のレンズを通る光が直下の光電変換デバイス４０１に照射されるようになる。マイクロレンズアレイ６７３を設けることにより、集光した光を光電変換デバイス４０１に入射することができるため、効率よく光電変換を行うことができる。マイクロレンズアレイ６７３は、撮像の対象の波長の光に対して透光性の高い樹脂又はガラス等で形成することが好ましい。
図１３は、図１１に示す積層構造の変形例であり、層５６１が有する光電変換デバイス４０１の構成、及び層５６３の一部構成が異なる。図１３に示す構成では、層５６１と層５６３との間に、貼り合わせ面を有する。
層５６１は、光電変換デバイス４０１、絶縁層６６１、絶縁層６６２、絶縁層６６４、及び絶縁層６６５、並びに導電層６８５、及び導電層６８６を有する。
光電変換デバイス４０１は、シリコン基板に形成されたｐｎ接合型のフォトダイオードであり、ｐ型領域に相当する層５６５ｂ及びｎ型領域に相当する層５６５ａを有する。光電変換デバイス４０１は埋め込み型フォトダイオードであり、層５６５ａの表面側（電流の取り出し側）に設けられた薄いｐ型の領域（層５６５ｂの一部）によって暗電流を抑えノイズを低減させることができる。
絶縁層６６１、並びに導電層６８５及び導電層６８６は、貼り合わせ層としての機能を有する。絶縁層６６２は、層間絶縁膜及び平坦化膜としての機能を有する。絶縁層６６４は、素子分離層としての機能を有する。絶縁層６６５は、キャリアの流出を抑制する機能を有する。
シリコン基板には画素を分離する溝が設けられ、絶縁層６６５はシリコン基板上面及び当該溝に設けられる。絶縁層６６５が設けられることにより、光電変換デバイス４０１内で発生したキャリアが隣接する画素に流出することを抑えることができる。また、絶縁層６６５は、迷光の侵入を抑制する機能も有する。したがって、絶縁層６６５により、混色を抑制することができる。なお、シリコン基板の上面と絶縁層６６５との間に反射防止膜が設けられていてもよい。
素子分離層は、ＬＯＣＯＳ（ＬＯＣａｌ　Ｏｘｉｄａｔｉｏｎ　ｏｆ　Ｓｉｌｉｃｏｎ）法を用いて形成することができる。又は、ＳＴＩ（Ｓｈａｌｌｏｗ　Ｔｒｅｎｃｈ　Ｉｓｏｌａｔｉｏｎ）法等を用いて形成してもよい。絶縁層６６５としては、例えば、酸化シリコン、窒化シリコン等の無機絶縁膜、ポリイミド樹脂、アクリル樹脂等の有機絶縁膜を用いることができる。なお、絶縁層６６５は多層構成であってもよい。なお、素子分離層を設けない構成とすることもできる。
光電変換デバイス４０１の層５６５ａ（ｎ型領域、カソードに相当）は、導電層６８５と電気的に接続される。層５６５ｂ（ｐ型領域、アノードに相当）は、導電層６８６と電気的に接続される。導電層６８５、及び導電層６８６は、絶縁層６６１に埋設された領域を有する。また、絶縁層６６１、並びに導電層６８５及び導電層６８６の表面は、それぞれ高さが一致するように平坦化されている。
層５６３において、絶縁層６３７上には、絶縁層６３８が形成される。また、トランジスタ４０２のソース又はドレインの一方と電気的に接続される導電層６８３、及び導電層６３６と電気的に接続される導電層６８４が形成される。
絶縁層６３８、並びに導電層６８３及び導電層６８４は、貼り合わせ層としての機能を有する。導電層６８３、及び導電層６８４は、絶縁層６３８に埋設された領域を有する。また、絶縁層６３８、並びに導電層６８３、及び導電層６８４の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層６８３と導電層６８５は、主成分が互いに同一の金属元素により構成されることが好ましく、導電層６８４と導電層６８６は、主成分が互いに同一の金属元素により構成されることが好ましい。また、絶縁層６３８と絶縁層６６１は、主成分が互いに同一であることが好ましい。
例えば、導電層６８３乃至導電層６８６には、Ｃｕ、Ａｌ、Ｓｎ、Ｚｎ、Ｗ、Ａｇ、Ｐｔ又はＡｕ等を用いることができる。接合のしやすさから、特にＣｕ、Ａｌ、Ｗ、又はＡｕを用いることが好ましい。また、絶縁層６３８、及び絶縁層６６１には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタン等を用いることができる。
つまり、導電層６８３乃至導電層６８６のそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層６３８及び絶縁層６６１のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層５６３と層５６１の境を接合位置とする、貼り合わせを行うことができる。
なお、導電層６８３乃至導電層６８６は複数の層からなる多層構造であってもよく、その場合は、表層（接合面）が同一の金属材料であればよい。また、絶縁層６３８及び絶縁層６６１も複数の層の多層構造であってもよく、その場合は、表層（接合面）が同一の絶縁材料であればよい。
当該貼り合わせによって、導電層６８３と導電層６８５を互いに電気的に接続することができ、導電層６８４と導電層６８６を互いに電気的に接続することができる。また、絶縁層６６１と絶縁層６３８の、機械的な強度を有する接続を得ることができる。
金属層同士の接合には、表面の酸化膜及び不純物の吸着層等をスパッタリング処理等で除去し、清浄化及び活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。又は、温度と圧力を併用して表面同士を接合する拡散接合法等を用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
また、絶縁層同士の接合には、研磨等によって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法等を用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
層５６３と層５６１を貼り合わせる場合、それぞれの接合面には金属層と絶縁層が混在するため、例えば、表面活性化接合法と親水性接合法を組み合わせて行えばよい。
例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法等を用いることができる。また、金属層の表面をＡｕ等の難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
上記の貼り合わせにより、層５６３が有する要素と、層５６１が有する要素を電気的に接続することができる。
図１４は、図１３に示す積層構造の変形例であり、層５６１、及び層５６３の一部構成が異なる。
当該変形例は、画素４００が有するトランジスタ４０２を層５６１に設けた構成である。層５６１において、絶縁層６６３で覆われたトランジスタ４０２は、Ｓｉトランジスタで形成される。トランジスタ４０２のソース又はドレインの一方は、光電変換デバイス４０１の一方の電極と直結される。また、トランジスタ４０２のソース又はドレインの他方は、ノードＦＤと電気的に接続される。
図１４に示す撮像装置では、層５６３には、撮像装置を構成するトランジスタのうち、少なくともトランジスタ４０２を除いたトランジスタが設けられる。図１４では、層５６３に設けられている要素として、トランジスタ４０４、及びトランジスタ４０５を示しているが、トランジスタ４０３、及びトランジスタ４０６等、他の要素も層５６３に設けることができる。また、図１４に示す撮像装置の層５６３には、絶縁層６３５と絶縁層６３７の間に絶縁層６４７が設けられる。絶縁層６４７は、層間絶縁膜及び平坦化膜としての機能を有する。
（実施の形態５）
本実施の形態では、撮像部、いわゆるイメージセンサチップを収めたパッケージの説明を以下に行う。
図１５Ａ１は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５２（図１５Ａ３参照）を固定するパッケージ基板４１０、カバーガラス４２０および両者を接着する接着剤４３０等を有する。
図１５Ａ２は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌ　ｇｒｉｄ　ａｒｒａｙ）を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄ　ｇｒｉｄ　ａｒｒａｙ）またはＰＧＡ（Ｐｉｎ　Ｇｒｉｄ　Ａｒｒａｙ）などを有していてもよい。
図１５Ａ３は、カバーガラス４２０および接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０およびバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５２とワイヤ４７０によって電気的に接続されている。
また、図１５Ｂ１は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１（図１５Ｂ３を固定するパッケージ基板４３１、レンズカバー４３２、およびレンズ４３５等を有する。また、パッケージ基板４３１およびイメージセンサチップ４５１の間には撮像装置の駆動回路および信号変換回路などの機能を有するＩＣチップ４９０（図１５Ｂ３も設けられており、ＳｉＰ（Ｓｙｓｔｅｍ　ｉｎ　ｐａｃｋａｇｅ）としての構成を有している。
図１５Ｂ２は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４３１の下面および側面には、実装用のランド４４１が設けられたＱＦＮ（Ｑｕａｄ　ｆｌａｔ　ｎｏ−ｌｅａｄ　ｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄ　ｆｌａｔ　ｐａｃｋａｇｅ）または前述したＢＧＡが設けられていてもよい。
図１５Ｂ３は、レンズカバー４３２およびレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１またはＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。
イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
（実施の形態６）
上述した実施の形態を用いた撮像装置を用いて、半自動運転を行う車両に適した撮像装置を提供する。
国内においては、自動車等の車両の走行システムについて、自動化レベルがレベル１からレベル４まで４段階に分けて定義されている。レベル１は加速、操舵、制動のいずれかを自動化することを言い、安全運転支援システムと呼ばれている。レベル２は加速、操舵、制動のうち、複数の操作を同時に自動化し、準自動走行システム（半自動運転とも呼ぶ）と呼ばれている。レベル３は、加速、操舵、及び制動をすべて自動化し、緊急時のみ運転者が対応する場合であり、これも準自動走行システム（半自動運転とも呼ぶ）と呼ぶ。レベル４は加速、操舵、及び制動をすべて自動化し、運転者がほとんど関与しない完全自動運転と呼ばれる。
本明細書においては、レベル２またはレベル３において、半自動運転を主に前提として、新規の構成または新規のシステムを提案する。
各種カメラまたはセンサから得られる状況に応じて、運転者に危険を警告する表示を行うためには、それぞれのカメラの数またはセンサの数に見合う表示領域の面積が必要となる。
また、図１６Ａは車両１２０の外観図を示している。図１６Ａでは、前方用イメージセンサ１１４ａ、左側方用イメージセンサ１１４Ｌの設置個所の一例を示している。また、図１６Ｂは車両の車内から前方の運転者の視野を映した模式図である。運転者の視野の上部はフロントガラス１１０であり、視野の下部は表示画面を有する表示装置１１１を設置している。
運転者の視野の上部はフロントガラス１１０であり、フロントガラス１１０はピラー１１２に挟まれている。図１６Ａでは、前方用イメージセンサ１１４ａを運転手の視線に近い位置に設置する例を示したが、特に限定されず、フロントグリルまたは、フロントバンパーに設置してもよい。また、本実施の形態では右ハンドルの車両を例に示しているが特に限定されず、左ハンドルであれば、運転者の位置に合わせて設置すればよい。
これらのイメージセンサのうち、少なくとも一つを実施の形態５に示したイメージセンサチップを用いることが好ましい。
運転者は、表示装置１１１を主に見ながら加速、操舵、制動を行い、補助的にフロントガラスから車外を確認する。表示装置１１１は、液晶表示装置、ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、マイクロＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）表示装置のいずれか一を用いればよい。ここで、ＬＥＤチップの一辺の寸法が１ｍｍを超えるものをマクロＬＥＤ、１００μｍより大きく１ｍｍ以下のものをミニＬＥＤ、１００μｍ以下のものをマイクロＬＥＤと呼ぶ。画素に適用するＬＥＤ素子として、特にマイクロＬＥＤを用いることが好ましい。マイクロＬＥＤを用いることで、極めて高精細な表示装置を実現できる。表示装置１１１は、精細度が高いほど好ましい。表示装置１１１の画素密度は、１００ｐｐｉ以上５０００ｐｐｉ以下、好ましくは２００ｐｐｉ以上２０００ｐｐｉ以下の画素密度とすることができる。
例えば、表示装置の表示画面の中央部１１１ａは、車外の前方に設置した撮像装置から取得した画像を表示する。また、表示画面の一部１１１ｂ、１１１ｃには速度、走行可能予測距離、異常警告表示などのメータ表示を行う。また、表示画面の左下部１１１Ｌには、車外の左側方の映像を表示し、表示画面の右下部１１１Ｒには、車外の右側方の映像を表示する。
表示画面の左下部１１１Ｌ、表示画面の右下部１１１Ｒは、サイドミラー（ドアミラーとも呼ぶ）を電子化し、車外に大きく突出しているサイドミラー突出部をなくすこともできる。
表示装置１１１の表示画面をタッチ入力操作可能とすることで映像の一部を拡大、縮小または表示位置の変更、表示領域の面積拡大などを行う構成としてもよい。
表示装置１１１の表示画面の画像は、複数の撮像装置またはセンサからのデータを合成することになるため、ＧＰＵなどの画像信号処理装置を用いて作成される。
実施の形態１に示す撮像システムを用いることで、ダイナミックレンジの広い白黒画像データを取得し、画像信号処理装置などにより推論を行ってカラー化することで強調表示された画像を表示装置１１１に出力することができる。例えば、トンネル内においても暗い人影に色を付け、人影が強調された画像を出力することもできる。
ＡＩを適宜用いることで、運転者は、主として表示装置の表示画像、即ちイメージセンサおよびＡＩを利用した画像を見て車両を操作し、フロントガラス前面を見ることは補助とすることができる。運転者の目のみによる運転よりもＡＩを利用した画像を見て車両を操作することが安全運転となりうる。また、運転者は安心感を得ながら、車両を操作することができる。
なお、表示装置１１１を大型車両、中型車両、小型車両をはじめ、さまざまな種類の車両の運転席周り（コクピット部とも呼ぶ）に応用することができる。また、航空機、船舶などの乗り物の運転席周りにも応用することができる。
また、本実施の形態では、前方用イメージセンサ１１４ａをフロントガラス下方に設置している例を示しているが特に限定されず、図１７に示す撮像カメラをボンネットの上または車内のバックミラー周辺に設置してもよい。
図１７の撮像カメラはドライブレコーダーとも呼ぶことができ、筐体９６１、レンズ９６２、支持部９６３等を有する。支持部９６３に両面テープなどを貼ることによって、フロントガラス、ボンネットまたは、バックミラー支持部などに設置することができる。
図１７の撮像カメラにイメージセンサが配置され、撮像カメラ内部または車載された記憶装置に走行映像を記録保存することができる。また、カラーフィルタを用いない場合には、白黒画像データによるダイナミックレンジが拡大された画像を記憶装置に保存することができ、カラー画像を取り込む場合に比べて記憶装置を占める容量を軽減できる。また、記憶装置に記憶された白黒画像データは、リアルタイムでなく、走行後に使用者がカラーで見たい場合のみに、本実施の形態１で示した手法によりカラー化させ表示させるといった使用方法としてもよい。
本実施の形態は、他の実施の形態と自由に組み合わせることができる。
１０：データ取得装置、１１：固体撮像素子、１４：メモリ部、１５：大規模記憶装置、１６：ニューラルネットワーク部、１７：時刻情報取得装置、１８：記憶部、１９：表示部、２０：画像処理装置、２１：撮像システム、１１０：フロントガラス、１１１：表示装置、１１１ａ：中央部、１１１ｂ：一部、１１１ｃ：一部、１１１Ｌ：左下部、１１１Ｒ：右下部、１１２：ピラー、１１４ａ：前方用イメージセンサ、１１４Ｌ：左側方用イメージセンサ、１２０：車両、２００：画素ブロック、２０１：回路、２０２：キャパシタ、２０３：トランジスタ、２０４：トランジスタ、２０５：トランジスタ、２０６：トランジスタ、２０７：抵抗、２１１：配線、２１２：配線、２１３：配線、２１５：配線、２１６：配線、２１７：配線、２１８：配線、２１９：配線、３００：画素アレイ、３０１：回路、３０２：回路、３０３：回路、３０４：回路、３０５：回路、３０６：回路、３１１：配線、４００：画素、４０１：光電変換デバイス、４０２：トランジスタ、４０３：トランジスタ、４０４：トランジスタ、４０５：トランジスタ、４０６：トランジスタ、４０７：キャパシタ、４１０：パッケージ基板、４１１：配線、４１２：配線、４１３：配線、４１３ａ~４１３ｆ：配線、４１３ｇ~４１３ｊ：配線、４１４：配線、４１５：配線、４１７：配線、４２０：カバーガラス、４２１：配線、４２２：配線、４２３：配線、４２４：配線、４３０：接着剤、４３１：パッケージ基板、４３２：レンズカバー、４３５：レンズ、４４０：バンプ、４４１：ランド、４５０：トランジスタ、４５０ａ~４５０ｇ：トランジスタ、４５０ｆ~４５０ｊ：トランジスタ、４５１：イメージセンサチップ、４５２：イメージセンサチップ、４６０：電極パッド、４６１：電極パッド、４７０：ワイヤ、４７１：ワイヤ、４９０：ＩＣチップ、５４５：半導体層、５４６：絶縁層、５６０：層、５６１：層、５６３：層、５６５ａ：層、５６５ｂ：層、５６６ａ：層、５６６ｂ：層、５６６ｃ：層、５６６ｄ：層、５６７ａ：層、５６７ｂ：層、５６７ｃ：層、５６７ｄ：層、５６７ｅ：層、６３２：シリコン基板、６３３：絶縁層、６３４：絶縁層、６３５：絶縁層、６３６：導電層、６３７：絶縁層、６３８：絶縁層、６４７：絶縁層、６５１：絶縁層、６５２：絶縁層、６５３：絶縁層、６５４：絶縁層、６５５：導電層、６６１：絶縁層、６６２：絶縁層、６６４：絶縁層、６６５：絶縁層、６７１：遮光層、６７３：マイクロレンズアレイ、６８３：導電層、６８４：導電層、６８５：導電層、６８６：導電層、９６１：筐体、９６２：レンズ、９６３：支持部

Claims (4)

  1. カラーフィルタを有していない固体撮像素子と、記憶装置と、学習装置とを有する撮像システムであり、
    前記固体撮像素子は白黒画像データを取得し、
    前記学習装置で用いる教師データは、ＨＳＶ色空間に変換し、さらに彩度のヒストグラムの中央値とした第１の集合の統計に基づいて間引かれた第２の集合であり、
    前記記憶装置に記憶された教師データを用いて前記学習装置が前記白黒画像データのカラー化を行い、前記カラー化された画像データを作成する撮像システム。
  2. 請求項１において、前記固体撮像素子は裏面照射型のＣＭＯＳイメージセンサチップである撮像システム。
  3. 請求項１または請求項２において、前記彩度のヒストグラムの中央値とした集合を２５６階調にクラス分けし、１７５階調以上のデータは前記学習装置で用いる教師データとして使用しない撮像システム。
  4. 請求項１乃至３のいずれか一において、前記第２の集合は、前記第１の集合の２５０分の一以下である撮像システム。
PCT/IB2020/061874 2019-12-27 2020-12-14 撮像システム WO2021130593A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/779,717 US11924589B2 (en) 2019-12-27 2020-12-14 Imaging system
JP2021566374A JPWO2021130593A1 (ja) 2019-12-27 2020-12-14

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-237860 2019-12-27
JP2019237860 2019-12-27

Publications (1)

Publication Number Publication Date
WO2021130593A1 true WO2021130593A1 (ja) 2021-07-01

Family

ID=76575264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2020/061874 WO2021130593A1 (ja) 2019-12-27 2020-12-14 撮像システム

Country Status (3)

Country Link
US (1) US11924589B2 (ja)
JP (1) JPWO2021130593A1 (ja)
WO (1) WO2021130593A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080746A (ja) * 2004-09-08 2006-03-23 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2007208481A (ja) * 2006-01-31 2007-08-16 Sogo Keibi Hosho Co Ltd 画像処理装置、監視センタ、監視システム、画像処理方法、および画像処理プログラム
WO2018197984A1 (ja) * 2017-04-28 2018-11-01 株式会社半導体エネルギー研究所 表示システムおよび移動体
JP2019117559A (ja) * 2017-12-27 2019-07-18 日本放送協会 カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム
JP2019118098A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2019128889A (ja) * 2018-01-26 2019-08-01 日本放送協会 画像情報変換器およびそのプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295508A (ja) * 2004-03-08 2005-10-20 Seiko Epson Corp カラー画像のモノクローム画像化
JP5448981B2 (ja) 2009-04-08 2014-03-19 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
KR101824123B1 (ko) 2009-11-06 2018-02-01 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치
US9773832B2 (en) 2014-12-10 2017-09-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device
CN111526267B (zh) 2016-08-03 2022-09-02 株式会社半导体能源研究所 摄像装置、摄像模块、电子设备及摄像系统
US20200382730A1 (en) 2017-05-02 2020-12-03 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
JP7202297B2 (ja) 2017-07-14 2023-01-11 株式会社半導体エネルギー研究所 撮像装置および電子機器
GB2570792B (en) 2017-12-26 2020-09-30 Canon Kk Image capturing apparatus, method of controlling the same, and storage medium
KR102213765B1 (ko) * 2019-08-09 2021-02-08 엘지이노텍 주식회사 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
KR20210042588A (ko) * 2019-10-10 2021-04-20 엘지전자 주식회사 영상을 압축 또는 복원하기 위한 방법 및 장치
WO2021070000A1 (ja) * 2019-10-11 2021-04-15 株式会社半導体エネルギー研究所 撮像システム及び監視システム
US20230044180A1 (en) * 2020-01-17 2023-02-09 Semiconductor Energy Laboratory Co., Ltd. Imaging system, driving assistance system, and program
JP7444179B2 (ja) * 2020-02-13 2024-03-06 日本電気株式会社 画像処理システム、画像処理方法および画像処理プログラム
CN112414870B (zh) * 2020-11-11 2021-05-28 中国科学院地质与地球物理研究所 用于高能加速器ct扫描的岩体剪切试验系统
KR20220078109A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 색공간 변환 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080746A (ja) * 2004-09-08 2006-03-23 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2007208481A (ja) * 2006-01-31 2007-08-16 Sogo Keibi Hosho Co Ltd 画像処理装置、監視センタ、監視システム、画像処理方法、および画像処理プログラム
WO2018197984A1 (ja) * 2017-04-28 2018-11-01 株式会社半導体エネルギー研究所 表示システムおよび移動体
JP2019118098A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2019117559A (ja) * 2017-12-27 2019-07-18 日本放送協会 カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム
JP2019128889A (ja) * 2018-01-26 2019-08-01 日本放送協会 画像情報変換器およびそのプログラム

Also Published As

Publication number Publication date
US20220417484A1 (en) 2022-12-29
US11924589B2 (en) 2024-03-05
JPWO2021130593A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
JP7322239B2 (ja) 撮像装置および電子機器
US10951850B2 (en) Imaging device and electronic device
WO2021144662A1 (ja) 撮像システム、走行支援システム、及びプログラム
WO2021028762A1 (ja) システム
WO2021130593A1 (ja) 撮像システム
US20220359592A1 (en) Imaging device and electronic device
US20230109524A1 (en) Imaging device and electronic device
US11943554B2 (en) Imaging device operated by switching between product-sum operation
US20230133706A1 (en) Imaging device
US20230156376A1 (en) Imaging device and electronic device
US20230090488A1 (en) Imaging device, electronic device, and moving object
JP2021131763A (ja) 画像処理システム
US20230179888A1 (en) Imaging device and electronic device
JP6942498B2 (ja) 撮像装置
KR20220150319A (ko) 촬상 장치 및 전자 기기
KR20220020259A (ko) 촬상 장치 및 전자 기기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20904734

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021566374

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20904734

Country of ref document: EP

Kind code of ref document: A1