WO2017168665A1 - 特徴抽出素子、特徴抽出システム、および判定装置 - Google Patents

特徴抽出素子、特徴抽出システム、および判定装置 Download PDF

Info

Publication number
WO2017168665A1
WO2017168665A1 PCT/JP2016/060574 JP2016060574W WO2017168665A1 WO 2017168665 A1 WO2017168665 A1 WO 2017168665A1 JP 2016060574 W JP2016060574 W JP 2016060574W WO 2017168665 A1 WO2017168665 A1 WO 2017168665A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature extraction
circuit
light receiving
convolution
multiplication
Prior art date
Application number
PCT/JP2016/060574
Other languages
English (en)
French (fr)
Inventor
繁 松本
奏太 中西
石田　知久
宮本　敦史
清 内川
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2018507965A priority Critical patent/JP6540886B2/ja
Priority to CN201680083514.5A priority patent/CN108781265B/zh
Priority to PCT/JP2016/060574 priority patent/WO2017168665A1/ja
Priority to EP16896883.2A priority patent/EP3439288B1/en
Publication of WO2017168665A1 publication Critical patent/WO2017168665A1/ja
Priority to US16/145,875 priority patent/US10904471B2/en
Priority to US17/125,415 priority patent/US11791363B2/en
Priority to US18/242,165 priority patent/US20230411428A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present invention relates to a feature extraction element, a feature extraction system, and a determination device.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2008-148298
  • the first aspect of the present invention includes a light receiving substrate in which a plurality of light receiving elements that photoelectrically convert received light are two-dimensionally arranged, and one or more other substrates stacked on the light receiving substrate.
  • the substrate has a plurality of multiplication circuits provided corresponding to each light receiving element or each block composed of a plurality of light receiving elements, and convolves the signals output from the plurality of light receiving elements using the plurality of multiplication circuits.
  • An extraction element is provided.
  • the feature extraction element a convolution operation of the convolution processing unit, and a control unit that controls to repeat sampling of the pooling processing unit are provided, and the control unit repeatedly performs the convolution operation.
  • a feature extraction system is provided that controls the convolution processing unit to use predetermined filter coefficients.
  • a determination apparatus including the feature extraction element and a determination unit that determines an imaging target based on a feature amount extracted based on an output from a pooling processing unit.
  • FIG. 2 is a schematic cross-sectional view of the feature extraction device 100.
  • FIG. 5 is a flowchart of processing executed by the feature extraction device 100.
  • 2 is a schematic cross-sectional view of the feature extraction device 100.
  • FIG. 2 is a schematic cross-sectional view of the feature extraction device 100.
  • FIG. 3 is a timing chart of the feature extraction device 100.
  • 2 is a block diagram of an imaging apparatus 500.
  • FIG. It is a typical sectional view of other feature extraction devices 101.
  • 2 is a schematic cross-sectional view of a feature extraction device 101.
  • FIG. 3 is a partial timing chart of the feature extraction apparatus 101.
  • FIG. 1 is a schematic cross-sectional view of the feature extraction apparatus 100.
  • the feature extraction apparatus 100 includes a microlens 110, a pixel substrate 120, an AD conversion circuit board 130, a multiplication circuit board 140, an addition circuit board 150, a convolution calculation result addition board 160, an activation function calculation circuit board 170, pooling, which are sequentially stacked. This is a single element including the circuit board 180 and the coupling circuit board 190.
  • the feature extraction apparatus 100 extracts a feature amount used when determining the subject from the received subject luminous flux. Examples of the determination of the subject include, but are not limited to, determining what the subject is, determining the category of the subject, and determining the degree of the subject (for example, evening scene degree).
  • the feature amount extracted here corresponds to a feature extracted by a multilayer neural network called deep learning or deep learning. In other words, the feature extraction apparatus 100 can also be used for learning processing for extracting features by deep learning.
  • Each of the substrates in the feature extraction apparatus 100 includes a wiring layer 12 formed on the base substrate 11 by photolithography.
  • Each wiring layer 12 includes a circuit formed of wiring, elements, and the like. That is, the pixel substrate 120, the AD conversion circuit board 130, the multiplication circuit board 140, the addition circuit board 150, the convolution calculation result addition board 160, the activation function calculation circuit board 170, the pooling circuit board 180, and the coupling circuit board 190 are respectively The pixel 121, the AD conversion circuit 131, the multiplication circuit 141, the addition circuit 151, the addition circuit 161 with the latch B, the activation function calculation circuit 171, the pooling circuit 181, and the coupling circuit 191 are included.
  • the above-described substrate is electrically connected to another substrate stacked adjacently through a through electrode 13 penetrating each base substrate 11. Further, some of the substrates are directly electrically connected to non-adjacent substrates by through electrodes 14 formed through the plurality of substrates. This point will be described with reference to FIGS.
  • the pixel substrate 120 has a plurality of pixels 121 arranged two-dimensionally and periodically. Each of the pixels 121 includes a light receiving element such as a photodiode that photoelectrically converts incident light.
  • the pixel substrate 120 is a back-illuminated type in which the substrate that is a base when the pixels 121 are formed is removed or thinned to receive incident light from the base substrate side.
  • the pixel substrate 120 may include a transistor that instructs reset, transfer, and selection and an element that amplifies an output signal in each light receiving element.
  • the microlens 110 stacked on the pixel substrate 120 condenses incident light on each pixel 121 to improve incident efficiency.
  • the AD conversion circuit board 130 includes a plurality of AD conversion circuits 131, a latch 132, and a changeover switch 133 that individually correspond to the pixels 121 of the pixel board 120. Accordingly, the AD conversion circuit board 130 outputs either a value obtained by discretizing each pixel value acquired from the pixel 121 of the pixel board 120 or a value held by the latch 132 to another board.
  • the AD conversion circuit 131, the latch 132, and the changeover switch 133 operate at the timing when the timing trigger 210 received from the outside is received.
  • the multiplication circuit board 140 has a multiplication circuit 141 individually corresponding to each pixel 121 of the pixel board 120. That is, the multiplication circuit substrate 140 includes the same number of multiplication circuits 141 as the plurality of pixels 121 provided on the pixel substrate 120.
  • the multiplier circuit 141 is a digital multiplier and may be formed by, for example, a shift register. The multiplier circuit 141 acquires and holds a filter coefficient from the outside when executing the multiplication process.
  • the multiplication circuit 141 can execute different multiplication processes according to the values of the filter coefficients read from the outside.
  • FIG. 1 shows a case where the filter coefficient a is acquired as an example.
  • the multiplication circuit 141 in the multiplication circuit board 140 also operates at the timing when the timing trigger 210 received from the outside is received.
  • the multiplication circuit substrate 140 may have one multiplication circuit 141 for each block including the plurality of pixels 121 of the pixel substrate 120. For example, if four pixels adjacent to each other in the two-dimensional direction of the pixel 121 are defined as one block, the multiplication circuit 141 may be connected to any of the four pixels 121 in the block. In this case, the multiplication circuit 141 sequentially performs multiplication processing on the outputs from the four pixels 121 in the block.
  • the addition circuit 151 of the addition circuit board 150 adds the values acquired from the plurality of multiplication circuits 141 in the multiplication circuit board 140 and outputs the result.
  • the output of the addition circuit 151 can be output to the convolution calculation result addition board 160 in the lower layer in the drawing.
  • the adder circuit 151 in the adder circuit board 150 operates at the timing when the timing trigger 210 received from the outside is received.
  • the convolution calculation result addition board 160 includes an addition circuit 161 with a latch B, a latch A 162, and a multiplexer 163.
  • the adder circuit 161 with latch B, the latch A162, and the multiplexer 163 are connected to each other, the adder circuit 161 with latch B is added to the activation function arithmetic circuit board 170 through the through electrode 13, and the multiplexer 163 is added through the through electrode 13.
  • Each is connected to the circuit board 150.
  • the convolution calculation result addition board 160 adds a plurality of signals output from the addition circuit board 150 and outputs the result to the activation function calculation circuit board 170.
  • the activation function arithmetic circuit board 170 has a number of activation function arithmetic circuits 171 corresponding to the adder circuits 151 of the adder circuit board 150.
  • the activation function arithmetic circuit board 170 receives the output of the adder circuit board 150 and executes the activation function calculation, and then outputs it to the pooling circuit board 180.
  • the activation function calculation circuit 171 in the activation function calculation circuit board 170 operates at the timing when the timing trigger 210 received from the outside is received.
  • the pooling circuit 181 of the pooling circuit board 180 and the coupling circuit 191 of the coupling circuit board 190 sequentially process inputs from the previous stage.
  • the output value of the combination circuit 191 on the combination circuit board 190 can be output as a feature amount to the outside of the feature extraction apparatus 100.
  • the pooling circuit 181 and the coupling circuit 191 also operate at the timing when the timing trigger 210 received from the outside is received.
  • Each of the coupling circuit 191 and the like is controlled in operation timing by a control unit (not shown) by the supplied timing trigger 210.
  • the control unit may be included in the feature extraction device 100, or another device equipped with the feature extraction device 100, for example, the control unit of the imaging device may be used.
  • a feature extraction system is configured by the feature extraction device 100 that is a single element and the control unit.
  • the feature extraction device 100 includes the multiplication circuit board 140, the addition circuit board 150, the convolution calculation result addition board 160, the activation function calculation circuit board 170, the pooling circuit board 180, and the combination involved in the image feature extraction processing.
  • the circuit substrate 190 has a structure in which the pixel substrate 120 including the light receiving element is stacked. Thereby, since the pixel value can be directly processed and feature extraction can be performed, the processing for converting the image into data and the processing for transferring the stored image data become unnecessary, and the processing time can be shortened.
  • processing substrates corresponding to the pixels of the pixel substrate 120 are stacked, it is possible to prevent the processing speed from being lowered even if the number of pixels of the pixel substrate 120 is increased.
  • the feature extraction device 100 receives incident light from the plurality of pixels 121 arranged two-dimensionally, so that the two-dimensional luminance distribution information based on the generation of image data is obtained from the pixel substrate 120. It can also be acquired. Therefore, the feature extraction apparatus 100 can also be used as an image sensor.
  • FIG. 2 is a flowchart of the feature extraction process executed in the feature extraction apparatus 100.
  • a convolution process S102 an activation function calculation process S103, a pooling process S104, and a combination process S105 are executed on the pixel value generated by the pixel value generation process S101, and extraction is performed.
  • the obtained feature amount is output to the outside (step S106).
  • the execution of the pixel value generation processing S101 and the feature amount output S106 is performed once for each feature extraction.
  • the filter function reading, multiplication processing, and addition processing in the convolution processing S102 are repeatedly executed many times while changing the filter coefficient to be read.
  • the processing results of the activation function calculation process S103 and the pooling process S104 after the convolution process are provided again to the convolution process S102, and the processes from the convolution process S102 to the pooling process S104 are further repeated.
  • the activation function calculation process S103 is repeated, the convolution process S102 and the activation function calculation process S103 are repeated, or one or both of the convolution process S102 and the activation function calculation process S103 after the pixel value generation process S101. May be omitted and the pooling process S104 may be performed.
  • FIG. 3 is a diagram for explaining the operation of the feature extraction apparatus 100 shown in FIG.
  • the function of the through electrode 13 for connecting adjacent substrates is highlighted by a thick line with hatching.
  • each of the pixel 1, the pixel 2, and the pixel 3 in the pixel substrate 120 passes through the corresponding AD conversion circuit 131 and the changeover switch 133 in the AD conversion circuit substrate 130, as indicated by a thick line in the figure.
  • the multiplication circuit board 140 is connected to the corresponding multiplication circuit 141.
  • the multiplication circuit board 140 acquires the filter coefficients a, b, and c of the multiplication circuit 141 corresponding to each of the pixels 1 to 3.
  • the pixel value output from the pixel 1 on the pixel substrate 120 is multiplied using the filter coefficient a by the multiplication circuit 141 corresponding to the pixel 1 in the multiplication circuit substrate 140 and then input to the addition circuit substrate 150 through the through electrode 13.
  • the pixel value output from the pixel 2 on the pixel substrate 120 is multiplied using the filter coefficient b by the multiplication circuit 141 corresponding to the pixel 2 in the multiplication circuit substrate 140, and then added through the through electrode 13. Is input. Further, the pixel value output from the pixel 3 on the pixel substrate 120 is multiplied using the filter coefficient c by the multiplication circuit 141 corresponding to the pixel 3 in the multiplication circuit substrate 140, and then applied to the addition circuit substrate 150 through the through electrode 13. Entered.
  • the addition circuit 151 in the addition circuit board 150 adds the plurality of input multiplication processing results and outputs the result to the convolution calculation result addition board 160. In this way, processing similar to filtering such as smoothing is executed. However, a series of processing is executed as convolution processing by preliminarily learning filter coefficients in the multiplication circuit 141.
  • the latch A 162 in the convolution calculation result addition board 160 holds the signal output from the addition circuit 151 via the multiplexer 163. After that, multiplication processing is performed by the multiplication circuit 141 in which a filter coefficient different from the previous one is set, and the multiplication processing results are added by the addition circuit 151.
  • the addition circuit 161 with latch B then adds the addition processing result of the addition circuit 151, This is held through the multiplexer 163.
  • the addition circuit 161 with latch B reads the previous addition processing result held in the latch A 162 and adds it to the new addition processing result, and the addition result is again held by the latch A 162.
  • This process a predetermined number of times, it is possible to add a plurality of processing results obtained by performing a convolution operation with different filter coefficients for the same pixel group (pixels 1 to 3). That is, this corresponds to repetition of the convolution process S102 shown in FIG.
  • Such a convolution operation is performed on all the pixels on the pixel substrate 120, that is, the entire input image.
  • the processing result by the convolution calculation result addition board 160 is input to the activation function calculation circuit 171 of the activation function calculation circuit board 170 through the through electrode 13.
  • the activation function arithmetic circuit 171 converts information propagated from the convolution process to the pooling process.
  • a ReLU Rectified Linear Unit
  • f (x) max (0, x) (Formula 1)
  • the output of the activation function arithmetic circuit 171 is propagated to the pooling circuit 181 of the pooling circuit board 180 through the through electrode 13.
  • subsampling is executed based on a predetermined condition.
  • An example of the subsampling condition executed here is the Max Pooling method in which the maximum value is a representative value in a certain window size.
  • the predetermined condition may be a process for collecting a plurality of outputs from the activation function arithmetic circuit 171 and may be an Average Pooling method for outputting an average value.
  • the processes up to the convolution process (step S102), the activation function calculation process (step S103), and the pooling process (step S104) are executed, and a sub-sampling value generated from the pixel value is generated.
  • FIG. 4 is a diagram for explaining another operation of the feature extraction apparatus 100 shown in FIG.
  • the through electrode involved in the operation to be described next is highlighted with a hatched thick line.
  • the feature extraction apparatus 100 can transmit and receive signals between substrates that are not adjacent to each other. Therefore, for example, the output of the pooling circuit board 180 can be stored in the latch 132 of the AD conversion circuit board 130 through the through electrode 14 and again subjected to multiplication processing in the multiplication circuit 141. As a result, the subsampled value is convolved again. Such repetition of the convolution process is executed a predetermined number of times, for example, 2000 times or more while changing the filter coefficients a, b, and c.
  • FIG. 5 is a timing chart showing the operation of the feature extraction apparatus 100.
  • the pulse in the figure means a signal supplied to each substrate as the timing trigger 210.
  • each circuit in the feature extraction device 100 is supplied with a preparation timing trigger 210 in order from the upper layer in FIG. 1, thereby executing the processing shown in FIG. 2 in the order shown in FIG.
  • the multiplication circuit board 140 since the multiplication circuit board 140 has the multiplication circuit 141 corresponding to each of the pixels 121, the convolution processing can be executed on each pixel value. Thereby, a feature amount with high determination accuracy can be extracted efficiently.
  • a section P indicates a section in which the convolution process S102 is repeated.
  • a region surrounded by a dotted line A indicates a section in which a convolution calculation is performed with a filter of the same size on a pixel group (for example, 3 ⁇ 3 pixels) composed of a plurality of pixels.
  • a region surrounded by a dotted line B indicates a section where the same pixel group is subjected to a convolution operation by another filter.
  • section Q indicates a section in which the convolution process S102 to the pooling process S104 are repeated.
  • the timing trigger of the addition circuit with the latch A or the latch B is supplied every time the signal from the addition circuit is input. Only the timing trigger of the final addition process is shown.
  • the coupling process in the coupling circuit 191 has a smaller processing load than the process on other substrates. Therefore, the feature extraction apparatus 100 does not have to provide the coupling circuit board 190 for the coupling circuit 191. In this case, the feature extraction apparatus 100 outputs a signal that is repeated a predetermined number of times and finally pooled by the pooling circuit 181 to the outside. Then, the coupling process is performed on the external substrate.
  • FIG. 6 is a block diagram of the imaging apparatus 500 including the feature extraction apparatus 100.
  • the imaging apparatus 500 includes a feature extraction device 100, a system control unit 501, a drive unit 502, a photometry unit 503, a work memory 504, a recording unit 505, a display unit 506, and a main power source 507.
  • the imaging apparatus 500 includes a main optical system 520 that guides the subject light flux to the feature extraction apparatus 100.
  • the main optical system 520 may be an exchangeable type that can be attached to and detached from the imaging apparatus 500.
  • the main optical system 520 is composed of a plurality of optical lens groups, and forms a subject light beam from the object field in the vicinity of the focal plane.
  • the main optical system 520 is representatively represented by a single virtual lens disposed in the vicinity of the pupil.
  • the driving unit 502 is a control circuit that executes charge accumulation control such as timing control and region control of the feature extraction device 100 in accordance with an instruction from the system control unit 501.
  • the drive unit 502 performs, for example, a series of controls for causing the feature extraction device 100 to accumulate charges generated by photoelectric conversion of incident light and to output pixel values.
  • the drive unit 502 supplies a timing trigger 210 to the feature extraction apparatus 100.
  • the feature amount of the subject output from the feature extraction apparatus 100 is passed to the determination unit 513 of the system control unit 501.
  • the system control unit 501 executes determination processing for determining a subject.
  • the feature extraction apparatus 100 may transmit information including the luminance distribution of the subject from the pixel substrate 120 to the image processing unit 511 of the system control unit 501 to generate image data of the subject.
  • the image processing unit 511 executes processing using the work memory 504 as a work space.
  • the photometric unit 503 detects the luminance distribution of the subject prior to a series of sequences in which the feature extraction device 100 generates pixel values by photoelectrically converting incident light.
  • the photometry unit 503 includes, for example, an AE sensor having about 1 million pixels.
  • the calculation unit 512 of the system control unit 501 receives the output of the photometry unit 503 and calculates the luminance for each area of the scene.
  • the calculation unit 512 determines the shutter speed, aperture value, and ISO sensitivity according to the calculated luminance distribution.
  • the photometry unit 503 may also be used in the feature extraction device 100. Note that the calculation unit 512 also executes various calculations necessary for operating the imaging apparatus 500.
  • the imaging apparatus 500 has a determination function for determining a subject based on the feature amount acquired from the feature extraction apparatus 100.
  • the feature extraction apparatus 100 transmits the feature amount extracted by itself to the system control unit 501. Therefore, the system control unit 501 can determine the subject by acquiring the feature amount without incurring the load of the feature amount extraction process. Further, since the system control unit 501 receives the feature amount as the extraction result, an increase in the communication amount between the feature extraction apparatus 100 and the system control unit 501 is prevented.
  • FIG. 7 is a schematic cross-sectional view of another feature extraction apparatus 101.
  • the feature extraction apparatus 101 has the same structure as the feature extraction apparatus 100 shown in FIG. Therefore, common elements are denoted by the same reference numerals, and redundant description is omitted.
  • the feature extraction apparatus 101 has a different structure from the feature extraction apparatus 100 in that a plurality of multiplication circuit boards 1400, 1401, 1402,... 140n are provided between the AD conversion circuit board 130 and the addition circuit board 150.
  • the plurality of multiplication circuit boards 1400, 1401, 1402,... 140n have a plurality of multiplication circuits 141 that individually correspond to the plurality of pixels 121 of the pixel board 120, similarly to the multiplication circuit board 1400 of the feature extraction device 100. The operation is performed at the timing when the timing trigger 210 received from the outside is received.
  • the multiplication circuit 141 acquires and holds a filter coefficient from the outside when executing the multiplication process.
  • the multiplication circuit 141 can perform multiplication processing while holding filter coefficients having different values for each substrate. Therefore, the multiplication circuit boards 1400 to 140n can execute multiplication processing under different conditions.
  • FIG. 8 is a schematic cross-sectional view for explaining the operation of the feature extraction apparatus 101.
  • the pixel value output from the pixel 1 on the pixel substrate 120 is multiplied by the multiplication circuit 141 formed on the multiplication circuit board 1400 in the upper stage in the figure, and then the through electrode 13 is input to the adder circuit board 150.
  • the pixel value output from the pixel 2 on the pixel substrate 120 is multiplied by the multiplication circuit 141 formed on the multiplication circuit substrate 1401 in the upper part of the drawing, and then input to the addition circuit substrate 150 through the through electrode 13.
  • the pixel value output from the pixel 3 on the pixel substrate 120 is multiplied by the multiplication circuit 141 formed on the multiplication circuit substrate 1402 in the upper part of the drawing, and then input to the addition circuit substrate 150 through the through electrode 13.
  • the filter coefficient a1 in each of the plurality of multiplication circuits 141 provided on the multiplication circuit board 1400 has the same value among the multiplication circuits 141 provided on the same multiplication circuit board 1400.
  • the plurality of multiplication circuits 141 in each board have common filter coefficients b1, c1,. Therefore, when executing the convolution process, the filter coefficients a1, b1, c1,..., N1 can be selected by selecting the substrate on which the multiplication process is executed. That is, in the example shown in FIG.
  • the pixel value output from the pixel 1 is multiplied by the filter coefficient a1
  • the pixel value output from the pixel 2 is multiplied by the filter coefficient b1
  • the pixel value output from the pixel 3 is filtered.
  • Multiplication processing is performed by the coefficient c1.
  • FIG. 9 is a partial timing chart of the feature extraction apparatus 101.
  • multiplication processing is performed by different multiplication circuit boards 1400 to 140n for each pixel 121. Therefore, after first obtaining all the filter coefficients, the multiplication process executed many times in the convolution process corresponding to one filtering for a certain pixel group is shown surrounded by dotted lines A and B in the figure. In addition, it can be processed in parallel and simultaneously.
  • Such a feature extraction apparatus 101 can be used as an image sensor with a feature extraction function by being incorporated in the imaging apparatus 500 instead of the feature extraction apparatus 100, for example.
  • the feature extraction apparatus described in this embodiment includes a multiplication circuit 141, an addition circuit, and a multiplication circuit board 140, an addition circuit board 150, an activation function arithmetic circuit board 170, a pooling circuit board 180, and a coupling circuit board 190, respectively. 151, an activation function operation circuit 171, a pooling circuit 181, and a coupling circuit 191 are arranged.
  • the feature extraction apparatus does not necessarily need to be provided with only one circuit for one substrate. That is, a plurality of circuits may be arranged on one substrate, or one circuit may be arranged across a plurality of substrates.
  • the stacking order of the plurality of substrates in the feature extraction device is not limited to the above example as long as it can be arranged using the through electrodes.
  • the convolution calculation result adding board 160 is not limited to the above example as long as it can add and hold a plurality of values.
  • the feature extraction apparatus described in the present embodiment realizes feature extraction using a convolutional neural network that performs convolution processing in a multilayer neural network using a single sensor having a stacked structure. It is also possible to realize a recursive convolutional neural network by using the same value for the filter coefficient of the convolution process performed a plurality of times. Note that there is no limitation to these methods as long as the feature extraction can be realized by the feature extraction apparatus according to the present embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

特徴抽出素子であって、受光した光を光電変換する複数の受光素子が二次元的に配列される受光基板と、受光基板に積層される１または複数の他の基板を備え、他の基板は、受光素子ごと、または複数の受光素子からなるブロックごとに対応して設けられる複数の乗算回路を有し、複数の乗算回路を用いて複数の受光素子から出力された信号を畳み込み演算する畳み込み処理部と、畳み込み処理部から出力された信号を予め定められた条件に基づいてサンプリングするプーリング処理部と、サンプリングされた信号を複数の乗算回路へ受け渡すための接続配線とを有する。

Description

特徴抽出素子、特徴抽出システム、および判定装置
　本発明は、特徴抽出素子、特徴抽出システム、および判定装置に関する。
　画像をブロックに分割してブロック毎に特徴抽出することにより処理を高速化する方法がある（例えば、特許文献１参照）。
　特許文献１　特開２００８－１４８２９８号公報
　画像として取り込んだデータを処理して特徴抽出するので、画像を生成する処理、生成した画像を転送する処理等に時間がかかり、十分に高速化できたとはいえなかった。
　本発明の第１の態様においては、受光した光を光電変換する複数の受光素子が二次元的に配列される受光基板と、受光基板に積層される１または複数の他の基板を備え、他の基板は、受光素子ごと、または複数の受光素子からなるブロックごとに対応して設けられる複数の乗算回路を有し、複数の乗算回路を用いて複数の受光素子から出力された信号を畳み込み演算する畳み込み処理部と、畳み込み処理部から出力された信号を予め定められた条件に基づいてサンプリングするプーリング処理部と、サンプリングされた信号を複数の乗算回路へ受け渡すための接続配線とを有する特徴抽出素子が提供される。
　本発明の第２の態様においては、上記特徴抽出素子と、畳み込み処理部の畳み込み演算と、プーリング処理部のサンプリングを繰り返すように制御する制御部とを備え、制御部は、畳み込み演算を繰り返し行う際に、それぞれ予め定められたフィルタ係数を用いるように畳み込み処理部を制御する特徴抽出システムが提供される。
　本発明の第３の態様においては、上記の特徴抽出素子と、プーリング処理部からの出力に基づいて抽出される特徴量により撮像対象を判定する判定部とを備える判定装置が提供される。
　上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これら特徴群のサブコンビネーションもまた発明となり得る。
特徴抽出装置１００の模式的断面図である。 特徴抽出装置１００が実行する処理のフローチャートである。 特徴抽出装置１００の模式的断面図である。 特徴抽出装置１００の模式的断面図である。 特徴抽出装置１００のタイミングチャートである。 撮像装置５００のブロック図である。 他の特徴抽出装置１０１の模式的断面図である。 特徴抽出装置１０１の模式的断面図である。 特徴抽出装置１０１の部分的なタイミングチャートである。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、特徴抽出装置１００の模式的断面図である。特徴抽出装置１００は、順次積層されたマイクロレンズ１１０、画素基板１２０、ＡＤ変換回路基板１３０、乗算回路基板１４０、加算回路基板１５０、畳み込み演算結果加算基板１６０、活性化関数演算回路基板１７０、プーリング回路基板１８０、および結合回路基板１９０を備える単体の素子である。
　なお、特徴抽出装置１００は、受光した被写体光束から被写体を判定する場合に用いる特徴量を抽出する。被写体の判定は、一例として、被写体が何かを判別したり、被写体のカテゴリを判別することや、被写体の度合い（例えば夕景度など）を判定することなどが挙げられるが、これらに限らない。ここで抽出される特徴量は、深層学習またはディープラーニングと呼ばれる多層ニューラルネットワークで抽出される特徴に対応する。換言すれば、特徴抽出装置１００は、深層学習により特徴抽出をする学習処理にも用いることができる。
　特徴抽出装置１００における基板の各々は、下地基板１１上にフォトリソグラフィにより形成された配線層１２を有する。それぞれの配線層１２には、配線、素子等により形成された回路が含まれる。即ち、画素基板１２０、ＡＤ変換回路基板１３０、乗算回路基板１４０、加算回路基板１５０、畳み込み演算結果加算基板１６０、活性化関数演算回路基板１７０、プーリング回路基板１８０、結合回路基板１９０は、それぞれ、画素１２１、ＡＤ変換回路１３１、乗算回路１４１、加算回路１５１、ラッチＢ付き加算回路１６１、活性化関数演算回路１７１、プーリング回路１８１、結合回路１９１を有する。
　また、上記の基板は、それぞれの下地基板１１を貫通した貫通電極１３を介して、隣接して積層された他の基板と電気的に接続される。更に、一部の基板は、複数の基板を貫通して形成された貫通電極１４により、隣接していない基板に対しても直接に電気的に接続される。この点については、図３および図４を参照して説明する。
　特徴抽出装置１００において、画素基板１２０は、二次元的且つ周期的に配された複数の画素１２１を有する。画素１２１のそれぞれは、入射した光を光電変換するフォトダイオード等の受光素子を有する。なお、図示の例では、画素基板１２０は、画素１２１を形成する場合の下地となった基板を除去または薄化して、当該下地基板側から入射光を受光する裏面照射型となっている。
　また、画素基板１２０は、個々の受光素子に、リセット、転送、選択を指示するトランジスタと、出力信号を増幅する素子とを有してもよい。画素基板１２０に積層されたマイクロレンズ１１０は、個々の画素１２１に対する入射光を集光して、入射効率を向上させている。
　ＡＤ変換回路基板１３０は、画素基板１２０の画素１２１に個々に対応した複数のＡＤ変換回路１３１、ラッチ１３２および切替スイッチ１３３を有する。これにより、ＡＤ変換回路基板１３０は、画素基板１２０の画素１２１から取得したひとつひとつの画素値を離散化した値か、ラッチ１３２が保持している値かのいずれかを他の基板に出力する。ＡＤ変換回路１３１、ラッチ１３２および切替スイッチ１３３は、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。
　乗算回路基板１４０は、画素基板１２０のそれぞれの画素１２１に個別に対応した乗算回路１４１を有する。すなわち、乗算回路基板１４０は、画素基板１２０に設けられる複数の画素１２１と同じ数の複数の乗算回路１４１を有する。乗算回路１４１は、デジタル乗算器であり、例えば、シフトレジスタにより形成してもよい。乗算回路１４１は、乗算処理を実行する場合のフィルタ係数を外部から取得して保持する。
　換言すれば、乗算回路１４１は、外部から読み込んだフィルタ係数の値に応じて異なる乗算処理を実行できる。図１では、例としてフィルタ係数ａを取得した場合を示す。乗算回路基板１４０における乗算回路１４１も、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。
　なお、乗算回路基板１４０は、画素基板１２０の複数の画素１２１からなるブロックごとに１つの乗算回路１４１を有してもよい。例えば、画素１２１の二次元方向に隣接する４画素を１つのブロックとすると、ブロック内の４つの画素１２１のいずれにも接続する１つの乗算回路１４１を有してもよい。この場合、乗算回路１４１は、ブロック内の４つの画素１２１からの出力に対してそれぞれ順番に乗算処理を行う。
　加算回路基板１５０の加算回路１５１は、乗算回路基板１４０における複数の乗算回路１４１から取得した値を加算して出力する。加算回路１５１の出力は、図中下層の畳み込み演算結果加算基板１６０に出力することができる。加算回路基板１５０における加算回路１５１は、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。
　畳み込み演算結果加算基板１６０は、ラッチＢ付き加算回路１６１、ラッチＡ１６２、およびマルチプレクサ１６３を有する。ラッチＢ付き加算回路１６１、ラッチＡ１６２、およびマルチプレクサ１６３は、相互に接続されると共に、ラッチＢ付き加算回路１６１は貫通電極１３を通じて活性化関数演算回路基板１７０に、マルチプレクサ１６３は貫通電極１３を通じて加算回路基板１５０に、それぞれ接続されている。畳み込み演算結果加算基板１６０は、加算回路基板１５０から出力される複数の信号を加算した後、活性化関数演算回路基板１７０に出力する。
　活性化関数演算回路基板１７０は、加算回路基板１５０の加算回路１５１に対応した数の活性化関数演算回路１７１を有する。活性化関数演算回路基板１７０は、加算回路基板１５０の出力受けて活性化関数演算を実行した後、プーリング回路基板１８０に出力する。活性化関数演算回路基板１７０における活性化関数演算回路１７１は、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。
　プーリング回路基板１８０のプーリング回路１８１および結合回路基板１９０の結合回路１９１は、前段からの入力を順次処理する。結合回路基板１９０における結合回路１９１の出力値は、特徴抽出装置１００の外部に特徴量として出力することができる。プーリング回路１８１および結合回路１９１も、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。
　なお、上記の特徴抽出装置１００において、画素１２１、ＡＤ変換回路１３１、ラッチ１３２、切替スイッチ１３３、乗算回路１４１、加算回路１５１、ラッチＢ付き加算回路１６１、活性化関数演算回路１７１、プーリング回路１８１、結合回路１９１等の各々は、供給されるタイミングトリガ２１０により、図示していない制御部から動作のタイミングを制御される。制御部は、特徴抽出装置１００が備えてもよいし、特徴抽出装置１００を装備した他の装置、例えば、撮像装置の制御部が兼用されてもよい。単体の素子である特徴抽出装置１００と、制御部とによって、特徴抽出システムが構成される。
　上記のように、特徴抽出装置１００は、画像の特徴抽出処理に関与する乗算回路基板１４０、加算回路基板１５０、畳み込み演算結果加算基板１６０、活性化関数演算回路基板１７０、プーリング回路基板１８０、結合回路基板１９０を、受光素子を含む画素基板１２０に積層した構造を有する。これにより、画素値を直接に処理して特徴抽出ができるので、画像をデータ化して格納する処理、格納した画像データを転送する処理が不要になり、処理時間を短縮できる。
　また、画像データのための記憶装置、転送装置等のハードウエアリソースも省くことができるので、特徴抽出装置１００を備えた機器の小型化にも寄与する。更に、画素基板１２０の画素に対応した処理基板を積層するので、画素基板１２０の画素数が増加しても処理速度が低下することが防止される。
　なお、上記の特徴抽出装置１００は、二次元的に配列された複数の画素１２１により入射光を受光するので、画像データを生成する場合に元いる二次元的な輝度分布情報を画素基板１２０から取得することもできる。よって、特徴抽出装置１００は、イメージセンサとして用いることもできる。
　図２は、特徴抽出装置１００において実行する特徴抽出処理の流れ図である。図示のように、特徴抽出処理においては、画素値生成処理Ｓ１０１により生成された画素値に対して、畳み込み処理Ｓ１０２、活性化関数演算処理Ｓ１０３、プーリング処理Ｓ１０４、および結合処理Ｓ１０５が実行され、抽出された特徴量が外部に出力される（ステップＳ１０６）。
　ここで、深層学習に対応した特徴抽出処理において、画素値生成処理Ｓ１０１および特徴量出力Ｓ１０６の実行は、１回の特徴抽出についてそれぞれ１回ずつ実行される。しかしながら、畳み込み処理Ｓ１０２におけるフィルタ関数の読み込み、乗算処理および加算処理は、読み込むフィルタ係数を変化させながら何度も繰り返し実行される。更に、畳み込み処理後の活性化関数演算処理Ｓ１０３及びプーリング処理Ｓ１０４の処理結果は、再び畳み込み処理Ｓ１０２に供され、畳み込み処理Ｓ１０２からプーリング処理Ｓ１０４までの処理が更に繰り返される。なお、活性化関数演算処理Ｓ１０３だけを繰り返したり、畳み込み処理Ｓ１０２と活性化関数演算処理Ｓ１０３を繰り返す場合や、画素値生成処理Ｓ１０１の後に畳み込み処理Ｓ１０２、活性化関数演算処理Ｓ１０３のいずれかまたは両方を省略してプーリング処理Ｓ１０４を行う場合もある。
　図３は、図１に示した特徴抽出装置１００の動作を説明する図である。同図に示す特徴抽出装置１００においては、隣接する基板を接続する貫通電極１３の機能が、ハッチングを施した太線により強調して示される。
　図中で太線により示すように、特徴抽出装置１００において、画素基板１２０における画素１、画素２および画素３の各々は、ＡＤ変換回路基板１３０において対応するＡＤ変換回路１３１、および切替スイッチ１３３を介して、乗算回路基板１４０において対応する乗算回路１４１に接続される。
　一方、乗算回路基板１４０は、画素１から３のそれぞれに対応する乗算回路１４１のフィルタ係数ａ、ｂ、ｃを取得する。画素基板１２０における画素１が出力した画素値は、乗算回路基板１４０において画素１に対応する乗算回路１４１によりフィルタ係数ａを用いて乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。
　同様に、画素基板１２０における画素２が出力した画素値は、乗算回路基板１４０において画素２に対応する乗算回路１４１によりフィルタ係数ｂを用いて乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。更に、画素基板１２０における画素３が出力した画素値は、乗算回路基板１４０において画素３に対応する乗算回路１４１によりフィルタ係数ｃを用いて乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。
　加算回路基板１５０における加算回路１５１は、入力された複数の乗算処理結果を加算し、畳み込み演算結果加算基板１６０に出力する。こうして、平滑化等のフィルタリングと同様な処理が実行される。ただし、乗算回路１４１におけるフィルタ係数が事前の学習により予め定められることにより、一連の処理は畳み込み処理として実行される。
　畳み込み演算結果加算基板１６０におけるラッチＡ１６２は、加算回路１５１から出力された信号を、マルチプレクサ１６３を介して保持する。その後、前回とは異なるフィルタ係数が設定された乗算回路１４１により乗算処理され、乗算処理結果が加算回路１５１で加算されると、ラッチＢ付き加算回路１６１は、加算回路１５１の加算処理結果を、マルチプレクサ１６３を介して保持する。
　ラッチＢ付き加算回路１６１は、ラッチＡ１６２に保持されている前回の加算処理結果を読み出して新たな加算処理結果と加算し、その加算結果はラッチＡ１６２によってふたたび保持される。この処理を予め定められた所定の回数だけ繰り返すことで、同じ画素群（画素１～３）に対して異なるフィルタ係数により畳み込み演算された複数の処理結果を足し合わせることができる。すなわち、これは図２に示す畳み込み処理Ｓ１０２の繰り返しに該当する。このような畳み込み演算は、画素基板１２０におけるすべての画素、すなわち入力画像全体に対して実行される。
　特徴抽出装置１００においては、畳み込み演算結果加算基板１６０による処理結果は、貫通電極１３を通じて活性化関数演算回路基板１７０の活性化関数演算回路１７１に入力される。活性化関数演算回路１７１は、畳み込み処理からプーリング処理へ伝播する情報を変換する。そのような関数としては、下記の式１に示すように、０未満の入力値をすべて０とし、正の値はそのまま返すＲｅＬ　Ｕ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）関数を例示できる。
　ｆ（ｘ）＝ｍａｘ（０，ｘ）・・・（式１）
　活性化関数演算回路１７１の出力は、貫通電極１３を通じてプーリング回路基板１８０のプーリング回路１８１に伝播される。プーリング回路１８１においては、予め定められた条件に基づいてサブサンプリングを実行する。ここで実行されるサブサンプリングの条件としては、あるウインドウサイズで最大の値を代表値とするＭａｘ　Ｐｏｏｌｉｎｇ法を例示できる。
　予め定められる条件は、活性化関数演算回路１７１からの複数の出力をまとめる処理であればよく、平均値を出力するＡｖｅｒａｇｅ　Ｐｏｏｌｉｎｇ法などでもよい。こうして畳み込み処理（ステップＳ１０２）、活性化関数演算処理（ステップＳ１０３）、およびプーリング処理（ステップＳ１０４）までの処理が実行され、画素値から生成されたサブサンプリング値が生成される。
　図４は、図１に示した特徴抽出装置１００の他の動作を説明する図である。図示の特徴抽出装置１００においては、次に説明する動作に関与する貫通電極が、ハッチングを施した太線により強調して示される。
　図中の太線により示すように、特徴抽出装置１００においては、互いに隣接していない基板の間でも信号を送受信できる。よって、例えば、プーリング回路基板１８０の出力を、貫通電極１４を通じて、ＡＤ変換回路基板１３０のラッチ１３２に格納して、再び乗算回路１４１において乗算処理に付すことができる。これにより、サブサンプリングされた値が再び畳み込み処理される。このような畳み込み処理の繰り返しは、フィルタ係数ａ、ｂ、ｃを変えながら、予め定められた回数、例えば２０００回以上実行される。
　更に、ＡＤ変換回路基板１３０、乗算回路基板１４０、加算回路基板１５０、畳み込み演算結果加算基板１６０、活性化関数演算回路基板１７０、およびプーリング回路基板１８０までの間で既定の回数まで処理された信号は、結合回路基板１９０における結合回路１９１により１次元化される。これにより、成分ごとに画像のある特徴量を示す値が得られる。
　図５は、特徴抽出装置１００の動作を示すタイミングチャートである。図中のパルスは、タイミングトリガ２１０として各基板に供給される信号を意味する。
　図示のように、特徴抽出装置１００における各回路は、図１における上層から順に準備タイミングトリガ２１０が供給されることにより、図２に示した処理を、同図に示す順序で実行する特徴抽出装置１００においては、乗算回路基板１４０が、画素１２１の各々に対応した乗算回路１４１を有するので、個々の画素値に対して畳み込み処理を実行できる。これにより、判定精度の高い特徴量を効率よく抽出できる。
　なお、区間Ｐは畳み込み処理Ｓ１０２を繰り返す区間を示す。そして、点線Ａで囲って示す領域は、複数の画素からなる画素群（たとえば３×３画素）に対して、同じサイズのフィルタによって畳み込み演算する区間を示す。さらに、点線Ｂで囲って示す領域は、同じ画素群に対して他のフィルタによって畳み込み演算する区間を示す。
　また、区間Ｑは、畳み込み処理Ｓ１０２からプーリング処理Ｓ１０４を繰り返す区間を示す。なお、実際には、畳み込み処理Ｓ１０２の演算結果加算処理では、加算回路からの信号を入力するたびにラッチＡまたはラッチＢ付き加算回路のタイミングトリガが供給されるが、説明の簡略化のため、最終的な加算処理のタイミングトリガのみを示している。
　なお、結合回路１９１における結合処理は、他の基板における処理に比較すると処理負荷が小さい。よって、特徴抽出装置１００は、結合回路１９１のための結合回路基板１９０を設けなくてもよい。この場合、特徴抽出装置１００は、既定の回数まで繰り返されて最終的にプーリング回路１８１でプーリング処理された信号を外部へ出力する。そして、外部の基板において結合処理が実行される。
　図６は、特徴抽出装置１００を備えた撮像装置５００のブロック図である。撮像装置５００は、特徴抽出装置１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、表示部５０６、および主電源５０７を備える。
　また、撮像装置５００は、被写体光束を特徴抽出装置１００に導く主光学系５２０を備える。主光学系５２０は、撮像装置５００に対して着脱できる交換式であってもよい。
　主光学系５２０は、複数の光学レンズ群から構成され、その焦点面近傍に被写界からの被写体光束を結像させる。なお、図中では瞳近傍に配置された仮想的な１枚のレンズで主光学系５２０を代表して表している。
　駆動部５０２は、システム制御部５０１からの指示に従って特徴抽出装置１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。駆動部５０２は、例えば、特徴抽出装置１００に対して、入射光を光電変換して生成した電荷を蓄積させて画素値を出力させる一連の制御を担う。また、駆動部５０２は、特徴抽出装置１００にタイミングトリガ２１０を供給する。
　特徴抽出装置１００から出力された被写体の特徴量は、システム制御部５０１の判定部５１３に渡される。これにより、システム制御部５０１においては、被写体を判定する判定処理が実行される。なお、特徴抽出装置１００は、その画素基板１２０から、システム制御部５０１の画像処理部５１１に被写体の輝度分布を含む情報を送信して、被写体の画像データが生成させてもよい。画像処理部５１１は、ワークメモリ５０４をワークスペースとして処理を実行する。
　測光部５０３は、特徴抽出装置１００が入射光を光電変換することにより画素値を生成する一連のシーケンスに先立ち、被写体の輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。
　更に、演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部５０３は特徴抽出装置１００で兼用してもよい。なお、演算部５１２は、撮像装置５００を動作させる場合に必要な各種演算も実行する。
　このように、撮像装置５００は、特徴抽出装置１００から取得した特徴量により被写体を判定する判定機能を有する。ここで、特徴抽出装置１００は、それ自体において抽出した特徴量をシステム制御部５０１に送信する。よって、システム制御部５０１は、特徴量抽出処理の負荷を負わずに特徴量を取得して被写体を判定できる。また、システム制御部５０１は、抽出結果としての特徴量を受信するので、特徴抽出装置１００とシステム制御部５０１との間の通信量増加が防止される。
　図７は、他の特徴抽出装置１０１の模式的断面図である。特徴抽出装置１０１は、次に説明する部分を除くと、図１に示した特徴抽出装置１００と同じ構造を有する。そこで、共通の要素には同じ参照番号を付して重複する説明を省く。
　特徴抽出装置１０１は、ＡＤ変換回路基板１３０と加算回路基板１５０との間に、複数の乗算回路基板１４００、１４０１、１４０２・・・１４０ｎを備える点で、特徴抽出装置１００と異なる構造を有する。複数の乗算回路基板１４００、１４０１、１４０２・・・１４０ｎは、特徴抽出装置１００の乗算回路基板１４００と同様に、画素基板１２０の複数の画素１２１に個別に対応した複数の乗算回路１４１を有し、外部から受けたタイミングトリガ２１０を受信したタイミングで動作する。
　乗算回路１４１は、乗算処理を実行する場合のフィルタ係数を外部から取得して保持する。また、乗算回路１４１は、基板毎に値が異なるフィルタ係数を保持して乗算処理を実行できる。よって、乗算回路基板１４００～１４０ｎは、互いに異なる条件の下に乗算処理を実行できる。
　図８は、特徴抽出装置１０１の動作を説明する模式的断面図である。図中にハッチングを施した太線により示すように、画素基板１２０における画素１が出力した画素値は、図中上段の乗算回路基板１４００に形成された乗算回路１４１により乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。また、画素基板１２０における画素２が出力した画素値は、図中上段の乗算回路基板１４０１に形成された乗算回路１４１により乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。更に、画素基板１２０における画素３が出力した画素値は、図中上段の乗算回路基板１４０２に形成された乗算回路１４１により乗算処理された後、貫通電極１３を通じて加算回路基板１５０に入力される。
　なお、乗算回路基板１４００に設けられた複数の乗算回路１４１の各々におけるフィルタ係数ａ１は、同じ乗算回路基板１４００に設けられた乗算回路１４１相互の間で同じ値をとる。同様に、他の乗算回路基板１４０１、１４０２・・・１４０ｎの各々においても、各基板における複数の乗算回路１４１は共通のフィルタ係数ｂ１、ｃ１・・・ｎ１を有する。よって、畳み込み処理を実行する場合は、乗算処理を実行する基板を選択することにより、フィルタ係数ａ１、ｂ１、ｃ１・・・ｎ１を選ぶことができる。すなわち、図８に示す例では、画素１が出力した画素値はフィルタ係数ａ１で乗算処理され、画素２が出力した画素値はフィルタ係数ｂ１で乗算処理され、画素３が出力した画素値はフィルタ係数ｃ１で乗算処理される。
　図９は、特徴抽出装置１０１の部分的なタイミングチャートである。特徴抽出装置１０１においては、画素１２１毎に異なる乗算回路基板１４００～１４０ｎにより乗算処理される。よって、ある画素群に対する１回のフィルタリングに相当する畳み込み処理において何度も実行される乗算処理を、最初にすべてのフィルタ係数を取得した後は、図中に点線Ａ、Ｂで囲って示すように、並列的且つ同時に連続して処理できる。
　よって、乗算処理を行うたびにフィルタ係数を取得、設定する必要がないため、フィルタ係数を取得、設定する時間が短縮され、特徴抽出装置１０１全体のスループットを向上できる。このような特徴抽出装置１０１は、例えば、特徴抽出装置１００に換えて、撮像装置５００に組み込んで、特徴抽出機能付きのイメージセンサとしても使用することができる。
　本実施の形態で説明した特徴抽出装置は、乗算回路基板１４０、加算回路基板１５０、活性化関数演算回路基板１７０、プーリング回路基板１８０、および結合回路基板１９０のそれぞれに、乗算回路１４１、加算回路１５１、活性化関数演算回路１７１、プーリング回路１８１、結合回路１９１が配置されている。ただし、特徴抽出装置は、必ずしも一つの基板に対して一つの回路だけが設けられなくてもよい。すなわち、一つの基板に複数の回路が配置されていたり、一つの回路が複数の基板に亘って配置されてもよい。
　また、特徴抽出装置における複数基板の積層順は、貫通電極を用いて配置可能であれば、上記の例に限らない。さらに、畳み込み演算結果加算基板１６０は、複数の値を加算し、保持できる構成であれば、上記の例に限らない。
　また、本実施の形態で説明した特徴抽出装置は、多層ニューラルネットワークのなかでも、畳み込み処理を行う畳み込みニューラルネットワークを用いた特徴抽出を、積層構造の単体のセンサで実現している。なお、複数回行う畳み込み処理のフィルタ係数に同一の値を用いることで、再帰型畳み込みニューラルネットワークを実現することも可能である。なお、本実施の形態における特徴抽出装置で実現できる特徴抽出であれば、これらの手法に限定されることはない。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１１　下地基板、１２　配線層、１３、１４　貫通電極、１００、１０１　特徴抽出装置、１１０　マイクロレンズ、１２０　画素基板、１２１　画素、１３０　ＡＤ変換回路基板、１３１　ＡＤ変換回路、１３２　ラッチ、１３３　切替スイッチ、１４０、１４００、１４０１、１４０２、１４０ｎ　乗算回路基板、１４１　乗算回路、１５０　加算回路基板、１５１　加算回路、１６０　畳み込み演算結果加算基板、１６１　ラッチＢ付き加算回路、１６２　ラッチＡ、１６３　マルチプレクサ、１７０　活性化関数演算回路基板、１７１　活性化関数演算回路、１８０　プーリング回路基板、１８１　プーリング回路、１９０　結合回路基板、１９１　結合回路、２１０　タイミングトリガ、５００　撮像装置、５０１　システム制御部、５０２　駆動部、５０３　測光部、５０４　ワークメモリ、５０５　記録部、５０６　表示部、５０７　主電源、５１１　画像処理部、５１２　演算部、５１３　判定部、５２０　主光学系

Claims (10)

  1. 　受光した光を光電変換する複数の受光素子が二次元的に配列される受光基板と、
    　前記受光基板に積層される１または複数の他の基板を備え、
    　前記他の基板は、
    　前記受光素子ごと、または複数の前記受光素子からなるブロックごとに対応して設けられる複数の乗算回路を有し、前記複数の乗算回路を用いて前記複数の受光素子から出力された信号を畳み込み演算する畳み込み処理部と、
    　前記畳み込み処理部から出力された信号を予め定められた条件に基づいてサンプリングするプーリング処理部と、
    　前記サンプリングされた信号を前記複数の乗算回路へ受け渡す接続配線と
    　を有する特徴抽出素子。
  2. 　前記畳み込み処理部と前記プーリング処理部は、前記複数の他の基板のうち互いに異なる基板にそれぞれ設けられ、
    　前記接続配線は、前記互いに異なる基板どうしを接続する貫通電極を含む請求項１に記載の特徴抽出素子。
  3. 　前記他の基板として互いに積層される複数の乗算回路基板を有し、
    　乗算回路を有し、
    　前記受光素子または前記ブロックごとに設けられる前記複数の乗算回路は、それぞれが互いに異なる前記乗算回路基板に設けられる請求項１または２に記載の特徴抽出素子。
  4. 　前記複数の乗算回路基板は、互いに異なる畳み込み演算用のフィルタ係数が設定される請求項３に記載の特徴抽出素子。
  5. 　前記畳み込み処理部は、前記複数の受光素子の各々に対応して設けられる前記複数の乗算回路からの出力を加算する加算回路を有し、
    　前記加算回路は、前記他の基板である加算回路基板に設けられる請求項１から４のいずれか一項に記載の特徴抽出素子。
  6. 　前記受光素子からの信号を保持するラッチ回路を有し、前記受光素子からの信号を読み出す読出回路を有し、
    　前記読出回路は、前記他の基板である読出基板に設けられ、
    　前記接続配線は、前記プーリング処理部と前記ラッチ回路との間を接続する請求項１から５のいずれか一項に記載の特徴抽出素子。
  7. 　前記他の基板は、前記畳み込み演算された信号を活性化関数に入力して、その出力信号を前記プーリング処理部に出力する活性化関数演算処理部を有する請求項１から６のいずれか一項に記載の特徴抽出素子。
  8. 　前記複数の受光素子から出力される信号を外部へ出力する請求項１から７のいずれか一項に記載の特徴抽出素子。
  9. 　請求項１から請求項８までのいずれか一項に記載の特徴抽出素子と、
    　前記畳み込み処理部の畳み込み演算と、前記プーリング処理部のサンプリングを繰り返すように制御する制御部と
    　を備え、
    　前記制御部は、前記畳み込み演算を繰り返し行う際に、それぞれ予め定められたフィルタ係数を用いるように前記畳み込み処理部を制御する特徴抽出システム。
  10. 　請求項１から請求項８までのいずれか一項に記載の特徴抽出素子と、
    　前記プーリング処理部からの出力に基づいて抽出される特徴量により撮像対象を判定する判定部と、
    　を備える判定装置。
PCT/JP2016/060574 2016-03-30 2016-03-30 特徴抽出素子、特徴抽出システム、および判定装置 WO2017168665A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018507965A JP6540886B2 (ja) 2016-03-30 2016-03-30 特徴抽出素子、特徴抽出システム、および判定装置
CN201680083514.5A CN108781265B (zh) 2016-03-30 2016-03-30 特征提取元件、特征提取系统及判定装置
PCT/JP2016/060574 WO2017168665A1 (ja) 2016-03-30 2016-03-30 特徴抽出素子、特徴抽出システム、および判定装置
EP16896883.2A EP3439288B1 (en) 2016-03-30 2016-03-30 Feature extraction element, feature extraction system, and determination apparatus
US16/145,875 US10904471B2 (en) 2016-03-30 2018-09-28 Feature extraction element, feature extraction system, and determination apparatus
US17/125,415 US11791363B2 (en) 2016-03-30 2020-12-17 Element, system having the element, and judging apparatus
US18/242,165 US20230411428A1 (en) 2016-03-30 2023-09-05 Element, system having the element, and judging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/060574 WO2017168665A1 (ja) 2016-03-30 2016-03-30 特徴抽出素子、特徴抽出システム、および判定装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/145,875 Continuation US10904471B2 (en) 2016-03-30 2018-09-28 Feature extraction element, feature extraction system, and determination apparatus

Publications (1)

Publication Number Publication Date
WO2017168665A1 true WO2017168665A1 (ja) 2017-10-05

Family

ID=59963695

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060574 WO2017168665A1 (ja) 2016-03-30 2016-03-30 特徴抽出素子、特徴抽出システム、および判定装置

Country Status (5)

Country Link
US (3) US10904471B2 (ja)
EP (1) EP3439288B1 (ja)
JP (1) JP6540886B2 (ja)
CN (1) CN108781265B (ja)
WO (1) WO2017168665A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026812A (ja) * 2016-08-03 2018-02-15 株式会社半導体エネルギー研究所 撮像装置、撮像モジュール、電子機器、及び撮像システム
WO2020145142A1 (ja) * 2019-01-08 2020-07-16 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
WO2021193121A1 (ja) * 2020-03-26 2021-09-30 ソニーグループ株式会社 固体撮像装置および画像処理方法
WO2022018561A1 (ja) * 2020-07-24 2022-01-27 株式会社半導体エネルギー研究所 撮像装置および電子機器
JP2022043269A (ja) * 2017-06-14 2022-03-15 株式会社半導体エネルギー研究所 撮像装置、及び電子機器
WO2022064307A1 (ja) * 2020-09-22 2022-03-31 株式会社半導体エネルギー研究所 撮像装置および電子機器
US20220352235A1 (en) * 2019-09-30 2022-11-03 Nikon Corporation Imaging element and imaging device
US11595578B2 (en) 2020-08-07 2023-02-28 Canon Kabushiki Kaisha Image processing apparatus and image sensing apparatus, methods of controlling the same, and non-transitory computer-readable storage medium
US11917300B2 (en) 2021-03-30 2024-02-27 Canon Kabushiki Kaisha Image pickup apparatus and image pickup element, which are capable of performing appropriate correction processing that suppresses influence of high luminance light, control method for image pickup apparatus, and storage medium
US11956526B2 (en) 2018-12-05 2024-04-09 Sony Group Corporation Image capturing element, image capturing device and method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816105B (zh) * 2019-01-16 2021-02-23 北京时代民芯科技有限公司 一种可配置的神经网络激活函数实现装置
US11037968B2 (en) * 2019-04-05 2021-06-15 Waymo Llc Image sensor architecture
JP2021034749A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333083A (ja) * 1999-05-21 2000-11-30 Hamamatsu Photonics Kk 高速視覚センサ装置
JP2003023573A (ja) * 2001-07-11 2003-01-24 Asahi Kasei Corp ビジョンチップ
JP2005346472A (ja) * 2004-06-03 2005-12-15 Canon Inc 情報処理方法、情報処理装置、撮像装置
JP2016033806A (ja) * 2014-05-15 2016-03-10 株式会社リコー 画像処理装置、画像処理方法及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10294899A (ja) 1998-05-01 1998-11-04 Mitsubishi Electric Corp 画像感知および処理のための装置
US6617565B2 (en) 2001-11-06 2003-09-09 Omnivision Technologies, Inc. CMOS image sensor with on-chip pattern recognition
CN101006717A (zh) * 2004-08-23 2007-07-25 索尼株式会社 摄像装置、摄像结果的处理方法及集成电路
JP4816457B2 (ja) * 2004-09-02 2011-11-16 ソニー株式会社 撮像装置及び撮像結果の出力方法
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
CN101473439B (zh) * 2006-04-17 2013-03-27 全视技术有限公司 阵列成像系统及相关方法
JP4289377B2 (ja) * 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
US7840071B2 (en) 2006-12-12 2010-11-23 Seiko Epson Corporation Method and apparatus for identifying regions of different content in an image
CN101232293B (zh) * 2008-01-03 2012-06-27 湖南大学 电流模式射频接收机前端
US8530880B2 (en) * 2009-07-27 2013-09-10 Hewlett-Packard Development Company, L.P. Reconfigurable multilayer circuit
EP2631872A4 (en) * 2010-10-18 2015-10-28 Univ Osaka CHARACTER EXTRACTION DEVICE, CHARACTER EXTRACTION METHOD AND PROGRAM THEREFOR
TWI462265B (zh) * 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
FR2985140B1 (fr) * 2011-12-22 2014-08-29 Commissariat Energie Atomique Capteur de vision tridimensionnelle integre
US8942481B2 (en) * 2012-03-11 2015-01-27 Universidad De Santiago De Compostela Three dimensional CMOS image processor for feature detection
JP6120655B2 (ja) * 2013-04-18 2017-04-26 キヤノン株式会社 画像形成装置
JP6236296B2 (ja) 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
KR20160083127A (ko) 2013-11-30 2016-07-11 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 이미지 인식 방법 및 시스템
KR101545951B1 (ko) * 2013-12-02 2015-08-21 (주)실리콘화일 이미지 처리 패키지 및 이를 구비하는 카메라 모듈
US9667900B2 (en) * 2013-12-09 2017-05-30 Optiz, Inc. Three dimensional system-on-chip image sensor package
US9613001B2 (en) * 2013-12-20 2017-04-04 Intel Corporation Processing device for performing convolution operations
TWI648986B (zh) * 2014-04-15 2019-01-21 日商新力股份有限公司 攝像元件、電子機器
CN105095902B (zh) * 2014-05-23 2018-12-25 华为技术有限公司 图片特征提取方法及装置
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
CN104158781B (zh) * 2014-08-28 2018-03-27 上海航天电子通讯设备研究所 一种基于fpga的超高速apsk调制方法及调制系统
US9892355B2 (en) * 2015-05-20 2018-02-13 The Code Corporation Barcode-reading system
US9819890B2 (en) * 2015-08-17 2017-11-14 Omnivision Technologies, Inc. Readout circuitry to mitigate column fixed pattern noise of an image sensor
CN108028898B (zh) * 2015-09-16 2020-09-04 佳能株式会社 图像传感器和摄像设备
US10726328B2 (en) * 2015-10-09 2020-07-28 Altera Corporation Method and apparatus for designing and implementing a convolution neural net accelerator
JP6658033B2 (ja) * 2016-02-05 2020-03-04 富士通株式会社 演算処理回路、および情報処理装置
KR20180136202A (ko) * 2017-06-14 2018-12-24 에스케이하이닉스 주식회사 컨볼루션 신경망 및 컨볼루션 신경망을 가진 신경망 시스템
CN111325334A (zh) * 2020-03-02 2020-06-23 天津智模科技有限公司 一种智能处理器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333083A (ja) * 1999-05-21 2000-11-30 Hamamatsu Photonics Kk 高速視覚センサ装置
JP2003023573A (ja) * 2001-07-11 2003-01-24 Asahi Kasei Corp ビジョンチップ
JP2005346472A (ja) * 2004-06-03 2005-12-15 Canon Inc 情報処理方法、情報処理装置、撮像装置
JP2016033806A (ja) * 2014-05-15 2016-03-10 株式会社リコー 画像処理装置、画像処理方法及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7008445B2 (ja) 2016-08-03 2022-01-25 株式会社半導体エネルギー研究所 撮像装置及びチップ
JP2018026812A (ja) * 2016-08-03 2018-02-15 株式会社半導体エネルギー研究所 撮像装置、撮像モジュール、電子機器、及び撮像システム
JP7303842B2 (ja) 2016-08-03 2023-07-05 株式会社半導体エネルギー研究所 撮像装置、チップ、携帯電話
US11699068B2 (en) 2016-08-03 2023-07-11 Semiconductor Energy Laboratory Co., Ltd. Imaging device, imaging module, electronic device, and imaging system
US11805335B2 (en) 2017-06-14 2023-10-31 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
JP2022043269A (ja) * 2017-06-14 2022-03-15 株式会社半導体エネルギー研究所 撮像装置、及び電子機器
JP7224429B2 (ja) 2017-06-14 2023-02-17 株式会社半導体エネルギー研究所 撮像装置、及び電子機器
US11956526B2 (en) 2018-12-05 2024-04-09 Sony Group Corporation Image capturing element, image capturing device and method
WO2020145142A1 (ja) * 2019-01-08 2020-07-16 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
US20220352235A1 (en) * 2019-09-30 2022-11-03 Nikon Corporation Imaging element and imaging device
WO2021193121A1 (ja) * 2020-03-26 2021-09-30 ソニーグループ株式会社 固体撮像装置および画像処理方法
WO2022018561A1 (ja) * 2020-07-24 2022-01-27 株式会社半導体エネルギー研究所 撮像装置および電子機器
US11595578B2 (en) 2020-08-07 2023-02-28 Canon Kabushiki Kaisha Image processing apparatus and image sensing apparatus, methods of controlling the same, and non-transitory computer-readable storage medium
WO2022064307A1 (ja) * 2020-09-22 2022-03-31 株式会社半導体エネルギー研究所 撮像装置および電子機器
US11917300B2 (en) 2021-03-30 2024-02-27 Canon Kabushiki Kaisha Image pickup apparatus and image pickup element, which are capable of performing appropriate correction processing that suppresses influence of high luminance light, control method for image pickup apparatus, and storage medium

Also Published As

Publication number Publication date
EP3439288B1 (en) 2024-04-10
US20190034748A1 (en) 2019-01-31
US20230411428A1 (en) 2023-12-21
CN108781265A (zh) 2018-11-09
JPWO2017168665A1 (ja) 2018-10-18
EP3439288A1 (en) 2019-02-06
US20210105426A1 (en) 2021-04-08
CN108781265B (zh) 2020-11-03
JP6540886B2 (ja) 2019-07-10
EP3439288A4 (en) 2019-11-20
US11791363B2 (en) 2023-10-17
US10904471B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
WO2017168665A1 (ja) 特徴抽出素子、特徴抽出システム、および判定装置
JP7359166B2 (ja) 撮像素子および電子機器
US7932941B2 (en) Image pickup apparatus
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
EP2762941B1 (en) Imaging device and focus parameter value calculation method
CN109068074B (zh) 拍摄元件
KR101886059B1 (ko) 촬상장치 및 그 제어 방법
WO2013015854A1 (en) Method and apparatus for array camera pixel readout
EP2690873A1 (en) Color imaging element, imaging device, and imaging program
JP6746359B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6119117B2 (ja) 電子機器
EP2690871A1 (en) Color image sensor, imaging device, and imaging program
JP6809565B2 (ja) 特徴抽出素子、特徴抽出システム、および判定装置
JP6136103B2 (ja) 撮像装置、撮像素子および読出方法。
JP7115533B2 (ja) 特徴抽出素子、特徴抽出システム、および判定装置
JP2015041838A (ja) 撮像素子および撮像装置
JP2007281720A (ja) 画像処理システム
JP2017108281A (ja) 撮像素子および撮像装置
JP2020061129A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
CN216774886U (zh) 图像传感器及电子设备
JP2018007282A (ja) 撮像素子および撮像装置
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法
JP6507527B2 (ja) 撮像素子および撮像装置
US20240107198A1 (en) Image capturing element and image capturing apparatus
CN112585960A (zh) 摄像元件、摄像装置、摄像方法以及程序

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018507965

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016896883

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016896883

Country of ref document: EP

Effective date: 20181030

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16896883

Country of ref document: EP

Kind code of ref document: A1