WO2021140795A1 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
WO2021140795A1
WO2021140795A1 PCT/JP2020/045049 JP2020045049W WO2021140795A1 WO 2021140795 A1 WO2021140795 A1 WO 2021140795A1 JP 2020045049 W JP2020045049 W JP 2020045049W WO 2021140795 A1 WO2021140795 A1 WO 2021140795A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
error
solid
image sensor
digital data
Prior art date
Application number
PCT/JP2020/045049
Other languages
English (en)
French (fr)
Inventor
鈴木　大
理生 田中
弘二 榎
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2021569764A priority Critical patent/JPWO2021140795A1/ja
Priority to US17/758,080 priority patent/US20230034032A1/en
Publication of WO2021140795A1 publication Critical patent/WO2021140795A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • This disclosure relates to a solid-state image sensor.
  • photodiodes In the image sensor, photodiodes (PD: PhotoDiode) are arranged two-dimensionally on the sensor, and at the time of imaging, the light received by these PDs is photoelectrically converted, and the amount of electric charge is further converted into a digital value. Output digital image data with.
  • PD PhotoDiode
  • ADC Analog to Digital Converter
  • digital data output processing is executed, for example, row by row, which is called a rolling shutter.
  • the time read out in the sensor differs from line to line, so the output image may be distorted due to rolling shutter distortion when a moving object is photographed. In order to suppress this distortion, it is desirable that the AD conversion be performed at high speed.
  • a solid-state image sensor that suppresses image deterioration in an image sensor having a built-in memory is provided.
  • the solid-state imaging device performs digital data on a pixel array in which received light is photoelectrically converted and pixels for outputting an analog signal are arranged in a two-dimensional array, and analog signals output from the pixels.
  • the code unit, and the storage unit that stores the digital data and the code bits, and the digital data stored in the storage unit.
  • the determination unit and the determination unit which decode the code bit, determine whether or not an error has occurred in writing or reading the digital data to the storage unit based on the decoded unit and the decoded code bit. Based on this, it includes a signal processing unit that processes digital data read from the storage unit.
  • the sign bit may be an error detection code or an error correction code.
  • an error correction code it is possible to determine whether or not correction can be performed by a simple process.
  • the determination unit may further determine whether or not the error can be corrected in writing or reading to the storage unit.
  • the signal processing unit may execute error correction based on the sign bit when an error occurs and the determination unit determines that the error can be corrected.
  • the signal processing unit may perform error correction. As described above, specific signal processing other than detection may be executed by the signal processing unit.
  • the signal processing unit may detect defects in the storage unit or pixels when an error occurs and the determination unit determines that the error cannot be corrected. As described above, when the error cannot be corrected by the error correction code, the signal processing unit may determine that the error has occurred at a timing other than the time of writing to the memory, the time of storing, or the time of reading.
  • the signal processing unit may correct the digital data in which the error is detected. As described above, in the case of an error that cannot be corrected by the error correction code, the signal processing unit may perform interpolation and defect correction processing.
  • the determination unit may add error information to the digital data and transmit it to the signal processing unit. In this way, the determination unit may output digital data together with the error information.
  • the error information may include information for determining whether or not an error has occurred. For example, when the sign bit is an error detection code, it may be information on whether or not there is an error.
  • the error information may include information for determining whether or not the error can be corrected. For example, when the sign bit is an error correction code, if there is an error, it may be information for determining whether or not the error can be corrected.
  • the determination unit may add error information to the digital data between the frames of the digital data for the image and transmit the image to the signal processing unit.
  • error information may be stored in blanks between frames in this way.
  • the determination unit may add error information to each packet constituting the digital data and transmit it to the signal processing unit.
  • error information may be stored for each packet data having a predetermined length in this way.
  • the determination unit may add error information to each pixel value based on one or a plurality of pixels constituting the digital data and transmit it to the signal processing unit. In transmitting data to the signal processing unit, error information may be stored for each predetermined number of pixels in this way.
  • the decoding unit may correct the error in the digital data.
  • the decoding unit may execute the correction and transmit the error-corrected data to the signal processing unit. At this time, the fact that the error has been corrected may be further added as error information.
  • the solid-state image sensor may include at least a first substrate on which a pixel array is arranged and at least a second substrate on which a storage unit is arranged.
  • the second substrate may further include a conversion unit, a coding unit, a decoding unit, and a determination unit.
  • the conversion unit, the coding unit, the storage unit, the decoding unit, and the determination unit may be formed on the same chip. When formed in this way, each configuration can operate by interacting with the memory without complicating the interface.
  • the second substrate may further include a signal processing unit. Further, the signal processing unit may be formed on the same chip as the above chip.
  • the first substrate and the second substrate may be formed by being laminated. That is, the solid-state image sensor may include a chip equipped with an image sensor including a pixel array and a chip provided with a storage unit or the like for signal processing in a laminated structure.
  • At least a third board on which a signal processing unit is arranged may be further provided.
  • the signal processing unit may be provided on a substrate different from the second substrate including the storage unit and the like. In this case, the data transfer to the signal processing unit may be performed by the above interface.
  • the first substrate, the second substrate, and the third substrate may be formed by being laminated. That is, the solid-state image sensor includes a chip equipped with an image sensor including a pixel array, a chip provided with a storage unit and the like for simple signal processing, and a chip provided with a signal processing unit for performing complicated signal processing. It may be laminated in a three-stage configuration.
  • At least two substrates may be laminated by the CoC (Chip on Chip) method.
  • At least two substrates may be laminated by a CoW (Chip on Wafer) method.
  • At least two substrates may be laminated by the WoW (Wafer on Wafer) method.
  • the lamination may be formed by any method.
  • the connection between the layers may be any method such as via, micro bump, micro pad and the like.
  • the flowchart which shows the processing of the solid-state image sensor which concerns on one Embodiment.
  • FIG. 1 is a block diagram schematically showing a solid-state image sensor 1 according to the present embodiment.
  • the solid-state image sensor 1 includes an optical system 100, a pixel array 102, an analog circuit 104, a coding unit 106, a storage unit 108, a decoding unit 110, a determination unit 112, and a signal processing unit 114. ..
  • the optical system 100 is, for example, a system provided on the upper part of a pixel array 102 including pixels (light receiving elements), and corrects optical paths, aberrations, etc. in order for the pixel array 102 to detect light.
  • the optical system 100 collects light received from the outside into pixels.
  • the optical system 100 includes a lens (including a virtual lens and the like), and is appropriately installed so that light is received by the pixel array 102.
  • pixels having PDs are arranged in a two-dimensional array.
  • the pixel array 102 receives the intensity of the light received through the optical system 100 at each pixel, converts it into an analog signal by photoelectric conversion, and outputs the signal.
  • the analog circuit 104 is a circuit that processes analog signals output from each pixel of the pixel array 102.
  • the analog circuit 104 may include a conversion circuit such as an ADC (Analog to Digital Converter) that converts an analog signal into digital data.
  • a DAC Digital to Analog Converter
  • An amplifier which amplifies the output from the counter, may be provided.
  • the analog circuit 104 converts an analog signal into digital data and outputs it, for example, in the conversion circuit.
  • the coding unit 106 generates a sign bit for the digital data (image data) output from the conversion circuit of the analog circuit 104.
  • This sign bit may include an error detection code such as a parity code or a checksum. Further, the sign bit may include an error correction code such as a Hamming code or a cyclic code. Specific examples of the sign bit are not limited to the above, and may include an error detection code or an error correction code encoded by another method.
  • the coding unit 106 executes these codings on the digital data to generate a sign bit.
  • the storage unit 108 includes a memory for storing various data. This memory is provided, for example, on one of the substrates provided in the solid-state image sensor 1. The digital data to which the coding bit is added by the coding unit 106 is temporarily stored in the storage unit 108, and is output after being subjected to appropriate signal processing.
  • the decoding unit 110 acquires digital data to which a sign bit is added from the storage unit 108 and decodes it. For example, the digital data output by the coding unit 106 is stored in the storage unit 108, read by the decoding unit 110 based on the timing of executing the signal processing, and decoded. Based on the error detection code or the error correction code, the decoding unit 110 executes error detection of digital data. The decoding unit 110 decodes the code data of the digital data and outputs the data related to the result. Further, the data acquired from the storage unit 108 may also be output at the same timing.
  • the determination unit 112 determines whether or not an error has occurred in writing or reading the digital data to the storage unit 108 based on the error detection result output from the decoding unit 110. If the sign bit is an error correction code, it is determined whether or not the error can be corrected. The determination unit 112 outputs these determination results. When digital data is output from the decoding unit 110, this digital data may also be output.
  • the signal processing unit 114 is a circuit that executes various processes on the digital data converted in the analog circuit 104.
  • the acquired digital data is converted into an image format for output, or is converted into data to be displayed on a display unit connected to an image sensor.
  • the signal processing unit 114 may execute various image processing such as clustering, classification, object detection, motion detection, statistical processing, neural network processing, and filtering processing.
  • the coding unit 106, the storage unit 108, the decoding unit 110, the determination unit 112, and the signal processing unit 114 may be formed as, for example, a digital circuit including elements that perform various logical operations.
  • the signal processing unit 114 may acquire the result from the determination unit 112 and exchange data with the storage unit 108. That is, the data processed by the signal processing unit 114 may be stored in the storage unit 108 again, or the data may be acquired from the storage unit 108 at the timing required for signal processing. Further, the decoding unit 110 may transmit error data to the determination unit 112 and directly transmit data related to digital data to the signal processing unit 114. Further, the storage unit 108 may be provided with a volatile cache memory or the like. In this case, the cache memory or the like may be used to transmit / receive data at a higher speed to or from another element or circuit as needed.
  • the solid-state imaging device 1 appropriately captures images such as an input / output interface for input / output to / from the outside, a selector for selecting a signal to be output to the outside via the input / output interface, and the like. Circuits and the like for this are provided.
  • FIG. 2 is a flowchart showing the processing flow of the solid-state image sensor 1 according to the present embodiment, focusing on the data. In this flowchart, it is assumed that imaging has already started, and operations such as starting imaging are omitted.
  • the pixel array 102 receives light from the outside via the optical system 100 (S100). Subsequently, the pixel array 102 converts the light received by photoelectric conversion into an analog signal and outputs it (S102).
  • the analog circuit 104 including the conversion circuit converts the analog signal output from the pixel array 102 into digital data (S104).
  • the analog circuit 104 may appropriately perform processing necessary for analog signal processing.
  • the coding unit 106 encodes the digital data output from the analog circuit 104 (S106).
  • coding is a concept including generating coding bits and assigning them to data.
  • the digital data itself may include obtaining error detection and error correction codes and converting the digital data into data that can be easily stored in the memory.
  • the coding unit 106 stores the coded digital data in the storage unit 108 (S108).
  • the stored encoded digital data is read at the timing when signal processing is required. For example, when the processing of the signal acquired in the pixel array 102 is executed for each row of pixels, the data of the row is stored in the storage unit 108 until the row to be processed is reached, and the data processing of the row is performed. Is read out according to the timing of performing.
  • the unit for processing is not limited to each line, and processing may be executed in another unit. In this case, as in the case of processing line by line, each data is read out at the timing of processing.
  • the decoding unit 110 reads the data in the row from the storage unit 108. (S112).
  • the digital data to be read is encoded data, and for example, the data output by the analog circuit 104 and the encoded bits are read together. If the line is not yet at the signal processing timing (S110: NO), the standby state is continued.
  • the decoding unit 110 decodes the sign bit of the read digital data (S114).
  • the decoding unit is used together with the digital data.
  • the decoding unit 110 outputs error information based on the decoded bits.
  • the digital data may be transmitted together with the error information.
  • the error information may be 1-bit data indicating whether an error has occurred or whether an error has occurred, for example, when an error detection code is used.
  • the error information is 1-bit data indicating whether an error has not occurred, an error can be corrected, or an error cannot be corrected. There may be. Further, it is not limited to 1 bit, and if it is 2 bits, for example, in the error correction code, there are four states that no error has occurred, an error has occurred, the error can be corrected, or the error cannot be corrected. It may indicate.
  • the determination unit 112 determines whether an error has been detected based on the error information output by the decoding unit 110 (S116). Further, in the case of an error correction code, it may be determined whether or not error correction is possible. Then, these determination results are output. As a determination result, the determination unit 112 may output the error information for determining whether or not an error has occurred and the digital data in which the error has occurred. Further, the determination unit 112 may output, as the determination result, the error information for determining whether or not the error can be corrected and the digital data in which the error has occurred.
  • the signal processing unit 114 executes processing based on the code (S118). For example, when it is determined that no error is detected in writing or reading the memory, necessary processing is executed for the digital data acquired from the storage unit 108 (or the decoding unit 110 or the determination unit 112) (S122). ). If the determination unit 112 determines that the correction is possible, the acquired digital data is corrected for an error based on the correction code (S118), and then other signal processing is executed (S122).
  • the decoding unit 110 may execute error correction. Then, the signal processing unit 114 may receive a notification from the decoding unit 110 that the error has occurred but has been corrected via the determination unit 112.
  • the signal processing unit 114 may store the address of the memory. If an error occurs frequently at the stored address, feedback may be given to, for example, the coding unit 106 so as not to write data to the address. By processing in this way, it is possible to suppress the occurrence of an error in the unique memory.
  • the signal processing unit 114 When the determination unit 112 determines that there is an error and cannot be corrected (S116: NO), the signal processing unit 114 has encountered an error that cannot be corrected in writing or reading the memory, or writing to the memory. It is determined whether an error has occurred in a route other than reading. Based on this result, the signal processing unit 114 may perform correction and interpolation of defective data by, for example, an appropriate image processing method. Then, after that, appropriate signal processing is executed (S122), and the processing for the data is terminated.
  • a pixel defect in the pixel array 102 may be detected by not fixing the pixel value storage area in the storage unit 108. That is, if many errors occur in the output signal from the same pixel, there is a possibility that some kind of defect has occurred in the pixel. In such a case, for example, the signal processing unit 114 may grasp the position of the pixel and appropriately execute signal processing such as correction from surrounding pixels.
  • S116 YES (no error) may be determined, but the pixel value may be determined to be incorrect. Even in such a case, it is possible to detect a pixel defect separately from the occurrence of an error in the memory.
  • the signal processing unit 114 when signal processing is performed on the signal from the image sensor, even if an uncorrectable error occurs in the memory, the signal processing unit 114 appropriately reduces the error. It is possible to execute the processing to be performed, and it is possible to suppress the deterioration of the image quality. For example, as described above, by notifying the signal processing unit 114 of the pixel data damaged by the uncorrectable error, it is possible to perform a process of reducing image quality deterioration such as a correction process from surrounding pixel values. ..
  • the signal processing unit can dynamically detect defective pixels on the sensor, and as described above, by acquiring the position of the defective pixel, an error error that affects the deterioration of image quality It is possible to avoid detection or correction that causes deterioration of image quality.
  • the data error is improved by the memory system alone, it can be processed by the signal processing unit without increasing the ECC correctable bits or making the memory macro redundant, so that the circuit scale can be increased. It can also be reduced.
  • the effects of image quality deterioration and an increase in circuit scale can be reduced, so that the camera is not limited to, for example, ECC memory. This will lead to an expansion of the memory options that can be installed in the system.
  • FIG. 3 is a diagram schematically showing a storage state of each frame in the serial interface according to the embodiment.
  • Digital data is stored in the interface and transferred frame by frame.
  • the digital data includes, for example, a blanking area or a dummy pixel area between frames.
  • the decoding unit 110 or the determination unit 112 may store the error information in the blanking area or the like and transfer it to the signal processing unit 114.
  • the signal processing unit 114 refers to the acquired error information in the blanking area or the like, and if processing such as correction is required for the pixel data, performs processing such as correction for the data in the frame.
  • the error information for example, one frame of error information may be stored in this blanking area.
  • the error information of a certain frame data may be stored in, for example, a blanking area immediately before the frame data, or a blanking area immediately after the frame data. Further, based on the processing timing, the cells may be stored in the blanking area in an area separated by a predetermined number, not immediately before or immediately after.
  • error information may be added using the area provided between frames in the interface of the data to be transferred and transmitted to the signal processing unit 114.
  • FIG. 4 is an example of storing data of the serial interface according to the embodiment.
  • each area may be provided with a control code, a packet header, and a packet footer in the physical layer. Even with such a structure, it is possible to store error information in the interface in the same manner.
  • FIG. 5 is a diagram schematically showing a storage state of data in a frame in the serial interface according to the embodiment.
  • the interface is provided with a control code, a packet header, and a packet footer as in FIG.
  • error information may be incorporated in this packet header portion.
  • the figure shown at the bottom of FIG. 5 is a data of one line extracted from the frame data.
  • a packet is thus configured line by line. That is, the data for each row of pixels in the pixel array 102 may be used as a packet unit. Further, the unit of the packet is not limited to this, and for example, data for each arbitrary number of pixels may be used as a packet.
  • error information may be provided in the packet footer.
  • error information may be added to each packet (pixel value data for one line) of the pixel array 102 in the data to be transferred.
  • FIG. 6 is yet another example schematically showing a data storage state in the serial interface according to the embodiment.
  • data is managed in Byte (8bit) units. Therefore, it is desirable that the error information is also stored in byte units.
  • the error information for 8 pixels may be collectively stored in 1 Byte as shown in FIG.
  • 1-byte data DATA0, etc.
  • the lower column shows the bit string of error information enlarged in the horizontal direction.
  • the error information Byte stores E_INFO0, which is an error information bit for DATA0, E_INFO1, ..., Which is an error information bit for DATA1, and E_INFO7, which is an error information bit for DATA7.
  • error information may be added for each pixel value based on one or a plurality of pixels in the pixel array 102.
  • the error information has a plurality of bits, the number of bytes in which the error information is stored may be increased.
  • the error information may be added as 1 byte to the pixel data for 4 bytes.
  • the interface for sending and receiving data can be freely selected.
  • Data may be transmitted / received to / from the signal processing unit 114 by the interface shown above.
  • the signal processing unit 114 may discard this error information and transmit it to the outside after the image correction, defect processing, and the like are completed.
  • the error correction code or the like By storing the error correction code or the like in this way, it is possible to appropriately execute signal processing for each line or the like without increasing the circuit scale of the signal processing unit 114.
  • FIG. 7 is a diagram showing a configuration example of a substrate (chip) of the solid-state image sensor 1 according to the embodiment.
  • the solid-state image sensor 1 includes a first substrate 200, a second substrate 202, and a third substrate 204.
  • the first substrate 200 is provided as an independent substrate 20.
  • the first substrate 200 includes an optical system 100 and a pixel array 102.
  • the first substrate 200 outputs the analog signal output by the pixel array 102 to the second substrate 202. Any method may be used for this output.
  • the pixel array 102 may mean only the PD light receiving unit that constitutes the pixel. That is, an element other than the PD light receiving portion of the pixel may be provided on the second substrate 202 or the like, and the PD light receiving portion may be provided on the first substrate 200.
  • the second substrate 202 is provided as an independent substrate 22.
  • the second substrate 202 includes an analog circuit 104, a coding unit 106, a storage unit 108, a decoding unit 110, and a determination unit 112.
  • the second substrate 202 acquires the analog signal output from the first substrate 200, executes the above-described processing in the determination unit 112 from the analog circuit 104 on the analog signal, and outputs image data and error information to the third substrate. Output to 204. This output is executed, for example, based on the interface described above and transmitted by any means.
  • the third substrate 204 is provided as an independent substrate 24.
  • the third substrate 204 includes a signal processing unit 114.
  • the third board 204 acquires the image data and error information output from the second board 202, executes the above-mentioned processing, outputs it to the outside, stores it in the storage unit 108, or the like, and performs necessary processing. Execute.
  • the solid-state image sensor 1 may include the first substrate 200, the second substrate 202, and the third substrate 204 as independent substrates.
  • FIG. 8 is a diagram showing a configuration example of the substrate of the solid-state image sensor 1 according to the embodiment.
  • the first substrate 200 and the second substrate 202 are provided as laminated substrates 20.
  • the first substrate 200 includes an optical system 100 and a pixel array 102.
  • the first substrate 200 outputs the analog signal output by the pixel array 102 to the analog circuit 104 of the second substrate 202 connected via, for example, vias, microbumps, micropads, and the like.
  • the pixel array 102 may be configured such that the PD light receiving portion of the pixel array is provided on the first substrate 200 as in FIG. 7.
  • the second substrate 202 includes an analog circuit 104, a coding unit 106, a storage unit 108, a decoding unit 110, and a determination unit 112.
  • the second substrate 202 acquires the analog signal output from the first substrate 200, executes the above-described processing in the determination unit 112 from the analog circuit 104 on the analog signal, and outputs image data and error information to the third substrate. Output to 204. This output is executed, for example, based on the interface described above and transmitted by any means.
  • the third substrate 204 is provided as an independent substrate 24.
  • the third substrate 204 includes a signal processing unit 114.
  • the solid-state image sensor 1 may include a first substrate 200 and a second substrate 202 formed as a laminated semiconductor, and a third substrate 204 independent of the laminated substrate.
  • FIG. 9 is a diagram showing a configuration example of the substrate of the solid-state image sensor 1 according to the embodiment.
  • the first substrate 200 is provided as an independent substrate 20.
  • the first substrate 200 includes an optical system 100 and a pixel array 102.
  • the pixel array 102 may be configured such that the PD light receiving portion of the pixel array is provided on the first substrate 200 as in FIG. 7.
  • the second substrate 202 is provided as an independent substrate 22.
  • the second substrate 202 includes an analog circuit 104, a coding unit 106, a storage unit 108, a decoding unit 110, a determination unit 112, and a signal processing unit 114.
  • the second board 202 acquires the analog signal output from the first board 200, and executes the above-described processing in the signal processing unit 114 from the analog circuit 104 to the analog signal.
  • the solid-state image sensor 1 may include the first substrate 200 and the second substrate 202 as independent substrates.
  • FIG. 10 is a diagram showing a configuration example of a substrate of the solid-state image sensor 1 according to the embodiment.
  • the first substrate 200, the second substrate 202, and the third substrate 204 are provided as laminated substrates 20.
  • the first substrate 200 includes an optical system 100 and a pixel array 102.
  • the first substrate 200 outputs the analog signal output by the pixel array 102 to the analog circuit 104 of the second substrate 202 connected via, for example, vias, microbumps, micropads, and the like.
  • the pixel array 102 may be configured such that the PD light receiving portion of the pixel array is provided on the first substrate 200 as in FIG. 7.
  • the second substrate 202 includes an analog circuit 104, a coding unit 106, a storage unit 108, a decoding unit 110, and a determination unit 112.
  • the second board 202 acquires the analog signal output from the first board 200, executes the above-described processing in the determination unit 112 from the analog circuit 104 on the analog signal, and obtains image data and error information, for example, vias.
  • the output is output to the third substrate 204 connected via a micro bump, a micro pad, or the like. This output may be performed, for example, based on the interface described above.
  • the third substrate 204 is provided as an independent substrate 24.
  • the third substrate 204 includes a signal processing unit 114.
  • the solid-state image sensor 1 may include the first substrate 200, the second substrate 202, and the third substrate 204 formed as a laminated semiconductor. By forming in this way, a large area may be allocated to the signal processing unit 114.
  • FIG. 11 is a diagram showing a configuration example of the substrate of the solid-state image sensor 1 according to the embodiment. Similar to FIG. 10, it is formed as a substrate 20 in which three layers are laminated.
  • the configuration of the first substrate 200 is the same as that in FIG.
  • the second substrate 202 is formed between the first substrate 200 and the third substrate 204, and includes a storage unit 108.
  • the third board 204 includes an analog circuit 104, a coding unit 106, a decoding unit 110, a determination unit 112, and a signal processing unit 114. Data is appropriately written or read out to the storage unit 108 of the second board 202 at the timing when the signal is processed on the third board 204.
  • the solid-state image sensor 1 may include the first substrate 200, the second substrate 202, and the third substrate 204 formed as a laminated semiconductor. By forming in this way, a large area may be allocated to the storage unit 108.
  • the laminated substrates may adopt, for example, a so-called CoC (Chip on Chip) method in which the substrates are cut out from the wafer, separated into individual pieces, and then laminated on top of each other.
  • a so-called CoW (Chip on Wafer) method may be adopted in which any one of the substrates is cut out from the wafer and separated into individual pieces, and then the individualized substrates are attached to the individual pieces or the previous substrate.
  • a so-called WoW (Wafer on Wafer) method in which the substrates are bonded to each other in a wafer state, may be adopted.
  • various joining methods may be used for joining between the substrates.
  • plasma bonding or the like may be used.
  • connection methods such as vias, micro bumps, and micro pads may be used for signal transfer between the stacked layers.
  • the technology related to this disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 12 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether or not the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 13 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 13 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to obtain the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining, it is possible to extract as the preceding vehicle a three-dimensional object that is the closest three-dimensional object on the traveling path of the vehicle 12100 and that travels in substantially the same direction as the vehicle 12100 at a predetermined speed (for example, 0 km / h or more). it can.
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is used via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the technique according to the present disclosure By applying the technique according to the present disclosure to the image pickup unit 12031, it can be formed as a circuit that can be read out at high speed and suppresses an increase in the signal processing circuit.
  • the technology related to this disclosure can be applied to various products.
  • the techniques according to the present disclosure may be applied to endoscopic surgery systems.
  • FIG. 14 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 14 shows a surgeon (doctor) 11131 performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101 to be an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image pickup device, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (light LED radio), and supplies irradiation light to the endoscope 11100 when photographing an operating part or the like.
  • a light source such as an LED (light LED radio)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 11206 uses a gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator.
  • the recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-division manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to correspond to each of RGB. It is also possible to capture the image in a time-division manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of changing the light intensity to acquire an image in a time-divided manner and synthesizing the image, so-called high dynamic without blackout and overexposure. A range image can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the surface layer of the mucous membrane. So-called narrow band imaging, in which a predetermined tissue such as a blood vessel is photographed with high contrast, is performed.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating with excitation light.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 15 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicatively connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image, and the like. Contains information about the condition.
  • the above-mentioned imaging conditions such as frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of CCU11201 based on the acquired image signal. Good.
  • the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape, color, and the like of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the surgical support information and presenting it to the surgeon 11131, it is possible to reduce the burden on the surgeon 11131 and to allow the surgeon 11131 to proceed with the surgery reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electric signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 11402 and the like of the camera head 11102 among the configurations described above.
  • By applying the technique according to the present disclosure to the imaging unit 11402 it is possible to enable high-speed reading as described above, while suppressing an increase in the circuit area.
  • the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • a pixel array in which the received light is photoelectrically converted and the pixels that output an analog signal are arranged in a two-dimensional array.
  • a conversion unit that converts the analog signal output from the pixel into digital data
  • An encoding unit that generates one or more sign bits for the digital data.
  • a storage unit that stores the digital data and the sign bit
  • a decoding unit that decodes the sign bit of the digital data stored in the storage unit, and a decoding unit.
  • a determination unit that determines whether or not an error has occurred in writing or reading the digital data to the storage unit based on the decoded sign bit.
  • a signal processing unit that processes the digital data read from the storage unit based on the output of the determination unit.
  • a solid-state image sensor that detects the digital data read from the storage unit based on the output of the determination unit.
  • the sign bit is an error correction code.
  • the solid-state image sensor according to (1) The solid-state image sensor according to (1).
  • the determination unit further determines whether or not the error can be corrected in writing or reading to the storage unit.
  • the signal processing unit executes error correction based on the sign bit.
  • the signal processing unit detects a defect in the storage unit or the pixel.
  • the solid-state image sensor according to (3) or (4).
  • the signal processing unit corrects the digital data in which the error is detected.
  • the solid-state image sensor according to any one of (3) to (5).
  • the determination unit adds error information to the digital data and transmits it to the signal processing unit.
  • the solid-state image sensor according to any one of (3) to (6).
  • the error information includes information for determining whether or not an error has occurred.
  • the error information includes information for determining whether or not the error can be corrected.
  • the determination unit acquires an image for a plurality of frames
  • the error information is added to the digital data between the frames of the digital data for the image and transmitted to the signal processing unit.
  • the solid-state image sensor according to any one of (7) to (9).
  • the determination unit adds the error information to each packet constituting the digital data and transmits the error information to the signal processing unit.
  • the solid-state image sensor according to any one of (7) to (10).
  • the determination unit adds the error information to each pixel value based on one or a plurality of the pixels constituting the digital data and transmits the error information to the signal processing unit.
  • the solid-state image sensor according to any one of (7) to (11).
  • the decoding unit When the decoding unit decodes the sign bit and detects an error that can be corrected, the decoding unit corrects the error in the digital data.
  • the solid-state image sensor according to any one of (1) to (12).
  • the second substrate further includes the conversion unit, the coding unit, the decoding unit, and the determination unit.
  • the second substrate further includes the signal processing unit.
  • the first substrate and the second substrate are formed by being laminated.
  • the solid-state image sensor according to any one of (14) to (16).
  • the first substrate, the second substrate, and the third substrate are formed by being laminated.
  • At least two substrates are laminated by the CoC (Chip on Chip) method.
  • At least two substrates are laminated by the CoW (Chip on Wafer) method.
  • the solid-state image sensor according to (17) or (19).
  • Solid-state image sensor 100: Optical system, 102: Pixel array, 104: Analog circuit, 106: Coding unit, 108: Storage unit, 110: Decoding part, 112: Judgment unit, 114: Signal processing unit, 20, 22, 24: (laminated) substrate, 200: 1st substrate, 202: Second substrate, 204: Third substrate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［イメージセンサにおける画像劣化を抑制する。］固体撮像装置は、受光した光を光電変換し、アナログ信号を出力する画素が２次元アレイ状に配置される、画素アレイと、前記画素から出力された前記アナログ信号をデジタルデータへと変換する、変換部と、前記デジタルデータについて１又は複数の符号ビットを生成する、符号化部と、前記デジタルデータ及び前記符号ビットを格納する、記憶部と、前記記憶部に記憶された前記デジタルデータについて、前記符号ビットを復号する、復号部と、復号された前記符号ビットに基づいて、前記デジタルデータの前記記憶部への書き込み又は読み出しにおいてエラーが発生したか否かを判定する、判定部と、前記判定部の出力に基づいて、前記記憶部から読み出した前記デジタルデータを処理する、信号処理部と、を備える。

Description

固体撮像装置
　本開示は、固体撮像装置に関する。
　イメージセンサは、センサ上に２次元にフォトダイオード（PD：Photo Diode）が配置されており、撮像時はこれらのPDで受光した光を光電変換し、さらにその電荷量をデジタル値に変換することでデジタルの画像データを出力する。複数画素の行又は列に対して専用のADC（Analog to Digital Converter）を備えるカラムAD方式では、デジタルデータの出力処理を、例えば、行ごとに実行し、これはローリングシャッターと呼ばれる。ローリングシャッターにて撮像処理を行うイメージセンサは、センサ内で読み出しされる時間が行ごとに異なるため、動体を撮影すると出力する画像がローリングシャッター歪みにより歪むことがある。この歪みを抑制するためにAD変換は、高速で行うことが望ましい。
　イメージセンサのAD変換を高速化した場合、後段の信号処理を実行する回路のスループットを高くする必要があるというデメリットがある。これに対応するべく信号処理回路のスループットを高くすると、チップの消費電力、また、回路面積の増大等の新たな問題が発生する。これらの問題点を解決するため、イメージセンサにおいてAD変換した後に、出力値をセンサ内のメモリに保存する手法が実装されている。これによりAD変換の高速化と信号処理回路のスループット低減が実現される。
特開２０１８－０８５６６４号公報
　しかしながら、メモリを内蔵するイメージセンサの場合、画像データを一度メモリに格納してから読み出しを行うため、メモリの読み書きのタイミングにおいてエラーが発生すると、出力画像が誤った値となる可能性がある。データ読み書きのタイミングのエラーの影響を、訂正符号を付与してエラー耐性を持たせることにより小さくする手法があるが、訂正強度を上げるほど回路のコストが高くなるという課題がある。
　そこで、本開示においては、メモリを内蔵するイメージセンサにおける画像劣化を抑制する固体撮像装置を提供する。
　一実施形態によれば、固体撮像装置は、受光した光を光電変換し、アナログ信号を出力する画素が２次元アレイ状に配置される、画素アレイと、画素から出力されたアナログ信号をデジタルデータへと変換する、変換部と、デジタルデータについて１又は複数の符号ビットを生成する、符号化部と、デジタルデータ及び符号ビットを格納する、記憶部と、記憶部に記憶されたデジタルデータについて、符号ビットを復号する、復号部と、復号された符号ビットに基づいて、デジタルデータの記憶部への書き込み又は読み出しにおいてエラーが発生したか否かを判定する、判定部と、判定部の出力に基づいて、記憶部から読み出したデジタルデータを処理する、信号処理部と、を備える。
　符号ビットは、誤り検出符号、又は、誤り訂正符号であってもよい。誤り訂正符号とすることにより、簡易な処理で訂正ができるか否かを判定することもできる。
　判定部はさらに、記憶部への書き込み又は読み出しにおいて、エラーが訂正可能であるか否かを判定してもよい。
　信号処理部は、エラーが発生し、当該エラーが訂正可能であると判定部において判定された場合に、符号ビットに基づいてエラー訂正を実行してもよい。信号処理部が誤り訂正を実行してもよい。このように、検出以外の具体的な信号処理は、信号処理部で実行してもよい。
　信号処理部は、エラーが発生し、当該エラーが訂正不可であると判定部において判定された場合に、記憶部又は画素の欠陥の検出を実行してもよい。このように、信号処理部は、エラーが誤り訂正符号で訂正できない場合には、メモリへの書き込み時、格納時、又は、読み出し時以外のタイミングでエラーが発生したと判断してもよい。
　信号処理部は、エラーが発生し、当該エラーが訂正不可であると判定部において判定された場合に、エラーが検知されたデジタルデータの補正を実行してもよい。このように、誤り訂正符号により訂正できないエラーの場合は、信号処理部が補間、欠陥補正処理を実行してもよい。
　判定部は、デジタルデータにエラー情報を付与して信号処理部へと送信してもよい。このように、判定部がエラー情報とともにデジタルデータを出力してもよい。
　エラー情報は、エラーが発生したか否かを判定する情報を備えてもよい。例えば、符号ビットが誤り検出符号である場合には、エラーがあるか否かの情報であってもよい。
　また、エラー情報は、エラーが訂正可能であるか否かを判定する情報を備えてもよい。例えば、符号ビットが誤り訂正符号である場合には、エラーがある場合に、当該エラーが訂正可能であるか否かを判定する情報であってもよい。
　判定部は、複数のフレームについて画像を取得する場合、画像についてのデジタルデータのフレーム間において、デジタルデータにエラー情報を付与して信号処理部へと送信してもよい。信号処理部へのデータの送信においては、このように、フレーム間のブランクにエラー情報を格納してもよい。
　判定部は、デジタルデータを構成するパケットごとに、エラー情報を付与して信号処理部へと送信してもよい。信号処理部へのデータの送信においては、このように、所定の長さを有するパケットデータごとにエラー情報を格納してもよい。
　判定部は、デジタルデータを構成する１又は複数の画素に基づいた画素値ごとに、エラー情報を付与して信号処理部へと送信してもよい。信号処理部へのデータの送信においては、このように、所定数の画素ごとにエラー情報を格納してもよい。
　復号部は、符号ビットを復号して訂正可能なエラーを検出した場合に、デジタルデータにおけるエラー訂正をしてもよい。このように、信号処理部ではなく、誤り訂正符号で誤りを検出した場合には、復号部が訂正を実行し、この誤り訂正したデータを信号処理部へと送信してもよい。この際、誤り訂正をしたことをエラー情報としてさらに付与してもよい。
　一実施形態によれば、固体撮像装置は、少なくとも画素アレイが配置される、第１基板と、少なくとも記憶部が配置される、第２基板と、を備えてもよい。
　第２基板はさらに、変換部、符号化部、復号部、判定部を備えてもよい。このように、変換部、符号化部、記憶部、復号部、判定部が同一のチップに形成されていてもよい。このように形成すると、インタフェースを複雑にすることなく、メモリとのやりとりで各構成が動作をすることができる。
　第２基板はさらに、信号処理部を備えてもよい。さらに、信号処理部が上記のチップと同一のチップに形成されてもよい。
　第１基板と、第２基板は、積層されて形成されてもよい。すなわち、固体撮像装置は、画素アレイを備えるイメージセンサを搭載したチップと、記憶部等が備えられる信号処理を行うチップを積層構造において備えていてもよい。
　少なくとも信号処理部が配置される、第３基板、をさらに備えていてもよい。このように、記憶部等を備える第２基板とは別の基板に信号処理部が供えられてもよい。この場合、信号処理部へのデータの転送は、上記のインタフェースによるものであってもよい。
　第１基板、第２基板、第３基板は、積層されて形成されてもよい。すなわち、固体撮像装置は、画素アレイを備えるイメージセンサを搭載したチップと、記憶部等が備えられる簡易な信号処理を行うチップと、さらに、複雑な信号処理を行う信号処理部が備えられるチップを３段構成で積層したものであってもよい。
　少なくとも２つの基板は、CoC（Chip on Chip）方式で積層されてもよい。
　少なくとも２つの基板は、CoW（Chip on Wafer）方式で積層されてもよい。
　少なくとも２つの基板は、WoW（Wafer on Wafer）方式で積層されてもよい。このように、複数の基板が積層される場合には、任意の方法で積層を形成してもよい。さらに、層間の接続も、例えば、ビア、マイクロバンプ、マイクロパッド等の任意の方式であってもよい。
一実施形態に係る固体撮像装置の模式的なブロック図。 一実施形態に係る固体撮像装置の処理を示すフローチャート。 一実施形態に係るデジタルデータのシリアルインタフェースにおける格納状態を模式的に示す図。 一実施形態に係るデジタルデータのシリアルインタフェースにおける格納状態を模式的に示す図。 一実施形態に係るデジタルデータのシリアルインタフェースにおける格納状態を模式的に示す図。 一実施形態に係るデジタルデータのシリアルインタフェースにおける格納状態を模式的に示す図。 一実施形態に係る固体撮像装置の基板構成を示す図。 一実施形態に係る固体撮像装置の基板構成を示す図。 一実施形態に係る固体撮像装置の基板構成を示す図。 一実施形態に係る固体撮像装置の基板構成を示す図。 一実施形態に係る固体撮像装置の基板構成を示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。 内視鏡手術システムの概略的な構成の一例を示す図。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図。
　以下、図面を参照して、いくつかの実施形態に係る固定撮像装置について説明する。なお、図面及び説明において、電源電圧Vss、Vdd等には特に触れないが、それぞれの回路素子等に適切に電源電圧が印加されているものとする。
　（固体撮像装置）
　図１は、本実施形態に係る固体撮像装置１を模式的に示すブロック図である。固体撮像装置１は、光学系１００と、画素アレイ１０２と、アナログ回路１０４と、符号化部１０６と、記憶部１０８と、復号部１１０と、判定部１１２と、信号処理部１１４と、を備える。
　光学系１００は、例えば、画素（受光素子）を備える画素アレイ１０２の上部に備えられ、画素アレイ１０２が光を感知するために、光路、収差等の補正をする系である。光学系１００は、外部から受光した光を画素に集光等をする。例えば、光学系１００は、レンズ（仮想的なレンズ等を含む）を備え、適切に画素アレイ１０２において光が受光されるように設置される。
　画素アレイ１０２は、例えば、PDを備える画素が２次元のアレイ状に配置される。画素アレイ１０２は、光学系１００を介して受光した光の強度をそれぞれの画素において受光し、光電変換によりアナログ信号に変換して出力する。
　アナログ回路１０４は、画素アレイ１０２の各画素から出力されたアナログ信号を処理する回路である。例えば、アナログ回路１０４は、アナログ信号をデジタルデータへと変換するADC（Analog to Digital Converter）等の変換回路を備えてもよい。さらに、AD変換を行う際に必要となる信号を出力するDAC（Digital to Analog Converter）、DACからの出力とアナログ信号との電圧とを比較する比較器、比較器からの出力を係数する計数器、計数器からの出力を増幅する増幅器、を備えていてもよい。アナログ回路１０４は、上記のように、例えば、変換回路においてアナログ信号をデジタルデータへと変換し、出力する。
　符号化部１０６は、アナログ回路１０４の変換回路から出力されたデジタルデータ（画像データ）に対する符号ビットを生成する。この符号ビットは、例えば、パリティ符号、チェックサムといった誤り検出符号を備えてもよい。また、符号ビットは、例えば、ハミング符号、巡回符号といった誤り訂正符号を備えてもよい。符号ビットの具体例は上記には限られず、他の方法により符号化された誤り検出符号又は誤り訂正符号を備えていてもよい。符号化部１０６は、これらの符号化をデジタルデータに対して実行し、符号ビットを生成する。
　記憶部１０８は、各種データを保存するメモリを備える。このメモリは、例えば、固体撮像装置１に備えられる基板のうち１つに備えられる。符号化部１０６により符号化ビットが付与されたデジタルデータは、この記憶部１０８に一時的に格納され、適切な信号処理が施されて出力される。
　復号部１１０は、記憶部１０８から符号ビットが付与されたデジタルデータを取得し、復号する。例えば、符号化部１０６が出力したデジタルデータは、記憶部１０８に格納され、信号処理を実行するタイミングに基づいて復号部１１０により読み出され、復号される。誤り検出符号又は誤り訂正符号に基づいて、復号部１１０は、デジタルデータの誤り検出を実行する。復号部１１０は、デジタルデータの符号データを復号して、その結果に関するデータを出力する。また、記憶部１０８から取得したデータも同じタイミングで出力してもよい。
　判定部１１２は、復号部１１０から出力された誤り検出の結果に基づいてデジタルデータの記憶部１０８への書き込み又は読み出しにおいてエラーが発生したか否かを判定する。また、符号ビットが誤り訂正符号である場合には、当該エラーが訂正可能であるか否かを判定する。判定部１１２は、これらの判定結果を出力する。復号部１１０からデジタルデータが出力されている場合には、このデジタルデータも併せて出力してもよい。
　信号処理部１１４は、アナログ回路１０４において変換されたデジタルデータに対して種々の処理を実行する回路である。例えば、取得されたデジタルデータを出力用の画像フォーマットに変換したり、イメージセンサに接続されている表示部に表示させるデータに変換したりする。信号処理部１１４は、この他、クラスタリング、分類、物体検出、動き検出等を実行する、統計処理やニューラルネットワークによる処理、又は、フィルタ処理等の種々の画像処理を実行してもよい。
　符号化部１０６、記憶部１０８、復号部１１０、判定部１１２、信号処理部１１４は、例えば、種々の論理演算を行う素子を備えたデジタル回路として形成されてもよい。
　図１においては、データの流れが一例として実線の矢印として示されているが、これには限られない。例えば、信号処理部１１４は、判定部１１２からの結果を取得するとともに、記憶部１０８とデータのやりとりをしてもよい。すなわち、信号処理部１１４が処理したデータを記憶部１０８に再度格納してもよいし、信号処理に必要なタイミングにおいて、記憶部１０８からデータを取得してもよい。また、復号部１１０は、判定部１１２にはエラーデータを送信し、デジタルデータに関するデータを信号処理部１１４に直接的に送信してもよい。また、記憶部１０８に揮発性のキャッシュメモリ等を備えていてもよく、この場合、キャッシュメモリ等により、他の要素又は回路と、必要に応じてより高速なデータの送受信を行ってもよい。
　さらに、図示していないが固体撮像装置１は、外部との入出力をするための入出力インタフェース、入出力インタフェースを介して外部へと出力する信号を選択するセレクタ等、その他の適切に撮像をするための回路等が備えられる。
　図２は、本実施形態に係る固体撮像装置１の処理の流れをデータに着目して示すフローチャートである。なお、本フローチャートは、既に撮像が開始されているものとし、撮像開始等の操作については省略している。
　まず、光学系１００を介して画素アレイ１０２が外部からの光を受光する（S100）。続いて、画素アレイ１０２は、光電変換により受光した光をアナログ信号へと変換して出力する（S102）。
　次に、変換回路を備えるアナログ回路１０４は、画素アレイ１０２から出力されたアナログ信号をデジタルデータへと変換する（S104）。変換の他にも、アナログ回路１０４は、適宜アナログ信号処理に必要な処理を実行してもよい。
　次に、符号化部１０６は、アナログ回路１０４から出力されたデジタルデータを符号化する（S106）。なお、符号化とは、符号化ビットを生成してデータに付与することを含む概念である。別の例として、デジタルデータ自体を、誤り検出、誤り訂正符号を取得するとともに、メモリに格納しやすいデータへと変換することを含んでもよい。
　次に、符号化部１０６は、符号化したデジタルデータを記憶部１０８へと格納する（S108）。格納された符号化されたデジタルデータは、信号処理が必要となるタイミングに合わせて読み込みがされる。例えば、画素アレイ１０２において取得された信号の処理が画素の行ごとに実行される場合、処理する行まで到達するまでの間、記憶部１０８に当該行のデータが格納され、当該行のデータ処理を行うタイミングにあわせて読み出しされる。なお、処理をする単位は、行ごととは限られず、他の単位により処理を実行してもよい。この場合、行ごとに処理をする場合と同様に、データごとに処理のタイミングに合わせて読み出しされる。
　次に、上記したように、信号処理のタイミングであるか否かを判定する（S110）。例えば、画素の行ごとに信号処理が実行される場合（S110：YES）、当該行のデータが信号処理のタイミングであると判断され、復号部１１０は、記憶部１０８から当該行のデータを読み出して取得する（S112）。読み出すデジタルデータは、符号化されたデータであり、例えば、アナログ回路１０４が出力したデータと、符号化されたビットとを併せて読み出す。まだ当該行が信号処理のタイミングではない場合（S110：NO）、待機状態を継続する。
　次に、復号部１１０は、読み出したデジタルデータの符号ビットを復号する（S114）。デジタルデータ自体が符号化されている場合には、デジタルデータごと復号部する。復号部１１０は、復号したビットに基づいて、エラー情報を出力する。デジタルデータ自体を符号化している場合には、エラー情報ととともに、デジタルデータを送信してもよい。
　上記において、エラー情報は、例えば、誤り検出符号を用いる場合には、エラーが発生していないか、又は、エラーがー発生したかを示す1bitのデータであってもよい。また、別の例として、エラー情報は、誤り訂正符号を用いる場合には、エラーが発生していない若しくは誤り訂正できるエラーであるか、又は、誤り訂正できないエラーであるかを示す1bitのデータであってもよい。また、1bitであるとは限られず、例えば、2bitであれば、誤り訂正符号において、エラーが発生していない、エラーが発生した、誤り訂正可能、又は、誤り訂正不可能、である４つの状態を示すものであってもよい。
　次に、判定部１１２は、復号部１１０が出力したエラー情報に基づき、誤り検出されたかを判定する（S116）。また、誤り訂正符号である場合には、誤り訂正が可能であるか否かを判定してもよい。そして、これらの判定結果を出力する。判定部１１２は、判定結果として、エラーが発生したか否かを判定するエラー情報と、当該エラーが発生したデジタルデータと、を併せて出力してもよい。また、判定部１１２は、判定結果として、エラーが訂正可能であるか否かを判定するエラー情報と、当該エラーが発生したデジタルデータと、を合わせて出力してもよい。
　判定部１１２において、エラーがない、又は、誤り訂正符号から訂正が可能であると判断された場合（S116：YES）、信号処理部１１４は、符号に基づいて処理を実行する（S118）。例えば、メモリの書き込み、読み出しにおいてエラーが検出されなかったと判定された場合には、記憶部１０８（或いは、復号部１１０又は判定部１１２）から取得したデジタルデータについて、必要な処理を実行する（S122）。判定部１１２により訂正可能であると判断された場合には、取得したデジタルデータを訂正符号に基づいてエラーを訂正し（S118）、続いて、その他の信号処理を実行する（S122）。
　なお、誤り訂正符号が付されている場合には、復号部１１０は、誤り訂正を実行してもよい。そして、復号部１１０からエラーが発生したが訂正された旨の通知を、判定部１１２を介して信号処理部１１４が受信してもよい。
　S116：YESであり、さらに、メモリにおいてエラーが発生していると判定された場合には、信号処理部１１４は、当該メモリのアドレスを記憶しておいてもよい。記憶しておいたアドレスにおいて、高頻度でエラーが発生している場合には、当該アドレスに対してデータを書き込まないように、例えば、符号化部１０６にフィードバックしてもよい。このように処理することにより、固有のメモリにおけるエラーの発生を抑制することが可能となる。
　判定部１１２において、エラーがあり、かつ、訂正可能でないと判断された場合（S116：NO）、信号処理部１１４は、メモリの書き込み、読み出しにおいて訂正できないエラーが発生した、又は、メモリの書き込み、読み出し以外の経路においてエラーが発生したか、と判断する。この結果に基づいて、信号処理部１１４は、例えば、適切な画像処理方法により欠陥があるデータの補正、補間を実行してもよい。そして、その後に適切な信号処理を実行し（S122）、当該データに対する処理を終了する。
　S116：NOである場合、例えば、記憶部１０８における画素値の格納領域を固定しないことにより、画素アレイ１０２における画素の欠陥を検出してもよい。すなわち、同じ画素からの出力信号においてエラーが多く発生している場合、当該画素において何らかの欠陥が発生している可能性がある。このような場合には、例えば、信号処理部１１４は、当該画素の位置を把握し、適切に周りの画素からの補正等の信号処理を実行してもよい。
　画素に欠陥がある場合は、別の例として、S116：YES（エラーなし）である一方で、画素値がおかしいと判断されてもよい。このような場合も、メモリにおけるエラー発生とは切り離して、画素の欠陥を検出することが可能となる。
　このように、メモリにおける中性子線によるビット反転等によるランダムに発生したエラーであるのか、又は、メモリ、画素において恒常的に発生するエラーであるのかを、簡単な構成で検出するようにしてもよい。
　以上のように、本実施形態によれば、イメージセンサからの信号に対して信号処理を実行する場合において、メモリにおける訂正不能エラーが発生したとしても、信号処理部１１４が適切に当該エラーを低減する処理を実行することが可能となり、画質の劣化を抑制することができる。例えば、上述したように、訂正不能エラーにより破損した画素データを信号処理部１１４に通知することにより、周りの画素値からの補正処理と言った画質劣化を低減させるような処理を行うことができる。
　また、信号処理部において、センサ上の欠陥画素を動的に検出することが可能であり、上記のように、欠陥画素の位置を取得することにより、画質の劣化に影響するようなエラーの誤検出、又は、画質の劣化を起こすような補正を回避することが可能となる。
　また、メモリシステム単体でデータエラーを向上させる場合にも、ECC訂正可能ビットを増やしたり、メモリマクロの冗長化等をしたりせずに、信号処理部により処理が可能であるので、回路規模を削減することもできる。さらには、エラー率が高いメモリをカメラ等の撮像システムに組み込んだ場合においても、画質劣化と回路規模の増大の影響を小さくすることができるため、例えば、ECCメモリ等に制限されずに、カメラに搭載可能なメモリの選択肢の拡大につながる。
　（インタフェース）
　以下、符号ビットの埋め込み位置についていくつか例を挙げて説明する。判定部１１２等から信号処理部１１４へのデータの送信は、例えば、図２におけるステップS118において以下のようなインタフェースを用いて実行される。なお、これらは、いくつかの例について説明するものであり、本開示の態様をこれらの態様に限定するものではない。
　図３は、一実施形態に関するシリアルインタフェースにおける各フレームの格納状態を模式的に示す図である。デジタルデータは、フレームごとにインタフェースに格納されて転送される。図３に示すように、デジタルデータは、例えば、フレーム間にブランキングエリア、又は、ダミーピクセルエリアを備える。
　復号部１１０又は判定部１１２は、このブランキングエリア等にエラー情報を格納し、信号処理部１１４へと転送してもよい。信号処理部１１４は、取得したブランキングエリア等内のエラー情報を参照し、画素データにおいて補正等の処理が必要であれば、フレーム内のデータについて補正等の処理を実行する。エラー情報は、例えば、１フレーム分のエラー情報をこのブランキングエリアに格納してもよい。あるフレームデータのエラー情報は、例えば、当該フレームデータの直前のブランキングエリア等、又は、直後のブランキングエリア等に格納されてもよい。また、処理タイミングに基づいて、直前、直後ではなく、所定数離れた領域のブランキングエリアに格納されてもよい。
　このように、転送するデータのインタフェース内のフレーム間に備えられる領域を用いてエラー情報を付与して信号処理部１１４へと送信してもよい。
　図４は、一実施形態に係るシリアルインタフェースのデータの格納例である。上記のブランキングエリア等に格納する場合、この図４に示すように、それぞれのエリアに物理層における制御コード、パケットヘッダ、パケットフッタがそれぞれ備えられていてもよい。このような構造であっても、同様にインタフェースにエラー情報を格納することが可能となる。
　図５は、一実施形態に係るシリアルインタフェースにおけるフレーム内のデータの格納状態を模式的に示す図である。インタフェースには、図４と同様に、制御コード、パケットヘッダ、パケットフッタが備えられている。例えば、このパケットヘッダ部分にエラー情報を組み込んでもよい。
　図５の下に示す図は、フレームデータ中、ある１行のデータを取り出したものである。例えば、パケットは、このように１行単位で構成される。すなわち、画素アレイ１０２における画素の１行ごとのデータをそれぞれパケットの単位としてもよい。また、パケットの単位はこれには限られず、例えば、任意の画素数ごとのデータをパケットとしてもよい。
　また、図５の別の例として、パケットフッタにエラー情報を備えてもよい。
　このように、例えば、転送するデータにおける画素アレイ１０２のパケット（１行分の画素値データ）ごとに、エラー情報が付与されていてもよい。
　図６は、一実施形態に係るシリアルインタフェースにおけるデータの格納状態を模式的に示すさらに別の例である。例えば、多くのインタフェースにおいては、データはByte（8bit）単位で管理されている。このため、エラー情報もByte単位で格納されることが望ましい。
　そこで、画素に関するデジタルデータを、例えば、符号化された1画素のデータを1Byteで表すとすると、図６に示すように、８画素分のエラー情報を1Byteにまとめて格納してもよい。例えば、1Byteのデータ（DATA0等）には、誤り訂正等の符号を含んだ符号化された画素データが格納される。
　下の列に示されるのは、エラー情報のビット列を横方向に拡大して示したものである。例えば、エラー情報のByteには、DATA0に対するエラー情報のビットであるE_INFO0、DATA1に対するエラー情報のビットであるE_INFO1、・・・、DATA7に対するエラー情報のビットであるE_INFO7が格納される。
　このように、画素アレイ１０２における１又は複数の画素に基づいた画素値ごとに、エラー情報が付与されてもよい。また、エラー情報のビットが複数ビットである場合には、エラー情報の格納されるByteを増やして対応してもよい。別の例として、例えば、エラー情報が2bitで表される場合には、4Byte分の画素データに対してエラー情報を1Byteとして付与してもよい。
　以上のように、データの送受信を行うインタフェースは、自由に選択することが可能である。上記に示したインタフェースにより、信号処理部１１４とのデータが送受信されてもよい。また、信号処理部１１４は、画像の補正、欠陥処理等が終了した後にこのエラー情報を破棄して外部へと送信してもよい。このように、誤り訂正符号等を格納することにより、信号処理部１１４の回路規模を増大することなく、ラインごと等の信号処理を適切に実行することが可能となる。
　（チップ構成）
　以下、各構成の基板の構成例についていくつか例を挙げて説明する。なお、これらは、いくつかの例について説明するものであり、本開示の形態をこれらの態様に限定するものではない。
　図７は、一実施形態に係る固体撮像装置１の基板（チップ）の構成例を示す図である。固体撮像装置１は、第１基板２００と、第２基板２０２と、第３基板２０４と、を備える。
　第１基板２００は、独立した１の基板２０として備えられる。第１基板２００は、光学系１００と、画素アレイ１０２と、を備える。この第１基板２００は、画素アレイ１０２が出力するアナログ信号を、第２基板２０２へと出力する。この出力は、任意の手法を用いてよい。ここで、画素アレイ１０２は、特に画素を構成するPD受光部のみを意味するものであってもよい。すなわち、画素のPD受光部ではない要素は、第２基板２０２等に備えられ、PD受光部が第１基板２００に備えられる構成であってもよい。
　第２基板２０２は、独立した１の基板２２として備えられる。第２基板２０２は、アナログ回路１０４と、符号化部１０６と、記憶部１０８と、復号部１１０と、判定部１１２と、を備える。この第２基板２０２は、第１基板２００から出力されたアナログ信号を取得し、当該アナログ信号にアナログ回路１０４から判定部１１２において前述した処理を実行し、画像データとエラー情報を、第３基板２０４へと出力する。この出力は、例えば、上述のインタフェースに基づいて実行され、任意の手段により送信される。
　第３基板２０４は、独立した１の基板２４として備えられる。第３基板２０４は、信号処理部１１４を備える。この第３基板２０４は、第２基板２０２から出力された画像データ及びエラー情報を取得し、前述の処理を実行し、外部へと出力、又は、記憶部１０８等へ格納等、必要な処理を実行する。
　このように、固体撮像装置１は、第１基板２００、第２基板２０２、第３基板２０４をそれぞれ独立した基板として備えてもよい。
　図８は、一実施形態に係る固体撮像装置１の基板の構成例を示す図である。
　第１基板２００及び第２基板２０２は、積層された基板２０として備えられる。
　第１基板２００は、光学系１００と、画素アレイ１０２と、を備える。この第１基板２００は、画素アレイ１０２が出力するアナログ信号を、例えば、ビア、マイクロバンプ、マイクロパッド等を介して接続される第２基板２０２のアナログ回路１０４へと出力する。画素アレイ１０２については、図７と同様に画素アレイのPD受光部が第１基板２００に備えられる構成としてもよい。
　第２基板２０２は、アナログ回路１０４と、符号化部１０６と、記憶部１０８と、復号部１１０と、判定部１１２と、を備える。この第２基板２０２は、第１基板２００から出力されたアナログ信号を取得し、当該アナログ信号にアナログ回路１０４から判定部１１２において前述した処理を実行し、画像データとエラー情報を、第３基板２０４へと出力する。この出力は、例えば、上述のインタフェースに基づいて実行され、任意の手段により送信される。
　第３基板２０４は、独立した１の基板２４として備えられる。第３基板２０４は、信号処理部１１４を備える。
　このように、固体撮像装置１は、積層型の半導体として形成された第１基板２００と第２基板２０２、及び、当該積層基板とは独立した第３基板２０４を備えてもよい。
　図９は、一実施形態に係る固体撮像装置１の基板の構成例を示す図である。
　第１基板２００は、独立した１の基板２０として備えられる。第１基板２００は、光学系１００と、画素アレイ１０２と、を備える。画素アレイ１０２については、図７と同様に画素アレイのPD受光部が第１基板２００に備えられる構成としてもよい。
　第２基板２０２は、独立した１の基板２２として備えられる。第２基板２０２は、アナログ回路１０４と、符号化部１０６と、記憶部１０８と、復号部１１０と、判定部１１２と、信号処理部１１４と、を備える。この第２基板２０２は、第１基板２００から出力されたアナログ信号を取得し、当該アナログ信号にアナログ回路１０４から信号処理部１１４において前述した処理を実行する。
　このように、固体撮像装置１は、第１基板２００、第２基板２０２をそれぞれ独立した基板として備えてもよい。
　図１０は、一実施形態に係る固体撮像装置１の基板の構成例を示す図である。
　第１基板２００、第２基板２０２及び第３基板２０４は、積層された基板２０として備えられる。
　第１基板２００は、光学系１００と、画素アレイ１０２と、を備える。この第１基板２００は、画素アレイ１０２が出力するアナログ信号を、例えば、ビア、マイクロバンプ、マイクロパッド等を介して接続される第２基板２０２のアナログ回路１０４へと出力する。画素アレイ１０２については、図７と同様に画素アレイのPD受光部が第１基板２００に備えられる構成としてもよい。
　第２基板２０２は、アナログ回路１０４と、符号化部１０６と、記憶部１０８と、復号部１１０と、判定部１１２と、を備える。この第２基板２０２は、第１基板２００から出力されたアナログ信号を取得し、当該アナログ信号にアナログ回路１０４から判定部１１２において前述した処理を実行し、画像データとエラー情報を、例えば、ビア、マイクロバンプ、マイクロパッド等を介して接続される第３基板２０４へと出力する。この出力は、例えば、上述のインタフェースに基づいて実行されてもよい。
　第３基板２０４は、独立した１の基板２４として備えられる。第３基板２０４は、信号処理部１１４を備える。
　このように、固体撮像装置１は、積層型の半導体として形成された第１基板２００、第２基板２０２、及び、第３基板２０４を備えてもよい。このように形成することにより、信号処理部１１４に大きな面積を割り当ててもよい。
　図１１は、一実施形態に係る固体撮像装置１の基板の構成例を示す図である。図１０と同様に３層が積層された基板２０として形成される。
　第１基板２００の構成は、図１０と同様である。
　第２基板２０２は、第１基板２００と第３基板２０４との間に形成され、記憶部１０８を備える。
　第３基板２０４は、アナログ回路１０４と、符号化部１０６と、復号部１１０と、判定部１１２と、信号処理部１１４と、を備える。第３基板２０４において信号の処理を行うタイミングで、適切に第２基板２０２の記憶部１０８にデータを書き込み、又は、読み出しする。
　このように、固体撮像装置１は、積層型の半導体として形成された第１基板２００、第２基板２０２、及び、第３基板２０４を備えてもよい。このように形成することにより、記憶部１０８に大きな面積を割り当ててもよい。
　なお、積層される基板同士は、例えば、ウエハから切り出して個片化した後に、上下に重ねて張り合わされる、所謂CoC（Chip on Chip）方式を採用してもよい。或いは、基板のいずれか１つをウエハから切り出して個片化した後、個片化した基板を個片か前の基板に貼り合わせる、所謂、CoW（Chip on Wafer）方式を採用してもよい。或いは、基板同士をウエハの状態で貼り合わせる、所謂WoW（Wafer on Wafer）方式を採用してもよい。
　また、基板間の接合は、種々の接合方法を用いてもよい。例えば、プラズマ接合等を用いてもよい。
　また、上述したように、積層された層間の信号の転送は、ビア、マイクロバンプ、マイクロパッドなど、種々の接続方法を用いてもよい。
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１３は、撮像部１２０３１の設置位置の例を示す図である。
　図１３では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１に本開示に係る技術を適用することにより、高速に読み出し可能であり、かつ、信号処理回路の増大を抑制した回路として形成することができる。
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１４は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図１４では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１５は、図１４に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、カメラヘッド１１１０２の撮像部１１４０２等に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、上記と同様に、高速な読み出しを可能とする一方で、回路面積の増大を抑制することが可能となる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
　前述した実施形態は、以下のような形態としてもよい。
（１）
　受光した光を光電変換し、アナログ信号を出力する画素が２次元アレイ状に配置される、画素アレイと、
　前記画素から出力された前記アナログ信号をデジタルデータへと変換する、変換部と、
　前記デジタルデータについて１又は複数の符号ビットを生成する、符号化部と、
　前記デジタルデータ及び前記符号ビットを格納する、記憶部と、
　前記記憶部に記憶された前記デジタルデータについて、前記符号ビットを復号する、復号部と、
　復号された前記符号ビットに基づいて、前記デジタルデータの前記記憶部への書き込み又は読み出しにおいてエラーが発生したか否かを判定する、判定部と、
　前記判定部の出力に基づいて、前記記憶部から読み出した前記デジタルデータを処理する、信号処理部と、
　を備える固体撮像装置。
（２）
　前記符号ビットは、誤り訂正符号である、
　（１）に記載の固体撮像装置。
（３）
　前記判定部はさらに、前記記憶部への書き込み又は読み出しにおいて、エラーが訂正可能であるか否かを判定する、
　（２）に記載の固体撮像装置。
（４）
　前記信号処理部は、エラーが発生し、当該エラーが訂正可能であると前記判定部において判定された場合に、前記符号ビットに基づいてエラー訂正を実行する、
　（３）に記載の固体撮像装置。
（５）
　前記信号処理部は、エラーが発生し、当該エラーが訂正不可であると前記判定部において判定された場合に、前記記憶部又は画素の欠陥の検出を実行する、
　（３）又は（４）に記載の固体撮像装置。
（６）
　前記信号処理部は、エラーが発生し、当該エラーが訂正不可であると前記判定部において判定された場合に、エラーが検知されたデジタルデータの補正を実行する、
　（３）から（５）のいずれかに記載の固体撮像装置。
（７）
　前記判定部は、前記デジタルデータにエラー情報を付与して前記信号処理部へと送信する、
　（３）から（６）のいずれかに記載の固体撮像装置。
（８）
　前記エラー情報は、エラーが発生したか否かを判定する情報を備える、
　（７）に記載の固体撮像装置。
（９）
　前記エラー情報は、エラーが訂正可能であるか否かを判定する情報を備える、
　（７）に記載の固体撮像装置。
（１０）
　前記判定部は、複数のフレームについて画像を取得する場合、画像についての前記デジタルデータのフレーム間において、前記デジタルデータに前記エラー情報を付与して前記信号処理部へと送信する、
　（７）から（９）のいずれかに記載の固体撮像装置。
（１１）
　前記判定部は、前記デジタルデータを構成するパケットごとに、前記エラー情報を付与して前記信号処理部へと送信する、
　（７）から（１０）のいずれかに記載の固体撮像装置。
（１２）
　前記判定部は、前記デジタルデータを構成する１又は複数の前記画素に基づいた画素値ごとに、前記エラー情報を付与して前記信号処理部へと送信する、
　（７）から（１１）のいずれかに記載の固体撮像装置。
（１３）
　前記復号部は、前記符号ビットを復号して訂正可能なエラーを検出した場合に、前記デジタルデータにおけるエラー訂正をする、
　（１）から（１２）のいずれかに記載の固体撮像装置。
（１４）
　少なくとも前記画素アレイが配置される、第１基板と、
　少なくとも前記記憶部が配置される、第２基板と、
　を備える、（１）から（１３）のいずれかに記載の固体撮像装置。
（１５）
　前記第２基板はさらに、前記変換部、前記符号化部、前記復号部、前記判定部を備える、
　（１４）に記載の固体撮像装置。
（１６）
　前記第２基板はさらに、前記信号処理部を備える、
　（１５）に記載の固体撮像装置。
（１７）
　前記第１基板と、前記第２基板は、積層されて形成される、
　（１４）から（１６）のいずれかに記載の固体撮像装置。
（１８）
　少なくとも前記信号処理部が配置される、第３基板、
　をさらに備える、（１４）又は（１５）に記載の固体撮像装置。
（１９）
　前記第１基板、前記第２基板、前記第３基板は、積層されて形成される、
　（１８）に記載の固体撮像装置。
（２０）
　少なくとも２つの基板は、CoC（Chip on Chip）方式で積層される、
　（１７）又は（１９）に記載の固体撮像装置。
（２１）
　少なくとも２つの基板は、CoW（Chip on Wafer）方式で積層される、
　（１７）又は（１９）に記載の固体撮像装置。
（２２）
　少なくとも２つの基板は、WoW（Wafer on Wafer）方式で積層される、
　（１７）又は（１９）に記載の固体撮像装置。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
１：固体撮像装置、
１００：光学系、
１０２：画素アレイ、
１０４：アナログ回路、
１０６：符号化部、
１０８：記憶部、
１１０：復号部、
１１２：判定部、
１１４：信号処理部、
２０、２２、２４：（積層）基板、
２００：第１基板、
２０２：第２基板、
２０４：第３基板

Claims (19)

  1. 　受光した光を光電変換し、アナログ信号を出力する画素が２次元アレイ状に配置される、画素アレイと、
    　前記画素から出力された前記アナログ信号をデジタルデータへと変換する、変換部と、
    　前記デジタルデータについて１又は複数の符号ビットを生成する、符号化部と、
    　前記デジタルデータ及び前記符号ビットを格納する、記憶部と、
    　前記記憶部に記憶された前記デジタルデータについて、前記符号ビットを復号する、復号部と、
    　復号された前記符号ビットに基づいて、前記デジタルデータの前記記憶部への書き込み又は読み出しにおいてエラーが発生したか否かを判定する、判定部と、
    　前記判定部の出力に基づいて、前記記憶部から読み出した前記デジタルデータを処理する、信号処理部と、
    　を備える固体撮像装置。
  2. 　前記符号ビットは、誤り訂正符号である、
    　請求項１に記載の固体撮像装置。
  3. 　前記判定部はさらに、前記記憶部への書き込み又は読み出しにおいて、エラーが訂正可能であるか否かを判定する、
    　請求項２に記載の固体撮像装置。
  4. 　前記信号処理部は、エラーが発生し、当該エラーが訂正可能であると前記判定部において判定された場合に、前記符号ビットに基づいてエラー訂正を実行する、
    　請求項３に記載の固体撮像装置。
  5. 　前記信号処理部は、エラーが発生し、当該エラーが訂正不可であると前記判定部において判定された場合に、前記記憶部又は前記画素アレイにおける画素の欠陥の検出を実行する、
    　請求項３に記載の固体撮像装置。
  6. 　前記信号処理部は、エラーが発生し、当該エラーが訂正不可であると前記判定部において判定された場合に、エラーが検知されたデジタルデータの補正を実行する、
    　請求項３に記載の固体撮像装置。
  7. 　前記判定部は、前記デジタルデータにエラー情報を付与して前記信号処理部へと送信する、
    　請求項３に記載の固体撮像装置。
  8. 　前記エラー情報は、エラーが発生したか否かを判定する情報を備える、
    　請求項７に記載の固体撮像装置。
  9. 　前記エラー情報は、エラーが訂正可能であるか否かを判定する情報を備える、
    　請求項７に記載の固体撮像装置。
  10. 　前記判定部は、複数のフレームについて画像を取得する場合、画像についての前記デジタルデータのフレーム間において、前記デジタルデータに前記エラー情報を付与して前記信号処理部へと送信する、
    　請求項７に記載の固体撮像装置。
  11. 　前記判定部は、前記デジタルデータを構成するパケットごとに、前記エラー情報を付与して前記信号処理部へと送信する、
    　請求項７に記載の固体撮像装置。
  12. 　前記判定部は、前記デジタルデータを構成する１又は複数の前記画素に基づいた画素値ごとに、前記エラー情報を付与して前記信号処理部へと送信する、
    　請求項７に記載の固体撮像装置。
  13. 　前記復号部は、前記符号ビットを復号して訂正可能なエラーを検出した場合に、前記デジタルデータにおけるエラー訂正をする、
    　請求項１に記載の固体撮像装置。
  14. 　少なくとも前記画素アレイが配置される、第１基板と、
    　少なくとも前記記憶部が配置される、第２基板と、
    　を備える、請求項１に記載の固体撮像装置。
  15. 　前記第２基板はさらに、前記変換部、前記符号化部、前記復号部、前記判定部を備える、
    　請求項１４に記載の固体撮像装置。
  16. 　前記第２基板はさらに、前記信号処理部を備える、
    　請求項１５に記載の固体撮像装置。
  17. 　前記第１基板と、前記第２基板は、積層されて形成される、
    　請求項１４に記載の固体撮像装置。
  18. 　少なくとも前記信号処理部が配置される、第３基板、
    　をさらに備える、請求項１４に記載の固体撮像装置。
  19. 　前記第１基板、前記第２基板、前記第３基板は、積層されて形成される、
    　請求項１８に記載の固体撮像装置。
PCT/JP2020/045049 2020-01-06 2020-12-03 固体撮像装置 WO2021140795A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021569764A JPWO2021140795A1 (ja) 2020-01-06 2020-12-03
US17/758,080 US20230034032A1 (en) 2020-01-06 2020-12-03 Solid-state imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-000489 2020-01-06
JP2020000489 2020-01-06

Publications (1)

Publication Number Publication Date
WO2021140795A1 true WO2021140795A1 (ja) 2021-07-15

Family

ID=76788622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045049 WO2021140795A1 (ja) 2020-01-06 2020-12-03 固体撮像装置

Country Status (3)

Country Link
US (1) US20230034032A1 (ja)
JP (1) JPWO2021140795A1 (ja)
WO (1) WO2021140795A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139140A1 (en) * 2022-01-21 2023-07-27 Connaught Electronics Ltd. Error management for an automotive camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568240A (ja) * 1991-09-09 1993-03-19 Mitsubishi Electric Corp 画素補間回路および応用装置
JP2007074471A (ja) * 2005-09-08 2007-03-22 Fuji Xerox Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP2012120158A (ja) * 2010-11-12 2012-06-21 Sony Corp 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
JP2015100092A (ja) * 2013-11-20 2015-05-28 キヤノン株式会社 撮像素子及び撮像システム
JP2018074445A (ja) * 2016-10-31 2018-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8890047B2 (en) * 2011-09-21 2014-11-18 Aptina Imaging Corporation Stacked-chip imaging systems
KR20210055147A (ko) * 2019-11-06 2021-05-17 삼성전자주식회사 이미지 센서 및 그 제조 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568240A (ja) * 1991-09-09 1993-03-19 Mitsubishi Electric Corp 画素補間回路および応用装置
JP2007074471A (ja) * 2005-09-08 2007-03-22 Fuji Xerox Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP2012120158A (ja) * 2010-11-12 2012-06-21 Sony Corp 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
JP2015100092A (ja) * 2013-11-20 2015-05-28 キヤノン株式会社 撮像素子及び撮像システム
JP2018074445A (ja) * 2016-10-31 2018-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139140A1 (en) * 2022-01-21 2023-07-27 Connaught Electronics Ltd. Error management for an automotive camera

Also Published As

Publication number Publication date
US20230034032A1 (en) 2023-02-02
JPWO2021140795A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
WO2017159174A1 (ja) 固体撮像装置、及び、固体撮像装置の製造方法
US11721664B2 (en) Method of manufacturing semiconductor device and semiconductor device
US11770638B2 (en) Solid-state electronic circuit, image pickup element, method of controlling image pickup element, and electronic device
JP2019047237A (ja) 撮像装置、および電子機器、並びに撮像装置の製造方法
WO2020059464A1 (ja) 固体撮像システム、固体撮像装置、情報処理装置、画像処理方法、情報処理方法及びプログラム
JP6869717B2 (ja) 撮像装置および撮像装置の製造方法、並びに、電子機器
WO2021106732A1 (ja) 撮像装置および電子機器
US11778352B2 (en) Imaging apparatus and electronic device
WO2018142856A1 (ja) 電子部品、カメラモジュール
WO2021131904A1 (ja) 撮像装置および撮像装置の製造方法
WO2021140795A1 (ja) 固体撮像装置
WO2021193266A1 (ja) 固体撮像装置
US20210111213A1 (en) Imaging device
WO2019188131A1 (ja) 半導体装置および半導体装置の製造方法
WO2018142834A1 (ja) 電子部品、カメラモジュール及び電子部品の製造方法
WO2018142727A1 (ja) 電子部品及びカメラモジュール
WO2022009674A1 (ja) 半導体パッケージ及び半導体パッケージの製造方法
WO2021049302A1 (ja) 撮像装置、電子機器、製造方法
WO2021100338A1 (ja) 固体撮像素子
JP7504802B2 (ja) 固体撮像素子、固体撮像装置及び電子機器
WO2020158400A1 (ja) 固体撮像装置および電子機器
WO2023079842A1 (ja) 固体撮像装置、撮像システム及び撮像処理方法
US20240006450A1 (en) Imaging device, electronic device, and manufacturing method
WO2021215299A1 (ja) 撮像素子および撮像装置
WO2019239767A1 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911390

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569764

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911390

Country of ref document: EP

Kind code of ref document: A1