WO2023176125A1 - 固体撮像装置および撮像データの出力方法 - Google Patents

固体撮像装置および撮像データの出力方法 Download PDF

Info

Publication number
WO2023176125A1
WO2023176125A1 PCT/JP2023/001035 JP2023001035W WO2023176125A1 WO 2023176125 A1 WO2023176125 A1 WO 2023176125A1 JP 2023001035 W JP2023001035 W JP 2023001035W WO 2023176125 A1 WO2023176125 A1 WO 2023176125A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
output
solid
imaging
timing
Prior art date
Application number
PCT/JP2023/001035
Other languages
English (en)
French (fr)
Inventor
良徳 村松
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023176125A1 publication Critical patent/WO2023176125A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present technology relates to a solid-state imaging device and a method for outputting imaging data. Specifically, the present technology relates to a solid-state imaging device that outputs imaging data having different resolutions, and a method for outputting imaging data.
  • a scanning section and a storage section for low-resolution video are provided separately from a scanning section and a storage section for high-resolution video. Then, when acquiring a high-resolution image, the switching unit is switched to a scanning unit and a storage unit for high-resolution images, and when acquiring a low-resolution image, it is switched to a scanning unit and a storage unit for low-resolution images (see, for example, Patent Document 1).
  • the above-mentioned conventional technology requires separate systems of scanning units for high-resolution video and low-resolution video, and also requires a frame memory for storing video data output from the pixel array unit.
  • This technology was created in view of this situation, and its purpose is to simplify the configuration for outputting imaging data and low-resolution data.
  • the solid-state imaging device includes a converting section and a switching section that switches between outputting the imaging data and outputting the low resolution data based on a setting of a specified area on the imaging area of the imaging section. This brings about the effect that the imaging data and low resolution data are output from the solid-state imaging device without separately providing a scanning system for reading out imaging data and a scanning system for reading out low resolution data.
  • the camera may further include an area control unit that controls a specified area on the imaging area of the imaging unit and controls switching of the switching unit based on the position of the specified area. This brings about the effect that the image data and low resolution data are output from the solid-state imaging device while controlling the extraction position of the image data.
  • the switching unit may output the imaged data for a row that includes the designated area, and output the low resolution data for a row that does not include the designated area. This brings about the effect that the imaging data and the low-resolution data are output separately for each row.
  • the image forming apparatus may further include a first memory that stores one line of the low-resolution data generated by the resolution conversion section and outputs it to the switching section. This brings about the effect that the output timing of low resolution data is adjusted for each row.
  • the area control unit may include a timing controller that controls the output timing of the first memory and the switching timing of the switching unit based on the setting of the specified area. This brings about the effect that the output timing of low resolution data is adjusted.
  • the timing controller outputs the output of the first memory so that the low resolution data is output to a position other than the specified area, and the imaging data is output to a position of the specified area.
  • the timing and the switching timing of the switching section may be controlled. This brings about the effect that the imaging data of the designated area and the low resolution data of the entire imaging area including the designated area are output separately.
  • the image capturing apparatus may further include a second memory that stores one line of imaging data generated by the imaging section and outputs it to the switching section. This brings about the effect that the output timing of image data is adjusted for each row.
  • the switching unit may output the low-resolution data stored in the first memory and the imaged data stored in the second memory row by row so that they do not overlap. good. This brings about an effect in which the imaging data of the designated area is output to a position other than the designated area, and the imaging data of the designated area and the low resolution data of the entire imaging area including the designated area are output separately.
  • the area control unit includes a timing controller that controls output timing of the first memory, output timing of the second memory, and switching timing of the switching unit based on the setting of the specified area. may be provided. This brings about the effect that the output timing of the imaging data and low resolution data of the designated area is adjusted.
  • the timing controller controls the timing controller so that the imaging data is output for a range of the designated area, and the low resolution data is output to a position other than the output position of the imaging data.
  • the output timing of the first memory, the output timing of the second memory, and the switching timing of the switching unit may be controlled. This brings about the effect that the imaging data and low resolution data of the specified area are output.
  • the timing controller controls the timing controller so that the low-resolution data is output for a range of the designated area, and the imaging data is output to a position other than the output position of the low-resolution data.
  • the output timing of the first memory, the output timing of the second memory, and the switching timing of the switching section may be controlled. This brings about the effect that low-resolution data and imaging data of the specified area are output.
  • the second aspect is based on a procedure for generating imaging data, a procedure for lowering the resolution of the imaging data and converting it into low-resolution data, and setting a specified area on the imaging area where the imaging data is imaged.
  • the present invention provides a method for outputting imaged data, comprising a step of switching between outputting the imaged data and outputting the low resolution data. This brings about the effect that image data and low resolution data are output without separately providing a scanning system for reading out image data and a scanning system for reading out low resolution data.
  • FIG. 1 is a block diagram showing a configuration example of a solid-state imaging device according to a first embodiment.
  • FIG. FIG. 1 is a block diagram illustrating a configuration example of a camera system to which a solid-state imaging device according to a first embodiment is applied.
  • FIG. 2 is a block diagram showing a configuration example of an image processing section used in the solid-state imaging device according to the first embodiment.
  • 5 is a timing chart showing read timing of imaging data and low resolution data according to the first embodiment.
  • FIG. FIG. 3 is a diagram showing an example of imaging data and low resolution data according to the first embodiment.
  • FIG. 2 is a block diagram showing a configuration example of a solid-state imaging device according to a second embodiment.
  • FIG. 7 is a timing chart showing read timing of imaging data and low resolution data according to the second embodiment.
  • FIG. 7 is a diagram showing an example of imaging data and low resolution data according to the second embodiment.
  • FIG. 7 is a block diagram showing a configuration example of a solid-state imaging device according to a third embodiment.
  • 12 is a timing chart showing read timing of imaging data and low resolution data according to a third embodiment. It is a figure showing an example of imaging data and low resolution data concerning a 3rd embodiment.
  • 12 is a timing chart showing read timing of imaging data and low resolution data according to a fourth embodiment. It is a figure showing an example of imaging data and low resolution data concerning a 4th embodiment.
  • FIG. 7 is a block diagram showing a configuration example of a solid-state imaging device according to a fifth embodiment.
  • First embodiment (example in which imaging data is output for rows that include a ROI (Region Of Interest) region, and low-resolution data is output for rows that do not include an ROI region) 2.
  • Second embodiment (example of outputting low resolution data to a position other than the ROI region and outputting imaging data to a position of the ROI region) 3.
  • Third embodiment (example in which imaging data is output for the range of the ROI region and low resolution data is output at a position other than the output position of the imaging data) 4.
  • Fourth embodiment (example in which low resolution data is output for the range of the ROI region and the imaging data is output to a position other than the output position of the imaging data) 5.
  • Fifth embodiment (example in which solid-state imaging devices are stacked)
  • FIG. 1 is a block diagram showing a configuration example of a solid-state imaging device according to a first embodiment.
  • the solid-state imaging device 101 includes an imaging section 110, an ROI control section 112, a scaler 122, a selector 132, an image processing section 142, and an output interface 152.
  • the imaging section 110, ROI control section 112, scaler 122, selector 132, image processing section 142, and output interface 152 may be formed on one semiconductor chip, or may be formed separately on a plurality of semiconductor chips. good.
  • the imaging unit 110 generates imaging data D1.
  • the imaging section 110 includes a pixel array section 111, a vertical scanning section 121, a column signal processing section 131, a horizontal scanning section 141, and a timing control section 151.
  • the pixel array section 111 includes a plurality of pixels 201.
  • the pixels 201 are arranged in a matrix along the row direction (also referred to as row direction or horizontal direction) and the column direction (also referred to as column direction or vertical direction).
  • the pixel 201 photoelectrically converts light from a subject to generate a pixel signal.
  • the vertical scanning unit 121 scans the pixels 201 to be read in the column direction.
  • the vertical scanning section 121 may be configured using a vertical register.
  • the column signal processing unit 131 processes signals transmitted from each pixel 201 in the column direction.
  • the column signal processing unit 131 can perform correlated double sampling (CDS) processing based on signals transmitted from each pixel 201 in the column direction.
  • the column signal processing section 131 includes a column ADC 231.
  • the column ADC (Analog to Digital Converter) 231 can perform AD (Analog to Digital) conversion processing for each column based on the signal transmitted from each pixel 201 in the column direction.
  • the horizontal scanning unit 141 scans the pixels 201 to be read in the row direction.
  • the horizontal scanning unit 141 may be configured using a horizontal register.
  • the timing control section 151 controls the vertical scanning section 121, the column signal processing section 131, and the horizontal scanning section 141.
  • the timing control unit 151 can control the scanning timing in the column direction, the scanning timing in the row direction, and the processing timing of the column signal processing unit 131.
  • the scaler 122 performs resolution conversion of the imaging data D1 generated by the imaging unit D1.
  • the scaler 122 can reduce the resolution of the image data D1 and convert it into low resolution data D2.
  • the scaler 122 is an example of a resolution converter described in the claims.
  • the selector 132 switches between outputting the imaging data D1 and outputting the low resolution data D2. For example, the selector 132 outputs imaging data D1 for rows that include the ROI region, and outputs low resolution data D2 for rows that do not include the ROI region.
  • the ROI region is set on the imaging region of the imaging section 110. Note that the ROI region is an example of a specified region described in the claims.
  • the selector 132 is an example of a switching unit described in the claims.
  • the ROI control unit 112 controls the ROI area on the imaging area of the imaging unit 110, and controls switching of the selector 132 based on the position of the ROI area.
  • the control of the ROI region may be performed by the ROI control unit 112 itself, or may be performed based on instructions from the outside. Control of the ROI region may be performed, for example, based on at least one of feature detection, histogram detection, motion tracking, feature tracking, histogram tracking, and person tracking.
  • the ROI control unit 112 includes a timing controller 212.
  • the timing controller 212 controls the switching timing of the selector 132.
  • the timing controller 212 can control the switching timing of the selector 132 so that the imaging data D1 is output for rows that include the ROI region, and the low resolution data D2 is output for rows that do not include the ROI region. can.
  • the ROI region may be set in the entire imaging region.
  • the timing controller 212 can directly output the image data D1 of all pixels to the image processing unit 142 via the selector 132.
  • the ROI control unit 112 outputs the imaging data D1 of all pixels generated by the imaging unit 110 from the output interface 152, and the solid-state imaging device 101 is operated as normal. It can be operated as an imaging device.
  • the timing controller 212 can cause the image processing unit 142 to output the low resolution data D2 for the entire imaging area via the selector 132.
  • the ROI control unit 112 can output the imaging data D1 generated by the imaging unit 110 from the output interface 152 after lowering the resolution of all pixels.
  • the ROI control unit 112 is an example of a region control unit described in the claims.
  • the image processing unit 142 performs image processing on the imaging data D1 and the low resolution data D2 outputted via the selector 132.
  • the image processing unit 142 may perform, for example, black level adjustment, digital gain processing, defect correction processing, or correction processing for distortion generated in the optical system.
  • the output interface 152 outputs data subjected to image processing by the image processing unit 142 to the outside of the solid-state imaging device 101. At this time, the output interface 152 can convert the output of the image processing unit 142 into data so that the output formats of the imaging data D5 and low resolution data D6 output from the solid-state imaging device 101 conform to the standards of the destination. can.
  • This standard may be, for example, MIPI (Mobile Industry Processor Interface).
  • FIG. 2 is a block diagram showing a configuration example of a camera system to which the solid-state imaging device according to the first embodiment is applied.
  • a camera system 100 includes a solid-state imaging device 101, an image signal processor 103, a memory 104, and a clock generator 105.
  • the image signal processor 103 generates a composite image D7 based on the imaging data D5 and the low resolution data D6 output from the solid-state imaging device 101. Further, the image signal processor 103 can instruct the solid-state imaging device 101 about the ROI region and the operation mode of the solid-state imaging device 101.
  • the operation modes of the solid-state imaging device 101 may include, for example, a combination mode, a high resolution mode, and a low resolution mode.
  • the compositing mode is, for example, a mode in which the solid-state imaging device 101 outputs imaging data D5 for rows that include the ROI region, and outputs low-resolution data D6 for rows that do not include the ROI region.
  • the high-resolution mode is a mode in which the solid-state imaging device 101 outputs image data D5 for all pixels of the solid-state imaging device 101.
  • the low resolution mode is a mode in which the solid-state imaging device 101 outputs low-resolution data D6 for the entire imaging region of the solid-state imaging device 101.
  • the image signal processor 103 includes a processing section 113, an input interface 123, an output interface 133, and an external control section 143.
  • the processing unit 113 performs image processing, compositing processing, ROI processing, and the like.
  • image processing the processing unit 113 performs ISP (Image Signal Processing) processing and the like.
  • ISP Image Signal Processing
  • the processing unit 113 generates a composite image D7 based on the imaging data D5 and the low resolution data D6.
  • the processing unit 113 can appropriately set the insertion position and magnification of the imaging data D5 of the portion corresponding to the ROI region in the composite image D7.
  • the processing unit 113 determines the ROI region based on at least one of feature detection, histogram detection, motion tracking, feature tracking, histogram tracking, and person tracking, for example.
  • the input interface 123 receives the imaging data D5 and low resolution data D6 output from the solid-state imaging device 101.
  • the output interface 133 transmits the composite image D7 generated by the processing unit 113.
  • the output interface 133 may conform to a network protocol used in a web conference camera or the like.
  • the external control unit 143 instructs the solid-state imaging device 101 about the ROI region and the operation mode of the solid-state imaging device 101.
  • the external control unit 143 may specify the ROI region based on address specification or the like.
  • the memory 104 stores the imaging data D5 and low resolution data D6 output from the solid-state imaging device 101, and stores the composite image D7 generated by the processing unit 113.
  • a clock generator 105 generates a clock that operates the image signal processor 103.
  • the solid-state imaging device 101 may include an internal control unit 162 that receives commands from the external control unit 143.
  • the internal control unit 162 can instruct the ROI control unit 112 about the ROI region based on a command from the external control unit 143.
  • the internal control unit 162 controls the ROI control unit 112 so that, for example, the imaging data D5 is output for rows that include the ROI region, and the low resolution data D6 is output for rows that do not include the ROI region. control.
  • the internal control unit 162 controls the ROI control unit 112 so that the image data D1 is output from the selector 132 for all pixels of the solid-state imaging device 101.
  • the internal control unit 162 controls the ROI control unit 112 so that the selector 132 outputs low resolution data D2 for the entire imaging region of the solid-state imaging device 101.
  • FIG. 3 is a block diagram showing a configuration example of an image processing section used in the solid-state imaging device according to the first embodiment. Note that a in the same figure indicates a first example of the image processing section, b in the same figure indicates a second example of the image processing section, and c in the same figure indicates a third example of the image processing section.
  • the image processing section 142 includes a black level adjustment section 241 and a digital gain section 242.
  • the black level adjustment unit 241 adjusts the black level of the imaging data D1 and the low resolution data D2.
  • the digital gain section 242 adjusts the digital gain of the imaging data D1 and the low resolution data D2.
  • the image processing section 142 includes a black level adjustment section 241, a digital gain section 242, and a defect correction section 243.
  • the defect correction unit 243 corrects defects in the imaging data D1 and the low resolution data D2.
  • the image processing section 142 includes a black level adjustment section 241, a digital gain section 242, a defect correction section 243, and an ISP processing section 244.
  • the ISP processing unit 244 performs pixel interpolation on the image data D1 and low resolution data D2, and performs noise reduction processing.
  • FIG. 4 is a timing chart showing the read timing of imaging data and low resolution data according to the first embodiment.
  • an example is shown in which the vertical and horizontal dimensions of the image data D1 are reduced to 1/4 as the low resolution data D2.
  • exposures EX1 to EX8 and readout/outputs RA1 to RA8 for eight lines before and after the ROI line are shown.
  • the imaging unit 110 exposures EX1 to EX8 are sequentially started row by row, and pixel signal readout/output RA1 to RA8 are performed row by row.
  • reading/output RA4 of the low resolution data D6 of the row that does not include the ROI region is performed.
  • the output from the selector 132 is switched from the low resolution data D2 to the imaging data D1.
  • reading/outputting of the imaging data D5 of each row including the ROI region RA5 to RA8 is performed.
  • the imaging unit 110 may reduce power consumption by performing line thinning EP in the read/output RA1 to RA3 before the ROI line.
  • FIG. 5 is a diagram showing an example of imaging data and low resolution data according to the first embodiment.
  • a in the same figure is a diagram showing an example of one frame of imaging data D5 and low resolution data D6 output from the solid-state imaging device 101.
  • b in the same figure is a diagram showing an example of a composite image D7 synthesized based on the imaging data D5 and the low resolution data D6 of a in the figure.
  • the ROI row a in the figure corresponds to the ROI row in FIG. 4.
  • the solid-state imaging device 101 outputs imaging data D5 in rows that include the ROI region, and outputs low-resolution data D6 in rows that do not include the ROI region. These imaging data D5 and low resolution data D6 are input to the image signal processor 103 described above.
  • the image signal processor 103 generates a composite image D7 based on the imaging data D5 and the low resolution data D6. At this time, as shown in b in the figure, the image signal processor 103 cuts out a portion corresponding to the ROI region from the image data D5 of a in the figure as a high-resolution image G1B, and extracts low-resolution data from the image data D5. can be generated. Further, the image signal processor 103 generates the low resolution image G1A of b in the figure based on the low resolution data generated from the imaging data D5 of a in the figure and the low resolution data D6 received from the solid-state imaging device 101. can be generated. Then, the image signal processor 103 can generate the composite image D7 by inserting the high-resolution image G1B into the low-resolution image G1A so that the high-resolution image G1B is located in the ROI region a in the figure.
  • the solid-state imaging device 101 outputs the imaging data D5 in the rows that include the ROI region, and outputs the low-resolution data D6 in the rows that do not include the ROI region.
  • the imaging data D5 and the low resolution data D6 are generated based on the row-by-row processing and reading of the imaging data D1, and it is possible to suppress a decrease in the latency of the solid-state imaging device 101.
  • the solid-state imaging device 101 outputs the imaging data D5 in the rows that include the ROI region, and outputs the low-resolution data D6 in the rows that do not include the ROI region.
  • the solid-state imaging device is provided with a row delay memory that delays the timing of outputting the low-resolution data D2 to the selector 132.
  • FIG. 6 is a block diagram showing a configuration example of a solid-state imaging device according to the second embodiment.
  • a solid-state imaging device 301 has a row delay memory 172 added to the solid-state imaging device 101 of the first embodiment described above. Furthermore, the ROI control unit 112 includes a timing controller 312 instead of the timing controller 212 of the first embodiment described above.
  • the other configuration of the solid-state imaging device 301 of the second embodiment is similar to the configuration of the solid-state imaging device 101 of the first embodiment described above.
  • the row delay memory 172 stores one row of low resolution data D2. At this time, the row delay memory 172 can delay the timing of outputting the low resolution data D2 to the selector 132. Note that the row delay memory 172 is an example of a first memory described in the claims.
  • the timing controller 312 controls the output timing of the row delay memory 172 and the switching timing of the selector 132 so that the low resolution data D2 is output to a position other than the ROI area, and the imaging data D1 is output to a position in the ROI area. .
  • the timing controller 312 can switch the output from the selector 132 to the output of the imaging data D1 at the timing when the imaging data D1 of the ROI region is output from the imaging unit 110 in each frame.
  • the timing controller 312 can control the output timing of the row delay memory 172 and the switching timing of the selector 132 so that the low resolution data D6 is output after the imaging data D1 of the ROI region is output in each frame.
  • the timing controller 312 controls the output timing of the row delay memory 172 and the switching timing of the selector 132 so that the empty space in the row direction of the low resolution data D6 is filled and the low resolution data D6 is output. good.
  • FIG. 7 is a timing chart showing the read timing of imaging data and low resolution data according to the second embodiment.
  • an example is shown in which the vertical and horizontal dimensions of the image data D1 are reduced to 1/4 as the low resolution data D2.
  • exposures EX1 to EX8 and readout/outputs RA1 to RA8 for eight lines before and after the ROI line are shown.
  • exposures EX1 to EX8 are sequentially started row by row, and pixel signal readout/output RA1 to RA8 are performed row by row.
  • reading/output RA4 of the low resolution data D6 of that row is performed in one row before the ROI row.
  • reading and outputting of the imaging data D5 of the ROI region RA5 to RA7 are performed in the three rows after the ROI row.
  • reading/output RA8 of the low-resolution data D6 of that row and the imaging data D5 of the ROI region is performed.
  • low resolution data D6 is empty.
  • the read timing of the low resolution data D6 from the row delay memory 172 is set so that the free space in the row direction of the low resolution data D6 is filled in at the rear end of each row. .
  • FIG. 8 is a diagram showing an example of imaging data and low resolution data according to the second embodiment.
  • a in the same figure is a diagram showing an example of one frame of imaging data D5 and low resolution data D6 output from the solid-state imaging device 301.
  • b in the same figure is a diagram showing an example of a composite image D7 synthesized based on the imaging data D5 and the low resolution data D6 of a in the figure.
  • the ROI row a in the figure corresponds to the ROI row in FIG.
  • the solid-state imaging device 301 outputs low-resolution data D6 to a position other than the ROI region and outputs imaging data D5 to a position in the ROI region for each frame. At this time, the solid-state imaging device 301 can fill up the empty space in the row direction of the low resolution data D6 and output the low resolution data D6 row by row at the rear end position of each row. These imaging data D5 and low resolution data D6 are input to the image signal processor 103 described above.
  • the image signal processor 103 generates a composite image D7 based on the imaging data D5 and the low resolution data D6. At this time, as shown in b in the figure, the image signal processor 103 generates a high resolution image G2B from the imaging data D5 of the ROI region, and generates a low resolution image G2A from the low resolution data D6. Then, the image signal processor 103 can generate the composite image D7 by inserting the high resolution image G2B into the low resolution image G2A.
  • the imaging data D5 is transmitted from the solid-state imaging device 101 even in areas other than the ROI region, and the low-resolution data D6 is not transmitted.
  • the image signal processor 103 needs to generate low-resolution data for areas other than the ROI region from the imaging data D5 in rows that include the ROI region.
  • the image signal processor 103 does not need to generate low-resolution data for areas other than the ROI region from the imaging data D5 even if the row includes the ROI region. load can be reduced.
  • the image signal processor 103 may change the magnification and arrangement position of the high-resolution image G2B as appropriate. Further, the image signal processor 103 may set a frame around the high-resolution image G2B, display the high-resolution image G2B as a pop-up on the composite image D7, or highlight the high-resolution image G2B. .
  • the solid-state imaging device 301 is provided with the row delay memory 172 that delays the timing of outputting the low-resolution data D2 to the selector 132.
  • the solid-state imaging device 301 does not need to separate the output of the low-resolution data D6 and the output of the imaged data D5 for each row, and outputs the low-resolution data D6 to a position other than the ROI region, and outputs the low-resolution data D6 to a position outside the ROI region.
  • Imaging data D5 can be output. Therefore, the image signal processor 103 can generate the low resolution image G2A only from the low resolution data D6, and the load on the image signal processor 103 can be reduced.
  • the solid-state imaging device 301 is provided with the row delay memory 172 that delays the timing of outputting the low resolution data D2 to the selector 132.
  • a row delay memory 172 that delays the timing of outputting low-resolution data D2 to the selector 132 and a row delay memory 182 that delays the timing of outputting the imaging data D1 to the selector 132 are installed in the solid-state imaging device. establish.
  • FIG. 9 is a block diagram showing a configuration example of a solid-state imaging device according to the third embodiment.
  • a solid-state imaging device 401 has a row delay memory 182 added to the solid-state imaging device 301 of the second embodiment described above. Furthermore, the ROI control unit 112 includes a timing controller 412 instead of the timing controller 212 of the first embodiment described above.
  • the other configuration of the solid-state imaging device 401 of the third embodiment is the same as the configuration of the solid-state imaging device 301 of the second embodiment described above.
  • the row delay memory 182 stores one row of imaging data D1. At this time, the row delay memory 182 can delay the timing of outputting the imaging data D1 to the selector 132. Note that the row delay memory 182 is an example of a second memory described in the claims.
  • the timing controller 412 controls the output timing of each row delay memory 172 and 182 and the switching timing of the selector 132 so that the imaging data D1 is output for the range of the ROI region. Furthermore, the timing controller 412 controls the output timing of each row delay memory 172 and 182 and the switching timing of the selector 132 so that the low resolution data D2 is output to a position other than the output position of the imaged data D1. For example, the timing controller 412 can control the output timing of the row delay memory 182 and the switching timing of the selector 132 so that the imaging data D1 is output according to the range of the ROI region.
  • the timing controller 412 can control the output timing of the row delay memory 172 and the switching timing of the selector 132 so that the low resolution data D6 is output without overlapping the output timing of the imaging data D1 of the ROI region. . At this time, the timing controller 412 controls the output timing of the row delay memory 172 and the switching timing of the selector 132 so that the empty space in the row direction of the low resolution data D6 is filled and the low resolution data D6 is output. good.
  • FIG. 10 is a timing chart showing the read timing of imaging data and low resolution data according to the third embodiment.
  • an example is shown in which the vertical and horizontal dimensions of the image data D1 are reduced to 1/4 as the low resolution data D2.
  • exposures EX1 to EX8 and readout/outputs RA1 to RA8 for eight lines before and after the ROI line are shown.
  • exposures EX1 to EX8 are sequentially started row by row, and pixel signal readout/output RA1 to RA8 are performed row by row.
  • reading/output RA4 of the low resolution data D6 of that row is performed in one row before the ROI row.
  • reading and outputting of the imaging data D5 of the ROI region RA5 to RA7 are performed in the three rows after the ROI row.
  • reading/output RA8 of the low-resolution data D6 of that row and the imaging data D5 of the ROI region is performed.
  • low resolution data D6 is empty.
  • the readout timing of the low resolution data D6 from the row delay memory 172 and the readout timing of the imaging data D5 from the row delay memory 182 are set so that the imaging data D5 and the low resolution data D6 do not overlap. be done.
  • FIG. 11 is a diagram showing an example of imaging data and low resolution data according to the third embodiment.
  • a in the same figure is a diagram showing a first example of one frame of imaging data D5 and low resolution data D6 output from the solid-state imaging device 401.
  • b in the same figure is a diagram showing an example of a composite image D7 synthesized based on the imaging data D5 and the low resolution data D6 of a in the figure.
  • the ROI row a in the figure corresponds to the ROI row in FIG.
  • the solid-state imaging device 401 outputs the imaging data D5 for the range of the ROI region, and outputs the low resolution data D6 at a position other than the output position of the imaging data D5.
  • the timing controller 412 can move the output position of the image data D5 in the ROI region in the row direction by adjusting the read timing of the image data D5 from the row delay memory 182.
  • the solid-state imaging device 401 can output the image data D5 and the low resolution data D6 line by line so that the image data D5 and the low resolution data D6 do not overlap.
  • These imaging data D5 and low resolution data D6 are input to the image signal processor 103 described above.
  • the image signal processor 103 generates a composite image D7 based on the imaging data D5 and the low resolution data D6. At this time, as shown in b in the figure, the image signal processor 103 generates a high resolution image G3B from the imaging data D5 of the ROI region, and generates a low resolution image G3A from the low resolution data D6. Then, the image signal processor 103 can generate the composite image D7 by inserting the high resolution image G3B into the low resolution image G3A.
  • the imaging data D5 is output from the solid-state imaging device 401 in accordance with the output timing of the imaging data D1 from the imaging unit 110. Therefore, in each row, it is necessary to output the low resolution data D6 after the output of the image data D5 is completed.
  • the row delay memory 182 since the row delay memory 182 is provided, the output timing of the imaging data D5 from the solid-state imaging device 401 can be adjusted. Therefore, in the third embodiment, it is no longer necessary to output the low-resolution data D6 after the output of the imaged data D5 is completed in each row, and the time required to complete output per row can be reduced. can.
  • the row delay memory 172 delays the timing of outputting the low-resolution data D2 to the selector 132
  • the row delay memory 182 delays the timing of outputting the imaging data D1 to the selector 132.
  • the solid-state imaging device 401 can adjust the output timing of the image data D5 and the low-resolution data D6, and can reduce the time required to complete output per line.
  • the solid-state imaging device 401 outputs the imaging data D5 in the ROI region, and outputs the low resolution data D6 in the region other than the ROI region. In this fourth embodiment, the solid-state imaging device 401 outputs low-resolution data D6 in the ROI region, and outputs imaging data D5 in other regions.
  • the configuration of the solid-state imaging device of this fourth embodiment is similar to the configuration of the solid-state imaging device 401 of the third embodiment described above.
  • the timing controller 412 controls the output timing of each row delay memory 172 and 182 and the switching timing of the selector 132 so that the low resolution data D2 is output for the range of the ROI region.
  • the timing controller 412 controls the output timing of each row delay memory 172 and 182 and the switching timing of the selector 132 so that the imaging data D1 is output to a position other than the output position of the low resolution data D2.
  • FIG. 12 is a timing chart showing the read timing of imaging data and low resolution data according to the fourth embodiment.
  • an example is shown in which the vertical and horizontal dimensions of the image data D1 are reduced to 1/4 as the low resolution data D2.
  • exposures EX1 to EX8 and readout/outputs RA1 to RA8 for eight lines before and after the ROI line are shown.
  • exposures EX1 to EX8 are sequentially started row by row, and pixel signal readout/output RA1 to RA8 are performed row by row.
  • reading/outputting of the imaging data D5 of those rows RA1 to RA3 and RA5 to RA7 are performed.
  • reading/output RA4 and RA8 of the imaging data D5 of those rows and the low resolution data D6 of the ROI region are performed.
  • low resolution data D6 is empty.
  • the readout timing of the low resolution data D6 from the row delay memory 172 and the readout timing of the imaging data D5 from the row delay memory 182 are set so that the imaging data D5 and the low resolution data D6 do not overlap. is set.
  • the readout timing of the low resolution data D6 from the delay memory 172 and the readout timing of the imaging data D5 from the row delay memory 182 are set such that the low resolution data D6 of the ROI area is inserted into the imaging data D5 of the area other than the ROI area. may be set.
  • FIG. 13 is a diagram showing an example of imaging data and low resolution data according to the fourth embodiment.
  • a in the same figure is a diagram showing a second example of one frame of imaging data D5 and low resolution data D6 output from the solid-state imaging device 401.
  • b in the same figure is a diagram showing an example of a composite image D7 synthesized based on the imaging data D5 and the low resolution data D6 of a in the figure.
  • the ROI row a in the figure corresponds to the ROI row in FIG. 12.
  • the solid-state imaging device 401 outputs low-resolution data D6 for the range of the ROI region, and outputs the imaging data D5 to a position other than the output position of the imaging data D5.
  • the solid-state imaging device 401 can output the image data D5 and the low resolution data D6 line by line so that the image data D5 and the low resolution data D6 do not overlap.
  • the solid-state imaging device 401 may output the low-resolution data D6 and the imaged data D5 with the low-resolution data D6 of the ROI region properly fitted into the imaged data D5 at a position other than the ROI region.
  • These imaging data D5 and low resolution data D6 are input to the image signal processor 103 described above.
  • the image signal processor 103 generates a composite image D7 based on the imaging data D5 and the low resolution data D6. At this time, as shown in b in the figure, the image signal processor 103 generates a low resolution image G4A from the low resolution data D6 of the ROI region, and generates a high resolution image G4B from the imaging data D5. Then, a composite image D7 can be generated by inserting the low resolution image G4A into the high resolution image G4B.
  • the solid-state imaging device 401 outputs the low resolution data D6 in the ROI region, and outputs the imaging data D5 in other regions.
  • the pixel array section 111, the vertical scanning section 121, the column signal processing section 131, the horizontal scanning section 141, the timing control section 151, the ROI control section 112, the image processing section 142, and the output interface 152 are provided. It was provided in the solid-state imaging device 101.
  • a plurality of pixel array sections 111, vertical scanning sections 121, column signal processing sections 131, horizontal scanning sections 141, timing control sections 151, ROI control sections 112, image processing sections 142, and output interfaces 152 are provided. Divide into chips.
  • FIG. 14 is a block diagram showing a configuration example of a solid-state imaging device according to the fifth embodiment. Note that a in the figure is a block diagram showing a first example of the stacked structure of the solid-state imaging device 101, and b in the same figure is a block diagram showing a second example of the stacked structure of the solid-state imaging device 101.
  • the solid-state imaging device 101 includes semiconductor chips 801 and 802.
  • a semiconductor chip 802 is stacked on top of the semiconductor chip 801 .
  • hybrid bonding including bonding of Cu wiring can be used.
  • single crystal Si can be used as the substrate material of semiconductor chips 801 and 802.
  • a pixel array section 111, a vertical scanning section 121, and a column ADC 231 are arranged on the semiconductor chip 802.
  • a vertical scanning section 121, a column ADC 231, a horizontal scanning section 141, a timing control section 151, an ROI circuit 182, an image processing section 142, and an output interface 152 are arranged on the semiconductor chip 801.
  • ROI circuit 182 includes the above-described ROI control section 112, scaler 122, and selector 132.
  • the solid-state imaging device 101 may include semiconductor chips 901 and 902.
  • a semiconductor chip 902 is stacked on top of the semiconductor chip 901 .
  • a pixel array section 111 is arranged on the semiconductor chip 902.
  • a vertical scanning section 121, a column ADC 231, a horizontal scanning section 141, a timing control section 151, an ROI circuit 182, an image processing section 142, and an output interface 152 are arranged in the semiconductor chip 901.
  • the pixel array section 111, the vertical scanning section 121, the column ADC 231, the horizontal scanning section 141, the timing control section 151, the ROI circuit 182, the image processing section 142, and the output interface 152 are provided. Laminate. Thereby, the mounting area of the solid-state imaging device 101 can be reduced, and high-density packaging of the solid-state imaging device 101 becomes possible.
  • the stacked structure of the fifth embodiment described above may be applied to the solid-state imaging device 301 of the second embodiment described above, or may be applied to the solid-state imaging device 301 of the third embodiment or fourth embodiment described above.
  • the present invention may also be applied to a solid-state imaging device 401 of this type. Further, in the above-described embodiment, a method has been described in which the image of the ROI region or a row including the ROI region is cut out by the selector 132, but the ROI control unit 112 may also cut out the image.
  • the embodiments described above are examples for embodying the present technology, and the matters in the embodiments and the matters specifying the invention in the claims have a corresponding relationship, respectively.
  • the matters specifying the invention in the claims and the matters in the embodiments of the present technology having the same names have a corresponding relationship.
  • the present technology is not limited to the embodiments, and can be realized by making various modifications to the embodiments without departing from the gist thereof.
  • the effects described in this specification are merely examples, and are not limiting, and other effects may also exist.
  • An imaging unit that generates imaging data; a resolution conversion unit that lowers the resolution of the imaged data and converts it into low resolution data;
  • a solid-state imaging device comprising: a switching unit that switches between outputting the imaging data and outputting the low resolution data based on a setting of a specified area on an imaging area of the imaging unit.
  • the solid-state imaging device according to (1) further comprising an area control unit that controls a specified area on the imaging area of the imaging unit and controls switching of the switching unit based on the position of the specified area.
  • the switching unit outputs the imaging data for rows that include the designated area, and outputs the low resolution data for rows that do not include the designated area.
  • the solid-state imaging device according to (2) or (3), further comprising a first memory that stores one line of the low-resolution data generated by the resolution conversion unit and outputs it to the switching unit.
  • the area control unit includes a timing controller that controls the output timing of the first memory and the switching timing of the switching unit based on the setting of the designated area.
  • Solid-state imaging device (6)
  • the timing controller controls the output timing of the first memory and the switching unit so that the low resolution data is output to a position other than the designated area and the imaging data is output to a position of the designated area.
  • the solid-state imaging device according to (5) above, which controls switching timing.
  • the solid-state imaging device according to any one of (4) to (6), further comprising a second memory that stores one line of imaging data generated by the imaging section and outputs it to the switching section.
  • Imaging device. (9)
  • the area control unit includes a timing controller that controls the output timing of the first memory, the output timing of the second memory, and the switching timing of the switching unit based on the setting of the specified area. ) or the solid-state imaging device according to (8).
  • the timing controller controls the output timing of the first memory so that the imaging data is output for a range of the designated area and the low resolution data is output to a position other than the output position of the imaging data.
  • the solid-state imaging device according to any one of (7) to (9), wherein the output timing of the second memory and the switching timing of the switching unit are controlled.
  • the timing controller outputs the first memory so that the low resolution data is output for a range of the designated area and the imaging data is output to a position other than the output position of the low resolution data.
  • the solid-state imaging device according to any one of (7) to (10), wherein timing, output timing of the second memory, and switching timing of the switching unit are controlled.
  • a method for outputting imaged data comprising a step of switching between outputting the imaged data and outputting the low resolution data based on a setting of a specified area on an imaged area where the imaged data is imaged.
  • solid-state imaging device 110 imaging section 111 pixel array section 121 vertical scanning section 131 column signal processing section 141 horizontal scanning section 151 timing control section 112 ROI control section 122 scaler 132 selector 142 image processing section 152 output interface 201 pixel 21 2 , 312, 412 timing controller 172, 182 row delay memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像データおよび低解像度データを出力するための構成を簡素化する。　固体撮像装置は、撮像部と、解像度変換部と、切替部とを備える。撮像部は、撮像データを生成する。解像度変換部は、撮像データを低解像度化して低解像度データに変換する。切替部は、撮像部の撮像領域上の指定領域の設定に基づいて、撮像データの出力と低解像度データの出力とを切り替える。撮像部の撮像領域上の指定領域を制御し、指定領域の位置に基づいて切替部の切り替えを制御する領域制御部をさらに備えてもよい。解像度変換部で生成された低解像度データを１行分記憶し、切替部に出力する第１メモリをさらに備えてもよい。

Description

固体撮像装置および撮像データの出力方法
　本技術は、固体撮像装置および撮像データの出力方法に関する。詳しくは、本技術は、解像度が互いに異なる撮像データを出力する固体撮像装置および撮像データの出力方法に関する。
　画像の高解像度化に対応しつつ、画像データの伝送帯域の制約に対応するため、高解像度の固体撮像素子を用いて低解像度の全体映像と高解像度の部分映像を取得する方法がある。この方法では、高解像度映像用の走査部および蓄積部とは別個に、低解像度映像用の走査部および蓄積部が設けられる。そして、高解像度映像取得時には高解像度映像用の走査部および蓄積部に切り替えられ、低解像度映像取得時には低解像度映像用の走査部および蓄積部に切り替えられる（例えば、特許文献１参照）。
特開２００４－１８０２４０号公報
　しかしながら、上述の従来技術では、高解像度映像用と低解像度映像用とで別系統の走査部が必要になるとともに、画素アレイ部から出力された映像データを記憶するフレームメモリが必要であった。
　本技術はこのような状況に鑑みて生み出されたものであり、撮像データおよび低解像度データを出力するための構成を簡素化することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像データを生成する撮像部と、上記撮像データを低解像度化して低解像度データに変換する解像度変換部と、上記撮像部の撮像領域上の指定領域の設定に基づいて、上記撮像データの出力と上記低解像度データの出力とを切り替える切替部とを具備する固体撮像装置である。これにより、撮像データの読出し時の走査系統と低解像度データの読出し時の走査系統とを別個に設けることなく、撮像データおよび低解像度データが固体撮像装置から出力されるという作用をもたらす。
　また、第１の側面において、上記撮像部の撮像領域上の指定領域を制御し、上記指定領域の位置に基づいて上記切替部の切り替えを制御する領域制御部をさらに具備してもよい。これにより、撮像データの切り出し位置を制御しつつ、撮像データおよび低解像度データが固体撮像装置から出力されるという作用をもたらす。
　また、第１の側面において、上記切替部は、上記指定領域を含む行については上記撮像データを出力し、上記指定領域を含まない行については上記低解像度データを出力してもよい。これにより、撮像データと低解像度データとが行ごとに分離して出力されるという作用をもたらす。
　また、第１の側面によれば、上記解像度変換部で生成された上記低解像度データを１行分記憶し、上記切替部に出力する第１メモリをさらに具備してもよい。これにより、低解像度データの出力タイミングが行ごとに調整されるという作用をもたらす。
　また、第１の側面において、上記領域制御部は、上記指定領域の設定に基づいて、上記第１メモリの出力タイミングおよび上記切替部の切替タイミングを制御するタイミングコントローラを備えてもよい。これにより、低解像度データの出力タイミングが調整されるという作用をもたらす。
　また、第１の側面において、上記タイミングコントローラは、上記指定領域以外の位置に上記低解像度データが出力され、上記指定領域の位置に上記撮像データが出力されるように、上記第１メモリの出力タイミングおよび上記切替部の切替タイミングを制御してもよい。これにより、指定領域の撮像データと、指定領域を含む撮像領域全体の低解像度データが分離して出力されるという作用をもたらす。
　また、第１の側面によれば、上記撮像部で生成された撮像データを１行分記憶し、上記切替部に出力する第２メモリをさらに具備してもよい。これにより、撮像データの出力タイミングが行ごとに調整されるという作用をもたらす。
　また、第１の側面において、上記切替部は、上記第１メモリに記憶された上記低解像度データと上記第２メモリに記憶された上記撮像データとが重ならないように行ごとに出力してもよい。これにより、指定領域の撮像データを指定領域以外の位置に出力しつつ、指定領域の撮像データと、指定領域を含む撮像領域全体の低解像度データが分離して出力されるという作用をもたらす。
　また、第１の側面において、上記領域制御部は、上記指定領域の設定に基づいて、上記第１メモリの出力タイミング、上記第２メモリの出力タイミングおよび上記切替部の切替タイミングを制御するタイミングコントローラを備えてもよい。これにより、指定領域の撮像データおよび低解像度データの出力タイミングが調整されるという作用をもたらす。
　また、第１の側面において、上記タイミングコントローラは、上記指定領域の範囲については上記撮像データが出力され、上記撮像データの出力位置以外の位置に上記低解像度データが出力されるように、上記第１メモリの出力タイミング、上記第２メモリの出力タイミングおよび上記切替部の切替タイミングを制御してもよい。これにより、指定領域の撮像データおよび低解像度データが出力されるという作用をもたらす。
　また、第１の側面において、上記タイミングコントローラは、上記指定領域の範囲については上記低解像度データが出力され、上記低解像度データの出力位置以外の位置に上記撮像データが出力されるように、上記第１メモリの出力タイミング、上記第２メモリの出力タイミングおよび上記切替部の切替タイミングを制御してもよい。これにより、指定領域の低解像度データおよび撮像データが出力されるという作用をもたらす。
　また、第２の側面は、撮像データを生成する手順と、上記撮像データを低解像度化して低解像度データに変換する手順と、上記撮像データが撮像される撮像領域上の指定領域の設定に基づいて、上記撮像データの出力と上記低解像度データの出力とを切り替える手順とを具備する撮像データの出力方法である。これにより、撮像データの読出し時の走査系統と低解像度データの読出し時の走査系統とを別個に設けることなく、撮像データおよび低解像度データが出力されるという作用をもたらす。
第１の実施の形態に係る固体撮像装置の構成例を示すブロック図である。 第１の実施の形態に係る固体撮像装置が適用されるカメラシステムの構成例を示すブロック図である。 第１の実施の形態に係る固体撮像装置に用いられる画像処理部の構成例を示すブロック図である。 第１の実施の形態に係る撮像データおよび低解像度データの読出しタイミングを示すタイミングチャートである。 第１の実施の形態に係る撮像データおよび低解像度データの一例を示す図である。 第２の実施の形態に係る固体撮像装置の構成例を示すブロック図である。 第２の実施の形態に係る撮像データおよび低解像度データの読出しタイミングを示すタイミングチャートである。 第２の実施の形態に係る撮像データおよび低解像度データの一例を示す図である。 第３の実施の形態に係る固体撮像装置の構成例を示すブロック図である。 第３の実施の形態に係る撮像データおよび低解像度データの読出しタイミングを示すタイミングチャートである。 第３の実施の形態に係る撮像データおよび低解像度データの一例を示す図である。 第４の実施の形態に係る撮像データおよび低解像度データの読出しタイミングを示すタイミングチャートである。 第４の実施の形態に係る撮像データおよび低解像度データの一例を示す図である。 第５の実施の形態に係る固体撮像装置の構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（ＲＯＩ（Region Of Interest）領域を含む行については撮像データを出力し、ＲＯＩ領域を含まない行については低解像度データを出力する例）
　２．第２の実施の形態（ＲＯＩ領域以外の位置に低解像度データを出力し、ＲＯＩ領域の位置に撮像データを出力する例）
　３．第３の実施の形態（ＲＯＩ領域の範囲については撮像データを出力し、撮像データの出力位置以外の位置に低解像度データを出力する例）
　４．第４の実施の形態（ＲＯＩ領域の範囲については低解像度データを出力し、撮像データの出力位置以外の位置に撮像データを出力する例）
　５．第５の実施の形態（固体撮像装置を積層化した例）
　＜１．第１の実施の形態＞
　図１は、第１の実施の形態に係る固体撮像装置の構成例を示すブロック図である。
　同図において、固体撮像装置１０１は、撮像部１１０、ＲＯＩ制御部１１２、スケーラ１２２、セレクタ１３２、画像処理部１４２および出力インタフェース１５２を備える。なお、撮像部１１０、ＲＯＩ制御部１１２、スケーラ１２２、セレクタ１３２、画像処理部１４２および出力インタフェース１５２は、１つの半導体チップに形成してもよいし、複数の半導体チップに分けて形成してもよい。
　撮像部１１０は、撮像データＤ１を生成する。撮像部１１０は、画素アレイ部１１１、垂直走査部１２１、カラム信号処理部１３１、水平走査部１４１およびタイミング制御部１５１を備える。
　画素アレイ部１１１は、複数の画素２０１を備える。画素２０１は、ロウ方向（行方向または水平方向とも言う）およびカラム方向（列方向または垂直方向とも言う）に沿ってマトリックス状に配列される。画素２０１は、被写体からの光を光電変換して画素信号を生成する。
　垂直走査部１２１は、読み出し対象となる画素２０１をカラム方向に走査する。垂直走査部１２１は、垂直レジスタを用いて構成してもよい。
　カラム信号処理部１３１は、各画素２０１からカラム方向に伝送された信号を処理する。例えば、カラム信号処理部１３１は、各画素２０１からカラム方向に伝送された信号に基づいて、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理を実施することができる。カラム信号処理部１３１は、カラムＡＤＣ２３１を備える。カラムＡＤＣ（Analog to Digital Converter）２３１は、各画素２０１からカラム方向に伝送された信号に基づいて、ＡＤ（Analog to Digital）変換処理をカラムごとに実施することができる。
　水平走査部１４１は、読み出し対象となる画素２０１をロウ方向に走査する。水平走査部１４１は、水平レジスタを用いて構成してもよい。
　タイミング制御部１５１は、垂直走査部１２１、カラム信号処理部１３１および水平走査部１４１を制御する。例えば、タイミング制御部１５１は、カラム方向の走査タイミング、ロウ方向の走査タイミングおよびカラム信号処理部１３１の処理タイミングを制御することができる。
　スケーラ１２２は、撮像部Ｄ１で生成された撮像データＤ１の解像度変換を実施する。この解像度変換では、スケーラ１２２は、撮像データＤ１を低解像度化して低解像度データＤ２に変換することができる。撮像データＤ１の低解像度化では、スケーラ１２２は、デジタル加算処理を実施することができる。例えば、４ｋ画像（Ｈ：Ｖ＝３８４０：２１６０）の低解像度化について、１／４（Ｈ：Ｖ＝１９２０：１０８０）でもよいし、１／９（Ｈ：Ｖ＝１２８０：７２０）でもよいし、１／１６（Ｈ：Ｖ＝９６０：５４０）でもよい。なお、スケーラ１２２は、特許請求の範囲に記載の解像度変換部の一例である。
　セレクタ１３２は、撮像データＤ１の出力と低解像度データＤ２の出力とを切り替える。例えば、セレクタ１３２は、ＲＯＩ領域を含む行については撮像データＤ１を出力し、ＲＯＩ領域を含まない行については低解像度データＤ２を出力する。ＲＯＩ領域は、撮像部１１０の撮像領域上に設定される。なお、ＲＯＩ領域は、特許請求の範囲に記載の指定領域の一例である。セレクタ１３２は、特許請求の範囲に記載の切替部の一例である。
　ＲＯＩ制御部１１２は、撮像部１１０の撮像領域上のＲＯＩ領域を制御し、ＲＯＩ領域の位置に基づいてセレクタ１３２の切り替えを制御する。ＲＯＩ領域の制御は、ＲＯＩ制御部１１２自体が実施してもよいし、外部からの指示に基づいて実施してもよい。ＲＯＩ領域の制御は、例えば、特徴検出、ヒストグラム検出、動き追跡、特徴追跡、ヒストグラム追跡および人物追跡のうちの少なくともいずれか１つに基づいて実施してもよい。
　ＲＯＩ制御部１１２は、タイミングコントローラ２１２を備える。タイミングコントローラ２１２は、セレクタ１３２の切替タイミングを制御する。例えば、タイミングコントローラ２１２は、ＲＯＩ領域を含む行については撮像データＤ１が出力され、ＲＯＩ領域を含まない行については低解像度データＤ２が出力されるように、セレクタ１３２の切替タイミングを制御することができる。
　なお、撮像領域全体にＲＯＩ領域が設定されてもよい。このとき、タイミングコントローラ２１２は、全画素の撮像データＤ１について、セレクタ１３２を介し、そのまま画像処理部１４２に出力させることができる。これにより、撮像領域全体にＲＯＩ領域が設定されている場合、ＲＯＩ制御部１１２は、撮像部１１０で生成された全画素の撮像データＤ１を出力インタフェース１５２から出力させ、固体撮像装置１０１を通常の撮像装置として動作させることができる。
　また、撮像領域にＲＯＩ領域が設定されてなくてもよい。このとき、タイミングコントローラ２１２は、撮像領域全体について、セレクタ１３２を介し、低解像度データＤ２を画像処理部１４２に出力させることができる。これにより、撮像領域にＲＯＩ領域が設定されていない場合、ＲＯＩ制御部１１２は、撮像部１１０で生成された撮像データＤ１を全画素について低解像度化してから出力インタフェース１５２から出力させることができる。なお、ＲＯＩ制御部１１２は、特許請求の範囲に記載の領域制御部の一例である。
　画像処理部１４２は、セレクタ１３２を介して出力された撮像データＤ１および低解像度データＤ２の画像処理を実施する。画像処理部１４２は、例えば、黒レベル調整でもよいし、デジタルゲイン処理でもよいし、欠陥補正処理でもよいし、光学系で発生した歪の補正処理でもよい。
　出力インタフェース１５２は、画像処理部１４２で画像処理されたデータを固体撮像装置１０１の外部に出力する。このとき、出力インタフェース１５２は、固体撮像装置１０１から出力される撮像データＤ５および低解像度データＤ６の出力形式が送信先の規格に適合するように、画像処理部１４２の出力をデータ変換することができる。この規格は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）でもよい。
　図２は、第１の実施の形態に係る固体撮像装置が適用されるカメラシステムの構成例を示すブロック図である。
　同図において、カメラシステム１００は、固体撮像装置１０１、イメージシグナルプロセッサ１０３、メモリ１０４およびクロック生成器１０５を備える。
　イメージシグナルプロセッサ１０３は、固体撮像装置１０１から出力された撮像データＤ５および低解像度データＤ６に基づいて合成画像Ｄ７を生成する。また、イメージシグナルプロセッサ１０３は、ＲＯＩ領域を固体撮像装置１０１に指示したり、固体撮像装置１０１の動作モードを指示したりすることができる。固体撮像装置１０１の動作モードは、例えば、合成モード、高解像度モードおよび低解像度モードを設けてもよい。合成モードは、例えば、ＲＯＩ領域を含む行については撮像データＤ５を固体撮像装置１０１に出力させ、ＲＯＩ領域を含まない行については低解像度データＤ６を固体撮像装置１０１に出力させるモードである。高解像度モードは、固体撮像装置１０１の全画素について撮像データＤ５を固体撮像装置１０１に出力させるモードである。低解像度モードは、固体撮像装置１０１の撮像領域全体について低解像度データＤ６を固体撮像装置１０１に出力させるモードである。
　イメージシグナルプロセッサ１０３は、処理部１１３、入力インタフェース１２３、出力インタフェース１３３および外部制御部１４３を備える。
　処理部１１３は、画像処理、合成処理およびＲＯＩ処理などを実施する。画像処理では、処理部１１３は、ＩＳＰ（Image Signal Processing）処理などを実施する。合成処理では、処理部１１３は、撮像データＤ５および低解像度データＤ６に基づいて合成画像Ｄ７を生成する。このとき、処理部１１３は、合成画像Ｄ７において、ＲＯＩ領域に対応する部分の撮像データＤ５の挿入位置および倍率を適宜設定することができる。ＲＯＩ処理では、処理部１１３は、例えば、特徴検出、ヒストグラム検出、動き追跡、特徴追跡、ヒストグラム追跡および人物追跡のうちの少なくともいずれか１つに基づいてＲＯＩ領域を決定する。
　入力インタフェース１２３は、固体撮像装置１０１から出力された撮像データＤ５および低解像度データＤ６を受信する。出力インタフェース１３３は、処理部１１３で生成された合成画像Ｄ７を送信する。出力インタフェース１３３は、Ｗｅｂ会議カメラなどで使用されるネットワークのプロトコルに準拠してもよい。
　外部制御部１４３は、ＲＯＩ領域を固体撮像装置１０１に指示したり、固体撮像装置１０１の動作モードを指示したりする。外部制御部１４３は、アドレス指定などに基づいてＲＯＩ領域を指示してもよい。
　メモリ１０４は、固体撮像装置１０１から出力された撮像データＤ５および低解像度データＤ６を記憶したり、処理部１１３で生成された合成画像Ｄ７を記憶したりする。クロック生成器１０５は、イメージシグナルプロセッサ１０３を動作させるクロックを生成する。
　固体撮像装置１０１は、外部制御部１４３からの指令を受信する内部制御部１６２を備えてもよい。内部制御部１６２は、外部制御部１４３からの指令に基づいてＲＯＩ領域をＲＯＩ制御部１１２に指示することができる。また、内部制御部１６２は、合成モードでは、例えば、ＲＯＩ領域を含む行については撮像データＤ５が出力され、ＲＯＩ領域を含まない行については低解像度データＤ６が出力されるようにＲＯＩ制御部１１２を制御する。また、内部制御部１６２は、高解像度モードでは、固体撮像装置１０１の全画素について撮像データＤ１がセレクタ１３２から出力されるようにＲＯＩ制御部１１２を制御する。また、内部制御部１６２は、低解像度モードでは、固体撮像装置１０１の撮像領域全体について低解像度データＤ２がセレクタ１３２から出力されるようにＲＯＩ制御部１１２を制御する。
　図３は、第１の実施の形態に係る固体撮像装置に用いられる画像処理部の構成例を示すブロック図である。なお、同図におけるａは画像処理部の第１の例を示し、同図におけるｂは画像処理部の第２の例を示し、同図におけるｃは画像処理部の第３の例を示す。
　同図におけるａにおいて、画像処理部１４２は、黒レベル調整部２４１およびデジタルゲイン部２４２を備える。黒レベル調整部２４１は、撮像データＤ１および低解像度データＤ２の黒レベルを調整する。デジタルゲイン部２４２は、撮像データＤ１および低解像度データＤ２のデジタルゲインを調整する。
　同図におけるｂにおいて、画像処理部１４２は、黒レベル調整部２４１、デジタルゲイン部２４２および欠陥補正部２４３を備える。欠陥補正部２４３は、撮像データＤ１および低解像度データＤ２の欠陥を補正する。
　同図におけるｃにおいて、画像処理部１４２は、黒レベル調整部２４１、デジタルゲイン部２４２、欠陥補正部２４３およびＩＳＰ処理部２４４を備える。ＩＳＰ処理部２４４は、撮像データＤ１および低解像度データＤ２の画素補間を実施したり、ノイズ低減処理を実施したりする。
　図４は、第１の実施の形態に係る撮像データおよび低解像度データの読出しタイミングを示すタイミングチャートである。なお、同図では、低解像度データＤ２として、撮像データＤ１の縦横が１／４に縮小される例を示した。また、同図では、ＲＯＩ行の前後の８行分の露光ＥＸ１乃至ＥＸ８および読出し・出力ＲＡ１乃至ＲＡ８を示した。
　同図において、撮像部１１０では、１行ずつ順に露光ＥＸ１乃至ＥＸ８が開始され、１行ずつ順に画素信号の読出し・出力ＲＡ１乃至ＲＡ８が実施される。ここで、ＲＯＩ行前の１行では、ＲＯＩ領域を含まない行の低解像度データＤ６の読出し・出力ＲＡ４が実施される。そして、ＲＯＩ行では、セレクタ１３２からの出力が低解像度データＤ２から撮像データＤ１に切り替えられる。そして、ＲＯＩ行後の４行では、ＲＯＩ領域を含む各行の撮像データＤ５の読出し・出力ＲＡ５乃至ＲＡ８が実施される。このとき、撮像部１１０は、ＲＯＩ行前の読出し・出力ＲＡ１乃至ＲＡ３において行間間引きＥＰを実施することにより、低消費電力化を図ってもよい。
　図５は、第１の実施の形態に係る撮像データおよび低解像度データの一例を示す図である。なお、同図におけるａは、固体撮像装置１０１から出力される１フレーム分の撮像データＤ５および低解像度データＤ６の一例を示す図である。同図におけるｂは、同図におけるａの撮像データＤ５および低解像度データＤ６に基づいて合成された合成画像Ｄ７の一例を示す図である。なお、同図におけるａのＲＯＩ行は、図４におけるＲＯＩ行に対応する。
　同図におけるａにおいて、固体撮像装置１０１は、ＲＯＩ領域を含む行では撮像データＤ５を出力し、ＲＯＩ領域を含まない行では低解像度データＤ６を出力する。これらの撮像データＤ５および低解像度データＤ６は、上述のイメージシグナルプロセッサ１０３に入力される。
　イメージシグナルプロセッサ１０３は、撮像データＤ５および低解像度データＤ６に基づいて合成画像Ｄ７を生成する。このとき、イメージシグナルプロセッサ１０３は、同図におけるｂに示すように、同図におけるａの撮像データＤ５からＲＯＩ領域に対応する部分を高解像度画像Ｇ１Ｂとして切り出すとともに、撮像データＤ５から低解像度データを生成することができる。また、イメージシグナルプロセッサ１０３は、同図におけるａの撮像データＤ５から生成した低解像度データと、固体撮像装置１０１から受信した低解像度データＤ６とに基づいて、同図におけるｂの低解像度画像Ｇ１Ａを生成することができる。そして、イメージシグナルプロセッサ１０３は、同図におけるａのＲＯＩ領域に高解像度画像Ｇ１Ｂが位置するように、低解像度画像Ｇ１Ａに高解像度画像Ｇ１Ｂを挿入することで合成画像Ｄ７を生成することができる。
　このように、上述の第１の実施の形態では、固体撮像装置１０１は、ＲＯＩ領域を含む行では撮像データＤ５を出力し、ＲＯＩ領域を含まない行では低解像度データＤ６を出力する。これにより、撮像データＤ１の読出し時の走査系統とは別個に低解像度データＤ２の読出し時の走査系統を設ける必要がなくなり、回路規模の増大を抑制することが可能となる。また、ＲＯＩ領域では高精細画像を生成可能としつつ、それ以外の領域ではデータ帯域を減らすことができ、Ｗｅｂ会議などで表示される画像の視認性の低下を抑制しつつ、ネットワークにかかる負荷を低減することができる。
　また、低解像度データＤ２を生成するために、固体撮像装置１０１にフレームメモリを設ける必要がなくなり、固体撮像装置１０１のメモリ容量の増大を抑制することができる。
　また、撮像データＤ１の行単位の処理および読出しに基づいて、撮像データＤ５および低解像度データＤ６を生成することが可能となり、固体撮像装置１０１のレイテンシの低下を抑制することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、固体撮像装置１０１は、ＲＯＩ領域を含む行では撮像データＤ５を出力し、ＲＯＩ領域を含まない行では低解像度データＤ６を出力した。この第２の実施の形態では、低解像度データＤ２をセレクタ１３２に出力するタイミングを遅延させる行遅延メモリを固体撮像装置に設ける。
　図６は、第２の実施の形態に係る固体撮像装置の構成例を示すブロック図である。
　同図において、固体撮像装置３０１は、上述の第１の実施の形態の固体撮像装置１０１に行遅延メモリ１７２が追加されている。また、ＲＯＩ制御部１１２は、上述の第１の実施の形態のタイミングコントローラ２１２に代えて、タイミングコントローラ３１２を備える。第２の実施の形態の固体撮像装置３０１のそれ以外の構成は、上述の第１の実施の形態の固体撮像装置１０１の構成と同様である。
　行遅延メモリ１７２は、１行分の低解像度データＤ２を記憶する。このとき、行遅延メモリ１７２は、低解像度データＤ２をセレクタ１３２に出力するタイミングを遅延させることができる。なお、行遅延メモリ１７２は、特許請求の範囲に記載の第１メモリの一例である。
　タイミングコントローラ３１２は、ＲＯＩ領域以外の位置に低解像度データＤ２が出力され、ＲＯＩ領域の位置に撮像データＤ１が出力されるように、行遅延メモリ１７２の出力タイミングおよびセレクタ１３２の切替タイミングを制御する。例えば、タイミングコントローラ３１２は、各フレームにおいて、ＲＯＩ領域の撮像データＤ１が撮像部１１０から出力されるタイミングでセレクタ１３２からの出力を撮像データＤ１の出力に切り替えることができる。また、タイミングコントローラ３１２は、各フレームにおいて、ＲＯＩ領域の撮像データＤ１の出力後に低解像度データＤ６が出力されるように、行遅延メモリ１７２の出力タイミングおよびセレクタ１３２の切替タイミングを制御することができる。このとき、タイミングコントローラ３１２は、低解像度データＤ６の行方向の空き部分を詰めて低解像度データＤ６が出力されるように、行遅延メモリ１７２の出力タイミングおよびセレクタ１３２の切替タイミングを制御してもよい。
　図７は、第２の実施の形態に係る撮像データおよび低解像度データの読出しタイミングを示すタイミングチャートである。なお、同図では、低解像度データＤ２として、撮像データＤ１の縦横が１／４に縮小される例を示した。また、同図では、ＲＯＩ行の前後の８行分の露光ＥＸ１乃至ＥＸ８および読出し・出力ＲＡ１乃至ＲＡ８を示した。
　同図において、撮像部１１０では、１行ずつ順に露光ＥＸ１乃至ＥＸ８が開始され、１行ずつ順に画素信号の読出し・出力ＲＡ１乃至ＲＡ８が実施される。ここで、ＲＯＩ行前の１行では、その行の低解像度データＤ６の読出し・出力ＲＡ４が実施される。ＲＯＩ行後の３行では、ＲＯＩ領域の撮像データＤ５の読出し・出力ＲＡ５乃至ＲＡ７が実施される。ＲＯＩ行後の１行では、その行の低解像度データＤ６およびＲＯＩ領域の撮像データＤ５の読出し・出力ＲＡ８が実施される。
　読出し・出力ＲＡ１乃至ＲＡ３およびＲＡ５乃至ＲＡ７では、低解像度データＤ６は空となる。読出し・出力ＲＡ４およびＲＡ８では、低解像度データＤ６の行方向の空き部分が詰められた状態で各行の後端にくるように、行遅延メモリ１７２からの低解像度データＤ６の読出しタイミングが設定される。
　図８は、第２の実施の形態に係る撮像データおよび低解像度データの一例を示す図である。なお、同図におけるａは、固体撮像装置３０１から出力される１フレーム分の撮像データＤ５および低解像度データＤ６の一例を示す図である。同図におけるｂは、同図におけるａの撮像データＤ５および低解像度データＤ６に基づいて合成された合成画像Ｄ７の一例を示す図である。なお、同図におけるａのＲＯＩ行は、図７におけるＲＯＩ行に対応する。
　同図におけるａにおいて、固体撮像装置３０１は、各フレームについて、ＲＯＩ領域以外の位置に低解像度データＤ６を出力し、ＲＯＩ領域の位置に撮像データＤ５を出力する。このとき、固体撮像装置３０１は、低解像度データＤ６の行方向の空き部分を詰めて、各行の後端の位置に低解像度データＤ６を行ごとに出力することができる。これらの撮像データＤ５および低解像度データＤ６は、上述のイメージシグナルプロセッサ１０３に入力される。
　イメージシグナルプロセッサ１０３は、撮像データＤ５および低解像度データＤ６に基づいて合成画像Ｄ７を生成する。このとき、イメージシグナルプロセッサ１０３は、同図におけるｂに示すように、ＲＯＩ領域の撮像データＤ５から高解像度画像Ｇ２Ｂを生成し、低解像度データＤ６から低解像度画像Ｇ２Ａを生成する。そして、イメージシグナルプロセッサ１０３は、低解像度画像Ｇ２Ａに高解像度画像Ｇ２Ｂを挿入することで合成画像Ｄ７を生成することができる。
　なお、上述の第１の実施の形態では、ＲＯＩ領域を含む行では、ＲＯＩ領域以外でも固体撮像装置１０１から撮像データＤ５が送信され、低解像度データＤ６は送信されない。このため、イメージシグナルプロセッサ１０３は、ＲＯＩ領域を含む行では、撮像データＤ５からＲＯＩ領域以外の低解像度データを生成する必要がある。この第２の実施の形態では、ＲＯＩ領域を含む行であっても、ＲＯＩ領域以外では固体撮像装置１０１から低解像度データＤ６が送信される。このため、この第２の実施の形態では、イメージシグナルプロセッサ１０３は、ＲＯＩ領域を含む行であっても、撮像データＤ５からＲＯＩ領域以外の低解像度データを生成する必要がなくなり、イメージシグナルプロセッサ１０３の負荷を低減することができる。このとき、イメージシグナルプロセッサ１０３は、高解像度画像Ｇ２Ｂの倍率および配置位置を適宜変更してもよい。また、イメージシグナルプロセッサ１０３は、高解像度画像Ｇ２Ｂに枠を設けてもよいし、高解像度画像Ｇ２Ｂを合成画像Ｄ７上でポップアップ表示してもよいし、高解像度画像Ｇ２Ｂを強調表示してもよい。
　このように、上述の第２の実施の形態では、低解像度データＤ２をセレクタ１３２に出力するタイミングを遅延させる行遅延メモリ１７２を固体撮像装置３０１に設ける。これにより、固体撮像装置３０１は、低解像度データＤ６の出力と撮像データＤ５の出力を行ごとに分離する必要がなくなり、ＲＯＩ領域以外の位置に低解像度データＤ６を出力し、ＲＯＩ領域の位置に撮像データＤ５を出力することができる。このため、イメージシグナルプロセッサ１０３は、低解像度データＤ６のみから低解像度画像Ｇ２Ａを生成することが可能となり、イメージシグナルプロセッサ１０３の負荷を低減することができる。
　＜３．第３の実施の形態＞
　上述の第２の実施の形態では、低解像度データＤ２をセレクタ１３２に出力するタイミングを遅延させる行遅延メモリ１７２を固体撮像装置３０１に設けた。この第３の実施の形態では、低解像度データＤ２をセレクタ１３２に出力するタイミングを遅延させる行遅延メモリ１７２および撮像データＤ１をセレクタ１３２に出力するタイミングを遅延させる行遅延メモリ１８２を固体撮像装置に設ける。
　図９は、第３の実施の形態に係る固体撮像装置の構成例を示すブロック図である。
　同図において、固体撮像装置４０１は、上述の第２の実施の形態の固体撮像装置３０１に行遅延メモリ１８２が追加されている。また、ＲＯＩ制御部１１２は、上述の第１の実施の形態のタイミングコントローラ２１２に代えて、タイミングコントローラ４１２を備える。第３の実施の形態の固体撮像装置４０１のそれ以外の構成は、上述の第２の実施の形態の固体撮像装置３０１の構成と同様である。
　行遅延メモリ１８２は、１行分の撮像データＤ１を記憶する。このとき、行遅延メモリ１８２は、撮像データＤ１をセレクタ１３２に出力するタイミングを遅延させることができる。なお、行遅延メモリ１８２は、特許請求の範囲に記載の第２メモリの一例である。
　タイミングコントローラ４１２は、ＲＯＩ領域の範囲については撮像データＤ１が出力されるように各行遅延メモリ１７２および１８２の出力タイミングおよびセレクタ１３２の切替タイミングを制御する。また、タイミングコントローラ４１２は、撮像データＤ１の出力位置以外の位置に低解像度データＤ２が出力されるように、各行遅延メモリ１７２および１８２の出力タイミングおよびセレクタ１３２の切替タイミングを制御する。例えば、タイミングコントローラ４１２は、ＲＯＩ領域の範囲に応じて撮像データＤ１が出力されるように行遅延メモリ１８２の出力タイミングおよびセレクタ１３２の切替タイミングを制御することができる。また、タイミングコントローラ４１２は、ＲＯＩ領域の撮像データＤ１の出力タイミングと重なることなく低解像度データＤ６が出力されるように、行遅延メモリ１７２の出力タイミングおよびセレクタ１３２の切替タイミングを制御することができる。このとき、タイミングコントローラ４１２は、低解像度データＤ６の行方向の空き部分を詰めて低解像度データＤ６が出力されるように、行遅延メモリ１７２の出力タイミングおよびセレクタ１３２の切替タイミングを制御してもよい。
　図１０は、第３の実施の形態に係る撮像データおよび低解像度データの読出しタイミングを示すタイミングチャートである。なお、同図では、低解像度データＤ２として、撮像データＤ１の縦横が１／４に縮小される例を示した。また、同図では、ＲＯＩ行の前後の８行分の露光ＥＸ１乃至ＥＸ８および読出し・出力ＲＡ１乃至ＲＡ８を示した。
　同図において、撮像部１１０では、１行ずつ順に露光ＥＸ１乃至ＥＸ８が開始され、１行ずつ順に画素信号の読出し・出力ＲＡ１乃至ＲＡ８が実施される。ここで、ＲＯＩ行前の１行では、その行の低解像度データＤ６の読出し・出力ＲＡ４が実施される。ＲＯＩ行後の３行では、ＲＯＩ領域の撮像データＤ５の読出し・出力ＲＡ５乃至ＲＡ７が実施される。ＲＯＩ行後の１行では、その行の低解像度データＤ６およびＲＯＩ領域の撮像データＤ５の読出し・出力ＲＡ８が実施される。
　読出し・出力ＲＡ１乃至ＲＡ３およびＲＡ５乃至ＲＡ７では、低解像度データＤ６は空となる。読出し・出力ＲＡ８では、撮像データＤ５と低解像度データＤ６とが重ならないように、行遅延メモリ１７２からの低解像度データＤ６の読出しタイミングと行遅延メモリ１８２からの撮像データＤ５の読出しタイミングとが設定される。
　図１１は、第３の実施の形態に係る撮像データおよび低解像度データの一例を示す図である。なお、同図におけるａは、固体撮像装置４０１から出力される１フレーム分の撮像データＤ５および低解像度データＤ６の第１の例を示す図である。同図におけるｂは、同図におけるａの撮像データＤ５および低解像度データＤ６に基づいて合成された合成画像Ｄ７の一例を示す図である。なお、同図におけるａのＲＯＩ行は、図１０におけるＲＯＩ行に対応する。
　同図におけるａにおいて、固体撮像装置４０１は、ＲＯＩ領域の範囲については撮像データＤ５を出力し、撮像データＤ５の出力位置以外の位置に低解像度データＤ６を出力する。タイミングコントローラ４１２は、行遅延メモリ１８２からの撮像データＤ５の読出しタイミングを調整することにより、ＲＯＩ領域の撮像データＤ５の出力位置を行方向に移動させることができる。このとき、固体撮像装置４０１は、撮像データＤ５と低解像度データＤ６とが重ならないように撮像データＤ５と低解像度データＤ６とを行ごとに出力することができる。これらの撮像データＤ５および低解像度データＤ６は、上述のイメージシグナルプロセッサ１０３に入力される。
　イメージシグナルプロセッサ１０３は、撮像データＤ５および低解像度データＤ６に基づいて合成画像Ｄ７を生成する。このとき、イメージシグナルプロセッサ１０３は、同図におけるｂに示すように、ＲＯＩ領域の撮像データＤ５から高解像度画像Ｇ３Ｂを生成し、低解像度データＤ６から低解像度画像Ｇ３Ａを生成する。そして、イメージシグナルプロセッサ１０３は、低解像度画像Ｇ３Ａに高解像度画像Ｇ３Ｂを挿入することで合成画像Ｄ７を生成することができる。
　なお、上述の第２の実施の形態では、行遅延メモリ１８２がないため、撮像部１１０からの撮像データＤ１の出力タイミングに従って撮像データＤ５が固体撮像装置４０１から出力される。このため、各行において、撮像データＤ５の出力完了後に低解像度データＤ６を出力する必要がある。この第３の実施の形態では、行遅延メモリ１８２があるため、固体撮像装置４０１からの撮像データＤ５の出力タイミングを調整することができる。このため、この第３の実施の形態では、各行において、撮像データＤ５の出力完了後に低解像度データＤ６を出力する必要がなくなり、１行当たりの出力が完了するまでにかかる時間を低減することができる。
　このように、上述の第３の実施の形態では、低解像度データＤ２をセレクタ１３２に出力するタイミングを遅延させる行遅延メモリ１７２および撮像データＤ１をセレクタ１３２に出力するタイミングを遅延させる行遅延メモリ１８２を固体撮像装置４０１に設ける。これにより、固体撮像装置４０１は、撮像データＤ５および低解像度データＤ６の出力タイミングを調整することができ、１行当たりの出力が完了するまでにかかる時間を低減することができる。
　＜４．第４の実施の形態＞
　上述の第３の実施の形態では、固体撮像装置４０１は、ＲＯＩ領域では撮像データＤ５を出力し、ＲＯＩ領域以外では低解像度データＤ６を出力した。この第４の実施の形態では、固体撮像装置４０１は、ＲＯＩ領域では低解像度データＤ６を出力し、ＲＯＩ領域以外では撮像データＤ５を出力する。
　この第４の実施の形態の固体撮像装置の構成は、上述の第３の実施の形態の固体撮像装置４０１の構成と同様である。ただし、タイミングコントローラ４１２は、ＲＯＩ領域の範囲については低解像度データＤ２が出力されるように各行遅延メモリ１７２および１８２の出力タイミングおよびセレクタ１３２の切替タイミングを制御する。また、タイミングコントローラ４１２は、低解像度データＤ２の出力位置以外の位置に撮像データＤ１が出力されるように、各行遅延メモリ１７２および１８２の出力タイミングおよびセレクタ１３２の切替タイミングを制御する。
　図１２は、第４の実施の形態に係る撮像データおよび低解像度データの読出しタイミングを示すタイミングチャートである。なお、同図では、低解像度データＤ２として、撮像データＤ１の縦横が１／４に縮小される例を示した。また、同図では、ＲＯＩ行の前後の８行分の露光ＥＸ１乃至ＥＸ８および読出し・出力ＲＡ１乃至ＲＡ８を示した。
　同図において、撮像部１１０では、１行ずつ順に露光ＥＸ１乃至ＥＸ８が開始され、１行ずつ順に画素信号の読出し・出力ＲＡ１乃至ＲＡ８が実施される。ここで、ＲＯＩ行前の３行およびＲＯＩ行後の３行では、それらの行の撮像データＤ５の読出し・出力ＲＡ１乃至ＲＡ３およびＲＡ５乃至ＲＡ７が実施される。ＲＯＩ行前の１行およびＲＯＩ行後の１行では、それらの行の撮像データＤ５およびＲＯＩ領域の低解像度データＤ６の読出し・出力ＲＡ４およびＲＡ８が実施される。
　読出し・出力ＲＡ１乃至ＲＡ３およびＲＡ５乃至ＲＡ７では、低解像度データＤ６は空となる。各読出し・出力ＲＡ４およびＲＡ８では、撮像データＤ５と低解像度データＤ６とが重ならないように、行遅延メモリ１７２からの低解像度データＤ６の読出しタイミングと行遅延メモリ１８２からの撮像データＤ５の読出しタイミングとが設定される。このとき、ＲＯＩ領域の低解像度データＤ６がＲＯＩ領域以外の撮像データＤ５に挿入されるように、遅延メモリ１７２からの低解像度データＤ６の読出しタイミングと行遅延メモリ１８２からの撮像データＤ５の読出しタイミングとが設定されてもよい。
　図１３は、第４の実施の形態に係る撮像データおよび低解像度データの一例を示す図である。なお、同図におけるａは、固体撮像装置４０１から出力される１フレーム分の撮像データＤ５および低解像度データＤ６の第２の例を示す図である。同図におけるｂは、同図におけるａの撮像データＤ５および低解像度データＤ６に基づいて合成された合成画像Ｄ７の一例を示す図である。なお、同図におけるａのＲＯＩ行は、図１２におけるＲＯＩ行に対応する。
　同図におけるａにおいて、固体撮像装置４０１は、ＲＯＩ領域の範囲については低解像度データＤ６を出力し、撮像データＤ５の出力位置以外の位置に撮像データＤ５を出力する。このとき、固体撮像装置４０１は、撮像データＤ５と低解像度データＤ６とが重ならないように撮像データＤ５と低解像度データＤ６とを行ごとに出力することができる。例えば、固体撮像装置４０１は、ＲＯＩ領域の低解像度データＤ６が撮像データＤ５のＲＯＩ領域以外の位置にきちんとはめ込まれた状態で、低解像度データＤ６および撮像データＤ５を出力してもよい。これらの撮像データＤ５および低解像度データＤ６は、上述のイメージシグナルプロセッサ１０３に入力される。
　イメージシグナルプロセッサ１０３は、撮像データＤ５および低解像度データＤ６に基づいて合成画像Ｄ７を生成する。このとき、同図におけるｂに示すように、イメージシグナルプロセッサ１０３は、ＲＯＩ領域の低解像度データＤ６から低解像度画像Ｇ４Ａを生成し、撮像データＤ５から高解像度画像Ｇ４Ｂを生成する。そして、高解像度画像Ｇ４Ｂに低解像度画像Ｇ４Ａを挿入することで合成画像Ｄ７を生成することができる。
　このように、上述の第４の実施の形態では、固体撮像装置４０１は、ＲＯＩ領域では低解像度データＤ６を出力し、ＲＯＩ領域以外では撮像データＤ５を出力する。これにより、顔などが含まれるＲＯＩ領域では人物の特定を困難化して、プライバシーを保護することが可能となるとともに、ＲＯＩ領域以外では高精細な画像を提供することが可能となる。
　＜５．第５の実施の形態＞
　上述の第１の実施の形態では、画素アレイ部１１１、垂直走査部１２１、カラム信号処理部１３１、水平走査部１４１、タイミング制御部１５１、ＲＯＩ制御部１１２、画像処理部１４２および出力インタフェース１５２を固体撮像装置１０１に設けた。この第５の実施の形態では、画素アレイ部１１１、垂直走査部１２１、カラム信号処理部１３１、水平走査部１４１、タイミング制御部１５１、ＲＯＩ制御部１１２、画像処理部１４２および出力インタフェース１５２を複数のチップに分けて配置する。
　図１４は、第５の実施の形態に係る固体撮像装置の構成例を示すブロック図である。なお、同図におけるａは、固体撮像装置１０１の積層構造の第１の例を示すブロック図、同図におけるｂは、固体撮像装置１０１の積層構造の第２の例を示すブロック図である。
　同図におけるａにおいて、固体撮像装置１０１は、半導体チップ８０１および８０２を備える。半導体チップ８０１上には半導体チップ８０２が積層される。半導体チップ８０１と半導体チップ８０２との接合には、Ｃｕ配線同士の接合を含むハイブリッドボンディングを用いることができる。半導体チップ８０１および８０２の基板材料は、例えば、単結晶Ｓｉを用いることができる。
　半導体チップ８０２には、画素アレイ部１１１、垂直走査部１２１およびカラムＡＤＣ２３１が配置される。半導体チップ８０１には、垂直走査部１２１、カラムＡＤＣ２３１、水平走査部１４１、タイミング制御部１５１、ＲＯＩ回路１８２、画像処理部１４２および出力インタフェース１５２が配置される。ＲＯＩ回路１８２は、上述のＲＯＩ制御部１１２、スケーラ１２２およびセレクタ１３２を含む。
　同図におけるｂに示すように、固体撮像装置１０１は、半導体チップ９０１および９０２を備えてもよい。半導体チップ９０１上には半導体チップ９０２が積層される。
　半導体チップ９０２には、画素アレイ部１１１が配置される。半導体チップ９０１には、垂直走査部１２１、カラムＡＤＣ２３１、水平走査部１４１、タイミング制御部１５１、ＲＯＩ回路１８２、画像処理部１４２および出力インタフェース１５２が配置される。
　このように、上述の第５の実施の形態では、画素アレイ部１１１、垂直走査部１２１、カラムＡＤＣ２３１、水平走査部１４１、タイミング制御部１５１、ＲＯＩ回路１８２、画像処理部１４２および出力インタフェース１５２を積層化する。これにより、固体撮像装置１０１の実装面積を低減することができ、固体撮像装置１０１の高密度実装が可能となる。
　なお、上述の第５の実施の形態の積層構造は、上述の第２の実施の形態の固体撮像装置３０１に適用してもよいし、上述の第３の実施の形態または第４の実施の形態の固体撮像装置４０１に適用してもよい。また、上述の実施の形態では、ＲＯＩ領域またはＲＯＩ領域を含む行の画像をセレクタ１３２で切り出す方法について説明したが、ＲＯＩ制御部１１２が切り出してもよい。
　また、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。また、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）撮像データを生成する撮像部と、
　前記撮像データを低解像度化して低解像度データに変換する解像度変換部と、
　前記撮像部の撮像領域上の指定領域の設定に基づいて、前記撮像データの出力と前記低解像度データの出力とを切り替える切替部と
を具備する固体撮像装置。
（２）前記撮像部の撮像領域上の指定領域を制御し、前記指定領域の位置に基づいて前記切替部の切り替えを制御する領域制御部をさらに具備する前記（１）記載の固体撮像装置。
（３）前記切替部は、前記指定領域を含む行については前記撮像データを出力し、前記指定領域を含まない行については前記低解像度データを出力する
前記（２）に記載の固体撮像装置。
（４）前記解像度変換部で生成された前記低解像度データを１行分記憶し、前記切替部に出力する第１メモリをさらに具備する前記（２）または（３）に記載の固体撮像装置。
（５）前記領域制御部は、前記指定領域の設定に基づいて、前記第１メモリの出力タイミングおよび前記切替部の切替タイミングを制御するタイミングコントローラを
備える前記（３）または（４）に記載の固体撮像装置。
（６）前記タイミングコントローラは、前記指定領域以外の位置に前記低解像度データが出力され、前記指定領域の位置に前記撮像データが出力されるように、前記第１メモリの出力タイミングおよび前記切替部の切替タイミングを制御する
前記（５）記載の固体撮像装置。
（７）前記撮像部で生成された撮像データを１行分記憶し、前記切替部に出力する第２メモリをさらに具備する前記（４）から（６）のいずれかに記載の固体撮像装置。
（８）前記切替部は、前記第１メモリに記憶された前記低解像度データと前記第２メモリに記憶された前記撮像データとが重ならないように行ごとに出力する
前記（７）記載の固体撮像装置。
（９）前記領域制御部は、前記指定領域の設定に基づいて、前記第１メモリの出力タイミング、前記第２メモリの出力タイミングおよび前記切替部の切替タイミングを制御するタイミングコントローラを
備える前記（７）または（８）に記載の固体撮像装置。
（１０）前記タイミングコントローラは、前記指定領域の範囲については前記撮像データが出力され、前記撮像データの出力位置以外の位置に前記低解像度データが出力されるように、前記第１メモリの出力タイミング、前記第２メモリの出力タイミングおよび前記切替部の切替タイミングを制御する
前記（７）から（９）のいずれかに記載の固体撮像装置。
（１１）前記タイミングコントローラは、前記指定領域の範囲については前記低解像度データが出力され、前記低解像度データの出力位置以外の位置に前記撮像データが出力されるように、前記第１メモリの出力タイミング、前記第２メモリの出力タイミングおよび前記切替部の切替タイミングを制御する
前記（７）から（１０）のいずれかに記載の固体撮像装置。
（１２）撮像データを生成する手順と、
　前記撮像データを低解像度化して低解像度データに変換する手順と、
　前記撮像データが撮像される撮像領域上の指定領域の設定に基づいて、前記撮像データの出力と前記低解像度データの出力とを切り替える手順と
を具備する撮像データの出力方法。
　１０１、３０１、４０１　固体撮像装置
　１１０　撮像部
　１１１　画素アレイ部
　１２１　垂直走査部
　１３１　カラム信号処理部
　１４１　水平走査部
　１５１　タイミング制御部
　１１２　ＲＯＩ制御部
　１２２　スケーラ
　１３２　セレクタ
　１４２　画像処理部
　１５２　出力インタフェース
　２０１　画素
　２１２、３１２、４１２　タイミングコントローラ
　１７２、１８２　行遅延メモリ

Claims (12)

  1. 　撮像データを生成する撮像部と、
    　前記撮像データを低解像度化して低解像度データに変換する解像度変換部と、
    　前記撮像部の撮像領域上の指定領域の設定に基づいて、前記撮像データの出力と前記低解像度データの出力とを切り替える切替部と
    を具備する固体撮像装置。
  2. 　前記撮像部の撮像領域上の指定領域を制御し、前記指定領域の位置に基づいて前記切替部の切り替えを制御する領域制御部をさらに具備する請求項１記載の固体撮像装置。
  3. 　前記切替部は、前記指定領域を含む行については前記撮像データを出力し、前記指定領域を含まない行については前記低解像度データを出力する
    請求項２記載の固体撮像装置。
  4. 　前記解像度変換部で生成された前記低解像度データを１行分記憶し、前記切替部に出力する第１メモリをさらに具備する請求項２記載の固体撮像装置。
  5. 　前記領域制御部は、前記指定領域の設定に基づいて、前記第１メモリの出力タイミングおよび前記切替部の切替タイミングを制御するタイミングコントローラを
    備える請求項４記載の固体撮像装置。
  6. 　前記タイミングコントローラは、前記指定領域以外の位置に前記低解像度データが出力され、前記指定領域の位置に前記撮像データが出力されるように、前記第１メモリの出力タイミングおよび前記切替部の切替タイミングを制御する
    請求項５記載の固体撮像装置。
  7. 　前記撮像部で生成された撮像データを１行分記憶し、前記切替部に出力する第２メモリをさらに具備する請求項４記載の固体撮像装置。
  8. 　前記切替部は、前記第１メモリに記憶された前記低解像度データと前記第２メモリに記憶された前記撮像データとが互いに重ならないように行ごとに出力する
    請求項７記載の固体撮像装置。
  9. 　前記領域制御部は、前記指定領域の設定に基づいて、前記第１メモリの出力タイミング、前記第２メモリの出力タイミングおよび前記切替部の切替タイミングを制御するタイミングコントローラを
    備える請求項７記載の固体撮像装置。
  10. 　前記タイミングコントローラは、前記指定領域の範囲については前記撮像データが出力され、前記撮像データの出力位置以外の位置に前記低解像度データが出力されるように、前記第１メモリの出力タイミング、前記第２メモリの出力タイミングおよび前記切替部の切替タイミングを制御する
    請求項９記載の固体撮像装置。
  11. 　前記タイミングコントローラは、前記指定領域の範囲については前記低解像度データが出力され、前記低解像度データの出力位置以外の位置に前記撮像データが出力されるように、前記第１メモリの出力タイミング、前記第２メモリの出力タイミングおよび前記切替部の切替タイミングを制御する
    請求項９記載の固体撮像装置。
  12. 　撮像データを生成する手順と、
    　前記撮像データを低解像度化して低解像度データに変換する手順と、
    　前記撮像データが撮像される撮像領域上の指定領域の設定に基づいて、前記撮像データの出力と前記低解像度データの出力とを切り替える手順と
    を具備する撮像データの出力方法。
PCT/JP2023/001035 2022-03-14 2023-01-16 固体撮像装置および撮像データの出力方法 WO2023176125A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022038863 2022-03-14
JP2022-038863 2022-03-14

Publications (1)

Publication Number Publication Date
WO2023176125A1 true WO2023176125A1 (ja) 2023-09-21

Family

ID=88022737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/001035 WO2023176125A1 (ja) 2022-03-14 2023-01-16 固体撮像装置および撮像データの出力方法

Country Status (1)

Country Link
WO (1) WO2023176125A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029952A (ja) * 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022014271A1 (ja) * 2020-07-13 2022-01-20 ソニーグループ株式会社 画像処理装置、画像表示システム、方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029952A (ja) * 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022014271A1 (ja) * 2020-07-13 2022-01-20 ソニーグループ株式会社 画像処理装置、画像表示システム、方法及びプログラム

Similar Documents

Publication Publication Date Title
US10257426B2 (en) Image sensor modules, methods of manufacturing the same, and image processing systems including the image sensor modules
KR101459146B1 (ko) 이미지 센서, 전자 장치, 및 전자 장치의 구동 방법
US8009337B2 (en) Image display apparatus, method, and program
US7990436B2 (en) Solid state image pickup device, drive method thereof and camera system
JP2000092376A (ja) 撮像装置
JP4253881B2 (ja) 撮像装置
US7583280B2 (en) Image display device
JP5284013B2 (ja) 撮像装置およびその制御方法、プログラム
JP2003264844A (ja) 固体撮像装置およびその信号読出し方法
JP2015053644A (ja) 撮像装置
US7260271B2 (en) Digital image data correction apparatus, digital image data correction method and digital image pickup apparatus
JP6948810B2 (ja) 画像処理システム
WO2023176125A1 (ja) 固体撮像装置および撮像データの出力方法
JP2002044393A (ja) 画像処理装置
JP2003319269A (ja) 固体撮像装置および撮像方法
JPH0278382A (ja) 撮像装置
US7773135B2 (en) Imaging apparatus
JP4158245B2 (ja) 信号処理装置
JP2001078132A (ja) 映像情報処理装置及び方法
US6891569B1 (en) Wide angle image pickup apparatus
JP3358725B2 (ja) 撮像装置
JP2000092349A (ja) 画像処理装置
WO2023002643A1 (ja) 撮像素子及び撮像装置
JP4764905B2 (ja) 撮像システム
US20100073491A1 (en) Dual buffer system for image processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770088

Country of ref document: EP

Kind code of ref document: A1