WO2024014278A1 - 撮像装置およびデータ出力方法 - Google Patents

撮像装置およびデータ出力方法 Download PDF

Info

Publication number
WO2024014278A1
WO2024014278A1 PCT/JP2023/023702 JP2023023702W WO2024014278A1 WO 2024014278 A1 WO2024014278 A1 WO 2024014278A1 JP 2023023702 W JP2023023702 W JP 2023023702W WO 2024014278 A1 WO2024014278 A1 WO 2024014278A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal processing
imaging device
output
image data
imaging
Prior art date
Application number
PCT/JP2023/023702
Other languages
English (en)
French (fr)
Inventor
彬任 桑原
岡部　政信
裕幸 小沢
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024014278A1 publication Critical patent/WO2024014278A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an imaging device and a data output method, and particularly relates to an imaging device and a data output method that can reduce the risk of privacy violation.
  • Patent Document 1 discloses an image sensor in which an imaging unit that captures an image and a signal processing unit that performs signal processing on image data based on the output of the imaging unit are arranged on a single chip. There is.
  • the image sensor disclosed in Patent Document 1 is configured to be able to selectively output at least one of the signal processing result of signal processing, intermediate data obtained during signal processing, and image data to the outside.
  • the present disclosure has been made in view of this situation, and is intended to reduce the risk of privacy infringement.
  • An imaging device includes an imaging unit that captures an image, in which a plurality of pixels are arranged two-dimensionally, and a signal processing unit that performs signal processing on image data based on the output of the imaging unit. and an output section that is not directly connected to the imaging section and is capable of outputting only the signal processing result of the signal processing to the outside, and the signal processing section deletes the image data after the signal processing. It is an imaging device that
  • An imaging device includes an imaging unit that captures an image, in which a plurality of pixels are arranged two-dimensionally, and a signal processing unit that performs signal processing on image data based on the output of the imaging unit. an output unit capable of outputting the signal processing result of the signal processing to the outside; and a check process for checking that the image data is not included in the output of the signal processing unit before the signal processing.
  • An imaging device includes a check processing section.
  • a data output method includes an imaging unit that captures an image, in which a plurality of pixels are arranged two-dimensionally, and a signal that performs signal processing on image data based on the output of the imaging unit.
  • An imaging device that includes a processing unit and an output unit that is not directly connected to the imaging unit and that can output only the signal processing result of the signal processing to the outside deletes the image data after the signal processing. This is the output method.
  • an imaging unit that captures an image, in which a plurality of pixels are arranged two-dimensionally, and a signal processing unit that performs signal processing on image data based on the output of the imaging unit.
  • the image data is deleted after the signal processing, and an output section that is not directly connected to the imaging section and is capable of outputting only the signal processing result of the signal processing to the outside.
  • an imaging unit that captures an image, in which a plurality of pixels are arranged two-dimensionally, and a signal processing unit that performs signal processing on image data based on the output of the imaging unit.
  • a check process of checking that the image data is not included in the output of the signal processing section before the signal processing. is executed.
  • FIG. 1 is a block diagram showing a configuration example of a conventional imaging device.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging device to which the technology according to the present disclosure is applied.
  • FIG. 1 is a perspective view showing an outline of an example of the external configuration of an imaging device.
  • 1 is a block diagram showing a configuration example of an imaging device according to a first embodiment;
  • FIG. 3 is a diagram illustrating an example of restricting access to work memory. It is a flowchart explaining operation of DSP.
  • FIG. 2 is a block diagram showing a first configuration example of an imaging device according to a second embodiment.
  • 3 is a flowchart illustrating the operation of a network test block.
  • FIG. 3 is a diagram illustrating checking the network structure.
  • FIG. 3 is a flowchart illustrating the operation of the entire imaging device.
  • FIG. 2 is a block diagram showing a second configuration example of an imaging device according to a second embodiment.
  • 3 is a flowchart illustrating the operation of a check-dedicated processor.
  • FIG. 3 is a block diagram showing a third configuration example of an imaging device according to a second embodiment.
  • 3 is a flowchart illustrating the operation of a check-dedicated processor.
  • FIG. 2 is a diagram illustrating an application example of the technology according to the present disclosure.
  • FIG. 2 is a diagram illustrating an application example of the technology according to the present disclosure.
  • FIG. 1 is a block diagram showing an example of the configuration of a conventional imaging device.
  • the imaging device IS shown in FIG. 1 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor configured with one chip, which receives incident light from an optical system (not shown), performs photoelectric conversion, and Outputs image data corresponding to the incident light from the system.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging device IS also performs signal processing, such as recognition processing for recognizing a predetermined recognition target, using the output image data, and outputs the signal processing result of the signal processing.
  • signal processing such as recognition processing for recognizing a predetermined recognition target
  • the imaging device IS includes an imaging block 10, a signal processing block 20, a selector 30, and an external I/F 40.
  • the imaging block 10 and the signal processing block 20, and the signal processing block 20 and the selector 30 are electrically connected by connection lines. Further, the imaging block 10 and the selector 30 are directly electrically connected by a connecting line.
  • the imaging block 10 includes a pixel array 11, a column ADC (Analog to Digital Converter) 12, and a control unit 13.
  • the pixel array 11 is configured as an imaging unit in which a plurality of pixels are arranged two-dimensionally.
  • the pixel array 11 is driven by the control unit 13 and captures an image. Specifically, the pixel array 11 receives incident light from an optical system (not shown) in each pixel, performs photoelectric conversion, and outputs an analog image signal corresponding to the incident light.
  • the column ADC 12 reads analog image signals output from the pixel array 11 and performs AD conversion under the control of the control unit 13.
  • the column ADC 12 outputs a digital image signal obtained by AD conversion of an analog image signal as image data (RAW data).
  • the RAW data output by the column ADC 12 is supplied to the signal processing block 20 and also to the selector 30.
  • the control unit 13 controls the operations of the pixel array 11 and column ADC 12. Specifically, the control unit 13 controls driving of each pixel in the pixel array 11, reading of image signals by the column ADC 12, and AD conversion.
  • the signal processing block 20 includes an ISP (Image Signal Processing) section 21, a DSP (Digital Signal Processor) 22, a processing result I/F 23, and an external I/F 24.
  • ISP Image Signal Processing
  • DSP Digital Signal Processor
  • the units constituting the signal processing block 20 are connected to each other via a bus, and can exchange information as necessary.
  • the signal processing block 20 includes a CPU (Central Processing Unit) that performs various processes including overall control of the signal processing block 20 by executing programs stored in a memory (not shown). ) is provided.
  • CPU Central Processing Unit
  • the ISP unit 21 performs various image processing on the image data (RAW data) from the imaging block 10.
  • the ISP section performs HDR (High Dynamic Range) conversion processing, defect correction, development processing, etc. on the image data from the imaging block 10.
  • HDR High Dynamic Range
  • the DSP 22 functions as a signal processing unit that performs signal processing using image data after image processing by the ISP unit 21.
  • the processing result I/F 23 supplies the selector 30 with the signal processing results of the signal processing using the image data by the DSP 22 and the results of various image processing performed on the image data by the ISP section 21.
  • the external I/F 24 outputs the signal processing result of the signal processing performed by the DSP 22 using the image data to the outside.
  • the external I/F 24 is configured by, for example, a serial communication I/F such as SPI (Serial Peripheral Interface).
  • the selector 30 performs output control to selectively output the image data (RAW data) from the imaging block 10 and the signal processing result of the signal processing from the signal processing block 20 to the outside from the external I/F 40. That is, the selector 30 selects the image data from the imaging block 10, the signal processing result from the signal processing block 20, or both, and supplies them to the external I/F 40.
  • Intermediate data obtained during signal processing using image data by the DSP 22 may be supplied to the selector 30 via the processing result I/F 23.
  • the selector 30 transfers either the image data from the imaging block 10, the signal processing result from the signal processing block 20, both of them, or intermediate data obtained during signal processing from the external I/F 40. Performs output control to selectively output.
  • intermediate data obtained during signal processing for example, recognition processing
  • the intermediate data can be used for debugging a program for performing signal processing.
  • the external I/F 40 is an I/F that outputs image data and signal processing results supplied from the selector 30 to the outside.
  • a relatively high-speed parallel communication I/F such as MIPI (Mobile Industry Processor Interface) can be employed.
  • the image data from the imaging block 10 or the signal processing result by the DSP 22 from the signal processing block 20 is output to the outside according to the output control of the selector 30. Therefore, for example, if only the signal processing result from the signal processing block 20 by the DSP 22 is required externally, and the image data (captured image) itself is not required, only the signal processing result can be output, and the external The amount of data output from the I/F 40 to the outside can be reduced. Further, if the image data (captured image) itself is not required, only the signal processing result from the signal processing block 20 by the DSP 22 can be outputted to the outside from the external I/F 24 as well.
  • the imaging device IS can output only the signal processing results to the outside, so it can be said that there is an advantage in terms of privacy protection.
  • image data cannot be output, there is a risk of privacy violation.
  • FIG. 2 is a block diagram illustrating a configuration example of an imaging device to which the technology according to the present disclosure is applied.
  • the imaging device 1 shown in FIG. 2 is also, for example, a CMOS image sensor configured with one chip, which receives incident light from an optical system (not shown), performs photoelectric conversion, and converts the incident light from the optical system. Output the image data corresponding to.
  • CMOS image sensor configured with one chip, which receives incident light from an optical system (not shown), performs photoelectric conversion, and converts the incident light from the optical system. Output the image data corresponding to.
  • the imaging device 1 also performs signal processing, such as recognition processing for recognizing a predetermined recognition target, using the output image data, and outputs the signal processing result of the signal processing.
  • signal processing such as recognition processing for recognizing a predetermined recognition target
  • the imaging device 1 includes an imaging block 10 and a signal processing block 20.
  • the imaging device 1 in FIG. 2 differs from the imaging device IS in FIG. 1 in that it does not include the selector 30 and external I/F 40. That is, the imaging device 1 in FIG. 2 does not have an external I/F that is directly connected to the pixel array 11 (imaging block 10) as an imaging section.
  • the CPU 51 performs various processes including control of the entire signal processing block 20 by executing programs stored in a memory (not shown).
  • the external I/F 52 outputs the signal processing result of the signal processing performed on the image data by the DSP 22 to the outside.
  • the external I/F 52 is not limited to a serial communication I/F such as SPI, but may be configured by a parallel communication I/F such as MIPI or other communication I/F.
  • the external I/F 52 is configured as an output unit that is not directly connected to the pixel array 11 (imaging block 10) as an imaging unit and is capable of outputting only the signal processing result of signal processing to the outside.
  • the DSP 22 may be configured to delete image data after signal processing, or the CPU 51 may check that the output of the DSP 22 does not include image data before signal processing. It is possible to adopt a configuration that
  • the imaging device 1 can realize a configuration in which image data cannot be output to the outside.
  • FIG. 3 is a perspective view showing an outline of an example of the external configuration of the imaging device 1 of FIG. 2.
  • the imaging device 1 can be configured, for example, as a one-chip semiconductor device having a stacked structure in which a plurality of dies are stacked.
  • the imaging device 1 is configured by stacking two dies, a die 61 and a die 62.
  • the pixel array 11 is mounted on the upper die 61, and the column ADC 12, the control section 13, the ISP section 21, the DSP 22, the CPU 51, and the external I/F 52 are mounted on the lower die 62. There is.
  • the upper die 61 and the lower die 62 can be connected, for example, by forming a through hole that penetrates the die 61 and reaches the die 62, or by connecting the Cu wiring exposed on the lower surface side of the die 61 and the die 62.
  • the electrical connection is made by performing a Cu--Cu bond that is exposed on the upper surface side and directly connected to the Cu wiring.
  • the column ADC 12 as a method for AD converting the image signal output from the pixel array 11, for example, a column parallel AD method or an area AD method can be adopted.
  • ADCs are provided for the columns of pixels constituting the pixel array 11, and the ADCs in each column are responsible for AD conversion of the pixel signals of the pixels in that column. AD conversion of image signals of pixels in each column is performed in parallel.
  • a part of the column ADC 12 that performs AD conversion in the column-parallel AD method may be mounted on the upper die 61.
  • the pixels forming the pixel array 11 are divided into a plurality of blocks, and an ADC is provided for each block. Then, the ADC of each block takes charge of AD conversion of the pixel signals of the pixels of that block, so that AD conversion of the image signals of the pixels of the plurality of blocks is performed in parallel.
  • AD conversion reading and AD conversion
  • AD conversion of an image signal can be performed only for necessary pixels among the pixels forming the pixel array 11, using a block as the minimum unit.
  • the imaging device 1 can be configured with one die.
  • the two dies 61 and 62 are stacked to form the one-chip imaging device 1, but the one-chip imaging device 1 is constructed by stacking three or more dies. can be configured.
  • the signal processing performed by the imaging device 1 that is, the signal processing by the DSP 22, for example, recognition processing for recognizing a predetermined recognition target from image data can be adopted.
  • the imaging device 1 can receive, at the external I/F 52, the output of a distance sensor such as a ToF (Time of Flight) sensor that is arranged in a predetermined positional relationship with the imaging device 1.
  • a distance sensor such as a ToF (Time of Flight) sensor that is arranged in a predetermined positional relationship with the imaging device 1.
  • the signal processing of the DSP 22 includes, for example, processing that uses the captured image to remove noise in the distance image obtained from the output of the distance sensor received by the external I/F 52. It is possible to employ fusion processing that integrates images to obtain highly accurate distances.
  • the imaging device 1 can receive, through the external I/F 52, images output by other image sensors arranged in a predetermined positional relationship with the imaging device 1.
  • the signal processing of the DSP 22 includes, for example, self-position estimation processing (SLAM (Simultaneously Localization and Mapping)) that uses the image received by the external I/F 52 and the image captured by the imaging device 1 as a stereo image. Can be adopted.
  • SLAM Simultaneously Localization and Mapping
  • FIG. 4 is a block diagram showing an example of the configuration of the imaging device according to the first embodiment.
  • the imaging device 100 shown in FIG. 4 includes a pixel array 111, a column ADC 112, an ISP block 113, a DSP 114, a program memory 115, a work memory 116, a data transfer block 117, and an output I/F 118.
  • the pixel array 111, the column ADC 112, and the ISP block 113 have the same functions as the pixel array 11, the column ADC 12, and the ISP section 21 included in the imaging device 1 in FIG. 2, so their description will be omitted.
  • the DSP 114 executes recognition processing for recognizing a predetermined recognition target on the image data as signal processing using the image data after the image processing by the ISP block 113.
  • the program memory 115 stores a program for the DSP 114 to execute recognition processing.
  • the program memory 115 is constituted by a ROM (Read Only Memory), and the program for executing the recognition process cannot be rewritten.
  • the program is a program in which processing contents are described that enable execution of signal processing using a neural network, for example, recognition processing using a DNN.
  • the DSP 114 can execute recognition processing using DNN according to the program stored in the program memory 115.
  • the work memory 116 is composed of a RAM (Random Access Memory), and temporarily stores data related to recognition processing executed by the DSP 114. Specifically, in the work memory 116, the DSP 114 writes image data used in recognition processing and metadata of image data output as a recognition result of the recognition processing. Further, after the recognition process by the DSP 114, the image data written in the work memory 116 is deleted by the DSP 114.
  • RAM Random Access Memory
  • the data transfer block 117 is configured by, for example, a DMA (Direct Memory Access) controller, and controls the transfer of data from the work memory 116 to the output I/F 118. Specifically, the data transfer block 117 transfers only the metadata (recognition results) written in the work memory 116 to the output I/F 118.
  • DMA Direct Memory Access
  • the output I/F 118 has the same function as the external I/F 52 included in the imaging device 1 in FIG. 2, is not directly connected to the pixel array 11, and can output only metadata (recognition results) to the outside. Configured as an output section.
  • FIG. 5 is a diagram showing an example of access restriction to the work memory 116 of the data transfer block 117.
  • the data transfer block 117 is provided with an access restriction that allows access only to the storage area in which metadata (recognition results) are written among the storage areas of the work memory 116. You can.
  • the data transfer block 117 is provided with a read restriction such that data cannot be read from the storage area of the work memory 116 where image data is written. Good too.
  • DSP operation The operation of the DSP 114 will be described with reference to the flowchart in FIG. The process in FIG. 6 is repeated for each frame of the image captured by the pixel array 111.
  • step S111 the DSP 114 captures the image data processed by the ISP block 113.
  • step S112 the DSP 114 writes the captured image data into the work memory 116.
  • step S113 the DSP 114 executes DNN processing (recognition processing using DNN) on the image data written to the work memory 116.
  • DNN processing recognition processing using DNN
  • step S114 the DSP 114 deletes the image data written in the work memory 116.
  • step S115 the DSP 114 outputs metadata that is the recognition result of the recognition process to the work memory 116.
  • image data is once written to the work memory 116 for recognition processing, it is deleted after the recognition processing, and only metadata (recognition results) are output to the outside. As a result, image data will not be output to the outside, making it possible to reduce the risk of privacy violation.
  • the program for executing recognition processing is not rewritable, it is possible to reliably realize a structure in which image data is not output to the outside.
  • Second embodiment> a configuration will be described in which it is checked that image data is not included in the output of a DSP, which is a recognition processing unit.
  • FIG. 7 is a block diagram showing a first configuration example of an imaging device according to the second embodiment.
  • the imaging device 200 shown in FIG. 7 includes a pixel array 211, a column ADC 212, an ISP block 213, a DSP 214, a program memory 215, a work memory 216, and an output I/F 217.
  • These configurations basically have the same functions as the pixel array 111, column ADC 112, ISP block 113, DSP 114, program memory 115, work memory 116, and output I/F 118 included in the imaging device shown in FIG. , the explanation thereof will be omitted.
  • the DSP 214 does not write the metadata as the recognition result of the recognition process into the work memory 216, but directly outputs it to the output I/F 217.
  • the data transfer block 117 shown in FIG. 4 may be provided in the imaging device 200.
  • the DSP 214 may write metadata as a recognition result of the recognition process to the work memory 216, and the data transfer block 117 may transfer the metadata written to the work memory 216 to the output I/F 217. .
  • the program memory 215 is configured of a RAM instead of a ROM, and a program for executing the recognition process loaded from the outside is written in the program memory 215.
  • the imaging device 200 further includes an input I/F 218, a network inspection block 219, and an overall control CPU 220.
  • the input I/F 218 receives input of a program (hereinafter also referred to as a DSP program) for operating an AI model or the like in the DSP 214, provided by the user of the imaging device 200.
  • the DSP program is also a program in which processing contents are described that enable execution of signal processing using a neural network, for example, recognition processing using a DNN.
  • the network inspection block 219 is configured by a predetermined processor or realized by predetermined software, and executes a check process to check that image data is not included in the output of the DSP 214 before the recognition process by the DSP 214. It has the function of a processing section.
  • the network inspection block 219 loads a DSP program from the outside via the input I/F 218 and writes it into the program memory 215.
  • the network check block 219 executes the above-described checking process on the DSP program written in the program memory 215. More specifically, the network inspection block 219 checks that the output of the DSP 214 does not include image data by inspecting that the network structure of the neural network (DNN) is a structure that cannot output image data. Then, the test results are output to the overall control CPU 220.
  • DNN network structure of the neural network
  • the overall control CPU 220 performs various processes including overall control of the imaging device 200 by executing programs stored in a memory (not shown). For example, the overall control CPU 220 controls execution of recognition processing by the DSP 214 based on the test results from the network test block 219. The overall control CPU 220 also functions as an alert generation unit that generates alert information based on the test results from the network test block 219.
  • step S211 the network inspection block 219 loads the DSP program from the outside via the input I/F 218.
  • step S212 the network inspection block 219 writes the externally loaded DSP program into the program memory 215.
  • step S213 the network inspection block 219 checks (inspects) that the DSP program written in the program memory 215 has a network structure in which image data is not included in the output of the DNN.
  • the network inspection block 219 determines that there is a problem with the network structure of the DNN (NG).
  • the network inspection block 219 determines that there is no problem with the network structure of the DNN (OK).
  • the DNN network structure is converted to ROM, and no changes other than weights (parameters) can be made. You can do it like this.
  • the weights (parameters) may also be stored in a ROM so that only fixed processing is performed.
  • step S214 the network test block 219 outputs a test result indicating whether there is a problem with the DNN network structure to the overall control CPU 220.
  • step S221 the column ADC 212 reads RAW data from the pixel array 211 and outputs it to the ISP block 213.
  • the ISP block 213 performs various image processing on the RAW data from the column ADC 212.
  • step S222 the overall control CPU 220 obtains the test results from the network test block 219.
  • step S223 the overall control CPU 220 determines whether there is any problem with the DNN network structure based on the test results from the network test block 219. In other words, it is determined whether the user can obtain image data from the output of the DSP 214.
  • step S223 If it is determined in step S223 that there is no problem with the DNN network structure, that is, if it is determined that the user cannot obtain image data from the output of the DSP 214, the process advances to step S224.
  • step S224 the overall control CPU 220 transmits an enable signal (ON) to execute DNN processing (recognition processing using DNN) to the DSP 214. Thereby, the DSP 214 starts executing recognition processing on the image data after the image processing by the ISP block 213.
  • step S223 if it is determined in step S223 that there is a problem with the DNN network structure, that is, if it is determined that the user can obtain image data from the output of the DSP 214, the process advances to step S225.
  • step S225 the overall control CPU 220 transmits to the DSP 214 an enable signal (OFF) to stop execution of the DNN process.
  • the DSP 214 stops executing the recognition process on the image data after the image processing by the ISP block 213 .
  • step S226 the overall control CPU 220 generates alert information and supplies it to the output I/F 217, so that the output I/F 217 outputs an alert message.
  • FIG. 11 is a block diagram showing a second configuration example of the imaging device according to the second embodiment.
  • the same components as those included in the imaging device 200 in FIG. 7 are denoted by the same reference numerals, and the description thereof will be omitted.
  • the imaging device 200A in FIG. 11 is different from the imaging device 200 in FIG. 7 in that it includes a check-dedicated processor 231, a check-dedicated program memory 232, and a check-dedicated work memory 233 instead of the network inspection block 219 and the overall control CPU 220. different from.
  • the check-dedicated processor 231 is configured, for example, by a dedicated CPU, and executes a check process to check that the output of the DSP 214 does not include image data before the recognition process by the DSP 214. Note that the check-dedicated processor 231 may further have a function similar to that of the overall control CPU 220 in FIG. 7 in addition to the function of a check processing unit that executes a check process.
  • the check-only program memory 232 stores a program for the check-only processor 231 to execute check processing.
  • the check-only program memory 232 is constituted by a ROM, and the program for executing the check process cannot be rewritten.
  • the check-only work memory 233 is composed of a RAM, and a program (DSP program) loaded from the outside for executing recognition processing is written in the check-only work memory 233.
  • step S231 the check-only processor 231 loads a DSP program from the outside via the input I/F 218.
  • step S232 the check-only processor 231 writes the externally loaded DSP program into the check-only work memory 233.
  • step S233 the check-only processor 231 checks (inspects) that the DSP program written in the check-only work memory 233 has a network structure in which image data is not included in the output of the DNN.
  • step S234 the check-only processor 231 determines whether there is any problem with the DNN network structure.
  • step S234 If it is determined in step S234 that there is no problem with the DNN network structure, the process proceeds to step S235, where the check-only processor 231 transfers the DSP program written in the check-only work memory 233 to the program memory 215.
  • step S235 the check-only processor 231 transmits an enable signal (ON) to execute DNN processing (recognition processing using DNN) to the DSP 214.
  • the DSP 214 starts executing recognition processing on the image data after the image processing by the ISP block 213.
  • step S234 determines whether there is a problem with the DNN network structure. If it is determined in step S234 that there is a problem with the DNN network structure, the process advances to step S237, and the check-dedicated processor 231 transmits an enable signal (OFF) to stop the DNN processing execution to the DSP 214.
  • the DSP 214 stops executing the recognition process on the image data after the image processing by the ISP block 213 .
  • step S238 the check-only processor 231 generates alert information and supplies it to the output I/F 217, so that the output I/F 217 outputs an alert message.
  • FIG. 13 is a block diagram showing a third configuration example of the imaging device according to the second embodiment.
  • the same components as those included in the imaging device 200A in FIG. 11 are denoted by the same reference numerals, and the description thereof will be omitted.
  • the imaging device 200B in FIG. 13 differs from the imaging device 200A in FIG. 11 in that it does not include the check-only work memory 233.
  • step S251 the check-only processor 251 loads a DSP program from the outside via the input I/F 218.
  • step S252 the check-only processor 231 directly writes the externally loaded DSP program into the program memory 215.
  • step S253 the check-only processor 231 checks (inspects) that the DSP program written in the program memory 215 has a network structure in which image data is not included in the output of the DNN.
  • step S254 the check-only processor 231 determines whether there is any problem with the DNN network structure.
  • step S254 If it is determined in step S254 that there is no problem with the DNN network structure, the process proceeds to step S255, and the check-dedicated processor 231 sends an enable signal (ON) to the DSP 214 to execute DNN processing (recognition processing using DNN). Send. Thereby, the DSP 214 starts executing recognition processing on the image data after the image processing by the ISP block 213.
  • step S254 determines whether there is a problem with the DNN network structure. If it is determined in step S254 that there is a problem with the DNN network structure, the process proceeds to step S256, and the check-dedicated processor 231 transmits an enable signal (OFF) to stop the DNN processing execution to the DSP 214.
  • the DSP 214 stops executing the recognition process on the image data after the image processing by the ISP block 213 .
  • step S257 the check-only processor 231 generates alert information and supplies it to the output I/F 217, so that the output I/F 217 outputs an alert message.
  • the DSP program loaded from the outside is written directly to the program memory 215, so it is possible to check the network structure of the DNN without providing the check-only work memory 233. It becomes possible.
  • Each of the imaging devices of the second embodiment described above can also be configured in combination with the imaging device of the first embodiment. That is, it is possible to check that the output of the DSP 214 does not include image data, and then delete the image data after the recognition process, so that only the metadata (recognition results) are output to the outside.
  • the technology according to the present disclosure can be applied to a monitoring camera for watching over elderly people and people in need of care.
  • the technology according to the present disclosure can be applied to consumer behavior analysis at commercial facilities such as department store shopping centers.
  • the customer's "gender” is determined as a recognition result of the recognition process for image data IMG21 and IMG22. Metadata representing things like age, time spent at the store, and purchased products is output.
  • the present disclosure can take the following configuration.
  • an imaging unit that captures an image, in which a plurality of pixels are arranged two-dimensionally; a signal processing unit that performs signal processing on image data based on the output of the imaging unit; an output section that is not directly connected to the imaging section and is capable of outputting only the signal processing result of the signal processing to the outside;
  • the signal processing unit deletes the image data after the signal processing.
  • the imaging device (2) further comprising a first storage section into which data related to the signal processing is temporarily written, The imaging device according to (1), wherein the signal processing unit deletes the image data written to the first storage unit for the signal processing after the signal processing.
  • the chip includes a first substrate and a second substrate bonded to each other, The first substrate includes the imaging section, The imaging device according to (6), wherein the second substrate includes the signal processing section.
  • an imaging unit that captures an image, in which a plurality of pixels are arranged two-dimensionally; a signal processing unit that performs signal processing on image data based on the output of the imaging unit; an output unit capable of outputting the signal processing result of the signal processing to the outside;
  • An imaging device comprising: a check processing unit that executes a check process to check that the image data is not included in the output of the signal processing unit before the signal processing.
  • the imaging device (9) The imaging device according to (8), wherein the signal processing unit executes the signal processing when it is determined that the user cannot acquire the image data from the output of the signal processing unit.
  • a first program for executing the signal processing is loaded from the outside, The imaging device according to (9), wherein the check processing unit executes the check process on the first program.
  • the first program enables execution of the signal processing using a neural network, The imaging device according to (10), wherein the check processing unit checks whether the network structure of the neural network is a structure that cannot output the image data.
  • the check processing unit instructs the signal processing unit to execute the signal processing when the network structure is such that the image data cannot be restored from the network structure and the output result. Imaging device.
  • the imaging device further comprising a storage unit storing a second program for executing the check process, The imaging device according to any one of (8) to (12), wherein the storage unit makes the second program non-rewritable.
  • the signal processing unit stops execution of the signal processing when it is determined that the image data can be acquired by the user from the output of the signal processing unit, according to any one of (8) to (13). imaging device.
  • the imaging device further comprising an alert generation unit that generates alert information when it is determined that the image data is included in the output of the signal processing unit.
  • the imaging device according to any one of (8) to (15), wherein the output section is not directly connected to the imaging section.
  • the imaging device according to (8) to (16), wherein the imaging section, the signal processing section, and the check processing section are arranged in one chip.
  • the chip includes a first substrate and a second substrate bonded to each other, The first substrate includes the imaging section, The imaging device according to (17), wherein the second board includes the signal processing section and the check processing section.
  • an imaging unit that captures an image, in which a plurality of pixels are arranged two-dimensionally; a signal processing unit that performs signal processing on image data based on the output of the imaging unit;
  • the data output method according to (19), wherein, before the signal processing, a check process is performed to check that the image data is not included in the output of the signal processing section.
  • Imaging device 10 Imaging block, 11 Pixel array, 12 Column ADC, 13 Control unit, 20 Signal processing block, 21 ISP unit, 22 DSP, 51 CPU, 52 External I/F, 10 0 Imaging device, 111 Pixel array, 112 Column ADC, 113 ISP block, 114 DSP, 115 program memory, 116 work memory, 117 data transfer block, 118 output I/F, 200, 200A, 200B imaging device, 211 pixel array, 2 12 Column ADC, 213 ISP block, 214 DSP, 215 Program memory, 216 Work memory, 217 Output I/F, 218 Input I/F, 219 Network inspection block, 220 Overall control CPU, 231 Check-only processor, 232 Check-only program memory, 233 Check-only work memory

Abstract

本開示は、プライバシー侵害のリスクを低減することができるようにする撮像装置およびデータ出力方法に関する。 複数の画素が２次元に並んだ、画像を撮像する撮像部と、撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、撮像部とは直接的に接続されない、信号処理の信号処理結果のみを外部に出力可能な出力部とを備え、信号処理部は、信号処理の後に画像データを削除する。本開示は、ＡＩ機能を搭載したイメージセンサに適用することができる。

Description

撮像装置およびデータ出力方法
　本開示は、撮像装置およびデータ出力方法に関し、特に、プライバシー侵害のリスクを低減できるようにする撮像装置およびデータ出力方法に関する。
　特許文献１には、画像を撮像する撮像部と、撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部が単一のチップに配置されているイメージセンサが開示されている。特許文献１のイメージセンサは、信号処理の信号処理結果、信号処理の途中で得られる中間データ、および画像データを少なくともいずれかを外部に選択的に出力できるように構成される。
国際公開第２０１８／０５１８０９号
　特許文献１のイメージセンサによれば、信号処理結果のみを外部に出力するようにできるので、プライバシー保護の観点でのメリットがあるとされている。しかしながら、画像データを出力できないわけではないため、プライバシー侵害のリスクが存在する。
　本開示は、このような状況に鑑みてなされたものであり、プライバシー侵害のリスクを低減できるようにするものである。
　本開示の第１の側面の撮像装置は、複数の画素が２次元に並んだ、画像を撮像する撮像部と、前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、前記撮像部とは直接的に接続されない、前記信号処理の信号処理結果のみを外部に出力可能な出力部とを備え、前記信号処理部は、前記信号処理の後に前記画像データを削除する撮像装置である。
　本開示の第２の側面の撮像装置は、複数の画素が２次元に並んだ、画像を撮像する撮像部と、前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、前記信号処理の信号処理結果を外部に出力可能な出力部と、前記信号処理の前に、前記信号処理部の出力に前記画像データが含まれないことをチェックするチェック処理を実行するチェック処理部とを備える撮像装置である。
　本開示の第１の側面のデータ出力方法は、複数の画素が２次元に並んだ、画像を撮像する撮像部と、前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、前記撮像部とは直接的に接続されない、前記信号処理の信号処理結果のみを外部に出力可能な出力部とを備える撮像装置が、前記信号処理の後に前記画像データを削除するデータ出力方法である。
　本開示の第１の側面においては、複数の画素が２次元に並んだ、画像を撮像する撮像部と、前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、前記撮像部とは直接的に接続されない、前記信号処理の信号処理結果のみを外部に出力可能な出力部とを備える撮像装置において、前記信号処理の後に前記画像データが削除される。
　本開示の第２の側面においては、複数の画素が２次元に並んだ、画像を撮像する撮像部と、前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、前記信号処理の信号処理結果を外部に出力可能な出力部とを備える撮像装置において、前記信号処理の前に、前記信号処理部の出力に前記画像データが含まれないことをチェックするチェック処理が実行される。
従来の撮像装置の構成例を示すブロック図である。 本開示に係る技術を適用した撮像装置の構成例を示すブロック図である。 撮像装置の外観構成例の概要を示す斜視図である。 第１の実施形態の撮像装置の構成例を示すブロック図である。 ワークメモリへのアクセス制限の例を示す図である。 ＤＳＰの動作について説明するフローチャートである。 第２の実施形態の撮像装置の第１の構成例を示すブロック図である。 ネットワーク検査ブロックの動作について説明するフローチャートである。 ネットワーク構造のチェックについて説明する図である。 撮像装置全体の動作について説明するフローチャートである。 第２の実施形態の撮像装置の第２の構成例を示すブロック図である。 チェック専用プロセッサの動作について説明するフローチャートである。 第２の実施形態の撮像装置の第３の構成例を示すブロック図である。 チェック専用プロセッサの動作について説明するフローチャートである。 本開示に係る技術の適用例について説明する図である。 本開示に係る技術の適用例について説明する図である。
　以下、本開示を実施するための形態（以下、実施形態とする）について説明する。なお、説明は以下の順序で行う。
　１．従来技術の問題点と本開示に係る技術の概要
　２．第１の実施形態（認識処理の後に画像データを削除）
　３．第２の実施形態（認識処理部の出力に画像データが含まれないことをチェック）
　４．適用例
＜１．従来技術の問題点と本開示に係る技術の概要＞
（従来の撮像装置）
　図１は、従来の撮像装置の構成例を示すブロック図である。
　図１に示される撮像装置ＩＳは、例えば、１チップで構成されるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、図示せぬ光学系からの入射光を受光して光電変換を行い、当該光学系からの入射光に対応する画像データを出力する。
　また、撮像装置ＩＳは、出力される画像データなどを用いて、例えば、所定の認識対象を認識する認識処理などの信号処理を行い、その信号処理の信号処理結果を出力する。
　図１に示されるように、撮像装置ＩＳは、撮像ブロック１０、信号処理ブロック２０、セレクタ３０、および外部Ｉ／Ｆ４０を備えている。撮像ブロック１０と信号処理ブロック２０、信号処理ブロック２０とセレクタ３０とは、接続線によって電気的に接続されている。また、撮像ブロック１０とセレクタ３０とは、直接的に、接続線によって電気的に接続されている。
　撮像ブロック１０は、画素アレイ１１、カラムＡＤＣ（Analog to Digital Converter）１２、および制御部１３を有する。
　画素アレイ１１は、複数の画素が２次元に並んだ撮像部として構成される。画素アレイ１１は、制御部１３によって駆動され、画像を撮像する。具体的には、画素アレイ１１は、各画素において、図示せぬ光学系からの入射光を受光して光電変換を行い、入射光に対応するアナログの画像信号を出力する。
　カラムＡＤＣ１２は、制御部１３の制御に従い、画素アレイ１１が出力するアナログの画像信号の読み出しとＡＤ変換を行う。カラムＡＤＣ１２は、アナログの画像信号のＡＤ変換によって得られるデジタルの画像信号を、画像データ（ＲＡＷデータ）として出力する。
　カラムＡＤＣ１２が出力するＲＡＷデータは、信号処理ブロック２０に供給されるとともに、セレクタ３０に供給される。
　制御部１３は、画素アレイ１１とカラムＡＤＣ１２の動作を制御する。具体的には、制御部１３は、画素アレイ１１における各画素の駆動や、カラムＡＤＣ１２による画像信号の読み出しやＡＤ変換を制御する。
　信号処理ブロック２０は、ＩＳＰ（Image Signal Processing）部２１、ＤＳＰ（Digital Signal Processor）２２、処理結果Ｉ／Ｆ２３、および外部Ｉ／Ｆ２４を有する。
　信号処理ブロック２０を構成する各部は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。
　なお、図示はしないが、信号処理ブロック２０には、図示せぬメモリに記憶されたプログラムを実行することで、信号処理ブロック２０全体の制御をはじめとする各種の処理を行うＣＰＵ（Central Processing Unit）が設けられる。
　ＩＳＰ部２１は、撮像ブロック１０からの画像データ（ＲＡＷデータ）に対して、各種の画像処理を施す。例えば、ＩＳＰ部は、撮像ブロック１０からの画像データに対して、ＨＤＲ（High Dynamic Range）変換処理、欠陥補正、現像処理などを施す。
　ＤＳＰ２２は、ＩＳＰ部２１による画像処理後の画像データを用いた信号処理を行う信号処理部として機能する。
　処理結果Ｉ／Ｆ２３は、ＤＳＰ２２による画像データを用いた信号処理の信号処理結果や、ＩＳＰ部２１により画像データに対して各種の画像処理が施された結果を、セレクタ３０に供給する。
　外部Ｉ／Ｆ２４は、ＤＳＰ２２による画像データを用いた信号処理の信号処理結果を外部に出力する。外部Ｉ／Ｆ２４は、例えば、ＳＰＩ（Serial Peripheral Interface）などのシリアル通信Ｉ／Ｆにより構成される。
　セレクタ３０は、撮像ブロック１０からの画像データ（ＲＡＷデータ）と、信号処理ブロック２０からの信号処理の信号処理結果を、外部Ｉ／Ｆ４０から外部に選択的に出力させる出力制御を行う。すなわち、セレクタ３０は、撮像ブロック１０からの画像データ、信号処理ブロック２０からの信号処理結果、またはそれらの両方を選択し、外部Ｉ／Ｆ４０に供給する。
　ＤＳＰ２２による画像データを用いた信号処理の途中で得られる中間データが、処理結果Ｉ／Ｆ２３を介して、セレクタ３０に供給されてもよい。この場合、セレクタ３０は、撮像ブロック１０からの画像データ、信号処理ブロック２０からの信号処理結果、それらの両方、および信号処理の途中で得られる中間データのいずれかを、外部Ｉ／Ｆ４０から外部に選択的に出力させる出力制御を行う。信号処理（例えば認識処理）の途中で得られる中間データが外部Ｉ／Ｆ４０から外部に出力される場合、その中間データを、信号処理を行うためのプログラムのデバックに供することができる。
　外部Ｉ／Ｆ４０は、セレクタ３０から供給される画像データや信号処理結果を外部に出力するＩ／Ｆである。外部Ｉ／Ｆ４０としては、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）などの比較的高速なパラレル通信Ｉ／Ｆを採用することができる。
　外部Ｉ／Ｆ４０においては、セレクタ３０の出力制御に応じて、撮像ブロック１０からの画像データ、または、信号処理ブロック２０からのＤＳＰ２２による信号処理結果が、外部に出力される。したがって、例えば、外部において、ＤＳＰ２２による信号処理ブロック２０からの信号処理結果だけが必要であり、画像データ（撮像画像）そのものが必要でない場合には、信号処理結果だけを出力することができ、外部Ｉ／Ｆ４０から外部に出力するデータ量を削減することができる。また、画像データ（撮像画像）そのものが必要でない場合、ＤＳＰ２２による信号処理ブロック２０からの信号処理結果のみを、外部Ｉ／Ｆ２４からも外部に出力することができる。
　このように、撮像装置ＩＳによれば、信号処理結果のみを外部に出力するようにできるので、プライバシー保護の観点でのメリットがあるといえる。しかしながら、画像データを出力できないわけではないため、プライバシー侵害のリスクが存在する。
（本開示に係る技術を適用した撮像装置）
　図２は、本開示に係る技術を適用した撮像装置の構成例を示すブロック図である。
　図２に示される撮像装置１もまた、例えば、１チップで構成されるＣＭＯＳイメージセンサであり、図示せぬ光学系からの入射光を受光して光電変換を行い、当該光学系からの入射光に対応する画像データを出力する。
　また、撮像装置１は、出力される画像データなどを用いて、例えば、所定の認識対象を認識する認識処理などの信号処理を行い、その信号処理の信号処理結果を出力する。
　図２に示されるように、撮像装置１は、撮像ブロック１０と信号処理ブロック２０を有する。撮像装置１において、図１の撮像装置ＩＳが有する構成と同じ構成には、同一の符号を付し、その説明は適宜省略する。
　図２の撮像装置１は、セレクタ３０と外部Ｉ／Ｆ４０を有しない点で、図１の撮像装置ＩＳと異なる。すなわち、図２の撮像装置１は、撮像部としての画素アレイ１１（撮像ブロック１０）と直接的に接続される外部Ｉ／Ｆを有していない。
　また、図２の撮像装置１は、信号処理ブロック２０内に、処理結果Ｉ／Ｆ２３と外部Ｉ／Ｆ２４に代えて、ＣＰＵ５１と外部Ｉ／Ｆ５２を有している点で、図１の撮像装置ＩＳと異なる。
　ＣＰＵ５１は、図示せぬメモリに記憶されたプログラムを実行することで、信号処理ブロック２０全体の制御をはじめとする各種の処理を行う。
　外部Ｉ／Ｆ５２は、図１の外部Ｉ／Ｆ２４と同様、ＤＳＰ２２による画像データに対する信号処理の信号処理結果を外部に出力する。但し、外部Ｉ／Ｆ５２は、ＳＰＩなどのシリアル通信Ｉ／Ｆに限らず、ＭＩＰＩなどのパラレル通信Ｉ／Ｆや、その他の通信Ｉ／Ｆにより構成され得る。
　すなわち、外部Ｉ／Ｆ５２は、撮像部としての画素アレイ１１（撮像ブロック１０）とは直接的に接続されない、信号処理の信号処理結果のみを外部に出力可能な出力部として構成される。
　さらに、撮像装置１においては、ＤＳＰ２２が、信号処理の後に画像データを削除する構成を採ることができたり、ＣＰＵ５１が、信号処理の前に、ＤＳＰ２２の出力に画像データが含まれないことをチェックする構成を採ることができたりする。
　これにより、撮像装置１は、画像データを外部に出力できないような構成を実現することができる。
　図３は、図２の撮像装置１の外観構成例の概要を示す斜視図である。
　撮像装置１は、例えば、複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。
　具体的には、図３に示されるように、撮像装置１は、ダイ６１とダイ６２の２枚のダイが積層されて構成される。
　図３において、上側のダイ６１には、画素アレイ１１が搭載され、下側のダイ６２には、カラムＡＤＣ１２と制御部１３、ＩＳＰ部２１、ＤＳＰ２２、ＣＰＵ５１、および外部Ｉ／Ｆ５２が搭載されている。
　上側のダイ６１と下側のダイ６２とは、例えば、ダイ６１を貫き、ダイ６２にまで到達する貫通孔を形成することにより、または、ダイ６１の下面側に露出したＣｕ配線と、ダイ６２の上面側に露出しＣｕ配線とを直接接続するＣｕ－Ｃｕ接合を行うことなどにより、電気的に接続される。
　ここで、カラムＡＤＣ１２において、画素アレイ１１が出力する画像信号のＡＤ変換を行う方式としては、例えば、列並列ＡＤ方式やエリアＡＤ方式を採用することができる。
　列並列ＡＤ方式では、例えば、画素アレイ１１を構成する画素の列に対してＡＤＣが設けられ、各列のＡＤＣが、その列の画素の画素信号のＡＤ変換を担当することで、１行の各列の画素の画像信号のＡＤ変換が並列に行われる。列並列ＡＤ方式を採用する場合には、その列並列ＡＤ方式のＡＤ変換を行うカラムＡＤＣ１２の一部が、上側のダイ６１に搭載されることがある。
　エリアＡＤ方式では、画素アレイ１１を構成する画素が、複数のブロックに区分され、各ブロックに対して、ＡＤＣが設けられる。そして、各ブロックのＡＤＣが、そのブロックの画素の画素信号のＡＤ変換を担当することで、複数のブロックの画素の画像信号のＡＤ変換が並列に行われる。エリアＡＤ方式では、ブロックを最小単位として、画素アレイ１１を構成する画素のうちの必要な画素についてだけ、画像信号のＡＤ変換（読み出しおよＡＤ変換）を行うことができる。
　なお、撮像装置１の面積が大きくなることが許容されるのであれば、撮像装置１は、１枚のダイで構成することができる。
　また、図３の例では、２枚のダイ６１とダイ６２を積層して、１チップの撮像装置１を構成することとしたが、１チップの撮像装置１は、３枚以上のダイを積層して構成することができる。
　撮像装置１で行われる信号処理、すなわち、ＤＳＰ２２の信号処理としては、例えば、画像データから、所定の認識対象を認識する認識処理を採用することができる。
　また、撮像装置１は、その撮像装置１と所定の位置関係になるように配置されたＴｏＦ（Time of Flight）センサなどの距離センサの出力を、外部Ｉ／Ｆ５２で受け取ることができる。この場合、ＤＳＰ２２の信号処理としては、例えば、外部Ｉ／Ｆ５２で受け取った距離センサの出力から得られる距離画像のノイズを、撮像画像を用いて除去する処理のような、距離センサの出力と撮像画像とを統合して、精度の良い距離を求めるフュージョン処理を採用することができる。
　さらに、撮像装置１は、その撮像装置１と所定の位置関係になるように配置された他のイメージセンサが出力する画像を、外部Ｉ／Ｆ５２で受け取ることができる。この場合、ＤＳＰ２２の信号処理としては、例えば、外部Ｉ／Ｆ５２で受け取った画像と、撮像装置１が撮像した画像とをステレオ画像として用いた自己位置推定処理（ＳＬＡＭ（Simultaneously Localization and Mapping））を採用することができる。
　以下においては、ＤＳＰ２２の信号処理として認識処理を実行するようにした撮像装置（イメージセンサ）の実施形態について説明する。
＜２．第１の実施形態＞
（撮像装置の構成例）
　図４は、第１の実施形態の撮像装置の構成例を示すブロック図である。
　図４に示される撮像装置１００は、画素アレイ１１１、カラムＡＤＣ１１２、ＩＳＰブロック１１３、ＤＳＰ１１４、プログラムメモリ１１５、ワークメモリ１１６、データ転送ブロック１１７、および出力Ｉ／Ｆ１１８を備える。
　画素アレイ１１１、カラムＡＤＣ１１２、およびＩＳＰブロック１１３は、図２の撮像装置１が備える画素アレイ１１、カラムＡＤＣ１２、およびＩＳＰ部２１それぞれと同様の機能を有するので、その説明は省略する。
　ＤＳＰ１１４は、ＩＳＰブロック１１３による画像処理後の画像データを用いた信号処理として、画像データに対して、所定の認識対象を認識する認識処理を実行する。
　プログラムメモリ１１５には、ＤＳＰ１１４が認識処理を実行するためのプログラムが記憶される。プログラムメモリ１１５は、ＲＯＭ（Read Only Memory）により構成され、認識処理を実行するためのプログラムを書き換え不可とする。当該プログラムは、ニューラルネットワークを用いた信号処理、例えば、ＤＮＮを用いた認識処理を実行可能とするような処理内容が記述されたプログラムとされる。
　すなわち、ＤＳＰ１１４は、プログラムメモリ１１５に記憶されたプログラムに従って、ＤＮＮを用いた認識処理を実行することができる。
　ワークメモリ１１６は、ＲＡＭ（Random Access Memory）により構成され、ＤＳＰ１１４が実行する認識処理に関するデータを一時的に記憶する。具体的には、ワークメモリ１１６には、ＤＳＰ１１４によって、認識処理に用いられる画像データや、認識処理の認識結果として出力される画像データのメタデータが書き込まれる。また、ＤＳＰ１１４による認識処理の後、ＤＳＰ１１４によって、ワークメモリ１１６に書き込まれた画像データは削除される。
　データ転送ブロック１１７は、例えばＤＭＡ（Direct Memory Access）コントローラにより構成され、ワークメモリ１１６から出力Ｉ／Ｆ１１８へのデータの転送を制御する。具体的には、データ転送ブロック１１７は、ワークメモリ１１６に書き込まれたメタデータ（認識結果）のみを出力Ｉ／Ｆ１１８に転送する。
　出力Ｉ／Ｆ１１８は、図２の撮像装置１が備える外部Ｉ／Ｆ５２と同様の機能を有し、画素アレイ１１とは直接的に接続されない、メタデータ（認識結果）のみを外部に出力可能な出力部として構成される。
　図５は、データ転送ブロック１１７のワークメモリ１１６へのアクセス制限の例を示す図である。
　図５のＡ図に示されるように、データ転送ブロック１１７には、ワークメモリ１１６の記憶領域のうち、メタデータ（認識結果）が書き込まれている記憶領域にしかアクセスできないといったアクセス制限が設けられてもよい。
　また、同Ｂ図に示されるように、データ転送ブロック１１７には、ワークメモリ１１６の記憶領域のうち、画像データが書き込まれている記憶領域からはデータの読み出しができないといった読み出し制限が設けられてもよい。
　このようなアクセス制限や読み出し制限により、何らかの原因で、ワークメモリ１１６に書き込まれた画像データが削除されなかった場合であっても、より確実に、メタデータ（認識結果）のみを外部に出力可能な構成を実現することができる。
（ＤＳＰの動作）
　図６のフローチャートを参照して、ＤＳＰ１１４の動作について説明する。図６の処理は、画素アレイ１１１により撮像される画像の１フレーム毎に繰り返される。
　ステップＳ１１１において、ＤＳＰ１１４は、ＩＳＰブロック１１３で処理された画像データを取り込む。
　ステップＳ１１２において、ＤＳＰ１１４は、取り込んだ画像データをワークメモリ１１６に書き込む。
　ステップＳ１１３において、ＤＳＰ１１４は、ワークメモリ１１６に書き込まれた画像データに対するＤＮＮ処理（ＤＮＮを用いた認識処理）を実行する。
　ステップＳ１１４において、ＤＳＰ１１４は、ワークメモリ１１６に書き込まれた画像データを削除する。
　ステップＳ１１５において、ＤＳＰ１１４は、認識処理の認識結果であるメタデータをワークメモリ１１６に出力する。
　以上の構成および処理によれば、画像データは、認識処理のためにワークメモリ１１６に一旦書き込まれるものの、認識処理の後に削除され、メタデータ（認識結果）のみが外部に出力される。結果として、画像データが外部に出力されないようになり、プライバシー侵害のリスクを低減することが可能となる。
　また、認識処理を実行するためのプログラムが書き換え不可とされているので、画像データが外部に出力されない構造を確実に実現することが可能となる。
＜３．第２の実施形態＞
　本実施形態においては、認識処理部であるＤＳＰの出力に画像データが含まれないことをチェックする構成について説明する。
（第１の構成例）
　図７は、第２の実施形態の撮像装置の第１の構成例を示すブロック図である。
　図７に示される撮像装置２００は、画素アレイ２１１、カラムＡＤＣ２１２、ＩＳＰブロック２１３、ＤＳＰ２１４、プログラムメモリ２１５、ワークメモリ２１６、および出力Ｉ／Ｆ２１７を備える。これらの構成は、図４の撮像装置が備える画素アレイ１１１、カラムＡＤＣ１１２、ＩＳＰブロック１１３、ＤＳＰ１１４、プログラムメモリ１１５、ワークメモリ１１６、および出力Ｉ／Ｆ１１８それぞれと基本的には同様の機能を有するので、その説明は省略する。
　但し、ＤＳＰ２１４は、図４のＤＳＰ１１４とは異なり、認識処理の認識結果としてのメタデータをワークメモリ２１６に書き込むのではなく、直接、出力Ｉ／Ｆ２１７に出力する。
　なお、撮像装置２００において、図４のデータ転送ブロック１１７を設けてもよい。この場合、ＤＳＰ２１４が、認識処理の認識結果としてのメタデータをワークメモリ２１６に書き込み、データ転送ブロック１１７が、ワークメモリ２１６に書き込まれたメタデータを出力Ｉ／Ｆ２１７に転送するようにしてもよい。
　また、プログラムメモリ２１５は、図４のプログラムメモリ１１５とは異なり、ＲＯＭではなく、ＲＡＭにより構成され、プログラムメモリ２１５には、外部からロードされた、認識処理を実行するためのプログラムが書き込まれる。
　撮像装置２００は、入力Ｉ／Ｆ２１８、ネットワーク検査ブロック２１９、および全体制御ＣＰＵ２２０をさらに備える。
　入力Ｉ／Ｆ２１８は、撮像装置２００のユーザにより提供された、ＤＳＰ２１４においてＡＩモデルなどが動作するプログラム（以下、ＤＳＰプログラムともいう）の入力を受け付ける。当該ＤＳＰプログラムもまた、ニューラルネットワークを用いた信号処理、例えば、ＤＮＮを用いた認識処理を実行可能とするような処理内容が記述されたプログラムとされる。
　ネットワーク検査ブロック２１９は、所定のプロセッサにより構成され、または、所定のソフトウェアにより実現され、ＤＳＰ２１４による認識処理の前に、ＤＳＰ２１４の出力に画像データが含まれないことをチェックするチェック処理を実行するチェック処理部の機能を有する。
　具体的には、ネットワーク検査ブロック２１９は、入力Ｉ／Ｆ２１８を介して、外部からＤＳＰプログラムをロードし、プログラムメモリ２１５に書き込む。ネットワーク検査ブロック２１９は、プログラムメモリ２１５に書き込まれたＤＳＰプログラムに対して、上述したチェック処理を実行する。より詳細には、ネットワーク検査ブロック２１９は、ニューラルネットワーク（ＤＮＮ）のネットワーク構造が画像データを出力し得ない構造であることを検査することで、ＤＳＰ２１４の出力に画像データが含まれないことをチェックし、その検査結果を全体制御ＣＰＵ２２０に出力する。
　全体制御ＣＰＵ２２０は、図示せぬメモリに記憶されたプログラムを実行することで、撮像装置２００全体の制御をはじめとする各種の処理を行う。例えば、全体制御ＣＰＵ２２０は、ネットワーク検査ブロック２１９からの検査結果に基づいて、ＤＳＰ２１４による認識処理の実行を制御する。また、全体制御ＣＰＵ２２０は、ネットワーク検査ブロック２１９からの検査結果に基づいて、アラート情報を生成するアラート生成部として機能する。
（ネットワーク検査ブロックの動作）
　まず、図８のフローチャートを参照して、ネットワーク検査ブロック２１９の動作（チェック処理）について説明する。
　ステップＳ２１１において、ネットワーク検査ブロック２１９は、入力Ｉ／Ｆ２１８を介して、外部からＤＳＰプログラムをロードする。
　ステップＳ２１２において、ネットワーク検査ブロック２１９は、外部からロードしたＤＳＰプログラムをプログラムメモリ２１５に書き込む。
　ステップＳ２１３において、ネットワーク検査ブロック２１９は、プログラムメモリ２１５に書き込まれたＤＳＰプログラムに対して、ＤＮＮの出力に画像データが含まれないネットワーク構造になっていることをチェック（検査）する。
　図９に示されるように、例えば、ＤＮＮのネットワーク構造が、画像データをそのまま出力するような構造であったり、ネットワーク構造と出力結果から元の入力データ（画像データ）を復元できる構造である場合、ネットワーク検査ブロック２１９は、当該ＤＮＮのネットワーク構造に問題がある（ＮＧ）と判断する。一方、ＤＮＮのネットワーク構造が、不可逆な活性化関数を有する構造であったり、全結合層を有する構造であるなど、ネットワーク構造と出力結果から元の入力データ（画像データ）を復元できない構造である場合、ネットワーク検査ブロック２１９は、当該ＤＮＮのネットワーク構造に問題はない（ＯＫ）と判断する。
　なお、ＤＳＰプログラムにおいて、画像データが出力されないようなＤＮＮのネットワーク構造であることを事前に確認した上で、ＤＮＮのネットワーク構造のＲＯＭ化が行われるようにし、重み（パラメータ）以外の変更ができないようにしてもよい。さらに、重み（パラメータ）のＲＯＭ化も行われるようにし、固定された処理のみが行われるようにしてもよい。
　ステップＳ２１４において、ネットワーク検査ブロック２１９は、ＤＮＮのネットワーク構造に問題があるか否かを表す検査結果を、全体制御ＣＰＵ２２０に出力する。
（撮像装置全体の動作）
　次いで、図１０のフローチャートを参照して、撮像装置２００全体の動作について説明する。図１０の処理は、例えば、撮像装置２００に対して撮像の開始が指示されるなどすることで開始される。
　ステップＳ２２１において、カラムＡＤＣ２１２は、画素アレイ２１１からＲＡＷデータを読み出し、ＩＳＰブロック２１３に出力する。ＩＳＰブロック２１３は、カラムＡＤＣ２１２からのＲＡＷデータに対して、各種の画像処理を施す。
　ステップＳ２２２において、全体制御ＣＰＵ２２０は、ネットワーク検査ブロック２１９から検査結果を取得する。
　ステップＳ２２３において、全体制御ＣＰＵ２２０は、ネットワーク検査ブロック２１９からの検査結果に基づいて、ＤＮＮのネットワーク構造に問題がないか否かを判定する。言い換えると、ＤＳＰ２１４の出力からユーザが画像データを取得することができるか否かが判定される。
　ステップＳ２２３においてＤＮＮのネットワーク構造に問題がないと判定された場合、すなわち、ＤＳＰ２１４の出力からユーザが画像データを取得することができないと判定された場合、ステップＳ２２４に進む。ステップＳ２２４において、全体制御ＣＰＵ２２０は、ＤＳＰ２１４に対して、ＤＮＮ処理（ＤＮＮを用いた認識処理）実行のイネーブル信号（ＯＮ）を送信する。これにより、ＤＳＰ２１４は、ＩＳＰブロック２１３による画像処理後の画像データに対する認識処理の実行を開始する。
　一方、ステップＳ２２３においてＤＮＮのネットワーク構造に問題があると判定された場合、すなわち、ＤＳＰ２１４の出力からユーザが画像データを取得することができると判定された場合、ステップＳ２２５に進む。ステップＳ２２５において、全体制御ＣＰＵ２２０は、ＤＳＰ２１４に対して、ＤＮＮ処理実行停止のイネーブル信号（ＯＦＦ）を送信する。ＤＳＰ２１４は、ＩＳＰブロック２１３による画像処理後の画像データに対する認識処理の実行を停止する。
　さらに、ステップＳ２２６において、全体制御ＣＰＵ２２０は、アラート情報を生成し、出力Ｉ／Ｆ２１７に供給することで、出力Ｉ／Ｆ２１７がアラートメッセージを出力する。
　以上の構成および処理によれば、ＤＳＰ２１４の出力に画像データが含まれないことがチェックされ、ＤＳＰ２１４の出力に画像データが含まれる場合には認識処理の実行が停止される。結果として、画像データが外部に出力されないようになり、プライバシー侵害のリスクを低減することが可能となる。
（第２の構成例）
　図１１は、第２の実施形態の撮像装置の第２の構成例を示すブロック図である。
　図１１に示される撮像装置２００Ａにおいて、図７の撮像装置２００が備える構成と同様の構成については、同一の符号を付し、その説明は省略する。
　すなわち、図１１の撮像装置２００Ａは、ネットワーク検査ブロック２１９と全体制御ＣＰＵ２２０に代えて、チェック専用プロセッサ２３１、チェック専用プログラムメモリ２３２、およびチェック専用ワークメモリ２３３を備える点で、図７の撮像装置２００と異なる。
　チェック専用プロセッサ２３１は、例えば専用のＣＰＵにより構成され、ＤＳＰ２１４による認識処理の前に、ＤＳＰ２１４の出力に画像データが含まれないことをチェックするチェック処理を実行する。なお、チェック専用プロセッサ２３１は、チェック処理を実行するチェック処理部の機能に加え、図７の全体制御ＣＰＵ２２０と同様の機能をさらに有していてもよい。
　チェック専用プログラムメモリ２３２には、チェック専用プロセッサ２３１がチェック処理を実行するためのプログラムが記憶される。チェック専用プログラムメモリ２３２は、ＲＯＭにより構成され、チェック処理を実行するためのプログラムを書き換え不可とする。
　チェック専用ワークメモリ２３３は、ＲＡＭにより構成され、チェック専用ワークメモリ２３３には、外部からロードされた、認識処理を実行するためのプログラム（ＤＳＰプログラム）が書き込まれる。
（チェック専用プロセッサの動作）
　図１２のフローチャートを参照して、チェック専用プロセッサ２３１の動作について説明する。
　ステップＳ２３１において、チェック専用プロセッサ２３１は、入力Ｉ／Ｆ２１８を介して、外部からＤＳＰプログラムをロードする。
　ステップＳ２３２において、チェック専用プロセッサ２３１は、外部からロードしたＤＳＰプログラムをチェック専用ワークメモリ２３３に書き込む。
　ステップＳ２３３において、チェック専用プロセッサ２３１は、チェック専用ワークメモリ２３３に書き込まれたＤＳＰプログラムに対して、ＤＮＮの出力に画像データが含まれないネットワーク構造になっていることをチェック（検査）する。
　ステップＳ２３４において、チェック専用プロセッサ２３１は、ＤＮＮのネットワーク構造に問題がないか否かを判定する。
　ステップＳ２３４においてＤＮＮのネットワーク構造に問題がないと判定された場合、ステップＳ２３５に進み、チェック専用プロセッサ２３１は、チェック専用ワークメモリ２３３に書き込まれたＤＳＰプログラムを、プログラムメモリ２１５に転送する。
　ステップＳ２３５において、チェック専用プロセッサ２３１は、ＤＳＰ２１４に対して、ＤＮＮ処理（ＤＮＮを用いた認識処理）実行のイネーブル信号（ＯＮ）を送信する。これにより、ＤＳＰ２１４は、ＩＳＰブロック２１３による画像処理後の画像データに対する認識処理の実行を開始する。
　一方、ステップＳ２３４においてＤＮＮのネットワーク構造に問題があると判定された場合、ステップＳ２３７に進み、チェック専用プロセッサ２３１は、ＤＳＰ２１４に対して、ＤＮＮ処理実行停止のイネーブル信号（ＯＦＦ）を送信する。ＤＳＰ２１４は、ＩＳＰブロック２１３による画像処理後の画像データに対する認識処理の実行を停止する。
　さらに、ステップＳ２３８において、チェック専用プロセッサ２３１は、アラート情報を生成し、出力Ｉ／Ｆ２１７に供給することで、出力Ｉ／Ｆ２１７がアラートメッセージを出力する。
　以上の構成および処理によれば、ＤＳＰ２１４の出力に画像データが含まれないことがチェックされ、ＤＳＰ２１４の出力に画像データが含まれる場合には認識処理の実行が停止される。結果として、画像データが外部に出力されないようになり、プライバシー侵害のリスクを低減することが可能となる。
　また、チェック処理を実行するためのプログラムが書き換え不可とされているので、ＤＳＰ２１４から画像データが出力されない構造を確実に実現することが可能となる。
（第３の構成例）
　図１３は、第２の実施形態の撮像装置の第３の構成例を示すブロック図である。
　図１３に示される撮像装置２００Ｂにおいて、図１１の撮像装置２００Ａが備える構成と同様の構成については、同一の符号を付し、その説明は省略する。
　すなわち、図１３の撮像装置２００Ｂは、チェック専用ワークメモリ２３３を有しない点で、図１１の撮像装置２００Ａと異なる。
（チェック専用プロセッサの動作）
　図１４のフローチャートを参照して、チェック専用プロセッサ２３１の動作について説明する。
　ステップＳ２５１において、チェック専用プロセッサ２５１は、入力Ｉ／Ｆ２１８を介して、外部からＤＳＰプログラムをロードする。
　ステップＳ２５２において、チェック専用プロセッサ２３１は、外部からロードしたＤＳＰプログラムを、直接、プログラムメモリ２１５に書き込む。
　ステップＳ２５３において、チェック専用プロセッサ２３１は、プログラムメモリ２１５に書き込まれたＤＳＰプログラムに対して、ＤＮＮの出力に画像データが含まれないネットワーク構造になっていることをチェック（検査）する。
　ステップＳ２５４において、チェック専用プロセッサ２３１は、ＤＮＮのネットワーク構造に問題がないか否かを判定する。
　ステップＳ２５４においてＤＮＮのネットワーク構造に問題がないと判定された場合、ステップＳ２５５に進み、チェック専用プロセッサ２３１は、ＤＳＰ２１４に対して、ＤＮＮ処理（ＤＮＮを用いた認識処理）実行のイネーブル信号（ＯＮ）を送信する。これにより、ＤＳＰ２１４は、ＩＳＰブロック２１３による画像処理後の画像データに対する認識処理の実行を開始する。
　一方、ステップＳ２５４においてＤＮＮのネットワーク構造に問題があると判定された場合、ステップＳ２５６に進み、チェック専用プロセッサ２３１は、ＤＳＰ２１４に対して、ＤＮＮ処理実行停止のイネーブル信号（ＯＦＦ）を送信する。ＤＳＰ２１４は、ＩＳＰブロック２１３による画像処理後の画像データに対する認識処理の実行を停止する。
　さらに、ステップＳ２５７において、チェック専用プロセッサ２３１は、アラート情報を生成し、出力Ｉ／Ｆ２１７に供給することで、出力Ｉ／Ｆ２１７がアラートメッセージを出力する。
　以上の構成および処理によれば、ＤＳＰ２１４の出力に画像データが含まれないことがチェックされ、ＤＳＰ２１４の出力に画像データが含まれる場合には認識処理の実行が停止される。結果として、画像データが外部に出力されないようになり、プライバシー侵害のリスクを低減することが可能となる。
　また、チェック処理を実行するためのプログラムが書き換え不可とされているので、ＤＳＰ２１４から画像データが出力されない構造を確実に実現することが可能となる。
　さらに、図１１の撮像装置２００Ａの構成と異なり、外部からロードしたＤＳＰプログラムが、直接、プログラムメモリ２１５に書き込まれるので、チェック専用ワークメモリ２３３を設けなくとも、ＤＮＮのネットワーク構造をチェックすることが可能となる。
　上述した第２の実施形態の撮像装置は、それぞれ、第１の実施形態の撮像装置と組み合わされて構成されるようにもできる。すなわち、ＤＳＰ２１４の出力に画像データが含まれないことがチェックされた上で、画像データが認識処理の後に削除され、メタデータ（認識結果）のみが外部に出力されるようにもできる。
＜４．適用例＞
　以下においては、本開示に係る技術の適用例について説明する。
（見守りカメラ）
　本開示に係る技術は、高齢者や要介護者を見守るための見守りカメラに適用することができる。
　具体的には、図１５に示されるように、画像データＩＭＧ１１において見守り対象が安静に過ごしているような場合、画像データＩＭＧ１１に対する認識処理の認識結果として、「問題なし」といったメタデータが出力される。また、画像データＩＭＧ１２において見守り対象が薬を服用しているような場合、画像データＩＭＧ１２に対する認識処理の認識結果として、「薬を飲んだ」といったメタデータが出力される。さらに、画像データＩＭＧ１３において見守り対象が倒れているような場合、画像データＩＭＧ１３に対する認識処理の認識結果として、「人が倒れている」といったメタデータが出力される。
　通常のイメージセンサを搭載した見守りカメラでは、何らかの原因で画像データが外部に出力されることで、個人の顔や日常生活の様子などが盗み見られるおそれがあった。
　これに対して、本開示に係る技術によれば、画像データが外部に出力されないので、個人の顔や日常生活の様子などが盗み見られることなく、プライバシーを保護した上で、見守りカメラとしての機能を果たすことが可能となる。
（消費者の行動分析）
　本開示に係る技術は、デパートショッピングセンターなどの商業施設における消費者の行動分析に適用することができる。
　具体的には、図１６に示されるように、画像データＩＭＧ２１や画像データＩＭＧ２２において顧客がショッピングをしているような場合、画像データＩＭＧ２１，ＩＭＧ２２に対する認識処理の認識結果として、顧客の「性別」や「年齢」、店舗の「滞在時間」や「購入商品」などを表すメタデータが出力される。
　このように、本開示に係る技術によれば、画像データが外部に出力されないので、個人情報にならない形で、消費者の行動分析において有用な「性別」や「年齢」などの情報のみを抽出することが可能となる。
　なお、本開示に係る技術を適用した撮像装置においては、ＤＳＰの信号処理として認識処理が実行される以外にも、上述したフュージョン処理や自己位置推定処理など、その他の信号処理が実行されてもよい。このような場合であっても、画像データが外部に出力されない構造を実現することができ、プライバシー侵害のリスクを低減することが可能となる。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示に係る技術を適用した実施形態は、上述した実施形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
　さらに、本開示は以下のような構成をとることができる。
（１）
　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
　前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、
　前記撮像部とは直接的に接続されない、前記信号処理の信号処理結果のみを外部に出力可能な出力部と
　を備え、
　前記信号処理部は、前記信号処理の後に前記画像データを削除する
　撮像装置。
（２）
　前記信号処理に関するデータが一時的に書き込まれる第１の記憶部をさらに備え、
　前記信号処理部は、前記信号処理のために前記第１の記憶部に書き込まれた前記画像データを、前記信号処理の後に削除する
　（１）に記載の撮像装置。
（３）
　前記信号処理を実行するためのプログラムが記憶される第２の記憶部をさらに備え、
　前記第２の記憶部は、前記プログラムを書き換え不可とする
　（２）に記載の撮像装置。
（４）
　前記プログラムは、ニューラルネットワークを用いた前記信号処理を実行可能とする
　（３）に記載の撮像装置。
（５）
　前記信号処理部は、前記信号処理として前記画像データに対する認識処理を実行し、前記認識処理の認識結果として前記画像データのメタデータを出力する
　（１）乃至（４）のいずれかに記載の撮像装置。
（６）
　前記撮像部と前記信号処理部とは、１のチップ内に配置されている
　（１）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記チップは、互いに接合された第１の基板と第２の基板を備え、
　前記第１の基板は、前記撮像部を備え、
　前記第２の基板は、前記信号処理部を備える
　（６）に記載の撮像装置。
（８）
　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
　前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、
　前記信号処理の信号処理結果を外部に出力可能な出力部と、
　前記信号処理の前に、前記信号処理部の出力に前記画像データが含まれないことをチェックするチェック処理を実行するチェック処理部と
　を備える撮像装置。
（９）
　前記信号処理部は、前記信号処理部の出力からユーザが前記画像データを取得することができないと判定された場合、前記信号処理を実行する
　（８）に記載の撮像装置。
（１０）
　前記信号処理を実行するための第１のプログラムは、外部からロードされ、
　前記チェック処理部は、前記第１のプログラムに対して前記チェック処理を実行する
　（９）に記載の撮像装置。
（１１）
　前記第１のプログラムは、ニューラルネットワークを用いた前記信号処理を実行可能とし、
　前記チェック処理部は、前記ニューラルネットワークのネットワーク構造が前記画像データを出力し得ない構造であることをチェックする
　（１０）に記載の撮像装置。
（１２）
　前記チェック処理部は、前記ネットワーク構造が、前記ネットワーク構造と出力結果から前記画像データを復元できない構造である場合、前記信号処理部に対して前記信号処理の実行を指示する
　（１１）に記載の撮像装置。
（１３）
　前記チェック処理を実行するための第２のプログラムが記憶される記憶部をさらに備え、
　前記記憶部は、前記第２のプログラムを書き換え不可とする
　（８）乃至（１２）のいずれかに記載の撮像装置。
（１４）
　前記信号処理部は、前記信号処理部の出力からユーザが前記画像データを取得することができると判定された場合、前記信号処理の実行を停止する
　（８）乃至（１３）のいずれかに記載の撮像装置。
（１５）
　前記信号処理部の出力に前記画像データが含まれると判定された場合、アラート情報を生成するアラート生成部をさらに備える
　（１４）に記載の撮像装置。
（１６）
　前記出力部は、前記撮像部とは直接的に接続されない
　（８）乃至（１５）のいずれかに記載の撮像装置。
（１７）
　前記撮像部、前記信号処理部、および前記チェック処理部は、１のチップ内に配置されている
　（８）乃至（１６）に記載の撮像装置。
（１８）
　前記チップは、互いに接合された第１の基板と第２の基板を備え、
　前記第１の基板は、前記撮像部を備え、
　前記第２の基板は、前記信号処理部と前記チェック処理部を備える
　（１７）に記載の撮像装置。
（１９）
　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
　前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、
　前記撮像部とは直接的に接続されない、前記信号処理の信号処理結果のみを外部に出力可能な出力部とを備える撮像装置が、
　前記信号処理の後に前記画像データを削除する
　データ出力方法。
（２０）
　前記信号処理の前に、前記信号処理部の出力に前記画像データが含まれないことをチェックするチェック処理を実行する
　（１９）に記載のデータ出力方法。
　１　撮像装置，　１０　撮像ブロック，　１１　画素アレイ，　１２　カラムＡＤＣ，　１３　制御部，　２０　信号処理ブロック，　２１　ＩＳＰ部，　２２　ＤＳＰ，　５１　ＣＰＵ，　５２　外部Ｉ／Ｆ，　１００　撮像装置，　１１１　画素アレイ，　１１２　カラムＡＤＣ，　１１３　ＩＳＰブロック，　１１４　ＤＳＰ，　１１５　プログラムメモリ，　１１６　ワークメモリ，　１１７　データ転送ブロック，　１１８　出力Ｉ／Ｆ，　２００，２００Ａ，２００Ｂ　撮像装置，　２１１　画素アレイ，　２１２　カラムＡＤＣ，　２１３　ＩＳＰブロック，　２１４　ＤＳＰ，　２１５　プログラムメモリ，　２１６　ワークメモリ，　２１７　出力Ｉ／Ｆ，　２１８　入力Ｉ／Ｆ，　２１９　ネットワーク検査ブロック，　２２０　全体制御ＣＰＵ，　２３１　チェック専用プロセッサ，　２３２　チェック専用プログラムメモリ，　２３３　チェック専用ワークメモリ

Claims (20)

  1. 　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
    　前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、
    　前記撮像部とは直接的に接続されない、前記信号処理の信号処理結果のみを外部に出力可能な出力部と
    　を備え、
    　前記信号処理部は、前記信号処理の後に前記画像データを削除する
    　撮像装置。
  2. 　前記信号処理に関するデータが一時的に書き込まれる第１の記憶部をさらに備え、
    　前記信号処理部は、前記信号処理のために前記第１の記憶部に書き込まれた前記画像データを、前記信号処理の後に削除する
    　請求項１に記載の撮像装置。
  3. 　前記信号処理を実行するためのプログラムが記憶される第２の記憶部をさらに備え、
    　前記第２の記憶部は、前記プログラムを書き換え不可とする
    　請求項２に記載の撮像装置。
  4. 　前記プログラムは、ニューラルネットワークを用いた前記信号処理を実行可能とする
    　請求項３に記載の撮像装置。
  5. 　前記信号処理部は、前記信号処理として前記画像データに対する認識処理を実行し、前記認識処理の認識結果として前記画像データのメタデータを出力する
    　請求項１に記載の撮像装置。
  6. 　前記撮像部と前記信号処理部とは、１のチップ内に配置されている
    　請求項１に記載の撮像装置。
  7. 　前記チップは、互いに接合された第１の基板と第２の基板を備え、
    　前記第１の基板は、前記撮像部を備え、
    　前記第２の基板は、前記信号処理部を備える
    　請求項６に記載の撮像装置。
  8. 　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
    　前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、
    　前記信号処理の信号処理結果を外部に出力可能な出力部と、
    　前記信号処理の前に、前記信号処理部の出力に前記画像データが含まれないことをチェックするチェック処理を実行するチェック処理部と
    　を備える撮像装置。
  9. 　前記信号処理部は、前記信号処理部の出力からユーザが前記画像データを取得することができないと判定された場合、前記信号処理を実行する
    　請求項８に記載の撮像装置。
  10. 　前記信号処理を実行するための第１のプログラムは、外部からロードされ、
    　前記チェック処理部は、前記第１のプログラムに対して前記チェック処理を実行する
    　請求項９に記載の撮像装置。
  11. 　前記第１のプログラムは、ニューラルネットワークを用いた前記信号処理を実行可能とし、
    　前記チェック処理部は、前記ニューラルネットワークのネットワーク構造が前記画像データを出力し得ない構造であることをチェックする
    　請求項１０に記載の撮像装置。
  12. 　前記チェック処理部は、前記ネットワーク構造が、前記ネットワーク構造と出力結果から前記画像データを復元できない構造である場合、前記信号処理部に対して前記信号処理の実行を指示する
    　請求項１１に記載の撮像装置。
  13. 　前記チェック処理を実行するための第２のプログラムが記憶される記憶部をさらに備え、
    　前記記憶部は、前記第２のプログラムを書き換え不可とする
    　請求項８に記載の撮像装置。
  14. 　前記信号処理部は、前記信号処理部の出力からユーザが前記画像データを取得することができると判定された場合、前記信号処理の実行を停止する
    　請求項８に記載の撮像装置。
  15. 　前記信号処理部の出力に前記画像データが含まれると判定された場合、アラート情報を生成するアラート生成部をさらに備える
    　請求項１４に記載の撮像装置。
  16. 　前記出力部は、前記撮像部とは直接的に接続されない
    　請求項８に記載の撮像装置。
  17. 　前記撮像部、前記信号処理部、および前記チェック処理部は、１のチップ内に配置されている
    　請求項８に記載の撮像装置。
  18. 　前記チップは、互いに接合された第１の基板と第２の基板を備え、
    　前記第１の基板は、前記撮像部を備え、
    　前記第２の基板は、前記信号処理部と前記チェック処理部を備える
    　請求項１７に記載の撮像装置。
  19. 　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
    　前記撮像部の出力に基づいた画像データに対して信号処理を実行する信号処理部と、
    　前記撮像部とは直接的に接続されない、前記信号処理の信号処理結果のみを外部に出力可能な出力部とを備える撮像装置が、
    　前記信号処理の後に前記画像データを削除する
    　データ出力方法。
  20. 　前記信号処理の前に、前記信号処理部の出力に前記画像データが含まれないことをチェックするチェック処理を実行する
    　請求項１９に記載のデータ出力方法。
PCT/JP2023/023702 2022-07-11 2023-06-27 撮像装置およびデータ出力方法 WO2024014278A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022111008 2022-07-11
JP2022-111008 2022-07-11

Publications (1)

Publication Number Publication Date
WO2024014278A1 true WO2024014278A1 (ja) 2024-01-18

Family

ID=89536678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/023702 WO2024014278A1 (ja) 2022-07-11 2023-06-27 撮像装置およびデータ出力方法

Country Status (1)

Country Link
WO (1) WO2024014278A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152611A (ja) * 2006-12-19 2008-07-03 Seiko Epson Corp 画像認識装置、電子機器、画像認識方法及び画像認識プログラム
WO2016114392A1 (ja) * 2015-01-15 2016-07-21 日本電気株式会社 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム
JP2016189135A (ja) * 2015-03-30 2016-11-04 パイオニア株式会社 認識装置、認識方法及び認識プログラム
WO2018051809A1 (ja) * 2016-09-16 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
WO2021171295A1 (en) * 2020-02-25 2021-09-02 Ira Dvir Identity-concealing motion detection and portraying device
WO2022196214A1 (ja) * 2021-03-18 2022-09-22 矢崎総業株式会社 見守りシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152611A (ja) * 2006-12-19 2008-07-03 Seiko Epson Corp 画像認識装置、電子機器、画像認識方法及び画像認識プログラム
WO2016114392A1 (ja) * 2015-01-15 2016-07-21 日本電気株式会社 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム
JP2016189135A (ja) * 2015-03-30 2016-11-04 パイオニア株式会社 認識装置、認識方法及び認識プログラム
WO2018051809A1 (ja) * 2016-09-16 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
WO2021171295A1 (en) * 2020-02-25 2021-09-02 Ira Dvir Identity-concealing motion detection and portraying device
WO2022196214A1 (ja) * 2021-03-18 2022-09-22 矢崎総業株式会社 見守りシステム

Similar Documents

Publication Publication Date Title
EP4064679A1 (en) Imaging device and electronic device
EP1788802A1 (en) Image pickup device, image pickup result processing method and integrated circuit
CN110338803B (zh) 物件监控方法及其运算装置
JP6936018B2 (ja) 映像送信装置および映像受信装置
US20220038716A1 (en) Video compression apparatus, electronic apparatus, and video compression program
US20150234552A1 (en) Display controlling apparatus and displaying method
JP4245139B2 (ja) 画像処理装置
JP2006318364A (ja) 画像処理装置
KR100920432B1 (ko) 화상 처리 장치 및 화상 처리 방법
WO2024014278A1 (ja) 撮像装置およびデータ出力方法
JP5836586B2 (ja) データバスを通じてメモリから圧縮データを判読するイメージプロセッシング装置及びイメージプロセッシング方法
JP6072088B2 (ja) 放射線撮像システム、放射線撮像方法およびプログラム
US20220132028A1 (en) Imaging apparatus, information processing method, and recording medium
JP7250454B2 (ja) 撮像装置、撮像システム、移動体
JP4096513B2 (ja) 画像処理検査装置および検査方法
WO2020170889A1 (ja) 撮像装置、画像記録装置、および撮像方法
WO2023179520A1 (zh) 成像方法及装置、图像传感器、成像设备和电子设备
CN114374797A (zh) 具有两个输出接口的摄像装置
EP3606052B1 (en) Train image monitoring system
JP6693764B2 (ja) 処理装置、分散処理システム及び分散処理方法
JPH07141498A (ja) 医療用画像ファイル装置
JP2003116139A (ja) 映像配信サーバ及び映像受信クライアントシステム
JPH11262025A (ja) 画像入力装置および画像補正方法
JP7387104B1 (ja) 撮像装置および撮像装置の制御方法
WO2023238723A1 (ja) 情報処理装置、情報処理システム、情報処理回路及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839452

Country of ref document: EP

Kind code of ref document: A1