WO2022102508A1 - 撮像素子、撮像方法、撮像装置および画像処理システム - Google Patents

撮像素子、撮像方法、撮像装置および画像処理システム Download PDF

Info

Publication number
WO2022102508A1
WO2022102508A1 PCT/JP2021/040586 JP2021040586W WO2022102508A1 WO 2022102508 A1 WO2022102508 A1 WO 2022102508A1 JP 2021040586 W JP2021040586 W JP 2021040586W WO 2022102508 A1 WO2022102508 A1 WO 2022102508A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
embedded
unit
predetermined area
Prior art date
Application number
PCT/JP2021/040586
Other languages
English (en)
French (fr)
Inventor
年晃 中野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/251,856 priority Critical patent/US20240020787A1/en
Publication of WO2022102508A1 publication Critical patent/WO2022102508A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection

Definitions

  • the present disclosure relates to an image pickup device, an image pickup method, an image pickup device, and an image processing system.
  • Patent Document 1 the image sensor is integrally laminated with a pixel substrate provided with a sensor unit and a signal processing substrate on which an image information processing unit for processing an electric signal output from the sensor unit is arranged.
  • a technique for guaranteeing the identity between the acquired image information and the captured image information is described in the above. According to the configuration of Patent Document 1, falsification prevention processing is performed in the image sensor, and it is less susceptible to differential attacks.
  • the present disclosure provides an image pickup device, an image pickup method, an image pickup device, and an image processing system that enable falsification prevention processing with higher resistance to attacks.
  • the image pickup element has an image pickup unit that outputs image information according to the received light, obtains a feature amount of a predetermined area of the image from the image information, and determines whether or not to embed the embedded information in the predetermined area. It is provided with an embedding information generation unit for generating embedding information based on the image information of a predetermined area determined to be embedded based on the embedding information, and an embedding unit for embedding the embedding information in the predetermined area.
  • an imaging step executed by a processor to output image information according to received light, a feature amount of a predetermined region of an image is obtained from the image information, and embedded information is embedded in the predetermined region.
  • the embedding information generation step of determining whether or not to embed is based on the feature amount and generating the embedding information based on the image information of the predetermined area determined to embed the embedding information, and the embedding step of embedding the embedding information in the predetermined area.
  • an image pickup unit that outputs image information according to the received light, an optical unit that guides the light from the subject to the image pickup unit, and a feature amount of a predetermined region of the image are obtained from the image information.
  • the embedding information generation unit that determines whether or not to embed the embedded information in the predetermined area based on the feature amount and generates the embedded information based on the image information of the predetermined area determined to embed the embedded information, and the embedded information in the predetermined area. It is provided with an embedded unit for embedding the image and a recording unit for recording the image information in which the embedded information is embedded by the embedded unit.
  • the image processing system includes an image processing device and an information processing device connected to the image processing device via a network, and the information processing device is predetermined based on the feature amount of a predetermined area of the image.
  • the image information of the image that determines whether or not to embed the embedded information in the area is acquired from the image processing device via the network, the embedded information is extracted from the acquired image information, and the image information is based on the extracted embedded information.
  • the image processing device includes an tampering detection unit that detects the presence or absence of tampering, adds tampering detection information indicating the presence or absence of the detected tampering to the image information, and transmits the image to the image processing device.
  • the image processing device is an image transmitted from the information processing device.
  • the image information is subjected to image processing, the image processed image information is subjected to image tampering prevention processing, and the tampering presence / absence is performed.
  • it indicates that the information has been tampered with, it is provided with an image processing unit that adds information indicating that the image information has been tampered with.
  • the present disclosure relates to a technique for embedding digital watermark information for falsification prevention as embedding information in an image (image information) captured by an image pickup element.
  • FIG. 1 is a diagram for schematically explaining the embedding process of the embedded information according to each embodiment of the present disclosure.
  • the image sensor 10 has an image pickup unit (not shown) that outputs an image captured image that is image information according to the received light, and embedded information for embedding in the image information based on the image information.
  • the electronic watermark generation unit 200 for generating the image is included.
  • the image captured by the image pickup unit 30 is supplied to the digital watermark generation unit 200 and the embedding unit 202 via the input unit 201.
  • the digital watermark generation unit 200 determines a predetermined region in which the embedded information is embedded in the captured image based on the feature amount of the predetermined region. Further, the digital watermark generation unit 200 generates embedded information as digital watermark information based on the captured image supplied from the input unit 201.
  • the embedding information and the information of the predetermined area in which the embedding information is embedded are passed to the embedding unit 202.
  • the embedding unit 202 embeds the embedding information in the image information supplied from the input unit 201 based on the embedding information passed from the digital watermark generation unit 200 and the information of the predetermined area in which the embedding information is embedded.
  • the embedding unit 202 outputs the image information in which the embedding information is embedded as the output information 40.
  • the image pickup element 10 since the embedded information for detecting the presence or absence of falsification of the captured image information is incorporated in the image pickup element 10 together with the image pickup unit, the image information Can be prevented from being hijacked. At the same time, since the image pickup device 10 determines a predetermined region in which the embedded information is embedded based on the feature amount of the predetermined region, it is possible to counter a differential attack using a saturated image or the like.
  • FIG. 2 is a diagram for explaining the effect of each embodiment of the present disclosure.
  • the image pickup device 10a shown in FIG. 2 has a configuration in which embedding information is embedded in the entire captured image obtained by capturing the subject 30.
  • embedding information is embedded in the entire captured image obtained by capturing the subject 30.
  • the position where the embedded information is embedded is easily analyzed by a differential attack or the like.
  • the embedding unit 202 is used as a feature amount of a predetermined region of an image based on image information directly passed from the input unit 201 to the embedding unit 202. Based on this, it is determined whether or not to embed the embedded information in the predetermined area, and the embedded information is not embedded in the portion other than the predetermined area where the embedded information is determined to be embedded. This can reduce the risk of differential attacks.
  • the image falsification prevention technique according to the present disclosure is applied to, for example, images and videos for important purposes that affect human life. For example, it may be applied to prevent falsification of an image captured by a surveillance camera that can be used as an image of evidence such as a crime. In addition, in a place where medical images such as an endoscope and a digital X-ray imaging device are handled, it may be applied to prevent falsification of the association with the image of the electronic medical record or the user ID in remote medical care or the like.
  • the application of the image falsification prevention technique according to the present disclosure is not limited to these.
  • FIG. 3 is a block diagram schematically showing the configuration of an image pickup apparatus applicable to each embodiment of the present disclosure.
  • the image pickup device 1 includes an image pickup element 10, an optical unit 11, a recording unit 12, an output unit 13, and a control unit 14.
  • the image pickup element 10 converts an analog image signal corresponding to the light received by the light receiving surface into digital image data, and outputs the image data as image information.
  • the optical unit 11 is provided to irradiate the light receiving surface of the image pickup device 10 with light from the subject, and includes one or more lenses, a focus mechanism, an aperture mechanism, and the like.
  • the recording unit 12 can apply a non-volatile recording medium such as a hard disk drive or a flash memory, and can record image information output from the image pickup device 10.
  • the output unit 13 is an interface for outputting the image information output from the image pickup device 10 to the outside of the image pickup device 1.
  • the output unit 13 may be connected to an external device by wired communication by cable connection, or may be connected to an external device by wireless communication. Further, the output unit 13 may be connectable to an external network such as the Internet or a LAN (Local Area Network).
  • the control unit 14 controls the overall operation of the image pickup apparatus 1.
  • the control unit 14 includes a memory such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and uses the RAM as a work memory according to a program stored in the ROM, for example.
  • the overall operation of the image pickup device 1 is controlled. Further, the control unit 14 can generate a clock for driving the image pickup device 10 and the like.
  • FIG. 4 is a block diagram showing a configuration of an example of an image pickup device 10 applicable to each embodiment.
  • the image pickup device 10 includes a pixel array unit 100, a drive unit 101, a signal control unit 102, a falsification prevention processing unit 103, an output I / F 104, and an element control unit 105.
  • the element control unit 105 includes, for example, a processor, and controls the entire operation of the image pickup element 10 according to an instruction from the control unit 14. Further, the element control unit 105 generates a clock signal used by the drive unit 101 to drive the pixel array unit 100.
  • the pixel array unit 100 includes a light receiving element such as a photodiode that generates an electric charge according to the light received by photoelectric conversion, and a readout circuit that converts the electric charge generated by the light receiving element into a pixel signal which is an electric signal and reads it out. Includes a pixel array in which the pixel circuits including the are arranged in a matrix arrangement.
  • the pixel array unit 100 further includes a conversion unit that converts an analog pixel signal read from each pixel circuit into digital image data (image information).
  • the drive unit 101 controls the exposure and readout operations in the pixel array unit 100 based on the clock signal supplied from the element control unit 105.
  • the image information output from the pixel array unit 100 is passed to the signal processing unit 102.
  • the signal processing unit 102 performs predetermined signal processing on the image information passed from the pixel array unit 100.
  • the signal processing unit 102 performs level adjustment processing, white balance adjustment processing, and the like on the image information, for example.
  • the falsification prevention processing unit 103 performs falsification prevention processing according to each embodiment of the present disclosure on the image information that has been signal-processed by the signal processing unit 102. More specifically, the falsification prevention processing unit 103 generates embedded information based on the image information, embeds the generated embedded information in a predetermined area of the image by the image information, and the like.
  • the output I / F 104 is an interface for outputting the image information subjected to the falsification prevention processing by the falsification prevention processing unit 103 to the outside of the image pickup device 10.
  • MIPI Mobile Industry Processor Interface
  • MIPI Mobile Industry Processor Interface
  • CMOS image sensor As the image sensor 10, a CMOS image sensor (CIS) in which each part included in the image sensor 10 is integrally formed using CMOS (Complementary Metal Oxide Semiconductor) can be applied.
  • the image pickup device 10 can be formed on one substrate.
  • the image pickup device 10 may be a laminated CIS in which a plurality of semiconductor chips are laminated and integrally formed.
  • the image pickup device 10 is not limited to this example, and may be another type of optical sensor such as an infrared light sensor that performs imaging with infrared light.
  • the image pickup device 10 can be formed by a laminated CIS having a two-layer structure in which semiconductor chips are laminated in two layers.
  • FIG. 5A is a diagram showing an example in which the image pickup device 10 according to each embodiment is formed by a laminated CIS having a two-layer structure.
  • the pixel portion 2020a is formed on the semiconductor chip of the first layer
  • the memory + logic portion 2020b is formed on the semiconductor chip of the second layer.
  • the pixel unit 2020a includes at least the pixel array unit 100 in the image pickup device 10.
  • the memory + logic unit 2020b can include, for example, a drive unit 101, a signal control unit 102, a falsification prevention processing unit 103, an output I / F 104, and an element control unit 105.
  • the memory + logic unit 2020b may further include a memory for storing image information.
  • the image pickup device 10 is configured as one solid-state image pickup device by bonding the semiconductor chip of the first layer and the semiconductor chip of the second layer while electrically contacting each other.
  • the image pickup device 10 can be formed by a three-layer structure in which semiconductor chips are laminated in three layers.
  • FIG. 5B is a diagram showing an example in which the image pickup device 10 according to each embodiment is formed by a laminated CIS having a three-layer structure.
  • the pixel portion 2020a is formed on the semiconductor chip of the first layer
  • the memory portion 2020c is formed on the semiconductor chip of the second layer
  • the logic portion 2020d is formed on the semiconductor chip of the third layer.
  • the logic unit 2020d can include, for example, a drive unit 101, a signal control unit 102, a falsification prevention processing unit 103, an output I / F 104, and an element control unit 105.
  • the memory unit 2020c can include a memory for storing image information.
  • the image sensor 10 is attached by bonding the semiconductor chip of the first layer, the semiconductor chip of the second layer, and the semiconductor chip of the third layer while electrically contacting each other. It is configured as one solid-state image sensor.
  • FIG. 6 is a functional block diagram of an example for explaining the function of the image pickup device 10 according to the first embodiment. Note that, in FIG. 6, of the configurations shown in FIG. 4, the drive unit 101, the signal processing unit 102, the output I / F 104, and the element control unit 105 are less involved in the processing according to the first embodiment, and thus are complicated. It is omitted to avoid this.
  • the falsification prevention processing unit 103 includes a block division unit 1030, an embedded information generation unit 1031, and an embedded unit 1032.
  • the block division unit 1030, the embedded information generation unit 1031 and the embedded unit 1032 are realized, for example, by executing a predetermined program on the processor of the image pickup device 10.
  • a part or all of the block division unit 1030, the embedded information generation unit 1031 and the embedded unit 1032 may be realized by a hardware circuit that operates in cooperation with each other.
  • the block division unit 1030 corresponds to the input unit 201 of FIG. 1 and divides an image based on image information supplied from the pixel array unit 100 into blocks including a plurality of pixels.
  • the blocks whose images are divided by the block division unit 1030 are passed to the embedding unit 1032 and the embedding information generation unit 1031, respectively.
  • the embedded information generation unit 1031 corresponds to the digital watermark generation unit 200 in FIG. 1 and selects a block in which the embedded information is embedded from each block passed from the block division unit 1030.
  • the embedding unit 1032 obtains a feature amount for each of the blocks based on the pixel value of each pixel included in each block, and determines whether or not to embed the embedding information for each block based on the obtained feature amount. ..
  • the degree of dispersion of the pixel values of the pixels included in the block can be applied.
  • a dispersion value, a standard deviation value, a range, or the like can be used. Not limited to this, an average value can also be used as the feature amount. Further, a value relative to the maximum output value may be used.
  • the embedded information generation unit 1031 compares the obtained feature amount with the threshold value to determine the threshold value.
  • the embedded information generation unit 1031 determines, among the blocks passed from the block dividing unit 1030, the blocks whose degree of dispersion exceeds the threshold value as the blocks for embedding the embedded information.
  • the threshold is preferably optimized according to the use case in which tampering is desired to be prevented.
  • the embedded information generation unit 1031 sets the block whose feature amount exceeds the threshold as the block for embedding the embedded information, and the block whose feature amount is less than the threshold as the block which does not embed the embedded information, thereby forming the flat portion of the image. It is possible to avoid embedding embedded information and increase resistance to differential attacks.
  • the embedded information generation unit 1031 generates embedded information based on each block passed from the block division unit 1030.
  • the embedded information generation unit 1031 generates information that can identify the image information as embedded information based on the image information output from the pixel array unit 100.
  • the embedded information generation unit 1031 generates a CRC (Cyclic Redundancy Check) value, a hash value, a total value of pixel values, etc. based on the pixel values of the pixels included in each block, and uses the generated values to embed information. Can be generated.
  • the embedded information can be generated using the values from the most significant bit to, for example, the (m-1) bit. This is a process corresponding to the case where the embedded information is embedded in the bit position of the least significant bit, for example, in the embedded information embedding process described later.
  • the embedded information generation unit 1031 identifies an image sensor ID that identifies the image sensor 10 itself, information indicating the image pickup time and image pickup location captured from the outside, and a program for realizing the embedded information generation unit 1031.
  • Ancillary information such as a program ID to be used can be included in the embedded information.
  • the embedded information generated by the embedded information generation unit 1031 is passed to the embedded unit 1032.
  • the embedding unit 1032 embeds the embedding information generated by the embedding information generation unit 1031 in the block determined by the embedding information generation unit 1031 to embed the embedding information. At this time, the embedding unit 1032 embeds the embedding information in the pixel (referred to as a specific pixel) at a predetermined position among the plurality of pixels included in the block. Further, the embedding unit 1032 embeds the embedding information in the least significant bit of the specific pixel. Not limited to this, the embedding unit 1032 can embed the embedding information in a plurality of bits (for example, 2 bits) from the least significant bit to the extent that the image is not affected.
  • a plurality of bits for example, 2 bits
  • FIG. 7 is an example flowchart showing the embedding process of the embedded information according to the first embodiment.
  • the falsification prevention processing unit 103 divides the image based on the image information supplied from the pixel array unit 100 into blocks by the block division unit 1030.
  • FIG. 8 is a schematic diagram showing an example of the block division process by the block division unit 1030 according to the first embodiment.
  • the image 50 based on the image information is divided into a block 51 composed of 16 pixels 60 of 4 pixels ⁇ 4 pixels.
  • the pixel 60em indicates a pixel predetermined for embedding information.
  • the pixel 60em predetermined for embedding the embedding information is appropriately referred to as a specific pixel 60em.
  • each block 51 contains two specific pixels 60em.
  • Each of the divided blocks 51 is passed to the embedding unit 1032 and the embedding information generation unit 1031.
  • step S101 of FIG. 7 the falsification prevention processing unit 103 calculates the feature amount of each block 51 by the embedded information generation unit 1031.
  • FIG. 10 is a schematic diagram showing the feature amount calculation by the embedded information generation 1031 according to the first embodiment.
  • the left end of the figure shows the pixel positions (x, y) in the block 51, and each pixel 60 including the specific pixel 60em (not shown) is oriented from right to left with respect to the row, and further above each row.
  • N 16.
  • each data data_1 to data_N has a data length of m bits.
  • the embedded information generation unit 1031 calculates the feature amount based on the value [m-1: 1] from the most significant bit (MSB) to the (m-1) bit of each data data_1 to data_N.
  • the feature amount is calculated by the range, and the embedded information generation unit 1031 has the maximum value [m-1: 1] based on the value [m-1: 1] of each pixel 60 included in the block 51.
  • the difference between -1: 1] and the minimum value [m-1: 1] is calculated as a feature amount.
  • the falsification prevention processing unit 103 compares the feature amount obtained in step S101 with the threshold value by the embedded information generation unit 1031 and determines whether or not the feature amount exceeds the threshold value. judge.
  • the block 51 whose feature amount exceeds the threshold value is set as the block 51 for embedding the embedded information.
  • the falsification prevention processing unit 103 determines that the feature amount is equal to or less than the threshold value by the embedded information generation unit 1031 (step S102, "No")
  • the falsification prevention processing unit 103 shifts the processing to step S105.
  • the falsification prevention processing unit 103 determines that the feature amount exceeds the threshold value by the embedded information generation unit 1031 (step S102, "Yes")
  • the falsification prevention processing unit 103 shifts the processing to step S103.
  • FIG. 9 is a diagram schematically showing a block 51a in which the feature amount exceeds the threshold value and a block 51b in which the feature amount exceeds the threshold value in each block 51 obtained by dividing the image 50.
  • the image 50 includes objects 53a, 53b, 53c, 53d and 53e against a flat background.
  • the block 51a including at least a part of the objects 53a to 53e is a block for which the feature amount exceeds the threshold value and the embedded information is embedded.
  • the block 51b that does not include the objects 53a to 53e at all has a feature amount equal to or less than the threshold value and is not a block for embedding information.
  • step S103 of FIG. 7 the falsification prevention processing unit 103 generates embedded information based on the pixel information in the block 51a to be embedded in the embedded information by the embedded information generation unit 1031.
  • the embedding information generation unit 1031 passes the information indicating the block 51a to be embedded and the generated embedding information to the embedding unit 1032.
  • the falsification prevention processing unit 103 embeds the embedding information generated in step S103 at a predetermined position of the specific pixel 60em by the embedding unit 1032. The processing is skipped for the block 51b that is not the target of embedding the embedded information.
  • FIG. 11 is an example flowchart showing the generation and embedding process of the embedded information according to the first embodiment.
  • embedded information is generated based on the total value of the pixel values of each pixel 60 (including the specific pixel 60em) included in the block 51a will be described.
  • step S120 the falsification prevention processing unit 103 calculates the total value of the data in the target block 51a by the embedded information generation unit 1031.
  • FIG. 12 is a schematic diagram for explaining the calculation of the total value of the data in the block 51a according to the first embodiment.
  • the meaning of each part of the section (a) is the same as that of each part of FIG. 10 described above, and thus the description thereof is omitted here.
  • the embedded information generation unit 1031 is the total value of the values of the data data_1 to data_N having a bit length of m bits for each pixel 60 including the specific pixel 60em in the block 51a. Calculate sum. At this time, for the specific pixel 60em, the total value sum is calculated with the value of the bit position (least significant bit in this example) for embedding the embedded information as “0”.
  • Section (b) of FIG. 12 is a diagram schematically showing a total value sum (described as a sum value in the figure) calculated by the embedded information generation unit 1031. The total value sum may have a bit length longer than m bits of the bit length of each data data_1 to data_N depending on the value of each data data_1 to data_N to be totaled.
  • step S121 of FIG. 11 the falsification prevention processing unit 103 acquires the lower two bits of the total value sum as embedded information by the embedded information generation unit 1031 as schematically shown in FIG.
  • FIG. 13 is a diagram schematically showing an example in which the lower two bits of the total value sum according to the first embodiment are acquired as embedded information.
  • the embedded information generation unit 1031 passes the acquired embedded information and information indicating the block 51a from which the embedded information has been acquired to the embedded unit 1032.
  • step S122 of FIG. 11 the falsification prevention processing unit 103 embeds the embedding information in the lower bit as a predetermined position of the specific pixel 60em by the embedding unit 1032.
  • FIG. 14 is a diagram schematically showing a state in which embedded information is embedded in the lower bits of the specific pixel 60 em according to the first embodiment.
  • one bit of embedded information is embedded in the least significant bit of the specific pixel 60 em.
  • 2-bit embedding information can be embedded in the block 51a. This is the reason why the lower two bits of the total value sum are acquired as the embedded information in step S121.
  • the lower 2 bits of the total value sum are acquired as the embedded information, but this is not limited to this example, and the lower 2 bits or more of the total value sum, for example, the lower 3 bits or the lower 4 bits are embedded. It may be acquired as information.
  • the embedded information acquired from the target block 51a is embedded in the target block 51a, but this is not limited to this example. That is, the embedding information acquired from a certain block 51a may be embedded in a specific pixel 60em of another block 51a different from the block 51a. By doing so, the prevention of tampering can be further strengthened.
  • step S105 the falsification prevention processing unit 103 determines whether or not the block 51 processed in steps S101 to S104 is the last block processed in the image 50. If the falsification prevention processing unit 103 determines that it is not the last block (step S105, "No"), the processing is returned to step S101, and the processing of the next block 51 in the image 50 is executed. On the other hand, when the falsification prevention processing unit 103 determines that it is the last block (step S105, "Yes"), the falsification prevention processing unit 103 ends a series of processing according to the flowchart of FIG.
  • the embedding unit 1032 When the falsification prevention processing unit 103 completes the processing according to the flowchart of FIG. 7, the embedding unit 1032 generates information on the embedding information and adds it to the image information of the image 50 to generate output information. For example, when the image 50 is used, the embedded information is restored using this information, and it is inspected whether or not the image 50 has been tampered with.
  • this information regarding the embedded information added to the image information is referred to as falsification inspection information.
  • FIG. 15 is a schematic diagram showing an example of output information 500 including falsification inspection information output by the embedded unit 1032 according to the first embodiment.
  • the left side of FIG. 15 shows an example of the falsification inspection information 510 included in the output information 500 and the falsification prevention code 520 as embedded information, and the central part of FIG. 15 shows a part of the falsification inspection information 510 encrypted. Further, an example of the encrypted falsification inspection information 510a is shown.
  • the right side of FIG. 15 shows an example of output information 500 in which the encrypted falsification inspection information 510a and the falsification prevention code 520 are added to the image 50.
  • the encrypted falsification inspection information 510a is added to the image 50 as the header information 52.
  • the image 50 itself is omitted on the left side and the center of FIG.
  • the falsification inspection information 510 includes a processing method, pixels and bit information used for processing, position information of specific pixels, threshold value information, and division block information.
  • the processing method shows the processing method (CRC value, hash value, total value, method for obtaining the feature amount, etc.) used for generating the embedded information in step S103 of FIG. 7.
  • the pixel and bit information used for processing indicates information on the pixels used for generating embedded information and the bit information of the pixel values of the pixels used for processing. For example, all the pixels in the block 51 are used, and the value up to the (m-1) bit of the pixel value of the m bits of each pixel is used.
  • the position information of the specific pixel indicates the position information in the image 50 of the specific pixel 60em for embedding the embedding information arranged in the image 50. In this way, by including the position information of the specific pixel in the falsification inspection information 510, the position of the specific pixel 60 em can be changed for each image 50.
  • the processing method, the pixel and bit information used for processing, and the position information of the specific pixel are fixed to the default information for each image 50, the information may be omitted. can. By omitting the fixed information, the encryption processing time can be shortened or deleted.
  • the threshold value indicates the threshold value for comparison with the feature amount in step S102 in the flowchart of FIG. 7.
  • the divided block information is information about the block 51 in which the image 50 is divided in step S100 in the flowchart of FIG. 7, and indicates, for example, the size of the block (4 pixels ⁇ 4 pixels, etc.).
  • the divided block information instead of the divided block information, information indicating the position on the image 50 in which the object is detected is shown.
  • the image pickup location indicates information (for example, latitude, longitude, altitude information) indicating the location where the image 50 was captured.
  • the falsification inspection information 510 can be said to be the extraction information used for extracting the embedded information from the image.
  • a part or all of the falsification inspection information 510 is encrypted and included in the output information.
  • the falsification prevention processing unit 103 encrypts a part or all of the falsification inspection information 510 by using the public key, for example, by the embedding unit 1032.
  • the processing method, the pixel and bit information used for processing, and the position information of the specific pixel are encrypted using the public key. This is not limited to this example, and other information included in the falsification inspection information 510 may be encrypted together.
  • the encrypted falsification inspection information 510a is added to the image 50 as header information 52, for example.
  • the falsification prevention code 520 is embedded in the image 50 as described with reference to FIGS. 7 to 14.
  • the image pickup location information indicating the location where the image 50 was captured and the image capture date / time information indicating the date and time when the image was captured may be embedded in the image 50 by a predetermined method, or the header information 52 or footer information of the image 50 (? It may be stored in (not shown).
  • the embedded information is generated based on the image (pixel value) of the block 51a in which the embedded information is embedded. Therefore, when tampering is detected, it is possible to easily identify which part of the image 50 has been tampered with.
  • the information for extracting and restoring the embedded information from the image 50 is encrypted using the public key and added to the image 50 to generate the output information 500. Therefore, it is extremely difficult to analyze the embedded information embedded in the image 50.
  • the predetermined area for determining whether or not to embed the embedded information is the block 51 in which the image 50 is divided.
  • the object is detected for the image 50, the region corresponding to the detected object is set as the predetermined region, and the embedded information is input based on the feature amount in the predetermined region. Determine whether to embed.
  • FIG. 16 is a functional block diagram of an example for explaining the function of the image pickup device according to the modified example of the first embodiment.
  • an object detection unit 1033 is provided instead of the block division unit 1030 with respect to the configuration of FIG. 6 according to the first embodiment.
  • the object detection unit 1033 detects an object included in the image based on the image information based on the image information supplied from the pixel array unit 100.
  • the object detection unit 1033 may detect an object by pattern matching with respect to a predetermined object image prepared in advance, or may be performed by using a model learned by machine learning using the predetermined object image as teacher data. Further, the object detection by the object detection unit 1033 may be face recognition.
  • the object detection unit 1033 passes information indicating an object detection area including the detected object in the image to the embedded information generation unit 1031a and the embedded unit 1032a together with the image. At this time, as the object detection area, a minimum rectangular area including the detected object may be used, or a rectangular area having a predetermined margin with respect to the minimum rectangular area may be used. Further, the object detection unit 1033 passes the object detection value indicating the certainty of the detected object to the embedded information generation unit 1031a.
  • the embedded information generation unit 1031a performs threshold determination on the object detection value passed from the object detection unit 1033, and generates embedded information based on the pixel information of the object detection region where the object detection value exceeds the threshold.
  • the embedded information generation unit 1031a passes the information indicating the object detection area and the corresponding embedded information to the embedded unit 1032a.
  • the embedded unit 1032a includes an image passed from the object detection unit 1033, information indicating an object detection area, information indicating an object detection area passed from the embedded information generation unit 1031a, and corresponding embedded information. Based on this, the embedded information is embedded at a predetermined position of a specific pixel in the object detection area.
  • the position of the specific pixel in the object detection area can be determined in advance as, for example, the pixel position relative to the upper and lower ends and the left and right ends of the object detection area which is a rectangular area.
  • FIG. 17 is a flowchart of an example showing the embedding process of the embedded information according to the first modification of the first embodiment.
  • step S140 the falsification prevention processing unit 103 performs object detection processing for detecting an object included in the image based on the image information supplied from the pixel array unit 100 by the object detection unit 1033.
  • FIG. 18 is a schematic diagram showing an example of the result of performing an object detection process on an image by the object detection unit 1033 according to the first modification of the first embodiment. In the example of FIG. 18, it is shown that the objects 53a, 53b, 53c, 53d and 53e are detected in the image 50.
  • the falsification prevention processing unit 103 determines whether or not the object detection value indicating the certainty exceeds the threshold value for one of the objects detected in the step S140 by the object detection unit 1033.
  • the falsification prevention processing unit 103 determines that the object detection value is equal to or less than the threshold value (step S141, "No"), the falsification prevention processing unit 103 shifts the processing to step S144.
  • the falsification prevention processing unit 103 determines that the object detection value exceeds the threshold value (step S141, "Yes"), the falsification prevention processing unit 103 shifts the processing to step S142.
  • the objects 53b, 53c and 53d shown by filling the object detection area indicate the objects whose object detection value exceeds the threshold value, and the objects 53a and 53e indicate the objects whose object detection value is equal to or less than the threshold value.
  • step S142 the embedded information generation unit 1031a generates embedded information based on the pixel information (pixel value) in the object detection area including the object whose object detection value exceeds the threshold value.
  • the method described in step S103 of the flowchart of FIG. 7 described above can be applied to the generation of the embedded information here.
  • the falsification prevention processing unit 103 embeds the embedding information generated in step S142 by the embedding unit 1032 at a predetermined position of a specific pixel in the object detection area.
  • the processing is skipped for the object detection area (the object detection area including the object whose object detection value is equal to or less than the threshold value) that is not the target of embedding the embedded information.
  • the falsification prevention processing unit 103 determines whether or not the object detection area processed in steps S141 to S143 is the last object detection area processed in the image 50.
  • the falsification prevention processing unit 103 determines that it is not the last object detection area (step S144, “No”), the processing is returned to step S141, and the processing of the next object detection area in the image 50 is executed.
  • the falsification prevention processing unit 103 determines that it is the last object detection region (step S144, “Yes”), the falsification prevention processing unit 103 ends a series of processing according to the flowchart of FIG.
  • the target area for generating and embedding the embedded information is narrowed down, so that the area is tampered with. It is possible to identify the location more easily.
  • step S141 by comparing the object detection value with the threshold value, it is determined whether or not the object detection area is the area to be embedded and the area to be embedded. Not limited. For example, it can be determined whether or not the area is to be embedded according to the type of the detected object (people, vehicles, clouds, birds, etc.).
  • the second modification of the first embodiment is a combination of the first embodiment described above and the first modification of the first embodiment. That is, in the second modification of the first embodiment, the image supplied from the pixel array unit 100 is divided into blocks 51, an object is detected for the image, and an object is detected in each block 51.
  • the block 51 including at least a part of the object detection area whose value exceeds the threshold value is defined as the block 51 to be embedded in the embedded information.
  • FIG. 19 is a functional block diagram of an example for explaining the function of the image pickup device according to the second modification of the first embodiment.
  • the object detection / block division unit 1034 is provided instead of the block division unit 1030 with respect to the configuration of FIG. 6 according to the first embodiment.
  • the object detection / block division unit 1034 divides the image based on the image information into the block 51 based on the image information supplied from the pixel array unit 100, and detects the object included in the image 50.
  • the object detection method and the like the method according to the first modification of the first embodiment described above can be applied as it is, and thus the description thereof is omitted here.
  • the object detection / block division unit 1034 passes the information indicating the object detection area including the detected object in the image and the image of each block 51 to the embedded information generation unit 1031b and the embedded unit 1032b. Also, object detection. The block division unit 1034 also passes the object detection value corresponding to the object detection area to the embedded information generation unit 1031b.
  • the embedded information generation unit 1031b performs threshold determination on the object detection value passed from the object detection unit 1033, and extracts an object detection region in which the object detection value exceeds the threshold value. Then, the embedded information generation unit 1031b extracts the block 51 including at least a part of the extracted object detection region from each block 51 in which the image is divided.
  • FIG. 20 is a schematic diagram showing an example of the result of performing object detection processing and block division processing on an image.
  • the objects 53a, 53b, 53c, 53d and 53e are detected in the image 50.
  • the objects 53b, 53c and 53d indicate an object whose object detection value exceeds the threshold value
  • the objects 53a and 53e indicate an object whose object detection value is equal to or less than the threshold value.
  • the block 51a is a block including at least a part of the objects 53b, 53c, and 53d whose object detection value exceeds the threshold value.
  • Block 51b is a block in which the object does not include an object detection area at all.
  • the embedded information generation unit 1031b generates embedded information based on, for example, the pixel value of each pixel included in the block 51a including at least a part of the objects 53b, 53c and 53d whose object detection value exceeds the threshold value.
  • the embedded information generation unit 1031b passes the information indicating the block 51a and the embedded information corresponding to the block 51a to the embedded unit 1032b.
  • the embedding unit 1032a is based on the image passed from the object detection / block division unit 1034, the information of each block 51a to be embedded in the embedding information, and the embedding information corresponding to each block 51a. Embed information is embedded at a predetermined position of a specific pixel of.
  • the block 51a including at least a part of the object detection area by the object detection is set as the block to be embedded in the embedded information. Therefore, the first described above. Similar to the first modification of the embodiment, the tampered part can be easily identified. Further, as compared with the first modification of the first embodiment described above, it is possible to take a large area in which the embedded information can be embedded, and it is possible to embed the embedded information having a larger amount of data.
  • the second embodiment of the present disclosure is an example in which the image included in the output information 500 in which the embedded information is embedded by the first embodiment described above or each modification thereof is used.
  • the embedded information is extracted from the output information 500, and the presence or absence of falsification of the image is detected based on the extracted embedded information.
  • 21A and 21B are schematic views for explaining the problems of the falsification prevention technique by the existing technique.
  • FIG. 21A schematically shows an example in which a falsification prevention method is analyzed by a differential attack.
  • the image pickup apparatus 1000 embeds digital watermark information for falsification prevention in the captured image captured by the digital watermark processing 800, and generates output information.
  • This output information is input to image processing software 700a mounted on an information processing device / image processing device such as a personal computer (PC), for example.
  • PC personal computer
  • the image processing software 700a extracts digital watermark information from, for example, input output information by tamper-proof processing 801a, and compares the extracted digital watermark information with the digital watermark information obtained in advance. If the two match, the image processing software 700a outputs the output information (image) from the PC, assuming that the output information (image) has not been tampered with.
  • the output information output from the PC is transmitted to, for example, another PC, and the image processing software 700b similarly performs the falsification prevention processing 801b.
  • FIG. 21B schematically shows an example in which the falsification prevention process is breached by hijacking.
  • the falsified input image 803 is input to the image processing software 700a instead of the image captured by the image pickup apparatus 1000.
  • the input image 803 input to the image processing software 700a is a hijacked image, it cannot be proved that the output image output from the image processing software 700a is not tampered with.
  • FIG. 22 is a diagram showing a configuration of an example for performing tampering detection and prevention according to the second embodiment.
  • the input image is input to, for example, a PC (personal computer) 20 as an image processing device.
  • This input image has the same configuration as the output image 500 described with reference to FIG. 15, and is data to which encrypted falsification inspection information 510a is added as header information 52.
  • the PC 20 is equipped with image processing software 70 having the function according to the second embodiment.
  • the PC 20 can communicate with the server 22 as an information processing device via a network 21 such as the Internet or a LAN (Local Area Network).
  • the server 22 is equipped with the falsification inspection software 90 that performs the falsification inspection according to the second embodiment.
  • FIG. 23 is an example flowchart schematically showing the tampering detection and prevention process according to the second embodiment.
  • the PC 20 Prior to the processing according to the flowchart of FIG. 23, the PC 20 transmits the input image to the server 22 via the network 21 by the image processing software 70.
  • the server 22 uses the falsification inspection software 90 to decrypt the encrypted falsification inspection information 510a included in the input image using the private key.
  • the server 22 confirms whether or not the output image 500 has been tampered with based on the falsification inspection information 510 in which the encrypted falsification inspection information 510a is decrypted by the falsification inspection software 90 (step S200).
  • the server 22 transmits the confirmation result of the presence or absence of falsification by the falsification inspection software 90 to the PC 20 via the network 21.
  • the confirmation result of the presence or absence of falsification is acquired by the image processing software 70 in the PC 20.
  • the PC 20 determines whether or not the acquired confirmation result of the presence or absence of falsification indicates that the image has been tampered with by the image processing software 70.
  • the image processing software 70 determines that the confirmation result has not been tampered with (step S201, "none")
  • the PC 20 shifts the processing to step S202.
  • step S202 the PC 20 can execute the image processing process (1) on the input image corresponding to the confirmation result by the image processing software 70.
  • the image processing process (1) executes a process in which the process itself does not correspond to falsification of the input image.
  • contrast correction for an image white balance adjustment, image format conversion, and the like can be considered.
  • step S204 the PC 20 performs falsification prevention processing on the input image by the image processing software 70 to prevent falsification by an external device.
  • the falsification prevention processing here, the generation and embedding processing of the embedded information by the above-mentioned first embodiment or each modification thereof can be applied.
  • step S201 when the image processing software 70 determines that the confirmation result indicates that the image has been tampered with (step S201, "Yes"), the PC 20 shifts the processing to step S203.
  • step S203 the image processing software 70 can execute the image processing process (2) on the input image corresponding to the confirmation result. In this case, since the input image has already been tampered with, any process can be executed as the image processing process (2).
  • the image processing software 70 does not perform falsification prevention processing on the image to which the image processing processing (2) has been performed.
  • FIG. 24 is an example flowchart showing the process according to the second embodiment in more detail.
  • the flowchart of FIG. 24 shows in more detail the process of step S200 in the flowchart of FIG. 23 described above.
  • step S230 the PC 20 transmits the input image to the server 20.
  • the encrypted falsification inspection information 510a described with reference to FIG. 15 is added as the header information 52.
  • the server 22 receives the input image transmitted from the PC 20 (step S231).
  • the server 22 decrypts the header information 52 of the received input image with the private key by the falsification inspection software 90, and restores the falsification inspection information 510.
  • the falsification inspection software 90 acquires the processing information included in the falsification inspection information 510, for example, the processing method, the pixel and bit information used for the processing, and the position information of the specific pixel.
  • the server 22 performs a process of generating embedded information for the input image received in step S231 according to the process information acquired in step S240 by the falsification inspection software 90. That is, it is the same processing as the embedded information generation processing executed in the falsification prevention processing unit 103 of the image pickup apparatus 1.
  • the server 22 acquires the embedded information embedded in the input image from the input image received from the PC 20 in step S231 based on the processing information acquired in step S240 by the falsification inspection software 90.
  • the server 22 compares the embedded information generated in step S241 with the embedded information acquired from the input image in step S242 by the tampering inspection software 90, and the generated embedded information and the acquired embedded information Is the same or not.
  • the falsification inspection software 90 determines that the generated embedded information and the acquired embedded information are the same (step S243, "Yes")
  • the server 22 shifts the process to step S244 and receives the information in step S231. It is determined that the image has not been tampered with (no tampering).
  • step S243 when the falsification inspection software 90 determines that the generated embedded information and the acquired embedded information are not the same (step S243, "No"), the server 22 shifts the process to step S245, and in step S231. It is determined that the received image has been tampered with (with tampering).
  • step S244 or step S245 the server 22 shifts the processing to step S246 by the falsification inspection software 90, and transmits the determination result of step S244 or step S245 to the PC 20.
  • This determination result is received by the PC 20 in step S232 and input to the image processing software 70.
  • FIG. 25 is an example flowchart showing the processing in the PC 20 that has received the determination result of the presence or absence of falsification from the server 22 according to the second embodiment.
  • the process according to the flowchart of FIG. 25 is executed as the process after step S201 in the flowchart of FIG. 23 described above. Further, in the flowchart of FIG. 25, the input image transmitted from the PC 20 to the server 22 in step S230 in the flowchart of FIG. 24 is targeted for processing.
  • step S220 the PC 20 determines whether or not the target input image has been tamper-proof processed by the image processing software 70, for example, based on the header information 52.
  • the image processing software 70 determines that the falsification prevention processing has not been performed on the PC 20 (step S220, "No")
  • the processing is shifted to step S226.
  • step S226 arbitrary image processing can be performed by the image processing (2).
  • the PC 20 ends a series of processes according to the flowchart of FIG. 25 without further falsification prevention processing.
  • step S220 determines in step S220 that the PC 20 has been tamper-proof processed (step S220, "Yes")
  • step S220 determines in step S220 that the PC 20 has been tamper-proof processed
  • step S221 the PC 20 confirms whether or not the input image has been tampered with based on the determination result transmitted from the server 22 in step S232 of the flowchart of FIG. 24 by the image processing software 70.
  • step S222 when the image processing software 70 determines that there is falsification based on the determination result (step S222, “Yes”), the PC 20 shifts the processing to step S227.
  • step S227 the PC 20 adds information indicating "falsification" to the input image by the image processing software 70, and ends a series of processing according to the flowchart of FIG. 25.
  • step S222 when the image processing software 70 determines that there is no falsification based on the determination result (step S222, "none"), the PC 20 shifts the processing to step S223.
  • step S223 the PC 20 uses the image processing software 70 to execute the image processing process (1) described above for the input image corresponding to the confirmation result, as the process itself does not correspond to the falsification of the image. be able to.
  • step S224 the PC 20 determines whether or not the image processing process executed in step S223 corresponds to the falsification process by the image processing software 70.
  • the image processing software 70 determines that the image processing process (1) executed in step S223 corresponds to the falsification process (step S224, "Yes"), the PC ends a series of processes according to the flowchart of FIG. 25. ..
  • step S224 determines that the image processing process (1) executed in step S223 does not correspond to the falsification process (step S224, "No")
  • the PC 20 shifts the process to step S225.
  • step S225 the PC 20 performs falsification prevention processing on the input image by the image processing software 70.
  • the falsification prevention processing here, the processing described in the above-mentioned first embodiment or each modification thereof can be applied. Not limited to this, falsification prevention processing may be executed by other methods.
  • the encrypted falsification inspection information 510a obtained by encrypting the falsification inspection information 510 used for determining the presence or absence of falsification of the image with a public key is used as an information processing device from the PC 20 as an image processing device.
  • the server 22 decrypts the encrypted falsification inspection information 510a with a private key, and executes a falsification presence / absence confirmation process using the decrypted falsification inspection information 510 on the server 22. This prevents the information of the encrypted falsification inspection information 510a from being decrypted externally, and it is possible to confirm whether or not the image has been falsified in a highly confidential state.
  • a modification of the second embodiment is an example in which only the information necessary for falsification confirmation is transmitted without transmitting the entire image from the PC 20 to the server 22. In this way, by transmitting only the intermediate information from the PC 20 to the server 22, the load on the network 21 can be reduced.
  • FIG. 26 is an example flowchart showing the process according to the modified example of the second embodiment in more detail.
  • the flowchart of FIG. 26 shows in more detail the process of step S200 in the flowchart of FIG. 23 described above.
  • step S250 the PC 20 acquires a processing method (threshold information, division block information, etc.) from the unencrypted portion of the header information 52 of the input image.
  • step S251 the PC 20 generates intermediate information of the embedded information from the information acquired in the step S250 by the image processing software 70.
  • the PC 20 acquires the encrypted tampering inspection information 510a included in the header information 52 of the input image by the image processing software 70, and the acquired encrypted tampering inspection information 510a and the embedding generated in step S251.
  • the intermediate information of the information and the data of the lowest bit of the input image (when the embedded information is embedded in the lowest bit) are transmitted to the server 22.
  • step S260 the server 22 receives each information transmitted from the PC 20 in step S252. Each received information is input to the falsification inspection software 90.
  • the server 22 uses the falsification inspection software 90 to decrypt the encrypted falsification inspection information 510a among the information received in step S260 with the private key and restore the falsification inspection information 510. Then, the falsification inspection software 90 acquires the processing information included in the falsification inspection information 510, for example, the processing method, the pixel and bit information used for the processing, and the position information of the specific pixel.
  • the server 22 acquires the intermediate information among the information received from the PC 20 in the step S260 by the falsification inspection software 90, and based on the acquired intermediate information and the processing information acquired in the step S261. , Generate the final value of the embedded information.
  • the final value of the embedded information generated here is, for example, the output information imaged by the image pickup device 1 and generated by the falsification prevention processing unit 103 included in the image pickup device 1 in the first embodiment described above or each modification thereof. It corresponds to the embedded information embedded in the 500, and is the information guaranteed not to be tampered with.
  • the server 22 uses the tampering inspection software 90 to obtain information on the least significant bit of the input image among the information received from the PC 20 in step S260 and the position information of the specific pixel acquired in step S261. Reproduce the embedded information.
  • the embedded information reproduced here corresponds to the embedded information embedded in the input image input to the PC 20.
  • the server 22 compares the embedded information as the final value generated in step S262 with the embedded information reproduced in step S263 by the falsification inspection software 90, and embeds as the generated final value. It is determined whether or not the information and the reproduced embedded information are the same.
  • the falsification inspection software 90 determines that the embedded information as the final value generated and the reproduced embedded information are the same (step S264, "Yes")
  • the server 22 shifts the process to step S265 and steps. It is determined that the image received in S260 has not been tampered with (no tampering).
  • step S264 the server 22 shifts the process to step S266. , It is determined that the image received in step S260 has been tampered with (with tampering).
  • step S265 or step S266 the server 22 shifts the processing to step S267 by the falsification inspection software 90, and transmits the determination result of step S265 or step S266 to the PC 20.
  • This determination result is received by the PC 20 in step S253 and input to the image processing software 70.
  • the present technology can also have the following configurations.
  • An image pickup unit that outputs image information according to the received light, The feature amount of the predetermined area of the image is obtained from the image information, it is determined based on the feature amount whether or not to embed the embedded information in the predetermined area, and the image information of the predetermined area determined to embed the embedded information is used.
  • Based on the embedded information generation unit that generates the embedded information An embedded portion for embedding the embedded information in the predetermined area, An image sensor comprising.
  • the embedded information generation unit is Each block in which the image is divided according to the image information is set as the predetermined area.
  • the image pickup device according to (1) above.
  • (3) The embedded information generation unit is The area where a predetermined object is detected from the image is defined as the predetermined area.
  • the embedded information generation unit is Among the blocks in which the image is divided according to the image information, the block including at least a part of the detection area in which the predetermined object is detected from the image is defined as the predetermined area.
  • the embedded portion is A part of the plurality of pixels included in the predetermined area is set as a target pixel for embedding the embedding information.
  • the embedded information generation unit is The determination is performed using the degree of dispersion of the pixel values of each of the plurality of pixels included in the predetermined region by a bit string not including at least the least significant bit in the predetermined region as the feature amount.
  • the image pickup device according to any one of (1) to (5).
  • the embedded information generation unit is Based on the image included in the predetermined area, the embedded information is generated for each predetermined area.
  • the image pickup device according to any one of (1) to (6).
  • the embedded information generation unit is The embedded information is generated based on the calculation result obtained by performing the calculation using the pixel values of each of the plurality of pixels included in the predetermined area.
  • the image pickup device according to (7) above.
  • the embedded information generation unit is A value from the least significant bit of the calculated value to a predetermined number of bits is generated as the embedded information.
  • the image pickup device according to (8) above.
  • the embedded portion is The output information is generated by adding the extraction information for extracting the embedded information from the image information in which the embedded information is embedded to the image information.
  • the image pickup device according to any one of (1) to (9).
  • the embedded portion is The extracted information is encrypted and added to the image information to generate the output information.
  • the image pickup device according to (10) above.
  • the extracted information is The generation method information indicating the generation method in which the embedded information generation unit generated the embedded information, and Of the image information, the generated information indicating the information used by the embedded information generation unit to generate the embedded information, and the generated information. Positional information indicating the position where the embedded information is embedded in the image information, and including, The image pickup device according to (10) or (11).
  • An imaging step that outputs image information according to the received light,
  • the feature amount of the predetermined area of the image is obtained from the image information, it is determined based on the feature amount whether or not to embed the embedded information in the predetermined area, and the image information of the predetermined area determined to embed the embedded information is used.
  • An embedding step for embedding the embedding information in the predetermined area Imaging method having.
  • An image pickup unit that outputs image information according to the received light, An optical unit that guides the light from the subject to the image pickup unit, The feature amount of the predetermined area of the image is obtained from the image information, it is determined based on the feature amount whether or not to embed the embedded information in the predetermined area, and the image information of the predetermined area determined to embed the embedded information is used. Based on the embedded information generation unit that generates the embedded information, An embedded portion for embedding the embedded information in the predetermined area, A recording unit that records the image information in which the embedded information is embedded by the embedded unit, and a recording unit. An image pickup device equipped with.
  • Image processing equipment and An information processing device connected to the image processing device via a network Including The information processing device is The image information of the image, which determines whether or not to embed the embedded information in the predetermined area based on the feature amount of the predetermined area of the image, is acquired from the image processing device via the network, and the embedded information is obtained from the acquired image information. Information is extracted, the presence or absence of tampering with the image information is detected based on the extracted embedded information, and tampering detection information indicating the presence or absence of the detected tampering is added to the image information and transmitted to the image processing apparatus.
  • the image processing device is When the tampering presence / absence information added to the image information transmitted from the information processing apparatus indicates that the tampering has not occurred, the image information is subjected to image processing and the image processing is performed. It is provided with an image processing unit that performs image tampering prevention processing on the image information and adds information indicating that the image information has tampering when the tampering presence / absence information indicates that the image information has been tampered with. Image processing system.
  • Image sensor 10 Image sensor 12 Recording unit 13 Output unit 20 PC 22 Server 50 Image 51, 51a, 51b Block 52 Header information 53a, 53b, 53c, 53d, 53e Object 60 Pixel 60em Specific pixel 70 Image processing software 90 Falsification inspection software 100 Pixel array unit 103, 103a, 103b Falsification prevention processing unit 500 Output information 510 Falsification inspection information 510a Encrypted tampering inspection information 1030 Block division unit 1031, 1031a, 1031b Embedded information generation unit 1032, 1032a, 1032b Embedded unit 1033 Object detection unit 1034 Object detection / block division unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

受光した光に応じて画像情報を出力する撮像部（１００）と、画像情報により画像の所定領域の特徴量を求め、所定領域に埋め込み情報を埋め込むか否かを特徴量に基づき判定し、埋め込み情報を埋め込むと判定された所定領域の画像情報に基づき埋め込み情報を生成する埋め込み情報生成部（１０３１）と、所定領域に埋め込み情報を埋め込む埋め込み部（１０３２）と、を備える。

Description

撮像素子、撮像方法、撮像装置および画像処理システム
　本開示は、撮像素子、撮像方法、撮像装置および画像処理システムに関する。
　近年では、ＡＩ(Artificial　Intelligence)などの発達もあり、静止画像や動画像の偽造が容易に行えるようになり、また巧妙化している。偽造した画像を用いたフェイクニュースなどが社会問題化している中で、画像の改竄検出の重要性が増している。
　画像の改竄検出を可能とするための技術として、元画像に暗号コードなどを埋め込む技術や、元画像に電子透かしを重畳する技術などが知られている。この場合において、イメージセンサとこれらの処理を行う処理部とが別体となっていると、イメージセンサと当該処理部との間の通信経路を乗っ取られるなどにより差分攻撃を受け、埋め込んだ、あるいは重畳された情報を解析されてしまうおそれがある。また、そもそも当該処理部に対して改竄された画像が入力されることで、改竄された画像を改竄されていない画像として保証してしまうおそれもある。
　そのため、イメージセンサと当該処理部とを一体的に構成する技術が提案されている。例えば特許文献１では、イメージセンサは、センサ部を備える画素基板と、センサ部から出力された電気信号を処理するための画像情報処理部が配置される信号処理基板と、が積層されて一体的に構成され、取得した画像情報と撮像した画像情報との同一性を保証するようにした技術が記載されている。特許文献１の構成によれば、イメージセンサ内で改竄防止処理が実施され、差分攻撃を受けにくい。
特開２０１７－１８４１９８号公報
　しかしながら、イメージセンサ内で改竄防止処理を実施する構成であっても、飽和画像や低ゲインでの画像など、改竄防止処理に対抗するために意図的な入力画像が作られる可能性があり、差分攻撃により改竄防止処理による埋め込み情報を解析されてしまうおそれがあった。
　本開示は、攻撃に対する耐性のより高い改竄防止処理を可能とする撮像素子、撮像方法、撮像装置および画像処理システムを提供する。
　本開示に係る撮像素子は、受光した光に応じて画像情報を出力する撮像部と、画像情報により画像の所定領域の特徴量を求め、所定領域に埋め込み情報を埋め込むか否かを特徴量に基づき判定し、埋め込み情報を埋め込むと判定された所定領域の画像情報に基づき埋め込み情報を生成する埋め込み情報生成部と、所定領域に埋め込み情報を埋め込む埋め込み部と、を備える。
　また、本開示に係る撮像方法は、プロセッサにより実行される、受光した光に応じて画像情報を出力する撮像ステップと、画像情報により画像の所定領域の特徴量を求め、所定領域に埋め込み情報を埋め込むか否かを特徴量に基づき判定し、埋め込み情報を埋め込むと判定された所定領域の画像情報に基づき埋め込み情報を生成する埋め込み情報生成ステップと、所定領域に埋め込み情報を埋め込む埋め込みステップと、を有する。
　また、本開示に係る撮像装置は、受光した光に応じて画像情報を出力する撮像部と、被写体からの光を撮像部に導く光学部と、画像情報により画像の所定領域の特徴量を求め、所定領域に埋め込み情報を埋め込むか否かを特徴量に基づき判定し、埋め込み情報を埋め込むと判定された所定領域の画像情報に基づき埋め込み情報を生成する埋め込み情報生成部と、所定領域に埋め込み情報を埋め込む埋め込み部と、埋め込み部により埋め込み情報が埋め込まれた画像情報を記録する記録部と、を備える。
　また、本開示に係る画像処理システムは、画像処理装置と、画像処理装置とネットワークを介して接続される情報処理装置と、を含み、情報処理装置は、画像の所定領域の特徴量に基づき所定領域に埋め込み情報を埋め込むか否かが決定される画像の画像情報を画像処理装置からネットワークを介して取得し、取得した画像情報から埋め込み情報を抽出し、抽出した埋め込み情報に基づき、画像情報に対する改竄の有無を検出し、検出された改竄の有無を示す改竄検出情報を画像情報に付加して画像処理装置に送信する改竄検出部を備え、画像処理装置は、情報処理装置から送信された画像情報に付加される改竄有無情報が改竄が無いことを示している場合に、画像情報に対して画像処理を施し、画像処理が施された画像情報に対して画像改竄防止処理を施し、改竄有無情報に改竄が有ることを示している場合に、画像情報に改竄が有ることを示す情報を付加する画像処理部を備える。
本開示の各実施形態に係る埋め込み情報の埋め込み処理を概略的に説明するための図である。 本開示の各実施形態による効果を説明するための図である。 本開示の各実施形態に適用可能な撮像装置の構成を概略的に示すブロック図である。 各実施形態に適用可能な撮像素子の一例の構成を示すブロック図である。 各実施形態に係る撮像素子を２層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に係る撮像素子を３層構造の積層型ＣＩＳにより形成した例を示す図である。 第１の実施形態に係る撮像素子の機能を説明するための一例の機能ブロック図である。 第１の実施形態に係る埋め込み情報の埋め込み処理を示す一例のフローチャートである。 第１の実施形態に係る、ブロック分割部によるブロック分割処理の例を示す模式図である。 画像を分割した各ブロックにおいて、特徴量が閾値を超えたブロックと、閾値以下のブロックとを模式的に示す図である。 画像が分割された各ブロック５１における埋め込み情報の有無を模式的に示す図である。 第１の実施形態に係る、埋め込み部による特徴量算出を示す模式図である。 第１の実施形態に係る埋め込み情報の生成および埋め込み処理を示す一例のフローチャートである。 第１の実施形態に係る、ブロック内のデータの合計値算出について説明するための模式図である。 第１の実施形態に係る、合計値ｓｕｍの下位２ビットを埋め込み情報として取得した例を模式的に示す図である。 第１の実施形態に係る、埋め込み部が生成する改竄検査情報を含む出力情報の例を示す模式図である。 第１の実施形態の第１の変形例に係る撮像素子の機能を説明するための一例の機能ブロック図である。 第１の実施形態の第１の変形例に係る埋め込み情報の埋め込み処理を示す一例のフローチャートである。 第１の実施形態の第１の変形例に係る、画像に対して物体検出部により物体検出処理を行った結果の例を示す模式図である。 第１の実施形態の第２の変形例に係る撮像素子の機能を説明するための一例の機能ブロック図である。 第１の実施形態の第２の変形例に係る、画像に対して物体検出処理およびブロック分割処理を行った結果の例を示す模式図である。 既存技術による改竄防止技術の問題点について説明するための模式図である。 既存技術による改竄防止技術の問題点について説明するための模式図である。 第２の実施形態に係る、改竄検出および防止を行うための一例の構成を示す図である。 第２の実施形態に係る改竄検出および防止の処理を概略的に示す一例のフローチャートである。 第２の実施形態に係る処理をより詳細に示す一例のフローチャートである。 第２の実施形態に係る、サーバから改竄有無の判定結果を受信したＰＣにおける処理を示す一例のフローチャートである。 第２の実施形態の変形例に係る処理をより詳細に示す一例のフローチャートである。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
　以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の概要
２．本開示の各実施形態に適用可能な構成
３．本開示の第１の実施形態
　３－１．第１の実施形態に係る構成
　３－２．第１の実施形態に係る処理の詳細
　３－３．第１の実施形態の第１の変形例
　３－４．第１の実施形態の第２の変形例
４．本開示の第２の実施形態
　４－１．既存技術について
　４－２．第２の実施形態に係る構成
　４－３．第２の実施形態に係る処理の詳細
　４－４．第２の実施形態の変形例
［１．本開示の概要］
　先ず、本開示の概要について説明する。本開示は、撮像素子により撮像された撮像画像（画像情報）に対して改竄防止用の電子透かし情報を埋め込み情報として埋め込む技術に関する。
　図１は、本開示の各実施形態に係る埋め込み情報の埋め込み処理を概略的に説明するための図である。本開示の各実施形態では、撮像素子１０は、受光された光に応じて画像情報である撮像画像を出力する撮像部（図示しない）と、画像情報に基づき当該画像情報に埋め込むための埋め込み情報を生成する電子透かし生成部２００とを含む。
　より具体的には、撮像素子１０において、被写体３０が撮像部により撮像された撮像画像は、入力部２０１を介して電子透かし生成部２００と埋め込み部２０２とに供給される。電子透かし生成部２００は、撮像画像において埋め込み情報を埋め込む所定領域を、当該所定領域の特徴量に基づき決定する。また、電子透かし生成部２００は、入力部２０１から供給された撮像画像に基づき電子透かし情報としての埋め込み情報を生成する。埋め込み情報と、埋め込み情報を埋め込む所定領域の情報は、埋め込み部２０２に渡される。
　埋め込み部２０２は、電子透かし生成部２００から渡された埋め込み情報と、埋め込み情報を埋め込む所定領域の情報とに基づき、入力部２０１から供給された画像情報に対して埋め込み情報を埋め込む。埋め込み部２０２は、埋め込み情報が埋め込まれた画像情報を、出力情報４０として出力する。
　このように構成された本開示の各実施形態によれば、撮像された画像情報に対する改竄の有無を検出するための埋め込み情報が、撮像素子１０内に撮像部と共に組み込まれているため、画像情報の乗っ取りが防がれる。それと共に、撮像素子１０は、埋め込み情報を埋め込む所定領域を、当該所定領域の特徴量に基づき決定するため、飽和画像などを用いた差分攻撃に対抗することが可能である。
　図２は、本開示の各実施形態による効果を説明するための図である。図２に示される撮像素子１０ａは、被写体３０を撮像した撮像画像の全体を対象として埋め込み情報を埋め込む構成となっている。この場合、飽和画像や、低ゲイン且つノイズが極めて小さい撮像条件で撮像された撮像画像を作成された場合に、差分攻撃などにより埋め込み情報を埋め込んだ位置を容易に解析されてしまうおそれがある。
　そこで、本開示の各実施形態では、図１を用いて説明したように、埋め込み部２０２は、入力部２０１から直接的に埋め込み部２０２に渡された画像情報による画像の所定領域の特徴量に基づき、当該所定領域に埋め込み情報を埋め込むか否かを決定し、埋め込み情報を埋め込むと決定した所定領域以外の部分には、埋め込み情報を埋め込まないようにしている。これにより、差分攻撃に対するリスクを低減することができる。
　本開示に係る画像の改竄防止技術は、例えば、人の人生に影響を与えるような重要な用途の画像、映像に対して適用すると、好ましい。例えば、犯罪などの証拠画像として用い得る監視カメラの撮像画像の改竄防止に適用することが考えられる。また、内視鏡やデジタルレントゲン撮像装置などの医療用の画像を扱う場において、遠隔診療などで電子カルテの画像やユーザＩＤとの関連付けの改竄防止に適用することも考えられる。なお、本開示に係る画像の改竄防止技術の用途は、これらに限定されるものではない。
［２．本開示の各実施形態に適用可能な構成］
　次に、本開示の各実施形態に適用可能な構成について説明する。
　図３は、本開示の各実施形態に適用可能な撮像装置の構成を概略的に示すブロック図である。図３において、撮像装置１は、撮像素子１０と、光学部１１と、記録部１２と、出力部１３と、制御部１４と、を含む。
　撮像素子１０は、受光面が受光した光に応じたアナログ方式の画像信号をデジタル方式の画像データに変換し、当該画像データを画像情報として出力する。光学部１１は、被写体からの光を撮像素子１０の受光面に照射させるために設けられ、１以上のレンズやフォーカス機構、絞り機構などを含む。記録部１２は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記録媒体を適用でき、撮像素子１０から出力された画像情報を記録することができる。
　出力部１３は、撮像素子１０から出力された画像情報を撮像装置１の外部に出力するためのインタフェースである。出力部１３は、ケーブル接続により有線通信で外部機器と接続されてもよいし、無線通信により外部機器と接続されてもよい。また、出力部１３は、インターネットやＬＡＮ(Local　Area　Network)といった外部ネットワークに接続可能とされていてもよい。
　制御部１４は、撮像装置１の全体の動作を制御する。例えば、制御部１４は、ＣＰＵ(Central　Processing　Unit)や、ＲＯＭ(Read　Only　Memory)およびＲＡＭ(Random　Access　Memory)といったメモリを含み、例えばＲＯＭに記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いて、この撮像装置１の全体の動作を制御する。また、制御部１４は、撮像素子１０などを駆動するためのクロックを生成することができる。
　図４は、各実施形態に適用可能な撮像素子１０の一例の構成を示すブロック図である。図４において、撮像素子１０は、画素アレイ部１００と、駆動部１０１と、信号制御部１０２と、改竄防止処理部１０３と、出力Ｉ／Ｆ１０４と、素子制御部１０５と、を含む。
　素子制御部１０５は、例えばプロセッサを含み、制御部１４からの指示に従い、撮像素子１０の全体の動作を制御する。また、素子制御部１０５は、駆動部１０１が画素アレイ部１００を駆動するために用いるクロック信号を生成する。
　画素アレイ部１００は、光電変換により受光した光に応じて電荷を生成する、フォトダイオードなどによる受光素子と、受光素子により生成された電荷を電気信号である画素信号に変換して読み出す読み出し回路とを含む画素回路が行列状の配列で配置された画素アレイを含む。画素アレイ部１００は、さらに、各画素回路から読み出されたアナログ方式の画素信号をデジタル方式の画像データ（画像情報）に変換する変換部を含む。
　駆動部１０１は、素子制御部１０５から供給されるクロック信号に基づき、画素アレイ部１００における露光および読み出し動作を制御する。画素アレイ部１００から出力された画像情報は、信号処理部１０２に渡される。信号処理部１０２は、画素アレイ部１００から渡された画像情報に対して、所定の信号処理を施す。信号処理部１０２は、例えば、画像情報に対してレベル調整処理、ホワイトバランス調整処理などを施す。
　改竄防止処理部１０３は、信号処理部１０２で信号処理を施された画像情報に対して、本開示の各実施形態による改竄防止処理を施す。より具体的には、改竄防止処理部１０３は、画像情報に基づく埋め込み情報の生成、生成した埋め込み情報の画像情報による画像の所定領域への埋め込み、などを行う。
　出力Ｉ／Ｆ１０４は、改竄防止処理部１０３で改竄防止処理を施された画像情報を、撮像素子１０の外部に出力するためのインタフェースである。出力Ｉ／Ｆ１０４としては、例えば例えばＭＩＰＩ(Mobile　Industry　Processor　Interface)を適用することができる。
　撮像素子１０は、撮像素子１０に含まれる各部がＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）を適用することができる。撮像素子１０は、１つの基板上に形成することができる。これに限らず、撮像素子１０を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。なお、撮像素子１０は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
　一例として、撮像素子１０を半導体チップを２層に積層した２層構造の積層型ＣＩＳにより形成することができる。図５Ａは、各実施形態に係る撮像素子１０を２層構造の積層型ＣＩＳにより形成した例を示す図である。図５Ａの構造では、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０２０ｂを形成している。
　画素部２０２０ａは、少なくとも撮像素子１０における画素アレイ部１００を含む。メモリ＋ロジック部２０２０ｂは、例えば、駆動部１０１と、信号制御部１０２と、改竄防止処理部１０３と、出力Ｉ／Ｆ１０４と、素子制御部１０５と、を含むことができる。メモリ＋ロジック部２０２０ｂに、さらに、画像情報を記憶するメモリを含ませることもできる。
　図５Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像素子１０を１つの固体撮像素子として構成する。
　別の例として、撮像素子１０を、半導体チップを３層に積層した３層構造により形成することができる。図５Ｂは、各実施形態に係る撮像素子１０を３層構造の積層型ＣＩＳにより形成した例を示す図である。図５Ｂの構造では、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ部２０２０ｃを形成し、第３層の半導体チップにロジック部２０２０ｄを形成している。この場合、ロジック部２０２０ｄは、例えば、駆動部１０１と、信号制御部１０２と、改竄防止処理部１０３と、出力Ｉ／Ｆ１０４と、素子制御部１０５と、を含むことができる。また、メモリ部２０２０ｃは、画像情報を記憶するメモリを含ませることができる。
　図５Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像素子１０を１つの固体撮像素子として構成する。
［３．本開示の第１の実施形態］
（３－１．第１の実施形態に係る構成）
　次に、本開示の第１の実施形態について説明する。図６は、第１の実施形態に係る撮像素子１０の機能を説明するための一例の機能ブロック図である。なお、図６では、図４に示した構成のうち、駆動部１０１、信号処理部１０２、出力Ｉ／Ｆ１０４および素子制御部１０５は、第１の実施形態に係る処理に対する関わりが薄いため、煩雑さを避けるために省略している。
　図６において、改竄防止処理部１０３は、ブロック分割部１０３０と、埋め込み情報生成部１０３１と、埋め込み部１０３２と、を含む。これらブロック分割部１０３０、埋め込み情報生成部１０３１および埋め込み部１０３２は、例えば撮像素子１０が有するプロセッサ上で所定のプログラムが実行されることで実現される。これに限らず、これらブロック分割部１０３０、埋め込み情報生成部１０３１および埋め込み部１０３２の一部または全部を、互いに協働して動作するハードウェア回路により実現してもよい。
　ブロック分割部１０３０は、図１の入力部２０１に対応し、画素アレイ部１００から供給される画像情報による画像を、それぞれ複数の画素を含むブロックに分割する。ブロック分割部１０３０で画像が分割されたブロックは、それぞれ埋め込み部１０３２と埋め込み情報生成部１０３１とに渡される。
　埋め込み情報生成部１０３１は、図１の電子透かし生成部２００に対応し、ブロック分割部１０３０から渡された各ブロックのうち、埋め込み情報を埋め込むブロックを選択する。埋め込み部１０３２は、各ブロックに含まれる各画素の画素値に基づき、各ブロックのそれぞれについて特徴量を求め、求めた各特徴量に基づき、各ブロックそれぞれについて埋め込み情報を埋め込むか否かを判定する。
　埋め込み情報生成部１０３１が埋め込み情報を埋め込むか否かの判定に用いる特徴量としては、ブロックに含まれる画素の画素値の散布度を適用することができる。散布度としては、分散値、標準偏差値、レンジ、などを用いることができる。これに限らず、特徴量として平均値を用いることもできる。また、最大出力値に対する相対値を用いてもよい。
　埋め込み情報生成部１０３１は、求めた特徴量を閾値と比較して閾値判定を行う。埋め込み情報生成部１０３１は、ブロック分割部１０３０から渡された各ブロックのうち、求めた散布度が閾値を超えるブロックを、埋め込み情報を埋め込むブロックとして決定する。閾値は、改竄を防止したいユースケースに応じて最適化することが好ましい。
　このように、埋め込み情報生成部１０３１が、特徴量が閾値を超えるブロックを埋め込み情報を埋め込むブロックとし、特徴量が閾値以下のブロックを埋め込み情報を埋め込まないブロックとすることで、画像の平坦部分に埋め込み情報が埋め込まれることが避けられ、差分攻撃に対する耐性を高めることができる。
　また、埋め込み情報生成部１０３１は、ブロック分割部１０３０から渡された各ブロックに基づき、埋め込み情報を生成する。埋め込み情報生成部１０３１は、画素アレイ部１００から出力された画像情報に基づき、当該画像情報を識別可能な情報を、埋め込み情報として生成する。
　例えば、埋め込み情報生成部１０３１は、各ブロックに含まれる画素の画素値に基づき、ＣＲＣ(Cyclic　Redundancy　Check)値やハッシュ値、画素値の合計値などを生成し、生成した値を用いて埋め込み情報を生成することができる。この場合、例えば各画素の画素データのビット長がｍビットである場合、最上位ビットから例えば（ｍ－１）ビットまでの値を用いて埋め込み情報を生成するようにできる。これは、後述する埋め込み情報の埋め込み処理において、例えば最下位ビットのビット位置に埋め込み情報を埋め込む場合に対応する処理である。
　これに限らず、埋め込み情報生成部１０３１は、撮像素子１０自体を識別する撮像素子ＩＤや、外部から取り込んだ撮像時間および撮像場所を示す情報、埋め込み情報生成部１０３１を実現するためのプログラムを識別するプログラムＩＤといった付帯情報を、埋め込み情報に含めることもできる。埋め込み情報生成部１０３１により生成された埋め込み情報は、埋め込み部１０３２に渡される。
　埋め込み部１０３２は、埋め込み情報生成部１０３１により埋め込み情報を埋め込むと決定されたブロックに対して、埋め込み情報生成部１０３１により生成された埋め込み情報を埋め込む。このとき、埋め込み部１０３２は、当該ブロックに含まれる複数の画素のうち、予め定められた位置の画素（特定画素と呼ぶ）に、埋め込み情報を埋め込む。また、埋め込み部１０３２は、埋め込み情報を、特定画素の最下位ビットに埋め込む。これに限らず、埋め込み部１０３２は、画像に影響を与えない程度に、最下位ビットから複数ビット（例えば２ビット）に埋め込み情報を埋め込むようにもできる。
（３－２．第１の実施形態に係る処理の詳細）
　次に、第１の実施形態に係る処理について、図７～図１５を用いてより詳細に説明する。図７は、第１の実施形態に係る埋め込み情報の埋め込み処理を示す一例のフローチャートである。ステップＳ１００で、改竄防止処理部１０３は、ブロック分割部１０３０により、画素アレイ部１００から供給された画像情報による画像をブロックに分割する。
　図８は、第１の実施形態に係る、ブロック分割部１０３０によるブロック分割処理の例を示す模式図である。図８の例では、画像情報による画像５０を、４画素×４画素の１６の画素６０からなるブロック５１に分割している。なお、画素６０ｅｍは、埋め込み情報を埋め込むために予め定められた画素を示している。以下、埋め込み情報を埋め込むために予め定められた画素６０ｅｍを、適宜、特定画素６０ｅｍと呼ぶ。この図の例では、各ブロック５１は、それぞれ２個の特定画素６０ｅｍを含んでいる。分割されたブロック５１のそれぞれは、埋め込み部１０３２と埋め込み情報生成部１０３１とに渡される。
　次に、図７のステップＳ１０１で、改竄防止処理部１０３は、埋め込み情報生成部１０３１により、各ブロック５１の特徴量を算出する。
　図１０は、第１の実施形態に係る、埋め込み情報生成１０３１による特徴量算出を示す模式図である。図の左端は、ブロック５１内での画素位置（ｘ，ｙ）を示し、特定画素６０ｅｍ（図示しない）を含む各画素６０は、行について右方向から左方向に向けて、さらに、各行の上から下に向けて、データｄａｔａ＿１、データｄａｔａ＿２、データｄａｔａ＿３、…、データｄａｔａ＿ｘ、…、データｄａｔａ＿Ｎ－１、データｄａｔａ＿Ｎとされている。なお、この例では、Ｎ＝１６となる。
　図において、各データｄａｔａ＿１～ｄａｔａ＿Ｎは、それぞれｍビットのデータ長を有している。埋め込み情報生成部１０３１は、各データｄａｔａ＿１～ｄａｔａ＿Ｎの最上位ビット（ＭＳＢ）から（ｍ－１）ビットまでの値［ｍ－１：１］に基づき、特徴量を算出する。この例では、説明のため、特徴量をレンジにより算出するものとし、埋め込み情報生成部１０３１は、ブロック５１に含まれる各画素６０の値［ｍ－１：１］に基づき、最大の値［ｍ－１：１］と最小の値［ｍ－１：１］との差分を、特徴量として算出する。
　次に、図７のステップＳ１０２で、改竄防止処理部１０３は、埋め込み情報生成部１０３１により、ステップＳ１０１で求めた特徴量と閾値とを比較し、当該特徴量が閾値を超えているか否かを判定する。当該特徴量が閾値を超えているブロック５１が、埋め込み情報を埋め込む対象のブロック５１とされる。改竄防止処理部１０３は、埋め込み情報生成部１０３１により特徴量が閾値以下であると判定した場合（ステップＳ１０２、「Ｎｏ」）、処理をステップＳ１０５に移行させる。一方、改竄防止処理部１０３は、埋め込み情報生成部１０３１により特徴量が閾値を超えていると判定した場合（ステップＳ１０２、「Ｙｅｓ」）、処理をステップＳ１０３に移行させる。
　図９は、画像５０を分割した各ブロック５１において、特徴量が閾値を超えたブロック５１ａと、閾値以下のブロック５１ｂとを模式的に示す図である。図９の例では、画像５０は、平坦な背景に対し、オブジェクト５３ａ、５３ｂ、５３ｃ、５３ｄおよび５３ｅが含まれている。この例では、オブジェクト５３ａ～５３ｅの少なくとも一部が含まれるブロック５１ａは、特徴量が閾値を超え、埋め込み情報を埋め込む対象のブロックとされる。一方、オブジェクト５３ａ～５３ｅを全く含まないブロック５１ｂは、特徴量が閾値以下となり、埋め込み情報を埋め込む対象のブロックとはならない。
　図７のステップＳ１０３で、改竄防止処理部１０３は、埋め込み情報生成部１０３１により、埋め込み情報の埋め込み対象のブロック５１ａ内の画素情報に基づき埋め込み情報を生成する。埋め込み情報生成部１０３１は、埋め込み対象のブロック５１ａを示す情報と、生成した埋め込み情報とを、埋め込み部１０３２に渡す。次のステップＳ１０４で、改竄防止処理部１０３は、埋め込み部１０３２により、ステップＳ１０３で生成した埋め込み情報を、特定画素６０ｅｍの所定位置に埋め込む。なお、埋め込み情報の埋め込み対象とならないブロック５１ｂについては、処理がスキップされる。
　図１１～図１４を用いて、図７のフローチャートにおけるステップＳ１０３およびステップＳ１０４の、埋め込み情報の生成処理と、埋め込み情報の特定画素６０ｅｍへの埋め込み処理について、具体的に説明する。
　図１１は、第１の実施形態に係る埋め込み情報の生成および埋め込み処理を示す一例のフローチャートである。ここでは、ブロック５１ａに含まれる各画素６０（特定画素６０ｅｍを含む）の画素値の合計値に基づき、埋め込み情報を生成する場合について説明を行う。
　ステップＳ１２０で、改竄防止処理部１０３は、埋め込み情報生成部１０３１により、対象のブロック５１ａ内のデータの合計値を算出する。図１２は、第１の実施形態に係る、ブロック５１ａ内のデータの合計値算出について説明するための模式図である。なお、図１２において、セクション（ａ）の各部の意味は、上述した図１０の各部と同様であるので、ここでの説明を省略する。
　図１２のセクション（ａ）に示すように、埋め込み情報生成部１０３１は、ブロック５１ａ内の特定画素６０ｅｍを含む各画素６０について、それぞれビット長がｍビットの各データｄａｔａ＿１～ｄａｔａ＿Ｎの値の合計値ｓｕｍを算出する。このとき、特定画素６０ｅｍについては、埋め込み情報を埋め込むビット位置（この例では最下位ビット）の値を「０」として、合計値ｓｕｍを算出する。図１２のセクション（ｂ）は、埋め込み情報生成部１０３１により算出された合計値ｓｕｍ（図ではｓｕｍ値と記述）を模式的に示す図である。合計値ｓｕｍは、合計する各データｄａｔａ＿１～ｄａｔａ＿Ｎの値によっては、各データｄａｔａ＿１～ｄａｔａ＿Ｎのビット長のｍビットより長いビット長となる場合がある。
　図１１のステップＳ１２１で、改竄防止処理部１０３は、埋め込み情報生成部１０３１により、図１３に模式的に示されるように、合計値ｓｕｍの下位２ビットを埋め込み情報として取得する。図１３は、第１の実施形態に係る、合計値ｓｕｍの下位２ビットを埋め込み情報として取得した例を模式的に示す図である。埋め込み情報生成部１０３１は、取得した埋め込み情報と、当該埋め込み情報を取得したブロック５１ａを示す情報とを、埋め込み部１０３２に渡す。
　図１１のステップＳ１２２で、改竄防止処理部１０３は、埋め込み部１０３２により、特定画素６０ｅｍの所定位置としての下位ビットに、埋め込み情報を埋め込む。図１４は、第１の実施形態に係る、特定画素６０ｅｍの下位ビットに埋め込み情報を埋め込んだ状態を模式的に示す図である。
　この例では、特定画素６０ｅｍの最下位ビットに、埋め込み情報の１ビットが埋め込まれている。例えば、ブロック５１ａに２つの特定画素６０ｅｍが設定されている場合、当該ブロック５１ａには、２ビットの埋め込み情報を埋め込むことができる。ステップＳ１２１で、合計値ｓｕｍの下位２ビットを埋め込み情報として取得したのは、このためである。
　なお、ここでは、埋め込み情報として合計値ｓｕｍの下位２ビットを取得しているが、これはこの例に限らず、合計値ｓｕｍの下位２ビット以上、例えば下位３ビット、あるいは下位４ビットを埋め込み情報として取得してもよい。
　また、ここでは、対象のブロック５１ａから取得された埋め込み情報を、当該対象のブロック５１ａに埋め込むようにしているが、これはこの例に限られない。すなわち、あるブロック５１ａから取得した埋め込み情報を、当該ブロック５１ａとは異なる別のブロック５１ａの特定画素６０ｅｍに埋め込むようにしてもよい。こうすることで、改竄防止をより強固にすることができる。
　説明は図７に戻り、図７のステップＳ１０３およびステップＳ１０４で、図１１～図１４を用いて説明したようにして、埋め込み情報の取得、特定画素６０ｅｍへの埋め込みが行われると、処理はステップＳ１０５に移行される。ステップＳ１０５で、改竄防止処理部１０３は、ステップＳ１０１～ステップＳ１０４で処理したブロック５１が画像５０において処理された最後のブロックであるか否かを判定する。改竄防止処理部１０３は、最後のブロックではないと判定した場合（ステップＳ１０５、「Ｎｏ」）、処理をステップＳ１０１に戻し、画像５０における次のブロック５１の処理を実行する。一方、改竄防止処理部１０３は、最後のブロックであると判定した場合（ステップＳ１０５、「Ｙｅｓ」）、図７のフローチャートによる一連の処理を終了させる。
　改竄防止処理部１０３は、図７のフローチャートによる処理が終了すると、埋め込み部１０３２により、埋め込み情報に関する情報を生成して画像５０の画像情報に付加し、出力情報を生成する。例えば、当該画像５０を利用する際に、この情報を用いて埋め込み情報を復元し、当該画像５０が改竄されているか否かを検査する。以下、この、画像情報に付加する埋め込み情報に関する情報を、改竄検査情報と呼ぶ。
　図１５は、第１の実施形態に係る、埋め込み部１０３２が出力する、改竄検査情報を含む出力情報５００の例を示す模式図である。
　図１５の左側は、出力情報５００に含まれる、改竄検査情報５１０と、埋め込み情報としての改竄防止コード５２０の例を示し、図１５の中央部は、改竄検査情報５１０の一部が暗号化された、暗号化改竄検査情報５１０ａの例を示している。図１５の右側は、暗号化改竄検査情報５１０ａと、改竄防止コード５２０とが画像５０に付加された出力情報５００の例を示している。図１５の例では、暗号化改竄検査情報５１０ａは、ヘッダ情報５２として画像５０に付加されている。なお、図１５の左側および中央部において、画像５０そのものについては、省略されている。
　図１５の例では、改竄検査情報５１０は、処理方法と、処理に用いる画素およびビット情報と、特定画素の位置情報と、閾値情報と、分割ブロック情報と、を含む。
　処理方法は、図７のステップＳ１０３において埋め込み情報を生成するために用いた処理方法（ＣＲＣ値、ハッシュ値、合計値、特徴量を求める方法、など）を示す。処理に用いる画素およびビット情報は、埋め込み情報を生成するために用いた画素と、その画素の画素値のうち処理に用いたビットの情報を示す。例えば、ブロック５１内の画素全てを用い、各画素のｍビットの画素値の（ｍ－１）ビットまでの値を用いた、などである。特定画素の位置情報は、画像５０に配置される、埋め込み情報を埋め込むための特定画素６０ｅｍの画像５０における位置情報を示す。このように、特定画素の位置情報を改竄検査情報５１０に含めることで、特定画素６０ｅｍに位置を、画像５０毎に異ならせることができる。
　なお、処理方法と、処理に用いる画素およびビット情報と、特定画素の位置情報と、において、各画像５０に対してデフォルトの情報に固定的とされている場合は、その情報を省略することができる。固定的とされている情報については、省略することで、暗号化の処理時間を短縮あるいは削除できる。
　改竄検査情報５１０において、閾値情報は、図７のフローチャートにおけるステップＳ１０２で特徴量と比較するための閾値を示す。分割ブロック情報は、図７のフローチャートにおけるステップＳ１００で画像５０を分割したブロック５１に関する情報であり、例えばブロックのサイズ（４画素×４画素など）を示す。後述する第１の実施形態の変形例においては、この分割ブロック情報の代わりに、物体検出がなされた画像５０上の位置を示す情報が示される。
　撮像場所は、当該画像５０が撮像された場所を示す情報（例えば緯度、経度、高度情報）を示す。
　このように、改竄検査情報５１０は、画像から埋め込み情報を抽出するために用いる抽出情報であるといえる。
　第１の実施形態では、改竄検査情報５１０の一部または全部を暗号化して、出力情報に含ませる。改竄防止処理部１０３は、例えば埋め込み部１０３２により、公開鍵を用いて改竄検査情報５１０の一部または全部を暗号化する。図１５の例では、改竄検査情報５１０のうち、処理方法と、処理に用いる画素およびビット情報と、特定画素の位置情報とが公開鍵を用いて暗号化される。これはこの例に限定されず、改竄検査情報５１０に含まれるさらに他の情報も併せて暗号化してもよい。
　暗号化改竄検査情報５１０ａは、例えばヘッダ情報５２として画像５０に付加される。
　一方、改竄防止コード５２０は、図７～図１４を用いて説明したようにして、画像５０に埋め込まれる。なお、画像５０が撮像された場所を示す撮像場所情報、および、撮像された日時を示す撮像日時情報は、所定の方法で画像５０に埋め込んでもよいし、画像５０のヘッダ情報５２あるいはフッタ情報（図示しない）に格納してもよい。
　このように、第１の実施形態では、所定領域としての、撮像された画像５０を分割したブロック５１毎に、ブロック５１の特徴量に基づき埋め込み情報を埋め込むか否かを判定している。そのため、飽和画像などを用いた差分攻撃に対して強い耐性を持たせることができる。また、第１の実施形態では、埋め込み情報は、埋め込み情報を埋め込む対象のブロック５１ａの画像（画素値）に基づき生成される。そのため、改竄が検出された場合に、画像５０のどの部分が改竄されたかを容易に識別できる。さらに、第１の実施形態では、画像５０から埋め込み情報を抽出、復元するための情報を、公開鍵を用いて暗号化して画像５０に付加して出力情報５００を生成している。そのため、画像５０に埋め込まれた埋め込み情報の解析を、極めて困難とさせることができる。
（３－３．第１の実施形態の第１の変形例）
　次に、第１の実施形態の第１の変形例について説明する。上述の第１の実施形態では、埋め込み情報を埋め込むか否かを判定する所定領域を、画像５０を分割したブロック５１としていた。これに対して、第１の実施形態の変形例では、画像５０に対して物体検出を行い、検出された物体に対応する領域を当該所定領域として、この所定領域における特徴量に基づき埋め込み情報を埋め込むか否かを判定する。
　図１６は、第１の実施形態の変形例に係る撮像素子の機能を説明するための一例の機能ブロック図である。図１６に示す構成は、第１の実施形態に係る図６の構成に対して、ブロック分割部１０３０の代わりに物体検出部１０３３が設けられている。
　物体検出部１０３３は、画素アレイ部１００から供給された画像情報に基づき、当該画像情報による画像に含まれるオブジェクトを検出する。物体検出部１０３３によるオブジェクトの検出は、予め用意された所定のオブジェクト画像に対するパターンマッチングにより行ってもよいし、所定のオブジェクト画像を教師データとして機械学習により学習したモデルを用いて行ってもよい。また、物体検出部１０３３によるオブジェクトの検出は、顔認識であってもよい。
　物体検出部１０３３は、画像内での検出された物体を含む物体検出領域を示す情報を、画像と共に、埋め込み情報生成部１０３１ａと埋め込み部１０３２ａとに渡す。このとき、物体検出領域としては、検出された物体を含む最小矩形領域を用いてもよいし、当該最小矩形領域に対して所定のマージンを持たせた矩形領域としてもよい。また、物体検出部１０３３は、検出したオブジェクトの確からしさを示す物体検出値を、埋め込み情報生成部１０３１ａに渡す。
　埋め込み情報生成部１０３１ａは、物体検出部１０３３から渡された物体検出値に対して閾値判定を行い、物体検出値が閾値を超える物体検出領域の画素情報に基づき埋め込み情報を生成する。埋め込み情報生成部１０３１ａは、当該物体検出領域を示す情報と、対応する埋め込み情報とを埋め込み部１０３２ａに渡す。
　埋め込み部１０３２ａは、物体検出部１０３３から渡された画像、および、物体検出領域を示す情報と、埋め込み情報生成部１０３１ａから渡された物体検出領域を示す情報、および、対応する埋め込み情報と、に基づき、物体検出領域内の特定画素の所定位置に、埋め込み情報を埋め込む。ここで、物体検出領域内の特定画素の位置は、例えば矩形領域である物体検出領域の上下端および左右端に対する相対的な画素位置として、予め決めておくことができる。
　図１７は、第１の実施形態の第１の変形例に係る埋め込み情報の埋め込み処理を示す一例のフローチャートである。
　ステップＳ１４０で、改竄防止処理部１０３は、物体検出部１０３３により、画素アレイ部１００から供給された画像情報による画像に含まれるオブジェクトを検出する物体検出処理を行う。図１８は、第１の実施形態の第１の変形例に係る、画像に対して物体検出部１０３３により物体検出処理を行った結果の例を示す模式図である。図１８の例では、画像５０に対して、オブジェクト５３ａ、５３ｂ、５３ｃ、５３ｄおよび５３ｅが検出された様子が示されている。
　次のステップＳ１４１で、改竄防止処理部１０３は、物体検出部１０３３により、ステップＳ１４０で検出されたオブジェクトの一つについて、確からしさを示す物体検出値が閾値を超えているか否かを判定する。改竄防止処理部１０３は、物体検出値が閾値以下であると判定した場合（ステップＳ１４１、「Ｎｏ」）、処理をステップＳ１４４に移行させる。
　一方、改竄防止処理部１０３は、物体検出値が閾値を超えていると判定した場合（ステップＳ１４１、「Ｙｅｓ」）、処理をステップＳ１４２に移行させる。図１８の例では、物体検出領域を塗り潰しにより示すオブジェクト５３ｂ、５３ｃおよび５３ｄが物体検出値が閾値を超えたオブジェクト、オブジェクト５３ａおよび５３ｅが物体検出値が閾値以下のオブジェクトをそれぞれ示している。
　ステップＳ１４２で、埋め込み情報生成部１０３１ａは、物体検出値が閾値を超えたオブジェクトを含む物体検出領域内の画素情報（画素値）に基づき、埋め込み情報を生成する。ここでの埋め込み情報の生成は、上述した図７のフローチャートのステップＳ１０３において説明した方法を適用できる。
　次のステップＳ１４３で、改竄防止処理部１０３は、埋め込み部１０３２により、ステップＳ１４２で生成した埋め込み情報を、物体検出領域内の特定画素の所定位置に埋め込む。なお、埋め込み情報の埋め込み対象とならない物体検出領域（物体検出値が閾値以下のオブジェクトを含む物体検出領域）については、処理がスキップされる。
　次のステップＳ１４４で、改竄防止処理部１０３は、ステップＳ１４１～ステップＳ１４３で処理した物体検出領域が画像５０において処理された最後の物体検出領域であるか否かを判定する。改竄防止処理部１０３は、最後の物体検出領域ではないと判定した場合（ステップＳ１４４、「Ｎｏ」）、処理をステップＳ１４１に戻し、画像５０における次の物体検出領域の処理を実行する。一方、改竄防止処理部１０３は、最後の物体検出領域であると判定した場合（ステップＳ１４４、「Ｙｅｓ」）、図１７のフローチャートによる一連の処理を終了させる。
　このように、物体検出値が閾値を超えたオブジェクトを含む物体検出領域を、埋め込み情報の生成および埋め込みの対象領域とすることで、埋め込み情報の生成および埋め込みの対象領域が絞られるため、改竄された箇所をより容易に特定可能である。
　なお、上述したステップＳ１４１では、物体検出値を閾値と比較することにより、その物体検出領域を埋め込み情報の生成および埋め込み対象の領域とするか否かを判定しているが、これはこの例に限定されない。例えば、検出したオブジェクトの種類（人、車両、雲、鳥、など）に応じて、埋め込み対象の領域とするか否かを判定することもできる。
（３－４．第１の実施形態の第２の変形例）
　次に、第１の実施形態の第２の変形例について説明する。第１の実施形態の第２の変形例は、上述した第１の実施形態と、第１の実施形態の第１の変形例とを組み合わせたものである。すなわち、第１の実施形態の第２の変形例では、画素アレイ部１００から供給された画像をブロック５１に分割すると共に、当該画像に対して物体検出を行い、各ブロック５１のうち、物体検出値が閾値を超える物体検出領域の少なくとも一部を含むブロック５１を、埋め込み情報の埋め込み対象のブロック５１とする。
　図１９は、第１の実施形態の第２の変形例に係る撮像素子の機能を説明するための一例の機能ブロック図である。図１９に示す構成は、第１の実施形態に係る図６の構成に対して、ブロック分割部１０３０の代わりに物体検出・ブロック分割部１０３４が設けられている。
　物体検出・ブロック分割部１０３４は、画素アレイ部１００から供給された画像情報に基づき、当該画像情報による画像をブロック５１に分割すると共に、当該画像５０に含まれるオブジェクトを検出する。オブジェクトの検出方法などは、上述した第１の実施形態の第１の変形例による方法をそのまま適用できるので、ここでの説明を省略する。
　物体検出・ブロック分割部１０３４は、画像内での検出された物体を含む物体検出領域を示す情報と、各ブロック５１の画像とを、埋め込み情報生成部１０３１ｂと埋め込み部１０３２ｂとに渡す。また、物体検出。ブロック分割部１０３４は、埋め込み情報生成部１０３１ｂに対して、物体検出領域に対応する物体検出値も渡す。
　埋め込み情報生成部１０３１ｂは、物体検出部１０３３から渡された物体検出値に対して閾値判定を行い、物体検出値が閾値を超える物体検出領域を抽出する。そして、埋め込み情報生成部１０３１ｂは、画像を分割した各ブロック５１のうち、抽出された物体検出領域の少なくとも一部を含むブロック５１を抽出する。
　図２０は、画像に対して物体検出処理およびブロック分割処理を行った結果の例を示す模式図である。図２０の例では、画像５０に対して、オブジェクト５３ａ、５３ｂ、５３ｃ、５３ｄおよび５３ｅが検出された様子が示されている。また、図２０において、オブジェクト５３ｂ、５３ｃおよび５３ｄが物体検出値が閾値を超えたオブジェクト、オブジェクト５３ａおよび５３ｅが物体検出値が閾値以下のオブジェクトをそれぞれ示している。
　また、図２０において、画像５０が分割された各ブロック５１のうち、ブロック５１ａは、物体検出値が閾値を超えた各オブジェクト５３ｂ、５３ｃおよび５３ｄの少なくとも一部を含むブロックである。ブロック５１ｂは、オブジェクトが物体検出領域を全く含まないブロックである。埋め込み情報生成部１０３１ｂは、例えば、この物体検出値が閾値を超えた各オブジェクト５３ｂ、５３ｃおよび５３ｄの少なくとも一部を含むブロック５１ａに含まれる各画素の画素値に基づき、埋め込み情報を生成する。
　埋め込み情報生成部１０３１ｂは、ブロック５１ａを示す情報と、ブロック５１ａに対応する埋め込み情報とを埋め込み部１０３２ｂに渡す。
　埋め込み部１０３２ａは、物体検出・ブロック分割部１０３４から渡された画像と、埋め込み情報の埋め込み対象である各ブロック５１ａの情報と、各ブロック５１ａそれぞれに対応する埋め込み情報と、に基づき、各ブロック５１ａの特定画素の所定位置に、埋め込み情報を埋め込む。
　このように、第１の実施形態の第２の変形例によれば、物体検出による物体検出領域の少なくとも一部を含むブロック５１ａを、埋め込み情報の埋め込み対象のブロックとしているため、上述した第１の実施形態の第１の変形例と同様に、改竄された箇所を容易に特定可能である。また、上述した第１の実施形態の第１の変形例と比較して埋め込み情報を埋め込み可能な領域を大きく取ることができ、よりデータ量の多い埋め込み情報の埋め込みが可能である。
［４．本開示の第２の実施形態］
　次に、本開示の第２の実施形態について説明する。本開示の第２の実施形態は、上述した第１の実施形態またはその各変形例により埋め込み情報を埋め込んだ出力情報５００に含まれる画像を利用する場合の例である。第２の実施形態では、当該出力情報５００から埋め込み情報を抽出し、抽出された埋め込み情報に基づき当該画像に対する改竄の有無を検出する。
（４－１．既存技術について）
　第２の実施形態の説明に先んじて、理解を容易とするために、改竄防止に関する既存技術について、概略的に説明する。図２１Ａおよび図２１Ｂは、既存技術による改竄防止技術の問題点について説明するための模式図である。
　図２１Ａは、差分攻撃により改竄防止方法を解析されてしまう例を模式的に示している。撮像装置１０００は、電子透かし処理８００により、撮像した撮像画像に対して、改竄防止のための電子透かし情報を埋め込んで、出力情報を生成する。この出力情報は、例えば、パーソナルコンピュータ（ＰＣ）といった情報処理装置／画像処理装置に搭載される画像処理ソフトウェア７００ａに入力される。
　画像処理ソフトウェア７００ａは、改竄防止処理８０１ａにより、例えば入力された出力情報から電子透かし情報を抽出し、抽出した電子透かし情報と、予め入手した電子透かし情報とを比較する。画像処理ソフトウェア７００ａは、両者が一致すれば、当該出力情報（画像）は改竄されていないとして、当該ＰＣから出力する。当該ＰＣから出力された出力情報は、例えば、他のＰＣに伝送され、画像処理ソフトウェア７００ｂにより、同様にして改竄防止処理８０１ｂが施される。
　このような構成において、画像処理ソフトウェア７００ａに対して、飽和画像や、低ノイズ、低ゲインの状態で撮像された画像が入力された場合、差分攻撃８０２により入力画像と出力画像とを比較することで、電子透かし情報を埋め込んだ位置および埋め込まれた電子透かし情報が解析されてしまうおそれがある。
　図２１Ｂは、乗っ取りにより改竄防止処理を突破されてしまう例を模式的に示している。この図２１Ｂの例では、画像処理ソフトウェア７００ａに対して、撮像装置１０００で撮像された画像ではなく、改竄された入力画像８０３が入力されている。このように、画像処理ソフトウェア７００ａに入力される入力画像８０３が乗っ取られた画像である場合、画像処理ソフトウェア７００ａから出力された出力画像に改竄が無いことを証明できない。
（４－２．第２の実施形態に係る構成）
　図２２は、第２の実施形態に係る、改竄検出および防止を行うための一例の構成を示す図である。
　入力画像が画像処理装置としての例えばＰＣ（パーソナルコンピュータ）２０に入力される。この入力画像は、図１５を用いて説明した出力画像５００と同様の構成を有し、ヘッダ情報５２として暗号化改竄検査情報５１０ａが付加されるデータである。ＰＣ２０は、第２の実施形態に係る機能を有する画像処理ソフトウェア７０が搭載される。ＰＣ２０は、例えばインターネットやＬＡＮ(Local　Area　Network)といったネットワーク２１を介して情報処理装置としてのサーバ２２と通信が可能となっている。サーバ２２は、第２の実施形態に係る改竄検査を行う改竄検査ソフトウェア９０が搭載される。
　図２３は、第２の実施形態に係る改竄検出および防止の処理を概略的に示す一例のフローチャートである。図２３のフローチャートによる処理に先立って、ＰＣ２０は、画像処理ソフトウェア７０により、入力画像をネットワーク２１を介してサーバ２２に送信する。
　サーバ２２は、改竄検査ソフトウェア９０により、入力画像に含まれる暗号化改竄検査情報５１０ａを秘密鍵を用いて復号する。サーバ２２は、改竄検査ソフトウェア９０により、暗号化改竄検査情報５１０ａが復号された改竄検査情報５１０に基づき、出力画像５００の改竄の有無を確認する（ステップＳ２００）。
　サーバ２２は、改竄検査ソフトウェア９０による改竄有無の確認結果を、ネットワーク２１を介してＰＣ２０に送信する。この改竄有無の確認結果は、ＰＣ２０において画像処理ソフトウェア７０に取得される。ＰＣ２０は、ステップＳ２０１で、画像処理ソフトウェア７０により、取得した改竄有無の確認結果が改竄有りを示しているか否かを判定する。ＰＣ２０は、画像処理ソフトウェア７０により、当該確認結果が改竄が無いことを示していると判定した場合（ステップＳ２０１、「無し」）、処理をステップＳ２０２に移行させる。
　ステップＳ２０２で、ＰＣ２０は、画像処理ソフトウェア７０により、当該確認結果に対応する入力画像に対して、画像加工処理（１）を実行することができる。ここで、画像加工処理（１）は、その処理そのものが入力画像に対する改竄に当たらない処理を実行する。このような処理としては、画像に対するコントラスト補正、ホワイトバランス調整、画像フォーマットの変換などが考えられる。
　次のステップＳ２０４で、ＰＣ２０は、画像処理ソフトウェア７０により、当該入力画像に対して、外部装置による改竄を防止するための改竄防止処理を施す。ここでの改竄防止処理としては、上述した第１の実施形態またはその各変形例による埋め込み情報の生成および埋め込み処理を適用できる。ステップＳ２０４の処理の後、この図２３のフローチャートによる一連の処理が終了される。
　一方、ＰＣ２０は、画像処理ソフトウェア７０により、当該確認結果が改竄が有ることを示していると判定した場合（ステップＳ２０１、「有り」）、処理をステップＳ２０３に移行させる。ステップＳ２０３では、画像処理ソフトウェア７０により、当該確認結果に対応する入力画像に対して、画像加工処理（２）を実行することができる。この場合、当該入力画像は、既に改竄されているので、画像加工処理（２）として任意の処理を実行できる。画像処理ソフトウェア７０は、画像加工処理（２）が施された画像に対しては、改竄防止処理を施さない。
（４－３．第２の実施形態に係る処理の詳細）
　次に、第２の実施形態に係る処理について、より詳細に説明する。図２４は、第２の実施形態に係る処理をより詳細に示す一例のフローチャートである。図２４のフローチャートは、上述した図２３のフローチャートにおけるステップＳ２００の処理をより詳細に示している。
　図２４のフローチャートにおいて、ステップＳ２３０で、ＰＣ２０は、入力画像をサーバ２０に送信する。この入力画像は、図１５を用いて説明した、暗号化改竄検査情報５１０ａがヘッダ情報５２として付加されている。
　サーバ２２は、ＰＣ２０から送信された入力画像を受信する（ステップＳ２３１）。ステップＳ２４０で、サーバ２２は、改竄検査ソフトウェア９０により、受信した入力画像のヘッダ情報５２を秘密鍵で復号して改竄検査情報５１０を復元する。そして、改竄検査ソフトウェア９０は、改竄検査情報５１０に含まれる処理情報、例えば処理方法と、処理に用いる画素およびビット情報と、特定画素の位置情報と、を取得する。
　次のステップＳ２４１で、サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２４０で取得した処理情報に従い、ステップＳ２３１で受信した入力画像に対して埋め込み情報を生成する処理を行う。これは、すなわち、撮像装置１の改竄防止処理部１０３において実行される埋め込み情報生成処理と同一の処理となる。
　次のステップＳ２４２で、サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２３１でＰＣ２０から受信した入力画像から、ステップＳ２４０で取得した処理情報に基づき、当該入力画像に埋め込まれた埋め込み情報を取得する。
　次のステップＳ２４３で、サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２４１で生成した埋め込み情報と、ステップＳ２４２で入力画像から取得した埋め込み情報とを比較し、生成した埋め込み情報と取得した埋め込み情報とが同一であるか否かを判定する。サーバ２２は、改竄検査ソフトウェア９０により、生成した埋め込み情報と取得した埋め込み情報とが同一であると判定した場合（ステップＳ２４３、「Ｙｅｓ」）、処理をステップＳ２４４に移行させ、ステップＳ２３１で受信された画像が改竄されていない（改竄無し）と判定する。
　一方、サーバ２２は、改竄検査ソフトウェア９０により、生成した埋め込み情報と取得した埋め込み情報とが同一ではないと判定した場合（ステップＳ２４３、「Ｎｏ」）、処理をステップＳ２４５に移行させ、ステップＳ２３１で受信された画像が改竄されている（改竄有り）と判定する。
　サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２４４またはステップＳ２４５の処理の後、処理をステップＳ２４６に移行させ、ステップＳ２４４またはステップＳ２４５の判定結果をＰＣ２０に送信する。この判定結果は、ステップＳ２３２でＰＣ２０に受信され、画像処理ソフトウェア７０に入力される。
　図２５は、第２の実施形態に係る、サーバ２２から改竄有無の判定結果を受信したＰＣ２０における処理を示す一例のフローチャートである。この図２５のフローチャートによる処理は、上述した図２３のフローチャートにおけるステップＳ２０１以降の処理として実行される。また、図２５のフローチャートでは、上述の図２４のフローチャートにおけるステップＳ２３０でＰＣ２０からサーバ２２に送信された入力画像を処理の対象としている。
　ステップＳ２２０で、ＰＣ２０は、画像処理ソフトウェア７０により、例えばヘッダ情報５２に基づき、対象の入力画像が改竄防止処理されているか否かを判定する。ＰＣ２０は、画像処理ソフトウェア７０により、改竄防止処理されていないと判定された場合（ステップＳ２２０、「Ｎｏ」）、処理がステップＳ２２６に移行される。この場合には、当該入力画像が改竄されていないことが保証できないので、ステップＳ２２６では、画像加工処理（２）により任意の画像加工処理が可能である。ＰＣ２０は、ステップＳ２２６の処理の後、さらなる改竄防止処理を施さずに、図２５のフローチャートによる一連の処理を終了させる。
　一方、ＰＣ２０は、画像処理ソフトウェア７０により、ステップＳ２２０で、改竄防止処理されていると判定された場合（ステップＳ２２０、「Ｙｅｓ」）、処理がステップＳ２２１に移行される。
　ステップＳ２２１で、ＰＣ２０は、画像処理ソフトウェア７０により、図２４のフローチャートのステップＳ２３２でサーバ２２から送信された判定結果に基づき、当該入力画像に対する改竄の有無を確認する。次のステップＳ２２２で、ＰＣ２０は、画像処理ソフトウェア７０により、判定結果に基づき改竄が有ると判定した場合（ステップＳ２２２、「有り」）、処理をステップＳ２２７に移行させる。
　ステップＳ２２７で、ＰＣ２０は、画像処理ソフトウェア７０により、当該入力画像に対して、「改竄有り」を示す情報を付加し、この図２５のフローチャートによる一連の処理を終了させる。
　一方、ＰＣ２０は、画像処理ソフトウェア７０により、判定結果に基づき改竄が無いと判定した場合（ステップＳ２２２、「無し」）、処理をステップＳ２２３に移行させる。
　ステップＳ２２３で、ＰＣ２０は、画像処理ソフトウェア７０により、当該確認結果に対応する入力画像に対して、上述した、その処理そのものが画像に対する改竄に当たらない処理としての画像加工処理（１）を実行することができる。次のステップＳ２２４で、ＰＣ２０は、画像処理ソフトウェア７０により、ステップＳ２２３で実行された画像加工処理が改竄処理に当たるか否かを判定する。ＰＣは、画像処理ソフトウェア７０により、ステップＳ２２３で実行された画像加工処理（１）が改竄処理に当たると判定した場合（ステップＳ２２４、「Ｙｅｓ」）、この図２５のフローチャートによる一連の処理を終了させる。
　一方、ＰＣ２０は、画像処理ソフトウェア７０により、ステップＳ２２３で実行された画像加工処理（１）が改竄処理に当たらないと判定した場合（ステップＳ２２４、「Ｎｏ」）、処理をステップＳ２２５に移行させる。ステップＳ２２５で、ＰＣ２０は、画像処理ソフトウェア７０により、当該入力画像に対して改竄防止処理を施す。ここでの改竄防止処理は、上述した第１の実施形態またはその各変形例で説明した処理を適用することができる。これに限らず、他の方法で改竄防止処理を実行してもよい。
　このように、第２の実施形態では、画像の改竄の有無を判定するために用いる改竄検査情報５１０を公開鍵で暗号化した暗号化改竄検査情報５１０ａを画像処理装置としてのＰＣ２０から情報処理装置としてのサーバ２２に送信する。サーバ２２は、当該暗号化改竄検査情報５１０ａを秘密鍵で復号し、復号された改竄検査情報５１０を用いた改竄有無の確認処理をサーバ２２上で実行している。これにより、暗号化改竄検査情報５１０ａの情報が外部で解読されることが防がれ、画像の改竄の有無を、機密性の高い状態で確認できる。
（４－４．第２の実施形態の変形例）
　次に、第２の実施形態の変形例について説明する。第２の実施形態の変形例は、ＰＣ２０からサーバ２２に対して画像全体を送信せずに、改竄確認のために必要な情報のみを送信する例である。このように、中間情報のみをＰＣ２０からサーバ２２に送信することで、ネットワーク２１の負荷を低減させることができる。
　図２６は、第２の実施形態の変形例に係る処理をより詳細に示す一例のフローチャートである。図２６のフローチャートは、上述した図２３のフローチャートにおけるステップＳ２００の処理をより詳細に示している。
　図２６のフローチャートにおいて、ステップＳ２５０で、ＰＣ２０は、入力画像のヘッダ情報５２における非暗号化部分から処理方法（閾値情報、分割ブロック情報など）を取得する。次のステップＳ２５１で、ＰＣ２０は、画像処理ソフトウェア７０により、ステップＳ２５０で取得した情報から、埋め込み情報の中間情報を生成する。
　次のステップＳ２５２で、ＰＣ２０は、画像処理ソフトウェア７０により、入力画像のヘッダ情報５２に含まれる暗号化改竄検査情報５１０ａを取得し、取得した暗号化改竄検査情報５１０ａと、ステップＳ２５１で生成した埋め込み情報の中間情報と、入力画像の最下位ビットのデータ（埋め込み情報が最下位ビットに埋め込まれている場合）と、をサーバ２２に送信する。
　ステップＳ２６０で、サーバ２２は、ステップＳ２５２でＰＣ２０から送信された各情報を受信する。受信した各情報は、改竄検査ソフトウェア９０に入力される。
　次のステップＳ２６１で、サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２６０で受信した各情報のうち、暗号化改竄検査情報５１０ａを秘密鍵で復号して改竄検査情報５１０を復元する。そして、改竄検査ソフトウェア９０は、改竄検査情報５１０に含まれる処理情報、例えば処理方法と、処理に用いる画素およびビット情報と、特定画素の位置情報と、を取得する。
　次のステップＳ２６２で、サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２６０でＰＣ２０から受信した各情報のうち、中間情報を取得し、取得した中間情報と、ステップＳ２６１で取得した処理情報とに基づき、埋め込み情報の最終値を生成する。ここで生成される埋め込み情報の最終値は、例えば撮像装置１で撮像され、撮像装置１に含まれる改竄防止処理部１０３により上述した第１の実施形態またはその各変形例で生成された出力情報５００に埋め込まれた埋め込み情報に相当するもので、改竄されていないことが保証される情報である。
　次のステップＳ２６３で、サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２６０でＰＣ２０から受信した各情報のうち入力画像の最下位ビットの情報と、ステップＳ２６１で取得された特定画素の位置情報から、埋め込み情報を再現する。ここで再現される埋め込み情報は、ＰＣ２０に入力された入力画像に埋め込まれた埋め込み情報に相当する。
　次のステップＳ２６４で、サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２６２で生成された最終値としての埋め込み情報と、ステップＳ２６３で再現された埋め込み情報とを比較し、生成した最終値としての埋め込み情報と、再現した埋め込み情報とが同一であるか否かを判定する。サーバ２２は、改竄検査ソフトウェア９０により、生成した最終値としての埋め込み情報と再現した埋め込み情報とが同一であると判定した場合（ステップＳ２６４、「Ｙｅｓ」）、処理をステップＳ２６５に移行させ、ステップＳ２６０で受信された画像が改竄されていない（改竄無し）と判定する。
　一方、サーバ２２は、改竄検査ソフトウェア９０により、生成した最終値としての埋め込み情報と再現した埋め込み情報とが同一ではないと判定した場合（ステップＳ２６４、「Ｎｏ」）、処理をステップＳ２６６に移行させ、ステップＳ２６０で受信された画像が改竄されている（改竄有り）と判定する。
　サーバ２２は、改竄検査ソフトウェア９０により、ステップＳ２６５またはステップＳ２６６の処理の後、処理をステップＳ２６７に移行させ、ステップＳ２６５またはステップＳ２６６の判定結果をＰＣ２０に送信する。この判定結果は、ステップＳ２５３でＰＣ２０に受信され、画像処理ソフトウェア７０に入力される。
　以降のＰＣ２０における処理は、図２５を用いて説明した処理と同一であるので、ここでの説明を省略する。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　受光した光に応じて画像情報を出力する撮像部と、
　前記画像情報により画像の所定領域の特徴量を求め、前記所定領域に埋め込み情報を埋め込むか否かを前記特徴量に基づき判定し、前記埋め込み情報を埋め込むと判定された前記所定領域の画像情報に基づき前記埋め込み情報を生成する埋め込み情報生成部と、
　前記所定領域に前記埋め込み情報を埋め込む埋め込み部と、
を備える撮像素子。
（２）
　前記埋め込み情報生成部は、
　前記画像情報による前記画像が分割されたブロックそれぞれを前記所定領域とする、
前記（１）に記載の撮像素子。
（３）
　前記埋め込み情報生成部は、
　前記画像から所定のオブジェクトが検出された領域を前記所定領域とする、
前記（１）に記載の撮像素子。
（４）
　前記埋め込み情報生成部は、
　前記画像情報による前記画像が分割されたブロックのうち、前記画像から所定のオブジェクトが検出された検出領域の少なくとも一部が含まれるブロックを前記所定領域とする、
前記（１）に記載の撮像素子。
（５）
　前記埋め込み部は、
　前記所定領域に含まれる複数の画素のうち一部の画素を、前記埋め込み情報を埋め込む対象画素とする、
前記（１）～（４）の何れかに記載の撮像素子。
（６）
　前記埋め込み情報生成部は、
　前記所定領域に含まれる複数の画素それぞれの画素値の、少なくとも最下位ビットを含まないビット列による値の、前記所定領域内での散布度を前記特徴量として、前記判定を行う、
前記（１）～（５）の何れかに記載の撮像素子。
（７）
　前記埋め込み情報生成部は、
　前記所定領域に含まれる画像に基づき、前記所定領域毎に前記埋め込み情報を生成する、
前記（１）～（６）の何れかに記載の撮像素子。
（８）
　前記埋め込み情報生成部は、
　前記所定領域に含まれる複数の画素それぞれの画素値を用いて演算を行った演算結果に基づき前記埋め込み情報を生成する、
前記（７）に記載の撮像素子。
（９）
　前記埋め込み情報生成部は、
　前記演算値の最下位ビットから所定ビット数までの値を前記埋め込み情報として生成する、
前記（８）に記載の撮像素子。
（１０）
　前記埋め込み部は、
　前記埋め込み情報が埋め込まれた前記画像情報から前記埋め込み情報を抽出するための抽出情報を前記画像情報に付加して出力情報を生成する、
前記（１）～（９）の何れかに記載の撮像素子。
（１１）
　前記埋め込み部は、
　前記抽出情報を暗号化して前記画像情報に付加して前記出力情報を生成する、
前記（１０）に記載の撮像素子。
（１２）
　前記抽出情報は、
　　前記埋め込み情報生成部が前記埋め込み情報を生成した生成方法を示す生成方法情報と、
　　前記画像情報のうち前記埋め込み情報生成部が前記埋め込み情報を生成するために用いた情報を示す生成情報と、
　　前記画像情報に対して前記埋め込み情報を埋め込む位置を示す位置情報と、
を含む、
前記（１０）または（１１）に記載の撮像素子。
（１３）
　プロセッサにより実行される、
　受光した光に応じて画像情報を出力する撮像ステップと、
　前記画像情報により画像の所定領域の特徴量を求め、前記所定領域に埋め込み情報を埋め込むか否かを前記特徴量に基づき判定し、前記埋め込み情報を埋め込むと判定された前記所定領域の画像情報に基づき前記埋め込み情報を生成する埋め込み情報生成ステップと、
　前記所定領域に前記埋め込み情報を埋め込む埋め込みステップと、
を有する撮像方法。
（１４）
　受光した光に応じて画像情報を出力する撮像部と、
　被写体からの光を前記撮像部に導く光学部と、
　前記画像情報により画像の所定領域の特徴量を求め、前記所定領域に埋め込み情報を埋め込むか否かを前記特徴量に基づき判定し、前記埋め込み情報を埋め込むと判定された前記所定領域の画像情報に基づき前記埋め込み情報を生成する埋め込み情報生成部と、
　前記所定領域に前記埋め込み情報を埋め込む埋め込み部と、
　前記埋め込み部により前記埋め込み情報が埋め込まれた前記画像情報を記録する記録部と、
を備える撮像装置。
（１５）
　画像処理装置と、
　前記画像処理装置とネットワークを介して接続される情報処理装置と、
を含み、
　前記情報処理装置は、
　　画像の所定領域の特徴量に基づき前記所定領域に埋め込み情報を埋め込むか否かが決定される画像の画像情報を前記画像処理装置から前記ネットワークを介して取得し、取得した前記画像情報から前記埋め込み情報を抽出し、抽出した前記埋め込み情報に基づき、前記画像情報に対する改竄の有無を検出し、検出された前記改竄の有無を示す改竄検出情報を前記画像情報に付加して前記画像処理装置に送信する改竄検出部
　を備え、
　前記画像処理装置は、
　　前記情報処理装置から送信された前記画像情報に付加される前記改竄有無情報が前記改竄が無いことを示している場合に、前記画像情報に対して画像処理を施し、前記画像処理が施された前記画像情報に対して画像改竄防止処理を施し、前記改竄有無情報に前記改竄が有ることを示している場合に、前記画像情報に改竄が有ることを示す情報を付加する画像処理部
　を備える、
画像処理システム。
１　撮像装置
１０　撮像素子
１２　記録部
１３　出力部
２０　ＰＣ
２２　サーバ
５０　画像
５１，５１ａ，５１ｂ　ブロック
５２　ヘッダ情報
５３ａ，５３ｂ，５３ｃ，５３ｄ，５３ｅ　オブジェクト
６０　画素
６０ｅｍ　特定画素
７０　画像処理ソフトウェア
９０　改竄検査ソフトウェア
１００　画素アレイ部
１０３，１０３ａ，１０３ｂ　改竄防止処理部
５００　出力情報
５１０　改竄検査情報
５１０ａ　暗号化改竄検査情報
１０３０　ブロック分割部
１０３１，１０３１ａ，１０３１ｂ　埋め込み情報生成部
１０３２，１０３２ａ，１０３２ｂ　埋め込み部
１０３３　物体検出部
１０３４　物体検出・ブロック分割部

Claims (15)

  1. 　受光した光に応じて画像情報を出力する撮像部と、
    　前記画像情報により画像の所定領域の特徴量を求め、前記所定領域に埋め込み情報を埋め込むか否かを前記特徴量に基づき判定し、前記埋め込み情報を埋め込むと判定された前記所定領域の画像情報に基づき前記埋め込み情報を生成する埋め込み情報生成部と、
    　前記所定領域に前記埋め込み情報を埋め込む埋め込み部と、
    を備える撮像素子。
  2. 　前記埋め込み情報生成部は、
    　前記画像情報による前記画像が分割されたブロックそれぞれを前記所定領域とする、
    請求項１に記載の撮像素子。
  3. 　前記埋め込み情報生成部は、
    　前記画像から所定のオブジェクトが検出された領域を前記所定領域とする、
    請求項１に記載の撮像素子。
  4. 　前記埋め込み情報生成部は、
    　前記画像情報による前記画像が分割されたブロックのうち、前記画像から所定のオブジェクトが検出された検出領域の少なくとも一部が含まれるブロックを前記所定領域とする、
    請求項１に記載の撮像素子。
  5. 　前記埋め込み部は、
    　前記所定領域に含まれる複数の画素のうち一部の画素を、前記埋め込み情報を埋め込む対象画素とする、
    請求項１に記載の撮像素子。
  6. 　前記埋め込み情報生成部は、
    　前記所定領域に含まれる複数の画素それぞれの画素値の、少なくとも最下位ビットを含まないビット列による値の、前記所定領域内での散布度を前記特徴量として、前記判定を行う、
    請求項１に記載の撮像素子。
  7. 　前記埋め込み情報生成部は、
    　前記所定領域に含まれる画像に基づき、前記所定領域毎に前記埋め込み情報を生成する、
    請求項１に記載の撮像素子。
  8. 　前記埋め込み情報生成部は、
    　前記所定領域に含まれる複数の画素それぞれの画素値を用いて演算を行った演算結果に基づき前記埋め込み情報を生成する、
    請求項７に記載の撮像素子。
  9. 　前記埋め込み情報生成部は、
    　前記演算値の最下位ビットから所定ビット数までの値を前記埋め込み情報として生成する、
    請求項８に記載の撮像素子。
  10. 　前記埋め込み部は、
    　前記埋め込み情報が埋め込まれた前記画像情報から前記埋め込み情報を抽出するための抽出情報を前記画像情報に付加して出力情報を生成する、
    請求項１に記載の撮像素子。
  11. 　前記埋め込み部は、
    　前記抽出情報を暗号化して前記画像情報に付加して前記出力情報を生成する、
    請求項１０に記載の撮像素子。
  12. 　前記抽出情報は、
    　　前記埋め込み情報生成部が前記埋め込み情報を生成した生成方法を示す生成方法情報と、
    　　前記画像情報のうち前記埋め込み情報生成部が前記埋め込み情報を生成するために用いた情報を示す生成情報と、
    　　前記画像情報に対して前記埋め込み情報を埋め込む位置を示す位置情報と、
    を含む、
    請求項１０に記載の撮像素子。
  13. 　プロセッサにより実行される、
    　受光した光に応じて画像情報を出力する撮像ステップと、
    　前記画像情報により画像の所定領域の特徴量を求め、前記所定領域に埋め込み情報を埋め込むか否かを前記特徴量に基づき判定し、前記埋め込み情報を埋め込むと判定された前記所定領域の画像情報に基づき前記埋め込み情報を生成する埋め込み情報生成ステップと、
    　前記所定領域に前記埋め込み情報を埋め込む埋め込みステップと、
    を有する撮像方法。
  14. 　受光した光に応じて画像情報を出力する撮像部と、
    　被写体からの光を前記撮像部に導く光学部と、
    　前記画像情報により画像の所定領域の特徴量を求め、前記所定領域に埋め込み情報を埋め込むか否かを前記特徴量に基づき判定し、前記埋め込み情報を埋め込むと判定された前記所定領域の画像情報に基づき前記埋め込み情報を生成する埋め込み情報生成部と、
    　前記所定領域に前記埋め込み情報を埋め込む埋め込み部と、
    　前記埋め込み部により前記埋め込み情報が埋め込まれた前記画像情報を記録する記録部と、
    を備える撮像装置。
  15. 　画像処理装置と、
    　前記画像処理装置とネットワークを介して接続される情報処理装置と、
    を含み、
    　前記情報処理装置は、
    　　画像の所定領域の特徴量に基づき前記所定領域に埋め込み情報を埋め込むか否かが決定される画像の画像情報を前記画像処理装置から前記ネットワークを介して取得し、取得した前記画像情報から前記埋め込み情報を抽出し、抽出した前記埋め込み情報に基づき、前記画像情報に対する改竄の有無を検出し、検出された前記改竄の有無を示す改竄検出情報を前記画像情報に付加して前記画像処理装置に送信する改竄検出部
    　を備え、
    　前記画像処理装置は、
    　　前記情報処理装置から送信された前記画像情報に付加される前記改竄有無情報が前記改竄が無いことを示している場合に、前記画像情報に対して画像処理を施し、前記画像処理が施された前記画像情報に対して画像改竄防止処理を施し、前記改竄有無情報に前記改竄が有ることを示している場合に、前記画像情報に改竄が有ることを示す情報を付加する画像処理部
    　を備える、
    画像処理システム。
PCT/JP2021/040586 2020-11-12 2021-11-04 撮像素子、撮像方法、撮像装置および画像処理システム WO2022102508A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/251,856 US20240020787A1 (en) 2020-11-12 2021-11-04 Imaging element, imaging method, imaging device, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020189017 2020-11-12
JP2020-189017 2020-11-12

Publications (1)

Publication Number Publication Date
WO2022102508A1 true WO2022102508A1 (ja) 2022-05-19

Family

ID=81601193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040586 WO2022102508A1 (ja) 2020-11-12 2021-11-04 撮像素子、撮像方法、撮像装置および画像処理システム

Country Status (2)

Country Link
US (1) US20240020787A1 (ja)
WO (1) WO2022102508A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078141A (ja) * 1999-09-06 2001-03-23 Seiko Epson Corp デジタルカメラおよび画像改竄検出システム
JP2003209816A (ja) * 2002-01-16 2003-07-25 Matsushita Electric Ind Co Ltd 電子透かし埋め込み装置、電子透かし埋め込み方法、電子透かし抽出装置、電子透かし抽出方法、及びデータ記録媒体
JP2006148553A (ja) * 2004-11-19 2006-06-08 Olympus Corp 動画撮影装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078141A (ja) * 1999-09-06 2001-03-23 Seiko Epson Corp デジタルカメラおよび画像改竄検出システム
JP2003209816A (ja) * 2002-01-16 2003-07-25 Matsushita Electric Ind Co Ltd 電子透かし埋め込み装置、電子透かし埋め込み方法、電子透かし抽出装置、電子透かし抽出方法、及びデータ記録媒体
JP2006148553A (ja) * 2004-11-19 2006-06-08 Olympus Corp 動画撮影装置

Also Published As

Publication number Publication date
US20240020787A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
JP4602931B2 (ja) 画像セットの完全性を保証する方法
US10630483B2 (en) Anonymous image/video digital signature insertion and authentication
US20180176503A1 (en) Signature generation system, signature generation apparatus, and signature generation method
CN112785660A (zh) 用于图像数据的隐写处理和压缩的方法和设备
JP5341615B2 (ja) 情報処理装置及びその制御方法
CN113330499B (zh) 传感器装置和加密方法
TWI772820B (zh) 密碼鍵產生裝置、密碼鍵產生方法
CN114208110B (zh) 信息处理装置、信息处理方法和程序
US8396288B2 (en) Information processing apparatus and information processing method for image verification
WO2019142898A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US10389536B2 (en) Imaging systems with data encryption and embedding capabalities
JP4130440B2 (ja) 信号認証のための堅牢な署名
JP7491317B2 (ja) 情報処理システム、情報処理方法、撮像装置
WO2022102508A1 (ja) 撮像素子、撮像方法、撮像装置および画像処理システム
JP2005531183A5 (ja)
JP2003536110A (ja) ウォーターマーク検出器
TWI826638B (zh) 感測器裝置、密碼化方法
Rupa Privacy preservation of ROI of medical image using squint pixel and PLSB hiding technique
JP2007028402A (ja) 画像処理方法、装置、プログラムおよび記録媒体
TWI740145B (zh) 視訊的資訊隱藏與隱私保護方法、電子裝置、電腦程式產品
JP2021166381A (ja) 情報処理装置、改ざん検知装置、情報処理方法、および検知方法
Liu et al. Reversible Data Hiding in Encrypted Images Using Four-Color Approach
JP2009033443A (ja) 画像処理装置および画像処理方法
Khan et al. Implementation of technique for image authentication using regular LDPC codes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21891754

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18251856

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21891754

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP