WO2014192243A1 - 撮像装置、復元装置、撮像システム、および、撮像方法 - Google Patents

撮像装置、復元装置、撮像システム、および、撮像方法 Download PDF

Info

Publication number
WO2014192243A1
WO2014192243A1 PCT/JP2014/002595 JP2014002595W WO2014192243A1 WO 2014192243 A1 WO2014192243 A1 WO 2014192243A1 JP 2014002595 W JP2014002595 W JP 2014002595W WO 2014192243 A1 WO2014192243 A1 WO 2014192243A1
Authority
WO
WIPO (PCT)
Prior art keywords
restoration
addition sampling
unit
information
imaging
Prior art date
Application number
PCT/JP2014/002595
Other languages
English (en)
French (fr)
Inventor
佐藤　智
吾妻　健夫
小澤　順
裕之 本山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2014551347A priority Critical patent/JP5760195B2/ja
Publication of WO2014192243A1 publication Critical patent/WO2014192243A1/ja
Priority to US14/626,583 priority patent/US9595081B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers

Definitions

  • the present invention relates to an imaging system including an imaging device and a restoration device that restores an image using a signal transmitted from the imaging device.
  • an imaging device is mounted on household equipment such as a television, an air conditioner, and a vacuum cleaner robot, and a technique for performing sensing in the home using this imaging device has become widespread.
  • cloud processing technology that transfers images captured at home via a network and performs processing at the transfer destination is also spreading.
  • Compressed sensing is a technology that maintains image quality while reducing the amount of data by compressing an image by adding a plurality of pixel values and capturing the image, and performing image restoration using the sparsity of the image (
  • the image being sparse means an event that many coefficient values become almost zero when the image is projected onto a wavelet space, a discrete cosine (DCT) space, or the like.
  • DCT discrete cosine
  • L0 norm minimization or L1 norm minimization is used in compressed sensing.
  • a solid-state imaging device has been proposed that introduces a compression sensing technique into an imaging sensor, which eliminates the need for a sample and hold circuit and can prevent image quality deterioration, area increase, and speed reduction due to increased noise (eg, patents). Reference 1).
  • the present invention solves the above-described problems, and an object of the present invention is to provide an imaging system that can acquire a desired image without leaving captured image data in an imaging device by using a compression sensing technique.
  • an imaging system including an imaging device and a restoration device that restores an image using a signal transmitted from the imaging device
  • the imaging device holds and holds a charge signal of the captured image.
  • the charge sampling signal is subjected to addition sampling processing, the signal after the addition sampling processing is converted into a digital signal, and the digital signal and information related to the addition sampling processing are transmitted to the restoration device.
  • the restoration device receives the information related to the addition sampling processing and the digital signal transmitted from the imaging device, performs the restoration processing on the digital signal using the information related to the addition sampling processing, and obtains and restores the image signal. Output image signal.
  • addition sampling processing is performed on the charge signal of the captured image, and the signal after the addition sampling processing is converted into a digital signal.
  • the restoration processing is performed on the digital signal transmitted from the imaging device using the information related to the addition sampling processing transmitted from the imaging device, and the image signal is restored. Therefore, in the imaging system, only the information after the addition sampling processing is communicated as a digital signal, so that the original image data does not remain in the imaging device. Therefore, an imaging system excellent in privacy protection can be realized.
  • the original image data does not remain in the imaging device, and the image can be restored by the restoration device. Therefore, excellent privacy protection can be realized in the imaging system.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging system according to Embodiment 1.
  • FIG. (A)-(d) is a schematic diagram showing an example of addition sampling processing Schematic diagram showing pixel numbers (A)-(d) is a schematic diagram showing an example of addition sampling processing (A)-(d) is a schematic diagram showing an example of addition sampling processing Schematic diagram showing an example of additive sampling information (A)-(d) is a schematic diagram showing an example of addition sampling processing
  • FIGS. 7A to 7D are schematic diagrams showing restoration processing for changing the resolution of an image to be restored with respect to the addition sampling processing of FIG. Schematic diagram showing an example of addition sampling information corresponding to FIGS. 7 and 8 FIGS.
  • FIG. 7A to 7D are schematic diagrams showing restoration processing for changing the resolution of an image to be restored with respect to the addition sampling processing of FIG.
  • FIG. 3 is a block diagram illustrating a configuration of an imaging system according to Embodiment 2.
  • (A)-(d) is a schematic diagram for demonstrating operation
  • (A)-(d) is a schematic diagram for demonstrating operation
  • FIG. 9 is a block diagram showing another configuration of the imaging system according to the second embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of an imaging system according to Embodiment 3.
  • FIG. 19 is a flowchart showing an example of setting processing of addition sampling information in the configuration of FIG.
  • FIG. 9 is a block diagram illustrating a configuration of another imaging system according to the third embodiment.
  • the flowchart which shows the example of a process of the decompression
  • a plurality of pixels accumulates the photoelectric conversion unit that converts the received optical signal into an electrical signal, and the electrical signal obtained by the photoelectric conversion unit, and holds it as a charge signal.
  • a charge holding unit that performs an addition sampling process on the charge signal held by the charge holding unit, and an analog-to-digital conversion unit that converts an output signal of the addition sampling unit into a digital signal.
  • the imaging-side communication unit that transmits information related to the addition sampling process executed by the addition sampling unit and the digital signal output from the analog-digital conversion unit is provided.
  • addition sampling information that is information representing a sampling pixel position is transmitted as information relating to the addition sampling processing.
  • the addition sampling information represents an addition sampling process executed by the addition sampling unit.
  • the addition sampling information is obtained from the information representing the addition sampling process executed by the addition sampling unit, and an image signal whose resolution is reduced by a restoration process. Thus, it is a newly generated one.
  • the addition sampling information is obtained by changing a sampling position with respect to information representing an addition sampling process executed by the addition sampling unit.
  • a plurality of types of the added sampling information corresponding to different resolutions are generated and transmitted.
  • the imaging device and a restoration device that restores an image using a signal transmitted from the imaging device use a plurality of types of common sampling information. And the imaging device transmits information specifying any one of the plurality of types of addition sampling information to the restoration device as information relating to the addition sampling processing.
  • the imaging apparatus further includes a setting unit that sets addition sampling information, and the addition sampling unit performs addition sampling processing according to the addition sampling information set by the setting unit. Is what you do.
  • the restoration device that performs image restoration using the signal transmitted from the imaging device of the first aspect is information related to the addition sampling process transmitted from the imaging-side communication unit of the imaging device. And a restoration side communication unit that receives the digital signal, and a restoration process using information on the addition sampling process received by the restoration side communication unit for the digital signal received by the restoration side communication unit And an image restoration unit that obtains an image signal and an output unit that outputs the image signal restored by the image restoration unit.
  • the imaging device in the imaging system including the imaging device and a restoration device that restores an image using a signal transmitted from the imaging device, includes light received by a plurality of pixels.
  • a photoelectric conversion unit that converts a signal into an electric signal, a charge holding unit that stores an electric signal obtained by the photoelectric conversion unit and holds the electric signal, and a charge signal held by the charge holding unit
  • An addition sampling unit that performs addition sampling processing; an analog-to-digital conversion unit that converts an output signal of the addition sampling unit into a digital signal; information about addition sampling processing that is executed by the addition sampling unit; and the analog-to-digital conversion unit
  • An imaging-side communication unit that transmits the digital signal output from the restoration device to the restoration device.
  • An image restoration unit that performs restoration processing using information related to the addition sampling processing received by the side communication unit and obtains an image signal; and an output unit that outputs the image signal restored by the image restoration unit. is there.
  • the restoration device includes a setting unit that sets addition sampling information, and the restoration-side communication unit sets the addition sampling information set by the setting unit.
  • the imaging-side communication unit receives the addition sampling information transmitted from the restoration-side communication unit of the restoration device, and the addition sampling unit Performs an addition sampling process according to the addition sampling information received by the imaging-side communication unit.
  • the restoration apparatus includes a plurality of restoration devices, and the imaging device represents information representing a sampling pixel position from information representing an addition sampling process executed by the addition sampling unit. Are generated, and at least one of the generated plurality of addition sampling information is transmitted to the plurality of restoration devices as information relating to the addition sampling processing.
  • the imaging device includes a plurality of pieces of addition sampling information, which is information representing a sampling pixel position, from information representing an addition sampling process executed by the addition sampling unit. Generating and transmitting the generated plurality of addition sampling information as information related to the addition sampling process to the restoration device, and the restoration device selects and selects one of the received plurality of addition sampling information The restoration processing is performed using the added sampling information.
  • an imaging method in an imaging system that includes an imaging device and a restoration device that performs image restoration using a signal transmitted from the imaging device, wherein the imaging device is a charge signal of a captured image. And adding the sampling process to the held charge signal, converting the signal after the addition sampling process into a digital signal, the information regarding the addition sampling process, and the digital signal, The information about the addition sampling process and the digital signal transmitted from the imaging device are transmitted to the restoration apparatus, and the information about the addition sampling process is received for the digital signal. A restoration process is performed to obtain an image signal, and the restored image signal is output.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging system according to the first embodiment.
  • the imaging system 1 includes an imaging device 10 and a restoration device 20 that restores an image using a signal transmitted from the imaging device 10.
  • the imaging device 10 includes a photoelectric conversion unit 101, a charge holding unit 102, an addition sampling unit 103, a first communication unit 104, an analog / digital conversion unit 105, and a second communication unit 106.
  • the restoration device 20 includes a third communication unit 201, a fourth communication unit 202, an image restoration unit 203, and an output unit 204.
  • the first communication unit 104 and the second communication unit 106 constitute an imaging side communication unit
  • the third communication unit 201 and the fourth communication unit 202 constitute a restoration side communication unit.
  • the imaging device 10 will be described.
  • the photoelectric conversion unit 101 has a plurality of pixels, and each pixel converts the received optical signal into an electrical signal.
  • the plurality of pixels are realized, for example, by arranging photoelectric conversion elements such as photodiodes two-dimensionally.
  • the charge holding unit 102 accumulates the electric signal obtained by the photoelectric conversion unit 101 for a certain time and holds it as a charge signal.
  • the addition sampling unit 103 performs addition sampling processing on the charge signals of a plurality of pixels held by the charge holding unit 102 to generate a new output signal.
  • the addition sampling information representing the process executed by the addition sampling unit 103 as an example of information related to the addition sampling process is transmitted to the restoration device 20 by the first communication unit 104.
  • the addition sampling process refers to a process of generating a new signal by sampling and adding a signal of a pixel at a predetermined position from an original charge signal.
  • the addition sampling information includes information indicating the position of the pixel sampled for use in the original charge signal for each signal value of the new output signal after the addition sampling processing. As will be described later, when gain is given at the time of addition, information on the given gain may be included.
  • the image information can be compressed, and the amount of signal transmitted to the restoration device 20 can be reduced.
  • the restoration device 20 can restore an image from the compressed image information by using the received addition sampling information.
  • FIG. 2 is a schematic diagram for explaining the addition sampling process.
  • FIG. 3 shows pixel numbers assigned to 4 ⁇ 4 pixels. That is, in 4 ⁇ 4 pixels, “1”, “2”, “3”, “4” are sequentially set from the upper left corner pixel to “5”, “6”, and so on from the left end pixel of the next row, The pixel in the lower right corner is “16”.
  • the additional sampling information is concatenated, “1000 0100 0010 0001 0010 0001 1000 0100 0100 1000 100 0001 0010 0001 0010 0100 1000”
  • the format of the addition sampling information is not limited to the one shown here, and any form is acceptable as long as the position of the pixel sampled for addition can be known.
  • the analog-digital conversion unit 105 converts the signal generated by the addition sampling unit 103 into a digital signal. This processing may be performed using a widely known pipeline type or column type analog-digital converter.
  • the second communication unit 106 transmits the digital signal converted by the analog-digital conversion unit 105 to the restoration device 20 via a network, for example.
  • the captured charge information is subjected to addition sampling processing and compressed before performing the analog-digital conversion processing.
  • the imaging apparatus 10 has only the compressed data after the addition sampling process as the digital signal, and does not hold the data of the original captured image. Even if another person obtains the output signal of the addition sampling unit 103, it cannot be restored to an image as it is. Therefore, the imaging device 10 excellent in privacy protection can be realized.
  • the third communication unit 201 receives the added sampling information transmitted from the first communication unit 104 of the imaging apparatus 10 via, for example, a network.
  • the received addition sampling information is used in the image restoration unit 203 described later.
  • the fourth communication unit 202 receives the digital signal transmitted from the second communication unit 106 of the imaging device 10 via, for example, a network.
  • the image restoration unit 203 performs a restoration process on the digital signal received by the fourth communication unit 202 using the addition sampling information received by the third communication unit 201 to obtain an image signal.
  • a known method such as Improved Iterative Curvelet Thresholding method (for example, see Non-Patent Document 2) or affine scaling method (for example, see Non-Patent Document 3) widely used in compressed sensing is used. That's fine.
  • Addition sampling information is essential for the restoration process. If the added sampling information is unknown, it is impossible to acquire captured image information from the compressed digital signal. For this reason, by treating the added sampling information like a key of the encryption technique, even if the image (correct image) before compression is unknown in the imaging device 10, the restoration device 20 can restore an accurate image.
  • the output unit 204 is an interface that outputs the image restored by the image restoration unit 203 to be displayed on a display or used for image processing such as human detection.
  • each pixel is read once in the addition sampling process.
  • the same pixel may be read out a plurality of times.
  • FIG. 4 is a schematic diagram showing an example of such addition sampling processing.
  • the pixel positions to be sampled may be selected randomly and / or independently. Thereby, it is possible to prevent the image information from being deteriorated due to the addition sampling process, and to improve the image quality of the restored image. (For example, see pp. 43-44 of Non-Patent Document 1).
  • FIG. 5 is a schematic diagram showing an example of addition sampling processing selected so that the pixel positions to be sampled are random.
  • a gain may be given and weighted addition may be performed.
  • the dynamic range of the added data is increased, and the load on the analog / digital conversion unit 105 is increased.
  • it is effective to perform weighted addition of pixel data.
  • a weight 1 ⁇ 4 may be given as a gain as a normalization process in order to match the dynamic range of the added data with the original pixel data.
  • the imaging device 10 and the restoration device 20 each store a plurality of types of common addition sampling information.
  • the imaging device 10 replaces the addition sampling information itself as an example of information related to the addition sampling processing.
  • Information specifying any one of a plurality of types of added sampling information shared may be transmitted to the restoration device 20. Thereby, it is possible to significantly reduce the communication amount.
  • FIG. 6 is a schematic diagram illustrating an example of an addition sampling information table as an example of a plurality of types of addition sampling information shared by the imaging device 10 and the restoration device 20.
  • Table numbers 1, 2, and 3 in FIG. 6 correspond to the addition sampling processes in FIGS.
  • the imaging apparatus 10 when the addition sampling unit 103 performs the addition sampling process of FIG. 2, the table number “1” is transmitted to the restoration apparatus 20.
  • the restoration device 20 reads the addition sampling information of the table number “1” with reference to the table of FIG. 6 and performs image restoration according to the addition sampling processing of FIG. Thereby, an accurate image can be restored.
  • secret communication may be performed by using an encryption method.
  • a known encryption method a method using a common key or a public key is known.
  • the restoration method a known method such as the Matching Pursuits method or the Matching Pursuits Denoising method may be used (for example, see Non-Patent Document 6).
  • the first communication unit 104 and the second communication unit 106 may be realized using the same communication unit.
  • the third communication unit 201 and the fourth communication unit 202 may be realized using the same communication unit.
  • the imaging device 10 performs an addition sampling process before analog-digital conversion, and transmits the addition sampling information to the restoration device 20.
  • an accurate image can be restored in the restoration device 20 without leaving a captured image in the imaging device 10.
  • the imaging system 1 excellent in privacy protection is realizable.
  • the addition sampling information transmitted from the imaging device 10 represents the addition sampling process executed by the addition sampling unit 103.
  • the addition sampling information may be divided into two types, that is, the imaging-time addition sampling information used by the addition sampling unit 103 and the restoration-time addition sampling information used by the image restoration unit 203. That is, restoration-use addition sampling information may be newly generated from information representing the addition sampling process executed by the addition sampling unit 103 and transmitted from the imaging apparatus 10. For example, the resolution of an image to be restored can be changed by using addition sampling information different from that at the time of imaging at the time of restoration.
  • FIG. 7 is a schematic diagram illustrating an example of the addition sampling process
  • FIG. 8 is a schematic diagram illustrating the restoration process when the resolution of the image to be restored is reduced with respect to the addition sampling process of FIG.
  • FIG. 9 shows an example of the added sampling information.
  • the table number “4” corresponds to FIG. 7 and the table number “5” corresponds to FIG.
  • the addition sampling unit 103 of the imaging apparatus 10 performs the addition sampling process of FIG.
  • the imaging device 10 transmits the addition sampling information of the table number “4” to the restoration device 20
  • the image restoration unit 203 of the restoration device 20 uses the addition sampling information that accurately represents the addition sampling processing at the time of imaging. Therefore, an image having a resolution of 4 ⁇ 4 can be accurately restored.
  • the imaging device 10 transmits the addition sampling information of the table number “5” to the restoration device 20
  • the image restoration unit 203 of the restoration device 20 restores a 2 ⁇ 2 pixel image with a low resolution.
  • the additional sampling information for restoring a low-resolution image such as the table number “5” may be created by reducing the resolution of the additional sampling information at the time of imaging, for example.
  • the restoration-time additional sampling information for performing the low-resolution restoration processing can be created by changing (shuffle) the sampling position of the imaging-time addition sampling information.
  • FIG. 10 is a schematic diagram showing an example in which the resolution of an image to be restored is lowered by changing the sampling position with respect to the addition sampling process of FIG.
  • FIG. 11 shows an example of the added sampling information
  • the table number “6” corresponds to FIG.
  • the sampling position is changed within the area of 2 ⁇ 2 pixel units divided by thick lines from FIG. 7.
  • the restoration process of FIG. 10 is performed corresponding to the addition sampling process of FIG. 7, since the pixel value whose sampling position is changed in the restored image, the resolution corresponding to the size of 2 ⁇ 2 pixels is obtained. Can only be restored. That is, when the imaging apparatus 10 transmits the added sampling information of the table number “6” to the restoration apparatus 20, the image restoration unit 203 of the restoration apparatus 20 restores an image with a low resolution.
  • addition sampling information used by the addition sampling unit 103 may be changed for each imaging apparatus. Thus, even if another person obtains a digital signal output from the imaging device, the restoration processing cannot be performed because the added sampling information is not easily understood.
  • FIG. 12 is a block diagram illustrating a configuration of an imaging system according to the second embodiment.
  • the same reference numerals are used for the same components as those in FIG. 1, and detailed description thereof is omitted.
  • the imaging system 2 includes an imaging device 11 and a restoration device 20 that restores an image using a signal transmitted from the imaging device 11.
  • the imaging device 11 includes an addition sampling information setting unit 111 in addition to the components of the imaging device 10 of FIG.
  • the addition sampling information setting unit 111 sets addition sampling information used by the addition sampling unit 103. As described above, the resolution of the image restored by the image restoration unit 203 of the restoration device 20 changes according to the added sampling information. Therefore, the additional sampling information setting unit 111 sets the additional sampling information so that the image is restored at the resolution desired by the user. Thereby, for example, when the user does not want to capture with high resolution, a low resolution image can be restored, and when the user wants to capture with high resolution, the high resolution image can be restored.
  • the additional sampling information setting unit 111 receives designation of a desired resolution from the user, for example.
  • a button or a touch panel may be used as the interface in this case.
  • the addition sampling information setting unit 111 generates addition sampling information in accordance with the designated resolution, and provides it to the addition sampling unit 103.
  • the addition sampling information setting unit 111 may hold in advance a table representing a correspondence relationship between the resolution that can be restored and the addition sampling information.
  • the addition sampling unit 103 executes addition sampling processing based on the given addition sampling information.
  • the resolution may be set according to the life scene. For example, “high resolution” is set for “active”, “medium resolution” for “absence”, and “low resolution” for “sleep”.
  • the input of the life scene may be performed by, for example, installing “active”, “absent”, and “sleep” buttons on the imaging device 11 and operating the buttons by the user.
  • FIG. 13 and FIG. 14 are schematic diagrams showing an example of addition sampling processing when the resolution is lowered.
  • the additional sampling information setting unit 111 sets the additional sampling information as shown in FIG. 13, for example.
  • the minimum sampling unit is 2 ⁇ 1 pixels.
  • the image restoration unit 203 can restore only an image having 2 ⁇ 1 pixels as a minimum sampling unit. Therefore, the resolution of the restored image is lowered.
  • FIG. 15 is a flowchart showing an example of setting processing of added sampling information in the imaging system 2 of FIG.
  • step S101 the user sets a desired resolution of the restored image through the addition sampling information setting unit 111. This may be performed, for example, by the user operating a resolution button provided on the imaging device 11.
  • step S102 the addition sampling information setting unit 111 generates addition sampling information that can be restored at a desired resolution.
  • step S103 the addition sampling unit 103 performs an addition sampling process according to the addition sampling information set by the addition sampling information setting unit 111.
  • the imaging system 2 can restore an image at a resolution desired by the user.
  • FIG. 16 is a flowchart showing an example of this processing.
  • the same reference numerals are used for steps common to FIG. 15, and detailed description thereof is omitted.
  • step S101 the user sets a desired resolution of the restored image through the addition sampling information setting unit 111.
  • the addition sampling information setting unit 111 generates imaging addition sampling information and restoration addition sampling information that can be restored at a desired resolution.
  • the information shown in FIG. 7 may be generated as the additional sampling information at the time of imaging
  • the information shown in FIG. 8 may be generated as the additional sampling information at the time of restoration.
  • the addition sampling information setting unit 111 may hold a table indicating the correspondence between the resolution that can be restored and the addition sampling information at the time of imaging and the addition sampling information at the time of restoration.
  • step S103 the addition sampling unit 103 performs the addition sampling process according to the imaging addition sampling information set by the addition sampling information setting unit 111.
  • step S ⁇ b> 105 the first communication unit 104 transmits the restoration-time addition sampling information set by the addition sampling information setting unit 111 to the restoration device 20.
  • the imaging system 2 can restore an image at a resolution desired by the user.
  • FIG. 17 is a block diagram illustrating a configuration of the imaging system according to the present embodiment.
  • the imaging system 2 ⁇ / b> A includes an imaging device 10 and a restoration device 21 that restores an image using a signal transmitted from the imaging device 10.
  • the restoration device 21 includes an addition sampling information setting unit 211 in addition to the components of the restoration device 20 of FIG.
  • the additional sampling information setting unit 211 receives designation of a desired resolution from the user, for example.
  • a button or a touch panel may be used as the interface in this case.
  • the addition sampling information setting unit 211 generates addition sampling information in accordance with the designated resolution, and provides the added sampling information to the third communication unit 201.
  • the addition sampling information setting unit 211 may hold in advance a table representing the correspondence between the resolvable resolution and the addition sampling information.
  • the addition sampling unit 103 of the imaging device 10 performs an addition sampling process based on the addition sampling information received by the first communication unit 104.
  • the resolution may be set according to the life scene. For example, “high resolution” is set for “active”, “medium resolution” for “absence”, and “low resolution” for “sleep”.
  • the input of the life scene may be performed, for example, by installing “active”, “absent”, and “sleep” buttons on the restoration device 21 and operating the buttons by the user.
  • FIG. 18 is a flowchart showing an example of setting processing of added sampling information in the imaging system 2A of FIG.
  • step S201 the user of the restoration device 21 sets a desired resolution of the restored image through the addition sampling information setting unit 211.
  • step S202 the addition sampling information setting unit 211 generates addition sampling information that can be restored at a desired resolution.
  • step S203 the third communication unit 201 of the restoration device 21 transmits the added sampling information generated by the added sampling information setting unit 211 to the imaging device 10.
  • step S204 the first communication unit 104 of the imaging apparatus 10 receives the transmitted addition sampling information.
  • step S205 the addition sampling unit 103 performs addition sampling processing according to the addition sampling information received by the first communication unit 104.
  • the user can freely set the resolution of the restored image by providing the additional sampling information setting unit in the imaging device or the restoration device.
  • a low resolution image can be restored if the user does not want to capture images at a high resolution
  • a high resolution image can be restored if a user desires to capture images at a high resolution. it can.
  • the first communication unit 104 and the second communication unit 106 may be realized using the same communication unit.
  • the third communication unit 107 and the fourth communication unit 108 may be realized using the same communication unit.
  • the imaging device 11 and the restoration device 20 in the configuration of FIG. 12, and the imaging device 10 and the restoration device 21 in the configuration of FIG. may be memorized.
  • the imaging device 11 transmits information identifying one of a plurality of types of added sampling information shared to the restoration device 20 instead of the added sampling information itself.
  • the restoration device 21 transmits information specifying any one of a plurality of types of shared additional sampling information to the imaging device 10 instead of the additional sampling information itself. Thereby, it is possible to significantly reduce the communication amount.
  • FIG. 19 is a block diagram illustrating a configuration of an imaging system according to the third embodiment. 19, the same reference numerals are used for the same components as in FIG. 12, and detailed description thereof is omitted.
  • the addition sampling information setting unit 112 in the imaging device 12 includes addition sampling information for the imaging device 12 to perform imaging and a plurality of restoration times that the restoration device 20 uses to perform image restoration.
  • the plurality of restoration addition sampling information is, for example, a plurality of types of addition sampling information corresponding to different resolutions.
  • the plurality of restoration-time addition sampling information is transmitted to the plurality of restoration devices 20 through the first communication unit 104.
  • the restoration-time addition sampling information to be transmitted is one or a plurality of the set restoration-time addition sampling information, and may be different for each restoration device 20. Since the restoration device 20 performs image restoration processing using the received restoration sampling information, the image pickup system 3 according to the present embodiment can restore image signals having different resolutions for each restoration device 20.
  • FIG. 20 is a flowchart illustrating an example of setting processing of added sampling information in the imaging system 3 according to the present embodiment. 20, steps common to those in FIG. 16 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the addition sampling information setting unit 112 sets addition sampling information corresponding to the resolutions of a plurality of restored images. For example, a plurality of resolutions assumed for the display that is the output unit 204 of the restoration device 20 may be set.
  • the addition sampling information setting unit 112 generates image capturing addition sampling information and restoration addition sampling information that can be restored at a desired resolution.
  • the information shown in FIG. 7 may be generated as the additional sampling information at the time of imaging
  • the information shown in FIG. 8 may be generated as the additional sampling information at the time of restoration.
  • the addition sampling information setting unit 112 may hold a table representing the correspondence relationship between the resolution that can be restored, the addition sampling information at the time of imaging, and the addition sampling information at the time of restoration.
  • step S103 the addition sampling unit 103 performs the addition sampling process according to the addition sampling information at the time of imaging set by the addition sampling information setting unit 112.
  • step S107 the first communication unit 104 transmits at least one of the plurality of restoration-time addition sampling information set by the addition sampling information setting unit 112 to the restoration device 20.
  • Which restoration sampling information is to be transmitted to a plurality of restoration devices 20 may be determined from the resolution of a display that is the output unit 204 of the restoration device 20. In other words, it is only necessary to transmit restoration-time added sampling information that can restore an image signal equal to the display resolution.
  • FIG. 21 is a block diagram showing the configuration of another imaging system according to the third embodiment.
  • the same components as those in FIG. 19 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the restoration device 22 includes a third communication unit 201, a fourth communication unit 202, an image restoration unit 203, an output unit 204, and an addition sampling information selection unit 206.
  • the imaging device 13 does not send any of the plurality of restoration addition sampling information set by the addition sampling information setting unit 112 to the restoration device 22 but sends a plurality of restoration addition sampling information to the restoration device 22.
  • the restoration device 22 can restore the optimum image signal to the output unit 204 by selecting the optimum one from the plurality of restoration addition sampling information received by the third communication unit 201. This process will be described in detail.
  • FIG. 22 is a flowchart showing an example of processing of the restoration device 22 in the present embodiment.
  • step S207 the third communication unit 201 receives a plurality of restoration addition sampling information.
  • step S208 the addition sampling information selection unit 206 selects an optimum one from the plurality of restoration addition sampling information received by the third communication unit 201. For example, it is only necessary to select addition sampling information at the time of restoration in which an image signal is restored at a resolution desired by the user. For example, when the user enlarges the display on the display by a factor of 2, the restoration-time added sampling information is selected so that the image signal is restored at a resolution of a factor of two. In addition, when the user reduces the display on the display by a factor of 1/4, the restoration addition sampling information for restoring the image signal at a resolution of 1/4 is selected.
  • step S209 the fourth communication unit 202 receives the digital signal transmitted from the second communication unit 106, for example, via a network.
  • step S210 the image restoration unit 203 performs a restoration process on the digital signal received by the fourth communication unit 202 using the addition sampling information selected by the addition sampling information selection unit 206 to obtain an image signal.
  • step S211 the output unit 204 displays the image restored by the image restoration unit 203 on the display.
  • the imaging devices 12 and 13 perform addition sampling processing before analog-digital conversion, and the addition sampling information is transmitted to the restoration devices 20 and 22.
  • the addition sampling information setting unit 112 sets a plurality of restoration addition sampling information.
  • the resolution of the restored image signal can be changed in accordance with the resolution of the output unit 204 of the restoration devices 20 and 22 and the user's operation.
  • a desired image can be restored in the restoration devices 20 and 22 without leaving a captured image in the imaging devices 12 and 13.
  • the imaging systems 3 and 3A excellent in privacy protection can be realized.
  • the imaging system in this specification may not be realized as an apparatus.
  • the above-described imaging system may be operated by a general-purpose processor that is a computer executing a computer program recorded on a computer-readable recording medium.
  • a computer program includes, for example, a group of instructions for causing a computer to execute processing realized by the flowchart of FIG.
  • the computer program is recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or transmitted through an electric communication line such as the Internet.
  • the original image data does not remain in the imaging device, and the image can be restored by the restoration device. Therefore, for example, excellent privacy protection can be realized in household devices such as a television, an air conditioner, and a cleaning robot equipped with an imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　撮像装置（１０）において、加算サンプリング部（１０３）は撮像画像の電荷信号について加算サンプリング処理を行い、アナログデジタル変換部（１０５）は加算サンプリング処理後の信号をデジタル信号に変換する。復元装置（２０）において、画像復元部（２０３）は撮像装置（１０）から送信されたデジタル信号について、撮像装置（１０）から送信された加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る。

Description

撮像装置、復元装置、撮像システム、および、撮像方法
　本発明は、撮像装置と、この撮像装置から送信された信号を用いて画像を復元する復元装置とを備えた撮像システムに関する。
　近年、テレビやエアコン、掃除機ロボットなどの家庭用機器に撮像装置が搭載され、この撮像装置によって家庭内でのセンシングを行う技術が普及している。さらに、家庭内で撮像された画像をネットワーク経由で転送し、転送先で処理を行うというクラウド処理技術も広がっている。
　また、近年、「圧縮センシング」と呼ばれる技術が開発されている。圧縮センシングとは、複数の画素値を加算して撮像することによって画像を圧縮し、画像のスパース性を利用した画像復元を行うことによって、データ量を減らしながら、画質を保持する技術である（例えば、非特許文献１を参照）。ここで、画像がスパースであるとは、画像をウエーブレット空間や離散コサイン（ＤＣＴ）空間などへ投影した際、多くの係数値がほぼ０になるという事象を意味する。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化やＬ１ノルム最小化手法を利用する。
　さらに、圧縮センシングの技術を撮像センサに導入することで、サンプルおよびホールド回路が不要で、ノイズ増加による画質劣化、面積増加、速度低下を防止可能な固体撮像素子も提案されている（例えば、特許文献１）。
特開２０１０－２４５９５５号公報
田中利幸,"圧縮センシングの数理",IEICE Fundamentals Review, vol.4, no.1, pp.39-47, 2010 J. Ma,"Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement", IEEE Transactions on Instrumentation and Measurement, Vol.60, Iss.1,pp.126-136,2011 茨木俊秀、福島雅夫著「情報数学講座(全15巻)第14巻 最適化の手法」共立出版株式会社、1993年7月20日初版1刷発行(P159-P164) D. Takhar, J. N. Laska, M. B. Wakin. M. F. Durate, D. Baron, S. Sarvotham, K. F. Kelly, and R. G. Baraniuk, "A New Compressive Imaging Camera Architecture using optical-domain compression", Proc. of Computational Imaging IV at SPIE Electronic Imaging, 2006 Y. Oike and A.E. Gamal, "A 256×256 CMOS Image Sensor with ΔΣ-Based Single-Shot Compressed Sensing", IEEE International Solid-State Circuits Conference (ISSCC) Dig. of Tech. Papers, pp.386-387, 2012 中静真,"スパース信号表現とその画像処理応用",　映像情報メテ゛ィア学会誌,Vol.65, No.10, pp.1381-1386
　家庭内で撮像された画像は非常にプライベートなものである。このため、上述した家庭内センシング技術では、例えば次のような観点で、高いプライバシー保護が求められる。
　１）撮像画像が通信中に傍受されることを防ぐこと。
　２）機器に残された撮像画像データが他人に見られてしまうことを防ぐこと。
　１）に関しては、通信における秘匿性を保つために、画像を暗号化する手法が広く知られており、公開鍵や秘密鍵を利用する手法が広く普及している。一方、２）に関しては、例えば、機器内のメモリに元の撮像画像データが残っていると、その機器の廃棄後に他人に撮像画像が見られたりコピーされたりする可能性がある。これを防ぐためには、例えば機器の廃棄時にその中の画像データも廃棄するといった方策をとる必要があり、技術的には課題が残されたままである。
　本発明は、上述の課題を解決するものであり、圧縮センシングの技術を利用して、撮像機器内に撮像画像のデータを残すことなく、所望の画像を取得できる撮像システムを提供することを目的とする。
　本発明の一態様では、撮像装置と、撮像装置から送信された信号を用いて画像を復元する復元装置とを備えた撮像システムにおいて、撮像装置が、撮像画像の電荷信号を保持し、保持している電荷信号に対して加算サンプリング処理を行い、加算サンプリング処理後の信号をデジタル信号に変換し、このデジタル信号と加算サンプリング処理に関する情報とを、復元装置に送信する。復元装置が、撮像装置から送信された加算サンプリング処理に関する情報とデジタル信号とを受信し、デジタル信号に対して、加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得て、復元した画像信号を出力する。
　これによると、撮像装置において、撮像画像の電荷信号に対して加算サンプリング処理が行われ、加算サンプリング処理後の信号がデジタル信号に変換される。そして復元装置において、撮像装置から送信されたデジタル信号に対して、撮像装置から送信された加算サンプリング処理に関する情報を用いて復元処理が行われ、画像信号が復元される。したがって、撮像システムにおいて、加算サンプリング処理後の情報のみがデジタル信号として通信されるため、撮像装置に元の画像データが残らない。したがって、プライバシー保護に優れた撮像システムを実現することができる。
　本発明によると、撮像装置に元の画像データが残ることなく、復元装置で画像を復元できる。したがって、撮像システムにおいて、優れたプライバシー保護を実現できる。
実施の形態１に係る撮像システムの構成を示すブロック図 （ａ）～（ｄ）は加算サンプリング処理の例を示す模式図 画素番号を示す模式図 （ａ）～（ｄ）は加算サンプリング処理の例を示す模式図 （ａ）～（ｄ）は加算サンプリング処理の例を示す模式図 加算サンプリング情報の例を示す模式図 （ａ）～（ｄ）は加算サンプリング処理の例を示す模式図 （ａ）～（ｄ）は図７の加算サンプリング処理に対して、復元する画像の解像度を変化させる復元処理を示す模式図 図７および図８に対応する加算サンプリング情報の例を示す模式図 （ａ）～（ｄ）は図７の加算サンプリング処理に対して、復元する画像の解像度を変化させる復元処理を示す模式図 図１０に対応する加算サンプリング情報の例を示す模式図 実施の形態２に係る撮像システムの構成を示すブロック図 （ａ）～（ｄ）は加算サンプリング情報設定部の動作を説明するための模式図 （ａ）～（ｄ）は加算サンプリング情報設定部の動作を説明するための模式図 図１２の構成における、加算サンプリング情報の設定処理の例を示すフローチャート 図１２の構成における、加算サンプリング情報の設定処理の他の例を示すフローチャート 実施の形態２に係る撮像システムの他の構成を示すブロック図 図１７の構成における、加算サンプリング情報の設定処理の例を示すフローチャート 実施の形態３に係る撮像システムの構成を示すブロック図 図１９の構成における、加算サンプリング情報の設定処理の例を示すフローチャート 実施の形態３に係る他の撮像システムの構成を示すブロック図 図２１の構成における復元装置の処理の例を示すフローチャート
　本発明の第１態様では、撮像装置は、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、送信する撮像側通信部とを備えたものである。
　本発明の第２態様では、第１態様の撮像装置において、前記加算サンプリング処理に関する情報として、サンプリング画素位置を表す情報である加算サンプリング情報を送信するものである。
　本発明の第３態様では、第２態様の撮像装置において、前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表したものである。
　本発明の第４態様では、第２態様の撮像装置において、前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、復元処理によって低解像度化された画像信号が得られるように、新たに生成されたものである。
　本発明の第５態様では、第４態様の撮像装置において、前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報に対して、サンプリング位置を変更したものである。
　本発明の第６態様では、第４態様の撮像装置において、前記加算サンプリング情報を、互いに異なる解像度に対応する複数種類生成し、送信するものである。
　本発明の第７態様では、第１態様の撮像装置において、前記撮像装置と、前記撮像装置から送信された信号を用いて画像を復元する復元装置とは、共通の複数種類の加算サンプリング情報を、それぞれ記憶しており、前記撮像装置は、前記加算サンプリング処理に関する情報として、前記複数種類の加算サンプリング情報の中のいずれかを特定する情報を、前記復元装置に送信するものである。
　本発明の第８態様では、第１態様の撮像装置において、加算サンプリング情報を設定する設定部を備え、前記加算サンプリング部は、前記設定部によって設定された前記加算サンプリング情報に従って、加算サンプリング処理を行うものである。
　本発明の第９態様では、第１態様の撮像装置から送信された信号を用いて画像復元を行う復元装置は、前記撮像装置の前記撮像側通信部から送信された、前記加算サンプリング処理に関する情報、および、前記デジタル信号を、受信する復元側通信部と、前記復元側通信部が受信した前記デジタル信号に対して、前記復元側通信部が受信した前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る画像復元部と、前記画像復元部が復元した前記画像信号を出力する出力部とを備えたものである。
　本発明の第１０態様では、撮像装置と、前記撮像装置から送信された信号を用いて画像を復元する復元装置とを備えた撮像システムにおいて、前記撮像装置は、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、前記復元装置に送信する撮像側通信部とを備え、前記復元装置は、前記撮像装置の前記撮像側通信部から送信された、前記加算サンプリング処理に関する情報、および、前記デジタル信号を受信する復元側通信部と、前記復元側通信部が受信した前記デジタル信号に対して、前記復元側通信部が受信した前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る画像復元部と、前記画像復元部が復元した前記画像信号を出力する出力部とを備えたものである。
　本発明の第１１態様では、第１０態様の撮像システムにおいて、前記復元装置は、加算サンプリング情報を設定する設定部を備え、前記復元側通信部は、前記設定部によって設定された前記加算サンプリング情報を、前記撮像装置に送信するものであり、前記撮像装置において、前記撮像側通信部は、前記復元装置の前記復元側通信部から送信された前記加算サンプリング情報を、受信し、前記加算サンプリング部は、前記撮像側通信部が受信した前記加算サンプリング情報に従って、加算サンプリング処理を行うものである。
　本発明の第１２態様では、第１０態様の撮像システムにおいて、前記復元装置を、複数備え、前記撮像装置は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、サンプリング画素位置を表す情報である加算サンプリング情報を複数生成し、前記複数の復元装置にそれぞれ、前記加算サンプリング処理に関する情報として、生成した前記複数の加算サンプリング情報のうち少なくともいずれか１つを送信するものである。
　本発明の第１３態様では、第１０態様の撮像システムにおいて、前記撮像装置は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、サンプリング画素位置を表す情報である加算サンプリング情報を、複数生成し、前記復元装置に、前記加算サンプリング処理に関する情報として、生成した前記複数の加算サンプリング情報を送信し、前記復元装置は、受信した前記複数の加算サンプリング情報のうちいずれかを選択し、選択した前記加算サンプリング情報を用いて復元処理を行うものである。
　本発明の第１４態様では、撮像装置と、前記撮像装置から送信された信号を用いて画像復元を行う復元装置とを備えた撮像システムにおける撮像方法は、前記撮像装置が、撮像画像の電荷信号を保持し、保持している電荷信号に対して、加算サンプリング処理を行い、　前記加算サンプリング処理後の信号を、デジタル信号に変換し、前記加算サンプリング処理に関する情報と、前記デジタル信号とを、前記復元装置に送信し、前記復元装置が、前記撮像装置から送信された、前記加算サンプリング処理に関する情報と、前記デジタル信号とを、受信し、前記デジタル信号に対して、前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得て、復元した前記画像信号を出力する。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図１は実施の形態１に係る撮像システムの構成を示すブロック図である。撮像システム１は、撮像装置１０と、撮像装置１０から送信された信号を用いて画像を復元する復元装置２０とを備えている。撮像装置１０は、光電変換部１０１、電荷保持部１０２、加算サンプリング部１０３、第一通信部１０４、アナログデジタル変換部１０５、および第二通信部１０６を備えている。復元装置２０は、第三通信部２０１、第四通信部２０２、画像復元部２０３、および出力部２０４を備えている。第一通信部１０４および第二通信部１０６によって、撮像側通信部が構成されており、第三通信部２０１および第四通信部２０２によって、復元側通信部が構成されている。
　まず、撮像装置１０について説明する。
　光電変換部１０１は複数の画素を有しており、各画素が、受光した光信号を電気信号に変換する。複数の画素は例えば、フォトダイオードなどの光電変換素子を２次元状に配列することによって実現される。電荷保持部１０２は、光電変換部１０１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する。
　加算サンプリング部１０３は、電荷保持部１０２が保持している複数の画素の電荷信号に対して、加算サンプリング処理を行い、新たな出力信号を生成する。加算サンプリング処理に関する情報の一例としての、加算サンプリング部１０３が実行する処理を表した加算サンプリング情報は、第一通信部１０４によって、復元装置２０に送信される。ここで、加算サンプリング処理とは、元の電荷信号から所定位置の画素の信号をサンプリングして加算し、新たな信号を生成する処理のことをいう。そして、加算サンプリング情報は、加算サンプリング処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いるためにサンプリングした画素の位置を示す情報を含むものである。なお、後述するように加算時にゲインを与えた場合には、与えたゲインの情報を含めてもよい。
　加算サンプリング部１０３が加算サンプリング処理を行うことによって、画像情報の圧縮を行うことができ、復元装置２０に送信する信号量を減らすことができる。復元装置２０は、受信した加算サンプリング情報を用いることによって、圧縮された画像情報から、画像を復元することができる。
　図２は加算サンプリング処理について説明するための模式図である。ここでは、説明の簡略化のため、４×４の１６画素での処理を例にとって説明する。図２（ａ）～（ｄ）はそれぞれ、ｔ＝１～４における読み出し画素、すなわち、加算サンプリング処理に用いた画素を表している。また、説明のために、図３に４×４の各画素に付した画素番号を示している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。
　図２（ａ）では、画素番号１，６，１１，１６のデータを読み出し、この４画素のデータを加算処理することで、ｔ＝１の出力信号を生成している。同様に、図２（ｂ）では、画素番号３，８，９，１４のデータを読み出し、この４画素のデータを加算し、ｔ＝２の出力信号を生成している。図２（ｃ）では、画素番号２，５，１２，１５のデータを読み出し、この４画素のデータを加算し、ｔ＝３の出力信号を生成している。図２（ｄ）では、画素番号４，７，１０，１３のデータを読み出し、この４画素のデータを加算し、ｔ＝４の出力信号を生成している。
　このようにして、４×４＝１６画素のデータをｔ＝１～４の４個のデータに圧縮する。これにより、後述のアナログデジタル変換部１０５の動作速度を減少させることができるため、より低ノイズの画像を復元できる。
　また、図２の加算サンプリング処理の場合、加算サンプリング情報は例えば次のようになる。ｔ＝１～４において、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図３に示した画素番号順に符号化したデータを、加算サンプリング情報とする。すなわち、
　ｔ＝１のとき“１０００　０１００　００１０　０００１”
　ｔ＝２のとき“００１０　０００１　１０００　０１００”
　ｔ＝３のとき“０１００　１０００　０００１　００１０”
　ｔ＝４のとき“０００１　００１０　０１００　１０００”
となるため、加算サンプリング情報は、これらを連結して、
　“１０００　０１００　００１０　０００１　００１０　０００１　１０００　０１００　０１００　１０００　０００１　００１０　０００１　００１０　０１００　１０００”
とする。なお、加算サンプリング情報の形式はここで示したものに限られるものではなく、加算のためにサンプリングされた画素の位置が分かるものであればよい。
　アナログデジタル変換部１０５は、加算サンプリング部１０３で生成された信号をデジタル信号に変換する。この処理は、広く知られているパイプライン型やカラム型のアナログデジタル変換器を利用して実行すればよい。
　第二通信部１０６は、アナログデジタル変換部１０５によって変換されたデジタル信号を、例えばネットワークを介して、復元装置２０に送信する。
　このように、本実施形態に係る撮像装置１０では、アナログデジタル変換処理を行う前に、撮像した電荷情報を加算サンプリング処理して圧縮している。このため、撮像装置１０は、デジタル信号としては、加算サンプリング処理後の圧縮されたデータしか有しておらず、元の撮像画像のデータを保持しない。仮に、加算サンプリング部１０３の出力信号を他人が入手したとしても、そのままでは画像に復元することができない。したがって、プライバシー保護に優れた撮像装置１０を実現できる。
　次に、復元装置２０について説明する。
　第三通信部２０１は、撮像装置１０の第一通信部１０４から送信された加算サンプリング情報を、例えばネットワークを介して、受信する。受信された加算サンプリング情報は、後述の画像復元部２０３において利用される。第四通信部２０２は、撮像装置１０の第二通信部１０６から送信されたデジタル信号を、例えばネットワークを介して、受信する。
　画像復元部２０３は、第四通信部２０２が受信したデジタル信号に対して、第三通信部２０１が受信した加算サンプリング情報を用いて復元処理を行い、画像信号を得る。この復元処理は、圧縮センシングで広く使われているImproved Iterative Curvelet Thresholding法（例えば、非特許文献２を参照）やアフィンスケーリング法（例えば、非特許文献３を参照）などの公知の手法を利用すればよい。復元処理には、加算サンプリング情報が必須である。もし、加算サンプリング情報が未知の場合、圧縮されているデジタル信号から撮像画像情報を取得することは不可能である。このため、加算サンプリング情報を暗号化技術の鍵のように取り扱うことによって、撮像装置１０では圧縮前の画像（正解画像）が未知であっても、復元装置２０は正確な画像を復元できる。
　出力部２０４は、画像復元部２０３が復元した画像を、ディスプレイに表示したり、人検出などの画像処理に利用したりするために出力するインターフェイスである。
　ＪＰＥＧなど広く知られている画像圧縮処理では、圧縮時に正解画像が必要となるため、正解画像をメモリ上に保持する必要がある。一方、本実施形態の撮像システム１では、圧縮センシングの技術を利用することによって、正解画像が未知であっても、圧縮処理が可能である。このため、撮像装置１０に撮像画像を保持する必要がなくなり、プライバシー保護に優れた画像処理を実現できる。
　なお、図２の例では、加算サンプリング処理において各画素を一度ずつ読み出すものとしている。もちろん、加算サンプリング処理において、同じ画素を複数回読み出すようにしてもかまわない。
　図４はこのような加算サンプリング処理の例を示す模式図である。図４（ａ）では、画素番号１，３，６，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝１の出力信号を生成している。同様に、図４（ｂ）では、画素番号２，３，５，８，９，１２，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝２の出力信号を生成している。図４（ｃ）では、画素番号２，４，５，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝３の出力信号を生成している。図４（ｄ）では、画素番号１，４，６，７，１０，１１，１３，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝４における出力信号を生成している。
　このように、各画素を複数回読み出して加算処理を行うことによって、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することが可能である。このような加算サンプリング処理については、例えば、非特許文献４や非特許文献５に記載されている。
　また、加算サンプリング処理において、サンプリングする画素位置を、ランダムに、かつまたは、独立になるように選択してもかまわない。これにより、加算サンプリング処理による画像情報の劣化を防ぐことができ、復元画像の画質を向上できる。（例えば、非特許文献１のｐｐ.４３－４４参照）。
　図５はサンプリングする画素位置がランダムになるように選択した加算サンプリング処理の例を示す模式図である。図５（ａ）では、画素番号１，４，７，８，９，１０，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝１での出力信号を生成している。同様に、図５（ｂ）では、画素番号２，３，５，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝２での出力信号を生成している。図５（ｃ）では、画素番号２，３，５，６，１１，１２，１３，１６の画素のデータを取出し、この８画素のデータを加算し、ｔ＝３での出力信号を生成している。図５（ｄ）では、画素番号１，４，６，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝４での出力信号を生成している。
　また、加算サンプリング処理において、複数の画素データを単に加算する代わりに、ゲインを与えて重みづけ加算してもかまわない。複数の画素データを加算すると、加算後のデータのダイナミックレンジが増大し、アナログデジタル変換部１０５の負荷が増える。この問題を解決するためには、画素データを重み付け加算することが有効である。例えば図２のような加算サンプリング処理を行う場合において、加算後のデータのダイナミックレンジを元の画素データに合わせるために、正規化処理として、重み１／４をゲインとして与えればよい。
　また、撮像装置１０と復元装置２０とが、共通の複数種類の加算サンプリング情報をそれぞれ記憶しており、撮像装置１０は、加算サンプリング情報自体に代えて、加算サンプリング処理に関する情報の一例としての、共有している複数種類の加算サンプリング情報の中のいずれかを特定する情報を、復元装置２０に送信するものとしてもよい。これにより、通信量を大幅に削減することが可能である。
　図６は撮像装置１０と復元装置２０とが共有している複数種類の加算サンプリング情報の一例としての、加算サンプリング情報テーブルの例を示した模式図である。図６のテーブル番号１，２，３は、図２，４，５の加算サンプリング処理にそれぞれ対応している。例えば、撮像装置１０において、加算サンプリング部１０３が図２の加算サンプリング処理を行ったとき、テーブル番号「１」を復元装置２０に送信する。復元装置２０は図６のテーブルを参照してテーブル番号「１」の加算サンプリング情報を読み出し、図２の加算サンプリング処理に応じた画像復元を行う。これにより、正確な画像を復元することができる。
　なお、第一通信部１０４と第三通信部２０１との通信において、暗号化手法を利用することによって、秘匿通信を行うようにしてもかまわない。このような公知の暗号化手法としては、共通鍵や公開鍵を利用するものが知られている。復元手法は、Matching Pursuits法、Matching Pursuits Denoising法などの公知の手法を利用すればよい（例えば、非特許文献６を参照）。
　また、撮像装置１０において、第一通信部１０４と第二通信部１０６とは、同一の通信部を利用して実現してもかまわない。同様に、復元装置２０において、第三通信部２０１と第四通信部２０２とは、同一の通信部を利用して実現してもかまわない。
　以上説明したように、本実施の形態によれば、撮像装置１０においてアナログデジタル変換前に加算サンプリング処理を行い、その加算サンプリング情報を復元装置２０に送信する。これにより、撮像装置１０には撮像画像を残すことなく、復元装置２０において正確な画像を復元することができる。このため、プライバシー保護に優れた撮像システム１を実現できる。
　なお、上の実施の形態では、撮像装置１０から送信する加算サンプリング情報は、加算サンプリング部１０３が実行する加算サンプリング処理を表したものとした。これに対して、加算サンプリング情報を、加算サンプリング部１０３が利用する撮像時加算サンプリング情報と、画像復元部２０３が利用する復元時加算サンプリング情報との２つに分けてもよい。すなわち、加算サンプリング部１０３が実行する加算サンプリング処理を表す情報から、復元用の加算サンプリング情報を新たに生成し、これを撮像装置１０から送信するようにしてもよい。復元時に、撮像時とは異なる加算サンプリング情報を利用することによって、例えば、復元される画像の解像度を変化させることができる。
　図７は加算サンプリング処理の一例を示す模式図であり、図８は図７の加算サンプリング処理に対して復元する画像の解像度を低下させるときの復元処理を示す模式図である。また、図９は加算サンプリング情報の例であり、テーブル番号「４」が図７に対応しており、テーブル番号「５」が図８に対応している。
　いま、撮像装置１０の加算サンプリング部１０３が図７の加算サンプリング処理を行ったとする。このとき、撮像装置１０がテーブル番号「４」の加算サンプリング情報を復元装置２０に送信すると、復元装置２０の画像復元部２０３は、撮像時の加算サンプリング処理を正確に表した加算サンプリング情報を利用するため、４×４の解像度の画像を正確に復元することができる。一方、撮像装置１０がテーブル番号「５」の加算サンプリング情報を復元装置２０に送信すると、復元装置２０の画像復元部２０３は、解像度が低い２×２画素の画像を復元する。なお、テーブル番号「５」のような低解像度の画像を復元するための加算サンプリング情報は、例えば、撮像時の加算サンプリング情報を低解像度化することによって作成すればよい。
　また、低解像度の復元処理を行うための復元時加算サンプリング情報は、撮像時加算サンプリング情報のサンプリング位置を変更（シャッフル）することによって、作成することも可能である。
　図１０は図７の加算サンプリング処理に対して、サンプリング位置を変更することによって、復元する画像の解像度を低下させる例を示す模式図である。また、図１１は加算サンプリング情報の例であり、テーブル番号「６」が図１０に対応している。図１０では、図７から、太線で区切った２×２画素単位の領域内で、それぞれサンプリング位置を変更している。図７の加算サンプリング処理に対応して、図１０の復元処理を行った場合、復元画像ではサンプリング位置を変更した画素値が入れ替わるため、結果的に、２×２画素のサイズに相当する解像度までしか復元することができない。すなわち、撮像装置１０がテーブル番号「６」の加算サンプリング情報を復元装置２０に送信すると、復元装置２０の画像復元部２０３は、解像度が低い画像を復元する。
　また、加算サンプリング部１０３が用いる加算サンプリング情報は、撮像装置ごとに変更してもかまわない。これにより、仮に撮像装置から出力されたデジタル信号を他人が入手した場合でも、加算サンプリング情報が容易には分からないため、復元処理を行うことができない。
　（実施の形態２）
　図１２は実施の形態２に係る撮像システムの構成を示すブロック図である。図１２において、図１と共通の構成要素については同じ符号を用い、詳細な説明を省略する。
　撮像システム２は、撮像装置１１と、撮像装置１１から送信された信号を用いて画像を復元する復元装置２０とを備えている。撮像装置１１は、図１の撮像装置１０の構成要素に加えて、加算サンプリング情報設定部１１１を備えている。
　加算サンプリング情報設定部１１１は、加算サンプリング部１０３が利用する加算サンプリング情報を設定する。前述のように、加算サンプリング情報により、復元装置２０の画像復元部２０３によって復元される画像の解像度は変化する。そこで、ユーザ所望の解像度で画像が復元されるように、加算サンプリング情報設定部１１１は、加算サンプリング情報を設定する。これにより例えば、ユーザが高解像度で撮像したくない場合には低解像度画像を、高解像度で撮像したい場合には高解像度画像を、復元することが可能である。
　加算サンプリング情報設定部１１１は、例えば、ユーザから所望の解像度の指定を受けるものとする。この場合のインターフェイスには、例えば、ボタンやタッチパネル等を用いればよい。加算サンプリング情報設定部１１１は、指定された解像度に合わせて加算サンプリング情報を生成し、加算サンプリング部１０３に与える。この場合、加算サンプリング情報設定部１１１は、例えば、復元できる解像度と加算サンプリング情報との対応関係を表すテーブルを予め保持しておけばよい。加算サンプリング部１０３は、与えられた加算サンプリング情報に基づいて加算サンプリング処理を実行する。
　また、ユーザが解像度を直接入力するのではなく、例えば、生活シーンに合わせて解像度を設定するようにしてもかまわない。例えば、「活動中」の場合には「高解像度」、「留守」の場合には「中解像度」、「睡眠」の場合には「低解像度」となるように設定する。生活シーンの入力は、例えば、撮像装置１１に「活動中」「留守」「睡眠」のボタンを設置し、ユーザがこのボタンを操作することによって行えばよい。あるいは、復元装置２０によって復元された画像を利用して、画像認識処理を行うことによって、生活シーンを把握することも可能である。
　図１３および図１４は解像度を下げる場合の加算サンプリング処理の例を示す模式図である。ユーザが復元画像の解像度を落とす設定を加算サンプリング情報設定部１１１に行った場合、加算サンプリング情報設定部１１１は、例えば図１３のような加算サンプリング情報を設定する。図１３では、サンプリング最小単位は２×１画素となっている。このとき、画像復元部２０３は、図１４に示すように、サンプリング最小単位である２×１画素を単位とする画像しか復元することができない。したがって、復元画像の解像度が下がる。
　図１５は図１２の撮像システム２における、加算サンプリング情報の設定処理の例を示すフローチャートである。
　ステップＳ１０１において、ユーザは加算サンプリング情報設定部１１１を通して、復元画像の所望の解像度を設定する。これは例えば、ユーザが、撮像装置１１に設けられた解像度ボタンを操作することによって行えばよい。
　ステップＳ１０２において、加算サンプリング情報設定部１１１は、所望の解像度で復元可能な加算サンプリング情報を生成する。
　ステップＳ１０３において、加算サンプリング部１０３は、加算サンプリング情報設定部１１１が設定した加算サンプリング情報に従い、加算サンプリング処理を実施する。
　以上の処理により、撮像システム２は、ユーザの所望の解像度で画像を復元することが可能である。
　なお、加算サンプリング情報設定部１１１は、撮像装置１１が撮像を行うための加算サンプリング情報と、復元装置２０が画像復元を行うために利用する復元時加算サンプリング情報とを、それぞれ設定するようにしてもかまわない。図１６はこの処理の例を示すフローチャートである。図１６において、図１５と共通するステップについては同じ符号を用い、詳細な説明は省略する。
　ステップＳ１０１において、ユーザは加算サンプリング情報設定部１１１を通して、復元画像の所望の解像度を設定する。
　ステップＳ１０４において、加算サンプリング情報設定部１１１は、所望の解像度で復元可能な撮像時加算サンプリング情報と復元時加算サンプリング情報とを生成する。これは例えば、撮像時加算サンプリング情報として図７に示す情報を、復元時加算サンプリング情報として図８に示す情報を生成すればよい。この場合、加算サンプリング情報設定部１１１は例えば、復元できる解像度と、撮像時加算サンプリング情報および復元時加算サンプリング情報との対応関係を表すテーブルを保持しておけばよい。
　ステップＳ１０３において、加算サンプリング部１０３は、加算サンプリング情報設定部１１１が設定した撮像時加算サンプリング情報に従い、加算サンプリング処理を実施する。
　ステップＳ１０５において、第一通信部１０４は、加算サンプリング情報設定部１１１が設定した復元時加算サンプリング情報を復元装置２０に送信する。
　以上の処理により、撮像システム２は、ユーザの所望の解像度で画像を復元することが可能である。
　また、加算サンプリング情報設定部は、撮像装置に設ける代わりに、復元装置に設けてもかまわない。図１７は本実施の形態に係る撮像システムの構成を示すブロック図である。図１７において、図１と共通の構成要素については同じ符号を用い、詳細な説明を省略する。撮像システム２Ａは、撮像装置１０と、撮像装置１０から送信された信号を用いて画像を復元する復元装置２１とを備えている。復元装置２１は、図１の復元装置２０の構成要素に加えて、加算サンプリング情報設定部２１１を備えている。
　加算サンプリング情報設定部２１１は、例えば、ユーザから所望の解像度の指定を受けるものとする。この場合のインターフェイスには、例えば、ボタンやタッチパネル等を用いればよい。加算サンプリング情報設定部２１１は、指定された解像度に合わせて加算サンプリング情報を生成し、第三通信部２０１に与える。この場合、加算サンプリング情報設定部２１１は、例えば、復元できる解像度と加算サンプリング情報との対応関係を表すテーブルを予め保持しておけばよい。撮像装置１０の加算サンプリング部１０３は、第一通信部１０４が受信した加算サンプリング情報に基づいて加算サンプリング処理を実行する。
　また、ユーザが解像度を直接入力するのではなく、例えば、生活シーンに合わせて解像度を設定するようにしてもかまわない。例えば、「活動中」の場合には「高解像度」、「留守」の場合には「中解像度」、「睡眠」の場合には「低解像度」となるように設定する。生活シーンの入力は、例えば、復元装置２１に「活動中」「留守」「睡眠」のボタンを設置し、ユーザがこのボタンを操作することによって行えばよい。あるいは、復元装置２１によって復元された画像を利用して、画像認識処理を行うことによって、生活シーンを把握することも可能である。
　図１８は図１７の撮像システム２Ａにおける、加算サンプリング情報の設定処理の例を示すフローチャートである。
　ステップＳ２０１において、復元装置２１のユーザは、加算サンプリング情報設定部２１１を通して、復元画像の所望の解像度を設定する。
　ステップＳ２０２において、加算サンプリング情報設定部２１１は、所望の解像度で復元可能な加算サンプリング情報を生成する。
　ステップＳ２０３において、復元装置２１の第三通信部２０１は、加算サンプリング情報設定部２１１が生成した加算サンプリング情報を、撮像装置１０に送信する。
　ステップＳ２０４において、撮像装置１０の第一通信部１０４は、送信された加算サンプリング情報を、受信する。
　ステップＳ２０５において、加算サンプリング部１０３は、第一通信部１０４が受信した加算サンプリング情報に従い、加算サンプリング処理を実施する。
　以上説明したように本実施形態によると、撮像装置または復元装置に加算サンプリング情報設定部を設けることによって、ユーザが復元画像の解像度を自由に設定できる。これにより、例えば、ユーザが高解像度で撮像されたくない場合には低解像度画像を、高解像度で撮像されたい場合には高解像度画像を復元することができ、プライバシー保護に優れた撮像システムを実現できる。
　また、実施の形態１と同様に、撮像装置１０，１１において、第一通信部１０４と第二通信部１０６とは、同一の通信部を利用して実現してもかまわない。同様に、復元装置２０，２１において、第三通信部１０７と第四通信部１０８とは、同一の通信部を利用して実現してもかまわない。
　また、実施の形態１と同様に、図１２の構成では撮像装置１１と復元装置２０とが、図１７の構成では撮像装置１０と復元装置２１とが、共通の複数種類の加算サンプリング情報を、それぞれ記憶していてもよい。この場合、図１２の構成では、撮像装置１１が、加算サンプリング情報自体に代えて、共有している複数種類の加算サンプリング情報の中のいずれかを特定する情報を、復元装置２０に送信する。また、図１７の構成では、復元装置２１が、加算サンプリング情報自体に代えて、共有している複数種類の加算サンプリング情報の中のいずれかを特定する情報を、撮像装置１０に送信する。これにより、通信量を大幅に削減することが可能である。
　（実施の形態３）
　図１９は実施の形態３に係る撮像システムの構成を示すブロック図である。図１９において、図１２と共通の構成要素については同じ符号を用い、詳細な説明を省略する。
　図１９の撮像システム３において、撮像装置１２における加算サンプリング情報設定部１１２は、撮像装置１２が撮像を行うための加算サンプリング情報と、復元装置２０が画像復元を行うために利用する複数の復元時加算サンプリング情報とを設定する。この複数の復元時加算サンプリング情報は、例えば、互いに異なる解像度に対応している複数種類の加算サンプリング情報である。複数の復元時加算サンプリング情報は、第一通信部１０４を通じて、複数の復元装置２０に送信される。このとき、送信される復元時加算サンプリング情報は、設定された複数の復元時加算サンプリング情報のいずれかまたは複数であり、復元装置２０ごとに異なったものでも構わない。復元装置２０では、受信した復元時サンプリング情報を利用して画像復元処理を行うため、本実施形態に係る撮像システム３では、復元装置２０ごとに異なった解像度の画像信号を復元することができる。
　図２０は本実施形態に係る撮像システム３の、加算サンプリング情報の設定処理の例を示すフローチャートである。図２０において、図１６と共通するステップについては同じ符号を用い、詳細な説明は省略する。
　ステップＳ１０６において、加算サンプリング情報設定部１１２は、複数の復元画像の解像度に対応する加算サンプリング情報を設定する。例えば、復元装置２０の出力部２０４であるディスプレイに想定される解像度を、複数、設定すればよい。ステップＳ１０４において、加算サンプリング情報設定部１１２は、所望の解像度で復元可能な撮像時加算サンプリング情報および復元時加算サンプリング情報を生成する。これは例えば、撮像時加算サンプリング情報として図７に示す情報を生成し、復元時加算サンプリング情報として図８に示す情報を生成すればよい。この場合、加算サンプリング情報設定部１１２は例えば、復元できる解像度と、撮像時加算サンプリング情報および復元時加算サンプリング情報との対応関係を表すテーブルを保持しておけばよい。
　ステップＳ１０３において、加算サンプリング部１０３は、加算サンプリング情報設定部１１２が設定した撮像時加算サンプリング情報に従い、加算サンプリング処理を実施する。
　ステップＳ１０７において、第一通信部１０４は、加算サンプリング情報設定部１１２が設定した複数の復元時加算サンプリング情報のうち少なくともいずれか１つを復元装置２０に送信する。複数の復元装置２０にどの復元時加算サンプリング情報を送信するかは、復元装置２０の出力部２０４であるディスプレイの解像度から決定すればよい。すなわち、ディスプレイの解像度と等しい画像信号が復元できる復元時加算サンプリング情報を送信すればよい。
　図２１は実施の形態３に係る他の撮像システムの構成を示すブロック図である。図２１において、図１９と共通の構成要素については同じ符号を用い、詳細な説明を省略する。
　図２１の撮像システム３Ａにおいて、復元装置２２は、第三通信部２０１、第四通信部２０２、画像復元部２０３、出力部２０４、および加算サンプリング情報選択部２０６を備えている。撮像装置１３は、加算サンプリング情報設定部１１２が設定した複数の復元時加算サンプリング情報のいずれかを復元装置２２に送付するのではなく、複数の復元時加算サンプリング情報を復元装置２２に送付する。復元装置２２は、第三通信部２０１で受信した複数の復元時加算サンプリング情報から最適なものを選択することによって、出力部２０４に最適な画像信号を復元することができる。この処理について、詳しく説明する。
　図２２は本実施形態における復元装置２２の処理の例を示すフローチャートである。
　ステップＳ２０７において、第三通信部２０１は、複数の復元時加算サンプリング情報を受信する。
　ステップＳ２０８において、加算サンプリング情報選択部２０６は、第三通信部２０１が受信した複数の復元時加算サンプリング情報から、最適なものを選択する。これは例えば、ユーザ所望の解像度で画像信号が復元される復元時加算サンプリング情報を選択すればよい。たとえば、ユーザがディスプレイの表示を２倍に拡大した場合、２倍の解像度で画像信号が復元される復元時加算サンプリング情報を選択する。また、ユーザがディスプレイの表示を１／４倍に縮小した場合、１／４倍の解像度で画像信号が復元される復元時加算サンプリング情報を選択する。
　ステップＳ２０９において、第四通信部２０２は、第二通信部１０６から送信されたデジタル信号を、例えばネットワークを介して、受信する。
　ステップＳ２１０において、画像復元部２０３は、第四通信部２０２が受信したデジタル信号に対して、加算サンプリング情報選択部２０６が選択した加算サンプリング情報を用いて復元処理を行い、画像信号を得る。
　ステップＳ２１１において、出力部２０４は、画像復元部２０３が復元した画像を、ディスプレイに表示する。
　以上説明したように、本実施の形態によれば、撮像装置１２，１３においてアナログデジタル変換前に加算サンプリング処理を行い、その加算サンプリング情報を復元装置２０，２２に送信する。加算サンプリング情報設定部１１２は複数の復元時加算サンプリング情報を設定する。これにより、復元装置２０，２２の出力部２０４の解像度やユーザの動作に合わせて、復元画像信号の解像度を変化させることができる。これにより、撮像装置１２，１３には撮像画像を残すことなく、復元装置２０，２２において所望の画像を復元することができる。このため、プライバシー保護に優れた撮像システム３，３Ａを実現できる。
　なお、本明細書における撮像システムは装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像システムの動作を行ってもよい。そのようなコンピュータプログラムは、たとえば図１５のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ－ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
　本発明に係る撮像システムによると、撮像装置に元の画像データが残ることなく、復元装置で画像を復元できる。したがって例えば、撮像機器を搭載したテレビ、エアコン、掃除用ロボット等の家庭用機器において、優れたプライバシー保護を実現できる。
１，２，２Ａ，３，３Ａ　撮像システム
１０，１１，１２，１３　撮像装置
２０，２１，２２　復元装置
１０１　光電変換部
１０２　電荷保持部
１０３　加算サンプリング部
１０４　第一通信部
１０５　アナログデジタル変換部
１０６　第二通信部
１１１，１１２，２１１　加算サンプリング情報設定部
２０１　第三通信部
２０２　第四通信部
２０３　画像復元部
２０４　出力部

Claims (14)

  1. 　複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
    　前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、
    　前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、
    　前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、
    　前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、送信する撮像側通信部とを備えた
    ことを特徴とする撮像装置。
  2. 　請求項１記載の撮像装置において、
    　前記加算サンプリング処理に関する情報として、サンプリング画素位置を表す情報である加算サンプリング情報を送信する
    ことを特徴とする撮像装置。
  3. 　請求項２記載の撮像装置において、
    　前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表したものである
    ことを特徴とする撮像装置。
  4. 　請求項２記載の撮像装置において、
    　前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、復元処理によって低解像度化された画像信号が得られるように、新たに生成されたものである
    ことを特徴とする撮像装置。
  5. 　請求項４記載の撮像装置において、
    　前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報に対して、サンプリング位置を変更したものである
    ことを特徴とする撮像装置。
  6. 　請求項４記載の撮像装置において、
    　前記加算サンプリング情報を、互いに異なる解像度に対応する複数種類生成し、送信する
    ことを特徴とする撮像装置。
  7. 　請求項１記載の撮像装置において、
    　前記撮像装置と、前記撮像装置から送信された信号を用いて画像を復元する復元装置とは、共通の複数種類の加算サンプリング情報を、それぞれ記憶しており、
    　前記撮像装置は、前記加算サンプリング処理に関する情報として、前記複数種類の加算サンプリング情報の中のいずれかを特定する情報を、前記復元装置に送信する
    ことを特徴とする撮像装置。
  8. 　請求項１記載の撮像装置において、
    　加算サンプリング情報を設定する設定部を備え、
    　前記加算サンプリング部は、前記設定部によって設定された前記加算サンプリング情報に従って、加算サンプリング処理を行う　
    ことを特徴とする撮像装置。
  9. 　請求項１記載の撮像装置から送信された信号を用いて画像復元を行う復元装置であって、
    　前記撮像装置の前記撮像側通信部から送信された、前記加算サンプリング処理に関する情報、および、前記デジタル信号を、受信する復元側通信部と、
    　前記復元側通信部が受信した前記デジタル信号に対して、前記復元側通信部が受信した前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る画像復元部と、
    　前記画像復元部が復元した前記画像信号を出力する出力部とを備えた
    ことを特徴とする復元装置。
  10. 　撮像装置と、前記撮像装置から送信された信号を用いて画像を復元する復元装置とを備えた撮像システムであって、
    　前記撮像装置は、
    　複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
    　前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、
    　前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、
    　前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、
    　前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、前記復元装置に送信する撮像側通信部とを備え、
    　前記復元装置は、
    　前記撮像装置の前記撮像側通信部から送信された、前記加算サンプリング処理に関する情報、および、前記デジタル信号を受信する復元側通信部と、
    　前記復元側通信部が受信した前記デジタル信号に対して、前記復元側通信部が受信した前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る画像復元部と、
    　前記画像復元部が復元した前記画像信号を出力する出力部とを備えた
    ことを特徴とする撮像システム。
  11. 　請求項１０記載の撮像システムにおいて、
    　前記復元装置は、
    　加算サンプリング情報を設定する設定部を備え、
    　前記復元側通信部は、前記設定部によって設定された前記加算サンプリング情報を、前記撮像装置に送信するものであり、
    　前記撮像装置において、
    　前記撮像側通信部は、前記復元装置の前記復元側通信部から送信された前記加算サンプリング情報を、受信し、
    　前記加算サンプリング部は、前記撮像側通信部が受信した前記加算サンプリング情報に従って、加算サンプリング処理を行う
    ことを特徴とする撮像システム。
  12. 　請求項１０記載の撮像システムにおいて、
    　前記復元装置を、複数備え、
    　前記撮像装置は、
    　前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、サンプリング画素位置を表す情報である加算サンプリング情報を、複数生成し、
    　前記複数の復元装置にそれぞれ、前記加算サンプリング処理に関する情報として、生成した前記複数の加算サンプリング情報のうち少なくともいずれか１つを送信する
    ことを特徴とする撮像システム。
  13. 　請求項１０記載の撮像システムにおいて、
    　前記撮像装置は、
    　前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、サンプリング画素位置を表す情報である加算サンプリング情報を、複数生成し、
    　前記復元装置に、前記加算サンプリング処理に関する情報として、生成した前記複数の加算サンプリング情報を送信し、
    　前記復元装置は、受信した前記複数の加算サンプリング情報のうちいずれかを選択し、選択した前記加算サンプリング情報を用いて復元処理を行う
    ことを特徴とする撮像システム。
  14. 　撮像装置と、前記撮像装置から送信された信号を用いて画像復元を行う復元装置とを備えた撮像システムにおける撮像方法であって、
    　前記撮像装置が、
    　撮像画像の電荷信号を保持し、
    　保持している電荷信号に対して、加算サンプリング処理を行い、
    　前記加算サンプリング処理後の信号を、デジタル信号に変換し、
    　前記加算サンプリング処理に関する情報と、前記デジタル信号とを、前記復元装置に送信し、
    　前記復元装置が、
    　前記撮像装置から送信された、前記加算サンプリング処理に関する情報と、前記デジタル信号とを、受信し、
    　前記デジタル信号に対して、前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得て、
    　復元した前記画像信号を出力する
    ことを特徴とする撮像方法。
PCT/JP2014/002595 2013-05-29 2014-05-16 撮像装置、復元装置、撮像システム、および、撮像方法 WO2014192243A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014551347A JP5760195B2 (ja) 2013-05-29 2014-05-16 撮像装置、復元装置、撮像システム、および、撮像方法
US14/626,583 US9595081B2 (en) 2013-05-29 2015-02-19 Imaging device with multiple sampling unit and imaging method using multiple sampling

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-112638 2013-05-29
JP2013112638 2013-05-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/626,583 Continuation US9595081B2 (en) 2013-05-29 2015-02-19 Imaging device with multiple sampling unit and imaging method using multiple sampling

Publications (1)

Publication Number Publication Date
WO2014192243A1 true WO2014192243A1 (ja) 2014-12-04

Family

ID=51988297

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002595 WO2014192243A1 (ja) 2013-05-29 2014-05-16 撮像装置、復元装置、撮像システム、および、撮像方法

Country Status (3)

Country Link
US (1) US9595081B2 (ja)
JP (1) JP5760195B2 (ja)
WO (1) WO2014192243A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791672A (zh) * 2015-01-09 2016-07-20 松下知识产权经营株式会社 拍摄装置、拍摄系统、复原装置、拍摄方法以及计算机程序
WO2019078337A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107395950B (zh) 2016-05-16 2021-11-09 西安电子科技大学 媒体数据处理方法和装置及系统
WO2018127963A1 (ja) * 2017-01-06 2018-07-12 日本電気株式会社 パターン生成装置、画像処理装置、パターン生成方法、及びプログラムを記憶した記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993560A (ja) * 1995-09-25 1997-04-04 Fujitsu Ltd 書画の暗号化及び復号化装置
JP2009268901A (ja) * 2008-05-06 2009-11-19 General Electric Co <Ge> 圧縮センシングと共にパラレルイメージングを用いるシステムおよび方法
JP2011146813A (ja) * 2010-01-12 2011-07-28 Nippon Telegr & Teleph Corp <Ntt> 信号処理装置、及びそれを用いた受信システム、並びに信号処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5272860B2 (ja) 2009-04-08 2013-08-28 ソニー株式会社 固体撮像素子およびカメラシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993560A (ja) * 1995-09-25 1997-04-04 Fujitsu Ltd 書画の暗号化及び復号化装置
JP2009268901A (ja) * 2008-05-06 2009-11-19 General Electric Co <Ge> 圧縮センシングと共にパラレルイメージングを用いるシステムおよび方法
JP2011146813A (ja) * 2010-01-12 2011-07-28 Nippon Telegr & Teleph Corp <Ntt> 信号処理装置、及びそれを用いた受信システム、並びに信号処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STEVEN T. GRIFFINA: "Compressive Sensing Applied to Homeland Security, SAS 2008", IEEE SENSORS APPLICATIONS SYMPOSIUM, 12 February 2008 (2008-02-12), pages 178 - 181, XP007918912 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791672A (zh) * 2015-01-09 2016-07-20 松下知识产权经营株式会社 拍摄装置、拍摄系统、复原装置、拍摄方法以及计算机程序
JP2016131363A (ja) * 2015-01-09 2016-07-21 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、復元装置、撮像方法およびコンピュータプログラム
CN105791672B (zh) * 2015-01-09 2020-02-07 松下知识产权经营株式会社 拍摄装置、拍摄系统、复原装置、拍摄方法以及计算机程序
WO2019078337A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法
JPWO2019078337A1 (ja) * 2017-10-19 2020-12-17 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法

Also Published As

Publication number Publication date
US20150170340A1 (en) 2015-06-18
JPWO2014192243A1 (ja) 2017-02-23
US9595081B2 (en) 2017-03-14
JP5760195B2 (ja) 2015-08-05

Similar Documents

Publication Publication Date Title
JP6361965B2 (ja) 撮像システム、撮像装置、符号化装置、および撮像方法
US8315481B2 (en) Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program
JP5760195B2 (ja) 撮像装置、復元装置、撮像システム、および、撮像方法
JP6531986B2 (ja) 撮像装置、撮像システム、復元装置、撮像方法およびコンピュータプログラム
US10375299B2 (en) Imaging device and imaging method using compressed sensing
JP2009003941A5 (ja)
JP2009100373A (ja) ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
CN112585605A (zh) 信息处理系统、信息处理方法、终端装置和信息处理装置
JP2015216619A (ja) 撮像システム、撮像装置、撮像方法および符号化方法
JP6511812B2 (ja) 送信装置、受信装置、送信方法、受信方法、及び送受信システム
JP2006129152A (ja) 撮像装置および画像配信システム
CN101719985A (zh) 一种图像采集和处理的方法和装置
CN101742120B (zh) 影像信号处理电路和方法、成像和显示装置及相机系统
JP6135865B2 (ja) 撮像システム、撮像装置、および撮像方法
US20130051689A1 (en) Image encoding apparatus, image encoding method and program
KR101950431B1 (ko) 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
JP2009273072A (ja) 高精細画像処理装置、高精細画像処理方法、およびプログラム
Gupta et al. DRCAS: deep restoration network for hardware based compressive acquisition scheme
US20240214690A1 (en) Redundant storage of image data in an image recording system
JP2018148582A (ja) 撮像システム、撮像装置、符号化装置、および撮像方法
JP2015076624A (ja) 符号化システム、符号化装置、復号化装置、および、符号化および復号化方法
KR101926491B1 (ko) 동영상 전송 방법
WO2024137155A1 (en) Redundant storage of image data in an image recording system
JP2005045705A (ja) 暗号化撮像システム
Gupta et al. Accurate simulation of on-sensor compressed sensing using ISET

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014551347

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14804743

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14804743

Country of ref document: EP

Kind code of ref document: A1