WO2022168594A1 - スペクトルデータキューブを改変する方法および装置 - Google Patents

スペクトルデータキューブを改変する方法および装置 Download PDF

Info

Publication number
WO2022168594A1
WO2022168594A1 PCT/JP2022/001493 JP2022001493W WO2022168594A1 WO 2022168594 A1 WO2022168594 A1 WO 2022168594A1 JP 2022001493 W JP2022001493 W JP 2022001493W WO 2022168594 A1 WO2022168594 A1 WO 2022168594A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
data
decoding
spectral
compressed image
Prior art date
Application number
PCT/JP2022/001493
Other languages
English (en)
French (fr)
Inventor
基樹 八子
弓子 加藤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202280009937.8A priority Critical patent/CN116762330A/zh
Priority to JP2022579422A priority patent/JPWO2022168594A1/ja
Publication of WO2022168594A1 publication Critical patent/WO2022168594A1/ja
Priority to US18/353,883 priority patent/US20230360393A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0053—Embedding of the watermark in the coding stream, possibly without decoding; Embedding of the watermark in the compressed domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Definitions

  • the present disclosure relates to methods and apparatus for modifying spectral data cubes.
  • Spectral information includes information that characterizes the material, state, or type of an object. Therefore, from the viewpoint of security protection or data concealment, it may be required to encode or encrypt the spectrum information.
  • Patent Document 1 discloses an example of a hyperspectral imaging device using compressed sensing.
  • the imaging device includes an encoding element that is an array of a plurality of optical filters arranged two-dimensionally, an image sensor that detects light transmitted through the encoding element, and a signal processing circuit.
  • the encoding element is arranged on the optical path connecting the subject and the image sensor.
  • the transmission spectra of the multiple filters in the encoding element differ from filter to filter.
  • An image sensor acquires one two-dimensional image by simultaneously detecting light in which components of a plurality of wavelength bands that have passed through a filter are superimposed for each pixel.
  • Patent Literature 1 discloses a technique of encoding or encrypting spectral information of an object using an encoding element when photographing.
  • Patent Document 2 discloses an example of a technique for encoding and compressing data such as multispectral images or hyperspectral images after shooting.
  • Patent Document 3 discloses an example of technology for embedding digital watermark data in unit color data in multicolor image data.
  • the present disclosure provides novel methods for making modifications such as inserting identifiers into spectral data cubes such as hyperspectral or multispectral images.
  • a method is a computer-implemented method.
  • the method includes an encoding matrix used to encode a spectral datacube containing image information in multiple wavelength bands to generate a compressed image, or for decoding the spectral datacube from the encoded compressed image. and editing the matrix data such that when the spectral data cube is decoded, image information for at least one wavelength band in the spectral data cube is altered. and outputting the edited matrix data.
  • Computer-readable recording media include, for example, non-volatile recording media such as CD-ROMs (Compact Disc-Read Only Memory).
  • a device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. As used herein and in the claims, a "device" can mean not only one device, but also a system of multiple devices.
  • image information of at least one wavelength band in the spectral datacube is modified during encoding or decoding of the spectral datacube. This makes it possible, for example, to keep the contents of the spectrum data cube confidential, and to improve traceability when the spectrum data cube is illegally leaked. Alternatively, it is also possible to artificially change the characteristics of the imaging device that acquires the compressed image.
  • FIG. 1 is a diagram for explaining a method of inserting an identifier into a datacube.
  • FIG. 2A is a diagram showing an example of editing matrix data.
  • FIG. 2B is a diagram showing another example of editing matrix data.
  • FIG. 2C is a diagram showing still another example of editing matrix data.
  • FIG. 3A is a diagram schematically showing a configuration example of a hyperspectral imaging system.
  • FIG. 3B is a schematic diagram of a first variant of a hyperspectral imaging system.
  • FIG. 3C schematically illustrates a second variant of the hyperspectral imaging system.
  • FIG. 3D schematically illustrates a third variant of the hyperspectral imaging system.
  • FIG. 4A is a diagram schematically showing an example of a filter array;
  • FIG. 4A is a diagram schematically showing an example of a filter array
  • FIG. 4B is a diagram showing an example of a spatial distribution of light transmittance in each of a plurality of wavelength bands included in the target wavelength band.
  • FIG. 4C is a diagram showing an example of spectral transmittance of area A1 included in the filter array shown in FIG. 4A.
  • FIG. 4D is a diagram showing an example of spectral transmittance of area A2 included in the filter array shown in FIG. 4A.
  • FIG. 5A is a diagram for explaining the relationship between a target wavelength band and a plurality of wavelength bands included therein.
  • FIG. 5B is a diagram for explaining the relationship between a target wavelength band and a plurality of wavelength bands included therein.
  • FIG. 6A is a diagram for explaining spectral transmittance characteristics in a certain area of the filter array.
  • FIG. 6B is a diagram showing the results of averaging the spectral transmittances shown in FIG. 6A for each wavelength band.
  • FIG. 7 is a diagram showing a configuration example of an inspection system according to the first embodiment.
  • FIG. 8 is a block diagram showing a configuration example related to data processing in the inspection system.
  • FIG. 9 is a diagram for explaining identifier insertion processing according to the first embodiment.
  • FIG. 10A is a flow chart showing an example of processing of a processing circuit.
  • FIG. 10B is a flowchart illustrating an example of processing for editing a decoding table according to identifiers.
  • FIG. 11 is a diagram for explaining an identifier insertion process according to the second embodiment.
  • FIG. 12 is a block diagram for explaining the identifier insertion process in the second embodiment.
  • FIG. 13 is a block diagram showing the configuration of the system according to the third embodiment.
  • FIG. 14 is a block diagram showing the configuration of the system according to the fourth embodiment.
  • FIG. 15 is a block diagram showing the configuration of an inspection system according to the fifth embodiment.
  • FIG. 16 is a block diagram showing a modification of the inspection system according to the fifth embodiment.
  • FIG. 17 is a block diagram showing the configuration of the system according to the sixth embodiment.
  • FIG. 18 is a block diagram showing the configuration of the system according to the seventh embodiment.
  • all or part of a circuit, unit, device, member or section, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be performed by one or more electronic circuits.
  • An LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than memory elements may be integrated into one chip.
  • LSIs or ICs may be called system LSIs, VLSIs (very large scale integration), or ULSIs (ultra large scale integration) depending on the degree of integration.
  • FPGAs Field Programmable Gate Arrays
  • RLDs reconfigurable logic devices
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on one or more non-transitory storage media, such as ROMs, optical discs, hard disk drives, etc., and when the software is executed by a processor, the functions specified in the software are performed. is performed by the processor and peripherals.
  • a system or apparatus may comprise one or more non-transitory storage media on which software is recorded, a processing unit, and required hardware devices such as interfaces.
  • Imaging devices such as hyperspectral cameras or multispectral cameras can capture image information in more wavelength bands than cameras that typically capture RGB images.
  • the image data acquired by those cameras is referred to herein as a “spectral datacube” or simply a “datacube.”
  • the data representing the hyperspectral image acquired by the hyperspectral camera is referred to as the "hyperspectral datacube” or "HS datacube”.
  • a spectral datacube contains image information for each of a plurality of wavelength bands.
  • a spectral datacube contains important information that characterizes the material, condition, or type of object. Therefore, strict management of the spectrum data cube is required.
  • problems may occur if data cubes generated in processes such as product inspection are illegally taken out or leaked to the outside. Therefore, it may be required to modify the data cube to make it confidential. It may be possible to trace even if the datacube is leaked illegally.
  • a countermeasure of embedding an identifier such as a digital watermark in the data is conceivable. For example, it is possible to embed in the data cube an identifier that identifies the camera or inspection device that generated the data cube, or an identifier that identifies when the data cube was generated.
  • the step of generating the data cube and the step of modifying the data cube, such as inserting an identifier into the data cube are separated, so there is a possibility that the unaltered data cube will be leaked.
  • rice field For example, in a product inspection process using a hyperspectral camera, there is a possibility that an operator or a malicious third party illegally removes or leaks the HS data cube before it has been modified.
  • a method is a computer-implemented signal processing method.
  • the method comprises (a) an encoding matrix used to encode a spectral datacube containing image information in multiple wavelength bands to generate a compressed image, and/or the spectral data from the encoded compressed image; obtaining matrix data indicative of a decoding matrix used to decode a cube; and (b) image information of at least one wavelength band in said spectral data cube is altered when said spectral data cube is decoded. and (c) outputting the edited matrix data.
  • the "compressed image” means image data in which image information of multiple wavelength bands is compressed as one two-dimensional image.
  • a compressed image may be generated by encoding a spectral datacube generated by an imaging device, such as a hyperspectral camera, based on an encoding matrix.
  • a compressed image can also be generated by an imaging device that utilizes compressed sensing, such as that disclosed in US Pat.
  • Spectral data cube is data with two-dimensional coordinates (x, y) and three-dimensional values of wavelength ⁇ .
  • a spectral datacube contains image information for each of a plurality of wavelength bands.
  • the number of wavelength bands in the spectral data cube is any number greater than or equal to four.
  • the number of bands can be 10 or more, in some cases 100 or more, in some examples. As the number of bands increases, more spectral information can be obtained, and the physical properties, characteristics, types, etc. of the object can be inspected in more detail.
  • the above method can be executed, for example, by a computer in an inspection system that inspects products, or by a server computer that delivers data necessary for inspection to such a computer.
  • the matrix data indicating the encoding matrix used to generate the compressed image and/or the decoding matrix used to decode the spectral data cube from the compressed image is the modified content of the spectral data cube. edited accordingly. Specifically, the value of one or more matrix elements in the matrix data representing the encoding matrix or the decoding matrix is rewritten to a value different from the original value according to the contents of modification.
  • the values of one or more specific matrix elements in matrix data representing an encoding matrix or a decoding matrix are written to different values from the original values depending on the content of the identifier. be replaced.
  • the values of some or all of the matrix elements in the matrix data are changed to values different from the original values, such as superimposing random noise on the spectrum data cube. can be rewritten.
  • the compressed image generated based on the encoding matrix is modified, and as a result, the decoded spectral data cube is also modified.
  • the decoding matrix is compiled, the compressed image is not altered, but the decoded spectral datacube is altered. In either case, the final decoded spectral data cube is modified according to the compilation of the matrix data.
  • the spectrum data cube before modification is not generated, so it is possible to eliminate data security vulnerabilities. For example, it is possible to make it difficult for a third party who does not know the compilation of the matrix data to read the original spectral data cube. By embedding an identifier in the spectral data cube, it becomes possible to determine whether the spectral data cube was legitimately generated or illegally leaked.
  • both the encoding matrix and the decoding matrix may be edited appropriately, and as a result, modifications such as giving an identifier to the finally decoded spectral data cube may be performed.
  • the matrix data includes first matrix data indicating the encoding matrix and second matrix data indicating the decoding matrix
  • Editing the matrix data may include rewriting the matrix data such that the image information of the at least one wavelength band includes an identifier when the spectral data cube is decoded.
  • the identifier is embedded in the image data of at least one wavelength band in the finally generated spectral data cube.
  • the identifier may be embedded in such a manner that it can be visually recognized by a person, or may be embedded in a manner such as steganography that is not recognizable by a human but is recognizable by a computer.
  • Editing the matrix data may include rewriting the matrix data such that noise is imparted to the spectral data cube that interferes with reading image information of the at least one wavelength band.
  • noise that hinders reading of image information refers to noise that makes it difficult for a person or computer to recognize the original image information. Such noise may be imparted to the image information of multiple wavelength bands in the spectral datacube. According to such a configuration, since the content of the original spectrum data cube is kept confidential, vulnerability in data security can be eliminated.
  • Editing the matrix data may include rewriting the matrix data such that image information for the plurality of wavelength bands in the spectral data cube is altered when the spectral data cube is decoded. .
  • image information for the plurality of wavelength bands in the spectral data cube is altered when the spectral data cube is decoded.
  • the above signal processing method is not limited to the purpose of eliminating vulnerabilities in data security, and may be used for the purpose of artificially changing the characteristics of an imaging device that acquires image data for generating a spectrum data cube. good.
  • editing the matrix data may rewrite the matrix data such that when the spectral datacube is decoded, the image information of the at least one wavelength band changes in gray level.
  • by superimposing random noise on the decoding matrix it is possible to make it appear that the noise of the imaging device has increased in a pseudo manner.
  • editing the matrix data may rewrite the matrix data such that when the spectral datacube is decoded, the resolution of image information in the at least one wavelength band changes.
  • the device that edits the matrix data, the device that generates the compressed image, and the device that decodes the spectral data cube may be separate devices or the same device.
  • an imager or inspection device that produces compressed images may have the ability to edit matrix data and the ability to decode spectral datacubes.
  • a signal processing device separate from the imaging device or inspection device that generates the compressed image may have the function of editing the matrix data and the function of decoding the spectral data cube.
  • the matrix data indicates the decoding matrix.
  • the matrix data representing the decoding matrix is edited and output according to the modified content of the spectrum data cube. This allows the modified spectral datacube to be decoded using the edited matrix data.
  • Outputting the edited matrix data may include transmitting the matrix data to a device that decodes the spectral data cube from the compressed image based on the matrix data representing the decoded matrix.
  • the device may be, for example, an inspection device installed in a factory or the like. In that case, the edited matrix data can be delivered to the inspection device for use.
  • Outputting the matrix data may include storing the matrix data indicating the decoding matrix in a storage medium.
  • the method may further comprise obtaining the compressed image and using the edited matrix data to decode the spectral data cube from the compressed image.
  • the compressed image may be generated by an imaging device equipped with a filter array.
  • the filter array may include multiple types of optical filters having different transmission spectra.
  • the plurality of types of optical filters may be arranged in a two-dimensional plane.
  • the encoding matrix corresponds to a two-dimensional distribution of transmission spectra of the filter array.
  • a matrix representing the two-dimensional distribution of the transmission spectrum of the filter array can be used as the encoding matrix.
  • the generation of image data by the imager based on the light passed through the filter array corresponds to encoding the spectral data cube with the encoding matrix to generate a compressed image.
  • Decoding the spectral datacube may include decoding the spectral datacube from the compressed image by a compressed sensing process based on the decoding matrix. According to such a configuration, by using compressed sensing, a spectrum data cube can be decoded with higher accuracy from a compressed image encoded using a filter array corresponding to the encoding matrix.
  • a compressed image may be generated by an imaging device having a filter array as described above, as well as a device having another structure.
  • a compressed image may be generated by performing an encoding process based on an encoding matrix on a spectral data cube generated by an imaging device such as a hyperspectral camera.
  • an imaging device such as a hyperspectral camera.
  • Such a form is employed, for example, when the spectral data cube needs to be compressed to reduce its data size in order to record it on a storage medium or transmit it over a communication circuit. obtain.
  • the matrix data indicates the encoding matrix.
  • the matrix data representing the encoding matrix is edited and output according to the modified contents of the spectral data cube. This allows the edited matrix data to be used to generate a modified compressed image, resulting in a modified spectral data cube.
  • Outputting the matrix data may comprise transmitting the matrix data to a device that encodes the spectral data cube based on the matrix data representing the encoding matrix to generate the compressed image. .
  • This allows a device that generates a compressed image to generate a modified compressed image using the edited encoding matrix. Using such a modified compressed image and the decoding matrix, a modified spectral datacube can be generated.
  • Outputting the edited matrix data may include storing the matrix data representing the encoded matrix in a storage medium.
  • the method may further comprise obtaining the spectral datacube and encoding the spectral datacube based on the edited matrix data to produce the compressed image. This allows to generate a modified compressed image. Using such a modified compressed image and the decoding matrix, a modified spectral datacube can be generated.
  • the identifier directs apparatus for generating the compressed image based on the encoding matrix or apparatus for decoding the spectral datacube based on the decoding matrix. It may contain identifying information.
  • the identifier may include information specifying when the identifier was assigned. Including such information in the identifier can improve the traceability of the spectral data cube.
  • Obtaining the matrix data includes obtaining, from the compressed image, a decoding table for decoding an image for each of a plurality of wavelength bands included in the target wavelength band, and based on the decoding table, the Reduction for decoding as the spectral datacube an image for each of the fewer wavelengthbands than the plurality of wavelengthbands, wherein two or more of the plurality of wavelengthbands are combined as one wavelengthband.
  • Editing the matrix data may include editing the reduced decoding table. By generating the reduced decoding table as the matrix data, it is possible to reduce the computational load of the decoding process. Such processing is particularly useful when it is sufficient to acquire image information in a small number of bands, for example with a relatively wide bandwidth.
  • Outputting the edited matrix data may include transmitting the edited reduced decoding table to another device. This allows other devices to decode the modified spectral data cube from the compressed image based on the edited reduced decoding table with low computational load.
  • An apparatus comprises a storage device and processing circuitry.
  • the storage device stores an encoding matrix used to encode a spectral data cube containing image information in multiple wavelength bands to generate a compressed image, and/or stores the spectral data cube from the encoded compressed image.
  • the processing circuit edits the matrix data such that image information of at least one wavelength band in the spectral data cube is modified when the spectral data cube is decoded, and outputs the edited matrix data. .
  • Such a device may, for example, eliminate security vulnerabilities associated with the generation or transmission of unaltered spectral datacubes.
  • Such a device can be, for example, an inspection device that inspects products, or a server computer that delivers queue data to an inspection device.
  • the above-described device can be used not only for the purpose of eliminating security vulnerabilities, but also for the purpose of artificially changing the characteristics of an imaging device that acquires compressed images, for example.
  • a device includes a storage device that stores the edited matrix data output by the device that edits the matrix data, and a processing circuit.
  • the processing circuitry encodes the spectral data cube based on the matrix data to generate the compressed image and/or decodes the spectral data cube from the compressed image based on the matrix data. Run.
  • Such a device can generate a modified compressed image or spectral datacube based on the edited matrix data.
  • the matrix data may indicate the decoding matrix.
  • the apparatus may further comprise an imaging device that produces the compressed image.
  • the processing circuitry may decode the spectral data cube from the compressed image based on the matrix data indicative of the decoding matrix. With such a configuration, a modified spectral datacube can be generated.
  • the imaging device may include a filter array including a plurality of types of optical filters with different transmission spectra, and an image sensor that detects light that has passed through the filter array and generates the compressed image.
  • the encoding matrix corresponds to a two-dimensional distribution of transmission spectra of the filter array.
  • Fig. 1 is a diagram for explaining a method of inserting an identifier into a data cube.
  • a datacube 20 containing image information for each of four or more (nine in the example of FIG. 1) wavelength bands is generated from one compressed image 10 .
  • the compressed image 10 is data obtained by compressing image information of a plurality of wavelength bands as one monochrome image.
  • Compressed image 10 may be generated by a hyperspectral camera using compressed sensing (hereinafter also referred to as "compressed HS camera”), such as that disclosed in US Pat.
  • a compression HS camera includes a filter array in which a plurality of types of optical filters with different transmission spectra are arranged in a two-dimensional plane, and an image sensor that acquires an image of light transmitted through the filter array. At least some of the filters in the filter array may have a characteristic that the transmittance is locally high in at least two bands among a plurality of narrow bands included in the preset target wavelength band. A two-dimensional distribution of transmission spectra in the filter array is determined based on a predetermined encoding matrix. Each filter in the filter array modulates the intensity of incident light with a different transmittance for each wavelength. Such a filter array is called a "coding element". Compressed image 10 may be produced by a device different from the compressed HS camera.
  • a data processor may generate compressed image 10 by encoding a data cube generated by any hyperspectral or multispectral camera with an encoding matrix.
  • Datacube 20 is decoded from compressed image 10 by a decoding process using a decoding matrix corresponding to the encoding matrix.
  • Compressed sensing technology as disclosed in Patent Document 1, for example, can be used for the decoding process.
  • At least one of the encoding matrix and the decoding matrix is edited according to the contents of the identifier 22 so that the identifier 22 is included in the decoded datacube 20.
  • the identifier 22 can be automatically added to the compressed image 10 or the datacube 20 by performing the encoding process or the decoding process.
  • a separate process of inserting the identifier is required after obtaining the data cube before the identifier is inserted.
  • a data cube without an inserted identifier is generated or transmitted, which may result in an unsafe state in terms of data security.
  • the identifier 22 is inserted at the same time as the compressed image 10 or datacube 20 is generated. Data security is superior to the prior art because data cubes without identifiers inserted are never generated or transmitted.
  • the identifier 22 shown in FIG. 1 is character information that can be visually distinguished by humans, it may be other types of information such as numbers or symbols.
  • the identifier may be information such as steganography that is decoded by a computer and is difficult to distinguish visually.
  • the letters Panasonic shown in FIG. 1 are an example of the identifier 22 .
  • FIG. 2A is a diagram showing an example of editing matrix data.
  • an example of editing matrix data representing a decoding matrix will be described.
  • the matrix data representing the encoding matrix is called "encoding table”
  • the matrix data representing the decoding matrix is called "decoding table”.
  • FIG. 2A shows an example of some numerical values of the encoding table 30 and an example of some numerical values of the decoding table 40 .
  • FIG. 2A shows a decoded image 50 for one band obtained when decoding using the same table as the encoding table 30, and a decoded image 50 for the band obtained when decoding using the edited decoding table 40.
  • An example of a decoded image 60 of is also shown.
  • Decoding of the data cube is performed, for example, as disclosed in Japanese Unexamined Patent Application Publication No. 2002-200012, by calculating so that the product of the decoding matrix acting on the vector representing the data cube substantially matches the vector representing the compressed image.
  • n doubled in the example of FIG. 2
  • the luminance value of the decoded image 60 in that area is the original luminance of the decoded image 50.
  • the decoding matrix can be edited so that certain regions have luminance values that are smaller or larger than those of the original decoded image 50 .
  • the identifier 22 can be inserted at the same time as the spectrum data cube is generated.
  • a similar process can be performed for the encoding matrix.
  • a desired identifier 22 can be inserted into the spectral data cube by rewriting the values of a partial region of the encoding matrix and/or the decoding matrix according to the content of the identifier 22 .
  • Editing of matrix data in this way can be applied not only when assigning the identifier 22 to the spectrum data cube, but also when modifying the spectrum data cube in other manners.
  • random noise may be imparted to the decoded spectral data cube by randomly rewriting the matrix elements of at least one of the encoding and decoding matrices, as schematically illustrated in FIG. 2B.
  • Such alterations can make the spectral datacube difficult to read and conceal the information.
  • Editing the matrix data is equivalent to pseudo-editing the characteristics of the image sensor. For example, as shown in FIG. 2C, multiplying each matrix element in the decoding matrix by a constant is equivalent to multiplying each pixel value of the captured compressed image by its reciprocal. Therefore, by multiplying each matrix element in the decoding matrix by a constant, the dynamic range of the image sensor can be expanded or reduced in a pseudo manner. In other words, by rewriting the matrix data, it is possible to change the gradation of the image information of at least one wavelength band. By superimposing random noise on the decoding matrix, it is possible to make it appear that noise in the compressed image has increased.
  • FIG. 3A is a diagram schematically showing a configuration example of a hyperspectral imaging system.
  • This system includes an imaging device 100 and a processing device 200 .
  • the imaging device 100 has a configuration similar to that of the imaging device disclosed in Patent Document 1.
  • the imaging device 100 includes an optical system 140 , a filter array 110 and an image sensor 160 .
  • the optical system 140 and the filter array 110 are arranged on the optical path of light incident from the object 70, which is a subject. Filter array 110 is placed between optical system 140 and image sensor 160 .
  • FIG. 3A illustrates an apple as an example of the target object 70 .
  • Object 70 is not limited to an apple, and can be any object that can be inspected.
  • the image sensor 160 generates data of the compressed image 10 in which information of multiple wavelength bands is compressed as a two-dimensional monochrome image.
  • the processing device 200 Based on the data of the compressed image 10 generated by the image sensor 160, the processing device 200 generates image data for each of the multiple wavelength bands included in the target wavelength range.
  • the generated image data of multiple wavelength bands is called a "hyperspectral (HS) datacube" or "hyperspectral image data".
  • HS hyperspectral
  • N is an integer equal to or greater than 4.
  • decoded images 20W 1 , 20W 2 , . may be collectively referred to as
  • data or signals representing an image that is, a set of data or signals representing pixel values of pixels may be simply referred to as an "image.”
  • the filter array 110 is an array of a plurality of translucent filters arranged in rows and columns.
  • the multiple filters include multiple types of filters with different transmission spectra (also called “spectral transmittance”), that is, wavelength dependence of light transmittance.
  • the filter array 110 modulates the intensity of incident light for each wavelength and outputs the modulated light. This process by filter array 110 is referred to herein as “encoding,” and filter array 110 is sometimes referred to as the "encoding element.”
  • the filter array 110 is arranged near or directly above the image sensor 160 .
  • “near” means that the image of the light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a somewhat clear state.
  • “Directly above” means that they are so close to each other that there is almost no gap. Filter array 110 and image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although optical system 140 is shown as a single lens in FIG. 3A, optical system 140 may be a combination of multiple lenses. Optical system 140 forms an image on the imaging surface of image sensor 160 via filter array 110 .
  • the filter array 110 may be arranged away from the image sensor 160 .
  • 3B to 3D are diagrams showing configuration examples of the imaging device 100 in which the filter array 110 is arranged away from the image sensor 160.
  • FIG. In the example of FIG. 3B, filter array 110 is positioned between optical system 140 and image sensor 160 and at a distance from image sensor 160 .
  • FIG. 3C filter array 110 is positioned between object 70 and optics 140 .
  • the imaging device 100 comprises two optical systems 140A and 140B with the filter array 110 positioned therebetween.
  • an optical system including one or more lenses may be arranged between filter array 110 and image sensor 160 .
  • the image sensor 160 is a monochrome photodetector having a plurality of two-dimensionally arranged photodetection elements (also referred to as "pixels" in this specification).
  • the image sensor 160 can be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetector includes, for example, a photodiode.
  • Image sensor 160 does not necessarily have to be a monochrome type sensor. For example, color type sensors with R/G/B, R/G/B/IR, or R/G/B/W filters may be used.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, and may be the ultraviolet, near-infrared, mid-infrared, or far-infrared wavelength ranges.
  • the processing device 200 is a computer that includes a processor and a storage medium such as memory. Based on the compressed image 10 acquired by the image sensor 160, the processing device 200 generates data of a plurality of decoded images 20W1 , 20W2 , . . . 20WN each including information of a plurality of wavelength bands.
  • FIG. 4A is a diagram schematically showing an example of the filter array 110.
  • FIG. Filter array 110 has a plurality of regions arranged two-dimensionally. In this specification, the area may be referred to as a "cell".
  • An optical filter having an individually set spectral transmittance is arranged in each region.
  • the spectral transmittance is represented by a function T( ⁇ ), where ⁇ is the wavelength of incident light.
  • the spectral transmittance T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular regions arranged in 6 rows and 8 columns. This is only an example and in actual applications more areas may be provided. The number may be about the same as the number of pixels of the image sensor 160, for example. The number of filters included in the filter array 110 is determined depending on the application, for example, within the range of tens to tens of millions.
  • FIG. 4B is a diagram showing an example of spatial distribution of transmittance of light in each of a plurality of wavelength bands W 1 , W 2 , . . . , W N included in the target wavelength range.
  • the difference in shading in each region represents the difference in transmittance.
  • a lighter area has a higher transmittance, and a darker area has a lower transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • FIGS. 4C and 4D are diagrams respectively showing examples of spectral transmittance of area A1 and area A2 included in filter array 110 shown in FIG. 4A.
  • the spectral transmittance of the area A1 and the spectral transmittance of the area A2 are different from each other.
  • the spectral transmittance of filter array 110 differs depending on the region. However, it is not necessary that all regions have different spectral transmittances.
  • Filter array 110 includes two or more filters having different spectral transmittances.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 can be equal to or greater than the number N of wavelength bands included in the wavelength range of interest.
  • the filter array 110 may be designed such that more than half of the regions have different spectral transmittances.
  • the target wavelength band W can be set in various ranges depending on the application.
  • the target wavelength range W can be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or a near-ultraviolet wavelength range from about 10 nm to about 400 nm.
  • the target wavelength range W may be a wavelength range such as mid-infrared or far-infrared.
  • the wavelength range used is not limited to the visible light range.
  • the term “light” refers to radiation in general, including not only visible light but also infrared and ultraviolet rays.
  • N is any integer equal to or greater than 4, and wavelength bands W 1 , W 2 , .
  • a plurality of wavelength bands included in the target wavelength band W may be set arbitrarily.
  • different wavelength bands may have different bandwidths.
  • the wavelength bands have different bandwidths and there is a gap between two adjacent wavelength bands. In this way, the plurality of wavelength bands may be different from each other, and the method of determining them is arbitrary.
  • FIG. 6A is a diagram for explaining spectral transmittance characteristics in a certain area of the filter array 110.
  • the spectral transmittance has multiple maxima P1 to P5 and multiple minima for wavelengths within the wavelength range W of interest.
  • normalization is performed so that the maximum value of the light transmittance within the target wavelength range W is 1 and the minimum value is 0.
  • the spectral transmittance has maximum values in wavelength bands such as the wavelength band W 2 and the wavelength band W N ⁇ 1 .
  • the spectral transmittance of each region has maximum values in at least two of the plurality of wavelength bands W1 to WN.
  • local maxima P1, P3, P4 and P5 are greater than or equal to 0.5.
  • the filter array 110 transmits a large amount of components in a certain wavelength band and transmits less components in other wavelength bands among the incident light. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining Nk wavelength bands, the transmittance is 0.5. can be less than k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly includes all wavelength components of visible light, the filter array 110 converts the incident light into light having a plurality of discrete intensity peaks with respect to wavelength. , and superimposes and outputs these multi-wavelength lights.
  • FIG. 6B is a diagram showing, as an example, the result of averaging the spectral transmittance shown in FIG. 6A for each wavelength band W 1 , W 2 , . . . , W N .
  • the averaged transmittance is obtained by integrating the spectral transmittance T( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the transmittance value averaged for each wavelength band is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the three wavelength regions having the maximum values P1, P3 and P5. In particular, the transmittance exceeds 0.8 in the two wavelength regions having the maximum values P3 and P5.
  • a grayscale transmittance distribution is assumed in which the transmittance of each region can take any value between 0 and 1 inclusive.
  • a binary-scale transmittance distribution may be employed in which the transmittance of each region can take either a value of approximately 0 or approximately 1.
  • each region transmits a majority of light in at least two wavelength bands of the plurality of wavelength bands included in the wavelength band of interest and transmits a majority of light in the remaining wavelength bands. don't let Here, "most" refers to approximately 80% or more.
  • Part of the total cells may be replaced with transparent areas.
  • Such a transparent region transmits light in all wavelength bands W1 to WN contained in the wavelength range W of interest with a similarly high transmittance, eg, a transmittance of 80% or more.
  • the multiple transparent areas may be arranged in a checkerboard, for example. That is, in the two directions in which the plurality of regions in the filter array 110 are arranged, the regions having different light transmittances depending on the wavelength and the transparent regions can be alternately arranged.
  • Such data indicating the spatial distribution of the spectral transmittance of the filter array 110 is obtained in advance based on design data or actual measurement calibration, and stored in a storage medium included in the processing device 200. This data is used for arithmetic processing to be described later.
  • the filter array 110 can be constructed using, for example, a multilayer film, an organic material, a diffraction grating structure, or a microstructure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film containing a metal layer can be used.
  • each cell is formed such that at least one of the thickness, material, and stacking order of each multilayer film is different. Thereby, different spectral characteristics can be realized depending on the cell.
  • a multilayer film a sharp rise and fall in spectral transmittance can be realized.
  • a configuration using an organic material can be realized by differentiating the pigment or dye contained in each cell, or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each cell.
  • a microstructure containing metal it can be produced using spectroscopy due to the plasmon effect.
  • the processing device 200 reconstructs a multi-wavelength hyperspectral image 20 based on the compressed image 10 output from the image sensor 160 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 110 .
  • multiple wavelengths means a wavelength range greater than the three color wavelength ranges of RGB acquired by a normal color camera, for example.
  • the number of wavelength bands may be on the order of 4 to 100, for example. This number of wavelength regions is referred to as the "number of bands". Depending on the application, the number of bands may exceed 100.
  • the data to be obtained is the data of the hyperspectral image 20, and the data is assumed to be f.
  • f is data obtained by integrating image data f 1 , f 2 , . . . , fN of each band.
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • the data f is three-dimensional data having n ⁇ m ⁇ N elements.
  • This three-dimensional data is called “hyperspectral image data” or “hyperspectral datacube”.
  • the number of elements of the data g of the compressed image 10 obtained by being encoded and multiplexed by the filter array 110 is n ⁇ m.
  • Data g can be represented by the following equation (1).
  • each of f 1 , f 2 , . . . , f N is data having n ⁇ m elements. Therefore, the vector on the right side is strictly a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the vector g is converted into a one-dimensional vector of n ⁇ m rows and 1 column, and calculated.
  • the matrix H encodes and intensity - modulates each component f 1 , f 2 , . represents a transform that adds Therefore, H is a matrix with n ⁇ m rows and n ⁇ m ⁇ N columns.
  • the processing device 200 utilizes the redundancy of the images included in the data f and obtains the solution using the method of compressed sensing. Specifically, the desired data f is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above formula represents the amount of deviation between the estimation result Hf and the acquired data g, ie, the so-called residual term.
  • the sum of squares is used as the residual term here, the absolute value or the square root of the sum of squares may be used as the residual term.
  • the second term in parentheses is the regularization or stabilization term. Equation (2) means finding f that minimizes the sum of the first and second terms.
  • the processing unit 200 can converge the solution by recursive iterative computation and calculate the final solution f'.
  • the first term in the parentheses of Equation (2) means an operation for obtaining the sum of squares of the difference between the obtained data g and Hf obtained by transforming f in the estimation process using the matrix H.
  • the second term ⁇ (f) is a constraint condition for regularization of f, and is a function reflecting sparse information of estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observed data g.
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70 .
  • a regularization term may be chosen that makes the texture of the object 70 more spars in the space of regularization terms.
  • multiple regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting factor ⁇ , the larger the reduction amount of redundant data and the higher the compression rate. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value with which f converges to some extent and does not become over-compressed.
  • the image encoded by the filter array 110 is obtained in a blurred state on the imaging surface of the image sensor 160.
  • FIG. Therefore, the hyperspectral image 20 can be reconstructed by storing the blur information in advance and reflecting the blur information on the matrix H described above.
  • blur information is represented by a point spread function (PSF).
  • PSF is a function that defines the degree of spread of a point image to peripheral pixels. For example, when a point image corresponding to one pixel in an image spreads over a region of k ⁇ k pixels around that pixel due to blurring, the PSF is a coefficient group that indicates the effect on the brightness of each pixel in that region. can be defined as a matrix.
  • the hyperspectral image 20 can be reconstructed by reflecting the influence of blurring of the encoding pattern by the PSF on the matrix H.
  • FIG. The position where the filter array 110 is placed is arbitrary, but a position can be selected where the coding pattern of the filter array 110 is not too diffuse and disappears.
  • the hyperspectral image 20, that is, the hyperspectral data cube can be decoded from the compressed image 10 acquired by the image sensor 160.
  • the calculation of the above equation (2) is similar to the calculation disclosed in Japanese Unexamined Patent Application Publication No. 2002-200012.
  • the same matrix H is used for encoding and decoding for Equation (2).
  • at least partially different matrices are used during encoding and during decoding. As a result, as will be described later, modification such as adding a desired identifier to the decoded hyperspectral image can be performed.
  • FIG. 7 is a diagram schematically showing a configuration example of an inspection system 1000 according to this embodiment.
  • This inspection system 1000 includes an imaging device 100 , a processing device 200 , a display device 300 and a conveyor 400 .
  • the display device 300 in the example shown in FIG. 7 is a display. Devices such as speakers or lamps may be provided instead of or in addition to the display.
  • Conveyor 400 is a belt conveyor. In addition to the belt conveyor, a picking device may be provided to remove the abnormal objects 70 .
  • the object 70 to be inspected is placed on the belt of the conveyor 400 and conveyed.
  • Object 70 is any article, such as an industrial product or a food product.
  • the inspection system 1000 acquires a hyperspectral image of the object 70 and detects foreign matter mixed in the object 70 based on the image information.
  • Foreign objects to be detected can be anything, such as certain metals, plastics, insects, debris, or hair.
  • the foreign matter is not limited to these objects, and may be a portion of the object 70 whose quality has deteriorated. For example, if the object 70 is food, a rotten part of the food may be detected as a foreign object.
  • the inspection system 1000 can output information indicating that the foreign object has been detected to the display device 300 or an output device such as a speaker, or remove the object 70 including the foreign object by a picking device. can.
  • the imaging device 100 is a camera capable of the aforementioned hyperspectral imaging.
  • the imaging device 100 generates the above-mentioned compressed image by photographing the object 70 continuously flowing on the conveyor.
  • Processing device 200 is any computer such as, for example, a personal computer, a server computer, or a laptop computer.
  • the processing device 200 generates a decoded image for each of a plurality of bands by performing decoding processing based on the above equation (2) based on the compressed image generated by the imaging device 100 .
  • the processing device 200 detects foreign matter or abnormalities contained in the object 70 based on the images of those bands, and outputs the detection results to the display device 300 .
  • FIG. 8 is a block diagram showing a configuration example related to data processing in the inspection system 1000.
  • This inspection system 1000 includes an imaging device 100, a processing device 200, a display device 300, and a storage device 500 as components related to data processing.
  • the imaging device 100 is a compression HS camera including an image sensor, a filter array, and an optical system such as a lens, as described with reference to FIGS. 1A to 1D.
  • the imaging device 100 captures an image of the object 70 , generates compressed image data in which image information of a plurality of bands is superimposed, and sends the compressed image data to the processing device 200 .
  • the processing device 200 generates an image for each band based on the compressed image generated by the imaging device 100.
  • the processing device 200 comprises processing circuitry 210 .
  • the processing circuit 210 includes a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the processing circuit 210 determines whether or not the target object 70 contains a specific foreign substance based on the compressed image generated by the imaging device 100, and outputs information indicating the determination result.
  • the storage device 500 includes arbitrary storage media such as semiconductor memory, magnetic storage device, and optical storage device.
  • Storage device 500 stores computer programs executed by processing circuitry 210, data used by processing circuitry 210 in the course of processing, and data generated by processing circuitry 210 in the course of processing.
  • the storage device 500 stores, for example, compressed image data generated by the imaging device 100, a decoding table that is matrix data representing a decoding matrix, a decoded HS data cube generated by the processing circuit 210, and foreign matter determination results.
  • Stores data indicating FIG. 8 exemplifies the decoding table and the HS data cube among those data.
  • these data include identifier information.
  • the identifier can be, for example, unique identification information for each imaging device 100 (that is, camera).
  • a decoding table is compiled according to the content of the identifier. Using such a compiled decoding table will result in the identifier being included in the decoded HS datacube. Based on the identifier, the camera that took the image can be identified.
  • the decoding table edited to generate the data cube containing the identifier may be expressed as "the decoding table containing the identifier" for convenience.
  • the encoding table edited to generate the compressed image and the data cube including the identifier is expressed as "the encoding table including the identifier" for convenience. I have something to do.
  • FIG. 9 is a diagram for explaining the identifier insertion processing in this embodiment.
  • a Macbeth Color Checker is used as the subject, but the actual subject is the object of inspection.
  • the spectral information of the HS data cube 20A without inserted identifiers is encoded by the encoding element (that is, the filter array 110 described above) corresponding to the encoding table 30, and the compressed image 10 without inserted identifiers is recorded.
  • the encoding element that is, the filter array 110 described above
  • the compressed image 10 without inserted identifiers is recorded.
  • compression is performed by hardware by the encoding element in the imaging device 100, and the compressed image 10 is generated by the image sensor. It is also possible to generate a compressed image 10 by compressing a pre-generated HS datacube using software, as in the example disclosed in US Pat.
  • the processing circuitry 210 performs the decoding process using a partially modified decoding table 40 compared to the encoding table 30 to decode the HS datacube 20B from the compressed image 10 .
  • the HS data cube 20B in which the identifier 22 is inserted can be generated by transferring the modified portion to a part of the decoded image in the decoded HS data cube 20B.
  • FIG. 10A is a flowchart showing the processing of the processing circuit 210.
  • the processing circuitry 210 first acquires the compressed image 10 generated by the imaging device 100 (step S110).
  • the processing circuit 210 acquires the edited decoding table 40 recorded in the storage device 500 (step S120). Note that the order of steps S110 and S120 may be reversed.
  • the processing circuit 210 uses the edited decoding table 40 to decode the HS data cube 20B from the compressed image 10 (step S130). This decoding process is performed, for example, according to the above equation (2).
  • the HS datacube 20B including the identifier 22 is generated.
  • the processing circuit 210 outputs the HS data cube 20B including the generated identifier to the storage device 500 for storage (step S140).
  • the edited decoding table 40 is generated in advance and recorded in the storage device 500 .
  • the processing circuit 210 may edit the decoding table 40 according to the identifier, without being limited to such a form.
  • FIG. 10B is a flowchart showing an example of processing when the processing circuit 210 edits the decoding table 40 according to the identifier.
  • the processing circuitry 210 first acquires the compressed image 10 generated by the imaging device 100 (step S210).
  • the processing circuit 210 acquires the decoding table before editing from the storage device 500 (step S220).
  • the decoding table before editing is the same as the encoding table, and is recorded in the storage device 500 in advance.
  • the processing circuit 210 edits the decoding table according to the content of the identifier to be assigned (step S230). For example, as described with reference to FIG. 2, the decoding table is edited by rewriting the values in a part of the decoding table by multiplying them by a constant.
  • the processing circuit 210 outputs the edited decoding table to the storage device 500 for storage. Note that the processes of steps S220 and S230 may be performed before step S210.
  • processing circuit 210 decodes HS data cube 20B from compressed image 10 using the edited decoding table (step S240). This decoding process is performed, for example, according to the above equation (2). As a result, the HS datacube 20B including the identifier 22 is generated.
  • the processing circuit 210 outputs the HS data cube 20B including the generated identifier to the storage device 500 for storage (step S250).
  • the processing circuit 210 in this embodiment decodes the HS data cube 20B while inserting the identifier.
  • data exists only in a state in which the spectrum information is compressed as the compressed image 10 .
  • the data exists as the HS data cube 20B in which the identifier 22 is inserted.
  • an HS datacube in which the identifier 22 is not inserted does not exist in any process. Therefore, high data security can be maintained.
  • the identifier is inserted after decoding the compressed image into the HS datacube.
  • the process of generating the HS data cube and the process of inserting the identifier are separated, so that the HS data cube in which the identifier is not inserted exists. If the processing circuit that generates the HS data cube and the processing circuit that inserts the identifier are separate, the HS data cube without the identifier inserted will be transmitted, resulting in a state in which data security is not guaranteed. Occur.
  • an HS data cube in which no identifier is inserted is never generated, so data security can be improved. Furthermore, by using the technology of the present embodiment, it is possible to unify the HS datacube acquisition process and the identifier insertion process. As a result, the data processing load can be reduced as compared with the conventional identifier insertion technique, so that the HS data cube including identifiers can be generated with a simpler circuit configuration.
  • the HS data cubes may be modified by other methods. For example, random noise may be added to the decoding table to make it difficult to read the original HS datacube, as shown in FIG. 2B.
  • the dynamic range of the HS datacube may be expanded or contracted by uniformly multiplying each matrix element of the decoding table by a constant. Such modifications can be similarly applied to each of the following embodiments.
  • FIG. 11 is a diagram for explaining the identifier insertion process in this embodiment.
  • the spectral information of the HS datacube 20A with no inserted identifier is encoded by the encoding table 30 with the identifier information or its corresponding encoding element.
  • the compressed image 10 in which the identifier information is inserted is recorded.
  • Compression by encoding may be performed by hardware or by software.
  • compression is performed in hardware using encoding elements.
  • a filter that reflects or absorbs only the light of a specific wavelength band among the plurality of wavelength bands included in the target wavelength band is arranged only in a partial area corresponding to the position of the identifier in the filter array 110.
  • a compressed image 10 including identifier information can be obtained.
  • the compressed image 10 may be generated by software, as in the device disclosed in Patent Document 2.
  • FIG. In that case, arbitrary identifier information can be inserted into the encoding table 30 by software processing. In this way, decoding processing is performed based on the compressed image 10 in which identifier information and spectrum information are compressed.
  • the decoding table 40 in which the identifier information is removed from the encoding table 30 (that is, the identifier information is not inserted) is used. This decoding table 40 is the same as the original encoding table.
  • the modified portion of the encoding table 30 is transferred to the decoded image of some bands in the HS datacube 20B. Thereby, the HS data cube 20B in which the identifier is inserted can be generated.
  • FIG. 12 is a block diagram for explaining the identifier insertion process in this embodiment.
  • the processing unit 200 in this example includes a first processing circuit 210A for generating the compressed image and a second processing circuit 210B for decoding the HS datacube.
  • the first processing circuit 210A generates the compressed image 10 including the identifier information by compressing the HS data cube generated by the imaging device 100A using the encoding table 30 in which the identifier information is inserted.
  • the first processing circuit 210A outputs the generated compressed image 10 to the storage device 500 for storage.
  • the second processing circuit 210B acquires the identifier-inserted compressed image 10 and the identifier-uninserted decoding table 40 from the storage device 500, and performs the decoding process based on the above equation (2). Thereby, the second processing circuit 210B generates the HS data cube 20B into which the identifier is inserted. The second processing circuit 210B causes the storage device 500 to store the generated identifier-containing HS data cube 20B.
  • the HS data cube exists without an identifier inserted only in the part where the HS data cube is sent from the imaging device 100A, which is the HS camera.
  • the data always exists with the identifier inserted. This makes it possible to eliminate the vulnerability of data.
  • an HS data cube acquired by an arbitrary HS camera is compressed using an encoding table in which identifier information is not inserted, and the identifier is inserted after decoding. Compressed images are recorded without an identifier inserted.
  • the compressed image is processed using the same decoding table as the encoding table used for compression.
  • the HS datacube with no inserted identifier is decoded.
  • an identifier is inserted into the HS datacube.
  • an HS data cube with no identifier inserted is generated and transmitted from the time the HS data cube is decoded until the identifier is inserted.
  • a problem may arise in terms of data security.
  • the identifier insertion method using the conventional technology if the identifier is inserted in a stage prior to the compressed image generation process, only the process in which the HS data cube is sent from the HS camera is the HS data in which the identifier is not inserted. Accompanied by moving cubes. In this case, the data security risk is the same as in this embodiment, but more processing processes are required than in this embodiment, and the cost required for data processing increases.
  • FIG. 13 is a block diagram showing the system configuration according to the third embodiment of the present disclosure.
  • the system of this embodiment comprises a data processing device 700 and one or more inspection systems 1000 . Although three inspection systems 1000 are illustrated in FIG. 13, the number of inspection systems 1000 is arbitrary.
  • Each inspection system 1000 comprises the same components as the inspection system 1000 in the first embodiment. However, each inspection system 1000 also includes a communicator 600 for communicating with the data processor 700 .
  • the data processing device 700 is a computer that distributes necessary information to each inspection system 1000 .
  • the data processing device 700 can be, for example, a server computer owned by the manufacturer of the imaging device 100 .
  • the data processing device 700 can communicate with each inspection system 1000 via a network such as the Internet.
  • the data processing device 700 comprises a communicator 710 , a processing circuit 720 and a storage device 730 .
  • the communicator 710 is a circuit that communicates with the communicator 600 in each inspection system 1000 .
  • Processing circuitry 720 is circuitry that includes a processor that generates a decoding table that includes identifier information.
  • Storage device 730 stores various data such as a program executed by processing circuit 720 , a decoding table referred to by processing circuit 720 during processing, and a decoding table including identifier information generated by processing circuit 720 .
  • the processing circuit 720 edits the decoding table recorded in the storage device 730 according to the content of the identifier to be inserted into the HS data cube, thereby generating a decoding table including the identifier information and recording it in the storage device 730. do.
  • the processing circuit 720 delivers the decoding table containing the generated identifier information to the inspection system 1000 .
  • the communication device 600 in the inspection system 1000 records the received decoding table containing the identifier in the storage device 500 .
  • the processing device 200 generates an HS data cube including an identifier based on the distributed decoding table and the compressed image generated by the imaging device 100 and records it in the storage device 500 .
  • the processing of the processing device 200 is the same as the processing in the first embodiment described with reference to FIG. 10A.
  • the data processing device 700 may distribute an individual identifier for each inspection system 1000 . By changing the identifier periodically or irregularly, it is possible to identify or track which device was used for decoding or when the decoding occurred.
  • FIG. 14 is a block diagram showing the system configuration according to the fourth embodiment of the present disclosure.
  • the system in this embodiment comprises a data processing device 700 and a plurality of inspection systems 1000 .
  • the processing circuit 720 in the data processing device 700 edits the encoding table instead of the decoding table according to the identifier, and the processing device 200 in each inspection system 1000 uses the edited encoding table.
  • the processing device 200 in each inspection system 1000 performs the same operation as the processing device 200 in the second embodiment.
  • the processing circuit 720 of the data processing device 700 edits the encoding table recorded in the storage device 730 according to the content of the identifier to be inserted into the HS datacube, thereby creating a code containing identifier information.
  • a conversion table is generated and recorded in the storage device 730 .
  • the processing circuit 720 delivers the encoding table containing the generated identifier information to the inspection system 1000 .
  • the communication device 600 in the inspection system 1000 records the received identifier-containing encoding table in the storage device 500 .
  • the processing device 200 includes a first processing circuit 210A and a second processing circuit 210B, as in the second embodiment.
  • the first processing circuit 210A generates a compressed image with an identifier by encoding the hyperspectral data cube generated by the imaging device 100 using the coding table with the identifier distributed from the data processing device 700. do.
  • the first processing circuit 210A records the generated compressed image with the identifier in the storage device 500.
  • FIG. The second processing circuit 210B acquires the identifier-containing compressed image and the identifier-free decoding table from the storage device 500, generates an HS data cube containing the identifier based on them, and records them in the storage device 500.
  • the data processing device 700 may distribute an individual identifier for each inspection system 1000 . By changing the identifier periodically or irregularly, it is possible to identify or track which device was used for decoding or when the decoding occurred.
  • FIG. 15 is a block diagram showing the configuration of an inspection system 1000 according to the fifth embodiment of the present disclosure.
  • An inspection system 1000 in this embodiment has the same hardware configuration as in the first embodiment.
  • the processing device 200 in this embodiment synthesizes a part of a plurality of wavelength bands included in the target wavelength band, organizes them into a smaller number of bands, and then performs decoding.
  • a decoding table for decoding images for each of a plurality of wavelength bands included in the target wavelength band will be referred to as a "complete decoding table".
  • a decoding table for decoding an image for each of a plurality of new wavelength bands in which some of the plurality of wavelength bands included in the target wavelength band are integrated as one synthetic band is called a "reduced decoding table".
  • a reduced decoding table has a smaller data size than a full decoding table. By generating and using the reduced decoding table, it is possible to reduce the calculation cost of the decoding process. For example, by integrating a plurality of continuous bands that are not important in inspection as one band, it is possible to reduce the computational processing load without reducing the accuracy of inspection.
  • the processing device 200 in this embodiment generates a reduced decoding table based on the full decoding table.
  • the processing device 200 comprises three processing circuits 201 , 202 , 203 .
  • the processing circuit 201 generates a reduced decoding table by synthesizing some bands based on the complete decoding table. For example, by averaging the values of two or more elements respectively corresponding to two or more consecutive bands in the complete decoding table, those elements are integrated as one element. Such processing produces a reduced decoding table that is compressed in size relative to the full decoding table.
  • the processing circuit 202 adds identifier information to the reduced code table.
  • the identifier information is embedded in the reduced decoding table by multiplying the value of a part of the reduced decoding table by a constant.
  • the processing circuitry 203 generates an HS datacube including identifiers based on the identifier-free compressed image generated by the imaging device 100 and the reduced decoding table including identifier information generated by the processing circuitry 202 .
  • the generated HS data cube is recorded in the storage device 500.
  • the processing circuit 203 may cause the display device 300 to display the decoded image of each band.
  • the order of the band synthesizing process by the processing circuit 201 and the identifier inserting process by the processing circuit 202 may be changed.
  • FIG. 16 is a block diagram showing a modified example of the inspection system 1000 of this embodiment.
  • the inspection system 1000 in this example has the same hardware configuration as the inspection system 1000 of the second embodiment.
  • the processing device 200 in this example comprises processing circuitry 211 , 212 , 213 .
  • the processing circuit 211 generates a compressed image including the identifier information by encoding the HS data cube generated by the imaging device 100A using the encoding table including the identifier information recorded in the storage device 500. and record it in the storage device 500 .
  • the processing circuit 212 acquires the complete decoding table from the storage device 500 , generates a reduced decoding table by integrating information of some bands, and records it in the storage device 500 .
  • the reduced decoding table in this modified example does not include identifier information.
  • the processing circuit 213 generates an HS data cube containing the identifier based on the compressed image containing the identifier information generated by the processing circuit 211 and the reduced decoding table not containing the identifier information generated by the processing circuit 212. do.
  • the processing circuit 213 records the generated HS data cube in the storage device 500 and causes the display device 300 to display the image of each band. Such an operation can also generate an HS datacube containing identifiers.
  • the bands to be synthesized may be determined by referring to a statistical learning model or the like generated in advance using machine learning or the like.
  • FIG. 17 is a block diagram showing the system configuration according to the sixth embodiment of the present disclosure.
  • the system in this embodiment includes a data processing device 700 and a plurality of inspection systems 1000 as in the third embodiment.
  • the configuration of each inspection system 1000 is the same as the configuration in the third embodiment.
  • the data processing device 700 generates a reduced decoding table from the complete decoding table, adds identifier data to the reduced decoding table, and distributes the reduced decoding table to each inspection system 1000.
  • different from A data processing device 700 in this embodiment comprises two processing circuits 721 and 722 .
  • the processing circuit 721 acquires the complete decoding table recorded in the storage device 730 and generates a reduced decoding table by synthesizing information of two or more consecutive wavelength bands with relatively low importance in the complete decoding table. In this process, the processing circuit 721 generates a reduced decoding table according to the model data.
  • the model data includes data such as a statistical model based on principal component analysis or a nonlinear model such as a neural network, which includes a weight for each wavelength band as a parameter, and is generated from a large amount of learning data.
  • the processing circuit 722 generates a reduced decoding table by adding identifier information to the reduced decoding table generated by the processing circuit 721 and stores it in the storage device 730 . Note that the process of generating the reduced decoding table by the processing circuit 721 and the process of inserting the identifier by the processing circuit 722 may be performed in the reverse order.
  • FIG. 18 is a block diagram showing the system configuration according to the seventh embodiment of the present disclosure.
  • the system in this embodiment also includes a data processing device 700 and a plurality of inspection systems 1000 .
  • the configuration of each inspection system 1000 is the same as the configuration in the fourth embodiment.
  • the data processing device 700 generates a reduced decoding table from the full decoding table and distributes it to each inspection system 1000 .
  • An encoding table containing identifier information is prerecorded in the storage device 500 .
  • the data processing device 700 may generate an encoding table including identifier information and distribute it to the inspection system 1000 .
  • the processing circuit 720 in this embodiment generates a reduced decoding table based on the complete decoding table recorded in the storage device 730 and model learning data prepared in advance. This reduced decoding table does not contain identifier information. Processing circuitry 720 distributes the generated reduced decoding table to inspection system 1000 .
  • the processing device 200 in the inspection system 1000 includes a processing circuit 210A and a processing circuit 210B, as in the example of FIG.
  • the processing circuit 210A encodes the HS datacube generated by the imaging device 100A using the encoding table containing the identifier information recorded in the storage device 500.
  • FIG. As a result, a compressed image including identifier information is generated.
  • the processing circuit 210B decodes the HS data cube containing the identifier from the compressed image using the reduced decoding table which does not contain the information of the identifier distributed from the data processing device 700 .
  • the decoded HS datacube is recorded in the storage device 500, and the image of each band is displayed on the display device 300.
  • the technology of the present disclosure is useful, for example, for cameras and measurement equipment that acquire multi-wavelength images.
  • the technology of the present disclosure can be used, for example, for detecting foreign matter mixed in articles such as industrial products or foods.
  • Compressed Image 20 Data Cube 22 Identifier 30 Encoding Table 40 Decoding Table 50, 60 Decoded Image 70 Object 100 Imaging Device 110 Filter Array 140 Optical System 160 Image Sensor 200 Processing Device 300 Display Device 400 Conveyor 500 Storage Device 600 Communicator 700 Data processor 710 Communication device 720 Processing circuit 730 Storage device 1000 Inspection system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

コンピュータによって実行される方法は、複数の波長バンドの画像情報を含むスペクトルデータキューブを符号化して圧縮画像を生成するために用いられる符号化行列、および／または符号化された前記圧縮画像から前記スペクトルデータキューブを復号するために用いられる復号行列を示す行列データを取得すること（Ｓ２２０）と、前記スペクトルデータキューブが復号された場合に前記スペクトルデータキューブにおける少なくとも１つの波長バンドの画像情報が改変されるように前記行列データを編集すること（Ｓ２３０）と、編集後の前記行列データを出力することと、を含む。

Description

スペクトルデータキューブを改変する方法および装置
　本開示は、スペクトルデータキューブを改変する方法および装置に関する。
　各々が狭帯域である多数の波長バンド、例えば十バンド以上のスペクトル情報を活用することにより、従来の３バンドの情報のみを有するＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。そのような多くの波長バンドの画像を取得するカメラには、「ハイパースペクトルカメラ」および「マルチスペクトルカメラ」等がある。これらのカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。これらのカメラを用いた撮像により、対象物の詳細なスペクトル情報を取得することができる。スペクトル情報には、対象物の素材、状態、または種別を特徴付ける情報が含まれる。このため、セキュリティ保護またはデータ秘匿の観点から、スペクトル情報を符号化または暗号化することが要求される場合がある。
　特許文献１は、圧縮センシングを利用したハイパースペクトル撮像装置の例を開示している。当該撮像装置は、二次元的に配列された複数の光学フィルタのアレイである符号化素子と、符号化素子を透過した光を検出するイメージセンサと、信号処理回路とを備える。符号化素子は、被写体とイメージセンサとを結ぶ光路上に配置される。符号化素子における複数のフィルタの透過スペクトルはフィルタによって異なる。イメージセンサは、画素ごとに、フィルタを通過した複数の波長バンドの成分が重畳された光を同時に検出することにより、１つの二次元画像を取得する。そのような二次元画像を、本明細書において「圧縮画像」と称する。信号処理回路は、符号化素子の透過スペクトルの空間分布を示す行列データを用いて、取得された圧縮画像に圧縮センシングを適用することにより、複数の波長バンドのそれぞれについての画像を復号する。このように、特許文献１は、撮影時に符号化素子を用いて対象物のスペクトル情報を符号化または暗号化する技術を開示している。
　特許文献２は、マルチスペクトル画像またはハイパースペクトル画像などのデータを、撮影後に符号化して圧縮する技術の例を開示している。
　特許文献３は、多色画像データにおける単位色データに電子透かしデータを埋め込む技術の例を開示している。
米国特許第９５９９５１１号明細書 特表２０２０－５０８６２３号公報 特開２００７－１８０７１０号公報
　本開示は、ハイパースペクトル画像またはマルチスペクトル画像などのスペクトルデータキューブに識別子を挿入するなどの改変を行うための新規の方法を提供する。
　本開示の一態様に係る方法は、コンピュータによって実行される方法である。前記方法は、複数の波長バンドの画像情報を含むスペクトルデータキューブを符号化して圧縮画像を生成するために用いられる符号化行列、または符号化された前記圧縮画像から前記スペクトルデータキューブを復号するために用いられる復号行列を示す行列データを取得することと、前記スペクトルデータキューブが復号された場合に前記スペクトルデータキューブにおける少なくとも１つの波長バンドの画像情報が改変されるように前記行列データを編集することと、編集後の前記行列データを出力することと、を含む。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Compact Disc‐Read Only Memory）等の不揮発性の記録媒体を含む。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示の一態様によれば、スペクトルデータキューブの符号化時または復号時に、スペクトルデータキューブにおける少なくとも１つの波長バンドの画像情報が改変される。これにより、例えば、スペクトルデータキューブの内容を秘匿化したり、スペクトルデータキューブが不正に流出した場合のトレーサビリティを向上させたりすることが可能になる。あるいは、圧縮画像を取得する撮像装置の特性を擬似的に変化させることも可能になる。
図１は、データキューブに識別子を挿入する方法を説明するための図である。 図２Ａは、行列データの編集の例を示す図である。 図２Ｂは、行列データの編集の他の例を示す図である。 図２Ｃは、行列データの編集のさらに他の例を示す図である。 図３Ａは、ハイパースペクトル撮像システムの構成例を模式的に示す図である。 図３Ｂは、ハイパースペクトル撮像システムの第１の変形例を模式的に示す図である。 図３Ｃは、ハイパースペクトル撮像システムの第２の変形例を模式的に示す図である。 図３Ｄは、ハイパースペクトル撮像システムの第３の変形例を模式的に示す図である。 図４Ａは、フィルタアレイの例を模式的に示す図である。 図４Ｂは、対象波長域に含まれる複数の波長バンドのそれぞれの光の透過率の空間分布の一例を示す図である。 図４Ｃは、図４Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図４Ｄは、図４Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図５Ａは、対象波長域と、それに含まれる複数の波長バンドとの関係を説明するための図である。 図５Ｂは、対象波長域と、それに含まれる複数の波長バンドとの関係を説明するための図である。 図６Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図６Ｂは、図６Ａに示す分光透過率を、波長バンドごとに平均化した結果を示す図である。 図７は、実施形態１における検査システムの構成例を示す図である。 図８は、検査システムにおけるデータ処理に係る構成例を示すブロック図である。 図９は、実施形態１における識別子の挿入処理を説明するための図である。 図１０Ａは、処理回路の処理の例を示すフローチャートである。 図１０Ｂは、復号テーブルを識別子に応じて編集する処理の例を示すフローチャートである。 図１１は、実施形態２における識別子の挿入プロセスを説明するための図である。 図１２は、実施形態２における識別子の挿入プロセスを説明するためのブロック図である。 図１３は、実施形態３におけるシステムの構成を示すブロック図である。 図１４は、実施形態４におけるシステムの構成を示すブロック図である。 図１５は、実施形態５における検査システムの構成を示すブロック図である。 図１６は、実施形態５における検査システムの変形例を示すブロック図である。 図１７は、実施形態６におけるシステムの構成を示すブロック図である。 図１８は、実施形態７におけるシステムの構成を示すブロック図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材もしくは部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（large scale integration）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（very large scale integration）、もしくはＵＬＳＩ（ultra large scale integration）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field Programmable Gate Array）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるＲＬＤ（reconfigurable logic device）も同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは、１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（processor）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　（本開示の基礎となった知見）
　ハイパースペクトルカメラまたはマルチスペクトルカメラなどの撮像装置は、一般的なＲＧＢ画像を取得するカメラよりも多くの波長バンドの画像情報を取得することができる。それらのカメラによって取得される画像データを、本明細書において「スペクトルデータキューブ」または単に「データキューブ」と称する。特に、ハイパースペクトルカメラによって取得されるハイパースペクトル画像を示すデータを「ハイパースペクトルデータキューブ」または「ＨＳデータキューブ」と称する。スペクトルデータキューブは、複数の波長バンドのそれぞれの画像情報を含む。スペクトルデータキューブは、対象物の素材、状態、または種別を特徴付ける重要な情報を含む。このため、スペクトルデータキューブを厳重に管理することが求められる。例えば製品の検査などの工程において生成されたデータキューブが不正に持ち出されたり外部に流出したりすると問題が生じる可能性がある。このため、データキューブを改変して秘匿化することが求められる場合がある。データキューブが不正に流出した場合であっても追跡が可能であってもよい。そのような目的のために、データに電子透かしなどの識別子を埋め込む対策が考えられる。例えば、そのデータキューブを生成したカメラまたは検査装置を特定する識別子、またはそのデータキューブが生成された時期を特定する識別子をデータキューブに埋め込む対策が考えられる。
　しかし、従来の技術では、データキューブを生成するステップと、データキューブに識別子を挿入するなどの改変を行うステップとが分かれているため、改変されていない状態のデータキューブが流出する可能性があった。例えば、ハイパースペクトルカメラを用いた製品の検査工程において、作業者または悪意のある第三者が、改変される前のＨＳデータキューブを不正に持ち出したり外部に流出させたりする可能性があった。
　本発明者らは、上記の課題を見出し、以下に説明する本開示の実施形態の構成に想到した。以下、本開示の実施形態の概要を説明する。
　本開示の一実施形態による方法は、コンピュータによって実行される信号処理方法である。前記方法は、（ａ）複数の波長バンドの画像情報を含むスペクトルデータキューブを符号化して圧縮画像を生成するために用いられる符号化行列、および／または符号化された前記圧縮画像から前記スペクトルデータキューブを復号するために用いられる復号行列を示す行列データを取得することと、（ｂ）前記スペクトルデータキューブが復号された場合に前記スペクトルデータキューブにおける少なくとも１つの波長バンドの画像情報が改変されるように前記行列データを編集することと、（ｃ）編集後の前記行列データを出力することと、を含む。
　ここで、「圧縮画像」は、複数の波長バンドの画像情報が１つの二次元画像として圧縮された画像データを意味する。圧縮画像は、ハイパースペクトルカメラなどの撮像装置によって生成されるスペクトルデータキューブを符号化行列に基づいて符号化することによって生成され得る。あるいは、圧縮画像は、特許文献１に開示されているような圧縮センシングを利用した撮像装置によっても生成され得る。
　「スペクトルデータキューブ」は、二次元座標（ｘ，ｙ）、および波長λの三次元の値を持つデータである。スペクトルデータキューブは、複数の波長バンドのそれぞれについての画像情報を含む。スペクトルデータキューブにおける波長バンドの数は、４以上の任意の数である。バンド数は、ある例において、１０以上、場合によっては１００以上であり得る。バンド数が多いほど、より多くのスペクトルの情報を得ることができ、より詳細に対象物の物性、特性、または種類等を検査することができる。
　上記の方法は、例えば製品の検査を行う検査システムにおけるコンピュータ、またはそのようなコンピュータに検査に必要なデータを配信するサーバコンピュータによって実行され得る。上記の方法によれば、圧縮画像を生成するために用いられる符号化行列、および／またはスペクトルデータキューブを圧縮画像から復号するために用いられる復号行列を示す行列データが、スペクトルデータキューブの改変内容に応じて編集される。具体的には、符号化行列または復号行列を示す行列データにおける１つ以上の行列要素の値が、改変内容に応じて本来の値とは異なる値に書き替えられる。例えば、スペクトルデータキューブに識別子を埋め込む用途では、符号化行列または復号行列を示す行列データにおける特定の１つ以上の行列要素の値が、識別子の内容に応じて本来の値とは異なる値に書き替えられる。一方、スペクトルデータキューブの内容を秘匿化する用途では、スペクトルデータキューブに、例えばランダムノイズが重畳されるように、行列データにおける一部または全部の行列要素の値が本来の値とは異なる値に書き替えられ得る。
　符号化行列が編集される場合、符号化行列に基づいて生成される圧縮画像が改変され、結果として、復号されるスペクトルデータキューブも改変される。一方、復号行列が編集される場合、圧縮画像は改変されないが、復号されるスペクトルデータキューブが改変される。いずれの場合においても、最終的に復号されるスペクトルデータキューブは、行列データの編集内容に応じて改変される。
　上記の方法によれば、改変前のスペクトルデータキューブが生成されることがないため、データセキュリティ上の脆弱性を解消することができる。例えば、行列データの編集内容を知らない第三者が本来のスペクトルデータキューブを読み取ることを困難にすることが可能である。スペクトルデータキューブに識別子を埋め込むことにより、そのスペクトルデータキューブが正当に生成されたものか、不正に流出したものかを判別することが可能になる。
　なお、符号化行列および復号行列の両方が適切に編集され、結果として、最終的に復号されるスペクトルデータキューブに識別子が付与されるなどの改変が行われるようにしてもよい。その場合、前記行列データは、前記符号化行列を示す第１行列データと、前記復号行列を示す第２行列データとを含み、前記行列データを編集することは、前記第１行列データおよび前記第２行列データを編集することを含む。
　前記行列データを編集することは、前記スペクトルデータキューブが復号された場合に前記少なくとも１つの波長バンドの画像情報が識別子を含むように前記行列データを書き替えることを含んでいてもよい。その場合、最終的に生成されるスペクトルデータキューブにおける少なくとも１つの波長バンドの画像データには識別子が埋め込まれる。識別子を埋め込むことにより、スペクトルデータキューブが正当に生成されたものか否かを判断することが可能になり、不正流出時のトレーサビリティを向上させることができる。なお、識別子は、人が目視で認識できる態様で埋め込まれてもよいし、ステガノグラフィのように、人は認識できないがコンピュータが認識できる態様で埋め込まれてもよい。
　前記行列データを編集することは、前記少なくとも１つの波長バンドの画像情報の読み取りを妨げるノイズが前記スペクトルデータキューブに付与されるように、前記行列データを書き換えることを含んでいてもよい。ここで「画像情報の読み取りを妨げるノイズ」は、人またはコンピュータが本来の画像情報を認識することを困難にするノイズを指す。そのようなノイズは、スペクトルデータキューブにおける複数の波長バンドの画像情報に付与されてもよい。そのような構成によれば、本来のスペクトルデータキューブの内容が秘匿化されるため、データセキュリティ上の脆弱性を解消することができる。
　前記行列データを編集することは、前記スペクトルデータキューブが復号された場合に前記スペクトルデータキューブにおける前記複数の波長バンドの画像情報が改変されるように前記行列データを書き換えることを含んでいてもよい。複数の波長バンドの画像情報が改変されることにより、データセキュリティ上の脆弱性を解消する効果を高めることができる。
　上記の信号処理方法は、データセキュリティ上の脆弱性を解消する目的に限らず、スペクトルデータキューブを生成するための画像データを取得する撮像装置の特性を擬似的に変化させる目的で使用されてもよい。例えば、撮像装置によって取得された圧縮画像からスペクトルデータキューブを復号するために用いられる復号行列における各行列要素を定数倍することによって擬似的に撮像装置のダイナミックレンジを拡大または縮小することが可能である。言い換えると、前記行列データを編集することは、前記スペクトルデータキューブが復号された場合に、前記少なくとも１つの波長バンドの画像情報の階調が変化するように、前記行列データを書き換えてもよい。あるいは、復号行列にランダムノイズを重畳させることにより、擬似的に撮像装置のノイズが増加したように見せかけることができる。復号行列における複数の近接するセルを平均化するなどの処理により、擬似的に撮像装置が取得する画像の解像度を低下させることが可能である。言い換えると、前記行列データを編集することは、前記スペクトルデータキューブが復号された場合に、前記少なくとも１つの波長バンドの画像情報の解像度が変化するように、前記行列データを書き換えてもよい。
　行列データを編集する装置と、圧縮画像を生成する装置と、スペクトルデータキューブを復号する装置は、それぞれ別の装置であってもよいし、同一の装置であってもよい。例えば、圧縮画像を生成する撮像装置または検査装置が、行列データを編集する機能と、スペクトルデータキューブを復号する機能とを備えていてもよい。あるいは、圧縮画像を生成する撮像装置または検査装置とは別の信号処理装置が、行列データを編集する機能と、スペクトルデータキューブを復号する機能とを備えていてもよい。
　ある実施形態において、前記行列データは、前記復号行列を示す。その場合、前記復号行列を示す前記行列データが、スペクトルデータキューブの改変内容に応じて編集されて出力される。これにより、編集後の行列データを用いて、改変されたスペクトルデータキューブを復号することが可能になる。
　編集後の前記行列データを出力することは、前記復号行列を示す前記行列データに基づいて前記圧縮画像から前記スペクトルデータキューブを復号する装置に前記行列データを送信することを含んでいてもよい。前記装置は、例えば工場などに設置される検査装置であり得る。その場合、編集された行列データが検査装置に配信されて使用され得る。
　前記行列データを出力することは、前記復号行列を示す前記行列データを記憶媒体に記憶させることを含み得る。前記方法は、さらに、前記圧縮画像を取得することと、編集後の前記行列データを用いて、前記圧縮画像から前記スペクトルデータキューブを復号することとを含んでいてもよい。
　前記圧縮画像は、フィルタアレイを備えた撮像装置によって生成され得る。前記フィルタアレイは、透過スペクトルが互いに異なる複数種類の光学フィルタを含み得る。前記複数種類の光学フィルタは、二次元平面内に配列され得る。前記符号化行列は、前記フィルタアレイの透過スペクトルの二次元分布に対応する。言い換えれば、前記フィルタアレイの透過スペクトルの二次元分布を示す行列が前記符号化行列として用いられ得る。そのような形態において、撮像装置がフィルタアレイを通過した光に基づいて画像データを生成することは、符号化行列を用いてスペクトルデータキューブを符号化して圧縮画像を生成することに該当する。前記スペクトルデータキューブを復号することは、前記復号行列に基づく圧縮センシング処理によって前記圧縮画像から前記スペクトルデータキューブを復号することを含み得る。このような構成によれば、圧縮センシングを利用することにより、符号化行列に対応するフィルタアレイを用いて符号化された圧縮画像から、より高い精度でスペクトルデータキューブを復号することができる。
　圧縮画像は、上記のようなフィルタアレイを備える撮像装置に限らず、他の構造を備えた装置によって生成されてもよい。例えば、ハイパースペクトルカメラなどの撮像装置によって生成されたスペクトルデータキューブに符号化行列に基づく符号化処理を行うことによって圧縮画像を生成してもよい。そのような形態は、例えば、スペクトルデータキューブを記憶媒体に記録したり、通信回路を介して伝送したりするために、スペクトルデータキューブを圧縮してデータサイズを低減する必要がある場合に採用され得る。
　ある実施形態において、前記行列データは、前記符号化行列を示す。その場合、前記符号化行列を示す前記行列データが、スペクトルデータキューブの改変内容に応じて編集されて出力される。これにより、編集後の行列データを用いて、改変された圧縮画像を生成することができ、結果として、改変されたスペクトルデータキューブを生成することが可能になる。
　前記行列データを出力することは、前記符号化行列を示す前記行列データに基づいて前記スペクトルデータキューブを符号化して前記圧縮画像を生成する装置に前記行列データを送信することを含んでいてもよい。これにより、圧縮画像を生成する装置は、編集された符号化行列を用いて、改変された圧縮画像を生成することができる。そのような改変された圧縮画像と、復号行列とを用いることにより、改変されたスペクトルデータキューブを生成することができる。
　編集後の前記行列データを出力することは、前記符号化行列を示す前記行列データを記憶媒体に記憶させることを含み得る。前記方法は、さらに、前記スペクトルデータキューブを取得することと、編集後の前記行列データに基づいて前記スペクトルデータキューブを符号化して前記圧縮画像を生成することとを含んでいてもよい。これにより、改変された圧縮画像を生成することができる。そのような改変された圧縮画像と、復号行列とを用いることにより、改変されたスペクトルデータキューブを生成することができる。
　前記スペクトルデータキューブが識別子を含むように改変される場合、前記識別子は、前記符号化行列に基づいて前記圧縮画像を生成する装置、または前記復号行列に基づいて前記スペクトルデータキューブを復号する装置を特定する情報を含み得る。前記識別子は、前記識別子が付与された時期を特定する情報を含んでいてもよい。識別子が上記のような情報を含むことにより、スペクトルデータキューブのトレーサビリティを向上させることができる。
　前記行列データを取得することは、前記圧縮画像から、対象波長域に含まれる複数の波長バンドのそれぞれについての画像を復号するための復号テーブルを取得することと、前記復号テーブルに基づいて、前記複数の波長バンドのうちの２つ以上の波長バンドが１つの波長バンドとして統合された、前記複数の波長バンドよりも少数の波長バンドのそれぞれについての画像を前記スペクトルデータキューブとして復号するための縮小復号テーブルを、前記復号行列を示す前記行列データとして生成することと、を含んでいてもよい。前記行列データを編集することは、前記縮小復号テーブルを編集することを含んでいてもよい。縮小復号テーブルを前記行列データとして生成することにより、復号処理の演算負荷を小さくすることができる。このような処理は、例えば比較的広いバンド幅を持つ少数のバンドの画像情報が取得できれば十分である場合に特に有効である。
　編集後の前記行列データを出力することは、編集後の前記縮小復号テーブルを他の装置に送信することを含んでいてもよい。これにより、他の装置は、編集後の縮小復号テーブルに基づいて、圧縮画像から改変されたスペクトルデータキューブを低い演算負荷で復号することができる。
　本開示の他の実施形態による装置は、記憶装置と、処理回路とを備える。前記記憶装置は、複数の波長バンドの画像情報を含むスペクトルデータキューブを符号化して圧縮画像を生成するために用いられる符号化行列、および／または符号化された前記圧縮画像から前記スペクトルデータキューブを復号するために用いられる復号行列を示す行列データを記憶する。前記処理回路は、前記スペクトルデータキューブが復号された場合に前記スペクトルデータキューブにおける少なくとも１つの波長バンドの画像情報が改変されるように前記行列データを編集し、編集後の前記行列データを出力する。このような装置によれば、例えば、改変されていないスペクトルデータキューブが生成または伝送されることに伴うセキュリティ上の脆弱性を解消することができる。このような装置は、例えば、製品の検査を行う検査装置、または検査装置に行列データを配信するサーバコンピュータであり得る。上記の装置は、セキュリティ上の脆弱性を解消する目的に限らず、例えば圧縮画像を取得する撮像装置の特性を擬似的に変化させる目的でも使用され得る。
　本開示のさらに他の態様による装置は、上記の行列データを編集する装置によって出力された編集後の前記行列データを記憶する記憶装置と、処理回路とを備える。前記処理回路は、前記行列データに基づいて前記スペクトルデータキューブを符号化して前記圧縮画像を生成する処理、および／または、前記行列データに基づいて前記圧縮画像から前記スペクトルデータキューブを復号する処理を実行する。このような装置によれば、編集後の行列データに基づいて、改変された圧縮画像またはスペクトルデータキューブを生成することができる。
　前記行列データは前記復号行列を示していてもよい。前記装置は、前記圧縮画像を生成する撮像装置をさらに備えていてもよい。前記処理回路は、前記復号行列を示す前記行列データに基づいて前記圧縮画像から前記スペクトルデータキューブを復号してもよい。このような構成により、改変されたスペクトルデータキューブを生成することができる。
　前記撮像装置は、透過スペクトルが互いに異なる複数種類の光学フィルタを含むフィルタアレイと、前記フィルタアレイを通過した光を検出して前記圧縮画像を生成するイメージセンサとを備えていてもよい。前記符号化行列は、前記フィルタアレイの透過スペクトルの二次元分布に対応する。このような撮像装置により、対象物のスペクトル情報が２次元画像として圧縮された圧縮画像を取得することができる。圧縮画像および上記の復号行列を示す行列データに基づき、対象物のスペクトルデータキューブを生成することができる。
　次に、図面を参照しながら、データキューブを改変する方法をより詳細に説明する。以下、データキューブを改変する方法の一例として、データキューブに識別子を挿入する方法の例を説明する。
　図１は、データキューブに識別子を挿入する方法を説明するための図である。本開示の実施形態では、４つ以上（図１の例では９個）の波長バンドのそれぞれについての画像情報を含むデータキューブ２０が、１つの圧縮画像１０から生成される。圧縮画像１０は、複数の波長バンドの画像情報が１つのモノクロ画像として圧縮されたデータである。圧縮画像１０は、例えば特許文献１に開示されているような、圧縮センシングを利用したハイパースペクトルカメラ（以下、「圧縮ＨＳカメラ」とも称する。）によって生成され得る。圧縮ＨＳカメラは、透過スペクトルが異なる複数種類の光学フィルタが二次元平面内に配列されたフィルタアレイと、フィルタアレイを透過した光による画像を取得するイメージセンサとを備える。フィルタアレイにおける少なくとも一部のフィルタは、予め設定された対象波長域に含まれる複数の狭帯域のバンドのうち、少なくとも２つのバンドで透過率が局所的に高くなる特性を有し得る。フィルタアレイにおける透過スペクトルの２次元分布は、所定の符号化行列に基づいて決定される。フィルタアレイにおける各フィルタは、入射光の強度を波長ごとに異なる透過率で変調する。このようなフィルタアレイを「符号化素子」と称する。圧縮画像１０は、圧縮ＨＳカメラとは異なる装置によって生成されてもよい。例えば、データ処理装置が、任意のハイパースペクトルカメラまたはマルチスペクトルカメラによって生成されたデータキューブを符号化行列を用いて符号化することによって圧縮画像１０を生成してもよい。データキューブ２０は、符号化行列に対応する復号行列を用いた復号処理によって圧縮画像１０から復号される。復号処理には、例えば特許文献１に開示されているような圧縮センシングの技術が用いられ得る。
　図１に示す実施形態においては、復号されたデータキューブ２０に識別子２２が含まれるように、符号化行列および復号行列の少なくとも一方が識別子２２の内容に応じて編集される。これにより、符号化処理または復号処理を行うことによって識別子２２を圧縮画像１０またはデータキューブ２０に自動的に付加することができる。
　従来技術を用いてデータキューブに識別子を挿入する場合には、識別子が挿入される前のデータキューブを取得した後、識別子を挿入する処理が別途必要である。そのため、識別子の挿入されていないデータキューブが生成または伝送されることになり、データセキュリティ上、安全でない状態が生じ得る。これに対し、本実施形態では、圧縮画像１０またはデータキューブ２０の生成と同時に識別子２２が挿入される。識別子の挿入されていないデータキューブが生成または伝送されることがないため、データセキュリティ上、従来技術よりも優位である。
　なお、図１に示す識別子２２は、人が目視で判別可能な文字の情報であるが、例えば数字または記号などの他の種類の情報であってもよい。識別子は、目視では判別が困難な、コンピュータによって解読されるステガノグラフィなどの情報であってもよい。図１に示す文字Ｐａｎａｓｏｎｉｃは識別子２２の例である。
　図２Ａは、行列データの編集の例を示す図である。ここでは、復号行列を示す行列データを編集する場合の例を説明する。以下の説明において、符号化行列を示す行列データを「符号化テーブル」と称し、復号行列を示す行列データを「復号テーブル」と称する。図２Ａには、符号化テーブル３０の一部の数値の例と、復号テーブル４０の一部の数値の例とが示されている。図２Ａには、符号化テーブル３０と同一のテーブルを用いて復号した場合に得られる１つのバンドについての復号画像５０、および編集された復号テーブル４０を用いて復号した場合に得られる当該バンドについての復号画像６０の例も示されている。
　データキューブの復号は、例えば特許文献１に開示されているように、データキューブを示すベクトルに復号行列を作用させた場合の積が圧縮画像を示すベクトルにほぼ一致するように計算することによって行われる。そのため、符号化テーブル３０に比べて復号テーブル４０のある領域の値をｎ倍（図２の例では２倍）にすると、その領域の復号画像６０の輝度値は、本来の復号画像５０の輝度値の１／ｎ倍になるように計算される。このように、ある領域が本来の復号画像５０の輝度値よりも小さい輝度値または大きい輝度値を有するように復号行列が編集され得る。このような処理を行うことにより、スペクトルデータキューブの生成と同時に識別子２２を挿入することができる。同様の処理は、符号化行列についても行われ得る。符号化行列および／または復号行列の一部の領域の値を識別子２２の内容に応じて書き替えることにより、所望の識別子２２をスペクトルデータキューブに挿入することができる。
　このような行列データの編集は、スペクトルデータキューブに識別子２２を付与する場合に限らず、他の態様でスペクトルデータキューブを改変する場合にも適用され得る。例えば、図２Ｂに模式的に例示されるように、符号化行列および復号行列の少なくとも一方の行列要素をランダムに書き換えることにより、復号されるスペクトルデータキューブにランダムノイズを付与してもよい。そのような改変により、スペクトルデータキューブの読み取りを困難にし、情報を秘匿化できる。
　さらに、本開示の方法を用いて撮像装置のスペックを擬似的に編集することが可能である。行列データを編集することは、擬似的にイメージセンサの特性を編集することと等価である。例えば図２Ｃに示すように、復号行列における各行列要素を定数倍することは、撮影された圧縮画像の各画素値にその逆数を掛けることと等価である。このため、復号行列における各行列要素を定数倍することにより、擬似的にイメージセンサのダイナミックレンジを拡大または縮小することができる。言い換えると、行列データを書き換えることにより、少なくとも１つの波長バンドの画像情報の階調を変化させることができる。復号行列にランダムノイズを重畳することにより、擬似的に圧縮画像のノイズが増加したように見せかけることができる。圧縮画像および復号行列における近接する複数のセルを平均化するなどの処理により、擬似的に撮像装置が取得する画像の解像度を低下させることも可能である。言い換えると、行列データを書き換えることにより、少なくとも１つの波長バンドの画像情報の解像度を変化させることができる。
　以下、上記の原理に基づく本開示の例示的な実施形態をより具体的に説明する。
　（実施形態１）
　まず、本開示の第１の実施形態において用いられるハイパースペクトル撮像システムの構成例を説明する。その後、ハイパースペクトル撮像システムを利用した検査システムの例を説明する。
　＜ハイパースペクトル撮像システム＞
　図３Ａは、ハイパースペクトル撮像システムの構成例を模式的に示す図である。このシステムは、撮像装置１００と、処理装置２００とを備える。撮像装置１００は、特許文献１に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置されている。フィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置される。
　図３Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、検査対象になり得る任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１０のデータを生成する。処理装置２００は、イメージセンサ１６０が生成した圧縮画像１０のデータに基づいて、対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドの画像データを、「ハイパースペクトル（ＨＳ）データキューブ」または「ハイパースペクトル画像データ」と称する。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの画像データを、復号画像２０Ｗ１、２０Ｗ２、・・・、２０ＷＮと称し、これらを「ハイパースペクトル画像２０」または「ハイパースペクトルデータキューブ２０」と総称することがある。本明細書において、画像を示すデータまたは信号、すなわち、各画素の画素値を表すデータまたは信号の集合を、単に「画像」と称することがある。
　フィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、透過スペクトル（「分光透過率」とも呼ぶ）、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を、本明細書において「符号化」と称し、フィルタアレイ１１０を「符号化素子」と称することがある。
　図３Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図３Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図３Ｂから図３Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図３Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図３Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図３Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ１６０は、例えばＣＣＤ（Charge-Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、ハイパースペクトル画像２０の再構成の精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、または遠赤外の波長範囲であってもよい。
　処理装置２００は、プロセッサと、メモリ等の記憶媒体とを備えるコンピュータである。処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１０に基づいて、複数の波長バンドの情報をそれぞれ含む複数の復号画像２０Ｗ１、２０Ｗ２、・・・２０ＷＮのデータを生成する。
　図４Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図４Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図４Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図４Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図４Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図４Ｃおよび図４Ｄは、それぞれ、図４Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
　図５Ａおよび図５Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、赤外線および紫外線を含む放射全般を「光」と称する。
　図５Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、Ｗ２、・・・、ＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図５Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。
　図６Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図６Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図６Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図６Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、複数の波長バンドＷ１からＷＮのうち、少なくとも２つの複数の波長域において極大値を有する。図６Ａの例では、極大値Ｐ１、Ｐ３、Ｐ４およびＰ５は０．５以上である。
　以上のように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図６Ｂは、一例として、図６Ａに示す分光透過率を、波長バンドＷ１、Ｗ２、・・・、ＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
　図６Ａから図６Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　次に、処理装置２００による信号処理の例を説明する。処理装置２００は、イメージセンサ１６０から出力された圧縮画像１０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、「バンド数」と称する。用途によっては、バンド数は１００を超えていてもよい。
　求めたいデータはハイパースペクトル画像２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、各バンドの画像データｆ１、ｆ２、・・・、ｆＮを統合したデータである。ここで、図３Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｎとし、ｙ方向の画素数をｍとすると、画像データｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×Ｎ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換されて表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報（以下、「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。処理装置２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図３Ｂおよび図３Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の処理により、イメージセンサ１６０によって取得された圧縮画像１０から、ハイパースペクトル画像２０すなわちハイパースペクトルデータキューブを復号することができる。前述の式（２）の演算は、特許文献１に開示された演算と同様である。特許文献１においては、式（２）に関して、符号化時と復号時とで同一の行列Ｈが用いられる。これに対し、本実施形態では、符号化時と復号時とで、少なくとも部分的に異なる行列が用いられる。これにより、後述するように、復号されるハイパースペクトル画像に所望の識別子を付与するなどの改変を行うことができる。
　＜検査システム＞
　次に、上記の撮像システムを利用した検査システムの例を説明する。
　図７は、本実施形態における検査システム１０００の構成例を模式的に示す図である。この検査システム１０００は、撮像装置１００と、処理装置２００と、表示装置３００と、コンベア４００とを備える。図７に示す例における表示装置３００はディスプレイである。ディスプレイに代えて、またはディスプレイに加えて、スピーカまたはランプなどの装置が設けられていてもよい。コンベア４００は、ベルトコンベアである。ベルトコンベアに加えて、異常のある対象物７０を除去するピッキング装置が設けられていてもよい。
　検査対象である対象物７０は、コンベア４００のベルトの上に載せられ、搬送される。対象物７０は、例えば工業製品または食品などの任意の物品である。検査システム１０００は、対象物７０のハイパースペクトル画像を取得し、その画像情報に基づいて、対象物７０に混入した異物を検出する。検出される異物は、例えば特定の金属、プラスチック、虫、ゴミ、または毛髪などの任意の物であり得る。異物は、これらの物に限らず、対象物７０において品質が劣化した部位であってもよい。例えば対象物７０が食品である場合、食品の腐敗した部位が異物として検出されてもよい。検査システム１０００は、異物を検出した場合、表示装置３００またはスピーカなどの出力装置に異物を検出したことを示す情報を出力したり、異物を含む対象物７０をピッキング装置で除去したりすることができる。
　撮像装置１００は、前述のハイパースペクトル撮像が可能なカメラである。撮像装置１００は、コンベア上を連続して流れてくる対象物７０を撮影することにより、前述の圧縮画像を生成する。処理装置２００は、例えばパーソナルコンピュータ、サーバコンピュータ、またはラップトップコンピュータなどの任意のコンピュータである。処理装置２００は、撮像装置１００によって生成された圧縮画像に基づいて前述の式（２）に基づく復号処理を行うことにより、複数のバンドのそれぞれについての復号画像を生成する。処理装置２００は、それらのバンドの画像に基づいて、対象物７０に含まれる異物または異常を検出し、検出結果を表示装置３００に出力する。
　図８は、検査システム１０００におけるデータ処理に係る構成例を示すブロック図である。この検査システム１０００は、データ処理に係る構成要素として、撮像装置１００と、処理装置２００と、表示装置３００と、記憶装置５００とを備える。
　撮像装置１００は、図１Ａから図１Ｄを参照して説明したように、イメージセンサと、フィルタアレイと、レンズなどの光学系とを備える圧縮ＨＳカメラである。撮像装置１００は、対象物７０を撮影して複数のバンドの画像情報が重畳した圧縮画像のデータを生成し、処理装置２００に送る。
　処理装置２００は、撮像装置１００が生成した圧縮画像に基づいてバンド毎の画像を生成する。処理装置２００は、処理回路２１０を備える。処理回路２１０は、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）などのプロセッサを含む。処理回路２１０は、撮像装置１００が生成した圧縮画像に基づいて、対象物７０に特定の異物が含まれるか否かを判定し、判定結果を示す情報を出力する。
　記憶装置５００は、例えば半導体メモリ、磁気記憶装置、光記憶装置などの、任意の記憶媒体を含む。記憶装置５００は、処理回路２１０が実行するコンピュータプログラム、処理回路２１０が処理の過程で用いるデータ、および処理回路２１０が処理の過程で生成するデータを記憶する。記憶装置５００は、例えば、撮像装置１００によって生成される圧縮画像のデータ、復号行列を示す行列データである復号テーブル、および処理回路２１０によって生成される復号されたＨＳデータキューブ、および異物の判定結果を示すデータを記憶する。図８には、それらのデータのうち、復号テーブルおよびＨＳデータキューブが例示されている。本実施形態において、これらのデータには、識別子の情報が含まれている。識別子は、例えば撮像装置１００（すなわちカメラ）ごとの固有の識別情報であり得る。識別子の内容に応じて復号テーブルが編集されている。そのような編集された復号テーブルを用いることにより、復号されたＨＳデータキューブに識別子が含まれることになる。その識別子に基づいて、撮影したカメラを特定することができる。
　なお、以下の説明において、識別子を含むデータキューブを生成するために編集された復号テーブルを、便宜上、「識別子を含む復号テーブル」のように表現することがある。後述する符号化テーブルを編集する実施形態についても同様に、識別子を含む圧縮画像およびデータキューブを生成するために編集される符号化テーブルを、便宜上、「識別子を含む符号化テーブル」のように表現することがある。
　図９は、本実施形態における識別子の挿入処理を説明するための図である。図９に示す例では、被写体としてマクベスカラーチェッカーが用いられているが、実際の被写体は検査の対象物である。識別子の挿入されていないＨＳデータキューブ２０Ａのスペクトル情報が、符号化テーブル３０に対応する符号化素子（すなわち前述のフィルタアレイ１１０）によって符号化され、識別子の挿入されていない圧縮画像１０が記録される。本実施形態においては、撮像装置１００における符号化素子によってハードウェア的に圧縮が行われ、イメージセンサによって圧縮画像１０が生成される。特許文献２に開示されている例のように、予め生成されたＨＳデータキューブをソフトウェア的に圧縮することによって圧縮画像１０を生成することも可能である。処理回路２１０は、圧縮画像１０からＨＳデータキューブ２０Ｂを復号するために、符号化テーブル３０と比べて一部分が改変された復号テーブル４０を用いて復号処理を行う。これにより、復号されたＨＳデータキューブ２０Ｂにおける一部の復号画像に改変部分が転写され、識別子２２が挿入されたＨＳデータキューブ２０Ｂを生成することができる。
　図１０Ａは、処理回路２１０の処理を示すフローチャートである。処理回路２１０は、まず、撮像装置１００によって生成された圧縮画像１０を取得する（ステップＳ１１０）。処理回路２１０は記憶装置５００に記録された編集後の復号テーブル４０を取得する（ステップＳ１２０）。なお、ステップＳ１１０とＳ１２０の順序は逆でもよい。次に、処理回路２１０は、編集後の復号テーブル４０を用いて、圧縮画像１０からＨＳデータキューブ２０Ｂを復号する（ステップＳ１３０）。この復号処理は、例えば前述の式（２）に従って行われる。これにより、識別子２２を含むＨＳデータキューブ２０Ｂが生成される。処理回路２１０は、生成した識別子を含むＨＳデータキューブ２０Ｂを記憶装置５００に出力し、記憶させる（ステップＳ１４０）。
　本実施形態では、編集後の復号テーブル４０は予め生成され、記憶装置５００に記録されている。このような形態に限定されず、処理回路２１０が復号テーブル４０を識別子に応じて編集してもよい。
　図１０Ｂは、処理回路２１０が復号テーブル４０を識別子に応じて編集する場合の処理の例を示すフローチャートである。この例においては、処理回路２１０は、まず、撮像装置１００によって生成された圧縮画像１０を取得する（ステップＳ２１０）。処理回路２１０は編集前の復号テーブルを記憶装置５００から取得する（ステップＳ２２０）。編集前の復号テーブルは、符号化テーブルと同じものであり、予め記憶装置５００に記録されている。次に、処理回路２１０は、付与すべき識別子の内容に応じて復号テーブルを編集する（ステップＳ２３０）。例えば、図２を参照して説明したように、復号テーブルにおける一部の領域の値を定数倍するなどして書き替えることにより、復号テーブルを編集する。処理回路２１０は、編集後の復号テーブルを記憶装置５００に出力し、記憶させる。なお、ステップＳ２２０およびＳ２３０の処理は、ステップＳ２１０よりも前に行われてもよい。次に、処理回路２１０は、編集後の復号テーブルを用いて圧縮画像１０からＨＳデータキューブ２０Ｂを復号する（ステップＳ２４０）。この復号処理は、例えば前述の式（２）に従って行われる。これにより、識別子２２を含むＨＳデータキューブ２０Ｂが生成される。処理回路２１０は、生成した識別子を含むＨＳデータキューブ２０Ｂを記憶装置５００に出力し、記憶させる（ステップＳ２５０）。
　このように、本実施形態における処理回路２１０は、識別子を挿入しながらＨＳデータキューブ２０Ｂを復号する。撮像装置１００による撮像の開始から処理回路２１０による処理までのプロセスにおいては、スペクトル情報が圧縮画像１０として圧縮された状態でのみデータが存在する。そして、処理回路２１０による処理後は、識別子２２が挿入されたＨＳデータキューブ２０Ｂとしてデータが存在する。このように、本実施形態では、識別子２２の挿入されていないＨＳデータキューブはいずれの工程においても存在していない。このため、データの安全性を高く保つことができる。
　従来の技術では、圧縮画像をＨＳデータキューブに復号した後に識別子が挿入される。そのような識別子挿入プロセスにおいては、ＨＳデータキューブ生成の処理と識別子挿入の処理とが分かれているため、識別子の挿入されていないＨＳデータキューブが存在する状態を経る。ＨＳデータキューブを生成する処理回路と識別子を挿入する処理回路とが分かれている場合、識別子の挿入されていないＨＳデータキューブが伝送されることになり、データの安全性が担保されていない状態が発生する。
　本実施形態によれば、識別子の挿入されていないＨＳデータキューブが生成されることがないため、データの安全性を向上させることができる。さらに、本実施形態の技術を用いることにより、ＨＳデータキューブの取得プロセスと識別子の挿入プロセスとを統一することができる。これにより、従来の識別子挿入技術と比べてデータ処理の負荷を低減することができるため、よりシンプルな回路構成で識別子を含むＨＳデータキューブを生成することが可能になる。
　なお、本実施形態では、ＨＳデータキューブに識別子が付与されるが、他の方法でＨＳデータキューブを改変してもよい。例えば、図２Ｂに示すように、復号テーブルにランダムノイズを付与して本来のＨＳデータキューブの読み取りを困難にしてもよい。あるいは、図２Ｃに示すように、復号テーブルの各行列要素を一律に定数倍することによってＨＳデータキューブのダイナミックレンジを拡大または縮小してもよい。このような変形は、以下の各実施形態においても同様に適用することができる。
　（実施形態２）
　次に、本開示の第２の実施形態を説明する。本実施形態では、復号テーブルではなく符号化テーブルが識別子に応じて編集される点で実施形態１とは異なっている。以下、実施形態１と異なる点を中心に説明し、共通する事項についての説明は省略する。
　図１１は、本実施形態における識別子の挿入プロセスを説明するための図である。本実施形態では、識別子の挿入されていないＨＳデータキューブ２０Ａのスペクトル情報が、識別子情報をもつ符号化テーブル３０またはこれに対応する符号化素子によって符号化される。これにより、識別子情報が挿入された圧縮画像１０が記録される。符号化による圧縮は、ハードウェア的に行ってもよいし、ソフトウェア的に行ってもよい。例えば、図３Ａから図３Ｄに示す例では、符号化素子を用いてハードウェア的に圧縮が行われる。その場合には、対象波長域に含まれる複数の波長バンドのうち、特定の波長バンドの光のみを反射または吸収するフィルタを、フィルタアレイ１１０における識別子の位置に対応する一部の領域にのみ配置する構成が用いられ得る。そのような構成により、識別子情報を含む圧縮画像１０を取得することができる。あるいは、特許文献２に開示された装置のように、ソフトウェア的に圧縮画像１０を生成してもよい。その場合、ソフトウェア処理により、符号化テーブル３０に任意の識別子情報を挿入することができる。このように、識別子情報とスペクトル情報とが圧縮された圧縮画像１０に基づいて復号処理が行われる。復号処理において、符号化テーブル３０から識別子情報が取り除かれた（すなわち、識別子情報が挿入されていない）復号テーブル４０が用いられる。この復号テーブル４０は、本来の符号化テーブルと同一のものである。識別子情報を含まない復号テーブル４０を用いることにより、符号化テーブル３０の改変された部分がＨＳデータキューブ２０Ｂにおける一部のバンドの復号画像に転写される。これにより、識別子が挿入されたＨＳデータキューブ２０Ｂを生成することができる。
　図１２は、本実施形態における識別子の挿入プロセスを説明するためのブロック図である。図１２の例では、任意の方式のＨＳカメラを撮像装置１００Ａとして用いることができる。この例における処理装置２００は、圧縮画像を生成する第１処理回路２１０Ａと、ＨＳデータキューブを復号する第２処理回路２１０Ｂとを含む。第１処理回路２１０Ａは、撮像装置１００Ａによって生成されたＨＳデータキューブを、識別子の情報が挿入された符号化テーブル３０を用いて圧縮することにより、識別子の情報を含む圧縮画像１０を生成する。第１処理回路２１０Ａは、生成した圧縮画像１０を記憶装置５００に出力して記憶させる。第２処理回路２１０Ｂは、識別子の挿入された圧縮画像１０と、識別子の挿入されていない復号テーブル４０を記憶装置５００から取得し、前述の式（２）に基づく復号処理を行う。これにより、第２処理回路２１０Ｂは、識別子の挿入されたＨＳデータキューブ２０Ｂを生成する。第２処理回路２１０Ｂは、生成した識別子入りのＨＳデータキューブ２０Ｂを記憶装置５００に記憶させる。
　図１２に示す一連のプロセスにおいて、ＨＳカメラである撮像装置１００ＡからＨＳデータキューブが送られる部分のみ、識別子の挿入されていない状態でＨＳデータキューブが存在する。しかし、それ以降のプロセスでは、常に識別子が挿入された状態でデータが存在する。これにより、データの脆弱性を解消することができる。
　従来技術では、任意の方式のＨＳカメラで取得されたＨＳデータキューブは、識別子の情報が挿入されていない符号化テーブルを用いて圧縮され、復号後に識別子が挿入される。圧縮画像は、識別子が挿入されていない状態で記録される。当該圧縮画像は、圧縮に用いられた符号化テーブルと同一の復号テーブルを用いて処理される。その結果、識別子が挿入されていないＨＳデータキューブが復号される。ＨＳデータキューブが復号された後、当該ＨＳデータキューブに識別子が挿入される。この一連の処理においては、ＨＳデータキューブの復号時から識別子が挿入されるまでの間、識別子が挿入されていないＨＳデータキューブが生成および伝送されることになる。このため、データセキュリティ上、問題が生じ得る。従来技術を用いた識別子の挿入方法において、圧縮画像の生成プロセスよりも前の段階で識別子を挿入した場合には、ＨＳカメラからＨＳデータキューブが送られるプロセスのみが識別子の挿入されていないＨＳデータキューブの移動を伴う。この場合、データセキュリティ上のリスクとしては本実施形態と同等になるが、本実施形態よりも多くの処理プロセスが必要となり、データ処理に要するコストが増大する。
　（実施形態３）
　図１３は、本開示の第３の実施形態によるシステムの構成を示すブロック図である。本実施形態のシステムは、データ処理装置７００と、１つ以上の検査システム１０００とを備える。図１３には、３つの検査システム１０００が例示されているが、検査システム１０００の数は任意である。各検査システム１０００は、実施形態１における検査システム１０００と同様の構成要素を備える。ただし、各検査システム１０００は、データ処理装置７００と通信するための通信器６００も備えている。データ処理装置７００は、各検査システム１０００に必要な情報を配信するコンピュータである。データ処理装置７００は、例えば撮像装置１００のメーカが保有するサーバコンピュータであり得る。データ処理装置７００は、例えばインターネットなどのネットワークを介して各検査システム１０００と通信することができる。データ処理装置７００は、通信器７１０と、処理回路７２０と、記憶装置７３０とを備える。通信器７１０は、各検査システム１０００における通信器６００と通信を行う回路である。処理回路７２０は、識別子の情報を含む復号テーブルを生成するプロセッサを含む回路である。記憶装置７３０は、処理回路７２０が実行するプログラム、処理回路７２０が処理の過程で参照する復号テーブル、および処理回路７２０によって生成される識別子の情報を含む復号テーブルなどの各種のデータを記憶する。
　処理回路７２０は、記憶装置７３０に記録された復号テーブルを、ＨＳデータキューブに挿入すべき識別子の内容に応じて編集することにより、識別子の情報を含む復号テーブルを生成し、記憶装置７３０に記録する。処理回路７２０は、生成した識別子の情報を含む復号テーブルを、検査システム１０００に配信する。検査システム１０００における通信器６００は、受信した識別子入りの復号テーブルを記憶装置５００に記録する。処理装置２００は、配信された復号テーブルと、撮像装置１００によって生成された圧縮画像とに基づいて、識別子を含むＨＳデータキューブを生成して記憶装置５００に記録する。処理装置２００の処理は、図１０Ａを参照して説明した実施形態１における処理と同様である。
　データ処理装置７００は、検査システム１０００ごとに個別の識別子を配信してもよい。定期的または不定期的に識別子を変更することで、復号に用いられた装置または復号が行われた時期を同定または追跡することが可能になる。
　（実施形態４）
　図１４は、本開示の第４の実施形態によるシステムの構成を示すブロック図である。本実施形態におけるシステムは、データ処理装置７００と、複数の検査システム１０００とを備える。本実施形態においては、データ処理装置７００における処理回路７２０が、復号テーブルではなく符号化テーブルを識別子に応じて編集し、各検査システム１０００における処理装置２００が、編集された符号化テーブルを用いて識別子を含む圧縮画像を生成する点で、実施形態３とは異なる。各検査システム１０００における処理装置２００は、実施形態２における処理装置２００と同様の動作を実行する。
　本実施形態におけるデータ処理装置７００の処理回路７２０は、記憶装置７３０に記録された符号化テーブルを、ＨＳデータキューブに挿入すべき識別子の内容に応じて編集することにより、識別子の情報を含む符号化テーブルを生成し、記憶装置７３０に記録する。処理回路７２０は、生成した識別子の情報を含む符号化テーブルを、検査システム１０００に配信する。検査システム１０００における通信器６００は、受信した識別子入りの符号化テーブルを記憶装置５００に記録する。処理装置２００は、実施形態２と同様、第１処理回路２１０Ａと第２処理回路２１０Ｂとを備える。第１処理回路２１０Ａは、データ処理装置７００から配信された識別子入りの符号化テーブルを用いて、撮像装置１００によって生成されたハイパースペクトルデータキューブを符号化することにより、識別子入りの圧縮画像を生成する。第１処理回路２１０Ａは、生成した識別子入りの圧縮画像を記憶装置５００に記録する。第２処理回路２１０Ｂは、識別子入りの圧縮画像と、識別子を含まない復号テーブルとを記憶装置５００から取得し、それらに基づいて識別子を含むＨＳデータキューブを生成し、記憶装置５００に記録する。
　本実施形態においても、データ処理装置７００は、検査システム１０００ごとに個別の識別子を配信してもよい。定期的または不定期的に識別子を変更することで、復号に用いられた装置または復号が行われた時期を同定または追跡することが可能になる。
　（実施形態５）
　図１５は、本開示の第５の実施形態による検査システム１０００の構成を示すブロック図である。本実施形態における検査システム１０００は、実施形態１と同様のハードウェア構成を備える。本実施形態における処理装置２００は、対象波長域に含まれる複数の波長バンドの一部を合成し、より少数のバンドに編成した上で復号を行う。以下の説明において、対象波長域に含まれる複数の波長バンドのそれぞれについての画像を復号するための復号テーブルを「完全復号テーブル」と称する。対象波長域に含まれる複数の波長バンドの一部が１つの合成バンドとして統合された新たな複数の波長バンドのそれぞれについての画像を復号するための復号テーブルを「縮小復号テーブル」と称する。縮小復号テーブルは、完全復号テーブルよりも小さいデータサイズを有する。縮小復号テーブルを生成して利用することにより、復号処理の演算コストを低減することができる。例えば検査において重要でない複数の連続するバンドを１つのバンドとして統合することにより、検査の精度を落とさずに演算処理の負荷を低減することができる。本実施形態における処理装置２００は、完全復号テーブルに基づいて、縮小復号テーブルを生成する。このとき、ＨＳデータキューブに挿入すべき識別子に対応する情報を含む縮小復号テーブルを生成する。処理装置２００は、３つの処理回路２０１、２０２、２０３を備える。処理回路２０１は、完全復号テーブルに基づき、一部のバンドを合成する処理を行うことにより、縮小復号テーブルを生成する。例えば、完全復号テーブルにおける連続する２つ以上のバンドにそれぞれ対応する２つ以上の要素の値を平均化するなどの処理により、それらの要素を１つの要素として統合する。そのような処理により、完全復号テーブルよりもサイズが圧縮された縮小復号テーブルが生成される。処理回路２０２は、縮小符号テーブルに識別子の情報を付加する。例えば、縮小復号テーブルにおける一部の領域の値を定数倍するなどの方法により、縮小復号テーブルに識別子の情報を埋め込む。処理回路２０３は、撮像装置１００によって生成された識別子を含まない圧縮画像と、処理回路２０２によって生成された識別子の情報を含む縮小復号テーブルとに基づき、識別子を含むＨＳデータキューブを生成する。生成されたＨＳデータキューブは、記憶装置５００に記録される。処理回路２０３は、表示装置３００に、復号した各バンドの画像を表示させてもよい。なお、処理回路２０１によるバンドの合成処理と、処理回路２０２による識別子の挿入処理の順序は入れ替わってもよい。
　図１６は、本実施形態の検査システム１０００の変形例を示すブロック図である。この例における検査システム１０００は、実施形態２の検査システム１０００と同様のハードウェア構成を備える。この例における処理装置２００は、処理回路２１１、２１２、２１３を備える。処理回路２１１は、記憶装置５００に記録された識別子の情報を含む符号化テーブルを用いて、撮像装置１００Ａによって生成されたＨＳデータキューブを符号化することにより、識別子の情報を含む圧縮画像を生成して記憶装置５００に記録する。処理回路２１２は、完全復号テーブルを記憶装置５００から取得し、一部のバンドの情報を統合することによって縮小復号テーブルを生成して記憶装置５００に記録する。本変形例における縮小復号テーブルは、識別子の情報を含まない。処理回路２１３は、処理回路２１１によって生成された識別子の情報を含む圧縮画像と、処理回路２１２によって生成された識別子の情報を含まない縮小復号テーブルとに基づいて、識別子を含むＨＳデータキューブを生成する。処理回路２１３は、生成したＨＳデータキューブを、記憶装置５００に記録し、表示装置３００に各バンドの画像を表示させる。このような動作によっても、識別子を含むＨＳデータキューブを生成することができる。
　図１５および図１６のいずれの例においても、縮小復号テーブルの生成において、予め機械学習等を利用して生成された統計学習モデル等を参照して、合成するバンドを決定してもよい。
　（実施形態６）
　図１７は、本開示の第６の実施形態によるシステムの構成を示すブロック図である。本実施形態におけるシステムは、実施形態３と同様、データ処理装置７００と、複数の検査システム１０００とを備える。各検査システム１０００の構成は、実施形態３における構成と同様である。本実施形態においては、データ処理装置７００が、完全復号テーブルから縮小復号テーブルを生成し、その縮小復号テーブルに識別子のデータを付加して各検査システム１０００に配信する点で、実施形態３のシステムとは異なる。本実施形態におけるデータ処理装置７００は、２つの処理回路７２１、７２２を備える。処理回路７２１は、記憶装置７３０に記録された完全復号テーブルを取得し、完全復号テーブルにおいて相対的に重要度の低い連続する２つ以上の波長バンドの情報を合成した縮小復号テーブルを生成する。この処理において、処理回路７２１は、モデルデータに従って縮小復号テーブルを生成する。モデルデータは、例えば、波長バンドごとの重みをパラメータに含む、主成分分析などによる統計モデルまたはニューラルネットワーク等の非線形モデルなどのデータを含み、多数の学習用データから生成される。処理回路７２２は、処理回路７２１によって生成された縮小復号テーブルに、識別子の情報を付加した縮小復号テーブルを生成して記憶装置７３０に記憶させる。なお、処理回路７２１による縮小復号テーブルの生成処理と、処理回路７２２による識別子の挿入処理とが逆の順序で行われてもよい。
　（実施形態７）
　図１８は、本開示の第７の実施形態によるシステムの構成を示すブロック図である。本実施形態におけるシステムも、データ処理装置７００と、複数の検査システム１０００とを備える。各検査システム１０００の構成は、実施形態４における構成と同様である。本実施形態においては、データ処理装置７００が、完全復号テーブルから縮小復号テーブルを生成し、各検査システム１０００に配信する。識別子の情報を含む符号化テーブルが記憶装置５００に予め記録されている。なお、実施形態４と同様に、データ処理装置７００が識別子の情報を含む符号化テーブルを生成して検査システム１０００に配信してもよい。
　本実施形態における処理回路７２０は、記憶装置７３０に記録された完全復号テーブルと、予め用意されたモデル学習データとに基づいて、縮小復号テーブルを生成する。この縮小復号テーブルは、識別子の情報を含んでいない。処理回路７２０は、生成した縮小復号テーブルを、検査システム１０００に配信する。
　検査システム１０００における処理装置２００は、図１４の例と同様、処理回路２１０Ａと処理回路２１０Ｂとを備える。処理回路２１０Ａは、記憶装置５００に記録された識別子の情報を含む符号化テーブルを用いて撮像装置１００Ａによって生成されたＨＳデータキューブを符号化する。これにより、識別子の情報を含む圧縮画像が生成される。処理回路２１０Ｂは、データ処理装置７００から配信された識別子の情報を含まない縮小復号テーブルを用いて、圧縮画像から識別子を含むＨＳデータキューブを復号する。復号されたＨＳデータキューブは、記憶装置５００に記録され、表示装置３００に各バンドの画像が表示される。
　本開示の技術は、例えば、多波長の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、工業製品または食品などの物品に混入する異物を検出する用途等に利用可能である。
　１０　　圧縮画像
　２０　　データキューブ
　２２　　識別子
　３０　　符号化テーブル
　４０　　復号テーブル
　５０、６０　　復号画像
　７０　　対象物
　１００　撮像装置
　１１０　フィルタアレイ
　１４０　光学系
　１６０　イメージセンサ
　２００　処理装置
　３００　表示装置
　４００　コンベア
　５００　記憶装置
　６００　通信器
　７００　データ処理装置
　７１０　通信器
　７２０　処理回路
　７３０　記憶装置
　１０００　検査システム

Claims (21)

  1. 　コンピュータによって実行される方法であって、
    　複数の波長バンドの画像情報を含むスペクトルデータキューブを符号化して圧縮画像を生成するために用いられる符号化行列、および／または符号化された前記圧縮画像から前記スペクトルデータキューブを復号するために用いられる復号行列を示す行列データを取得することと、
    　前記スペクトルデータキューブが復号された場合に前記スペクトルデータキューブにおける少なくとも１つの波長バンドの画像情報が改変されるように前記行列データを編集することと、
    　編集後の前記行列データを出力することと、
    を含む方法。
  2. 　前記行列データを編集することは、前記スペクトルデータキューブが復号された場合に前記少なくとも１つの波長バンドの画像情報が識別子を含むように前記行列データを書き替えることを含む、請求項１に記載の方法。
  3. 　前記行列データを編集することは、前記少なくとも１つの波長バンドの画像情報の読み取りを妨げるノイズが前記スペクトルデータキューブに付与されるように、前記行列データを書き換えることを含む、請求項１または２に記載の方法。
  4. 　前記行列データを編集することは、前記少なくとも１つの波長バンドの画像情報の階調、および解像度の少なくとも一方が変化するように、前記行列データを書き換えることを含む、請求項１から３のいずれかに記載の方法。
  5. 　前記行列データを編集することは、前記スペクトルデータキューブが復号された場合に前記スペクトルデータキューブにおける前記複数の波長バンドの画像情報が改変されるように前記行列データを書き換えることを含む、請求項１から４のいずれかに記載の方法。
  6. 　前記行列データは、前記復号行列を示す、請求項１から５のいずれかに記載の方法。
  7. 　編集後の前記行列データを出力することは、前記復号行列を示す前記行列データに基づいて前記圧縮画像から前記スペクトルデータキューブを復号する装置に前記行列データを送信することを含む、請求項６に記載の方法。
  8. 　前記行列データを出力することは、前記復号行列を示す前記行列データを記憶媒体に記憶させることを含み、
    　前記方法は、さらに、
    　前記圧縮画像を取得することと、
    　編集後の前記行列データを用いて前記圧縮画像から前記スペクトルデータキューブを復号することと、
    を含む、請求項６に記載の方法。
  9. 　前記圧縮画像は、フィルタアレイを備えた撮像装置によって生成され、
    　前記フィルタアレイは、透過スペクトルが互いに異なる複数種類の光学フィルタを含み、
    　前記符号化行列は、前記フィルタアレイの透過スペクトルの二次元分布に対応し、
    　前記スペクトルデータキューブを復号することは、前記復号行列に基づく圧縮センシング処理によって前記圧縮画像から前記スペクトルデータキューブを復号することを含む、請求項１から８のいずれかに記載の方法。
  10. 　前記行列データは、前記符号化行列を示す、請求項１から５のいずれかに記載の方法。
  11. 　前記行列データを出力することは、前記符号化行列を示す前記行列データに基づいて前記スペクトルデータキューブを符号化して前記圧縮画像を生成する装置に前記行列データを送信することを含む、請求項１０に記載の方法。
  12. 　編集後の前記行列データを出力することは、前記符号化行列を示す前記行列データを記憶媒体に記憶させることを含み、
    　前記方法は、さらに、
    　前記スペクトルデータキューブを取得することと、
    　編集後の前記行列データに基づいて前記スペクトルデータキューブを符号化して前記圧縮画像を生成することと、
    を含む、請求項１０に記載の方法。
  13. 　前記識別子は、前記符号化行列に基づいて前記圧縮画像を生成する装置、または前記復号行列に基づいて前記スペクトルデータキューブを復号する装置を特定する情報を含む、請求項２に記載の方法。
  14. 　前記識別子は、前記識別子が付与された時期を特定する情報を含む、請求項２または１３に記載の方法。
  15. 　前記行列データを取得することは、
    　前記圧縮画像から、対象波長域に含まれる複数の波長バンドのそれぞれについての画像を復号するための復号テーブルを取得することと、
    　前記復号テーブルに基づいて、前記複数の波長バンドのうちの２つ以上の波長バンドが１つの波長バンドとして統合された、前記複数の波長バンドよりも少数の波長バンドのそれぞれについての画像を前記スペクトルデータキューブとして復号するための縮小復号テーブルを、前記復号行列を示す前記行列データとして生成することと、
    を含み、
    　前記行列データを編集することは、前記縮小復号テーブルを編集することを含む、
    請求項１から１４のいずれかに記載の方法。
  16. 　編集後の前記行列データを出力することは、編集後の前記縮小復号テーブルを他の装置に送信することを含む、請求項１５に記載の方法。
  17. 　前記行列データは、前記符号化行列を示す第１行列データと、前記復号行列を示す第２行列データとを含み、
    　前記行列データを編集することは、前記第１行列データおよび前記第２行列データを編集することを含む、請求項１から５のいずれかに記載の方法。
  18. 　複数の波長バンドの画像情報を含むスペクトルデータキューブを符号化して圧縮画像を生成するために用いられる符号化行列、および／または符号化された前記圧縮画像から前記スペクトルデータキューブを復号するために用いられる復号行列を示す行列データを記憶する記憶装置と、
    　前記スペクトルデータキューブが復号された場合に前記スペクトルデータキューブにおける少なくとも１つの波長バンドの画像情報が改変されるように前記行列データを編集し、編集後の前記行列データを出力する処理回路と、
    を備える装置。
  19. 　請求項１８に記載の装置によって出力された編集後の前記行列データを記憶する記憶装置と、
    　前記行列データに基づいて前記スペクトルデータキューブを符号化して前記圧縮画像を生成する処理、および／または、前記行列データに基づいて前記圧縮画像から前記スペクトルデータキューブを復号する処理を実行する処理回路と、
    を備える装置。
  20. 　前記行列データは前記復号行列を示し、
    　前記装置は、前記圧縮画像を生成する撮像装置をさらに備え、
    　前記処理回路は、前記復号行列を示す前記行列データに基づいて前記圧縮画像から前記スペクトルデータキューブを復号する、
    請求項１９に記載の装置。
  21. 　前記撮像装置は、
    　透過スペクトルが互いに異なる複数種類の光学フィルタを含むフィルタアレイと、
    　前記フィルタアレイを通過した光を検出して前記圧縮画像を生成するイメージセンサと、
    を備え、
    　前記符号化行列は、前記フィルタアレイの透過スペクトルの二次元分布に対応する、
    請求項２０に記載の装置。
PCT/JP2022/001493 2021-02-03 2022-01-18 スペクトルデータキューブを改変する方法および装置 WO2022168594A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280009937.8A CN116762330A (zh) 2021-02-03 2022-01-18 改变光谱数据立方体的方法和装置
JP2022579422A JPWO2022168594A1 (ja) 2021-02-03 2022-01-18
US18/353,883 US20230360393A1 (en) 2021-02-03 2023-07-18 Method and device of altering spectral data cube

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021016153 2021-02-03
JP2021-016153 2021-02-03
JP2021-203149 2021-12-15
JP2021203149 2021-12-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/353,883 Continuation US20230360393A1 (en) 2021-02-03 2023-07-18 Method and device of altering spectral data cube

Publications (1)

Publication Number Publication Date
WO2022168594A1 true WO2022168594A1 (ja) 2022-08-11

Family

ID=82740635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001493 WO2022168594A1 (ja) 2021-02-03 2022-01-18 スペクトルデータキューブを改変する方法および装置

Country Status (3)

Country Link
US (1) US20230360393A1 (ja)
JP (1) JPWO2022168594A1 (ja)
WO (1) WO2022168594A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9599511B2 (en) * 2014-11-19 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
US20170205337A1 (en) * 2014-07-24 2017-07-20 Ecole Polytechnique Federale De Lausanne (Epfl) Compact Multifunctional System for Imaging Spectroscopy
JP2019012869A (ja) * 2017-06-29 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 画像送受信システム、サーバおよび撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170205337A1 (en) * 2014-07-24 2017-07-20 Ecole Polytechnique Federale De Lausanne (Epfl) Compact Multifunctional System for Imaging Spectroscopy
US9599511B2 (en) * 2014-11-19 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
JP2019012869A (ja) * 2017-06-29 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 画像送受信システム、サーバおよび撮像装置

Also Published As

Publication number Publication date
JPWO2022168594A1 (ja) 2022-08-11
US20230360393A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
Mihoubi et al. Multispectral demosaicing using pseudo-panchromatic image
CN105791640B (zh) 摄像装置
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
CN115211106A (zh) 信号处理方法、信号处理装置及摄像系统
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
EP4092397A1 (en) Optical filter array, optical detection device, and optical detection system
Farid Image forensics
JP6975933B2 (ja) 画像処理装置、撮像システム、画像処理方法およびプログラム
EP4332877A1 (en) Image processing device, image capturing system, and method for estimating error in restored image
CN115038945A (zh) 摄像装置
WO2022168594A1 (ja) スペクトルデータキューブを改変する方法および装置
CN115668008A (zh) 滤波器阵列及光检测系统
CN116762330A (zh) 改变光谱数据立方体的方法和装置
CN117460947A (zh) 信号处理装置及信号处理方法
Sippel et al. Cross spectral image reconstruction using a deep guided neural network
Mathur et al. An efficient spatial domain based image watermarking using shell based pixel selection
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
Kaarna et al. Multiwavelets in watermarking spectral images
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
CN118251898A (zh) 在生成分光图像的系统中使用的装置及滤光器阵列、生成分光图像的系统以及滤光器阵列的制造方法
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2023100660A1 (ja) 撮像システムおよび撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22749470

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280009937.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022579422

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22749470

Country of ref document: EP

Kind code of ref document: A1