WO2018021048A1 - 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム - Google Patents

色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム Download PDF

Info

Publication number
WO2018021048A1
WO2018021048A1 PCT/JP2017/025569 JP2017025569W WO2018021048A1 WO 2018021048 A1 WO2018021048 A1 WO 2018021048A1 JP 2017025569 W JP2017025569 W JP 2017025569W WO 2018021048 A1 WO2018021048 A1 WO 2018021048A1
Authority
WO
WIPO (PCT)
Prior art keywords
diffracted light
color
imaging
spectral distribution
unit
Prior art date
Application number
PCT/JP2017/025569
Other languages
English (en)
French (fr)
Inventor
岡田 崇
智仁 増田
森本 哲郎
Original Assignee
凸版印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 凸版印刷株式会社 filed Critical 凸版印刷株式会社
Priority to CN201780046323.6A priority Critical patent/CN109565577B/zh
Priority to JP2018507754A priority patent/JP6540885B2/ja
Priority to EP17834056.8A priority patent/EP3493538B1/en
Publication of WO2018021048A1 publication Critical patent/WO2018021048A1/ja
Priority to US16/258,569 priority patent/US10712203B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/524Calibration of colorimeters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B42BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42DBOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D25/00Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof
    • B42D25/30Identification or security features, e.g. for preventing forgery
    • B42D25/328Diffraction gratings; Holograms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to a color calibration apparatus, a color calibration system, a color calibration hologram, a color calibration method, and a program for an image capturing apparatus such as a camera.
  • the present application claims priority based on Japanese Patent Application No. 2016-147711 filed in Japan on July 27, 2016 and Japanese Patent Application No. 2016-204397 filed in Japan on October 18, 2016, and the contents thereof. Is hereby incorporated by reference.
  • the image capturing apparatus converts color information of captured image data, which is a color image of the captured subject, into RGB (Red, Green, Blue) signals indicated by the three primary colors of light, and this is converted into a display device or a printing device. Output to an image output device such as a (printer). In an image output apparatus, a color image is generally reproduced based on signal values of supplied (input) RGB signals.
  • the RGB signals obtained by the image pickup device are based on optical characteristics such as an imaging lens, hardware characteristics such as spectral transmittance of an RGB filter (RGB primary color filter), and software such as white balance adjustment, gamma correction, and tone mapping. Rely on image processing.
  • RGB primary color filter RGB primary color filter
  • software such as white balance adjustment, gamma correction, and tone mapping.
  • image processing there are various reproduction methods and individual differences between devices in the image output apparatus. For this reason, when outputting the image captured by the image capturing device from the image output device, even if the same color information is input at the spectral level, the color (RGB signal value) that is actually reproduced is different and accurate color reproduction is performed. May not be possible.
  • a common color signal conforming to the sRGB (standard RGB) standard or the like is often used in the transfer of captured image data between the image capturing device and the image output device.
  • an RGB signal recorded in a CCD (Charge Coupled Device) or the like in the image pickup system is color-corrected in accordance with the sRGB standard, and the image including the color information of the sRGB standard in which the color correction is performed.
  • Outputs image data is outputs image data.
  • a method of approximating a reproduced color to a target color by performing electronic correction for matrix calculation of RGB signals is generally used.
  • the above-described electronic color correction method that performs a matrix operation on RGB signals uses RAW data obtained by imaging a color chart such as a Macbeth color chart for color calibration, and creates a profile of each hardware characteristic of the image capturing apparatus. By doing so, the difference between different image pickup devices is corrected. As described above, if the color characteristics of the image pickup apparatus can be estimated using the color chart, the color reproduction of the image pickup apparatus can be accurately performed.
  • a general color chart such as a Macbeth color chart is affected by all light sources including ambient light because the surface has diffuse reflection characteristics. For this reason, it is necessary to image the entire color chart so that the way the light strikes each color chart in the color chart is not different by a shielding object or the like. Further, depending on the spectral distribution of the light source, there may be a condition color (metamerism) phenomenon. Therefore, in order to accurately grasp the color characteristics of the image pickup apparatus, a large number of color charts having various spectral reflectances, for example, 24 types. Need to be arranged in parallel, which increases the size of the color chart.
  • the color chart and the imaging target to be color-corrected cannot be imaged at the same time, and the color chart is imaged, and each hardware characteristic profile of the image imaging device is created, and then color correction is performed.
  • the imaging target is imaged.
  • color correction is performed using this profile, accurate color reproduction may not be possible.
  • the present invention has been made in view of such a situation, and unlike the case of using the color chart described above, a profile of hardware characteristics for performing color correction between image pickup apparatuses without being affected by ambient light.
  • a color calibration apparatus, a color calibration system, a color calibration hologram, a color calibration method, and a program are provided.
  • the color calibration apparatus is configured to capture one image capturing apparatus between different image capturing apparatuses by using a hologram that emits diffracted light having different frequencies corresponding to the observation angle.
  • a color proofing device that calibrates each color of an image, a diffracted light spectral distribution calculation unit that obtains a diffracted light spectral distribution of each of the diffracted lights from the hologram, and the diffracted light spectral distribution of each of the diffracted lights;
  • a spectral sensitivity estimation unit that estimates the spectral sensitivity of the image imaging device from each captured image of the diffracted light, and the image imaging device is different from the image imaging device using the estimated spectral sensitivity.
  • a color calibration unit that calibrates the color difference for the image pickup apparatus.
  • a color proofing device in which the color proofing device of the first aspect captures an observation angle and an observation position at which the image pickup device picks up the hologram. And an observation angle estimation unit for estimating from the above. Further, the diffracted light spectral distribution calculation unit calculates each diffracted light spectral distribution of the diffracted light using the observation angle and the observation position estimated from the captured images of the diffracted light.
  • the color proofing apparatus is the color proofing apparatus according to the first or second aspect, wherein the spectral sensitivity estimation unit corresponds to the frequency of the diffracted light spectral distribution of each of the diffracted lights.
  • the spectral sensitivity of the image pickup device is estimated from the light intensity of each of the picked-up images of the diffracted light.
  • the color proofing device according to any one of the first to third aspects, wherein the color proofing device corresponds to each of a plurality of preset diffracted light spectral distributions set in advance.
  • An imaging operation instructing unit that outputs information indicating an operation for imaging all the captured images having.
  • the color calibration apparatus is the color calibration apparatus according to the fourth aspect, wherein the imaging operation instruction unit captures a captured image having a diffracted light spectral distribution corresponding to the set diffracted light spectral distribution. If the captured image of the diffracted light spectral distribution is not captured, a notification prompting the user to capture the captured image having the diffracted light spectral distribution is sent to the display unit of the image capturing apparatus. Output.
  • the color calibration apparatus is the color calibration apparatus according to the fifth aspect, wherein the imaging operation instruction unit corresponds to the set diffracted light spectral distribution and has not been obtained.
  • the imaging direction for capturing the captured image is displayed on the display unit.
  • the color calibration apparatus is the color calibration apparatus according to the fifth or sixth aspect, wherein the imaging operation instruction unit has a diffracted light spectral distribution corresponding to the set diffracted light spectral distribution.
  • the imaging operation instruction unit has a diffracted light spectral distribution corresponding to the set diffracted light spectral distribution.
  • a color calibration system includes a color calibration hologram that emits diffracted light having different frequencies corresponding to an observation angle, and a spectral distribution for obtaining a spectral distribution of each of the diffracted light from the color calibration hologram. From the calculation unit, the spectral distribution of each of the diffracted lights, and the captured image of each of the diffracted lights, a spectral sensitivity estimation unit that estimates the spectral sensitivity of the image pickup device, and the estimated spectral sensitivity, A color calibrating unit that calibrates the color difference of the image capturing apparatus with respect to another image capturing apparatus different from the image capturing apparatus;
  • a color calibration system is the color calibration system according to the eighth aspect, wherein the color calibration hologram is adjacent to an imaging target to be imaged as a captured image for calibrating the color difference. Is provided.
  • a color calibration system is the color calibration system according to the ninth aspect, wherein the imaging target is used for determining the authenticity of an article, and changes in light characteristics that are characteristics of irradiated light.
  • the color proofing system according to any one of the eighth to tenth aspects has a diffracted light spectral distribution corresponding to each of a plurality of preset diffracted light spectral distributions.
  • An imaging operation instructing unit that outputs information indicating an operation for imaging all the captured images having.
  • the color calibration hologram according to the twelfth aspect of the present invention is a hologram that emits diffracted light with different frequencies corresponding to the observation angle, and calibrates each color of the captured image of one image capturing device between different image capturing devices. Used to determine the spectral sensitivity to be
  • a color calibration hologram according to a thirteenth aspect of the present invention is provided adjacent to an imaging target imaged as a captured image for calibrating the color difference in the color calibration hologram according to the twelfth aspect.
  • a color calibration hologram according to a fourteenth aspect of the present invention is the color calibration hologram according to the thirteenth aspect, wherein the imaging object has a light characteristic that is a characteristic of irradiated light used for authenticity determination of an article. It is a forgery prevention medium in which the pattern of light observed by the change changes.
  • the color calibration method calibrates each color of a captured image of one image capturing apparatus between different image capturing apparatuses by using a hologram that emits diffracted light having different optical frequencies corresponding to the observation angle.
  • a color calibration method comprising: a spectral distribution calculation process for obtaining a diffracted light spectral distribution of each of the diffracted lights from the hologram; the diffracted light spectral distribution of each of the diffracted lights; and a captured image of each of the diffracted lights.
  • the spectral sensitivity estimation process for estimating the spectral sensitivity of the image pickup device and the estimated spectral sensitivity are used to calibrate the color difference of the image pickup device with respect to another image pickup device different from the image pickup device. Color proofing process.
  • the color calibration method according to the sixteenth aspect of the present invention is the same as the color calibration method according to the fifteenth aspect, in which all captured images having diffracted light spectral distributions respectively corresponding to a plurality of preset diffracted light spectral distributions are set. It further includes an imaging operation instruction process for outputting information indicating an operation for imaging.
  • a program according to a seventeenth aspect of the present invention is a computer that performs an operation of calibrating each color of a captured image of one image capturing device between different image capturing devices using a hologram that emits diffracted light having different frequencies corresponding to an observation angle.
  • Diffracted light spectral distribution calculating means for obtaining a diffracted light spectral distribution of each of the diffracted lights from the hologram, the diffracted light spectral distribution of each of the diffracted lights, and the diffracted light.
  • Spectral sensitivity estimation means for estimating the spectral sensitivity of the image capturing device from each captured image, and using the estimated spectral sensitivity to the other image capturing device different from the image capturing device. It operates as a color proofing means for calibrating the color difference.
  • a program according to the seventeenth aspect in which all the captured images having diffracted light spectral distributions respectively corresponding to a plurality of preset diffracted light spectral distributions set in the computer are used. It is further operated as an imaging operation instruction means for outputting information indicating an operation for imaging.
  • a color calibration apparatus As described above, according to the present invention, unlike the case of using a color chart, it is possible to generate a hardware characteristic profile for performing color correction between image capturing apparatuses without being affected by ambient light.
  • a color calibration apparatus, a color calibration system, a color calibration hologram, a color calibration method, and a program can be provided.
  • FIG. 1 It is a block diagram which shows the structural example of a color calibration system provided with the color calibration apparatus by 1st Embodiment. It is a figure explaining the color signal process of the captured image data imaged in the general image imaging device. It is the figure which showed an example of the spectral sensitivity of an image pick-up device. It is a figure which shows the structural example of the captured image data table for a calibration in an image data memory
  • FIG. 6 is a flowchart illustrating an example of color calibration operation of the imaging apparatus using a hologram in the color calibration system of the first embodiment. It is a block diagram which shows the structural example of a color calibration system provided with the color calibration apparatus by 2nd Embodiment. It is a block diagram which shows the structural example of a color calibration system provided with the color calibration apparatus by 3rd Embodiment. It is a figure which shows the structural example of the diffraction light spectral distribution acquisition completion table memorize
  • FIG. 10 is a flowchart illustrating an example of color calibration operation of the imaging apparatus using a hologram in the color calibration system of the third embodiment. It is a block diagram which shows the structural example of a color calibration system provided with the color calibration apparatus by 4th Embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of a color calibration system including a color calibration apparatus according to the first embodiment.
  • a color calibration apparatus 1 includes an imaging unit (image imaging device) 101, an imaging control unit 102, an exposure control unit 103, an illumination unit 104, an observation angle estimation unit 105, a diffracted light spectral distribution calculation unit 106, and a spectral sensitivity estimation.
  • an imaging unit 101 and an illumination unit 104 are integrated.
  • diffracted light is emitted in a retroreflection direction. It has a configuration corresponding to color calibration processing using a generated hologram (color calibration hologram 302 described later) as a color calibration sheet for color calibration.
  • a generated hologram color calibration hologram 302 described later
  • the credit card 300 is a target for authenticity determination, for example, and is provided with an authenticity determination hologram 301 as a forgery prevention medium and a color correction hologram 302 for color correction on the surface.
  • the credit card 300 is formed in a rectangular plate shape.
  • the authenticity determination hologram 301 is used for determining the authenticity of an article (credit card 300), and the observed light pattern changes due to a change in the light characteristic that is the characteristic of the irradiated light.
  • the color calibration system 1 is configured by the color calibration device 1 and the color calibration hologram 302. That is, the color calibration system 5 includes the color calibration device 1 and the color calibration hologram 302.
  • the spectral sensitivity in the optical system of the imaging unit 101 is obtained by the color calibration hologram 302. Then, using the obtained spectral sensitivity, the color in the captured image data of the diffracted light imaged by the imaging unit 101 is a standard color when performing authenticity determination (when the image is captured by an imaging device having standard spectral sensitivity) Calibration to be changed to (color).
  • the imaging unit 101 is, for example, a camera using an imaging element such as a CCD (ChargeCCDCoupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and performs white balance adjustment on RAW data (described later) when an object is imaged.
  • the captured image data is converted into captured image data that has been subjected to only the demosaic process, and the captured image data is written and stored in the image data storage unit 110.
  • the image data storage unit 110 is a hard disk drive, a flash memory, or the like, and can store data.
  • FIG. 2 is a diagram for explaining color signal processing of captured image data captured by a general image capturing apparatus.
  • the color signal processing of a general image capturing apparatus for example, a digital camera will be described with reference to FIG.
  • the image pickup apparatus 2 is an image pickup apparatus that obtains a full-color image of a subject (eg, a credit card) 300A using an image pickup element, and includes an image pickup optical system 201 such as a lens, a color filter (bandpass filter) 202, and a photodiode 203.
  • An image sensor 204, an image processing engine 205, and a memory 206 are provided.
  • the image sensor 204 is, for example, a single-plate CCD or CMOS to which RGB color filters are attached.
  • the portion of FIG. 2 excluding the image processing engine 205 corresponds to the imaging unit 101 of FIG.
  • the imaging optical system 201 forms a subject image (light from the subject) on the photodiode 203 via the color filter 202.
  • the color filter 202 divides the light from the subject into color light corresponding to the filter characteristics of the filter region (for example, component light in each wavelength band of RGB) for each RGB filter region, and causes the photodiode 203 to split the light. Exit.
  • Each of the light receiving elements of the photodiode 203 photoelectrically converts the incident color light and outputs it as RAW (acquired raw) data.
  • RAW red raw
  • an A / D (Analog / Digital) converter (not shown) A / D-converts the RAW data converted by the photodiode 203 and outputs the RAW data as digital data to the image processing engine 205.
  • the configuration up to outputting the digitalized RAW data to the image processing engine 205 corresponds to the imaging unit 101 in FIG. 1 as described above.
  • the image processing engine 205 performs demosaic processing, tone mapping, white balance correction, etc. for generating RGB signals (signal values) for each pixel in the captured image data to the RAW data supplied (input) from the A / D converter.
  • Various image processing is performed.
  • the image processing engine 205 converts the RAW data subjected to the image processing into a color determined by a standard such as sRGB, and then performs a general operation such as JPEG (Joint Photographic Experts Group) or TIFF (Tagged Image File Format).
  • JPEG Joint Photographic Experts Group
  • TIFF Tagged Image File Format
  • As an image file format of typical captured image data it is written into the memory 206 and stored.
  • RAW data before being processed by the image processing engine 205 can be stored in the memory 206.
  • the imaging unit 101 of the present embodiment may or may not include a memory. That is, the imaging unit 101 only needs to have a configuration corresponding to at least the imaging optical system 201 and the imaging element
  • the color characteristics of the imaging optical system 201 and the imaging element 204 described above are the sensitivity of the color to each wavelength of light by combining the transmission characteristics of the lens or optical filter (color filter 202) as the optical system and the sensitivity characteristics of the photodiode 203. It can be expressed as a spectral sensitivity. For this reason, the RAW data converted into digital data is recorded as a signal value obtained by integrating the light emitted from the subject 300A by multiplying the spectral sensitivities of the three color components of RGB for each wavelength.
  • the processing performed by the image processing engine 205 varies depending on each manufacturer.
  • the image processing engine 205 performs image processing on the captured image data so that it can be seen naturally by a human being viewing, and performs processing to convert colors outside the sRGB standard color gamut into colors within the color gamut by approximation. In this way, different image processing is performed on the RAW data in each of the image capturing apparatuses. For this reason, once converted from RAW data to converted captured image data subjected to image processing, it is generally impossible to reversely convert converted captured image data subjected to image processing to RAW data.
  • the spectral sensitivity in the image capturing apparatus is obtained by using the raw data before the specific image processing is performed in the image capturing apparatus, that is, the captured image data itself that is not subjected to the specific image processing. , And color calibration of captured image data that is RAW data between different image apparatuses is performed.
  • FIG. 3 is a diagram showing an example of the spectral sensitivity of the image pickup apparatus.
  • the horizontal axis indicates the wavelength of light (wavelength)
  • the vertical axis indicates the relative spectral sensitivity (RelativeelSpectral sensitivity) as spectral sensitivity.
  • Spectral sensitivity is a function with the wavelength of light in the visible wavelength region (380 nm to 780 nm) as a variable.
  • the color filter 202 has optical filters corresponding to the three color components of RGB, the spectral sensitivity has three types of functions independent of each of the RGB optical filters.
  • the spectral sensitivity is a sensitivity function representing the relationship between the light incident on the image capturing apparatus and the signal value of the RAW data corresponding to this light.
  • the spectral sensitivity increases or decreases (changes) depending on the shutter speed at the time of imaging, and the RAW data is proportional to the increase or decrease.
  • the entire signal value increases or decreases (changes).
  • the absolute value of the spectral sensitivity itself is not important, and the relative value of each signal value of the dispersed wavelength is an important factor for determining the color of the captured image.
  • the spectral sensitivity is generally expressed as a function of a numerical value of a ratio normalized with the maximum value of signal values of all wavelengths being 1.
  • the imaging unit 101 captures the diffracted light emitted from the hologram (referred to as each of the authentication hologram 301 and the color calibration hologram 302) corresponding to the incident light.
  • the imaging conditions in the imaging unit 101 such as the depth of focus and the sensitivity of the imaging device (for example, ISO (International Organization for Standardization) sensitivity) are controlled.
  • the exposure control unit 103 controls imaging conditions of the imaging unit 101 such as shutter speed, aperture value, and illumination light intensity as imaging exposure conditions. Further, the exposure control unit 103 corresponds to the brightness of the diffracted light of the hologram imaged by the color calibration device 1 and adjusts the imaging light (illumination light) to the illumination unit 104 as necessary during imaging. A light emission instruction for output is output.
  • the illumination unit 104 is not only an illumination that continuously irradiates light on a normal imaging target, but also a light-emitting device called a flash or strobe (registered trademark) that irradiates light on the imaging target in a short time. Good.
  • the illumination unit 104 responds to the light emission instruction from the exposure control unit 103, and irradiates the object to be imaged with light having a predetermined intensity.
  • the imaging control unit 102 supplies (outputs) a control signal indicating imaging timing to the exposure control unit 103.
  • the exposure control unit 103 synchronizes with the control signal indicating the imaging timing supplied (input) from the imaging control unit 102 and, as described above, issues a light emission instruction to emit illumination light that irradiates the hologram. 104 for output.
  • the observation angle estimation unit 105 sequentially inputs each of the captured image data obtained by imaging the hologram from the imaging unit 101.
  • the observation angle estimation unit 105 then captures the observation position (coordinate value) that is the position of the imaging unit 101 that has captured the captured image data and the imaging of the imaging unit 101 in the three-dimensional space where the input captured image data is captured.
  • Each direction is obtained from a coordinate conversion formula (described later). That is, the observation angle estimation unit 105 obtains the hologram observation angle in each captured image data from the obtained observation position and imaging direction.
  • the imaging direction is a direction in which the imaging device of the imaging unit 101 faces, that is, a direction perpendicular to the light incident surface of the imaging device.
  • the observation angle estimation unit 105 calibrates the captured image data information including the obtained observation position and observation angle together with the captured image data identification information for identifying each captured image data given to the captured image data in the image data storage unit 110. It writes and memorize
  • the spectral distribution of the diffracted light from the hologram that is emitted from the hologram and observed with respect to the incident light is different.
  • a plurality of captured image data is imaged by the imaging unit 101 at a predetermined focal length.
  • each of the captured image data needs to be imaged with different observation angles at the time of imaging.
  • the observation angle estimator 105 uses each of the plurality of captured image data that has been captured, as described above, by using a preset coordinate conversion formula, and thus the observation angle of each captured image data obtained by capturing a hologram in a three-dimensional space. Is estimated.
  • the coordinate conversion formula used by the observation angle estimation unit 105 is a pre-process (preparation for performing the color calibration process) for performing a color calibration process using a hologram, and a plurality of captured image data (a captured image obtained by capturing a calibration board described later). This is an expression generated when associating pixel positions in the two-dimensional coordinates of a plurality of captured image data with coordinate positions in the three-dimensional space when the three-dimensional space is reproduced from the data.
  • the coordinate conversion formula generated in advance is written and stored in the image data storage unit 110.
  • FIG. 4 is a diagram illustrating a configuration example of a calibration-use captured image data table in the image data storage unit 110.
  • the captured image data identification information corresponding to the captured image of the hologram, the observation angle of the captured image data corresponding to the captured image data identification information, the observation position, and the captured image data Each address is written and stored.
  • the captured image data identification information is information for identifying each captured image data.
  • the image data storage unit 110 can store a plurality of captured image data acquired by varying the observation angle when imaging one imaging target.
  • the observation angle is, for example, when the color calibration hologram 302 is arranged with any vertex or coordinate point of the color calibration hologram 302 as an origin in a coordinate system of a three-dimensional space (hereinafter, three-dimensional coordinate system).
  • the surface of the color calibration hologram 302 of the present embodiment is parallel to the surface of the credit card 300 on which the color calibration hologram 302 is provided.
  • the observation position indicates the coordinate position where the imaging unit 101 in the three-dimensional space has captured the color calibration hologram 302.
  • the captured image data address indicates an address of an area in the image data storage unit 110 in which each of the captured image data is stored, and is an index for reading the captured image data.
  • FIG. 5 is a diagram for explaining the observation angle of the imaging unit 101 with respect to the hologram.
  • a color calibration hologram 302 is provided on the surface of a hologram color calibration sheet 500 (or credit card 300).
  • the hologram color calibration sheet 500 is formed in a rectangular plate shape.
  • the color calibration hologram 302 is a hologram whose diffracted light changes depending on the observation angle. That is, the color calibration hologram 302 emits diffracted light having different frequencies (in other words, different wavelengths) corresponding to the observation angle.
  • a reflection hologram made of a diffraction grating and reflecting diffracted light by a metal foil can be used.
  • a protective film having a transmission characteristic with little wavelength dependency can be provided on the surface of the color calibration hologram 302, and a structure resistant to dirt can be obtained.
  • the light source 400 irradiates the color calibration hologram 302 with imaging light at an irradiation angle ⁇ that is an angle formed by the light irradiation direction 400A and the normal 450.
  • the color calibration hologram 302 emits diffracted light having a predetermined spectral distribution (wavelength) at a predetermined observation angle ⁇ . Therefore, the spectral distribution of the diffracted light emitted from the color calibration hologram 302 corresponding to the irradiated light differs depending on each of the irradiation angle ⁇ and the observation angle ⁇ .
  • the normal line 450 is a normal line extending in a direction perpendicular to the surface 500 ⁇ / b> A of the hologram color calibration sheet 500.
  • the observation angle ⁇ is an angle formed by the imaging direction 101A of the imaging unit 101 and the normal line 450.
  • the observation angle estimation unit 105 sets the axis parallel to the normal 450 as the z-axis, and the hologram color so that each side of the hologram color calibration sheet 500 is parallel to each of the x-axis and the y-axis.
  • a calibration sheet is arranged in a three-dimensional coordinate system.
  • the hologram color calibration sheet 500 is placed in the x-axis and y-axis so that any of the vertices formed by each side of the hologram color calibration sheet 500 coincides with the origin O of the three-dimensional coordinate system. It arrange
  • the three-dimensional shape of the hologram color calibration sheet 500 is written and stored in advance in the image data storage unit 110 as previously known information together with the already described coordinate conversion formula.
  • the color calibration hologram 302 is arranged on the surface of the credit card 300 to be subjected to the authenticity determination shown in FIG. 1, the same processing as that for the hologram color calibration sheet 500 is performed.
  • an authenticity determination hologram 301 as an anti-counterfeit medium (imaging target) is disposed adjacent to the color calibration hologram 302.
  • processing for obtaining spectral sensitivity with respect to the optical system of the imaging apparatus is performed. Thereafter, the subject 300A is imaged, and the captured image data is calibrated with the obtained spectral sensitivity.
  • the subject 300A and the hologram color calibration sheet 500 can be imaged collectively, it is not necessary for the user to perform color calibration processing. That is, in the captured image data, the positions of the images of the subject 300A and the hologram color calibration sheet 500 are detected by the coordinate conversion formula. Then, the spectral sensitivity is obtained from each of the RGB color components of the pixels of the hologram color calibration sheet 500, and the color of the pixel of the subject 300A is calibrated using this spectral sensitivity. Therefore, it is not necessary to image the hologram color calibration sheet 500 alone for color calibration, and the user does not need to be aware of the processing for obtaining the spectral sensitivity used for calibration.
  • the observation angle estimation unit 105 reads the captured image data from the image data storage unit 110 when obtaining the observation angle of each captured image data, and the credit card 300 (or hologram color calibration sheet 500 in the three-dimensional coordinate system). ) Of the three-dimensional shape and each pixel (coordinate) of the captured image data (two-dimensional coordinate system) are associated with each other by the above coordinate conversion formula, the captured image data in the three-dimensional coordinate system of the three-dimensional space The imaging position and the imaging direction of the captured image data from this imaging position are obtained.
  • the observation angle estimation unit 105 uses any vertex of the three-dimensional shape of the credit card 300 in the three-dimensional coordinate system as the origin, the normal line 450 is parallel to the z axis, and each side is The credit card 300 is arranged in a three-dimensional space so as to be parallel to the x axis or the y axis.
  • the observation angle estimation unit 105 obtains the imaging position and imaging direction of the captured image data of the imaging unit 101 in the three-dimensional coordinate system with reference to the three-dimensional shape of the credit card 300. Accordingly, the observation angle estimation unit 105 obtains an observation angle ⁇ formed by the normal line 450 and the imaging direction of the imaging unit 101.
  • the captured image data is written and stored in a predetermined area of the image data storage unit 110, and the captured image data address that is the address of the predetermined area and the captured image data of the captured image data are stored.
  • Each of the identification information, the obtained observation angle, and the observation position is written and stored in the calibrated captured image data table of the image data storage unit 110.
  • camera calibration is performed on the imaging unit 101 in advance.
  • a calibration board having a known three-dimensional shape is imaged once or a plurality of times in an imaging region, and the one or a plurality of captured image data is used to capture a three-dimensional space in a three-dimensional space. This is to determine the correspondence between the coordinate points in the coordinate system and the coordinate points (two-dimensional pixels) in the two-dimensional coordinate system of the captured image data.
  • the observation angle estimation unit 105 in order for the observation angle estimation unit 105 to estimate the observation angle of the captured image data, from a two-dimensional image obtained by imaging the calibration board from a plurality of different viewpoint directions previously captured by the imaging unit 101, That is, the global coordinate system (three-dimensional coordinate system) is reconstructed from the multi-viewpoint captured image data. Then, a coordinate conversion formula indicating the correspondence between the coordinate point in the reconstructed three-dimensional coordinate system of the same pixel and the coordinate point in the two-dimensional coordinate system of the captured image data captured by the imaging unit 101 is obtained during camera calibration. Keep it.
  • the observation angle is estimated by performing camera calibration (camera calibration) on the imaging unit 101 in advance, and performing holograms (authentication determination hologram 301 and color in the color calibration system). It is assumed that the internal parameters of the imaging unit 101 are known when the color calibration process of each of the calibration holograms 302) is performed, and that the three-dimensional shapes of the credit card 300 (or the hologram color calibration sheet 500) and the hologram are known. It is.
  • the hologram is imaged from a plurality of different positions to obtain captured image data, and a plurality of corresponding point information between the coordinate point in the three-dimensional coordinate system and the pixel in the two-dimensional coordinate system of the captured image data by the coordinate conversion formula. And the relative positional relationship between the imaging unit 101 and the hologram can be estimated from the plurality of corresponding point information. That is, the observation position and observation angle (imaging direction) of the imaging unit 101 when the hologram is imaged can be estimated.
  • camera calibration is one of well-known methods, such as Z.Zhang, an analysis method (Z.Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis. and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000) can be applied to estimate the observation angle when the captured image data is captured.
  • Z.Zhang “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis. and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000
  • the observation angle is estimated by applying the above Z. Zhang analysis method
  • the captured image data input to the color calibration system has the same focus (preferably the same focus) as the focus fixed during camera calibration. ) Is required to be image data captured in (1).
  • the diffracted light spectral distribution calculation unit 106 sequentially reads information of the captured image data recorded by the observation angle estimation unit 105 from the calibration captured image data table in the image data storage unit 110. Then, the diffracted light spectral distribution calculating unit 106 diffracted light of the color calibration hologram 302 corresponding to the spectral distribution of the radiated light emitted from the light source 400 given in advance and the observation position and observation angle given in advance. From the characteristics, the spectral distribution (also referred to as diffracted light spectral distribution) of diffracted light for each observation angle is calculated using each of the observation position and observation angle estimated by the observation angle estimation unit 105.
  • the spectral distribution of the radiated light emitted from the light source 400 and the diffracted light characteristics of the color calibration hologram 302 according to the observation position and the observation angle are stored inside or outside the color calibration apparatus 1 (not shown). Or may be stored in the image data storage unit 110.
  • the diffracted light spectral distribution calculation unit 106 obtains the diffracted light spectral distribution of each diffracted light having different frequencies.
  • the color calibration hologram 302 is a reflection type hologram made of a diffraction grating in the groove direction parallel to the x-axis direction and a metal foil, and the light irradiation direction 400A and the imaging direction 101A are both parallel to the yz plane.
  • the diffracted light that enters the color calibration hologram 302 from the light source 400 and is observed by the imaging unit 101 includes the light irradiation angle ⁇ , the observation angle ⁇ of the imaging unit 101, the spatial frequency f of the diffraction grating in the color calibration hologram 302, and diffraction.
  • the diffracted light wavelength ⁇ d of the diffracted light (single wavelength light) is determined by the relational expression shown by the following expression (1) based on the order n of the light. That is, ⁇ d indicates the wavelength of the diffracted light spectral distribution.
  • FIG. 6A and 6B are diagrams illustrating the setting of ⁇ in the expression (1) for obtaining the diffracted light spectral distribution.
  • FIG. 6A shows a case where the observation direction of the imaging unit 101 and the irradiation direction of the light source 400 are the same direction without the normal 450 therebetween. That is, FIG. 6A is a diagram illustrating a case where the imaging unit 101 and the light source 400 are located on one side of the imaging location of the color calibration hologram 302. In this case, ⁇ in the above equation (1) is set to +, and the diffracted light wavelength ⁇ d is calculated.
  • FIG. 6A shows a case where the observation direction of the imaging unit 101 and the irradiation direction of the light source 400 are the same direction without the normal 450 therebetween. That is, FIG. 6A is a diagram illustrating a case where the imaging unit 101 and the light source 400 are located on one side of the imaging location of the color calibration hologram 302. In this case, ⁇ in the above equation (1) is set to
  • FIG. 6B shows a case where the observation direction of the imaging unit 101 and the irradiation direction of the light source 400 are opposite to each other with the normal 450 interposed therebetween. That is, FIG. 6B is a diagram illustrating a case where the imaging unit 101 and the light source 400 are positioned on opposite sides of the imaging location of the color calibration hologram 302.
  • ⁇ in the above equation (1) is set to ⁇ , and the diffracted light wavelength ⁇ d is calculated.
  • the intensity of the diffracted light emitted color calibration hologram 302, the intensity of the emitted light of the light source 400 in the diffraction wavelength lambda d can be calculated by multiplying the diffraction efficiency of the color correction hologram 302.
  • the intensity of the emitted light of the light source 400 in the diffraction wavelength lambda d indicates the intensity of light having a diffraction wavelength lambda d the same wavelength (i.e., lambda d) in the spectral distribution of the radiation light source 400 .
  • the intensity of light having a wavelength in the spectral distribution in estimating the spectral sensitivity is normalized in the entire possible range of wavelength lambda d of the spectral distribution. Therefore, it is not necessary to the intensity at the wavelength lambda d of the light source 400 and the absolute value or a relative value to the maximum value of the spectral distribution of the light source 400 (i.e., ratio). Similarly, there is no need to consider a phenomenon in which the intensity of the entire spectral distribution of the radiated light of the light source 400 is uniformly reduced due to light attenuation due to an increase in distance. Therefore, the intensity of the diffracted light can be easily calculated by obtaining the intensity of the radiated light in the spectral distribution of the light source 400 and the diffraction efficiency characteristic of the color calibration hologram 302.
  • the wavelength and intensity of the diffracted light which is a single wavelength light emitted from the color calibration hologram 302 of the irradiated light source 400, are the spatial frequency and diffraction of the diffraction grating in the color calibration hologram 302, respectively. It can be calculated by the efficiency, the light irradiation angle ⁇ of the light source 400, the observation angle ⁇ of the imaging unit 101, and the intensity of the radiated light of each frequency in the spectral distribution of the radiated light of the light source 400.
  • the diffracted light spectral distribution calculation unit 106 can calculate a single wavelength diffracted light spectral distribution emitted from the color calibration hologram 302 corresponding to the emitted light.
  • the diffracted light is measured as a spectral distribution having a mountain-shaped intensity in a narrow band near a specific wavelength.
  • FIG. 7 is a diagram showing an example of a single wavelength diffracted light spectral distribution emitted from the color calibration hologram 302.
  • the horizontal axis indicates the wavelength (Wavelength) of the diffracted light
  • the vertical axis indicates the relative intensity (Relative Intensity) of the diffracted light.
  • the diffracted light is measured as a diffracted light spectral distribution having a mountain-shaped intensity (relative intensity) in a narrow band near a specific wavelength.
  • This diffracted light spectral distribution can be approximated as a spectral distribution of light having a single wavelength and used for subsequent calculations for obtaining spectral sensitivity.
  • the spectral sensitivity which will be described later, is calculated using a diffracted light spectral distribution having an intensity of a mountain shape, if it is a narrow band that can be approximated as a single wavelength, the spectral sensitivity calculation result will be greatly affected, i.e., actually single Compared to the case of calculation using light of a wavelength, there is no size error that affects the accuracy of color calibration.
  • the diffracted light spectral distribution shown in FIG. 7 is used for color calibration as a single wavelength spectral distribution.
  • the order of the diffracted light that is imaged to obtain the diffracted light spectral distribution is preferably ⁇ 1st order where the intensity of the diffracted light is strongest.
  • the range in which the 0th-order and 1st-order diffracted light is observed is limited, and the diffracted light after ⁇ 2nd order is low in intensity. This makes it difficult for the diffracted light to be reflected as a signal value of each pixel in the image data as a color.
  • the spatial frequency of the diffraction grating in the color calibration hologram 302 is adjusted to make the design less susceptible to environmental light. be able to.
  • the imaging conditions such as imaging the color calibration hologram 302 in a state where the influence of ambient light is small, even the n-th order (n ⁇ 2) diffracted light emitted from the color calibration hologram 302 is diffracted light spectrum. Distribution estimation is possible.
  • the diffracted light spectral distribution calculation unit 106 uses the captured image data as captured image data that can be used for spectral sensitivity estimation processing.
  • each of the captured image data address and the diffracted light spectral distribution is associated with each other and written and stored in the captured image data table for spectral sensitivity estimation in the image data storage unit 110.
  • FIG. 8 is a diagram illustrating a configuration example of a captured image data table for spectral sensitivity estimation in the image data storage unit 110.
  • the captured image data identification information is information for identifying each of the captured image data, similarly to the calibration captured image data table of FIG.
  • the captured image data address in FIG. 8 indicates an address of an area in the image data storage unit 110 in which each of the captured image data is stored, and serves as an index when reading the captured image data from the image data storage unit 110. Yes.
  • the diffracted light spectral distribution in FIG. 8 corresponds to the spectral wavelength of the diffracted light spectral distribution from the color calibration hologram 302 and the spectral wavelength corresponding to the observation angle when the captured image data indicated by the captured image data identification information is captured.
  • the captured image data table for spectral sensitivity estimation in the image data storage unit 110 includes a plurality of captured image data identification information, a plurality of captured image data addresses, and information on a plurality of diffracted light spectral distributions (spectral wavelength and its spectral distribution). Intensities at wavelengths) are held in correspondence with each other.
  • the spectral sensitivity estimation unit 107 uses each of the diffracted light spectral distribution recorded in the image data storage unit 110 by the diffracted light spectral distribution calculation unit 106 and the captured image data corresponding to the diffracted light spectral distribution.
  • the spectral sensitivity of the imaging unit 101 is estimated.
  • spectral sensitivity estimation processing performed by the spectral sensitivity estimation unit 107 will be described.
  • the signal values of the color components RGB obtained from the RAW data are set as c R , c G and c B.
  • the spectral sensitivities of the RGB wavelength bands of the imaging unit 101 are set as S R ( ⁇ ), S G ( ⁇ ), and S B ( ⁇ ), respectively, as a function of the light wavelength ⁇ .
  • the diffracted light spectral distribution of the diffracted light incident on the imaging unit 101 is L ( ⁇ ) as a function of the light wavelength ⁇ , the following equation (2) is established.
  • the signal value c R is a function obtained by multiplying the spectral sensitivity S R ( ⁇ ) in the optical system of the color component R in the imaging unit 101 by the diffracted light spectral distribution, and the wavelength of the color component R.
  • the spectral sensitivity estimation unit 107 calculates the result.
  • Each of the other signal values c G and signal values c B, similarly to the signal value c R, is calculated by the spectral sensitivity estimator 107.
  • the wavelength ⁇ in the above equation (2) is a discrete value with a predetermined step width so that the computer can perform calculation processing.
  • each of the spectral sensitivity functions S R ( ⁇ ), S G ( ⁇ ), and S B ( ⁇ ) indicating the sensitivity of each RGB color component is converted into a row vector S R .
  • S G and S B and the function L ( ⁇ ) of the spectral distribution of incident light is approximated as the following expression (3).
  • the column vector L of the spectral distribution of the known incident light and the raw data obtained when the incident light is imaged by the imaging unit 101 are obtained.
  • a predetermined number of combinations of the signal values c R , c G , and c B of the respective RGB color components are acquired.
  • the predetermined number, and each is typically the row vector S R, S G and S B (spectral sensitivity of each color component), for example, in the above (3), the row vector S R, S G and S B is estimated by an operation such as multiplying both sides by the inverse matrix of L from the right.
  • the diffracted light incident from the color calibration hologram 302 has a narrow-band diffracted light spectral distribution that can be approximated by light of a single wavelength. That is, since the diffracted light incident on the imaging unit 101 is light having a single wavelength, only one wavelength ⁇ i has a diffracted light spectral distribution having the light intensity. As a result, in the equation (3), in each component of the column vector L, only a component of one wavelength ⁇ i corresponding to the wavelength of the diffracted light shows a positive numerical value (light intensity). In the column vector L, the wavelengths ⁇ of the components other than the wavelength ⁇ i are all “0” because they do not exist in the diffracted light spectral distribution.
  • the right side is the i-th column of each of the row vectors S R , S G , S B ( Product of each of the components S R i, S G i, and S B i of the wavelength ⁇ i) and the value Li of the component ⁇ i of the column vector L (the value of the intensity of the diffracted light of wavelength ⁇ i). That is, a column vector in which S R i ⁇ Li, S G i ⁇ Li, and S B i ⁇ Li are arranged.
  • the spectral sensitivity at each wavelength ⁇ i of the RGB components can be obtained by dividing the numerical value at each wavelength ⁇ i of the row vector signal values c R , c G , c B by the numerical value Li. That is, by dividing each of the signal values c R , c G and c B of the diffracted light input at the wavelength ⁇ i by the numerical value Li indicating the intensity of the diffracted light at the wavelength ⁇ i, the spectral components at the respective wavelengths ⁇ i of the RGB components are divided. Sensitivity can be obtained.
  • each of the spectral sensitivities S R i, S G i, and S B i of the wavelength ⁇ i is obtained by c R / Li, c G / Li, and c B / Li, respectively.
  • each of the signal values c R , c G , c B of the diffracted light is expressed as a numerical value of the intensity of the diffracted light of wavelength ⁇ i.
  • Dividing by Li also referred to as intensity Li
  • spectral sensitivities S R i, S G i and S B i are obtained as discrete values for each wavelength ⁇ i.
  • a function fitting process is performed using the spectral sensitivities S R i, S G i, and S B i which are discrete values obtained at predetermined intervals (for example, 4 nm), and a signal value between the wavelengths ⁇ i is obtained and interpolated.
  • each of the spectral sensitivity functions S R ( ⁇ ), S G ( ⁇ ), and S B ( ⁇ ) is estimated.
  • the intensity Li of the diffracted light is a numerical value calculated by multiplying the intensity of the wavelength ⁇ i in the spectral distribution of the emitted light from the light source by the diffraction efficiency (diffraction efficiency characteristic) at the wavelength ⁇ i of the color calibration hologram 302. is there.
  • the spectral sensitivity estimation unit 107 refers to the spectral sensitivity estimation captured image data table stored in the image data storage unit 110, and sequentially reads the captured image data address and the diffracted light spectral distribution. Then, the spectral sensitivity estimation unit 107 reads the captured image data from the image data storage unit 110 based on the captured image data address, and obtains the pixel position of the color calibration hologram 302 in the captured image by a coordinate conversion formula. The spectral sensitivity estimation unit 107 obtains signal values of RGB color components (e.g., corresponding to c R , c G , and c B in equation (3)) from the pixels corresponding to the color calibration hologram 302.
  • RGB color components e.g., corresponding to c R , c G , and c B in equation (3)
  • the spectral sensitivity estimation unit 107 sequentially converts each color component of RGB according to the intensity Li of the diffracted light having the wavelength ⁇ i in the diffracted light spectral distribution for each wavelength ⁇ i read from the RGB spectral sensitivity estimation captured image data table.
  • the signal value of the wavelength ⁇ i is divided to obtain the spectral sensitivities of the RGB color components.
  • the spectral sensitivity estimation unit 107 obtains the spectral sensitivity of the diffracted light of the wavelength from the diffracted light spectral distribution of the diffracted light of the certain wavelength and the signal value in the captured image data of the diffracted light of the wavelength.
  • the spectral sensitivity estimation unit 107 When the spectral sensitivity estimation unit 107 finishes the processing for obtaining the spectral sensitivities for all the captured image data in the spectral sensitivity estimation captured image data table, the spectral sensitivity estimation unit 107 interpolates the signal values between the wavelengths ⁇ i and generates the generated spectral sensitivity function S R. Each of ( ⁇ ), S G ( ⁇ ), and S B ( ⁇ ) is written and stored in the image data storage unit 110.
  • the color calibration unit 108 uses the spectral sensitivity of the imaging unit 101 estimated by the spectral sensitivity estimation unit 107 to capture the color of the captured image data captured by the imaging unit 101 using captured image data captured by another standard imaging device.
  • the color of the image is calibrated to match the color. That is, the color calibration unit 108 calibrates the difference in color of the captured image data captured by the imaging unit 101 with respect to the captured image data captured by a standard imaging device different from the imaging unit 101.
  • the captured image data P1 obtained by converting the RAW data captured by the imaging unit 101 having the spectral sensitivity S1 estimated by the spectral sensitivity estimation unit 107 only by demosaic processing is different from the imaging unit 101 (for example, standard N) Processing for color-converting RAW data captured by an imaging device having spectral sensitivity S2 into captured image data P2 converted only by demosaic processing, that is, captured image data P1 with known spectral sensitivity S1 and spectral sensitivity S2. Performing color conversion from the signal value to the signal value of the captured image data P2 is defined as color calibration.
  • the spectral sensitivity S1 is each of the spectral sensitivity functions S R ( ⁇ ), S G ( ⁇ ), and S B ( ⁇ ) stored in the image data storage unit 110
  • the spectral sensitivity S2 is standard. It is a function of spectral sensitivity of each color component of RGB of a simple imaging device.
  • the spectral sensitivity function (spectral sensitivity S2) in the standard imaging device may be stored in an internal or external storage unit (not shown) of the color calibration device 1, or the image data storage unit 110. May be stored.
  • the RGB signal values in the captured image data P1 of the subject captured by the imaging unit 101 having the spectral sensitivity S1 are captured by the imaging device having the spectral sensitivity S2.
  • this is a process of estimating what RGB signal values will be. For example, paying attention to the same pixel of the subject in each of the captured image data P1 and the captured image data P2, the signal value of each color component of RGB in the one pixel is set to the signal value C1 and the signal value C2, respectively.
  • the signal value C1 and the signal value C2 are expressed by the following equation (4) from the spectral sensitivity S1 and the spectral sensitivity S2.
  • Each of the signal value C1 and the signal value C2 is a signal value for each RGB color component.
  • the signal value C1 is a numerical value obtained by multiplying the light intensity Ls in the diffracted light spectral distribution by the spectral sensitivity S1
  • the signal value C2 is a numerical value obtained by multiplying the light intensity Ls in the spectral distribution by the spectral sensitivity S2. It is shown that.
  • the color conversion from the captured image data P1 to the captured image data P2 converts each of the RGB color component signal values C1 of all the pixels in the captured image data into the respective signal values C2. Is equivalent to For example, when the pseudo inverse matrix of the spectral sensitivity S1 is S1 + and the light intensity Ls of the spectral distribution is eliminated from the two equations (4), the following equation (5) is established.
  • the spectral sensitivity S1 in which the relationship between the signal value C1 for each RGB color component in the captured image data P1 and the signal value C2 for each RGB color component in the captured image data P2 is known. And the spectral sensitivity S2, and the signal value C1 of the captured image data P1 can be converted into the signal value C2 of the captured image data P2. Thereby, the color conversion in each pixel from the captured image data P1 to the captured image data P2 can be easily performed.
  • the display unit 109 is, for example, a liquid crystal display, and displays an image of captured image data P1 captured on its own display screen, a graph indicating a function of the estimated spectral sensitivity, or the like. As described above, each of the captured image data, the calibration captured image data table, and the spectral sensitivity estimation captured image data table is written and stored in the image data storage unit 110.
  • the imaging control unit 102 determines whether or not the observation angle at the time of imaging the color calibration hologram 302 is within a preset angle range during imaging.
  • the angle range indicates a range of angles at which different diffracted lights can be observed at different observation angles in the color calibration hologram 302.
  • the imaging control unit 102 causes the observation angle estimation unit 105 to estimate the observation angle that is the imaging direction of the imaging unit 101.
  • the imaging control unit 102 satisfies the angle condition in the imaging process when the observation angle estimated by the observation angle estimation unit 105 is within the angle range, while the estimated observation angle is not within the angle range. Is displayed on the display screen of the display unit 109 to prompt the user to adjust the observation angle of the imaging unit 101 to an observation angle within the angle range.
  • the imaging control unit 102 determines whether or not the imaging condition for imaging the captured image data having quality capable of estimating the observation angle and acquiring the color of the diffracted light is satisfied when the imaging unit 101 captures an image. I do.
  • As an imaging condition it is detected whether or not the focal length in the imaging unit 101 is the same as the focal length used when the coordinate conversion formula is created.
  • the imaging control unit 102 satisfies the imaging condition in the imaging process when the currently set focal length is the same as the focal length used when the coordinate conversion formula is created, while the currently set focal length. Is displayed on the display screen of the display unit 109, and the focal length is adjusted to the user when the image is different from the focal length used when the coordinate conversion formula is created.
  • the imaging control unit 102 generates a luminance histogram when setting the exposure condition in the imaging unit 101 as the imaging condition.
  • This luminance histogram shows the distribution of the gradation of the pixels in the captured image data.
  • the imaging control unit 102 uses the luminance histogram to determine whether or not the gradation distribution in the captured image data is biased toward the high gradation level or the low gradation level. For example, when the distribution of gradation in the luminance histogram is biased toward the low gradation, that is, the gradation is expressed in 256 levels from “0” to “255”, and the gradation in the captured image data is “0”.
  • the imaging control unit 102 determines whether or not the illumination needs to be adjusted based on the distribution of the gradation level of the luminance histogram. When it is estimated that blackout will occur and the illumination adjustment that shifts the distribution of the luminance histogram to the high gradation level is necessary, the imaging control unit 102 determines the color at the time of imaging of the illumination unit 104 with respect to the exposure control unit 103.
  • the calibration hologram 302 is illuminated with a predetermined intensity (for example, flash light is irradiated in the imaging direction).
  • the imaging control unit 102 irradiates the color calibration hologram 302 with illumination having a light intensity necessary for the user. Is displayed on the display screen of the display unit 109.
  • the imaging control unit 102 captures the illumination unit 104 with respect to the exposure control unit 103. At this time, illumination of the color calibration hologram 302 is not performed or is performed with a predetermined intensity. In addition, the imaging control unit 102 urges the user to reduce the intensity of illumination around the current color calibration hologram 302 in order to irradiate the color calibration hologram 302 with illumination having a necessary light intensity.
  • the display is displayed on the display screen of the display unit 109.
  • an exposure control table describing the distribution state of the luminance histogram and the control conditions such as the exposure condition and the illumination intensity corresponding to the distribution state is created and written in advance in the image data storage unit 110. It is good also as a structure.
  • the imaging control unit 102 searches the exposure control table in the image data storage unit 110 for a luminance histogram similar to the luminance histogram pattern of the captured image data to be captured, and exposes the exposure condition and illumination intensity of the captured image data to be captured. And the like, and the control conditions are displayed on the display screen of the display unit 109 as described above.
  • an illuminance sensor may be provided for the exposure control unit 103, and the exposure condition and the illumination illuminance may be set according to the illuminance measured by the illuminance sensor.
  • an exposure control table describing the illuminance and the control conditions such as the exposure condition corresponding to the illuminance and the intensity of illumination may be created and written in the image data storage unit 110 in advance.
  • the imaging control unit 102 searches from the exposure control table in the image data storage unit 110 in correspondence with the illuminance at the time of imaging the captured image data, and sets the exposure conditions and illumination intensity of the captured image data to be captured.
  • the control condition information is read out, and the control condition is displayed on the display screen of the display unit 109 as described above.
  • FIG. 9 is a flowchart illustrating an example of color calibration operation of the imaging apparatus using the hologram (color calibration hologram 302) in the color calibration system of the first embodiment.
  • a color proofing application for example, the functions of the respective parts of the color proofing system are expanded on the main memory of the personal computer.
  • the imaging unit 101 is activated in the moving image mode, and imaging of an imaging target in the imaging direction is started.
  • the following captured image data indicates an image in frame units that the imaging unit 101 captures as a moving image.
  • Step S11 The imaging control unit 102 extracts the imaging position of the color calibration hologram 302 in the captured image data. That is, the imaging control unit 102 obtains the shape of the credit card 300 within the imaging range of the imaging unit 101. Then, the imaging control unit 102 compares the obtained shape of the credit card 300 with the three-dimensional shape of the credit card 300 stored in advance, and the region of the color calibration hologram 302 within the imaging range of the imaging unit 101. To extract. At this time, the imaging control unit 102 displays an image frame into which the image of the credit card 300 is inserted together with the captured image in the imaging direction on the display unit 109, and the user images the credit card 300 at a certain imaging position and imaging angle. You may make it encourage.
  • the imaging control unit 102 causes the observation angle estimation unit 105 to perform an estimation process of the imaging direction of the color calibration hologram 302, that is, the observation angle.
  • the observation angle estimation unit 105 compares the shape of the credit card 300 obtained from the captured image data in the imaging range of the imaging unit 101 with the three-dimensional shape of the credit card 300 in the three-dimensional coordinate system stored in advance.
  • the observation position and the observation angle of the color calibration hologram 302 are estimated.
  • the observation angle estimation unit 105 obtains an imaging position and an imaging direction at which the imaging unit 101 images the credit card 300 based on the comparison.
  • the observation angle estimation unit 105 obtains, as an observation angle, an angle formed by the normal of the surface to which the color calibration hologram 302 of the credit card 300 in the three-dimensional coordinate system is attached and the imaging direction of the imaging unit 101. Output to the imaging control unit 102 together with the observation position.
  • Step S12 The imaging control unit 102 determines whether or not the observation position and observation angle of the hologram by the imaging unit 101 input from the observation angle estimation unit 105 are in the respective ranges of the preset setting observation position and the preset observation angle. Judgment is made. At this time, the imaging control unit 102 performs processing when the observation position and the observation angle of the color calibration hologram 302 by the imaging unit 101 are within the respective ranges of the preset setting observation position and the preset observation angle. Proceed to step S14. On the other hand, when the observation position and the observation angle of the color calibration hologram 302 by the imaging unit 101 are not within the respective ranges of the preset setting observation position and the preset observation angle, the imaging control unit 102 performs processing. Proceed to S13.
  • the imaging control unit 102 is configured such that all of the imaging conditions such as the focal length and the exposure condition can capture the captured image data that allows the color acquisition of the diffracted light. It may be determined whether or not. At this time, the imaging control unit 102 advances the process to step S ⁇ b> 14 when the imaging condition is that the captured image data capable of acquiring the color of the diffracted light is captured. On the other hand, the imaging control unit 102 advances the process to step S ⁇ b> 13 if the captured image data capable of acquiring the color of the diffracted light does not satisfy the imaging conditions.
  • Step S13 The imaging control unit 102 displays on the display unit 109 that the observation position and observation angle do not satisfy the conditions for imaging diffracted light, and prompts the user to make adjustments.
  • the user adjusts the imaging direction and position of the imaging unit 101 in accordance with the instructions displayed on the display unit 109.
  • the imaging control unit 102 may display on the display unit 109 when adjustment of imaging conditions such as the focal length and exposure condition of the imaging unit 101 is necessary. In that case, the user adjusts the imaging conditions such as the focal length and the exposure conditions of the imaging unit 101 according to the instruction displayed on 109.
  • Step S14 The diffracted light spectral distribution calculation unit 106 is provided with the spectral distribution of the emitted light from the light source 400 given in advance, the diffracted light characteristics such as the spatial frequency and diffraction efficiency of the color calibration hologram 302 given in advance, the observation angle and the observation position. From this, the diffracted light spectral distribution is calculated.
  • Step S15 The diffracted light spectral distribution calculation unit 106 writes and stores the captured image data captured by the imaging unit 101 in a predetermined area of the image data storage unit 110. Further, the diffracted light spectral distribution calculation unit 106 uses the captured image data address and the diffracted light spectral distribution, which are addresses of the area in which the captured image data is written in the image data storage unit 110, as the spectral sensitivity estimation captured image in the image data storage unit 110. Write to table and store.
  • Step S16 The imaging control unit 102 determines whether the diffracted light spectral distribution stored in the spectral sensitivity estimation captured image table of the image data storage unit 110 is of a sufficient number for spectral sensitivity estimation.
  • the criterion for determining whether the number of types is sufficient may be the number of types of wavelengths stored in the spectral sensitivity estimation captured image table, or the diffracted light spectral distribution at a preset wavelength required for spectral sensitivity estimation. It may be whether or not everything is obtained.
  • the imaging control unit 102 estimates the spectral sensitivity based on whether or not all the data of 100 wavelengths ⁇ obtained by discretizing the wavelength band 380 nm to 780 nm in the visible wavelength range at intervals of 4 nm are obtained. It is determined whether or not a sufficient diffracted light spectral distribution has been acquired.
  • the imaging control unit 102 advances the processing to step S18.
  • the imaging control unit 102 advances the process to step S17.
  • Step S17 The imaging control unit 102 performs processing for imaging diffracted light different from the diffracted light spectral distribution stored in the spectral sensitivity estimation captured image table. That is, the imaging control unit 102 displays an instruction to change the observation angle on the display unit 109 and prompts the user to change the observation angle at which the credit card 300 is imaged. Then, the imaging control unit 102 advances the process to step S11.
  • Step S18 The spectral sensitivity estimation unit 107 reads all captured image data addresses and diffracted light spectral distributions stored in the spectral sensitivity estimation captured image table of the image data storage unit 110. Further, the spectral sensitivity estimation unit 107 reads the captured image data from the image data storage unit 110 based on the captured image data address.
  • the spectral sensitivity estimation unit 107 extracts the pixel position of the color calibration hologram 302 from the captured image data read from the image data storage unit 110 by using a coordinate conversion formula.
  • the spectral sensitivity estimation unit 107 acquires the RGB color component signal values of the diffracted light from the pixels of the color calibration hologram 302, and combines the spectral values of the image capturing unit 101 with the corresponding diffracted light spectral distributions of the corresponding wavelengths. presume.
  • Step S19 Based on the spectral sensitivity of the imaging unit 101 estimated by the spectral sensitivity estimation unit 107, the color calibration unit 108 changes the captured image data P1 captured by the imaging unit 101 to the color of the captured image data P2 captured by a standard imaging device. Perform color proofing to fit.
  • an authenticity determination unit obtains a diffracted light reference pattern (true diffracted light pattern) from the image data storage unit 110 when the imaging target (authentication determination hologram 301) is imaged by a standard imaging device. Then, the captured image data is read out in accordance with the observation angle when the captured image data is captured. Further, the authenticity determination unit performs color calibration of each of the RGB color components in the pixel region of the authenticity determination hologram 301 in the captured image data based on the spectral sensitivity estimated by the spectral sensitivity estimation unit 107 described above.
  • the authenticity determination unit compares the similarity between the diffracted light pattern of the captured image data subjected to color calibration and the read reference pattern, and determines that the similarity is true when the similarity is equal to or greater than a predetermined threshold. When the similarity is less than a predetermined threshold, it is determined to be false.
  • the reference pattern is formed by a color imaged by a standard imaging device.
  • a profile spectral sensitivity function
  • the color of the diffracted light of the authenticity determination hologram 301 provided as a forgery prevention medium on the surface of the credit card 300 is converted to the color when captured by a standard imaging device. And since it is not affected by the characteristics of the optical system of the imaging unit 101, the accuracy of authenticity determination of the credit card 300 can be improved.
  • a reflection hologram there are a rainbow hologram that reflects diffracted light by a metal foil and a Lippmann hologram that reflects by diffraction of the hologram itself.
  • Full-color holograms generate light by diffracting light incident on the diffraction grating on the surface, so if the emitted light has a certain spectral distribution, the diffraction with a narrow-band diffracted light spectral distribution It is possible to emit light. Therefore, depending on the design, the reflected light can be adjusted at the wavelength distribution level to express an arbitrary color (diffracted light spectral distribution of each color component of RGB) (for example, Japanese Patent Application Laid-Open No. 8-261727). (See Japanese National Publication No. 8-500192 and Japanese Patent Laid-Open No. 3-280078).
  • the diffracted light of each of the authenticity determination hologram 301 and the color calibration hologram 302 can be acquired by acquiring the credit card 300 as a moving image by the imaging unit 101.
  • the color proofing apparatus 1 obtains the spectral sensitivity for calibrating the color from the color proofing hologram 302 without any consciousness of the user.
  • the color calibration apparatus 1 calibrates the captured image data of the diffracted light of the authenticity determination hologram 301 based on the obtained spectral sensitivity to the color when captured by a standard imaging apparatus.
  • the authenticity determination unit compares the calibrated image data of the diffracted light of the hologram 301 for authenticity determination with the reference pattern of the diffracted light when captured by a standard image capturing device at the same observation angle, Since the authenticity determination is performed based on the similarity, it is possible to perform the authenticity determination with high accuracy.
  • the diffraction direction of the pattern of diffracted light that is, the observation angle can be controlled by the spatial frequency of the hologram so as to avoid the influence of ambient light. Furthermore, according to the present embodiment, since the diffracted light of the hologram is light of a single wavelength, it is possible to accurately estimate the spectral sensitivity due to the characteristics of the optical system including the imaging element of the imaging unit 101.
  • a general color chart such as a Macbeth color chart is affected by all light sources including ambient light because the surface has diffuse reflection characteristics. For this reason, conventionally, it is necessary to pay attention so that the way the light hits each color chart is not different due to a shield or the like. Also, depending on the spectral distribution of the light source, a condition color matching phenomenon occurs. Therefore, in order to accurately grasp the color characteristics of the camera, it is necessary to arrange a large number of color charts of various spectral reflectances, for example, 24 types in parallel. Becomes larger. Furthermore, since it is coated with powder in order to avoid specular reflection, it is easily soiled.
  • the hologram to be imaged can be provided with a protective film, so that it is resistant to contamination and can acquire diffracted light of various colors in one region made of a diffraction grating. Therefore, the size can be reduced.
  • each of the authenticity determination hologram 301 and the color calibration hologram 302 is formed as an independent hologram on the credit card 300 is shown.
  • one hologram may be configured as a color calibration authenticity determination hologram that emits each of the diffracted light pattern used for color calibration and the diffracted light pattern used for authenticity determination. That is, the observation angle range from which the diffracted light pattern is emitted is set in advance to each of the angle range of the diffracted light pattern for color calibration and the angle range of the diffracted light pattern for authenticity determination.
  • each of the diffracted light pattern for obtaining the spectral sensitivity used for color calibration and the diffracted light pattern used for authenticity determination by capturing the captured image data within the observation angle range in the color calibration authenticity determination hologram is as follows. , Obtained in bulk.
  • FIG. 10 is a block diagram illustrating a configuration example of a color calibration system according to the second embodiment.
  • the color calibration system 5 ⁇ / b> A includes a color calibration device 1 ⁇ / b> A and an image capturing device 3.
  • the color calibration apparatus 1A includes an imaging control unit 102, an observation angle estimation unit 105, a diffracted light spectral distribution calculation unit 106, a spectral sensitivity estimation unit 107, a color calibration unit 108, a display unit 109, and an image data storage unit 110.
  • the image imaging device 3 includes an imaging unit 101, an exposure control unit 103, and an illumination unit 104.
  • the color calibration system 5A is configured by the color calibration apparatus 1A and the color calibration hologram 302.
  • FIG. 10 the same components as those in the first embodiment are denoted by the same reference numerals.
  • the color calibration system 5A is configured to separate the imaging and exposure functions in the first embodiment from the color calibration apparatus 1A as the image imaging apparatus 3.
  • an imaging device such as a general-purpose digital camera or a portable terminal (including a mobile phone or a smartphone) from an externally connected device, and it is also possible to handle a plurality of imaging devices.
  • the color proofing apparatus 1A may be configured to be able to communicate with a digital camera or a portable terminal using an information communication line such as the Internet.
  • the color calibration apparatus 1A may be configured to perform color calibration processing of the imaging apparatus using captured image data transmitted from a digital camera or a portable terminal, as in the first embodiment described above. Also in the second embodiment, the same effects as those of the first embodiment described above can be obtained.
  • FIG. 11 is a block diagram illustrating a configuration example of a color calibration system including a color calibration apparatus according to the third embodiment.
  • the color calibration apparatus 1B includes an imaging unit 101, an imaging control unit 102, an exposure control unit 103, an illumination unit 104, an observation angle estimation unit 105, a diffracted light spectral distribution calculation unit 106, an imaging operation instruction unit 111, and spectral sensitivity.
  • An estimation unit 107, a color calibration unit 108, a display unit 109, and an image data storage unit 110 are provided.
  • a color calibration system 5B is configured by the color calibration apparatus 1B and the color calibration hologram 302.
  • the imaging operation instruction unit 111 has a spectral wavelength of the diffracted light spectral distribution stored in the image data storage unit 110 by the diffracted light spectral distribution calculator 106 (sometimes simply referred to as a diffracted light spectral distribution).
  • the imaging operation instructing unit 111 has acquired all the diffracted light spectral distributions corresponding to a plurality of set diffracted light spectral distributions that are set in advance and are necessary for performing spectral sensitivity estimation with necessary accuracy. Judgment is made.
  • FIG. 12 is a diagram illustrating a configuration example of a diffracted light spectral distribution acquisition completion table stored in the image data storage unit 110.
  • the diffracted light spectral distribution acquisition completion table shown in FIG. 12 includes a set diffracted light spectral distribution column and a completion flag column corresponding to the set diffracted light spectral distribution.
  • the set diffracted light spectral distribution describes the spectral wavelength of the set diffracted light spectral distribution having a period necessary for performing spectral sensitivity estimation with necessary accuracy.
  • the set diffracted light spectral distribution is set as spectral wavelengths of 380 nm, 390 nm,..., 770 nm, 780 nm obtained by dividing 380 nm to 780 nm by a period of 10 nm.
  • the completion flag is a flag written in a column corresponding to the acquired spectral wavelength of the set diffracted light spectral distribution when the spectral wavelength of the diffracted light spectral distribution that matches the spectral wavelength of the set diffracted light spectral distribution is acquired from the captured image. It is. For example, the completion flag is “1” when acquired, and is “0” when not acquired.
  • all completion flags are set to “0” as an initial state.
  • the imaging operation instruction unit 111 refers to the diffracted light spectral distribution in the spectral sensitivity estimation captured image data table of the image data storage unit 110 and corresponds to the set diffracted light spectral distribution in the diffracted light spectral distribution acquisition completion table. Detection of whether or not the diffracted light spectral distribution is acquired (that is, whether the diffracted light spectral distribution of the spectral wavelength corresponding to the spectral wavelength of the set diffracted light spectral distribution is stored in the captured image data table for spectral sensitivity estimation) Detection).
  • the imaging operation instruction unit 111 detects that a diffracted light spectral distribution having a spectral wavelength corresponding to the spectral wavelength of the set diffracted light spectral distribution has been acquired, the set diffracted light spectral in the diffracted light spectral distribution acquisition completion table is detected.
  • a completion flag is set in the completion flag column corresponding to the spectral wavelength of the distribution, that is, the flag is rewritten from “0” to “1”.
  • the imaging operation instruction unit 111 centers on the spectral wavelength of the set diffracted light spectral distribution. This is performed depending on whether or not the spectral wavelength of the diffracted light spectral distribution is included in the error range, for example, 390 nm ⁇ 2 nm.
  • the imaging operation instruction unit 111 determines the spectral wavelength and diffracted light spectrum of the set diffracted light spectral distribution.
  • the imaging operation instruction unit 111 determines the spectral wavelength and diffracted light spectrum of the set diffracted light spectral distribution. It is determined that the spectral wavelength of the distribution does not match. Further, the imaging operation instruction unit 111 determines whether or not spectral sensitivity can be estimated based on whether or not all completion flags in the diffracted light spectral distribution acquisition completion table are “1”. If the imaging operation instruction unit 111 determines that the spectral sensitivity cannot be estimated, the imaging operation instruction unit 111 displays a notification that prompts the display unit 109 to acquire the spectral wavelength of the diffracted light spectral distribution that has not been acquired.
  • FIG. 13 is a diagram illustrating an example of a notification that prompts the acquisition of the diffracted light spectral distribution displayed on the display screen of the display unit 109 by the imaging operation instruction unit 111.
  • the imaging operation instruction unit 111 displays an image frame 109 ⁇ / b> _ ⁇ b> 1 into which an image of the credit card 300 is placed on the display screen 109 ⁇ / b> S of the display unit 109.
  • each of an arrow 109_2U and an arrow 109_2D for moving the imaging direction of the captured image is displayed on the display screen 109S.
  • the acquisition status of the diffracted light spectral distribution in the observation angle range smaller than the observation angle corresponding to the current imaging direction is insufficient
  • a guidance display that blinks the arrow 109_2U is performed, and on the other hand, the acquisition status of the diffracted light spectral distribution in the range of a larger observation angle is not good. If it is sufficient, in order to move the imaging direction (observation position) of the captured image downward (in a direction approaching the credit card 300), guidance display that blinks the arrow 109_D is performed.
  • the imaging operation instruction unit 111 extracts the diffracted light spectral distribution that has not been acquired from the diffracted light spectral distribution acquisition completion table, obtains an observation angle corresponding to the diffracted light spectral distribution, and calculates the current observation angle. It is determined whether the diffracted light spectral distribution on the larger side is not satisfied or the diffracted light spectral distribution on the smaller side is not satisfied.
  • the display area 109_3 has a change in observation angle when capturing the captured image. In order to prompt the user to reduce the speed, an image of a character string such as “Please change the imaging direction slowly and perform imaging again” is displayed by the imaging operation instruction unit 111.
  • FIG. 14 is a diagram illustrating another example of a notification that prompts the acquisition of the diffracted light spectral distribution displayed on the display screen of the display unit 109 by the imaging operation instruction unit 111.
  • the image capturing operation instruction unit 111 displays an image frame 109 ⁇ / b> _ ⁇ b> 1 into which the image of the credit card 300 is inserted on the display screen 109 ⁇ / b> S of the display unit 109 as in FIG. 13.
  • the display area 109_3 as in FIG. 13, an image that prompts the user to capture a captured image again is displayed.
  • the acquired observation angle confirmation region 109_4 shows an observation angle corresponding to the spectral wavelength of the acquired diffracted light spectral distribution and an observation angle corresponding to the spectral wavelength of the diffracted light spectral distribution that has not been acquired.
  • FIG. 14 for example, in the range of the observation angle corresponding to the spectral wavelength of the diffracted light spectral distribution that needs to be acquired, the position indicating the observation angle corresponding to the spectral wavelength of the diffracted light spectral distribution that has not been acquired flashes. And displayed as a fail region 109_4F.
  • the imaging operation instruction unit 111 extracts the spectral wavelength of the diffracted light spectral distribution that has not been acquired from the diffracted light spectral distribution acquisition completion table, and obtains an observation angle corresponding to the spectral wavelength of the diffracted light spectral distribution. Then, the imaging operation instruction unit 111 blinks and displays the position corresponding to the observation angle of the spectral wavelength of the diffracted light spectral distribution that has not been obtained in the display area 109_3 of the display screen 109S as the fail area 109_4F. .
  • an arrow 109_5 indicating the current observation angle, that is, the imaging direction of the captured image is displayed.
  • the user can confirm whether there is an observation angle corresponding to the spectral wavelength of the diffracted light spectral distribution to be acquired in which direction with respect to the current imaging direction.
  • the display area 109_3 in order to prompt the user to re-capture the captured image, “the direction in which the image is captured until it stops blinking so as to trace the part where the arrow display blinks is displayed.
  • An image of a character string such as “Please change slowly and perform imaging again” is displayed by the imaging operation instruction unit 111.
  • the color of the part of the fail area 109_4F may be displayed in a color different from the other part of the acquired observation angle confirmation area 109_4.
  • the portion of the fail region 109_4F is displayed in red
  • the other portion of the acquisition observation angle confirmation region 109_4 (the portion of the observation angle at which the spectral wavelength of the diffracted light spectral distribution is acquired) is displayed in green.
  • the direction in which the image is captured is changed until all of the arrow changes to green so that the display of the arrow follows the red display portion.
  • the image of the character string “Please change slowly and perform imaging again” is displayed by the imaging operation instruction unit 111.
  • the diffracted light spectral distribution calculation unit 106 displays the image.
  • the spectral sensitivity of the imaging unit 101 is estimated using each of the diffracted light spectral distribution recorded in the data storage unit 110 and the captured image data corresponding to the diffracted light spectral sensitivity.
  • FIG. 15 is a flowchart showing an example of color calibration operation of the imaging apparatus using the hologram (color calibration hologram 302) in the color calibration system of the third embodiment.
  • a color proofing application for example, the functions of the respective parts of the color proofing system are expanded on the main memory of the personal computer.
  • the imaging unit 101 is activated in the moving image mode, and imaging of an imaging target in the imaging direction is started.
  • the following captured image data indicates an image in frame units that the imaging unit 101 captures as a moving image.
  • Step S21 The imaging control unit 102 extracts the imaging position of the color calibration hologram 302 in the captured image data. That is, the imaging control unit 102 obtains the shape of the credit card 300 within the imaging range of the imaging unit 101. Then, the imaging control unit 102 compares the obtained shape of the credit card 300 with the three-dimensional shape of the credit card 300 stored in advance, and the region of the color calibration hologram 302 within the imaging range of the imaging unit 101. To extract. At this time, the imaging control unit 102 displays an image frame into which the image of the credit card 300 is inserted together with the captured image in the imaging direction on the display unit 109, and the user images the credit card 300 at a certain imaging position and imaging angle. You may make it encourage.
  • the imaging control unit 102 causes the observation angle estimation unit 105 to perform an estimation process of the imaging direction of the color calibration hologram 302, that is, the observation angle.
  • the observation angle estimation unit 105 compares the shape of the credit card 300 obtained from the captured image data in the imaging range of the imaging unit 101 with the three-dimensional shape of the credit card 300 in the three-dimensional coordinate system stored in advance.
  • the observation position and the observation angle of the color calibration hologram 302 are estimated.
  • the observation angle estimation unit 105 obtains an imaging position and an imaging direction at which the imaging unit 101 images the credit card 300 based on the comparison.
  • the observation angle estimation unit 105 obtains, as an observation angle, an angle formed by the normal of the surface to which the color calibration hologram 302 of the credit card 300 in the three-dimensional coordinate system is attached and the imaging direction of the imaging unit 101. Output to the imaging control unit 102 together with the observation position.
  • Step S22 The imaging control unit 102 determines whether or not the observation position and observation angle of the hologram by the imaging unit 101 input from the observation angle estimation unit 105 are in the respective ranges of the preset setting observation position and the preset observation angle. Judgment is made. At this time, the imaging control unit 102 performs processing when the observation position and the observation angle of the color calibration hologram 302 by the imaging unit 101 are within the respective ranges of the preset setting observation position and the preset observation angle. Proceed to step S24. On the other hand, when the observation position and the observation angle of the color calibration hologram 302 by the imaging unit 101 are not within the respective ranges of the preset setting observation position and the preset observation angle, the imaging control unit 102 performs processing. Proceed to S23.
  • the imaging control unit 102 is configured such that all of the imaging conditions such as the focal length and the exposure condition can capture the captured image data that allows the color acquisition of the diffracted light. It may be determined whether or not. At this time, the imaging control unit 102 advances the process to step S ⁇ b> 24 if the imaging condition is that the captured image data capable of acquiring the color of the diffracted light is captured. On the other hand, the imaging control unit 102 advances the process to step S ⁇ b> 23 when the captured image data capable of acquiring the color of the diffracted light is not an imaging condition.
  • Step S23 The imaging control unit 102 displays on the display unit 109 that the observation position and observation angle do not satisfy the conditions for imaging diffracted light, and prompts the user to make adjustments.
  • the user adjusts the imaging direction and position of the imaging unit 101 in accordance with the instructions displayed on the display unit 109.
  • the imaging control unit 102 may display on the display unit 109 when adjustment of imaging conditions such as the focal length and exposure condition of the imaging unit 101 is necessary. In that case, the user adjusts the imaging conditions such as the focal length and the exposure conditions of the imaging unit 101 according to the instruction displayed on 108.
  • Step S24 The diffracted light spectral distribution calculation unit 106 is provided with the spectral distribution of the emitted light from the light source 400 given in advance, the diffracted light characteristics such as the spatial frequency and diffraction efficiency of the color calibration hologram 302 given in advance, the observation angle and the observation position. From this, the diffracted light spectral distribution is calculated.
  • Step S25 The diffracted light spectral distribution calculation unit 106 writes and stores the captured image data captured by the imaging unit 101 in a predetermined area of the image data storage unit 110. Further, the diffracted light spectral distribution calculation unit 106 uses the captured image data address and the diffracted light spectral distribution, which are addresses of the area in which the captured image data is written in the image data storage unit 110, as the spectral sensitivity estimation captured image in the image data storage unit 110. Write to table and store. The imaging operation instruction unit 111 extracts the spectral wavelength of the acquired diffracted light spectral distribution with reference to the spectral sensitivity estimation captured image table of the image data storage unit 110.
  • the imaging operation instruction unit 111 refers to the diffracted light spectral distribution acquisition completion table of the image data storage unit 110, detects the spectral wavelength of the set diffracted light spectral distribution that matches the spectral wavelength of the extracted diffracted light spectral distribution, A flag in the completion flag column is set (that is, “0” is changed to “1”).
  • Step S26 The imaging operation instruction unit 111 refers to the diffracted light spectral distribution acquisition completion table in the image data storage unit 110, and “1” is written in all the spectral wavelength completion flag columns of the preset diffracted light spectral distribution. In other words, it is determined whether or not a sufficient diffracted light spectral distribution for spectral sensitivity estimation has been acquired.
  • the imaging operation instruction unit 111 divides 380 nm to 780 nm with a period of 10 nm and is discretized to set the diffracted light spectral distribution set as the spectral wavelengths of 380 nm, 390 nm,..., 770 nm, 780 nm.
  • the imaging operation instruction unit 111 determines whether or not the acquired diffracted light spectral distribution includes all the spectral wavelengths of the preset diffracted light spectral distribution.
  • the imaging operation instruction unit 111 refers to each of the spectral sensitivity estimation captured image table and the diffracted light spectral distribution acquisition completion table of the image data storage unit 110, and each spectral wavelength of the set diffracted light spectral distribution. Is included in the spectral wavelength of the acquired diffracted light spectral distribution, it is determined whether or not the diffracted light spectral distribution sufficient for estimating the spectral sensitivity has been acquired. At this time, when the imaging operation instruction unit 111 includes all of the spectral wavelengths of the set diffracted light spectral distribution necessary for estimating the spectral sensitivity, the diffracted light spectral distribution stored in the spectral sensitivity estimation captured image table is included.
  • step S27 the imaging control unit 102 performs processing when the diffracted light spectral distribution stored in the spectral sensitivity estimation captured image table does not include all the spectral wavelengths of the set diffracted light spectral distribution necessary for spectral sensitivity estimation. Advances to step S29.
  • Step S27 the spectral sensitivity estimation unit 107 reads all of the captured image data address and the diffracted light spectral distribution stored in the spectral sensitivity estimation captured image table of the image data storage unit 110. Further, the spectral sensitivity estimation unit 107 reads the captured image data from the image data storage unit 110 based on the captured image data address. The spectral sensitivity estimation unit 107 extracts the pixel position of the color calibration hologram 302 from the captured image data read from the image data storage unit 110 using a coordinate conversion formula.
  • the spectral sensitivity estimation unit 107 acquires the RGB color component signal values of the diffracted light from the pixels of the color calibration hologram 302, and combines the spectral values of the image capturing unit 101 with the corresponding diffracted light spectral distributions of the corresponding wavelengths. presume.
  • Step S28 Based on the spectral sensitivity of the imaging unit 101 estimated by the spectral sensitivity estimation unit 107, the color calibration unit 108 changes the captured image data P1 captured by the imaging unit 101 to the color of the captured image data P2 captured by a standard imaging device. Perform color proofing to fit.
  • Step S29 When the diffracted light spectral distribution sufficient for estimating the spectral sensitivity has not been acquired, the imaging operation instruction unit 111 acquires the spectral wavelength that has not been acquired in the set diffracted light spectral distribution. An image prompting re-imaging of the captured image is displayed on the display screen of the display unit 109. That is, the imaging operation instruction unit 111 displays an instruction to change the observation angle on the display unit 109 and prompts the user to change the observation angle at which the credit card 300 is imaged.
  • Step S30 The user adjusts the imaging direction of the captured image, that is, adjusts the observation angle, according to the image displayed on the display screen of the display unit 109.
  • an authenticity determination unit obtains a diffracted light reference pattern (true diffracted light pattern) from the image data storage unit 110 when the imaging target (authentication determination hologram 301) is imaged by a standard imaging device. Then, the captured image data is read out in accordance with the observation angle when the captured image data is captured. Further, the authenticity determination unit performs color calibration of each of the RGB color components in the pixel region of the authenticity determination hologram 301 in the captured image data based on the spectral sensitivity estimated by the spectral sensitivity estimation unit 107 described above.
  • the authenticity determination unit compares the similarity between the diffracted light pattern of the captured image data subjected to color calibration and the read reference pattern, and determines that the similarity is true when the similarity is equal to or greater than a predetermined threshold. When the similarity is less than a predetermined threshold, it is determined to be false.
  • the reference pattern is formed by a color imaged by a standard imaging device.
  • the present embodiment it is possible to obtain the same operational effects as those of the first embodiment described above. Further, according to the present embodiment, it is possible to acquire a diffracted light spectral distribution used for calibration of a hardware characteristic profile. By intuitively instructing the imaging direction to the user on the display screen, the user can perform simple imaging processing on the diffracted light spectral distribution including all spectral wavelengths of the set diffracted light spectral distribution used for calibration.
  • the hardware characteristic profile used for color correction can be easily calibrated.
  • the captured image for acquiring all necessary for calibration is obtained.
  • the method of imaging is notified, it is possible to obtain all the spectral wavelengths of the diffracted light spectral wavelength necessary for calibration without omission, and it is possible to calibrate the profile of the hardware characteristics with high accuracy. Further, according to the present embodiment, the presence of a spectral wavelength that is necessary for calibration but has not been acquired is visually displayed and notified to the user. Since the operation of recognizing and acquiring is performed, it becomes possible to obtain all the spectral wavelengths of the diffracted light spectral wavelength necessary for calibration without omission, and the calibration of the profile with high accuracy can be performed.
  • the hologram (for example, the color calibration hologram 302) has a characteristic that the image or color observed changes depending on the observation angle. For this reason, even if the hologram is designed so that a specific pattern or color can be observed, the angle and position at which the pattern or color can be observed is limited.
  • an imaging device such as the above
  • the user grasps the characteristics of the hologram, how the target pattern or color can be observed from the current observation angle and observation position can be observed in a three-dimensional manner of the imaging device, the light source, and the hologram. It is necessary to accurately grasp the positional relationship. For this reason, it is difficult to image light of each spectral wavelength emitted from the hologram.
  • a hologram is used as a reflecting material that develops color by utilizing a light diffraction phenomenon with respect to a reflecting material having diffuse reflection characteristics such as a Macbeth color chart.
  • the reflection type hologram includes a rainbow hologram that reflects diffracted light by a metal foil and a Lippmann hologram that reflects by diffraction of the hologram itself.
  • light incident on the diffraction grating on the surface diffracts and develops color, so if the illumination has a certain spectral distribution, it returns reflected light with a narrow-band diffracted light spectral distribution. Is possible. For this reason, depending on the design of the hologram, the diffracted light emitted with respect to the incident light can be adjusted at the wavelength distribution level to reproduce an arbitrary color (light having a spectral wavelength).
  • the diffracted light spectral distribution is sufficient for estimating the spectral sensitivity. I was doing. However, whether or not the diffracted light spectral distribution is sufficient for estimating the spectral sensitivity without setting the set diffracted light spectral distribution, for example, refer to the captured image table for spectral sensitivity estimation in the image data storage unit 110. And it is good also as a structure which determines whether the spectral wavelength in the diffracted-light spectral distribution imaged so far can be acquired for every uniform period within a visible wavelength range.
  • the spectral wavelength region is set with a period set to 10 nm or the like, and the imaging operation instruction unit 111 determines that the spectral sensitivity is obtained if at least one diffracted light having the corresponding spectral wavelength is acquired in each region. It is determined that a sufficient diffracted light spectral distribution is obtained for estimation. On the other hand, if the obtained diffracted light spectral distribution is not sufficient for estimation of spectral sensitivity, that is, if there is a spectral wavelength region where diffracted light cannot be imaged, the imaging operation instruction unit 111 diffracted light within that wavelength region. Is obtained as diffracted light necessary for estimating the degree of spectral sensation.
  • the imaging operation instruction unit 111 calculates the observation angle for imaging the diffracted light having the obtained spectral wavelength, and indicates the imaging direction as described above, so that the spectral wavelength necessary for estimating the degree of spectral sensation is obtained. Are guided so that the user can image the diffracted light.
  • FIG. 16 is a block diagram illustrating a configuration example of a color calibration system according to the fourth embodiment.
  • the color calibration system 5 ⁇ / b> C includes a color calibration device 1 ⁇ / b> C and an image capturing device 3.
  • the color calibration apparatus 1C includes an imaging control unit 102, an observation angle estimation unit 105, a diffracted light spectral distribution calculation unit 106, an imaging operation instruction unit 111, a spectral sensitivity estimation unit 107, a color calibration unit 108, a display unit 109, and an image data storage unit. 110 is provided.
  • the image imaging device 3 includes an imaging unit 101, an exposure control unit 103, and an illumination unit 104.
  • a color calibration system 5C is configured by the color calibration apparatus 1C and the color calibration hologram 302.
  • the same components as those in the third embodiment are denoted by the same reference numerals.
  • the color calibration system 5C is configured to separate the imaging and exposure functions in the third embodiment from the color calibration apparatus 1A as the image imaging apparatus 3.
  • an imaging device such as a general-purpose digital camera or a portable terminal (including a mobile phone or a smartphone) from an externally connected device, and it is also possible to handle a plurality of imaging devices.
  • the color proofing apparatus 1C may be configured to be able to communicate with a digital camera or a portable terminal using an information communication line such as the Internet.
  • the color calibration apparatus 1A may be configured to perform color calibration processing of the imaging apparatus using captured image data transmitted from a digital camera or a portable terminal, as in the third embodiment described above.
  • the program may be recorded on a medium, and the program recorded on the recording medium may be read into a computer system and executed to perform color calibration processing of captured image data between the imaging devices.
  • the “computer system” here includes an OS (Operating System) and hardware such as peripheral devices.
  • the “computer system” also includes a WWW (World Wide Web) system having a homepage providing environment (or display environment).
  • the “computer readable recording medium” is a portable medium such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a CD-ROM (Compact Disc-Read Only Memory), or a computer system.
  • a storage device such as a hard disk.
  • the “computer-readable recording medium” refers to a volatile memory (RAM (Random Access) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Memory)) as well as a medium that holds a program for a certain period of time.
  • RAM Random Access
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be a program for realizing a part of the functions described above.
  • a program that can realize the above-described functions in combination with a program already recorded in the computer system that is, a so-called difference file (difference program) may be used.
  • the observation angle estimation unit 105 is used.
  • the color calibration apparatus and color calibration system of the present invention may be configured without the observation angle estimation unit 105.
  • the observation angle estimation unit 105 estimates the observation angle and the observation position from the captured image data captured by the imaging unit 101, and acquires the current observation angle and observation position of the imaging unit 101 by a detection device such as a sensor or an encoder. If possible, the diffracted light spectral distribution calculation unit 106 may calculate the spectral distribution of the diffracted light for each observation angle using the observation angle and the observation position acquired by the detection device.
  • Image pickup device 1, 1A, 1B, 1C Color calibration device 2, 3 Image pickup device 101 Image pickup unit (image pickup device) DESCRIPTION OF SYMBOLS 102 Imaging control part 103 Exposure control part 104 Illumination part 105 Observation angle estimation part 106 Diffracted light spectral distribution calculation part 107 Spectral sensitivity estimation part 108 Color calibration part 109 Display part 110 Image data storage part 300 Credit card 301 Hologram for authenticity determination (counterfeit) Prevention medium, imaging target) 302 Color calibration hologram 500 Hologram color calibration sheet

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Holo Graphy (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

この色校正装置は、観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正装置であって、ホログラムからの回折光の各々の回折光分光分布を求める回折光分光分布計算部と、回折光の各々の回折光分光分布と、回折光それぞれの撮像画像とから、画像撮像装置の分光感度を推定する分光感度推定部と、推定された分光感度を用いて、画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部とを備える。

Description

色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム
 本発明は、カメラなどの画像撮像装置の色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラムに関する。
 本願は、2016年7月27日に日本に出願された特願2016-147311号及び2016年10月18日に日本に出願された特願2016-204397号に基づき優先権を主張し、その内容をここに援用する。
 近年、各メーカより様々なカメラなどの画像撮像装置が発売されているが、各メーカの画像撮像装置のハードウェアの仕様や現像過程が統一されておらず、撮像される画像データの色情報を同じ色彩値として扱うことができない場合がある。
 例えば、画像撮像装置は取り込んだ被写体のカラー画像である撮像画像データの色情報を、光の3原色で示したRGB(Red、Green、Blue)信号に変換して、これを表示装置や印刷装置(プリンタ)等の画像出力装置に出力する。そして、画像出力装置においては、供給(入力)されるRGB信号の信号値に基づいて、カラー画像を再現することが一般的に行われている。
 しかし、画像撮像装置で得られるRGB信号は、撮像レンズなどの光学系、RGBフィルタ(RGB原色系フィルタ)の分光透過率などのハードウェア特性と、ホワイトバランス調整、ガンマ補正、トーンマッピングなどのソフトウェア画像処理とに依存している。
 また、画像出力装置にも様々な再現の仕方や機器の個体差が存在している。このため、画像撮像装置で撮像した画像を画像出力装置から出力する際、分光レベルで同じ色情報が入力されても、実際に再現される色(RGB信号の信号値)が異なり正確な色再現が行えない場合がある。
 そこで、画像撮像装置及び画像出力装置間における撮像画像データの受け渡しにおいて、sRGB(standard RGB)規格などに準拠した共通化された色信号を採用することが多くなっている。この場合、画像撮像装置においては、撮像系でCCD(Charge Coupled Device)などに記録されるRGB信号を、sRGB規格に応じて色補正し、この色補正を行なったsRGB規格の色情報を含む撮像画像データを出力している。これにより、sRGB規格に対応する画像出力装置においては、画像撮像装置から供給(出力)されるsRGB規格に対応する撮像画像データにより、カラー画像の正確な色再現を行うことができる。
 上記sRGB規格に応じた色補正の手法は、複数有り、例えば画像撮像装置に設ける光学フィルタの分光特性をsRGB規格に光学的に合わせることにより、色再現における再現色を近似する構成が提案されている。
 しかし、各メーカが画質向上のために様々な特性を持った独自の光学フィルタを作成していることが多く、光学フィルタの分光特性を光学的にsRGB規格に完全に一致させることは現実には難しい。
 また、撮像したRAWデータからsRGB規格の撮像画像データを生成する画像処理についても、各メーカが独自の画像処理エンジンによって、見た目に自然な画像に加工していることが多く、カラー画像の正確な色再現は難しい。
 一方、RGB信号をマトリクス演算する電子的な補正を行なうことにより、再現色を目標とする色に近似する方法(例えば、特許文献1及び特許文献2参照)が一般的に用いられている。
 上述したRGB信号をマトリクス演算する電子的な色補正の方法は、色校正用として、マクベスカラーチャートなどのカラーチャートを撮像したRAWデータを用い、画像撮像装置の各々のハードウェア特性のプロファイルを作成することで異なる画像撮像装置間の違いを補正する。
 上述したように、カラーチャートを用いて画像撮像装置の色特性を推定できれば、正確に画像撮像装置の色再現を行うことができる。
日本国特許第4136820号公報 日本国特許第5097927号公報
 しかしながら、マクベスカラーチャートなどの一般的なカラーチャートは、表面が拡散反射特性を持っているため、環境光を含む全ての光源の影響を受ける。そのため、遮蔽物等でカラーチャートにおける各色票への光の当たり方が異ならないように、カラーチャート全体を撮像することが必要である。
 また、光源の分光分布によっては条件等色(メタメリズム)の現象が起こる場合があるので、画像撮像装置の色特性を正確に把握するため、様々な分光反射率の色票を多数、例えば24種類を並列に並べる必要があり、カラーチャートのサイズが大きくなる。
 上述した理由から、カラーチャートと色補正を行なう撮像対象とを同時に撮像することができず、カラーチャートを撮像し、画像撮像装置の各々のハードウェア特性のプロファイルを作成した後、色補正を行なう撮像対象を撮像する。
 この結果、カラーチャートを撮像する際の環境光と、撮像対象を撮像する際の環境光とを一致させることが困難なため、作成されるプロファイルが環境光の違いに基づく特性を有してしまう。この結果、このプロファイルを用いて色補正を行なった場合、精度の高い色再現を行なうことができない可能性がある。
 本発明は、このような状況に鑑みてなされたもので、上述したカラーチャートを用いた場合と異なり、環境光の影響を受けずに、画像撮像装置間の色補正を行なうハードウェア特性のプロファイルを生成することができる色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラムを提供する。
 上述した課題を解決するために、本発明の第1の態様の色校正装置は、観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正装置であり、前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算部と、前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定部と、推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部とを備える。
 本発明の第2の態様の色校正装置は、上記第1の態様の色校正装置が、前記画像撮像装置が前記ホログラムを撮像する観察角度及び観察位置を、当該画像撮像装置が撮像した撮像画像から推定する観察角度推定部をさらに備える。また、前記回折光分光分布計算部が、前記回折光の各々の前記撮像画像から推定した前記観察角度及び前記観察位置を用いて、当該回折光の各々の回折光分光分布を計算する。
 本発明の第3の態様の色校正装置は、上記第1または第2の態様の色校正装置において、前記分光感度推定部が、前記回折光の各々の前記回折光分光分布と、周波数が対応する前記回折光の前記撮像画像それぞれの光強度とから前記画像撮像装置の前記分光感度を推定する。
 本発明の第4の態様の色校正装置は、上記第1から第3のいずれか1つの態様の色校正装置が、予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示部をさらに備える。
 本発明の第5の態様の色校正装置は、上記第4の態様の色校正装置において、前記撮像動作指示部が、前記設定回折光分光分布に対応する回折光分光分布を有する撮像画像が撮像されているか否かの判定を行ない、前記回折光分光分布の撮像画像が撮像されていない場合に、前記回折光分光分布を有する撮像画像の撮像を促す通知を、前記画像撮像装置の表示部に出力する。
 本発明の第6の態様の色校正装置は、上記第5の態様の色校正装置において、前記撮像動作指示部が、前記設定回折光分光分布に対応し且つ得られていない回折光分光分布の撮像画像を撮像する撮像方向を、前記表示部に表示する。
 本発明の第7の態様の色校正装置は、上記第5または第6の態様の色校正装置において、前記撮像動作指示部が、前記設定回折光分光分布に対応する回折光分光分布を有する撮像画像を撮像する際に、前記撮像画像の撮像位置を規定する、前記ホログラムの撮像枠を前記表示部の表示画面に表示する。
 本発明の第8の態様の色校正システムは、観察角度に対応した異なる周波数の回折光を発する色校正用ホログラムと、前記色校正用ホログラムからの前記回折光の各々の分光分布を求める分光分布計算部と、前記回折光の各々の前記分光分布と、前記回折光それぞれの撮像画像とから、画像撮像装置の分光感度を推定する分光感度推定部と、推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部とを備える。
 本発明の第9の態様の色校正システムは、上記第8の態様の色校正システムにおいて、前記色校正用ホログラムが、前記色の異なりを校正する撮像画像として撮像される撮像対象に隣接して設けられている。
 本発明の第10の態様の色校正システムは、上記第9の態様の色校正システムにおいて、前記撮像対象が、物品の真贋判定に用いられる、照射される光の特性である光特性の変化により観察される光のパターンが変化する偽造防止媒体である。
 本発明の第11の態様の色校正システムは、上記第8から第10のいずれか1つの態様の色校正システムが、予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示部をさらに備える。
 本発明の第12の態様の色校正用ホログラムは、観察角度に対応した異なる周波数の回折光を発するホログラムであり、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する分光感度を求めるために用いられる。
 本発明の第13の態様の色校正用ホログラムは、上記第12の態様の色校正用ホログラムにおいて、前記色の異なりを校正する撮像画像として撮像される撮像対象に隣接して設けられている。
 本発明の第14の態様の色校正用ホログラムは、上記第13の態様の色校正用ホログラムにおいて、前記撮像対象が、物品の真贋判定に用いられる、照射される光の特性である光特性の変化により観察される光のパターンが変化する偽造防止媒体である。
 本発明の第15の態様の色校正方法は、観察角度に対応した異なる光周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正方法であり、前記ホログラムからの前記回折光の各々の回折光分光分布を求める分光分布計算過程と、前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定過程と、推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正過程とを含む。
 本発明の第16の態様の色校正方法は、上記第15の態様の色校正方法が、予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示過程をさらに含む。
 本発明の第17の態様のプログラムは、観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する動作をコンピュータに実行させるプログラムであり、前記コンピュータを、前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算手段、前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定手段、推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正手段として動作させる。
 本発明の第18の態様のプログラムは、上記第17の態様のプログラムが、前記コンピュータを、予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示手段としてさらに動作させる。
 以上説明したように、本発明によれば、カラーチャートを用いた場合と異なり、環境光の影響を受けずに、画像撮像装置間の色補正を行なうハードウェア特性のプロファイルを生成することができる色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラムを提供することができる。
第1の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。 一般的な画像撮像装置における撮像した撮像画像データの色信号処理を説明する図である。 画像撮像装置の分光感度の一例を示した図である。 画像データ記憶部における校正用撮像画像データテーブルの構成例を示す図である。 ホログラムに対する撮像部の観察角度を説明する図である。 回折光の分光分布を求める式における±の設定について説明する図であって、撮像部と光源とが撮像対象の一方側に位置する場合を示す図である。 回折光の分光分布を求める式における±の設定について説明する図であって、撮像部と光源とが撮像対象を挟んで互いに逆側に位置する場合を示す図である。 色校正用ホログラムから出射される単一波長の回折光の分光分布の一例を示す図である。 画像データ記憶部における分光感度推定用撮像画像データテーブルの構成例を示す図である。 第1の実施形態の色校正システムにおけるホログラムを用いた撮像装置の色校正の動作例を示すフローチャートである。 第2の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。 第3の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。 画像データ記憶部に記憶されている回折光分光分布取得完了テーブルの構成例を示す図である。 撮像動作指示部が表示部の表示画面に表示する回折光分光分布の取得を促す通知の一例を示す図である。 撮像動作指示部が表示部の表示画面に表示する回折光分光分布の取得を促す通知の他の例を示す図である。 第3の実施形態の色校正システムにおけるホログラムを用いた撮像装置の色校正の動作例を示すフローチャートである。 第4の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。
<第1の実施形態>
 以下、本発明の第1の実施形態について、図面を参照して説明する。図1は、第1の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。図1において、色校正装置1は、撮像部(画像撮像装置)101、撮像制御部102、露光制御部103、照明部104、観察角度推定部105、回折光分光分布計算部106、分光感度推定部107、色校正部108、表示部109及び画像データ記憶部110を備えている。この第1の実施形態の色校正装置1は、撮像部101と照明部104とが一体化されており、例えば、照明部104から出射される光に対応して、再帰反射方向に回折光を発するホログラム(後述する色校正用ホログラム302)を、色校正の色校正シートとして用いた色校正処理に対応した構成となっている。
 また、クレジットカード300は、例えば、真贋判定を行なう対象であり、表面に偽造防止媒体としての真贋判定用ホログラム301と、色の校正を行なうための色校正用ホログラム302とが設けられている。クレジットカード300は矩形板状に形成されている。真贋判定用ホログラム301は、物品(クレジットカード300)の真贋判定に用いられ、照射される光の特性である光特性の変化により観察される光のパターンが変化する。本実施形態においては、色校正装置1と色校正用ホログラム302とにより、色校正システム5が構成される。すなわち、色校正システム5は、色校正装置1と色校正用ホログラム302とを備える。
 本実施形態においては、真贋判定用ホログラム301から出射される回折光の色を正確に判定するため、色校正用ホログラム302により、撮像部101の光学系における分光感度を求める。そして、求めた分光感度を用いて、撮像部101の撮像した回折光の撮像画像データにおける色を、真贋判定を行なう際の標準的な色(標準的な分光感度を有する撮像装置で撮像した際の色)に変更する校正を行なう。
 撮像部101は、例えば、CCD(Charge Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いたカメラなどであり、対象物を撮像した際のRAWデータ(後述)をホワイトバランス調整等の画像処理をせず、デモザイク処理のみ行った撮像画像データに変換して、その撮像画像データを画像データ記憶部110に対して書き込んで記憶させる。画像データ記憶部110は、ハードディスクドライブやフラッシュメモリ等であり、データを記憶可能である。
 図2は、一般的な画像撮像装置における撮像した撮像画像データの色信号処理を説明する図である。図2を用いて一般的な画像撮像装置、例えばデジタルカメラの色信号処理について説明する。画像撮像装置2は、撮像素子により被写体(例えばクレジットカード)300Aのフルカラー画像を得る画像撮像装置であり、レンズ等の撮像光学系201と、カラーフィルタ(バンドパスフィルタ)202及びフォトダイオード203からなる撮像素子204と、画像処理エンジン205と、メモリ206と、を備える。ここで、撮像素子204は、例えばRGB3色のカラーフィルタが取り付けられた単板式のCCDやCMOSである。この図2の、画像処理エンジン205を除く部分が、図1の撮像部101に対応している。
 撮像光学系201は、カラーフィルタ202を介してフォトダイオード203上に被写体像(被写体からの光)を結像する。
 カラーフィルタ202は、RGBの各々のフィルタ領域毎に、被写体からの光をこのフィルタ領域のフィルタ特性に応じた色光(例えば、RGBそれぞれの波長帯域の成分光)それぞれに分光させ、フォトダイオード203に出射する。
 フォトダイオード203の受光素子の各々は、それぞれ入射される色光の光を光電変換し、RAW(取得した生の)データとして出力する。ここで、図示しないA/D(Analog/Digital)変換器は、フォトダイオード203が変換したRAWデータをA/D変換し、デジタルデータとしてRAWデータを、画像処理エンジン205に対して出力する。このデジタルデータ化されたRAWデータを画像処理エンジン205に出力する構成までが、上述したように、図1の撮像部101に対応している。
 画像処理エンジン205は、上記A/D変換器から供給(入力)されたRAWデータに、撮像画像データにおける画素毎のRGB信号(信号値)を生成するデモザイク処理、トーンマッピング、ホワイトバランス補正など、様々な画像処理を施す。そして、画像処理エンジン205は、画像処理が施されたRAWデータを、sRGBなどの規格で決められた色に変換した後、JPEG(Joint Photographic Experts Group)やTIFF(Tagged Image File Format)などの一般的な撮像画像データの画像ファイルフォーマットとして、メモリ206に対して書き込んで記憶させる。
 また、デジタルカメラの機種によっては、画像処理エンジン205で処理する前のRAWデータをメモリ206に保存することもできる。なお、本実施形態の撮像部101は、メモリを備えていてもよいし、備えていなくてもよい。すなわち、撮像部101は、少なくとも撮像光学系201及び撮像素子204に相当する構成を備えていればよい。
 上述した撮像光学系201と撮像素子204の色特性は、光学系であるレンズや光学フィルタ(カラーフィルタ202)の透過特性とフォトダイオード203の感度特性を合わせて、光の各波長に対する色の感度である分光感度として表せる。
 このため、デジタルデータ化されたRAWデータは、被写体300Aから発せられた光に対し、RGB3色の色成分それぞれの分光感度を波長毎に乗じて積分した信号値として記録される。
 画像処理エンジン205で行われる処理は各メーカによって様々である。また、画像処理エンジン205は、鑑賞する人間の目に自然に見えるように、撮像画像データを画像処理し、sRGB規格の色域外の色を近似により色域内の色に変換する処理を行なう。このように、画像撮像装置の各々において、RAWデータに対して異なる画像処理が行なわれている。このため、RAWデータから画像処理を行なった変換撮像画像データへ一旦変換した場合、一般的に、画像処理が行なわれた変換撮像画像データからRAWデータに逆変換することができない。
 この理由から、本実施形態においては、画像撮像装置における固有の画像処理が行なわれる前のRAWデータ、すなわち固有の画像処理が行なわれていない撮像画像データそのものを用いて、画像撮像装置における分光感度を推定し、異なる画像装置間におけるRAWデータである撮像画像データの色校正を行う。
 図3は、画像撮像装置の分光感度の一例を示した図である。この図3において、横軸は光の波長(wavelength)を示し、縦軸は分光感度としての相対分光感度(Relative Spectral sensitivity)を示している。分光感度は、可視波長域(380nm~780nm)内における光の波長を変数とする関数である。また、分光感度は、カラーフィルタ202がRGBの3つの色成分に対応した光フィルタを有することから、RGBの各々の光フィルタに対してそれぞれ独立した3種類の関数となっている。
 分光感度は、上述したように、画像撮像装置に入射する光と、この光に対応したRAWデータの信号値との関係性を表す感度関数である。ここで、分光感度は、画像撮像装置に入射される光の光量や色が一定である場合でも、撮像の際のシャッタースピード等で光量が増減(変化)し、この増減に比例してRAWデータの信号値全体が増減(変化)する。
 このため、分光感度の絶対値そのものは重要ではなく、分光された波長の各々の信号値の相対値が撮像画像の色を決定する重要な要素となる。そのため、分光感度は、一般的に、全ての波長の信号値における最大値を1として正規化された比の数値の関数として表されることが多い。
 図1に戻り、撮像制御部102は、入射された光に対応してホログラム(真贋判定用ホログラム301及び色校正用ホログラム302の各々をいう)から出射される回折光を撮像部101が撮像する際、焦点深度、撮像素子の感度(例えば、ISO(International Organization for Standardization)感度)などの撮像部101における撮像条件を制御する。
 露光制御部103は、撮像の露光の条件として、シャッタースピード、絞り値、照明光の強度などの撮像部101の撮像条件を制御する。また、露光制御部103は、色校正装置1の撮像するホログラムの回折光の明るさに対応し、撮像時において必要に応じて照明部104に対して撮像用の光(照明光)を調整して出射させるための発光指示を出力する。
 照明部104は、通常の撮像対象に光を連続して照射する照明だけではなく、撮像対象に対して短時間に光を照射するフラッシュあるいはストロボ(登録商標)などと呼ばれる発光装置であってもよい。
 この照明部104は、露光制御部103からの発光指示に対応し、撮像する対象物に対して所定の強度の光を照射する。ここで、撮像制御部102は、撮像タイミングを示す制御信号を露光制御部103に対して供給(出力)する。これにより、露光制御部103は、撮像制御部102から供給(入力)される撮像タイミングを示す制御信号に同期して、上述したように、ホログラムに照射する照明光を出射させる発光指示を照明部104に対して出力する。
 観察角度推定部105は、ホログラムが撮像された撮像画像データの各々を撮像部101から順次入力する。そして、観察角度推定部105は、入力する撮像画像データが撮像された3次元空間において、撮像画像データの撮像を行った撮像部101の位置である観察位置(座標値)及び撮像部101の撮像方向の各々を座標変換式(後述)から求める。すなわち、観察角度推定部105は、求めた観察位置及び撮像方向から、各撮像画像データにおけるホログラムの観察角度を求める。なお、上記撮像方向は、撮像部101の撮像素子が対向する方向、すなわち撮像素子の光入射面に垂直な方向である。
 そして、観察角度推定部105は、撮像画像データに付与した撮像画像データそれぞれを識別する撮像画像データ識別情報とともに、求めた観察位置及び観察角度を含む撮像画像データ情報を画像データ記憶部110の校正用撮像画像データテーブルに対して書き込んで記憶させる。この観察角度により、入射された光に対してホログラムから出射されて、観察されるホログラムからの回折光の分光分布が異なる。
 本実施形態においては、ホログラムを所定の焦点距離にて、複数枚の撮像画像データを撮像部101により撮像する。ここで、撮像画像データの各々は、撮像する際の観察角度をそれぞれ異ならせて撮像する必要がある。観察角度推定部105は、この撮像された複数の撮像画像データから、上述したように、予め設定された座標変換式を用いることにより、3次元空間におけるホログラムを撮像した撮像画像データ各々の観察角度を推定している。
 観察角度推定部105の用いる座標変換式は、ホログラムによる色校正処理を行う前処理(色校正処理を行う準備)として、事前に複数枚の撮像画像データ(後述するキャリブレーションボードを撮像した撮像画像データ)から3次元空間を再生した際、複数の撮像画像データの2次元座標における画素の位置と3次元空間における座標位置とを対応付ける際に生成される式である。予め生成された座標変換式は、画像データ記憶部110に対して書き込んで記憶されている。
 図4は、画像データ記憶部110における校正用撮像画像データテーブルの構成例を示す図である。図4の校正用撮像画像データテーブルには、ホログラムの撮像画像に対応して、撮像画像データ識別情報と、この撮像画像データ識別情報に対応する撮像画像データの観察角度、観察位置及び撮像画像データアドレスの各々が書き込まれて記憶されている。ここで、撮像画像データ識別情報は、撮像画像データの各々を識別するための情報である。画像データ記憶部110は、1つの撮像対象を撮像する際の観察角度を異ならせて取得した複数の撮像画像データを記憶可能である。
 上記観察角度は、例えば、色校正用ホログラム302のいずれかの頂点あるいは座標点を3次元空間の座標系(以後、3次元座標系)における原点として、この色校正用ホログラム302を配置した場合に、撮像画像データを撮像した際における撮像部101の撮像方向と色校正用ホログラム302の表面に対する法線とのなす角度である。すなわち、上記観察角度は、上記撮像方向に延びる仮想の軸線と上記法線とのなす角度である。なお、本実施形態の色校正用ホログラム302の表面は、色校正用ホログラム302が設けられているクレジットカード300の表面に平行している。観察位置は、3次元空間における撮像部101が色校正用ホログラム302の撮像を行った座標位置を示している。撮像画像データアドレスは、撮像画像データの各々が記憶されている画像データ記憶部110における領域のアドレスを示しており、撮像画像データを読み出す際のインデックスとなっている。
 図5は、ホログラムに対する撮像部101の観察角度を説明する図である。図5において、ホログラム色校正シート500(あるいはクレジットカード300)の表面に対して色校正用ホログラム302が設けられている。ホログラム色校正シート500は矩形板状に形成されている。上記色校正用ホログラム302は、観察角度によって回折光が変化するホログラムである。すなわち、色校正用ホログラム302は、観察角度に対応した異なる周波数(言い換えれば、異なる波長)の回折光を発する。この色校正用ホログラム302は、例えば、回折格子からなり、回折光を金属箔によって反射する反射型ホログラムを用いることができる。色校正用ホログラム302の表面には波長依存性の少ない透過特性の保護フィルムを設けることができ、汚れに強い構造にすることができる。
 光源(照明ともいう)400は、光の照射方向400Aと法線450とのなす角度である照射角度αにより、色校正用ホログラム302に対して、撮像用の光を照射する。この撮像用の光が入射されると、色校正用ホログラム302は所定の観察角度βにおいて所定の分光分布(波長)を持つ回折光を出射する。このため、照射角度α及び観察角度βの各々によって、色校正用ホログラム302から、照射光に対応して出射される回折光の分光分布が異なる。
 法線450は、ホログラム色校正シート500の表面500Aに垂直な方向に延びる法線である。観察角度βは、撮像部101の撮像方向101Aと法線450とのなす角度である。
 ここで、例えば、観察角度推定部105は、法線450に平行な軸をz軸とし、ホログラム色校正シート500の辺の各々がx軸及びy軸の各々と平行となるように、ホログラム色校正シートを3次元座標系において配置する。例えば、ホログラム色校正シート500の各辺により形成される頂点のいずれかが、3次元座標系の原点Oと一致するように、3次元座標系において、ホログラム色校正シート500をx軸及びy軸からなる2次元平面に配置する。このため、ホログラム色校正シート500の厚さ方向がz軸に対して平行となる。このホログラム色校正シート500の3次元形状は、予め既知の情報として、すでに述べた座標変換の式とともに、予め画像データ記憶部110に書き込まれて記憶されている。
 ここで、図1に示す真贋判定を行なう対象のクレジットカード300の表面に対して、色校正用ホログラム302が配置されている場合、ホログラム色校正シート500に対してと同様の処理をクレジットカード300に対して行なう。また、このクレジットカード300表面には、色校正用ホログラム302と隣接して、偽造防止媒体(撮像対象)としての真贋判定用ホログラム301が配置されている。
 ホログラム色校正シート500を用いる場合、撮像装置の光学系に対する分光感度を求める処理を行なう。その後、被写体300Aを撮像し、この撮像画像データが、求めた分光感度により校正される。
 一方、被写体300Aとホログラム色校正シート500(色校正用ホログラム302)とが一括して撮像できる場合、色校正のための処理をユーザが意識して行なう必要はない。
 すなわち、撮像画像データにおいて、被写体300Aとホログラム色校正シート500との画像の位置が、座標変換式により検出される。そして、ホログラム色校正シート500の画素のRGBの色成分の各々により分光感度を求め、この分光感度を用いて被写体300Aの画素の色が校正される。したがって、ホログラム色校正シート500を単独で色校正のために撮像する必要がなく、校正に用いる分光感度を求める処理をユーザが意識する必要はない。
 図1に戻り、観察角度推定部105は、各撮像画像データの観察角度を求める際、画像データ記憶部110から撮像画像データを読み出し、3次元座標系におけるクレジットカード300(あるいはホログラム色校正シート500)の3次元形状の各座標と、撮像画像データ(2次元座標系)の各画素(座標)とを、上記座標変換式により対応付けることにより、3次元空間の3次元座標系における撮像画像データの撮像位置と、この撮像位置からの撮像画像データの撮像方向を求める。このとき、観察角度推定部105は、すでに述べたように、3次元座標系においてクレジットカード300の3次元形状のいずれかの頂点を原点とし、法線450がz軸と平行となり、各辺がx軸またはy軸と平行となるように、クレジットカード300を3次元空間に配置する。
 そして、観察角度推定部105は、このクレジットカード300の3次元形状を基準として、3次元座標系における撮像部101の撮像画像データの撮像位置、及び撮像方向を求める。これにより、観察角度推定部105は、法線450と撮像部101の撮像方向との成す観察角度βを求める。観察角度、観察位置を求めたら、撮像画像データを画像データ記憶部110の所定の領域に書き込んで記憶させるとともに、この所定の領域のアドレスである撮像画像データアドレスと、撮像画像データの撮像画像データ識別情報と、求めた観察角度、観察位置の各々を、画像データ記憶部110の校正用撮像画像データテーブルに対して書き込んで記憶させる。
 本実施形態においては、事前に撮像部101に対してカメラキャリブレーション(カメラ較正)が行われていることが前提として必要である。このカメラキャリブレーションとは、予め三次元形状が既知なキャリブレーションボードを撮像領域内で一回あるいは複数回撮像し、撮像された一枚あるいは複数の撮像画像データを用いて三次元空間の三次元座標系における座標点と、撮像画像データの2次元座標系における座標点(二次元ピクセル)の複数の座標点の対応関係を確定することである。これにより、撮像部101とキャリブレーションボードとの相対位置関係(以下、外部パラメタ)を示す座標変換式と、撮像部101の光学中心や各画素(2次元ピクセル)における光線入射方向ベクトル、レンズ歪みなど(以下、撮像部101の内部パラメタ)を推定する。
 すなわち、本実施形態においては、観察角度推定部105が撮像画像データの観察角度を推定するために、予め撮像部101で撮像した複数の異なる視点方向からキャリブレーションボードを撮像した2次元画像から、すなわち多視点の撮像画像データからグローバル座標系(3次元座標系)を再構成する。そして、同一ピクセルにおける再構成した3次元座標系における座標点と、撮像部101が撮像した撮像画像データの2次元座標系における座標点との対応関係を示す座標変換式を、カメラキャリブレーション時に求めておく。
 上述したように、本実施形態において、観察角度の推定は、事前に撮像部101に対してカメラキャリブレーション(カメラ較正)が行われており、色校正システムにおけるホログラム(真贋判定用ホログラム301及び色校正用ホログラム302の各々)の色校正処理の実行時に撮像部101の内部パラメタが既知であり、かつクレジットカード300(あるいはホログラム色校正シート500)及びホログラムの三次元形状が既知であることが前提である。これにより、ホログラムを複数の異なる位置から撮像して撮像画像データを取得し、上記座標変換式によって三次元座標系における座標点と撮像画像データの二次元座標系のピクセルとの複数の対応点情報を得て、この複数の対応点情報から撮像部101とホログラムの相対位置関係を推定できる。すなわち、ホログラムを撮像した際における撮像部101の観察位置及び観察角度(撮像方向)が推定できる。
 本実施形態において、例えばカメラキャリブレーションとしては、良く知られている手法の一つである、Z.Zhangによる解析手法(Z.Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000)を適用して、撮像画像データを撮像した際の観察角度を推定することができる。ただし、上記Z.Zhangによる解析手法を適用して観察角度の推定を行う場合、色校正システムに入力する撮像画像データは、カメラキャリブレーション時に固定された焦点と同様の焦点(望ましくは同一の焦点)で撮像された画像データである必要がある。
 図1に戻り、回折光分光分布計算部106は、画像データ記憶部110における校正用撮像画像データテーブルから、観察角度推定部105が記録した撮像画像データの情報を順次読み込む。そして、回折光分光分布計算部106は、予め与えられている光源400の放射する放射光の分光分布と、同じく予め与えられている観察位置及び観察角度に応じた色校正用ホログラム302の回折光特性から、観察角度推定部105が推定した観察位置及び観察角度の各々を用いて、観察角度毎の回折光の分光分布(回折光分光分布ともいう)を計算する。なお、光源400の放射する放射光の分光分布と、観察位置及び観察角度に応じた色校正用ホログラム302の回折光特性とは、色校正装置1の内部または外部の記憶部(図示せず)に記憶されていてもよいし、画像データ記憶部110に記憶されていてもよい。
 回折光分光分布計算部106は、異なる周波数の回折光の各々の回折光分光分布を求める。
 例えば、図5において色校正用ホログラム302がx軸方向に平行な溝方向の回折格子と金属箔からなる反射型ホログラムであり、光の照射方向400Aと撮像方向101Aがいずれもyz平面と平行である場合を考える。光源400から色校正用ホログラム302に入射され撮像部101で観察される回折光は、光の照射角度α、撮像部101の観察角度β、色校正用ホログラム302における回折格子の空間周波数f、回折光の次数nによって回折光(単一波長の光)の回折光波長λが以下の(1)式で示す関係式で求められる。すなわち、このλは回折光分光分布の波長を示している。
Figure JPOXMLDOC01-appb-M000001
 
 図6A,6Bは、回折光分光分布を求める(1)式における±の設定について説明する図である。図6Aは、撮像部101の観察方向と、光源400の照射方向が法線450を挟まず同一の方向である場合を示している。すなわち、図6Aは、撮像部101と光源400とが色校正用ホログラム302の撮像箇所の一方側に位置する場合を示す図である。この場合には、上記(1)式における±が+と設定され、回折光波長λが算出される。一方、図6Bは、撮像部101の観察方向と、光源400の照射方向が法線450を挟んで反対側の場合を示している。すなわち、図6Bは、撮像部101と光源400とが色校正用ホログラム302の撮像箇所を挟んで互いに逆側に位置する場合を示す図である。この場合には、上記(1)式における±が-と設定され、回折光波長λが算出される。
 また、色校正用ホログラム302の出射する回折光の強度は、回折光波長λにおける光源400の放射光の強度に、色校正用ホログラム302の回折効率を乗じることで計算できる。回折光波長λにおける光源400の放射光の強度とは、光源400の放射する光の分光分布における回折光波長λと同一の波長(すなわち、λ)を有する光の強度を示している。
 また、分光分布における波長の光の強度は、分光感度を推定する際に、分光分布の波長λの取り得る範囲全体において正規化する。このため、光源400の波長λにおける強度を絶対値とする必要はなく、光源400の分光分布の最大値に対する相対値(すなわち比率)でよい。
 同様に、距離が伸びることによる光の減衰等により、光源400の放射光の分光分布全体の強度が一様に低下する現象については考慮する必要がない。従って、回折光の強度は、光源400の分光分布における放射光の強度と色校正用ホログラム302の回折効率特性とを求めておけば、容易に計算できる。
 以上説明したとおり、照射される光源400の色校正用ホログラム302から出射される単一波長の光である回折光の波長及び強度の各々は、色校正用ホログラム302における回折格子の空間周波数及び回折効率、光源400の光の照射角度α、撮像部101の観察角度β、光源400の放射光の分光分布における各周波数の放射光の強度のそれぞれによって計算できる。これにより、後述するように、回折光分光分布計算部106は、放射光に対応して色校正用ホログラム302から出射される単一波長の回折光分光分布を計算することができる。
 なお、光源400及び撮像部101のレンズの大きさを考慮すると、実際に回折光分光分布を測定した場合、回折光は特定の波長付近の狭帯域において山形状の強度を持つ分光分布として測定される。
 図7は、色校正用ホログラム302から出射される単一波長の回折光分光分布の一例を示す図である。図7において、横軸は回折光の波長(Wavelength)を示し、縦軸は回折光の相対強度(Relative Intensity)を示している。
 回折光は、図7に示すように、特定の波長付近の狭帯域において山形状の強度(相対強度)を持つ回折光分光分布として測定される。この回折光分光分布は、単一波長の光の分光分布として近似して、以降の分光感度を求める計算に用いることができる。山形状の強度を持つ回折光分光分布を用いて、後述する分光感度を計算しても、単一波長として近似できる狭帯域であれば、分光感度の計算結果に大きな影響、すなわち実際に単一波長の光を用いて計算した場合に比較して、色校正の精度に影響を与える大きさの誤差は生じない。上述した理由から、本実施形態においては、図7に示す回折光分光分布を単一波長の分光分布として色校正に用いている。
 また、回折光分光分布を求めるために撮像する回折光の次数は、回折光の強度が最も強い±1次が望ましい。また、光源400以外から放射された環境光等がホログラムに入射すると、0次、1次回折光が観察される範囲が限定され、±2次以降の回折光は強度が低い。これにより、回折光が色として画像データにおける各画素の信号値として反映され難くなる。そのため、想定する光の照射角度αと主な撮像装置の観察角度βを考慮して、色校正用ホログラム302における回折格子の空間周波数を調整することにより、環境光の影響を受け難い設計にすることができる。
 一方、環境光の影響が少ない状態において色校正用ホログラム302を撮像する等、撮像の条件次第では、色校正用ホログラム302から出射されるn次(n≧2)の回折光でも、回折光分光分布の推定は可能である。
 そして、回折光分光分布計算部106は、計算した回折光の波長が可視光波長域内である場合に、撮像画像データを分光感度推定処理に用いることが可能な撮像画像データとして、その撮像画像データ識別情報に対応させて、撮像画像データアドレス及び回折光分光分布の各々を対応付けて、画像データ記憶部110における分光感度推定用撮像画像データテーブルに対して書き込んで記憶させる。
 図8は、画像データ記憶部110における分光感度推定用撮像画像データテーブルの構成例を示す図である。図8において、撮像画像データ識別情報は、図4の校正用撮像画像データテーブルと同様に、撮像画像データの各々を識別するための情報である。図8の撮像画像データアドレスは、撮像画像データの各々が記憶されている画像データ記憶部110における領域のアドレスを示しており、画像データ記憶部110から撮像画像データを読み出す際のインデックスとなっている。図8の回折光分光分布は、上記撮像画像データ識別情報の示す撮像画像データを撮像する際の観察角度に対応した、色校正用ホログラム302からの回折光分光分布の分光波長及びその分光波長における強度を示している。すなわち、画像データ記憶部110における分光感度推定用撮像画像データテーブルには、複数の撮像画像データ識別情報と、複数の撮像画像データアドレスと、複数の回折光分光分布の情報(分光波長及びその分光波長における強度)とが、各々対応付けられて保持される。
 図1に戻り、分光感度推定部107は、回折光分光分布計算部106が画像データ記憶部110に記録した回折光分光分布と、この回折光分光分布に対応する撮像画像データとの各々を用い、撮像部101の分光感度の推定を行なう。以下、分光感度推定部107が行なう分光感度の推定の処理を説明する。
 この分光感度の推定において、RAWデータから得られる色成分RGBそれぞれの信号値をc、c及びcとする。また、撮像部101のRGBの各々の波長帯域の分光感度を光の波長λの関数として、それぞれS(λ)、S(λ)、S(λ)とする。そして、撮像部101に入射される回折光の回折光分光分布を、光の波長λの関数としてL(λ)とした場合、以下に示す(2)式が成り立つ。
Figure JPOXMLDOC01-appb-M000002
 
 (2)式において、例えば、信号値cは、撮像部101における色成分Rの光学系における分光感度S(λ)に対して回折光分光分布を乗算した関数を、色成分Rの波長帯域(λの範囲)において積分した結果として、分光感度推定部107により算出される。
 他の信号値c及び信号値cの各々も、上記信号値cと同様に、分光感度推定部107により算出される。
 また、コンピュータで計算処理が行えるように、上記(2)式における波長λを、所定の刻み幅の間隔の離散値とする。この波長λの離散値化により、RGB色成分毎の色の感度を示す分光感度の関数S(λ)、S(λ)及びS(λ)の各々を、それぞれ行ベクトルS、S、Sとし、入射される光の分光分布の関数L(λ)を列ベクトルLとすることにより、(2)式を以下に示す(3)式として近似して表す。
Figure JPOXMLDOC01-appb-M000003
 
 分光感度の行ベクトルS、S及びSの各々の推定においては、既知の入射光の分光分布の列ベクトルLと、この入射光を撮像部101で撮像した際におけるRAWデータから得られるRGBの各々の色成分の信号値c、c、cそれぞれの組み合わせを、所定数取得する。この所定数は、そして、行ベクトルS、S及びS(各色成分の分光感度)の各々は、一般的に、例えば、上記(3)式において、行ベクトルS、S及びS各々両辺に右からLの逆行列をかける等の演算により推定が行なわれる。
 一方、本実施形態において、すでに述べたように、色校正用ホログラム302から入射される回折光は、単一波長の光で近似できる狭帯域の回折光分光分布を有している。すなわち、撮像部101に入射される回折光は、単一波長の光であるため、ある一つの波長λiのみが光の強度を有する回折光分光分布となっている。この結果、(3)式においては、列ベクトルLの各成分において、回折光の波長に対応する一つの波長λiの成分のみで正の数値(光の強度)を示すことになる。そして、列ベクトルLにおいて、上記波長λi以外の成分における波長λは、回折光分光分布に存在しないために全て「0」の数値となる。
 このように、列ベクトルLのi行目の成分のみが正の数値となることにより、(3)式においては、右辺が、行ベクトルS、S、Sの各々のi列目(波長λiに対応)の成分Si、Si、Siそれぞれと、列ベクトルLのi行目の成分の波長λiの数値Li(波長λiの回折光の強度の数値)との積、すなわちSi×Li、Si×Li、Si×Liを並べた列ベクトルとなる。
 したがって、数値Liにより、行ベクトルの信号値c、c、cの各々の波長λiにおける数値を除算することにより、RGB成分の各々の波長λiにおける分光感度を得ることができる。すなわち、波長λiにおいて入力した回折光の信号値c、c、cの各々を、波長λiの回折光の強度を示す数値Liにより除算することにより、RGB成分の各々の波長λiにおける分光感度を得ることができる。ここで、波長λiの分光感度Si,Si,Siの各々は、それぞれc/Li,c/Li,c/Liで求められる。
 そして、取得した所定数の様々な波長の回折光を用い、回折光の波長λi毎に、回折光の信号値c、c、cの各々を、波長λiの回折光の強度の数値Li(強度Liともいう)により除算し、波長λi毎に離散値としての分光感度Si,Si,Siそれぞれを求める。この所定の間隔(例えば4nm)毎に求めた離散値である分光感度Si,Si,Siにより、関数のフィッティング処理などを行ない、その波長λi間における信号値を求めて補間することにより、分光感度の関数S(λ)、S(λ)及びS(λ)の各々を推定する。ここで、回折光の強度Liは、光源の放射光の分光分布における波長λiの強度に対して、色校正用ホログラム302の波長λiにおける回折効率(回折効率特性)を乗じて算出された数値である。
 上述したように、分光感度推定部107は、画像データ記憶部110に記憶されている分光感度推定用撮像画像データテーブルを参照し、順次、撮像画像データアドレスと回折光分光分布を読み出す。そして、分光感度推定部107は、撮像画像データアドレスにより、画像データ記憶部110から撮像画像データを読み出し、この撮像画像における色校正用ホログラム302の撮像されている画素位置を座標変換式により求める。
 分光感度推定部107は、色校正用ホログラム302に対応する画素からRGBの各々の色成分の信号値(例えば(3)式のc、c、cに相当)を求める。
 そして、分光感度推定部107は、順次、RGB分光感度推定用撮像画像データテーブルから読み出した波長λi毎に、回折光分光分布における波長λiの回折光の強度Liにより、RGBの各々の色成分の波長λiの信号値を除算し、RGBそれぞれの色成分の分光感度を求める。言い換えれば、分光感度推定部107は、ある波長の回折光の回折光分光分布と、当該波長の回折光の撮像画像データにおける信号値とから、当該波長の回折光における分光感度を求める。分光感度推定部107は、分光感度推定用撮像画像データテーブルにおける全ての撮像画像データに対する分光感度を求める処理が終了すると、波長λi間における信号値を補間し、生成される分光感度の関数S(λ)、S(λ)及びS(λ)の各々を、画像データ記憶部110に対して書き込んで記憶させる。
 色校正部108は、分光感度推定部107が推定した撮像部101の分光感度を用いて、撮像部101で撮像した撮像画像データの色を、他の標準的な撮像装置で撮像した撮像画像データの色に合うように画像の色の校正を行う。すなわち、色校正部108は、撮像部101で撮像した撮像画像データの、撮像部101と異なる標準的な撮像装置で撮像した撮像画像データに対する色の異なりを校正する。
 本実施形態においては、分光感度推定部107が推定した分光感度S1を持つ撮像部101で撮像したRAWデータをデモザイク処理のみで変換した撮像画像データP1を、撮像部101と異なる(例えば、標準的な)分光感度S2を持つ撮像装置で撮像したRAWデータをデモザイク処理のみで変換した撮像画像データP2へと色変換する処理、すなわち分光感度S1と分光感度S2が既知の状態で、撮像画像データP1の信号値から撮像画像データP2の信号値に色変換を行うことを色校正と定義する。すなわち、分光感度S1が、画像データ記憶部110に記憶されている分光感度の関数S(λ)、S(λ)及びS(λ)の各々であり、分光感度S2が、標準的な撮像装置のRGBの各々の色成分の分光感度の関数である。なお、標準的な撮像装置における分光感度の関数(分光感度S2)は、色校正装置1の内部または外部の記憶部(図示せず)に記憶されていてもよいよいし、画像データ記憶部110に記憶されていてもよい。
 上述した撮像画像データP1を撮像画像データP2とする色校正は、分光感度S1の撮像部101により撮像した被写体の撮像画像データP1におけるRGBの各々の信号値が、分光感度S2の撮像装置で撮像した場合(撮像画像データP2の場合)に、どのようなRGBの各々の信号値となるかを推定する処理である。例えば、撮像画像データP1及び撮像画像データP2の各々における被写体の同一の1画素に注目し、その1画素におけるRGBの各々の色成分の信号値を、信号値C1、信号値C2それぞれとする。そして、被写体のその1画素における回折光分光分布をLsとした場合、分光感度S1、分光感度S2から、信号値C1及び信号値C2は以下の(4)式により表される。信号値C1及び信号値C2の各々は、それぞれRGBの色成分毎の信号値である。
 
 すなわち、(4)式においては、信号値C1は回折光分光分布における光強度Lsに分光感度S1を乗じた数値であり、信号値C2は分光分布における光強度Lsに分光感度S2を乗じた数値であることが示されている。
 すでに述べたように、撮像画像データP1から撮像画像データP2への色変換は、撮像画像データにおける全ての画素のRGBの色成分の信号値C1の各々を、信号値C2それぞれへの変換を行うことと等価である。
 例えば、分光感度S1の擬似逆行列をS1とし、上記(4)式の2つの方程式から分光分布の光強度Lsを消去することにより、以下に示す(5)式が成り立つ。
Figure JPOXMLDOC01-appb-M000005
 
 上記(5)式に示されるように、撮像画像データP1におけるRGBの色成分毎の信号値C1と、撮像画像データP2におけるRGBの色成分毎の信号値C2との関係が既知の分光感度S1及び分光感度S2の各々により表され、撮像画像データP1の信号値C1から撮像画像データP2の信号値C2への変換が可能となる。これにより、撮像画像データP1から撮像画像データP2への各画素における色変換が容易に行える。
 表示部109は、例えば、液晶ディスプレイであり、自身の表示画面に対して撮像した撮像画像データP1の画像、あるいは推定した分光感度の関数を示すグラフなどを表示する。
 画像データ記憶部110には、すでに説明したように、撮像画像データ、校正用撮像画像データテーブル及び分光感度推定用撮像画像データテーブルの各々が書き込まれて記憶されている。
 また、撮像制御部102は、撮像時において、色校正用ホログラム302を撮像する際の観察角度が予め設定された角度範囲に入っているか否かの判定を行う。ここで、角度範囲とは、色校正用ホログラム302において、異なる観察角度によって、それぞれ異なる回折光を観察することができる角度の範囲を示している。この角度範囲に観察角度が入っていない場合、対応する回折光が撮像できず、分光感度推定に用いることができない。
 このとき、撮像制御部102は、撮像部101の撮像方向である観察角度を、観察角度推定部105に推定させる。そして、撮像制御部102は、観察角度推定部105が推定した観察角度が角度範囲に入っている場合に撮像処理における角度条件を満たし、一方、推定された観察角度が角度範囲に入っていない場合に撮像処理における角度条件を満たさないとする表示を表示部109の表示画面に表示し、ユーザに対して撮像部101の観察角度を角度範囲内の観察角度に調整することを促す。
 また、撮像制御部102は、撮像部101が撮像する際に、観察角度推定及び回折光の色の取得が可能な品質を有する撮像画像データを撮像する撮像条件を満足しているか否かの判定を行う。撮像条件として、撮像部101における焦点距離が、座標変換式を作成した際に用いられた焦点距離と同様か否かを検出する。そして、撮像制御部102は、現在設定されている焦点距離が座標変換式を作成した際に用いた焦点距離と同様の場合に撮像処理における撮像条件を満たし、一方、現在設定されている焦点距離が座標変換式を作成した際に用いた焦点距離と異なっている場合に撮像処理における撮像条件を満たさないとする表示を表示部109の表示画面に表示し、ユーザに対して焦点距離を調整することを促す。また、撮像条件における露光条件に、照明の有無あるいは照明の強度を必要に応じて加える構成としても良い。
 また、撮像制御部102は、撮像条件として、撮像部101における露光条件を設定する際、輝度ヒストグラムを生成する。この輝度ヒストグラムは、撮像画像データにおける画素の階調度の分布を示している。そして、撮像制御部102は、この輝度ヒストグラムを用いて、撮像画像データにおける階調度の分布が高階調度側あるいは低階調度側に偏っていないか否かの判定を行う。例えば、輝度ヒストグラムにおける階調度の分布が低階調度側に偏っている場合、すなわち、階調度が「0」から「255」の256段階で表現されており、撮像画像データにおける階調度「0」近傍の画素が多い場合、撮像画像データに黒つぶれが発生して回折光の色の取得が行えなくなる。一方、輝度ヒストグラムにおける階調度の分布が高階調度側に偏っている場合、すなわち撮像画像データにおける階調度「255」近傍の画素が多い場合、撮像画像データに白飛びが発生して回折光の色の取得が行えなくなる。
 このため、輝度ヒストグラムの分布が、階調度が「0」から「255」の範囲の中央近傍に存在するように、露光条件を設定する必要がある。
 撮像制御部102は、輝度ヒストグラムの階調度の分布に基づき、照明の調整が必要か否かの判定を行う。撮像制御部102は、黒つぶれが発生することが推定され、輝度ヒストグラムの分布を高階調度側にシフトさせる照明の調整が必要な場合、露光制御部103に対して照明部104の撮像時における色校正用ホログラム302の照明を所定の強度で行わせる(例えばフラッシュ光を撮像方向に照射させる)。また、撮像制御部102は、色校正装置1が露光制御部103及び照明部104を有していない場合、ユーザに対して必要な光強度の照明を色校正用ホログラム302に対して照射することを促す表示を表示部109の表示画面に表示する。
 一方、撮像制御部102は、白飛びが発生することが推定され、輝度ヒストグラムの分布を低階調度側にシフトさせる照明の調整が必要な場合、露光制御部103に対して照明部104の撮像時における色校正用ホログラム302の照明を行わせないあるいは所定の強度で行わせる。また、撮像制御部102は、ユーザに対して必要な光強度の照明を、色校正用ホログラム302に対して照射するため、現在の色校正用ホログラム302周囲の照明の強度を低下させることを促す表示を表示部109の表示画面に表示する。
 上述の処理において、輝度ヒストグラムの分布状態と、分布状態に対応する露光条件や照明の強度などの制御条件とを記載した露光制御テーブルを作成し、画像データ記憶部110に対して予め書き込んでおく構成としても良い。この場合、撮像制御部102は、撮像する撮像画像データの輝度ヒストグラムのパターンに類似する輝度ヒストグラムを画像データ記憶部110における露光制御テーブルから検索し、撮像する撮像画像データの露光条件や照明の強度などの制御条件の情報を読み出し、この制御条件を上述したように表示部109の表示画面に表示する。
 また、露光制御部103に対して照度センサを設け、この照度センサにより測定される照度により、露光条件や照明の照度を設定するようにしても良い。ここで、照度と、照度に対応する露光条件や照明の強度などの制御条件とを記載した露光制御テーブルを作成し、画像データ記憶部110に対して予め書き込んでおく構成としても良い。この場合、撮像制御部102は、撮像画像データを撮像する際の照度に対応させて、画像データ記憶部110における露光制御テーブルから検索し、撮像する撮像画像データの露光条件や照明の強度などの制御条件の情報を読み出し、この制御条件を上述したように表示部109の表示画面に表示する。
 次に、図9は、第1の実施形態の色校正システムにおけるホログラム(色校正用ホログラム302)を用いた撮像装置の色校正の動作例を示すフローチャートである。ユーザが例えばパーソナルコンピュータにおいて色校正のアプリケーションを起動すると、このパーソナルコンピュータのメインメモリ上に色校正システムの各部の機能が展開される。そして、撮像部101を動画モードで起動し、撮像方向にある撮像対象の撮像を開始する。
 以下の撮像画像データは、撮像部101が動画として撮像するフレーム単位の画像を示している。
 ステップS11:
 撮像制御部102は、撮像画像データにおける色校正用ホログラム302の撮像位置を抽出する。すなわち、撮像制御部102は、撮像部101の撮像範囲内におけるクレジットカード300の形状を得る。そして、撮像制御部102は、得られたクレジットカード300の形状と、予め記憶されているクレジットカード300の3次元形状とを比較し、撮像部101の撮像範囲内における色校正用ホログラム302の領域を抽出する。このとき、撮像制御部102は、撮像方向の撮像画像とともに、クレジットカード300の画像を入れる画像枠を表示部109に表示し、ある程度の撮像位置及び撮像角度にてユーザがクレジットカード300を撮像するように促すようにしても良い。
 また、撮像制御部102は、色校正用ホログラム302の撮像方向、すなわち観察角度の推定処理を観察角度推定部105に行わせる。これにより、観察角度推定部105は、撮像部101の撮像範囲における撮像画像データから得られるクレジットカード300の形状と、予め記憶されている3次元座標系におけるクレジットカード300の3次元形状とを比較することにより、色校正用ホログラム302の観察位置及び観察角度を推定する。ここで、観察角度推定部105は、上記比較により、撮像部101がクレジットカード300を撮像する撮像位置及び撮像方向を求める。そして、観察角度推定部105は、3次元座標系におけるクレジットカード300の色校正用ホログラム302が添付されている面の法線と、撮像部101の撮像方向とのなす角度を観察角度として求め、観察位置とともに撮像制御部102に対して出力する。
 ステップS12:
 撮像制御部102は、観察角度推定部105から入力される撮像部101によるホログラムの観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っているか否かの判定を行う。
 このとき、撮像制御部102は、撮像部101による色校正用ホログラム302の観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っている場合、処理をステップS14へ進める。
 一方、撮像制御部102は、撮像部101による色校正用ホログラム302の観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っていない場合、処理をステップS13へ進める。
 また、撮像制御部102は、設定観察位置及び設定観察角度の判定に加えて焦点距離及び露光条件などの撮像条件の全てが、回折光の色取得が可能な撮像画像データが撮像できている条件であるか否かの判定を行うようにしても良い。このとき、撮像制御部102は、回折光の色取得が可能な撮像画像データが撮像できている撮像条件である場合、処理をステップS14へ進める。一方、撮像制御部102は、回折光の色取得が可能な撮像画像データが撮像できている撮像条件でない場合、処理をステップS13へ進める。
 ステップS13:
 撮像制御部102は、観察位置及び観察角度が回折光を撮像する条件を満たしていないことを表示部109に表示し、ユーザに調整を促す。ユーザは、表示部109に表示された指示に従って撮像部101の撮像方向及び位置の調整を行う。また、撮像制御部102は、撮像部101の焦点距離及び露光条件などの撮像条件の調整が必要な場合に表示部109に表示しても良い。その場合、ユーザは109に表示された指示に従って撮像部101の焦点距離及び露光条件などの撮像条件の調整を行う。
 ステップS14:
 回折光分光分布計算部106は、予め与えられた光源400の放射光の分光分布と、同じく予め与えられた色校正用ホログラム302の空間周波数や回折効率といった回折光特性と、観察角度及び観察位置から、回折光分光分布を計算する。
 ステップS15:
 回折光分光分布計算部106は、画像データ記憶部110の所定の領域に対して、撮像部101が撮像している撮像画像データを書き込んで記憶させる。また、回折光分光分布計算部106は、画像データ記憶部110における撮像画像データを書き込んだ領域のアドレスである撮像画像データアドレスと回折光分光分布を画像データ記憶部110の分光感度推定用撮像画像テーブルに対して書き込んで記憶させる。
 ステップS16:
 撮像制御部102は、画像データ記憶部110の分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度推定に十分な種類数であるか判定する。十分な種類数であるかの判定基準は、分光感度推定用撮像画像テーブルに記憶されている波長の種類の数でも良いし、分光感度推定に必要な予め設定された波長における回折光分光分布が全て得られたかどうかでも良い。例えば、撮像制御部102は、可視波長域の波長帯域380nmから780nmまでを4nm毎の間隔で離散化した、100個の波長λのデータが全て得られたか否かなどにより、分光感度の推定に十分な回折光分光分布が取得できたか否かの判定を行なう。
 そして、撮像制御部102は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度の推定に十分な種類数である場合、処理をステップS18に進める。
 一方、撮像制御部102は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度の推定に十分な種類数でない場合、処理をステップS17に進める。
 ステップS17:
 撮像制御部102は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布と異なる回折光を撮像させる処理を行なう。すなわち、撮像制御部102は、観察角度を変更する指示を表示部109に表示し、ユーザに対してクレジットカード300の撮像を行なう観察角度の変更を促す。そして、撮像制御部102は、処理をステップS11に進める。
 ステップS18:
 分光感度推定部107は、画像データ記憶部110の分光感度推定用撮像画像テーブルに記憶されている撮像画像データアドレスと回折光分光分布を全て読み出す。また、分光感度推定部107は、撮像画像データアドレスにより撮像画像データを画像データ記憶部110から読み出す。
 そして、分光感度推定部107は、画像データ記憶部110から読み出した撮像画像データにおいて、色校正用ホログラム302の画素位置を、座標変換式により抽出する。分光感度推定部107は、色校正用ホログラム302の画素から回折光のRGBの各々の色成分の信号値を取得し、それぞれ対応する波長の回折光分光分布と組み合わせて撮像部101の分光感度を推定する。
 ステップS19:
 色校正部108は、分光感度推定部107が推定した撮像部101の分光感度に基づき、撮像部101が撮像した撮像画像データP1を、標準的な撮像装置で撮像した撮像画像データP2の色に合うように色校正を行う。
 そして、図示しない真贋判定部は、標準的な撮像装置で撮像対象(真贋判定用ホログラム301)を撮像した際の回折光の参照パターン(真の回折光のパターン)を、画像データ記憶部110から、撮像画像データを撮像した際の観察角度に対応して読み出す。
 また、上記真贋判定部は、すでに説明した分光感度推定部107が推定した分光感度により、撮像画像データにおける真贋判定用ホログラム301の画素領域のRGBの各々の色成分の色校正を行なう。真贋判定部は、色校正を行なった撮像画像データの回折光のパターンと、読み出した上記参照パターンとの類似度を比較し、類似度が所定の閾値以上の場合に真と判定し、一方、類似度が所定の閾未満の場合に偽と判定する。上記参照パターンは、標準的な撮像装置で撮像した色によりパターンが形成されている。
 上述した構成により、本実施形態によれば、マクベスカラーチャートなどのカラーチャートを用いた場合と異なり、周囲の環境光の影響を受けずに、画像撮像装置間の色補正を行なうハードウェア特性のプロファイル(分光感度関数)を生成することができる。これにより、本実施形態によれば、クレジットカード300の表面に偽造防止媒体として設けられた真贋判定用ホログラム301の回折光の色を、標準的な撮像装置により撮像した場合の色に変換することができ、撮像部101の光学系の特性の影響を受けることが無くなるため、クレジットカード300の真贋判定の精度を向上させることができる。
 一般的に、反射型のホログラムとしては、金属箔によって回折光を反射するレインボーホログラムやホログラムそのものの回折によって反射させるリップマンホログラムがある。フルカラーのホログラムは、表面の回折格子に入射した光が回折を起こして色を発色するため、放射光がある程度の分光分布を持った照明であれば、狭帯域の回折光分光分布を持った回折光を出射することが可能である。よって、設計によっては反射する光を波長分布レベルで調整し、任意の色彩(RGBの各々の色成分の回折光分光分布)を表現することができる(例えば、日本国特開平8-261827号公報、日本国特表平8-500192号公報及び特開平3-280078号公報を参照)。
 また、本実施形態によれば、クレジットカード300を撮像部101により、動画で取得することにより、真贋判定用ホログラム301及び色校正用ホログラム302の各々の回折光を取得することができる。このため、ユーザが全く意識をせずに、色校正装置1は、色の校正を行なうための分光感度を色校正用ホログラム302により求める。そして、色校正装置1は、求めた分光感度に基づいて、真贋判定用ホログラム301の回折光の撮像画像データを、標準的な撮像装置で撮像した際の色に校正する。そして、真贋判定部は、校正された真贋判定用ホログラム301の回折光の撮像画像データと、同一の観察角度において標準的な撮像装置で撮像した際の回折光の参照パターンとを比較し、その類似度により真贋判定を行なうため、精度の高い真贋判定を行なうことが可能となる。
 また、本実施形態によれば、回折光のパターンの回折方向、すなわち観察角度をホログラムの空間周波数により、環境光の影響を避けるようにコントロールできる。さらに、本実施形態によれば、ホログラムの回折光が単一波長の光であることから、撮像部101の撮像素子を含む光学系の特性による分光感度を正確に推定することが可能となる。
 また、マクベスカラーチャートなどの一般的なカラーチャートは、表面が拡散反射特性を持っているため、環境光を含む全ての光源の影響を受ける。そのため、従来は遮蔽物等で各色票への光の当たり方が異ならないように注意する必要がある。また、光源の分光分布によっては条件等色現象が起こるため、カメラの色特性を正確に把握するために様々な分光反射率の色票を多数、例えば24種類を並列に並べる必要があり、サイズが大きくなる。さらに、鏡面反射を避けるために粉体による塗装がされていることから汚れやすい。
 しかしながら、本実施形態によれば、マクベスカラーチャートと比べ、撮像対象であるホログラムに保護フィルムを設けることができるため汚れに強く、回折格子からなる一つの領域で様々な色の回折光を取得可能なためサイズを小さくできる。
 また、本実施形態においては、クレジットカード300に対し、真贋判定用ホログラム301及び色校正用ホログラム302の各々を、それぞれ独立したホログラムとして形成する構成例を示した。
 しかしながら、一個のホログラムを、色校正に用いる回折光のパターンと真贋判定に用いる回折光のパターンとの各々を出射する色校正真贋判定ホログラムとして構成しても良い。すなわち、回折光のパターンが出射される観察角度範囲が、予め、色校正用の回折光のパターンの角度範囲と、真贋判定用の回折光のパターンの角度範囲との各々に設定されている。これにより、色校正真贋判定ホログラムにおける上記観察角度範囲内で撮像画像データを撮像することにより、色校正に用いる分光感度を求める回折光のパターンと、真贋判定に用いる回折光のパターンとの各々は、一括して得られる。
<第2の実施形態>
 以下、本発明の第2の実施形態について、図面を参照して説明する。
 図10は、第2の実施形態による色校正システムの構成例を示すブロック図である。図10において、色校正システム5Aは、色校正装置1A及び画像撮像装置3を備えている。色校正装置1Aは、撮像制御部102、観察角度推定部105、回折光分光分布計算部106、分光感度推定部107、色校正部108、表示部109及び画像データ記憶部110を備えている。また、画像撮像装置3は、撮像部101、露光制御部103、照明部104を備えている。本実施形態においては、色校正装置1Aと色校正用ホログラム302とにより、色校正システム5Aが構成される。図10において、第1の実施形態と同様の構成については同一の符号を付してある。
 本実施形態においては、色校正システム5Aが第1の実施形態における撮像及び露光の機能を画像撮像装置3として、色校正装置1Aから分離した構成となっている。これにより、汎用のデジタルカメラあるいは携帯端末(携帯電話やスマートフォン含む)などの色校正対象となる撮像装置を外部に接続した装置からコントロールでき、複数の撮像装置を取り扱うことも可能となる。
 また、色校正装置1Aはクラウド構成として、図示してはいないが、デジタルカメラあるいは携帯端末とインターネットなどの情報通信回線を用いて通信できるようにしてもよい。そして、色校正装置1Aは、すでに述べた第1の実施形態と同様に、デジタルカメラあるいは携帯端末から送信される撮像画像データを用いて、当該撮像装置の色校正処理を行う構成としてもよい。
 この第2の実施形態においても、上述した第1の実施形態と同様の作用効果を得ることができる。
<第3の実施形態>
 以下、本発明の第3の実施形態について、図面を参照して説明する。本実施形態の説明において、前記第1実施形態と同様の構成要素に対しては同一の符号を付し、その説明を省略する。図11は、第3の実施形態による色校正装置を備える色校正システムの構成例を示すブロック図である。図11において、色校正装置1Bは、撮像部101、撮像制御部102、露光制御部103、照明部104、観察角度推定部105、回折光分光分布計算部106、撮像動作指示部111、分光感度推定部107、色校正部108、表示部109及び画像データ記憶部110を備えている。色校正装置1Bと色校正用ホログラム302とにより、色校正システム5Bが構成される。
 図11に示すように、撮像動作指示部111は、回折光分光分布計算部106が画像データ記憶部110に記憶した回折光分光分布の分光波長(単に、回折光分光分布と称する場合もある)を全て参照し、それらが撮像部101の分光感度を推定するために十分であるか否かの判定を行う。すなわち、撮像動作指示部111は、予め設定されている、分光感度推定を必要な精度で行うために必要な複数の設定回折光分光分布に各々対応する回折光分光分布が全て取得されたか否かの判定を行う。
 図12は、画像データ記憶部110に記憶されている回折光分光分布取得完了テーブルの構成例を示す図である。
 図12に示す回折光分光分布取得完了テーブルは、設定回折光分光分布の欄と、この設定回折光分光分布に対応した完了フラグの欄とが設けられている。設定回折光分光分布は、分光感度推定を必要な精度で行うために必要な周期の設定回折光分光分布の分光波長が記載されている。例えば、設定回折光分光分布は、380nmから780nmを、10nmの周期で分割した、380nm、390nm、…、770nm、780nmの分光波長として設定されている。完了フラグは、設定回折光分光分布の分光波長と一致する回折光分光分布の分光波長が撮像画像から取得された場合、取得された設定回折光分光分布の分光波長に対応する欄に書き込まれるフラグである。例えば、完了フラグは、取得された場合「1」であり、取得されていない場合「0」である。ここで、回折光分光分布取得完了テーブルにおいては、初期状態として全ての完了フラグが「0」とされている。
 図11に戻り、撮像動作指示部111は、画像データ記憶部110の分光感度推定用撮像画像データテーブルにおける回折光分光分布を参照し、回折光分光分布取得完了テーブルの設定回折光分光分布に対応する回折光分光分布が取得されているか否かの検出(すなわち、設定回折光分光分布の分光波長に対応する分光波長の回折光分光分布が、分光感度推定用撮像画像データテーブルに記憶されているか否かの検出)を行う。
 そして、撮像動作指示部111は、設定回折光分光分布の分光波長に対応する分光波長の回折光分光分布が取得されていることを検出すると、回折光分光分布取得完了テーブルにおけるこの設定回折光分光分布の分光波長に対応する完了フラグの欄に対して完了フラグを立てる、すなわち「0」から「1」にフラグを書き換える。
 また、撮像動作指示部111は、設定回折光分光分布の分光波長と回折光分光分布の分光波長とが一致しているか否かの判定を行う際、設定回折光分光分布の分光波長を中心とした誤差範囲内、例えば390nm±2nmに回折光分光分布の分光波長が含まれるか否かにより行う。このとき、撮像動作指示部111は、回折光分光分布の分光波長が設定回折光分光分布の分光波長を中心とした誤差範囲内に含まれる場合、設定回折光分光分布の分光波長と回折光分光分布の分光波長とが一致していると判定する。一方、撮像動作指示部111は、回折光分光分布の分光波長が設定回折光分光分布の分光波長を中心とした誤差範囲内に含まれない場合、設定回折光分光分布の分光波長と回折光分光分布の分光波長とが一致していないと判定する。また、撮像動作指示部111は、回折光分光分布取得完了テーブルの全ての完了フラグが「1」になっているか否かにより、分光感度の推定が行えるか否かの判定を行う。そして、撮像動作指示部111は、分光感度の推定が行えないと判定した場合、表示部109に対して、取得されていない回折光分光分布の分光波長の取得を促す通知を表示する。
 図13は、撮像動作指示部111が表示部109の表示画面に表示する回折光分光分布の取得を促す通知の一例を示す図である。図13において、撮像動作指示部111により、表示部109の表示画面109Sには、クレジットカード300の画像を入れる画像枠109_1が表示される。また、表示画面109Sには、撮像画像の撮像方向を移動させる矢印109_2U及び矢印109_2Dの各々が表示される。例えば、回折光分光分布の必要な取得範囲において、現在の撮像方向に対応する観察角度に対し、より角度の小さい観察角度の範囲の回折光分光分布の取得状況が不十分である場合、現在の撮像方向(観察位置)を上側に(クレジットカード300から離れる方向に)移動させるため、矢印109_2Uを点滅させる誘導表示を行ない、一方、より大きい観察角度の範囲の回折光分光分布の取得状況が不十分である場合、撮像画像の撮像方向(観察位置)を下側に(クレジットカード300に近づく方向に)移動させるため、矢印109_Dを点滅させる誘導表示を行なう。
 このとき、撮像動作指示部111は、取得できていない回折光分光分布を回折光分光分布取得完了テーブルから抽出し、この回折光分光分布に対応する観察角度を求め、現在の観察角度に対して、より大きい側の回折光分光分布が充足されていないか、あるいはより小さい側の回折光分光分布が充足されていないかの判定を行なう。
 また、例えば、撮像画像を撮像する際における観察角度の変化速度が速く、必要な波長周期で回折光分光分布が取得できない場合、表示領域109_3には、撮像画像を撮像する際における観察角度の変化速度を遅くするようにユーザに促すために、「撮像する方向をゆっくり変えて、撮像を再度行なってください」等との文字列の画像が、撮像動作指示部111により表示される。
 図14は、撮像動作指示部111が表示部109の表示画面に表示する回折光分光分布の取得を促す通知の他の例を示す図である。図14において、撮像動作指示部111により、表示部109の表示画面109Sには、図13と同様に、クレジットカード300の画像を入れる画像枠109_1が表示される。表示領域109_3には、図13と同様に、撮像画像の再度の撮像を促す画像が表示される。取得観察角度確認領域109_4は、取得されている回折光分光分布の分光波長に対応する観察角度と、取得されていない回折光分光分布の分光波長に対応する観察角度とを示している。図14においては、たとえば、取得する必要のある回折光分光分布の分光波長に対応する観察角度の範囲において、取得されていない回折光分光分布の分光波長に対応する観察角度を示す位置を、点滅して表示させてフェイル領域109_4Fとして示している。
 このとき、撮像動作指示部111は、取得できていない回折光分光分布の分光波長を回折光分光分布取得完了テーブルから抽出し、この回折光分光分布の分光波長に対応する観察角度を求める。そして、撮像動作指示部111は、表示画面109Sの表示領域109_3において、求めた取得できていない回折光分光分布の分光波長の観察角度に対応する位置を点滅表示させて、フェイル領域109_4Fとして表示する。
 ここで、取得観察角度確認領域109_4に対応して、現在の観察角度、すなわち撮像画像の撮像方向を示す矢印109_5が表示されている。これにより、ユーザには、現在の撮像方向に対していずれの方向に取得すべき回折光分光分布の分光波長に対応する観察角度が存在するかが確認できる。ここで、例えば、表示領域109_3には、撮像画像を再撮像させることをユーザに促すために、「矢印の表示が点滅表示している部分をなぞるように、点滅しなくなるまで、撮像する方向をゆっくり変えて、撮像を再度行なってください」等との文字列の画像が、撮像動作指示部111により表示される。
 また、上述の構成において、点滅表示ではなく、フェイル領域109_4Fの部分の色を、取得観察角度確認領域109_4の他の部分と異なる色で表示するようにしてもよい。例えば、フェイル領域109_4Fの部分を赤色、取得観察角度確認領域109_4の他の部分(回折光分光分布の分光波長が取得されている観察角度の部分)を緑色で表示する。このとき、例えば、表示領域109_3には、撮像画像を再撮像させることをユーザに促すために、「矢印の表示が赤の表示部分をなぞるように、全てが緑色に変わるまで、撮像する方向をゆっくり変えて、撮像を再度行なってください」との文字列の画像が、撮像動作指示部111により表示される。
 分光感度推定部107は、撮像動作指示部111から、取得が必要な回折光分光分布が全て取得できたことを示す取得信号が供給(入力)されると、回折光分光分布計算部106が画像データ記憶部110に記録した回折光分光分布と、この回折光分光感度に対応する撮像画像データとの各々を用い、撮像部101の分光感度の推定を行なう。
 次に、図15は、第3の実施形態の色校正システムにおけるホログラム(色校正用ホログラム302)を用いた撮像装置の色校正の動作例を示すフローチャートである。ユーザが例えばパーソナルコンピュータにおいて色校正のアプリケーションを起動すると、このパーソナルコンピュータのメインメモリ上に色校正システムの各部の機能が展開される。
 そして、撮像部101を動画モードで起動し、撮像方向にある撮像対象の撮像を開始する。以下の撮像画像データは、撮像部101が動画として撮像するフレーム単位の画像を示している。
 ステップS21:
 撮像制御部102は、撮像画像データにおける色校正用ホログラム302の撮像位置を抽出する。すなわち、撮像制御部102は、撮像部101の撮像範囲内におけるクレジットカード300の形状を得る。そして、撮像制御部102は、得られたクレジットカード300の形状と、予め記憶されているクレジットカード300の3次元形状とを比較し、撮像部101の撮像範囲内における色校正用ホログラム302の領域を抽出する。このとき、撮像制御部102は、撮像方向の撮像画像とともに、クレジットカード300の画像を入れる画像枠を表示部109に表示し、ある程度の撮像位置及び撮像角度にてユーザがクレジットカード300を撮像するように促すようにしても良い。
 また、撮像制御部102は、色校正用ホログラム302の撮像方向、すなわち観察角度の推定処理を観察角度推定部105に行わせる。これにより、観察角度推定部105は、撮像部101の撮像範囲における撮像画像データから得られるクレジットカード300の形状と、予め記憶されている3次元座標系におけるクレジットカード300の3次元形状とを比較することにより、色校正用ホログラム302の観察位置及び観察角度を推定する。ここで、観察角度推定部105は、上記比較により、撮像部101がクレジットカード300を撮像する撮像位置及び撮像方向を求める。そして、観察角度推定部105は、3次元座標系におけるクレジットカード300の色校正用ホログラム302が添付されている面の法線と、撮像部101の撮像方向とのなす角度を観察角度として求め、観察位置とともに撮像制御部102に対して出力する。
 ステップS22:
 撮像制御部102は、観察角度推定部105から入力される撮像部101によるホログラムの観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っているか否かの判定を行う。
 このとき、撮像制御部102は、撮像部101による色校正用ホログラム302の観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っている場合、処理をステップS24へ進める。
 一方、撮像制御部102は、撮像部101による色校正用ホログラム302の観察位置及び観察角度が、予め設定されている設定観察位置及び設定観察角度のそれぞれの範囲に入っていない場合、処理をステップS23へ進める。
 また、撮像制御部102は、設定観察位置及び設定観察角度の判定に加えて焦点距離及び露光条件などの撮像条件の全てが、回折光の色取得が可能な撮像画像データが撮像できている条件であるか否かの判定を行うようにしても良い。このとき、撮像制御部102は、回折光の色取得が可能な撮像画像データが撮像できている撮像条件である場合、処理をステップS24へ進める。一方、撮像制御部102は、回折光の色取得が可能な撮像画像データが撮像できている撮像条件でない場合、処理をステップS23へ進める。
 ステップS23:
 撮像制御部102は、観察位置及び観察角度が回折光を撮像する条件を満たしていないことを表示部109に表示し、ユーザに調整を促す。ユーザは、表示部109に表示された指示に従って撮像部101の撮像方向及び位置の調整を行う。また、撮像制御部102は、撮像部101の焦点距離及び露光条件などの撮像条件の調整が必要な場合に表示部109に表示しても良い。その場合、ユーザは108に表示された指示に従って撮像部101の焦点距離及び露光条件などの撮像条件の調整を行う。
 ステップS24:
 回折光分光分布計算部106は、予め与えられた光源400の放射光の分光分布と、同じく予め与えられた色校正用ホログラム302の空間周波数や回折効率といった回折光特性と、観察角度及び観察位置から、回折光分光分布を計算する。
 ステップS25:
 回折光分光分布計算部106は、画像データ記憶部110の所定の領域に対して、撮像部101が撮像している撮像画像データを書き込んで記憶させる。また、回折光分光分布計算部106は、画像データ記憶部110における撮像画像データを書き込んだ領域のアドレスである撮像画像データアドレスと回折光分光分布を画像データ記憶部110の分光感度推定用撮像画像テーブルに対して書き込んで記憶させる。
 撮像動作指示部111は、画像データ記憶部110の分光感度推定用撮像画像テーブルを参照して、取得された回折光分光分布の分光波長を抽出する。そして、撮像動作指示部111は、画像データ記憶部110の回折光分光分布取得完了テーブルを参照し、抽出した回折光分光分布の分光波長と一致する設定回折光分光分布の分光波長を検出し、その完了フラグ欄のフラグを立てる(すなわち、「0」から「1」に変更する)。
 ステップS26:
 撮像動作指示部111は、画像データ記憶部110の回折光分光分布取得完了テーブルを参照し、予め設定されている設定回折光分光分布の分光波長の完了フラグ欄の全てに、「1」が記載されているか否かの判定、すなわち、分光感度の推定に対して十分な回折光分光分布が取得されたか否かの判定を行なう。ここで、撮像動作指示部111は、例えば、380nmから780nmを、10nmの周期で分割して離散化された、380nm、390nm、…、770nm、780nmの分光波長として設定された設定回折光分光分布の全ての分光波長の各々と一致する分光波長それぞれが回折光分光分布に含まれている否かの判定を行なう。すなわち、撮像動作指示部111は、取得された回折光分光分布が予め設定された設定回折光分光分布の分光波長の全てを含んでいるか否かの判定を行なう。
 上述したように、撮像動作指示部111は、画像データ記憶部110の分光感度推定用撮像画像テーブル及び回折光分光分布取得完了テーブルの各々を参照して、設定回折光分光分布の分光波長の各々が取得した回折光分光分布の分光波長に含まれているか否かにより、分光感度の推定に十分な回折光分光分布が取得できたか否かの判定を行なう。
 このとき、撮像動作指示部111は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度の推定に必要な、設定回折光分光分布の分光波長の全てを含んでいる場合、処理をステップS27に進める。一方、撮像制御部102は、分光感度推定用撮像画像テーブルに記憶されている回折光分光分布が分光感度の推定に必要な、設定回折光分光分布の分光波長の全てを含んでいない場合、処理をステップS29に進める。
 ステップS27:
 そして、分光感度推定部107は、画像データ記憶部110の分光感度推定用撮像画像テーブルに記憶されている撮像画像データアドレスと回折光分光分布を全て読み出す。また、分光感度推定部107は、撮像画像データアドレスにより撮像画像データを画像データ記憶部110から読み出す。分光感度推定部107は、画像データ記憶部110から読み出した撮像画像データにおいて、色校正用ホログラム302の画素位置を、座標変換式により抽出する。分光感度推定部107は、色校正用ホログラム302の画素から回折光のRGBの各々の色成分の信号値を取得し、それぞれ対応する波長の回折光分光分布と組み合わせて撮像部101の分光感度を推定する。
 ステップS28:
 色校正部108は、分光感度推定部107が推定した撮像部101の分光感度に基づき、撮像部101が撮像した撮像画像データP1を、標準的な撮像装置で撮像した撮像画像データP2の色に合うように色校正を行う。
 ステップS29:
 撮像動作指示部111は、分光感度の推定に十分な回折光分光分布が取得できていない場合、設定回折光分光分布における取得されていない分光波長を取得するため、図13あるいは図14で示した撮像画像の再撮像を促す画像を表示部109の表示画面に対して表示する。
 すなわち、撮像動作指示部111は、観察角度を変更する指示を表示部109に表示し、ユーザに対してクレジットカード300の撮像を行なう観察角度の変更を促す。
 ステップS30:
 ユーザは、表示部109の表示画面に表示された画像に従い、撮像画像の撮像方向を調整、すなわち観察角度の調整を行なう。
 そして、図示しない真贋判定部は、標準的な撮像装置で撮像対象(真贋判定用ホログラム301)を撮像した際の回折光の参照パターン(真の回折光のパターン)を、画像データ記憶部110から、撮像画像データを撮像した際の観察角度に対応して読み出す。
 また、上記真贋判定部は、すでに説明した分光感度推定部107が推定した分光感度により、撮像画像データにおける真贋判定用ホログラム301の画素領域のRGBの各々の色成分の色校正を行なう。真贋判定部は、色校正を行なった撮像画像データの回折光のパターンと、読み出した上記参照パターンとの類似度を比較し、類似度が所定の閾値以上の場合に真と判定し、一方、類似度が所定の閾未満の場合に偽と判定する。上記参照パターンは、標準的な撮像装置で撮像した色によりパターンが形成されている。
 上述した構成により、上述した第1の実施形態と同様の作用効果を得ることができ、さらに本実施形態によれば、ハードウェア特性のプロファイルの校正に用いる回折光分光分布の取得を行なうための撮像方向を、表示画面においてユーザに直感的に指示することにより、校正に用いる設定回折光分光分布の全ての分光波長を含む回折光分光分布を、ユーザに対して簡易な撮像処理を行なわせて取得することができ、色補正を行なうために用いるハードウェア特性のプロファイルの校正を容易に行なうことができる。
 また、本実施形態によれば、ハードウェア特性のプロファイルの校正に用いる回折光分光分布の取得において、校正に不足する分光波長が存在する場合、校正に必要な全てを取得するための撮像画像の撮像の仕方を通知するため、校正に必要な回折光分光波長の全ての分光波長を漏れなく得ることが可能となり、精度の高いハードウェア特性のプロファイルの校正を行なうことができる。
 また、本実施形態によれば、校正に必要であるが取得されていない分光波長の存在を、ユーザにビジュアル的に画像表示して通知するため、意識的にユーザが不足している分光波長を認識して取得する動作を行なうため、校正に必要な回折光分光波長の全ての分光波長を漏れなく得ることが可能となり、精度の高いプロファイルの校正を行なうことができる。
 すなわち、ホログラム(例えば、色校正用ホログラム302)は観察角度によって観察される像または色が変化する特性を有している。このため、特定のパターンや色彩を観察できるよう設計したホログラムであっても、そのパターンや色彩を観察できる角度や位置が限られているため、ユーザがホログラムの特性を把握していない状態でカメラ等の撮像装置で撮像する場合、様々な方向から観察して目的のパターンや色彩が撮像できる状態になった時に撮像する必要があり、ユーザは容易に撮像できない場合がある。
 また、ユーザがホログラムの特性を把握していても、目的のパターンや色彩が現在の観察角度及び観察位置からどのように動かせば観察できるかは、撮像装置と光源、及びホログラムの3次元的な位置関係を正確に把握している必要がある。このため、ホログラムから放射される各分光波長の光を撮像することは難しい。
 すでに述べたように、撮像装置の色校正に対しては、マクベスカラーチャートのように様々な色を撮像する必要がある。したがって、ホログラムから発せられる狭帯域の分光分布を持った反射光によって色校正を行う場合、ユーザは、狙った色、すなわち所定の分光波長の回折光を撮像することは困難である。このため、色校正のために多くの種類のホログラムを用い、それぞれ異なる色の反射光を一度に全て観察しようとする場合、多くのホログラムに対して目的の観察条件を全て満たす3次元位置から、各ホログラムから放射される所定の分光波長の回折光を撮像する必要があり、色校正のための回折光の撮像は非常に困難となる。また、観察角度によって色が変化するホログラムを、観察角度を変えながら様々な色を撮像して色校正する場合においても、仮に色校正に必要な色が全て撮像できていない場合、どの色が撮像できておらず色校正ができないかがユーザには分からないため、撮像装置を様々に動かす必要があり容易に色校正できない場合がある。このため、本実施形態においては、ユーザのホログラムの撮像を容易に行えるように、ハードウェア特性のプロファイルの校正に用いる回折光分光分布の取得をユーザに直感的に指示する構成を用いている。
 上述したように、本実施形態においては、マクベスカラーチャートなどの拡散反射特性を持つ反射物に対して、光の回折現象を利用して発色する反射物としてホログラムを用いている。一般的に反射型のホログラムとしては金属箔によって回折光を反射するレインボーホログラムやホログラムそのものの回折によって反射させるリップマンホログラムがある。フルカラーのホログラムは表面の回折格子に入射した光が回折を起こして色を発色するため、ある程度の分光分布を持った照明であれば、狭帯域の回折光分光分布を持った反射光を返すことが可能である。このため、ホログラムの設計によっては、入射光に対して放射される回折光を波長分布レベルで調整し、任意の色彩(分光波長の光)を再現することができる。
 また、本実施形態においては、予め設定した設定回折光分光分布の分光波長が充足されているか否かの判定により、回折光分光分布が分光感度を推定するために十分であるか否かの判定を行なっていた。
 しかしながら、設定回折光分光分布を設定せずに、回折光分光分布が分光感度を推定するために十分であるか否かを、例えば、画像データ記憶部110の分光感度推定用撮像画像テーブルを参照し、これまでに撮像した回折光分光分布における分光波長が可視波長域内において均一の周期毎に取得できているか否かに判定する構成としても良い。例えば、10nm等で設定された周期で分光波長の領域を設定し、撮像動作指示部111は、各領域内で少なくとも1個以上の該当する分光波長の回折光が取得されていれは、分光感度の推定に十分な回折光分光分布が得られたと判定する。一方、撮像動作指示部111は、得られている回折光分光分布が分光感度の推定に十分でない、つまり回折光が撮像できていない分光波長の領域が存在する場合、その波長領域内の回折光を分光感の度推定に必要な回折光として求める。そして、撮像動作指示部111は、求めた分光波長の回折光を撮像するための観察角度を計算し、すでに述べたように撮像方向を指示することで、分光感の度推定に必要な分光波長の回折光をユーザが撮像できるように誘導する。
<第4の実施形態>
 以下、本発明の第4の実施形態について、図面を参照して説明する。本実施形態の説明において、上記第1~第3の実施形態と同様の構成要素に対しては同一の符号を付し、その説明を省略する。
 図16は、第4の実施形態による色校正システムの構成例を示すブロック図である。図16において、色校正システム5Cは、色校正装置1C及び画像撮像装置3を備えている。色校正装置1Cは、撮像制御部102、観察角度推定部105、回折光分光分布計算部106、撮像動作指示部111、分光感度推定部107、色校正部108、表示部109及び画像データ記憶部110を備えている。また、画像撮像装置3は、撮像部101、露光制御部103、照明部104を備えている。本実施形態においては、色校正装置1Cと色校正用ホログラム302とにより、色校正システム5Cが構成される。図16において、第3の実施形態と同様の構成については同一の符号を付してある。
 本実施形態においては、色校正システム5Cが第3の実施形態における撮像及び露光の機能を画像撮像装置3として、色校正装置1Aから分離した構成となっている。これにより、汎用のデジタルカメラあるいは携帯端末(携帯電話やスマートフォン含む)などの色校正対象となる撮像装置を外部に接続した装置からコントロールでき、複数の撮像装置を取り扱うことも可能となる。
 また、色校正装置1Cはクラウド構成として、図示してはいないが、デジタルカメラあるいは携帯端末とインターネットなどの情報通信回線を用いて通信できるようにしてもよい。そして、色校正装置1Aは、すでに述べた第3の実施形態と同様に、デジタルカメラあるいは携帯端末から送信される撮像画像データを用いて、当該撮像装置の色校正処理を行う構成としてもよい。
 なお、本発明における図1の色校正装置1、図10の色校正装置1A、図11の色校正装置1B及び図16の色校正装置1Cの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより撮像装置間における撮像画像データの色校正の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含む。
 また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWW(World Wide Web)システムも含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc - Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM(Random Access Memory))のように、一定時間プログラムを保持している媒体も含む。
 また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのプログラムであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるプログラム、いわゆる差分ファイル(差分プログラム)であっても良い。
 上記第1~第4の実施形態では、観察角度推定部105が用いられているが、本発明の色校正装置や色校正システムが観察角度推定部105を備えない構成であってもよい。
 観察角度推定部105は、撮像部101が撮像した撮像画像データから観察角度及び観察位置を推定しているが、撮像部101の現在の観察角度及び観察位置をセンサやエンコーダ等の検出機器によって取得可能である場合は、この検出機器が取得した観察角度及び観察位置を用いて、回折光分光分布計算部106が観察角度毎の回折光の分光分布を計算してもよい。
 1,1A,1B,1C 色校正装置
 2,3 画像撮像装置
 101 撮像部(画像撮像装置)
 102 撮像制御部
 103 露光制御部
 104 照明部
 105 観察角度推定部
 106 回折光分光分布計算部
 107 分光感度推定部
 108 色校正部
 109 表示部
 110 画像データ記憶部
 300 クレジットカード
 301 真贋判定用ホログラム(偽造防止媒体、撮像対象)
 302 色校正用ホログラム
 500 ホログラム色校正シート

Claims (18)

  1.  観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正装置であり、
     前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算部と、
     前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定部と、
     推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部と
     を備える色校正装置。
  2.  前記画像撮像装置が前記ホログラムを撮像する観察角度及び観察位置を、当該画像撮像装置が撮像した撮像画像から推定する観察角度推定部をさらに備え、
     前記回折光分光分布計算部が、前記回折光の各々の前記撮像画像から推定した前記観察角度及び前記観察位置を用いて、当該回折光の各々の回折光分光分布を計算する
     請求項1に記載の色校正装置。
  3.  前記分光感度推定部が、
     前記回折光の各々の前記回折光分光分布と、周波数が対応する前記回折光の前記撮像画像それぞれの光強度とから前記画像撮像装置の前記分光感度を推定する
     請求項1または請求項2に記載の色校正装置。
  4.  予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示部をさらに備える請求項1から請求項3のいずれか1項に記載の色校正装置。
  5.  前記撮像動作指示部が、
     前記設定回折光分光分布に対応する回折光分光分布を有する撮像画像が撮像されているか否かの判定を行ない、前記回折光分光分布の撮像画像が撮像されていない場合に、前記回折光分光分布を有する撮像画像の撮像を促す通知を、前記画像撮像装置の表示部に出力する
     請求項4に記載の色校正装置。
  6.  前記撮像動作指示部が、
     前記設定回折光分光分布に対応し且つ得られていない回折光分光分布の撮像画像を撮像する撮像方向を、前記表示部に表示する
     請求項5に記載の色校正装置。
  7.  前記撮像動作指示部が、
     前記設定回折光分光分布に対応する回折光分光分布を有する撮像画像を撮像する際に、前記撮像画像の撮像位置を規定する、前記ホログラムの撮像枠を前記表示部の表示画面に表示する
     請求項5または請求項6に記載の色校正装置。
  8.  観察角度に対応した異なる周波数の回折光を発する色校正用ホログラムと、
     前記色校正用ホログラムからの前記回折光の各々の分光分布を求める分光分布計算部と、
     前記回折光の各々の前記分光分布と、前記回折光それぞれの撮像画像とから、画像撮像装置の分光感度を推定する分光感度推定部と、
     推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正部と
     を備える色校正システム。
  9.  前記色校正用ホログラムが、
     前記色の異なりを校正する撮像画像として撮像される撮像対象に隣接して設けられている
     請求項8に記載の色校正システム。
  10.  前記撮像対象が、
     物品の真贋判定に用いられる、照射される光の特性である光特性の変化により観察される光のパターンが変化する偽造防止媒体である
     請求項9に記載の色校正システム。
  11.  予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示部をさらに備える請求項8から請求項10のいずれか1項に記載の色校正システム。
  12.  観察角度に対応した異なる周波数の回折光を発するホログラムであり、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する分光感度を求めるために用いられる
     色校正用ホログラム。
  13.  前記色の異なりを校正する撮像画像として撮像される撮像対象に隣接して設けられている
     請求項12に記載の色校正用ホログラム。
  14.  前記撮像対象が、
     物品の真贋判定に用いられる、照射される光の特性である光特性の変化により観察される光のパターンが変化する偽造防止媒体である
     請求項13に記載の色校正用ホログラム。
  15.  観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する色校正方法であり、
     前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算過程と、
     前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定過程と、
     推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正過程と
     を含む色校正方法。
  16.  予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示過程をさらに含む請求項15に記載の色校正方法。
  17.  観察角度に対応した異なる周波数の回折光を発するホログラムにより、異なる画像撮像装置間における一方の画像撮像装置の撮像画像の各々の色を校正する動作をコンピュータに実行させるプログラムであり、
     前記コンピュータを、
     前記ホログラムからの前記回折光の各々の回折光分光分布を求める回折光分光分布計算手段、
     前記回折光の各々の前記回折光分光分布と、前記回折光それぞれの撮像画像とから、前記画像撮像装置の分光感度を推定する分光感度推定手段、
     推定された前記分光感度を用いて、前記画像撮像装置の、当該画像撮像装置と異なる他の画像撮像装置に対する色の異なりを校正する色校正手段
     として動作させるためのプログラム。
  18.  前記コンピュータを、
     予め設定された複数の設定回折光分光分布に各々対応する回折光分光分布を有する撮像画像を、全て撮像するための動作を示す情報を出力する撮像動作指示手段としてさらに動作させるための請求項17に記載のプログラム。
PCT/JP2017/025569 2016-07-27 2017-07-13 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム WO2018021048A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780046323.6A CN109565577B (zh) 2016-07-27 2017-07-13 色彩校正装置、色彩校正系统以及色彩校正方法
JP2018507754A JP6540885B2 (ja) 2016-07-27 2017-07-13 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム
EP17834056.8A EP3493538B1 (en) 2016-07-27 2017-07-13 Color calibration device, color calibration system, color calibration hologram, color calibration method, and program
US16/258,569 US10712203B2 (en) 2016-07-27 2019-01-26 Color calibration device, color calibration system, color calibration hologram, color calibration method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016147311 2016-07-27
JP2016-147311 2016-07-27
JP2016-204397 2016-10-18
JP2016204397 2016-10-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/258,569 Continuation US10712203B2 (en) 2016-07-27 2019-01-26 Color calibration device, color calibration system, color calibration hologram, color calibration method, and program

Publications (1)

Publication Number Publication Date
WO2018021048A1 true WO2018021048A1 (ja) 2018-02-01

Family

ID=61015939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/025569 WO2018021048A1 (ja) 2016-07-27 2017-07-13 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム

Country Status (5)

Country Link
US (1) US10712203B2 (ja)
EP (1) EP3493538B1 (ja)
JP (1) JP6540885B2 (ja)
CN (1) CN109565577B (ja)
WO (1) WO2018021048A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210366164A1 (en) * 2019-02-05 2021-11-25 Toppan Printing Co., Ltd. Color conversion information generation method, color conversion information generation system, and program therefor

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
WO2020254438A1 (en) * 2019-06-18 2020-12-24 ams Sensors Germany GmbH Spectral reconstruction of detector sensitivity
US11620765B2 (en) * 2020-07-02 2023-04-04 Unity Technologies Sf Automatic detection of a calibration object for modifying image parameters
CN116168658B (zh) * 2023-02-20 2023-08-15 深圳新视光电科技有限公司 基于径向反射的lcd色差调整方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057681A (ja) * 2003-08-07 2005-03-03 Canon Inc 画像処理方法及び画像処理装置
JP2005257438A (ja) * 2004-03-11 2005-09-22 Toppan Printing Co Ltd ホログラム回折光の分光計測装置および方法
JP5097927B2 (ja) * 2008-11-19 2012-12-12 株式会社メガチップス 色変換マトリクス算出方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561731A (en) * 1980-03-10 1985-12-31 Kley Victor B Electronic illumination control
US4806776A (en) * 1980-03-10 1989-02-21 Kley Victor B Electrical illumination and detecting apparatus
US4898467A (en) * 1988-11-07 1990-02-06 Eastman Kodak Company Spectrometer apparatus for self-calibrating color imaging apparatus
JP3512092B2 (ja) * 1994-07-29 2004-03-29 マツダ株式会社 キャリブレーション装置
JP4136820B2 (ja) 2003-07-25 2008-08-20 Hoya株式会社 色変換マトリクス算出方法および色補正方法
WO2007087372A2 (en) * 2006-01-24 2007-08-02 California Institute Of Technology Spatial image modulation to improve performance of computed tomography imaging spectrometer
JP2007249658A (ja) * 2006-03-16 2007-09-27 Sony Corp 製品生成端末装置、製品生成方法、プログラム
TWI457832B (zh) * 2006-09-26 2014-10-21 Toppan Printing Co Ltd Rfid資訊媒體、及黏貼有該媒體之物品
GB2445958A (en) * 2007-01-24 2008-07-30 Light Blue Optics Ltd Holographic image display systems
IL187545A0 (en) * 2007-11-21 2008-03-20 Ioimage Ltd A method of verifying the contents of bundles of paper currency
US8797589B2 (en) * 2010-08-19 2014-08-05 Xerox Corporation Color management and calibration using a scanner or camera
JP5589939B2 (ja) * 2011-04-12 2014-09-17 大日本印刷株式会社 微粒子、粒子群、偽造防止用インク、偽造防止用トナー、偽造防止用シートおよび偽造防止媒体
US20120296595A1 (en) * 2011-05-16 2012-11-22 Xerox Corporation Compensating for spectral differences between two spectrophotometers for accurate color management
JP5422640B2 (ja) * 2011-12-28 2014-02-19 京セラドキュメントソリューションズ株式会社 画像読取装置
WO2013105381A1 (ja) * 2012-01-10 2013-07-18 コニカミノルタ株式会社 画像処理方法、画像処理装置および画像処理プログラム
US20140009807A1 (en) * 2012-07-05 2014-01-09 Yuechao Pan Method and apparatus for space division multiplexed color holographic display
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US8950078B2 (en) * 2012-08-07 2015-02-10 Carl Zeiss Industrielle Messtechnik Gmbh Apparatus with internal optical reference
US9633442B2 (en) * 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) * 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9451290B2 (en) * 2013-12-26 2016-09-20 Google Technology Holdings LLC Multi-spectral image compression
JP6550743B2 (ja) * 2014-02-20 2019-07-31 株式会社リコー 分光特性取得装置、画像評価装置及び画像形成装置
AU2015248479A1 (en) * 2014-04-17 2016-09-15 Basf Se Verification device, verification system and method for verifying the identity of an article
US9826226B2 (en) * 2015-02-04 2017-11-21 Dolby Laboratories Licensing Corporation Expedited display characterization using diffraction gratings

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057681A (ja) * 2003-08-07 2005-03-03 Canon Inc 画像処理方法及び画像処理装置
JP2005257438A (ja) * 2004-03-11 2005-09-22 Toppan Printing Co Ltd ホログラム回折光の分光計測装置および方法
JP5097927B2 (ja) * 2008-11-19 2012-12-12 株式会社メガチップス 色変換マトリクス算出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3493538A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210366164A1 (en) * 2019-02-05 2021-11-25 Toppan Printing Co., Ltd. Color conversion information generation method, color conversion information generation system, and program therefor

Also Published As

Publication number Publication date
JPWO2018021048A1 (ja) 2018-08-16
EP3493538A4 (en) 2019-09-11
EP3493538A1 (en) 2019-06-05
US10712203B2 (en) 2020-07-14
JP6540885B2 (ja) 2019-07-10
US20190170585A1 (en) 2019-06-06
CN109565577A (zh) 2019-04-02
EP3493538B1 (en) 2023-05-03
CN109565577B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
WO2018021048A1 (ja) 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム
TWI279735B (en) Method and device of color correction for projector, and projector
US8199229B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
JP6472869B2 (ja) 周囲光に基づく画像調整
CN108322646A (zh) 图像处理方法、装置、存储介质及电子设备
US20130120451A1 (en) Image processing device, image processing method, and program
JP2004248290A (ja) けられ補償
JP2005117612A (ja) 画像処理方法および装置
JP2009171008A (ja) 色再現装置および色再現プログラム
US10121271B2 (en) Image processing apparatus and image processing method
CN111970432A (zh) 一种图像处理方法及图像处理装置
JP2004222231A (ja) 画像処理装置および画像処理プログラム
US8164650B2 (en) Image processing apparatus and method thereof
EP3112827B1 (en) Sample target for improved accuracy of color measurements and color measurements using the same
JP2012165271A (ja) 画像処理装置、画像処理方法及びプログラム
KR101561618B1 (ko) 단색 스캐닝 카메라에서의 컬러 영상 획득 시스템 및 방법
CN115835034A (zh) 白平衡处理方法与电子设备
JP4403224B2 (ja) 色変換システム、色変換方法及び色変換プログラム
Thomas et al. HDR imaging pipeline for spectral filter array cameras
JP6668673B2 (ja) 色変換マトリクス推定方法
JP2019079283A (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP2019129469A (ja) 画像処理装置
US20240080568A1 (en) Electronic Device and Method for Dynamically Adjusting Exposure Parameter of Spectral Sensor
JP7334509B2 (ja) 三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム
JP2009181449A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018507754

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17834056

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017834056

Country of ref document: EP

Effective date: 20190227