WO2023214546A1 - コンピュータプログラム、真贋判定装置及び真贋判定方法 - Google Patents

コンピュータプログラム、真贋判定装置及び真贋判定方法 Download PDF

Info

Publication number
WO2023214546A1
WO2023214546A1 PCT/JP2023/016878 JP2023016878W WO2023214546A1 WO 2023214546 A1 WO2023214546 A1 WO 2023214546A1 JP 2023016878 W JP2023016878 W JP 2023016878W WO 2023214546 A1 WO2023214546 A1 WO 2023214546A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
authenticity
modulation element
target medium
control unit
Prior art date
Application number
PCT/JP2023/016878
Other languages
English (en)
French (fr)
Inventor
雄一 天達
Original Assignee
大日本印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大日本印刷株式会社 filed Critical 大日本印刷株式会社
Priority to JP2023555826A priority Critical patent/JP7485236B2/ja
Publication of WO2023214546A1 publication Critical patent/WO2023214546A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B42BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42DBOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D25/00Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof
    • B42D25/30Identification or security features, e.g. for preventing forgery
    • B42D25/328Diffraction gratings; Holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • the present invention relates to a computer program, an authentication device, and an authentication method.
  • holograms Credit cards, banknotes, stock certificates, gift certificates, luxury brand products, and the like use media on which information is recorded to prevent copying and counterfeiting. Such media utilize security technologies such as holograms that are difficult to copy.
  • holograms that are generally mass-produced.
  • One is what is called a relief hologram or an embossed hologram.
  • embossed hologram relieve hologram
  • This embossed hologram is excellent in mass production, it has been a long time since it was put on the market, and imitations that look and feel different have been manufactured. It's stored away.
  • the other type is called a Lippmann hologram or a volume hologram. Lippmann holograms have features that embossed holograms do not have, such as a three-dimensional effect in the vertical and horizontal directions and excellent wavelength selectivity, and it is extremely difficult to produce imitations.
  • Patent Document 1 discloses that a hologram provided on a banknote is irradiated with light from a light source, and the reflected light from the hologram in two different directions is taken into a reflective prism and refracted in almost the same direction to create two images of the hologram.
  • a visual inspection device is disclosed.
  • the present invention was made in view of the above circumstances, and an object of the present invention is to provide a computer program, an authenticity determination device, and an authenticity determination method that can determine the authenticity of a medium without special skills or specialized knowledge. do.
  • a computer program causes a computer to take a first image of the target medium under a first photographing condition, and a first image photographing the target medium under a second photographing condition.
  • a second image is acquired, a difference image is generated based on the acquired first image and second image, a feature amount based on the pixel value of the generated difference image is extracted, and the target medium is Determine the authenticity of the item and execute the process.
  • FIG. 1 is a diagram showing an overview of holography.
  • FIG. 7 is a diagram illustrating photographing under a second photographing condition when the target medium is real.
  • FIG. 6 is a diagram illustrating photographing under a first photographing condition when the target medium is a real object.
  • FIG. 7 is a diagram illustrating photographing under a second photographing condition when the target medium is a counterfeit.
  • FIG. 7 is a diagram illustrating photographing under a first photographing condition when the target medium is a counterfeit. It is a figure which shows an example of a 1st image and a 2nd image.
  • FIG. 3 is a diagram illustrating an example of processing by an image processing unit.
  • FIG. 3 is a diagram illustrating an example of processing by an image processing unit.
  • FIG. 3 is a diagram schematically showing the brightness average of divided images (evaluation images).
  • FIG. 3 is a diagram schematically showing the brightness average of divided images (evaluation images).
  • FIG. 3 is a diagram showing an example of a threshold pattern.
  • FIG. 3 is a diagram showing the correspondence between medium types and threshold patterns. It is a figure which shows the 1st example of an authenticity determination method. It is a figure which shows the 2nd example of an authenticity determination method.
  • FIG. 3 is a diagram illustrating an example of an operation for determining the authenticity of a target medium. It is a figure showing an example of the processing procedure of authenticity judgment by an authenticity judgment device. It is a block diagram showing an example of composition of an authenticity determination device.
  • FIG. 3 is a diagram schematically showing the brightness average of divided images (evaluation images).
  • FIG. 3 is a diagram schematically showing the brightness average of divided images (evaluation images).
  • FIG. 3 is a diagram showing an example of a threshold pattern.
  • FIG. 3
  • FIG. 2 is a schematic cross-sectional view showing an example of a light modulation element.
  • FIG. 2 is a conceptual diagram in which an optical modulation element reproduces an optical image and captures an image using an authenticity determination device.
  • FIG. 3 is a schematic diagram showing an example of a screen showing an imaging support image.
  • FIG. 3 is a schematic diagram showing an example of a screen showing an imaging support image.
  • 7 is a flowchart illustrating an example of a procedure for displaying a screen on a display unit during image capturing.
  • FIG. 6 is a conceptual diagram showing a change in a correct reproduction image according to a change in imaging distance. It is a comparison diagram of photographs of a correct reproduced image and an incorrect reproduced image.
  • FIG. 3 is a block diagram showing a configuration example of an authenticity determination device according to a third embodiment.
  • FIG. 7 is a cross-sectional view schematically showing an example of a light modulation element according to Embodiment 3.
  • FIG. 2 is a schematic diagram showing a state in which a light modulation element is imaged using an authenticity determination device.
  • FIG. 3 is a schematic diagram showing a light modulation element when it is not irradiated with light from a point light source.
  • FIG. 3 is a schematic diagram showing a light modulation element when being irradiated with light from a point light source.
  • FIG. 3 is a schematic diagram showing a light modulation element when being irradiated with light from a point light source.
  • 12 is a flowchart showing a processing procedure for determining authenticity according to Embodiment 3. It is an example of a display screen of the authenticity determination device which is performing the authenticity determination process according to Embodiment 3.
  • FIG. 7 is a schematic diagram showing a light modulation element according to Embodiment 3 attached to an object.
  • FIG. 7 is a conceptual diagram showing a method for attaching a light modulation element according to a fourth embodiment.
  • 12 is a flowchart showing a processing procedure for determining authenticity according to Embodiment 4.
  • 12 is a flowchart showing a processing procedure for determining authenticity according to Embodiment 4.
  • a display screen of the authenticity determination device which is performing the authenticity determination process according to Embodiment 4. It is an example of a display screen of the authenticity determination device which is performing the authenticity determination process according to Embodiment 4. It is an example of a display screen of the authenticity determination device which is performing the authenticity determination process according to Embodiment 4. It is an example of a display screen of the authenticity determination device which is performing the authenticity determination process according to Embodiment 4. It is an example of a display screen of the authenticity determination device which is performing the authenticity determination process according to Embodiment 4. It is an example of a display screen of the authenticity determination device which is performing the authenticity determination process according to Embodiment 4.
  • FIG. 12 is a flowchart illustrating a processing procedure for determining whether a predetermined condition regarding authenticity determination according to Embodiment 4 is satisfied.
  • FIG. 7 is a conceptual diagram showing a light modulation element according to Embodiment 5. 12 is a flowchart illustrating a processing procedure for determining whether a predetermined condition regarding authenticity determination according to Embodiment 5 is satisfied.
  • FIG. 7 is a block diagram showing a configuration example of an authenticity determination device according to a sixth embodiment.
  • FIG. 7 is a conceptual diagram showing an example of a reproduced image DB according to a sixth embodiment.
  • FIG. 7 is a conceptual diagram showing an example of a reproduced image DB according to a sixth embodiment.
  • FIG. 7 is a conceptual diagram showing an example of a reproduced image DB according to a sixth embodiment.
  • FIG. 12 is a flowchart illustrating a processing procedure for determining whether a predetermined condition regarding authenticity determination according to Embodiment 4 is satisfied.
  • FIG. 7 is a
  • FIG. 7 is a conceptual diagram showing an example of a reproduced image DB according to a sixth embodiment.
  • FIG. 7 is a conceptual diagram showing a method for attaching a light modulation element according to a seventh embodiment.
  • FIG. 7 is a conceptual diagram showing a method for attaching a light modulation element according to an eighth embodiment.
  • FIG. 12 is a conceptual diagram of determining the authenticity of a light modulation element using the authenticity determination system according to the ninth embodiment.
  • FIG. 2 is a schematic cross-sectional view showing an example of a light modulation element.
  • FIG. 3 is a conceptual diagram illustrating an example of a change over time of a hologram forming layer.
  • FIG. 3 is a conceptual diagram illustrating an example of a change over time of a hologram forming layer.
  • FIG. 3 is a conceptual diagram illustrating an example of a change over time of a hologram forming layer.
  • FIG. 3 is a conceptual diagram illustrating changes over time in a reproduced image of a light modulation element.
  • FIG. 3 is a conceptual diagram illustrating changes over time in a reproduced image of a light modulation element.
  • FIG. 7 is a block diagram showing a configuration example of an authenticity determination system according to a ninth embodiment.
  • FIG. 3 is a conceptual diagram illustrating authenticity determination when a light modulation element is cut out and reused.
  • FIG. It is a flowchart which shows the example of a procedure of the authenticity determination process performed by the control part of an authenticity determination apparatus.
  • FIG. 1 is a diagram showing an example of the configuration of the authenticity determination device 50.
  • the authenticity determination device 50 includes a control section 51 that controls the entire device, a communication section 52, a memory 53, an image capturing section 54, a light emission control section 55, a medium type determination section 56, an image processing section 57, a determination section 58, and a display section 59. , an operation section 60, an audio output section 61, and a storage section 62.
  • the authenticity determination device 50 is configured with a portable device such as a smartphone, a tablet terminal, or a personal computer, and is carried by the user. In this embodiment, a smartphone will be described as an example of the authenticity determination device 50.
  • the storage unit 62 can be configured with, for example, a hard disk or a semiconductor memory, and can store a computer program 63, a threshold pattern unit 64, and necessary information.
  • the control unit 51 includes a required number of CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and the like.
  • the control unit 51 can execute processing determined by the computer program 63. That is, the processing by the control unit 51 is also the processing by the computer program 63.
  • the control unit 51 can execute the functions of the medium type determination unit 56, the image processing unit 57, and the determination unit 58 by executing the computer program 63.
  • the medium type determination unit 56, the image processing unit 57, and the determination unit 58 may be configured using hardware, may be implemented using software, or may be implemented using a combination of hardware and software. good.
  • the computer program 63 may be downloaded via the communication unit 52 and stored in the storage unit 62. Further, the computer program 63 recorded on a recording medium may be read and stored in the storage unit 62.
  • the communication unit 52 includes, for example, a communication module and has a communication function with an external device via a communication network.
  • the memory 53 can be composed of semiconductor memory such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), and flash memory.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory By loading the computer program 63 into the memory 53, the control unit 51 can execute the computer program 63.
  • the display unit 59 includes a liquid crystal display panel, an organic EL display panel, etc., and can display the determination result by the authenticity determination device 50.
  • the operation unit 60 is configured with a touch panel or the like, and can perform character input operations on the display unit 59, as well as perform operations on icons, images, characters, etc. displayed on the display unit 59.
  • the audio output unit 61 includes a speaker and can output audio.
  • the image capturing unit 54 includes a camera and can capture images of the target medium.
  • the target medium is an object to be judged for authenticity, such as a credit card, a banknote, a stock certificate, a gift certificate, or a luxury brand product, and is a medium on which information for preventing copying, forgery, etc. is recorded.
  • holography hologram
  • FIG. 2 is a diagram showing an overview of holography.
  • the holography shown in FIG. 2 is a technology in which the amplitude and phase of a light wave to be recorded (object light) are recorded on a medium as interference fringes by interference with a reference light, and the recorded light waves are reproduced using a diffraction phenomenon.
  • a recording of interference fringes is called a hologram.
  • FIG. 2 when the object light and the reference light interfere, interference fringes are recorded on the medium. If the medium is genuine, interference fringes are recorded, so when the medium is irradiated with a reference beam, the amplitude and phase of the recorded light wave are reproduced as object beam.
  • a copy medium counterfeit
  • no interference fringes are recorded, and therefore the object light is not reproduced.
  • the light emission control unit 55 includes an LED, and can turn on/off the light emission of the LED and control the amount of light.
  • the user can obtain the authenticity determination result of the target medium by simply performing a simple operation using the authenticity determination device 50, and does not require any special skills or specialized knowledge.
  • the simple operations are (1) photographing the target medium under the first photographing condition, and (2) photographing the target medium under the second photographing condition (different from the first photographing condition).
  • the first photographing condition the LED is turned on, or the amount of light from the LED is made larger than in the second photographing condition.
  • the second photographing condition turns off the LED, or sets the amount of light from the LED to be smaller than the first photographing condition. In the following, it is assumed that the photographing conditions are changed by turning the LED on and off.
  • FIG. 3A is a diagram showing imaging under the second imaging condition when the target medium is real
  • FIG. 3B is a diagram showing imaging under the first imaging condition when the target medium is real.
  • a hologram exists within the determination area of the target medium.
  • FIG. 3A shows the case of the second imaging condition. Under the second imaging condition, since the LED is off, only the ambient light is irradiated onto the target medium as reference light. Since the amount of ambient light is relatively small, the amount of diffracted light (reproduced object light) is small. If the ambient light is blocked by the smartphone, there will be even less diffracted light.
  • FIG. 3B shows the case of the first imaging condition.
  • the target medium is irradiated with the light of the LED as reference light in addition to the environmental light. Since the amount of light from the LED is large, the diffracted light (reproduced object light) becomes stronger compared to the case of the second photographing condition. Specifically, there is a strong local brightness change unique to diffracted light.
  • FIG. 4A is a diagram showing imaging under the second imaging condition when the target medium is a counterfeit
  • FIG. 4B is a diagram showing imaging under the first imaging condition when the target medium is a counterfeit.
  • FIG. 4A shows the case of the second imaging condition. Under the second imaging condition, since the LED is off, only the ambient light is irradiated onto the target medium as reference light. However, since there is no hologram in the determination area, the diffracted light is not reproduced and the reflected light returns to the camera.
  • FIG. 4B shows the case of the first imaging condition.
  • the target medium is irradiated with the light of the LED as reference light in addition to the environmental light.
  • the diffracted light is not reproduced and the reflected light returns to the camera.
  • the brightness of the reflected light increases over the entire imaging surface, strong local brightness changes unique to diffracted light are not observed.
  • the target medium is a counterfeit, there will be no strong local brightness change characteristic of diffracted light between the first and second imaging conditions, so there will be no gain by imaging under the first imaging condition.
  • the difference between the pixel values of the first image thus obtained and the pixel values of the second image obtained by photographing under the second photographing conditions is relatively small.
  • FIG. 5 is a diagram showing an example of the first image and the second image.
  • FIG. 5 shows a case where the target medium is genuine.
  • the first image is an image taken with the LED on, and since the target medium is irradiated with a strong reference light, the presence of the hologram causes a large local brightness change peculiar to the diffracted light (picture). is obtained.
  • the second image is an image taken with the LED off, and because a weak reference light is irradiated onto the target medium, the intensity of the diffracted light is weak, and an image (pattern) with little change in brightness is obtained.
  • the first image and the second image are input to the image processing section 57, and the first image is input to the medium type determination section 56.
  • the medium type determination unit 56 determines the type of the target medium.
  • the type of target medium is, for example, the type of a pattern obtained by a hologram.
  • the medium type determination unit 56 outputs the type determination result.
  • the image processing unit 57 has functions as an acquisition unit, a generation unit, and an extraction unit, and performs predetermined image processing based on the first image and the second image.
  • FIG. 6 is a diagram showing an example of processing by the image processing unit 57.
  • the image processing unit 57 generates a difference image based on the acquired first image and second image.
  • the difference image is the difference between the pixel value of each pixel in the first image (for example, each color component of R, G, and B) and the pixel value of each pixel in the second image (for example, each color component of R, G, and B).
  • This is an image in which the absolute value of is the pixel value of each pixel. If the first image and the second image have different vertical and horizontal sizes, they may be adjusted to the size of either the first image or the second image.
  • the image processing unit 57 divides the generated difference image into a plurality of divided images.
  • the number of divisions can be determined as appropriate. If the number of divisions is too large, the amount of processing at the subsequent stage will increase. In addition, if the number of divisions is too small, the size of the divided images will become large, and the statistical value of the brightness value of the entire divided image (for example, the average brightness) calculated in the subsequent processing will be smoothed, and the Makes local brightness changes difficult to detect.
  • the number of divisions can be preferably 16, 25, 36, etc., for example.
  • the image processing unit 57 may extract a divided image containing a pixel with a large pixel value (difference) as an evaluation image from among the divided images divided into a plurality of parts.
  • a divided image containing a pixel with a large pixel value (difference) as an evaluation image from among the divided images divided into a plurality of parts.
  • 9 divided images surrounded by thick frames are extracted as evaluation images. Note that extraction of the evaluation image is not essential, and the divided images may be input as they are to subsequent processing.
  • the image processing unit 57 performs grayscale conversion on the divided images (evaluation images) to convert RGB values into brightness values.
  • the image processing unit 57 calculates the statistical value of the luminance value of each pixel of the divided image for each divided image subjected to gray scale conversion.
  • the statistical value of the brightness value as a feature amount may be an average value, a median value, or a mode value. In this embodiment, an average value is used as the statistical value. Thereby, the average value of brightness is calculated for each divided image (evaluation image).
  • the average brightness (average value of brightness) of the divided image (i, j) is represented by Y(i, j).
  • FIG. 7 is a diagram schematically showing the brightness average of divided images (evaluation images).
  • FIG. 7A shows a case where the target medium is genuine.
  • the first imaging condition is used.
  • the difference between the pixel values of the first image obtained under the above conditions and the pixel values of the second image obtained under the second shooting conditions is relatively large. Therefore, the average brightness of each divided image (evaluation image) becomes relatively large.
  • FIG. 7B shows a case where the target medium is a fake.
  • the target medium is a counterfeit, there will be no strong local brightness change characteristic of diffracted light between the first and second imaging conditions.
  • the difference between the pixel value of the first image obtained by photographing and the pixel value of the second image obtained by photographing under the second photographing condition is relatively small. Therefore, the average brightness of each divided image (evaluation image) is relatively small.
  • the determination unit 58 determines the authenticity of the target medium based on the average brightness pattern of the divided images (evaluation images) and the threshold pattern.
  • FIG. 8 is a diagram showing an example of a threshold pattern.
  • the threshold pattern is a matrix pattern in which brightness thresholds are set corresponding to the brightness averages of each of the nine divided images (evaluation images) illustrated in FIG. ,2), R1(1,3), R1(2,1), R1(2,2), R1(2,3), R1(3,1), R1(3,2), R1(3, 3).
  • R1(i,j) represents a threshold range of ⁇ R1min(i,j) to R1max(i,j) ⁇ .
  • R1min (i, j) is the lower limit of the brightness threshold
  • R1max (i, j) is the upper limit of the brightness threshold.
  • i and j are integers from 1 to 3. Note that the number of threshold values in the matrix (vertical and horizontal) of the threshold pattern is set according to the number of vertical and horizontal lines of divided images (evaluation images) in the difference image.
  • the threshold pattern is stored in the threshold pattern section 64 in association with the medium type.
  • FIG. 9 is a diagram showing the correspondence between medium types and threshold patterns.
  • the threshold pattern section 64 stores information indicating the correspondence between the medium type and the threshold pattern.
  • the medium types (pictures) are represented by symbols P1, P2, P3, . . .
  • the corresponding threshold patterns are represented by symbols R1, R2, R3, . If the type determination result of the medium type determining unit 56 is, for example, type P1, threshold pattern R1 is selected.
  • the determining unit 58 selects a threshold pattern according to the type of medium determined by the medium type determining unit 56 from among the plurality of types of threshold patterns stored in the storage unit 62. This makes it possible to determine the authenticity of target media on which various patterns are recorded as holograms.
  • the determination unit 58 calculates a first evaluation value for evaluating the authenticity of each divided image based on the brightness average of the divided images and the threshold value. The first evaluation value is calculated for each divided image (evaluation image). The determination unit 58 calculates a second evaluation value of a difference image made up of a plurality of divided images based on the first evaluation value for each divided image. The second evaluation value is calculated for each difference image. The determining unit 58 determines the authenticity of the target medium based on the calculated second evaluation value.
  • FIG. 10 is a diagram showing a first example of the authentication method.
  • the first example shows a case where the target medium is genuine.
  • target medium A will be explained.
  • the number of divided images (evaluation images) of the difference image obtained by photographing the target medium A is nine (3 ⁇ 3).
  • the selected threshold pattern is also a 3 ⁇ 3 matrix pattern.
  • the determination unit 58 compares the brightness average of each divided image with the threshold value of the position corresponding to the divided image in the threshold pattern, and sets the first evaluation value to "1" if the brightness average is within the threshold range. , if the average luminance is not within the threshold range, the first evaluation value is set to "0". In the example of FIG. 10, all the first evaluation values in the 3 ⁇ 3 first evaluation value matrix are “1”.
  • the determination unit 58 calculates the average of the first evaluation values of the first evaluation value matrix as a second evaluation value. In the example of FIG. 10, the second evaluation value is "1.0". Finally, the determination unit 58 determines that the target medium is genuine if the second evaluation value is equal to or greater than the evaluation threshold (for example, 0.85, etc.). In the example of FIG. 10, target medium A is determined to be genuine.
  • the evaluation threshold may be set as appropriate.
  • the number of divided images (evaluation images) of the difference image obtained by photographing the target medium B is nine (3 ⁇ 3).
  • the selected threshold pattern is also a 3 ⁇ 3 matrix pattern.
  • the determination unit 58 compares the brightness average of each divided image with the threshold value of the position corresponding to the divided image in the threshold pattern, and sets the first evaluation value to "1" if the brightness average is within the threshold range. , if the average luminance is not within the threshold range, the first evaluation value is set to "0". In the example of FIG. 10, eight first evaluation values in the 3 ⁇ 3 first evaluation value matrix are “1”.
  • the determination unit 58 calculates the average of the first evaluation values of the first evaluation value matrix as a second evaluation value. In the example of FIG. 10, the second evaluation value is "0.89". Finally, the determination unit 58 determines that the target medium B is genuine because the second evaluation value is equal to or greater than the evaluation threshold (for example, 0.85, etc.).
  • FIG. 11 is a diagram showing a second example of the authentication method.
  • the second example shows a case where the target medium is a fake.
  • the number of divided images (evaluation images) of the difference image obtained by photographing the target medium C is nine (3 ⁇ 3).
  • the selected threshold pattern is also a 3 ⁇ 3 matrix pattern.
  • the determination unit 58 compares the brightness average of each divided image with the threshold value of the position corresponding to the divided image in the threshold pattern, and sets the first evaluation value to "1" if the brightness average is within the threshold range. , if the average luminance is not within the threshold range, the first evaluation value is set to "0". In the example of FIG. 11, all the first evaluation values in the 3 ⁇ 3 first evaluation value matrix are “0”.
  • the determination unit 58 calculates the average of the first evaluation values of the first evaluation value matrix as a second evaluation value. In the example of FIG. 10, the second evaluation value is "0.0". Finally, the determination unit 58 determines that the target medium is genuine if the second evaluation value is equal to or greater than the evaluation threshold (for example, 0.85, etc.). In the example of FIG. 11, the target medium C is determined to be a counterfeit.
  • the evaluation threshold for example, 0.85, etc.
  • the number of divided images (evaluation images) of the difference image obtained by photographing the target medium D is nine (3 ⁇ 3).
  • the selected threshold pattern is also a 3 ⁇ 3 matrix pattern.
  • the determination unit 58 compares the brightness average of each divided image with the threshold value of the position corresponding to the divided image in the threshold pattern, and sets the first evaluation value to "1" if the brightness average is within the threshold range. , if the average luminance is not within the threshold range, the first evaluation value is set to "0". In the example of FIG. 11, seven first evaluation values in the 3 ⁇ 3 first evaluation value matrix are “0”.
  • the determination unit 58 calculates the average of the first evaluation values of the first evaluation value matrix as a second evaluation value. In the example of FIG. 11, the second evaluation value is "0.22". Finally, since the second evaluation value is smaller than the evaluation threshold (for example, 0.85, etc.), the determination unit 58 determines that the target medium D is a counterfeit.
  • the authenticity determination result of the target medium can be obtained by simply performing a simple operation, and no special skills or specialized knowledge are required.
  • operations when a smartphone is used as the authenticity determination device 50 will be described.
  • FIG. 12 is a diagram showing an example of an operation for determining the authenticity of a target medium.
  • an audio guide is used as guidance to the user, but the guidance may also be a method of displaying text or the like, or a combination of text and audio may be used. As shown in FIG. 12, the user only needs to perform the following three steps.
  • Step 1 is to adjust the position of the smartphone so that the determination area of the target medium falls within a predetermined frame within the field of view of the camera.
  • a voice guide such as "Please fit within the frame lines" may be output.
  • the control unit 51 may output guidance so that the determination area of the target medium falls within the photographing range. This allows the user to appropriately photograph the target medium. Further, before starting photographing, the target medium (particularly the determination area) may be guided so that the zero-order reflected light does not affect the target medium. For example, the user may be cautioned not to overlap the determination area and the zero-order reflected light area.
  • step 2 the user turns off the LED and photographs the target medium.
  • a voice guide such as "Please turn off the LED and take a picture” may be output.
  • step 3 the user turns on the LED and photographs the target medium.
  • a voice guide such as "Please turn on the LED and take a picture” may be output.
  • steps 2 and 3 it is preferable to maintain the positional relationship between the target medium and the smartphone. This is to maintain the positional relationship between the camera and the target medium. Note that there are no particular restrictions on the position or angle of the smartphone as long as the target medium (particularly the determination area) is within the photographic field of view.
  • the smartphone display screen will display the authenticity determination result of the target medium (for example, "Genuine”, “Counterfeit”).
  • the authenticity determination result may be output in audio.
  • the control unit 51 may output the determination result of the authenticity of the target medium.
  • the control unit 51 receives the first operation of photographing the target medium under the first photographing condition, receives the second operation of photographing the target medium under the second photographing condition, and performs the first operation and the second operation. It is possible to display the authenticity determination result of the target medium based on each image obtained by. As a result, the authenticity determination result of the target medium can be obtained by simply performing a simple operation, and no special skills or specialized knowledge are required.
  • the genuine target medium has recorded interference fringes caused by interference by the reference light
  • the first photographing condition includes more reference light than the second photographing condition.
  • the first imaging condition may be with reference light (LED is on), and the second imaging condition may be without reference light (LED is off). Note that it is not necessary to consider the presence or absence of environmental light from indoor lighting equipment or the like.
  • control unit 51 acquires a first image taken of the target medium under the first photographing condition and a second image photographed under the second photographing condition, and based on the acquired first image and second image. It is possible to generate a difference image, extract a feature amount based on the pixel value of the generated difference image, and determine the authenticity of the target medium based on the extracted feature amount. This makes it possible to determine the authenticity of a medium without special skills or specialized knowledge.
  • FIG. 13 is a diagram illustrating an example of the processing procedure for determining authenticity by the authenticity determining device 50.
  • the control unit 51 acquires a first image of the target medium photographed under the first photographing condition (S11), and acquires a second image of the target medium photographed under the second photographing condition (S12).
  • the control unit 51 generates a difference image based on the acquired first image and second image (S13).
  • the control unit 51 determines the type of target medium based on the acquired first image (S14).
  • the control unit 51 divides the generated difference image into a plurality of divided images (S15), performs grayscale conversion on the divided images, and calculates the brightness average of the divided images (S16).
  • the control unit 51 reads a threshold pattern corresponding to the determined medium type from the threshold pattern unit 64 (S17).
  • the control unit 51 calculates a first evaluation value for each divided image by comparing the brightness average and the threshold value for each divided image (S18).
  • the control unit 51 calculates the second evaluation value of the difference image by averaging the first evaluation values for each divided image (S19).
  • the control unit 51 determines the authenticity of the target medium based on the second evaluation value (S20), outputs the determination result (S21), and ends the process.
  • a method can be considered that utilizes the characteristics of a hologram medium to determine the authenticity of the medium by changing the diffracted light depending on the difference in viewpoint angle.
  • it is necessary to appropriately set the positional relationship between the medium, the reference light, and the observation point.
  • constraints arise such as the need for appropriate angle control of the viewpoint, the need for a plurality of cameras with different accuracies, or the need for the light source and the imaging surface to be on the same plane.
  • FIG. 14 is a block diagram showing a configuration example of the authenticity determination device 100.
  • the authenticity determination device 100 includes a control section 110, a storage section 111, an operation section 112, a display section 113, a light source section 114, an imaging section 115, and the like, and these sections are interconnected via a bus.
  • the authenticity determination device 100 is a smartphone, but is not limited to this, and may be a mobile phone, a tablet, smart glasses, etc., for example.
  • the control unit 110 includes a processor such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit).
  • the control unit 110 performs various information processing, control processing, etc. performed by the authenticity determination device 100 by appropriately executing control programs stored in the storage unit 111.
  • the storage unit 111 stores in advance a control program to be executed by the control unit 110 and various data necessary for executing the control program. Furthermore, the storage unit 111 temporarily stores data and the like generated when the control unit 110 executes the control program.
  • the control program stored in the storage unit 111 includes a determination program P, which is a program of the present disclosure.
  • the data stored in the storage unit 111 includes a reproduced image database (hereinafter referred to as reproduced image DB), which will be described later. In the reproduced image DB, reproduced images of a plurality of types of light modulation elements are registered.
  • the storage unit 111 is a memory of a smartphone, but it may also be an external flash memory for a smartphone, a hard disk, an SSD (Solid State Drive), or the like.
  • the determination program P stored in the storage unit 111 may be provided by a recording medium M on which the determination program P is readably recorded.
  • the recording medium M is, for example, a portable memory such as an SD (Secure Digital) card, a micro SD card, or a Compact Flash (registered trademark).
  • the control unit 110 reads the determination program P from the recording medium M using a reading device (not shown), and installs the read determination program P into the storage unit 111.
  • the determination program P stored in the storage unit 111 may be provided by communication via a communication unit (not shown). In this case, the control unit 110 acquires the determination program P through the communication unit and installs the acquired determination program P into the storage unit 111.
  • the operation unit 112 accepts operation input by the user and outputs a control signal corresponding to the operation content to the control unit 110.
  • the display unit 113 displays various information according to instructions from the control unit 110.
  • the operation unit 112 and the display unit 113 are integrated into a touch panel, but they may be configured separately. Further, the operation unit 112 may be, for example, an operation button provided on the main body of the smartphone, or a microphone that collects voice commands from the user.
  • the light source section 114 is an LED light of a smartphone, and functions as a point light source for illuminating the light modulation element and making a light image appear.
  • the imaging unit 115 is a smartphone camera, and captures an image of the light modulation element and a reproduced image of the light modulation element and stores it in the storage unit 111.
  • a determination program P which is a program of the present disclosure, is installed on a smartphone, and the control unit 110 executes the determination program P, so that the smartphone operates as the authenticity determination device 100 of the present disclosure.
  • FIG. 15 is a schematic cross-sectional view showing an example of the light modulation element 102.
  • the light modulation element 102 in FIG. 15 is also called an embossed hologram, and is attached to the object to be determined.
  • the objects to be determined include, for example, cards such as cash cards, credit cards, and check cards, cash vouchers, identification cards, important documents, products such as branded products, or product packaging.
  • the light modulation element 102 includes a hologram layer 121 having a reflective hologram structure 1211, a base material 124 laminated on one surface of the hologram layer 121, and a base material 124 laminated on one surface of the hologram layer 121.
  • a reflective layer 122 is laminated on the surface.
  • the other surface of the hologram layer 121 forms an uneven surface 121a, and the reflective layer 122 covering this uneven surface 121a also has an uneven shape.
  • the uneven surface 121a of the hologram structure 1211 has an uneven pattern corresponding to the Fourier transformed image of the original image, and has an uneven depth corresponding to each pixel of the Fourier transformed image.
  • FIG. 16 is a conceptual diagram in which the authenticity determination device 100 is used to reproduce an optical image on the light modulation element 102 and capture the image.
  • the circular outer frame 123 of the light modulation element 102 The characters "OK" 123a can be observed as a reproduced image in the enclosed area.
  • the light modulation element 102 in which a reproduced image is generated is detected by the imaging unit 115 while changing the distance h between the authenticity determination device 100 and the light modulation element 102 (hereinafter referred to as imaging distance h).
  • imaging distance h changing the distance between the authenticity determination device 100 and the light modulation element 102
  • An image is captured, and the authenticity is determined based on a plurality of images including the outer frame 123 obtained by the capture and the characters 123a of the reproduced image.
  • the back surface of the authenticity determination device 100 on which the imaging section 115 is provided faces the observation surface of the light modulation element 102 and is substantially parallel to the observation surface. Further, the imaging unit 115 is located directly above the formation area of the hologram structure 1211.
  • a moving image or a plurality of images related to the light modulation element 102 and its reproduced image are generated according to changes in the imaging distance h. A still image can be obtained.
  • FIG. 17 is a schematic diagram showing an example of a screen 130 showing an imaging support image.
  • a target image 131 is displayed on the screen 130 as an imaging support image.
  • the target image 131 includes three concentric arcs serving as three guide frames.
  • the imaging support image is not limited to the target image 131, and may be appropriately set according to the shape of the outer frame image of the correct reproduced image.
  • the shape of each guide frame is not limited to an arc of one circle, but may be an entire circle.
  • the number of guide frames is not limited to three, and may be a number other than three.
  • a shutter button 132 is displayed on the screen 130 for accepting an imaging instruction from the user.
  • the user When capturing a still image, the user adjusts the attitude of the authentication device 100 while looking at the screen 130, and when the outer frame 123 on the screen 130 overlaps one of the guide frames in the target image 131, clicks the shutter button 132, for example. and take the first photo. Then, the authenticity determining device 100 is moved to change the imaging distance h. A second photograph is taken when the outer frame 123 overlaps the other guide frame in the target image 131 on the screen 130.
  • the user When capturing a video, the user adjusts the posture of the authentication device 100 while looking at the screen 130, and when the outer frame 123 on the screen 130 overlaps with one of the guide frames in the target image 131, the user clicks the shutter button 132, for example. Start recording. Then, the authenticity determining device 100 is moved to change the imaging distance h. Recording is ended when the outer frame 123 overlaps the other guide frame in the target image 131 on the screen 130.
  • the user moves the authenticity determination device 100 while checking the positional relationship between the outer frame 123 on the screen 130 and each guide frame configuring the target image 131, so that the image capture unit 115 is always Images can be captured at the same imaging angle.
  • the control unit 110 may cause the display unit 113 to display operation procedure presentation information to move the authenticity determination device 100 away from the imaging target or to move the authenticity determination device 100 closer to the imaging target. Further, the control unit 110 may display each guide frame in the target image 131 in a preset order. For example, when capturing a still image, only the guide frame consisting of the outermost arc in the target image 131 is displayed during the first image capturing, and the guide frame consisting of the middle arc in the target image 131 is displayed during the second image capturing. Only the guide frame consisting of the innermost circular arc in the target image 131 is displayed at the third imaging time. As a result, a plurality of photographs with gradually increasing imaging distances h are obtained, information processing by the control unit 110 is simplified, and the ease and accuracy of the user's imaging operations are also improved.
  • a four-corner frame 133 is displayed as an imaging guide, and information "Please place a hologram within the frame" is displayed on the screen 130 as operation procedure presentation information. It may be displayed.
  • the imaging guide means is not limited to the four corner frame 133, and may have other shapes.
  • control unit 110 determines that the reproduced image is not the correct reproduced image
  • the control unit 110 causes the display unit 113 to display information that the determined object is a fake, but it determines that the reproduced image is the correct reproduced image.
  • the target image 103 or one guide frame is displayed on the display section 113.
  • FIG. 18 is a flowchart showing an example of a procedure for displaying the screen on the display unit 113 during image capturing.
  • the display unit 113 displays four corner frames 133 and operation procedure presentation information on the screen 130, as shown in FIG. 17B (step S31).
  • the display unit 113 displays the first guide frame on the screen 130 (step S32).
  • the control unit 110 outputs an imaging instruction to the imaging unit 115 when the outer frame 123 of the light modulation element 102 matches the first guide frame.
  • the imaging instruction may be an instruction to take a photo or an instruction to start recording.
  • the imaging unit 115 may capture an image in response to an imaging instruction from a user received via the shutter button 132 instead of an instruction from the control unit 110.
  • the display unit 113 displays operation procedure information for moving the authenticity determination device 100 on the screen 130 (step S33), and displays a second guide frame that is different in size from the first guide frame (step S34).
  • the control unit 110 outputs an imaging instruction to the imaging unit 115 when the outer frame 123 of the light modulation element 102 matches the second guide frame.
  • the imaging instruction may be an instruction to take a photo or an instruction to stop recording.
  • the imaging unit 115 may capture an image in response to an imaging instruction from a user received via the shutter button 132 instead of an instruction from the control unit 110.
  • the display unit 113 displays the result of the authenticity determination on the screen 130 (step S35).
  • FIG. 19 is a conceptual diagram showing changes in the correct reproduced image according to changes in the imaging distance h.
  • the characters 123a become larger. That is, the larger the distance from the point light source, the larger the correct reconstructed image.
  • FIG. 19 shows photographs 1231, 1232, and 1233 of correct reproduction images taken at imaging distances h1, h2, and h3 (h1 ⁇ h2 ⁇ h3), respectively.
  • the larger the imaging distance h the smaller the outer frame 123 (outer frame image) in the photograph, but the sizes of the characters 123a (pattern image) in the photographs 1231, 1232, and 1233 are the same. That is, the character 123a in the photograph of the correct reproduced image has a characteristic that the size does not change depending on the imaging distance h.
  • FIG. 20 is a comparison diagram of photographs of a correct reconstructed image and an incorrect reconstructed image.
  • the imaging distance h changes, both the characters 123a and the outer frame 123 change in the photograph of the incorrect reproduced image.
  • the imaging distance h becomes smaller, the characters 123a and the outer frame 123 in the photograph become larger, and when the imaging distance h becomes larger, the characters 123a and the outer frame in the photograph become larger.
  • 123 is small. Based on such a difference, a correct reconstructed image and a non-correct reconstructed image can be distinguished.
  • FIG. 21 is a flowchart showing an example of the procedure of the authenticity determination process executed by the control unit 110.
  • a predetermined number of photographs of the light modulation element 102 are taken, and the authenticity is determined based on these photographs.
  • the control unit 110 activates the light source unit 114 and the imaging unit 115 (step S41), and displays the imaging support image on the display unit 113 (step S42).
  • the control unit 110 determines whether the imaging instruction has been received (step S43), and if it is determined that the imaging instruction has not been received (step S43: NO), it waits until the imaging instruction is received.
  • control unit 110 determines that the imaging instruction has been received (step S43: YES)
  • control unit 110 controls the imaging unit 115 to capture an image (step S44).
  • the control unit 110 performs pattern matching processing by extracting geometric shape information from the photograph taken in step S44 and calculating the degree of similarity with the correct reproduced image stored in the reproduced image DB (step S45). .
  • the control unit 110 determines whether the degree of similarity between the reproduced image in the photograph and the correct reproduced image is greater than or equal to a predetermined value (step S46).
  • the predetermined value may be appropriately set in advance according to the characteristics of the geometric shape of the correct reconstructed image.
  • control unit 110 determines that the degree of similarity is not equal to or greater than the predetermined value (step S46: NO)
  • the control unit 110 returns the process to step S42.
  • the control unit 110 preferably causes the display unit 113 to indicate that the photo will not be used for measurement.
  • control unit 110 determines that the degree of similarity is greater than or equal to the predetermined value (step S46: YES)
  • the control unit 110 stores the photo in the storage unit 111 (step S47).
  • the control unit 110 determines whether the number of photographs corresponding to the imaging distance has reached a predetermined number (step S48), and if it is determined that the number of photographs has not reached the predetermined number (step S48: NO). , the process returns to step S42. In this case, it is preferable that the control unit 110 causes the display unit to indicate that the authenticity determination device 100 is to be moved.
  • control unit 110 determines that the predetermined number of photos has been reached (step S48: YES)
  • the control unit 110 turns off the light source unit 114 and the imaging unit 115, reads each photo from the storage unit 111 (step S49), and The character 123a and the outer frame 123 are recognized (step S50).
  • the control unit 110 calculates the size of the characters 123a and the size of the outer frame 123 for each photo (step S51).
  • the size of the characters 123a may be the length, width, height, and line width of each character, or may be the area or number of pixels of the lines forming each character.
  • the size of the outer frame 123 may be the diameter of a circle, the area, or the number of pixels. Note that the size change of the character 123a and the size change of the outer frame 123 may be calculated by comparing a plurality of photos.
  • the control unit 110 determines whether the size of the outer frame 123 has changed based on the size of the outer frame 123 calculated in step S51 (step S52).
  • step S52 NO
  • the process returns to step S42.
  • control unit 110 determines whether the size of the outer frame 123 has changed (step S52: YES), it determines whether the size of the characters 123a has changed (step S53).
  • control unit 110 determines that the size of the character 123a has not changed (step S53: NO)
  • control unit 110 outputs an instruction to display that the determination target is true to the display unit 113 (step S54), and performs processing. end.
  • control unit 110 determines that the size of the character 123a has changed (step S53: YES)
  • the control unit 110 outputs an instruction to display that the determination target object is a fake to the display unit 113 (step S55), and executes the process. finish.
  • the authenticity determination device 100 captures a plurality of photos of the light modulation element 102 while changing the imaging distance h, and determines the authenticity of the object to be determined based on the presence or absence of a change in the characters 123a in these photos. can do.
  • Authenticity may be determined based on the video. For example, a moving image of the light modulation element 102 may be captured while changing the imaging distance h, a plurality of frames may be extracted from the moving image, and the authenticity may be determined based on the presence or absence of a change in the characters 123a in these frames.
  • a change in the imaging distance h is determined based on a change in the size of the outer frame 123 of the light modulation element 102, but it may also be determined based on a change in focus of the imaging unit 115, or a smartphone The determination may be made by measuring the distance from the light modulation element 102 using an optical sensor mounted on the light modulation element 102.
  • the outer frame 123 of the light modulation element 102 is determined as a reference object, but another reference object may be provided in advance on the light modulation element 102 and the determination may be made based on a change in the size of the reference object.
  • a part of the processing executed by the control unit 110 may be executed by a cloud server.
  • the authenticity determination device 100 captures an image with the imaging unit 115 and transmits the captured image to the cloud server, and when the cloud server receives the image transmitted from the authenticity determination device 100, the cloud server performs the steps shown in FIG. 21, for example.
  • the processes from S50 to S53 may be executed and the determination results may be transmitted to the authenticity determination device 100.
  • an authenticity determination support device is one that images the pattern of light emitted by the anti-counterfeiting medium of the object to be determined and displays the imaged pattern side by side with the pattern of light emitted by the real anti-counterfeiting medium. be.
  • the viewer visually determines the difference between the two displayed patterns, so it is necessary to fully understand the characteristics of the light pattern emitted by a true anti-counterfeiting medium. It is necessary to judge, and it is difficult to tell the difference without special skill.
  • the difference between authenticity and authenticity patterns is minute, there is a risk of erroneous recognition.
  • authenticity can be easily determined without requiring special skills.
  • FIG. 22 is a block diagram showing a configuration example of the authenticity determination device 200.
  • the authenticity determination device 200 includes a control section 210, a storage section 211, a light source section 212, an imaging section 213, a display section 214, and an operation section 215.
  • the authenticity determination device 200 is a portable computer such as a smartphone, a mobile phone, a tablet terminal, a PDA (Personal Digital Assistant), and smart glasses.
  • the authenticity determination device 200 irradiates a light modulation element 202 provided on an object 203 for authenticity determination with light from an LED point light source, and captures a reproduced image 220h of a hologram generated on the light modulation element 202.
  • the authenticity of the object 203 is determined by analyzing the image (see FIG. 5).
  • the control unit 210 is a microcomputer that includes a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an input/output interface, and the like.
  • a light source section 212 , an imaging section 213 , a display section 214 , and an operation section 215 are connected to the input/output interface of the control section 210 .
  • the ROM stores programs necessary for the initial operation of the computer.
  • the RAM is a memory such as DRAM (Dynamic RAM) or SRAM (Static RAM), and is a memory such as a computer program P read out from the storage unit 211 when the control unit 210 executes arithmetic processing, or a computer program P read out from the storage unit 211 or the control unit 210. Temporarily stores various data generated by arithmetic processing.
  • the CPU controls the operation of each component and executes the process of determining the authenticity of the object 203. That is, the computer including the control unit 210 operates as the authenticity determination device 200 according to the third embodiment by executing the computer program P, and implements the authenticity determination method according to the third embodiment.
  • the storage unit 211 is a nonvolatile memory such as an EEPROM (Electrically Erasable Programmable ROM) or a flash memory, and stores a computer program P necessary for implementing the authenticity determination method according to the third embodiment.
  • the storage unit 211 according to the third embodiment is a built-in memory of the authenticity determination device 200, but may be an external flash memory, a hard disk, an SSD (Solid State Drive), or the like.
  • the computer program P according to the third embodiment may be recorded on the recording medium M in a computer-readable manner.
  • the storage unit 211 stores the computer program P read from the recording medium M by a reading device (not shown).
  • the recording medium M is a portable semiconductor memory such as an SD (Secure Digital) card, a micro SD card, or a compact flash (registered trademark).
  • the recording medium M may be an optical disc such as a CD (Compact Disc)-ROM, a DVD (Digital Versatile Disc)-ROM, or a BD (Blu-ray (registered trademark) Disc).
  • the recording medium M may be a flexible disk, a magnetic disk such as a hard disk, a magneto-optical disk, or the like.
  • the computer program P according to the third embodiment may be provided by an external server (not shown) connected to a communication network (not shown).
  • the authenticity determination device 200 downloads the computer program P according to the third embodiment provided via the communication network, and stores it in the storage unit 211.
  • the light source section 212 is an LED light that illuminates the subject.
  • the LED light is an example of a point light source that irradiates light onto the light modulation element 202 and generates the reproduced image 220h.
  • the imaging unit 213 includes a lens, an imaging device such as a CMOS or CCD that converts an image formed by the lens into an electrical signal, and AD converts the electrical signal converted by the imaging device into digital image data. and an image processing unit that performs various image processing on the AD-converted image data.
  • the imaging unit 213 provides image data obtained by imaging to the control unit 210. Note that the imaging unit 213 can capture both moving images and still images.
  • the imaging unit 213 is used to capture the light modulation element 202 and the reproduced image 220h generated on the light modulation element 202.
  • the image captured by the imaging unit 213 is stored in the storage unit 211.
  • the display unit 214 is a liquid crystal panel, an organic EL display, electronic paper, a plasma display, or the like.
  • the display section 214 displays various information according to the image data given from the control section 210.
  • the operation unit 215 is an interface that accepts operations by the user and outputs control signals corresponding to the operation contents to the control unit 210.
  • the operation unit 215 is, for example, a touch sensor provided on or inside the display unit 214, a mechanical operation button, or the like.
  • the touch sensor receives a user's operation by detecting the touch of the user's finger on the display unit 214, the position of the finger, and the like, and provides the received operation information to the control unit 210.
  • the control unit 210 can receive user operations through the operation unit 215.
  • the operation unit 215 may be a microphone that collects the user's voice commands.
  • FIG. 23 is a cross-sectional view schematically showing an example of the light modulation element 202.
  • the light modulation element 202 according to the third embodiment is an optical element that diffracts light from a point light source to generate a reproduced image 220h (see FIG. 26) in a central portion C of a region irradiated with the light. .
  • the reproduced image 220h is, for example, a pattern, an image representing a symbol, an image encoded with a symbol, or the like.
  • the upper surface side of the light modulation element 202 is the front surface side that is imaged by the imaging unit 213, and the lower surface side is the back surface side that is adhered to the object 203.
  • the light modulation element 202 is configured as a hologram holder having, for example, a phase modulation type hologram structure 2211 that modulates the phase of incident light (incident light) to reproduce an optical image.
  • the hologram structure 2211 includes, in particular, elementary elements constituted by Fourier transform holograms.
  • a Fourier transform hologram is a hologram produced by recording wavefront information of a Fourier transform image of an original image, and functions as a so-called Fourier transform lens.
  • a phase modulation type Fourier transform hologram is a hologram having an uneven surface 222a produced by converting phase information of a Fourier transform image into multiple values and recording it as depth on a medium, and diffraction based on the optical path length difference of the medium. This phenomenon is used to reproduce the optical image of the original image from the incident light.
  • a hologram can be designed using a computer based on the planned wavelength and direction of incidence of the incident light, as well as the shape and position of the image to be reproduced.
  • the hologram obtained in this way is also called a computer generated hologram (CGH).
  • the elemental elements of the light modulation element 202 to which the present invention can be applied are not limited to Fourier transform holograms, and may also be applied to holograms that reproduce optical images by other methods or the light modulation element 202 having other structures. It is possible to apply the present invention.
  • the light modulation element 202 includes a base material 221 and a hologram layer 222 having a reflective hologram structure 2211 laminated on the back side (lower side in FIG. 23) of the sheet-like base material 221. , and a reflective layer 223 formed on the back side (lower side in FIG. 23) of the hologram layer 222.
  • the hologram structure 2211 and the reflective layer 223 have an uneven surface 222a for diffracting light incident from the surface side of the base material 221 to generate a reproduced image 220h. That is, the back side (lower side in FIG. 23) of the hologram layer 222 forms an uneven surface 222a, and the reflective layer 223 covering this uneven surface 222a also has an uneven shape.
  • the uneven surface 222a of the hologram structure 2211 has an uneven pattern corresponding to the Fourier transformed image of the original image, and has an uneven depth corresponding to each pixel of the Fourier transformed image.
  • a resin constituting the hologram layer 222 (for example, a UV curing resin or a thermoplastic resin) is formed on a base material 221 (for example, PET: polyethylene terephthalate) by coating, and the hologram layer 222 is subjected to UV curing treatment or the like.
  • a concave-convex shaping process is performed in which the concave-convex surface of the original is pressed together with a heat-pressing process, and then a reflective layer 223 (for example, Al, ZnS, TiO2, etc.) is formed on the concave-convex surface 222a of the hologram layer 222.
  • the hologram holder shown in FIG. 23 can be manufactured. Note that an adhesive material, an adhesive, a heat seal layer, etc. may be further formed on the reflective layer 223.
  • a reproduced image 220h corresponding to the uneven pattern of the uneven surface 222a is generated.
  • the incident angle of light from the light source section 212 to the hologram structure 2211 is approximately 0° (that is, the angle along the normal direction of the incident surface of the hologram structure 2211).
  • a reproduced optical image 220h is reproduced in the central portion C of the region irradiated with light from the light source section 212, which is a point light source.
  • a point light source image PL (see FIG.
  • the point light source of the light source unit 212 is reflected on the light modulation element 202 is bright and conspicuous, and the point light source image PL is reflected in the center portion of the reproduced image 220h.
  • the imaging unit 213 images the point light source image PL together with the reproduced image 220h.
  • the mark 220 is visible by light from a non-point light source.
  • the mark 220 is, for example, a pattern printed on the light modulation element 202, and is preferably configured to allow light to pass therethrough. That is, the mark 220 preferably has a configuration in which light from the light source section 212, which is a point light source, is transmitted through the mark 220 and is incident on the hologram structure 2211, and diffracted light can be transmitted through the mark 220 and emitted.
  • the mark 220 does not necessarily have to be a printed matter, but may be a hologram, for example, a Lippmann hologram.
  • the mark 220 may have an opaque configuration.
  • FIG. 24 is a schematic diagram showing a state in which the light modulation element 202 is imaged using the authenticity determination device 200.
  • the light modulation element 202 is in the form of a sheet, and is attached to an object 203 to be authenticated.
  • the objects 203 include, for example, contracts, cards such as cash cards, credit cards, and check cards, cash vouchers, identification cards, important documents, products such as branded products, or product packaging.
  • the light modulation element 202 receives the light from the light source section 212.
  • a reconstructed image 220h (see FIG. 26) is generated centering on the central portion C of the region irradiated.
  • a point light source image PL (see FIG. 26) is reflected in the central portion C.
  • the light source section 212 and the imaging section 213 perform illumination and imaging while directly facing the light modulation element 202.
  • the authenticity determination device 200 is operated such that the optical axes of the light source section 212 and the imaging section 213 substantially coincide with the normal direction of the light modulation element 202.
  • substantially matching the optical axis and the normal direction does not mean a complete match, but includes a deviation within a range that allows the authenticity determination according to the third embodiment.
  • FIG. 25 is a schematic diagram showing the light modulation element 202 when it is not irradiated with light from a point light source
  • FIGS. 26A and 26B are schematic diagrams showing the light modulation element 202 when it is irradiated with light from a point light source. It is. As shown in FIG. 25, when the light source section 212 is off, only the mark 220 provided on the light modulation element 202 is visible. When the light source section 212 is turned on, as shown in FIG. 26A, a reproduced image 220h is generated in the central portion C by the light emitted from the light source section 212, which is a point light source. In FIG. 26, the star mark indicates the point light source image PL of the light source section 212.
  • the position of the central portion C of the region irradiated with light from the light source section 212 and the position of the point light source image PL match.
  • the position of the central portion C of the region irradiated with light from the light source section 212 will be described as the position of the point light source image PL as appropriate.
  • the reproduced image 220h also moves following the movement of the point light source image PL, and is always centered on the central portion C or the point light source image PL.
  • a reconstructed image 220h is generated at the position.
  • the authenticity determination device 200 of the third embodiment determines the authenticity of the object 203 using the light modulation element 202 configured as described above. Specifically, the authenticity determination device 200 images the light modulation element 202 while changing the position of the light source section 212 with respect to the light modulation element 202, and determines the position of the mark 220 in the plurality of images obtained by imaging, and the reproduced image. The authenticity of the object 203 is determined by analyzing the relationship between the position of the object 220h and the position of the point light source image PL.
  • FIG. 27 is a flowchart showing the processing procedure for determining authenticity according to the third embodiment.
  • FIG. 28 is an example of a display screen of the authenticity determination device 200 executing the authenticity determination process according to the third embodiment.
  • the control unit 210 of the authenticity determination device 200 starts the imaging unit 213 (step S111), and displays the image captured by the imaging unit 213 on the display unit 214 as shown in FIG. and the guide display section 214b is displayed (step S112).
  • the line of sight image 214a is, for example, an image of a crosshair, and is used to capture the mark 220 of the light modulation element 202 at the center of the captured image.
  • the guide display section 214b displays information for instructing the user to perform operations necessary for determining the authenticity of the object 203.
  • the guide display section 214b displays information instructing to move the imaging section 213 in the horizontal direction. Further, as will be described later, the guide display section 214b can display the result of determining the authenticity of the object 203.
  • the control unit 210 controls the light source unit 212 to blink (step S113), and uses the imaging unit 213 to image the light modulation element 202 when it is turned on and when it is turned off (step S114).
  • the control unit 210 that executes step S114 functions as an acquisition unit that acquires a plurality of images obtained by capturing images at different positions of the light source unit 212 (point light source) with respect to the light modulation element 202. Then, the control unit 210 detects movement of the light source unit 212 and the imaging device with respect to the light modulation element 202 based on a plurality of images captured while the light source unit 212 is off (step S115).
  • control unit 210 can detect the movement of the light emitting unit and the imaging unit 213 by calculating the amount of change in the position of the mark 220 included in the plurality of images.
  • the control unit 210 may be configured to detect movement of the light source unit 212 and the imaging unit 213 using the acceleration sensor.
  • the control unit 210 determines the reproduced image 220h and the point light source image PL included in the captured image (step S116). For example, by comparing an image obtained when the light source section 212 is turned off and an image obtained when the light source section 212 is turned off at approximately the same timing, the light source section, which is a point light source, The reproduced image 220h generated by 212 can be discriminated.
  • the control unit 210 can recognize that the images included in both the images captured while the light source unit 212 is on and off are the marks 220 and other images.
  • the control unit 210 controls the reproduction of images that are not included in the image captured when the light source unit 212 is off, and are included in the image captured and obtained when the light source unit 212 is on.
  • the control unit 210 determines the point light source image PL included in the captured image. For example, the control unit 210 uses binarization processing, morphology processing, etc. to extract an image whose brightness is a predetermined value or more, which is located approximately at the center of the captured image, and whose size is within a predetermined range, thereby generating a point light source image. What is necessary is to determine the PL.
  • control unit 210 determines whether the light modulation element 202 has been imaged a predetermined number of times or more while the light source unit 212 and the like move with respect to the light modulation element 202 (step S117). If it is determined that the number of times of imaging is less than the predetermined number of times (step S117: NO), the control unit 210 returns the process to step S113.
  • control unit 210 controls the reproduction of the plurality of images based on the plurality of images obtained by capturing images while moving the light source unit 212 and the imaging unit 213. It is determined whether the position of the image 220h follows the movement of the light source section 212 (step S118). Specifically, it is determined whether the position of the point light source image PL in the plurality of images matches the position of the reproduced image 220h.
  • the positions of the point light source image PL and the reconstructed image 220h are specified in the process of step S115, and the control unit 210 determines whether the centers of the point light source image PL and the reconstructed image 220h coincide or the distance between the centers is a predetermined distance. It is preferable to make the determination in step S118 by determining whether or not the value is within the value. Note that if the position of the point light source image PL is known, the control unit 210 may determine in step S118 whether the reproduced image 220h is at a predetermined position corresponding to the position of the point light source image PL.
  • the control unit 210 determines that the reconstructed image 220h is at the center of the line-of-sight image 214a or the center of the captured image in step S118. It is only necessary to determine whether or not. In this case, it is not necessary to recognize the point light source image PL in the process of step S115.
  • the control unit 210 determines whether the object 203 to which the light modulation element 202 is attached is genuine (step S119). For example, the control unit 210 determines that the object 203 is genuine when the position of the point light source image PL in the plurality of images and the position of the reproduced image 220h all match. Note that the control unit 210 that executes step S119 functions as a determination unit that determines the authenticity of the object 203 based on the position of the reproduced image 220h in the plurality of acquired images.
  • step S119 If it is determined in step S119 that the object 203 is genuine (step S119: YES), the control unit 210 outputs information indicating that the object 203 is genuine (step S120), and ends the process. For example, the control unit 210 displays information indicating that the object 203 is genuine on the guide display unit 214b.
  • the control unit 210 and display unit 214 that execute step S120 function as an output unit that outputs the determined result.
  • step S119 if it is determined that the image is not genuine (step S119: NO), for example, if there is an image in which the position of the point light source image PL and the position of the reproduced image 220h do not match, the control unit 210 controls the It is determined whether or not it has been determined that the item is not genuine more than the number of times (step S121). If the number of times it has been determined that the item is not genuine is less than the predetermined number of times (step S121: NO), it is considered that the user's operation is defective, so the control unit 210 returns the process to step S113 and continues the authenticity determination. Note that the control unit 210 may display instructions for appropriately performing the authenticity determination on the guide display unit 214b.
  • the control unit 210 displays information on the guide display unit 214b instructing to bring the imaging unit 213 closer to the light modulation element 202. It's good to do that.
  • the image of the mark 220 is larger than the predetermined second threshold value, information instructing to move the imaging section 213 away from the light modulation element may be displayed on the guide display section 214b.
  • the moving speed detected in step S115 is equal to or higher than a predetermined upper limit speed, information instructing that the imaging section 213 should be moved slowly may be displayed on the guide display section 214b.
  • step S121 If it is determined that the number of times it has been determined that the object is not genuine is equal to or greater than the predetermined number (step S121: YES), the control unit 210 outputs information indicating that the object 203 is a counterfeit (step S122), and performs processing. finish. For example, the control unit 210 displays information indicating that the object 203 is a fake on the guide display unit 214b.
  • the control unit 210 and display unit 214 that execute step S122 function as an output unit that outputs the determined result.
  • Authenticity determination support conventionally involves imaging a hologram reproduced by an anti-counterfeiting medium provided on an object to be authenticated, and displaying the captured hologram and the hologram to be reproduced by a genuine anti-counterfeiting medium side by side.
  • the difference between the genuine and fake hologram patterns is minute, there is a risk of erroneous recognition.
  • the user can easily determine authenticity without requiring special skills.
  • the authenticity of the object 203 can be determined by simply moving the point light source image PL on the light modulation element 202 while capturing an image of the sheet-like light modulation element 202.
  • the control unit 210 of the authenticity determination device 200 ensures that the position of the reproduced image 220h and the position of the point light source image PL are the same, regardless of the position of the point light source image PL included in the captured image.
  • the authenticity of the target object 203 can be determined by the process of determining whether or not it is true.
  • the control unit 210 of the authenticity determination device 200 can detect the movement of the light source unit 212 from the position of the mark 220 included in the captured image and the position of the point light source image PL. Then, as described above, regardless of the position of the point light source image PL, the control unit 210 determines whether the position of the reproduced image 220h and the position of the point light source image PL match or not. The authenticity of 203 can be determined.
  • control unit 210 of the authenticity determination device 200 can identify the reproduced image 220h included in the captured image without error by capturing an image of the light modulation element 202 while blinking the light source unit 212.
  • the authenticity of the object 203 can be determined with higher accuracy.
  • a portable computer such as a smartphone is illustrated as an example of the authenticity determination device 200, but it may be a multi-computer including a plurality of computers. Further, the authenticity determination device 200 may be a server client system, a cloud server, or a virtual machine virtually constructed by software.
  • the computer program P according to the third embodiment may be configured to be executed in a distributed manner on a plurality of computers.
  • the sheet-like light modulation element 202 is attached to a flat object 203
  • the object 203 and the light modulation element 202 do not need to be flat, and may be curved. There may be.
  • the authenticity determination device 200, the authenticity determination method, and the computer program P according to the fourth embodiment differ in the content of the authenticity determination process, and the light modulation element 202 used has a first mark 220a and a second mark 220b, and the light modulation element 202 has a first mark 220a and a second mark 220b.
  • This embodiment differs from the third embodiment in that 202 is used like a tally mark or a seal.
  • the hardware and other configurations of the authenticity determination device 200 are similar to those of the authenticity determination device 200 and the like according to the third embodiment, so similar parts are denoted by the same reference numerals and detailed explanations are omitted.
  • FIG. 29 is a schematic diagram showing the light modulation element 202 according to the fourth embodiment attached to an object 203
  • FIG. 30 is a conceptual diagram showing a method of attaching the light modulation element 202 according to the fourth embodiment.
  • the object 203 for authenticity determination according to the fourth embodiment includes a first object half 231 and a second object half 232 forming a pair.
  • the light modulation element 202 according to the fourth embodiment has the first object half 231 and the second object half 232. It is attached so as to straddle the space between the second object half 232 and the second object half 232 .
  • the first object half 231 and the second object half 232 are, for example, two or more consecutive contract documents, a contract created in two copies, or the like.
  • the light modulation element 202 has a first mark 220a and a second mark 220b that are visible by light from a non-point light source.
  • the first mark 220a and the second mark 220b are spaced apart.
  • the light is modulated such that the first mark 220a is located on the first object half 231 side and the second mark 220b is located on the second object half 232 side.
  • An element 202 is attached to an object 203.
  • FIGS. 33 to 38 are display screen examples of the authenticity determination device 200 executing the authenticity determination processing according to the fourth embodiment. be.
  • the control unit 210 of the authenticity determination device 200 starts the imaging unit 213 (step S211), and displays the image captured by the imaging unit 213 on the display unit 214, as shown in FIG. and the guide display section 214b is displayed (step S212). Then, the control unit 210 displays text information instructing to capture the first mark 220a at the center of the sight line image 214a on the guide display unit 214b (step S213).
  • control unit 210 images the light modulation element 202 using the imaging unit 213 (step S214), and determines whether or not the first mark 220a is captured at the center of the line of sight image 214a, in other words, the control unit 210 captures an image of the light modulation element 202 using the imaging unit 213. It is determined whether the image is located at the center of the captured image (step S215). If it is determined that the first mark 220a is not captured at the center of the line-of-sight image 214a (step S215: NO), the control unit 210 returns the process to step S214.
  • step S215 If it is determined that the first mark 220a is captured at the center of the line-of-sight image 214a (step S215: YES), the control unit 210 lights up the light source unit 212 as shown in FIG. The light modulation element 202 is imaged at (step S217). Then, the control unit 210 determines the reproduced image 220h and the point light source image PL in the captured image (step S218). The method for determining the reproduced image 220h and the point light source image PL is the same as in the third embodiment. The control unit 210 temporarily stores the determination result in step S218.
  • the control unit 210 also controls an image captured with the first mark 220a captured at the center of the line-of-sight image 214a and the light source unit 212 turned off, and an image captured with the light source unit 212 turned on. It is a good idea to temporarily memorize this. Note that the image captured in step S217 corresponds to the first image obtained by capturing an image in a state in which the central portion C coincides with the first mark 220a.
  • control unit 210 displays text information on the guide display unit 214b instructing that the second mark 220b should be moved to the center of the sight line image 214a (step S219).
  • control unit 210 turns off the light source unit 212 (step S220) and images the light modulation element 202 (step S221).
  • the control unit 210 temporarily stores the captured image.
  • the control unit 210 determines whether the light source unit 212 has moved relative to the light modulation element 202 based on a change in the position of the first mark 220a or the second mark 220b included in the captured time-series images (Ste S222). If it is determined that the light source unit 212 has not moved (step S222: NO), the control unit 210 returns the process to step S221.
  • step S222 If it is determined that the light source section 212 has moved (step S222: YES), the control section 210 turns on the light source section 212 (step S223), captures an image of the light modulation element 202 (step S224), and displays the captured image. The reproduced image 220h and the point light source included in the image are determined (step S225).
  • the control unit 210 determines whether the second mark 220b is captured at the center of the line-of-sight image 214a, in other words, whether the image of the second mark 220b is located at the center of the captured image ( Step S226). If it is determined that the second mark 220b is not captured at the center of the line-of-sight image 214a (step S226: NO), the control unit 210 returns the process to step S220. The control unit 210 repeatedly executes the processes from step S220 to step S226 to reproduce the reproduced image 220h included in the image captured in the process of moving the point light source image PL from the first mark 220a to the second mark 220b. and the point light source image PL can be discriminated or recognized.
  • step S226 determines whether a predetermined condition regarding the authenticity determination of the object 203 is satisfied. Note that the image captured in step S224 immediately before it is determined that the second mark 220b is captured at the center of the line-of-sight image 214a is obtained by capturing the image with the center portion C aligned with the second mark 220b. This corresponds to the second image that was created.
  • step S227 YES
  • the control unit 210 outputs information indicating that the object 203 is genuine, as shown in FIG. 36 (step S228), and ends the process. If it is determined that the predetermined condition is not satisfied (step S227: NO), the control unit 210 outputs information indicating that the object 203 is a fake (step S229), and ends the process, as shown in FIG. .
  • control unit 210 may be configured to display, on the guide display unit 214b, text information instructing to repeat the operation once again, as shown in FIG. 38, if the predetermined condition is not satisfied.
  • text information instructing to repeat the operation once again, as shown in FIG. 38, if the predetermined condition is not satisfied.
  • the control unit 210 may be configured to display, on the guide display unit 214b, text information instructing to repeat the operation once again, as shown in FIG. 38, if the predetermined condition is not satisfied.
  • the control unit 210 may be configured to display, on the guide display unit 214b, text information instructing to repeat the operation once again, as shown in FIG. 38, if the predetermined condition is not satisfied.
  • FIG. 39 is a flowchart showing a processing procedure for determining whether a predetermined condition regarding authenticity determination according to the fourth embodiment is satisfied.
  • the control unit 210 determines whether the positions of the reproduced image 220h and the first mark 220a match based on the image obtained by capturing the first mark 220a at the center ( Step S251). Note that the control unit 210 may further determine whether or not the positions of the reproduced image 220h and the point light source image PL match.
  • step S251 If it is determined that the positions of the reproduced image 220h and the first mark 220a match (step S251: YES), the control unit 210, based on the image obtained by capturing the second mark 220b at the center, It is determined whether the positions of the reproduced image 220h and the second mark 220b match (step S252). Note that the control unit 210 may further determine whether or not the positions of the reproduced image 220h and the point light source image PL match.
  • step S252 If it is determined that the positions of the reproduced image 220h and the second mark 220b match (step S252: YES), the control unit 210 moves the point light source image PL from the first mark 220a to the second mark 220b. It is determined whether the reproduced image 220h included in the plurality of captured images matches the position of the point light source image PL in each image (step S253). In step S253, the control unit 210 determines that the positions of the reproduced image 220h and the point light source image PL are aligned with respect to all images captured in the process of moving the point light source image PL from the first mark 220a to the second mark 220b. It may be configured to determine whether or not they match, or it may be configured to determine whether or not the positions of the reconstructed image 220h and the point light source image PL match at a predetermined ratio or more. .
  • step S253 If it is determined that the positions of the plurality of reproduced images 220h and the point light source image PL match (step S253: YES), the control unit 210 determines that the predetermined condition is satisfied (step S254), and ends the process.
  • Step S251 When it is determined that the positions of the reproduced image 220h and the first mark 220a do not match (Step S251: NO), and when it is determined that the positions of the reproduced image 220h and the second mark 220b do not match (Step S252: NO). ), if it is determined that the position of the reproduced image 220h and the point light source image PL among the plurality of reproduced images 220h do not match (step S253: NO), the control unit 210 determines that the predetermined condition is not satisfied. (step S255), and the process ends.
  • the user aligns the point light source image PL with the first mark 220a, and then aligns the point light source image PL with the first mark.
  • the authenticity of the object 203 can be determined simply by moving it from the second mark 220a to the second mark 220b.
  • the authenticity determination device 200 determines whether the pair of the first object half 231 and the second object half 232 is genuine. It can be determined whether or not there is.
  • the authenticity determination device 200, the authenticity determination method, and the computer program P according to the fifth embodiment differ in the configuration of the light modulation element 202 used and the content of the authenticity determination process.
  • the hardware and other configurations of the authenticity determination device 200 are similar to those of the authenticity determination device 200 and the like according to the third embodiment, so similar parts are denoted by the same reference numerals and detailed explanations are omitted.
  • FIG. 40 is a conceptual diagram showing a light modulation element 202 according to the fifth embodiment.
  • the light modulation element 202 according to the fifth embodiment differs from the fourth embodiment in that it generates reproduced images 220h of different sizes depending on the distance between the point light source of the light source section 212 and the light modulation element 202.
  • the distance between the light source section 212 and the light modulation element 202 will be referred to as an imaging distance.
  • the larger the imaging distance is, the larger the reproduced image 220h is generated.
  • the imaging distance is h1, but as shown in the left diagram of FIG.
  • the reconstructed image 220h becomes smaller. Further, as shown in the right diagram of FIG. 40, when the imaging distance becomes long to h3 (>h1), the reproduced image 220h becomes large.
  • the relationship between the size of the reconstructed image 220h and the imaging distance is not particularly limited, for example, the size of the reconstructed image 220h and the imaging distance are in a proportional relationship.
  • FIG. 41 is a flowchart showing a processing procedure for determining whether a predetermined condition regarding authenticity determination according to the fifth embodiment is satisfied.
  • the processing contents of steps S351 to S353 are the same as those of steps S251 to S253 in the fourth embodiment, so a detailed explanation will be omitted.
  • step S353 If it is determined in step S353 that the positions of the plurality of reproduced images 220h and the point light source image PL match (step S353: YES), the control unit 210 moves the point light source image PL from the first mark 220a to the second mark. It is determined whether the relationship between the size of the reproduced image 220h included in the plurality of images captured in the process of moving to 220b and the imaging distance is a predetermined relationship (step S354). For example, when the same light modulation element 202 is configured such that the relationship between the size of the reproduced image 220h and the imaging distance is constant, the control unit 210 controls the relationship between the size of the reproduced image 220h and the imaging distance. Determine whether the relationship is constant. When the size of the reconstructed image 220h and the imaging distance are in a proportional relationship, the control unit 210 determines whether the proportionality coefficient is constant. Note that the imaging distance may be estimated from the size of the first mark 220a.
  • step S354 determines that the relationship between the size of the reproduced image 220h and the imaging distance is a predetermined relationship.
  • step S351 When it is determined that the positions of the reproduced image 220h and the first mark 220a do not match (step S351: NO), and when it is determined that the positions of the reproduced image 220h and the second mark 220b do not match (step S352: NO). ), if it is determined that the position of the reproduced image 220h and the point light source image PL among the plurality of reproduced images 220h do not match (step S253: NO), the relationship with the imaging distance is not in a predetermined relationship. If determined (step S354: NO), the control unit 210 determines that the predetermined condition is not satisfied (step S356), and ends the process.
  • the point light source image PL is aligned with the first mark 220a, and then the point light source image PL is moved from the first mark 220a.
  • the authenticity of the object 203 is determined based on the position and size of the reproduced image 220h in a plurality of images acquired in the process of moving it to the second mark 220b. By considering the position and size of the reproduced image 220h, the authenticity of the object 203 can be determined with higher accuracy.
  • the authenticity determination device 200, the authenticity determination method, and the computer program P according to the sixth embodiment include a reproduced image database (reproduced image DB) 216 that stores the relationship between the first mark 220a, the second mark 220b, and the reproduced image 220h.
  • a reproduced image database reproduced image DB
  • the hardware and other configurations of the authentication device 200 are the same as those of the authentication devices 200 and the like according to the third to fifth embodiments, so similar parts are denoted by the same reference numerals and detailed explanations will be omitted.
  • FIG. 42 is a block diagram showing a configuration example of the authenticity determination device 200 according to the sixth embodiment.
  • the storage unit 211 of the authenticity determination device 200 according to the sixth embodiment includes a reproduced image database 216.
  • the reproduced image 220h generated by the light modulation element 202 is unique to the light modulation element 202. Since the light modulation element 202 attached to the object 203 to be authenticated differs depending on the object 203, the reproduced image 220h reproduced by the light modulation element 202 attached to the object 203 also differs depending on the object 203. Therefore, the storage unit 211 of the authenticity determination device 200 stores in advance the relationship between the feature amounts of the first mark 220a and the second mark 220b of the light modulation element 202 and the feature amount of the reproduced image 220h in the reproduced image database 216. put.
  • FIGS. 43A, 43B, and 43C are conceptual diagrams showing examples of the reproduced image database 216 according to the sixth embodiment.
  • the reproduced image database 216 includes, for example, as shown in FIG. 43A, a "first mark” column that stores the feature amount of the first mark 220a, a "second mark” column that stores the feature amount of the second mark 220b, It has a "reproduced image 220h” column that stores feature amounts of the reconstructed image 220h.
  • the form of the feature quantity is not particularly limited.
  • the reproduced image 220h generated by the light modulation element 202 may be changed depending on the position where the light from the point light source is irradiated. The relationship between the feature amount of the reproduced image 220h that occurs at the position is stored.
  • the control unit 210 determines that the object 203 is genuine. Further, the control unit 210 determines the relationship between the feature amounts of the first and second marks 220a and 220b, the feature amounts of the reproduced image 220h, and the position of the reproduced image 220h as shown in FIG. 43B in the reproduced image database 210. It may be determined whether or not the relationship is consistent with the relationship stored in .
  • control unit 210 determines the relationship among the feature amounts of the first and second marks 220a and 220b, the feature amount of the reproduced image 220h, the position of the reproduced image 220h, and the size of the reproduced image 220h as shown in FIG. It may be determined whether the relationship matches the relationship stored in the reproduced image database 216 shown in 43C.
  • the authenticity of the target object 3 can be determined with higher accuracy.
  • FIG. 44 is a conceptual diagram showing a method of attaching the light modulation element 202 according to the seventh embodiment.
  • the object 250 according to the seventh embodiment is an ID card, and includes, for example, an ID card base material 5251 and a photo 252 attached or printed on the ID card base material 251, and the light modulation element 202 is an ID card base material. It is pasted across the material 251 and the photograph 252.
  • the ID card is, for example, a passport, my number card, driver's license, membership card, employee ID, student ID, credit card, or the like.
  • the seventh embodiment it is possible to determine the authenticity of the photo 252 attached or printed on the ID card base material 251.
  • FIG. 45 is a conceptual diagram showing a method of attaching the light modulation element 202 according to the eighth embodiment.
  • the object 260 according to the eighth embodiment is, for example, an admission ticket to a facility, an annual pass for using the facility, a voting paper, etc., and includes a main ticket 261 and a stub 263 such as a copy.
  • the element 202 is attached across the main ticket 261 and the ticket stub 262.
  • the authenticity of the book ticket 261 and the stub 262 can be determined.
  • FIG. 46 is a conceptual diagram of determining the authenticity of the light modulation element 302 using the authenticity determination system 300 according to the ninth embodiment.
  • the authenticity determination system 300 includes an authenticity determination device 310 and an imaging device 330 that captures a reproduced image of the light modulation element 302.
  • the imaging device 330 transmits an image in which the reproduced image of the light modulation element 302 is captured to the authenticity determination device 310.
  • the authenticity determination device 310 determines the authenticity of the light modulation element 302 based on the received image as described later, and transmits the determination result to the imaging device 330.
  • the light modulation element 302 is attached to the adherend 400.
  • the adherend 400 includes, but is not limited to, for example, an identification card, a product, or product packaging.
  • FIG. 47 is a schematic cross-sectional view showing an example of the light modulation element 302.
  • the light modulation element 302 is, for example, a hologram seal, and has a laminated structure in which a hologram forming layer 322, a light reflection layer 323, and an adhesive layer 324 are laminated in this order on one side of a base sheet 321.
  • the hologram forming layer 322 has a surface unevenness pattern, that is, a diffraction light pattern, which can reproduce a two-dimensional or three-dimensional image. As this diffraction light pattern, a relief diffraction grating in which the light intensity distribution of interference fringes due to interference between the object light and the reference light is recorded in an uneven pattern can be recorded.
  • the hologram forming layer 322 shown here is also called an embossed hologram.
  • the hologram forming layer 322 is provided with a light reflecting layer 323 as an underlying layer, so that the hologram can be clearly recognized.
  • the light modulation element 302 is attached to the adherend 400 via an adhesive layer 324.
  • the hologram forming layer 322 is manufactured using, for example, a material that undergoes gradual polymerization through additives, or a material that slowly oxidizes and expands/contracts due to oxygen in the air. Therefore, the hologram forming layer 322 changes over time.
  • FIG. 48 is a conceptual diagram illustrating an example of changes in the hologram forming layer 322 over time. As shown in FIG. 48, the interval between the diffraction gratings of the hologram forming layer 322 changes over time, and the output angle of the incident light changes. That is, since the diffraction light pattern of the hologram forming layer 322 changes over time, the reproduced image of the light modulation element 302 changes over time.
  • FIG. 49 is a conceptual diagram illustrating an example of changes in the hologram forming layer 322 over time.
  • FIG. 49 schematically shows the change over time of the volume hologram recording layer.
  • the density of the volume hologram recording layer changes over time, so its refractive index changes, and the output angle of the incident light changes.
  • the reproduced image changes over time.
  • FIGS. 50 and 51 are conceptual diagrams illustrating changes over time in the reproduced image of the light modulation element 302.
  • 50 and 51 show an image 401 and its Fourier transformed image 402 obtained by capturing a reconstructed image of the light modulation element 302 on different imaging days. Fourier transform is used when extracting frequency components included in image 401.
  • the diffracted light in FIG. 50 is shown by dotted lines.
  • FIGS. 50 and 51 as the light modulation element 302 changes over time, the direction of the diffracted light changes, and the reproduced image changes over time. Based on FIGS.
  • the difference between the images 401 obtained on different imaging days is difficult to judge with the naked eye, but the difference between the two images is extracted by a well-known image comparison method.
  • the difference between the two images is obvious in the Fourier transformed image 402 that has undergone Fourier transformation. That is, the reproduced image of the light modulation element 302 changes over time, and in particular, the frequency components extracted by Fourier transform from the captured image of the reproduced image change significantly.
  • the training data DB 3131 (described later) is created by associating and recording the information related to the training data DB 3131, and the learning described later is performed by supervised machine learning based on the training data DB 3131 using a known machine learning algorithm such as a neural network.
  • a model 3132 is generated, and the learning model 3132 is used to estimate the elapsed time from the manufacture of the light modulation element 302. Furthermore, based on the estimated elapsed time, the authenticity of the light modulation element 302 can be determined as described below.
  • FIG. 52 is a block diagram showing a configuration example of the authenticity determination system 300 according to the ninth embodiment.
  • the imaging device 330 includes a camera 331, a display section 332, and a communication section 333.
  • the imaging device 330 is a smartphone, but is not limited to this, and may be, for example, a mobile phone, a tablet, smart glasses, or the like.
  • the camera 331 captures a reproduced image of the light modulation element 302.
  • the display unit 332 displays the determination result by the authenticity determination device 310.
  • the communication unit 333 transmits the reproduced image captured by the camera 331 to the authenticity determination device 310 and receives the determination result from the authenticity determination device 310.
  • the authenticity determination device 310 includes a control section 311, a communication section 312, a storage section 313, and a bus.
  • the control unit 311 is an arithmetic and control device that executes the program of this embodiment.
  • the control unit 311 includes one or more CPUs (Central Processing Units), multi-core CPUs, GPUs (Graphics Processing Units), or the like.
  • the control unit 311 is connected to each hardware unit that constitutes the authenticity determination device 310 via a bus.
  • the communication unit 312 is an interface that performs communication between the authenticity determination device 310 and the network.
  • the communication unit 312 communicates with the imaging device 330 or an external device via a network.
  • the storage unit 313 is an SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), a flash memory, a hard disk, or the like.
  • the storage unit 313 stores in advance a control program to be executed by the control unit 311 and various data necessary for executing the control program.
  • the storage unit 313 also temporarily stores data generated when the control unit 311 executes the control program.
  • the control program stored in the storage unit 313 includes a determination program P, which is a program of the present disclosure.
  • the storage unit 313 further stores a teacher data DB 3131 and a learning model 3132.
  • a teacher data DB 3131 a frequency component extracted by Fourier transform from an image of a reproduced image of the light modulation element 302 and an elapsed time from the manufacture of the light modulation element 302 are recorded in association with each other.
  • the learning model 3132 is, for example, a neural network such as CNN, and is generated by performing supervised machine learning based on the teacher data DB 3131.
  • Supervised machine learning can be performed using any method such as, for example, logistic regression, SVM (Support Vector Machine), random forest, CNN, RNN, or XGBoost (eXtreme Gradient Boosting).
  • the learning model 3132 is a learned model that outputs an estimate regarding the elapsed time from the manufacture of the light modulation element 302 when receiving a frequency component obtained by Fourier transform of an image obtained by capturing a reproduced image of the light modulation element 302.
  • the input to the learning model 3132 is a frequency component obtained by Fourier transformation from an image in which the reproduced image of the light modulation element 302 is captured.
  • the output of the learning model 3132 is the elapsed time since the light modulation element 302 was manufactured. Note that the output of the learning model 3132 is not limited to a specific elapsed time, but may be classified into 1 year, 2 years, 3 years, . . . 10 years or more.
  • control unit 311 extracts frequency components from the image transmitted from the imaging device 330 by Fourier transform, and inputs the extracted frequency components to the learning model 3132.
  • the learning model 3132 outputs the elapsed time since the manufacture of the light modulation element 302. The authenticity of the light modulation element 302 is determined by comparing the elapsed time since manufacture of the light modulation element 302 with a preset threshold value.
  • the authenticity determination device 310 of this embodiment is a general-purpose personal computer, a tablet, a large-sized computer, or a virtual machine that operates on a large-sized computer.
  • Authenticity determination device 310 may be configured by hardware such as multiple personal computers, tablets, or large computers.
  • Authenticity determination device 310 may be configured by a quantum computer.
  • the authenticity determination device 310 may have an interface to which the imaging device 330 is connected.
  • the teacher data DB 3131 and the learning model 3132 may be stored in an external large-capacity storage device connected to the authenticity determination device 310.
  • FIG. 53 is a conceptual diagram illustrating the authenticity determination when the light modulation element 302 is cut out and reused. As shown in FIG. 53, the light modulation element 302 originally attached to the product 400A is cut out and reused in the product 400B. The manufacturing date of each product 400A and 400B is printed. The manufacturing date of product 400A is the same as the manufacturing date of light modulation element 302, but earlier than the manufacturing date of product 400B.
  • the camera 331 captures an image of the manufacturing date printed on the product 400B, and from the captured image, the manufacturing date is recognized by well-known image recognition processing to obtain information regarding the manufacturing date of the product 400B.
  • the information related to the manufacturing date of the product 400B is not limited to that recognized by image recognition processing, but may be manually input manufacturing date information, or may be pre-stored manufacturing date information.
  • the manufacturing date is not limited to the date printed on the product, but may be expressed in the product's barcode, QR code (registered trademark), or the like, or may be recorded on the light modulation element 302 in advance.
  • the camera 331 captures a reproduced image of the light modulation element 302, and the communication unit 333 transmits information regarding the manufacturing date of the product 400B and an image of the reproduced image to the authenticity determination device 310.
  • the control unit 311 determines whether the received reproduced image was captured. Information regarding the reconstructed image is obtained by performing Fourier transform on the image and extracting its frequency components. The control unit 311 inputs the extracted frequency components to the learning model 3132. The learning model 3132 estimates and outputs the elapsed time from the manufacture of the light modulation element 302 based on the input frequency component.
  • the control unit 311 calculates the elapsed time since the manufacture of the product 400B based on the received information regarding the manufacturing date of the product 400B, and calculates the elapsed time since the manufacture of the product 400B and the estimation output from the learning model 3132. Authenticity is determined by comparing the results. In the example shown in FIG. 53, since the estimated elapsed time from the manufacturing date of the light modulation element 302 is longer than the elapsed time from the manufacturing date of the product 400B, the control unit 31 transmits the determination result of “fake” to the communication unit. 312 to the imaging device 330. In the imaging device 330, the communication unit 312 receives the determination result transmitted from the authenticity determination device 310, and the display unit 332 displays the determination result.
  • FIG. 54 is a conceptual diagram illustrating the authenticity determination when the light modulation element 302 is used as a duplicate.
  • the employee ID card 400D and its light modulation element 302B are copies of the employee ID card 400C and its light modulation element 302A.
  • the date of issue is printed on the employee ID card 400C, and the date of issue is the same as the date of manufacture of the light modulation element 302A. Since the employee ID card 400D is a duplicate of the employee ID card 400C, the date of issue is written in the same way as the employee ID card 400C.
  • the imaging device 330 uses a camera 331 to capture an image of the issue date printed on the employee ID card 400D, recognizes the issue date from the captured image through well-known image recognition processing, and obtains information regarding the issue date of the employee ID card 400D. get.
  • the information related to the issue date of the employee ID card 400D is not limited to that recognized by image recognition processing, but may also be information on the issue date entered manually, or information on the issue date stored in advance. good.
  • the issue date is not limited to the date printed on the employee ID card, but may be expressed in a barcode or QR code of the employee ID card, or may be recorded in advance on the light modulation element 302.
  • the camera 331 captures a reproduced image of the light modulation element 302
  • the communication unit 333 transmits information regarding the issue date of the employee ID card 400D and the captured reproduced image to the authenticity determination device 310.
  • the control unit 311 determines whether the received reproduced image was captured. Information regarding the reconstructed image is obtained by performing Fourier transform on the image and extracting its frequency components. The control unit 311 inputs the extracted frequency components to the learning model 3132. The learning model 3132 estimates the elapsed time since the manufacture of the light modulation element 302 based on the input frequency component, and outputs the estimation result.
  • the control unit 311 calculates the elapsed time since the issuance of the employee ID card 400D based on the information regarding the issue date of the employee ID card 400D, and calculates the elapsed time since the issuance of the employee ID card 400D and the estimation output from the learning model 3132. Authenticity is determined by comparing the results. In the example shown in FIG. 54, since the estimated elapsed time from the manufacture of the light modulation element 302 is shorter than the elapsed time from the issue date of the employee ID card 400D, the control unit 311 communicates the determination result of "fake". The information is transmitted to the imaging device 330 via the unit 312 . In the imaging device 330, the communication unit 312 receives the determination result transmitted from the authenticity determination device 310, and the display unit 332 displays the determination result.
  • the authenticity can be determined with high accuracy.
  • the control unit 311 may appropriately set the first threshold value T1 and the second threshold value T2 based on the calculated elapsed time from manufacture of the product 400B.
  • the control unit 311 may appropriately set the first threshold T1 and the second threshold T2 based on the calculated elapsed time from the issuance of the employee ID card 400D.
  • the estimated elapsed time is equal to or greater than the first threshold T1
  • T1 it is determined that the elapsed time from the manufacture of the light modulating element 302 is longer than the elapsed time from the manufacture of the adherend 400, so that the It can be determined that the modulation element 302 has been reused.
  • the estimated elapsed time is less than or equal to T2
  • the elapsed time since the manufacture of the light modulation element 302 is shorter than the time elapsed since the manufacture of the adherend 400, so the light modulation element 302 is not duplicated. It can be determined that
  • an expiration date may be set in advance for the elapsed time from the manufacture of the light modulation element 302, and if the estimated elapsed time exceeds the expiration date, it may be determined that the light modulation element 302 is a fake.
  • FIG. 55 is a flowchart illustrating an example of the procedure of the authenticity determination process executed by the control unit 311 of the authenticity determination device 310.
  • the control unit 311 determines whether an image in which a reproduced image is captured from the imaging device 330 has been received (step S411), and if it is determined that an image in which a reproduced image has been captured has not been received (step S411: NO), the process waits until the reproduced image receives the captured image.
  • control unit 311 determines that an image in which a reproduced image has been captured has been received (step S411: YES)
  • control unit 311 performs image processing on the received image to extract frequency components included in the reproduced image by Fourier transformation (Ste S412).
  • the control unit 311 inputs the extracted frequency component to the learning model 3132 and obtains the elapsed time T from manufacturing estimated by the learning model 3132 (step S413).
  • the control unit 311 determines whether the acquired elapsed time T is smaller than the first threshold T1 (step S414), and when it is determined that the elapsed time T is smaller than the first threshold T1 (step S414). : YES), it is determined whether the elapsed time T is larger than the second threshold T2 (step S415).
  • the second threshold T2 is smaller than the first threshold T1.
  • step S415 determines that the elapsed time T is larger than the second threshold T2 (step S415: YES)
  • the control unit 311 determines that it is true (step S416), and transmits the determination result to the imaging device 330 via the communication unit 312. (step S417), and the process ends.
  • Step S414 determines that the elapsed time T is not smaller than the first threshold T1 (step S414: NO), or when it is determined that the elapsed time T is not larger than the second threshold T2. (Step S415: NO), it is determined to be a fake (Step S418), and the process moves to Step S417.
  • the learning model 3132 is used to estimate the elapsed time since the manufacture of the light modulation element 302 based on the captured image of the reproduced image of the light modulation element 302, and the estimated elapsed time is Since the authenticity of the light modulation element 302 is determined based on this, the authenticity of the light modulation element 302 can be determined with high accuracy.
  • the determination method according to this embodiment may be combined with a conventional authentication method using template matching. Thereby, the accuracy of determination can be further improved.
  • the frequency component extracted by Fourier transform from the image in which the reconstructed image is captured has been described as the information related to the reconstructed image.
  • the information related to the reconstructed image is not limited to the above-mentioned frequency components. It may be an image feature amount such as.
  • the information related to the reproduced image may be an image obtained by capturing the reproduced image.
  • the teacher data DB 3131 it is desirable to provide a field for recording an image of a reproduced image instead of a field for recording information related to frequency components.
  • a field for recording environmental conditions including temperature, humidity, etc. may be further provided in the teacher data DB 3131.
  • the information regarding the reproduced image further includes information regarding the environmental conditions around the light modulation element 302.
  • image processing for extracting frequency components by Fourier transform is performed on the authenticity determination device 310 side, but may be performed on the imaging device 330 side. That is, in the imaging device 330, after capturing a reproduced image of the light modulation element 302, the image may be subjected to Fourier transform to extract frequency components, and information related to the frequency components may be transmitted to the authenticity determination device 310.
  • Embodiment 10 This embodiment relates to an authenticity determination device 500 that is integrated with an imaging device. Portions common to those in Embodiment 9 are given the same reference numerals and description thereof will be omitted.
  • FIG. 56 is a block diagram showing a configuration example of the authenticity determination device 500 according to the tenth embodiment.
  • Authenticity determination device 500 includes a control section 311, a communication section 312, a storage section 313, a camera 331, a display section 332, and a bus.
  • the authenticity determination device 500 is a smartphone, but is not limited to this, and may be a mobile phone, a tablet, smart glasses, etc., for example.
  • a determination program P which is a program of the present disclosure, is installed on the smartphone, and the control unit 311 executes the determination program P, so that the smartphone operates as the authenticity determination device 500 of the present disclosure.
  • the determination program P stored in the storage unit 313 may be provided by a recording medium M on which the determination program P is readably recorded.
  • the recording medium M is, for example, a portable memory such as an SD (Secure Digital) card, a micro SD card, or a Compact Flash (registered trademark).
  • the control unit 311 reads the determination program P from the recording medium M using a reading device (not shown), and installs the read determination program P into the storage unit 313.
  • the determination program P stored in the storage unit 313 may be provided by communication via the communication unit 312. In this case, the control unit 311 acquires the determination program P through the communication unit 312 and installs the acquired determination program P into the storage unit 313.
  • FIG. 57 is a flowchart showing an example of the procedure of the authenticity determination process executed by the control unit 311 of the authenticity determination device 500.
  • the control unit 311 causes the camera 331 to capture a reproduced image (step S421), and performs image processing on the captured image by Fourier transformation to extract frequency components included in the reproduced image (step S422).
  • the control unit 311 inputs information related to the extracted frequency components to the learning model 3132, and obtains the elapsed time T from manufacturing estimated by the learning model 3132 (step S423).
  • the control unit 311 determines whether the acquired elapsed time T is smaller than the first threshold T1 (step S424), and when it is determined that the elapsed time T is smaller than the first threshold T1 (step S424). :YES), it is determined whether the elapsed time T is greater than the second threshold T2 (step S425).
  • the second threshold T2 is smaller than the first threshold T1.
  • step S425 YES
  • the control unit 311 determines that the determination is true (step S426), and causes the display unit 332 to display the determination result (step S427). ), the process ends.
  • Step S424 determines that the elapsed time T is not smaller than the first threshold T1 (step S424: NO), or when it is determined that the elapsed time T is not larger than the second threshold T2. (Step S425: NO), it is determined that it is a fake (Step S428), and the process moves to Step S427.
  • the authenticity determination device 500 by causing the authenticity determination device 500 to perform imaging, image processing, and determination processing, it is possible to provide a miniaturized authenticity determination device.
  • the teacher data DB 3131 and the learning model 3132 are different from those in the ninth and tenth embodiments.
  • the teacher data DB 3131 associates a frequency component extracted by Fourier transform from an image in which a reproduced image of the light modulation element 302 is captured, and an evaluation value of suspicion of peeling of the light modulation element 302. recorded. Once the light modulation element 302 is peeled off, its reproduced image changes. Therefore, the above-mentioned teacher data DB 3131 can be created by performing a peel-off/re-attachment test of the light modulation element 302 in advance and capturing a reproduced image.
  • the learning model 3132 is a trained model that outputs an evaluation value of suspicion of peeling of the light modulation element 302 when receiving a frequency component of an image in which a reproduced image of the light modulation element 302 is captured.
  • the input to the learning model 3132 is a frequency component obtained by Fourier transformation from an image in which the reproduced image of the light modulation element 302 is captured.
  • the output of the learning model 3132 is an evaluation value regarding the presence or absence of peeling of the light modulation element 02. Note that the output of the learning model 3132 may be classified as whether or not the light modulation element 302 is peeled off.
  • the control unit 311 determines whether or not the light modulation element 302 has peeled off based on the evaluation value output from the learning model 3132. For example, if the evaluation value is within a certain range, the light modulation element 302 has been peeled off. If it is determined that the light modulation element 302 is not peeled off, a determination result of "true" is outputted.
  • the learning model 3132 is used to estimate the presence or absence of peeling of the light modulation element based on the captured image of the reproduced image of the light modulation element 302, the same effect as in the ninth embodiment can be obtained. can be played.
  • the learning model in Embodiments 9 and 10 hereinafter referred to as a first learning model
  • the learning model in this embodiment hereinafter referred to as a second learning model
  • the second learning model is used to estimate that the light modulation element 302 has not been peeled off
  • the first learning model is used to estimate the elapsed time from the manufacture of the light modulation element 302.
  • the authenticity can be determined again. In this way, by performing the authenticity determination twice using different learning models, the accuracy of the authenticity determination is further improved.
  • the second learning model is a trained model that has been subjected to machine learning using second training data in which information related to a reproduced image of the light modulation element and the presence or absence of peeling of the light modulation element are recorded in association with each other.
  • the computer program causes the computer to acquire a first image of the target medium taken under the first photographing condition and a second image photographed under the second photographing condition, and based on the acquired first image and second image. to generate a difference image, extract feature amounts based on pixel values of the generated difference image, and determine the authenticity of the target medium based on the extracted feature amounts.
  • the computer program divides the difference image into a plurality of divided images, extracts feature amounts based on pixel values of the divided divided images, and determines the characteristics of the divided images.
  • a process is executed to determine the authenticity of the target medium based on the quantity pattern and the threshold value pattern.
  • the computer program calculates a first evaluation value for evaluating authenticity for each divided image based on the feature amount of the divided image and the threshold value, and A second evaluation value of the difference image is calculated based on the first evaluation value of , and the authenticity of the target medium is determined based on the calculated second evaluation value.
  • the computer program determines the type of the target medium, and selects from among a plurality of pre-stored threshold patterns according to the determined type. Select a threshold pattern and execute the process.
  • Appendix 5 The computer program, in any one of Appendices 1 to 4, causes the computer to execute a process of outputting guidance so that the determination area of the target medium falls within the photographing range.
  • the computer program in any one of Supplementary Notes 1 to 5, causes the computer to execute a process of outputting a determination result of the authenticity of the target medium.
  • the feature amount includes a statistical value of a luminance value.
  • the computer program causes the computer to receive a first operation of photographing the target medium under a first photographing condition, receives a second operation of photographing the target medium under a second photographing condition, and causes the computer to perform the first operation and the A process is executed to display the authenticity determination result of the target medium based on each image obtained by the second operation.
  • the authenticity determination device includes an acquisition unit that acquires a first image of the target medium under a first photographing condition and a second image photographed under a second photographing condition; A generation unit that generates a difference image based on the pixel values of the generated difference image, an extraction unit that extracts a feature amount based on the pixel value of the generated difference image, and a determination unit that determines the authenticity of the target medium based on the extracted feature amount.
  • Authenticity determination method is to obtain a first image taken of the target medium under the first photographing condition and a second image photographed under the second photographing condition, and perform a difference based on the acquired first image and second image. An image is generated, a feature amount based on the pixel value of the generated difference image is extracted, and the authenticity of the target medium is determined based on the extracted feature amount.
  • Authenticity determination device 51 Control unit 52 Communication unit 53 Memory 54 Image capturing unit 55 Light emission control unit 56 Medium type determination unit 57 Image processing unit 58 Determination unit 59 Display unit 60 Operation unit 61 Audio output unit 62 Storage unit 63 Computer program 64 Threshold Pattern section 100 Authenticity determination device 110 Control section 130 Screen 131 Target image 132 Shutter button 133 Four corner frames 111 Storage section 112 Operation section 113 Display section 114 Light source section 115 Imaging section 102 Light modulation element 121 Hologram layer 121a Uneven surface 1211 Hologram structure 122 Reflective layer 123 Outer frame 123a Characters 1231, 1232, 1233 Photograph 124 Base material h Imaging distance 200 Authenticity determination device 202 Light modulation element 203, 250, 260 Object 210 Control section 211 Storage section 212 Light source section 213 Imaging section 214 Display section 214 a Line of sight image 214b Guide display section 215 Operation section 220 Mark 220a First mark 220b Second mark 220h Reproduction image 231 First object half

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)

Abstract

特殊な技能や専門知識が無くても媒体の真贋判定が可能なコンピュータプログラム、真贋判定装置及び真贋判定方法を提供する。 コンピュータプログラムは、コンピュータに、対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得し、取得した第1画像及び第2画像に基づいて差分画像を生成し、生成した差分画像の画素値に基づく特徴量を抽出し、抽出した特徴量に基づいて対象媒体の真贋を判定する、処理を実行させる。

Description

コンピュータプログラム、真贋判定装置及び真贋判定方法
 本発明は、コンピュータプログラム、真贋判定装置及び真贋判定方法に関する。
 クレジットカード、紙幣、株券、商品券や高級ブランド品などには、複製や偽造などを防止するための情報が記録された媒体が用いられている。このような媒体には、複製困難なホログラムのようなセキュリティ技術が利用されている。
 現在、一般的に量産されているホログラムには大別して2つのタイプがある。1つはレリーフホログラムやエンボスホログラムと呼ばれるものであり、このエンボスホログラム(レリーフホログラム)は量産性に優れているが、上市より期間が経っており、似て非なるレベルの模造品が作製されてしまっている。
 もう1つはリップマンホログラムや体積ホログラムと呼ばれるものである。リップマンホログラムは、上下左右方向の立体感があり、波長選択性に優れている等のエンボスホログラムにない特徴があり、模造品を作製することは非常に困難である。
 特許文献1には、光源からの光を紙幣に備えるホログラムに照射し、ホログラムからの異なる2方向の反射光を反射型プリズムに取り込んで、ほぼ同一方向へ屈折させて、ホログラムの2つの画像を視認できる検査器が開示されている。
特開2006-350995号公報
 しかし、特許文献1のような検査器の取り扱いには、特殊な技能や専門知識を要する。不正防止のための情報が記録された媒体をカラーコピーしたような複製であっても、目視によって真贋を判定するのは困難である。
 本発明は、斯かる事情に鑑みてなされたものであり、特殊な技能や専門知識が無くても媒体の真贋判定が可能なコンピュータプログラム、真贋判定装置及び真贋判定方法を提供することを目的とする。
 本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、コンピュータプログラムは、コンピュータに、対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得し、取得した第1画像及び第2画像に基づいて差分画像を生成し、生成した差分画像の画素値に基づく特徴量を抽出し、抽出した特徴量に基づいて前記対象媒体の真贋を判定する、処理を実行させる。
 本発明によれば、特殊な技能や専門知識が無くても媒体の真贋判定が可能となる。
真贋判定装置の構成の一例を示す図である。 ホログラフィーの概要を示す図である。 対象媒体が本物である場合の第2撮影条件での撮影を示す図である。 対象媒体が本物である場合の第1撮影条件での撮影を示す図である。 対象媒体が贋物である場合の第2撮影条件での撮影を示す図である。 対象媒体が贋物である場合の第1撮影条件での撮影を示す図である。 第1画像及び第2画像の一例を示す図である。 画像処理部による処理の一例を示す図である。 分割画像(評価画像)の輝度平均を模式的に示す図である。 分割画像(評価画像)の輝度平均を模式的に示す図である。 閾値パターンの一例を示す図である。 媒体種別と閾値パターンとの対応関係を示す図である。 真贋判定方法の第1例を示す図である。 真贋判定方法の第2例を示す図である。 対象媒体の真贋判定のための操作の一例を示す図である。 真贋判定装置による真贋判定の処理手順の一例を示す図である。 真贋判定装置の構成例を示すブロック図である。 光変調素子の一例を示す模式断面図である。 真贋判定装置を用いて光変調素子に光像を再生させて撮像する概念図である。 撮像支援画像を示している画面の例を示す模式図である。 撮像支援画像を示している画面の例を示す模式図である。 撮像時の表示部の画面表示の手順例を示すフローチャートである。 撮像距離の変化に応じた正解再生像の変化を示す概念図である。 正解再生像及び非正解再生像の写真の対比図である。 制御部によって実行される真贋判定処理の手順例を示すフローチャートである。 実施形態3に係る真贋判定装置の構成例を示すブロック図である。 実施形態3に係る光変調素子の一例を模式的に示す断面図である。 真贋判定装置を用いて光変調素子を撮像している状態を示す模式図である。 点光源の光が照射されていないときの光変調素子を示す模式図である。 点光源の光が照射されているときの光変調素子を示す模式図である。 点光源の光が照射されているときの光変調素子を示す模式図である。 実施形態3に係る真贋判定の処理手順を示すフローチャートである。 実施形態3に係る真贋判定処理を実行している真贋判定装置の表示画面例である。 対象物に貼付された実施形態3に係る光変調素子を示す模式図である。 実施形態4に係る光変調素子の貼付方法を示す概念図である。 実施形態4に係る真贋判定の処理手順を示すフローチャートである。 実施形態4に係る真贋判定の処理手順を示すフローチャートである。 実施形態4に係る真贋判定処理を実行している真贋判定装置の表示画面例である。 実施形態4に係る真贋判定処理を実行している真贋判定装置の表示画面例である。 実施形態4に係る真贋判定処理を実行している真贋判定装置の表示画面例である。 実施形態4に係る真贋判定処理を実行している真贋判定装置の表示画面例である。 実施形態4に係る真贋判定処理を実行している真贋判定装置の表示画面例である。 実施形態4に係る真贋判定処理を実行している真贋判定装置の表示画面例である。 実施形態4に係る真贋判定に係る所定条件を充足するか否かを判定する処理手順を示すフローチャートである。 実施形態5に係る光変調素子を示す概念図である。 実施形態5に係る真贋判定に係る所定条件を充足するか否かを判定する処理手順を示すフローチャートである。 実施形態6に係る真贋判定装置の構成例を示すブロック図である。 実施形態6に係る再生像DBの例を示す概念図である。 実施形態6に係る再生像DBの例を示す概念図である。 実施形態6に係る再生像DBの例を示す概念図である。 実施形態7に係る光変調素子の貼付方法を示す概念図である。 実施形態8に係る光変調素子の貼付方法を示す概念図である。 実施形態9に係る真贋判定システムを使用して光変調素子の真贋を判定する概念図である。 光変調素子の一例を示す模式断面図である。 ホログラム形成層の経時変化の例を説明する概念図である。 ホログラム形成層の経時変化の例を説明する概念図である。 光変調素子の再生像の経時変化を説明する概念図である。 光変調素子の再生像の経時変化を説明する概念図である。 実施形態9に係る真贋判定システムの構成例を示すブロック図である。 光変調素子を切り取って再使用した場合における真贋判定を説明する概念図である。 光変調素子を複製して使用した場合における真贋判定を説明する概念図である。 真贋判定装置の制御部によって実行される真贋判定処理の手順例を示すフローチャートである。 実施形態10に係る真贋判定装置の構成例を示すブロック図である。 真贋判定装置の制御部によって実行される真贋判定処理の手順例を示すフローチャートである。
(実施形態1)
 以下、本発明をその実施の形態を示す図面に基づいて説明する。図1は真贋判定装置50の構成の一例を示す図である。真贋判定装置50は、装置全体を制御する制御部51、通信部52、メモリ53、画像撮像部54、発光制御部55、媒体種別判定部56、画像処理部57、判定部58、表示部59、操作部60、音声出力部61、及び記憶部62を備える。真贋判定装置50は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等の携帯機器で構成され、ユーザによって携帯される。本実施形態では、真贋判定装置50として、スマートフォンを例に挙げて説明する。
 記憶部62は、例えば、ハードディスク又は半導体メモリ等で構成することができ、コンピュータプログラム63、閾値パターン部64、及び所要の情報を記憶することができる。
 制御部51は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等が所要数組み込まれて構成されている。制御部51は、コンピュータプログラム63で定められた処理を実行することができる。すなわち、制御部51による処理は、コンピュータプログラム63による処理でもある。制御部51は、コンピュータプログラム63を実行することにより、媒体種別判定部56、画像処理部57、及び判定部58の機能を実行することができる。媒体種別判定部56、画像処理部57、及び判定部58は、ハードウエアで構成してもよく、ソフトウエアで実現する構成としてもよく、あるいはハードウエアとソフトウエアとの組み合わせで実現してもよい。コンピュータプログラム63は、通信部52を介してダウンロードして記憶部62に記憶してもよい。また、記録媒体に記録されたコンピュータプログラム63を読み取って記憶部62に記憶してもよい。
 通信部52は、例えば、通信モジュールを備え、通信ネットワークを介して外部の装置との間の通信機能を備える。
 メモリ53は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の半導体メモリで構成することができる。コンピュータプログラム63をメモリ53に展開することにより、制御部51は、コンピュータプログラム63を実行することができる。
 表示部59は、液晶表示パネル、有機EL表示パネル等を備え、真贋判定装置50による判定結果を表示することができる。
 操作部60は、タッチパネル等で構成され、表示部59上で文字の入力操作を行うことができるとともに、表示部59に表示されたアイコン、画像又は文字等に対する操作を行うことができる。
 音声出力部61は、スピーカを備え、音声を出力することができる。
 画像撮像部54は、カメラを備え、対象媒体の画像を取得することができる。対象媒体は、真贋判定の対象物であり、例えば、クレジットカード、紙幣、株券、商品券や高級ブランド品など使用され、複製や偽造などを防止するための情報が記録された媒体である。本実施形態では、対象媒体はホログラフィー(ホログラム)を用いている。
 図2はホログラフィーの概要を示す図である。図2のホログラフィーは、記録したい光波の振幅と位相(物体光)を、参照光と干渉させて干渉縞として媒体に記録し、回析現象を利用して記録した光波を再生する技術である。干渉縞が記録されたものをホログラムという。図2に示すように、物体光と参照光とを干渉させると、媒体に干渉縞が記録される。媒体が本物であれば、干渉縞が記録されているので、媒体に参照光を照射すると、記録した光波の振幅と位相とが物体光として再生される。一方、例えば、媒体をカラーコピーしたような複製媒体(贋物)には、干渉縞が記録されていないため、物体光は再生されない。
 発光制御部55は、LEDを備え、LEDの発光のオン・オフ、光量の制御を行うことができる。
 ユーザは、真贋判定装置50を用いて簡単な操作を行うだけで対象媒体の真贋判定結果を得ることができ、特殊な技能や専門知識を必要としない。簡単な操作は、(1)対象媒体を第1撮影条件で撮影すること、(2)対象媒体を第2撮影条件(第1撮影条件と異なる条件)で撮影することである。第1撮影条件は、LEDをオン状態、あるいは第2撮影条件よりもLEDの光量を多くする。第2撮影条件は、LEDをオフ状態、あるいは第1撮影条件よりもLEDの光量を少なくする。以下では、LEDをオン状態・オフ状態することで撮影条件を切り替えるものとする。
 図3A対象媒体が本物である場合の第2撮影条件での撮影を示す図であり、図3Bは対象媒体が本物である場合の第1撮影条件の撮影を示す図である。対象媒体の判定領域内にホログラムが存在する。図3Aは、第2撮影条件の場合を示す。第2撮影条件では、LEDがオフ状態であるため、環境光だけが参照光として対象媒体に照射される。環境光の光量は比較的少ないので、回析光(再生される物体光)は少ない。環境光がスマートフォンで遮られる場合には、回析光はさらに少なくなる。
 図3Bは、第1撮影条件の場合を示す。第1撮影条件では、LEDがオン状態であるため、環境光に加えてLEDの光が参照光として対象媒体に照射される。LEDの光量は多いので、第2撮影条件の場合と比較して、回析光(再生される物体光)は強くなる。具体的には、回析光特有の強い局所的輝度変化がある。このように、対象媒体が本物である場合には、第1撮影条件と第2撮影条件とで回析光の強さに比較的大きな差があるので、第1撮影条件で撮影して得られた第1画像の画素値と、第2撮影条件で撮影して得られた第2画像の画素値との差分は比較的大きくなる。
 図4A対象媒体が贋物である場合の第2撮影条件での撮影を示す図であり、図4Bは対象媒体が贋物である場合の第1撮影条件の撮影を示す図である。対象媒体の判定領域内にはホログラムが存在しない。図4Aは、第2撮影条件の場合を示す。第2撮影条件では、LEDがオフ状態であるため、環境光だけが参照光として対象媒体に照射される。しかし、判定領域にはホログラムが存在しないので、回析光は再生されず、反射光がカメラに戻る。
 図4Bは、第1撮影条件の場合を示す。第1撮影条件では、LEDがオン状態であるため、環境光に加えてLEDの光が参照光として対象媒体に照射される。しかし、判定領域にはホログラムが存在しないので、回析光は再生されず、反射光がカメラに戻る。この場合、反射光の輝度は撮影面全体で上がるものの、回析光特有の強い局所的輝度変化は見られない。このように、対象媒体が贋物である場合には、第1撮影条件と第2撮影条件とで回析光特有の強い局所的輝度変化は見られないので、第1撮影条件で撮影して得られた第1画像の画素値と、第2撮影条件で撮影して得られた第2画像の画素値との差分は比較的小さくなる。
 図5は第1画像及び第2画像の一例を示す図である。図5では、対象媒体は本物である場合を示す。第1画像は、LEDがオンの状態で撮影された画像であり、強い参照光が対象媒体に照射されるので、ホログラムの存在によって、回析光特有の局所的輝度変化が大きい像(絵柄)が得られる。第2画像は、LEDがオフの状態で撮影された画像であり、弱い参照光が対象媒体に照射されるので、回析光の強さは弱く、輝度変化の少ない像(絵柄)が得られる。第1画像及び第2画像は、画像処理部57へ入力され、第1画像は媒体種別判定部56へ入力される。
 媒体種別判定部56は、対象媒体の種別を判定する。対象媒体の種別は、例えば、ホログラムによって得られる絵柄の種別である。媒体種別判定部56は、種別判定結果を出力する。
 画像処理部57は、取得部、生成部、及び抽出部としての機能を有し、第1画像及び第2画像に基づいて、所定の画像処理を行う。
 図6は画像処理部57による処理の一例を示す図である。以下、画像処理部57による所定の画像処理について順に説明する。画像処理部57は、取得した第1画像及び第2画像に基づいて差分画像を生成する。差分画像は、第1画像の各画素の画素値(例えば、R、G、Bの各色成分)と第2画像の各画素の画素値(例えば、R、G、Bの各色成分)との差の絶対値を各画素の画素値とする画像である。第1画像と第2画像の縦横サイズが異なる場合には、第1画像又は第2画像のいずれかのサイズに合わせればよい。
 画像処理部57は、生成した差分画像を複数の分割画像に分割する。図6の例では、5×5=25の分割画像に分割している。分割数は、適宜決定することができる。分割数を余り多くすると、後段の処理量が増大する。また、分割数が少なすぎると、分割画像のサイズが大きくなり、後段の処理で算出する、分割画像全体の輝度値の統計値(例えば、輝度の平均)が平滑化され、回析光特有の局所的輝度変化を捉えにくくする。分割数は、好ましくは、例えば、16、25、36などとすることができる。
 画像処理部57は、複数に分割した分割画像のうち、画素値(差分)が大きい画素を含む分割画像を評価画像として抽出してもよい。図6の例では、25分割された分割画像のうち、太枠で囲まれた9個の分割画像を評価画像として抽出している。なお、評価画像の抽出は必須ではなく、分割画像をそのまま後段の処理へ入力してもよい。
 画像処理部57は、分割画像(評価画像)に対して、グレースケール変換して、RGB値を輝度値に変換する。画像処理部57は、グレースケール変換された分割画像毎に、分割画像の各画素の輝度値の統計値を算出する。特徴量としての輝度値の統計値は、平均値でもよく、中央値でもよく、最頻値でもよい。本実施形態では、統計値として平均値を用いる。これにより、分割画像(評価画像)毎に輝度の平均値が算出される。図6に示すように、分割画像(i,j)の輝度平均(輝度の平均値)をY(i,j)で表す。ここで、i=1~3、j=1~3である。
 図7は分割画像(評価画像)の輝度平均を模式的に示す図である。図7Aは、対象媒体が本物である場合を示す。図3で説明したように、対象媒体が本物である場合には、第1撮影条件と第2撮影条件とで回析光の強さに比較的大きな差があるので、第1撮影条件で撮影して得られた第1画像の画素値と、第2撮影条件で撮影して得られた第2画像の画素値との差分は比較的大きくなる。従って、分割画像(評価画像)それぞれの輝度平均は比較的大きくなる。
 図7Bは、対象媒体が贋物である場合を示す。図4で説明したように、対象媒体が贋物である場合には、第1撮影条件と第2撮影条件とで回析光特有の強い局所的輝度変化は見られないので、第1撮影条件で撮影して得られた第1画像の画素値と、第2撮影条件で撮影して得られた第2画像の画素値との差分は比較的小さくなる。従って、分割画像(評価画像)それぞれの輝度平均は比較的小さくなる。
 判定部58は、分割画像(評価画像)の輝度平均のパターンと閾値パターンとに基づいて対象媒体の真贋を判定する。
 図8は閾値パターンの一例を示す図である。閾値パターンは、図7に例示する9個の分割画像(評価画像)それぞれの輝度平均に対応する輝度閾値を設定したマトリクスパターンであり、9個の閾値範囲R1(1,1)、R1(1,2)、R1(1,3)、R1(2,1)、R1(2,2)、R1(2,3)、R1(3,1)、R1(3,2)、R1(3,3)で構成される。R1(i,j)は{R1min(i,j)~R1max(i,j)}の閾値範囲を表す。R1min(i,j)は輝度閾値の下限値であり、R1max(i,j)は輝度閾値の上限値である。i、jは1~3の整数である。なお、閾値パターンの行列(縦横)の閾値の数は、差分画像における分割画像(評価画像)の縦横の数に応じて設定されている。
 閾値パターンは、媒体種別に対応付けて、閾値パターン部64に格納されている。
 図9は媒体種別と閾値パターンとの対応関係を示す図である。図9に示すように、閾値パターン部64には、媒体種別と閾値パターンとの対応関係を示す情報が格納されている。図9の例では、媒体種別(絵柄)を符号P1、P2、P3、…で表し、対応する閾値パターンを符号R1、R2、R3、…で表している。媒体種別判定部56の種別判定結果が、例えば、種別P1とすると、閾値パターンR1が選定される。
 判定部58は、記憶部62に記憶した、複数種類の閾値パターンの中から、媒体種別判定部56が判定した媒体の種別に応じた閾値パターンを選定する。これにより、様々な絵柄がホログラムとして記録された対象媒体に対応して真贋判定を行うことができる。
 判定部58は、分割画像の輝度平均及び閾値に基づいて分割画像毎に真贋を評価する第1評価値を算出する。第1評価値は分割画像(評価画像)毎に算出される。判定部58は、分割画像毎の第1評価値に基づいて、複数の分割画像で構成される差分画像の第2評価値を算出する。第2評価値は、差分画像毎に算出される。判定部58は、算出した第2評価値に基づいて対象媒体の真贋を判定する。
 図10は真贋判定方法の第1例を示す図である。第1例は対象媒体が本物である場合を示す。まず、対象媒体Aについて説明する。対象媒体Aから撮影して得られた差分画像の分割画像(評価画像)を9個(3×3)とする。選定される閾値パターンも3×3のマトリクスパターンとなる。判定部58は、各分割画像の輝度平均と、閾値パターン内の当該分割画像に対応する位置の閾値とを比較し、輝度平均が閾値範囲内にある場合は第1評価値を「1」とし、輝度平均が閾値範囲内にない場合は第1評価値を「0」とする。図10の例では、3×3の第1評価値マトリクスの全ての第1評価値が「1」となっている。判定部58は、第1評価値マトリクスの第1評価値の平均を第2評価値として算出する。図10の例では、第2評価値は「1.0」となる。最終的に、判定部58は、第2評価値が評価閾値(例えば、0.85など)以上である場合、対象媒体は本物であると判定する。図10の例では、対象媒体Aは本物であると判定されている。評価閾値は適宜設定すればよい。
 同様に、対象媒体Bから撮影して得られた差分画像の分割画像(評価画像)を9個(3×3)とする。選定される閾値パターンも3×3のマトリクスパターンとなる。判定部58は、各分割画像の輝度平均と、閾値パターン内の当該分割画像に対応する位置の閾値とを比較し、輝度平均が閾値範囲内にある場合は第1評価値を「1」とし、輝度平均が閾値範囲内にない場合は第1評価値を「0」とする。図10の例では、3×3の第1評価値マトリクスのうち8個の第1評価値が「1」となっている。判定部58は、第1評価値マトリクスの第1評価値の平均を第2評価値として算出する。図10の例では、第2評価値は「0.89」となる。最終的に、判定部58は、第2評価値が評価閾値(例えば、0.85など)以上であるので対象媒体Bは本物であると判定する。
 図11は真贋判定方法の第2例を示す図である。第2例は対象媒体が贋物である場合を示す。対象媒体Cから撮影して得られた差分画像の分割画像(評価画像)を9個(3×3)とする。選定される閾値パターンも3×3のマトリクスパターンとなる。判定部58は、各分割画像の輝度平均と、閾値パターン内の当該分割画像に対応する位置の閾値とを比較し、輝度平均が閾値範囲内にある場合は第1評価値を「1」とし、輝度平均が閾値範囲内にない場合は第1評価値を「0」とする。図11の例では、3×3の第1評価値マトリクスの全ての第1評価値が「0」となっている。判定部58は、第1評価値マトリクスの第1評価値の平均を第2評価値として算出する。図10の例では、第2評価値は「0.0」となる。最終的に、判定部58は、第2評価値が評価閾値(例えば、0.85など)以上である場合、対象媒体は本物であると判定する。図11の例では、対象媒体Cは贋物であると判定されている。
 同様に、対象媒体Dから撮影して得られた差分画像の分割画像(評価画像)を9個(3×3)とする。選定される閾値パターンも3×3のマトリクスパターンとなる。判定部58は、各分割画像の輝度平均と、閾値パターン内の当該分割画像に対応する位置の閾値とを比較し、輝度平均が閾値範囲内にある場合は第1評価値を「1」とし、輝度平均が閾値範囲内にない場合は第1評価値を「0」とする。図11の例では、3×3の第1評価値マトリクスのうち7個の第1評価値が「0」となっている。判定部58は、第1評価値マトリクスの第1評価値の平均を第2評価値として算出する。図11の例では、第2評価値は「0.22」となる。最終的に、判定部58は、第2評価値が評価閾値(例えば、0.85など)より小さいので、対象媒体Dは贋物であると判定する。
 本実施形態によれば、簡単な操作を行うだけで対象媒体の真贋判定結果を得ることができ、特殊な技能や専門知識を必要としない。以下、真贋判定装置50としてスマートフォンを用いた場合の操作について説明する。
 図12は対象媒体の真贋判定のための操作の一例を示す図である。以下では、ユーザに対する案内として音声ガイドを用いる例を説明するが、案内は文字等を表示する方法でもよく、文字と音声とを併用してもよい。図12に示すように、ユーサは、以下の3つのステップの操作を行うだけでよい。
 ステップ1は、カメラの視野内の所定の枠内に対象媒体の判定領域が入るようにスマートフォンの位置を調整する。このとき、「枠線内に合わせてください。」の如く音声ガイドを出力してもよい。制御部51は、対象媒体の判定領域が撮影範囲内に入るように案内を出力してもよい。これにより、ユーザは対象媒体を適切に撮影することができる。また、撮影を開始する前に対象媒体(特に判定領域)に対して0次反射光の影響がないようにガイドしてもよい。例えば、判定領域と0次反射光領域が重ならないようにユーザに注意を促してもよい。
 ステップ2では、ユーザは、LEDをオフ状態にして対象媒体を撮影する。このとき、「LEDをオフにして撮影してください。」の如く音声ガイドを出力してもよい。
 ステップ3では、ユーザは、LEDをオン状態にして対象媒体を撮影する。このとき、「LEDをオンにして撮影してください。」の如く音声ガイドを出力してもよい。ステップ2とステップ3とでは、対象媒体とスマートフォンとの位置関係は維持した方が好ましい。カメラと対象媒体との位置関係を維持するためである。なお、対象媒体(特に判定領域)が撮影視野内入っていれば、スマートフォンの位置や角度は特に制限はない。
 以上の3つのステップの操作を行うと、スマートフォンの表示画面には、対象媒体の真贋判定結果(例えば、「本物です」、「贋物」です)が表示される。真贋判定結果を音声で出力してもよい。制御部51は、対象媒体の真贋の判定結果を出力してもよい。
 上述のように、制御部51は、第1撮影条件で対象媒体を撮影する第1操作を受け付け、第2撮影条件で当該対象媒体を撮影する第2操作を受け付け、第1操作及び第2操作によって得られた各画像に基づく対象媒体の真贋判定結果を表示することができる。これにより、簡単な操作を行うだけで対象媒体の真贋判定結果を得ることができ、特殊な技能や専門知識を必要としない。
 また、真正の対象媒体は、参照光による干渉で生じた干渉縞を記録してあり、第1撮影条件は、第2撮影条件よりも参照光が多い。操作をより簡単にするために、第1撮影条件は、参照光あり(LEDをオン状態)、第2撮影条件は、参照光なし(LEDをオフ状態)としてもよい。なお、屋内の照明器具等による環境光の有無は考慮しなくてもよい。
 上述のように、制御部51は、対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得し、取得した第1画像及び第2画像に基づいて差分画像を生成し、生成した差分画像の画素値に基づく特徴量を抽出し、抽出した特徴量に基づいて対象媒体の真贋を判定することができる。これにより、特殊な技能や専門知識が無くても媒体の真贋判定が可能となる。
 図13は真贋判定装置50による真贋判定の処理手順の一例を示す図である。以下では、便宜上処理の主体を制御部51として説明する。制御部51は、第1撮影条件で対象媒体を撮影した第1画像を取得し(S11)、第2撮影条件で当該対象媒体を撮影した第2画像を取得する(S12)。制御部51は、取得した第1画像及び第2画像に基づいて差分画像を生成する(S13)。
 制御部51は、取得した第1画像に基づいて対象媒体の種別を判定する(S14)。制御部51は、生成した差分画像を複数の分割画像に分割し(S15)、分割画像をグレースケール変換し、分割画像の輝度平均を算出する(S16)。制御部51は、判定した媒体種別に応じた閾値パターンを閾値パターン部64から読み出す(S17)。
 制御部51は、分割画像毎に輝度平均と閾値を対比して分割画像毎に第1評価値を算出する(S18)。制御部51は、分割画像毎の第1評価値を平均することにより差分画像の第2評価値を算出する(S19)。制御部51は、第2評価値に基づいて対象媒他の真贋を判定し(S20)、判定結果を出力して(S21)、処理を終了する。
 ホログラム媒体の特徴を利用して、視点の角度の差によって回析光が変化することによって媒体の真贋を判定する方法が考えられる。回析光の変化を捉えるためには、媒体と参照光と観察点の3点の位置関係を適切に設定する必要がある。例えば、適切な視点の角度制御が必要であり、あるいは確度の異なる複数のカメラが必要であり、あるいは光源と撮影面を同一面にする必要がある等の制約が生じる。しかし、本実施形態によれば、上述のような制約はない。
(実施形態2)
 以下、図面に基づいて実施の形態を具体的に説明する。
 図14は、真贋判定装置100の構成例を示すブロック図である。真贋判定装置100は、制御部110、記憶部111、操作部112、表示部113及び光源部114、及び撮像部115等を備え、これらの各部はバスを介して相互に接続されている。本実施の形態では、真贋判定装置100は、スマートフォンであるが、これに限らず、例えば携帯電話、タブレット、スマートグラス等であってもよい。
 制御部110は、CPU(Central Processing Unit)又はMPU(Micro-Processing Unit)等のプロセッサを含む。制御部110は、記憶部111に記憶してある制御プログラムを適宜実行することにより、真贋判定装置100が行う種々の情報処理、制御処理等を行う。
 記憶部111は、制御部110が実行する制御プログラム、及び制御プログラムの実行に必要な各種のデータを予め記憶している。また記憶部111は、制御部110が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部111に記憶される制御プログラムには、本開示のプログラムである判定プログラムPが含まれる。記憶部111に記憶されるデータには、後述する再生像データベース(以下、再生像DBという)が含まれる。再生像DBには、複数種類の光変調素子の再生像が登録されている。以下では、再生像DBに登録されている再生像、即ち真の光変調素子の再生像を正解再生像といい、贋の光変調素子の再生像を非正解再生像という。本実施の形態では、記憶部111は、スマートフォンのメモリであるが、スマートフォン用の外付けフラッシュメモリ、ハードディスク、SSD(Solid State Drive)等であってもよい。
 なお、記憶部111に記憶される判定プログラムPは、当該判定プログラムPを読み取り可能に記録した記録媒体Mにより提供されてもよい。記録媒体Mは、例えば、SD(Secure Digital)カード、マイクロSDカード、コンパクトフラッシュ(登録商標)などの可搬型のメモリである。この場合、制御部110は、不図示の読取装置を用いて記録媒体Mから判定プログラムPを読み取り、読み取った判定プログラムPを記憶部111にインストールする。また、記憶部111に記憶される判定プログラムPは、不図示の通信部を介した通信により提供されてもよい。この場合、制御部110は、通信部を通じて判定プログラムPを取得し、取得した判定プログラムPを記憶部111にインストールする。
 操作部112は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部110へ出力する。表示部113は、制御部110からの指示に従って各種の情報を表示する。本実施の形態では、操作部112及び表示部113は、一体として構成されたタッチパネルであるが、別体構成されてもよい。また、操作部112は、例えばスマートフォン本体に設けられた操作ボタン、又はユーザの音声指令を収集するマイクであってもよい。
 光源部114は、スマートフォンのLEDライトであり、光変調素子を照射して光像を浮かび上がらせるための点光源として機能する。
 撮像部115は、スマートフォンのカメラであり、光変調素子及び該光変調素子の再生像を撮像して記憶部111に記憶する。
 本実施の形態では、本開示のプログラムである判定プログラムPをスマートフォンにインストールし、制御部110が判定プログラムPを実行することにより、スマートフォンが本開示の真贋判定装置100として動作する。
 図15は光変調素子102の一例を示す模式断面図である。図15の光変調素子102は、エンボスホログラムとも呼ばれており、判定対象物に貼り付けてある。判定対象物は、例えば、キャッシュカード、クレジットカード、小切手カード等のカード類、金券類、身分証明書、重要書類、ブランド品等の商品、又は商品の包装を含む。図15に示すように、光変調素子102は、反射型のホログラム構造体1211を有するホログラム層121と、ホログラム層121の一方の面上に積層された基材124と、ホログラム層121の他方の面上に積層される反射層122とを備える。このホログラム構造体1211では、ホログラム層121の他方の面が凹凸面121aを形成し、この凹凸面121aを被覆する反射層122も凹凸形状を有する。ホログラム構造体1211が有する凹凸面121aは、原画像のフーリエ変換画像に対応した凹凸パターンを有し、フーリエ変換画像の画素毎に対応の凹凸深さを有する。このようなホログラム構造体1211に対して点光源から光が入射すると、凹凸面121aの凹凸パターンに応じた光像が再生される。
 図16は真贋判定装置100を用いて光変調素子102に光像を再生させて撮像する概念図である。図16に示すように、光源部114をホログラム層121の反射層122とは反対側の面側である観察面側に配置した場合には、光変調素子102の丸状をなす外枠123に囲まれる領域に、再生像として「OK」の文字123aを観察することができる。
 本開示の真贋判定装置100では、真贋判定装置100と光変調素子102との距離h(以下、撮像距離hという)を変更しながら、再生像が生じている光変調素子102を撮像部115によって撮像し、撮像によって得られた外枠123及び再生像の文字123aを含む複数の画像に基づいて真贋判定を行う。
 撮像時に、図16に示すように、真贋判定装置100の撮像部115が設けられた裏面は、光変調素子102の観察面に臨むとともに、当該観察面とほぼ平行になる。また、撮像部115はホログラム構造体1211の形成領域の直上方に位置する。光変調素子102の観察面と直交する方向において真贋判定装置100を上記の姿勢のまま移動させながら撮像すると、撮像距離hの変化に応じた光変調素子102及びその再生像に係る動画又は複数の静止画が得られる。
 なお、真贋判定装置100では、撮像時に、撮像部115を常に同一の撮像角度で撮像させるために、制御部110は撮像支援画像を表示部113に表示させる。図17は撮像支援画像を示している画面130の例を示す模式図である。図17Aに示すように、画面130には、撮像支援画像として、ターゲット画像131が表示されている。ターゲット画像131は3つの案内枠とされる3つの同心円の円弧を含む。なお、撮像支援画像は、ターゲット画像131に限らず、正解再生像の外枠像の形状に応じて適宜に設定すればよい。また、各案内枠の形状は1つの円における円弧に限らず、円全体であってもよい。案内枠の数は3に限らず、3以外の数であってもよい。さらに、図17に示すように、画面130には、ユーザの撮像指示を受け付けるためのシャッターボタン132が表示されている。
 静止画撮像時に、ユーザは、画面130を見ながら真贋判定装置100の姿勢を調整し、画面130において外枠123がターゲット画像131における一方の案内枠と重なる際に、例えばシャッターボタン132をクリックして一枚目の写真を撮る。そして、真贋判定装置100を移動させて撮像距離hを変更させる。画面130において外枠123がターゲット画像131における他方の案内枠と重なる際に二枚目の写真を撮る。
 動画撮像時に、ユーザは、画面130を見ながら真贋判定装置100の姿勢を調整し、画面130において外枠123がターゲット画像131における一方の案内枠と重なる際に、例えばシャッターボタン132をクリックして録画を開始させる。そして、真贋判定装置100を移動させて撮像距離hを変更させる。画面130において外枠123がターゲット画像131における他方の案内枠と重なる際に録画を終了させる。
 このように、撮像時に、ユーザは、画面130における外枠123と、ターゲット画像131を構成する各案内枠との位置関係を確認しながら真贋判定装置100を移動させることで、撮像部115を常に同一の撮像角度で撮像させることができる。
 撮像時に、制御部110は、真贋判定装置100を撮像対象から離す旨、又は真贋判定装置100を撮像対象へ近ける旨の操作手順提示情報を表示部113に表示させてもよい。また、制御部110は、ターゲット画像131における各案内枠を予め設定された順で表示させてもよい。例えば、静止画の撮像時に、1回目の撮像時にターゲット画像131における最も外側の円弧から構成される案内枠のみを表示させ、2回目の撮像時にターゲット画像131における真ん中の円弧から構成される案内枠のみを表示させ、3回目の撮像時にターゲット画像131における最も内側の円弧から構成される案内枠のみを表示させる。これにより、撮像距離hが徐々に大きくなる複数枚の写真が得られ、制御部110の情報処理が簡単になり、ユーザの撮像操作の容易性及び正確性も向上する。
 なお、ターゲット画像131を表示させる前に、図17Bに示すように、撮像ガイド手段として四隅枠133を表示させ、操作手順提示情報として「枠内にホログラムを入れてください」という情報を画面130に表示させてもよい。なお、撮像ガイド手段は、四隅枠133に限らず、他の形状であってもよい。ユーザが該操作手順提示情報に従って画面130における光変調素子102を枠内に位置させた場合に、制御部110は光変調素子102の再生像を認識して再生像DBに記憶された正解再生像であるか否かを判定する。例えば、制御部110は、再生像が正解再生像でないと判定した場合には、表示部113に判定対処物が贋である旨の情報を表示させるが、再生像が正解再生像であると判定した場合には、ターゲット画像103又は1つの案内枠を表示部113に表示させる。
 図18は撮像時の表示部113の画面表示の手順例を示すフローチャートである。
 撮像部115が起動した場合に、表示部113は、図17Bに示すように、画面130において四隅枠133及び操作手順提示情報を表示する(ステップS31)。
 制御部110が四隅枠133内の再生像を認識して正解再生像であると判定した場合に、表示部113は画面130において第1案内枠を表示する(ステップS32)。制御部110は、光変調素子102の外枠123が第1案内枠に合致する場合に、撮像部115に撮像指示を出力する。ここで、撮像指示は写真を撮る指示であってもよいし、録画を開始する指示であってもよい。なお、撮像部115は、制御部110からの指示の代わりに、シャッターボタン132を介して受け付けたユーザからの撮像指示に応じて撮像してもよい。
 そして、表示部113は、画面130において真贋判定装置100を移動させる旨の操作手順情報を表示し(ステップS33)、第1案内枠のサイズと異なる第2案内枠を表示する(ステップS34)。制御部110は、光変調素子102の外枠123が第2案内枠に合致する場合に、撮像部115に撮像指示を出力する。ここで、撮像指示は写真を撮る指示であってもよいし、録画を停止する指示であってもよい。なお、撮像部115は、制御部110からの指示の代わりに、シャッターボタン132を介して受け付けたユーザからの撮像指示に応じて撮像してもよい。
 制御部110による真贋判定が完了した場合、表示部113は画面130において真贋判定の結果を表示する(ステップS35)。
 図19は撮像距離hの変化に応じた正解再生像の変化を示す概念図である。図19に示すように、真贋判定装置100が光変調素子102から離れることに伴って、文字123aが大きくなる。即ち、点光源との距離が大きければ大きいほど、正解再生像が大きい。また、図19には、撮像距離h1、h2、h3(h1<h2<h3)でそれぞれに撮像された正解再生像の写真1231、1232、1233が示されている。図19に示すように、撮像距離hが大きければ大きいほど、写真における外枠123(外枠像)が小さいが、写真1231、1232、1233における文字123a(パターン像)のサイズは同一である。即ち、正解再生像の写真における文字123aは、サイズが撮像距離hによって変化しないという特徴を有する。
 これに対して、非正解再生像の場合では、「OK」の文字123aが観察できるが、写真における文字123aは正解再生像の上記特徴を有しない。図20は正解再生像及び非正解再生像の写真の対比図である。図20に示すように、撮像距離hが変化した場合、撮像された非正解再生像の写真において、文字123aも外枠123も変化する。具体的には、非正解再生像は、基準画像に対して、撮像距離hが小さくなると、写真における文字123a及び外枠123が大きくなり、撮像距離hが大きくなると、写真における文字123a及び外枠123が小さい。このような相違によって、正解再生像及び非正解再生像を区別することができる。
 図21は制御部110によって実行される真贋判定処理の手順例を示すフローチャートである。本実施の形態では、光変調素子102の写真を所定枚撮って、これらの写真に基づいて真贋判定を行う。
 制御部110は、光源部114及び撮像部115を起動させ(ステップS41)、表示部113に撮像支援画像を表示する(ステップS42)。
 制御部110は、撮像指示を受け付けたか否かを判定し(ステップS43)、撮像指示を受け付けていないと判定した場合に(ステップS43:NO)、撮像指示を受け付けるまで待つ。
 制御部110は、撮像指示を受け付けたと判定した場合に(ステップS43:YES)、撮像部115を制御して撮像させる(ステップS44)。
 制御部110は、ステップS44において撮像された写真から幾何学形状情報を抽出して再生像DBに記憶された正解再生像との類似度を計算することで、パターンマッチ処理を行う(ステップS45)。
 制御部110は、写真における再生像と正解再生像との類似度が所定値以上であるか否かを判定する(ステップS46)。ここで、所定値は、正解再生像の幾何学形状の特徴に応じて予め適宜に設定すればよい。
 制御部110は、類似度が所定値以上でないと判定した場合(ステップS46:NO)、処理をステップS42に戻す。この場合、制御部110は、写真が測定に使用されない旨を表示部113に提示させることが好ましい。
 制御部110は、類似度が所定値以上であると判定した場合(ステップS46:YES)、写真を記憶部111に記憶させる(ステップS47)。
 制御部110は、撮像された撮像距離に応じた写真が所定枚数に達したか否かを判定し(ステップS48)、写真が所定枚数に達していないと判定した場合に(ステップS48:NO)、処理をステップS42に戻す。この場合、制御部110は、真贋判定装置100を移動させる旨を表示部に提示させることが好ましい。
 制御部110は、写真が所定枚数に達したと判定した場合に(ステップS48:YES)、光源部114、撮像部115をオフし、記憶部111から各写真を読み出し(ステップS49)、写真における文字123a及び外枠123を認識する(ステップS50)。
 制御部110は、各写真について、文字123aのサイズ及び外枠123のサイズを算出する(ステップS51)。文字123aのサイズは、各文字の長さ、幅、高さ及び線幅であってもよいし、各文字を構成する線の面積又はピクセル数であってもよい。外枠123のサイズは、円の径であってもよいし、面積又はピクセル数であってもよい。なお、複数の写真を比較することで文字123aのサイズ変化及び外枠123のサイズ変化を算出してもよい。
 制御部110は、ステップS51において算出された外枠123のサイズに基づいて、外枠123のサイズが変化したか否かを判断する(ステップS52)。
 制御部110は、外枠123のサイズが変化していないと判断した場合(ステップS52:NO)、処理をステップS42に戻す。
 制御部110は、外枠123のサイズが変化したと判断した場合(ステップS52:YES)、文字123aのサイズが変化したか否かを判断する(ステップS53)。
 制御部110は、文字123aのサイズが変化していないと判定した場合(ステップS53:NO)、判定対象物が真である旨を表示する指示を表示部113に出力し(ステップS54)、処理を終了する。
 制御部110は、文字123aのサイズが変化したと判定した場合に(ステップS53:YES)、判定対象物が贋である旨を表示する指示を表示部113に出力し(ステップS55)、処理を終了する。
 このように、真贋判定装置100は、撮像距離hを変更させながら光変調素子102の写真を複数枚撮像し、これらの写真における文字123aの変化の有無に基づいて、判定対象物の真贋を判定することができる。
 以上では、撮像距離hを変更させながら撮像した光変調素子102に係る複数の静止画に基づいて真贋を判定する例について説明したが、撮像距離hを変更させながら撮像した光変調素子102に係る動画に基づいて真贋を判定してもよい。例えば、撮像距離hを変更させながら光変調素子102の動画を撮像し、動画から複数のフレームを抽出し、これらのフレームにおける文字123aの変化の有無に基づいて真贋を判定してもよい。
 また、実施の形態では、撮像距離hの変化は、光変調素子102の外枠123のサイズ変化に基づいて判断するが、撮像部115のピントの変化に基づいて判断してもよいし、スマートフォンに搭載された光センサで光変調素子102からの距離を測定することで判断してもよい。
 実施の形態では、光変調素子102の外枠123を参照物として判定するが、光変調素子102に他の参照物を予め設け、該参照物のサイズ変化に基づいて判定してもよい。
 なお、制御部110によって実行される処理の一部は、クラウドサーバにより実行されてもよい。例えば、真贋判定装置100は、撮像部115で撮像し、撮像した画像をクラウドサーバへ送信し、クラウドサーバは、真贋判定装置100から送信された画像を受信した場合に、例えば図21に示すステップS50~ステップS53の処理を実行し、判定結果を真贋判定装置100に送信してもよい。
 従来、真贋判定支援装置には、判定対象物の偽造防止媒体が出射する光のパターンを撮像し、撮像されたパターンと、真の偽造防止媒体が出射する光のパターンとを並べて表示させるものがある。しかし、このような装置にあっては、表示されている2つのパターンの相違を観察者が目視で判断するため、真の偽造防止媒体が出射する光のパターンの特徴を充分に理解した上で判定する必要があり、特別な技能がなければ区別がつけられない。特に、真贋のパターンの相違が微小な場合に、誤認識をしてしまう虞がある。
 しかし、本実施形態によれば、特別な技能を必要とせずに真贋判定を容易に行うことができる。
(実施形態3)
 図22は、真贋判定装置200構成例を示すブロック図である。真贋判定装置200は、制御部210、記憶部211、光源部212、及び撮像部213、表示部214及び操作部215を備える。真贋判定装置200は、例えばスマートフォン、携帯電話、タブレット端末、PDA(Personal Digital Assistant)、スマートグラス等の可搬型のコンピュータである。真贋判定装置200は、真贋判定の対象物203に設けられた光変調素子202にLED点光源からの光を照射し、当該光変調素子202に生じたホログラムの再生像220hを撮像して得た画像を解析することによって、対象物203の真贋を判定するものである(図5参照)。
 制御部210は、CPU(Central Processing Unit)又はMPU(Micro-Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、入出力インタフェース等を有するマイクロコンピュータである。制御部210の入出力インタフェースには、光源部212、及び撮像部213、表示部214及び操作部215が接続されている。ROMはコンピュータの初期動作に必要なプログラムを記憶している。RAMは、DRAM(Dynamic RAM)、SRAM(Static RAM)等のメモリであり、制御部210の演算処理を実行する際に記憶部211から読み出された後述のコンピュータプログラムP、又は制御部210の演算処理によって生ずる各種データを一時記憶する。CPUはコンピュータプログラムPを実行することにより、各構成部の動作を制御し、対象物203の真贋を判定する処理を実行する。つまり、制御部210を備えたコンピュータは、コンピュータプログラムPを実行することにより、本実施形態3に係る真贋判定装置200として動作し、本実施形態3に係る真贋判定方法を実施する。
 記憶部211は、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ等の不揮発性メモリであり、本実施形態3に係る真贋判定方法の実施に必要なコンピュータプログラムPを記憶している。なお、実施形態3に係る記憶部211は、真贋判定装置200の内蔵メモリであるが、外付けのフラッシュメモリ、ハードディスク、SSD(Solid State Drive)等であってもよい。
 本実施形態3に係るコンピュータプログラムPは、記録媒体Mにコンピュータ読み取り可能に記録されている態様でもよい。記憶部211は、図示しない読出装置によって記録媒体Mから読み出されたコンピュータプログラムPを記憶する。記録媒体MはSD(Secure Digital)カード、マイクロSDカード、コンパクトフラッシュ(登録商標)などの可搬型の半導体メモリである。また、記録媒体MはCD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、BD(Blu-ray(登録商標)Disc)等の光ディスクでもよい。更に、記録媒体Mは、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク等であってもよい。更にまた、本実施形態3に係るコンピュータプログラムPは、図示しない通信網に接続されている図示しない外部サーバが提供する態様であってもよい。真贋判定装置200は、通信網を介して提供された本実施形態3に係るコンピュータプログラムPをダウンロードし、記憶部211に記憶させる。
 光源部212は被写体を照明するLEDライトである。LEDライトは、光変調素子202に対して光を照射し、再生像220hを生じさせるための点光源の一例である。
 撮像部213は、レンズと、該レンズにて結像した像を電気信号に変換するCMOS、CCD等の撮像素子と、撮像素子にて変換された電気信号をデジタルの画像データにAD変換し、AD変換された画像データに各種画像処理を施す画像処理部とを備える。撮像部213は、撮像して得た画像データを制御部210に与える。なお、撮像部213は、動画及び静止画のいずれも撮像することができる。本実施形態3では、撮像部213は光変調素子202、及び当該光変調素子202に生じた再生像220hを撮像するために用いられる。撮像部213によって撮像して得た画像は記憶部211が記憶する。
 表示部214は、液晶パネル、有機ELディスプレイ、電子ペーパ、プラズマディスプレイ等である。表示部214は、制御部210から与えられた画像データに応じた各種情報を表示する。
 操作部215は、ユーザによる操作を受け付け、操作内容に対応した制御信号を制御部210へ出力するインタフェースである。操作部215は、例えば表示部214の表面又は内部に設けられたタッチセンサ、機械式操作ボタン等である。タッチセンサは、ユーザの指が表示部214に触れたこと、指が触れた位置等を検出することにより、ユーザの操作を受け付け、受け付けた操作情報を制御部210に与える。つまり、制御部210は操作部215にてユーザの操作を受け付けることができる。また、操作部215はユーザの音声指令を収集するマイクであってもよい。
 図23は光変調素子202の一例を模式的に示す断面図である。本実施形態3に係る光変調素子202は、点光源からの光を回折することによって、当該光が照射される部位の中央部分Cに再生像220h(図26参照)を生じさせる光学素子である。再生像220hは例えば図柄、記号を表した画像、記号をコード化した画像等である。図23中、光変調素子202の上面側は撮像部213によって撮像される表面側であり、下面側は対象物203に接着される裏面側である。
 光変調素子202は、例えば入射される光(入射光)の位相を変調して光像を再生する位相変調型のホログラム構造体2211を有するホログラム保持体として構成されている。ホログラム構造体2211は、特にフーリエ変換ホログラムによって構成される要素素子を含む。フーリエ変換ホログラムは、原画像のフーリエ変換像の波面情報を記録することで作製されるホログラムであり、いわゆるフーリエ変換レンズとして機能する。特に位相変調型のフーリエ変換ホログラムは、フーリエ変換像の位相情報を多値化して深さとして媒体に記録することで作製される凹凸面222aを有するホログラムであり、媒体の光路長差に基づく回折現象を利用して入射した光から原画像の光像を再生する。なお、このようなホログラムは、予定した入射光の波長や入射方向、並びに、再生されるべき像の形状や位置等に基づき計算機を用いて設計することが可能である。このようにして得られたホログラムは、計算機合成ホログラム(CGH:Computer Generated Hologram)とも呼ばれる。ただし、本発明を適用可能な光変調素子202の要素素子は、フーリエ変換ホログラムには限定されず、他の方法で光像を再生するホログラムや他の構造を有する光変調素子202に対しても本発明を適用することが可能である。
 具体的には、光変調素子202は、基材221と、シート状の基材221の裏面側(図23中、下側)に積層された反射型のホログラム構造体2211を有するホログラム層222と、ホログラム層222の裏面側(図23中、下側)に成膜された反射層223とを備える。
 ホログラム構造体2211及び反射層223は、基材221の表面側から入射した光を回折して再生像220hを生成するための凹凸面222aを有する。つまり、ホログラム層222の裏面側(図23中、下側)の面が凹凸面222aを形成し、この凹凸面222aを被覆する反射層223も凹凸形状を有する。ホログラム構造体2211が有する凹凸面222aは、原画像のフーリエ変換画像に対応した凹凸パターンを有し、フーリエ変換画像の画素毎に対応の凹凸深さを有する。例えば、基材221(例えばPET:ポリエチレンテレフタレート)上にホログラム層222を構成する樹脂(例えばUV硬化樹脂や熱可塑性樹脂)を塗布などで形成し、当該ホログラム層222に対して、UV硬化処理や熱圧処理と共に原版凹凸面を押し当てる凹凸賦形処理が行われ、その後、当該ホログラム層222の凹凸面222a上に反射層223(例えば、Al、ZnS、或いはTiO2など)を形成することにより、図23に示すホログラム保持体を製造することができる。なお、反射層223上に、粘着材、接着剤、ヒートシール層等を更に形成してもよい。
 このようなホログラム構造体2211に対して点光源から光が入射すると、凹凸面222aの凹凸パターンに応じた再生像220hが生ずる。以下の説明では、ホログラム構造体2211に対する光源部212からの光の入射角度は略0°(すなわちホログラム構造体2211の入射面の法線方向に沿った角度)である場合を想定する。以上のようなホログラム構造体2211に光を入射させた場合、点光源である光源部212からの光が照射される部位の中央部分Cに光像の再生像220hが再生される。
 また、光変調素子202上に光源部212の点光源が映った点光源像PL(図26参照)は明るく目立ち、点光源像PLは、再生像220hの中心部分に映り込む。撮像部213は、再生像220hと共に点光源像PLを撮像する。
 また、本実施形態3に係る光変調素子202の表面側には、非点光源からの光によって視認可能なマーク220を有する。マーク220は、例えば光変調素子202に印刷された図柄であり、光が透過する構成である構成が好ましい。つまり、マーク220は、当該マーク220を透過し、点光源である光源部212からの光がホログラム構造体2211に入射し、回折光がマーク220を透過して出射可能な構成が好ましい。更に、マーク220は必ずしも印刷物である必要は無く、ホログラム、例えばリップマンホログラムで構成するように構成してもよい。
 なお、マーク220上に生ずる再生像220hを確認しない構成である場合、つまり、マーク220と異なる位置に生成される再生像220hを確認する構成の場合、マーク220は不透明な構成であってもよい。
 図24は真贋判定装置200を用いて光変調素子202を撮像している状態を示す模式図である。図24に示すように、光変調素子202はシート状であり、真贋判定の対象物203に貼付される。対象物203は、例えば、契約書、キャッシュカード、クレジットカード、小切手カード等のカード類、金券類、身分証明書、重要書類、ブランド品等の商品、又は商品の包装を含む。
 図24に示すように、光変調素子202の表面側を望む位置に光源部212を配置し、光源部212を点灯させた場合、光変調素子202は、光源部212からの光によって、当該光が照射される部位の中央部分Cを中心にして再生像220h(図26参照)を生成する。また、中央部分Cには点光源像PL(図26参照)が映り込む。以下、光源部212及び撮像部213は光変調素子202に対して正対した状態で照明及び撮像を行うものとする。つまり、光源部212及び撮像部213の光軸は、光変調素子202の法線方向と略一致するように、真贋判定装置200が操作されるものとする。なお、光軸及び法線方向の略一致とは、完全な一致を意味するものでは無く、本実施形態3に係る真贋判定を行うことが可能な範囲でのずれを含むものである。
 図25は、点光源の光が照射されていないときの光変調素子202を示す模式図、図26A及び図26Bは、点光源の光が照射されているときの光変調素子202を示す模式図である。図25に示すように、光源部212が消灯している場合、光変調素子202に設けられたマーク220のみが視認される。光源部212を点灯させると図26Aに示すように、点光源である光源部212から照射された光によって、当該中央部分Cに再生像220hが生成される。図26中、星印は光源部212の点光源像PLを示している。光源部212の光が照射される部位の中央部分Cの位置と、点光源像PLの位置は一致している。以下、光源部212の光が照射される部位の中央部分Cの位置を、適宜、点光源像PLの位置と表記して説明する。
 図26A及び図26Bに示すように、光源部212が光変調素子202の面内方向、つまり光変調素子202に対して略平行な方向へ移動した場合、マーク220の位置に対して、光源部212の光が照射される部位の中央部分C及び点光源像PLが移動するが、再生像220hも点光源像PLの移動に追従して移動し、常に当該中央部分C又は点光源像PLの位置に再生像220hが生成される。
 本実施形態3の真贋判定装置200は、このように構成された光変調素子202を用いて対象物203の真贋判定を行う。具体的には、真贋判定装置200は、光変調素子202に対する光源部212の位置を変化させながら当該光変調素子202を撮像し、撮像して得た複数の画像におけるマーク220の位置、再生像220hの位置、及び点光源像PLの位置との関係を解析することによって、対象物203の真贋判定を行う。
 図27は、実施形態3に係る真贋判定の処理手順を示すフローチャートである。図28は、実施形態3に係る真贋判定処理を実行している真贋判定装置200の表示画面例である。真贋判定装置200の制御部210は、撮像部213を起動し(ステップS111)、図28に示すように、撮像部213にて撮像された画像を表示部214に表示すると共に、照準線画像214a及びガイド表示部214bを表示する(ステップS112)。照準線画像214aは、例えば十字線の画像であり、光変調素子202のマーク220を撮像画像の中心に捉えるためのものである。ガイド表示部214bは、対象物203の真贋判定に必要な操作をユーザに指示するための情報を表示する。例えば、ガイド表示部214bは、撮像部213を水平方向へ移動させることを指示する情報を表示する。また、後述するように、ガイド表示部214bは、対象物203の真贋判定の結果を表示することができる。
 ステップS112の処理を終えた制御部210は光源部212を点滅させる制御を行い(ステップS113)、撮像部213を用いて、点灯時及び消灯時において光変調素子202を撮像する(ステップS114)。ステップS114を実行する制御部210は、光変調素子202に対する光源部212(点光源)の位置を異にして撮像することにより得られた複数の画像を取得する取得部として機能する。そして、制御部210は、光源部212が消灯しているときに撮像された複数の画像に基づいて、光変調素子202に対する光源部212及び撮像装置の移動を検知する(ステップS115)。例えば、制御部210は、複数の画像に含まれるマーク220の画像の位置の変化量を算出することによって、発光部及び撮像部213の移動を検知することができる。なお、真贋判定装置200が加速度センサを備えている場合、制御部210は当該加速度センサを用いて、光源部212及び撮像部213の移動を検知するように構成してもよい。
 次いで、制御部210は、撮像された画像に含まれる再生像220hの画像及び点光源像PLを判別する(ステップS116)。例えば、略同一のタイミングで光源部212が消灯していることに得られた画像と、光源部212を消灯していることに得られた画像とを比較することによって、点光源である光源部212によって生じた再生像220hを判別することができる。制御部210は、光源部212が点灯及び消灯しているときに撮像して得た画像の双方に含まれる像は、マーク220その他の画像であることと認識することができる。また、制御部210は、光源部212が消灯しているときに撮像して得た画像に含まれず、光源部212が点灯しているときに撮像して得た画像に含まれる像は、再生像220hであることを認識することができる。
 一方、制御部210は、撮像して得た画像に含まれる点光源像PLを判別する。例えば制御部210は、2値化処理、モルフォロジ処理等により、輝度が所定値以上であって、撮像画像の略中央にあり、大きさが所定範囲内の画像を抽出することによって、点光源像PLを判別すればよい。
 次いで、制御部210は、光変調素子202に対して光源部212等が移動しながら、所定回数以上、光変調素子202を撮像したか否かを判定する(ステップS117)。撮像回数が所定回数未満であると判定した場合(ステップS117:NO)、制御部210は処理をステップS113へ戻す。
 所定回数以上撮像したと判定した場合(ステップS117:YES)、制御部210は、光源部212及び撮像部213を移動させながら撮像して得た複数の画像に基づいて、当該複数の画像における再生像220hの位置が、光源部212の移動に追従しているか否かを判定する(ステップS118)。具体的には複数の画像における点光源像PLの位置と、再生像220hの位置とが一致しているか否かを判定する。点光源像PL及び再生像220hの位置は、ステップS115の処理で特定され、制御部210は、点光源像PL及び再生像220hの中心が一致しているか否か、又は中心間の距離が所定値以内であるか否かを判定することによって、ステップS118の判定を行うとよい。
 なお、点光源像PLの位置が既知である場合、制御部210は、ステップS118において再生像220hが点光源像PLの位置に相当する所定位置にあるか否かを判定すればよい。例えば、照準線画像214aの中心と点光源像PLの位置とが対応している場合、制御部210は、ステップS118において再生像220hが照準線画像214aの中心又は撮像された画像の中心にあるか否かを判定すればよい。この場合、ステップS115の処理で点光源像PLを認識する必要はない。
 制御部210は、ステップS118の判定結果に基づいて、光変調素子202が貼付された対象物203が真正であるか否かを判定する(ステップS119)。例えば、制御部210は、複数の画像における点光源像PLの位置と、再生像220hの位置とが全て一致している場合、対象物203が真正であると判定する。なお、ステップS119を実行する制御部210は、取得した複数の画像における再生像220hの位置に基づいて対象物203の真贋を判定する判定部として機能する。
 ステップS119において対象物203が真正であると判定した場合(ステップS119:YES)、制御部210は、対象物203が真正であることを示す情報を出力し(ステップS120)、処理を終える。例えば、制御部210は、ガイド表示部214bに、対象物203が真正なものであることを示す情報を表示する。ステップS120を実行する制御部210及び表示部214は、判定した結果を出力する出力部として機能する。
 ステップS119において、真正で無いと判定した場合(ステップS119:NO)、例えば、点光源像PLの位置と、再生像220hの位置とが一致していない画像がある場合、制御部210は、所定回数以上、真正で無いと判定されたか否かを判定する(ステップS121)。真正で無いと判定された回数が所定回数未満である場合(ステップS121:NO)、ユーザの操作不備とも考えられるため、制御部210は、処理をステップS113へ戻し、真贋判定を継続する。
 なお、制御部210は、真贋判定を適切に実施するための指示をガイド表示部214bに表示してもよい。例えば、撮像された画像に含まれるマーク220の画像が所定の第1閾値より小さい場合、制御部210は、撮像部213を光変調素子202に近づけることを指示する情報をガイド表示部214bに表示するとよい。逆に、マーク220の画像が所定の第2閾値より大きい場合、撮像部213を光り変調素子から遠ざけることを指示する情報をガイド表示部214bに表示するとよい。また、ステップS115で検出された移動速度が所定の上限速度以上である場合、ゆっくり撮像部213を移動させるべきことを指示する情報をガイド表示部214bに表示するとよい。
 真正で無いと判定された回数が所定回数以上であると判定した場合(ステップS121:YES)、制御部210は、対象物203が贋物であることを示す情報を出力し(ステップS122)、処理を終える。例えば、制御部210は、ガイド表示部214bに、対象物203が贋物であることを示す情報を表示する。ステップS122を実行する制御部210及び表示部214は、判定した結果を出力する出力部として機能する。
 従来、真贋判定の対象物に設けられた偽造防止媒体によって再生されるホログラムを撮像し、撮像されたホログラムと、真の偽造防止媒体によって再生されるべきホログラムとを並べて表示させるような真贋判定支援装置がある。しかし、このような装置にあっては、真の偽造防止媒体によって再生するホログラムの特徴を充分に理解した上で、表示される2つのホログラムの相違を目視で判定する必要があり、特別な技能がなければ区別がつけられない。特に、真贋のホログラムパターンの相違が微小な場合に、誤認識をしてしまう虞がある。
 しかし、以上の通り、本実施形態3に係る真贋判定装置200、真贋判定方法及びコンピュータプログラムPによれば、ユーザは特別な技能を必要とせずに真贋判定を容易に行うことができる。具体的には、シート状の光変調素子202を撮像しながら、光変調素子202における点光源像PLを移動させるだけで、対象物203の真贋を判定することができる。
 より詳細には、真贋判定装置200の制御部210は、撮像して得た画像に含まれる点光源像PLの位置にかかわらず、再生像220hの位置と、点光源像PLの位置とが一致しているか否かを判定する処理で、対象物203の真贋を判定することができる。
 また、真贋判定装置200の制御部210は、撮像して得た画像に含まれるマーク220の位置と、点光源像PLの位置とから光源部212の移動を検知することができる。そして、制御部210は、上記の通り、点光源像PLの位置にかかわらず、再生像220hの位置と、点光源像PLの位置とが一致しているか否かを判定することにより、対象物203の真贋を判定することができる。
 更に、真贋判定装置200の制御部210は、光源部212を点滅させながら光変調素子202を撮像することにより、撮像して得た画像に含まれる再生像220hを誤りなく判別することができ、より精度良く対象物203の真贋を判定することができる。
 なお、本実施形態3では、真贋判定装置200の一例として、スマートフォン等の可搬型コンピュータを例示したが、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、真贋判定装置200は、サーバクライアントシステムや、クラウドサーバ、ソフトウエアによって仮想的に構築された仮想マシンであってもよい。本実施形態3に係るコンピュータプログラムPは、複数のコンピュータで分散して実行される構成であってもよい。
 また、本実施形態3では平らな対象物203にシート状の光変調素子202を貼付する例を説明したが、対象物203及び光変調素子202は平面状である必要は無く、湾曲したものであってもよい。
 更に、本実施形態3では真贋判定をコンピュータが実行する例を説明したが、真贋判定方法の一部又は全部を人が実行するように構成してもよい。
(実施形態4)
 実施形態4に係る真贋判定装置200、真贋判定方法及びコンピュータプログラムPは、真贋判定処理の内容が異なり、使用する光変調素子202が第1マーク220a及び第2マーク220bを有し、光変調素子202を割印又は契印のように使用する点が実施形態3と異なる。真贋判定装置200のハードウエア、その他の構成は、実施形態3に係る真贋判定装置200等と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
 図29は、対象物203に貼付された実施形態4に係る光変調素子202を示す模式図、図30は、実施形態4に係る光変調素子202の貼付方法を示す概念図である。実施形態4に係る真贋判定の対象物203は対をなす第1対象物半体231と、第2対象物半体232とを含む。実施形態4に係る光変調素子202は、第1対象物半体231及び第2対象物半体232の関連性が真であることを保証するために、当該第1対象物半体231と、第2対象物半体232との間に跨がるように貼付される。第1対象物半体231及び第2対象物半体232は、例えば、2枚以上の連続する契約書面、2部作成された契約書等である。
 実施形態4に係る光変調素子202は、非点光源からの光によって視認可能な第1マーク220a及び第2マーク220bを有する。第1マーク220a及び第2マーク220bは離隔している。本実施形態4では、図29に示すように、第1マーク220aが第1対象物半体231側に位置し、第2マーク220bが第2対象物半体232側に位置するように光変調素子202が対象物203に貼付されている。
 図31及び図32は、実施形態4に係る真贋判定の処理手順を示すフローチャート、図33~図38は、実施形態4に係る真贋判定処理を実行している真贋判定装置200の表示画面例である。
 真贋判定装置200の制御部210は、撮像部213を起動し(ステップS211)、図33に示すように、撮像部213にて撮像された画像を表示部214に表示すると共に、照準線画像214a及びガイド表示部214bを表示する(ステップS212)。そして、制御部210は、第1マーク220aを照準線画像214aの中心に捉えることを指示する文字情報をガイド表示部214bに表示する(ステップS213)。
 次いで、制御部210は、撮像部213にて光変調素子202を撮像し(ステップS214)、第1マーク220aが照準線画像214aの中心に捕捉されているか否か、言い換えると第1マーク220aの画像が撮像画像の中心に位置しているか否かを判定する(ステップS215)。第1マーク220aが照準線画像214aの中心に捕捉されていないと判定した場合(ステップS215:NO)、制御部210は処理をステップS214へ戻す。
 第1マーク220aが照準線画像214aの中心に捕捉されたと判定した場合(ステップS215:YES)、制御部210は、図34に示すように光源部212を点灯させ(ステップS216)、撮像部213にて光変調素子202を撮像する(ステップS217)。そして、制御部210は、撮像して得た画像における再生像220h及び点光源像PLの画像を判別する(ステップS218)。再生像220h及び点光源像PLの判別方法は実施形態3と同様である。制御部210は、ステップS218の判別結果を一次記憶する。また、制御部210は、第1マーク220aが照準線画像214aの中心に捕捉され、光源部212が消灯している状態で撮像された画像と、光源部212を点灯した状態で撮像された画像とを一次記憶するとよい。
 なお、ステップS217で撮像される画像は、中央部分Cが、第1マーク220aと一致した状態で撮像することにより得られた第1の画像に相当する。
 そして、制御部210は、図35に示すように、第2マーク220bを照準線画像214aの中心に捉えるように移動すべきことを指示する文字情報をガイド表示部214bに表示する(ステップS219)。次いで、制御部210は、光源部212を消灯し(ステップS220)、光変調素子202を撮像する(ステップS221)。制御部210は、撮像された画像を一次記憶する。
 制御部210は、撮像された時系列の画像に含まれる第1マーク220a又は第2マーク220bの位置の変化により、光変調素子202に対して光源部212が移動したか否かを判定する(ステップS222)。光源部212が移動していないと判定した場合(ステップS222:NO)、制御部210は処理をステップS221へ戻す。
 光源部212が移動したと判定した場合(ステップS222:YES)、制御部210は光源部212を点灯させ(ステップS223)、光変調素子202を撮像し(ステップS224)、撮像して得た画像に含まれる再生像220h及び点光源を判別する(ステップS225)。
 次いで、制御部210は、第2マーク220bが照準線画像214aの中心に捕捉されているか否か、言い換えると第2マーク220bの画像が撮像画像の中心に位置しているか否かを判定する(ステップS226)。第2マーク220bが照準線画像214aの中心に捕捉されていないと判定した場合(ステップS226:NO)、制御部210は処理をステップS220へ戻す。制御部210は、ステップS220~ステップS226の処理を繰り返し実行することによって、点光源像PLを第1マーク220aから第2マーク220bへ移動させる過程で撮像して得た画像に含まれる再生像220h及び点光源像PLを判別ないし認識することができる。
 第2マーク220bが照準線画像214aの中心に捕捉されたと判定した場合(ステップS226:YES)、制御部210は、対象物203の真贋判定に係る所定条件を充足するか否かを判定する(ステップS227)。
 なお、第2マーク220bが照準線画像214aの中心に捕捉されたと判定される直前にステップS224で撮像される画像は、中央部分Cが、第2マーク220bと一致した状態で撮像することにより得られた第2の画像に相当する。
 所定条件を充足すると判定した場合(ステップS227:YES)、制御部210は、図36に示すように、対象物203が真正であることを示す情報を出力し(ステップS228)、処理を終える。所定条件を充足しないと判定した場合(ステップS227:NO)、制御部210は、図37に示すように、対象物203が贋物であることを示す情報を出力し(ステップS229)、処理を終える。
 なお、制御部210は、所定条件を充足しない場合、図38に示すように、もう一度操作をやり直すこと指示する文字情報をガイド表示部214bに表示するように構成してもよい。
 また、上記の真贋判定処理では、第2マーク220bを中心に捉えた段階で、真贋判定を行う例を説明したが、点光源像PLを第1マーク220aから第2マーク220bへ移動させる過程で都度、再生像220hと点光源像PLの位置が一致しているか否かを判定し、一致していない場合、又は所定回数以上一致していないと判定された場合、もう一度操作をやり直すこと指示する文字情報をガイド表示部214bに表示するように構成してもよい。
 図39は、実施形態4に係る真贋判定に係る所定条件を充足するか否かを判定する処理手順を示すフローチャートである。ステップS227の処理において制御部210は、第1マーク220aを中心に捉えて撮像して得た画像に基づいて、再生像220h及び第1マーク220aの位置が一致しているか否かを判定する(ステップS251)。なお、制御部210は、更に、再生像220hと、点光源像PLの位置が一致しているか否かを判定するとよい。
 再生像220h及び第1マーク220aの位置が一致していると判定した場合(ステップS251:YES)、制御部210は、第2マーク220bを中心に捉えて撮像して得た画像に基づいて、再生像220h及び第2マーク220bの位置が一致しているか否かを判定する(ステップS252)。なお、制御部210は、更に、再生像220hと、点光源像PLの位置が一致しているか否かを判定するとよい。
 再生像220h及び第2マーク220bの位置が一致していると判定した場合(ステップS252:YES)、制御部210は、点光源像PLを第1マーク220aから第2マーク220bへ移動させる過程で撮像された複数の画像に含まれる再生像220hと、各画像における点光源像PLの位置が一致しているか否かを判定する(ステップS253)。ステップS253においては、制御部210は、点光源像PLを第1マーク220aから第2マーク220bへ移動させる過程で撮像された全ての画像について、再生像220hと、点光源像PLの位置が一致しているか否かを判定するように構成してもよいし、所定割合以上で、再生像220hと、点光源像PLの位置が一致しているか否かを判定するように構成してもよい。
 複数の再生像220hと、点光源像PLの位置が一致していると判定した場合(ステップS253:YES)、制御部210は、所定条件を充足すると判定し(ステップS254)、処理を終える。
 再生像220h及び第1マーク220aの位置が一致していないと判定した場合(ステップS251:NO)、再生像220h及び第2マーク220bの位置が一致していないと判定した場合(ステップS252:NO)、複数の再生像220hのうち、当該再生像220hと、点光源像PLの位置が一致していないと判定した場合(ステップS253:NO)、制御部210は、所定条件を充足しないと判定し(ステップS255)、処理を終える。
 以上の通り、本実施形態4に係る真贋判定装置200、真贋判定方法及びコンピュータプログラムPによれば、ユーザは点光源像PLを第1マーク220aに合わせ、次いで、点光源像PLを第1マーク220aから第2マーク220bへ移動させるだけ、対象物203の真正性を判定することができる。特に図29及び図30のように光変調素子202を対象物203に貼付した場合、真贋判定装置200は、第1対象物半体231と、第2対象物半体232との対が真正であるか否かを判定することができる。
(実施形態5)
 実施形態5に係る真贋判定装置200、真贋判定方法及びコンピュータプログラムPは、使用する光変調素子202の構成及び真贋判定処理の内容が異なる。真贋判定装置200のハードウエア、その他の構成は、実施形態3に係る真贋判定装置200等と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
 図40は、実施形態5に係る光変調素子202を示す概念図である。実施形態5に係る光変調素子202は、光源部212の点光源と、光変調素子202との距離に応じた異なる大きさの再生像220hを生成する点が実施形態4と異なる。以下、光源部212と、光変調素子202との距離を撮像距離と呼ぶ。実施形態5の例では、図40に示すように、撮像距離が大きい程、より大きな再生像220hが生成される。具体的には、図40中央図においては、撮像距離はh1であるところ、図40左図に示すように撮像距離がh2(<h1)と短くなると、再生像220hが小さくなる。また、図40右図に示すように撮像距離がh3(>h1)と長くなると、再生像220hが大きくなる。
 再生像220hの大きさと、撮像距離との関係は特に限定されるものでは無いが、例えば、再生像220hの大きさと、撮像距離は比例関係にある。
 図41は、実施形態5に係る真贋判定に係る所定条件を充足するか否かを判定する処理手順を示すフローチャートである。ステップS351~ステップS353の処理内容は実施形態4におけるステップS251~ステップS253と同様であるため、詳細な説明は省略する。
 ステップS353において複数の再生像220hと、点光源像PLの位置が一致していると判定した場合(ステップS353:YES)、制御部210は、点光源像PLを第1マーク220aから第2マーク220bへ移動させる過程で撮像された複数の画像に含まれる再生像220hの大きさと、撮像距離との関係が所定の関係であるか否かを判定する(ステップS354)。例えば、同一の光変調素子202において、再生像220hの大きさと、撮像距離との関係が一定となるように構成されている場合、制御部210は、再生像220hの大きさと、撮像距離との関係が一定であるか否かを判定する。再生像220hの大きさと、撮像距離との関係が比例関係にある場合、制御部210は、比例係数が一定であるか否かを判定する。なお、撮像距離は、第1マーク220aの大きさから推定するように構成すればよい。
 再生像220hの大きさと、撮像距離との関係が所定の関係であると判定した場合(ステップS354:YES)、制御部210は、所定条件を充足すると判定し(ステップS355)、処理を終える。
 再生像220h及び第1マーク220aの位置が一致していないと判定した場合(ステップS351:NO)、再生像220h及び第2マーク220bの位置が一致していないと判定した場合(ステップS352:NO)、複数の再生像220hのうち、当該再生像220hと、点光源像PLの位置が一致していないと判定した場合(ステップS253:NO)、撮像距離との関係が所定の関係にないと判定した場合(ステップS354:NO)、制御部210は、所定条件を充足しないと判定し(ステップS356)、処理を終える。
 以上の通り、本実施形態5に係る真贋判定装置200、真贋判定方法及びコンピュータプログラムPによれば、点光源像PLを第1マーク220aに合わせ、次いで、点光源像PLを第1マーク220aから第2マーク220bへ移動させる過程で取得した複数の画像における再生像220hの位置及び大きさに基づいて対象物203の真贋を判定する。再生像220hの位置及び大きさを考慮することによって、より精度良く対象物203の真贋を判定することができる。
(実施形態6)
 実施形態6に係る真贋判定装置200、真贋判定方法及びコンピュータプログラムPは、第1マーク220aと、第2マーク220bと、再生像220hとの関係を記憶する再生像データベース(再生像DB)216を用いて対象物203の真贋を判定する点が実施形態4及び5と異なる。真贋判定装置200のハードウエア、その他の構成は、実施形態3~5に係る真贋判定装置200等と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
 図42は、実施形態6に係る真贋判定装置200の構成例を示すブロック図である。実施形態6に係る真贋判定装置200の記憶部211は、再生像データベース216を備える。
 光変調素子202が生成する再生像220hは、当該光変調素子202に固有のものである。真贋判定の対象物203に貼付される光変調素子202は、対象物203毎に異なるため、当該対象物203に貼付された光変調素子202が再生する再生像220hも対象物203毎に異なる。そこで、真贋判定装置200の記憶部211は、光変調素子202の第1マーク220a及び第2マーク220bの特徴量と、再生像220hの特徴量との関係を再生像データベース216に予め記憶しておく。
 図43A、43B及び43Cは、実施形態6に係る再生像データベース216の例を示す概念図である。再生像データベース216は、例えば図43Aに示すように、第1マーク220aの特徴量を格納する「第1マーク」列と、第2マーク220bの特徴量を格納する「第2マーク」列と、再生像220hの特徴量を格納する「再生像220h」列とを有する。特徴量の形態は特に限定されるものでは無い。
 また、図43Bに示す他の例では、「第1マーク」列と、「第2マーク」列と、「再生像220h」列に加え、更に当該再生像220hが再生される位置を格納する「位置」列を有する。光変調素子202が生成する再生像220hは点光源の光を照射する位置によって変化させてもよく、再生像データベース216は、点光源の光が詳細される部位の中央部分Cの位置と、当該位置に生ずる再生像220hの特徴量との関係を格納する。
 また、図43Cに示す他の例では、「第1マーク」列と、「第2マーク」列と、「位置」列、「再生像220h」列に加え、更に撮像距離と再生像220hの大きさの関係を格納している。
 実施形態6に係る真贋判定装置200の制御部210は、実施形態4の図39に示す真贋判定処理、又は実施形態5の図41に示す真贋判定処理に加え、第1及び第2マーク220a,220bの特徴量と、再生される再生像220hの特徴量との関係が、図43Aに示す再生像データベース216に格納されている関係と整合しているか否かを判定する。整合している場合、制御部210は、対象物203が真正なものと判定する。
 また、制御部210は、第1及び第2マーク220a,220bの特徴量と、再生される再生像220hの特徴量と、再生像220hの位置との関係が、図43Bに示す再生像データベース216に格納されている関係と整合しているか否かを判定するようにしてもよい。
 更に、制御部210は、第1及び第2マーク220a,220bの特徴量と、再生される再生像220hの特徴量と、再生像220hの位置と、再生像220hの大きさとの関係が、図43Cに示す再生像データベース216に格納されている関係と整合しているか否かを判定するようにしてもよい。
 以上の通り、本実施形態6に係る真贋判定装置200、真贋判定方法及びコンピュータプログラムPによれば、より精度良く、対象物3の真贋を判定することができる。
(実施形態7)
 図44は、実施形態7に係る光変調素子202の貼付方法を示す概念図である。実施形態7に係る対象物250は、ID証であり、例えばIDカード基材5251と、IDカード基材251に貼付又は印刷された写真252とを含み、光変調素子202は、当該IDカード基材251と、写真252とに跨がって貼付されている。ID証は、例えばパスポート(旅券)、マイナンバーカード、免許証、会員証、社員証、学生証、クレジットカード等である。
 実施形態7によれば、IDカード基材251に貼付又は印刷された写真252の真贋判定を行うことができる。
(実施形態8)
 図45は、実施形態8に係る光変調素子202の貼付方法を示す概念図である。実施形態8に係る対象物260は、例えば施設への入場券、施設を利用するための年間利用パス、投票用紙等であり、本券261と、控え等の半券263とを含み、光変調素子202は、当該本券261及び半券262に跨がって貼付されている。
 実施形態8によれば、本券261及び半券262の真贋判定を行うことができる。
(実施形態9)
 図46は、実施の形態9に係る真贋判定システム300を使用して光変調素子302の真贋を判定する概念図である。
 図46に示すように、真贋判定システム300は、真贋判定装置310と、光変調素子302の再生像を撮像する撮像装置330とを備える。撮像装置330は、光変調素子302の再生像が撮像された画像を真贋判定装置310へ送信する。真贋判定装置310は、受信した画像に基づいて、後述するように光変調素子302の真贋を判定し、判定結果を撮像装置330へ送信する。光変調素子302は被着体400に貼り付けてある。被着体400は、例えば、身分証明書、商品、又は商品の包装を含むが、これらに限定されない。
 図47は光変調素子302の一例を示す模式断面図である。光変調素子302は、例えば、ホログラムシールであり、基材シート321の一側にホログラム形成層322、光反射層323及び粘着剤層324がこの順に積層された積層構造を持つものである。
 ホログラム形成層322は、2又は3次元画像を再生可能な表面凹凸パターン、即ち回折光パターンが形成されたものである。この回折光パターンとしては、物体光と参照光との光の干渉による干渉縞の光の強度分布が凹凸模様で記録されたレリーフ回折格子が記録可能である。ここに示すホログラム形成層322は、エンボスホログラムとも呼ばれている。ホログラム形成層322はその下層として、光反射層323を伴うことにより、ホログラムが明瞭に視認できるようになる。光変調素子302は、粘着剤層324を介して、被着体400に貼り付けられている。
 ホログラム形成層322は、例えば、逐次重合で添加物により緩やかに重合が進行する材料、又は、空気中の酸素により緩やかに酸化、膨張/収縮する材料を使用して製造される。よって、ホログラム形成層322は経時変化する。
 図48は、ホログラム形成層322の経時変化の例を説明する概念図である。図48に示すように、時間経過によって、ホログラム形成層322の回折格子の間隔が変化し、入射した光の出射角度が変化する。即ち、ホログラム形成層322の回折光パターンが経時変化するため、光変調素子302の再生像が経時変化する。
 本実施の形態では、ホログラム形成層322にレリーフ型ホログラム記録層を用いた例を説明したが、ホログラム形成層322に体積型ホログラム記録層を用いてもよい。図49は、ホログラム形成層322の経時変化の例を説明する概念図である。図49には、体積型ホログラム記録層の経時変化が模式的に示されている。図49に示すように、時間経過によって、体積型ホログラム記録層は、密度が変化するため、その屈折率が変化し、入射した光の出射角度が変化する。これにより、体積型ホログラム記録層を用いた光変調素子302の場合、再生像が経時変化する。
 図50及び図51は、光変調素子302の再生像の経時変化を説明する概念図である。図50及び図51は、異なる撮像日に光変調素子302の再生像を撮像した画像401及びそのフーリエ変換像402を示す。フーリエ変換は、画像401に含まれる周波数成分を抽出する際に使用される。図51には、説明の便宜上、図50における回折光が点線で示されている。図50及び図51に示すように、光変調素子302の経時変化によって、回折光の方向が変化し、再生像が経時変化する。図50及び図51に基づき、異なる撮像日に得られた画像401の相違は、肉眼で判断しにくいが、2つの画像の差分が周知の画像比較手法によって抽出される。特に、フーリエ変換を経たフーリエ変換像402において、2つの画像の相違が明らかである。即ち、光変調素子302は、時間経過によって、再生像が変化し、特に、再生像が撮像された画像からフーリエ変換により抽出される周波数成分が著しく変化する。
 このように、再生像の経時変化に基づいて光変調素子302の製造からの経過時間を推定することができる。本実施の形態では、光変調素子302について、再生像が撮像された画像を経時別に取得し、画像からフーリエ変換により抽出された周波数成分に係る情報と、光変調素子302の製造からの経過時間に係る情報とを関連付けて記録して、後述する教師データDB3131を作成しておき、ニューラルネットワークなどの公知の機械学習アルゴリズムを利用して、教師データDB3131に基づく教師あり機械学習により、後述する学習モデル3132を生成し、学習モデル3132によって、光変調素子302の製造からの経過時間を推定する。さらに、推定された経過時間に基づいて、光変調素子302の真贋を後述するように判定することができる。
 図52は、実施の形態9に係る真贋判定システム300の構成例を示すブロック図である。撮像装置330は、カメラ331と、表示部332と、通信部333とを備える。本実施の形態では、撮像装置330は、スマートフォンであるが、これに限らず、例えば携帯電話、タブレット、スマートグラスなどであってもよい。
 カメラ331は、光変調素子302の再生像を撮像する。表示部332は、真贋判定装置310による判定結果を表示する。通信部333は、カメラ331によって再生像が撮像された画像を真贋判定装置310へ送信するとともに、真贋判定装置310からの判定結果を受信する。
 真贋判定装置310は、制御部311と、通信部312と、記憶部313と、バスとを備える。制御部311は、本実施の形態のプログラムを実行する演算制御装置である。制御部311は、一もしくは複数のCPU(Central Processing Unit)、マルチコアCPU又はGPU(Graphics Processing Unit)などにより構成される。制御部311は、バスを介して真贋判定装置310を構成するハードウエア各部と接続されている。
 通信部312は、真贋判定装置310とネットワークとの間の通信を行なうインタフェースである。通信部312は、ネットワークを介して撮像装置330又は外部装置との通信を行う。
 記憶部313は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ又はハードディスクなどである。記憶部313には、制御部311が実行する制御プログラム、及び制御プログラムの実行に必要な各種のデータを予め記憶している。また記憶部313は、制御部311が制御プログラムを実行する際に発生するデータなどを一時的に記憶する。記憶部313に記憶される制御プログラムには、本開示のプログラムである判定プログラムPが含まれる。
 記憶部313には、さらに、教師データDB3131及び学習モデル3132が記憶されている。教師データDB3131は、光変調素子302の再生像が撮像された画像からフーリエ変換により抽出された周波数成分と、光変調素子302の製造からの経過時間とが関連付けられて記録されている。
 学習モデル3132は、例えば、CNNなどのニューラルネットワークであり、教師データDB3131に基づいて教師あり機械学習を行うことにより生成される。教師あり機械学習は、たとえばロジスティック回帰、SVM(Support Vector Machine)、ランダムフォレスト、CNN、RNN又は、XGBoost(eXtreme Gradient Boosting)などの任意の手法により行なえる。学習モデル3132は、光変調素子302の再生像が撮像された画像のフーリエ変換による周波数成分を受け付けた場合に、光変調素子302の製造からの経過時間に関する推定を出力する学習済モデルである。具体的には、学習モデル3132の入力は、光変調素子302の再生像が撮像された画像からフーリエ変換により得られた周波数成分である。学習モデル3132の出力は、該光変調素子302の製造からの経過時間である。なお、学習モデル3132の出力は、具体的な経過時間に限らず、1年、2年、3年、…10年以上などの分類であってもよい。
 本実施の形態では、撮像装置330から送信された画像は、制御部311によって、フーリエ変換による周波数成分が抽出されて学習モデル3132に入力される。学習モデル3132によって光変調素子302の製造からの経過時間が出力される。光変調素子302の製造からの経過時間と予め設定された閾値との比較により、光変調素子302の真贋が判定される。
 本実施の形態の真贋判定装置310は、汎用のパソコン、タブレット、大型計算機、又は、大型計算機上で動作する仮想マシンである。真贋判定装置310は、複数のパソコン、タブレット又は大型計算機などのハードウエアにより構成されても良い。真贋判定装置310は、量子コンピュータにより構成されても良い。なお、真贋判定装置310は、撮像装置330が接続するインタフェースを有してもよい。なお、教師データDB3131及び学習モデル3132は、真贋判定装置310に接続された外部の大容量記憶装置などに保存されていても良い。
 図53は、光変調素子302を切り取って再使用した場合における真贋判定を説明する概念図である。図53に示すように、本来に製品400Aに貼り付けられた光変調素子302が切り取られ、製品400Bに再使用されている。製品400A及び400Bには、それぞれの製造日が印刷されている。製品400Aの製造日は、光変調素子302の製造日と同じであるが、製品400Bの製造日より早い。
 撮像装置330では、カメラ331で製品400Bに印刷された製造日を撮像し、撮像された画像から、周知の画像認識処理によって製造日を認識して、製品400Bの製造日に係る情報を得る。製品400Bの製造日に係る情報は、画像認識処理によって認識されたものに限らず、手動で入力された製造日の情報であってもよく、予め記憶された製造日の情報であってもよい。なお、製造日は、製品に印刷された日付に限らず、製品のバーコードやQRコード(登録商標)などに表現されてもよく、光変調素子302に予め記録されてもよい。そして、カメラ331によって光変調素子302の再生像が撮像され、通信部333によって製品400Bの製造日に係る情報と、再生像が撮像された画像とが真贋判定装置310へ送信される。
 真贋判定装置310では、撮像装置330からの製造日に係る情報と再生像が撮像された画像とが通信部312によって受信された場合に、制御部311は、受信された再生像が撮像された画像について、フーリエ変換を行ってその周波数成分を抽出することで、再生像に係る情報を取得する。制御部311は、抽出した周波数成分を学習モデル3132に入力する。学習モデル3132は、入力された周波数成分に基づいて、光変調素子302の製造からの経過時間を推定して出力する。
 制御部311は、受信された製品400Bの製造日に係る情報に基づいて、製品400Bの製造からの経過時間を算出し、製品400Bの製造からの経過時間と、学習モデル3132から出力された推定結果とを比較することで、真贋判定を行う。図53に示す例では、推定された光変調素子302の製造からの経過時間が、製品400Bの製造日からの経過時間よりも長いため、制御部31は、「贋」という判定結果を通信部312を介して撮像装置330へ送信する。撮像装置330では、真贋判定装置310から送信された判定結果が通信部312によって受信され、表示部332によって表示される。
 このように本実施形態によれば、光変調素子が切り取られて再使用された場合でも、真贋判定を精度よく行うことができる。
 図54は、光変調素子302を複製して使用した場合における真贋判定を説明する概念図である。図54に示すように、社員証400D及びその光変調素子302Bは、社員証400C及びその光変調素子302Aの複製品である。社員証400Cには、発行日が印刷されており、その発行日が光変調素子302Aの製造日と同じである。社員証400Dは、社員証400Cの複製品であるため、発行日が社員証400Cと同様に表記されている。
 撮像装置330では、カメラ331で社員証400Dに印刷された発行日を撮像して、撮像された画像から、周知の画像認識処理によって発行日を認識して、社員証400Dの発行日に係る情報を得る。社員証400Dの発行日に係る情報は、画像認識処理によって認識されたものに限らず、手動で入力された発行日の情報であってもよく、予め記憶された発行日の情報であってもよい。なお、発行日は、社員証に印刷された日付に限らず、社員証のバーコードやQRコードなどに表現されてもよく、光変調素子302に予め記録されてもよい。そして、カメラ331によって光変調素子302の再生像が撮像され、通信部333によって社員証400Dの発行日に係る情報と、再生像が撮像された画像とが真贋判定装置310へ送信される。
 真贋判定装置310では、撮像装置330からの発行日に係る情報と再生像が撮像された画像とが通信部312によって受信された場合に、制御部311は、受信された再生像が撮像された画像について、フーリエ変換を行ってその周波数成分を抽出することで、再生像に係る情報を取得する。制御部311は、抽出した周波数成分を学習モデル3132に入力する。学習モデル3132は、入力された周波数成分に基づいて、光変調素子302の製造からの経過時間を推定して、推定結果を出力する。
 制御部311は、社員証400Dの発行日に係る情報に基づいて、社員証400Dの発行からの経過時間を算出し、社員証400Dの発行からの経過時間と、学習モデル3132から出力された推定結果とを比較することで、真贋判定を行う。図54に示す例において、推定された光変調素子302の製造からの経過時間が、社員証400Dの発行日からの経過時間よりも短いため、制御部311は、「贋」という判定結果を通信部312を介して撮像装置330へ送信する。撮像装置330では、真贋判定装置310から送信された判定結果が通信部312によって受信され、表示部332によって表示される。
 このように本実施形態によれば、光変調素子が複製された場合でも、真贋判定を精度よく行うことができる。
 真贋判定における比較の基準については、推定の誤差を考慮すると、推定された経過時間が一定の範囲内にあれば、真と判定することが好ましい。例えば、第1の閾値T1と、第1の閾値T1よりも小さい第2の閾値T2とを予め設定し、推定された経過時間がT1~T2の範囲内であれば、真と判定する。図53に示す例では、制御部311は、算出された製品400Bの製造からの経過時間に基づいて、第1の閾値T1及び第2の閾値T2を適当に設定すればよい。同様に、図54に示す例では、制御部311は、算出された社員証400Dの発行からの経過時間に基づいて、第1の閾値T1及び第2の閾値T2を適当に設定すればよい。
 さらに、推定された経過時間が第1の閾値T1以上である場合、光変調素子302の製造からの経過時間が被着体400の製造からの経過時間よりも長いことが判断されるため、光変調素子302が再利用されたと判定できる。推定された経過時間がT2以下である場合、光変調素子302の製造からの経過時間が被着体400の製造からの経過時間よりも短いことが判断されるため、光変調素子302が複製されたと判定できる。
 なお、光変調素子302の製造からの経過時間について、予め有効期限を設定し、推定された経過時間が有効期限を超えた場合に、贋と判定してもよい。
 図55は真贋判定装置310の制御部311によって実行される真贋判定処理の手順例を示すフローチャートである。
 制御部311は、撮像装置330からの再生像が撮像された画像を受信したか否かを判定し(ステップS411)、再生像が撮像された画像を受信していないと判定した場合に(ステップS411:NO)、再生像が撮像された画像を受信するまで待つ。
 制御部311は、再生像が撮像された画像を受信したと判定した場合に(ステップS411:YES)、受信した画像について、フーリエ変換により再生像に含まれる周波数成分を抽出する画像処理を行う(ステップS412)。
 制御部311は、抽出した周波数成分を学習モデル3132に入力し、学習モデル3132によって推定された製造からの経過時間Tを取得する(ステップS413)。
 制御部311は、取得した経過時間Tが第1の閾値T1よりも小さいか否かを判定し(ステップS414)、経過時間Tが第1の閾値T1よりも小さいと判定した場合に(ステップS414:YES)、経過時間Tが第2の閾値T2よりも大きいか否かを判定する(ステップS415)。ここで、第2の閾値T2は第1の閾値T1よりも小さい。
 制御部311は、経過時間Tが第2の閾値T2よりも大きいと判定した場合に(ステップS415:YES)、真と判定し(ステップS416)、通信部312を介して判定結果を撮像装置330へ送信し(ステップS417)、処理を終了する。
 制御部311は、経過時間Tが第1の閾値T1よりも小さくないと判定した場合に(ステップS414:NO)、又は、経過時間Tが第2の閾値T2よりも大きくないと判定した場合に(ステップS415:NO)、贋と判定し(ステップS418)、処理をステップS417に移行する。
 本実施の形態によると、学習モデル3132を利用して、光変調素子302の再生像が撮像された画像に基づいて光変調素子302の製造からの経過時間を推定し、推定された経過時間に基づいて光変調素子302の真贋を判定するため、光変調素子302の真贋判定を精度よく行うことができる。なお、本実施の形態に係る判定方法を、従来のテンプレートマッチングによる真贋判定方法と組み合わせてもよい。これにより、判定の精度を一層向上させることができる。
 本実施の形態では、再生像に係る情報として、再生像が撮像された画像からフーリエ変換により抽出された周波数成分を説明したが、再生像に係る情報は、上記の周波数成分に限らず、波長などの画像特徴量でもよい。また、再生像に係る情報は、再生像が撮像された画像でもよい。この場合、教師データDB3131において、周波数成分に係る情報を記録するフィールドの代わりに、再生像が撮像された画像を記録するフィールドを設けることが望ましい。なお、光変調素子302の使用や保存の環境を考慮して、温度、湿度などを含む環境条件を記録するフィールドをさらに教師データDB3131に設けてもよい。この場合、再生像に係る情報は、さらに光変調素子302の周囲の環境条件に係る情報を含む。
 本実施の形態では、フーリエ変換により周波数成分を抽出する画像処理は、真贋判定装置310側で行われるが、撮像装置330側で行われてもよい。即ち、撮像装置330では、光変調素子302の再生像を撮像した後、画像についてフーリエ変換を行って周波数成分を抽出して、周波数成分に係る情報を真贋判定装置310へ送信してもよい。
(実施形態10)
 本実施の形態は、撮像装置と一体化された真贋判定装置500に関する。実施形態9と共通する部分については、同じ符号を付して説明を省略する。
 図56は、実施形態10に係る真贋判定装置500の構成例を示すブロック図である。真贋判定装置500は、制御部311と、通信部312と、記憶部313と、カメラ331と、表示部332と、バスとを備える。本実施の形態では、真贋判定装置500は、スマートフォンであるが、これに限らず、例えば携帯電話、タブレット、スマートグラスなどであってもよい。
 本実施の形態では、本開示のプログラムである判定プログラムPをスマートフォンにインストールし、制御部311が判定プログラムPを実行することにより、スマートフォンが本開示の真贋判定装置500として動作する。
 なお、記憶部313に記憶される判定プログラムPは、当該判定プログラムPを読み取り可能に記録した記録媒体Mにより提供されてもよい。記録媒体Mは、例えば、SD(Secure Digital)カード、マイクロSDカード、コンパクトフラッシュ(登録商標)などの可搬型のメモリである。この場合、制御部311は、不図示の読取装置を用いて記録媒体Mから判定プログラムPを読み取り、読み取った判定プログラムPを記憶部313にインストールする。また、記憶部313に記憶される判定プログラムPは、通信部312を介した通信により提供されてもよい。この場合、制御部311は、通信部312を通じて判定プログラムPを取得し、取得した判定プログラムPを記憶部313にインストールする。
 図57は真贋判定装置500の制御部311によって実行される真贋判定処理の手順例を示すフローチャートである。
 制御部311は、カメラ331に再生像を撮像させ(ステップS421)、再生像が撮像された画像について、フーリエ変換によって再生像に含まれる周波数成分を抽出する画像処理を行う(ステップS422)。
 制御部311は、抽出した周波数成分に係る情報を学習モデル3132に入力し、学習モデル3132によって推定された製造からの経過時間Tを取得する(ステップS423)。
 制御部311は、取得した経過時間Tが第1の閾値T1よりも小さいか否かを判定し(ステップS424)、経過時間Tが第1の閾値T1よりも小さいと判定した場合に(ステップS424:YES)、経過時間Tが第2の閾値T2よりも大きいか否かを判定する(ステップS425)。ここで、第2の閾値T2は第1の閾値T1よりも小さい。
 制御部311は、経過時間Tが第2の閾値T2よりも大きいと判定した場合に(ステップS425:YES)、真と判定し(ステップS426)、判定結果を表示部332に表示させる(ステップS427)、処理を終了する。
 制御部311は、経過時間Tが第1の閾値T1よりも小さくないと判定した場合に(ステップS424:NO)、又は、経過時間Tが第2の閾値T2よりも大きくないと判定した場合に(ステップS425:NO)、贋と判定し(ステップS428)、処理をステップS427に移行する。
 本実施の形態によると、撮像、画像処理、及び判定処理を真贋判定装置500に実行させることにより、小型化の真贋判定装置を提供することができる。
(実施形態11)
 実施形態9、10では、光変調素子302の経時変化を推定して真贋判定を行うが、本実施の形態では、光変調素子302の剥離状態を推定して真贋判定を行う。実施形態9と共通する部分については、説明を省略する。
 実施形態11では、教師データDB3131及び学習モデル3132は実施形態9、10と異なる。
 本実施の形態では、教師データDB3131には、光変調素子302の再生像が撮像された画像からフーリエ変換により抽出された周波数成分と、光変調素子302の剥離の疑いの評価値とが関連付けられて記録されている。光変調素子302が一旦剥離された場合、その再生像が変化する。よって、光変調素子302の剥離・再貼付試験を予め行って、再生像を撮像して、上記の教師データDB3131を作成することができる。
 学習モデル3132は、光変調素子302の再生像が撮像された画像の周波数成分を受け付けた場合に、光変調素子302の剥離の疑いの評価値を出力する学習済モデルである。具体的には、学習モデル3132の入力は、光変調素子302の再生像が撮像された画像からフーリエ変換により得られた周波数成分である。学習モデル3132の出力は、該光変調素子02の剥離の有無に関する評価値である。なお、学習モデル3132の出力は、該光変調素子302の剥離の有無という分類であってもよい。
 制御部311は、学習モデル3132から出力された評価値に基づいて光変調素子302の剥離の有無を判定し、例えば、評価値が一定の範囲内であれば、光変調素子302が剥離されたものであると判定し、「贋」という判定結果を出力し、光変調素子302が剥離されていないと判定した場合に、「真」という判定結果を出力する。
 本実施の形態によると、学習モデル3132を利用して、光変調素子302の再生像が撮像された画像に基づいて光変調素子の剥離の有無を推定するため、実施の形態9と同様な効果を奏することができる。また、実施の形態9、10における学習モデル(以下、第1の学習モデルと記す)と本実施の形態における学習モデル(以下、第2の学習モデルと記す)とを組み合わせてもよい。例えば、第2の学習モデルを利用して、光変調素子302が剥離されたものではないと推定した場合、第1の学習モデルを利用して、光変調素子302の製造からの経過時間を推定して真贋を再度判定することができる。このように、異なる学習モデルで真贋判定を2回行うことにより、真贋判定の精度がさらに向上する。
 以上の実施の形態に関し、さらに以下の付記を開示する。
 (付記1)
 光変調素子の再生像に係る情報を取得し、
 光変調素子の再生像に係る情報を受け付けて光変調素子の剥離の有無に関する推定を出力する第2の学習モデルに、取得した再生像に係る情報を入力し、
 前記第2の学習モデルから出力された推定に基づいて光変調素子の真贋を判定する
 処理をコンピュータに実行させることを特徴とするプログラム。
 (付記2)
 前記第2の学習モデルは、光変調素子の再生像に係る情報と該光変調素子の剥離の有無とを関連づけて記録した第2の教師データを用いて機械学習させた学習済モデルであることを特徴とする付記1に記載のプログラム。
 各実施例で記載されている技術的特徴(構成要件)はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
 今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均などの意味及び範囲内でのすべての変更が含まれることが意図される。
(付記1)コンピュータプログラムは、コンピュータに、対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得し、取得した第1画像及び第2画像に基づいて差分画像を生成し、生成した差分画像の画素値に基づく特徴量を抽出し、抽出した特徴量に基づいて前記対象媒体の真贋を判定する、処理を実行させる。
(付記2)コンピュータプログラムは、付記1のコンピュータプログラムにおいて、コンピュータに、前記差分画像を複数の分割画像に分割し、分割した分割画像の画素値に基づく特徴量を抽出し、前記分割画像の特徴量のパターンと閾値のパターンとに基づいて前記対象媒体の真贋を判定する、処理を実行させる。
(付記3)コンピュータプログラムは、付記2のコンピュータプログラムにおいて、コンピュータに、前記分割画像の特徴量及び前記閾値に基づいて分割画像毎に真贋を評価する第1評価値を算出し、前記分割画像毎の第1評価値に基づいて前記差分画像の第2評価値を算出し、算出した第2評価値に基づいて前記対象媒体の真贋を判定する、処理を実行させる。
(付記4)コンピュータプログラムは、付記2又は付記3のコンピュータプログラムにおいて、コンピュータに、前記対象媒体の種別を判定し、予め記憶した、複数種類の閾値のパターンの中から、判定した種別に応じた閾値のパターンを選定する、処理を実行させる。
(付記5)コンピュータプログラムは、付記1から付記4のいずれか一つのコンピュータプログラムにおいて、コンピュータに、前記対象媒体の判定領域が撮影範囲内に入るように案内を出力する、処理を実行させる。
(付記6)コンピュータプログラムは、付記1から付記5のいずれか一つのコンピュータプログラムにおいて、コンピュータに、前記対象媒体の真贋の判定結果を出力する、処理を実行させる。
(付記7)コンピュータプログラムは、付記1から付記6のいずれか一つのコンピュータプログラムにおいて、前記特徴量は、輝度値の統計値を含む。
(付記8)コンピュータプログラムは、付記1から付記7のいずれか一つのコンピュータプログラムにおいて、真正の前記対象媒体は、参照光による干渉で生じた干渉縞を記録してあり、前記第1撮影条件は、前記第2撮影条件よりも参照光が多い。
(付記9)コンピュータプログラムは、コンピュータに、第1撮影条件で対象媒体を撮影する第1操作を受け付け、第2撮影条件で前記対象媒体を撮影する第2操作を受け付け、前記第1操作及び前記第2操作によって得られた各画像に基づく前記対象媒体の真贋判定結果を表示する、処理を実行させる。
(付記10)真贋判定装置は、対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得する取得部と、取得した第1画像及び第2画像に基づいて差分画像を生成する生成部と、生成した差分画像の画素値に基づく特徴量を抽出する抽出部と、抽出した特徴量に基づいて前記対象媒体の真贋を判定する判定部とを備える。
(付記11)真贋判定方法は、対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得し、取得した第1画像及び第2画像に基づいて差分画像を生成し、生成した差分画像の画素値に基づく特徴量を抽出し、抽出した特徴量に基づいて前記対象媒体の真贋を判定する。
 各実施形態に記載した事項は相互に組み合わせることが可能である。また、請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、請求の範囲には他の2以上のクレームを引用するクレームを記載する形式(マルチクレーム形式)を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム(マルチマルチクレーム)を記載する形式を用いて記載してもよい。
 50 真贋判定装置
 51 制御部
 52 通信部
 53 メモリ
 54 画像撮像部
 55 発光制御部
 56 媒体種別判定部
 57 画像処理部
 58 判定部
 59 表示部
 60 操作部
 61 音声出力部
 62 記憶部
 63 コンピュータプログラム
 64 閾値パターン部
 100 真贋判定装置
 110 制御部
 130 画面
 131 ターゲット画像
 132 シャッターボタン
 133 四隅枠
 111 記憶部
 112 操作部
 113 表示部
 114 光源部
 115 撮像部
 102 光変調素子
 121 ホログラム層
 121a 凹凸面
 1211 ホログラム構造体
 122 反射層
 123 外枠
 123a 文字
 1231、1232、1233 写真
 124 基材
 h 撮像距離
 200 真贋判定装置
 202 光変調素子
 203,250,260 対象物
 210 制御部
 211 記憶部
 212 光源部
 213 撮像部
 214 表示部
 214a 照準線画像
 214b ガイド表示部
 215 操作部
 220 マーク
 220a 第1マーク
 220b 第2マーク
 220h 再生像
 231 第1対象物半体
 232 第2対象物半体
 216 再生像データベース
 C 中央部分
 M 記録媒体
 P コンピュータプログラム
 PL 点光源像
 
 300 真贋判定システム
 310 真贋判定装置
 500 真贋判定装置
 311 制御部
 312 通信部
 313 記憶部
 3131 教師データDB
 3132 学習モデル
 302 光変調素子
 400 被着体
 321 基材シート
 322 ホログラム形成層
 323 光反射層
 324 粘着剤層
 330 撮像装置
 331 カメラ
 332 表示部
 333 通信部
 

Claims (11)

  1.  コンピュータに、
     対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得し、
     取得した第1画像及び第2画像に基づいて差分画像を生成し、
     生成した差分画像の画素値に基づく特徴量を抽出し、
     抽出した特徴量に基づいて前記対象媒体の真贋を判定する、
     処理を実行させるコンピュータプログラム。
  2.  コンピュータに、
     前記差分画像を複数の分割画像に分割し、
     分割した分割画像の画素値に基づく特徴量を抽出し、
     前記分割画像の特徴量のパターンと閾値のパターンとに基づいて前記対象媒体の真贋を判定する、
     処理を実行させる請求項1に記載のコンピュータプログラム。
  3.  コンピュータに、
     前記分割画像の特徴量及び前記閾値に基づいて分割画像毎に真贋を評価する第1評価値を算出し、
     前記分割画像毎の第1評価値に基づいて前記差分画像の第2評価値を算出し、
     算出した第2評価値に基づいて前記対象媒体の真贋を判定する、
     処理を実行させる請求項2に記載のコンピュータプログラム。
  4.  コンピュータに、
     前記対象媒体の種別を判定し、
     予め記憶した、複数種類の閾値のパターンの中から、判定した種別に応じた閾値のパターンを選定する、
     処理を実行させる請求項2又は請求項3に記載のコンピュータプログラム。
  5.  コンピュータに、
     前記対象媒体の判定領域が撮影範囲内に入るように案内を出力する、
     処理を実行させる請求項1から請求項3のいずれか一項に記載のコンピュータプログラム。
  6.  コンピュータに、
     前記対象媒体の真贋の判定結果を出力する、
     処理を実行させる請求項1から請求項3のいずれか一項に記載のコンピュータプログラム。
  7.  前記特徴量は、輝度値の統計値を含む、
     請求項1から請求項3のいずれか一項に記載のコンピュータプログラム。
  8.  真正の前記対象媒体は、参照光による干渉で生じた干渉縞を記録してあり、
     前記第1撮影条件は、前記第2撮影条件よりも参照光が多い、
     請求項1から請求項3のいずれか一項に記載のコンピュータプログラム。
  9.  コンピュータに、
     第1撮影条件で対象媒体を撮影する第1操作を受け付け、
     第2撮影条件で前記対象媒体を撮影する第2操作を受け付け、
     前記第1操作及び前記第2操作によって得られた各画像に基づく前記対象媒体の真贋判定結果を表示する、
     処理を実行させるコンピュータプログラム。
  10.  対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得する取得部と、
     取得した第1画像及び第2画像に基づいて差分画像を生成する生成部と、
     生成した差分画像の画素値に基づく特徴量を抽出する抽出部と、
     抽出した特徴量に基づいて前記対象媒体の真贋を判定する判定部と
     を備える、
     真贋判定装置。
  11.  対象媒体を第1撮影条件で撮影した第1画像及び第2撮影条件で撮影した第2画像を取得し、
     取得した第1画像及び第2画像に基づいて差分画像を生成し、
     生成した差分画像の画素値に基づく特徴量を抽出し、
     抽出した特徴量に基づいて前記対象媒体の真贋を判定する、
     真贋判定方法。
     
PCT/JP2023/016878 2022-05-02 2023-04-28 コンピュータプログラム、真贋判定装置及び真贋判定方法 WO2023214546A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023555826A JP7485236B2 (ja) 2022-05-02 2023-04-28 コンピュータプログラム、真贋判定装置及び真贋判定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022076214 2022-05-02
JP2022-076214 2022-05-02

Publications (1)

Publication Number Publication Date
WO2023214546A1 true WO2023214546A1 (ja) 2023-11-09

Family

ID=88646486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/016878 WO2023214546A1 (ja) 2022-05-02 2023-04-28 コンピュータプログラム、真贋判定装置及び真贋判定方法

Country Status (2)

Country Link
JP (1) JP7485236B2 (ja)
WO (1) WO2023214546A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061696A (ja) * 2011-09-12 2013-04-04 Dainippon Printing Co Ltd 真贋判定装置、真贋判定方法、及びプログラム
WO2017159608A1 (ja) * 2016-03-16 2017-09-21 凸版印刷株式会社 識別装置、識別方法、識別プログラム、及び識別プログラムを含むコンピュータ可読媒体
US20200031979A1 (en) * 2017-03-08 2020-01-30 Bridgestone Corporation Coupled Polymer Products, Methods Of Making And Compositions Containing
JP2021163166A (ja) * 2020-03-31 2021-10-11 大日本印刷株式会社 プログラム、真贋判定方法及び真贋判定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11235613B2 (en) 2019-04-08 2022-02-01 iProov Ltd. Document authentication by attitude-independent determination of surface appearance using controlled illumination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061696A (ja) * 2011-09-12 2013-04-04 Dainippon Printing Co Ltd 真贋判定装置、真贋判定方法、及びプログラム
WO2017159608A1 (ja) * 2016-03-16 2017-09-21 凸版印刷株式会社 識別装置、識別方法、識別プログラム、及び識別プログラムを含むコンピュータ可読媒体
US20200031979A1 (en) * 2017-03-08 2020-01-30 Bridgestone Corporation Coupled Polymer Products, Methods Of Making And Compositions Containing
JP2021163166A (ja) * 2020-03-31 2021-10-11 大日本印刷株式会社 プログラム、真贋判定方法及び真贋判定装置

Also Published As

Publication number Publication date
JP7485236B2 (ja) 2024-05-16
JPWO2023214546A1 (ja) 2023-11-09

Similar Documents

Publication Publication Date Title
EP3385924B1 (en) Identification method
US10891818B2 (en) Identification devices, identification methods, identification programs and computer readable media including identification programs
US9153005B2 (en) Method and system for authenticating a secure document
JP6156586B2 (ja) 識別装置、識別方法、識別プログラム、及び識別プログラムを含むコンピュータ可読媒体
CN108780594B (zh) 识别装置、识别方法、识别程序以及包含识别程序的计算机可读介质
CN106682912A (zh) 3d结构的认证方法
CN107111906B (zh) 识别装置、识别方法、及包括识别程序的计算机可读介质
WO2017090652A1 (ja) 識別装置、識別方法、識別プログラム、及び識別プログラムを含むコンピュータ可読媒体
US20220334535A1 (en) Method for determining authenticity using images that exhibit parallax
US11235613B2 (en) Document authentication by attitude-independent determination of surface appearance using controlled illumination
WO2023214546A1 (ja) コンピュータプログラム、真贋判定装置及び真贋判定方法
JP7435173B2 (ja) プログラム、真贋判定方法及び真贋判定装置
JP2022098151A (ja) コンピュータプログラム、真贋判定方法及び真贋判定装置
WO2016190107A1 (ja) 真贋判定支援装置、真贋判定支援方法、真贋判定支援プログラム、及び真贋判定支援プログラムを含むコンピュータ可読媒体
US20200096781A1 (en) Identification apparatus, identification method, and identification program
JPH1124538A (ja) 偽造防止ホログラム及び偽造ホログラム検出法
JP2019074778A (ja) 情報記録媒体の読み取り方法および真贋判定方法
US11853408B2 (en) Authentication of a physical credential
US20230062072A1 (en) Method for authenticating a security document
JP2000163530A (ja) 記録媒体及びその記録再生装置
JP2022102699A (ja) コンピュータプログラム、真贋判定方法、真贋判定装置及び偽造防止媒体
Sumriddetchkajorn et al. Evolution of optically nondestructive and data-non-intrusive credit card verifiers
EA029448B1 (ru) Способ защиты и идентификации оптических защитных меток
JP2008261966A (ja) 回折格子による図柄及びその使用方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023555826

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799476

Country of ref document: EP

Kind code of ref document: A1