WO2014156430A1 - 真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法 - Google Patents

真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法 Download PDF

Info

Publication number
WO2014156430A1
WO2014156430A1 PCT/JP2014/054491 JP2014054491W WO2014156430A1 WO 2014156430 A1 WO2014156430 A1 WO 2014156430A1 JP 2014054491 W JP2014054491 W JP 2014054491W WO 2014156430 A1 WO2014156430 A1 WO 2014156430A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correlation value
product
feature point
feature points
Prior art date
Application number
PCT/JP2014/054491
Other languages
English (en)
French (fr)
Inventor
徹郎 江畑
與那覇 誠
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2014156430A1 publication Critical patent/WO2014156430A1/ja
Priority to US14/857,496 priority Critical patent/US10083371B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/66Trinkets, e.g. shirt buttons or jewellery items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Definitions

  • the present invention relates to an authenticity determination system, a feature point registration device and its operation control method, and a verification determination device and its operation control method.
  • Patent Documents 1 and 2 Use pattern matching to determine whether or not the judgment target tablet is genuine by searching for the same genuine tablet image as the judgment target tablet image from a number of pre-registered genuine tablet images Can do.
  • Patent Document 3 describes that feature points and feature amounts are extracted from an image file and a search image, and an image file having a feature amount that matches or is similar to the feature amount of the search image is described.
  • Japanese Patent Application Laid-Open No. 2004-228561 describes a method for calculating a correlation value between a reference image and a collation image and determining whether the paper document represented by the collation image is authentic.
  • JP 2005-258940 A Japanese Patent Laid-Open No. 9-178442 JP 2012-133484 A JP 2005-38389 A
  • This invention is intended to realize high-speed authentication.
  • the authenticity determination system includes an intrinsic feature point registration device and a verification determination device.
  • the genuine product feature point registration device includes a first correlation value calculating unit that calculates a correlation value between a partial image of a genuine product image and a template image, and the correlation value calculated by the first correlation value calculating unit is a first correlation value.
  • a genuine product feature point extracting means for extracting a plurality of feature points of the genuine product image that is equal to or greater than a threshold value, and a genuine product identification including the plurality of feature points of the genuine product image extracted by the genuine product feature point extracting means
  • Intrinsic product identification data storage means for storing data is provided.
  • the collation determining device includes a second correlation value calculating unit that calculates a correlation value between the partial image and the template image in the authenticity determination product image, and the correlation value calculated by the second correlation value calculating unit is a second threshold value.
  • the above-described authenticity determination feature point extracting means for extracting a plurality of feature points of the authenticity determination product image, and the geometric features of the plurality of feature points of the authenticity determination product image extracted by the authenticity determination feature point extraction means. Using the characteristics and the geometric characteristics of the plurality of feature points of the genuine product image stored in the genuine product identification data storage means of the feature point registration device, the authenticity judgment product image and the genuine product image Similarity calculation means for calculating the similarity is provided.
  • Authentic product feature point registration device is used to store (register) identification data (authentic product identification data) for the genuine product image.
  • Intrinsic product means a genuinely manufactured product (genuine or genuine product).
  • the genuine product identification data is acquired (created) by image processing using an genuine product image representing the genuine product, and includes a plurality of feature points (coordinate data) of the genuine product image.
  • a correlation value between a partial image in a partial region of the genuine product image and the template image is calculated, and a plurality of positions (coordinates) in the genuine product image where the calculated correlation value is equal to or greater than a first threshold value. Is determined as the feature point of the genuine product image.
  • the determined feature points are stored in the genuine product identification data storage means.
  • the collation determination device is used to extract a plurality of feature points (coordinates) for the authentication product image representing the authentication product.
  • the authenticity determination product means a determination target product for determining whether the product is the above-described genuine product or an illegally manufactured article (fake or non-authentic product).
  • a plurality of feature points extracted for the authenticity determined product image are also acquired (created) by image processing using the authenticity determined product image.
  • a correlation value between a partial image in a partial region of the authenticity determination product image and the template image is calculated, and a plurality of positions (in the authentication determination product image where the calculated correlation value is equal to or greater than a second threshold value ( Coordinate) is determined as a feature point of the authenticity determination product image.
  • the first threshold value and the second threshold value may be the same value or different values.
  • the similarity (a numerical value that quantitatively represents the degree of coincidence) between the authenticity determined product image and the genuine product image is calculated.
  • the geometric characteristics of the plurality of feature points include the interval between the plurality of feature points, the figure shape defined by connecting the plurality of feature points with straight lines, and the like.
  • the authenticity-determined product image is the same as or very similar to the authenticity product image, and it can be estimated that the authenticity-determined product is an authentic product. Conversely, if the calculated similarity is less than the predetermined value, it is estimated that the authenticity product image is not the same as the genuine product image (not similar), and the authenticity product is not an authentic product (a counterfeit product). can do.
  • the geometric characteristics of the plurality of feature points of the authenticity product image and the geometric characteristics of the multiple feature points of the authenticity product image are calculated without calculating the correlation value between the authenticity product image itself and the authentic product image itself.
  • the similarity between the authenticity product image and the authentic product image is calculated using the physical characteristics, and the authenticity of the authenticity determination product can be determined according to the calculated similarity, so that high-speed authentication can be performed. it can. Even if there are a large number of genuine product images, the authenticity determination can be completed quickly.
  • the same template image as that used for the genuine product image is also used for the authenticity determination product image.
  • the first correlation value calculation means included in the genuine product feature point registration device scans the template image on the genuine product image, and a plurality of the plurality of images corresponding to positions of the template image in the genuine product image.
  • the genuine product feature point registration device further generates means for generating two-dimensional correlation value data in which the plurality of correlation values are arranged in accordance with the position of the scanned template image.
  • the template image is scanned into a correlation value image represented by correlation value image data (luminance image data) using a correlation value in the correlation value two-dimensional array data as a luminance value, and the template image in the correlation value image is scanned.
  • a third correlation value calculating means for calculating a plurality of correlation values according to the position, wherein the genuine product feature point extracting means comprises the first correlation value calculating means.
  • the feature point of the genuine product image is extracted based on the correlation value calculated by the third correlation value calculating unit.
  • the template image is scanned with respect to the genuine product image to calculate a plurality of correlation values according to the position of the template image in the genuine product image, and the magnitude and distribution of the calculated correlation values (two-dimensional array) ) To generate a correlation value image.
  • the template image is scanned with respect to the generated correlation value image, and a plurality of correlation values corresponding to the position of the template image in the correlation value image are calculated.
  • the feature points of the genuine product image are emphasized in the correlation value image. Improve accuracy of similarity calculation between authenticity product image and authentic product image using geometric properties of multiple feature points of authenticity product image and geometric properties of multiple feature points of authentic product image can do.
  • the verification determination device scans the template image in the authenticity determination product image to calculate a plurality of correlation values according to the position of the template image in the authentication determination product image, and calculates the calculated plurality of correlation values.
  • a correlation value image using a correlation value as a luminance value is generated, and the template image is scanned in the generated correlation value image to calculate a plurality of correlation values according to the position of the template image in the correlation value image.
  • the correlation value image the feature points of the authenticity determination product image are emphasized.
  • the creation of the correlation value two-dimensional array data, generation of the correlation value image data, and calculation of the correlation value using the correlation value image and the template image may be repeated a plurality of times. It is possible to further emphasize the feature points of the genuine product image and the feature points of the authenticity determination product image.
  • the genuine product identification data stored in the genuine product identification data storage means of the feature point registration device includes data representing the genuine product image or a plurality of feature points of the genuine product image. Data representing a plurality of partial images may be included. By storing not only feature points but also data representing the genuine product image or data representing a plurality of partial images including each of the plurality of feature points of the genuine product image, the above-described authenticity judgment product image is stored. In addition to authenticity determination based on calculation of the similarity between the authenticity product image and the authenticity product image using the geometric characteristics of multiple feature points and the geometrical characteristics of multiple feature points of the authentic product image, Additional (more precise) authentication can be performed.
  • the collation determination device when the similarity calculated by the similarity calculation means is greater than or equal to a third threshold value, includes the partial image of the genuine product image and the authenticity determination product image.
  • a fifth correlation value calculating means for calculating a correlation value with the partial image.
  • data representing the genuine product image stored in the genuine product identification data storage means of the feature point registration device, or a plurality of feature points of the genuine product image Data representing a plurality of partial images including each of the above can be used.
  • the image data representing the authenticity determined product image may be given to the collation determining device when the correlation value is calculated by the fifth correlation value calculating means.
  • the correlation value between the genuine product image and the authenticity determined product image is calculated. That is, the similarity between the authenticity product image and the authenticity image using the geometric characteristics of the feature points of the authenticity product image and the geometrical characteristics of the feature points of the authenticity image described above. Only when it is determined that the genuine product image and the authenticity determination product image are relatively similar in the authenticity determination based on the calculation, the process proceeds to the calculation of the correlation value between the authentic product image and the authenticity determination product image. In particular, when there are a large number of genuine product images, since the correlation value between the genuine product image and the authenticity determination product image is not calculated brute force, high-speed authenticity determination is not greatly hindered. By calculating a correlation value between the genuine product image determined to be relatively similar to the authenticity determination product image and the authenticity determination product image, the accuracy of the authenticity determination can be improved.
  • the fifth correlation value calculating means included in the verification determination device scans a correlation value calculation region (scan window) in the genuine product image and calculates a correlation value in the authenticity determination product image. A region is scanned, and a correlation value between partial images at corresponding positions of the genuine product image and the authenticity determination product image in the correlation value calculation region is calculated. Correlation values are calculated for the entire genuine product image and the entire authenticity determination product image.
  • the fifth correlation value calculation means included in the verification determination device includes a plurality of feature points each including a plurality of feature points of the genuine product image included in the genuine product identification data for the genuine product image.
  • the correlation value between the partial images and the partial images of the authenticity determination product image at the position corresponding to the partial image is calculated.
  • the partial image of the genuine product image used for calculating the correlation value represents a plurality of partial images in which the genuine product identification data stored in the genuine product identification data storage unit includes each of the plurality of feature points of the genuine product image.
  • it may be a partial image represented by the plurality of partial image data itself, or the genuine product identification data stored in the genuine product identification data storage means represents the genuine product image. If it contains only data (image data representing the entire genuine product image), it may be created by extracting partial image data including each of a plurality of feature points from the data representing the genuine product image data. .
  • the partial image including the feature point of the genuine product image can be said to be a partial image suitable for calculating the correlation value between the genuine product image and the authenticity determination product.
  • the verification determination device stores a plurality of feature points of the authenticity determination product image extracted by the authenticity determination product feature point extraction unit and the authenticity product identification data storage unit of the authenticity product feature point registration device.
  • the authenticity-determined product image and the authenticity-determined product image are calculated based on a plurality of feature points of the genuine product image and the alignment parameters for eliminating the relative deviation between the authentic product image and the authenticity-determinated product image.
  • Alignment means for aligning the genuine product image is provided.
  • the correlation value between the authentic product image and the authenticity determination product can be calculated with high accuracy.
  • the present invention also provides a feature point registration device comprehensively defined as follows. That is, the feature point registration apparatus according to the present invention provides a first correlation value calculating means for calculating a correlation value between a partial image of a target image and a template image for each of a plurality of target images, and calculating the first correlation value.
  • a feature point extracting means for extracting a feature point of the target image having a correlation value calculated by the means equal to or greater than a first threshold, and a target image identification including the feature point of the target image extracted by the feature point extracting means
  • Identification data storage means for storing data for each of the plurality of target images is provided.
  • the first correlation value calculating means scans the template image on the target image and calculates a plurality of correlation values according to positions of the template image in the target image.
  • the registration device further includes means for creating correlation value two-dimensional array data in which the plurality of correlation values are arranged according to the position of the scanned template image, and the correlation value in the correlation value two-dimensional array data is used as a luminance value.
  • a second correlation value calculating unit that scans the template image on the correlation value image represented by the used correlation value image data and calculates a plurality of correlation values according to the position of the template image in the correlation value image;
  • the feature point extracting means extracts feature points of the target image based on the correlation value calculated by the first correlation value calculating means. Ete, it extracts the feature points on the target image based on the correlation value calculated by said second correlation value calculating means.
  • the emphasized feature points can be stored in the identification data storage means.
  • the present invention also provides a method for controlling the operation of the feature point registration apparatus described above.
  • the present invention also provides a collation determination device used in the above-described authenticity determination system and an operation control method thereof.
  • the authentic tablet identification data is shown. It is a flowchart which shows operation
  • the state of the normalized correlation calculation process is shown.
  • a template image is shown. The other template image is shown. The other template image is shown. The other template image is shown. The other template image is shown. The other template image is shown. The other template image is shown. The other template image is shown.
  • An authentic tablet image is shown.
  • a correlation value image is shown. A correlation value image is shown. A part of the correlation value image is enlarged and shown. It is a block diagram which shows the whole structure of a collation determination system.
  • a mode that a correlation value is made between a collation image and three similar intrinsic tablet images is shown. The mode of the normalized correlation calculation of a collation image and a similar intrinsic tablet image is shown.
  • Fig. 1 shows the overall structure of the tablet registration system.
  • the tablet registration system is a system for registering data for identifying each of the tablets 4T1, 4T2, 4T3... Manufactured by a pharmaceutical company (tablet drug manufacturing company). It is installed in a production line for producing 4T3. A large number of tablets 4T1, 4T2, 4T3,..., After registration of identification data by the tablet registration system are packaged and shipped.
  • the tablets 4T1, 4T2, 4T3... Are the same kind of tablets, and all are so-called genuine (regular) tablets (hereinafter referred to as true tablets).
  • the tablets 4T1, 4T2, 4T3,... Are the same type, but the fine irregularities on the surface are different for each of the tablets 4T1, 4T2, 4T3,.
  • the tablet registration system includes a registration device 1, an imaging device 2, and a storage device 3.
  • the registration device 1 is a computer system including a CPU, a memory, a communication device, and the like, and a program that causes the computer system to function as a registration device that constitutes a tablet registration system is installed. Functions as 1.
  • the imaging device 2 includes an imaging device (CCD, CMOS, etc.) that images the intrinsic tablets 4T1, 4T2, 4T3,... (These surfaces), and represents the intrinsic tablets 4T1, 4T2, 4T3,. Output image data.
  • Image data representing the authentic tablets 4T1, 4T2, 4T3,... Output from the image sensor 2 is input to the registration device 1.
  • the registration device 1 uses identification data unique to each of the intrinsic tablets 4T1, 4T2, 4T3,... Using the input image data of the authentic tablets 4T1, 4T2, 4T3,. (Hereinafter referred to as the true tablet identification data).
  • the created genuine tablet identification data is stored in the storage device 3.
  • FIG. 2 shows an example of the authentic tablet identification data 3A stored in the storage device 3.
  • Authentic tablet identification data 3A is created for each of a number of authentic tablets 4T1, 4T2, 4T3,.
  • Each of the row data of the authentic tablet identification data 3A shown in FIG. 2 is the intrinsic tablet identification data unique to each of the multiple authentic tablets 4T1, 4T2, 4T3,.
  • Authentic tablet identification data 3A created for each of the intrinsic tablets 4T1, 4T2, 4T3,... Is an intrinsic tablet image ID (registered image ID), data representing feature points, and an intrinsic tablet output by the imaging device 2.
  • Each of the intrinsic tablet image IDs is each of the intrinsic tablets 4T1, 4T2, 4T3,... (Each of the intrinsic tablet image data output by imaging the intrinsic tablets 4T1, 4T2, 4T3,... By the imaging device 2).
  • the registration number is sequentially assigned by the registration device 1.
  • a feature point is a set of x and y coordinates that specify the location (address) of a plurality of feature points in an intrinsic tablet image.
  • FIG. 3 and 4 show the operation of the registration device 1 of the tablet registration system, and show the flow of processing for creating the above-described genuine tablet identification data 3A and storing it in the storage device 3.
  • FIG. 3 and 4 show the operation of the registration device 1 of the tablet registration system, and show the flow of processing for creating the above-described genuine tablet identification data 3A and storing it in the storage device 3.
  • Image data representing the true tablet image output by the imaging device 2 is input to the registration device 1 (step 31).
  • the process proceeds to a normalized correlation calculation process (steps 33 to 35).
  • FIG. 5 shows the state of the normalized correlation calculation process, and shows the relationship between the intrinsic tablet image 10 and the correlation calculation area (window) S.
  • FIG. 6 shows an example of a template image (local filter) 11 used for normalized correlation calculation processing.
  • a normalized correlation value r between the partial image in the correlation calculation area S that is a part of the intrinsic tablet image 10 and the template image 11 is calculated.
  • genuine tablet image 10 and correlation calculation area S are both rectangular.
  • intrinsic tablet image 10 has a size of 128 pixels ⁇ 128 pixels
  • correlation calculation area S has 9 pixels ⁇ 9 pixels. Each has a size.
  • the template image 11 shown enlarged in FIG. 6 has the same size of 9 pixels ⁇ 9 pixels as the correlation calculation area S.
  • the correlation value r is calculated by performing normalized correlation calculation using the partial image in the correlation calculation area S extracted from the intrinsic tablet image 10 and the template image 11.
  • Various known algorithms such as NCC (Normalized Cross-Correlation), ZNCC (Zero-mean Normalized Cross-Correlation), etc. can be used for the normalized correlation calculation processing for calculating the correlation value r.
  • the correlation value may be calculated using SSD (Sum? Of? SquaredDifference) or SAD (Sum? Of? Absolute? Difference).
  • the correlation calculation area S is moved in the intrinsic tablet image 10 by a predetermined distance (for example, one pixel) in the horizontal direction and the vertical direction, and between the partial image in the correlation calculation area S and the template image 11 each time the movement is performed.
  • a correlation value r is calculated.
  • the template image 11 shown in FIG. 6 is based on a two-dimensional normal distribution and has the highest luminance at the center, and the luminance gradually decreases concentrically as the distance from the center increases.
  • a correlation value r that is robust to rotation can be obtained.
  • a large correlation value r is calculated for a partial image with high luminance
  • a small correlation value r is calculated for a partial image with low luminance.
  • the calculated normalized correlation value r has a value in the range of ⁇ 1 to +1.
  • the template image 11a shown in FIG. 7 is based on a two-dimensional normal distribution and has the lowest luminance at the center, and the luminance gradually increases concentrically as the distance from the center increases.
  • a correlation value r robust to rotation is calculated.
  • a large correlation value r is calculated for a partial image with low luminance
  • a small correlation value r is calculated for a partial image with high luminance.
  • the luminance of any one of the four corners of the rectangle is different from the luminance of the remaining three corners.
  • the correlation calculation area S moves to the start point at the upper left corner of the input true tablet image 10 (see step 33, FIG. 5).
  • Data representing a partial image in the correlation calculation area S is extracted (step 34).
  • a normalized correlation operation is performed between the extracted partial image and the above-described template image (here, the template image 11 shown in FIG. 6 is used) to calculate a correlation value r (step 35).
  • step 36 It is determined whether or not the correlation calculation area S has reached the end point (lower right corner of the true tablet image 10) (step 36). If the end point has not been reached, the correlation calculation area S moves horizontally or vertically (scanning), and a partial image in the correlation calculation area S after the movement is extracted (NO in step 36, step 34). ). A correlation value r between the new extracted partial image and the template image 11 is calculated (step 35).
  • a two-dimensional array table storing a large number of calculated correlation values r is created (YES in step 36, step 38).
  • An array (row direction and column direction) of a large number of correlation values r in the two-dimensional array table corresponds to the position in the intrinsic tablet image 10 of the correlation calculation area S described above.
  • luminance image Data
  • luminance image data
  • the correlation value r has a numerical value in the range of ⁇ 1 to +1.
  • the smallest correlation value r among a large number of correlation values r stored in the two-dimensional array table is made to correspond to the luminance value 0
  • the largest correlation value r is made to correspond to the luminance value 255.
  • Correlation value images are created with 256 levels of brightness.
  • the correlation value r stored in the above-described two-dimensional array table is expressed in advance by 8-bit (0 to 255) data, the two-dimensional array table can be used as it is as correlation value image data.
  • FIG. 12 shows the authentic tablet image
  • FIG. 13 shows the correlation value image 10a created by passing the above-described normalized correlation operation once for the genuine tablet image 10 shown in FIG. 12, and
  • FIG. A correlation value image 10b obtained by performing the normalized correlation calculation four times is shown.
  • An image 10b is created.
  • the location (coordinates) of a pixel having a luminance value equal to or greater than a predetermined threshold using the created correlation value image is determined and extracted as a feature point in intrinsic tablet image 10 (step 42).
  • a plurality of feature points are extracted.
  • FIG. 15 shows a partially enlarged image 10b1 of the above-described correlation value image 10b (see FIG. 14).
  • the feature point extraction process when a plurality of pixels having a luminance equal to or higher than a predetermined threshold are set (adjacent), one set of feature points (coordinates) may be associated with the set pixel. In this case, adjacent pixels having a luminance equal to or higher than a predetermined threshold are grouped.
  • FIG. 15 shows three grouped collective pixel areas, one of which is denoted by reference numeral G1. For example, the coordinates of the center of gravity g1 of the collective pixel region G1 are treated as feature points for the collective pixel region G1. Instead of the center of gravity, the circumscribed rectangle of the collective pixel area G1 or the coordinates of the center of the inscribed rectangle may be used as the feature point of the collective pixel area G1.
  • the plurality of extracted feature points are associated with an intrinsic tablet image ID and image data, thereby producing intrinsic tablet identification data 3A (FIG. 2) including the intrinsic tablet image ID, feature points, and image data.
  • the created genuine tablet identification data 3A is stored in the storage device 3 as described above (step 43). By executing the same processing for each of a large number of genuine tablets 4T1, 4T2, 4T3,..., Each of the genuine tablets 4T1, 4T2, 4T3,. Registered in
  • the correlation value r is calculated using each of a plurality of (for example, two) template images of the plurality of types of template images 11, 11a to e, and feature points are extracted in the same manner as the above-described processing. You may do it. It is possible to increase the feature points extracted for one true tablet image. Further, even when one type of template image (for example, template image 11) is used, it is extracted from one intrinsic tablet image by distinguishing and handling each sign ( ⁇ or +) of the calculated correlation value r. Feature points can be increased.
  • FIG. 16 is a block diagram showing the overall configuration of the collation determination system.
  • the verification determination system uses the genuine tablet identification data 3A stored in the storage device 3 of the tablet registration system described above to determine whether the brought-in tablet 4D is an authentic tablet or not an authentic tablet (whether it is a counterfeit tablet). System for collating and judging.
  • the collation determination system includes a collation determination device 6, an imaging device 5, and a storage device 3.
  • the collation determination device 6 is a computer system including a CPU, a memory, a communication device, and the like, and the computer system performs collation determination by executing a program that causes the computer system to function as the collation determination device 6. It functions as a collation determination device 6 constituting the system.
  • the storage device 3 is shown as the same storage device as the storage device 3 constituting the above-described tablet registration system.
  • the storage device 3 of the tablet registration system is included in the verification determination system by connecting the storage device 3 of the tablet registration system to the verification determination device 6 constituting the verification determination system via a network (such as the Internet). Can do.
  • the authentic tablet identification data 3A stored in the storage device 3 of the tablet registration system may be downloaded (copied) and stored in a storage device included in the verification determination system.
  • FIG. 17 to 19 show the operation of the collation determination device 6 of the collation determination system. Processing for determining whether the tablet 4D is an authentic product or not an authentic product (whether it is a counterfeit product). The flow is shown.
  • the first determination process is a feature point included in the intrinsic tablet identification data 3A for each of a number of intrinsic tablets 4T1, 4T2, 4T3,... Stored in the storage device 3 in advance in the tablet registration system (see FIG. 2). ), An image similar to the image of the tablet 4D to be authenticated is output by being imaged by the imaging device 5 of the collation determination system, and the intrinsic tablet 4T1, 4T2, 4T3,. .. is a process for determining whether or not the image is present in the intrinsic tablet image obtained by imaging.
  • the process determines that the tablet 4D is an authentic tablet.
  • the tablet 4D to be authenticated is imaged by the imaging device 5, and data representing an image representing the tablet 4D (hereinafter referred to as a collation image 20) is output from the imaging device 5.
  • Data representing the verification image 20 is input to the verification determination device 6 (step 51).
  • step 52 The same processing as that of the registration device 1 of the tablet registration system described above is performed on the collation image 20, and feature points (coordinates) (see FIG. 2) of the collation image 20 are extracted (step 52).
  • a plurality of feature points are also extracted from the collation image 20.
  • the normalized correlation operation of the same algorithm as that of the normalized correlation operation executed in the tablet registration system is also executed in the collation determination system.
  • the same template image as that used in the tablet registration system is also used in the collation determination system.
  • a plurality of feature points of the intrinsic tablet image i read from the storage device 3 and a plurality of feature points extracted for the collation image 20 are used, and the similarity between the intrinsic tablet image i and the collation image 20 is used. Is calculated (step 55).
  • a geometric hashing method can be used to calculate the similarity between two images using the positions (coordinates) of a plurality of feature points.
  • two target models here, geometric representations that are invariant to translation, expansion (reduction) and rotation
  • multiple feature points coordinates
  • the LLHA method (LocallyLLikely Arrangement Hashing) may be used instead of the geometric hashing method. Also by the LLHA method, a numerical value representing the similarity between two images is calculated based on the geometric characteristics of a plurality of feature points (coordinates) of the two images. In geometric hashing and LLHA, the positional deviation relationship, enlargement (reduction) relationship, and rotation angle relationship between the true tablet image i and the collation image 20 are also detected in the similarity calculation process. That is, in geometric hashing and LLHA, deviation amounts between a plurality of feature points of the intrinsic tablet image i and a plurality of feature points of the matching image 20 corresponding thereto are obtained. The alignment parameters (movement parameter, enlargement / reduction parameter, rotation parameter) for eliminating the relative deviation are also calculated together with the similarity.
  • step 56 It is determined whether the calculated similarity is greater than or equal to a predetermined threshold (step 56). If the degree of similarity between genuine tablet image i and collation image 20 is less than a predetermined threshold (NO in step 56), it is determined that true tablet image i is not similar to collation image 20 (different), and counter i is incremented. (NO in step 56, step 57). The feature points (coordinates) of the next true tablet image i stored in the storage device 3 are read out, and the above-mentioned similarity is calculated again (steps 54 and 55).
  • the genuine tablet image ID (see FIG. 2) of the genuine tablet image i is temporarily stored in the memory of the collation determination device 6. (Step 58).
  • step 59 Whether or not the counter i matches the total number of data M of the authentic tablet identification data 3A stored in the storage device 3, that is, whether or not the calculation of the similarity between all the authentic tablet images i and the collation images 20 has been completed. Judgment is made (step 59). If there is an intrinsic tablet image i for which similarity calculation has not been performed, the counter i is incremented (NO in step 59, step 57), the feature point of the next intrinsic tablet image i and the feature of the collation image 20 Similarity calculation using points is performed (step 55).
  • step 58 the true tablet image ID of the true tablet image i whose similarity with the collation image 20 is equal to or greater than a predetermined threshold is sequentially stored in the memory.
  • the process proceeds to the second determination process.
  • a plurality of genuine tablet image IDs are stored in the memory at step 58, that is, when a plurality (J) of genuine tablet images similar to the collation image 20 (hereinafter referred to as similar genuine tablet images j) are found. Will be explained.
  • the collation image 20 is positioned according to the positional deviation relationship, the enlargement / reduction relationship, and the rotation angle relationship (positioning parameters (movement parameters, enlargement / reduction parameters, rotation parameters)) detected in the above-described similarity calculation (step 55). (Parallel) movement, enlargement or reduction, and rotation are performed, whereby the similar intrinsic tablet image j and the collation image 20 are aligned (shift correction) (step 62). Instead of the collation image 20, the similar intrinsic tablet image j may be aligned.
  • step 63 to 65 Proceed to normalized correlation calculation (steps 63 to 65).
  • the above-described template image (local filter) 11 (FIG. 6) is not used, but the similar intrinsic tablet image j and the collation image 20 are used.
  • the correlation value r between the collation image 20 and a plurality of similar genuine tablet images (three similar genuine tablet images 10A, 10B, and 10C are shown in FIG. 20) will be described below. Will be calculated.
  • FIG. 21 shows a state of normalized correlation calculation between the similar intrinsic tablet image 10A and the collation image 20.
  • Correlation calculation areas (windows) S1 and S2 are set in the similar genuine tablet image 10A and the collation image 20, respectively, and partial images 10P and 20P in the correlation calculation areas S1 and S2 are extracted, respectively. Normalized correlation calculation is performed between the extracted partial images 10P and 20P.
  • any of the above-described known algorithms such as NCC and ZNCC can be used.
  • the correlation calculation areas S1 and S2 are moved to the start point in each of the similar genuine tablet image 10A and the collation image 20 (step 63). Partial images 10P and 20P in the normalized correlation calculation areas S1 and S2 are extracted (step 64). A correlation value between the partial image 10P in the correlation calculation area S1 of the similar intrinsic tablet image 10A and the partial image 20P in the correlation calculation area S2 of the collation image 20 is calculated (step 65).
  • step 66 It is determined whether or not the correlation calculation areas S1 and S2 are located at the end points (step 66). If the end point has not been reached (NO in step 66), the correlation calculation areas S1 and S2 are moved horizontally or vertically (step 67), and the correlation value between the partial images is calculated again (steps 64 and 65).
  • the counter j is incremented to proceed to the calculation of the correlation value between the next similar genuine tablet image j and the collation image 20 (YES in step 66, NO in step 68, step 69, steps 61 to 65). .
  • a number of correlation values respectively calculated between the plurality of similar genuine tablet images j and collation images 20 Is calculated (step 71), and it is determined whether the average correlation value having the largest value is greater than or equal to a predetermined threshold value (step 72).
  • the similar genuine tablet image for example, the similar genuine tablet image 10B shown in FIG. 20
  • the authenticity determination target tablet 4D used to capture the verification image 20 is determined to be an authentic tablet (YES in step 72, step 73). For example, a determination result indicating that the tablet 4D is an authentic product is displayed on the display screen of a display device connected to the verification determination device 6.
  • the true tablet image most similar to the collation image 20 among the many true tablet images stored in the storage device 3 is not the same as the collation image 20
  • the genuine tablet image that is the same as the collation image 20 is not stored in the storage device 3, and therefore it is determined that the authenticity determination target tablet 4D used for imaging is not an authentic tablet (a forged tablet) (step). NO at 72, step 74). For example, a warning that the tablet 4D is a counterfeit is displayed on the display screen of the display device connected to the verification determination device 6.
  • the correlation value (average correlation value) between the similar genuine tablet image j and the verification image 20 is calculated using the entire similar genuine tablet image j and the entire verification image 20 (that is, overall pattern verification).
  • the partial image including the feature point of the similar genuine tablet image j is correlated with the similar authentic tablet image j and the collation image 20 by using the feature point of the similar authentic tablet image j (see FIG. 2).
  • the correlation value is calculated only between, for example, the partial image centered on the feature point of the similar intrinsic tablet image j and the partial image of the collation image 20 at the position corresponding thereto.
  • the partial image centered on the feature point of the similar authentic tablet image j is the correlation value of the similar authentic tablet image j and the collation image 20. It can be said that it is a partial image suitable for calculation.
  • the accuracy of the correlation value calculation is almost sacrificed. Therefore, the time for calculating the correlation value between the similar genuine tablet image j and the collation image 20 can be shortened.
  • the authentic tablet identification data 3A of the storage device 3 not only image data representing the whole authentic tablet but only data representing a partial image centered on the feature point may be stored.
  • Registration device (correlation value calculation means, feature point extraction means, two-dimensional array data creation means) 2,5 Imaging device 3 Storage device 3A Genuine tablet identification data 4T1, 4T2, 4T3 Genuine tablet (genuine product) 4D tablet (authentication product) 6 Collation determination device (correlation value calculation means, feature point extraction means, similarity calculation means, alignment means) 10, 10A, 10B, 10C True tablet image 10a, 10b Correlation value image 11, 11a, 11b, 11c, 11d, 11d, 11e Template images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

 高速に真贋判定を行う。 錠剤登録システムにおいて,多数の真性錠剤画像のそれぞれについて,真性錠剤画像のうちの一部の領域内の部分画像とテンプレート画像との相関値が所定の閾値以上である上記真性錠剤画像の複数の特徴点が記憶されている。真贋判定すべき錠剤を表す照合画像について,照合画像のうちの一部の領域内の部分画像とテンプレート画像との相関値が算出され,算出された相関値が所定の閾値以上である上記照合画像の複数の特徴点が抽出される(ステップ52)。抽出された照合画像の複数の特徴点の幾何学的特性と,記憶されている真性錠剤画像の複数の特徴点の幾何学的特性とを用いて,上記照合画像と上記真性錠剤画像の類似度が算出される(ステップ55)。

Description

真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法
 この発明は,真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法に関する。
 近年,世界的に偽造薬,特に錠剤タイプの偽造薬の市場が急激に成長し社会的に大きな問題となっている。偽造錠剤を発見するために,真性錠剤の表面に特殊な薬品を添加しておき,この特殊薬品を検出することで真性錠剤と偽造錠剤とを識別する方法や,真性錠剤を入れたパッケージにホログラムを印刷しておくといった方法が採用されている。その他,錠剤にレーザ光を照射し,反射光のスペックル・パターンを用いて真性錠剤であるか偽造錠剤であるかを識別する方法もある。
 画像を用いたパターンマッチングが知られている(特許文献1,2)。パターンマッチングを利用することで,あらかじめ登録される多数の真性錠剤画像の中から判定対象錠剤画像と同じ真性錠剤画像を検索することで,判定対象錠剤が真性なものであるかどうかを判定することができる。特許文献3には特徴点および特徴量を画像ファイルおよび検索画像のそれぞれから抽出し,検索画像の特徴量に一致するまたは類似する特徴量を持つ画像ファイルを検索することが記載されている。特許文献4は基準画像と照合画像の相関値を演算し,照合画像が表す紙文書の真偽を判定するものを記載する。
特開2005-258940号公報 特開平9-178442号公報 特開2012-133484号公報 特開2005-38389号公報
 しかしながら,真性錠剤画像が大量に存在する場合,すべての真性錠剤画像のそれぞれを処理対象にして真性錠剤画像と判定対象錠剤画像の相関値を演算すると,演算量が格段に大きくなり,最終的な判定結果を得るまでに非常に時間がかかってしまう。
 この発明は,高速な真贋判定を実現することを目的とする。
 この発明による真贋判定システムは,真性品特徴点登録装置と照合判定装置とから構成される。
 真性品特徴点登録装置は,真性品画像のうちの部分画像とテンプレート画像の相関値を算出する第1の相関値算出手段,上記第1の相関値算出手段によって算出された相関値が第1の閾値以上である上記真性品画像の複数の特徴点を抽出する真性品特徴点抽出手段,および上記真性品特徴点抽出手段によって抽出された上記真性品画像の複数の特徴点を含む真性品識別データを記憶する真性品識別データ記憶手段を備える。照合判定装置は,真贋判定品画像のうちの部分画像とテンプレート画像の相関値を算出する第2の相関値算出手段,上記第2の相関値算出手段によって算出された相関値が第2の閾値以上である上記真贋判定品画像の複数の特徴点を抽出する真贋判定品特徴点抽出手段,および上記真贋判定品特徴点抽出手段によって抽出された真贋判定品画像の複数の特徴点の幾何学的特性と,上記特徴点登録装置の上記真性品識別データ記憶手段に記憶されている真性品画像の複数の特徴点の幾何学的特性とを用いて,上記真贋判定品画像と上記真性品画像の類似度を算出する類似度算出手段を備える。
 真性品特徴点登録装置が用いられて真性品画像についての識別データ(真性品識別データ)が記憶(登録)される。真性品とは正規に製造された物品(本物,純正品)を意味する。真性品識別データは真性品を表す真性品画像を用いた画像処理によって取得(作成)され,真性品画像の複数の特徴点(その座標データ)を含む。真性品画像のうちの一部の領域内の部分画像とテンプレート画像との相関値が算出され,算出された相関値が第1の閾値以上である上記真性品画像中の複数の位置(座標)が真性品画像の特徴点に決定される。決定された特徴点が真性品識別データ記憶手段に記憶される。
 照合判定装置が用いられて,真贋判定品を表す真贋判定品画像についての複数の特徴点(座標)が抽出される。真贋判定品とは上述した真性品であるかまたは不正に製造された物品(偽物,真性品でないもの)であるかを判定する判定対象品を意味する。真贋判定品画像について抽出される複数の特徴点も,真贋判定品画像を用いた画像処理によって取得(作成)される。真贋判定品画像のうちの一部の領域内の部分画像とテンプレート画像との相関値が算出され,算出された相関値が第2の閾値以上である上記真贋判定品画像中の複数の位置(座標)が真贋判定品画像の特徴点に決定される。上記第1の閾値と第2の閾値は同じ値でも異なる値でもよい。
 真贋判定品画像の複数の特徴点の幾何学的特性と,上記特徴点登録装置の上記真性品識別データ記憶手段に記憶されている真性品画像の複数の特徴点の幾何学的特性とを用いて,上記真贋判定品画像と上記真性品画像の類似度(一致の程度を定量的に表す数値)が算出される。複数の特徴点の幾何学的特性とは,複数の特徴点同士の間隔,複数の特徴点を直線で結ぶことで規定される図形形状等を含む。複数の特徴点の幾何学的特性(複数の特徴点から規定される形状)を用いることで,上記真贋判定品画像と上記真性品画像のサイズが異なっていたり,相互に回転ずれが存在しているとしても,それらに対してロバストな類似度が算出される。算出される類似度が所定値以上であるときに,真贋判定品画像は真性品画像と同じまたは非常に似ており,真贋判定品は真性品であることを推定することができる。逆に算出される類似度が所定値未満であれば,真贋判定品画像は真性品画像と同じではなく(似ておらず),真贋判定品は真性品でない(偽造品である)ことを推定することができる。
 この発明によると,真贋判定品画像自体と真性品画像自体の相関値を算出することなく,真贋判定品画像の複数の特徴点の幾何学的特性と,真性品画像の複数の特徴点の幾何学的特性とを用いて真贋判定品画像と真性品画像の類似度が算出され,算出される類似度にしたがって真贋判定品の真贋を判定することができるので,高速な真贋判定を行うことができる。多数の真性品画像が存在しても真贋判定を迅速に終了することができる。
 好ましくは,上記真性品画像に対して用いられるテンプレート画像と同じテンプレート画像が上記真贋判定品画像に対しても用いられる。
 一実施態様では,上記真性品特徴点登録装置が備える上記第1の相関値算出手段は,上記真性品画像に上記テンプレート画像をスキャンし,上記真性品画像における上記テンプレート画像の位置に応じた複数の相関値を算出するものであり,上記真性品特徴点登録装置はさらに,上記複数の相関値を,スキャンされる上記テンプレート画像の位置に応じて配列した相関値二次元配列データを作成する手段,上記相関値二次元配列データにおける相関値を輝度値として用いた相関値画像データ(輝度画像データ)によって表される相関値画像に上記テンプレート画像をスキャンし,上記相関値画像における上記テンプレート画像の位置に応じた複数の相関値を算出する第3の相関値算出手段を備え,上記真性品特徴点抽出手段は,上記第1の相関値算出手段によって算出される相関値に基づく真性品画像の特徴点の抽出に代えて,上記第3の相関値算出手段によって算出される相関値に基づいて上記真性品画像の特徴点を抽出する。
 真性品画像に対して上記テンプレート画像がスキャンされて上記真性品画像における上記テンプレート画像の位置に応じた複数の相関値が算出され,算出された複数の相関値の大きさおよび分布(二次元配列)に基づいて相関値画像が生成される。次に,生成された相関値画像に対して上記テンプレート画像がスキャンされて上記相関値画像における上記テンプレート画像の位置に応じた複数の相関値が算出される。相関値画像において真性品画像が持つ特徴点が強調されることになる。真贋判定品画像の複数の特徴点の幾何学的特性と真性品画像の複数の特徴点の幾何学的特性とを用いた上記真贋判定品画像と上記真性品画像の類似度算出の精度を向上することができる。
 上記照合判定装置についても,上述と同様に,真贋判定品画像において上記テンプレート画像をスキャンして上記真贋判定品画像における上記テンプレート画像の位置に応じた複数の相関値を算出し,算出した複数の相関値を輝度値として用いた相関値画像を生成し,生成した相関値画像において上記テンプレート画像をスキャンして上記相関値画像における上記テンプレート画像の位置に応じた複数の相関値を算出してもよい。相関値画像において真贋判定品画像が持つ特徴点が強調されることになる。
 上記相関値二次元配列データの作成,上記相関値画像データの生成および相関値画像とテンプレート画像とを用いた相関値の算出を複数回繰返してもよい。真性品画像が持つ特徴点および真贋判定品画像が持つ特徴点をさらに強調することができる。
 上記特徴点登録装置の上記真性品識別データ記憶手段に記憶される真性品識別データが,上記真性品画像を表すデータ,または上記真性品画像の複数の特徴点のそれぞれを含む上記真性品画像のうちの一部の複数の部分画像を表すデータを含むものであってもよい。特徴点のみならず,上記真性品画像を表すデータ,または上記真性品画像の複数の特徴点のそれぞれを含む複数の部分画像を表すデータを記憶しておくことで,上述した真贋判定品画像の複数の特徴点の幾何学的特性と真性品画像の複数の特徴点の幾何学的特性とを用いた上記真贋判定品画像と上記真性品画像の類似度の算出に基づく真贋判定に加えて,追加の(より精密な)真贋判定を行うことが可能になる。
 一実施態様では,上記照合判定装置は,上記類似度算出手段によって算出される類似度が第3の閾値以上である場合に,上記真性品画像のうちの部分画像と上記真贋判定品画像のうちの部分画像との相関値を算出する第5の相関値算出手段を備える。この第5の相関値算出手段による相関値の算出に,上記特徴点登録装置の上記真性品識別データ記憶手段に記憶される上記真性品画像を表すデータ,または上記真性品画像の複数の特徴点のそれぞれを含む複数の部分画像を表すデータを用いることができる。真贋判定品画像を表す画像データについては,上記第5の相関値算出手段によって相関値を算出するときに照合判定装置に与えればよい。
 この発明によると,上記類似度算出手段によって算出される類似度が第3の閾値以上である場合に,上記真性品画像と上記真贋判定品画像の相関値が算出される。すなわち,上述した真贋判定品画像の複数の特徴点の幾何学的特性と真性品画像の複数の特徴点の幾何学的特性とを用いた上記真贋判定品画像と上記真性品画像の類似度の算出に基づく真贋判定において真性品画像と真贋判定品画像とが比較的似ていると判定された場合にのみ,上記真性品画像と上記真贋判定品画像の相関値の算出に進む。特に真性品画像が多数存在する場合に,総当たり的に真性品画像と真贋判定品画像の相関値が算出されるのではないから,高速な真贋判定が大きく阻害されてしまうことはない。真贋判定品画像に比較的に似ていると判定された上記真性品画像について,上記真贋判定品画像との相関値を算出することで,真贋判定の精度を高めることができる。
 一実施態様では,上記照合判定装置が備える上記第5の相関値算出手段は,上記真性品画像に相関値算出領域(スキャン・ウインドウ)をスキャンし,かつ上記真贋判定品画像においても相関値算出領域をスキャンし,上記相関値算出領域内の上記真性品画像と上記真贋判定品画像の対応する位置の部分画像同士の相関値を算出するものである。真性品画像の全体と真贋判定品画像の全体とについて相関値が算出される。
 他の実施態様では,上記照合判定装置が備える上記第5の相関値算出手段は,上記真性品画像についての上記真性品識別データに含まれる上記真性品画像の複数の特徴点のそれぞれを含む複数の部分画像と,これに対応する位置の上記真贋判定品画像の部分画像同士の相関値を算出するものである。相関値の算出に用いられる真性品画像の部分画像は,上記真性品識別データ記憶手段に記憶される真性品識別データが上記真性品画像の複数の特徴点のそれぞれを含む複数の部分画像を表すデータを含むものであれば,その複数の部分画像データそのものによって表される部分画像であってもよいし,上記真性品識別データ記憶手段に記憶される真性品識別データが上記真性品画像を表すデータ(真性品画像の全体を表す画像データ)のみを含むものであれば,その真性品画像データを表すデータから複数の特徴点のそれぞれを含む部分画像データを抽出することで作成してもよい。
 特徴点は真性品画像の特徴が顕著に表れている場所であるから,真性品画像の特徴点を含む部分画像は,真性品画像と真贋判定品の相関値の算出に適する部分画像と言える。真性品画像の特徴点を含む部分画像とこれに対応する位置の真贋判定品画像の部分画像との間でのみ相関値を算出することで,相関値算出の精度をほとんど犠牲にすることなく,真性品画像と真贋判定品画像の相関値の算出の処理時間を短くすることができる。
 好ましくは,上記照合判定装置は,上記真贋判定品特徴点抽出手段によって抽出された真贋判定品画像の複数の特徴点と,上記真性品特徴点登録装置の上記真性品識別データ記憶手段に記憶されている真性品画像の複数の特徴点とに基づいて算出される,上記真性品画像と上記真贋判定品画像の相対的なズレを解消するための位置合わせパラメータにしたがって,上記真贋判定品画像と上記真性品画像を位置合わせする(平行移動,拡大もしくは縮小,または回転による位置合わせ)位置合わせ手段を備えている。真性品画像と真贋判定品の相関値を精度よく算出することができる。
 この発明は,以下のように包括的に規定される特徴点登録装置も提供する。すなわち,この発明による特徴点登録装置は,複数の対象画像のそれぞれについて,対象画像のうちの部分画像とテンプレート画像の相関値を算出する第1の相関値算出手段,上記第1の相関値算出手段によって算出された相関値が第1の閾値以上である上記対象画像の特徴点を抽出する特徴点抽出手段,および上記特徴点抽出手段によって抽出された上記対象画像の特徴点を含む対象画像識別データを,上記複数の対象画像のそれぞれについて記憶する識別データ記憶手段を備える。特徴点登録装置を用いて複数の対象画像の特徴点を含む対象画像識別データを用意しておくことで,上述したように,一見して本物と見分けが付かない偽物が市場に流通した場合であっても,それが偽物であるか本物であるかを,比較的正確にかつ迅速に判定することができる。
 好ましくは,上記第1の相関値算出手段は,上記対象画像に上記テンプレート画像をスキャンし,上記対象画像における上記テンプレート画像の位置に応じた複数の相関値を算出するものであり,上記特徴点登録装置はさらに,上記複数の相関値を,スキャンされる上記テンプレート画像の位置に応じて配列した相関値二次元配列データを作成する手段,上記相関値二次元配列データにおける相関値を輝度値として用いた相関値画像データによって表される相関値画像に上記テンプレート画像をスキャンし,上記相関値画像における上記テンプレート画像の位置に応じた複数の相関値を算出する第2の相関値算出手段を備え,上記特徴点抽出手段は,上記第1の相関値算出手段によって算出される相関値に基づく対象画像の特徴点の抽出に代えて,上記第2の相関値算出手段によって算出される相関値に基づいて上記対象画像上の特徴点を抽出する。強調された特徴点を識別データ記憶手段に記憶することができる。
 この発明は,上述する特徴点登録装置の動作を制御する方法も提供する。
 さらにこの発明は,上述した真贋判定システムに用いられる照合判定装置およびその動作制御方法も提供している。
錠剤登録システムの全体的構成を示すブロック図である。 真性錠剤識別データを示す。 錠剤登録システムの登録装置の動作を示すフローチャートである。 錠剤登録システムの登録装置の動作を示すフローチャートである。 正規化相関演算処理の様子を示す。 テンプレート画像を示す。 他のテンプレート画像を示す。 他のテンプレート画像を示す。 他のテンプレート画像を示す。 他のテンプレート画像を示す。 他のテンプレート画像を示す。 真性錠剤画像を示す。 相関値画像を示す。 相関値画像を示す。 相関値画像の一部を拡大して示す。 照合判定システムの全体的構成を示すブロック図である。 照合判定システムの照合判定装置の動作を示すフローチャートである。 照合判定システムの照合判定装置の動作を示すフローチャートである。 照合判定システムの照合判定装置の動作を示すフローチャートである。 照合画像と,3つの類似真性錠剤画像との間で相関値がされる様子を示す。 照合画像と類似真性錠剤画像の正規化相関演算の様子を示す。
 図1は錠剤登録システムの全体的構成を示している。
 錠剤登録システムは,製薬会社(錠剤薬製造会社)おいて製造される錠剤4T1,4T2,4T3・・・のそれぞれを識別するためのデータを登録するシステムであり,製薬会社において錠剤4T1,4T2,4T3・・・を製造する製造ライン中に設置される。錠剤登録システムによる識別データの登録を終えた多数の錠剤4T1,4T2,4T3・・・はその後パッケージングされて出荷される。錠剤4T1,4T2,4T3・・・は同種の錠剤であり,いずれもいわゆる真性(正規)の錠剤(以下,真性錠剤という)である。錠剤4T1,4T2,4T3・・・は同種であるが,その表面の微細な凹凸は錠剤4T1,4T2,4T3・・・のそれぞれで異なっている。
 錠剤登録システムは,登録装置1,撮像装置2および記憶装置3を備える。
 登録装置1はCPU,メモリ,通信装置等を備えるコンピュータシステムであり,コンピュータシステムを錠剤登録システムを構成する登録装置として機能させるプログラムがインストールされており,これを実行することによってコンピュータシステムが登録装置1として機能する。
 撮像装置2は真性錠剤4T1,4T2,4T3・・(これらの表面)を撮像する撮像素子(CCD,CMOS等)を含み,撮像素子に結像した真性錠剤4T1,4T2,4T3・・・を表す画像データを出力する。撮像素子2から出力された真性錠剤4T1,4T2,4T3,・・・を表す画像データが登録装置1に入力する。後述するように,登録装置1は,入力した真性錠剤4T1,4T2,4T3,・・・の画像データのそれぞれを用いて,真性錠剤4T1,4T2,4T3,・・・のそれぞれに固有の識別データ(以下,真性錠剤識別データという)を作成する。作成された真性錠剤識別データが記憶装置3に記憶される。
 図2は記憶装置3に記憶される真性錠剤識別データ3Aの一例を示している。
 真性錠剤識別データ3Aは,上述のように多数の真性錠剤4T1,4T2,4T3,・・・のそれぞれについて作成される。図2に示す真性錠剤識別データ3Aの行データのそれぞれが,多数の真性錠剤4T1,4T2,4T3,...のそれぞれに固有の真性錠剤識別データである。
 真性錠剤4T1,4T2,4T3,...のそれぞれについて作成される真性錠剤識別データ3Aは,真性錠剤画像ID(登録画像ID),特徴点を表すデータ,および撮像装置2によって出力される真性錠剤の画像データを含む。真性錠剤画像IDは,真性錠剤4T1,4T2,4T3,...のそれぞれ(真性錠剤4T1,4T2,4T3,...を撮像装置2によって撮像することで出力される真性錠剤画像データのそれぞれ)に付与される固有の番号であり,登録装置1によって順次採番される。特徴点は真性錠剤画像における複数の特徴点の場所(アドレス)を特定するx座標およびy座標の組である。
 図3および図4は錠剤登録システムの登録装置1の動作を示すもので,上述した真性錠剤識別データ3Aを作成して記憶装置3に記憶する処理の流れを示している。
 撮像装置2によって出力された真性錠剤画像を表す画像データが登録装置1に入力する(ステップ31)。後述する所定の処理繰返し数Nを検知するためのカウンタnを初期化(n=1)した後(ステップ32),正規化相関演算処理に進む(ステップ33~35)。
 図5は正規化相関演算処理の様子を示すもので,真性錠剤画像10と相関演算領域(ウインドウ)Sとの関係を示している。図6は正規化相関演算処理に用いられるテンプレート画像(局所フィルタ)11の一例を示している。
 正規化相関演算処理では,真性錠剤画像10の一部である相関演算領域S内の部分画像とテンプレート画像11の正規化相関値rが算出される。図5を参照して,真性錠剤画像10および相関演算領域Sはいずれも矩形であり,たとえば真性錠剤画像10は128画素×128画素の大きさを,相関演算領域Sは9画素×9画素の大きさをそれぞれ持つ。図6に拡大して示すテンプレート画像11は相関演算領域Sと同じ9画素×9画素の大きさを持つ。
 真性錠剤画像10から抽出される上記相関演算領域S内の部分画像とテンプレート画像11とを用いて正規化相関演算を行うことで相関値rは算出される。相関値rを算出する正規化相関演算処理には既知の様々なアルゴリズム,たとえばNCC(Normalized Cross-Correlation),ZNCC(Zero-mean Normalized Cross-Correlation)などを用いることができる。SSD(Sum of SquaredDifference)やSAD(Sum of Absolute Difference)を用いて相関値を算出してもよい。
 相関演算領域Sは,真性錠剤画像10内を水平方向および垂直方向に所定距離(たとえば1画素)ずつ移動させられ,移動のたびに相関演算領域S内の部分画像とテンプレート画像11との間で相関値rが算出される。
 正規化相関演算に用いるテンプレート画像11には様々な種類のものがある。図6に示すテンプレート画像11は二次元正規分布に基づくもので,中心の輝度が最も高く,中心から離れるにしたがって同心円状に輝度が次第に低下しているものである。このようなテンプレート画像11を用いて正規化相関演算を行うことで,回転に対してロバストな相関値rを得ることができる。またテンプレート画像11を用いることにより,輝度が高い部分画像について大きな値の相関値rが算出され,輝度が低い部分画像については小さな値の相関値rが算出される。算出される正規化相関値rは-1~+1の範囲の値を持つ。
 図7~図11は他のテンプレート画像11a~11eを示している。
 図7に示すテンプレート画像11aは二次元正規分布に基づくもので,中心の輝度が最も低く,中心から離れるにしたがって同心円状に輝度が次第に上昇しているものである。テンプレート画像11aを用いて部分画像との間で正規化相関演算を行うことで,回転に対してロバストな相関値rが算出される。テンプレート画像11aを用いると輝度が低い部分画像について大きな値の相関値rが算出され,輝度が高い部分画像について小さな値の相関値rが算出される。
 図8~図11に示すテンプレート画像11b~11eは,矩形の4つの隅のうちのいずれか一つの隅の輝度が,残りの3つの隅の輝度と異なっているものである。テンプレート画像11b~11eを用いて部分画像との間で正規化相関演算を行うことで,拡大/縮小(リサイズ)に対してロバストな相関値rが算出され,エッジが存在する部分画像について大きな値の相関値rが算出される。
 図3に戻って,入力された真性錠剤画像10の左上隅のスタートポイントに相関演算領域Sが移動する(ステップ33,図5参照)。相関演算領域S内の部分画像を表すデータが抽出される(ステップ34)。抽出された部分画像と上述したテンプレート画像(ここでは図6に示すテンプレート画像11を用いるものとする)との間で正規化相関演算が行われて相関値rが算出される(ステップ35)。
 相関演算領域Sがエンドポイント(真性錠剤画像10の右下隅)に達しているかどうかが判断される(ステップ36)。エンドポイントに達していない場合には,相関演算領域Sが水平方向または垂直方向に移動し(スキャン),移動後の相関演算領域S内の部分画像が抽出される(ステップ36でNO,ステップ34)。抽出された新たな部分画像とテンプレート画像11の相関値rが算出される(ステップ35)。
 相関演算領域Sの移動が終了してエンドポイントに達すると,算出された多数の相関値rを格納した二次元配列テーブルが作成される(ステップ36でYES,ステップ38)。二次元配列テーブルにおける多数の相関値rの配列(行方向および列方向)は,上述した相関演算領域Sの真性錠剤画像10における位置に対応する。
 上述した二次元配列テーブルに格納された多数の相関値rを輝度値(濃度値)として用いた相関値画像(相関値r(=輝度値)に応じた明るさを持つ多数の画素から構成される画像)(輝度画像)を表すデータが作成される(ステップ39)。上述したように,相関値rは-1~+1の範囲の数値を持つ。たとえば,二次元配列テーブルに格納されている多数の相関値rのうちの最も小さい値の相関値rを輝度値0に対応させ,最も大きな値の相関値rを輝度値255に対応させることで,256段階の明るさによって相関値画像は作成される。もっとも,上述した二次元配列テーブルに格納する相関値rをあらかじめ8ビット(0~255)のデータによって表現しておけば,二次元配列テーブルをそのまま相関値画像データとして用いることもできる。
 カウンタnが所定の繰返し数Nに達しているかどうかが判断される(ステップ40)。所定の繰返し数Nに達していない場合(ステップ40でNO),カウンタnがインクリメントされ(ステップ41),作成された相関値画像を処理対象の画像として,相関演算領域Sのスキャン(部分画像の抽出)(ステップ33,ステップ34),相関演算領域S内の部分画像とテンプレート画像の相関値の算出(ステップ35),二次元配列テーブルの作成(ステップ38),および相関値画像の生成が繰返される(ステップ39)。たとえば繰返し数N=4であれば,上述した処理が4回繰り返される。
 図12は真性錠剤画像10を,図13は図12に示す真性錠剤画像10に対して上述した正規化相関演算を1回経ることで作成された相関値画像10aを,図14は上述した正規化相関演算を4回経ることで得られた相関値画像10bを示している。正規化相関演算を複数回繰り返すことで,相関値r(=輝度値)が次第に強調されていき,強調された相関値rに対応する箇所の画素の輝度(明るさ)が強調された相関値画像10bが作成される。
 図4を参照して,作成された相関値画像が用いられて所定閾値以上の輝度値を持つ画素の場所(座標)が,真性錠剤画像10における特徴点に決定されて抽出される(ステップ42)。一般には複数の特徴点が抽出される。
 図15は上述した相関値画像10b(図14参照)の一部拡大画像10b1を示している。特徴点抽出処理(ステップ42)において,所定閾値以上の輝度を持つ複数の画素が集合(隣接)している場合にはその集合画素に一つの特徴点(座標)を対応付けてもよい。この場合には,隣接している所定閾値以上の輝度を持つ複数の画素がグルーピングされる。図15には3つのグルーピングされた集合画素領域が示されており,そのうちの一つが符号G1で示されている。たとえば,集合画素領域G1の重心g1の座標が集合画素領域G1についての特徴点として扱われる。重心に代えて,集合画素領域G1の外接矩形または内接矩形の中心の座標を集合画素領域G1の特徴点としてもよい。
 抽出された複数の特徴点(座標)に,真性錠剤画像IDおよび画像データが関連付けられて,これにより真性錠剤画像ID,特徴点および画像データを含む真性錠剤識別データ3A(図2)が作成される。作成された真性錠剤識別データ3Aは上述したように記憶装置3に記憶される(ステップ43)。同様の処理を多数の真性錠剤4T1,4T2,4T3,...のそれぞれについて実行することで,真性錠剤4T1,4T2,4T3,...のそれぞれ真性錠剤識別データ3Aが作成されて記憶装置3に登録される。
 なお,上述した複数種類のテンプレート画像11,11a~eのうちの複数(たとえば2つ)のテンプレート画像のそれぞれを用いて相関値rを算出し,上述した処理と同様にして特徴点を抽出するようにしてもよい。一の真性錠剤画像に対して抽出される特徴点を増やすことができる。また,一種類のテンプレート画像(たとえばテンプレート画像11)を用いる場合でも,算出される相関値rの符号(-または+)のそれぞれを区別して取扱うことで,一の真性錠剤画像に対して抽出される特徴点を増加させることができる。
 図16は照合判定システムの全体的構成を示すブロック図である。
 照合判定システムは,持ち込まれた錠剤4Dが真性錠剤であるか真性錠剤ではないか(偽造錠剤であるか)を,上述した錠剤登録システムの記憶装置3に記憶された真性錠剤識別データ3Aを用いて照合しかつ判定するシステムである。
 照合判定システムは,照合判定装置6,撮像装置5および記憶装置3を備える。照合判定装置6も,上述した登録装置2と同様に,CPU,メモリ,通信装置等を備えるコンピュータシステムであり,コンピュータシステムを照合判定装置6として機能させるプログラムを実行することによってコンピュータシステムが照合判定システムを構成する照合判定装置6として機能する。記憶装置3は,この実施例では上述した錠剤登録システムを構成する記憶装置3と同一の記憶装置として示されている。たとえば,照合判定システムを構成する照合判定装置6に,ネットワーク(インターネットなど)を介して錠剤登録システムの記憶装置3を接続することによって,照合判定システムに錠剤登録システムの記憶装置3を含ませることができる。もっとも,錠剤登録システムの記憶装置3に記憶されている真性錠剤識別データ3Aを,照合判定システムが備える記憶装置にダウンロード(コピー)して記憶させてもよい。
 図17~図19は照合判定システムの照合判定装置6の動作を示すもので,錠剤4Dが真性品であるか真性品でないか(偽造品であるか)を判定する(真贋判定する)処理の流れを示している。
 照合判定システムでは,以下の2段階の判定処理が行われる。
 第1の判定処理は,錠剤登録システムにおいてあらかじめ記憶装置3に記憶される多数の真性錠剤4T1,4T2,4T3,...のそれぞれについての真性錠剤識別データ3Aに含まれる特徴点(図2参照)を用いて,照合判定システムの撮像装置5によって撮像されて出力される,真贋判定対象の錠剤4Dの画像に類似する画像が錠剤登録システムの撮像装置2によって真性錠剤4T1,4T2,4T3,...を撮像することによって得られた真性錠剤画像の中に存在するかどうかを判定する処理である。
 第2の判定処理は,第1の判定処理において真贋判定対象の錠剤4Dの画像に類似する画像が真性錠剤画像の中に存在することが判定された場合に,錠剤4Dの画像と,これに類似すると判断された真性錠剤画像の相関値を算出し,算出された相関値が所定の閾値よりも高い場合に,錠剤4Dの画像と同一の画像が複数の真性錠剤画像の中に含まれている,すなわち錠剤4Dは真性錠剤であると判定する処理である。
 以下,図17~図19のフローチャートに沿って上述の第1の判定処理および第2の判定処理を詳細に説明する。はじめに真贋判定対象の錠剤4Dが撮像装置5によって撮像され,撮像装置5から錠剤4Dを表す画像(以下,照合画像20という)を表すデータが出力される。照合画像20を表すデータが照合判定装置6に入力する(ステップ51)。
 照合画像20に対して,上述した錠剤登録システムの登録装置1と同じ処理が行われて,照合画像20の特徴点(座標)(図2参照)が抽出される(ステップ52)。照合画像20についても一般には複数の特徴点が抽出される。錠剤登録システムにおいて抽出される特徴点に対応する特徴点を抽出するために,錠剤登録システムにおいて実行される正規化相関演算のアルゴリズムと同一のアルゴリズムの正規化相関演算が照合判定システムにおいても実行され,錠剤登録システムにおいて用いられるテンプレート画像と同一のテンプレート画像が照合判定システムにおいても用いられる。
 カウンタiが初期化され(i=1),真性錠剤画像iについての複数の特徴点(座標)が記憶装置3から読み出される(ステップ53,54)。
 記憶装置3から読み出された真性錠剤画像iの複数の特徴点と,照合画像20について抽出された複数の特徴点とが用いられて,真性錠剤画像iと照合画像20との間の類似度が算出される(ステップ55)。複数の特徴点の位置(座標)を利用した2つの画像の類似度の算出には,たとえばジオメトリックハッシング法を用いることができる。ジオメトリックハッシング法では,複数の特徴点(座標)によって規定される幾何学的特性(平行移動,拡大(縮小)および回転に不変の幾何学的構造表現)を用いて,2つの対象モデル(ここでは真性錠剤画像iと照合画像20)の類似度が数値によって表される。ジオメトリックハッシング法に代えてLLHA法(Locally Likely Arrangement Hashing)を用いてもよい。LLHA法によっても2つの画像のそれぞれの複数の特徴点(座標)の幾何学的特性に基づいて2つの画像の類似度を表す数値が算出される。ジオメトリックハッシングおよびLLHAでは,その類似度算出過程において真性錠剤画像iと照合画像20の位置ずれ関係,拡大(縮小)関係および回転角度関係も検出される。すなわち,ジオメトリックハッシングおよびLLHAでは真性錠剤画像iの複数の特徴点とこれに対応する照合画像20の複数の特徴点とのずれ量が求められて,これにより真性錠剤画像iと照合画像20の相対的なズレを解消するための位置合わせパラメータ(移動パラメータ,拡大/縮小パラメータ,回転パラメータ)も,類似度とともに算出される。
 算出された類似度が所定の閾値以上であるかどうかが判断される(ステップ56)。真性錠剤画像iと照合画像20の類似度が所定の閾値未満であれば(ステップ56でNO),その真性錠剤画像iは照合画像20と似ていない(異なる)と判断され,カウンタiがインクリメントされる(ステップ56でNO,ステップ57)。記憶装置3に記憶されている次の真性錠剤画像iの特徴点(座標)が読み出され,上述した類似度が再度算出される(ステップ54,55)。
 真性錠剤画像iと照合画像20の類似度が所定の閾値以上である場合(ステップ56でYES),その真性錠剤画像iの真性錠剤画像ID(図2参照)が照合判定装置6のメモリに一時的に記憶される(ステップ58)。
 カウンタiが記憶装置3に記憶されている真性錠剤識別データ3Aの全データ数Mと一致しているかどうか,すなわち,すべての真性錠剤画像iと照合画像20の類似度の算出を終えたかどうかが判断される(ステップ59)。類似度算出が行われていない真性錠剤画像iが存在する場合には,カウンタiがインクリメントされて(ステップ59でNO,ステップ57),次の真性錠剤画像iの特徴点と照合画像20の特徴点とを用いた類似度算出が行われる(ステップ55)。
 上述したように,ステップ58において,照合画像20との間の類似度が所定の閾値以上であった真性錠剤画像iの真性錠剤画像IDが順次メモリに記憶される。すべての真性錠剤画像iと照合画像20の類似度の算出を終えると(ステップ59でYES),第2の判定処理に進む。ここでは,複数の真性錠剤画像IDがステップ58でメモリに記憶された場合,すなわち照合画像20に類似する複数(J個)の真性錠剤画像(以下,類似真性錠剤画像jという)が見つかった場合を説明する。複数の類似真性錠剤画像j(j=1,2,...J)のそれぞれについて,以下の第2の判定処理が行われる。
 はじめにカウンタjが初期化され(j=1),複数の類似真性錠剤画像jのうちの1つについての画像データが記憶装置3から読み出される(ステップ60,61)。
 上述した類似度算出(ステップ55)において検出される位置ずれ関係,拡大/縮小関係および回転角度関係(位置合わせパラメータ(移動パラメータ,拡大/縮小パラメータ,回転パラメータ))にしたがって,照合画像20が位置(平行)移動,拡大または縮小,回転させられ,これによって類似真性錠剤画像jと照合画像20の位置合わせ(ずれ補正)が行われる(ステップ62)。照合画像20に代えて類似真性錠剤画像jを位置合わせしてもよい。
 正規化相関演算に進む(ステップ63~65)。ここで実行される正規化相関演算では,上述したテンプレート画像(局所フィルタ)11(図6)は用いられず,類似真性錠剤画像jと照合画像20とが用いられる。図20に示すように,照合画像20と,複数の類似真性錠剤画像(図20には3つの類似真性錠剤画像10A,10B,10Cを示す)のそれぞれの相関値rが,以下に説明するように算出されることになる。
 図21を参照して,図21は,類似真性錠剤画像10Aと照合画像20の正規化相関演算の様子を示している。類似真性錠剤画像10Aと照合画像20のそれぞれに相関演算領域(ウインドウ)S1,S2が設定され,相関演算領域S1,S2内の部分画像10P,20Pがそれぞれ抽出される。抽出された部分画像10P,20P同士で正規化相関演算が行われる。正規化相関演算には,上述したNCC,ZNCCなどの既知のアルゴリズムのうちのいずれかを用いることができる。
 図18に戻って,相関演算領域S1,S2が類似真性錠剤画像10Aと照合画像20のそれぞれにおいてスタートポイントに移動させられる(ステップ63)。正規化相関演算領域S1,S2内の部分画像10P,20Pが抽出される(ステップ64)。類似真性錠剤画像10Aの相関演算領域S1内の部分画像10Pと,照合画像20の相関演算領域S2内の部分画像20Pの相関値が算出される(ステップ65)。
 相関演算領域S1,S2がエンドポイントに位置しているかどうかが判断される(ステップ66)。エンドポイントに達していない場合(ステップ66でNO),相関演算領域S1,S2が水平移動または垂直移動し(ステップ67),再び部分画像同士の相関値が算出される(ステップ64,65)。
 エンドポイントに達すると,カウンタjがインクリメントされて,次の類似真性錠剤画像jと照合画像20の相関値の算出に進む(ステップ66でYES,ステップ68でNO,ステップ69,ステップ61~65)。
 すべての類似真性錠剤画像jと照合画像20の相関値rの算出を終えると(ステップ68でYES),複数の類似真性錠剤画像jと照合画像20との間でそれぞれ算出された多数の相関値の平均値が算出され(ステップ71),そのうち最も値の大きな平均相関値が所定の閾値以上であるかが判断される(ステップ72)。最も値の大きな平均相関値が所定の閾値以上である場合,その最も値の大きな平均相関値の算出に用いられた類似真性錠剤画像(たとえば図20に示す類似真性錠剤画像10B)は照合画像20と同じであると判断され,この場合照合画像20の撮像に用いられた真贋判定対象の錠剤4Dは真性錠剤であると判定される(ステップ72でYES,ステップ73)。たとえば,錠剤4Dが真性品である旨を示す判定結果が照合判定装置6に接続された表示装置の表示画面上に表示される。
 最も値の大きな平均相関値が所定の閾値未満であれば,記憶装置3に記憶されている多数の真性錠剤画像のうち照合画像20に最も似ている真性錠剤画像が照合画像20と同じでないと判断され,照合画像20と同一の真性錠剤画像は記憶装置3に記憶されていず,したがって撮像に用いられた真贋判定対象の錠剤4Dは真性錠剤でない(偽造錠剤である)と判定される(ステップ72でNO,ステップ74)。たとえば錠剤4Dが偽造品である旨の警告が,照合判定装置6に接続された表示装置の表示画面に表示される。
 上述した実施例では,類似真性錠剤画像jの全体と照合画像20の全体を用いて,類似真性錠剤画像jと照合画像20の相関値(平均相関値)を算出する例(すなわち全体パターン照合)を説明したが,類似真性錠剤画像jについての特徴点(図2参照)を利用して,類似真性錠剤画像jの特徴点を含む部分画像のみを,類似真性錠剤画像jと照合画像20の相関値の算出に用いてもよい(部分パターン照合)。この場合,相関値は,たとえば類似真性錠剤画像jの特徴点を中心とする部分画像とこれに対応する位置の照合画像20の部分画像との間でのみ算出される。特徴点は類似真性錠剤画像jの特徴が顕著に表れている場所であるから,類似真性錠剤画像jの特徴点を中心とする部分画像は,類似真性錠剤画像jと照合画像20の相関値の算出に適する部分画像と言える。類似真性錠剤画像jの特徴点を中心とする部分画像とこれに対応する位置の照合画像20の部分画像との間でのみ相関値を算出することで,相関値算出の精度をほとんど犠牲にすることなく,類似真性錠剤画像jと照合画像20の相関値の算出の時間を短くすることができる。この場合には,記憶装置3の真性錠剤識別データ3Aに,真性錠剤の全体を表す画像データでなく,特徴点を中心とする部分画像を表すデータのみを記憶させておいてもよい。
1 登録装置(相関値算出手段,特徴点抽出手段,二次元配列データ作成手段)
2,5 撮像装置
3 記憶装置
3A 真性錠剤識別データ
4T1,4T2,4T3 真性錠剤(真性品)
4D 錠剤(真贋判定品)
6 照合判定装置(相関値算出手段,特徴点抽出手段,類似度算出手段,位置合わせ手段)
10,10A,10B,10C 真性錠剤画像
10a,10b 相関値画像
11,11a,11b,11c,11d,11d,11e テンプレート画像

Claims (14)

  1.  真性品画像のうちの部分画像とテンプレート画像の相関値を算出する第1の相関値算出手段,上記第1の相関値算出手段によって算出された相関値が第1の閾値以上である上記真性品画像の複数の特徴点を抽出する真性品特徴点抽出手段,および上記真性品特徴点抽出手段によって抽出された上記真性品画像の複数の特徴点を含む真性品識別データを記憶する真性品識別データ記憶手段を備える真性品特徴点登録装置と,
     真贋判定品画像のうちの部分画像とテンプレート画像の相関値を算出する第2の相関値算出手段,上記第2の相関値算出手段によって算出された相関値が第2の閾値以上である上記真贋判定品画像の複数の特徴点を抽出する真贋判定品特徴点抽出手段,および上記真贋判定品特徴点抽出手段によって抽出された真贋判定品画像の複数の特徴点の幾何学的特性と,上記真性品特徴点登録装置の上記真性品識別データ記憶手段に記憶されている真性品画像の複数の特徴点の幾何学的特性とを用いて,上記真贋判定品画像と上記真性品画像の類似度を算出する類似度算出手段を備える照合判定装置と,
     を備える真贋判定システム。
  2.  上記真性品特徴点登録装置が備える上記第1の相関値算出手段は,上記真性品画像に上記テンプレート画像をスキャンし,上記真性品画像における上記テンプレート画像の位置に応じた複数の相関値を算出するものであり,
     上記真性品特徴点登録装置はさらに,
     上記複数の相関値を,スキャンされる上記テンプレート画像の位置に応じて配列した相関値二次元配列データを作成する手段,
     上記相関値二次元配列データにおける相関値を輝度値として用いた相関値画像データによって表される相関値画像に上記テンプレート画像をスキャンし,上記相関値画像における上記テンプレート画像の位置に応じた複数の相関値を算出する第3の相関値算出手段を備え,
     上記真性品特徴点抽出手段は,
     上記第1の相関値算出手段によって算出される相関値に基づく真性品画像の特徴点の抽出に代えて,上記第3の相関値算出手段によって算出される相関値に基づいて上記真性品画像の特徴点を抽出する,
     請求項1に記載の真贋判定システム。
  3.  上記照合判定装置が備える第2の相関値算出手段は,上記真贋判定品画像に上記テンプレート画像をスキャンし,上記真贋判定品画像における上記テンプレート画像の位置に応じて複数の相関値を算出するものであり,
     上記照合判定装置はさらに,
     上記複数の相関値を,スキャンされる上記テンプレート画像の位置に応じて配列した相関値二次元配列データを作成する手段,
     上記相関値二次元配列データにおける相関値を輝度値として用いた相関値画像データによって表される相関値画像に上記テンプレート画像をスキャンし,上記相関値画像における上記テンプレート画像の位置に応じた複数の相関値を算出する第4の相関値算出手段を備え,
     上記真贋判定品特徴点抽出手段は,
     上記第2の相関値算出手段によって算出される相関値に基づく真贋判定品画像の特徴点の抽出に代えて,上記第4の相関値算出手段によって算出される相関値に基づいて上記真贋判定品画像の特徴点を抽出する,
     請求項2に記載の真贋判定システム。
  4.  上記相関値二次元配列データの作成,上記相関値画像データの生成および相関値画像とテンプレート画像とを用いた相関値の算出を,複数回繰返す繰返し制御手段をさらに備えている,
     請求項2または3に記載の真贋判定システム。
  5.  上記真性品特徴点登録装置の上記真性品識別データ記憶手段に記憶される真性品識別データが,上記真性品画像を表すデータ,または上記真性品画像の複数の特徴点のそれぞれを含む上記真性品画像のうちの一部の複数の部分画像を表すデータを含む,
     請求項1に記載の真贋判定システム。
  6.  上記照合判定装置は,
     上記類似度算出手段によって算出される類似度が第3の閾値以上である場合に,上記真性品画像のうちの部分画像と上記真贋判定品画像のうちの部分画像の相関値を算出する第5の相関値算出手段を備える,
     請求項5に記載の真贋判定システム。
  7.  上記照合判定装置が備える上記第5の相関値算出手段は,
     上記真性品画像に相関値算出領域をスキャンし,かつ上記真贋判定品画像においても相関値算出領域をスキャンし,上記相関値算出領域内の上記真性品画像と上記真贋判定品画像の対応する位置の部分画像同士の相関値を算出するものである,
     請求項6に記載の真贋判定システム。
  8.  上記照合判定装置が備える上記第5の相関値算出手段は,
     上記真性品画像についての上記真性品識別データに含まれる上記真性品画像の複数の特徴点のそれぞれを含む複数の部分画像と,これに対応する位置の上記真贋判定品画像の部分画像同士の相関値を算出するものである,
     請求項6に記載の真贋判定システム。
  9.  上記照合判定装置は,
     上記真贋判定品特徴点抽出手段によって抽出された真贋判定品画像の複数の特徴点と,上記真性品特徴点登録装置の上記真性品識別データ記憶手段に記憶されている真性品画像の複数の特徴点とに基づいて算出される,上記真性品画像と上記真贋判定品画像の相対的なズレを解消するための位置合わせパラメータにしたがって,上記真贋判定品画像と上記真性品画像を位置合わせする位置合わせ手段を備えている,
     請求項6に記載の真贋判定システム。
  10.  複数の対象画像のそれぞれについて,対象画像のうちの部分画像とテンプレート画像の相関値を算出する第1の相関値算出手段,
     上記第1の相関値算出手段によって算出された相関値が第1の閾値以上である上記対象画像の特徴点を抽出する特徴点抽出手段,および
     上記特徴点抽出手段によって抽出された上記対象画像の特徴点を含む対象画像識別データを,上記複数の対象画像のそれぞれについて記憶する識別データ記憶手段を備える,
     特徴点登録装置。
  11.  上記第1の相関値算出手段は,上記対象画像に上記テンプレート画像をスキャンし,上記対象画像における上記テンプレート画像の位置に応じた複数の相関値を算出するものであり,
     上記特徴点登録装置はさらに,
     上記複数の相関値を,スキャンされる上記テンプレート画像の位置に応じて配列した相関値二次元配列データを生成する手段,
     上記相関値二次元配列データにおける相関値を輝度値として用いた相関値画像データによって表される相関値画像に上記テンプレート画像をスキャンし,上記相関値画像における上記テンプレート画像の位置に応じた複数の相関値を算出する第2の相関値算出手段を備え,
     上記特徴点抽出手段は,
     上記第1の相関値算出手段によって算出される相関値に基づく対象画像の特徴点の抽出に代えて,上記第2の相関値算出手段によって算出される相関値に基づいて上記対象画像の特徴点を抽出する,
     請求項10に記載の特徴点登録装置。
  12.  複数の対象画像のそれぞれについて,対象画像のうちの部分画像とテンプレート画像の相関値を,第1の相関値算出手段によって算出し,
     算出した相関値が第1の閾値以上である上記対象画像の特徴点を,特徴点抽出手段によって抽出し,
     上記複数の対象画像のそれぞれについて抽出した上記対象画像の特徴点を含む対象画像識別データを,識別データ記憶手段に記憶する,
     特徴点登録装置の動作制御方法。
  13.  複数の対象画像のそれぞれについて,対象画像の複数の特徴点を含む対象画像識別データを記憶する対象画像識別データ記憶手段,
     真贋判定品画像のうちの部分画像とテンプレート画像との相関値を算出する相関値算出手段,
     上記相関値算出手段によって算出された相関値が閾値以上である上記真贋判定品画像の複数の特徴点を抽出する特徴点抽出手段,および
     上記特徴点抽出手段によって抽出された真贋判定品画像の複数の特徴点の幾何学的特性と,上記対象画像識別データ記憶手段に記憶されている対象画像の複数の特徴点の幾何学的特性とを用いて,上記真贋判定品画像と複数の上記対象画像のそれぞれとの類似度を算出する類似度算出手段,
     備える照合判定装置。
  14.  複数の対象画像のそれぞれについて,対象画像の複数の特徴点を含む対象画像識別データを記憶する対象画像識別データ記憶手段を備える照合判定装置の動作を制御する方法であって,
     真贋判定品画像のうちの部分画像とテンプレート画像の相関値を,相関値算出手段によって算出し,
     算出した相関値が閾値以上である上記真贋判定品画像の複数の特徴点を,特徴点抽出手段によって抽出し,
     抽出した真贋判定品画像の複数の特徴点の幾何学的特性と,上記対象画像識別データ記憶手段に記憶されている対象画像の複数の特徴点の幾何学的特性とを用いて,上記真贋判定品画像と複数の上記対象画像のそれぞれとの類似度を,類似度算出手段によって算出する,
     照合判定装置の動作制御方法。
PCT/JP2014/054491 2013-03-26 2014-02-25 真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法 WO2014156430A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/857,496 US10083371B2 (en) 2013-03-26 2015-09-17 Authenticity determination system, feature point registration apparatus and method of controlling operation of same, and matching determination apparatus and method of controlling operation of same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-063274 2013-03-26
JP2013063274A JP6063315B2 (ja) 2013-03-26 2013-03-26 真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/857,496 Continuation US10083371B2 (en) 2013-03-26 2015-09-17 Authenticity determination system, feature point registration apparatus and method of controlling operation of same, and matching determination apparatus and method of controlling operation of same

Publications (1)

Publication Number Publication Date
WO2014156430A1 true WO2014156430A1 (ja) 2014-10-02

Family

ID=51623427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/054491 WO2014156430A1 (ja) 2013-03-26 2014-02-25 真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法

Country Status (3)

Country Link
US (1) US10083371B2 (ja)
JP (1) JP6063315B2 (ja)
WO (1) WO2014156430A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009560A (zh) * 2016-11-02 2018-05-08 广州图普网络科技有限公司 商品图像相似类别判定方法及装置
EP3242269A4 (en) * 2014-12-31 2019-01-02 Sang Rae Park Image analysis method and apparatus, and computer readable device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016186678A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法
CN106486458B (zh) * 2015-08-31 2019-03-15 台达电子企业管理(上海)有限公司 多功率芯片的功率封装模块及功率芯片单元的制造方法
JP6587210B2 (ja) * 2015-11-18 2019-10-09 富士ゼロックス株式会社 印刷装置およびプログラム
CN105574873B (zh) * 2015-12-16 2018-05-22 西安空间无线电技术研究所 一种数量可控的图像特征点检测方法
US9754397B1 (en) 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
CN111027573B (zh) * 2019-12-09 2023-05-12 广西荔玉高速公路有限公司 基于盲取证技术的图像真伪鉴别方法
CN112767337B (zh) * 2021-01-12 2023-08-04 杭州海康威视数字技术股份有限公司 一种烟盒检测方法和装置
CN112507315B (zh) * 2021-02-05 2021-06-18 红石阳光(北京)科技股份有限公司 基于智慧大脑的人员通行检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04324583A (ja) * 1991-04-24 1992-11-13 Fujitsu Ltd ムービング・ウインドウ型指紋画像照合方法及び照合装置
JPH0944676A (ja) * 1995-08-01 1997-02-14 Toyota Motor Corp 顔面検出装置
JP2006059282A (ja) * 2004-08-24 2006-03-02 Fujitsu Ltd 生体特徴情報に基づく認証方法
WO2012121166A1 (ja) * 2011-03-04 2012-09-13 日本電気株式会社 流通管理システム、流通管理方法及びそれらに用いられる装置、ラベル、プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3417178B2 (ja) 1995-12-22 2003-06-16 松下電工株式会社 回路パターンの検査方法及びその検査装置
US6539106B1 (en) * 1999-01-08 2003-03-25 Applied Materials, Inc. Feature-based defect detection
JP4218171B2 (ja) * 2000-02-29 2009-02-04 株式会社日立製作所 走査電子顕微鏡,マッチング方法、及びプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2001086365A1 (fr) * 2000-05-12 2001-11-15 Ishida Co., Ltd. Systeme de gestion de production et systeme de verification d'etats de fonctionnement de dispositifs de production
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
JP4103826B2 (ja) 2003-06-24 2008-06-18 富士ゼロックス株式会社 真偽判定方法、装置及びプログラム
US7263243B2 (en) * 2003-12-29 2007-08-28 Carestream Health, Inc. Method of image registration using mutual information
JP4242796B2 (ja) 2004-03-12 2009-03-25 パナソニック株式会社 画像認識方法及び画像認識装置
GB0408328D0 (en) * 2004-04-14 2004-05-19 Imp College Innovations Ltd Method of processing image data
ATE460711T1 (de) * 2004-07-13 2010-03-15 Glory Kogyo Kk Bildüberprüfunganordnung, bildüberprüfungverfahren und bildüberprüfungprogramm
EP1993072A1 (en) * 2007-05-18 2008-11-19 Siemens Aktiengesellschaft Method for comparison of 3D computer model and as-built situation of an industrial plant
JP5367244B2 (ja) * 2007-09-13 2013-12-11 株式会社東芝 目標検出装置および目標検出方法
JP2009216342A (ja) * 2008-03-12 2009-09-24 Mitsubishi Materials Corp 溶融ロータリーキルンの操業方法及び溶融ロータリーキルンの制御装置
JP4926116B2 (ja) * 2008-04-16 2012-05-09 株式会社日立ハイテクノロジーズ 画像検査装置
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
WO2012073162A1 (en) * 2010-12-02 2012-06-07 Koninklijke Philips Electronics N.V. Image registration apparatus
JP5417312B2 (ja) 2010-12-20 2014-02-12 日本電信電話株式会社 画像検索装置、および画像検索プログラム
US9235766B2 (en) * 2011-10-20 2016-01-12 International Business Machines Corporation Optimizing the detection of objects in images
JP5937878B2 (ja) * 2012-04-24 2016-06-22 株式会社日立ハイテクノロジーズ パターンマッチング方法及び装置
JP5941782B2 (ja) * 2012-07-27 2016-06-29 株式会社日立ハイテクノロジーズ マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置
US9122950B2 (en) * 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04324583A (ja) * 1991-04-24 1992-11-13 Fujitsu Ltd ムービング・ウインドウ型指紋画像照合方法及び照合装置
JPH0944676A (ja) * 1995-08-01 1997-02-14 Toyota Motor Corp 顔面検出装置
JP2006059282A (ja) * 2004-08-24 2006-03-02 Fujitsu Ltd 生体特徴情報に基づく認証方法
WO2012121166A1 (ja) * 2011-03-04 2012-09-13 日本電気株式会社 流通管理システム、流通管理方法及びそれらに用いられる装置、ラベル、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3242269A4 (en) * 2014-12-31 2019-01-02 Sang Rae Park Image analysis method and apparatus, and computer readable device
CN108009560A (zh) * 2016-11-02 2018-05-08 广州图普网络科技有限公司 商品图像相似类别判定方法及装置
CN108009560B (zh) * 2016-11-02 2021-05-11 广州图普网络科技有限公司 商品图像相似类别判定方法及装置

Also Published As

Publication number Publication date
US20160004934A1 (en) 2016-01-07
JP2014191361A (ja) 2014-10-06
JP6063315B2 (ja) 2017-01-18
US10083371B2 (en) 2018-09-25

Similar Documents

Publication Publication Date Title
JP6063315B2 (ja) 真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法
US10438036B1 (en) System and method for reading and decoding ID codes on a curved, sloped and/or annular object
JP5997120B2 (ja) 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
US20140119615A1 (en) Product, image, or document authentication, verification, and item identification
US20130153651A1 (en) Encoding information in illumination patterns
JP5765749B2 (ja) 個体識別情報生成装置、物品判定装置、物品判定システム及び方法
US7885437B2 (en) Fingerprint collation apparatus, fingerprint pattern area extracting apparatus and quality judging apparatus, and method and program of the same
JP5919212B2 (ja) 目視照合支援装置およびその制御方法
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
CN109409158A (zh) 一种基于二维码边缘粗糙度的防伪方法
CN106920318B (zh) 一种纸币的鉴别方法及装置
CN112017352B (zh) 证件鉴伪方法、装置、设备及可读存储介质
CN105993022B (zh) 利用脸部表情识别和认证的方法和系统
JP5669572B2 (ja) 指紋認証装置
JP2023040038A (ja) プログラム、情報処理方法及び情報処理装置
CN112036232A (zh) 一种图像表格结构识别方法、系统、终端以及存储介质
JP5773739B2 (ja) 照合装置
US20220351532A1 (en) Method for detecting fraud in documents
US10915772B2 (en) Apparatus and method for registering face pose for face recognition
WO2017085952A1 (ja) データ取得装置、印刷装置、真贋判定装置、方法およびプログラム
JP2015045919A (ja) 画像認識方法及びロボット
JP5217917B2 (ja) 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム
Privman-Horesh et al. Forgery detection in 3D-sensor images
US20180293467A1 (en) Method for identifying corresponding image regions in a sequence of images
WO2017109946A1 (ja) 形状弁別装置、形状弁別方法及び形状弁別プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14775803

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14775803

Country of ref document: EP

Kind code of ref document: A1