WO2020040012A1 - 特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデル - Google Patents

特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデル Download PDF

Info

Publication number
WO2020040012A1
WO2020040012A1 PCT/JP2019/031907 JP2019031907W WO2020040012A1 WO 2020040012 A1 WO2020040012 A1 WO 2020040012A1 JP 2019031907 W JP2019031907 W JP 2019031907W WO 2020040012 A1 WO2020040012 A1 WO 2020040012A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
card
unit
learning model
type
Prior art date
Application number
PCT/JP2019/031907
Other languages
English (en)
French (fr)
Inventor
悠紀 河村
充孝 永江
郁 山田
小林　馨
Original Assignee
大日本印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大日本印刷株式会社 filed Critical 大日本印刷株式会社
Publication of WO2020040012A1 publication Critical patent/WO2020040012A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a specific device, a specific system, a specific method, a generation method, a computer program, and a learning model.
  • Patent Document 1 A device for authenticating a person using a card (for example, Patent Document 1) is widely used.
  • a card storing face image data of a person's face is used for person authentication.
  • the device described in Patent Literature 1 acquires face image data from a card and displays a face image in which a person's face is captured based on the acquired face image data.
  • the person is authenticated by comparing the face of the actual person with the face image.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a specifying device, a specifying system, a specifying method, a generation method, which can specify a type of a card appearing in an image. It is to provide a computer program and a learning model.
  • a specific device is an acquisition unit configured to acquire image data of a card, teacher data including image data of a plurality of types of cards including a driver's license, and label data indicating the type and orientation of the card.
  • teacher data including image data of a plurality of types of cards including a driver's license
  • label data indicating the type and orientation of the card.
  • the learning model learning the relationship between the image data and the type and orientation of the card, and the image data acquired by the acquisition unit is input to the learning model, based on the output from the learning model,
  • a specification unit for specifying a type and a direction.
  • the identification system uses image data of a plurality of types of cards including a driver's license, and teacher data including label data indicating the type and orientation of the card, using the image data and the type of the card.
  • a generation device that learns the relationship with the orientation and generates a learning model that outputs a probability indicating the certainty of the classification of the card type and the orientation, based on an output from the learning model generated by the generation device,
  • a plurality of identification devices for identifying the type and orientation of the card each identification device acquiring an image data of the card, and inputting the image data acquired by the acquisition unit to the learning model;
  • a specifying unit that specifies the type and orientation of the card based on the output from the model; and the distribution of the probability output from the learning model does not satisfy a predetermined criterion.
  • a second correct answer receiving unit for receiving an input of the type and orientation of the card related to the image data input to the learning model, the image data input to the learning model, and the type and orientation input by the second correct answer receiving unit And a generation unit that generates teacher data including label data indicating the learning data, wherein the generation device re-learns a learning model used by the identification unit based on the teacher data generated by the generation unit of the identification device.
  • image data of a card is acquired, and the acquired image data is converted into image data of a plurality of types of cards including a driver's license, and label data indicating the type and orientation of the card.
  • the relationship between the image data and the type and orientation of the card is input to the learned learning model, and the type and orientation of the card are specified based on the output from the learning model.
  • image data of a plurality of types of cards including a driver's license, and teacher data including label data indicating the type and orientation of the card are acquired, and based on the acquired teacher data, From the image data of the card, a learning model used for processing for specifying the type and orientation of the card is generated.
  • a computer program provides a computer with image data of a card, the obtained image data, image data of a plurality of types of cards including a driver's license, and a label indicating the type and orientation of the card.
  • image data of a card
  • image data of a plurality of types of cards including a driver's license
  • a label indicating the type and orientation of the card.
  • a computer program acquires, in a computer, teacher data including image data of a plurality of types of cards including a driver's license and label data indicating the type and orientation of the card, and acquires the acquired teacher data.
  • a process of generating a learning model used for the process of specifying the type and orientation of the card from the image data of the card is executed.
  • the learning model indicates an input layer into which image data of a plurality of types of cards including a driver's license is input, first image data of the plurality of types of cards, and the type and orientation of the card. Based on first teacher data including label data, second image data obtained by adding information to the first image data, and second teacher data including label data, the image data, the type and orientation of the card, And an output layer that outputs a probability indicating the likelihood of classification of the type and orientation of the card related to the image data, based on the first image data of the card input to the input layer.
  • the calculation is performed by the intermediate layer to indicate the certainty of the classification of the type and orientation of the card related to the first image data input to the input layer, and is used to specify the type and orientation of the card To output the rate from the output layer, causing a computer to function.
  • FIG. 2 is an external view of the authentication device according to the first embodiment.
  • FIG. 3 is an exemplary diagram of a target card. It is a schematic diagram of a learning model.
  • FIG. 4 is an explanatory diagram of reduced image data.
  • FIG. 2 is a block diagram illustrating a main configuration of the model generation device.
  • FIG. 4 is an explanatory diagram of reduced image data included in teacher data. It is a flowchart which shows the procedure of a model generation process.
  • FIG. 2 is a block diagram illustrating a main configuration of the authentication device.
  • 5 is a table showing an authentication table. 5 is a table showing the contents of a read rule database. It is a flowchart which shows the procedure of an authentication process. It is a flowchart which shows the procedure of an authentication process.
  • FIG. 13 is a flowchart illustrating a procedure of a model generation process according to the second embodiment. 13 is a flowchart illustrating a procedure of a model generation process according to the second embodiment.
  • FIG. 14 is an explanatory diagram of the upper and lower sides of the card according to the third embodiment. It is a schematic diagram of a learning model.
  • FIG. 14 is a schematic diagram of an authentication system according to a fourth embodiment.
  • FIG. 2 is a block diagram illustrating a main configuration of the authentication device.
  • FIG. 2 is a block diagram illustrating a main configuration of the model generation device. It is a flowchart which shows the procedure of the process which an authentication apparatus and a model generation apparatus perform.
  • FIG. 25 is an explanatory diagram of reduction of first-side image data according to the fifth embodiment.
  • FIG. 15 is an explanatory diagram of reduced image data according to the sixth embodiment.
  • FIG. 2 is a block diagram illustrating a main configuration of the model generation device. 9 is a chart showing contents of an additional information table.
  • 146 is a block diagram illustrating a main configuration of an authentication device in Embodiment 7. [FIG. It is explanatory drawing of a display of a specific result and an answer button. It is explanatory drawing of a display of a correct answer input column. It is explanatory drawing of a correct answer input. It is a flowchart which shows the procedure of an authentication process. It is a flowchart which shows the procedure of an authentication process. 129 is a block diagram illustrating a main configuration of an authentication device in Embodiment 8. [FIG.
  • FIG. 1 is an external view of the authentication device 1 according to the first embodiment.
  • the authentication device 1 includes a storage box 1a in which a plurality of components of the authentication device 1 are stored.
  • the outer surface of the storage box 1a is provided with a rectangular opening 1b penetrating inward and outward.
  • the user of the authentication device 1 inserts a plurality of types of cards C, C,... Including the driver's license into the opening 1b.
  • the long side of the opening 1b is slightly longer than the short side of the card C.
  • the short side of the opening 1b is slightly longer than the thickness of the card C. Accordingly, the size of the opening 1b is substantially the same as the size of the end face on the short side of the card C.
  • the user of the authentication device 1 inserts the card C into the opening 1b from the short side of the card C.
  • a plurality of types of cards C, C,... include a target card which is publicly issued for identification and should be inserted into the opening 1b, and a non-target card which should not be inserted into the opening 1b. It is included.
  • a target card which is publicly issued for identification and should be inserted into the opening 1b
  • a non-target card which should not be inserted into the opening 1b. It is included.
  • the types of the target card in addition to the driver's license, a my number card, a my number notification card, a basic resident register card, a special permanent resident certificate, a residence card, a passport card, a social security card, and the like can be given.
  • a plurality of types of the target card are set in advance. Examples of the types of non-target cards include point cards and electronic money cards. One or more types of non-target cards are also set in advance.
  • FIG. 2 is an illustration of the target card.
  • personal information such as a name, a date of birth, an address or a face photograph is displayed as personal information.
  • personal information such as a name, a date of birth, an address and a face photograph is displayed on the front side of the target card, and no personal information is displayed on the back side of the target card.
  • the display position where the personal information is displayed is different depending on the type.
  • the front side and the back side of each of the plurality of types of cards C, C,... Are appropriately defined.
  • the surface on which the name is displayed may be defined as the front side
  • the surface on which the name is not displayed may be defined as the back side.
  • One surface of the card C is referred to as a first surface, and the other surface of the card C is referred to as a second surface.
  • the authentication device 1 corresponds to a rectangular first surface image showing the first surface of the card C inserted into the opening 1b. First-side image data is generated. Further, the authentication device 1 generates second surface image data corresponding to a rectangular second surface image in which the second surface of the card C inserted in the opening 1b is shown.
  • the authentication device 1 specifies the type and front and back of the card C inserted in the opening 1b based on the generated first-side image data. If the first surface is specified as the front side, it is automatically specified that the second surface is the back side. The meaning of “specific” includes the meaning of “determination”, “identification”, “determination”, and the like. The front and back of the card C are one of the directions of the card C. If the identification cannot be performed based on the first-side image data, the authentication device 1 specifies the type and front and back of the card C inserted into the opening 1b based on the generated second-side image data. I do. The authentication device 1 reads the personal information displayed on the card C from the generated first-side image data and second-side image data based on the specified result, and owns the card C based on the read personal information. Authenticate the person.
  • the display position of personal information on the target card differs depending on the type. Also, in order to read personal information, it is necessary to specify the front and back of the target card.
  • the authentication device 1 outputs learning based on the first-side image data or the second-side image data, and outputs the type of the card C appearing in the first-side image or the second-side image and the probability indicating the certainty of the classification of the front and back sides. Using the model G (see FIG. 3), the type and front and back of the card C are specified.
  • FIG. 3 is a schematic diagram of the learning model G.
  • the learning model G is a learning model of machine learning including deep learning, and is configured by, for example, a neural network.
  • the learning model G has an input layer 20, a plurality of intermediate layers 21, 21,... And an output layer 22.
  • FIG. 3 shows an example in which the number of the intermediate layers 21 is two. Note that the number of the intermediate layers 21 may be three or more.
  • the nodes of each layer are connected to the nodes existing in the previous and next layers in one direction with desired weights and biases.
  • a vector having the same number of components as the number of nodes in the input layer 20 is input as input data of the learning model G.
  • the input of the learning model G is image data.
  • the pixel value of each pixel constituting the image data is input to the node of the input layer 20.
  • an appropriate filter including a convolution filter may be applied to the image data, and the pixel value of each pixel obtained after applying the filter may be input to the input layer 20.
  • Data input to each node of the input layer 20 is input to the first intermediate layer 21.
  • an output is calculated using an activation function including a weight and a bias.
  • the calculated value is input to the next intermediate layer 21.
  • the output is successively transmitted to the subsequent layers until the output of the output layer 22 is obtained.
  • various parameters such as weights and biases for coupling between nodes are learned using, for example, an error back propagation method.
  • a plurality of intermediate layers may include a layer that performs convolution. In this layer, an appropriate filter including a convolution filter is applied to the input data, and a plurality of data obtained after applying the filter is output to a next layer, for example, a pooling layer.
  • the input image data input to the input layer 20 of the learning model G is reduced image data obtained by reducing the first surface image data or the second surface image data.
  • reduced image data on the front and back of a plurality of types of cards C, C,... Including a driver's license are used.
  • FIG. 4 is an explanatory diagram of reduced image data. 4 shows the first surface image or the second surface image, and the lower part of FIG. 4 shows a reduced image corresponding to the reduced image data.
  • M natural number
  • N natural number
  • reduced image data is generated by changing the number of vertical and horizontal pixels to (M / 10) and (N / 10).
  • M and N are, for example, 380 and 600, respectively.
  • the reduction in which personal information cannot be read is, for example, changing the number of vertical pixels to a number of pixels equal to or less than (M / 10) and changing the number of horizontal pixels to a number of pixels equal to or less than (N / 10). It is realized by.
  • the image data and the type of the card C are obtained using teacher data including reduced image data on the front side or the back side of the card C, the type of the card C, and label data indicating the front side or the back side of the card C. And the relationship between front and back has been learned.
  • the image data of the teacher data reduced image data on the front and back of a plurality of types of cards C, C,... Including a driver's license are used.
  • the middle layer 21 the relationship between the reduced image data, the type of the card C, and the front and back is learned based on the teacher data.
  • the output layer 22 outputs the type of the card C appearing in the input image corresponding to the input image data and the probability indicating the certainty of the classification of the front and back. Specifically, for each combination of the type of the card C and the front and back, the probability that the combination of the type and the front and back of the card C related to the input image data corresponds is shown. In FIG. 3, the type of the card C and the combination of the front and back are indicated by (kind, front or back). For each combination of (driver's license, front), (driver's license, back), (my number card, front), (my number card, back), etc., the type of card C pertaining to the input image data and the combination of front and back correspond. Indicates the probability of doing. The reduced image data is reduced until it becomes impossible to acquire personal information. Therefore, the probability is not output based on the personal information displayed on the card C.
  • reduced image data of the first surface image data or the second surface image data is input to the learning model G, and based on the probability output from the learning model G, the first surface image or the second surface image is converted to the first surface image or the second surface image.
  • the type and the front and back of the card C in the picture are specified.
  • FIG. 5 is a block diagram illustrating a main configuration of the model generation device 3.
  • the model generation device 3 includes an input unit 30, an operation unit 31, a storage unit 32, and a control unit 33. These are connected to the internal bus 34.
  • Teacher data is input to the input unit 30.
  • the teacher data input to the input unit 30 is acquired by the control unit 33.
  • the teacher data includes the reduced image data on the front side or the back side of the card C, the type of the card C, and the label data indicating the front side or the back side of the card C.
  • image data included in the teacher data reduced image data on the front and back of a plurality of types of cards C, C,... Including a driver's license are used.
  • the operation unit 31 has an input interface such as a keyboard or a mouse. The user operates the input interface. The operation unit 31 notifies the control unit 33 of an operation performed on the input interface.
  • the storage unit 32 is, for example, a nonvolatile memory.
  • the storage unit 32 stores a learning model G and a computer program 40.
  • the learning model G as described above, based on the first-side image data or the second-side image data, the type of the card C appearing in the first-side image or the second-side image and the likelihood of the classification of the front and back are shown. Output probability.
  • the control unit 33 has a processing element such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tenser Processing Unit), and also serves as a calculation unit that performs calculations.
  • the computer program 40 is used to cause a processing element (computer) included in the control unit 33 to execute a storage process of storing teacher data in the storage unit 32 and a model generation process of generating a learning model G.
  • a processing element computer included in the control unit 33 to execute a storage process of storing teacher data in the storage unit 32 and a model generation process of generating a learning model G.
  • the number of processing elements included in the control unit 33 may be two or more. In this case, a plurality of processing elements may execute the model generation processing in cooperation with each other according to the computer program 40.
  • the computer program 40 may be stored in the storage medium A1 so that the processing elements of the control unit 33 can read the computer program 40.
  • the computer program 40 read from the storage medium A1 by a reading device (not shown) is stored in the storage unit 32.
  • the storage medium A1 is an optical disk, a flexible disk, a magnetic disk, a magnetic optical disk, a semiconductor memory, or the like.
  • the optical disk is a CD (Compact Disc) -ROM (Read Only Memory), a DVD (Digital Versatile Disc) -ROM, or a BD (Blu-ray (registered trademark) Disc).
  • the magnetic disk is, for example, a hard disk.
  • the computer program 40 may be downloaded from an external device (not shown) connected to a communication network (not shown), and the downloaded computer program 40 may be stored in the storage unit 32.
  • the input unit 30 is connected to, for example, a device (not shown), and a plurality of teacher data is sequentially output to the input unit 30 from this device.
  • the control unit 33 executes a storage process each time teacher data is input to the input unit 30. In the storage process, the control unit 33 acquires the teacher data input to the input unit 30 from the input unit 30, and stores the acquired teacher data in the storage unit 32. Thereafter, the control unit 33 ends the storage processing.
  • the weight and bias between nodes used in the intermediate layer 21 of the learning model G Update parameters such as. Thereby, an appropriate learning model G is generated.
  • a learning model G in which parameters such as weights and biases between nodes used in the intermediate layer 21 are set to initial values is stored in the storage unit 32 in advance.
  • FIG. 6 is an explanatory diagram of reduced image data included in teacher data.
  • the reduced image data of the teacher data is not limited to simple reduced image data of a plurality of types of cards C, C,. 6, noise is added to the first-side image data or the second-side image data of the card C, and the first-side image data or the second-side image data to which the noise has been added is reduced.
  • reduced image data in which noise is added to the simple reduced image data of the card C is generated.
  • the control unit 33 acquires reduced image data obtained by adding noise to at least one of simple reduced image data of a plurality of types of cards C, C,. Is stored in the storage unit 32 as reduced image data.
  • the noise shown in FIG. 6 is noise corresponding to dirt on the card C.
  • the noise added to the reduced image data is not limited to noise corresponding to dirt, but also includes noise corresponding to a color change caused by sunburn or aging.
  • the control unit 33 also acquires the reduced image data to which the noise has been added, and stores the acquired reduced image data in the storage unit 32.
  • One of the reduced images of the reduced image data to which the noise corresponding to the color change is added is a reduced image of the yellowed card C.
  • the first side image data obtained by deleting or changing the personal information included in the first side image data or the second side image data of the card C, or The second surface image data is reduced.
  • reduced image data in which the personal information included in the simple reduced image data of the card C is deleted or changed is generated.
  • the control unit 33 acquires reduced image data obtained by deleting or changing personal information included in at least one of simple reduced image data of a plurality of types of cards C, C,.
  • the image data is also stored in the storage unit 32 as reduced image data of the teacher data.
  • the change of the personal information is, for example, a change of a name, a date of birth, or an address. Deletion of personal information is, for example, deletion of a part of a name or an address.
  • the change of the personal information may be a change of the entire personal information or a partial change of the personal information.
  • the reduced image data to which noise has been added may be generated by adding noise to the reduced image data of the card C.
  • the reduced image data from which the personal information has been deleted or changed may be generated by deleting or changing the personal information in the reduced image data of the card C.
  • FIG. 7 is a flowchart showing the procedure of the model generation process.
  • the user of the model generation device 3 performs an execution operation to instruct the execution of the model generation process on the operation unit 31.
  • the control unit 33 executes a model generation process.
  • the control unit 33 first selects one piece of teacher data from the teacher data stored in the storage unit 32 (step S1), and converts the reduced image data included in the selected teacher data into a learning model. G is input to the input layer 20 (step S2). As a result, the type of the card C appearing in the reduced image corresponding to the reduced image data and the probability indicating the certainty of the classification of the front and back sides are output from the output layer 22 of the learning model G as an output result.
  • the calculation in the plurality of intermediate layers 21 and the output of the output result from the output layer 22 are executed by the control unit 33.
  • the control unit 33 After executing step S2, the control unit 33 acquires the output result output from the output layer 22 of the learning model G (step S3), and the acquired output result is included in the teacher data input to the input unit 30. Evaluation is performed based on the label data (step S4). Specifically, the control unit 33 uses an error function (also referred to as an objective function, a loss function, or a cost function) based on the output result obtained in step S3 and the label data included in the teacher data, to output the output result. Can be evaluated.
  • an error function also referred to as an objective function, a loss function, or a cost function
  • step S5 determines whether to update parameters such as the weight and bias between nodes used in the intermediate layer 21 (step S5).
  • step S5 for example, in the process of optimizing (minimizing or maximizing) the error function by the gradient descent method such as the steepest descent method, the error function becomes equal to or smaller than the threshold (or equal to or larger than the threshold). , The parameters are not updated. For example, when the error function exceeds the threshold (or becomes smaller than the threshold), the control unit 33 determines to update the parameter.
  • control unit 33 determines that the parameters are to be updated (S5: YES)
  • the control unit 33 updates the parameters used in the intermediate layer 21 (Step S6).
  • the control unit 33 determines whether or not all the teacher data stored in the storage unit 32 has been selected in step S1. Is determined (step S7).
  • step S1 If the control unit 33 determines that all the teacher data has not been selected (S7: NO), the control unit 33 executes step S1 again. In step S1 executed again, the control unit 33 selects teacher data that has not been selected.
  • the control unit 33 When determining that all the teacher data has been selected (S7: YES), the control unit 33 stores the learning model G with the updated parameters in the storage unit 32 (Step S8), and stores the learning model G in the storage unit 32. All the teacher data, that is, all the teacher data used for updating the parameters of the learning model G are deleted from the storage unit 32 (step S9). After executing the step S9, the control unit 33 ends the model generation processing.
  • the learning model G is used for the process of specifying the type and front and back of the card C from the reduced image data on one side of the card C.
  • the control unit 33 generates an appropriate learning model G by updating parameters based on the teacher data acquired from the input unit 30 in the storage processing.
  • the storage process is executed a plurality of times, and a plurality of teacher data are stored.
  • a plurality of teacher data is used.
  • the plurality of image data included in the teacher data is a plurality of reduced image data obtained by reducing the image data on the front and back of a plurality of types of cards C, C,.
  • the plurality of image data used in the model generation processing of the learning model G includes reduced image data on the front and back of all types of cards C, C,.
  • the authentication device 1 uses the learning model G generated by the control unit 33 of the model generation device 3 in the generation process.
  • the authentication device 1 specifies the type and front and back of the card C inserted in the opening 1b based on the output result output from the learning model G.
  • the control unit 33 acquires from the input unit 30 a plurality of reduced image data obtained by reducing the image data on the front and back of a plurality of types of cards C, C,.
  • the acquired plurality of reduced image data is input as image data of a plurality of teacher data.
  • the learning model G is generated.
  • the probability is determined based on information different from the personal information displayed on the card C inserted into the opening 1b.
  • a learning model G to be output can be generated.
  • the control unit 33 inputs reduced image data obtained by adding noise to at least one of reduced image data of a plurality of types of cards C, C,.
  • the reduced image data acquired from the unit 30 is included in the input of the learning model G as image data of the teacher data.
  • the reduced image data input to the learning model G that is, the reduced image data of the first surface or the second surface of the card C inserted into the opening 1b becomes dirty.
  • the color of the card C changes due to sunburn or aging.
  • the control unit 33 inputs reduced image data obtained by deleting or changing personal information included in at least one of reduced image data of a plurality of types of cards C, C,.
  • the reduced image data acquired from the unit 30 is included in the input of the learning model G as image data of the teacher data.
  • the input to the learning model G includes not only simple reduced image data of a plurality of types of cards C, C,..., But also reduced or deleted reduced image data obtained by adding noise and personal information. And reduced image data obtained as a result. For this reason, since there is much reduced image data used in the model generation processing, the probability that the learning model G outputs is more appropriate.
  • the personal information is partially changed into reduced image data obtained by deleting or changing personal information included in at least one of the reduced image data of a plurality of types of cards C, C,. Data may be included.
  • reduced image data obtained by deleting or changing personal information is not input to the learning model G.
  • a model generation device is used for simple reduced image data, reduced image data to which noise is added, reduced image data in which personal information is partially changed, or reduced image data in which personal information is partially deleted.
  • 3 may be generated by the control unit 33.
  • data including image data showing the front side or the back side of the card C and label data corresponding to the image data is input to the input unit 30.
  • the control unit 33 controls the reduced image data to which the noise is added, the reduced image data in which the personal information is partially changed, or the personal information is partially deleted.
  • Generated reduced image data As a result, teacher data including the reduced image data and the label data is generated.
  • the generated teacher data is stored in the storage unit 32.
  • FIG. 8 is a block diagram showing a main configuration of the authentication device 1.
  • the authentication device 1 further includes a scanner 10, a camera 11, a display 12, and an authentication device 13.
  • the scanner 10 and the authentication device 13 are housed in the housing box 1a.
  • the camera 11 and the display 12 are installed on the outer surface of the housing box 1a as shown in FIG.
  • the authentication device 13 includes an input unit 50, an input / output unit 51, an output unit 52, a storage unit 53, and a control unit 54.
  • the scanner 10 is connected to the input unit 50 of the authentication device 13.
  • the camera 11 is connected to the input / output unit 51 of the authentication device 13.
  • the display 12 is connected to the output unit 52 of the authentication device 13.
  • the input unit 50, the input / output unit 51, the output unit 52, the storage unit 53, and the control unit 54 are connected to an internal bus 55.
  • the scanner 10 When the card C is inserted into the opening 1b, the scanner 10 reads the first side image of the inserted card C, and generates first side image data corresponding to the read first side image. Further, the scanner 10 reads the second surface image of the inserted card C, and generates second surface image data corresponding to the read second surface image.
  • the size of the opening 1b is substantially the same as the size of the end face on the short side of the card C.
  • the shape of the frame of the first surface image and the shape of the frame of the second surface image substantially match the shape of the surface of the card C.
  • the input / output unit 51 outputs a photographing signal for instructing photographing of a face image in which the user's face is captured to the camera 11 according to the instruction of the control unit 54
  • a photographing signal is input to the camera 11
  • the camera 11 photographs a face image and outputs face image data corresponding to the photographed face image to the input / output unit 51.
  • the face image data input to the input / output unit 51 is acquired from the input / output unit 51 by the control unit 54.
  • the output unit 52 outputs the non-specification information indicating that the card C could not be specified according to the instruction of the control unit 54, and the non-target information indicating that the type of the specified card C is the type of the non-target card.
  • the information and unreadable information indicating that the card C could not be read although the card C was specified successfully are output to the display 12.
  • the display 12 displays the content indicated by the input information.
  • the user is notified that the card C could not be specified, that the type of the card C was a non-target card type, or that the card C could not be read.
  • the unreadable information, the unspecified information, and the non-target information correspond to the first information, the second information, and the third information, respectively.
  • the output unit 52 further outputs result information indicating the success or failure of the authentication to the display 12 according to the instruction of the control unit 54.
  • the display 12 displays the content indicated by the result information. Thereby, the success or failure of the authentication is notified to the user.
  • the storage unit 53 is, for example, a nonvolatile memory.
  • the storage unit 53 stores a learning model G, a computer program 60, an authentication table 61, and a reading rule database 62.
  • the learning model G stored in the storage unit 53 is a learning model generated by the model generation device 3.
  • the control unit 54 has a processing element such as a CPU, a GPU, or a TPU, and also functions as a calculation unit that performs calculations.
  • the computer program 60 is used to cause a processing element (computer) included in the control unit 54 to execute an authentication process for authenticating the owner of the card C.
  • a processing element computer
  • the number of processing elements included in the control unit 54 may be two or more. In this case, a plurality of processing elements may cooperate and perform the authentication processing according to the computer program 60.
  • control unit 54 specifies the type and front and back of the card C inserted in the opening 1b.
  • the control unit 54 reads personal information from at least one of the first surface image data and the second surface image data based on the specified result, and authenticates the owner of the card C based on the read personal information.
  • the computer program 60 may be stored in the storage medium A2 so that the processing element of the control unit 54 can read the computer program 60.
  • the storage unit 53 stores the computer program 60 read from the storage medium A2 by a reading device (not shown).
  • the computer program 60 may be downloaded from an external device (not shown) connected to a communication network (not shown), and the downloaded computer program 60 may be stored in the storage unit 53.
  • FIG. 9 is a chart showing an example of the authentication table 61.
  • the authentication table 61 includes a name field, an address field, and a date of birth.
  • the name field a plurality of names corresponding to a plurality of users using the authentication device 1 are stored.
  • the address field stores a plurality of addresses corresponding to the plurality of names stored in the name field.
  • the birth date field stores a plurality of birth dates corresponding to the plurality of names stored in the name field.
  • the name, address, and date of birth are stored in the authentication table 61 in advance.
  • the authentication table is used to authenticate the owner of the card C.
  • FIG. 10 is a table showing the contents of the reading rule database 62.
  • the reading rule database 62 includes a type field and a reading rule field.
  • the type field stores the type of the target card.
  • the type of non-target card that is, the point card or the electronic money card, is not stored in the type field.
  • the types of target cards include a driver's license, a my number card, a my number notification card, a basic resident register card, a special permanent resident certificate, a residence card, a passport card, a social security card, and the like.
  • the reading rule field stores a plurality of personal information reading rules corresponding to the type stored in the type field. Specifically, each reading rule indicates a display position of personal information.
  • the display position of one piece of personal information is defined by the orientation (front or back) of the card C on which the personal information is displayed, and the display location of the personal information on the front or back of the card C.
  • the type and the reading rule are stored in the reading rule database 62 in advance.
  • FIGS. 11 and 12 are flowcharts showing the procedure of the authentication process.
  • the control unit 54 repeatedly executes the authentication process.
  • the control unit 54 first determines whether the card C has been inserted into the opening 1b (step S21).
  • the control unit 54 determines whether or not the card C has been inserted, for example, based on the detection result of the optical sensor that detects the insertion of the card C.
  • the scanner 10 when the card C is inserted into the opening 1b, the scanner 10 generates first-side image data and second-side image data, and inputs the generated first-side image data and second-side image data. Output to the unit 50.
  • control unit 54 determines that the card C has not been inserted (S21: NO)
  • the control unit 54 ends the authentication processing. Thereafter, the control unit 54 executes Step S21 again. Therefore, the control unit 54 waits until the card C is inserted into the opening 1b.
  • control unit 54 determines that the card C is inserted (S21: YES)
  • the control unit 54 generates reduced image data of the first surface image data input to the input unit 50 (step S22).
  • the control unit 54 reduces the first and second image data by reducing the number of vertical and horizontal pixels of the first image data and generates reduced image data of the first image data.
  • the control unit 54 also functions as a reduction unit.
  • the control unit 54 inputs the reduced image data generated in step S22 to the input layer 20 of the learning model G (step S23).
  • the learning model G for example, data of the pixel value of each pixel constituting the reduced image data is input to each node of the input layer 20. Data input to each node of the input layer 20 is output to an adjacent node of the intermediate layer 21.
  • an operation using an activation function including weights and biases between nodes is performed based on the reduced image data input to the input layer 20, and the operation result performed in the intermediate layer 21 is output layer 22.
  • the probability indicating the type of the card C and the certainty of the classification of the front and back sides is output from the output layer 22.
  • the calculation in the plurality of intermediate layers 21 and the output of the output result from the output layer 22 are executed by the control unit 54.
  • control unit 54 After executing step S23, the control unit 54 acquires an output result (probability) output from the output layer 22 of the learning model G (step S24). Next, the control unit 54 determines whether it is possible to specify the type of the card C and the front and back sides based on the output result obtained in step S24 (step S25).
  • the control unit 54 calculates the variance of the probability distribution output from the learning model G.
  • the variance value is large when only one of the probabilities of the card C and all the front and back combinations is extremely high, and the probability of the card C type and all the front and back combinations almost match. If you are small.
  • the control unit 54 determines that identification is impossible if the calculated variance value is less than the predetermined value, and performs identification if the calculated variance value is equal to or more than the predetermined value. Is determined to be possible.
  • the fact that the variance value is equal to or greater than a predetermined value corresponds to a predetermined criterion. When the distribution of the probabilities output from the learning model G does not satisfy the predetermined criterion, the control unit 54 determines that the identification cannot be performed.
  • the predetermined criterion is not limited to the variance value being equal to or larger than the predetermined value.
  • the value may be greater than or equal to a second predetermined value.
  • the predetermined criterion may be that the first highest probability among the probabilities relating to the type of the card C and all combinations of the front and back sides is a third predetermined value, for example, 40% or more.
  • control unit 54 determines that the identification is impossible (S25: NO)
  • the control unit 54 generates reduced image data of the second surface image data as in step S22 (step S26).
  • the control unit 54 reduces the number of vertical and horizontal pixels of the second image data, thereby reducing the second image data and generating reduced image data of the second image data.
  • control unit 54 inputs the reduced image data generated in step S26 to the input layer 20 of the learning model G (step S27).
  • a probability indicating the type of the card C and the certainty of the classification of the front and back sides is output.
  • the control unit 54 determines whether the first surface image data and the second surface image data Both are input to the input layer 20 of the learning model G.
  • control unit 54 may generate reduced image data of both the first surface image data and the second surface image data in step S22. In this case, if the control unit 54 determines in the step S25 that it is impossible to perform the specification, the control unit 54 executes the step S27. In step S27, the control unit 54 inputs the reduced image data of the second surface image data generated in step S22 to the input layer 20 of the learning model G.
  • step S27 the control unit 54 acquires an output result (probability) of the learning model G output from the output layer 22 (step S28).
  • step S28 the control unit 54 determines whether it is possible to specify the type of the card C and the front and back sides based on the output result obtained in step S28 (step S29). .
  • step S30 the control unit 54 instructs the output unit 52 to output the non-specification information to the display 12 (step S30). ).
  • the display 12 displays the content indicated by the unspecified information, and notifies the user that the card C cannot be specified.
  • the unspecified information corresponds to the second information.
  • the output unit 52 functions as a second information output unit.
  • the control unit 54 determines that it is possible to specify the first surface image data (S25: YES), or determines that it is possible to specify the second surface image data (S25: YES). S29: YES), the type and front and back of the card C inserted in the opening 1b are specified based on the output result obtained in step S23 or step S28 (step S31).
  • the specification of the front and back is to specify whether the first side and the second side of the card C are the front side and the back side, respectively. When the specification is performed on one of the first surface and the second surface, the specification is automatically performed on the other surface.
  • the control unit 54 specifies, for example, the type of the card C as the type of the combination having the highest probability in the output result. Further, for example, when the highest combination among the output results indicates the front side, the control unit 54 determines that the reduced image data input to the learning model G is the reduced image data of the first surface image data, The first surface and the second surface are specified as the front side and the back side, respectively. In the same case, when the reduced image data input to the learning model G is the reduced image data of the second surface image data, the control unit 54 determines that the first and second surfaces of the card C are the back side and the front side, respectively. And specify. The control unit 54 also functions as a specifying unit.
  • the authentication device 1 functions as a specific device.
  • step S31 based on the output result obtained by inputting the reduced image data of the first surface image data to the learning model G, To identify. If the control unit 54 determines that the identification can be performed in step S29, the control unit 54 determines in step S31 based on the output result obtained by inputting the reduced image data of the second surface image data to the learning model G. To identify.
  • the control unit 54 determines whether or not the type specified in step S31 is different from a plurality of types related to the target card (step S32).
  • the control unit 54 instructs the output unit 52 to output the non-target information to the display 12 (step S32).
  • Step S33 the display 12 displays the content indicated by the non-target information, and notifies the user that the type of the card C specified in step S31 is a non-target type.
  • the non-target information corresponds to the third information.
  • the output unit 52 functions as a third information output unit.
  • control unit 54 determines that the type specified in step S31 matches one of the plurality of types related to the target card (S32: NO)
  • the control unit 54 reads from the read rule database 62 based on the type specified in step S31.
  • the reading rule of the card C corresponding to the type specified in step S31 is read (step S34).
  • the control unit 54 outputs the personal information displayed on one or both of the front side and the back side of the card C according to the reading rule read out in step S32 to the first side image data and the first Reading is performed from the two-sided image data (step S35).
  • the control unit 54 also functions as a reading unit.
  • control unit 54 determines whether the reading of the personal information has succeeded (step S36). When it is determined that the reading has failed (S36: NO), the control unit 54 instructs the output unit 52 to output the non-readable information to the display 12 (step S37). As a result, the display 12 displays the content indicated by the unreadable information, and notifies the user that the card C cannot be read. As described above, the unreadable information corresponds to the first information.
  • the output unit 52 also functions as a first information output unit.
  • Step S31 Since the type specified in step S31 is different from the actual type of the card C, the reading of the personal information may fail.
  • the control unit 54 ends the authentication processing, and executes Step S21 again.
  • the control unit 54 authenticates the owner of the card C inserted into the opening 1b (step S38). For example, when the personal information read in step S35 includes a face image in which a person's face is captured, the control unit 54 instructs the input / output unit 51 to output a photographing signal to the camera 11. As described above, when a photographing signal is input to the camera 11, the camera 11 photographs a face image and outputs face image data corresponding to the photographed face image to the input / output unit 51. The face image data input to the input / output unit 51 is acquired from the input / output unit 51 by the control unit 54.
  • the control unit 54 performs authentication based on whether or not the person of the face image read in step S35 is the same as the person of the face image corresponding to the face image data acquired from the input / output unit 51. When the person of the face image read in step S35 is the same as the person of the face image corresponding to the face image data acquired from input / output unit 51, control unit 54 determines that authentication has been successful. If the person of the face image read in step S35 is different from the person of the face image corresponding to the face image data acquired from input / output unit 51, control unit 54 determines that authentication has failed.
  • step S38 the control unit 54 performs authentication using the authentication table 61 (see FIG. 9). For example, when the name read in step S35 is stored in the authentication table 61, the control unit 54 determines that the address and birth date read in step S35 correspond to the authentication name corresponding to the name read in step S35. When the address and the date of birth in the table 61 match, it is determined that the owner of the card C has been successfully authenticated.
  • step S35 determines that the authentication of the owner of the card C has failed.
  • the control unit 54 sets the address and the date of birth read in step S35 to the authentication table 61 corresponding to the name read in step S35. If the address and the date of birth do not match, it is determined that authentication of the owner of the card C has failed.
  • step S38 the control unit 54 instructs the output unit 52 to output an authentication result, that is, result information indicating success or failure of the authentication, to the display 12 (step S39). Thereby, the authentication result of step S38 is displayed on the display 12, and the user is notified of the authentication result of step S38.
  • Step S39 the control unit 54 ends the authentication process, and executes Step S21 again.
  • the first plane image data or the second plane image data is input to the input layer 20 of the learning model G, and from the output layer 22 of the learning model G, A probability indicating the likelihood of the type and the classification of the front and back is output.
  • the control unit 54 specifies the type and front and back of the card C based on the probability. If the type and the front and back of the card C cannot be specified by inputting the first surface image data to the input layer 20 of the learning model G, the second surface image data is input to the input layer 20 of the learning model G. , The type and front and back of the card C are specified.
  • control unit 54 inputs the reduced image data to the input layer 20 of the learning model G, it is possible to prevent the learning model G from outputting a probability based on the personal information displayed on the card C. it can.
  • the control unit 54 reads personal information from at least one of the first surface image data and the second surface image data acquired from the input unit 50 based on the specification result. .
  • the authentication device 1 may function as a registration device for newly registering personal information.
  • the control unit 54 converts the face image data captured by the camera 11 as described above. Authenticate using When the authentication is successful, the control unit 54 stores the personal information read in step S35, for example, the name, the date of birth or the address, in a database (not shown) of the storage unit 53.
  • the control unit 33 has a RAM (Random Access Memory) (not shown) as a temporary storage unit.
  • the values of the variables K and U are stored in the storage unit 32.
  • the values of the variables K and U are set by the control unit 33.
  • the first reference value and the second reference value are stored in the storage unit 32 in advance.
  • Each of the first reference value and the second reference value is an integer of 2 or more.
  • the input unit 30 receives first evaluation data and second evaluation data for evaluating the learning model G in addition to the plurality of teacher data.
  • Each of the first evaluation data and the second evaluation data includes reduced image data on the front side or the back side of the card C and label data, like the teacher data.
  • the label data indicates the type of the card C and the front side or the back side of the card C.
  • the control unit 33 executes the storage process each time the teacher data, the first evaluation data, or the second evaluation data is input to the input unit 30.
  • the control unit 33 acquires the teacher data, the first evaluation data, or the second evaluation data input to the input unit 30 from the input unit 30, and stores the acquired data in the storage unit 32. Thereafter, the control unit 33 ends the storage processing.
  • the control unit 33 In the model generation processing, the control unit 33 generates a learning model G using a plurality of teacher data, first evaluation data, and second evaluation data.
  • the number of teacher data used for generating the learning model G matches the product of the first reference value and the predetermined number.
  • the predetermined number is an integer of 2 or more.
  • FIGS. 13 and 14 are flowcharts showing the procedure of the model generation process in the second embodiment.
  • the user of the model generation device 3 performs an execution operation to instruct the execution of the model generation process on the operation unit 31.
  • the control unit 33 executes a model generation process.
  • the control unit 33 first forms a path of the learning model G (Step S41). Specifically, the control unit 33 includes a path between a plurality of nodes related to the input layer 20 and the intermediate layer 21 adjacent to the input layer 20, and a path between a plurality of nodes related to two adjacent intermediate layers 21 and 21. And a path between a plurality of nodes for the intermediate layer 21 and the output layer 22 adjacent to the intermediate layer 21. Parameters such as weights and biases between nodes used in the intermediate layer 21 are appropriately set.
  • the control unit 33 sets the values of the variables K and U to zero (step S42), and stores the plurality of teacher data, the first evaluation data, and the second evaluation data stored in the storage unit 32.
  • the application data is loaded into the RAM (step S43).
  • the control unit 33 selects one teacher data from the RAM (Step S44), and inputs the reduced image data included in the selected teacher data to the input layer 20 of the learning model G (Step S45).
  • the type of the card C appearing in the reduced image corresponding to the reduced image data and the probability indicating the certainty of the classification of the front and back sides are output from the output layer 22 of the learning model G as an output result.
  • the calculation in the plurality of intermediate layers 21 and the output of the output result from the output layer 22 are executed by the control unit 33.
  • step S45 the control unit 33 acquires the output result of the learning model G output from the output layer 22 (step S46), and increments the value of the variable K by 1 (step S47).
  • step S48 the control unit 33 determines whether or not the value of the variable K is a first reference value.
  • step S44 executed again, the control unit 33 selects one unselected teacher data from the plurality of teacher data loaded in step S43.
  • the control unit 33 repeatedly executes steps S44 to S47 until the value of the variable K reaches the first reference value, and obtains the same number of output results as the number of the first reference values.
  • the first reference value is a so-called batch size.
  • the control unit 33 determines that the value of the variable K is the first reference value (S48: YES)
  • the control unit 33 determines the acquired plurality of output results and the contents indicated by the label data of the plurality of teacher data selected in step S44. Is updated on the basis of (step S49).
  • the control unit 33 determines whether or not all the teacher data stored in the RAM has been selected in Step S44 (Step S50).
  • step S50 determines that all the teacher data has not been selected (S50: NO)
  • the control unit 33 sets the value of the variable K to zero (step S51), and executes step S44 again.
  • step S44 executed again, the control unit 33 selects one unselected teacher data from the plurality of teacher data loaded in step S43. Until all the teacher data is selected, the parameters are repeatedly updated based on the plurality of output results.
  • step S52 the control unit 33 evaluates the learning model G using the first evaluation data.
  • step S52 the control unit 33 inputs the reduced image data included in the first evaluation data to the input layer 20 of the learning model G, and acquires an output result of the learning model G.
  • the control unit 33 confirms that the learning model G has output an appropriate output result based on the output result and the content indicated by the label data included in the first evaluation data. If an appropriate output result has not been output, for example, the model generation processing may be ended. In this case, for example, the number of teacher data is increased and the model generation processing is executed again.
  • step S52 the control unit 33 increments the value of the variable U by 1 (step S53), and determines whether the value of the variable U is the second reference value (step S54).
  • step S54 determines whether the value of the variable U is not the second reference value (S54: NO)
  • the control unit 33 sets the value of the variable K to zero (Step S55), and executes Step S44 again.
  • step S44 is executed.
  • the parameters of the learning model G are updated using the plurality of teacher data loaded in step S43.
  • the number of times each teacher data is used is the same as the number of the second reference values.
  • the second reference value is a so-called epoch number.
  • Step S56 the control unit 33 inputs the reduced image data included in the second evaluation data to the input layer 20 of the learning model G, and acquires an output result of the learning model G.
  • the control unit 33 confirms that the learning model G has output an appropriate output result based on the output result and the content indicated by the label data included in the second evaluation data. If an appropriate output result has not been output, for example, the model generation processing may be ended. In this case, for example, the number of teacher data is increased and the model generation processing is executed again.
  • control unit 33 After executing step S56, the control unit 33 stores the learning model G with the updated parameters in the storage unit 32 (step S57), and all the teacher data stored in the storage unit 32, that is, the learning model G All the teacher data used to update the parameters are deleted from the RAM and the storage unit 32 (step S58). After executing the step S58, the control unit 33 ends the model generation processing.
  • the parameters of the learning model G are updated based on a plurality of output results obtained by inputting a plurality of reduced image data to the input layer 20 of the learning model G. .
  • the learning model G is generated.
  • one teacher data is used twice or more. Therefore, a more appropriate learning model G is generated.
  • the model generation device 3 according to the second embodiment has the same effect as the model generation device 3 according to the first embodiment.
  • the processing of steps S53 to S56 may be omitted.
  • the control unit 33 executes step S57 after executing step S52.
  • steps S53 to S56 are omitted, the second evaluation data and the variable U are unnecessary.
  • the control unit 54 of the authentication device 13 specifies the type and front and back of the card C in the opening 1b.
  • the control unit 54 may specify the type and front and back of the card C using the learning model G, and may specify whether the one side of the card C is upward or downward.
  • points of the third embodiment different from the first embodiment will be described. Structures other than the structure described below are common to the first embodiment. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof will be omitted.
  • FIG. 15 is an explanatory diagram of the upper and lower sides of the card C in the third embodiment.
  • the first side image of the first side image data when the card C is inserted from one short side is the other short side. Is different from the first side image of the first side image data when the card C is inserted from the side.
  • the fact that one long side of the opening 1b of the authentication device 1 is on the front side of the card C means, for example, that the top surface of the card C is on the front side in FIG.
  • the direction of the card C whose character direction is normal is defined as upward
  • the direction of the card C whose character direction is reverse is defined as downward.
  • FIG. 16 is a schematic diagram of the learning model G.
  • the learning model G using the reduced image data on the front side or the back side of the card C and the teacher data including the type of the card C, the front side or the back side of the card C, and the label data indicating the upward or downward direction of the card C, The relationship between the image data and the type of the card C, the front and back, and the top and bottom has been learned.
  • the middle layer 21 the relationship between the reduced image data and the type of the card C, the front and back, and the top and bottom is learned based on the teacher data.
  • the output layer 22 outputs the type of the card C appearing in the input image corresponding to the input image data, and the probability indicating the certainty of the classification of the front, back, and top and bottom. Specifically, for each combination of the type of the card C, the front and back, and the top and bottom, the probability that the combination of the card C, the front and back, and the top and bottom of the input image data is applicable is shown. In FIG. 16, the combination of the type, front and back and top and bottom of the card C is indicated by (kind, front or back, top or bottom).
  • the teacher data acquired by the control unit 33 of the model generating device 3 includes the reduced image data on the front side or the back side of the card C, the type of the card C, the front side or the back side of the card C, and the label indicating the upward or downward direction of the card C. And data.
  • the control unit 33 executes a model generation process as in the first embodiment.
  • the authentication device 1 uses the learning model G generated by the control unit 33 of the model generation device 3 in the generation process, as in the first embodiment.
  • the authentication device 1 specifies the type and front and back of the card C inserted into the opening 1b based on the output result output from the learning model G, and determines whether one side of the card C is upward or downward. Identify.
  • the model generation device 3 according to the third embodiment has the same effect as the model generation device 3 according to the first embodiment.
  • the control unit 33 of the model generation device 3 may generate the learning model G as in the second embodiment.
  • the control unit 33 executes the model generation processing according to the second embodiment, and the model generation device 3 has the same effect as the model generation device 3 according to the second embodiment.
  • the control unit 54 of the authentication device 13 performs an authentication process as in the first embodiment.
  • the output layer 22 of the learning model G outputs, as an output result, the type of the card C, the probability indicating the certainty of the front and back, and the certainty of the vertical classification.
  • the control unit 54 determines whether it is possible to specify the type of the card C, the front and back, and the top and bottom.
  • step S31 the control unit 54 specifies the type and the front and back of the card C inserted in the opening 1b based on the output result obtained in step S24 or step S28, and moves the first or second surface upward. And downward.
  • the control unit 54 specifies the type and front and back of the card C based on the probability, and specifies whether one side of the card C is upward or downward.
  • the type, the front and back, and the top and bottom of the card C cannot be specified by inputting the first surface image data to the input layer 20 of the learning model G, the second surface image data is input to the learning model G.
  • the authentication device 1 according to the third embodiment has the same effects as the authentication device 1 according to the first embodiment. In the authentication device 1 according to the third embodiment, whether the first surface or the second surface on which the first surface image or the second surface image is captured is specified to be upward or downward, reading of personal information is not performed. Easy.
  • FIG. 17 is a schematic diagram of an authentication system 7 according to the fourth embodiment.
  • points of the fourth embodiment different from the first embodiment will be described. Structures other than the structure described below are common to the first embodiment. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof will be omitted.
  • the authentication system 7 includes a plurality of authentication devices 1, 1,... And the model generation device 3. These are connected to the network N1.
  • each authentication device 1 transmits the learning model G and the teacher data to the model generation device 3.
  • the model generation device 3 re-learns the learning model G.
  • the authentication system 7 functions as a specific system.
  • FIG. 18 is a block diagram showing a main configuration of the authentication device 1.
  • the authentication device 13 of the authentication device 1 further includes a communication unit 56.
  • the communication unit 56 is also connected to the internal bus 55.
  • the communication unit 56 transmits the learning model G and the teacher data to the model generation device 3 according to the instruction of the control unit 54.
  • the communication unit 56 receives the learning model G updated by the re-learning from the model generation device 3.
  • the control unit 54 acquires the learning model G received by the communication unit 56 from the communication unit 56.
  • the teacher data includes the reduced image data input to the learning model G, the type of the card C, and label data indicating the front side or the back side of the card C.
  • the content indicated by the label data is based on the specification result specified by the control unit 54 in the authentication processing.
  • the control unit 54 of the authentication device 13 displays the reduced image data input to the learning model G and the reduced image corresponding to the reduced image data.
  • Teacher data including label data indicating the type and orientation of the card C present is generated, and the generated teacher data is stored in the storage unit 53.
  • the direction of the card C indicated by the label data is one of the front side and the back side.
  • the control unit 54 inputs the reduced image data of the first side image data to the learning model G, specifies the type of the card C as the driver's license, and specifies the first side of the card C as the front side.
  • control unit 54 generates teacher data including reduced image data of the first-side image data, and a driver's license and label data indicating the front side.
  • control unit 54 also executes an update process for updating the learning model G.
  • FIG. 19 is a block diagram showing a main configuration of the model generation device 3.
  • the model generation device 3 according to the fourth embodiment has other components except the input unit 30 among the components included in the model generation device 3 according to the first embodiment.
  • the model generation device 3 according to the fourth embodiment has a communication unit 35 instead of the input unit 30.
  • the communication unit 35 is also connected to the internal bus 34.
  • the communication unit 35 receives the learning model G and the teacher data from the communication unit 56 of the authentication device 13.
  • the learning model G and the teacher data received by the communication unit 35 of the model generation device 3 are acquired by the control unit 33.
  • the communication unit 35 transmits the learning model G to the communication unit 56 of the authentication device 13 according to the instruction of the control unit 33.
  • the control unit 33 executes the computer program 40 to execute a relearning process for relearning the learning model G.
  • FIG. 20 is a flowchart illustrating a procedure of processing performed by the authentication device 1 and the model generation device 3.
  • FIG. 20 illustrates an update process performed by the control unit 54 of the authentication device 13 included in the authentication device 1 and a re-learning process performed by the control unit 33 of the model generation device 3.
  • the control unit 54 periodically executes the updating process.
  • the control unit 33 also periodically executes the re-learning process.
  • the control unit 54 of the authentication device 13 determines whether to update the learning model G (Step S61).
  • the control unit 54 determines that the learning model G is to be updated, for example, when the number of teacher data stored in the storage unit 53 is equal to or more than a predetermined number, and determines that the number of teacher data stored in the storage unit 53 is When the number is less than the predetermined number, it is determined that the learning model G is not updated.
  • the control unit 54 instructs the communication unit 56 to transfer the learning model G and the teacher data stored in the storage unit 53 to the model via the network N1.
  • the communication unit 35 of the generation device 3 is caused to transmit (step S62).
  • the control unit 33 of the model generation device 3 determines whether the communication unit 35 has received the learning model G and the teacher data from the communication unit 56 of the authentication device 13 (Step S71).
  • the control unit 33 of the model generation device 3 stores the learning model G and the teacher data received by the communication unit 35 in the storage unit 32. It is stored (step S72), and the model generation processing shown in FIG. 7 is executed (step S73). Thereby, the learning model G received by the communication unit 35 is re-learned.
  • the teacher data used in the re-learning of the learning model G includes the reduced image data input to the learning model G by the control unit 54 and the direction (front side or back side) of the card C specified by the control unit 54 in step S31 of the authentication process. And label data shown.
  • control unit 54 instructs the communication unit 35 to transmit the retrained learning model G to the communication unit 56 of the authentication device 13 (step S74).
  • control unit 33 determines that the communication unit 35 has not received the learning model G and the teacher data (S71: NO), or after executing step S74, the re-learning process ends.
  • step S62 the control unit 54 of the authentication device 13 determines whether the communication unit 56 has received the learning model G from the communication unit 35 of the model generation device 3 (step S63).
  • step S63 determines whether the communication unit 56 has received the learning model G from the communication unit 35 of the model generation device 3 (step S63).
  • step S63 determines that the learning model G has not been received (S63: NO)
  • the control unit 54 executes step S63 again, and waits until the communication unit 56 receives the learning model G.
  • the control unit 54 determines that the communication unit 56 has received the learning model G (S63: YES)
  • the control unit 54 updates the learning model G stored in the storage unit 53 to the learning model G received by the communication unit 56. (Step S64).
  • the control unit 54 executes step S64, and ends the update process.
  • the authentication device 1 according to the fourth embodiment has the same effects as the authentication device 1 according to the first embodiment. Furthermore, the learning model G stored in the authentication device 1 according to the fourth embodiment is periodically improved by performing re-learning.
  • the control unit 33 of the model generation device 3 may execute the model generation processing as in the second embodiment. However, in the model generation process executed in step S73 of the relearning process, step S41 is omitted, and the control unit 33 executes from step S42. Further, the learning model G in the fourth embodiment may be the same as the learning model G in the third embodiment. In this case, the orientation of the card indicated by the label data is one of the front side and the back side, and one of the upper side and the lower side. In the authentication process, the control unit 54 inputs the reduced image data of the first surface image data to the learning model G, specifies the type of the card C as a driver's license, and sets the orientation of the card C on the first surface to the front side and the front side.
  • the control unit 54 generates teacher data including reduced image data of the first-side image data, a driver's license, and label data indicating the front side and the upper side.
  • the first evaluation data and the second evaluation data are stored in the storage unit 32 of the model generation device 3 in advance, for example.
  • the communication unit 56 of the authentication device 13 may transmit information indicating the parameters of the learning model G to the communication unit 35 of the model generation device 3 instead of the learning model G.
  • the control unit 33 of the model generation device 3 generates the learning model G based on the parameters received by the communication unit 35, and re-learns the generated learning model G.
  • the communication unit 35 may transmit information indicating a parameter of the learning model G to the communication unit 56 instead of the learning model G.
  • the control unit 54 of the authentication device 13 updates the parameters of the learning model G based on the received information.
  • FIG. 21 is an explanatory diagram of the reduction of the first surface image data according to the fifth embodiment.
  • points of the fifth embodiment that are different from the first embodiment will be described. Structures other than the structure described below are common to the first embodiment. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof will be omitted.
  • the control unit 54 In each of steps S22 and S26 of the authentication process in the fifth embodiment, the control unit 54 generates the first-side image data and the second-side image data as in the first embodiment.
  • Each of the first surface image data and the second surface image data is configured by pixel values of a plurality of pixels arranged in a grid.
  • a setting range in which the number of vertical pixels is the first number of reference pixels and the number of horizontal pixels is the second number of reference pixels is set in advance.
  • the ratio between the vertical and horizontal lengths of the card C is X: Y.
  • X and Y are real numbers.
  • step S22 the control unit 54 maintains the ratio of the vertical and horizontal lengths of the card C in the image of the first surface image data to X: Y so that the image falls within the set range.
  • the first surface image data is reduced.
  • the number of vertical and horizontal pixels in the first surface image data is reduced at the same ratio.
  • M / 10 the number of vertical and horizontal pixels in the first surface image data
  • N / 10 the ratio of the vertical and horizontal lengths of the card C is maintained.
  • M and N is the number of vertical and horizontal pixels of the first surface image data as described in the first embodiment.
  • each of the first reference pixel number and the second reference pixel number is, for example, 128.
  • M and N are, for example, 600 and 380, respectively.
  • step S23 the control unit 54 inputs, for example, a plurality of pixel values constituting the reduced image data generated in step S22 to the nodes of the input layer 20 of the learning model G.
  • step S26 the control unit 54 reduces the second image data in the same manner as the first image data reduced in step S22.
  • step S27 the control unit 54 inputs a plurality of pixel values constituting the reduced image data generated in step S26 to a node of the input layer 20 of the learning model G.
  • control unit 33 of the model generation device 3 acquires reduced image data reduced similarly to the first surface image data and the second surface image data, and uses the acquired reduced image data as teacher data. Input to learning model G.
  • the authentication device 1 according to the fifth embodiment has the same effects as the authentication device 1 according to the first embodiment.
  • image data such as the first-side image data and the second-side image data may be reduced.
  • FIG. 22 is an explanatory diagram of reduced image data according to the sixth embodiment.
  • points of the sixth embodiment that are different from the first embodiment will be described. Structures other than the structure described below are common to the first embodiment. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof will be omitted.
  • the reduced image data of the teacher data is obtained by adding noise to simple reduced image data of a plurality of types of cards C, C,. 2 shows the reduced image data obtained and the reduced image data obtained by deleting or changing the personal information included in the simple reduced image data of the card C.
  • the reduced image data of the teacher data is not limited to these reduced image data.
  • additional information is added to the personal information included in the first-side image data or the second-side image data of card C, and the second information obtained by adding the additional information is added.
  • the one-side image data or the second-side image data is reduced. Thereby, reduced image data in which additional information is added to the personal information included in the simple reduced image data of the card C is generated.
  • “AAA” is added as additional information in the address column.
  • the control unit 33 of the model generating device 3 generates reduced image data obtained by adding additional information to personal information included in at least one of simple reduced image data of a plurality of types of cards C, C,. And the acquired reduced image data is also stored in the storage unit 32 as reduced image data of the teacher data. In the model generation processing, the control unit 33 inputs the teacher data stored in the storage unit 32 to the input layer 20 of the learning model G.
  • the reduced image data in which the additional information is added to the personal information may be generated by adding the additional information to the personal information in the reduced image data of the card C.
  • the control unit 33 includes the reduced image data obtained by adding the additional information as the reduced image data of the teacher data in the input of the learning model G. For this reason, since there is much reduced image data used in the model generation processing, the probability that the learning model G outputs is more appropriate.
  • the reduced image data obtained by adding the additional information is not input to the learning model G but is used as reduced image data of the teacher data when specifying the type and orientation of the card.
  • the simple reduced image data corresponds to the first image data
  • the teacher data including the simple reduced image data corresponds to the first teacher data.
  • Reduced image data in which additional information is added to personal information corresponds to second image data
  • teacher data including reduced image data in which additional information is added to personal information corresponds to second teacher data.
  • FIG. 23 is a block diagram showing a main configuration of the model generation device 3. As shown in FIG. In the sixth embodiment, as shown in FIG. 23, the storage unit 32 stores an additional information table 41 in which additional information and an additional location where the additional information is added are stored in association with the type of the card C. It is remembered.
  • FIG. 24 is a table showing the contents of the additional information table 41.
  • the additional information table 41 includes a type field, an additional information field, and an additional location field.
  • the type field stores types of the target card and the non-target card.
  • the additional information field stores additional information corresponding to the type stored in the type field.
  • the additional location field stores an additional location corresponding to the type stored in the type field.
  • the additional place is a place where an address is described.
  • the control unit 33 of the model generation device 3 When the control unit 33 of the model generation device 3 generates reduced image data to which additional information has been added, the control unit 33 generates reduced image data to which additional information has been added, based on the additional information table 41. Data including image data showing the front side or back side of the card C and label data corresponding to the image data is input to the input unit 30. The control unit 33 adds the additional information corresponding to the type indicated by the label data to the additional location corresponding to the type indicated by the label data in the additional information table 41, and reduces the image data to which the additional information has been added. Thereby, the control unit 33 acquires reduced image data obtained by adding additional information to the simple reduced image data of the card C.
  • the model generation device 3 according to the sixth embodiment has the same effects as the model generation device 3 according to the first embodiment.
  • reduced image data of teacher data may include reduced image data to which additional information is added.
  • FIG. 25 is a block diagram illustrating a main configuration of the authentication device 1 according to the seventh embodiment.
  • points of the seventh embodiment that are different from the first embodiment will be described. Structures other than the structure described below are common to the first embodiment. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof will be omitted.
  • the authentication device 1 according to the seventh embodiment includes an operation unit 14 in addition to the scanner 10, the camera 11, the display 12, and the authentication device 13.
  • the authentication device 13 according to the seventh embodiment has an input unit 57 in addition to the components of the authentication device 13 according to the first embodiment.
  • the input unit 57 is connected to the internal bus 55 and the operation unit 14.
  • the operation unit 14 includes one or a plurality of input interfaces such as a keyboard, a mouse, and a touch panel, and is operated by a user of the authentication device 1.
  • the operation unit 14 receives the operation performed by the user, and outputs operation information indicating the received operation to the input unit 57.
  • operation information is input from the operation unit 14 to the input unit 57, the input unit 57 notifies the control unit 54 of an operation indicated by the input operation information.
  • the output unit 52 indicates the identification result specified by the control unit 54 in the authentication process, that is, the type and the orientation (front or back) of the card C in the authentication processing in accordance with the instruction of the control unit 54,
  • the identification result information including the second surface image data is output to the display 12.
  • the display 12 displays the first surface image or the second surface image, the specific result, and an answer button for accepting whether the displayed specific result is correct or not. And are displayed.
  • FIG. 26 is an explanatory diagram of the display of the identification result and the answer button.
  • the display 12 displays the first surface image or the second surface image corresponding to the first surface image data or the second surface image data included in the specific result information input from the output unit 52.
  • the specific result input from the output unit 52 is displayed.
  • the display 12 displays two answer buttons indicating “correct” and “incorrect”.
  • the user performs an operation such as a click or a tap on the operation unit 14 and selects one answer from the two answer buttons.
  • the control unit 54 receives a response indicating whether or not the specified result is correct based on the operation information output from the operation unit 14 to the input unit 57, that is, the operation performed by the user on the operation unit 14.
  • the pointer moves according to the operation of the operation unit 14.
  • the output unit 52 further instructs the display of a plurality of correct answer input fields for receiving the input of the type and the direction of the card C according to the instruction of the control unit 54, and the first-side image data or the second-side image of the card C Display information including data is output to the display 12.
  • the display 12 displays the first screen image or the second screen image and a plurality of correct answer input columns.
  • FIG. 27 is an explanatory diagram of the display of the correct answer input column.
  • the display 12 displays a first-side image or a second-side image corresponding to the first-side image data or the second-side image data included in the display information input from the output unit 52.
  • a plurality of correct answer input fields for inputting the type and direction are displayed.
  • the display 12 further displays a completion button indicating completion of the input.
  • the user operates the operation unit 14 to select a type and a direction in a plurality of correct answer input fields.
  • the pointer moves according to the operation of the operation unit 14.
  • FIG. 28 is an explanatory diagram of a correct answer input.
  • the user operates the operation unit 14 to select a list display button provided at the right end of one correct answer input field by clicking or tapping.
  • a list of a plurality of correct answer candidates is displayed as shown in FIG.
  • the list display button in the correct answer input box for inputting the type is selected, a list of a plurality of correct answer candidates related to the type is displayed.
  • the direction list display button is selected, a plurality of correct answer candidates regarding the direction, that is, a list showing the front and back sides are displayed.
  • the plurality of correct answer candidates regarding the type and the orientation are indicated by, for example, display information.
  • the control unit 54 receives the input of the type and the orientation selected in the plurality of correct answer input columns based on the operation information output by the operation unit 14 to the input unit 57, that is, the operation performed by the user on the operation unit 14.
  • FIGS. 29 and 30 are flowcharts showing the procedure of the authentication process.
  • the control unit 54 of the authentication device 13 repeatedly executes the authentication processing as in the first embodiment.
  • the control unit 54 similarly executes all the authentication processing according to the first embodiment.
  • control unit 54 further executes an additional process. Therefore, in the authentication processing according to the seventh embodiment, detailed description of steps S21 to S39 executed in the authentication processing according to the first embodiment will be omitted.
  • the control unit 54 determines the output result obtained from the learning model G in step S24 or step S28 for the specified result specified in step S31. It is determined whether or not the indicated probability is less than the reference probability (step S81). In step S81, which is executed after it is determined in step S25 that the specification can be performed, the control unit 54 compares the probability indicated by the output result obtained from the learning model G in step S24 with the reference probability. In step S81, which is executed after it is determined in step S29 that the identification can be performed, the control unit 54 compares the probability indicated by the output result obtained by the learning model G in step S28 with the reference probability.
  • the reference probability is a constant value and is set in advance. The reference probability corresponds to a predetermined probability. The reference probability is, for example, 90%.
  • the control unit 54 also functions as a probability determination unit.
  • the control unit 54 instructs the output unit 52 to output the specific information indicating the specific result specified in step S31 to the display 12,
  • the identification result identified in step S31 is displayed on the display 12 (step S82).
  • the control unit 54 executes step S82, so that a display as shown in FIG. 26 is performed on the display 12.
  • the specific information includes the first surface image data or the second surface image data used for generating the reduced image data input to the learning model G for performing the specification in step S31.
  • the display 12 displays the first surface image corresponding to the first surface image data or the second surface image data used for generating the reduced image data input to the learning model G in order to specify the step S31, or A second surface image is also displayed. Since the probability indicated by the output result obtained from the learning model G is less than the reference probability, the first surface image or the second surface image is, for example, an image to which dirt has adhered, as illustrated in FIG.
  • the display 12 functions as a result display unit.
  • the display 12 displays two answer buttons for accepting whether or not the displayed specific result is correct.
  • the user makes a response by operating the operation unit 14, and the control unit 54 determines whether the displayed specific result is correct based on the operation information input from the operation unit 14 to the input unit 57. Is received.
  • the control unit 54 also functions as an answer receiving unit. After executing step S82, the control unit 54 determines whether an answer indicating whether the specified result is correct is received (step S83). When determining that the answer has not been received (S83: NO), the control unit 54 executes step S83 again, and waits until an answer is received from the user.
  • the user may individually answer whether or not the type and direction indicated by the specified result are correct.
  • the display 12 when the specific information is input, the display 12 includes, for example, two answer buttons for accepting whether the type is correct and two answer buttons for accepting whether the orientation is correct. indicate.
  • step S83 when receiving the answer about the type and the orientation, the control unit 54 determines that the answer indicating whether the specified result is correct is received. If no answer has been received for at least one of the type and the orientation, the control unit 54 determines that an answer indicating whether or not the specified result is correct has not been received.
  • step S84 determines whether the received response indicates that the specification result specified in step S31 is correct. If the control unit 54 determines that the probability is equal to or higher than the reference probability (S81: NO), or determines that the answer indicates that the specific result is correct (S84: YES), the control unit 54 proceeds to step S32. Execute.
  • control unit 54 determines that the answer indicates that the specific result is incorrect (S84: NO)
  • the control unit 54 instructs the output unit 52 to output the display information to the display 12, thereby causing the display 12 to output the display information.
  • a plurality of correct answer input columns are displayed (step S85).
  • the control unit 54 executes step S85, so that a display as shown in FIG. 27 is performed on the display 12.
  • the display information includes the first surface image data or the second surface image data input to the learning model G for performing the specification in step S31. For this reason, the display 12 displays the first surface image corresponding to the first surface image data or the second surface image data used for generating the reduced image data input to the learning model G in order to specify the step S31, or A second surface image is also displayed.
  • the user selects the list display button for each type and direction, and selects one from a plurality of correct answer candidates. Thereby, the type and direction are selected. Thereafter, the user selects the completion button.
  • the control unit 54 receives an input of a type and a direction selected in a plurality of correct answer input columns based on operation information input from the operation unit 14 to the input unit 57.
  • the control unit 54 also functions as a correct answer receiving unit.
  • correct candidates having a higher probability of being shown by the output result obtained from the learning model G in step S24 or step S28 are displayed in order.
  • the correct answer candidate having the highest probability indicated by the output result is the driver's license.
  • the correct answer candidate with the second highest probability is my number card.
  • the correct answer candidate with the third highest probability is the my number notification card.
  • the display information information indicating a plurality of correct answer candidates in order from the one with the highest probability of the output result being output.
  • candidates having a high probability of being selected by the user are displayed in order, so that the user can easily input the type and direction.
  • the type list includes other correct answer candidates except for the type determined to be incorrect, and the direction list includes the correct answer candidate.
  • Other correct answer candidates except for the direction for which the rejection has been made may be indicated.
  • step S86 the control unit 54 determines whether the input of the type and the orientation has been completed. When the user selects the completion button, the control unit 54 determines that the input has been completed. If the user has not selected the completion button after the display 12 displays the plurality of correct answer input columns, the control unit 54 determines that the input has not been completed. When the control unit 54 determines that the input is not completed (S86: NO), the control unit 54 executes step S86 again, and waits until the input is completed.
  • control unit 54 determines that the input has been completed (S86: YES)
  • the control unit 54 specifies the type and front and back of the card C inserted into the opening 1b based on the answer input by the user (step S87).
  • the control unit 54 executes Step S32.
  • step S32 in the case where step S87 is executed, the control unit 54 determines whether or not the type specified in step S87 is different from a plurality of types related to the target card.
  • the display 12 displays the specific result
  • the control unit 54 displays the specific result.
  • An answer indicating whether or not it is correct is received from the user. For this reason, the specified result performed by the control unit 54 is accurate. Furthermore, if the specified result is incorrect, the specified result is corrected by the user, so that the specified result is more accurate.
  • the authentication device 1 according to the seventh embodiment has the same effects as the authentication device 1 according to the first embodiment.
  • the control unit 54 of the authentication apparatus 1 displays the specific result, receives a response indicating whether the specific result is correct, and determines the type of the card C, as in the seventh embodiment. And input of a direction may be executed.
  • the third embodiment similar to the seventh embodiment, when displaying a specific result, receiving an answer as to whether the specific result is correct, and receiving an input of the type and direction of the card C, the card The direction of C is front and back and up and down, and the number of correct answer input columns is 3.
  • the model generation device 3 uses the teacher data including the reduced image data successfully identified and the label data indicating the identification result in the authentication processing performed by the control unit 54 of the authentication device 13.
  • the learning model G is re-learned.
  • the model generation device 3 may re-learn the learning model G using the teacher data including the reduced image data that could not be specified in the authentication processing.
  • FIG. 31 is a block diagram illustrating a main configuration of the authentication device 1 according to the eighth embodiment.
  • an operation unit 14 according to the seventh embodiment is further provided in addition to the components included in the authentication device 1 according to the fourth embodiment.
  • the authentication device 13 according to the eighth embodiment includes an input unit 57 according to the seventh embodiment in addition to the components included in the authentication device 13 according to the fourth embodiment.
  • the input unit 57 is connected to the internal bus 55 and the operation unit 14.
  • the operation unit 14 and the input unit 57 operate in the same manner as in the seventh embodiment. Therefore, description of the operation unit 14 and the input unit 57 is omitted.
  • the learning models G stored in the storage units 53 of the plurality of authentication devices 1, 1,... And the storage unit 32 of the model generation device 3 are synchronized. That is, when the model generation device 3 re-learns the learning model G, the model generation device 3 generates the learning models G stored in the respective storage units 53 of all the authentication devices 1, 1,. The learning model G is updated.
  • the output unit 52 instructs the display of a second correct answer input field for receiving the input of the type and the direction of the card C according to the instruction of the control unit 54, and includes the first surface image data and the second surface image data of the card C.
  • the second display information is output to the display 12.
  • the display 12 displays a first screen image, a second screen image, and a second correct answer input field.
  • FIG. 32 is an explanatory diagram of the display of the second correct answer input column.
  • the display 12 includes a first surface image and a second surface corresponding to the first surface image data and the second surface image data included in the second display information input from the output unit 52.
  • three second correct answer input columns for inputting the type and the two directions corresponding to the first surface image and the second surface image are displayed.
  • the pointer moves according to the operation of the operation unit 14.
  • each of the three second correct answer input columns is provided with a list display button.
  • the display 12 further displays a completion button indicating completion of the input, as in the seventh embodiment.
  • the user operates the operation unit 14 to select the type and the two directions in the three second correct answer input fields in the same manner as in the seventh embodiment.
  • the user performs an operation on the operation unit 14 and clicks or taps a list display button in one second correct answer input field to select the answer.
  • a list of a plurality of correct answer candidates is displayed as shown in FIG.
  • the list display button in the second correct answer input field for inputting the kind is selected, a list of a plurality of correct answer candidates related to the kind is displayed.
  • the direction list display button is selected, a plurality of correct answer candidates regarding the direction, that is, a list showing the front and back sides are displayed.
  • the plurality of correct answer candidates regarding the type and the orientation are indicated by, for example, the second display information.
  • the user selects one of the plurality of correct answer candidates displayed in the list in each second correct answer input field.
  • the control unit 54 outputs the input of the type and the two directions selected in the three correct answer input columns based on the operation information output by the operation unit 14 to the input unit 57, that is, the operation performed by the user on the operation unit 14. Accept.
  • FIG. 33 is a flowchart showing the procedure of the authentication process.
  • the control unit 54 of the authentication device 13 included in each authentication device 1 repeatedly executes the authentication process in the same manner as in the fourth embodiment, that is, in the first embodiment.
  • the control unit 54 similarly executes all the authentication processing according to the first embodiment.
  • control unit 54 further executes an additional process. Therefore, in the authentication processing according to the eighth embodiment, detailed description of steps S21 to S39 executed in the authentication processing according to the first embodiment will be omitted.
  • step S30 determines that the identification is not possible in step S29, that is, based on the reduced image data of the first surface image data and the second surface image data, If the direction cannot be specified, step S30 is executed. After executing the step S30, the control unit 54 instructs the output unit 52 to output the second display information, thereby causing the display 12 to display the first screen image, the second screen image, and the plurality of second correct answers. An input field is displayed (step S91).
  • the control unit 54 executes step S91, so that a display as shown in FIG. 32 is performed on the display 12.
  • the second display information includes the first surface image data and the second surface image data used for generating the two reduced image data input to the learning model G in steps S23 and S27. For this reason, the display 12 also displays the first-side image and the second-side image of the card C whose type and orientation cannot be specified.
  • the first-side image and the second-side image of the card C for which identification was impossible are, for example, stained images as shown in FIG.
  • the user operates the operation unit 14 to input a type or a direction to each of the plurality of second correct answer input fields, and selects a completion button.
  • the control unit 54 accepts the input of the type and the direction input to the plurality of second correct answer input columns based on the operation information input from the operation unit 14 to the input unit 57.
  • the control unit 54 also functions as a second correct answer receiving unit. Note that, in the list displayed when the list display button is selected, the correct answer candidates having the higher probability of the output result obtained from the learning model G in step S24 or step S28 may be displayed in order. In this case, for example, as the second display information, information indicating a plurality of correct answer candidates in descending order of the probability that the output result indicates is output.
  • step S92 the control unit 54 determines whether or not the input to the plurality of correct answer input fields has been completed.
  • the control unit 54 determines that the input has been completed. If the user has not selected the completion button after the display 12 displays the plurality of second correct answer input columns, the control unit 54 determines that the input has not been completed.
  • the control unit 54 executes step S92 again and waits until the input is completed.
  • the control unit 54 When determining that the input has been completed (S92: YES), the control unit 54 generates two sets of teacher data based on the answer input by the user (step S93).
  • the first teacher data includes teacher data including reduced image data of the first surface image data input to the learning model G in the authentication process, and label data indicating the type input by the user and the direction of the first surface image.
  • the second teacher data includes teacher data including reduced image data of the second surface image data input to the learning model G in the authentication process, and label data indicating the type input by the user and the direction of the second surface image.
  • the control unit 54 also functions as a generation unit. Next, the control unit 54 stores the teacher data generated in Step S93 in the storage unit 53 (Step S94). After executing the step S94, the control unit 54 ends the authentication processing.
  • FIG. 34 is a flowchart illustrating a procedure of processing performed by the authentication device 1 and the model generation device 3.
  • FIG. 34 illustrates an update process performed by the control unit 54 of the authentication device 13 included in each authentication device 1 and a relearning process performed by the control unit 33 of the model generation device 3.
  • the control unit 54 periodically executes the updating process.
  • the control unit 33 also periodically executes the re-learning process.
  • Part of the update processing in the eighth embodiment is the same as part of the update processing in the fourth embodiment. For this reason, in the updating process in the eighth embodiment, a part common to the updating process in the fourth embodiment, that is, detailed description of steps S63 and S64 is omitted.
  • Part of the relearning process in the eighth embodiment is the same as part of the relearning process in the fourth embodiment. For this reason, in the relearning process in the eighth embodiment, a part common to the relearning process in the fourth embodiment, that is, detailed description of steps S73 and S74 is omitted.
  • the control unit 54 of each authentication device 1 determines whether or not the teacher data generated in step S93 of the authentication process is stored in the storage unit 53 (step S101). When determining that the teacher data is stored (S101: YES), the control unit 54 instructs the communication unit 56 to generate the teacher data stored in the storage unit 53, that is, in step S93 of the authentication process. The generated teacher data is transmitted to the communication unit 35 of the model generation device 3 via the network N1 (step S102). After executing step S102, the control unit 54 deletes the teacher data transmitted by the communication unit 35 from the storage unit 53 (step S103).
  • the control unit 33 of the model generation device 3 determines whether the communication unit 35 has received the teacher data from the communication unit 56 of the authentication device 1 (Step S111). When determining that the communication unit 35 has received the teacher data (S111: YES), the control unit 33 stores the teacher data received by the communication unit 35 in the storage unit 32 (Step S112). As described above, since the control unit 33 of each authentication device 1 executes the updating process, the communication unit 35 of the model generation device 3 transmits the teacher data from the communication units 56 of the plurality of authentication devices 1, 1,. Receive. Therefore, the communication unit 56 of the plurality of authentication devices 1, 1,... Stores a plurality of teacher data in the storage unit 32.
  • step S113 the control unit 33 of the model generating device 3 determines whether or not the number of teacher data stored in the storage unit 32 is equal to or larger than the reference number (step S113).
  • the reference number is a constant value and is an integer of 2 or more.
  • the control unit 33 executes step S73.
  • the learning model G received by the communication unit 35 is re-learned.
  • the control unit 33 of the model generation device 3 generates the learning model G based on the plurality of teacher data generated by the control unit 54 of one or more authentication devices 1 in step S93 of the authentication process. I do.
  • step S74 the control unit 33 instructs the communication unit 35 to transmit the re-learned learning model G to the communication units 56 of all the authentication devices 1, 1,.
  • the control unit 33 causes the communication unit 35 to transmit the retrained learning model G in step S74, and then deletes a plurality of teacher data stored in the storage unit 32 (step S114).
  • the control unit 33 determines that the communication unit 35 has not received the teacher data (S111: NO)
  • the control unit 33 determines that the number of the teacher data stored in the storage unit 32 is less than the reference number (S113). : NO)
  • the relearning process ends.
  • the control unit 33 executes the relearning process again.
  • step S63 When determining that the teacher data is not stored (S101: NO), or after executing step S103, the control unit 54 of the authentication device 1 executes step S63, and the communication unit 56 receives the learning model G. It is determined whether or not it has been performed.
  • the control unit 54 executes step S64, and the communication unit 56 receives the learning model G stored in the storage unit 53. Update to learning model G.
  • the control unit 54 determines that the communication unit 56 has not received the learning model G (S63: NO), or after executing step S64, the update process ends. When the next cycle has arrived, the control unit 54 executes the update process again.
  • the control unit 54 waits until the teacher data is stored in the storage unit 53 or the communication unit 56 receives the learning model G.
  • the communication unit 56 transmits the teacher data to the communication unit 35 of the model generation device 3.
  • the control unit 54 updates the learning model G in the storage unit 53.
  • the authentication system 7 according to the eighth embodiment since the learning model G is re-learned using the reduced image data of the card C for which identification was impossible, the accuracy of the output result of the learning model G is improved.
  • the authentication system 7 according to the eighth embodiment has the same effects as the authentication system 7 according to the fourth embodiment.
  • the control unit 33 of the model generation device 3 may execute the model generation processing as in the second embodiment. However, in the model generation process executed in step S73 of the relearning process, step S41 is omitted, and the control unit 33 executes from step S42. Further, the learning model G in the fourth embodiment may be the same as the learning model G in the third embodiment. In this case, the orientation of the card indicated by the label data is one of the front side and the back side, and one of the upper side and the lower side. In the authentication process, the control unit 54 inputs the reduced image data of the first surface image data to the learning model G, specifies the type of the card C as a driver's license, and sets the orientation of the card C on the first surface to the front side and the front side.
  • the control unit 54 generates teacher data including reduced image data of the first-side image data, a driver's license, and label data indicating the front side and the upper side.
  • the first evaluation data and the second evaluation data are stored in the storage unit 32 of the model generation device 3 in advance, for example.
  • the communication unit 35 of the model generation device 3 may transmit information indicating the parameters of the learning model G to the communication unit 56 instead of the learning model G.
  • the control unit 54 of the authentication device 13 updates the parameters of the learning model G based on the received information.
  • the authentication device 1 according to the eighth embodiment may be reduced in size as in the fifth embodiment.
  • the model generation device 3 according to the eighth embodiment may generate the learning model G using reduced image data to which additional information has been added, as in the sixth embodiment.
  • the authentication device 1 according to the eighth embodiment executes the display of the specified result, the reception of a response as to whether the specified result is correct, the input of the type and the direction of the card C, and the like, as in the seventh embodiment. May be.
  • Embodiment 9 shows an example of a detailed configuration for reading personal information.
  • points of the ninth embodiment that are different from the third embodiment will be described. Structures other than the structure described later are common to the third embodiment. Therefore, the same components as those in the third embodiment are denoted by the same reference numerals as those in the third embodiment, and description thereof will be omitted.
  • FIG. 35 is a table showing the contents of the read rule database 62 according to the ninth embodiment.
  • the read rule database 62 is stored in the storage unit 53 of the authentication device 13 included in the authentication device 1.
  • the reading rule database 62 includes a reading rule field on the front side and a reading rule field on the back side in addition to the type field.
  • the type field stores the type of the target card, and does not store the type of the non-target card.
  • the reading rule field on the front side stores a reading rule for personal information written on the front side of the card C corresponding to the type stored in the type field.
  • the reading rule field on the back side stores a reading rule for personal information written on the back side of the card C corresponding to the type stored in the type field.
  • Each reading rule on the front side and the back side indicates the display position of the personal information, as in the third embodiment, that is, the first embodiment.
  • FIG. 36 is a flowchart showing the procedure of the authentication process.
  • the control unit 54 of the authentication device 13 included in the authentication device 1 repeatedly executes the authentication processing as in the third embodiment.
  • a part of the authentication processing according to the ninth embodiment is executed similarly to a part of the authentication processing according to the third embodiment. Therefore, in the authentication processing according to the ninth embodiment, a detailed description of parts common to the third embodiment, that is, steps S21 to S32 and S36 to S39 will be omitted.
  • step S31 in the ninth embodiment the control unit 54 of the authentication device 13 included in the authentication device 1 performs the opening 1b based on the output result obtained in step S23 or step S28, as in step S31 in the third embodiment.
  • the type, front and back, and top and bottom of the card C inserted in are specified.
  • the controller 54 determines that the type specified in step S31 matches one of the plurality of types related to the target card (S32: NO), as a result of specifying the card C in step S31, In the image in which the card C is shown, it is determined whether or not the direction of the card C is downward (step S121).
  • the card C on the front side is shown in one of the first image and the second image
  • the card C on the back is shown in the other of the first image and the second image.
  • Step S121 When determining that the direction of the card C is downward in the image in which the card C on the front side or the rear side is captured (S121: YES), the control unit 54 inverts the image data including the card C facing downward. (Step S122). As a result, the image data showing the downward card C is changed to the image data showing the upward card C.
  • the control unit 54 determines only the image data of the image in which the downward card C is captured. Flip upside down.
  • step S122 the control unit 54 inverts the two image data corresponding to the card C up and down.
  • the control unit 54 functions as a front-side reversing unit and a back-side reversing unit.
  • the control unit 54 does not face the card C in the downward direction (S121: NO), or executes the step S122, and then, based on the type specified in the step S31. Then, the reading rule on the front side of the card C corresponding to the type specified in step S31 is read from the reading rule database 62 (step S123). Next, the control unit 54 converts the personal information displayed on the front side of the card C from the first side image data and the second side image data according to the front side reading rule read in step S123. Is read from the image data corresponding to (step S124).
  • control unit 54 reads the reading rule on the back side of the card C corresponding to the type specified in step S31 from the reading rule database 62 based on the type specified in step S31 (step S125).
  • control unit 54 replaces the personal information displayed on the back side of the card C with the back side card C in the first side image data and the second side image data in accordance with the back side reading rule read in step S125. Is read from the image data corresponding to (step S126).
  • step S36 the control unit 54 determines whether the personal information has been successfully read in both steps S124 and S126.
  • the control unit 54 inverts the image data of the downward card C and appropriately reads the personal information.
  • the authentication device 1 according to the ninth embodiment has the same effects as the authentication device 1 according to the third embodiment.
  • the model generation device 3 according to the ninth embodiment may generate the learning model G as in the second embodiment.
  • the control unit 54 of the authentication device 1 in the fourth embodiment in which the learning model G is the same as that in the third embodiment may execute the same authentication processing as in the ninth embodiment.
  • the structure of the ninth embodiment may incorporate at least one of the structures of the fifth to eighth embodiments.
  • the device for acquiring the first-side image data and the second-side image data of the card C is not limited to the scanner, and may be, for example, a camera.
  • the camera that acquires the first surface image data and the second surface image data include an industrial camera, a home camera, a camera of a mobile phone, a camera of a smartphone, and the like.
  • FIG. 37 is a block diagram illustrating a main configuration of an authentication system 8 according to the tenth embodiment.
  • the authentication system 8 includes a user terminal 80 and a server 81.
  • the user terminal 80 and the server 81 are connected to the network N2.
  • the user terminal 80 is operated by a user.
  • the user terminal 80 transmits the two image data on the two sides of the card C to the server 81 via the network N2.
  • the server 81 authenticates the owner of the card C based on the two pieces of image data received from the user terminal 80 in the same manner as the authenticator 13 according to the first embodiment.
  • the server 81 includes a communication unit 90, a storage unit 91, and a control unit 92. These are connected to the internal bus 93.
  • the communication unit 90 receives the image data of the first side and the second side of the card C from the user terminal 80. The two received image data are acquired by the control unit 92.
  • the communication unit 90 further transmits the unspecified information, the non-target information, the unreadable information, and the result information to the user terminal 80 according to the instruction of the control unit 92.
  • the storage unit 91 is, for example, a nonvolatile memory.
  • the storage unit 91 stores a learning model G, a computer program 60, an authentication table 61, and a reading rule database 62.
  • the control unit 92 includes a processing element such as a CPU, GPU, or TPU.
  • the computer program 60 is used for causing a processing element (computer) included in the control unit 92 to execute an authentication process.
  • the number of processing elements may be two or more. In this case, a plurality of processing elements may execute the authentication processing in cooperation.
  • the control unit 92 repeatedly executes the authentication process.
  • the authentication processing in the tenth embodiment is the same as the authentication processing in the first embodiment.
  • step S21 of the authentication process in the tenth embodiment it is determined whether or not communication unit 90 has received the image data of the first surface and the second surface from user terminal 80.
  • step S38 of the authentication process in the tenth embodiment control unit 92 performs authentication based on personal information different from the face image, for example, personal information such as name, address, or date of birth.
  • step S39 of the authentication processing in the tenth embodiment the communication unit 90 is instructed to transmit the result information to the user terminal 80.
  • the authentication result is displayed on a display (not shown) of the user terminal 80.
  • step S30, step S33, or step S37 of the authentication process in the tenth embodiment the communication unit 90 is instructed to transmit the unspecified information, the non-target information, or the unreadable information to the user terminal 80.
  • the card C could not be specified on the display (not shown) of the user terminal 80, the card C was a non-target card, or the card could not be read. Is displayed.
  • control unit 92 functions as an acquisition unit, a specification unit, and a reduction unit
  • communication unit 90 functions as a first information output unit, a second information output unit, and a third information output unit
  • server 81 functions as a server. Functions as a specific device.
  • the server 81 configured as described above has the same effect as the effect of the authentication device 13 in the first embodiment.
  • the learning model G is generated by the model generation device 3 as in the first embodiment.
  • the control unit 33 of the model generation device 3 may generate the learning model G as in the second embodiment. Further, the learning model G in the tenth embodiment may be the learning model G in the third embodiment. In this case, the control unit 92 of the server 81 specifies the type and front and back of the card C, and specifies whether one side of the card C is the upper side or the lower side. Furthermore, in the tenth embodiment, similarly to the fourth embodiment, the model generation device 3 is connected to the network N2, and the model generation device 3 re-learns the learning model G stored in the storage unit 91 of the server 81. May go.
  • the reduction may be performed as in the fifth embodiment, and the reduced image data of the teacher data may include the reduced image data to which the additional information is added, as in the sixth embodiment.
  • the display of the specific result, the reception of the answer as to whether the specific result is correct, the input of the type and the direction of the card C, and the like may be executed.
  • the model generation device 3 is connected to the network N2, and the model generation device 3 re-learns the learning model G stored in the storage unit 91 of the server 81. Is also good.
  • personal information may be read as in the ninth embodiment.
  • the learning model G may be a learning model in which the output layer 22 outputs the combination having the highest probability among the combinations of the type of the card C and the front and back sides. Further, the learning model G uses the teacher data including the image data corresponding to one image showing the front and back of the card C and the label data indicating the type of the card C to determine the correspondence between the image data and the card type. A learning model that has learned the relationship may be used. In this case, the output result output by the learning model G indicates a plurality of types of probabilities, and the control unit 54 of the authentication device 13 or the control unit 92 of the server 81 specifies the type of the card C in the authentication processing. As described above, a plurality of types of cards C, C,... Including a driver's license are used as the image data of the teacher data.
  • the learning model G is not a card C, but image data corresponding to an image of a booklet such as a passport, a bankbook, a student notebook, a pension notebook, a notebook for the physically handicapped or a mother and child health notebook, and a label indicating the type of booklet.
  • the output result output by the learning model G indicates a plurality of probabilities related to the type, and the control unit 54 of the authentication device 13 or the control unit 92 of the server 81 acquires the image data of the booklet in the authentication processing. Identify the type of booklet.
  • the control unit 54 or the control unit 92 reads the personal information from the image data of the booklet according to the reading rule corresponding to the specified type.
  • the image of the booklet is, for example, an image of a specific page on which personal information is described. Examples of the type of booklet include a passport, a bank passbook, a student notebook, a pension notebook, a notebook for the physically handicapped, a mother and child notebook, and the like.
  • the image data of the booklet is obtained by, for example, photographing the booklet using an industrial camera, a home camera, a camera of a mobile phone, a camera of a smartphone, or the like. As described above, reduced image data of a booklet is used as image data of teacher data.
  • each of the image data included in the teacher data and the image data input to the learning model G is not limited to reduced image data, and may be image data before reduction.
  • the authenticator 13 according to the first to ninth embodiments, the server 81 according to the tenth embodiment, and the model generation device 3 according to the first to tenth embodiments have the effects obtained by reduction among the effects described above. Except for the above, other effects are similarly achieved.
  • image data from which personal information has been deleted may be used as image data of teacher data.
  • image data in which personal information is changed or deleted, image data in which noise is added to image data before reduction, or image data in which additional information is added to image data before reduction May be used as image data of the teacher data.
  • the authentication device 13 in the first to ninth embodiments or the server 81 in the tenth embodiment may have a function of generating the learning model G performed by the model generating device 3.
  • Control unit 40 60 Computer program 54
  • Control unit acquisition unit, identification unit, reduction unit, reading unit, front-side inversion unit, back-side inversion unit, probability judgment unit, answer acceptance Section, correct answer receiving section, second correct answer receiving section, generating section
  • 52 output unit first information output unit, second information output unit, third information output unit
  • server specifically device
  • 90 communication unit first information output unit, second information output unit, third information output unit
  • control unit acquisition unit, identification unit, reduction unit)

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

学習モデル（Ｇ）では、カードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係が学習されている。教師データの画像データとして、運転免許証を含む複数種類のカードの画像データが用いられる。認証機（１３）では、制御部（５４）は、カードの画像データを学習モデル（Ｇ）に入力し、学習モデル（Ｇ）の出力に基づいて、カードの種類及び向きを特定する。

Description

特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデル
　本発明は、特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデルに関する。
　カードを用いて人物を認証するための装置（例えば、特許文献１）が普及している。特許文献１に記載の装置では、人物の認証に、人物の顔の顔画像データが記憶されているカードを用いる。特許文献１に記載の装置は、カードから顔画像データを取得し、取得した顔画像データに基づいて、人物の顔が写っている顔画像を表示する。実際の人物の顔を顔画像と比較することによって人物を認証する。
特開２０００－２１５２９５号公報
　現在、人物を認証するためのカードとして、データが記憶されておらず、個人を識別するための個人情報が一面に表示されているカードが存在する。また、個人情報が一面に表示されているカードの種類は多い。個人情報が一面に表示されているカードを用いて人物を自動で認証する場合、カードの一面の画像を読込み、読込んだ画像の画像データから個人情報、例えば、顔画像を読み取り、読み取った個人情報を用いて認証を行う。個人情報を読み取る場合、カードの種類に応じて個人情報が表示されている位置が異なるので、読込んだ画像に写っているカードの種類を特定する必要がある。
　本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、画像に写っているカードの種類の特定を実現することができる特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデルを提供することにある。
　本発明の一態様に係る特定装置は、カードの画像データを取得する取得部と、運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係を学習した学習モデルと、前記取得部が取得した画像データを前記学習モデルに入力し、前記学習モデルからの出力に基づいて、カードの種類及び向きを特定する特定部とを備える。
　本発明の一態様に係る特定システムは、運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係を学習しており、カードの種類及び向きの分類の確からしさを示す確率を出力する学習モデルを生成する生成装置と、前記生成装置が生成した学習モデルからの出力に基づいて、カードの種類及び向きを特定する複数の特定装置とを備え、各特定装置は、カードの画像データを取得する取得部と、前記取得部が取得した画像データを前記学習モデルに入力し、前記学習モデルからの出力に基づいて、カードの種類及び向きを特定する特定部と、前記学習モデルから出力された確率の分布が所定基準を満たさない場合、前記学習モデルに入力された画像データに関するカードの種類及び向きの入力を受け付ける第２の正解受付部と、前記学習モデルに入力した画像データと、前記第２の正解受付部にて入力された種類及び向きを示すラベルデータとを含む教師データを生成する生成部とを有し、前記生成装置は、前記特定装置の前記生成部が生成した教師データに基づき、前記特定部が用いる学習モデルの再学習を行う。
　本発明の一態様に係る特定方法では、カードの画像データを取得し、取得した画像データを、運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係を学習した学習モデルに入力し、前記学習モデルからの出力に基づいてカードの種類及び向きを特定する。
　本発明の一態様に係る生成方法では、運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを取得し、取得した教師データに基づき、カードの画像データから、カードの種類及び向きを特定する処理に用いられる学習モデルを生成する。
　本発明の一態様に係るコンピュータプログラムは、コンピュータに、カードの画像データを取得し、取得した画像データを、運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係を学習した学習モデルに入力し、前記学習モデルからの出力に基づいてカードの種類及び向きを特定する処理を実行させる。
　本発明の一態様に係るコンピュータプログラムは、コンピュータに、運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを取得し、取得した教師データに基づき、カードの画像データから、カードの種類及び向きを特定する処理に用いられる学習モデルを生成する処理を実行させる。
　本発明の一態様に係る学習モデルは、運転免許証を含む複数種類のカードの画像データが入力される入力層と、前記複数種類のカードの第１画像データと、カードの種類及び向きを示すラベルデータとを含む第１教師データと、前記第１画像データに情報を追加した第２画像データと、ラベルデータとを含む第２教師データとに基づき、画像データと、カードの種類及び向きとの関係を学習した中間層と、画像データに係るカードの種類及び向きの分類の確からしさを示す確率を出力する出力層とを備え、前記入力層に入力されたカードの第１画像データに基づいて前記中間層で演算を行い、前記入力層に入力された第１画像データに係るカードの種類及び向きの分類の確からしさを示し、かつ、カードの種類及び向きの特定に用いられる確率を前記出力層から出力するよう、コンピュータを機能させる。
　上記の態様によれば、画像に写っているカードの種類の特定を実現することができる。
実施の形態１における認証装置の外観図である。 対象カードの例示図である。 学習モデルの模式図である。 縮小画像データの説明図である。 モデル生成装置の要部構成を示すブロック図である。 教師データに含まれる縮小画像データの説明図である。 モデル生成処理の手順を示すフローチャートである。 認証装置の要部構成を示すブロック図である。 認証用テーブルを示す図表である。 読み取りルールデータベースの内容を示す図表である。 認証処理の手順を示すフローチャートである。 認証処理の手順を示すフローチャートである。 実施の形態２におけるモデル生成処理の手順を示すフローチャートである。 実施の形態２におけるモデル生成処理の手順を示すフローチャートである。 実施の形態３におけるカードの上下の説明図である。 学習モデルの模式図である。 実施の形態４における認証システムの概略図である。 認証装置の要部構成を示すブロック図である。 モデル生成装置の要部構成を示すブロック図である。 認証装置及びモデル生成装置が行う処理の手順を示すフローチャートである。 実施の形態５における第１面画像データの縮小の説明図である。 実施の形態６における縮小画像データの説明図である。 モデル生成装置の要部構成を示すブロック図である。 追加情報テーブルの内容を示す図表である。 実施の形態７における認証装置の要部構成を示すブロック図である。 特定結果及び回答ボタンの表示の説明図である。 正解入力欄の表示の説明図である。 正解入力の説明図である。 認証処理の手順を示すフローチャートである。 認証処理の手順を示すフローチャートである。 実施の形態８における認証装置の要部構成を示すブロック図である。 第２の正解入力欄の表示の説明図である。 認証処理の手順を示すフローチャートである。 認証装置及びモデル生成装置が行う処理の手順を示すフローチャートである。 実施の形態９における読み取りルールデータベースの内容を示す図表である。 認証処理の手順を示すフローチャートである。 実施の形態１０における認証システムの要部構成を示すブロック図である。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、実施の形態１における認証装置１の外観図である。認証装置１は、認証装置１の複数の構成部が収容されている収容箱１ａを備える。収容箱１ａの外面には、内外方向に貫通している矩形状の開口１ｂが設けられている。認証装置１のユーザは、運転免許証を含む複数種類のカードＣ，Ｃ，・・・を開口１ｂに挿入する。開口１ｂの長辺はカードＣの短辺よりも若干長い。開口１ｂの短辺はカードＣの厚みよりも若干長い。従って、開口１ｂの大きさはカードＣの短辺側の端面の大きさと略同じである。認証装置１のユーザは、カードＣをカードＣの短辺側から開口１ｂに挿入する。
　複数種類のカードＣ，Ｃ，・・・には、身分を証明するために公的に発行され、開口１ｂに挿入されるべき対象カードと、開口１ｂに挿入されるべきではない対象外カードとが含まれている。対象カードの種類として、運転免許証の他に、マイナンバーカード、マイナンバー通知カード、住民基本台帳カード、特別永住者証明書、在留カード、パスポートカード又はソーシャルセキュリティカード等が挙げられる。対象カードに係る複数の種類は予め設定されている。対象外カードの種類として、ポイントカード又は電子マネー用カード等が挙げられる。対象外カードに係る一又は複数の種類も予め設定されている。
　図２は対象カードの例示図である。対象カードの表側及び裏側の少なくとも一方には、個人情報として、氏名、生年月日、住所又は顔写真等の個人情報が表示されている。図２の例では、対象カードの表側には、氏名、生年月日、住所及び顔写真等の個人情報が表示され、対象カードの裏側には、個人情報が表示されていない。図２に示す対象カードの裏側には、例えば、手書きで個人情報が書き込まれる。対象カードについては、種類に応じて個人情報が表示されている表示位置は異なる。なお、複数種類のカードＣ，Ｃ，・・・夫々の表側及び裏側は適宜定義される。例えば、氏名が表示されている面を表側と定義し、氏名が表示されていない面を裏側と定義してもよい。
　カードＣの一方の板面を第１面と記載し、カードＣの他方の板面を第２面と記載する。図１に示す認証装置１にカードＣが開口１ｂに挿入された場合、認証装置１は、開口１ｂに挿入されたカードＣの第１面が写っている矩形状の第１面画像に対応する第１面画像データを生成する。更に、認証装置１は、開口１ｂに挿入されたカードＣの第２面が写っている矩形状の第２面画像に対応する第２面画像データを生成する。
　認証装置１は、生成した第１面画像データに基づいて、開口１ｂに挿入されたカードＣの種類及び表裏を特定する。第１面が表側であると特定された場合、第２面が裏側であると自動的に特定される。「特定」の意味には、「判別」、「識別」及び「判定」等の意味が含まれる。カードＣの表裏は、カードＣの向きの１つである。認証装置１は、第１面画像データに基づいて特定を行うことが不可能であった場合、生成した第２面画像データに基づいて、開口１ｂに挿入されたカードＣの種類及び表裏を特定する。認証装置１は、特定結果に基づいて、生成した第１面画像データ及び第２面画像データから、カードＣに表示されている個人情報を読み取り、読み取った個人情報に基づいて、カードＣの所有者を認証する。
　種類に応じて、対象カードにおける個人情報の表示位置は異なる。また、個人情報を読み取るためには、対象カードの表裏を特定する必要がある。認証装置１は、第１面画像データ又は第２面画像データに基づき、第１面画像又は第２面画像に写っているカードＣの種類及び表裏の分類の確からしさを示す確率を出力する学習モデルＧ（図３を参照）を用いて、カードＣの種類及び表裏を特定する。
　図３は学習モデルＧの模式図である。学習モデルＧは、深層学習を含む機械学習の学習モデルであり、例えば、ニューラルネットワークによって構成される。学習モデルＧは、入力層２０、複数の中間層２１，２１・・・及び出力層２２を有する。図３には、中間層２１の数が２である例が示されている。なお、中間層２１の数は３以上であってもよい。
　入力層２０、中間層２１及び出力層２２夫々では、一又は複数のノードが存在する。各層のノードは、前後の層に存在するノードと一方向に所望の重み及びバイアスで結合されている。入力層２０のノードの数と同数の成分を有するベクトルが、学習モデルＧの入力データとして入力される。学習モデルＧの入力は画像データである。例えば、画像データを構成する各画素の画素値が入力層２０のノードに入力される。
　なお、入力層２０にデータを入力する前に、畳み込みフィルタを含む適宜のフィルタを画像データに適用し、フィルタを適用した後に得られる各画素の画素値を入力層２０に入力してもよい。
　入力層２０の各ノードに入力されたデータは、最初の中間層２１に入力される。この中間層２１において、重み及びバイアスを含む活性化関数を用いて出力が算出される。算出された値が次の中間層２１に入力される。以下同様にして、出力層２２の出力が求められるまで次々と後の層に伝達される。なお、ノード間を結合する重み及びバイアス等の各種パラメータは、例えば、誤差逆伝播法を用いて学習される。
　なお、複数の中間層に畳み込みを行う層が含まれていてもよい。この層では、入力されたデータに、畳み込みフィルタを含む適宜のフィルタを適用し、フィルタを適用した後に得られる複数のデータを次の層、例えば、プーリング層に出力する。
　学習モデルＧの入力層２０に入力する入力画像データは、第１面画像データ又は第２面画像データを縮小することによって得られる縮小画像データである。入力画像データとして、運転免許証を含む複数種類のカードＣ，Ｃ，・・・の表裏の縮小画像データが用いられる。
　図４は縮小画像データの説明図である。図４の上側には、第１面画像又は第２面画像が示され、図４の下側には、縮小画像データに対応する縮小画像が示されている。第１面画像データ及び第２面画像データ夫々について、縦及び横の画素数はＭ（Ｍ：自然数）及びＮ（Ｎ：自然数）で表されている。
　第１面画像データ及び第２面画像データ夫々について、縦及び横の画素数を下げることによって、カードＣに表示されている個人情報を読み取ることが不可能な縮小画像データを生成する。例えば、縦及び横の画素数を（Ｍ／１０）及び（Ｎ／１０）に変更することによって縮小画像データを生成する。Ｍ及びＮ夫々は例えば３８０及び６００である。第１面画像データ又は第２面画像データが縮小された場合、第１面画像又は第２面画像も縮小される。個人情報を読み取ることが不可能な縮小は、例えば、縦の画素数を（Ｍ／１０）以下の画素数に変更し、横の画素数を（Ｎ／１０）以下の画素数に変更することによって実現される。
　学習モデルＧでは、カードＣの表側又は裏側の縮小画像データと、カードＣの種類、及び、カードＣの表側又は裏側を示すラベルデータとを含む教師データを用いて、画像データとカードＣの種類及び表裏との関係が学習されている。教師データの画像データとして、運転免許証を含む複数種類のカードＣ，Ｃ，・・・の表裏の縮小画像データが用いられる。
　中間層２１では、教師データに基づき、縮小画像データと、カードＣの種類及び表裏との関係が学習されている。
　出力層２２は、入力画像データに対応する入力画像に写っているカードＣの種類及び表裏の分類の確からしさを示す確率を出力する。具体的には、カードＣの種類及び表裏の各組合せについて、入力画像データに係るカードＣの種類及び表裏の組合せが該当する確率を示す。図３では、カードＣの種類及び表裏の組合せを（種類，表又は裏）で示している。（運転免許証，表）、（運転免許証，裏）、（マイナンバーカード，表）及び（マイナンバーカード，裏）等の組合せ夫々について、入力画像データに係るカードＣの種類及び表裏の組合せが該当する確率を示す。
　縮小画像データでは、個人情報を取得することが不可能となるまで縮小が行われている。このため、カードＣに表示されている個人情報に基づいて確率が出力されることはない。
　認証装置１では、第１面画像データ又は第２面画像データの縮小画像データを学習モデルＧに入力し、学習モデルＧから出力された確率に基づいて、第１面画像又は第２面画像に写っているカードＣの種類及び表裏を特定する。
　学習モデルＧはモデル生成装置３によって生成される。以下では、モデル生成装置３の構成及び作用を説明する。
　図５はモデル生成装置３の要部構成を示すブロック図である。モデル生成装置３は、入力部３０、操作部３１、記憶部３２及び制御部３３を有する。これらは、内部バス３４に接続されている。
　入力部３０には、教師データが入力される。入力部３０に入力された教師データは、制御部３３によって取得される。教師データは、前述したように、カードＣの表側又は裏側の縮小画像データと、カードＣの種類、及び、カードＣの表側又は裏側を示すラベルデータとを含む。教師データに含まれる画像データとして、運転免許証を含む複数種類のカードＣ，Ｃ，・・・の表裏の縮小画像データが用いられる。
　操作部３１は、キーボード又はマウス等の入力インタフェースを有する。ユーザは入力インタフェースを操作する。操作部３１は、入力インタフェースにおいて行われた操作を制御部３３に通知する。
　記憶部３２は例えば不揮発性メモリである。記憶部３２には、学習モデルＧ及びコンピュータプログラム４０が記憶されている。
　学習モデルＧでは、前述したように、第１面画像データ又は第２面画像データに基づき、第１面画像又は第２面画像に写っているカードＣの種類及び表裏の分類の確からしさを示す確率を出力する。
　制御部３３は、ＣＰＵ(Central Processing Unit)、ＧＰＵ(Graphics Processing Unit)又はＴＰＵ(Tenser Processing Unit)等の処理素子を有し、演算を行う演算部を兼ねる。コンピュータプログラム４０は、教師データを記憶部３２に記憶する記憶処理と、学習モデルＧを生成するモデル生成処理とを、制御部３３が有する処理素子（コンピュータ）に実行させるために用いられる。なお、制御部３３が有する処理素子の数は２以上であってもよい。この場合、複数の処理素子がコンピュータプログラム４０に従って、モデル生成処理を協同で実行してもよい。
　なお、コンピュータプログラム４０は、制御部３３が有する処理素子が読み取り可能に、記憶媒体Ａ１に記憶されていてもよい。この場合、図示しない読み出し装置によって記憶媒体Ａ１から読み出されたコンピュータプログラム４０が記憶部３２に記憶される。記憶媒体Ａ１は、光ディスク、フレキシブルディスク、磁気ディスク、磁気光ディスク又は半導体メモリ等である。光ディスクは、ＣＤ（Compact Disc）－ＲＯＭ(Read Only Memory)、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、又は、ＢＤ（Blu-ray(登録商標) Disc）等である。磁気ディスクは、例えばハードディスクである。また、図示しない通信網に接続されている図示しない外部装置からコンピュータプログラム４０をダウンロードし、ダウンロードしたコンピュータプログラム４０を記憶部３２に記憶してもよい。
　入力部３０は、例えば、図示しない装置に接続され、この装置から複数の教師データが入力部３０に順次出力される。制御部３３は、入力部３０に教師データが入力される都度、記憶処理を実行する。記憶処理では、制御部３３は、入力部３０に入力された教師データを、入力部３０から取得し、取得した教師データを記憶部３２に記憶する。その後、制御部３３は記憶処理を終了する。
　モデル生成処理では、教師データに含まれる縮小画像データを学習モデルＧに入力することによって得られた学習モデルＧの出力に基づいて、学習モデルＧの中間層２１で用いられるノード間の重み及びバイアス等のパラメータを更新する。これにより、適切な学習モデルＧを生成する。学習が開始される前の段階では、中間層２１で用いられるノード間の重み及びバイアス等のパラメータが初期値に設定された学習モデルＧが記憶部３２に予め記憶されている。
　図６は、教師データに含まれる縮小画像データの説明図である。教師データの縮小画像データは、複数種類のカードＣ，Ｃ，・・・の単純な縮小画像データだけではない。図６の上側に示すように、カードＣの第１面画像データ又は第２面画像データにノイズを追加し、ノイズを追加した第１面画像データ又は第２面画像データを縮小する。これにより、カードＣの単純な縮小画像データにノイズが追加された縮小画像データが生成される。制御部３３は、複数種類のカードＣ，Ｃ，・・・の単純な縮小画像データの少なくとも１つにノイズを追加することによって得られる縮小画像データを取得し、取得した縮小画像データも教師データの縮小画像データとして記憶部３２に記憶する。図６に示すノイズは、カードＣの汚れに対応するノイズである。縮小画像データに追加されるノイズは、汚れに対応するノイズに限定されず、日焼け又は経年劣化等によって生じる色の変化に対応するノイズも含む。制御部３３は、このノイズが追加された縮小画像データも取得し、取得した縮小画像データを記憶部３２に記憶する。色の変化に対応するノイズが追加された縮小画像データの縮小画像の１つとして、黄ばんだカードＣの縮小画像が挙げられる。
　図６の下側に示すように、カードＣの第１面画像データ又は第２面画像データに含まれる個人情報を削除又は変更し、削除又は変更することによって得られた第１面画像データ又は第２面画像データを縮小する。これにより、カードＣの単純な縮小画像データに含まれる個人情報が削除又は変更された縮小画像データが生成される。制御部３３は、複数種類のカードＣ，Ｃ，・・・の単純な縮小画像データの少なくとも１つに含まれる個人情報を削除又は変更することによって得られる縮小画像データを取得し、取得した縮小画像データも教師データの縮小画像データとして記憶部３２に記憶する。個人情報の変更は、例えば、氏名、生年月日又は住所の変更である。個人情報の削除は、例えば、氏名又は住所の一部分の削除である。個人情報の変更は、個人情報の全体の変更であってもよいし、個人情報の部分的な変更であってもよい。
　なお、ノイズが追加された縮小画像データについては、カードＣの縮小画像データにノイズを追加することによって生成してもよい。同様に、個人情報が削除又は変更された縮小画像データについては、カードＣの縮小画像データにおいて個人情報を削除又は変更することによって生成してもよい。
　図７は、モデル生成処理の手順を示すフローチャートである。モデル生成装置３のユーザは、操作部３１において、モデル生成処理の実行を指示する実行操作を行う。実行操作が行われた場合において、記憶部３２に少なくとも１つの教師データが記憶されているとき、制御部３３はモデル生成処理を実行する。
　モデル生成処理では、制御部３３は、まず、記憶部３２に記憶されている教師データの中から１つの教師データを選択し（ステップＳ１）、選択した教師データに含まれる縮小画像データを学習モデルＧの入力層２０に入力する（ステップＳ２）。これにより、縮小画像データに対応する縮小画像に写っているカードＣの種類及び表裏の分類の確からしさを示す確率が、出力結果として、学習モデルＧの出力層２２から出力される。ここで、複数の中間層２１における演算、及び、出力層２２からの出力結果の出力は、制御部３３によって実行される。
　制御部３３は、ステップＳ２を実行した後、学習モデルＧの出力層２２が出力した出力結果を取得し（ステップＳ３）、取得した出力結果を、入力部３０に入力された教師データに含まれるラベルデータに基づいて評価する（ステップＳ４）。具体的には、制御部３３は、ステップＳ３で取得した出力結果と、教師データに含まれるラベルデータとに基づく誤差関数（目的関数、損失関数又はコスト関数ともいう）を用いて、出力結果を評価することができる。
　次に、制御部３３は、ステップＳ４で行った評価の結果に基づいて、中間層２１で用いられるノード間の重み及びバイアス等のパラメータを更新するか否かを判定する（ステップＳ５）。ステップＳ５では、例えば、制御部３３は、最急降下法等の勾配降下法によって誤差関数を最適化（最小化又は最大化）する過程で、誤差関数が閾値以下（又は閾値以上）となった場合、パラメータを更新しないと判定する。例えば、制御部３３は、誤差関数が閾値を超えた（又は閾値未満となった）場合、パラメータを更新すると判定する。
　制御部３３は、パラメータを更新すると判定した場合（Ｓ５：ＹＥＳ）、中間層２１で用いられるパラメータを更新する（ステップＳ６）。制御部３３は、パラメータを更新しないと判定した場合（Ｓ５：ＮＯ）、又は、ステップＳ６を実行した後、記憶部３２に記憶されている全ての教師データを、ステップＳ１で選択したか否かを判定する（ステップＳ７）。
　制御部３３は、全ての教師データを選択していないと判定した場合（Ｓ７：ＮＯ）、ステップＳ１を再び実行する。再び実行されたステップＳ１では、制御部３３は、選択していない教師データを選択する。
　制御部３３は、全ての教師データを選択したと判定した場合（Ｓ７：ＹＥＳ）、パラメータが更新された学習モデルＧを記憶部３２に記憶し（ステップＳ８）、記憶部３２に記憶されている全ての教師データ、即ち、学習モデルＧのパラメータを更新するために用いた全ての教師データを、記憶部３２から削除する（ステップＳ９）。制御部３３は、ステップＳ９を実行した後、モデル生成処理を終了する。
　前述したように、学習モデルＧは、カードＣの一面の縮小画像データから、カードＣの種類及び表裏を特定する処理に用いられる。モデル生成処理では、制御部３３は、記憶処理で入力部３０から取得した教師データに基づいてパラメータを更新することによって、適切な学習モデルＧを生成する。
　記憶処理は複数回実行され、複数の教師データが記憶される。学習モデルＧのモデル生成処理では、複数の教師データが用いられる。これらの教師データに含まれる複数の画像データは、複数種類のカードＣ，Ｃ，・・・の表裏の画像データを縮小することによって得られる複数の縮小画像データである。言い換えると、学習モデルＧのモデル生成処理で用いられる複数の画像データには、全種類のカードＣ，Ｃ，・・・の表裏の縮小画像データが含まれる。
　前述したように、認証装置１は、モデル生成装置３の制御部３３が生成処理で生成した学習モデルＧを用いる。認証装置１は、学習モデルＧから出力された出力結果に基づいて、開口１ｂに挿入されたカードＣの種類及び表裏を特定する。
　モデル生成処理では、前述したように、制御部３３は、複数種類のカードＣ，Ｃ，・・・の表裏の画像データを縮小することによって得られる複数の縮小画像データを入力部３０から取得し、取得した複数の縮小画像データを、複数の教師データの画像データとして入力する。これにより、学習モデルＧが生成される。個人情報を取得することが不可能となるまで縮小が行われた縮小画像データを入力することによって、開口１ｂに挿入されるカードＣに表示されている個人情報とは異なる情報に基づいて確率を出力する学習モデルＧを生成することができる。
　また、モデル生成処理では、前述したように、制御部３３は、複数種類のカードＣ，Ｃ，・・・の縮小画像データの少なくとも１つにノイズを追加することによって得られる縮小画像データを入力部３０から取得し、取得した縮小画像データを教師データの画像データとして、学習モデルＧの入力に含める。このため、認証装置１が行う認証において、学習モデルＧに入力する縮小画像データ、即ち、開口１ｂに挿入されたカードＣの第１面又は第２面の縮小画像データが、汚れが付着しているカードＣ又は色が変化しているカードＣの一面の縮小画像データであっても、学習モデルＧを用いて適切な特定が行われる。前述したように、日焼け又は経年変化等によってカードＣの色は変化する。
　更に、モデル生成処理では、制御部３３は、複数種類のカードＣ，Ｃ，・・・の縮小画像データの少なくとも１つに含まれる個人情報を削除又は変更することによって得られる縮小画像データを入力部３０から取得し、取得した縮小画像データを教師データの画像データとして学習モデルＧの入力に含める。学習モデルＧへの入力には、複数種類のカードＣ，Ｃ，・・・の単純な縮小画像データだけではなく、ノイズを追加することによって得られる縮小画像データと、個人情報を削除又は変更することによって得られる縮小画像データとが含まれている。このため、モデル生成処理で用いる縮小画像データが多いので、学習モデルＧが出力する確率はより適切である。
　なお、複数種類のカードＣ，Ｃ，・・・の縮小画像データの少なくとも１つに含まれる個人情報を削除又は変更することによって得られる縮小画像データに、個人情報を部分的に変更された縮小データが含まれていてもよい。カードの種類及び向きを特定する場合においては、個人情報を削除又は変更することによって得られる縮小画像データが学習モデルＧに入力されることはない。
　なお、単純な縮小画像データ、ノイズが追加された縮小画像データ、個人情報が部分的に変更された縮小画像データ、又は、個人情報が部分的に削除された縮小画像データについては、モデル生成装置３の制御部３３が生成してもよい。この場合、入力部３０には、カードＣの表側又は裏側が写っている画像データと、この画像データに対応するラベルデータとを含むデータが入力される。制御部３３は、入力部３０に入力された画像データに基づいて、ノイズが追加された縮小画像データ、個人情報が部分的に変更された縮小画像データ、又は、個人情報が部分的に削除された縮小画像データを生成する。これにより、縮小画像データ及びラベルデータを含む教師データが生成される。生成された教師データを記憶部３２に記憶する。
　図８は、認証装置１の要部構成を示すブロック図である。認証装置１は、更に、スキャナ１０、カメラ１１、ディスプレイ１２及び認証機１３を備える。スキャナ１０及び認証機１３は、収容箱１ａ内に収容されている。カメラ１１及びディスプレイ１２は、図１に示すように、収容箱１ａの外面に設置されている。認証機１３は、入力部５０、入出力部５１、出力部５２、記憶部５３及び制御部５４を有する。
　スキャナ１０は認証機１３の入力部５０に接続されている。カメラ１１は認証機１３の入出力部５１に接続されている。ディスプレイ１２は認証機１３の出力部５２に接続されている。入力部５０、入出力部５１、出力部５２、記憶部５３及び制御部５４は内部バス５５に接続されている。
　カードＣが開口１ｂに挿入された場合、スキャナ１０は、挿入されたカードＣの第１面画像を読込み、読込んだ第１面画像に対応する第１面画像データを生成する。更に、スキャナ１０は、挿入されたカードＣの第２面画像を読込み、読込んだ第２面画像に対応する第２面画像データを生成する。
　前述したように、開口１ｂの大きさはカードＣの短辺側の端面の大きさと略同じである。このため、第１面画像及び第２面画像の枠の形状は、カードＣの面の形状と略一致している。スキャナ１０は、第１面画像データ及び第２面画像データを生成した場合、生成した第１面画像データ及び第２面画像データを入力部５０に出力する。入力部５０に入力された第１面画像データ及び第２面画像データは、制御部５４によって、入力部５０から取得される。制御部５４は取得部として機能する。
　入出力部５１は、制御部５４の指示に従って、ユーザの顔が写っている顔画像の撮影を指示する撮影信号をカメラ１１に出力する。撮影信号がカメラ１１に入力された場合、カメラ１１は、顔画像を撮影し、撮影した顔画像に対応する顔画像データを入出力部５１に出力する。入出力部５１に入力された顔画像データは、制御部５４によって、入出力部５１から取得される。
　出力部５２は、制御部５４の指示に従って、カードＣの特定を行うことができなかったことを示す特定不可情報と、特定したカードＣの種類が対象外カードの種類であることを示す対象外情報と、カードＣの特定に成功したもののカードＣの読み取りを行うことができなかったことを示す読み取り不可情報とをディスプレイ１２に出力する。特定不可情報、対象外情報又は読み取り不可情報がディスプレイ１２に入力された場合、ディスプレイ１２は、入力された情報が示す内容を表示する。これにより、カードＣを特定することができなかったこと、カードＣの種類が対象外カードの種類であること、又は、読み取りを行うことができなかったことがユーザに通知される。読み取り不可情報、特定不可情報及び対象外情報夫々は第１情報、第２情報及び第３情報に相当する。
　出力部５２は、更に、制御部５４の指示に従って、認証の成功又は失敗を示す結果情報をディスプレイ１２に出力する。結果情報がディスプレイ１２に入力した場合、ディスプレイ１２は、結果情報が示す内容を表示する。これにより、認証の成功又は失敗がユーザに通知される。
　記憶部５３は例えば不揮発性メモリである。記憶部５３には、学習モデルＧ、コンピュータプログラム６０、認証用テーブル６１及び読み取りルールデータベース６２が記憶されている。記憶部５３に記憶されている学習モデルＧは、モデル生成装置３によって生成された学習モデルである。
　制御部５４は、ＣＰＵ、ＧＰＵ又はＴＰＵ等の処理素子を有し、演算を行う演算部を兼ねる。コンピュータプログラム６０は、カードＣの所有者を認証する認証処理を、制御部５４が有する処理素子（コンピュータ）に実行させるために用いられる。なお、制御部５４が有する処理素子の数は２以上であってもよい。この場合、複数の処理素子がコンピュータプログラム６０に従って、協同で認証処理を行ってもよい。
　認証処理では、制御部５４は、開口１ｂに挿入されたカードＣの種類及び表裏を特定する。制御部５４は、特定結果に基づいて、第１面画像データ及び第２面画像データの少なくとも一方から個人情報を読み取り、読み取った個人情報に基づいて、カードＣの所有者を認証する。
　なお、コンピュータプログラム６０は、制御部５４が有する処理素子が読み取り可能に、記憶媒体Ａ２に記憶されていてもよい。この場合、図示しない読み出し装置によって記憶媒体Ａ２から読み出されたコンピュータプログラム６０が記憶部５３に記憶される。また、図示しない通信網に接続されている図示しない外部装置からコンピュータプログラム６０をダウンロードし、ダウンロードしたコンピュータプログラム６０を記憶部５３に記憶してもよい。
　図９は認証用テーブル６１の例を示す図表である。図９の例では、認証用テーブル６１は、氏名フィールド、住所フィールド及び生年月日フィールドを含む。氏名フィールドには、認証装置１を使用する複数のユーザに対応する複数の氏名が記憶されている。住所フィールドには、氏名フィールドに記憶されている複数の氏名夫々に対応する複数の住所が記憶されている。生年月日フィールドには、氏名フィールドに記憶されている複数の氏名夫々に対応する複数の生年月日が記憶されている。氏名、住所及び生年月日は認証用テーブル６１に予め記憶されている。認証用テーブルは、カードＣの所有者の認証に用いられる。
　図１０は読み取りルールデータベース６２の内容を示す図表である。読み取りルールデータベース６２は、種類フィールド及び読み取りルールフィールドを含む。種類フィールドには、対象カードの種類が記憶されている。対象外カードの種類、即ち、ポイントカード又は電子マネー用カード等は種類フィールドに記憶されていない。前述したように、対象カードの種類として、運転免許証、マイナンバーカード、マイナンバー通知カード、住民基本台帳カード、特別永住者証明書、在留カード、パスポートカード又はソーシャルセキュリティカード等が挙げられる。読み取りルールフィールドには、種類フィールドに記憶されている種類に対応する複数の個人情報の読み取りルールが記憶されている。具体的には、各読み取りルールは、個人情報の表示位置を示している。１つの個人情報の表示位置は、個人情報が表示されているカードＣの向き（表側又は裏側）と、カードＣの表側又は裏側における個人情報の表示場所とによって定義される。種類及び読み取りルールは読み取りルールデータベース６２に予め記憶されている。
　図１１及び図１２は、認証処理の手順を示すフローチャートである。制御部５４は認証処理を繰り返し実行する。認証処理では、制御部５４は、まず、開口１ｂにカードＣが挿入されたか否かを判定する（ステップＳ２１）。ステップＳ２１では、制御部５４は、例えば、カードＣの挿入を検出する光センサの検出結果に基づいて、カードＣが挿入されたか否かを判定する。前述したように、開口１ｂにカードＣが挿入された場合、スキャナ１０は、第１面画像データ及び第２面画像データを生成し、生成した第１面画像データ及び第２面画像データを入力部５０に出力する。
　制御部５４は、カードＣが挿入されていないと判定した場合（Ｓ２１：ＮＯ）、認証処理を終了する。その後、制御部５４は、再び、ステップＳ２１を実行する。従って、制御部５４は、開口１ｂにカードＣが挿入されるまで待機する。
　制御部５４は、カードＣが挿入されたと判定した場合（Ｓ２１：ＹＥＳ）、入力部５０に入力された第１面画像データの縮小画像データを生成する（ステップＳ２２）。制御部５４は、第１面画像データの縦及び横の画素数を下げることによって、第１面画像データを縮小し、第１面画像データの縮小画像データを生成する。制御部５４は縮小部としても機能する。
　次に、制御部５４は、ステップＳ２２で生成した縮小画像データを、学習モデルＧの入力層２０に入力する（ステップＳ２３）。学習モデルＧでは、入力層２０の各ノードには、例えば、縮小画像データを構成する各画素の画素値のデータが入力される。入力層２０の各ノードに入力されたデータは、隣接する中間層２１のノードへ出力される。中間層２１では、入力層２０に入力された縮小画像データに基づいて、ノード間の重み及びバイアスを含む活性化関数を用いた演算が行われ、中間層２１で行われた演算結果は出力層２２に出力される。このようにして、学習モデルＧでは、カードＣの種類及び表裏の分類の確からしさを示す確率が出力層２２から出力される。複数の中間層２１における演算、及び、出力層２２からの出力結果の出力は、制御部５４によって実行される。
　制御部５４は、ステップＳ２３を実行した後、学習モデルＧの出力層２２が出力した出力結果（確率）を取得する（ステップＳ２４）。次に、制御部５４は、ステップＳ２４で取得した出力結果に基づいて、カードＣの種類及び表裏の特定を行うことが可能であるか否かを判定する（ステップＳ２５）。
　具体的には、制御部５４は、学習モデルＧから出力された確率の分布の分散値を算出する。分散値は、カードＣの種類及び表裏の全ての組合せに係る確率の中で１つの確率のみが極端に高い場合、大きく、カードＣの種類及び表裏の全ての組合せに係る確率が略一致している場合、小さい。ステップＳ２５では、制御部５４は、算出した分散値が所定値未満である場合、特定を行うことが不可能であると判定し、算出した分散値が所定値以上である場合、特定を行うことが可能であると判定する。分散値が所定値以上であることは所定基準に相当する。制御部５４は、学習モデルＧから出力された確率の分布が所定基準を満たさない場合、特定を行うことが不可能であると判定する。
　なお、所定基準は、分散値が所定値以上であることに限定されず、例えば、カードＣの種類及び表裏の全ての組合せに係る確率の中で１番目及び２番目に高い２つの確率の差分値が第２の所定値以上であることであってもよい。また、所定基準は、カードＣの種類及び表裏の全ての組合せに係る確率の中で１番目に高い確率が第３の所定値、例えば、４０％以上であることであってもよい。
　制御部５４は、特定を行うことが不可能であると判定した場合（Ｓ２５：ＮＯ）、ステップＳ２２と同様に、第２面画像データの縮小画像データを生成する（ステップＳ２６）。制御部５４は、第２面画像データの縦及び横の画素数を下げることによって、第２面画像データを縮小し、第２面画像データの縮小画像データを生成する。
　次に、制御部５４は、ステップＳ２６で生成した縮小画像データを、学習モデルＧの入力層２０に入力する（ステップＳ２７）。これにより、学習モデルＧの出力層２２から、カードＣの種類及び表裏の分類の確からしさを示す確率が出力される。このように、制御部５４は、ステップＳ２５で第１面画像データに関する特定を行うことが不可能であると判定した場合、入力部５０から取得した第１面画像データ及び第２面画像データの両方を学習モデルＧの入力層２０に入力する。
　なお、制御部５４は、ステップＳ２２において、第１面画像データ及び第２面画像データの両方の縮小画像データを生成してもよい。この場合、制御部５４は、ステップＳ２５で、特定を行うことが不可能であると判定した場合、ステップＳ２７を実行する。ステップＳ２７では、制御部５４は、ステップＳ２２で生成した第２面画像データの縮小画像データを、学習モデルＧの入力層２０に入力する。
　制御部５４は、ステップＳ２７を実行した後、学習モデルＧの出力層２２が出力した出力結果（確率）を取得する（ステップＳ２８）。次に、制御部５４は、ステップＳ２５と同様に、ステップＳ２８で取得した出力結果に基づいて、カードＣの種類及び表裏の特定を行うことが可能であるか否かを判定する（ステップＳ２９）。
　制御部５４は、第２面画像データに関する特定を行うことが不可能であると判定した場合（Ｓ２９：ＮＯ）、出力部５２に指示して、特定不可情報をディスプレイ１２に出力させる（ステップＳ３０）。これにより、ディスプレイ１２は特定不可情報が示す内容を表示し、カードＣの特定不可がユーザに通知される。前述したように、特定不可情報は第２情報に相当する。出力部５２は第２情報出力部として機能する。
　ステップＳ３０を実行した後、認証処理を終了し、再びステップＳ２１を実行する。
　制御部５４は、第１面画像データに関する特定を行うことが可能であると判定した場合（Ｓ２５：ＹＥＳ）、又は、第２面画像データに関する特定を行うことが可能であると判定した場合（Ｓ２９：ＹＥＳ）、ステップＳ２３又はステップＳ２８で取得した出力結果に基づいて、開口１ｂに挿入されたカードＣの種類及び表裏を特定する（ステップＳ３１）。表裏の特定は、カードＣの第１面及び第２面夫々が表側及び裏側のいずれであるかを特定することである。第１面及び第２面の一方の面について特定が行われた場合、他方の面については、自動的に特定が行われる。
　ステップＳ３１では、制御部５４は、例えば、カードＣの種類を、出力結果の中で最も確率が高い組合せの種類に特定する。また、制御部５４は、例えば、出力結果の中で最も高い組合せが表側を示す場合において、学習モデルＧに入力した縮小画像データが第１面画像データの縮小画像データであるとき、カードＣの第１面及び第２面夫々は表側及び裏側であると特定する。制御部５４は、同様の場合において、学習モデルＧに入力した縮小画像データが第２面画像データの縮小画像データであるとき、カードＣの第１面及び第２面夫々は裏側及び表側であると特定する。制御部５４は、特定部としても機能する。認証装置１は特定装置として機能する。
　制御部５４は、ステップＳ２５で特定を行うことが可能であると判定した場合、ステップＳ３１では、第１面画像データの縮小画像データを学習モデルＧに入力することによって得られた出力結果に基づいて特定を行う。制御部５４は、ステップＳ２９で特定を行うことが可能であると判定した場合、ステップＳ３１では、第２面画像データの縮小画像データを学習モデルＧに入力することによって得られた出力結果に基づいて特定を行う。
　次に、制御部５４は、ステップＳ３１で特定した種類が対象カードに係る複数の種類とは異なっているか否かを判定する（ステップＳ３２）。制御部５４は、ステップＳ３１で特定した種類が対象カードに係る複数の種類とは異なると判定した場合（Ｓ３２：ＹＥＳ）、出力部５２に指示して、対象外情報をディスプレイ１２に出力させる（ステップＳ３３）。これにより、ディスプレイ１２は対象外情報が示す内容を表示し、ステップＳ３１で特定したカードＣの種類が対象外の種類であることがユーザに通知される。前述したように、対象外情報は第３情報に相当する。出力部５２は第３情報出力部として機能する。
　ステップＳ３３を実行した後、認証処理を終了し、再びステップＳ２１を実行する。
　制御部５４は、ステップＳ３１で特定した種類が対象カードに係る複数の種類中の１つと一致すると判定した場合（Ｓ３２：ＮＯ）、ステップＳ３１で特定した種類に基づいて、読み取りルールデータベース６２から、ステップＳ３１で特定した種類に対応するカードＣの読み取りルールを読み出す（ステップＳ３４）。次に、制御部５４は、ステップＳ３２で読み出した読み取りルールに従って、カードＣの表側及び裏側の一方又は両方に表示されている個人情報を、入力部５０に入力された第１面画像データ及び第２面画像データから読み取る（ステップＳ３５）。制御部５４は、読み取り部としても機能する。
　次に、制御部５４は、個人情報の読み取りに成功したか否かを判定する（ステップＳ３６）。制御部５４は、読み取りに失敗したと判定した場合（Ｓ３６：ＮＯ）、出力部５２に指示して、読み取り不可情報をディスプレイ１２に出力させる（ステップＳ３７）。これにより、ディスプレイ１２は読み取り不可情報が示す内容を表示し、カードＣの読み取り不可がユーザに通知される。前述したように、読み取り不可情報は第１情報に相当する。出力部５２は第１情報出力部としても機能する。
　なお、ステップＳ３１で特定した種類が実際のカードＣの種類と異なっていたために、個人情報の読み取りに失敗する可能性もある。
　制御部５４は、ステップＳ３７を実行した後、認証処理を終了し、再びステップＳ２１を実行する。
　制御部５４は、読み取りに成功したと判定した場合（Ｓ３６：ＹＥＳ）、開口１ｂに挿入されたカードＣの所有者を認証する（ステップＳ３８）。
　例えば、ステップＳ３５で読み取った個人情報に、人物の顔が写っている顔画像が含まれている場合、制御部５４は、入出力部５１に指示して、撮影信号をカメラ１１に出力させる。前述したように、撮影信号がカメラ１１に入力された場合、カメラ１１は、顔画像を撮影し、撮影した顔画像に対応する顔画像データを入出力部５１に出力する。入出力部５１に入力された顔画像データは、制御部５４によって、入出力部５１から取得される。
　制御部５４は、ステップＳ３５で読み取った顔画像の人物が、入出力部５１から取得した顔画像データに対応する顔画像の人物と同一であるか否かに基づいて認証を行う。制御部５４は、ステップＳ３５で読み取った顔画像の人物が、入出力部５１から取得した顔画像データに対応する顔画像の人物と同一である場合、認証に成功したと判定する。制御部５４は、ステップＳ３５で読み取った顔画像の人物が、入出力部５１から取得した顔画像データに対応する顔画像の人物と異なる場合、認証に失敗したと判定する。
　例えば、ステップＳ３５で読み取った個人情報に、氏名、住所及び生年月日が含まれている場合、制御部５４は、ステップＳ３８では、認証用テーブル６１（図９参照）を用いて認証を行う。例えば、制御部５４は、ステップＳ３５で読み取った氏名が認証用テーブル６１に記憶されている場合において、ステップＳ３５で読み取った住所及び生年月日夫々が、ステップＳ３５で読み取った氏名に対応する認証用テーブル６１の住所及び生年月日と一致するとき、カードＣの所有者の認証に成功したと判定する。
　制御部５４は、ステップＳ３５で読み取った氏名が認証用テーブル６１に記憶されていない場合、カードＣの所有者の認証に失敗したと判定する。制御部５４は、ステップＳ３５で読み取った氏名が認証用テーブル６１に記憶されている場合において、ステップＳ３５で読み取った住所及び生年月日夫々が、ステップＳ３５で読み取った氏名に対応する認証用テーブル６１の住所及び生年月日と一致しないとき、カードＣの所有者の認証に失敗したと判定する。
　制御部５４は、ステップＳ３８を実行した後、出力部５２に指示して、認証結果、即ち、認証の成功又は失敗を示す結果情報をディスプレイ１２に出力させる（ステップＳ３９）。これにより、ステップＳ３８の認証結果がディスプレイ１２に表示され、ステップＳ３８の認証結果がユーザに通知される。
　制御部５４は、ステップＳ３９を実行した後、認証処理を終了し、再びステップＳ２１を実行する。
　以上のように、認証装置１の認証機１３では、第１面画像データ又は第２面画像データを学習モデルＧの入力層２０に入力することによって、学習モデルＧの出力層２２からカードＣの種類及び表裏の分類の確からしさを示す確率が出力される。制御部５４は、この確率に基づいて、カードＣの種類及び表裏を特定する。また、第１面画像データを学習モデルＧの入力層２０に入力することによって、カードＣの種類及び表裏を特定することができなかった場合、第２面画像データを学習モデルＧの入力層２０に入力することによって、カードＣの種類及び表裏を特定する。
　更に、制御部５４は、縮小画像データを学習モデルＧの入力層２０に入力するので、カードＣに表示されている個人情報に基づく確率の出力が学習モデルＧで行われることを防止することができる。また、制御部５４は、カードＣの種類及び表裏を特定した場合、特定結果に基づいて、入力部５０から取得した第１面画像データ及び第２面画像データ中の少なくとも一方から個人情報を読み取る。
　なお、認証装置１を、個人情報を新規に登録する登録装置として機能させてもよい。認証処理において、例えば、ステップＳ３５で読み取った個人情報に、人物の顔が写っている顔画像が含まれている場合、制御部５４は、前述したように、カメラ１１が撮影した顔画像データを用いて認証を行う。制御部５４は、認証に成功した場合、ステップＳ３５で読み取った個人情報、例えば、氏名、生年月日又は住所等を、記憶部５３の図示しないデータベースに記憶する。
（実施の形態２）
　実施の形態１におけるモデル生成処理では、１つの縮小画像データを学習モデルＧの入力層２０に入力する都度、学習モデルＧのパラメータを更新する。しかしながら、複数の縮小画像データを学習モデルＧの入力層２０に入力することによって得られる複数の出力結果に基づいて学習モデルＧのパラメータを更新してもよい。
　以下では、実施の形態２について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通している。このため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
　実施の形態２におけるモデル生成装置３では、制御部３３は、一時記憶部として、図示しないＲＡＭ(Random Access Memory)を有する。変数Ｋ，Ｕの値が記憶部３２に記憶されている。変数Ｋ，Ｕの値は、制御部３３によって設定される。また、第１基準値及び第２基準値が記憶部３２に予め記憶されている。第１基準値及び第２基準値夫々は２以上の整数である。
　また、入力部３０には、複数の教師データの他に、学習モデルＧを評価するための第１評価用データ及び第２用評価用データが入力される。第１評価用データ及び第２評価用データ夫々は、教師データと同様に、カードＣの表側又は裏側の縮小画像データと、ラベルデータとを含む。ラベルデータは、カードＣの種類、及び、カードＣの表側又は裏側を示す。
　制御部３３は、入力部３０に教師データ、第１評価用データ又は第２評価用データが入力される都度、記憶処理を実行する。記憶処理では、制御部３３は、入力部３０に入力された教師データ、第１評価用データ又は第２評価用データを、入力部３０から取得し、取得したデータを記憶部３２に記憶する。その後、制御部３３は記憶処理を終了する。モデル生成処理では、制御部３３は、複数の教師データ、第１評価用データ及び第２評価用データを用いて学習モデルＧを生成する。学習モデルＧの生成で用いる教師データの数は、第１基準値及び所定数の積と一致する。所定数は、２以上の整数である。
　図１３及び図１４は、実施の形態２におけるモデル生成処理の手順を示すフローチャートである。モデル生成装置３のユーザは、操作部３１において、モデル生成処理の実行を指示する実行操作を行う。実行操作が行われた場合において、記憶部３２に、複数の教師データ、第１評価用データ及び第２評価用データが記憶されているとき、制御部３３はモデル生成処理を実行する。
　モデル生成処理では、制御部３３は、まず、学習モデルＧの経路を形成する（ステップＳ４１）。具体的には、制御部３３は、入力層２０と入力層２０に隣接する中間層２１とに関する複数のノードの間の経路と、隣接する２つの中間層２１，２１に関する複数のノード間の経路と、中間層２１と中間層２１に隣接する出力層２２とに関する複数のノード間の経路とを形成する。中間層２１で用いられるノード間の重み及びバイアス等のパラメータは適宜設定されている。
　制御部３３は、ステップＳ４１を実行した後、変数Ｋ，Ｕの値をゼロに設定し（ステップＳ４２）、記憶部３２に記憶されている複数の教師データ、第１評価用データ及び第２評価用データを、ＲＡＭにロードする（ステップＳ４３）。次に、制御部３３は、ＲＡＭから１つの教師データを選択し（ステップＳ４４）、選択した教師データに含まれる縮小画像データを学習モデルＧの入力層２０に入力する（ステップＳ４５）。これにより、縮小画像データに対応する縮小画像に写っているカードＣの種類及び表裏の分類の確からしさを示す確率が、出力結果として、学習モデルＧの出力層２２から出力される。前述したように、複数の中間層２１における演算、及び、出力層２２からの出力結果の出力は、制御部３３によって実行される。
　制御部３３は、ステップＳ４５を実行した後、学習モデルＧの出力層２２が出力した出力結果を取得し（ステップＳ４６）、変数Ｋの値を１だけインクリメントする（ステップＳ４７）。次に、制御部３３は、変数Ｋの値が第１基準値であるか否かを判定する（ステップＳ４８）。制御部３３は、変数Ｋの値が第１基準値ではないと判定した場合（Ｓ４８：ＮＯ）、ステップＳ４４を再び実行する。再び実行されたステップＳ４４では、制御部３３は、ステップＳ４３でロードされた複数の教師データの中で選択していない１つの教師データを選択する。
　制御部３３は、変数Ｋの値が第１基準値となるまで、ステップＳ４４～Ｓ４７を繰り返し実行し、第１基準値の数と同じ数の出力結果を取得する。第１基準値は、所謂、バッチサイズである。制御部３３は、変数Ｋの値が第１基準値であると判定した場合（Ｓ４８：ＹＥＳ）、取得した複数の出力結果と、ステップＳ４４で選択した複数の教師データのラベルデータが示す内容とに基づいて、学習モデルＧのパラメータを更新する（ステップＳ４９）。次に、制御部３３は、ＲＡＭに記憶されている全ての教師データをステップＳ４４で選択したか否かを判定する（ステップＳ５０）。
　制御部３３は、全ての教師データを選択していないと判定した場合（Ｓ５０：ＮＯ）、変数Ｋの値をゼロに設定し（ステップＳ５１）、ステップＳ４４を再び実行する。再び実行されたステップＳ４４では、制御部３３は、ステップＳ４３でロードされた複数の教師データの中で選択していない１つの教師データを選択する。全ての教師データが選択されるまで、複数の出力結果に基づいて、パラメータを繰り返し更新する。
　制御部３３は、全ての教師データを選択したと判定した場合（Ｓ５０：ＹＥＳ）、第１評価用データを用いて学習モデルＧを評価する（ステップＳ５２）。ステップＳ５２では、制御部３３は、第１評価用データに含まれる縮小画像データを学習モデルＧの入力層２０に入力し、学習モデルＧの出力結果を取得する。制御部３３は、この出力結果と、第１評価用データに含まれるラベルデータが示す内容とに基づいて、学習モデルＧが適切な出力結果を出力していることを確認する。適切な出力結果が出力されていなかった場合、例えば、モデル生成処理を終了してもよい。この場合、例えば、教師データの数を増やして、再度、モデル生成処理を実行する。
　制御部３３は、ステップＳ５２を実行した後、変数Ｕの値を１だけインクリメントし（ステップＳ５３）、変数Ｕの値が第２基準値であるか否かを判定する（ステップＳ５４）。制御部３３は、変数Ｕの値が第２基準値ではないと判定した場合（Ｓ５４：ＮＯ）、変数Ｋの値をゼロに設定し（ステップＳ５５）、ステップＳ４４を再び実行する。このとき、ステップＳ４３でロードされた複数の教師データの中に選択された教師データはないとして、ステップＳ４４を実行する。変数Ｕの値が第２基準値となるまで、ステップＳ４３でロードされた複数の教師データを用いて学習モデルＧのパラメータを更新する。各教師データが用いられる回数は、第２基準値の数と同じである。第２基準値は、所謂、エポック数である。
　制御部３３は、変数Ｕの値が第２基準値であると判定した場合（Ｓ５４：ＹＥＳ）、第２評価用データを用いて学習モデルＧを評価する（ステップＳ５６）。ステップＳ５６では、制御部３３は、第２評価用データに含まれる縮小画像データを学習モデルＧの入力層２０に入力し、学習モデルＧの出力結果を取得する。制御部３３は、この出力結果と、第２評価用データに含まれるラベルデータが示す内容とに基づいて、学習モデルＧが適切な出力結果を出力していることを確認する。適切な出力結果が出力されていなかった場合、例えば、モデル生成処理を終了してもよい。この場合、例えば、教師データの数を増やして、再度、モデル生成処理を実行する。
　制御部３３は、ステップＳ５６を実行した後、パラメータが更新された学習モデルＧを記憶部３２に記憶し（ステップＳ５７）、記憶部３２に記憶されている全ての教師データ、即ち、学習モデルＧのパラメータを更新するために用いた全ての教師データを、ＲＡＭ及び記憶部３２から削除する（ステップＳ５８）。制御部３３は、ステップＳ５８を実行した後、モデル生成処理を終了する。
　以上のように、実施の形態２におけるモデル生成処理では、複数の縮小画像データを学習モデルＧの入力層２０に入力することによって得られる複数の出力結果に基づいて学習モデルＧのパラメータを更新する。これにより、学習モデルＧが生成される。実施の形態２における学習モデルＧの生成では、１つの教師データを２回以上用いる。このため、より適切な学習モデルＧが生成される。
　実施の形態２におけるモデル生成装置３は、実施の形態１におけるモデル生成装置３と同様の効果を奏する。
　なお、実施の形態２におけるモデル生成処理において、ステップＳ５３～Ｓ５６の処理を省略してもよい。この場合、制御部３３は、ステップＳ５２を実行した後、ステップＳ５７を実行する。ステップＳ５３～Ｓ５６を省略する場合、第２評価用データ及び変数Ｕは不要である。
（実施の形態３）
　実施の形態１においては、認証機１３の制御部５４は、開口１ｂにカードＣの種類及び表裏を特定している。しかしながら、制御部５４が学習モデルＧを用いてカードＣの種類及び表裏を特定するとともに、カードＣの一面について、上向き及び下向きのいずれであるかを特定してもよい。
　以下では、実施の形態３について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通している。このため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
　図１５は、実施の形態３におけるカードＣの上下の説明図である。認証装置１の開口１ｂの一方の長辺側がカードＣの表側である場合において、一方の短辺側からカードＣを挿入したときの第１面画像データの第１面画像は、他方の短辺側からカードＣを挿入したときの第１面画像データの第１面画像とは異なる。認証装置１の開口１ｂの一方の長辺側がカードＣの表側であることは、例えば、図１において、カードＣの上面が表側であることである。図１５の例では、文字の向きが正常であるカードＣの向きを上向きと定義し、文字の向きが逆さであるカードＣの向きを下向きと定義している。
　図１６は学習モデルＧの模式図である。学習モデルＧでは、カードＣの表側又は裏側の縮小画像データと、カードＣの種類、カードＣの表側又は裏側、及び、カードＣの上向き又は下向きを示すラベルデータとを含む教師データを用いて、画像データとカードＣの種類、表裏及び上下との関係が学習されている。
　中間層２１では、教師データに基づき、縮小画像データと、カードＣの種類、表裏及び上下との関係が学習されている。
　出力層２２は、入力画像データに対応する入力画像に写っているカードＣの種類、表裏及び上下の分類の確からしさを示す確率を出力する。具体的には、カードＣの種類、表裏及び上下の各組合せについて、入力画像データに係るカードＣの種類、表裏及び上下の組合せが該当する確率を示す。図１６では、カードＣの種類、表裏及び上下の組合せを（種類，表又は裏，上又は下）で示している。（運転免許証，表，上）、（運転免許証，表，下）、（運転免許証，裏，上）及び（運転免許証，裏，下）等の組合せ夫々について、入力画像データに係るカードＣの種類、表裏及び上下の組合せが該当する確率を示す。
　モデル生成装置３の制御部３３が取得する教師データは、カードＣの表側又は裏側の縮小画像データと、カードＣの種類、カードＣの表側又は裏側、及び、カードＣの上向き又は下向きを示すラベルデータとを含む。制御部３３は、実施の形態１と同様に、モデル生成処理を実行する。
　認証装置１は、実施の形態１と同様に、モデル生成装置３の制御部３３が生成処理で生成した学習モデルＧを用いる。認証装置１は、学習モデルＧから出力された出力結果に基づいて、開口１ｂに挿入されたカードＣの種類及び表裏を特定するとともに、カードＣの一面について、上向き及び下向きのいずれであるかを特定する。実施の形態３におけるモデル生成装置３は、実施の形態１におけるモデル生成装置３が奏する効果を同様に奏する。
　なお、モデル生成装置３の制御部３３は、実施の形態２と同様に学習モデルＧを生成してもよい。この場合、制御部３３は、実施の形態２におけるモデル生成処理を実行し、モデル生成装置３は、実施の形態２におけるモデル生成装置３が奏する効果を同様に奏する。
　認証機１３の制御部５４は、実施の形態１と同様に認証処理を実行する。実施の形態３においては、学習モデルＧの出力層２２から、カードＣの種類、表裏及び上下の分類の確からしさを示す確率が、出力結果として出力される。認証処理のステップＳ２５，Ｓ２９夫々では、制御部５４は、カードＣの種類、表裏及び上下の特定を行うことが可能であるか否かを判定する。ステップＳ３１では、制御部５４は、ステップＳ２４又はステップＳ２８で取得した出力結果に基づいて、開口１ｂに挿入されたカードＣの種類及び表裏を特定するとともに、第１面又は第２面について、上向き及び下向きのいずれであるかを特定する。
　以上のように、認証装置１では、第１面画像データ又は第２面画像データを学習モデルＧの入力層２０に入力することによって、学習モデルＧの出力層２２からカードＣの種類、表裏及び上下の分類の確からしさを示す確率が出力される。制御部５４は、この確率に基づいて、カードＣの種類及び表裏を特定するとともに、カードＣの一面について、上向き及び下向きのいずれであるかを特定する。また、第１面画像データを学習モデルＧの入力層２０に入力することによって、カードＣの種類、表裏及び上下に関する特定を行うことができなかった場合、第２面画像データを学習モデルＧの入力層２０に入力することによって、カードＣの種類及び表裏を特定するとともに、カードＣの一面が上向き及び下向きのいずれであるかを特定する。
　実施の形態３における認証装置１は、実施の形態１における認証装置１が奏する効果を同様に奏する。実施の形態３における認証装置１では、第１面画像又は第２面画像が写っている第１面又は第２面について、上向き及び下向きのいずれであるかを特定するので、個人情報の読み取りが容易である。
（実施の形態４）
　図１７は、実施の形態４における認証システム７の概略図である。
　以下では、実施の形態４について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通している。このため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
　認証システム７は、複数の認証装置１，１，・・・と、モデル生成装置３とを備える。これらはネットワークＮ１に接続されている。実施の形態４では、各認証装置１は、学習モデルＧ及び教師データをモデル生成装置３に送信する。モデル生成装置３は、学習モデルＧの再学習を行う。認証システム７は特定システムとして機能する。
　図１８は、認証装置１の要部構成を示すブロック図である。認証装置１の認証機１３は、更に、通信部５６を有する。通信部５６も内部バス５５に接続されている。通信部５６は、制御部５４の指示に従って、学習モデルＧ及び教師データをモデル生成装置３に送信する。通信部５６は、モデル生成装置３から、再学習で更新された学習モデルＧを受信する。制御部５４は、通信部５６から、通信部５６が受信した学習モデルＧを取得する。教師データは、学習モデルＧに入力した縮小画像データと、カードＣの種類、及び、カードＣの表側又は裏側を示すラベルデータとを含む。ラベルデータが示す内容は、認証処理で制御部５４が特定した特定結果に基づく。
　認証機１３の制御部５４は、認証処理において、ステップＳ３１でカードＣの種類及び表裏を特定した場合、学習モデルＧに入力した縮小画像データと、この縮小画像データに対応する縮小画像に写っているカードＣの種類及び向きを示すラベルデータとを含む教師データを生成し、生成した教師データを記憶部５３に記憶する。ラベルデータが示すカードＣの向きは、表側及び裏側の一方である。認証処理において、制御部５４は、第１面画像データの縮小画像データを学習モデルＧに入力して、カードＣの種類を運転免許証と特定し、カードＣの第１面を表側と特定したと仮定する。このとき、制御部５４は、第１面画像データの縮小画像データと、運転免許証及び表側を示すラベルデータとを含む教師データを生成する。
　認証装置１では、制御部５４は、コンピュータプログラム６０を実行することによって、学習モデルＧを更新する更新処理も実行させる。
　図１９は、モデル生成装置３の要部構成を示すブロック図である。実施の形態４におけるモデル生成装置３は、実施の形態１におけるモデル生成装置３が有する構成部の中で入力部３０を除く他の構成部を有する。実施の形態４におけるモデル生成装置３は、入力部３０の代わりに通信部３５を有する。通信部３５も内部バス３４に接続されている。通信部３５は、認証機１３の通信部５６から学習モデルＧ及び教師データを受信する。モデル生成装置３の通信部３５が受信した学習モデルＧ及び教師データは、制御部３３によって取得される。通信部３５は、制御部３３の指示に従って、学習モデルＧを認証機１３の通信部５６に送信する。モデル生成装置３では、制御部３３は、コンピュータプログラム４０を実行することによって、学習モデルＧの再学習を行う再学習処理を実行する。
　図２０は、認証装置１及びモデル生成装置３が行う処理の手順を示すフローチャートである。図２０には、認証装置１が有する認証機１３の制御部５４が実行する更新処理と、モデル生成装置３の制御部３３が実行する再学習処理とが示されている。制御部５４は更新処理を周期的に実行する。制御部３３も再学習処理を周期的に実行する。
　認証機１３の制御部５４は、学習モデルＧを更新するか否かを判定する（ステップＳ６１）。制御部５４は、例えば、記憶部５３に記憶されている教師データの数が所定数以上である場合に、学習モデルＧを更新すると判定し、記憶部５３に記憶されている教師データの数が所定数未満である場合に学習モデルＧを更新しないと判定する。
　制御部５４は、学習モデルＧを更新すると判定した場合（Ｓ６１：ＹＥＳ）、通信部５６に指示して、記憶部５３に記憶されている学習モデルＧ及び教師データを、ネットワークＮ１を介してモデル生成装置３の通信部３５に送信させる（ステップＳ６２）。モデル生成装置３の制御部３３は、通信部３５が認証機１３の通信部５６から学習モデルＧ及び教師データを受信したか否かを判定する（ステップＳ７１）。
　モデル生成装置３の制御部３３は、通信部３５が学習モデルＧ及び教師データを受信したと判定した場合（Ｓ７１：ＹＥＳ）、通信部３５が受信した学習モデルＧ及び教師データを記憶部３２に記憶し（ステップＳ７２）、図７に示すモデル生成処理を実行する（ステップＳ７３）。これにより、通信部３５が受信した学習モデルＧの再学習が行われる。学習モデルＧの再学習で用いられる教師データは、制御部５４が学習モデルＧに入力した縮小画像データと、認証処理のステップＳ３１で制御部５４が特定したカードＣの向き（表側又は裏側）を示すラベルデータとを含む。
　次に、制御部５４は、通信部３５に指示して、再学習された学習モデルＧを認証機１３の通信部５６に送信させる（ステップＳ７４）。制御部３３は、通信部３５が学習モデルＧ及び教師データを受信していないと判定した場合（Ｓ７１：ＮＯ）、又は、ステップＳ７４を実行した後、再学習処理を終了する。
　認証機１３の制御部５４は、ステップＳ６２を実行した後、通信部５６が、モデル生成装置３の通信部３５から学習モデルＧを受信したか否かを判定する（ステップＳ６３）。制御部５４は、学習モデルＧを受信していないと判定した場合（Ｓ６３：ＮＯ）、ステップＳ６３を再び実行し、通信部５６が学習モデルＧを受信するまで待機する。制御部５４は、通信部５６が学習モデルＧを受信したと判定した場合（Ｓ６３：ＹＥＳ）、記憶部５３に記憶されている学習モデルＧを、通信部５６が受信した学習モデルＧに更新する（ステップＳ６４）。
　制御部５４は、学習モデルＧを更新しないと判定した場合（Ｓ６１：ＮＯ）、ステップＳ６４を実行した後、更新処理を終了する。
　実施の形態４における認証装置１は、実施の形態１における認証装置１が奏する効果を同様に奏する。更に、実施の形態４における認証装置１に記憶されている学習モデルＧは、再学習が行われることによって、定期的に改善される。
　なお、モデル生成装置３の制御部３３は、実施の形態２と同様にモデル生成処理を実行してもよい。ただし、再学習処理のステップＳ７３で実行されるモデル生成処理では、ステップＳ４１が省略され、制御部３３は、ステップＳ４２から実行する。また、実施の形態４における学習モデルＧは、実施の形態３における学習モデルＧと同様であってもよい。この場合、ラベルデータが示すカードの向きは、表側及び裏側の一方、及び、上側及び下側の一方である。認証処理において、制御部５４は、第１面画像データの縮小画像データを学習モデルＧに入力して、カードＣの種類を運転免許証と特定し、第１面に関するカードＣの向きを表側及び上側と特定したと仮定する。このとき、制御部５４は、第１面画像データの縮小画像データと、運転免許証、表側及び上側を示すラベルデータとを含む教師データを生成する。第１評価用データ及び第２評価用データは、例えば、モデル生成装置３の記憶部３２に予め記憶されている。
　また、学習モデルＧの再学習において、認証機１３の通信部５６は、学習モデルＧの代わりに学習モデルＧのパラメータを示す情報をモデル生成装置３の通信部３５に送信してもよい。この場合、モデル生成装置３の制御部３３は、通信部３５が受信したパラメータに基づいて学習モデルＧを生成し、生成した学習モデルＧの再学習を行う。更に、通信部３５は、通信部５６に、学習モデルＧの代わりに、学習モデルＧのパラメータを示す情報を送信してもよい。この場合、認証機１３の制御部５４は、学習モデルＧのパラメータを、受信した情報に基づいて更新する。
（実施の形態５）
　図２１は、実施の形態５における第１面画像データの縮小の説明図である。
　以下では、実施の形態５について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通している。このため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
　実施の形態５における認証処理のステップＳ２２，Ｓ２６夫々では、制御部５４は、実施の形態１と同様に、第１面画像データ及び第２面画像データを生成する。第１面画像データ及び第２面画像データ夫々は、格子状に配置された複数の画素の画素値によって構成されている。実施の形態５では、図２１に示すように、縦の画素数が第１基準画素数であり、横の画素数が第２基準画素数である設定範囲が予め設定されている。カードＣの縦及び横の長さの比率は、Ｘ：Ｙである。Ｘ及びＹは実数である。
　ステップＳ２２では、制御部５４は、第１面画像データの画像に写っているカードＣの縦及び横の長さの比率をＸ：Ｙに維持した状態で、画像が設定範囲内に収まるように第１面画像データを縮小する。例えば、第１面画像データにおける縦及び横の画素数を同一の比率で下げる。実施の形態１の説明で述べたように、縦及び横の画素数を（Ｍ／１０）及び（Ｎ／１０）に変更することによって、カードＣの縦及び横の長さの比率を維持する。Ｍ及びＮ夫々は、実施の形態１で述べたように、第１面画像データの縦及び横の画素数である。実施の形態５においては、画像が設定範囲内に収まるように第１面画像データを縮小することによって、個人情報を読み取ることが不可能な縮小が実現される。
　第１基準画素数及び第２基準画素数夫々は例えば１２８である。実施の形態１の説明で述べたように、Ｍ及びＮ夫々は、例えば、６００及び３８０である。
　ステップＳ２３では、制御部５４は、例えば、ステップＳ２２で生成した縮小画像データを構成する複数の画素値を学習モデルＧの入力層２０のノードに入力する。
　ステップＳ２６では、制御部５４は、ステップＳ２２で行った第１面画像データの縮小と同様に、第２面画像データを縮小する。ステップＳ２７では、制御部５４は、ステップＳ２６で生成した縮小画像データを構成する複数の画素値を学習モデルＧの入力層２０のノードに入力する。
　学習モデルＧの生成では、モデル生成装置３の制御部３３は、第１面画像データ及び第２面画像データと同様に縮小された縮小画像データを取得し、取得した縮小画像データを教師データとして学習モデルＧに入力する。
　実施の形態５における認証装置１は、実施の形態１における認証装置１が奏する効果を同様に奏する。
　なお、実施の形態２～４において、実施の形態５と同様に、第１面画像データ及び第２面画像データ等の画像データを縮小してもよい。
（実施の形態６）
　図２２は実施の形態６における縮小画像データの説明図である。
　以下では、実施の形態６について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通している。このため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
　実施の形態１の説明では、教師データの縮小画像データとして、複数種類のカードＣ，Ｃ，・・・の単純な縮小画像データ、カードＣの単純な縮小画像データにノイズを追加することによって得られる縮小画像データ、及び、カードＣの単純な縮小画像データに含まれる個人情報を削除又は変更することによって得られる縮小画像データを示した。しかし、教師データの縮小画像データは、これらの縮小画像データに限定されない。
　図２２に示すように、実施の形態６では、カードＣの第１面画像データ又は第２面画像データに含まれる個人情報に追加情報を追加し、追加情報を追加することによって得られた第１面画像データ又は第２面画像データを縮小する。これにより、カードＣの単純な縮小画像データに含まれる個人情報に追加情報が追加された縮小画像データが生成される。図２２の例では、住所の欄に、「ＡＡＡ」が追加情報として追加されている。
　モデル生成装置３の制御部３３は、複数種類のカードＣ，Ｃ，・・・の単純な縮小画像データの少なくとも１つに含まれる個人情報に追加情報を追加することによって得られた縮小画像データを取得し、取得した縮小画像データも教師データの縮小画像データとして記憶部３２に記憶する。モデル生成処理では、制御部３３は、記憶部３２に記憶されている教師データを学習モデルＧの入力層２０に入力する。
　個人情報に追加情報が追加された縮小画像データについては、カードＣの縮小画像データにおいて個人情報に追加情報を追加することによって生成してもよい。
　以上のように、実施の形態６では、制御部３３は、追加情報を追加することによって得られた縮小画像データを教師データの縮小画像データとして学習モデルＧの入力に含める。このため、モデル生成処理で用いる縮小画像データが多いので、学習モデルＧが出力する確率はより適切である。追加情報を追加することによって得られた縮小画像データは、カードの種類及び向きを特定する場合において、学習モデルＧに入力されることはなく、教師データの縮小画像データとして用いられる。
　単純な縮小画像データは第１画像データに相当し、単純な縮小画像データを含む教師データは第１教師データに相当する。個人情報に追加情報が追加された縮小画像データは第２画像データに相当し、個人情報に追加情報が追加された縮小画像データを含む教師データは第２教師データに相当する。
　図２３はモデル生成装置３の要部構成を示すブロック図である。実施の形態６においては、図２３に示すように、記憶部３２に、カードＣの種類に対応付けて、追加情報と、追加情報を追加する追加場所とが記憶されている追加情報テーブル４１が記憶されている。
　図２４は追加情報テーブル４１の内容を示す図表である。追加情報テーブル４１は、種類フィールド、追加情報フィールド及び追加場所フィールドを含む。種類フィールドには、対象カード及び対象外カードの種類が記憶されている。追加情報フィールドには、種類フィールドに記憶されている種類に対応する追加情報が記憶されている。追加場所フィールドには、種類フィールドに記憶されている種類に対応する追加場所が記憶されている。図２２に示す運転免許証の例では、追加場所は住所が記載されている場所である。
　追加情報が追加された縮小画像データをモデル生成装置３の制御部３３が生成する場合、制御部３３は、追加情報テーブル４１に基づいて、追加情報が追加された縮小画像データを生成する。入力部３０には、カードＣの表側又は裏側が写っている画像データと、この画像データに対応するラベルデータとを含むデータが入力される。制御部３３は、追加情報テーブル４１において、ラベルデータが示す種類に対応する追加情報を、ラベルデータが示す種類に対応する追加場所に追加し、追加情報を追加した画像データを縮小する。これにより、制御部３３は、カードＣの単純な縮小画像データに追加情報を追加することによって得られる縮小画像データを取得する。
　実施の形態６におけるモデル生成装置３は、実施の形態１におけるモデル生成装置３が奏する効果を同様に奏する。
　なお、実施の形態２～５において、実施の形態６と同様に、教師データの縮小画像データに、追加情報を追加した縮小画像データを含めてもよい。
（実施の形態７）
　図２５は実施の形態７における認証装置１の要部構成を示すブロック図である。
　以下では、実施の形態７について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通している。このため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
　実施の形態７における認証装置１は、スキャナ１０、カメラ１１、ディスプレイ１２及び認証機１３に加えて、操作部１４を備える。実施の形態７における認証機１３は、実施の形態１における認証機１３が有する構成部に加えて、入力部５７を有する。入力部５７は、内部バス５５と操作部１４とに接続されている。操作部１４は、キーボード、マウス又はタッチパネル等の一又は複数の入力インタフェースによって構成され、認証装置１のユーザによって操作される。操作部１４においてユーザが操作を行った場合、操作部１４は、ユーザが行った操作を受け付け、受け付けた操作を示す操作情報を入力部５７に出力する。操作部１４から入力部５７に操作情報が入力された場合、入力部５７が入力された操作情報が示す操作を制御部５４に通知する。
　出力部５２は、制御部５４の指示に従って、認証処理において、制御部５４が特定した特定結果、即ち、カードＣの種類及び向き（表又は裏）を示し、カードＣの第１面画像データ又は第２面画像データを含む特定結果情報をディスプレイ１２に出力する。特定結果情報が出力部５２からディスプレイ１２に入力された場合、ディスプレイ１２は、第１面画像又は第２面画像と、特定結果と、表示した特定結果が正しいか否かを受け付けるための回答ボタンとを表示する。
　図２６は特定結果及び回答ボタンの表示の説明図である。図２６に示すように、ディスプレイ１２は、出力部５２から入力された特定結果情報に含まれている第１面画像データ又は第２面画像データに対応する第１面画像又は第２面画像を表示するとともに、出力部５２から入力された特定結果を表示する。また、図２６の例では、ディスプレイ１２は、「正しい」及び「正しくない」を示す２つの回答ボタンを表示している。ユーザは、操作部１４において、クリック又はタップ等の操作を行い、２つの回答ボタンの中で１つの回答を選択する。制御部５４は、操作部１４が入力部５７に出力した操作情報、即ち、ユーザが操作部１４において行った操作に基づいて、特定結果が正しいか否かを示す回答を受け付ける。図２６の例では、操作部１４の操作に従ってポインタが移動する。
　出力部５２は、更に、制御部５４の指示に従って、カードＣの種類及び向きの入力を受け付ける複数の正解入力欄の表示を指示し、かつ、カードＣの第１面画像データ又は第２面画像データを含む表示情報をディスプレイ１２に出力させる。表示情報が出力部５２からディスプレイ１２に入力された場合、ディスプレイ１２は、第１面画像又は第２面画像と、複数の正解入力欄とを表示する。
　図２７は正解入力欄の表示の説明図である。図２７に示すように、ディスプレイ１２は、出力部５２から入力された表示情報に含まれている第１面画像データ又は第２面画像データに対応する第１面画像又は第２面画像を表示するとともに、種類及び向きが入力される複数の正解入力欄を表示する。ディスプレイ１２は、更に、入力の完了を示す完了ボタンを表示する。ユーザは、操作部１４において操作を行い、複数の正解入力欄に種類及び向きを選択する。図２７の例でも、操作部１４の操作に従ってポインタが移動する。
　図２８は正解入力の説明図である。ユーザは、操作部１４において操作を行い、１つの正解入力欄の右端に設けられているリスト表示ボタンを、クリック又はタップにより選択する。これにより、図２８に示すように、複数の正解候補のリストが表示される。図２８では、種類を入力する正解入力欄のリスト表示ボタンが選択されているので、種類に関する複数の正解候補のリストが表示される。向きのリスト表示ボタンが選択された場合、向きに関する複数の正解候補、即ち、表及び裏が示されたリストが表示される。種類及び向きに関する複数の正解候補は、例えば、表示情報によって示されている。ユーザは、各正解入力欄において、リストに表示されている複数の正解候補から１つを選択する。その後、ユーザは、クリック又はタップ等によって完了を選択する。制御部５４は、操作部１４が入力部５７に出力した操作情報、即ち、ユーザが操作部１４において行った操作に基づいて、複数の正解入力欄において選択された種類及び向きの入力を受け付ける。
　図２９及び図３０は認証処理の手順を示すフローチャートである。実施の形態７において、認証機１３の制御部５４は、実施の形態１と同様に認証処理を繰り返し実行する。実施の形態７における認証処理では、制御部５４は、実施の形態１における認証処理の全てを同様に実行する。実施の形態７における認証処理では、制御部５４は、更に、追加の処理を実行する。このため、実施の形態７における認証処理において、実施の形態１における認証処理で実行されるステップＳ２１～Ｓ３９の詳細な説明を省略する。
　制御部５４は、ステップＳ３１で、開口１ｂに挿入されたカードＣの種類及び表裏を特定した後、ステップＳ３１で特定した特定結果について、ステップＳ２４又はステップＳ２８で学習モデルＧから取得した出力結果が示す確率が基準確率未満であるか否かを判定する（ステップＳ８１）。ステップＳ２５において特定を行うことが可能と判定された後に実行されるステップＳ８１では、制御部５４は、ステップＳ２４で学習モデルＧから取得した出力結果が示す確率を基準確率と比較する。ステップＳ２９において特定を行うことが可能と判定された後に実行されるステップＳ８１では、制御部５４は、ステップＳ２８で学習モデルＧが取得した出力結果が示す確率を基準確率と比較する。基準確率は、一定値であり、予め設定されている。基準確率は所定確率に相当する。基準確率は例えば９０％である。制御部５４は確率判定部としても機能する。
　制御部５４は、確率が基準確率未満であると判定した場合（Ｓ８１：ＹＥＳ）、出力部５２に指示して、ステップＳ３１で特定した特定結果を示す特定情報をディスプレイ１２に出力させることによって、ディスプレイ１２にステップＳ３１で特定した特定結果を表示させる（ステップＳ８２）。制御部５４はステップＳ８２を実行することによって、ディスプレイ１２において、図２６に示すような表示が行われる。特定情報には、ステップＳ３１の特定を行うために学習モデルＧに入力した縮小画像データの生成に用いられた第１面画像データ又は第２面画像データが含まれている。このため、ディスプレイ１２には、ステップＳ３１の特定を行うために学習モデルＧに入力した縮小画像データの生成に用いられた第１面画像データ又は第２面画像データに対応する第１面画像又は第２面画像も表示される。学習モデルＧから取得した出力結果が示す確率が基準確率未満であるため、第１面画像又は第２面画像は、図２６に示すように、例えば、汚れが付着した画像である。ディスプレイ１２は結果表示部として機能する。
　ディスプレイ１２は、表示した特定結果が正しいか否かを受け付けるための２つの回答ボタンを表示する。前述したように、ユーザは、操作部１４を操作することによって回答を行い、制御部５４は、操作部１４から入力部５７に入力される操作情報に基づいて、表示した特定結果が正しいか否かを示す回答を受け付ける。制御部５４は回答受付部としても機能する。制御部５４は、ステップＳ８２を実行した後、特定結果が正しいか否かを示す回答を受け付けたか否かを判定する（ステップＳ８３）。制御部５４は、回答を受け付けていないと判定した場合（Ｓ８３：ＮＯ）、ステップＳ８３を再び実行し、ユーザから回答を受け付けるまで待機する。
　なお、特定結果が示す種類及び向きについて、正しいか否かをユーザが個別に回答する構成であってもよい。この構成では、ディスプレイ１２は、特定情報が入力された場合、例えば、種類が正しいか否かを受け付けるための２つの回答ボタンと、向きが正しいか否かを受け付けるための２つの回答ボタンとを表示する。ステップＳ８３では、制御部５４は、種類及び向きについて回答を受け付けた場合、特定結果が正しいか否を示す回答を受け付けたと判定する。制御部５４は、種類及び向きの少なくとも１つについて、回答を受け付けていない場合、特定結果が正しいか否を示す回答を受け付けていないと判定する。
　制御部５４は、回答を受け付けたと判定した場合（Ｓ８３：ＹＥＳ）、受け付けた回答によって、ステップＳ３１で特定した特定結果が正しいことが示されているか否かを判定する（ステップＳ８４）。制御部５４は、確率が基準確率以上であると判定した場合（Ｓ８１：ＮＯ）、又は、回答によって、特定結果が正しいことが示されていると判定した場合（Ｓ８４：ＹＥＳ）、ステップＳ３２を実行する。
　制御部５４は、回答によって特定結果が正しくないことが示されていると判定した場合（Ｓ８４：ＮＯ）、出力部５２に指示して、表示情報をディスプレイ１２に出力させることによって、ディスプレイ１２に複数の正解入力欄を表示させる（ステップＳ８５）。制御部５４はステップＳ８５を実行することによって、ディスプレイ１２において、図２７に示すような表示が行われる。表示情報には、ステップＳ３１の特定を行うために学習モデルＧに入力した第１面画像データ又は第２面画像データが含まれている。このため、ディスプレイ１２には、ステップＳ３１の特定を行うために学習モデルＧに入力した縮小画像データの生成に用いられた第１面画像データ又は第２面画像データに対応する第１面画像又は第２面画像も表示される。
　前述したように、ユーザは、操作部１４を操作することによって、種類及び向き夫々について、リスト表示ボタンを選択し、複数の正解候補の中から１つを選択する。これにより、種類及び向きを選択する。その後、ユーザは完了ボタンを選択する。制御部５４は、操作部１４から入力部５７に入力される操作情報に基づいて、複数の正解入力欄において選択された種類及び向きの入力を受け付ける。制御部５４は正解受付部としても機能する。
　リスト表示ボタンが選択された場合に表示されるリストでは、ステップＳ２４又はステップＳ２８で学習モデルＧから取得した出力結果が示す確率が高い正解候補から順番に表示される。図２８の例では、複数の正解候補の中で、出力結果が示す確率が最も高い正解候補が運転免許証である。確率が２番目に高い正解候補がマイナンバーカードである。確率が３番目に高い正解候補がマイナンバー通知カードである。この場合、例えば、表示情報として、複数の正解候補を出力結果が示す確率が高いものから順番に示す情報を出力する。リストでは、ユーザが選択する確率が高い候補が順に表示されるので、ユーザにとって種類及び向きの入力が容易である。
　なお、種類及び向きについて、正しいか否かをユーザが個別に回答する構成では、種類のリストには、正しくないとされた種類を除く他の正解候補が示され、向きのリストには、正しくないとされた向きを除く他の正解候補が示されてもよい。
　制御部５４は、ステップＳ８５を実行した後、種類及び向きの入力が完了したか否かを判定する（ステップＳ８６）。ユーザが完了ボタンを選択した場合、制御部５４は入力が完了したと判定する。ディスプレイ１２が複数の正解入力欄を表示してから、ユーザが完了ボタンを選択していない場合、制御部５４は入力が完了していないと判定する。制御部５４は、入力が完了していないと判定した場合（Ｓ８６：ＮＯ）、ステップＳ８６を再び実行し、入力が完了するまで待機する。
　制御部５４は、入力が完了したと判定した場合（Ｓ８６：ＹＥＳ）、ユーザが入力した回答に基づいて、開口１ｂに挿入されたカードＣの種類及び表裏を特定する（ステップＳ８７）。制御部５４は、ステップＳ８７を実行した後、ステップＳ３２を実行する。ステップＳ８７を実行した場合におけるステップＳ３２では、制御部５４は、ステップＳ８７で特定した種類が対象カードに係る複数の種類と異なっているか否かを判定する。
　以上のように、実施の形態７における認証装置１では、特定結果について、学習モデルＧからの出力結果が示す確率が低い場合、ディスプレイ１２が特定結果を表示し、制御部５４は、特定結果が正しいか否かを示す回答をユーザから受け付ける。このため、制御部５４が行った特定結果が正確である。更に、特定結果が正しくない場合、ユーザによって特定結果が訂正されるので、特定結果はより正確である。
　実施の形態７における認証装置１は、実施の形態１における認証装置１が奏する効果を同様に奏する。
　なお、実施の形態２～６において、認証装置１の制御部５４は、実施の形態７と同様に、特定結果の表示、特定結果が正しいか否かの回答の受け付け、及び、カードＣの種類及び向きの入力の受け付け等を実行してもよい。実施の形態３において、実施の形態７と同様に、特定結果の表示、特定結果が正しいか否かの回答の受け付け、及び、カードＣの種類及び向きの入力の受け付け等を実行する場合、カードＣの向きは、表裏及び上下であり、正解入力欄の数は３である。
（実施の形態８）
　実施の形態４における認証システム７では、モデル生成装置３は、認証機１３の制御部５４が認証処理において、特定に成功した縮小画像データと、特定結果を示すラベルデータとを含む教師データを用いて学習モデルＧの再学習を行っている。しかしながら、モデル生成装置３は、制御部５４が認証処理において、特定が不可能だった縮小画像データを含む教師データを用いて学習モデルＧの再学習を行ってもよい。
　以下では、実施の形態８について、実施の形態４と異なる点を説明する。後述する構成を除く他の構成については、実施の形態４と共通している。このため、実施の形態４と共通する構成部には実施の形態４と同一の参照符号を付してその説明を省略する。
　図３１は、実施の形態８における認証装置１の要部構成を示すブロック図である。実施の形態８においては、実施の形態４における認証装置１が備える構成部に加えて、実施の形態７の操作部１４を更に有する。実施の形態８における認証機１３は、実施の形態４における認証機１３が有する構成部に加えて、実施の形態７の入力部５７を有する。入力部５７は、内部バス５５と操作部１４とに接続されている。操作部１４及び入力部５７は、実施の形態７と同様に作用する。このため、操作部１４及び入力部５７の説明を省略する。
　複数の認証装置１，１，・・・夫々の記憶部５３及びモデル生成装置３の記憶部３２に記憶されている学習モデルＧは同期している。即ち、モデル生成装置３が学習モデルＧの再学習を行った場合、全ての認証装置１，１，・・・夫々の記憶部５３に記憶されている学習モデルＧは、モデル生成装置３が生成した学習モデルＧに更新される。
　出力部５２は、制御部５４の指示に従って、カードＣの種類及び向きの入力を受け付ける第２の正解入力欄の表示を指示し、カードＣの第１面画像データ及び第２面画像データを含む第２の表示情報をディスプレイ１２に出力させる。第２の表示情報が出力部５２からディスプレイ１２に入力された場合、ディスプレイ１２は、第１面画像、第２面画像及び第２の正解入力欄を表示する。
　図３２は、第２の正解入力欄の表示の説明図である。図３２に示すように、ディスプレイ１２は、出力部５２から入力された第２の表示情報に含まれている第１面画像データ及び第２面画像データに対応する第１面画像及び第２面画像を表示するとともに、種類と、第１面画像及び第２面画像に対応する２つの向きとが入力される３つの第２の正解入力欄を表示する。図３２の例でも、操作部１４の操作に従ってポインタが移動する。実施の形態７と同様に、３つの第２の正解入力欄夫々には、リスト表示ボタンが設けられている。ディスプレイ１２は、更に、実施の形態７と同様に、入力の完了を示す完了ボタンを表示する。ユーザは、操作部１４において操作を行い、３つの第２の正解入力欄に種類及び２つの向きを、実施の形態７と同様に選択する。
　ユーザは、操作部１４において操作を行い、１つの第２の正解入力欄のリスト表示ボタンをクリック又はタップにより選択する。これにより、図２８に示すように、複数の正解候補のリストが表示される。種類を入力する第２の正解入力欄のリスト表示ボタンが選択された場合、種類に関する複数の正解候補のリストが表示される。向きのリスト表示ボタンが選択された場合、向きに関する複数の正解候補、即ち、表及び裏が示されたリストが表示される。種類及び向きに関する複数の正解候補は、例えば、第２の表示情報によって示されている。ユーザは、各第２の正解入力欄において、リストに表示されている複数の正解候補から１つを選択する。その後、ユーザは、クリック又はタップ等によって完了を選択する。制御部５４は、操作部１４が入力部５７に出力した操作情報、即ち、ユーザが操作部１４において行った操作に基づいて、３つの正解入力欄において選択された種類及び２つの向きの入力を受け付ける。
　図３３は認証処理の手順を示すフローチャートである。実施の形態８において、各認証装置１が有する認証機１３の制御部５４は、実施の形態４、即ち、実施の形態１と同様に認証処理を繰り返し実行する。実施の形態８における認証処理では、制御部５４は、実施の形態１における認証処理の全てを同様に実行する。実施の形態８における認証処理では、制御部５４は、更に、追加の処理を実行する。このため、実施の形態８における認証処理において、実施の形態１における認証処理で実行されるステップＳ２１～Ｓ３９の詳細な説明を省略する。
　認証処理において、制御部５４は、ステップＳ２９で特定を行うが不可能であると判定した場合、即ち、第１面画像データ及び第２面画像データの縮小画像データに基づいてカードＣの種類及び向きを特定することができなかった場合、ステップＳ３０を実行する。制御部５４は、ステップＳ３０を実行した後、出力部５２に指示して、第２の表示情報を出力させることによって、ディスプレイ１２に第１面画像、第２面画像及び複数の第２の正解入力欄を表示させる（ステップＳ９１）。
　制御部５４はステップＳ９１を実行することによって、ディスプレイ１２において、図３２に示すような表示が行われる。第２の表示情報には、ステップＳ２３，Ｓ２７において学習モデルＧに入力した２つの縮小画像データの生成に用いた第１面画像データ及び第２面画像データが含まれている。このため、ディスプレイ１２には、種類及び向きの特定が不可能だったカードＣの第１面画像及び第２面画像も表示される。特定が不可能だったカードＣの第１面画像及び第２面画像は、例えば、図３２に示すように汚れが付着した画像である。
　前述したように、ユーザは、操作部１４を操作することによって複数の第２の正解入力欄それぞれに種類又は向きを入力し、完了ボタンを選択する。制御部５４は、操作部１４から入力部５７に入力される操作情報に基づいて、複数の第２の正解入力欄に入力された種類及び向きの入力を受け付ける。制御部５４は第２の正解受付部としても機能する。
　なお、リスト表示ボタンが選択された場合に表示されるリストでは、ステップＳ２４又はステップＳ２８で学習モデルＧから取得した出力結果が示す確率が高い正解候補から順番に表示されてもよい。この場合、例えば、第２の表示情報として、複数の正解候補を出力結果が示す確率が高いものから順番に示す情報を出力する。
　制御部５４は、ステップＳ９１を実行した後、複数の正解入力欄への入力が完了したか否かを判定する（ステップＳ９２）。ユーザが完了ボタンを選択した場合、制御部５４は入力が完了したと判定する。ディスプレイ１２が複数の第２の正解入力欄を表示してから、ユーザが完了ボタンを選択していない場合、制御部５４は入力が完了していないと判定する。制御部５４は、入力が完了していないと判定した場合（Ｓ９２：ＮＯ）、ステップＳ９２を再び実行し、入力が完了するまで待機する。
　制御部５４は、入力が完了したと判定した場合（Ｓ９２：ＹＥＳ）、ユーザが入力した回答に基づいて、２つの教師データを生成する（ステップＳ９３）。１つ目の教師データは、認証処理において学習モデルＧに入力した第１面画像データの縮小画像データと、ユーザが入力した種類、及び、第１面画像の向きを示すラベルデータとを含む教師データである。２つ目の教師データは、認証処理において学習モデルＧに入力した第２面画像データの縮小画像データと、ユーザが入力した種類、及び、第２面画像の向きを示すラベルデータとを含む教師データである。制御部５４は生成部としても機能する。
　次に、制御部５４は、ステップＳ９３で生成した教師データを記憶部５３に記憶する（ステップＳ９４）。制御部５４は、ステップＳ９４を実行した後、認証処理を終了する。
　図３４は、認証装置１及びモデル生成装置３が行う処理の手順を示すフローチャートである。図３４には、各認証装置１が有する認証機１３の制御部５４が実行する更新処理と、モデル生成装置３の制御部３３が実行する再学習処理とが示されている。制御部５４は更新処理を周期的に実行する。制御部３３も再学習処理を周期的に実行する。実施の形態８における更新処理の一部は、実施の形態４における更新処理の一部と同様である。このため、実施の形態８における更新処理において、実施の形態４における更新処理と共通する部分、即ち、ステップＳ６３，Ｓ６４の詳細な説明を省略する。実施の形態８における再学習処理の一部は、実施の形態４における再学習処理の一部と同様である。このため、実施の形態８における再学習処理において、実施の形態４における再学習処理と共通する部分、即ち、ステップＳ７３，Ｓ７４の詳細な説明を省略する。
　各認証装置１の制御部５４は、認証処理のステップＳ９３で生成した教師データが記憶部５３に記憶されているか否かを判定する（ステップＳ１０１）。制御部５４は、教師データが記憶されていると判定した場合（Ｓ１０１：ＹＥＳ）、通信部５６に指示して、記憶部５３に記憶されている教師データ、即ち、認証処理のステップＳ９３で生成した教師データを、ネットワークＮ１を介してモデル生成装置３の通信部３５に送信させる（ステップＳ１０２）。制御部５４は、ステップＳ１０２を実行した後、記憶部５３から、通信部３５が送信した教師データを削除する（ステップＳ１０３）。
　モデル生成装置３の制御部３３は、通信部３５が認証装置１の通信部５６から教師データを受信したか否かを判定する（ステップＳ１１１）。制御部３３は、通信部３５が教師データを受信したと判定した場合（Ｓ１１１：ＹＥＳ）、通信部３５が受信した教師データを記憶部３２に記憶する（ステップＳ１１２）。前述したように、各認証装置１の制御部３３が更新処理を実行するので、モデル生成装置３の通信部３５は、複数の認証装置１，１，・・・の通信部５６から教師データを受信する。従って、記憶部３２には、複数の認証装置１，１，・・・の通信部５６が複数の教師データが記憶されている。
　モデル生成装置３の制御部３３は、ステップＳ１１２を実行した後、記憶部３２に記憶されている教師データの数が基準数以上であるか否かを判定する（ステップＳ１１３）。基準数は、一定値であり、２以上の整数である。制御部３３は、教師データの数が基準数以上であると判定した場合（Ｓ１１３：ＹＥＳ）、ステップＳ７３を実行する。これにより、通信部３５が受信した学習モデルＧの再学習が行われる。学習モデルＧの再学習では、モデル生成装置３の制御部３３は、一又は複数の認証装置１の制御部５４が認証処理のステップＳ９３で生成した複数の教師データに基づき、学習モデルＧを生成する。ステップＳ７４では、制御部３３は、通信部３５に指示して、全ての認証装置１，１，・・・の通信部５６に、再学習された学習モデルＧを送信させる。
　制御部３３は、ステップＳ７４において、通信部３５に、再学習された学習モデルＧを送信させた後、記憶部３２に記憶されている複数の教師データを削除する（ステップＳ１１４）。制御部３３は、通信部３５が教師データを受信していないと判定した場合（Ｓ１１１：ＮＯ）、記憶部３２に記憶されている教師データの数が基準数未満であると判定した場合（Ｓ１１３：ＮＯ）、又は、ステップＳ１１４を実行した後、再学習処理を終了する。次の周期が到来した場合、制御部３３は再び再学習処理を実行する。
　認証装置１の制御部５４は、教師データが記憶されていないと判定した場合（Ｓ１０１：ＮＯ）、又は、ステップＳ１０３を実行した後、ステップＳ６３を実行し、通信部５６が学習モデルＧを受信したか否かを判定する。制御部５４は、通信部５６が学習モデルＧを受信したと判定した場合（Ｓ６３：ＹＥＳ）、ステップＳ６４を実行し、記憶部５３に記憶されている学習モデルＧを、通信部５６が受信した学習モデルＧに更新する。制御部５４は、通信部５６が学習モデルＧを受信していないと判定した場合（Ｓ６３：ＮＯ）、又は、ステップＳ６４を実行した後、更新処理を終了する。次の周期が到来した場合、制御部５４は再び更新処理を実行する。
　従って、更新処理では、制御部５４は、記憶部５３に教師データが記憶されるか、又は、通信部５６が学習モデルＧを受信するかまで待機する。記憶部５３に教師データが記憶されている場合、通信部５６は教師データをモデル生成装置３の通信部３５に送信する。通信部５６が学習モデルＧを受信した場合、制御部５４は、記憶部５３の学習モデルＧを更新する。
　実施の形態８における認証システム７では、特定が不可能であったカードＣの縮小画像データを用いて学習モデルＧの再学習が行われるので、学習モデルＧの出力結果の精度が上がる。実施の形態８における認証システム７は、実施の形態４における認証システム７が奏する効果を同様に奏する。
　なお、モデル生成装置３の制御部３３は、実施の形態２と同様にモデル生成処理を実行してもよい。ただし、再学習処理のステップＳ７３で実行されるモデル生成処理では、ステップＳ４１が省略され、制御部３３は、ステップＳ４２から実行する。また、実施の形態４における学習モデルＧは、実施の形態３における学習モデルＧと同様であってもよい。この場合、ラベルデータが示すカードの向きは、表側及び裏側の一方、及び、上側及び下側の一方である。認証処理において、制御部５４は、第１面画像データの縮小画像データを学習モデルＧに入力して、カードＣの種類を運転免許証と特定し、第１面に関するカードＣの向きを表側及び上側と特定したと仮定する。このとき、制御部５４は、第１面画像データの縮小画像データと、運転免許証、表側及び上側を示すラベルデータとを含む教師データを生成する。第１評価用データ及び第２評価用データは、例えば、モデル生成装置３の記憶部３２に予め記憶されている。
　また、学習モデルＧの再学習において、モデル生成装置３の通信部３５は、通信部５６に、学習モデルＧの代わりに、学習モデルＧのパラメータを示す情報を送信してもよい。この場合、認証機１３の制御部５４は、学習モデルＧのパラメータを、受信した情報に基づいて更新する。
　更に、実施の形態８における認証装置１は、実施の形態５と同様に縮小を行ってもよい。実施の形態８におけるモデル生成装置３は、実施の形態６と同様に、追加情報が追加された縮小画像データを用いて学習モデルＧを生成してもよい。実施の形態８における認証装置１は、実施の形態７と同様に、特定結果の表示、特定結果が正しいか否かの回答の受け付け、及び、カードＣの種類及び向きの入力の受け付け等を実行してもよい。
（実施の形態９）
　実施の形態３においては、カードＣの種類、表裏及び上下を特定した後、個人情報をカードＣの第１面画像データ及び第２面画像データから読み取る。実施の形態９では、個人情報を読み取る詳細な構成の例を示す。
　以下では、実施の形態９について、実施の形態３と異なる点を説明する。後述する構成を除く他の構成については、実施の形態３と共通している。このため、実施の形態３と共通する構成部には実施の形態３と同一の参照符号を付してその説明を省略する。
　実施の形態９を実施の形態３と比較した場合、読み取りルールデータベース６２の内容と、認証処理の内容とが異なる。
　図３５は、実施の形態９における読み取りルールデータベース６２の内容を示す図表である。実施の形態９では、実施の形態３、即ち、実施の形態１と同様に、認証装置１が有する認証機１３の記憶部５３に読み取りルールデータベース６２が記憶されている。実施の形態９において、読み取りルールデータベース６２は、種類フィールドに加えて表側の読み取りルールフィールド及び裏側の読み取りルールフィールドを含む。実施の形態１の説明で述べたように、種類フィールドには、対象カードの種類が記憶されており、対象外カードの種類は記憶されていない。
　表側の読み取りルールフィールドには、種類フィールドに記憶されている種類に対応するカードＣの表側に記載されている個人情報の読み取りルールが記憶されている。同様に、裏側の読み取りルールフィールドには、種類フィールドに記憶されている種類に対応するカードＣの裏側に記載されている個人情報の読み取りルールが記憶されている。表側及び裏側の各読み取りルールは、実施の形態３、即ち、実施の形態１と同様に、個人情報の表示位置を示している。
　図３６は認証処理の手順を示すフローチャートである。実施の形態９において、認証装置１が有する認証機１３の制御部５４は、実施の形態３と同様に認証処理を繰り返し実行する。実施の形態９における認証処理の一部は、実施の形態３における認証処理の一部と同様に実行される。従って、実施の形態９における認証処理において、実施の形態３と共通する部分、即ち、ステップＳ２１～Ｓ３２，Ｓ３６～Ｓ３９の詳細な説明を省略する。
　実施の形態９におけるステップＳ３１では、認証装置１が有する認証機１３の制御部５４は、実施の形態３におけるステップＳ３１と同様に、ステップＳ２３又はステップＳ２８で取得した出力結果に基づいて、開口１ｂに挿入されたカードＣの種類、表裏及び上下を特定する。制御部５４は、ステップＳ３１で特定した種類が対象カードに係る複数の種類中の１つと一致すると判定した場合（Ｓ３２：ＮＯ）、ステップＳ３１でカードＣの特定を行った結果、表側又は裏側のカードＣが写っている画像において、カードＣの向きが下向きであるか否かを判定する（ステップＳ１２１）。第１面画像及び第２面画像の一方に表側のカードＣが写っており、第１画像及び第２画像の他方に裏側のカードＣが写っている。
　制御部５４は、表側又は裏側のカードＣが写っている画像において、カードＣの向きが下向きであると判定した場合（Ｓ１２１：ＹＥＳ）、下向きのカードＣが写っている画像データの上下を反転する（ステップＳ１２２）。これにより、下向きのカードＣが写っている画像データが上向きのカードＣが写っている画像データに変更される。表側及び裏側のカードＣが写っている２つの画像の一方において、カードＣの向きが下向きである場合、ステップＳ１２２では、制御部５４は、下向きのカードＣが写っている画像の画像データのみの上下を反転する。表側及び裏側のカードＣが写っている２つの画像の両方において、カードＣの向きが下向きである場合、ステップＳ１２２では、制御部５４は、カードＣに対応する２つの画像データの上下を反転する。制御部５４は、表側反転部及び裏側反転部として機能する。
　制御部５４は、表側又は裏側のカードＣが写っている画像において、カードＣの向きが下向きではない（Ｓ１２１：ＮＯ）、又は、ステップＳ１２２を実行した後、ステップＳ３１で特定した種類に基づいて、読み取りルールデータベース６２から、ステップＳ３１で特定した種類に対応するカードＣの表側の読み取りルールを読み出す（ステップＳ１２３）。次に、制御部５４は、ステップＳ１２３で読み出した表側の読み取りルールに従って、カードＣの表側に表示されている個人情報を、第１面画像データ及び第２面画像データの中で表側のカードＣに対応する画像データから読み取る（ステップＳ１２４）。
　同様に、制御部５４は、ステップＳ３１で特定した種類に基づいて、読み取りルールデータベース６２から、ステップＳ３１で特定した種類に対応するカードＣの裏側の読み取りルールを読み出す（ステップＳ１２５）。次に、制御部５４は、ステップＳ１２５で読み出した裏側の読み取りルールに従って、カードＣの裏側に表示されている個人情報を、第１面画像データ及び第２面画像データの中で裏側のカードＣに対応する画像データから読み取る（ステップＳ１２６）。
　制御部５４は、ステップＳ１２６を実行した後、ステップＳ３６を実行する。ステップＳ３６では、制御部５４は、ステップＳ１２４，Ｓ１２６の両方で個人情報の読み取りに成功したか否かを判定する。
　実施の形態９における認証装置１では、制御部５４は、下向きのカードＣの画像データを反転させ、個人情報を適切に読み取る。実施の形態９における認証装置１は、実施の形態３における認証装置１が奏する効果を同様に奏する。
　なお、実施の形態９におけるモデル生成装置３は、実施の形態２と同様に学習モデルＧを生成してもよい。また、学習モデルＧが実施の形態３と同様である実施の形態４における認証装置１の制御部５４は、実施の形態９と同様の認証処理を実行してもよい。実施の形態９の構成に、実施の形態５～８の構成中の少なくとも１つを組み入れてもよい。
　なお、実施の形態１～９における認証装置１において、カードＣの第１面画像データ及び第２面画像データを取得する装置は、スキャナに限定されず、例えば、カメラであってもよい。第１面画像データ及び第２面画像データを取得するカメラとして、工業用カメラ、家庭用カメラ、携帯電話機のカメラ又はスマートフォンのカメラ等が挙げられる。
（実施の形態１０）
　図３７は、実施の形態１０における認証システム８の要部構成を示すブロック図である。認証システム８はユーザ端末８０及びサーバ８１を備える。ユーザ端末８０及びサーバ８１はネットワークＮ２に接続されている。ユーザ端末８０は、ユーザによって操作される。ユーザ端末８０は、カードＣの２面の２つの画像データを、ネットワークＮ２を介してサーバ８１に送信する。サーバ８１は、ユーザ端末８０から受信した２つの画像データに基づいて、実施の形態１における認証機１３と同様に、カードＣの所有者を認証する。
　以下では、実施の形態１０について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通している。このため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
　サーバ８１は、通信部９０、記憶部９１及び制御部９２を有する。これらは内部バス９３に接続されている。
　通信部９０は、ユーザ端末８０からカードＣの第１面及び第２面の画像データを受信する。受信した２つの画像データは、制御部９２によって取得される。通信部９０は、更に、制御部９２の指示に従って、特定不可情報、対象外情報、読み取り不可情報及び結果情報をユーザ端末８０に送信する。
　記憶部９１は例えば不揮発性メモリである。記憶部９１には、学習モデルＧ、コンピュータプログラム６０、認証用テーブル６１及び読み取りルールデータベース６２が記憶されている。
　制御部９２は、ＣＰＵ、ＧＰＵ又はＴＰＵ等の処理素子を有する。実施の形態１０では、コンピュータプログラム６０は、認証処理を、制御部９２が有する処理素子（コンピュータ）に実行させるために用いられる。なお、処理素子の数は２以上であってもよい。この場合、複数の処理素子が認証処理を協同で実行してもよい。
　制御部９２は認証処理を繰り返し実行する。実施の形態１０における認証処理は、実施の形態１における認証処理と同様である。実施の形態１０における認証処理のステップＳ２１では、通信部９０がユーザ端末８０から第１面及び第２面の画像データを受信したか否かを判定する。実施の形態１０における認証処理のステップＳ３８では、制御部９２は、顔画像とは異なる個人情報、例えば、氏名、住所又は生年月日等の個人情報に基づいて認証を行う。
　実施の形態１０における認証処理のステップＳ３９では、通信部９０に指示して結果情報をユーザ端末８０に送信させる。これにより、例えば、ユーザ端末８０が有する図示しないディスプレイに認証結果が表示される。実施の形態１０における認証処理のステップＳ３０、ステップＳ３３又はステップＳ３７では、通信部９０に指示して特定不可情報、対象外情報又は読み取り不可情報をユーザ端末８０に送信させる。これにより、例えば、ユーザ端末８０が有する図示しないディスプレイに、カードＣを特定することができなかったこと、カードＣの種類が対象外カードの種類であること、又は、読み取りを行うことができなかったことが表示される。
　実施の形態１０では、制御部９２が取得部、特定部、縮小部として機能し、通信部９０が第１情報出力部、第２情報出力部及び第３情報出力部として機能し、サーバ８１が特定装置として機能する。
　以上のように構成されたサーバ８１は、実施の形態１における認証機１３が奏する効果と同様の効果を奏する。
　学習モデルＧは、実施の形態１と同様にモデル生成装置３によって生成される。
　なお、モデル生成装置３の制御部３３は、実施の形態２と同様に学習モデルＧを生成してもよい。また、実施の形態１０における学習モデルＧは、実施の形態３における学習モデルＧであってもよい。この場合、サーバ８１の制御部９２は、カードＣの種類及び表裏を特定するとともに、カードＣの一面が上側及び下側のいずれであるかを特定する。更に、実施の形態１０において、実施の形態４と同様に、モデル生成装置３がネットワークＮ２に接続され、モデル生成装置３がサーバ８１の記憶部９１に記憶されている学習モデルＧの再学習を行ってもよい。
　実施の形態１０において、実施の形態５と同様に縮小が行われてもよく、実施の形態６と同様に、教師データの縮小画像データに、追加情報を追加した縮小画像データを含めてもよい。実施の形態１０において、実施の形態７と同様に、特定結果の表示、特定結果が正しいか否かの回答の受け付け、及び、カードＣの種類及び向きの入力の受け付け等が実行されてもよい。実施の形態１０において、実施の形態８と同様に、モデル生成装置３がネットワークＮ２に接続され、モデル生成装置３がサーバ８１の記憶部９１に記憶されている学習モデルＧの再学習を行ってもよい。実施の形態１０において、実施の形態９と同様に個人情報が読み取られてもよい。
　なお、実施の形態１～１０において、学習モデルＧは、出力層２２がカードＣの種類及び表裏等の組合せの中で、確率が最も高い組合せを出力する学習モデルであってもよい。更に、学習モデルＧは、カードＣの表裏が写っている１つの画像に対応する画像データと、カードＣの種類を示すラベルデータとを含む教師データを用いて、画像データとカードの種類との関係を学習した学習モデルであってもよい。この場合、学習モデルＧが出力する出力結果では、種類に係る複数の確率を示し、認証機１３の制御部５４又はサーバ８１の制御部９２は、認証処理において、カードＣの種類を特定する。前述したように、教師データの画像データとして、運転免許証を含む複数種類のカードＣ，Ｃ，・・・夫々の表裏の縮小画像データが用いられる。
　また、学習モデルＧは、カードＣではなく、パスポート、銀行の通帳、生徒手帳、年金手帳、身体障害者手帳又は母子健康手帳等の冊子の画像に対応する画像データと、冊子の種類を示すラベルデータとを含む教師データを用いて、画像データと冊子の種類との関係を学習した学習モデルであってもよい。この場合、学習モデルＧが出力する出力結果では、種類に係る複数の確率を示し、認証機１３の制御部５４又はサーバ８１の制御部９２は、認証処理において、冊子の画像データを取得し、冊子の種類を特定する。制御部５４又は制御部９２は、特定した種類に対応する読み取りルールに従って、冊子の画像データから個人情報を読み取る。冊子の画像は、例えば、個人情報が記載された特定のページの画像である。冊子の種類として、パスポート、銀行の通帳、生徒手帳、年金手帳、身体障害者手帳又は母子健康手帳等が挙げられる。冊子の画像データは、例えば、工業用カメラ、家庭用カメラ、携帯電話機のカメラ又はスマートフォンのカメラ等を用いて冊子を撮影することによって取得される。前述したように、教師データの画像データとして、冊子の縮小画像データが用いられる。
　また、教師データに含まれる画像データ、及び、学習モデルＧに入力される画像データ夫々は、縮小画像データに限定されず、縮小前の画像データであってもよい。この場合であっても、実施の形態１～９における認証機１３、実施の形態１０におけるサーバ８１及び実施の形態１～１０におけるモデル生成装置３は、前述した効果の中で縮小によって得られる効果を除く他の効果を同様に奏する。この構成では、例えば、個人情報を削除した画像データを教師データの画像データとして用いてもよい。また、縮小前の画像データにおいて、個人情報の変更若しくは削除が行われた画像データ、縮小前の画像データにノイズを追加した画像データ、又は、縮小前の画像データに追加情報を追加した画像データを教師データの画像データとして用いてもよい。
　更に、実施の形態１～９における認証機１３又は実施の形態１０におけるサーバ８１に、モデル生成装置３が行う学習モデルＧの生成機能を持たせてもよい。
　実施の形態１～１０で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
　開示された実施の形態１～１０はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　認証装置（特定装置）
　３　モデル生成装置
　７　認証システム（特定システム）
　１２　ディスプレイ（結果表示部）
　１３　認証機
　２０　入力層
　２１　中間層
　２２　出力層
　３３　制御部
　４０，６０　コンピュータプログラム
　５４　制御部（取得部、特定部、縮小部、読み取り部、表側反転部、裏側反転部、確率判定部、回答受付部、正解受付部、第２の正解受付部、生成部）
　５２　出力部（第１情報出力部、第２情報出力部、第３情報出力部）
　８１　サーバ（特定装置）
　９０　通信部（第１情報出力部、第２情報出力部、第３情報出力部）
　９２　制御部（取得部、特定部、縮小部）
　Ａ１，Ａ２　記憶媒体
　Ｃ　カード
　Ｇ　学習モデル

Claims (28)

  1. 　カードの画像データを取得する取得部と、
    　運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係を学習した学習モデルと、
    　前記取得部が取得した画像データを前記学習モデルに入力し、前記学習モデルからの出力に基づいて、カードの種類及び向きを特定する特定部と
    　を備える特定装置。
  2. 　前記カードの向きは、表裏、又は、表裏及び上下である
    　請求項１に記載の特定装置。
  3. 　前記取得部は、カード２面の２つの画像データを取得し、
    　前記特定部は、前記取得部が取得した２つの画像データを前記学習モデルに入力する
    　請求項１又は請求項２に記載の特定装置。
  4. 　前記取得部が取得した画像データを縮小する縮小部を備え、
    　前記特定部は、前記縮小部が縮小した画像データを前記学習モデルに入力する
    　請求項１から請求項３のいずれか１つに記載の特定装置。
  5. 　前記縮小部は、前記取得部が取得した画像データを、カード上の個人情報を取得することが不可能となるまで縮小する
    　請求項４に記載の特定装置。
  6. 　前記縮小部は、前記取得部が取得した画像データを、カードの縦及び横の比率を維持した状態で、画像データの画像が予め設定された設定範囲に収まるように縮小する
    　請求項４又は請求項５に記載の特定装置。
  7. 　前記取得部は、カード２面の第１面画像データ及び第２面画像データを取得し、
    　前記縮小部は、前記取得部が取得した第１面画像データを縮小し、
    　前記特定部は、前記縮小部が縮小した第１面画像データを前記学習モデルに入力し、
    　前記縮小部は、前記縮小部が縮小した第１面画像データを前記学習モデルに入力することによって前記特定部がカードの種類及び向きを特定することができない場合、前記取得部が取得した第２面画像データを縮小し、
    　前記特定部は、前記縮小部が縮小した第２面画像データを前記学習モデルに入力する
    　請求項４から請求項６のいずれか１つに記載の特定装置。
  8. 　前記特定部が特定したカードの種類に対応するカードの読み取りルールに従い、カード上の個人情報を読み取る読み取り部を備える
    　請求項１から請求項７のいずれか１つに記載の特定装置。
  9. 　前記カードの向きは表裏及び上下であり、
    　前記特定部がカードの特定を行った結果、表側のカードの向きが下向きである場合、表側のカードの画像データの上下を反転する表側反転部を備え、
    　前記読み取り部は、前記表側反転部が反転を行った後、前記特定部が特定した種類及び表側に対応するカードの読み取りルールに従い、カード上の個人情報を読み取る
    　請求項８に記載の特定装置。
  10. 　前記特定部がカードの特定を行った結果、裏側のカードの向きが下向きである場合、裏側のカードの画像データの上下を反転する裏側反転部を備え、
    　前記読み取り部は、前記裏側反転部が反転を行った後、前記特定部が特定した種類及び裏側に対応するカードの読み取りルールに従い、カード上の個人情報を読み取る
    　請求項９に記載の特定装置。
  11. 　前記読み取り部により前記カード上の個人情報を読み取ることができない場合、カードの特定に成功したもののカードの読み取りができなかったことを示す第１情報を出力する第１情報出力部を備える
    　請求項８から請求項１０のいずれか１つに記載の特定装置。
  12. 　前記学習モデルは、カードの種類及び向きの分類の確からしさを示す確率を出力し、
    　出力された前記確率の分布が所定基準を満たさない場合、カードの特定ができなかったことを示す第２情報を出力する第２情報出力部を備える
    　請求項１から請求項１１のいずれか１つに記載の特定装置。
  13. 　前記特定部が特定したカードの種類が、予め設定されている複数の種類とは異なっていた場合、前記特定部が特定したカードの種類が対象外の種類であることを示す第３情報を出力する第３情報出力部を備える
    　請求項１から請求項１２のいずれか１つに記載の特定装置。
  14. 　前記特定部が特定した特定結果について、前記学習モデルからの出力が示す確率が所定確率未満であるか否かを判定する確率判定部と、
    　前記確率判定部によって確率が所定確率未満であると判定した場合、前記特定結果を表示する結果表示部と、
    　前記確率判定部によって確率が所定確率未満であると判定した場合、前記特定結果が正しいか否かを示す回答を受け付ける回答受付部と
    　を備える
    　請求項１から請求項１３のいずれか１つに記載の特定装置。
  15. 　前記回答受付部が受け付けた回答によって、前記特定結果が正しくないことが示された場合、カードの種類及び向きの入力を受け付ける正解受付部を備える
    　請求項１４に記載の特定装置。
  16. 　運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係を学習しており、カードの種類及び向きの分類の確からしさを示す確率を出力する学習モデルを生成する生成装置と、
    　前記生成装置が生成した学習モデルからの出力に基づいて、カードの種類及び向きを特定する複数の特定装置と
    　を備え、
    　各特定装置は、
    　カードの画像データを取得する取得部と、
    　前記取得部が取得した画像データを前記学習モデルに入力し、前記学習モデルからの出力に基づいて、カードの種類及び向きを特定する特定部と、
    　前記学習モデルから出力された確率の分布が所定基準を満たさない場合、前記学習モデルに入力された画像データに関するカードの種類及び向きの入力を受け付ける第２の正解受付部と、
    　前記学習モデルに入力した画像データと、前記第２の正解受付部にて入力された種類及び向きを示すラベルデータとを含む教師データを生成する生成部と
    　を有し、
    　前記生成装置は、前記特定装置の前記生成部が生成した教師データに基づき、前記特定部が用いる学習モデルの再学習を行う
    　特定システム。
  17. 　カードの画像データを取得し、
    　取得した画像データを、運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係を学習した学習モデルに入力し、
    　前記学習モデルからの出力に基づいてカードの種類及び向きを特定する
    　特定方法。
  18. 　運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを取得し、
    　取得した教師データに基づき、カードの画像データから、カードの種類及び向きを特定する処理に用いられる学習モデルを生成する
    　生成方法。
  19. 　前記カードの向きは、表裏、又は、表裏及び上下である
    　請求項１８に記載の生成方法。
  20. 　前記複数種類のカードの縮小画像データを取得し、
    　取得した縮小画像データを教師データとして前記学習モデルに入力する
    　請求項１８又は請求項１９に記載の生成方法。
  21. 　前記教師データの画像データに含まれる個人情報を削除又は変更した削除変更画像データを取得し、
    　取得した削除変更画像データを教師データとして前記学習モデルの入力に含める
    　請求項１８から請求項２０のいずれか１つに記載の生成方法。
  22. 　前記教師データの画像データに含まれる個人情報を部分的に変更した変更画像データを取得し、
    　取得した変更画像データを教師データとして前記学習モデルの入力に含める
    　請求項１８から請求項２１のいずれか１つに記載の生成方法。
  23. 　前記教師データのカードの画像データにノイズを追加した追加画像データを取得し、
    　取得した追加画像データを教師データとして前記学習モデルの入力に含める
    　請求項１８から請求項２２のいずれか１つに記載の生成方法。
  24. 　前記教師データのカードの画像データに情報を追加した第２の追加画像データを取得し、
    　取得した第２の追加画像データを教師データとして前記学習モデルの入力に含める。
    　請求項１８から請求項２３のいずれか１つに記載の生成方法。
  25. 　カードの種類に対応付けて画像データに追加する追加情報が記憶されている追加情報テーブルが用意されており、
    　前記教師データのカードの画像データに、カードの種類に対応する追加情報を追加した前記第２の追加画像データを取得し、
    　取得した第２の追加画像データを教師データとして前記学習モデルの入力に含める
    　請求項２４に記載の生成方法。
  26. （請求項１の特定装置に対応するコンピュータプログラム）
    　コンピュータに、
    　カードの画像データを取得し、
    　取得した画像データを、運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを用いて、画像データとカードの種類及び向きとの関係を学習した学習モデルに入力し、
    　前記学習モデルからの出力に基づいてカードの種類及び向きを特定する
    　処理を実行させるためのコンピュータプログラム。
  27. 　コンピュータに、
    　運転免許証を含む複数種類のカードの画像データと、カードの種類及び向きを示すラベルデータとを含む教師データを取得し、
    　取得した教師データに基づき、カードの画像データから、カードの種類及び向きを特定する処理に用いられる学習モデルを生成する
    　処理を実行させるコンピュータプログラム。
  28. 　運転免許証を含む複数種類のカードの画像データが入力される入力層と、
    　前記複数種類のカードの第１画像データと、カードの種類及び向きを示すラベルデータとを含む第１教師データと、前記第１画像データに情報を追加した第２画像データと、ラベルデータとを含む第２教師データとに基づき、画像データと、カードの種類及び向きとの関係を学習した中間層と、
    　画像データに係るカードの種類及び向きの分類の確からしさを示す確率を出力する出力層と
    　を備え、
    　前記入力層に入力されたカードの第１画像データに基づいて前記中間層で演算を行い、
    　前記入力層に入力された第１画像データに係るカードの種類及び向きの分類の確からしさを示し、かつ、カードの種類及び向きの特定に用いられる確率を前記出力層から出力するよう、コンピュータを機能させるための
    　学習モデル。
PCT/JP2019/031907 2018-08-23 2019-08-14 特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデル WO2020040012A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-156301 2018-08-23
JP2018156301 2018-08-23

Publications (1)

Publication Number Publication Date
WO2020040012A1 true WO2020040012A1 (ja) 2020-02-27

Family

ID=69592597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031907 WO2020040012A1 (ja) 2018-08-23 2019-08-14 特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデル

Country Status (1)

Country Link
WO (1) WO2020040012A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220182497A1 (en) * 2020-12-07 2022-06-09 Canon Kabushiki Kaisha Image processing system, image processing apparatus, control method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015064107A1 (ja) * 2013-10-31 2015-05-07 日本電気株式会社 管理システム、リスト作成装置、データ構造および印刷ラベル
WO2017141802A1 (ja) * 2016-02-15 2017-08-24 日本電気株式会社 画像処理装置、文字認識装置、画像処理方法及びプログラム記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015064107A1 (ja) * 2013-10-31 2015-05-07 日本電気株式会社 管理システム、リスト作成装置、データ構造および印刷ラベル
WO2017141802A1 (ja) * 2016-02-15 2017-08-24 日本電気株式会社 画像処理装置、文字認識装置、画像処理方法及びプログラム記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220182497A1 (en) * 2020-12-07 2022-06-09 Canon Kabushiki Kaisha Image processing system, image processing apparatus, control method

Similar Documents

Publication Publication Date Title
CN108629168A (zh) 脸部验证方法、设备以及计算设备
KR20200089971A (ko) 사용자에 대한 인증을 수행하는 전자 장치 및 그 동작 방법
JP6579198B2 (ja) リスク評価方法、リスク評価プログラム及び情報処理装置
US20210150417A1 (en) Weakly supervised reinforcement learning
JP2007264929A (ja) ユーザ認証システム、ユーザ認証方法、操作端末及びサーバ等
JP2016139176A (ja) 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム
KR102145609B1 (ko) 수입 자동차 부품 유통 관리 방법 및 장치
KR102285665B1 (ko) 학습 커리큘럼 제공 방법, 시스템 및 장치
TWI670628B (zh) 動作評量模型生成裝置及其動作評量模型生成方法
US20200117788A1 (en) Gesture Based Authentication for Payment in Virtual Reality
CN112116589B (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
EP3683734A1 (en) Learning method, learning program, and learning apparatus
WO2020040012A1 (ja) 特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデル
JP6662484B2 (ja) 特定装置、特定方法及びコンピュータプログラム
CN116432039B (zh) 协同训练方法及装置、业务预测方法及装置
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
CN109479054A (zh) 服务提供系统、服务通信系统、服务提供方法和记录介质
KR20230068989A (ko) 멀티-태스크 모델의 학습을 수행하는 방법 및 전자 장치
US11804055B2 (en) Information processing apparatus, information processing method, and information processing system
JP2011221840A (ja) 画像処理装置
CN115880530A (zh) 对抗攻击的检测方法和系统
JP2019086473A (ja) 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置
JP6981553B2 (ja) 識別システム、モデル提供方法およびモデル提供プログラム
WO2021237973A1 (zh) 图像定位模型获取方法及装置、终端和存储介质
LOKTEV et al. User Verification Based on the Analysis of His Images in the Distance Learning System.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19852985

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19852985

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP