WO2020008556A1 - 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム - Google Patents

車両ナンバー特定装置、車両ナンバー特定方法およびプログラム Download PDF

Info

Publication number
WO2020008556A1
WO2020008556A1 PCT/JP2018/025343 JP2018025343W WO2020008556A1 WO 2020008556 A1 WO2020008556 A1 WO 2020008556A1 JP 2018025343 W JP2018025343 W JP 2018025343W WO 2020008556 A1 WO2020008556 A1 WO 2020008556A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
vehicle number
license plate
result information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/025343
Other languages
English (en)
French (fr)
Inventor
原 健太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Machinery Systems Co Ltd
Original Assignee
Mitsubishi Heavy Industries Machinery Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Machinery Systems Co Ltd filed Critical Mitsubishi Heavy Industries Machinery Systems Co Ltd
Priority to US17/256,375 priority Critical patent/US11875582B2/en
Priority to KR1020207037203A priority patent/KR20210011023A/ko
Priority to PCT/JP2018/025343 priority patent/WO2020008556A1/ja
Priority to SG11202013090PA priority patent/SG11202013090PA/en
Priority to JP2020528595A priority patent/JP7025546B2/ja
Priority to GB2020588.6A priority patent/GB2589766A/en
Publication of WO2020008556A1 publication Critical patent/WO2020008556A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4016Transaction verification involving fraud or risk level assessment in transaction processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/95Pattern authentication; Markers therefor; Forgery detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19167Active pattern learning
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Definitions

  • the present invention relates to a vehicle number specifying device, a vehicle number specifying method, and a program.
  • One of the methods to identify the vehicle is to read the license plate of the vehicle.
  • the parking lot management system described in Patent Literature 1 performs both character reading by OCR processing and pattern matching processing with image compression data stored in a memory, for an image of a license plate of a vehicle. Do.
  • a method of specifying a vehicle there is a method of acquiring identification information from a tag mounted on the vehicle or an on-board device other than a method of reading a license plate of the vehicle.
  • a toll road charging system acquires identification information from a tag or an onboard device mounted on a vehicle traveling on a toll road, specifies the vehicle, and charges the specified vehicle.
  • the device for identifying the vehicle acquires identification information from a tag or an on-board device mounted on the vehicle and other methods in combination, the identification information can be obtained from the tag or the on-board device mounted on the vehicle.
  • the results of the acquisition method can be reinforced or supplemented. For example, even if a toll road charging system fails to identify a vehicle by a method of receiving identification information from a tag mounted on the vehicle or an on-board device, if the vehicle can be identified by another method, the identified vehicle Can be charged.
  • the human burden for operating the device is relatively small. Is preferred. For example, it is preferable that a human burden for preparing the data required for the device to identify the vehicle is relatively small.
  • the present invention provides a method for operating a device for identifying a vehicle when the method for acquiring identification information from a tag or an in-vehicle device mounted on the vehicle is used in combination with another method.
  • a vehicle number identification device a vehicle number identification method, and a program that can reduce the burden relatively.
  • a vehicle number identification device acquires a registration number information unit (281) that acquires registration number information associated with an identification medium (910) mounted on a vehicle (900). ), A license plate image obtaining unit (282) for obtaining a license plate image of the vehicle, an OCR processing unit (283) for obtaining OCR result information indicating a result of an optical character recognition process on the license plate image, An estimation processing unit (284) that inputs the license plate image to a machine learning model and obtains estimation result information output by the machine learning model; and an input unit that outputs the registration number information, the OCR result information, and the estimation result information.
  • the vehicle number is determined by the vehicle of the vehicle.
  • the vehicle number specifying device can use the data used for specifying the vehicle for machine learning. According to this vehicle number specifying device, it is possible to improve the accuracy of specifying a vehicle by performing machine learning without having to separately prepare data for machine learning. In this respect, in this vehicle number identification device, the human burden for operating the device can be relatively reduced.
  • the vehicle number identification device determines the vehicle number and the vehicle number.
  • a machine learning data generation unit (286) that generates machine learning data associated with a license plate image may be further provided. According to such a configuration, the vehicle number identification device can automatically generate machine learning data.
  • the vehicle number identification device determines the number plate.
  • An image presentation unit (220) for presenting an image may be further provided, and the machine learning data generation unit may generate machine learning data in which the input vehicle number and the license plate image are associated with each other. .
  • the operator who inputs the vehicle number with reference to the license plate image can use the same vehicle number for any two combinations of the registration number information, the OCR result information, and the estimation result information.
  • the vehicle number may be input only when the match determination unit determines not to indicate this. Normally, it is expected that the registration number information and the OCR result information indicate the same vehicle number, so that the worker who inputs the vehicle number with reference to the license plate image needs to input the vehicle number less frequently.
  • the vehicle may further include a fraud determining unit (288) that determines that the vehicle indicated by the vehicle number may be a fraudulent vehicle.
  • the vehicle number specifying device can not only specify the vehicle, but also determine the possibility of fraud.
  • a vehicle number specifying method includes: obtaining registration number information associated with an identification medium mounted on a vehicle; obtaining a license plate image of the vehicle; Obtaining OCR result information indicating the result of the optical character recognition process on the license plate image, inputting the license plate image to a machine learning model, and obtaining estimation result information output by the machine learning model; When it is determined that at least any two of the registration number information, the OCR result information, and the estimation result information indicate the same vehicle number, identifying the vehicle number as the vehicle number of the vehicle; Including.
  • data used for specifying a vehicle can be used for machine learning. According to this vehicle number specifying method, it is possible to improve the accuracy of specifying a vehicle by performing machine learning without having to separately prepare data for machine learning. In this respect, the vehicle number specifying method can relatively reduce the human burden for operating the device.
  • the program causes the computer to obtain registration number information associated with an identification medium mounted on a vehicle, obtain a license plate image of the vehicle, Obtaining OCR result information indicating the result of the optical character recognition process on the license plate image, inputting the license plate image to a machine learning model, and obtaining estimation result information output by the machine learning model;
  • OCR result information indicating the result of the optical character recognition process on the license plate image
  • machine learning model e.g., the program causes the computer to obtain registration number information associated with an identification medium mounted on a vehicle, obtain a license plate image of the vehicle, Obtaining OCR result information indicating the result of the optical character recognition process on the license plate image, inputting the license plate image to a machine learning model, and obtaining estimation result information output by the machine learning model;
  • the data used to identify the vehicle can be used for machine learning.
  • this vehicle number specifying method it is possible to improve the accuracy of specifying a vehicle by performing machine learning without having to separately prepare data for machine learning. In this respect, the vehicle number specifying method can
  • the device for specifying the vehicle uses a method of acquiring identification information from a tag or an onboard device or the like mounted on the vehicle in combination with another method. In this case, the human burden for operating this device can be relatively reduced.
  • FIG. 1 is a schematic block diagram illustrating a configuration of a vehicle number identification system according to an embodiment with a block diagram.
  • 1 is a schematic block diagram illustrating an example of a functional configuration of a vehicle number identification device according to an embodiment.
  • It is a flowchart which shows the example of the procedure of the process which the roadside processing apparatus which concerns on embodiment performs.
  • It is a flow chart which shows the example of the procedure of the processing which the vehicle number specific device concerning an embodiment performs.
  • 8 is a flowchart illustrating an example of a processing procedure in which the fraudulent determination unit according to the embodiment determines the possibility that an identification medium has been fraudulently performed.
  • FIG. 1 is a schematic configuration diagram illustrating an example of a device configuration of a vehicle number identification system according to an embodiment.
  • FIG. 2 is a schematic block diagram showing the configuration of the vehicle number identification system shown in FIG. 1 in a block diagram.
  • the vehicle number identification system 1 includes a roadside device 100 and a vehicle number identification device 200.
  • the roadside device 100 includes an antenna 110, a camera 120, and a roadside processing device 130.
  • the vehicle number specifying system 1 specifies a vehicle by specifying a vehicle number (Registration @ Number, License @ Number).
  • the vehicle referred to here is, for example, a vehicle that can run on a public road by itself, such as an automobile or a motorcycle.
  • the vehicle number is identification information assigned to each vehicle and identifying the vehicle.
  • the vehicle number is described on a license plate (Number @ Plate), and the license plate is attached to the vehicle.
  • the license plate is also called a license plate (License @ Plate) or a vehicle registration plate (Vehicle @ Registration @ Plate).
  • the vehicle for which the vehicle number identification system 1 identifies the vehicle number is referred to as a vehicle 900.
  • the number of vehicles 900 may be two or more.
  • an identification medium 910 is mounted on a legitimate vehicle 900.
  • a license plate 920 is attached to vehicle 900.
  • the identification medium 910 medium identification information for identifying the identification medium 910 itself is recorded in advance.
  • the identification medium 910 transmits its own medium identification information to the vehicle number identification system 1.
  • the medium identification information is information for identifying the identification medium 910 and also used as information for identifying the vehicle 900 on which the identification medium 910 is mounted.
  • the vehicle number identification system 1 identifies the vehicle 900 using the medium identification information.
  • the identification medium 910 may be any medium as long as the medium identification information is recorded and the medium identification information can be transmitted to the antenna 110.
  • the identification medium 910 may be configured as an RFID (Radio Frequency Identifier) tag.
  • the identification medium 910 may be configured as a vehicle-mounted device such as a vehicle-mounted device for billing.
  • the vehicle number identification system 1 identifies the vehicle 900 by detecting a vehicle 900 traveling on a predetermined toll area provided on a toll road, and identifying the vehicle number of the detected vehicle 900.
  • the charging system can automatically charge the specified vehicle 900 for a toll on a toll road.
  • the application target of the vehicle number identification system 1 is not limited to the toll road charging system.
  • the vehicle number identification system 1 can be used for various applications that require identification of the vehicle 900.
  • the vehicle number specifying system 1 may be used in a parking lot charging system to specify the vehicle 900 entering the parking lot.
  • the charging system can automatically charge a parking fee for the specified vehicle 900.
  • the vehicle number identification system 1 may be used for monitoring or managing a vehicle at a place where available vehicles are determined.
  • the vehicle number identification system 1 may be used for managing construction vehicles entering a construction site, monitoring vehicles entering a taxi stand, or monitoring parked vehicles in an apartment parking lot.
  • Roadside unit 100 acquires information for specifying vehicle 900.
  • the number of roadside devices 100 included in the vehicle number identification system 1 may be one or more.
  • the vehicle number specifying device 200 may be provided in common to the plurality of roadside devices 100.
  • the vehicle number identification device 200 acquires information on the vehicle 900 from each of the plurality of roadside devices 100 and identifies the vehicle number.
  • the antenna 110 is installed in a toll road charging area, and receives medium identification information from the identification medium 910 of the vehicle 900 passing through the charging area.
  • the identification medium 910 may transmit the medium identification information continuously or periodically, and the antenna 110 may receive the medium identification information.
  • a request signal for requesting the medium identification information may be transmitted from the antenna 110 to the identification medium 910.
  • the identification medium 910 may transmit the medium identification information to the antenna 110 in response to the request signal, and the antenna 110 may receive the medium identification information.
  • Camera 120 captures an image of license plate 920 of vehicle 900.
  • the camera 120 captures an image of the entire front surface of the vehicle 900 including the license plate 920.
  • the roadside processing device 130 cuts out the image of the license plate 920 from the image of the entire front surface of the vehicle 900.
  • the camera 120 continuously or periodically captures an image and transmits the image to the roadside processing device 130 so that the roadside processing device 130 extracts an image showing the vehicle 900 from the images from the camera 120. Is also good.
  • the roadside device 100 may further include a vehicle detector installed at the camera 120 shooting position. The camera 120 may take an image at the timing when the vehicle detector detects the vehicle.
  • the roadside processing device 130 acquires the medium identification information from the antenna 110 and acquires the vehicle number associated with the medium identification information. For example, the owner of the vehicle 900 traveling on a toll road is obliged to attach the identification medium 910 to the vehicle 900 and to register in advance for use. In this pre-registration, the medium identification information and the vehicle number are registered, and the roadside processing device 130 stores in advance use registration information in which the medium identification information and the vehicle number are associated with each other.
  • the roadside processing device 130 acquires the medium identification information from the antenna 110
  • the roadside processing device 130 searches for the use registration information using the acquired medium identification information as a search key, and acquires the vehicle number associated with the medium identification information.
  • Information indicating the vehicle number acquired by the roadside processing device 130 is referred to as registration number information.
  • the roadside processing apparatus 130 may fail to acquire the medium identification information.
  • the roadside processing device 130 cannot acquire the medium identification information.
  • the roadside processing apparatus 130 sets the value of the registration number information to a value that indicates that the acquisition of the medium identification information has failed, such as an empty string (Null String). Set to.
  • the roadside processing device 130 acquires an image of the license plate 920 of the vehicle 900. For example, as described above, the camera 120 captures an image of the entire front surface of the vehicle 900 including the license plate 920. Then, the roadside processing device 130 cuts out the image of the license plate 920 from the image of the entire front surface of the vehicle 900.
  • the roadside processing device 130 may fail to acquire an image of the license plate 920.
  • the roadside processing device 130 can obtain an image of the license plate 920. Absent.
  • the roadside processing device 130 fails to cut out the image of the license plate 920 and cuts out a portion other than the license plate 920, the roadside processing device 130 Cannot obtain an image of the license plate 920.
  • the roadside processing device 130 When the acquisition of the image of the license plate 920 has failed, the roadside processing device 130 has failed to acquire the image of the license plate 920 with the value of the image data of the license plate 920, such as setting all the pixel values of the image data of the license plate 920 to zero. Is set to a value determined as a value indicating that Alternatively, the roadside processing device 130 may transmit some image data to the vehicle number identification device 200 as it is, and the vehicle number identification device 200 may determine whether the image data of the license plate 920 has been successfully acquired. .
  • the roadside processing device 130 transmits the registration number information and the image of the license plate 920 to the vehicle number identification device 200.
  • the roadside processing device 130 transmits the image of the entire vehicle 900 to the vehicle number identification device 200 instead of the image of the license plate 920, and the vehicle number identification device 200 cuts out the image of the license plate 920 from the image of the entire vehicle 900. It may be.
  • the roadside processing device 130 is configured using a computer such as a workstation or a personal computer (PC).
  • the vehicle number identification device 200 attempts to identify the vehicle 900 using the information acquired from the roadside processing device 130.
  • the vehicle number specifying device 200 is configured using a computer such as a workstation or a personal computer.
  • FIG. 3 is a schematic block diagram showing an example of a functional configuration of the vehicle number identification device 200.
  • the vehicle number specifying device 200 includes a communication unit 210, a display unit 220, an operation input unit 230, a storage unit 270, and a control unit 280.
  • the storage unit 270 includes a machine learning model storage unit 271 and a machine learning data storage unit 272.
  • the control unit 280 includes a registration number information acquisition unit 281, a license plate image acquisition unit 282, an OCR processing unit 283, an estimation processing unit 284, a match determination unit 285, a machine learning data generation unit 286, a machine learning A processing unit 287 and a fraud determination unit 288 are provided.
  • the communication unit 210 communicates with another device.
  • the communication unit 210 communicates with the roadside processing device 130 and receives the registration number information and the image of the license plate 920 from the roadside processing device 130.
  • the display unit 220 includes a display device such as a liquid crystal panel or an LED (Light Emitting Diode) panel, and displays various images.
  • the display unit 220 corresponds to an example of an image presentation unit, and displays an image of the license plate 920 under the control of the control unit 280. With this display, the display unit 220 presents the image of the license plate 920 to the operator.
  • the operator here is an operator who reads the vehicle number from the image of the license plate 920 and inputs the vehicle number to the vehicle number identification device 200.
  • the operation input unit 230 includes an input device such as a keyboard and a mouse, or a touch sensor provided on the display device of the display unit 220 to constitute a touch panel, and receives a user operation.
  • the operation input unit 230 receives a user operation in which the operator reads and inputs the vehicle number from the image of the license plate 920.
  • the storage unit 270 stores various information.
  • the storage unit 270 is configured using a storage device included in the vehicle number identification device 200.
  • the machine learning model storage unit 271 stores a machine learning model.
  • the machine learning model referred to here is a model that receives an image of the license plate 920 and outputs a vehicle number, and is obtained by machine learning performed by the machine learning processing unit 287.
  • Various machine learning algorithms can be used as the machine learning algorithm for generating or updating the machine learning model stored in the machine learning model storage unit 271.
  • the machine learning model may be configured as any of a support vector machine, a neural network, a decision tree, or a random forest.
  • the machine learning data storage unit 272 stores machine learning data.
  • the machine learning data referred to here is data for generating or updating a machine learning model stored in the machine learning model storage unit 271.
  • the machine learning data storage unit 272 stores, as machine learning data, information in which the image of the license plate 920 and the vehicle number that is the correct data for the input of the image of the license plate 920 are associated.
  • the control unit 280 controls each unit of the vehicle number identification device 200 to execute various processes.
  • the control unit 280 is configured such that a CPU (Central Processing Unit) provided in the vehicle number identification device 200 reads out a program from the storage unit 270 and executes the program.
  • the registration number information acquisition unit 281 acquires registration number information. Specifically, the registration number information acquisition unit 281 extracts the registration number information from the reception data received by the communication unit 210 from the roadside processing device 130. As described above, the registration number information is information associated with the medium identification information recorded on the identification medium 910 mounted on the vehicle 900.
  • the license plate image acquiring unit 282 acquires a license plate image of the vehicle 900.
  • the license plate image here is an image of the license plate 920.
  • the license plate image acquisition unit 282 acquires a license plate image as image data. Specifically, the license plate image acquisition unit 282 extracts the image data of the license plate 920 from the reception data received by the communication unit 210 from the roadside processing device 130.
  • the OCR processing unit 283 performs optical character recognition (OCR) on the license plate image acquired by the license plate image acquisition unit 282.
  • OCR result information Information indicating the result of optical character recognition by the OCR processing unit 283 is referred to as OCR result information. If the image data of the license plate 920 obtained by the license plate image obtaining unit 282 appropriately indicates the image of the license plate 920 and the OCR processing unit 283 succeeds in the optical character recognition processing, the OCR result information is , A license plate 920.
  • the OCR result information is the information indicating the vehicle number. Not be.
  • the estimation processing unit 284 inputs the license plate image acquired by the license plate image acquisition unit 282 to the machine learning model stored in the machine learning model storage unit 271.
  • the output of the machine learning model in response to the input of the license plate image is referred to as estimation result information.
  • the estimation result information indicates the vehicle number.
  • the estimation processing unit 284 when the image data acquired by the license plate image acquiring unit 282 does not actually indicate the image of the license plate 920, for example, when the roadside processing device 130 fails to acquire the image of the license plate 920, the estimation processing unit 284 However, the value of the estimation result information may be set to a value defined as a value indicating that the estimation of the vehicle number has failed.
  • the coincidence determination unit 285 uses the vehicle number as the vehicle number of the specific target vehicle 900. Identify. That is, the coincidence determination unit 285 determines whether two or more of the vehicle numbers acquired by the vehicle number identification system 1 by the three methods have the same vehicle number. If the majority of the three vehicle numbers are the same vehicle number, the coincidence determination unit 285 performs processing assuming that the vehicle number is correct.
  • the display unit 220 displays the number as described above. The plate image is presented to the operator.
  • the machine learning data generation unit 286 Machine learning data associated with a license plate image from which the vehicle number is detected is generated. Thereby, the machine learning data generation unit 286 can automatically generate the learning data in which the license plate image is associated with the vehicle number evaluated as being correct by the coincidence determination unit 285.
  • the machine learning data generation unit 286 generates machine learning data in which the license plate image displayed on the display unit 220 is associated with the vehicle number input by the operator with respect to the display of the license plate. . It is expected that the operator will correctly input the vehicle number with reference to the license plate image. In this regard, it is expected that the machine learning data generation unit 286 will generate correct learning data.
  • the machine learning processing unit 287 performs machine learning using the machine learning data stored in the machine learning data storage unit 272. By this machine learning, a machine learning model stored in the machine learning model storage unit 271 is generated or updated. It is expected that the accuracy of the vehicle number estimation performed by the estimation processing unit 284 using the machine learning model will be improved by the machine learning being advanced by the machine learning processing unit 287.
  • the fraud determination unit 288 determines that the vehicle number is It is determined that the indicated vehicle may be a fraudulent vehicle. For example, the fraud determination unit 288 may cause the display unit 220 to display a warning message.
  • OCR result information and the estimation result information indicate the same vehicle number and the registration number information indicating the vehicle number cannot be obtained is a case where the vehicle number is not obtained as the registration number information.
  • Can be One case where the vehicle number cannot be obtained as the registration number information is a case where the identification medium 910 has been illegally removed from the vehicle 900. The vehicle 900 in this case corresponds to a fraudulent vehicle.
  • Another case where the vehicle number cannot be obtained as the registration number information is that the identification medium 910 is correctly attached to the vehicle 900 but the communication between the identification medium 910 and the antenna 110 has failed for some reason. Is mentioned. Vehicle 900 in this case does not correspond to a fraudulent vehicle.
  • the match determination unit 285 cannot obtain the registration number information either when the identification medium 910 is illegally removed from the vehicle 900 or when the communication between the identification medium 910 and the antenna 110 has failed. . If the OCR result information and the estimation result information indicate the same vehicle number and the registration number information cannot be obtained, the match determination unit 285 compares the registration number information, the OCR result information, and the estimation result information. It is determined that the OCR result information and the estimation result information indicate the same vehicle number, and that registration number information indicating the vehicle number cannot be obtained.
  • the registration number information indicates the vehicle number.
  • the result information and the estimated result information may be different from the vehicle number.
  • One of the cases where the registration number information indicates the vehicle number but is different from the vehicle number indicated by the OCR result information and the estimation result information is that the identification medium 910 was illegally exchanged with the identification medium 910 of another vehicle 900. There are cases.
  • the vehicle 900 in this case corresponds to a fraudulent vehicle.
  • Another case where the registration number information indicates the vehicle number but is different from the vehicle number indicated by the OCR result information and the estimation result information is another case where the license plate 920 is illegally replaced with a license plate 920 of another vehicle. Is mentioned.
  • the vehicle 900 in this case corresponds to a fraudulent vehicle.
  • the match determination unit 285 determines whether the registration number information By comparing the OCR result information and the estimation result information, it is determined that the OCR result information and the estimation result information indicate the same vehicle number, and that registration number information indicating the vehicle number cannot be obtained.
  • FIG. 4 is a flowchart illustrating an example of a procedure of a process performed by the roadside processing device 130.
  • the roadside processing device 130 determines whether the vehicle 900 has been detected (step S101). For example, the roadside processing device 130 detects the vehicle 900 when determining that the antenna 110 has received a signal from the identification medium 910, and when determining that the camera 120 is capturing an image of the vehicle 900. Is determined.
  • step S101 determines that the vehicle 900 has not been detected in step S101 (step S101: NO)
  • the process returns to step S101. In this case, the roadside processing device 130 waits for the vehicle 900.
  • step S101: YES the roadside processing device 130 attempts communication with the identification medium 910 via the antenna 110 (step S111). ). In particular, the roadside processor 130 attempts to receive medium identification information from the identification medium 910.
  • the roadside processing apparatus 130 determines whether the acquisition of the medium identification information is successful (step S112). When it is determined that the acquisition of the medium identification information has been successful (step S112: YES), the roadside processing device 130 acquires the vehicle number associated with the medium identification information (step S121). The roadside processing device 130 uses the obtained vehicle number as registration number information.
  • the roadside processing device 130 attempts to acquire an image of the license plate 920 from the image captured by the camera 120 (step S141). For example, as described above, the camera 120 captures an image of the entire front surface of the vehicle 900. Then, the roadside processing device 130 cuts out the image of the license plate 920 from the image captured by the camera 120. The roadside processing device 130 transmits the registration number information and the image of the license plate 920 to the vehicle number identification device 200 (step S142). After step S142, the process proceeds to step S101.
  • step S112 determines whether acquisition of the medium identification information has failed (step S112: NO)
  • the roadside processing device 130 sets the value of the registration number information as a value indicating that the acquisition of the vehicle number has failed.
  • the value is set to a predetermined value (step S131). After step S131, the process proceeds to step S141.
  • FIG. 5 is a flowchart illustrating an example of a procedure of a process performed by the vehicle number identification device 200.
  • the control unit 280 determines whether the communication unit 210 has received data from the roadside device 100 (step S201).
  • step S201 NO
  • the process returns to step S201. In this case, the vehicle number identification device 200 waits for reception of data from the roadside device 100.
  • step S201 when it is determined that data is received from the roadside device 100 (step S201: YES), the control unit 280 determines whether or not the image of the license plate 920 has been successfully acquired by receiving the data from the roadside device 100. Is determined (step S211).
  • step S211 the control unit 280 determines that the image of the license plate 920 has been successfully obtained (step S211: YES)
  • step S221 the OCR processing unit 283 performs an optical character recognition process on the image of the license plate 920 (step S221).
  • the estimation processing unit 284 inputs the image of the license plate 920 to the machine learning model and acquires estimation result information (Step S222).
  • the coincidence determination unit 285 determines whether at least any two of the registration number information, the OCR result information, and the estimation result information indicate the same vehicle number (step S241).
  • the match determination unit 285 specifies the vehicle number (step S241). S251). Specifically, the match determination unit 285 specifies the vehicle number indicated by at least any two of the registration number information, the OCR result information, and the estimation result information as the vehicle number of the specification target vehicle 900.
  • the vehicle number specifying device 200 notifies the host device of the specified vehicle number.
  • the machine learning data generation unit 286 generates machine learning data in which the image of the license plate 920 acquired from the roadside processing device 130 and the vehicle number specified by the coincidence determination unit 285 are associated (step S252). In this case, the machine learning data generator 286 automatically generates machine learning data in that no operator operation is required. The machine learning data generation unit 286 stores the generated machine learning data in the machine learning data storage unit 272. Next, the fraud determining unit 288 determines the possibility that the identification medium has been fraudulent (step S271). After step S271, the process returns to step S201.
  • step S211 determines that the acquisition of the image of the license plate 920 has failed in step S211 (step S211: NO)
  • the OCR processing unit 283 stores the value of the OCR result information in the image data of the license plate 920. Is set to a value determined in advance as a value when the acquisition of the data has failed (step S231). Further, the estimation processing unit 284 sets the value of the estimation result information to a value that is predetermined as a value when the acquisition of the image data of the license plate 920 has failed (step S232). After step S232, the process proceeds to step S241.
  • step S241 when it is determined in step S241 that none of the registration number information, the OCR result information, and the estimation result information indicate the same vehicle number (step S241: NO), the display unit 220 The image of the license plate 920 is displayed according to the control (step S261). Then, the match determination unit 285 acquires the input of the operator (Step S262). The operator inputs the vehicle number shown in the image of the license plate 920 by a user operation on the operation input unit 230. The coincidence determination unit 285 acquires the input vehicle number.
  • the machine learning data generation unit 286 generates machine learning data that associates the image of the license plate 920 acquired from the roadside processing device 130 with the vehicle number obtained by the input of the operator (step S263).
  • the machine learning data generation unit 286 stores the generated machine learning data in the machine learning data storage unit 272. After step S263, the process proceeds to step S271.
  • FIG. 6 is a flowchart illustrating an example of a processing procedure in which the fraud determination unit 288 determines the possibility that the identification medium has been fraudulently performed.
  • the fraud determination unit 288 performs the process in FIG. 6 in step S271 in FIG.
  • the fraud determination unit 288 determines whether or not the vehicle number has been obtained from the roadside processing device 130 as the registration number information (step S301).
  • the fraud determination unit 288 determines whether the registration number information and at least one of the OCR result information and the estimation result information indicate the same vehicle number. It is determined whether or not it is (step S311). If it is determined that the registration number information and at least one of the OCR result information and the estimation result information indicate the same vehicle number (step S311: YES), the fraud determination unit 288 determines that the identification medium 910 is normal. It is determined that there is (Step S321). That is, the fraud determining unit 288 determines that fraud of the identification medium 910 has not been detected. In this case, the fraud determination unit 288 determines that the vehicle 900 does not correspond to a fraudulent vehicle. After step S321, the vehicle number identification device 200 ends the processing in FIG.
  • step S301 when it is determined in step S301 that the vehicle number has not been obtained (step S301: NO), the fraud determination unit 288 determines that there is a possibility that the identification medium 910 has been fraudulent (step S331). . In this case, the fraud determination unit 288 determines that the vehicle 900 may correspond to a fraudulent vehicle.
  • step S331 the vehicle number identification device 200 ends the processing in FIG.
  • step S311 when it is determined in step S311 that the registration number information and at least any of the OCR result information and the estimation result information do not indicate the same vehicle number (step S311: NO), the process proceeds to step S331.
  • the registration number information acquisition unit 281 acquires the registration number information associated with the identification medium 910 mounted on the vehicle 900.
  • the license plate image acquisition unit 282 acquires a license plate image of the vehicle 900.
  • the OCR processing unit 283 acquires OCR result information indicating the result of the optical character recognition processing on the license plate image.
  • the estimation processing unit 284 inputs the license plate image to the machine learning model, and acquires estimation result information output from the machine learning model.
  • the coincidence determination unit 285 specifies the vehicle number as the vehicle number of the target vehicle. I do.
  • the vehicle number specifying device 200 information relating the license plate information used for specifying the vehicle 900 and the vehicle number obtained as a specific result can be used as the data for machine learning. Therefore, in the vehicle number identification device 200, it is possible to improve the identification accuracy of the vehicle 900 by performing machine learning without having to separately collect data to generate data for machine learning. According to the vehicle number identification device 200, at this point, the human burden for operating the device can be relatively reduced.
  • the method by which the registration number information acquisition unit 281 acquires the registration number information is not limited to the method of acquiring the registration number information associated with the medium identification information described above.
  • the registration number information may be recorded in a form that is difficult to falsify by a user of the identification medium 910, such as being encrypted and recorded on the identification medium. Then, the registration number information acquisition unit 281 may acquire the registration number information recorded on the identification medium 910.
  • the machine learning data generation unit 286 determines the vehicle number. And the license plate image are associated with each other to generate machine learning data. This allows the machine learning data generation unit 286 to automatically generate machine learning data.
  • the display unit 220 presents a license plate image. I do.
  • the machine learning data generating unit 286 generates machine learning data in which the input vehicle number and the license plate image are associated with each other.
  • the operator determines the vehicle number only when the match determination unit 285 determines that any two combinations of the registration number information, the OCR result information, and the estimation result information do not indicate the same vehicle number. Should be input. Normally, it is expected that the registration number information and the OCR result information indicate the same vehicle number, and the frequency of inputting the vehicle number by the operator can be reduced. Further, the operator only has to read and input the vehicle number from the image of the license plate 920 displayed on the display unit 220, and the learning data can be generated by a relatively simple operation.
  • the fraud determination unit 288 determines that the vehicle It is determined that the vehicle indicated by the number may be an unauthorized vehicle. As described above, according to the vehicle number identification device 200, not only can the vehicle 900 be identified, but also the possibility of fraud can be determined.
  • a program for realizing all or a part of the function of the control unit 280 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute each unit. May be performed.
  • the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, or may be for realizing the above-mentioned functions in combination with a program already recorded in a computer system.
  • An embodiment of the present invention provides a registration number information acquisition unit that acquires registration number information associated with medium identification information recorded on an identification medium mounted on a vehicle, and a license plate image that acquires a license plate image of the vehicle.
  • An estimation processing unit that acquires information, the registration number information, the OCR result information, and, when it is determined that at least any two of the estimation result information indicate the same vehicle number, the vehicle number of the vehicle is determined.
  • a match determination unit that specifies the vehicle number as a vehicle number. According to this embodiment, when the device for identifying a vehicle uses a method of acquiring identification information from a tag or a vehicle-mounted device mounted on the vehicle and another method in combination, the device is used to operate the device. Can relatively reduce the human burden.
  • Reference Signs List 1 vehicle number specifying system 100 roadside device 110 antenna 120 camera 130 roadside processing device 200 vehicle number specifying device 210 communication unit 220 display unit 230 operation input unit 270 storage unit 271 machine learning model storage unit 272 machine learning data storage unit 280 control unit 281 Registration number information acquisition unit 282 License plate image acquisition unit 283 OCR processing unit 284 Estimation processing unit 285 Match determination unit 286 Machine learning data generation unit 287 Machine learning processing unit 288 Fraud determination unit 900 Vehicle 910 Identification medium 920 License plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Abstract

車両ナンバー特定装置が、車両に搭載された識別媒体に関連付けられた登録ナンバー情報を取得する登録ナンバー情報取得部と、前記車両のナンバープレート画像を取得するナンバープレート画像取得部と、前記ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得するOCR処理部と、前記ナンバープレート画像を機械学習モデルに入力し、前記機械学習モデルが出力する推定結果情報を取得する推定処理部と、前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを前記車両の車両ナンバーとして特定する一致判定部と、を備える。

Description

車両ナンバー特定装置、車両ナンバー特定方法およびプログラム
 本発明は、車両ナンバー特定装置、車両ナンバー特定方法およびプログラムに関する。
 車両を特定する方法の1つに、車両のナンバープレートを読み取る方法がある。例えば、特許文献1に記載の駐車場管理システムは、車両のナンバープレートの画像に対して、OCR処理による文字の読み取りと、メモリー上に保存された画像圧縮データとのパターンマッチング処理との両方を行う。
特開2008-59326号公報
 車両を特定する方法として、車両のナンバープレートを読み取る方法以外に、車両に搭載されたタグまたは車載器等から識別情報を取得する方法がある。例えば、有料道路の課金システムが、有料道路を走行する車両に搭載されたタグまたは車載器等から識別情報を取得して車両を特定し、特定した車両に対して課金することが考えられる。
 車両を特定する装置が、車両に搭載されたタグまたは車載器等から識別情報を取得する方法と、それ以外の方法とを併用すれば、車両に搭載されたタグまたは車載器等から識別情報を取得する方法による結果を補強または補完することができる。例えば、有料道路の課金システムが、車両に搭載されたタグまたは車載器等から識別情報を受信する方法で車両の特定に失敗しても、他の方法で車両を特定できれば、特定した車両に対して課金できる。
 車両を特定する装置が、車両に搭載されたタグまたは車載器等から識別情報を取得する方法と、それ以外の方法とを併用する場合、この装置を運用するための人的負担が比較的小さいことが好ましい。例えば、この装置が車両を特定するために必要なデータを用意する人的負担が比較的小さいことが好ましい。
 本発明は、車両を特定する装置が、車両に搭載されたタグまたは車載器等から識別情報を取得する方法と、それ以外の方法とを併用する場合に、この装置を運用するための人的負担を比較的小さくすることができる車両ナンバー特定装置、車両ナンバー特定方法およびプログラムを提供する。
 本発明の第1の態様によれば、車両ナンバー特定装置(200)は、車両(900)に搭載された識別媒体(910)に関連付けられた登録ナンバー情報を取得する登録ナンバー情報取得部(281)と、前記車両のナンバープレート画像を取得するナンバープレート画像取得部(282)と、前記ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得するOCR処理部(283)と、前記ナンバープレート画像を機械学習モデルに入力し、前記機械学習モデルが出力する推定結果情報を取得する推定処理部(284)と、前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを前記車両の車両ナンバーとして特定する一致判定部(285)と、を備える。
 このような構成によれば、車両ナンバー特定装置では、車両の特定に用いられたデータを機械学習用に用いることができる。この車両ナンバー特定装置によれば、機械学習のためのデータを別途用意する必要なしに機械学習を行って車両の特定の精度向上を図ることができる。この車両ナンバー特定装置では、この点で、装置を運用するための人的負担を比較的小さくすることができる。
 車両ナンバー特定装置が、前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと前記一致判定部が判定した場合、その車両ナンバーと前記ナンバープレート画像とが関連付けられた機械学習用データを生成する機械学習用データ生成部(286)をさらに備えるようにしてもよい。
 このような構成によれば、車両ナンバー特定装置では、機械学習用データを自動生成することができる。
 車両ナンバー特定装置が、前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち何れの2つの組み合わせも同一の車両ナンバーを示さないと前記一致判定部が判定した場合、前記ナンバープレート画像を提示する画像提示部(220)をさらに備え、前記機械学習用データ生成部は、入力される車両ナンバーと前記ナンバープレート画像とが関連付けられた機械学習用データを生成するようにしてもよい。
 このような構成によれば、ナンバープレート画像を参照して車両ナンバーを入力する作業者は、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち何れの2つの組み合わせも同一の車両ナンバーを示さないと一致判定部が判定した場合のみ車両ナンバーを入力すればよい。通常は、登録ナンバー情報とOCR結果情報とが同一の車両ナンバーを示すことが期待され、ナンバープレート画像を参照して車両ナンバーを入力する作業者が車両ナンバーを入力する頻度が小さくて済む。
 車両ナンバー特定装置が、前記OCR結果情報と前記推定結果情報とが同一の車両ナンバーを示し、かつ、その車両ナンバーを示す前記登録ナンバー情報を得られないと前記一致判定部が判定した場合、その車両ナンバーが示す車両が不正車両である可能性があると判定する不正判定部(288)をさらに備えるようにしてもよい。
 このような構成によれば、車両ナンバー特定装置では、車両を特定できるだけでなく、不正が行われる可能性を判定することができる。
 本発明の第2の態様によれば、車両ナンバー特定方法は、車両に搭載された識別媒体に関連付けられた登録ナンバー情報を取得する工程と、前記車両のナンバープレート画像を取得する工程と、前記ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得する工程と、前記ナンバープレート画像を機械学習モデルに入力し、前記機械学習モデルが出力する推定結果情報を取得する工程と、前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを前記車両の車両ナンバーとして特定する工程と、を含む。
 この車両ナンバー特定方法では、車両の特定に用いられたデータを機械学習用に用いることができる。この車両ナンバー特定方法によれば、機械学習のためのデータを別途用意する必要なしに機械学習を行って車両の特定の精度向上を図ることができる。この車両ナンバー特定方法では、この点で、装置を運用するための人的負担を比較的小さくすることができる。
 本発明の第3の態様によれば、プログラムは、コンピュータに、車両に搭載された識別媒体に関連付けられた登録ナンバー情報を取得する工程と、前記車両のナンバープレート画像を取得する工程と、前記ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得する工程と、前記ナンバープレート画像を機械学習モデルに入力し、前記機械学習モデルが出力する推定結果情報を取得する工程と、前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを前記車両の車両ナンバーとして特定する工程と、を実行させるためのプログラムである。
 このプログラムでは、車両の特定に用いられたデータを機械学習用に用いることができる。この車両ナンバー特定方法によれば、機械学習のためのデータを別途用意する必要なしに機械学習を行って車両の特定の精度向上を図ることができる。この車両ナンバー特定方法では、この点で、装置を運用するための人的負担を比較的小さくすることができる。
 上記した車両ナンバー特定装置、車両ナンバー特定方法およびプログラムによれば、車両を特定する装置が、車両に搭載されたタグまたは車載器等から識別情報を取得する方法と、それ以外の方法とを併用する場合に、この装置を運用するための人的負担を比較的小さくすることができる。
実施形態に係る車両ナンバー特定システムの装置構成の例を示す概略構成図である。 実施形態に係る車両ナンバー特定システムの構成をブロック図で示す概略ブロック図である。 実施形態に係る車両ナンバー特定装置の機能構成の例を示す概略ブロック図である。 実施形態に係る路側処理装置が行う処理の手順の例を示すフローチャートである。 実施形態に係る車両ナンバー特定装置が行う処理の手順の例を示すフローチャートである。 実施形態に係る不正判定部が、識別媒体の不正が行われた可能性を判定する処理手順の例を示すフローチャートである。
 以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
 図1は、実施形態に係る車両ナンバー特定システムの装置構成の例を示す概略構成図である。図2は、図1に示す車両ナンバー特定システムの構成をブロック図で示す概略ブロック図である。
 図1および図2に示す構成で、車両ナンバー特定システム1は、路側器100と、車両ナンバー特定装置200とを備える。路側器100は、アンテナ110と、カメラ120と、路側処理装置130とを備える。
 車両ナンバー特定システム1は、車両ナンバー(Registration Number、License Number)を特定することで車両を特定する。ここでいう車両は、例えば自動車または自動二輪車(Motorcycle)など、公道を自力走行可能な車両である。車両ナンバーは、車両別に付与されて車両を識別する識別情報である。車両ナンバーは、ナンバープレート(Number Plate)に記載され、ナンバープレートが車両に取り付けられている。ナンバープレートは、ライセンスプレート(License Plate)またはヴィークルレジストレーションプレート(Vehicle Registration Plate)とも称される。
 車両ナンバー特定システム1が車両ナンバーを特定する対象の車両を、車両900と表記する。車両900の数は、2つ以上であればよい。
 図1および図2に示すように、正当な車両900には、識別媒体910が搭載されている。また、車両900には、ナンバープレート920が取り付けられている。
 識別媒体910には、識別媒体910自らを識別する媒体識別情報が予め記録されている。識別媒体910は、自らの媒体識別情報を車両ナンバー特定システム1へ送信する。
 媒体識別情報は、識別媒体910を識別する情報であると共に、識別媒体910を搭載している車両900を識別する情報としても用いられる。車両ナンバー特定システム1は、媒体識別情報を用いて車両900を特定する。
 識別媒体910は、媒体識別情報が記録されており、かつ、媒体識別情報をアンテナ110へ送信可能なものであればよい。例えば、識別媒体910が、RFID(Radio Frequency Identifier)のタグとして構成されていてもよい。あるいは、識別媒体910が、課金用の車載器など、車載器として構成されていてもよい。
 以下では、車両ナンバー特定システム1が、高速道路等の有料道路の課金システムに用いられている場合を例に説明する。車両ナンバー特定システム1は、有料道路に設けられた所定の課金エリアを走行する車両900を検出し、検出した車両900の車両ナンバーを特定することで、車両900を特定する。車両ナンバー特定システム1が車両900を特定することで、課金システムは、特定された車両900に対して有料道路の通行料金を自動的に課金することができる。
 ただし、車両ナンバー特定システム1の適用対象は、有料道路の課金システムに限定されない。車両900の特定が必要ないろいろな用途に車両ナンバー特定システム1を用いることができる。例えば車両ナンバー特定システム1が、駐車場の課金システムに用いられて、駐車場に入場する車両900を特定するようにしてもよい。車両ナンバー特定システム1が車両900を特定することで、課金システムは、特定された車両900に対して駐車料金を自動的に課金することができる。
 あるいは、利用可能な車両が決まっている場所での車両の監視または管理に車両ナンバー特定システム1を用いるようにしてもよい。例えば、工事現場に入場する工事車両の管理、タクシー乗り場に入場する車両の監視、または、マンションの駐車場での駐車車両の監視などに、車両ナンバー特定システム1を用いるようにしてもよい。
 路側器100は、車両900を特定するための情報を取得する。車両ナンバー特定システム1が備える路側器100の数は、1つ以上であればよい。車両ナンバー特定システム1が複数の路側器100を備える場合、車両ナンバー特定装置200が、これら複数の路側器100に共通して設けられていてもよい。車両ナンバー特定装置200は、複数の路側器100それぞれから車両900に関する情報を取得して、車両ナンバーを特定する。
 アンテナ110は、有料道路の課金エリアに設置され、課金エリアを通過する車両900の識別媒体910から媒体識別情報を受信する。識別媒体910が、連続的に、あるいは、定期的に媒体識別情報を送信し、アンテナ110が、その媒体識別情報を受信するようにしてもよい。あるいは、アンテナ110から識別媒体910へ、媒体識別情報を要求する要求信号を送信するようにしてもよい。識別媒体910が、この要求信号への応答にて媒体識別情報をアンテナ110へ送信し、アンテナ110が、この媒体識別情報を受信するようにしてもよい。
 カメラ120は、車両900のナンバープレート920の画像を撮影する。例えば、カメラ120は、ナンバープレート920を含む車両900の前面全体の画像を撮影する。そして、路側処理装置130が、車両900の前面全体の画像からナンバープレート920の画像を切り出す。
 カメラ120が、連続的にあるいは定期的に画像を撮影して路側処理装置130へ送信し、路側処理装置130が、カメラ120からの画像のうち車両900が映っている画像を抽出するようにしてもよい。あるいは路側器100が、カメラ120撮影位置に設置された車両検出器をさらに備えるようにしてもよい。この車両検出器が車両を検出したタイミングで、カメラ120が画像を撮影するようにしてもよい。
 路側処理装置130は、アンテナ110から媒体識別情報を取得し、媒体識別情報に関連付けられた車両ナンバーを取得する。
 例えば、有料道路を走行する車両900の所有者に、車両900への識別媒体910の取り付けと、事前の利用登録とが義務付けられている。この事前登録で、媒体識別情報と車両ナンバーとが登録され、路側処理装置130は、媒体識別情報と車両ナンバーとが関連付けられた利用登録情報を予め記憶しておく。路側処理装置130は、アンテナ110から媒体識別情報を取得すると、取得した媒体識別情報を検索キーとして利用登録情報を検索し、媒体識別情報に関連付けられた車両ナンバーを取得する。路側処理装置130が取得した車両ナンバーを示す情報を、登録ナンバー情報と称する。
 一方、路側処理装置130が、媒体識別情報の取得に失敗する場合がある。例えば、課金逃れ等の目的で車両900から識別媒体910が不正に取り外されている場合、路側処理装置130は、媒体識別情報を取得できない。また、車両900に識別媒体910が搭載されているが、識別媒体910とアンテナ110との通信がたまたま失敗となった場合も、路側処理装置130は、媒体識別情報を取得できない。
 媒体識別情報の取得に失敗した場合、路側処理装置130は、登録ナンバー情報の値を、例えば空文字列(Null String)など、媒体識別情報の取得に失敗したことを示す値として定められている値に設定する。
 また、路側処理装置130は、車両900のナンバープレート920の画像を取得する。例えば、上記のようにカメラ120がナンバープレート920を含む車両900の前面全体の画像を撮影する。そして、路側処理装置130が、車両900の前面全体の画像からナンバープレート920の画像を切り出す。
 一方、路側処理装置130が、ナンバープレート920の画像の取得に失敗する場合がある。例えば、車両900の前をトラック等の大型車両が走行しており、ナンバープレート920の部分が大型車両に隠されて撮影できなかった場合、路側処理装置130は、ナンバープレート920の画像を得られない。また、カメラ120が撮影した画像にナンバープレート920が映っている場合でも、路側処理装置130がナンバープレート920の画像の切り出しに失敗してナンバープレート920以外の部分を切り出した場合、路側処理装置130は、ナンバープレート920の画像を得られない。
 ナンバープレート920の画像の取得に失敗した場合、路側処理装置130が、ナンバープレート920の画像データの画素値を全てゼロにするなど、ナンバープレート920の画像データの値を、画像の取得に失敗したことを示す値として定められている値に設定する。あるいは、路側処理装置130が何らかの画像データをそのまま車両ナンバー特定装置200へ送信し、車両ナンバー特定装置200が、ナンバープレート920の画像データの取得に成功したか否かを判定するようしてもよい。
 路側処理装置130は、登録ナンバー情報とナンバープレート920の画像とを車両ナンバー特定装置200へ送信する。路側処理装置130が、ナンバープレート920の画像に代えて車両900全体の画像を車両ナンバー特定装置200へ送信し、車両ナンバー特定装置200が、車両900全体の画像からナンバープレート920の画像を切り出すようにしてもよい。
 路側処理装置130は、例えばワークステーション(Workstation)またはパソコン(Personal Computer;PC)等のコンピュータを用いて構成される。
 車両ナンバー特定装置200は、路側処理装置130から取得する情報を用いて、車両900の特定を試みる。車両ナンバー特定装置200は、例えばワークステーションまたはパソコン等のコンピュータを用いて構成される。
 図3は、車両ナンバー特定装置200の機能構成の例を示す概略ブロック図である。図3に示す構成で、車両ナンバー特定装置200は、通信部210と、表示部220と、操作入力部230と、記憶部270と、制御部280とを備える。記憶部270は、機械学習モデル記憶部271と、機械学習用データ記憶部272とを備える。制御部280は、登録ナンバー情報取得部281と、ナンバープレート画像取得部282と、OCR処理部283と、推定処理部284と、一致判定部285と、機械学習用データ生成部286と、機械学習処理部287と、不正判定部288とを備える。
 通信部210は、他の装置と通信を行う。特に、通信部210は、路側処理装置130と通信を行って、登録ナンバー情報とナンバープレート920の画像とを路側処理装置130から受信する。
 表示部220は、例えば液晶パネルまたはLED(Light Emitting Diode、発光ダイオード)パネル等の表示デバイスを備え、各種画像を表示する。特に、表示部220は、画像提示部の例に該当し、制御部280の制御に従ってナンバープレート920の画像を表示する。この表示によって表示部220は、ナンバープレート920の画像をオペレータに提示する。ここでいうオペレータは、ナンバープレート920の画像から車両ナンバーを読み取って車両ナンバー特定装置200に入力する作業者である。
 操作入力部230は、例えばキーボードおよびマウス、あるいは、表示部220の表示デバイスに設けられてタッチパネルを構成するタッチセンサ等の入力デバイスを備え、ユーザ操作を受け付ける。特に、操作入力部230は、オペレータがナンバープレート920の画像から車両ナンバーを読み取って入力するユーザ操作を受け付ける。
 記憶部270は、各種情報を記憶する。記憶部270は、車両ナンバー特定装置200が備える記憶デバイスを用いて構成される。
 機械学習モデル記憶部271は、機械学習モデルを記憶する。ここでいう機械学習モデルは、ナンバープレート920の画像の入力を受けて車両ナンバーを出力するモデルであり、機械学習処理部287が行う機械学習によって得られる。機械学習モデル記憶部271が記憶する機械学習モデルを生成または更新するための機械学習アルゴリズムとして、いろいろな機械学習アルゴリズムを用いることができる。例えば、機械学習モデルが、サポートベクタマシン、ニューラルネットワーク、決定木、または、ランダムフォレストの何れかとして構成されていてもよい。
 機械学習用データ記憶部272は、機械学習用データを記憶する。ここでいう機械学習用データは、機械学習モデル記憶部271が記憶する機械学習モデルを生成または更新するためのデータである。機械学習用データ記憶部272は、ナンバープレート920の画像と、そのナンバープレート920の画像の入力に対する正解データとなる車両ナンバーとが関連付けられた情報を、機械学習用データとして記憶する。
 制御部280は、車両ナンバー特定装置200の各部を制御して各種処理を実行する。制御部280は、車両ナンバー特定装置200が備えるCPU(Central Processing Unit、中央処理装置)が、記憶部270からプログラムを読み出して実行することで構成される。
 登録ナンバー情報取得部281は、登録ナンバー情報を取得する。具体的には、登録ナンバー情報取得部281は、通信部210が路側処理装置130から受信した受信データから、登録ナンバー情報を抽出する。上述したように、登録ナンバー情報は、車両900に搭載された識別媒体910に記録された媒体識別情報に関連付けられた情報である。
 ナンバープレート画像取得部282は、車両900のナンバープレート画像を取得する。ここでいうナンバープレート画像は、ナンバープレート920の画像である。ナンバープレート画像取得部282は、ナンバープレート画像を画像データにて取得する。具体的には、ナンバープレート画像取得部282は、通信部210が路側処理装置130から受信した受信データから、ナンバープレート920の画像データを抽出する。
 OCR処理部283は、ナンバープレート画像取得部282が取得するナンバープレート画像に対して光学的文字認識処理(Optical Character Recognition;OCR)を行う。OCR処理部283による光学的文字認識の結果を示す情報をOCR結果情報と称する。
 ナンバープレート画像取得部282が取得するナンバープレート920の画像データが、ナンバープレート920の画像を適切に示しており、かつ、OCR処理部283が光学的文字認識処理に成功した場合、OCR結果情報は、ナンバープレート920に記載されている車両ナンバーを示す。
 一方、路側処理装置130がナンバープレート920の画像の取得に失敗した場合など、ナンバープレート画像取得部282が取得する画像データが実際にはナンバープレート920の画像を示していない場合、OCR結果情報は、車両ナンバーを示す情報にはならない。ナンバープレート画像取得部282が取得する画像データがナンバープレート920の画像を示しているが、OCR処理部283が何らかの理由で文字認識に失敗した場合も、OCR結果情報は、車両ナンバーを示す情報にはならない。
 推定処理部284は、ナンバープレート画像取得部282が取得するナンバープレート画像を、機械学習モデル記憶部271が記憶する機械学習モデルに入力する。ナンバープレート画像の入力に対する機械学習モデルの出力を推定結果情報と称する。
 ナンバープレート画像取得部282が取得するナンバープレート920の画像データが、ナンバープレート920の画像を適切に示しており、かつ、このナンバープレート920の画像が機械学習モデルで車両情報に関連づけられる場合、推定結果情報は、車両ナンバーを示す。
 一方、路側処理装置130がナンバープレート920の画像の取得に失敗した場合など、ナンバープレート画像取得部282が取得する画像データが実際にはナンバープレート920の画像を示していない場合、推定処理部284が、推定結果情報の値を、車両ナンバーの推定に失敗したことを示す値として定められている値に設定するようにしてもよい。
 一致判定部285は、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを特定対象の車両900の車両ナンバーとして特定する。
 すなわち、一致判定部285は、車両ナンバー特定システム1が3つの方法で取得する車両ナンバーのうちの過半数である2つ以上が同一の車両ナンバーとなっているか否かを判定する。3つの車両ナンバーのうち過半数が同一の車両ナンバーとなっている場合、一致判定部285は、この車両ナンバーが正しいものとして処理を行う。
 一致判定部285が、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち何れの2つの組み合わせも同一の車両ナンバーを示さないと判定した場合、上記のように、表示部220が、ナンバープレート画像をオペレータに提示する。
 機械学習用データ生成部286は、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと一致判定部285が判定した場合、その車両ナンバーとその車両ナンバーの検出の元となったナンバープレート画像とが関連付けられた機械学習用データを生成する。
 これにより、機械学習用データ生成部286は、ナンバープレート画像と、一致判定部285が正しいと評価した車両ナンバーとが関連付けられた学習用データを自動生成することができる。
 また、機械学習用データ生成部286は、表示部220が表示しているナンバープレート画像と、そのナンバープレートの表示に対してオペレータが入力する車両ナンバーとが関連付けられた機械学習用データを生成する。
 オペレータが、ナンバープレート画像を参照して車両ナンバーを正しく入力することが期待される。この点で、機械学習用データ生成部286が正しい学習用データを生成することが期待される。
 機械学習処理部287は、機械学習用データ記憶部272が記憶している機械学習用データを用いて機械学習を行う。この機械学習により、機械学習モデル記憶部271が記憶する機械学習モデルを生成または更新する。機械学習処理部287によって機械学習が進むことで、推定処理部284が機械学習モデルを用いて行う車両ナンバーの推定の精度が向上すると期待される。
 不正判定部288は、OCR結果情報と推定結果情報とが同一の車両ナンバーを示し、かつ、その車両ナンバーを示す登録ナンバー情報を得られないと一致判定部285が判定した場合、その車両ナンバーが示す車両が不正車両である可能性があると判定する。例えば、不正判定部288が、警報メッセージを表示部220に表示させるようにしてもよい。
 OCR結果情報と推定結果情報とが同一の車両ナンバーを示し、かつ、その車両ナンバーを示す登録ナンバー情報を得られない場合の1つとして、登録ナンバー情報として車両ナンバーを得られていない場合が挙げられる。
 登録ナンバー情報として車両ナンバーを得られない場合の1つとして、車両900から識別媒体910が不正に取り外された場合が挙げられる。この場合の車両900は、不正車両に該当する。
 登録ナンバー情報として車両ナンバーを得られない場合のもう1つとして、車両900に識別媒体910が正しく取り付けられているが、何らかの理由で識別媒体910とアンテナ110との通信が失敗となっている場合が挙げられる。この場合の車両900は、不正車両には該当しない。
 車両900から識別媒体910が不正に取り外された場合、および、識別媒体910とアンテナ110との通信が失敗となっている場合の何れも、一致判定部285は、登録ナンバー情報を得ることができない。
 OCR結果情報と推定結果情報とが同一の車両ナンバーを示しており、かつ、登録ナンバー情報を得られない場合、一致判定部285は、登録ナンバー情報、OCR結果情報、および、推定結果情報の比較にて、OCR結果情報と推定結果情報とが同一の車両ナンバーを示し、かつ、その車両ナンバーを示す登録ナンバー情報を得られないと判定する。
 OCR結果情報と推定結果情報とが同一の車両ナンバーを示し、かつ、その車両ナンバーを示す登録ナンバー情報を得られない場合のもう1つとして、登録ナンバー情報が車両ナンバーを示しているが、OCR結果情報および推定結果情報が示す車両ナンバーと異なる場合がある。
 登録ナンバー情報が車両ナンバーを示しているが、OCR結果情報および推定結果情報が示す車両ナンバーと異なる場合の1つとして、識別媒体910が、他の車両900の識別媒体910と不正に交換された場合が挙げられる。この場合の車両900は、不正車両に該当する。
 登録ナンバー情報が車両ナンバーを示しているが、OCR結果情報および推定結果情報が示す車両ナンバーと異なる場合のもう1つとして、ナンバープレート920が他の車両のナンバープレート920と不正に交換された場合が挙げられる。この場合の車両900は、不正車両に該当する。
 識別媒体910が、他の車両900の識別媒体910と不正に交換された場合、および、ナンバープレート920が他の車両のナンバープレート920と不正に交換された場合のいずれも、一致判定部285は、登録ナンバー情報を取得するが、その登録ナンバー情報は、OCR結果情報および推定結果情報が示す車両ナンバーとは異なるものとなる。
 OCR結果情報と推定結果情報とが同一の車両ナンバーを示しており、かつ、OCR結果情報および推定結果情報が示す車両ナンバーと登録ナンバー情報とが異なる場合、一致判定部285は、登録ナンバー情報、OCR結果情報、および、推定結果情報の比較にて、OCR結果情報と推定結果情報とが同一の車両ナンバーを示し、かつ、その車両ナンバーを示す登録ナンバー情報を得られないと判定する。
 次に、図4から図6までを参照して車両ナンバー特定システム1の動作について説明する。
 図4は、路側処理装置130が行う処理の手順の例を示すフローチャートである。
 図4の処理で、路側処理装置130は、車両900を検知したか否かを判定する(ステップS101)。例えば、路側処理装置130は、アンテナ110が識別媒体910からの信号を受信したと判定した場合、および、カメラ120が車両900の画像を撮影していると判定した場合に、車両900を検知したと判定する。
 ステップS101で車両900を検知していないと路側処理装置130が判定した場合(ステップS101:NO)、処理がステップS101へ戻る。この場合、路側処理装置130は、車両900を待ち受ける。
 一方、ステップS101で車両900を検知していると路側処理装置130が判定した場合(ステップS101:YES)、路側処理装置130は、アンテナ110を介して識別媒体910との通信を試みる(ステップS111)。特に、路側処理装置130は、識別媒体910から媒体識別情報を受信するよう試みる。
 そして、路側処理装置130は、媒体識別情報の取得に成功したか否かを判定する(ステップS112)。媒体識別情報の取得に成功したと判定した場合(ステップS112:YES)、路側処理装置130は、媒体識別情報に対応付けられている車両ナンバーを取得する(ステップS121)。路側処理装置130は、得られた車両ナンバーを登録ナンバー情報とする。
 また、路側処理装置130は、カメラ120が撮影する画像からナンバープレート920の画像の取得を試みる(ステップS141)。例えば、上述したように、カメラ120が車両900の前面全体の画像を撮影する。そして、路側処理装置130は、カメラ120が撮影した画像からナンバープレート920の画像を切り出す。
 路側処理装置130は、登録ナンバー情報とナンバープレート920の画像とを車両ナンバー特定装置200へ送信する(ステップS142)。
 ステップS142の後、処理がステップS101へ進む。
 一方、ステップS112で、媒体識別情報の取得に失敗したと判定した場合(ステップS112:NO)、路側処理装置130は、登録ナンバー情報の値を、車両ナンバーの取得に失敗したことを示す値として予め定められている値に設定する(ステップS131)。
 ステップS131の後、処理がステップS141へ進む。
 図5は、車両ナンバー特定装置200が行う処理の手順の例を示すフローチャートである。
 図5の処理で、制御部280は、通信部210が路側器100からデータを受信しているか否かを判定する(ステップS201)。
 路側器100からデータを受信していないと制御部280が判定した場合(ステップS201:NO)、処理がステップS201へ戻る。この場合、車両ナンバー特定装置200は、路側器100からのデータの受信を待ち受ける。
 一方、路側器100からデータを受信していると判定した場合(ステップS201:YES)、制御部280は、路側器100からのデータの受信でナンバープレート920の画像の取得に成功したか否かを判定する(ステップS211)。
 ナンバープレート920の画像の取得に成功したと制御部280が判定した場合(ステップS211:YES)、OCR処理部283は、ナンバープレート920の画像に対して光学的文字認識処理を行う(ステップS221)。また、推定処理部284は、ナンバープレート920の画像を機械学習モデルに入力して推定結果情報を取得する(ステップS222)。
 次に、一致判定部285は、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すか否かを判定する(ステップS241)。
 登録ナンバー情報、OCR結果情報、および、推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合(ステップS241:YES)、一致判定部285は、車両ナンバーを特定する(ステップS251)。具体的には、一致判定部285は、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち少なくとも何れか2つが示す車両ナンバーを、特定対象の車両900の車両ナンバーとして特定する。課金システム等の上位装置がある場合、車両ナンバー特定装置200は、特定した車両ナンバーを上位装置に通知する。
 また、機械学習用データ生成部286は、路側処理装置130から取得したナンバープレート920の画像と、一致判定部285が特定した車両ナンバーとを関連づけた機械学習用データを生成する(ステップS252)。この場合、オペレータの操作を必要としない点で、機械学習用データ生成部286は機械学習用データを自動生成する。機械学習用データ生成部286は、生成した機械学習用データを機械学習用データ記憶部272に記憶させる。
 次に、不正判定部288は、識別媒体の不正が行われた可能性を判定する(ステップS271)。
 ステップS271の後、処理がステップS201へ戻る。
 一方、ステップS211で、ナンバープレート920の画像の取得に失敗したと制御部280が判定した場合(ステップS211:NO)、OCR処理部283は、OCR結果情報の値を、ナンバープレート920の画像データの取得に失敗したときの値として予め定められている値に設定する(ステップS231)。
 また、推定処理部284は、推定結果情報の値を、ナンバープレート920の画像データの取得に失敗したときの値として予め定められている値に設定する(ステップS232)。
 ステップS232の後、処理がステップS241へ進む。
 一方、ステップS241で、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち同一の車両ナンバーを示すものが無いと判定した場合(ステップS241:NO)、表示部220が、制御部280の制御に従ってナンバープレート920の画像を表示する(ステップS261)。
 そして、一致判定部285は、オペレータの入力を取得する(ステップS262)。オペレータは、ナンバープレート920の画像に示される車両ナンバーを、操作入力部230へのユーザ操作で入力する。一致判定部285は、入力された車両ナンバーを取得する。
 また、機械学習用データ生成部286は、路側処理装置130から取得したナンバープレート920の画像と、オペレータの入力で得られた車両ナンバーとを関連づけた機械学習用データを生成する(ステップS263)。機械学習用データ生成部286は、生成した機械学習用データを機械学習用データ記憶部272に記憶させる。
 ステップS263の後、処理がステップS271へ進む。
 図6は、不正判定部288が、識別媒体の不正が行われた可能性を判定する処理手順の例を示すフローチャートである。不正判定部288は、図5のステップS271で図6の処理を行う。
 図6の処理で、不正判定部288は、登録ナンバー情報として車両ナンバーを路側処理装置130から得られたか否かを判定する(ステップS301)。
 車両ナンバーを得られたと判定した場合(ステップS301:YES)、不正判定部288は、登録ナンバー情報と、OCR結果情報および推定結果情報のうち少なくとも何れか一方とが、同一の車両ナンバーを示すか否かを判定する(ステップS311)。
 登録ナンバー情報と、OCR結果情報および推定結果情報のうち少なくとも何れか一方とが、同一の車両ナンバーを示すと判定した場合(ステップS311:YES)、不正判定部288は、識別媒体910が正常であると判定する(ステップS321)。すなわち、不正判定部288は、識別媒体910の不正を検出していないと判定する。この場合、不正判定部288は、車両900は不正車両には該当しないと判定する。
 ステップS321の後、車両ナンバー特定装置200は、図6の処理を終了する。
一方、ステップS301で、車両ナンバーを得られていないと判定した場合(ステップS301:NO)、不正判定部288は、識別媒体910の不正が行われた可能性があると判定する(ステップS331)。この場合、不正判定部288は、車両900は不正車両に該当する可能性があると判定する。
 ステップS331の後、車両ナンバー特定装置200は、図6の処理を終了する。
 一方、ステップS311で、登録ナンバー情報と、OCR結果情報および推定結果情報のうち少なくとも何れとも、同一の車両ナンバーを示していないと判定した場合(ステップS311:NO)、処理がステップS331へ進む。
 以上のように、登録ナンバー情報取得部281は、車両900に搭載された識別媒体910に関連付けられた登録ナンバー情報を取得する。ナンバープレート画像取得部282は、車両900のナンバープレート画像を取得する。OCR処理部283は、ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得する。推定処理部284は、ナンバープレート画像を機械学習モデルに入力し、機械学習モデルが出力する推定結果情報を取得する。一致判定部285は、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを特定対象の車両の車両ナンバーとして特定する。
 車両ナンバー特定装置200では、車両900の特定に用いたナンバープレート情報と、特定の結果得られた車両ナンバーとを関連付けた情報を機械学習用データとして用いることができる。従って、車両ナンバー特定装置200では、機械学習用データを生成するためにデータを別途収集する必要なしに機械学習を行って車両900の特定の精度を高めることができる。車両ナンバー特定装置200によれば、この点で、装置を運用するための人的負担を比較的小さくすることができる
 登録ナンバー情報取得部281が登録ナンバー情報を取得する方法は、上述した媒体識別情報に関連付けられた登録ナンバー情報を取得する方法に限定されない。
 例えば、登録ナンバー情報が暗号化されて識別媒体に記録されるなど、識別媒体910のユーザによる改ざんが困難な形態で記録されていてもよい。そして、登録ナンバー情報取得部281が、識別媒体910に記録されている登録ナンバー情報を取得するようにしてもよい。
 また、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと一致判定部285が判定した場合、機械学習用データ生成部286は、その車両ナンバーと前記ナンバープレート画像とが関連付けられた機械学習用データを生成する。
 これにより、機械学習用データ生成部286は、機械学習用データを自動生成することができる。
 また、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち何れの2つの組み合わせも同一の車両ナンバーを示さないと一致判定部285が判定した場合、表示部220は、ナンバープレート画像を提示する。機械学習用データ生成部286は、入力される車両ナンバーとナンバープレート画像とが関連付けられた機械学習用データを生成する。
 車両ナンバー特定装置200では、オペレータは、登録ナンバー情報、OCR結果情報、および、推定結果情報のうち何れの2つの組み合わせも同一の車両ナンバーを示さないと一致判定部285が判定した場合のみ車両ナンバーを入力すればよい。通常は、登録ナンバー情報とOCR結果情報とが同一の車両ナンバーを示すことが期待され、オペレータが車両ナンバーを入力する頻度が小さくて済む。
 また、オペレータは、表示部220が表示するナンバープレート920の画像から車両ナンバーを読み取って入力すればよく、比較的簡単な操作で学習用データを生成することができる。
 また、OCR結果情報と推定結果情報とが同一の車両ナンバーを示し、かつ、その車両ナンバーを示す登録ナンバー情報を得られないと一致判定部285が判定した場合、不正判定部288は、その車両ナンバーが示す車両が不正車両である可能性があると判定する。
 このように、車両ナンバー特定装置200によれば、車両900を特定できるだけでなく、不正が行われた可能性を判定することができる。
 なお、制御部280の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含む。
 「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
 以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
 本発明の実施形態は、車両に搭載された識別媒体に記録された媒体識別情報に関連付けられた登録ナンバー情報を取得する登録ナンバー情報取得部と、前記車両のナンバープレート画像を取得するナンバープレート画像取得部と、前記ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得するOCR処理部と、前記ナンバープレート画像を機械学習モデルに入力し、前記機械学習モデルが出力する推定結果情報を取得する推定処理部と、前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを前記車両の車両ナンバーとして特定する一致判定部と、を備える車両ナンバー特定装置に関する。
 この実施形態によれば、車両を特定する装置が、車両に搭載されたタグまたは車載器等から識別情報を取得する方法と、それ以外の方法とを併用する場合に、この装置を運用するための人的負担を比較的小さくすることができる。
 1 車両ナンバー特定システム
 100 路側器
 110 アンテナ
 120 カメラ
 130 路側処理装置
 200 車両ナンバー特定装置
 210 通信部
 220 表示部
 230 操作入力部
 270 記憶部
 271 機械学習モデル記憶部
 272 機械学習用データ記憶部
 280 制御部
 281 登録ナンバー情報取得部
 282 ナンバープレート画像取得部
 283 OCR処理部
 284 推定処理部
 285 一致判定部
 286 機械学習用データ生成部
 287 機械学習処理部
 288 不正判定部
 900 車両
 910 識別媒体
 920 ナンバープレート

Claims (6)

  1.  車両に搭載された識別媒体に関連付けられた登録ナンバー情報を取得する登録ナンバー情報取得部と、
     前記車両のナンバープレート画像を取得するナンバープレート画像取得部と、
     前記ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得するOCR処理部と、
     前記ナンバープレート画像を機械学習モデルに入力し、前記機械学習モデルが出力する推定結果情報を取得する推定処理部と、
     前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを前記車両の車両ナンバーとして特定する一致判定部と、
     を備える車両ナンバー特定装置。
  2.  前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと前記一致判定部が判定した場合、その車両ナンバーと前記ナンバープレート画像とが関連付けられた機械学習用データを生成する機械学習用データ生成部
     をさらに備える、請求項1に記載の車両ナンバー特定装置。
  3.  前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち何れの2つの組み合わせも同一の車両ナンバーを示さないと前記一致判定部が判定した場合、前記ナンバープレート画像を提示する画像提示部をさらに備え、
     前記機械学習用データ生成部は、入力される車両ナンバーと前記ナンバープレート画像とが関連付けられた機械学習用データを生成する、
     請求項2に記載の車両ナンバー特定装置。
  4.  前記OCR結果情報と前記推定結果情報とが同一の車両ナンバーを示し、かつ、その車両ナンバーを示す前記登録ナンバー情報を得られないと前記一致判定部が判定した場合、その車両ナンバーが示す車両が不正車両である可能性があると判定する不正判定部
     をさらに備える、請求項1から3の何れか一項に記載の車両ナンバー特定装置。
  5.  車両に搭載された識別媒体に関連付けられた登録ナンバー情報を取得する工程と、
     前記車両のナンバープレート画像を取得する工程と、
     前記ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得する工程と、
     前記ナンバープレート画像を機械学習モデルに入力し、前記機械学習モデルが出力する推定結果情報を取得する工程と、
     前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを前記車両の車両ナンバーとして特定する工程と、
     を含む車両ナンバー特定方法。
  6.  コンピュータに、
     車両に搭載された識別媒体に関連付けられた登録ナンバー情報を取得する工程と、
     前記車両のナンバープレート画像を取得する工程と、
     前記ナンバープレート画像に対する光学的文字認識処理の結果を示すOCR結果情報を取得する工程と、
     前記ナンバープレート画像を機械学習モデルに入力し、前記機械学習モデルが出力する推定結果情報を取得する工程と、
     前記登録ナンバー情報、前記OCR結果情報、および、前記推定結果情報のうち少なくとも何れか2つが同一の車両ナンバーを示すと判定した場合、その車両ナンバーを前記車両の車両ナンバーとして特定する工程と、
     を実行させるためのプログラム。
PCT/JP2018/025343 2018-07-04 2018-07-04 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム Ceased WO2020008556A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US17/256,375 US11875582B2 (en) 2018-07-04 2018-07-04 Vehicle number identification device, vehicle number identification method, and program
KR1020207037203A KR20210011023A (ko) 2018-07-04 2018-07-04 차량 넘버 특정 장치, 차량 넘버 특정 방법 및 프로그램
PCT/JP2018/025343 WO2020008556A1 (ja) 2018-07-04 2018-07-04 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム
SG11202013090PA SG11202013090PA (en) 2018-07-04 2018-07-04 Vehicle number identification device, vehicle number identification method, and program
JP2020528595A JP7025546B2 (ja) 2018-07-04 2018-07-04 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム
GB2020588.6A GB2589766A (en) 2018-07-04 2018-07-04 Vehicle number identification device, vehicle number identification method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/025343 WO2020008556A1 (ja) 2018-07-04 2018-07-04 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2020008556A1 true WO2020008556A1 (ja) 2020-01-09

Family

ID=69059415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025343 Ceased WO2020008556A1 (ja) 2018-07-04 2018-07-04 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム

Country Status (6)

Country Link
US (1) US11875582B2 (ja)
JP (1) JP7025546B2 (ja)
KR (1) KR20210011023A (ja)
GB (1) GB2589766A (ja)
SG (1) SG11202013090PA (ja)
WO (1) WO2020008556A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111653280A (zh) * 2020-06-10 2020-09-11 苏州思必驰信息科技有限公司 车牌信息处理方法和装置
CN113312945A (zh) * 2020-02-27 2021-08-27 浙江大搜车软件技术有限公司 车辆识别方法、装置、电子设备及可读存储介质
JP2021170213A (ja) * 2020-04-15 2021-10-28 Necプラットフォームズ株式会社 画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデル
JP2023543639A (ja) * 2020-09-28 2023-10-17 家禧 馮 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020905A1 (ko) * 2019-07-30 2021-02-04 엘지전자 주식회사 차량에서 탑승자의 행동 모니터링 방법
US12026148B2 (en) * 2021-03-24 2024-07-02 International Business Machines Corporation Dynamic updating of digital data
CN115100610B (zh) * 2021-10-18 2024-05-17 公安部交通管理科学研究所 一种电动自行车数字身份信息的识别方法
CN114550126A (zh) * 2021-12-27 2022-05-27 珠海市交通物联网有限公司 车辆识别匹配方法及系统
CN114550152A (zh) * 2021-12-27 2022-05-27 珠海市交通物联网有限公司 境外车辆入境识别匹配方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207220A (ja) * 2006-01-05 2007-08-16 Mitsubishi Heavy Ind Ltd 移動体課金システム、移動体課金システムによる移動体課金方法
JP2010170207A (ja) * 2009-01-20 2010-08-05 Hitachi Ltd 車両監視システム
JP2010198305A (ja) * 2009-02-25 2010-09-09 Amano Corp 車両ナンバー情報読取システム
CN105243695A (zh) * 2015-10-23 2016-01-13 广州华工信息软件有限公司 一种基于车牌识别的etc车道旁道干扰过滤方法和装置
CN106485801A (zh) * 2016-12-30 2017-03-08 伟龙金溢科技(深圳)有限公司 基于etc和车牌识别的车辆管理方法、装置及其系统
JP2017111806A (ja) * 2015-12-17 2017-06-22 ゼロックス コーポレイションXerox Corporation 畳み込みニューラルネットワークによるナンバープレート認識のための粗から細へのカスケードによる適応
JP2017130174A (ja) * 2016-01-18 2017-07-27 株式会社大都製作所 駐車場管理システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IN2015MN00365A (ja) * 2005-06-10 2015-09-04 Accenture Global Services Ltd
JP4887104B2 (ja) 2006-08-31 2012-02-29 アマノ株式会社 駐車場管理システム
US20110194733A1 (en) * 2010-02-11 2011-08-11 Tc License Ltd. System and method for optical license plate matching
US10929661B1 (en) * 2013-12-19 2021-02-23 Amazon Technologies, Inc. System for user identification
US20170148101A1 (en) * 2015-11-23 2017-05-25 CSI Holdings I LLC Damage assessment and repair based on objective surface data
KR101803697B1 (ko) 2017-07-22 2017-12-01 주식회사 에스엔피기술 장애인 전용 주차구역 불법주차 감시장치
US10950124B2 (en) * 2017-08-22 2021-03-16 Q-Free Netherlands B.V. License plate recognition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207220A (ja) * 2006-01-05 2007-08-16 Mitsubishi Heavy Ind Ltd 移動体課金システム、移動体課金システムによる移動体課金方法
JP2010170207A (ja) * 2009-01-20 2010-08-05 Hitachi Ltd 車両監視システム
JP2010198305A (ja) * 2009-02-25 2010-09-09 Amano Corp 車両ナンバー情報読取システム
CN105243695A (zh) * 2015-10-23 2016-01-13 广州华工信息软件有限公司 一种基于车牌识别的etc车道旁道干扰过滤方法和装置
JP2017111806A (ja) * 2015-12-17 2017-06-22 ゼロックス コーポレイションXerox Corporation 畳み込みニューラルネットワークによるナンバープレート認識のための粗から細へのカスケードによる適応
JP2017130174A (ja) * 2016-01-18 2017-07-27 株式会社大都製作所 駐車場管理システム
CN106485801A (zh) * 2016-12-30 2017-03-08 伟龙金溢科技(深圳)有限公司 基于etc和车牌识别的车辆管理方法、装置及其系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312945A (zh) * 2020-02-27 2021-08-27 浙江大搜车软件技术有限公司 车辆识别方法、装置、电子设备及可读存储介质
JP2021170213A (ja) * 2020-04-15 2021-10-28 Necプラットフォームズ株式会社 画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデル
JP7327810B2 (ja) 2020-04-15 2023-08-16 Necプラットフォームズ株式会社 画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、および文字認識モデル
CN111653280A (zh) * 2020-06-10 2020-09-11 苏州思必驰信息科技有限公司 车牌信息处理方法和装置
JP2023543639A (ja) * 2020-09-28 2023-10-17 家禧 馮 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体
JP7502570B2 (ja) 2020-09-28 2024-06-18 家禧 馮 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体

Also Published As

Publication number Publication date
US20210271897A1 (en) 2021-09-02
US11875582B2 (en) 2024-01-16
GB202020588D0 (en) 2021-02-10
KR20210011023A (ko) 2021-01-29
JP7025546B2 (ja) 2022-02-24
SG11202013090PA (en) 2021-01-28
GB2589766A (en) 2021-06-09
JPWO2020008556A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
JP7025546B2 (ja) 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム
US10719996B2 (en) Determining vehicle occupancy using sensors
US9530310B2 (en) Method and system for detecting and tracking a vehicle of interest utilizing a network of traffic image-capturing units
CN105448103B (zh) 车辆套牌检测方法与系统
US7778447B2 (en) Method and device for mobile object information management, and computer product
JP2014002534A (ja) 車種判別装置及び車種判別方法
EP1975884B1 (en) Mobile object charging system and mobile object charging method by mobile object charging system
US20160092473A1 (en) Multi-query privacy-preserving parking management system and method
JP2017097477A (ja) 保険業務支援システムおよび保険業務支援方法
CN112997211A (zh) 数据分发系统、传感器装置和服务器
JP6939362B2 (ja) 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム
US12264920B2 (en) Techniques for detecting a tracking vehicle
JP2011239442A (ja) 捜索システム及び方法
JP2024500160A (ja) 問題の時刻を概算すること
WO2016201867A1 (zh) 一种m2m车联网的识别方法和装置
US12515675B2 (en) Vehicular sensitive data control
KR102064776B1 (ko) 무인 주차장 차량 데이터베이스 관리 시스템 및 방법
JP2012083996A (ja) 車番認識装置、及びそれを備えた違法車両判別通報システム、並びに車両照合方法、及びそれを適用した違法車両判別通報方法
CN118843084A (zh) 采集和分发车辆周围环境的元数据
JP7343877B2 (ja) 手配車両決定システムおよびその方法
JP2009294935A (ja) 違反態様入力支援システム、情報処理装置、プログラム、及び違反態様入力支援方法
US12423471B2 (en) Program operation sequence determination for reduced potential leakage of personally identifiable information
HK40048091A (en) Vehicle number identification device, vehicle number identification method, and program
KR102539202B1 (ko) 알림 정보 제공 시스템 및 그 방법
CN119380322A (zh) 展示乘客乘坐记录的方法、设备、介质及产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18925244

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207037203

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 202020588

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20180704

ENP Entry into the national phase

Ref document number: 2020528595

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18925244

Country of ref document: EP

Kind code of ref document: A1