WO2023047559A1 - 車載システム、情報処理方法及び非一時的なコンピュータ可読媒体 - Google Patents

車載システム、情報処理方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023047559A1
WO2023047559A1 PCT/JP2021/035246 JP2021035246W WO2023047559A1 WO 2023047559 A1 WO2023047559 A1 WO 2023047559A1 JP 2021035246 W JP2021035246 W JP 2021035246W WO 2023047559 A1 WO2023047559 A1 WO 2023047559A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
passenger
user
unit
transmission
Prior art date
Application number
PCT/JP2021/035246
Other languages
English (en)
French (fr)
Inventor
憲由 平本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/035246 priority Critical patent/WO2023047559A1/ja
Publication of WO2023047559A1 publication Critical patent/WO2023047559A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Definitions

  • the present disclosure relates to an in-vehicle system, an information processing method, and a non-transitory computer-readable medium.
  • Patent Literature 1 discloses a vehicle image authentication device that photographs a passenger's face from a vehicle camera and permits control of vehicle accessories on the condition that the image is determined to be the same as the image of the vehicle user. It is described that the vehicle accessory may be an accessory for electronic money settlement using an ETC on-board device.
  • the purpose of the present disclosure is to provide an in-vehicle system, an information processing method, and a non-temporary computer-readable medium that can reduce the burden on passengers in identity verification when using drive-through services.
  • An in-vehicle system includes: image acquisition means for acquiring a photographed image generated by photographing a passenger positioned around the vehicle or in the interior of the vehicle; identifying means for identifying the passenger by controlling face authentication based on the captured image; Determination means for determining whether the passenger is a registered user of the vehicle; transmission control means for permitting a transmission means to transmit a user ID corresponding to the passenger to an external device when it is determined that the passenger is the registered user of the vehicle.
  • An information processing method includes: Acquiring a photographed image generated by photographing a passenger positioned around the vehicle or in the interior of the vehicle, Identify the passenger by controlling face authentication based on the captured image, determining whether the passenger is a registered user of the vehicle; When it is determined that the passenger is the registered user of the vehicle, the transmitting means is permitted to transmit the user ID corresponding to the passenger to the external device.
  • a non-transitory computer-readable medium comprising: an image acquisition process for acquiring a captured image generated by capturing a passenger positioned around the vehicle or in the interior of the vehicle; identification processing for identifying the passenger by controlling face authentication based on the captured image; Determination processing for determining whether the passenger is a registered user of the vehicle; A program for causing a computer to execute transmission control processing for permitting transmission means to transmit a user ID corresponding to the passenger to an external device when the passenger is determined to be the registered user of the vehicle. is stored.
  • FIG. 1 is a block diagram showing the configuration of an in-vehicle system according to Embodiment 1;
  • FIG. 4 is a flow chart showing the flow of an information processing method according to the first embodiment;
  • 2 is a block diagram showing the overall configuration of a system according to a second embodiment;
  • FIG. 2 is a block diagram showing the configuration of a face authentication device according to a second embodiment;
  • FIG. 9 is a flowchart showing the flow of face information registration processing according to the second embodiment; 9 is a flow chart showing the flow of face authentication processing according to the second embodiment;
  • 8 is a block diagram showing the configuration of a store terminal according to the second embodiment;
  • FIG. 2 is a block diagram showing the configuration of an in-vehicle system according to a second embodiment;
  • FIG. 12 is a sequence diagram showing the flow of registration processing according to the second embodiment;
  • FIG. 11 is a sequence diagram showing the flow of outgoing call processing according to the second embodiment;
  • FIG. 10 is a diagram showing an example of display on a display unit according to the second embodiment;
  • FIG. 10 is a diagram showing an example of display on a display unit according to the second embodiment;
  • FIG. 10 is a diagram showing an example of display on a display unit according to the second embodiment;
  • FIG. 11 is a block diagram showing the overall configuration of a system according to a third embodiment;
  • FIG. FIG. 11 is a block diagram showing the configuration of an in-vehicle system according to Embodiment 3;
  • FIG. 12 is a sequence diagram showing the flow of outgoing call processing according to the third embodiment;
  • FIG. 1 is a block diagram showing the configuration of an in-vehicle system 10 according to the first embodiment.
  • the in-vehicle system 10 is a computer system installed in the vehicle that transmits passenger identification information (ID) to the outside.
  • the in-vehicle system 10 includes an image acquisition unit 12 , a specification unit 13 , a determination unit 14 and a transmission control unit 16 .
  • the image acquisition unit 12 is also called image acquisition means.
  • the image acquisition unit 12 acquires a captured image from a camera that captures the scenery around the vehicle or the interior of the vehicle. Therefore, the captured image includes an image area showing the scenery around the vehicle or the scenery inside the vehicle.
  • the camera photographs the passenger positioned around the vehicle or inside the vehicle, and the photographed image includes the passenger's face area.
  • the person before boarding a vehicle may also be called a "passenger.”
  • the identification unit 13 is also called identification means.
  • the identification unit 13 identifies the passenger included in the photographed image by face authentication based on the photographed image. For example, the identifying unit 13 identifies an ID that identifies a passenger by face authentication.
  • the determination unit 14 is also called determination means.
  • the determination unit 14 determines whether the passenger is a registered user of the vehicle.
  • the registered user of the vehicle is predetermined. For example, the determination unit 14 determines whether an ID that identifies a passenger is registered in advance as a registered user of the vehicle.
  • the transmission control unit 16 is also called transmission control means.
  • the transmission control unit 16 determines that the passenger is a registered user of the vehicle, the transmission control unit 16 permits the transmission unit (not shown) to transmit the user ID corresponding to the passenger to an external device (not shown).
  • the transmission control unit 16 does not permit the transmission unit to transmit the user ID corresponding to the passenger to the external device.
  • the transmission control unit 16 restricts or prohibits the transmission unit from transmitting the user ID corresponding to the passenger to the external device.
  • a user ID is information for identifying a user.
  • the user ID may be an ID specified by face authentication. However, instead of this, the user ID may be a user's credit card number or the like that is linked to an ID specified by face authentication.
  • An external device is a computer device installed outside the vehicle, which performs electronic payment based on the user ID and provides services according to the user ID.
  • the transmission unit 16 transmits the passenger's user ID to the external device.
  • the transmission unit 16 transmits the passenger's user ID to the external device.
  • FIG. 2 is a flow chart showing the flow of the information processing method according to the first embodiment.
  • the image acquisition unit 12 of the in-vehicle system 10 acquires a photographed image from the camera described above (S10).
  • the identifying unit 13 identifies the passenger by face authentication based on the photographed image (S11).
  • the determination unit 14 determines whether or not the specified passenger is a registered user of the vehicle (S12). If the specified passenger is a registered user of the vehicle (YES in S12), the transmission control unit 16 permits the transmission unit to transmit the user ID of the passenger to an external device (S13), and then the processing is performed. exit. On the other hand, if the specified passenger is not a registered user of the vehicle (NO in S12), the transmission control unit 16 restricts the transmission unit from transmitting the user ID of the passenger to an external device (S14), End the process.
  • the in-vehicle system 10 sends the user ID corresponding to the passenger to the external device almost hands-free.
  • this in-vehicle system 10 there is no need to replace the physical card even if the passenger changes. Therefore, it is possible to reduce the burden on passengers in identity verification when using the drive-thru service.
  • the in-vehicle system 10 does not transmit the user ID unless the passenger is a registered user of the vehicle. Therefore, it is possible to avoid the use of the drive-through service by a passenger who boarded the vehicle illegally.
  • FIG. 3 is a block diagram showing the overall configuration of the system 1000 according to the second embodiment.
  • the system 1000 is a computer system in which a store terminal remotely verifies the identity of a vehicle passenger and executes processing according to the passenger.
  • a system 1000 includes a face authentication device 100 , an in-vehicle system 20 and a shop terminal 400 . At least the face authentication device 100 and the in-vehicle system 20 are connected to each other via a network N.
  • the network N is a wireless communication line, but may also include a wired communication line.
  • the face authentication device 100 is a face authentication device that stores facial feature information of multiple people.
  • the face authentication device 100 registers facial feature information of the user at the time of user registration, which will be described later.
  • the face authentication device 100 has a face authentication function that, in response to a face authentication request received from the in-vehicle system 20, compares the face image or face feature information included in the request with the face feature information of each user. .
  • the face authentication device 100 acquires a face image of a passenger (sometimes referred to as a user) who has come to the store from the in-vehicle device 200 of the in-vehicle system 20, and uses the face image to identify the face. perform authentication. Then, the face authentication device 100 returns the matching result (face authentication result) to the in-vehicle device 200 .
  • the in-vehicle system 20 is an example of the in-vehicle system 10 described above.
  • the in-vehicle system 20 is mounted on a vehicle V.
  • the in-vehicle system 20 includes an in-vehicle device 200 , a camera 250 , a display section 260 , an input section 270 and a transmission section 280 .
  • the camera 250, the display unit 260, the input unit 270, and the transmission unit 280 are connected to the in-vehicle device 200 by wire or wirelessly.
  • the camera 250 is an in-vehicle camera that captures the interior of the vehicle V.
  • the camera 250 may be mounted on the inner mirror of the vehicle V.
  • the camera 250 may be an in-vehicle camera that captures the scenery around the vehicle.
  • the display unit 260 is a display device that is also called display means.
  • the input unit 270 is also called input means, and is an input device that receives input from the passenger.
  • the display unit 260 and the input unit 270 may be configured integrally like a touch panel. Also, the display unit 260 and the input unit 270 may be a touch panel of a smart phone or a tablet terminal connected to the in-vehicle device 200 .
  • the display unit 260 and the input unit 270 may be provided in an area in the interior of the vehicle V, such as a dashboard, where visual recognition and input operations are easy from the driver's seat or the passenger's seat.
  • the transmitting unit 280 is also called transmitting means, and is a transmitter that transmits the user ID specified by the in-vehicle device 200 to the store terminal 400 by wireless communication.
  • the wireless communication performed by the transmitting unit 280 is short-range wireless communication such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • transmitter 280 may employ any other wireless communication.
  • the in-vehicle device 200 is a computer device that controls the transmission of the transmission unit 280.
  • the in-vehicle device 200 controls the camera 250 to photograph the scenery including the passenger U riding in the vehicle V.
  • the in-vehicle device 200 performs face authentication on the face area of the passenger U via the face authentication device 100 .
  • the in-vehicle device 200 controls the transmission unit 280 to transmit the user ID of the passenger U to the shop terminal 400 when the passenger U whose face authentication has been successful satisfies a predetermined condition.
  • the store terminal 400 is an example of the external device described above.
  • Store terminal 400 is an information terminal installed in a store that provides a drive-through service.
  • the store is, for example, a gas station, an EV (Electric Vehicle) charging station, or a fast food restaurant.
  • the store terminal 400 receives the user ID transmitted from the transmission unit 280 and performs identification of the passenger of the vehicle V. FIG. Then, the store terminal 400 performs electronic settlement with the passenger of the vehicle V as the billing destination.
  • the store terminal 400 provides services according to the individual passengers of the vehicle V and the attributes of the passengers.
  • the provision of services according to the individual passenger or the attributes of the passenger may be to provide the in-vehicle system 20 with sales promotion information or preferential treatment information according to the individual or the attributes of the passenger.
  • provision of a service according to an individual passenger or an attribute of the passenger means notifying the staff of the store that the passenger of the vehicle V has a predetermined attribute (for example, a VIP member of the store). good too.
  • FIG. 4 is a block diagram showing the configuration of the face authentication device 100 according to the second embodiment.
  • the face authentication device 100 includes a face information DB (DataBase) 110 , a face detection section 120 , a feature point extraction section 130 , a registration section 140 and an authentication section 150 .
  • the face information DB 110 associates and stores a user ID 111 and face feature information 112 of the user ID.
  • the facial feature information 112 is a set of feature points extracted from a facial image, and is an example of facial information.
  • the face authentication device 100 may delete the face feature information 112 in the face feature DB 110 in response to a request from the registered user of the face feature information 112 .
  • the face authentication device 100 may delete the facial feature information 112 after a certain period of time has passed since it was registered.
  • the face detection unit 120 detects a face area included in a registered image for registering face information, and supplies it to the feature point extraction unit 130 .
  • the feature point extraction unit 130 extracts feature points from the face area detected by the face detection unit 120 and supplies face feature information to the registration unit 140 . Further, the feature point extraction unit 130 extracts feature points included in the facial image received from the in-vehicle device 200 and supplies facial feature information to the authentication unit 150 .
  • the registration unit 140 newly issues a user ID 111 when registering facial feature information.
  • the registration unit 140 associates the issued user ID 111 with the facial feature information 112 extracted from the registered image and registers them in the facial information DB 110 .
  • the authentication unit 150 performs face authentication using the facial feature information 112 . Specifically, the authentication unit 150 collates the facial feature information extracted from the facial image with the facial feature information 112 in the facial information DB 110 .
  • the authentication unit 150 replies to the in-vehicle device 200 whether or not the facial feature information matches. Whether the facial feature information matches or not corresponds to the success or failure of the authentication.
  • matching of facial feature information means a case where the degree of matching is equal to or greater than a predetermined value.
  • FIG. 5 is a flowchart showing the flow of face information registration processing according to the second embodiment.
  • the face authentication device 100 acquires the registered image of the user included in the face registration request (S21). For example, the face authentication device 100 receives a face registration request via the network N from the in-vehicle device 200 or from a user terminal used by the user.
  • face detection section 120 detects a face area included in the registered image (S22).
  • the feature point extraction unit 130 extracts feature points from the face area detected in step S22, and supplies face feature information to the registration unit 140 (S23).
  • the registration unit 140 issues the user ID 111, associates the user ID 111 with the facial feature information 112, and registers them in the facial information DB 110 (S24).
  • the face authentication device 100 may receive the face feature information 112 from the face registration requester and register it in the face information DB 110 in association with the user ID 111 .
  • FIG. 6 is a flowchart showing the flow of face authentication processing according to the second embodiment.
  • the feature point extraction unit 130 acquires facial feature information for authentication (S31).
  • the face authentication device 100 receives a face authentication request from the in-vehicle device 200 via the network N, and extracts facial feature information from the face image included in the face authentication request in steps S21 to S23.
  • the face authentication device 100 may receive facial feature information from the in-vehicle device 200 .
  • the authentication unit 150 collates the acquired facial feature information with the facial feature information 112 of the facial information DB 110 (S32).
  • the authentication unit 150 identifies the user ID 111 of the user whose facial feature information matches (S34). . Then, the authenticating unit 150 sends back to the in-vehicle device 200 the fact that the face authentication was successful and the specified user ID 111 as the result of the face authentication (S35). If there is no matching facial feature information (No in S33), the authentication unit 150 returns a face authentication result to the in-vehicle device 200 to the effect that the face authentication has failed (S36).
  • FIG. 7 is a block diagram showing the configuration of the store terminal 400 according to the second embodiment.
  • Store terminal 400 includes storage unit 420 , communication unit 430 , display unit 440 , input unit 450 , and control unit 460 .
  • the storage unit 420 is a storage device that stores programs for realizing each function of the shop terminal 400 .
  • the communication unit 430 is a communication interface for communicating with the in-vehicle system 20 .
  • Display unit 440 is a display device.
  • Input unit 450 is an input device that receives an input.
  • the display unit 440 and the input unit 450 may be configured integrally like a touch panel.
  • the control unit 460 controls hardware of the store terminal 400 . Note that the display unit 440 and the input unit 450 may be omitted.
  • FIG. 8 is a block diagram showing the configuration of the in-vehicle system 20 according to the second embodiment.
  • the in-vehicle system 20 includes the in-vehicle device 200 .
  • In-vehicle device 200 is connected to camera 250 , display unit 260 , input unit 270 , and transmission unit 280 .
  • the in-vehicle device 200 includes a storage unit 210, a memory 220, a communication unit 230, and a control unit 240.
  • the storage unit 210 is a storage device such as a hard disk or flash memory.
  • Storage unit 210 stores program 211 and registered user list 212 .
  • the program 211 is a computer program in which the processing of the information processing method according to the second embodiment is implemented.
  • the registered user list 212 stores user IDs 2121 of registered users.
  • a user ID 2121 stored in the registered user list 212 is a user ID of a user permitted as a regular passenger of the vehicle V among the user IDs 111 issued by the face authentication device 100 and stored in the face information DB 110 .
  • the memory 220 is a volatile storage device such as RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 240 operates.
  • the communication unit 230 is a communication interface with the network N. FIG.
  • the control unit 240 is a processor that controls each component of the in-vehicle device 200, that is, a control device.
  • the control unit 240 loads the program 211 from the storage unit 210 into the memory 220 and executes the program 211 .
  • the control unit 240 realizes the functions of the registration unit 241 , the image acquisition unit 242 , the identification unit 243 , the determination unit 244 , the output control unit 245 and the transmission control unit 246 .
  • the registration unit 241 is also called registration means.
  • the registration unit 241 transmits a face registration request to the face authentication device 100 when a registration image, which is a photographed image of the user to be registered, is obtained from the camera 250 or an administrator terminal used by the administrator of the in-vehicle system 20 .
  • the registration unit 241 registers the user ID as a registered user in the registered user list 212 .
  • the registration unit 241 may add the user ID of the specified registered user to the registered user list 212 when the administrator requests the addition of a registered user.
  • the registration unit 241 may delete the user ID of the specified registered user from the registered user list 212 when the administrator requests deletion of the registered user.
  • the image acquisition unit 242 is an example of the image acquisition unit 12 described above.
  • the image acquisition unit 242 acquires a photographed image of a passenger located inside or around the vehicle V from the camera 250 and supplies the photographed image to the identification unit 243 .
  • the specifying unit 243 is an example of the specifying unit 13 described above.
  • the specifying unit 243 specifies the passenger's user ID detected from the captured image by controlling face authentication based on the captured image. Specifically, when the image acquisition unit 242 acquires a captured image, the identification unit 243 sends a face authentication request including the captured image or facial feature information extracted from the captured image to the face authentication device 100 via the network N. Send. The specifying unit 243 then acquires the face authentication result from the face authentication device 100 . When the face authentication is successful, the identification unit 243 extracts the user ID from the face authentication result.
  • the identifying unit 243 identifies the user ID of each of the multiple passengers. That is, the specifying unit 243 transmits a face authentication request for each face area of a plurality of passengers to the face authentication device 100 and acquires the face authentication results of each of the plurality of passengers from the face authentication device 100 .
  • the determination unit 244 is an example of the determination unit 14 described above.
  • the determination unit 244 refers to the registered user list 212 and determines whether or not the user ID specified by the specifying unit 243 is included in the registered user list 212 .
  • the determining unit 244 determines whether each of the plurality of passengers is a registered user of the vehicle.
  • the output control unit 245 is also called output control means. If the passenger is a registered user included in the registered user list 212, the output control unit 245 causes the display unit 260 to display information for prompting the passenger to perform a call permission operation, accepts a call permission operation from a person.
  • the output control unit 245 may cause the display unit 260 to display a list of the passengers determined to be registered users of the vehicle V. . Then, the output control unit 245 may receive a selection operation of a passenger who transmits a user ID from passengers who are registered users via the input unit 270 .
  • the transmission control unit 246 is an example of the transmission control unit 16 described above.
  • the transmission control unit 246 controls the transmission unit 280 to transmit the passenger's user ID to the store terminal 400 by short-range wireless communication when the output control unit 245 receives a transmission permission operation from the passenger. That is, in the second embodiment, even if the determination unit 244 determines that the passenger is a registered user of the vehicle V, the transmission control unit 246 controls the transmission unit 280 until the transmission permission operation is received from the passenger. Restricts outgoing calls to the store terminal 400 of the user ID. As a result, it is possible to prevent the user ID from being transmitted to the outside without the passenger's consent and the electronic payment or the like to be carried out without permission.
  • the transmission control unit 246 keeps transmitting until any passenger of vehicle V selects at least one passenger from the list. Transmission of the user ID by the unit 280 may be restricted.
  • the transmission control unit 246 may allow the user IDs of all passengers determined to be registered users of the vehicle V to be transmitted to the store terminal 400, or only the user IDs of selected passengers may be transmitted. to the store terminal 400 may be permitted. In other words, in the latter case, the transmission control unit 246 may restrict transmission of the user IDs of passengers who have not been selected to the shop terminal 400 even if they are registered users of the vehicle V. FIG. As a result, it is possible to limit the billing destination and the service providing destination to only some of the passengers determined to be registered users, thereby improving convenience.
  • FIG. 9 is a sequence diagram showing the flow of registration processing according to the second embodiment.
  • the registration unit 241 of the in-vehicle device 200 acquires a registered image of the user to be registered (S501).
  • the registration unit 241 of the in-vehicle device 200 may acquire the registration image from the camera 250 or the administrator's terminal.
  • the registration unit 241 of the in-vehicle device 200 transmits a face registration request including the registration image to the face authentication device 100 (S502).
  • the face authentication apparatus 100 registers the face information (face feature information) of the user to be registered based on the registration image included in the received face registration request (S503).
  • the face authentication device 100 notifies the in-vehicle device 200 of the issued user ID (S504).
  • the registration unit 241 of the in-vehicle device 200 registers the notified user ID in the registered user list 212 as the user ID of the registered user (S506).
  • FIG. 10 is a sequence diagram showing the flow of outgoing call processing according to the second embodiment. This figure shows, as an example, transmission processing when electronic payment is made at a store.
  • the image acquisition unit 242 controls the camera 250 to photograph the passenger U (S521), and supplies the photographed image to the identification unit 243. At this time, the image acquisition unit 242 may stop supplying the captured image to the identification unit 243 until a predetermined face authentication trigger is detected.
  • the face authentication trigger may be detection of a face area of a person in a captured image, particularly detection of a face area of a size that allows face authentication to be performed.
  • the identification unit 243 of the in-vehicle device 200 transmits a face authentication request for the face area of the passenger U in the captured image to the face authentication device 100 (S522). Then, the face authentication device 100 performs face authentication on the face area of the passenger U in the face image included in the received face authentication request (S523).
  • the face authentication device 100 transmits to the in-vehicle device 200 a face authentication result including the fact that the face authentication was successful and the user ID (S524). At this time, the in-vehicle device 200 may cause the display unit 260 to display whether or not the face authentication has succeeded.
  • the determination unit 244 of the in-vehicle device 200 that has received the face authentication result refers to the registered user list 212 and determines whether or not the specified user ID is included in the registered user list 212 (S525).
  • the processing of S521 to S525 may be performed when the passenger U gets into the vehicle V, may be performed while driving, or may be performed immediately before performing electronic payment at the store.
  • the determination unit 244 determines whether or not a predetermined call trigger is detected. proceed.
  • the transmission trigger is a trigger for transmitting the passenger U's user ID.
  • the transmission trigger may be reception of an input requesting electronic payment from the passenger U via the input unit 270, or reception of a signal from the store terminal 400 inquiring whether or not electronic payment is possible. There may be.
  • the output control unit 245 of the in-vehicle device 200 causes the display unit 260 to display a list of passengers U determined to be registered users (S527).
  • FIG. 11 is a diagram showing an example of display on the display unit 260 according to the second embodiment. This figure shows the display screen in S528 when there is only one passenger U who is determined to be a registered user.
  • the display unit 260 may display the name of the passenger who is determined to be a registered user and a message for confirming whether or not payment by electronic settlement may be executed with the passenger as the payee.
  • the passenger U performs an input operation for permitting the payment, the input operation is detected as a call permission operation. Then, the user ID of the passenger determined to be the registered user is transmitted to the store terminal 400 .
  • FIG. 12 is a diagram showing an example of display on the display unit 260 according to the second embodiment. This figure shows the display screen in S528 when there are multiple passengers who are determined to be registered users.
  • the display unit 260 displays a list of the names of passengers determined to be registered users and a message for selecting which passenger to pay.
  • the passenger performs an operation to select a passenger and selects "determine"
  • a transmission permission operation for permitting transmission of the user ID of the selected passenger has been performed.
  • the selected passenger's user ID is transmitted to the store terminal 400 .
  • the transmission control unit 246 may control the transmission unit 280 to transmit the information on the payment method together with the user ID to the shop terminal 400.
  • Information on payment methods such as lump sum payment or installment payment, which account to withdraw from, whether to use points, whether one person pays or multiple people pay, and if multiple people pay, in what proportion It may include information such as
  • FIG. 13 is a diagram showing an example of display on the display unit 260 according to the second embodiment.
  • the display unit 260 displays a list of the names of passengers determined to be registered users and an input area for inputting the payment ratio of each passenger.
  • the payment rate can be changed by accepting an addition operation or a subtraction operation from the passenger.
  • Each payment ratio may be adjusted so that the sum of the payment ratios becomes one.
  • the passenger selects the input area for "determine”
  • the user ID and information regarding the payment method are transmitted to the shop terminal 400.
  • FIG. By making it possible to specify the payment method each time in this way, the convenience is improved. This screen may be displayed every time in S528 of FIG.
  • this screen may be displayed only when an input operation to change the payment ratio is performed in S528 of FIG. In this case, if there is no input operation to change the payment ratio, the payment ratio may be automatically set to the same ratio for each person (so-called split bill may be used).
  • the second embodiment has the same effect as the first embodiment. That is, in the in-vehicle system 20, it is not necessary to replace the physical card even if the passenger changes. Therefore, it is possible to reduce the burden on the passenger U in identity verification when using the drive-thru service. Further, in the in-vehicle system 20, if the passenger U is not a registered user of the vehicle V, the user ID is not transmitted. Therefore, it is possible to avoid the use of the drive-through service by the passenger U who boarded the vehicle illegally.
  • Embodiment 3 is characterized in that the in-vehicle system unlocks the opening/closing body of the vehicle by face authentication, and uses the registered user determination result for the transmission control process for the unlocking control process.
  • the opening and closing bodies are the front door and the rear door, but are not limited to this, and may be a bonnet, a fuel filler cover, a door glass (window), a trunk cover, or the like.
  • the opening/closing body is simply referred to as a "door”.
  • FIG. 14 is a block diagram showing the overall configuration of the system 1000a according to the third embodiment.
  • the system 1000a differs from the system 1000 of the second embodiment in that an in-vehicle system 20a is provided instead of the in-vehicle system 20.
  • FIG. 14 is a block diagram showing the overall configuration of the system 1000a according to the third embodiment.
  • the system 1000a differs from the system 1000 of the second embodiment in that an in-vehicle system 20a is provided instead of the in-vehicle system 20.
  • FIG. 14 is a block diagram showing the overall configuration of the system 1000a according to the third embodiment.
  • the system 1000a differs from the system 1000 of the second embodiment in that an in-vehicle system 20a is provided instead of the in-vehicle system 20.
  • the in-vehicle system 20 a differs from the in-vehicle system 20 in that it has a camera 250 a instead of the camera 250 and an in-vehicle device 200 a instead of the in-vehicle device 200 .
  • the camera 250a is an in-vehicle camera that captures the surrounding scenery outside the vehicle V.
  • the camera 250a captures at least the face of the passenger U who has unlocked the door of the vehicle V and has approached to board the vehicle.
  • the in-vehicle device 200a executes door unlock control using face authentication.
  • the in-vehicle device 200a uses the registered user determination result for the transmission control process for the door unlock control process.
  • FIG. 15 is a block diagram showing the configuration of an in-vehicle system 20a according to the third embodiment.
  • the in-vehicle device 200 a of the in-vehicle system 20 a includes a storage unit 210 a instead of the storage unit 210 and a control unit 240 a instead of the control unit 240 .
  • the storage unit 210a stores a program 211a instead of the program 211.
  • the program 211a is a computer program in which the processing of the information processing method according to the third embodiment is implemented.
  • the control unit 240a has a release control unit 247.
  • the release control unit 247 When the determination unit 244 determines that the passenger U is a registered user of the vehicle V based on the image captured by the camera 250a, the release control unit 247 outputs a control signal for unlocking the doors of the vehicle V. , to a drive unit (not shown). This unlocks the door. It should be noted that the doors to be unlocked may be all the doors or some of the doors.
  • FIG. 16 is a sequence diagram showing the flow of outgoing call processing according to the third embodiment.
  • the steps in FIG. 16 have S540 and S541 instead of S521 in FIG.
  • the image acquisition unit 242 controls the camera 250 a to photograph the passenger U positioned in front of the vehicle V (S 540 ), and supplies the photographed image to the identification unit 243 .
  • processing similar to S522 to S525 is executed.
  • the release control unit 247 transmits a control signal for unlocking the doors of the vehicle V to the driving unit (not shown) to unlock the doors.
  • the passenger U gets into the vehicle V, the same processes as S526 to S530 are executed.
  • the determination unit 244 detects the transmission trigger (S526)
  • the output control unit 245 and the transmission control unit 246 perform processing similar to that of the second embodiment based on the determination result of the determination unit 244.
  • face authentication and registered user determination for unlocking the door, and face authentication and registered user determination for the call control processing described in Embodiment 2 may be performed at once. Therefore, the photographing of the face may be performed by the camera outside the vehicle (camera 250a), and the photographing of the face by the camera inside the vehicle as shown in FIG. 3 may be omitted.
  • the in-vehicle device 200a uses the registered user determination result for the transmission control process for the unlocking control process.
  • the functions can be enhanced while suppressing an increase in the psychological burden on U.
  • the hardware configuration is described, but it is not limited to this.
  • the present disclosure can also implement arbitrary processing by causing a processor to execute a computer program.
  • the program includes instructions (or software code) that, when read into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs - ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • the face authentication device 100 has the face authentication function. You may
  • the cameras 250 and 250a for photographing the face are installed in the vehicle V, and the in-vehicle devices 200 and 200a execute face authentication based on the photographed images photographed by the cameras 250 and 250a to was identified.
  • the passenger U uses a camera-equipped user terminal used by the passenger U to photograph his face, and the in-vehicle devices 200 and 200a recognize the user based on the photographed image generated thereby. may be specified.
  • a camera-equipped user terminal is, for example, a smart phone or a tablet terminal.
  • the user terminal transmits captured image data to the face authentication device 100 and receives a face authentication result from the face authentication device 100 .
  • the user terminal performs face authentication using a face authentication function within the terminal.
  • the user terminal transmits the face authentication result and the user ID to the in-vehicle systems 20 and 20a by short-range wireless communication such as Bluetooth.
  • the user terminal may transmit the photographed image to the in-vehicle system 20, 20a in addition to the face authentication result and the user ID for confirmation.
  • Methodhod 2 The user terminal sends the captured image to the in-vehicle system 20a.
  • the in-vehicle device 200, 200a of the in-vehicle system 20, 20a that has received the captured image controls face authentication to identify the user.
  • the cameras 250, 250a of the in-vehicle systems 20, 20a can be omitted.
  • the transmission control unit 246 controls the transmission unit 280 to transmit the user ID corresponding to the passenger U.
  • the transmission control unit 246 transmits the ID of the shared car management company. may be controlled.
  • the transmission control unit 246 transmits the user ID corresponding to the passenger U or the ID of the shared car management company according to the form of the store visited by the vehicle V. You can decide to send. As a result, for example, at a service station such as a gas station, the payment can be made to the share car management company instead of the passenger U, while at a fast food restaurant drive-through, the payment can be made to the passenger U. can.
  • the in-vehicle devices 200 and 200a acquire the store ID from the store terminal 400 and identify the service type or service provider of the store. Thereby, for example, the in-vehicle device 200 can identify whether the store is a service station or a fast food store. Then, the in-vehicle devices 200 and 200a determine whether the service type or service provider of the store is a predetermined service type or service provider. (2) Next, the in-vehicle devices 200 and 200a determine whether the vehicle V is a shared car when the service type or service provider of the store is a predetermined service type or service provider.
  • the in-vehicle devices 200 and 200a determine whether the vehicle V is a shared car. As a method of determining whether or not the vehicle is a shared car, a vehicle number pre-stored in the in-vehicle devices 200 and 200a may be used, or other information indicating that the vehicle is mounted in a shared car may be pre-stored. If so, that information may be used. (3) Next, when the vehicle V is a shared car, the transmission control unit 246 of the in-vehicle device 200, 200a causes the transmission unit 280 to transmit the ID of the shared car or the ID of the shared car management company instead of the personal ID. to control. In the settlement process, the ID of the share car or the ID of the share car management company is used.
  • the in-vehicle devices 200 and 200a determine whether or not the own vehicle V is a shared car, and if it is a shared car, acquire the store ID from the store terminal 400, and identify the service type or service provider of the store. may be specified.
  • the transmission control unit 246 of the in-vehicle device 200, 200a transmits the ID of the shared car management company when the vehicle V is a shared car and the service type or service provider of the store is a predetermined one. You may control the transmission part 280 so that. On the other hand, the transmission control unit 246 transmits the user ID corresponding to the passenger U when the vehicle V is not a shared car or when the vehicle V is a shared car but the service type or service provider of the store is not a predetermined one. You may control the transmission part 280 so that it may carry out.
  • Face authentication device 110
  • Face information DB 111
  • User ID 112 facial feature information 120 face detection unit 130 feature point extraction unit 140 registration unit 150 authentication unit 200, 200a in-vehicle device 210, 210a storage unit 211, 211a program 212 registered user list 2121 user ID 220 memory 230 communication unit 240, 240a control unit 241 registration unit 12, 242 image acquisition unit 13, 243 identification unit 14, 244 determination unit 245 output control unit 16, 246 transmission control unit 247 release control unit 250, 250a camera 260 display unit 270 Input Unit 280 Transmission Unit 400 Store Terminal 420 Storage Unit 430 Communication Unit 440 Display Unit 450 Input Unit 460 Control Unit 1000, 1000a System N Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

車載システム（１０）は、車両の周辺又は車両の室内に位置する搭乗者を撮影して生成された撮影画像を取得する画像取得部（１２）と、撮影画像に基づいて、顔認証を制御することにより、搭乗者を特定する特定部（１３）と、搭乗者が車両の登録ユーザであるか否かを判定する判定部（１４）と、搭乗者が車両の登録ユーザであると判定した場合、搭乗者に対応するユーザＩＤを発信手段が外部装置へ発信することを許可する発信制御部（１６）とを備える。

Description

車載システム、情報処理方法及び非一時的なコンピュータ可読媒体
　本開示は、車載システム、情報処理方法及び非一時的なコンピュータ可読媒体に関する。
　近年、車両に乗ったまま、さらには車両の窓を開けないまま、従業員と対面せずに市中サービスを享受したいというニーズが強まっている。例えば、車載のＥＴＣ（Electronic Toll Collection）システムを活用した電子決済で、ドライブスルーサービスを利用することが提案されている。
　ここで、決済時の本人確認手段として、顔認証を用いることが提案されている。例えば特許文献１では、車両用のカメラから搭乗者の顔を撮影し、車両ユーザの画像と同等であると判断したことを条件として、車両装備品の制御を許可する車両用画像認証装置が開示されている。車両装備品は、ＥＴＣ車載器による電子マネー決済を行う場合の装備品であってもよいことが記載されている。
特開２００６－２０５９２３号公報
　しかし上述の特許文献１に記載の方法では、現に搭乗している搭乗者とは関係なく、料金の請求先が、ＥＴＣシステムに現在差し込まれているＥＴＣカードの所有者になってしまうという不都合が生じる。したがって、請求先を搭乗者にするためには、搭乗者が変わる度に搭乗者のＥＴＣカードをＥＴＣシステムに差し替える必要があり、手間がかかる。
　本開示の目的は、上述した課題に鑑み、ドライブスルーサービス利用時の本人確認における搭乗者の負担を軽減できる車載システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供することにある。
　本開示の一態様にかかる車載システムは、
　車両の周辺又は前記車両の室内に位置する搭乗者を撮影して生成された撮影画像を取得する画像取得手段と、
　前記撮影画像に基づいて、顔認証を制御することにより、前記搭乗者を特定する特定手段と、
　前記搭乗者が前記車両の登録ユーザであるか否かを判定する判定手段と、
　前記搭乗者が前記車両の前記登録ユーザであると判定した場合、前記搭乗者に対応するユーザＩＤを発信手段が外部装置へ発信することを許可する発信制御手段と
　を備える。
　本開示の一態様にかかる情報処理方法は、
　車両の周辺又は前記車両の室内に位置する搭乗者を撮影して生成された撮影画像を取得し、
　前記撮影画像に基づいて、顔認証を制御することにより、前記搭乗者を特定し、
　前記搭乗者が前記車両の登録ユーザであるか否かを判定し、
　前記搭乗者が前記車両の前記登録ユーザであると判定した場合、前記搭乗者に対応するユーザＩＤを発信手段が外部装置へ発信することを許可する。
　本開示の一態様にかかる非一時的なコンピュータ可読媒体は、
　車両の周辺又は前記車両の室内に位置する搭乗者を撮影して生成された撮影画像を取得する画像取得処理と、
　前記撮影画像に基づいて、顔認証を制御することにより、前記搭乗者を特定する特定処理と、
　前記搭乗者が前記車両の登録ユーザであるか否かを判定する判定処理と、
　前記搭乗者が前記車両の前記登録ユーザであると判定した場合、前記搭乗者に対応するユーザＩＤを発信手段が外部装置へ発信することを許可する発信制御処理と
　をコンピュータに実行させるためのプログラムが格納される。
　本開示により、ドライブスルーサービス利用時の本人確認における搭乗者の負担を軽減できる車載システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供できる。
実施形態１にかかる車載システムの構成を示すブロック図である。 実施形態１にかかる情報処理方法の流れを示すフローチャートである。 実施形態２にかかるシステムの全体構成を示すブロック図である。 実施形態２にかかる顔認証装置の構成を示すブロック図である。 実施形態２にかかる顔情報登録処理の流れを示すフローチャートである。 実施形態２にかかる顔認証処理の流れを示すフローチャートである。 実施形態２にかかる店舗端末の構成を示すブロック図である。 実施形態２にかかる車載システムの構成を示すブロック図である。 実施形態２にかかる登録処理の流れを示すシーケンス図である。 実施形態２にかかる発信処理の流れを示すシーケンス図である。 実施形態２にかかる表示部の表示の一例を示す図である。 実施形態２にかかる表示部の表示の一例を示す図である。 実施形態２にかかる表示部の表示の一例を示す図である。 実施形態３にかかるシステムの全体構成を示すブロック図である。 実施形態３にかかる車載システムの構成を示すブロック図である。 実施形態３にかかる発信処理の流れを示すシーケンス図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
　＜実施形態１＞
　まず、本開示の実施形態１について説明する。図１は、実施形態１にかかる車載システム１０の構成を示すブロック図である。車載システム１０は、搭乗者の識別情報（ＩＤ）を外部に発信する、車両に搭載されたコンピュータシステムである。車載システム１０は、画像取得部１２と、特定部１３と、判定部１４と、発信制御部１６とを備える。
　画像取得部１２は、画像取得手段とも呼ばれる。画像取得部１２は、車両の周辺の風景又は車両の室内を撮影するカメラから撮影画像を取得する。したがって、撮影画像には、車両の周辺の風景又は車両の室内の風景を示す画像領域が含まれる。車室内に搭乗者がいる場合又は車両に搭乗者が乗り込む場合は、車両の周辺又は車両の室内に位置する搭乗者がカメラによって撮影され、撮影画像には搭乗者の顔領域が含まれる。尚、以下では、車両に乗り込む前の人物も「搭乗者」と呼ぶことがある。
　特定部１３は、特定手段とも呼ばれる。特定部１３は、撮影画像に搭乗者の顔領域が含まれる場合、撮影画像に基づいて、顔認証により、撮影画像に含まれる搭乗者を特定する。例えば特定部１３は、顔認証により、搭乗者を識別するＩＤを特定する。
　判定部１４は、判定手段とも呼ばれる。判定部１４は、搭乗者が車両の登録ユーザであるか否かを判定する。車両の登録ユーザは、予め定められている。例えば判定部１４は、搭乗者を識別するＩＤが、車両の登録ユーザとして予め登録されているか否かを判定する。
　発信制御部１６は、発信制御手段とも呼ばれる。発信制御部１６は、搭乗者が車両の登録ユーザであると判定した場合、搭乗者に対応するユーザＩＤを発信部（不図示）が外部装置（不図示）へ発信することを許可する。一方で、発信制御部１６は、搭乗者が車両の登録ユーザであると判定しなかった場合、搭乗者に対応するユーザＩＤを発信部が外部装置へ発信することを許可しない。つまり発信制御部１６は、搭乗者に対応するユーザＩＤを発信部が外部装置へ発信することを制限又は禁止する。ユーザＩＤは、ユーザを識別する情報である。ユーザＩＤは、顔認証により特定されるＩＤであってよい。しかしユーザＩＤはこれに代えて、顔認証により特定されるＩＤに紐づけられる、ユーザのクレジットカード番号等であってもよい。
　外部装置とは、車両の外部に設けられたコンピュータ装置であり、ユーザＩＤに基づいて電子決済をしたり、ユーザＩＤに応じたサービスを提供する。
　そして発信制御部１６が発信を許可した場合、発信部は、搭乗者のユーザＩＤを外部装置へ発信する。一方、発信制御部１６が発信を許可しなかった場合、発信部は、搭乗者のユーザＩＤを外部装置へ発信する。
　図２は、実施形態１にかかる情報処理方法の流れを示すフローチャートである。まず車載システム１０の画像取得部１２は、上述したカメラから撮影画像を取得する（Ｓ１０）。撮影画像に搭乗者の顔領域が含まれている場合、特定部１３は、撮影画像に基づいて顔認証により搭乗者を特定する（Ｓ１１）。次に、判定部１４は、特定した搭乗者が、車両の登録ユーザであるか否かを判定する（Ｓ１２）。特定した搭乗者が車両の登録ユーザである場合（Ｓ１２でＹＥＳ）、発信制御部１６は、発信部に対して、搭乗者のユーザＩＤを外部装置へ発信することを許可し（Ｓ１３）、処理を終了する。一方、特定した搭乗者が車両の登録ユーザでない場合（Ｓ１２でＮＯ）、発信制御部１６は、発信部に対して、搭乗者のユーザＩＤを外部装置へ発信することを制限し（Ｓ１４）、処理を終了する。
　このように実施形態１によれば、車載システム１０では、搭乗者に対応するユーザＩＤが、おおよそハンズフリーで外部装置に発信される。この車載システム１０においては、搭乗者が変更しても物理カードを差し替える必要はない。したがって、ドライブスルーサービス利用時の本人確認における搭乗者の負担を軽減できる。
　また、車載システム１０では、搭乗者が車両の登録ユーザでない場合は、ユーザＩＤを発信しない。したがって不正に搭乗した搭乗者がドライブスルーサービスを利用することを回避できる。
　＜実施形態２＞
　次に、本開示の実施形態２について説明する。図３は、実施形態２にかかるシステム１０００の全体構成を示すブロック図である。システム１０００は、店舗端末が遠隔で車両の搭乗者の本人確認を行い、搭乗者に応じた処理を実行するためのコンピュータシステムである。システム１０００は、顔認証装置１００と、車載システム２０と、店舗端末４００とを備える。少なくとも顔認証装置１００及び車載システム２０は、ネットワークＮを介して互いに接続されている。ネットワークＮは、無線の通信回線であるが、有線の通信回線を含んでもよい。
　顔認証装置１００は、複数の人物の顔特徴情報を記憶する顔認証装置である。顔認証装置１００は、後述するユーザ登録時に、ユーザの顔特徴情報を登録する。また、顔認証装置１００は、車載システム２０から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行う、顔認証機能を有する。本実施形態２では、顔認証装置１００は、車載システム２０の車載装置２００から、来店した搭乗者（ユーザと呼ぶことがある）の顔を撮影した顔画像を取得し、顔画像を用いて顔認証を実行する。そして顔認証装置１００は、照合結果（顔認証結果）を車載装置２００へ返信する。
　車載システム２０は、上述した車載システム１０の一例である。車載システム２０は、車両Ｖに搭載される。車載システム２０は、車載装置２００と、カメラ２５０と、表示部２６０と、入力部２７０と、発信部２８０とを備える。カメラ２５０、表示部２６０、入力部２７０及び発信部２８０は、車載装置２００に有線又は無線で接続される。
　実施形態２では、カメラ２５０は、車両Ｖの室内を撮影する車載カメラである。例えばカメラ２５０は、車両Ｖのインナーミラーに搭載されていてよい。しかしカメラ２５０は、車両の周辺の風景を撮影する車載カメラであってもよい。表示部２６０は、表示手段とも呼ばれる表示装置である。入力部２７０は、入力手段とも呼ばれ、搭乗者からの入力を受け付ける入力装置である。表示部２６０及び入力部２７０は、タッチパネルのように一体的に構成されていてもよい。また表示部２６０及び入力部２７０は、車載装置２００に接続されるスマートフォン又はタブレット端末のタッチパネルであってもよい。例えば表示部２６０及び入力部２７０は、車両Ｖの室内のうち、運転席又は助手席から視認及び入力操作がしやすい領域、例えばダッシュボード、に設けられてよい。発信部２８０は、発信手段とも呼ばれ、車載装置２００が指定したユーザＩＤを、無線通信により店舗端末４００に発信する送信機である。本実施形態２では、発信部２８０が行う無線通信は、Bluetooth（登録商標）又はBLE（Bluetooth Low Energy）等の近距離無線通信である。しかし発信部２８０は、他の任意の無線通信を採用してもよい。
　車載装置２００は、発信部２８０の発信を制御するコンピュータ装置である。車載装置２００は、カメラ２５０を制御して、車両Ｖに乗っている搭乗者Ｕを含む風景を撮影する。車載装置２００は、搭乗者Ｕの顔領域に対する顔認証を、顔認証装置１００を介して、実行する。車載装置２００は、顔認証が成功した搭乗者Ｕが所定条件を満たす場合、搭乗者ＵのユーザＩＤを店舗端末４００に発信するように、発信部２８０を制御する。
　店舗端末４００は、上述した外部装置の一例である。店舗端末４００は、ドライブスルーサービスを提供する店舗に設置された情報端末である。店舗は、一例として、ガソリンスタンド、ＥＶ（Electric Vehicle）充電スタンド又はファーストフード店である。店舗端末４００は、発信部２８０から発信されたユーザＩＤを受信して、車両Ｖの搭乗者の本人確認を行う。そして店舗端末４００は、車両Ｖの搭乗者を料金の請求先として、電子決済を行う。あるいは店舗端末４００は、車両Ｖの搭乗者個人や搭乗者の属性に応じたサービスを提供する。一例として搭乗者個人や搭乗者の属性に応じたサービスの提供とは、個人や属性に応じた販促情報や優待情報を車載システム２０に提供することであってよい。また一例として搭乗者個人や搭乗者の属性に応じたサービスの提供とは、車両Ｖの搭乗者が所定の属性（例えば店舗のＶＩＰ会員）を有することを店舗のスタッフに通知することであってもよい。
　図４は、実施形態２にかかる顔認証装置１００の構成を示すブロック図である。顔認証装置１００は、顔情報ＤＢ（DataBase）１１０と、顔検出部１２０と、特徴点抽出部１３０と、登録部１４０と、認証部１５０とを備える。顔情報ＤＢ１１０は、ユーザＩＤ１１１と当該ユーザＩＤの顔特徴情報１１２とを対応付けて記憶する。顔特徴情報１１２は、顔画像から抽出された特徴点の集合であり、顔情報の一例である。尚、顔認証装置１００は、顔特徴情報１１２の登録ユーザからの要望に応じて、顔特徴ＤＢ１１０内の顔特徴情報１１２を削除してもよい。または、顔認証装置１００は、顔特徴情報１１２の登録から一定期間経過後に削除してもよい。
　顔検出部１２０は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部１３０に供給する。特徴点抽出部１３０は、顔検出部１２０が検出した顔領域から特徴点を抽出し、登録部１４０に顔特徴情報を供給する。また、特徴点抽出部１３０は、車載装置２００から受信した顔画像に含まれる特徴点を抽出し、認証部１５０に顔特徴情報を供給する。
　登録部１４０は、顔特徴情報の登録に際して、ユーザＩＤ１１１を新規に発行する。登録部１４０は、発行したユーザＩＤ１１１と、登録画像から抽出した顔特徴情報１１２とを対応付けて顔情報ＤＢ１１０へ登録する。認証部１５０は、顔特徴情報１１２を用いた顔認証を行う。具体的には、認証部１５０は、顔画像から抽出された顔特徴情報と、顔情報ＤＢ１１０内の顔特徴情報１１２との照合を行う。認証部１５０は、顔特徴情報の一致の有無を車載装置２００に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する（一致有）とは、一致度が所定値以上である場合をいうものとする。
　図５は、実施形態２にかかる顔情報登録処理の流れを示すフローチャートである。まず、顔認証装置１００は、顔登録要求に含まれるユーザの登録画像を取得する（Ｓ２１）。例えば、顔認証装置１００は、顔登録要求を、車載装置２００から、又はユーザが使用するユーザ端末から、ネットワークＮを介して受け付ける。次に、顔検出部１２０は、登録画像に含まれる顔領域を検出する（Ｓ２２）。次に、特徴点抽出部１３０は、ステップＳ２２で検出した顔領域から特徴点を抽出し、登録部１４０に顔特徴情報を供給する（Ｓ２３）。最後に、登録部１４０は、ユーザＩＤ１１１を発行し、当該ユーザＩＤ１１１と顔特徴情報１１２とを対応付けて顔情報ＤＢ１１０に登録する（Ｓ２４）。なお、顔認証装置１００は、顔登録要求元から顔特徴情報１１２を受信し、ユーザＩＤ１１１と対応付けて顔情報ＤＢ１１０に登録してもよい。
　図６は、実施形態２にかかる顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部１３０は、認証用の顔特徴情報を取得する（Ｓ３１）。例えば、顔認証装置１００は、車載装置２００からネットワークＮを介して顔認証要求を受信し、顔認証要求に含まれる顔画像からステップＳ２１からＳ２３のように顔特徴情報を抽出する。または、顔認証装置１００は、車載装置２００から顔特徴情報を受信してもよい。次に、認証部１５０は、取得した顔特徴情報を、顔情報ＤＢ１１０の顔特徴情報１１２と照合する（Ｓ３２）。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上である場合（Ｓ３３でＹｅｓ）、認証部１５０は、顔特徴情報が一致したユーザのユーザＩＤ１１１を特定する（Ｓ３４）。そして認証部１５０は、顔認証に成功した旨と特定したユーザＩＤ１１１とを、顔認証結果として車載装置２００に返信する（Ｓ３５）。一致する顔特徴情報が存在しない場合（Ｓ３３でＮｏ）、認証部１５０は、顔認証に失敗した旨を、顔認証結果として車載装置２００に返信する（Ｓ３６）。
　図７は、実施形態２にかかる店舗端末４００の構成を示すブロック図である。店舗端末４００は、記憶部４２０と、通信部４３０と、表示部４４０と、入力部４５０と、制御部４６０とを備える。
　記憶部４２０は、店舗端末４００の各機能を実現するためのプログラムが格納される記憶装置である。通信部４３０は、車載システム２０と通信するための通信インタフェースである。表示部４４０は、表示装置である。入力部４５０は、入力を受け付ける入力装置である。表示部４４０及び入力部４５０は、タッチパネルのように一体的に構成されていてもよい。制御部４６０は、店舗端末４００が有するハードウェアの制御を行う。尚、表示部４４０及び入力部４５０は省略されてもよい。
　図８は、実施形態２にかかる車載システム２０の構成を示すブロック図である。上述の通り、車載システム２０は、車載装置２００を含む。車載装置２００は、カメラ２５０と、表示部２６０と、入力部２７０と、発信部２８０とに接続されている。
　車載装置２００は、記憶部２１０と、メモリ２２０と、通信部２３０と、制御部２４０とを備える。記憶部２１０は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部２１０は、プログラム２１１と、登録ユーザリスト２１２とを記憶する。プログラム２１１は、本実施形態２にかかる情報処理方法の処理が実装されたコンピュータプログラムである。
　登録ユーザリスト２１２は、登録ユーザのユーザＩＤ２１２１を記憶する。登録ユーザリスト２１２に記憶されるユーザＩＤ２１２１は、顔認証装置１００が発行し、顔情報ＤＢ１１０に記憶されるユーザＩＤ１１１のうち、車両Ｖの正規搭乗者として許可されたユーザのユーザＩＤである。
　メモリ２２０は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部２４０の動作時に一時的に情報を保持するための記憶領域である。通信部２３０は、ネットワークＮとの通信インタフェースである。
　制御部２４０は、車載装置２００の各構成を制御するプロセッサつまり制御装置である。制御部２４０は、記憶部２１０からプログラム２１１をメモリ２２０へ読み込ませ、プログラム２１１を実行する。これにより、制御部２４０は、登録部２４１、画像取得部２４２、特定部２４３、判定部２４４、出力制御部２４５及び発信制御部２４６の機能を実現する。
　登録部２４１は、登録手段とも呼ばれる。登録部２４１は、カメラ２５０又は車載システム２０の管理者が使用する管理者端末から、登録にかかるユーザの撮影画像である登録画像を取得した場合、顔登録要求を顔認証装置１００に送信する。そして登録部２４１は、顔認証装置１００が顔情報を登録し、ユーザＩＤを発行した場合、そのユーザＩＤを登録ユーザとして登録ユーザリスト２１２に登録する。また登録部２４１は、管理者から登録ユーザの追加要求があった場合、指定された登録ユーザのユーザＩＤを登録ユーザリスト２１２に追加してよい。一方、登録部２４１は、管理者から登録ユーザの削除要求があった場合、指定された登録ユーザのユーザＩＤを登録ユーザリスト２１２から削除してよい。
　画像取得部２４２は、上述した画像取得部１２の一例である。画像取得部２４２は、カメラ２５０から車両Ｖの室内又は周辺に位置する搭乗者の撮影画像を取得し、特定部２４３に撮影画像を供給する。
　特定部２４３は、上述した特定部１３の一例である。特定部２４３は、撮影画像に基づいて、顔認証を制御することにより、撮影画像から検出された搭乗者のユーザＩＤを特定する。具体的には、特定部２４３は、画像取得部２４２が撮影画像を取得した場合、撮影画像又は撮影画像から抽出した顔特徴情報を含む顔認証要求を、ネットワークＮを介して顔認証装置１００に送信する。そして特定部２４３は、顔認証装置１００から、顔認証結果を取得する。顔認証に成功した場合、特定部２４３は、顔認証結果からユーザＩＤを取り出す。
　ここで特定部２４３は、撮影画像から複数の搭乗者が検出された場合は、複数の搭乗者の各々のユーザＩＤを特定する。つまり特定部２４３は、複数の搭乗者の各々の顔領域についての顔認証要求を顔認証装置１００に送信し、顔認証装置１００から複数の搭乗者の各々の顔認証結果を取得する。
　判定部２４４は、上述した判定部１４の一例である。判定部２４４は、登録ユーザリスト２１２を参照し、特定部２４３が特定したユーザＩＤが登録ユーザリスト２１２に含まれるか否かを判定する。尚、特定部２４３で複数の搭乗者の各々のユーザＩＤを特定した場合、判定部２４４は、複数の搭乗者の各々について、その搭乗者が車両の登録ユーザであるか否かを判定する。
　出力制御部２４５は、出力制御手段とも呼ばれる。出力制御部２４５は、搭乗者が登録ユーザリスト２１２に含まれる登録ユーザである場合、搭乗者に対して発信許可操作を促すための情報を表示部２６０に表示させ、入力部２７０を介して搭乗者からの発信許可操作を受け付ける。
　ここで出力制御部２４５は、車両の登録ユーザであると判定された搭乗者が複数いる場合、車両Ｖの登録ユーザであると判定された搭乗者のリストを、表示部２６０に表示させてよい。そして出力制御部２４５は、入力部２７０を介して搭乗者から、登録ユーザである搭乗者のうち、ユーザＩＤを発信する搭乗者の選択操作を受け付けてよい。
　発信制御部２４６は、上述した発信制御部１６の一例である。発信制御部２４６は、出力制御部２４５が搭乗者から発信許可操作を受け付けた場合、搭乗者のユーザＩＤを、店舗端末４００に近距離無線通信で発信するように、発信部２８０を制御する。すなわち本実施形態２では、発信制御部２４６は、搭乗者が車両Ｖの登録ユーザであると判定部２４４が判定した場合であっても、搭乗者から発信許可操作を受け付けるまで、発信部２８０によるユーザＩＤの店舗端末４００への発信を制限する。これにより、搭乗者の同意なくユーザＩＤを外部に発信して、電子決済等が勝手に行われてしまうことを回避できる。
　尚、発信制御部２４６は、車両Ｖの登録ユーザであると判定された搭乗者が複数いる場合、車両Ｖのいずれかの搭乗者がリストのうち少なくとも１人の搭乗者を選択するまで、発信部２８０によるユーザＩＤの発信を制限してよい。そして発信制御部２４６は、車両Ｖの登録ユーザであると判定された搭乗者全てのユーザＩＤを、店舗端末４００へ発信することを許可してもよいし、選択された搭乗者のユーザＩＤのみを、店舗端末４００へ発信することを許可してもよい。つまり後者の場合、発信制御部２４６は、車両Ｖの登録ユーザであっても、選択されなかった搭乗者のユーザＩＤを店舗端末４００へ発信することを制限してよい。これにより、登録ユーザであると判定された搭乗者のうち、料金の請求先やサービスの提供先を一部の搭乗者のみに限定することができるため、利便性が向上する。
　図９は、実施形態２にかかる登録処理の流れを示すシーケンス図である。まず車載装置２００の登録部２４１は、管理者からの登録要求があった場合、登録にかかるユーザを撮影した登録画像を取得する（Ｓ５０１）。例えば車載装置２００の登録部２４１は、カメラ２５０又は管理者端末から、登録画像を取得してよい。次に車載装置２００の登録部２４１は、登録画像を含む顔登録要求を、顔認証装置１００に送信する（Ｓ５０２）。そして、顔認証装置１００は、受信した顔登録要求に含まれる登録画像に基づいて、登録にかかるユーザの顔情報（顔特徴情報）を登録する（Ｓ５０３）。そして、顔認証装置１００は、発行したユーザＩＤを車載装置２００に通知する（Ｓ５０４）。車載装置２００の登録部２４１は、通知されたユーザＩＤを、登録ユーザのユーザＩＤとして登録ユーザリスト２１２に登録する（Ｓ５０６）。
　図１０は、実施形態２にかかる発信処理の流れを示すシーケンス図である。本図は、一例として、店舗で電子決済を行う場合の発信処理を示している。
　まず画像取得部２４２は、カメラ２５０を制御して搭乗者Ｕを撮影し（Ｓ５２１）、特定部２４３に撮影画像を供給する。このとき画像取得部２４２は、所定の顔認証トリガを検出するまで、特定部２４３への撮影画像の供給を停止してよい。ここで顔認証トリガは、撮影画像に人物の顔領域を検出したこと、特に顔認証が実施可能な程度のサイズの顔領域を検出したことであってよい。車載装置２００の特定部２４３は、撮影画像内の搭乗者Ｕの顔領域に対する顔認証要求を、顔認証装置１００へ送信する（Ｓ５２２）。そして、顔認証装置１００は、受信した顔認証要求に含まれる顔画像内の搭乗者Ｕの顔領域について顔認証を行う（Ｓ５２３）。ここでは、顔認証に成功したユーザＩＤがあったものとする。顔認証装置１００は、顔認証に成功した旨及びユーザＩＤを含めた顔認証結果を、車載装置２００へ送信する（Ｓ５２４）。このとき車載装置２００は、顔認証が成功したか否かを、表示部２６０に表示させてよい。
　顔認証結果を受信した車載装置２００の判定部２４４は、登録ユーザリスト２１２を参照し、特定したユーザＩＤが登録ユーザリスト２１２に含まれるか否かを判定する（Ｓ５２５）。Ｓ５２１～Ｓ５２５の処理は、搭乗者Ｕが車両Ｖに乗り込んだときに行われてもよいし、運転中に行われてもよいし、店舗で電子決済を行う直前に行われてもよい。そして判定部２４４は、特定したユーザＩＤが登録ユーザリスト２１２に含まれる場合、所定の発信トリガを検出したか否かを判定し、所定の発信トリガを検出した場合に（Ｓ５２６）、Ｓ５２７に処理を進める。ここで発信トリガは、搭乗者ＵのユーザＩＤを発信するためのトリガである。例えば発信トリガは、入力部２７０を介して搭乗者Ｕから電子決済を要求する旨の入力を受け付けたことであってもよいし、電子決済の可否を問い合わせる信号を店舗端末４００から受信したことであってもよい。次に車載装置２００の出力制御部２４５は、登録ユーザと判定された搭乗者Ｕのリストを、表示部２６０に表示させる（Ｓ５２７）。
　ここで、登録ユーザと判定された搭乗者Ｕが１人である場合のＳ５２８～Ｓ５３０の処理について説明する。この場合、搭乗者Ｕが発信許可操作を行うことで（Ｓ５２８）、車載装置２００の発信制御部２４６が、発信部２８０を介して、登録ユーザと判定された搭乗者のユーザＩＤを店舗端末４００に発信する（Ｓ５２９）。ユーザＩＤを受信した店舗端末４００は、ユーザＩＤにより識別される人物を支払い先とした決済処理を実行する（Ｓ５３０）。
　図１１は、実施形態２にかかる表示部２６０の表示の一例を示す図である。本図は、登録ユーザと判定された搭乗者Ｕが１人であった場合のＳ５２８における表示画面を示している。例えば表示部２６０には、登録ユーザと判定された搭乗者の名前と、その搭乗者を支払い先として電子決済による支払いを実行してよいかを確認するメッセージとが表示されていてよい。搭乗者Ｕが、上記支払いを許可する旨の入力操作を行った場合、当該入力操作が発信許可操作として検出される。そして登録ユーザと判定された搭乗者のユーザＩＤが店舗端末４００に発信される。
　次に、登録ユーザと判定された搭乗者Ｕが複数いる場合のＳ５２８～Ｓ５３０の処理について説明する。この場合、いずれかの搭乗者Ｕが、搭乗者の選択操作を行った上で発信許可操作を行うことで（Ｓ５２８）、車載装置２００の発信制御部２４６が、発信部２８０を介して、選択された搭乗者のユーザＩＤを店舗端末４００に発信する（Ｓ５２９）。ユーザＩＤを受信した店舗端末４００は、ユーザＩＤにより識別される人物を支払い先とした決済処理を実行する（Ｓ５３０）。
　図１２は、実施形態２にかかる表示部２６０の表示の一例を示す図である。本図は、登録ユーザと判定された搭乗者が複数いた場合のＳ５２８における表示画面を示している。例えば表示部２６０には、登録ユーザと判定された搭乗者の名前のリストと、いずれの搭乗者を支払い先とするかを選択させるためのメッセージとが表示されている。搭乗者が、搭乗者を選択する操作を行い、「決定」を選択した場合、選択された搭乗者のユーザＩＤを発信することを許可する発信許可操作が行われたものと認識される。そして選択された搭乗者のユーザＩＤが店舗端末４００に発信される。
　ここで、発信制御部２４６は、車両Ｖの搭乗者が支払方法を指定した場合、発信部２８０に対して、支払方法に関する情報をユーザＩＤとともに、店舗端末４００へ発信するように制御してもよい。支払い方法に関する情報は、一括払いか分割払いか、いずれの引落口座にするか、ポイントを利用するか否か、１人が支払うか複数人が支払うか、複数人が支払う場合はどのような割合で支払うか、といった情報を含んでよい。
　支払方法の指定は、図１０のＳ５２８において行われてよい。
　図１３は、実施形態２にかかる表示部２６０の表示の一例を示す図である。例えば表示部２６０には、登録ユーザと判定された搭乗者の名前のリストと、各搭乗者の支払い割合を入力する入力領域とが表示されている。支払い割合の入力領域では、搭乗者からの加算操作又は減算操作を受け付けて、支払い割合が変更できるようになっている。尚、支払い割合の合計が１になるように、各支払い割合が調整されてよい。搭乗者が「決定」の入力領域を選択したことに応じて、ユーザＩＤとともに支払い方法に関する情報が店舗端末４００に発信される。このように支払い方法を都度指定可能とすることで、利便性が向上する。尚、本画面は、図１０のＳ５２８において毎回表示されてもよいし、図１２で複数人を選択した場合に表示され、１人を選択した場合には表示されなくてもよい。また本画面は、図１０のＳ５２８において、支払い割合を変更する旨の入力操作が行われた場合にのみ表示されてもよい。この場合、支払い割合を変更する旨の入力操作がなかった場合には、支払い割合は自動的に各人で等しい割合に設定されてよい（いわゆる割り勘としてよい）。
　尚、実施形態２は、実施形態１と同様の効果を奏する。つまり車載システム２０においては、搭乗者が変更しても物理カードを差し替える必要はない。したがって、ドライブスルーサービス利用時の本人確認における搭乗者Ｕの負担を軽減できる。また、車載システム２０では、搭乗者Ｕが車両Ｖの登録ユーザでない場合は、ユーザＩＤを発信しない。したがって不正に搭乗した搭乗者Ｕがドライブスルーサービスを利用することを回避できる。
　また店舗側にとっては、Bluetooth等の近距離無線通信の汎用受信機さえあれば、ＥＴＣシステムの専用受信機を設置しなくてもよい。したがってコストを削減できる。
　＜実施形態３＞
　次に、本開示の実施形態３について説明する。実施形態３は、車載システムが顔認証により車両の開閉体の解錠を行い、発信制御処理のための登録ユーザ判定結果を解錠制御処理に流用することに特徴を有する。本実施形態３では、開閉体は、フロントドア及びリアドアであるが、これに限らず、ボンネット、給油口カバー、ドアガラス（窓）、及びトランクカバー等であってもよい。以下では、開閉体を、単に「ドア」と呼ぶ。
　図１４は、実施形態３にかかるシステム１０００ａの全体構成を示すブロック図である。システム１０００ａは、車載システム２０に代えて車載システム２０ａを備える点で、実施形態２のシステム１０００と異なる。
　車載システム２０ａは、カメラ２５０に代えてカメラ２５０ａを有し、車載装置２００に代えて車載装置２００ａを有する点で、車載システム２０と異なる。
　カメラ２５０ａは、車両Ｖの外部の周辺風景を撮影する車載カメラである。カメラ２５０ａは、施錠中の車両Ｖのドアを解錠して乗り込むために近づいた搭乗者Ｕの少なくとも顔を撮影する。
　車載装置２００ａは、車載装置２００の機能に加えて、顔認証を用いたドアの解錠制御を実行する。車載装置２００ａは、発信制御処理のための登録ユーザ判定結果を、ドアの解錠制御処理に流用する。
　図１５は、実施形態３にかかる車載システム２０ａの構成を示すブロック図である。車載システム２０ａの車載装置２００ａは、記憶部２１０に代えて記憶部２１０ａと、制御部２４０に代えて制御部２４０ａとを備える。記憶部２１０ａは、プログラム２１１に代えてプログラム２１１ａを記憶する。プログラム２１１ａは、実施形態３にかかる情報処理方法の処理が実装されたコンピュータプログラムである。
　制御部２４０ａは、解除制御部２４７を有する。解除制御部２４７は、カメラ２５０ａから取得した撮影画像に基づいて、搭乗者Ｕが車両Ｖの登録ユーザであると判定部２４４が判定した場合、車両Ｖのドアを解錠するための制御信号を、駆動部（不図示）に送信する。これにより、ドアが解錠する。尚、解錠されるドアは、全てのドアであってもよいし、一部のドアであってもよい。
　図１６は、実施形態３にかかる発信処理の流れを示すシーケンス図である。図１６のステップは、図１０のＳ５２１に代えてＳ５４０と、Ｓ５４１とを有する。まず画像取得部２４２は、カメラ２５０ａを制御して、車両Ｖの前に位置する搭乗者Ｕを撮影し（Ｓ５４０）、特定部２４３に撮影画像を供給する。そしてＳ５２２～Ｓ５２５と同様の処理が実行される。ここでは、判定部２４４による登録ユーザ判定が成功したものとする。この場合、Ｓ５４１において、解除制御部２４７は、車両Ｖのドアを解錠するための制御信号を駆動部（不図示）に送信し、ドアを解錠させる。搭乗者Ｕが車両Ｖに乗り込んだ後、Ｓ５２６～Ｓ５３０と同様の処理が実行される。つまり、判定部２４４が発信トリガを検出した場合（Ｓ５２６）、出力制御部２４５及び発信制御部２４６は、判定部２４４による判定結果に基づいて、実施形態２と同様の処理を実行する。
　このように実施形態３では、ドア解除のための顔認証及び登録ユーザ判定と、実施形態２で説明した発信制御処理のための顔認証及び登録ユーザ判定とは、１度に行われてよい。したがって顔撮影は車外カメラ（カメラ２５０ａ）で行えばよく、図３に示したような車内カメラによる顔撮影は省略されてよい。
　このように実施形態３によれば、車載装置２００ａが発信制御処理のための登録ユーザ判定結果を解錠制御処理に流用することで、処理負荷と、再度搭乗者Ｕを撮影することによる搭乗者Ｕへの心理的負担の増大とを抑えつつ、機能を充実させることができる。
　上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば上述の実施形態では、顔認証機能を顔認証装置１００が有していたが、顔認証装置１００に代えて又は加えて、車載装置２００の登録部２４１及び特定部２４３が顔認証機能を有してもよい。
　また上述の実施形態では、顔を撮影するためのカメラ２５０，２５０ａが車両Ｖに設置され、車載装置２００，２００ａは、カメラ２５０，２５０ａが撮影した撮影画像に基づいて顔認証を実行してユーザを特定していた。しかし、これに代えて、搭乗者Ｕが使用する、カメラ付きのユーザ端末によって搭乗者Ｕが自分の顔を撮影し、車載装置２００，２００ａは、これにより生成された撮影画像に基づいてユーザを特定してもよい。カメラ付きのユーザ端末は、一例としてスマートフォン又はタブレット端末である。
　例えば、ユーザ端末によって撮影された撮影画像によりユーザを特定する例としては、以下のような方法が挙げられる。
　（方法１）まずユーザ端末は、顔認証装置１００に撮影画像データを送信し、顔認証装置１００から顔認証結果を受信する。或いは、ユーザ端末は、端末内の顔認証機能を用いて、顔認証を実行する。そしてユーザ端末は、顔認証結果及びユーザＩＤをBluetooth等の近距離無線通信で車載システム２０，２０ａに送信する。このときユーザ端末は、確認のため、顔認証結果及びユーザＩＤに加えて、撮影画像も車載システム２０，２０ａに送信してよい。
　（方法２）ユーザ端末は、撮影した撮影画像を車載システム２０ａに送る。撮影画像を受信した車載システム２０，２０ａの車載装置２００，２００ａは、顔認証を制御してユーザを特定する。
　上記方法をとることで、車載システム２０，２０ａのカメラ２５０，２５０ａを省略できる。
　また上述の実施形態では、発信制御部２４６は、搭乗者Ｕに対応するユーザＩＤを発信するように発信部２８０を制御していた。しかし、搭乗者Ｕがシェアカー管理会社から車両Ｖを借りて使用している場合、つまり、車両Ｖがシェアカーである場合、発信制御部２４６は、シェアカー管理会社のＩＤを発信するように制御してもよい。
　ここで、発信制御部２４６は、車両Ｖがシェアカーである場合、車両Ｖが訪問した店舗の形態に応じて、搭乗者Ｕに対応するユーザＩＤを発信するか又はシェアカー管理会社のＩＤを発信するかを決定してよい。これにより、例えば、ガソリンスタンド等のサービスステーションにおいては、支払い先を搭乗者Ｕではなくシェアカー管理会社にできる一方で、ファストフード店のドライブスルーにおいては、支払先を搭乗者Ｕにすることができる。
　具体的には、以下のような処理が実施されてよい。
　（１）車載装置２００，２００ａは、店舗端末４００から店舗ＩＤを取得して、店舗のサービス種別又はサービス事業者を特定する。これにより、例えば、車載装置２００は、店舗がサービスステーションなのかファストフード店なのかを特定することができる。そして車載装置２００，２００ａは、店舗のサービス種別又はサービス事業者が所定のサービス種別又はサービス事業者であるか否かを判定する。
　（２）次に、車載装置２００，２００ａは、店舗のサービス種別又はサービス事業者が所定のサービス種別又はサービス事業者である場合、車両Ｖがシェアカーであるのか否かを判定する。例えば車載装置２００，２００ａは、店舗がサービスステーションである場合、車両Ｖがシェアカーであるのか否かを判定する。シェアカーであるか否かの判定方法としては、車載装置２００，２００ａが予め記憶している車両番号を用いてもよいし、シェアカーに搭載されていることを示すその他の情報を予め記憶している場合は、その情報を用いてもよい。
　（３）次に、車載装置２００，２００ａの発信制御部２４６は、車両Ｖがシェアカーである場合、個人ＩＤではなくシェアカーのＩＤまたはシェアカー管理会社のＩＤを発信するように発信部２８０を制御する。そして決済処理では、シェアカーのＩＤ又はシェアカー管理会社のＩＤが用いられる。
　尚、（２）は（１）の前に行われてもよい。すなわち、車載装置２００，２００ａは、自車両Ｖがシェアカーであるのか否かを判定し、シェアカーである場合は店舗端末４００から店舗ＩＤを取得して、店舗のサービス種別又はサービス事業者を特定してもよい。
　このように車載装置２００，２００ａの発信制御部２４６は、車両Ｖがシェアカーであり、かつ店舗のサービス種別又はサービス事業者が所定のものである場合は、シェアカー管理会社のＩＤを発信するように発信部２８０を制御してよい。一方、発信制御部２４６は、車両Ｖがシェアカーでない場合又は車両Ｖがシェアカーであるが店舗のサービス種別又はサービス事業者が所定のものでない場合は、搭乗者Ｕに対応するユーザＩＤを発信するように発信部２８０を制御してよい。
　１０，２０，２０ａ　車載システム
　１００　顔認証装置
　１１０　顔情報ＤＢ
　１１１　ユーザＩＤ
　１１２　顔特徴情報
　１２０　顔検出部
　１３０　特徴点抽出部
　１４０　登録部
　１５０　認証部
　２００，２００ａ　車載装置
　２１０，２１０ａ　記憶部
　２１１，２１１ａ　プログラム
　２１２　登録ユーザリスト
　２１２１　ユーザＩＤ
　２２０　メモリ
　２３０　通信部
　２４０，２４０ａ　制御部
　２４１　登録部
　１２，２４２　画像取得部
　１３，２４３　特定部
　１４，２４４　判定部
　２４５　出力制御部
　１６，２４６　発信制御部
　２４７　解除制御部
　２５０，２５０ａ　カメラ
　２６０　表示部
　２７０　入力部
　２８０　発信部
　４００　店舗端末
　４２０　記憶部
　４３０　通信部
　４４０　表示部
　４５０　入力部
　４６０　制御部
　１０００，１０００ａ　システム
　Ｎ　ネットワーク

Claims (10)

  1. 　車両の周辺又は前記車両の室内に位置する搭乗者を撮影して生成された撮影画像を取得する画像取得手段と、
    　前記撮影画像に基づいて、顔認証を制御することにより、前記搭乗者を特定する特定手段と、
    　前記搭乗者が前記車両の登録ユーザであるか否かを判定する判定手段と、
    　前記搭乗者が前記車両の前記登録ユーザであると判定した場合、前記搭乗者に対応するユーザＩＤを発信手段が外部装置へ発信することを許可する発信制御手段と
    　を備える車載システム。
  2. 　前記発信制御手段は、前記搭乗者が前記車両の前記登録ユーザであると判定しなかった場合、前記発信手段が前記ユーザＩＤを前記外部装置へ発信することを制限する
    　請求項１に記載の車載システム。
  3. 　前記撮影画像に基づいて前記搭乗者が前記車両の前記登録ユーザであると判定した場合、前記車両の開閉体の少なくとも１つの解錠を制御する制御信号を送信する解錠制御手段をさらに備える
    　請求項１又は２に記載の車載システム。
  4. 　前記発信制御手段は、前記搭乗者が前記車両の前記登録ユーザであると判定した場合であっても、前記搭乗者から発信許可の入力を受け付けるまで、前記発信手段による前記ユーザＩＤの前記外部装置への発信を制限する
    　請求項１から３のいずれか一項に記載の車載システム。
  5. 　前記特定手段は、前記撮影画像から複数の搭乗者が検出された場合、前記複数の搭乗者の各々を特定し、
    　前記判定手段は、前記複数の搭乗者の各々について、その搭乗者が前記車両の登録ユーザであるか否かを判定し、
    　前記発信制御手段は、前記発信手段が、前記車両の前記登録ユーザであると判定された搭乗者に対応するユーザＩＤを、前記外部装置へ発信することを許可する
    　請求項１から４のいずれか一項に記載の車載システム。
  6. 　前記車両の前記登録ユーザであると判定された搭乗者が複数いる場合、前記車両の前記登録ユーザであると判定された搭乗者のリストを、表示手段に表示させる出力制御手段をさらに備える
    　請求項５に記載の車載システム。
  7. 　前記発信制御手段は、前記リストのうち少なくとも１人の搭乗者が選択されるまで、前記発信手段による前記ユーザＩＤの前記外部装置への発信を制限する
    　請求項６に記載の車載システム。
  8. 　前記発信制御手段は、支払方法が指定された場合、前記発信手段に対して、前記支払方法に関する情報を前記ユーザＩＤとともに、前記外部装置へ発信するように制御する
    　請求項１から７のいずれか一項に記載の車載システム。
  9. 　車両の周辺又は前記車両の室内に位置する搭乗者を撮影して生成された撮影画像を取得し、
    　前記撮影画像に基づいて、顔認証を制御することにより、前記搭乗者を特定し、
    　前記搭乗者が前記車両の登録ユーザであるか否かを判定し、
    　前記搭乗者が前記車両の前記登録ユーザであると判定した場合、前記搭乗者に対応するユーザＩＤを発信手段が外部装置へ発信することを許可する
    　情報処理方法。
  10. 　車両の周辺又は前記車両の室内に位置する搭乗者を撮影して生成された撮影画像を取得する画像取得処理と、
    　前記撮影画像に基づいて、顔認証を制御することにより、前記搭乗者を特定する特定処理と、
    　前記搭乗者が前記車両の登録ユーザであるか否かを判定する判定処理と、
    　前記搭乗者が前記車両の前記登録ユーザであると判定した場合、前記搭乗者に対応するユーザＩＤを発信手段が外部装置へ発信することを許可する発信制御処理と
    　をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2021/035246 2021-09-27 2021-09-27 車載システム、情報処理方法及び非一時的なコンピュータ可読媒体 WO2023047559A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035246 WO2023047559A1 (ja) 2021-09-27 2021-09-27 車載システム、情報処理方法及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035246 WO2023047559A1 (ja) 2021-09-27 2021-09-27 車載システム、情報処理方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023047559A1 true WO2023047559A1 (ja) 2023-03-30

Family

ID=85719395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035246 WO2023047559A1 (ja) 2021-09-27 2021-09-27 車載システム、情報処理方法及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023047559A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004140706A (ja) * 2002-10-18 2004-05-13 Toshiba Corp 車載用通信装置
JP2007094935A (ja) * 2005-09-30 2007-04-12 Omron Corp 情報処理装置および情報処理方法、情報処理システム、プログラム、並びに、記録媒体
JP2018538611A (ja) * 2015-11-04 2018-12-27 ビザ・インターナショナル・サービス・アソシエーション 車載アクセスアプリケーション
US20200154273A1 (en) * 2018-11-14 2020-05-14 Hyundai Motor Company Vehicle having connected car service and method of controlling the same
JP2020100965A (ja) * 2018-12-20 2020-07-02 株式会社東海理化電機製作所 アクセス管理システム
JP2021033867A (ja) * 2019-08-28 2021-03-01 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004140706A (ja) * 2002-10-18 2004-05-13 Toshiba Corp 車載用通信装置
JP2007094935A (ja) * 2005-09-30 2007-04-12 Omron Corp 情報処理装置および情報処理方法、情報処理システム、プログラム、並びに、記録媒体
JP2018538611A (ja) * 2015-11-04 2018-12-27 ビザ・インターナショナル・サービス・アソシエーション 車載アクセスアプリケーション
US20200154273A1 (en) * 2018-11-14 2020-05-14 Hyundai Motor Company Vehicle having connected car service and method of controlling the same
JP2020100965A (ja) * 2018-12-20 2020-07-02 株式会社東海理化電機製作所 アクセス管理システム
JP2021033867A (ja) * 2019-08-28 2021-03-01 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US20200331433A1 (en) Mobile Device-Enhanced Rental Vehicle Returns
JP6181336B1 (ja) シェアリングシステム
CN105913132B (zh) 一种酒店速住系统、方法
US11521288B2 (en) System and method for managing access to parking zone
US20230084139A1 (en) Biometric authentication method, system, and computer program
CN110392082B (zh) 车辆控制方法和系统
KR101258689B1 (ko) 차량방문 편의제공 시스템
US11599880B2 (en) Systems and methods for providing multi-factor authentication for vehicle transactions
KR101743872B1 (ko) 아파트의 차량 관리 시스템
JP2019131089A (ja) サーバ装置
WO2018113222A1 (zh) 一种汽车自动化快速支付系统及方法
JP2017223068A (ja) 認証方法及び認証装置
TWM563013U (zh) 結合行動通訊裝置及應用場域系統的快捷付費系統
US20240078550A1 (en) Systems and methods for providing multi-factor authentication for vehicle transactions
US11277741B2 (en) Authentication system for an at least partly autonomous vehicle
KR20190115534A (ko) 번호판 인식을 이용한 전기 자동차의 충전 및 결제 시스템
KR102379973B1 (ko) 스마트 도어를 이용한 요금결제 방법 및 시스템
JP5174506B2 (ja) ゲート開閉システム
KR102016089B1 (ko) 전화 자동응답시스템 겸 Web기반 보이는 ARS를 이용한 주차면 공유 시스템
WO2023047559A1 (ja) 車載システム、情報処理方法及び非一時的なコンピュータ可読媒体
JP7003026B2 (ja) 情報処理プログラム、情報処理方法、及び情報処理装置
US20180225886A1 (en) Method and apparatus for executing an electronic money transfer in order to pay a parking fee
US11631075B2 (en) Multiple authentication and payment system and method using eSIM
JP2005084995A (ja) 通行料金収受システム
JP2013235606A (ja) 駐車場管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958433

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549279

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE