WO2024127449A1 - 車両ドア制御装置、方法、及びコンピュータ可読媒体 - Google Patents

車両ドア制御装置、方法、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2024127449A1
WO2024127449A1 PCT/JP2022/045630 JP2022045630W WO2024127449A1 WO 2024127449 A1 WO2024127449 A1 WO 2024127449A1 JP 2022045630 W JP2022045630 W JP 2022045630W WO 2024127449 A1 WO2024127449 A1 WO 2024127449A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
door
vehicle
face
image
Prior art date
Application number
PCT/JP2022/045630
Other languages
English (en)
French (fr)
Inventor
和樹 稲垣
雄太 清水
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/045630 priority Critical patent/WO2024127449A1/ja
Publication of WO2024127449A1 publication Critical patent/WO2024127449A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J5/00—Doors
    • B60J5/04—Doors arranged at the vehicle sides
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off

Definitions

  • the present disclosure relates to a vehicle door control device, a method, and a computer-readable medium.
  • Patent Document 1 discloses a smart entry system.
  • a user approaches a vehicle while carrying an electronic key.
  • An electronic key authentication device installed inside the vehicle wirelessly communicates with the electronic key carried by the user and authenticates the electronic key.
  • a camera installed inside the vehicle captures an image of the user carrying the electronic key.
  • the user directs their gaze toward an area corresponding to the door they wish to select from a number of areas predefined for each door.
  • a computing device detects the user's gaze from the image captured by the camera, and determines the door selected by the user based on the detected gaze.
  • a door unlocking device unlocks the door selected by the user.
  • the door unlocking device unlocks the door that corresponds to the area where the user directs their gaze.
  • the user can select the desired door depending on which area they direct their gaze to.
  • the user's gaze may fluctuate while walking, and the user may not be able to accurately specify the door they want to open.
  • one of the objectives of the present disclosure is to provide a vehicle door control device, method, and computer-readable medium that can accurately control the door that a user wants to control based on the user's line of sight.
  • the vehicle door control device includes gaze detection means for detecting the gaze of a user who is about to get into a vehicle having multiple doors based on an image captured of the user, determination means for determining whether the user has been looking at an area corresponding to a specific door for a predetermined period of time or more based on the detected gaze, authentication means for authenticating the user using the image, and door control means for unlocking the specific door when it is determined that the user has been looking at the area corresponding to the specific door for a predetermined period of time or more and when the user has been successfully authenticated.
  • the present disclosure provides, as a second aspect, a vehicle door control method.
  • the vehicle door providing method includes detecting the line of sight of a user who is about to get into a vehicle having multiple doors based on an image captured of the user, determining whether the user has been looking at an area corresponding to a specific door for a predetermined period of time or more based on the detected line of sight, authenticating the user using the image, and unlocking the specific door when it is determined that the user has been looking at the area corresponding to the specific door for a predetermined period of time or more and when the user has been successfully authenticated.
  • the present disclosure provides a computer-readable medium as a third aspect.
  • the computer-readable medium stores a program for causing a processor to execute a process including detecting a line of sight of a user who is about to get into a vehicle having multiple doors based on an image captured of the user, determining whether the user has been looking at an area corresponding to a specific door for a predetermined period of time or more based on the detected line of sight, authenticating the user using the image, and unlocking the specific door if it is determined that the user has been looking at the area corresponding to the specific door for a predetermined period of time or more and if the user is successfully authenticated.
  • the vehicle door control device, method, and computer-readable medium disclosed herein can accurately control the door that a user wants to control based on the user's line of sight.
  • FIG. 1 is a block diagram showing a schematic configuration example of a vehicle door control device according to the present disclosure
  • 1 is a block diagram showing a vehicle door control device according to a first embodiment of the present disclosure
  • FIG. 2 is a schematic diagram showing a vehicle and an area toward which a user's line of sight is directed.
  • 4 is a flowchart showing an operation procedure of the vehicle control door device.
  • FIG. 4 is a block diagram showing a vehicle control device according to a second embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing a hardware configuration of a vehicle control device.
  • FIG. 1 shows a schematic configuration example of a vehicle door control device according to the present disclosure.
  • the vehicle door control device 10 has a line of sight detection means 11, a determination means 12, an authentication means 13, and a door control means 14.
  • the gaze detection means 11 detects the gaze of a person about to board a vehicle having multiple doors, i.e., a user, based on an image captured of the user.
  • the judgment means 12 judges, based on the gaze detected by the gaze detection means 11, whether the user has been looking at an area corresponding to a specific door among the vehicle's multiple doors for a predetermined period of time or longer.
  • the authentication means authenticates the user using an image captured of the user attempting to get into the vehicle.
  • the door control means unlocks the specific door when it is determined that the user has been looking at a specific door for a predetermined period of time or longer and the user has been successfully authenticated.
  • the door control means 14 unlocks that specific door.
  • the door corresponding to the area the user has been looking at for a predetermined period of time or more is controlled, thereby reducing the possibility that a door other than the door the user wants to open will be controlled. Therefore, the vehicle door control device 10 according to the present disclosure can accurately control the door the user wants to control based on the user's line of sight.
  • FIG. 2 shows a vehicle door control device according to the first embodiment of the present disclosure.
  • the vehicle door control device 100 has an occupant detection unit 101, a gaze detection unit 102, a door determination unit 103, a face authentication unit 104, and a door control unit 105.
  • the vehicle door control device 100 can be physically configured as a device having, for example, one or more memories and one or more processors. At least a part of the functions of each unit in the vehicle door control device 100 can be realized by one or more processors operating in accordance with instructions read from one or more memories.
  • the vehicle door control device 100 is mounted, for example, on a vehicle.
  • the vehicle door control device 100 corresponds to the vehicle door control device 10 shown in FIG. 1.
  • the occupant detection unit 101 acquires camera images from the camera 130.
  • the camera 130 is mounted on the vehicle and captures the area around the vehicle.
  • the camera 130 captures images of people around the vehicle who are about to get into the vehicle, that is, occupants. Vehicle occupants are also called users.
  • the camera 130 may be embedded in, for example, the B-pillar of the vehicle, that is, the pillar between the front door and the rear door.
  • the occupant detection unit 101 may acquire camera images from each of the multiple cameras 130.
  • the occupant detection unit 101 may acquire camera images from a camera that captures the area on the left side of the vehicle, a camera that captures the area on the right side of the vehicle, and a camera that captures the area behind the vehicle.
  • the occupant detection unit 101 uses camera images to detect a user about to get into the vehicle. For example, the occupant detection unit 101 extracts a face image or face area of a person near the vehicle from the camera image. If a face image or face area is extracted, the occupant detection unit 101 determines that a user has been detected.
  • the gaze detection unit 102 detects the gaze of the user detected by the occupant detection unit 101 based on the camera image. For example, the gaze detection unit 102 detects the user's eyes from an image of the face area in the camera image, i.e., the face image, and detects the direction in which the user's eyes are facing. Any known algorithm may be used for gaze detection.
  • the gaze detection unit 102 corresponds to the gaze detection means 11 shown in FIG. 1.
  • the vehicle has multiple doors 150. In addition, multiple areas corresponding to each of the multiple doors 150 are set in the vehicle.
  • the door determination unit 103 determines whether the user is looking at an area corresponding to a specific door for a predetermined period of time or more, based on the user's line of sight detected by the line of sight detection unit 102. If the user has been looking at an area corresponding to a specific door for a predetermined period of time or more, the door determination unit 103 determines the specific door as the door to be controlled. In other words, the door determination unit 103 determines the door corresponding to the area to which the user's line of sight is directed for a predetermined period of time or more as the door to be controlled.
  • the door determination unit 103 corresponds to the determination means 12 shown in FIG. 1.
  • FIG. 3 shows a schematic diagram of a vehicle and the user's line of sight.
  • the user is approaching vehicle 200 from the right side of vehicle 200.
  • Line of sight detection unit 102 detects the line of sight of user 210 based on the camera image. For example, if user 210 wants to open the front door, he/she is considered to look at the front door while approaching vehicle 200. Also, if user 210 wants to open the rear door, he/she is considered to look at the rear door. If user 210 wants to open the trunk or rear hatch, he/she is considered to look at the trunk or rear hatch.
  • the door determination unit 103 identifies the door that the user 210 wants to open as the door in that gaze direction. For example, when the user's gaze is directed toward an area 211 corresponding to a front door for a certain period of time or more, the door determination unit 103 determines the front door as the door to be controlled. When the user's gaze is directed toward an area 212 corresponding to a rear door for a certain period of time or more, the door determination unit 103 determines the rear door as the door to be controlled. When the user's gaze is directed toward an area 213 corresponding to a trunk or rear hatch for a certain period of time or more, the door determination unit 103 determines the trunk or rear hatch as the door to be controlled.
  • FIG. 3 shows an example in which user 210 on the right side of vehicle 200 opens the right door of the vehicle
  • this embodiment is not limited to this. Areas corresponding to the right door of the vehicle and the left door of the vehicle may be set on the right side of the vehicle.
  • door determination unit 103 may determine the right door or the left door as the door to be controlled depending on the area to which the user's gaze is directed.
  • the door to be controlled is not necessarily limited to one, and door determination unit 103 may determine multiple doors as the doors to be controlled when the user's gaze is directed to a certain area for a predetermined period of time or more.
  • the door determination unit 103 may change the above-mentioned predetermined time period depending on the direction of the user's face in the camera image.
  • the ease of gaze detection or the accuracy of gaze detection may change depending on the direction of the user's face relative to the camera 130. For example, when the user's face is significantly tilted relative to the camera 130, the accuracy of gaze direction detection is considered to be lower than when the user's face is directly facing the camera 130.
  • the door determination unit 103 may set the predetermined time period longer when the user's face is facing a direction in which the accuracy of gaze direction detection is low than when the user's face is facing a direction in which the accuracy of gaze direction detection is high.
  • the door determination unit 103 may change the predetermined time according to the distance between the user and the vehicle.
  • the image of the user becomes smaller as the distance increases, so it is considered that the ease or accuracy of detecting the gaze direction decreases as the distance increases.
  • the door determination unit 103 may set the predetermined time longer than when the distance is short.
  • the distance between the user and the vehicle may be estimated from the camera image, or may be measured separately using a sensor capable of measuring distance, such as LiDAR (Light Detection And Ranging).
  • the predetermined time can be appropriately set according to the ease or accuracy of gaze detection, which changes according to the face direction and distance. It is therefore considered that the door determination unit 103 can more accurately determine the door to be controlled.
  • the face authentication unit 104 authenticates the user detected by the occupant detection unit 101.
  • the face authentication unit 104 authenticates the user by face authentication using the camera image of the camera 130.
  • the face authentication unit 104 registers face images of people who are permitted to board the vehicle, or features extracted from the face images.
  • the face authentication unit 104 compares the face image included in the camera image, or the features extracted from the face image, with the registered face image or features.
  • the face authentication unit 104 calculates a matching score indicating the similarity between the face image included in the camera image, or the features extracted from the face image, and the registered face image or features. If the matching score is equal to or greater than a predetermined threshold, the face authentication unit 104 determines that the user's face authentication has been successful.
  • the face authentication unit 104 corresponds to the authentication means 13 shown in FIG. 1.
  • the door control unit 105 unlocks the specific door. In other words, if the user is successfully authenticated by the face authentication unit 104, the door control unit 105 unlocks the door that is determined by the door determination unit 103 to be the door to be controlled.
  • the door control unit 105 corresponds to the door control means 14 shown in FIG. 1.
  • the door control unit 105 unlocks the front door.
  • the door control unit 105 may not only unlock the door, but also open the door.
  • the door control unit 105 sends a control signal to a controller such as an ECU (Electronic Control Unit) that controls the electric sliding door, and controls a motor that drives the electric sliding door.
  • a controller such as an ECU (Electronic Control Unit) that controls the electric sliding door, and controls a motor that drives the electric sliding door.
  • the door control unit 105 may leave the door half-open via some kind of mechanism.
  • the door determination unit 103 may determine whether the user looks at an area corresponding to a specific door for a predetermined period of time or more after the distance between the user and the vehicle becomes within a first distance. In other words, the door determination unit 103 may determine a door to be controlled when the user approaches the vehicle to a first distance.
  • the face authentication unit 104 may authenticate the user by face authentication after the distance between the user and the vehicle becomes within the first distance. The determination of a door to be controlled by the door determination unit 103 and the face authentication by the face authentication unit 104 may be performed in parallel.
  • the door control unit 105 may control a door after the distance between the user and the vehicle becomes within a second distance that is shorter than the first distance.
  • the door determination unit 103 and the face authentication unit 104 may respectively determine the door to be controlled and perform face authentication when the user approaches to within 5 m of the vehicle, and the door control unit 105 may control the door when the user approaches to within 1 m of the vehicle.
  • the determination of the door to be controlled and face authentication can be completed by the time the user approaches the vehicle, and the door can be unlocked after the user is sufficiently close to the vehicle.
  • FIG 4 shows the operation procedure of the vehicle door control device 100.
  • the operation procedure of the vehicle door control device 100 corresponds to the vehicle door control method.
  • the occupant detection unit 101 detects a user around the vehicle based on the camera image of the camera 130 (step S1).
  • the face authentication unit 104 performs face authentication on the user detected in step S1 (step S2).
  • the gaze detection unit 102 determines whether the distance between the user and the vehicle is within a first distance (step S3). If the gaze detection unit 102 determines in step S3 that the distance between the user and the vehicle is within the first distance, it detects the user's gaze detected in step S1 (step S4). Steps S2 and S4 may be performed either first, or in parallel. Furthermore, if face authentication fails in step S2, the processes from step S3 onwards do not have to be performed.
  • the door determination unit 103 determines in the gaze detection unit 102 whether the user's gaze is directed toward an area corresponding to a specific door for a predetermined time or longer (step S5). If it is determined in step S5 that the user's gaze is not directed toward an area corresponding to a specific door for a predetermined time or longer, the process returns to step S4, where the user's gaze is detected. If it is determined in step S5 that the user's gaze is directed toward an area corresponding to a specific door for a predetermined time or longer, the door determination unit 103 determines that specific door as the door to be controlled (step S6).
  • the door control unit 105 determines whether the distance between the user and the vehicle is within a second distance (step S7). If the door control unit 105 determines in step S7 that the distance between the user and the vehicle is within the second distance and if face authentication was successful in step S2, it controls the door determined in step S6 (step S8). In step S8, the door control unit 105 unlocks, for example, the door determined as the door to be controlled. If face authentication was unsuccessful in step S2, the door control unit 105 does not control the door.
  • the gaze detection unit 102 detects the user's gaze, and if the user's gaze is directed toward an area corresponding to a specific door, the door determination unit 103 determines that door as the door to be controlled. If the user is successfully facially authenticated by the facial authentication unit 104, the door control unit 105 unlocks the door that the door determination unit 103 determined as the door to be controlled. In this embodiment, the door that corresponds to the area the user has been looking at for a predetermined period of time or more is controlled. Therefore, the door determination unit 103 can correctly determine which door the user wants to open, and the door control unit 105 can unlock the door the user wants to open.
  • FIG. 5 shows a vehicle door control device according to the second embodiment of the present disclosure.
  • the vehicle door control device 100a has a biometric determination unit 106 in addition to the configuration of the vehicle door control device 100 according to the first embodiment shown in FIG. 2.
  • the biometric determination unit 106 determines whether or not the face of the user in the camera image is a biometric face based on the camera image of the camera 130.
  • the biometric determination unit 106 determines, for example, whether the user's face in the camera image is an artificial object such as a photograph, or the user's own face.
  • the biometric determination unit 106 is also called a biometric determination means.
  • the biometric determination unit 106 can determine whether the user's face in the camera image is a biometric face, based on the change in the user's line of sight as the user moves.
  • the biometric determination unit 106 determines whether the line of sight detected by the line of sight detection unit 102 changes in association with a change in the distance between the user and the vehicle. Based on the result of this determination, the biometric determination unit 106 determines whether the user's face is a biometric face. When the user's line of sight detected as the user moves changes, the biometric determination unit 106 determines that the user's face in the camera image is a biometric face. When the user's line of sight does not change, the biometric determination unit 106 determines that the user's face in the camera image is not a biometric face.
  • the liveness determination unit 106 may determine whether the face in the camera image is a living face based on the movement of the user's torso and face in the camera image.
  • the liveness determination unit 106 detects the up and down movement of the user's face area in the camera image and the up and down movement of the user's torso area in the camera image.
  • the liveness determination unit 106 determines whether the up and down movement of the face area is linked to the up and down movement of the torso area.
  • the biometric determination unit 106 determines that the face in the camera image is a living body face.
  • the biometric determination unit 106 determines that the face in the camera image is not a living body face.
  • the face authentication unit 104 determines that user authentication has failed. Alternatively, the face authentication unit 104 does not need to perform face authentication if the biometric determination unit 106 determines that the user's face in the camera image is not a biological face. In this embodiment, if the biometric determination unit 106 determines that the user's face in the camera image is not a biological face, face authentication is not successful in the face authentication unit 104. For this reason, the door control unit 105 does not control the door.
  • the biometric determination unit 106 determines whether or not the user's face in the camera image is a biometric face. If the biometric determination unit 106 determines that the face is not a biometric face, the face authentication unit 104 does not succeed in authenticating the user's face. This makes it possible to prevent malicious individuals from impersonating the user by using a user's facial photo, thereby improving security. Other effects are the same as those described in the first embodiment.
  • FIG. 6 shows an example of the hardware configuration of the vehicle door control device 100.
  • the vehicle door control device 100 has a processor (CPU: Central Processing Unit) 501, a ROM (read only memory) 502, and a RAM (random access memory) 503.
  • the processor 501, the ROM 502, and the RAM 503 are connected to each other via a bus 504.
  • the vehicle door control device 100 may include other circuits such as peripheral circuits, communication circuits, and interface circuits, although these are not shown.
  • ROM 502 is a non-volatile storage device.
  • a semiconductor storage device with a relatively small capacity such as a flash memory, is used for ROM 502.
  • ROM 502 stores the programs executed by processor 501.
  • the program includes instructions (or software code) that, when loaded into a computer, causes the computer to perform one or more functions described in the embodiments.
  • the program may be stored on a non-transitory computer-readable medium or a tangible storage medium.
  • computer-readable media or tangible storage media include RAM, ROM, flash memory, solid-state drive (SSD) or other memory technology, Compact Disc (CD), digital versatile disc (DVD), Blu-ray (registered trademark) disc or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage devices.
  • the program may be transmitted on a transitory computer-readable medium or a communication medium.
  • transitory computer-readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • RAM 503 is a volatile storage device.
  • Various semiconductor memory devices such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory) are used for RAM 503.
  • RAM 503 can be used as an internal buffer for temporarily storing data, etc.
  • the processor 501 loads the program stored in the ROM 502 into the RAM 503 and executes the program.
  • the CPU 501 executes the program, thereby realizing the functions of each part in the vehicle door control device 100.
  • the vehicle door control device 100 does not necessarily have to be a single device.
  • the vehicle door control device 100 may be configured using multiple devices that are physically separated.
  • at least one of the line of sight detection unit 102, the door determination unit 103, and the face authentication unit 104 may be located outside the vehicle.
  • the functional unit located in the vehicle and the functional unit located outside the vehicle may send and receive information via a wireless communication network.
  • a gaze detection means for detecting a gaze of a user who is about to get into a vehicle having a plurality of doors based on an image of the user; a determination means for determining whether the user has been looking at an area corresponding to a specific door for a predetermined period of time or longer based on the detected line of sight; an authentication means for authenticating the user using the image; and a door control means for unlocking the specific door when it is determined that the user has been looking at the area corresponding to the specific door for a predetermined period of time or longer and when the user has been successfully authenticated.
  • the determination means determines whether or not the user is looking at an area corresponding to a specific door for a predetermined period of time or longer after the distance between the user and the vehicle becomes within a first distance;
  • the vehicle door control device according to any one of claims 1 to 3, wherein the door control means unlocks the specific door after the distance between the user and the vehicle becomes within a second distance that is shorter than the first distance.
  • Appendix 6 a liveness determination unit that determines whether a face of the user in the image is a live face when the user is moving toward the vehicle, based on the image;
  • the vehicle door control device according to claim 5, wherein the authentication means fails to authenticate the user if it is determined that the face of the user in the image is not a biological face.
  • Appendix 7 The vehicle door control device described in Appendix 6, wherein the biometric determination means determines whether the detected line of sight has changed as the distance between the user and the vehicle has changed, and determines whether the user's face in the image is a biometric face based on the result of the determination.
  • Appendix 8 The vehicle door control device described in Appendix 6 or 7, wherein the liveness determination means determines whether the user's face in the image is a live face based on the movement of the user's torso in the image and the movement of the face in the image.
  • Appendix 9 The vehicle door control device described in Appendix 8, wherein the liveness determination means determines whether the up and down movement of the user's face area in the image is linked to the up and down movement of the user's torso area in the image, and determines whether the user's face in the image is the face of a live person based on the result of the determination.
  • [Appendix 10] Detecting a line of sight of a user who is about to get into a vehicle having a plurality of doors based on an image captured of the user; determining whether the user has been looking at an area corresponding to a specific door for a predetermined period of time or more based on the detected line of sight; authenticating the user using the image;
  • a vehicle door control method comprising: unlocking the specific door when it is determined that the user has been looking at an area corresponding to the specific door for a predetermined period of time or more and when the user has been successfully authenticated.
  • Vehicle door control device 11 Line of sight detection means 12: Determination means 13: Authentication means 14: Door control means 100: Vehicle door control device 101: Occupant detection unit 102: Line of sight detection unit 103: Door determination unit 104: Face authentication unit 105: Door control unit 106: Biometric determination unit 130: Camera 150: Door 200: Vehicle 210: Users 211 to 213: Area 501: Processor 502: ROM 503: RAM 504: Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lock And Its Accessories (AREA)

Abstract

ユーザの視線に基づいて、ユーザが制御したいドアを正確に制御することを可能とする。視線検知手段（１１）は、ユーザを撮影した画像に基づいて、ユーザの視線を検知する。判断手段（１２）は、検知されたユーザの視線に基づいて、ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断する。認証手段（１３）は、ユーザを撮影した画像を用いてユーザを認証する。ドア制御手段（１４）は、ユーザが特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつユーザが認証に成功した場合、特定のドアのロックを解除する。

Description

車両ドア制御装置、方法、及びコンピュータ可読媒体
　本開示は、車両ドア制御装置、方法、及びコンピュータ可読媒体に関する。
　関連技術として、特許文献１は、スマートエントリシステムを開示する。特許文献１に記載のスマートエントリシステムにおいて、ユーザは、電子キーを所持し、車両に近付く。車両の内部に配置される電子キー認証装置は、ユーザが所持する電子キーと無線通信を行い、電子キーを認証する。また、車両内に配置されたカメラは、電子キーを所持するユーザを撮影する。ユーザは、車両において、ドアごとにあらかじめ設定された複数の領域のうち、選択したいドアに対応する領域に視線を送る。演算装置は、カメラで撮影された画像から、ユーザの視線を検知し、検知した視線に基づいて、ユーザが選択したドアを判定する。ドアアンロック装置は、ユーザが選択したドアをアンロックする。
特開２００８－２０９５号公報
　特許文献１において、ドアアンロック装置は、ユーザが視線を送った領域に対応するドアをアンロックする。ユーザは、どの領域に視線を送るかに応じて、所望のドアを選択することができる。しかしながら、視線はユーザの歩行中に変動する可能性があり、ユーザは、開けたいドアを正確に指定できない可能性がある。
　本開示は、上記事情に鑑み、ユーザの視線に基づいて、ユーザが制御したいドアを正確に制御できる車両ドア制御装置、方法、及びコンピュータ可読媒体を提供することを目的の１つとする。
　上記目的を達成するために、本開示は、第１の態様として、車両ドア制御装置を提供する。車両ドア制御装置は、複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知する視線検知手段と、前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断する判断手段と、前記画像を用いて前記ユーザを認証する認証手段と、前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除するドア制御手段とを含む。
　本開示は、第２の態様として、車両ドア制御方法を提供する。車両ドア提供方法は、複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知し、前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断し、前記画像を用いて前記ユーザを認証し、前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除することを含む。
　本開示は、第３の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知し、前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断し、前記画像を用いて前記ユーザを認証し、前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除することを含む処理をプロセッサに実行させるためのプログラムを記憶する。
　本開示に係る車両ドア制御装置、方法、及びコンピュータ可読媒体は、ユーザの視線に基づいて、ユーザが制御したいドアを正確に制御することができる。
本開示に係る車両ドア制御装置の概略的な構成例を示すブロック図。 本開示の第１実施形態に係る車両ドア制御装置を示すブロック図。 車両とユーザの視線が向かう領域とを示す模式図。 車両制御ドア装置の動作手順を示すフローチャート。 本開示の第２実施形態に係る車両制御装置を示すブロック図。 車両制御装置のハードウェア構成を示すブロック図。
　本開示の実施形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る車両ドア制御装置の概略的な構成例を示す。車両ドア制御装置１０は、視線検知手段１１、判断手段１２、認証手段１３、及びドア制御手段１４を有する。
　視線検知手段１１は、複数のドアを有する車両に乗車しようとする人、すなわちユーザを撮影した画像に基づいて、ユーザの視線を検知する。判断手段１２は、視線検知手段１１で検知された視線に基づいて、ユーザが車両の複数のドアのうちの特定のドアに対応する領域を所定時間以上見ているか否かを判断する。
　認証手段は、車両に乗車しようとするユーザを撮影した画像を用いてユーザを認証する。ドア制御手段は、ユーザが特定のドアを所定時間以上見ていたと判断された場合で、かつユーザが認証に成功した場合、特定のドアのロックを解除する。
　本開示では、ユーザが、特定のドアに対応する領域を、所定時間以上、見ていた場合で、かつユーザが認証に成功している場合、ドア制御手段１４は、その特定のドアのロックを解除する。本開示では、ユーザが所定時間以上見ていた領域に対応するドアが制御されるため、ユーザが開けたいドアとは異なるドアが制御される可能性を低減できる。従って、本開示に係る車両ドア制御装置１０は、ユーザの視線に基づいて、ユーザが制御したいドアを正確に制御することができる。
　以下、図面を参照しつつ、本開示の実施の形態を詳細に説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、各図面において、同一の要素、及び同様な要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　図２は、本開示の第１実施形態に係る車両ドア制御装置を示す。車両ドア制御装置１００は、乗員検知部１０１、視線検知部１０２、ドア判定部１０３、顔認証部１０４、ドア制御部１０５を有する。車両ドア制御装置１００は、物理的には、例えば１以上のメモリと１以上のプロセッサを有する装置として構成され得る。車両ドア制御装置１００内の各部の機能の少なくとも一部は、１以上のプロセッサが１以上のメモリから読み出した命令に従って動作することで実現され得る。車両ドア制御装置１００は、例えば車両に搭載される。車両ドア制御装置１００は、図１に示される車両ドア制御装置１０に対応する。
　乗員検知部１０１は、カメラ１３０からカメラ画像を取得する。カメラ１３０は、車両に搭載され、車両の周囲の領域を撮影するカメラである。カメラ１３０は、車両の周囲において、車両に乗車しようとする人物、つまり乗員を撮影する。車両の乗員は、ユーザとも呼ばれる。カメラ１３０は、例えば車両のＢピラー、すなわち前席ドアと後席ドアとの間のピラーに埋め込まれていてもよい。
　なお、図２ではカメラ１３０が１つだけ図示されているが、カメラ１３０の数は１つには限定されない。乗員検知部１０１は、複数のカメラ１３０のそれぞれからカメラ画像を取得してもよい。例えば、乗員検知部１０１は、車両の左側方の領域を撮影するカメラ、車両の右側方の領域を撮影するカメラ、及び車両の後方の領域を撮影するカメラのそれぞれからカメラ画像を取得してもよい。
　乗員検知部１０１は、カメラ画像を用いて、車両に乗車しようとするユーザを検知する。乗員検知部１０１は、例えば、カメラ画像から車両の近くにいる人物の顔画像又は顔領域を抽出する。乗員検知部１０１は、顔画像又は顔領域が抽出された場合、ユーザが検知されたと判断する。視線検知部１０２は、カメラ画像に基づいて、乗員検知部１０１で検知されたユーザの視線を検知する。視線検知部１０２は、例えば、カメラ画像における顔領域の画像、すなわち顔画像からユーザの目を検知し、ユーザの目が、どの方向を向いているかを検知する。視線検知には、公知の任意のアルゴリズムが使用され得る。視線検知部１０２は、図１に示される視線検知手段１１に対応する。
　車両は、複数のドア１５０を有している。また、車両には、複数のドア１５０のそれぞれに対応する複数の領域が設定されている。ドア判定部１０３は、視線検知部１０２で検知されたユーザの視線に基づいて、ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断する。ドア判定部１０３は、ユーザが、所定時間以上、特定のドアに対応する領域を見ていた場合、その特定のドアを、制御対象のドアとして決定する。別の言い方をすると、ドア判定部１０３は、ユーザの視線が所定時間以上向けられていた領域に対応するドアを、制御対象のドアとして決定する。ドア判定部１０３は、図１に示される判断手段１２に対応する。
　図３は、車両とユーザの視線とを模式的に示す。この例において、ユーザは、車両２００の右側から、車両２００に近付いている。視線検知部１０２は、カメラ画像に基づいて、ユーザ２１０の視線を検知する。ユーザ２１０は、例えば前席ドアを開けたい場合は、車両２００に近付きながら前席ドアを見ると考えられる。また、ユーザ２１０は、後席ドアを開けたい場合は後席ドアを見ると考えられる。ユーザ２１０は、トランク又は後部ハッチを開けたい場合は、トランク又は後部ハッチを見ると考えられる。
　ドア判定部１０３は、ユーザ２１０の視線が特定のドアに一定時間以上向けられていた場合、ユーザ２１０が開けたいドアは、その視線方向のドアであると特定する。例えば、ドア判定部１０３は、ユーザの視線が、所定時間以上、前席ドアに対応した領域２１１に向けられていた場合、前席ドアを制御対象のドアとして決定する。ドア判定部１０３は、ユーザの視線が、所定時間以上、後席ドアに対応した領域２１２に向けられていた場合、後席ドアを制御対象のドアとして決定する。ドア判定部１０３は、ユーザの視線が、所定時間以上、トランク又は後部ハッチに対応した領域２１３に向けられていた場合、トランク又は後部ハッチを制御対象のドアとして決定する。
　なお、図３では、車両２００の右側にいるユーザ２１０が車両の右側のドアを開ける例が示されているが、本実施形態はこれには限定されない。車両の右側において、車両の右側のドア及び車両の左側のドアのそれぞれに対応する領域が設定されていてもよい。その場合、ドア判定部１０３は、ユーザの視線が向けられる領域に応じて、右側のドア、又は左側のドアを、制御対象のドアとして決定してもよい。制御対象のドアは、必ずしも１つとは限られず、ドア判定部１０３は、ユーザの視線が、所定時間以上、ある領域に向けられる場合に、複数のドアを、制御対象のドアとして決定してもよい。
　ドア判定部１０３は、カメラ画像における、ユーザの顔の向きに応じて、上記所定時間を変更してもよい。視線検知のしやすさ、又は視線検知の精度は、カメラ１３０に対するユーザの顔の向きに応じて変化し得る。例えば、ユーザの顔がカメラ１３０に対して大きく傾いている場合、ユーザの顔がカメラ１３０に対して正対している場合に比べて、視線方向の検知の精度が低いと考えられる。ドア判定部１０３は、ユーザの顔が視線方向の検知の精度が低い方向を向いている場合、ユーザの顔が視線方向の検知の精度が高い方向を向いている場合に比べて、所定時間を長く設定してもよい。
　所定時間を顔の向きに応じて変更することに代えて、又は加えて、ドア判定部１０３は、ユーザと車両との間の距離に応じて、上記所定時間を変更してもよい。カメラ画像において、ユーザの像は距離が長くなるほど小さくなるため、距離が長くなるほど、視線方向の検知のしやすさ、又は精度は低下すると考えられる。ドア判定部１０３は、ユーザと車両との間の距離が長く、従って視線方向の検知の精度が低いことが予想される場合は、距離が短い場合に比べて、所定時間を長く設定してもよい。ユーザと車両との間の距離は、カメラ画像から推定されてもよいし、別途、ＬｉＤＡＲ（Light Detection And Ranging）などの距離を測定可能なセンサを用いて測定されてもよい。顔の向き、及び／又は距離に応じて所定時間を変化させた場合、顔の向き及び距離に応じて変化する視線検知のしやすさ又は精度に応じて、所定時間を適切に設定できる。従って、ドア判定部１０３は、制御対象のドアの判定を、より正確に実施できると考えられる。
　顔認証部１０４は、乗員検知部１０１で検知されたユーザを認証する。本実施形態において、顔認証部１０４は、カメラ１３０のカメラ画像を用いて、ユーザを顔認証で認証する。例えば、顔認証部１０４には、車両への乗車が許可される人物の顔画像、又は顔画像から抽出された特徴量が登録されている。顔認証部１０４は、カメラ画像に含まれる顔画像、又はその顔画像から抽出される特徴量と、登録されている顔画像又は特徴量とを比較する。顔認証部１０４は、カメラ画像に含まれる顔画像、又はその顔画像から抽出される特徴量と、登録されている顔画像又は特徴量との類似度を示す照合スコアを計算する。顔認証部１０４は、照合スコアが所定のしきい値以上の場合、ユーザの顔認証に成功したと判断する。顔認証部１０４は、図１に示される認証手段１３に対応する。
　ドア制御部１０５は、ユーザが特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつユーザが顔認証に成功した場合、特定のドアのロックを解除する。別の言い方をすると、ドア制御部１０５は、顔認証部１０４においてユーザが顔認証に成功した場合、ドア判定部１０３において制御対象のドアと判定されたドアのロックを解除する。ドア制御部１０５は、図１に示されるドア制御手段１４に対応する。
　例えばユーザが前席ドアに対応する領域を所定時間以上見ていた場合で、かつそのユーザが顔認証に成功している場合、ドア制御部１０５は、前席ドアのロックを解除する。ドア制御部１０５は、ドアのロックを解除するだけでなく、ドアを開けてもよい。ドア制御部１０５は、例えばドアが電動スライドドアであれば、電動スライドドアを制御するＥＣＵ（Electronic Control Unit）などのコントローラに制御信号を送信し、電動スライドドアを駆動するモータを制御する。ドア制御部１０５は、例えばドアがヒンジドアであれば、何らかの機構を介して、ドアを半ドアの状態にしてもよい。
　本実施形態において、ドア判定部１０３は、ユーザが車両に近付いてくる場合において、ユーザと車両との間の距離が第１の距離以内になった後に、ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断してもよい。別の言い方をすると、ドア判定部１０３は、ユーザが車両に対して第１の距離まで近づくと、制御対象のドアを判定してもよい。顔認証部１０４も、同様に、ユーザと車両との間の距離が第１の距離以内になった後に、ユーザを顔認証で認証してもよい。ドア判定部１０３における制御対象のドアの判定と、顔認証部１０４における顔認証とは、並列に実施されてもよい。さらに、ドア制御部１０５は、ユーザと車両との間の距離が第１の距離よりも短い第２の距離以内になった後、ドアを制御してもよい。
　例えば、ドア判定部１０３、及び顔認証部１０４は、ユーザが車両から５ｍの距離まで近づいた場合に制御対象のドアの判定、及び顔認証をそれぞれ実施し、ドア制御部１０５は、ユーザが車両から１ｍの距離まで近づいた場合に、ドアの制御を実施してもよい。その場合、ユーザが車両に接近するまでに、制御対象のドアの判定、及び顔認証を完了することができ、ユーザが充分に車両に近づいてから、ドアのロックを解除できる。
　次いで、動作手順を説明する。図４は、車両ドア制御装置１００の動作手順を示す。車両ドア制御装置１００の動作手順は、車両ドア制御方法に対応する。乗員検知部１０１は、カメラ１３０のカメラ画像に基づいて、車両の周囲において、ユーザを検知する（ステップＳ１）。顔認証部１０４は、ステップＳ１で検知されたユーザに対して顔認証を実施する（ステップＳ２）。
　視線検知部１０２は、ユーザと車両との間の距離が第１の距離以内であるか否かを判断する（ステップＳ３）。視線検知部１０２は、視線検知部１０２は、ステップＳ３でユーザと車両との間の距離が第１の距離以内であると判断した場合、ステップＳ１で検知されたユーザの視線を検知する（ステップＳ４）。ステップＳ２とステップＳ４とは、どちらが先に実施されてもよいし、並列に実施されてもよい。また、ステップＳ２において顔認証に失敗した場合、ステップＳ３以降の処理は実施しなくてもよい。
　ドア判定部１０３は、視線検知部１０２において、所定時間以上、ユーザの視線が特定のドアに対応した領域に向けられているか否かを判断する（ステップＳ５）。ステップＳ５で、所定時間以上、ユーザの視線が特定のドアに対応した領域に向けられていないと判断された場合、処理はステップＳ４に戻り、ステップＳ４において、ユーザの視線が検知される。ステップＳ５で、所定時間以上、ユーザの視線が特定のドアに対応した領域に向けられていると判断された場合、ドア判定部１０３は、その特定のドアを、制御対象のドアとして決定する（ステップＳ６）。
　ドア制御部１０５は、ユーザと車両との間の距離が第２の距離以内であるか否かを判断する（ステップＳ７）。ドア制御部１０５は、ステップＳ７でユーザと車両との間の距離が第２の距離以内であると判断した場合で、かつステップＳ２で顔認証に成功していた場合、ステップＳ６で決定されたドアを制御する（ステップＳ８）。ドア制御部１０５は、ステップＳ８では、例えば制御対象として決定されたドアのロックを解除する。ステップＳ２で顔認証に失敗していた場合、ドア制御部１０５は、ドアの制御を実施しない。
　本実施形態では、視線検知部１０２はユーザの視線を検知し、ドア判定部１０３は、ユーザの視線が特定のドアに対応する領域に向いていた場合、そのドアを、制御対象のドアとして決定する。ドア制御部１０５は、ユーザが顔認証部１０４において顔認証に成功した場合、ドア判定部１０３が制御対象のドアとして決定したドアのロックを解除する。本実施形態では、ユーザが所定時間以上見ていた領域に対応するドアが制御される。このため、ドア判定部１０３は、ユーザが開けたいドアを正しく判断でき、ドア制御部１０５は、ユーザが開けたいドアのロックを解除できる。
　続いて本開示の第２実施形態を説明する。図５は、本開示の第２実施形態に係る車両ドア制御装置を示す。本実施形態に係る車両ドア制御装置１００ａは、図２に示される第１実施形態に係る車両ドア制御装置１００の構成に加えて、生体判定部１０６を有する。生体判定部１０６は、ユーザが車両に向かって移動している場合に、カメラ１３０のカメラ画像に基づいて、カメラ画像におけるユーザの顔が生体の顔であるか否かを判定する。生体判定部１０６は、例えば、カメラ画像におけるユーザの顔が、写真などの人工物であるか、或いはユーザ本人の顔であるか、を判定する。生体判定部１０６は、生体判定手段とも呼ばれる。
　例えば、ユーザが車両に向かって歩行する場合に、ユーザが特定のドアを見ながら車両に近付くと、ユーザの視線は、ユーザと車両との間の距離が変化したことに伴って変化すると考えられる。一方、車両の使用権限を有していない人物がユーザの顔写真を掲げて車両に近付いている場合は、カメラ画像から検出されるユーザの視線は、距離が変化しても、一定であると考えられる。生体判定部１０６は、移動するユーザの視線の変化に基づいて、カメラ画像におけるユーザの顔が生体の顔であるか否かを判定することができる。
　例えば、生体判定部１０６は、ユーザが車両に向かって歩行する場合に、視線検知部１０２で検知される視線が、ユーザと車両との間の距離が変化したことに伴って変化しているか否かを判断する。生体判定部１０６は、その判断の結果に基づいてユーザの顔が生体の顔であるか否かを判定する。生体判定部１０６は、ユーザの移動に伴って検知されるユーザの視線の変化する場合、カメラ画像におけるユーザの顔は生体の顔であると判定する。生体判定部１０６は、ユーザの視線の変化しない場合、カメラ画像におけるユーザの顔は生体の顔ではないと判定する。
　視線の変化に基づいてカメラ画像の顔が生体の顔であるか否かを判定することに代えて、又はこれに加えて、生体判定部１０６は、カメラ画像におけるユーザの胴体の動きと顔の動きとに基づいて、カメラ画像の顔が生体の顔であるか否かを判定してもよい。生体判定部１０６は、例えば、カメラ画像におけるユーザの顔の領域の上下動と、カメラ画像におけるユーザの胴体の領域の上下動とを、それぞれ検出する。生体判定部１０６は、顔の領域の上下動が、胴体の領域の上下動と連動しているか否かを判断する。
　例えば、ある人物がユーザの顔写真を掲げて車両に近付く場合、カメラ画像において、写真である顔の領域と、生体である胴体の領域、すなわち首から下の領域とが連動して動かず、不自然な動き方をすると考えられる。生体判定部１０６は、カメラ画像におけるユーザの顔の領域の上下動がカメラ画像におけるユーザの胴体の領域の上下動と連動している場合、カメラ画像の顔が生体の顔であると判定する。生体判定部１０６は、カメラ画像におけるユーザの顔の領域の上下動がカメラ画像におけるユーザの胴体の領域の上下動と連動していない場合は、カメラ画像の顔が生体の顔ではないと判定する。
　本実施形態において、顔認証部１０４は、生体判定部１０６においてカメラ画像におけるユーザの顔が生体の顔ではないと判定された場合、ユーザの認証に失敗したと判断する。あるいは、顔認証部１０４は、生体判定部１０６においてカメラ画像におけるユーザの顔が生体の顔ではないと判定された場合、顔認証を実施しなくてもよい。本実施形態において、生体判定部１０６においてカメラ画像におけるユーザの顔が生体の顔ではないと判定された場合、顔認証部１０４において顔認証が成功しない。このため、ドア制御部１０５は、ドアの制御を実施しない。
　本実施形態では、生体判定部１０６は、カメラ画像におけるユーザの顔が、生体の顔であるか否かを判定する。生体判定部１０６において生体の顔ではないと判定された場合、顔認証部１０４は、ユーザの顔認証に成功しない。このため、悪意のある人物が、ユーザの顔写真を用いてユーザになりすますことを抑制でき、セキュリティを向上できる。他の効果は、第１実施形態で説明した効果と同様である。
　続いて、車両ドア制御装置１００のハードウェア構成を説明する。図６は、車両ドア制御装置１００のハードウェア構成の例を示す。車両ドア制御装置１００は、プロセッサ（ＣＰＵ：Central Processing Unit）５０１、ＲＯＭ（read only memory）５０２、及びＲＡＭ（random access memory）５０３を有する。車両ドア制御装置１００において、プロセッサ５０１、ＲＯＭ５０２、及びＲＡＭ５０３は、バス５０４を介して相互に接続される。車両ドア制御装置１００は、図示は省略するが、周辺回路、通信回路、及びインタフェース回路などの他の回路を含み得る。
　ＲＯＭ５０２は、不揮発性の記憶装置である。ＲＯＭ５０２には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＲＯＭ５０２は、プロセッサ５０１が実行するプログラムを格納する。
　上記プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、Compact Disc (CD)、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　ＲＡＭ５０３は、揮発性の記憶装置である。ＲＡＭ５０３には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ５０３は、データなどを一時的に格納する内部バッファとして用いられ得る。
　プロセッサ５０１は、ＲＯＭ５０２に格納されたプログラムをＲＡＭ５０３に展開し、プログラムを実行する。ＣＰＵ５０１がプログラムを実行することで、車両ドア制御装置１００内の各部の機能が実現され得る。
　なお、車両ドア制御装置１００は、必ずしも単一の装置である必要はない。車両ドア制御装置１００は、物理的に分離された複数の装置を用いて構成されていてもよい。また、車両ドア制御装置１００は、必ずしも全ての機能が車両に搭載されている必要はない。例えば、車両ドア制御装置１００において、視線検知部１０２、ドア判定部１０３、及び顔認証部１０４の少なくとも１つは車両の外部に配置されていてもよい。その場合、車両に配置される機能部と、車外に配置される機能部とは、無線通信ネットワークを介して、情報の送受信を行ってもよい。
　以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
　例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知する視線検知手段と、
　前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断する判断手段と、
　前記画像を用いて前記ユーザを認証する認証手段と、
　前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除するドア制御手段とを備える車両ドア制御装置。
［付記２］
　前記判断手段は、前記画像における、前記ユーザの顔の向きに応じて、前記所定時間を変更する、付記１に記載の車両ドア制御装置。
［付記３］
　前記判断手段は、前記ユーザと前記車両との間の距離に応じて、前記所定時間を変更する、付記１又は２に記載の車両ドア制御装置。
［付記４］
　前記判断手段は、前記ユーザと前記車両との間の距離が第１の距離以内になった後、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否か判断し、
　前記ドア制御手段は、前記ユーザと前記車両との間の距離が前記第１の距離よりも短い第２の距離以内になった後、前記特定のドアのロックを解除する、付記１から３何れか１項に記載の車両ドア制御装置。
［付記５］
　前記認証手段は、前記ユーザを顔認証で認証する、付記１から４何れか１項に記載の車両ドア制御装置。
［付記６］
　前記ユーザが前記車両に向かって移動している場合に、前記画像に基づいて、前記画像における前記ユーザの顔が生体の顔であるか否かを判定する生体判定手段を更に有し、
　前記認証手段は、前記画像における前記ユーザの顔が生体の顔ではないと判定された場合、前記ユーザの認証に失敗する、付記５に記載の車両ドア制御装置。
［付記７］
　前記生体判定手段は、前記ユーザと前記車両との間の距離が変化したことに伴って、前記検知された視線が変化しているか否かを判断し、該判断の結果に基づいて前記画像における前記ユーザの顔が生体の顔であるか否かを判定する、付記６に記載の車両ドア制御装置。
［付記８］
　前記生体判定手段は、前記画像における前記ユーザの胴体の動きと前記画像における顔の動きとに基づいて、前記画像における前記ユーザの顔が生体の顔であるか否かを判定する、付記６又は７に記載の車両ドア制御装置。
［付記９］
　前記生体判定手段は、前記画像における前記ユーザの顔の領域の上下動が前記画像における前記ユーザの胴体の領域の上下動と連動しているか否かを判断し、該判断の結果に基づいて前記画像における前記ユーザの顔が生体の顔であるか否かを判定する、付記８に記載の車両ドア制御装置。
［付記１０］
　複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知し、
　前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断し、
　前記画像を用いて前記ユーザを認証し、
　前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除することを有する車両ドア制御方法。
［付記１１］
　複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知し、
　前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断し、
　前記画像を用いて前記ユーザを認証し、
　前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除することを含む処理をプロセッサに実行させるためのプログラムを記憶する非一時的なコンピュータ可読媒体。
１０：車両ドア制御装置
１１：視線検知手段
１２：判断手段
１３：認証手段
１４：ドア制御手段
１００：車両ドア制御装置
１０１：乗員検知部
１０２：視線検知部
１０３：ドア判定部
１０４：顔認証部
１０５：ドア制御部
１０６：生体判定部
１３０：カメラ
１５０：ドア
２００：車両
２１０：ユーザ
２１１～２１３：領域
５０１：プロセッサ
５０２：ＲＯＭ
５０３：ＲＡＭ
５０４：バス

Claims (11)

  1. 　複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知する視線検知手段と、
    　前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断する判断手段と、
    　前記画像を用いて前記ユーザを認証する認証手段と、
    　前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除するドア制御手段とを備える車両ドア制御装置。
  2. 　前記判断手段は、前記画像における、前記ユーザの顔の向きに応じて、前記所定時間を変更する、請求項１に記載の車両ドア制御装置。
  3. 　前記判断手段は、前記ユーザと前記車両との間の距離に応じて、前記所定時間を変更する、請求項１又は２に記載の車両ドア制御装置。
  4. 　前記判断手段は、前記ユーザと前記車両との間の距離が第１の距離以内になった後、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否か判断し、
    　前記ドア制御手段は、前記ユーザと前記車両との間の距離が前記第１の距離よりも短い第２の距離以内になった後、前記特定のドアのロックを解除する、請求項１から３何れか１項に記載の車両ドア制御装置。
  5. 　前記認証手段は、前記ユーザを顔認証で認証する、請求項１から４何れか１項に記載の車両ドア制御装置。
  6. 　前記ユーザが前記車両に向かって移動している場合に、前記画像に基づいて、前記画像における前記ユーザの顔が生体の顔であるか否かを判定する生体判定手段を更に有し、
    　前記認証手段は、前記画像における前記ユーザの顔が生体の顔ではないと判定された場合、前記ユーザの認証に失敗する、請求項５に記載の車両ドア制御装置。
  7. 　前記生体判定手段は、前記ユーザと前記車両との間の距離が変化したことに伴って、前記検知された視線が変化しているか否かを判断し、該判断の結果に基づいて前記画像における前記ユーザの顔が生体の顔であるか否かを判定する、請求項６に記載の車両ドア制御装置。
  8. 　前記生体判定手段は、前記画像における前記ユーザの胴体の動きと前記画像における顔の動きとに基づいて、前記画像における前記ユーザの顔が生体の顔であるか否かを判定する、請求項６又は７に記載の車両ドア制御装置。
  9. 　前記生体判定手段は、前記画像における前記ユーザの顔の領域の上下動が前記画像における前記ユーザの胴体の領域の上下動と連動しているか否かを判断し、該判断の結果に基づいて前記画像における前記ユーザの顔が生体の顔であるか否かを判定する、請求項８に記載の車両ドア制御装置。
  10. 　複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知し、
    　前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断し、
    　前記画像を用いて前記ユーザを認証し、
    　前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除することを有する車両ドア制御方法。
  11. 　複数のドアを有する車両に乗車しようとするユーザを撮影した画像に基づいて、前記ユーザの視線を検知し、
    　前記検知された視線に基づいて、前記ユーザが特定のドアに対応する領域を所定時間以上見ているか否かを判断し、
    　前記画像を用いて前記ユーザを認証し、
    　前記ユーザが前記特定のドアに対応する領域を所定時間以上見ていたと判断された場合で、かつ前記ユーザが認証に成功した場合、前記特定のドアのロックを解除することを含む処理をプロセッサに実行させるためのプログラムを記憶する非一時的なコンピュータ可読媒体。
PCT/JP2022/045630 2022-12-12 2022-12-12 車両ドア制御装置、方法、及びコンピュータ可読媒体 WO2024127449A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/045630 WO2024127449A1 (ja) 2022-12-12 2022-12-12 車両ドア制御装置、方法、及びコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/045630 WO2024127449A1 (ja) 2022-12-12 2022-12-12 車両ドア制御装置、方法、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2024127449A1 true WO2024127449A1 (ja) 2024-06-20

Family

ID=91484517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045630 WO2024127449A1 (ja) 2022-12-12 2022-12-12 車両ドア制御装置、方法、及びコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2024127449A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008007781A1 (fr) * 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
JP2008266988A (ja) * 2007-04-20 2008-11-06 Omron Corp 入退室管理システム
JP2016014259A (ja) * 2014-07-02 2016-01-28 アルプス電気株式会社 電子キー装置
JP2021001447A (ja) * 2019-06-20 2021-01-07 株式会社ミツバ 車両用制御装置
WO2021220423A1 (ja) * 2020-04-28 2021-11-04 日本電気株式会社 認証装置、認証システム、認証方法および認証プログラム
JP2021184123A (ja) * 2020-05-21 2021-12-02 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008007781A1 (fr) * 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
JP2008266988A (ja) * 2007-04-20 2008-11-06 Omron Corp 入退室管理システム
JP2016014259A (ja) * 2014-07-02 2016-01-28 アルプス電気株式会社 電子キー装置
JP2021001447A (ja) * 2019-06-20 2021-01-07 株式会社ミツバ 車両用制御装置
WO2021220423A1 (ja) * 2020-04-28 2021-11-04 日本電気株式会社 認証装置、認証システム、認証方法および認証プログラム
JP2021184123A (ja) * 2020-05-21 2021-12-02 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム

Similar Documents

Publication Publication Date Title
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
CN110297536B (zh) 一种控制方法及电子设备
US10769415B1 (en) Detection of identity changes during facial recognition enrollment process
US11270544B2 (en) Access control for access restricted domains using first and second biometric data
JP2012121386A (ja) 車載装置
JP4177629B2 (ja) 個人認証装置、個人認証方法、入退出管理装置及び入退出管理方法
WO2021066252A1 (ko) 바이오메트릭스 기반 차량 제어 장치 및 이를 이용한 차량 제어 방법
CN115776957A (zh) 基于驾驶员识别激活车辆的安全性模式
CN112298102A (zh) 车辆控制的方法、装置、存储介质及电子设备和车辆
US20240201790A1 (en) Information processing apparatus, vehicle controlling system, information processing method, and non-transitory computer-readable medium
JP2003233816A (ja) アクセスコントロールシステム
WO2024127449A1 (ja) 車両ドア制御装置、方法、及びコンピュータ可読媒体
JP7427463B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
JP2021127575A (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
JP7181331B2 (ja) 車両制御装置、車両制御方法、及びプログラム
KR20230049535A (ko) 홍채 인증과 얼굴 인증을 병용하는 사용자 인증 장치 및 방법
WO2024121982A1 (ja) 車両ドア制御装置、方法、及びコンピュータ可読媒体
WO2023188083A1 (ja) 機器制御装置、認証装置、方法、及びコンピュータ可読媒体
US11390249B2 (en) Vehicle vision system
US20230084890A1 (en) Vehicle, unlocking apparatus, and method
WO2024116290A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
WO2024171434A1 (ja) 情報更新装置及び方法、認証装置及び方法、並びにコンピュータ可読媒体
WO2023166553A1 (ja) 更新通知装置、認証装置、更新通知方法、及びコンピュータ可読媒体
US20240300446A1 (en) Systems and methods for accessing a vehicle with biometric key
WO2024142170A1 (ja) 情報処理装置、情報処理方法、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22968361

Country of ref document: EP

Kind code of ref document: A1