WO2023175686A1 - 乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体 - Google Patents

乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023175686A1
WO2023175686A1 PCT/JP2022/011408 JP2022011408W WO2023175686A1 WO 2023175686 A1 WO2023175686 A1 WO 2023175686A1 JP 2022011408 W JP2022011408 W JP 2022011408W WO 2023175686 A1 WO2023175686 A1 WO 2023175686A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
imaging
information acquisition
seat
image data
Prior art date
Application number
PCT/JP2022/011408
Other languages
English (en)
French (fr)
Inventor
康平 土方
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/011408 priority Critical patent/WO2023175686A1/ja
Publication of WO2023175686A1 publication Critical patent/WO2023175686A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Definitions

  • the present disclosure relates to an occupant information acquisition device, an occupant information acquisition system, an occupant information acquisition method, and a non-transitory computer-readable medium.
  • a vehicle such as an automobile
  • personal authentication of occupants and understanding of the occupant's condition are used to improve automobile safety and service.
  • a camera In order to perform facial recognition of occupants, it is conceivable to attach a camera to the rearview mirror and take images of the interior of the vehicle.
  • Another method is to use an infrared camera to capture images at night or to reduce the effects of external light. In this case, an infrared camera and an infrared light source are required.
  • Patent Document 1 describes a face detection device that includes a face detection unit that searches for a person's face from an in-vehicle image taken inside a vehicle and identifies a face area where the person's face is detected. Patent Document 1 describes that the face detection unit searches for a person's face in an in-vehicle image after setting a search area for searching for a person's face based on the position of the face area.
  • Patent Document 2 discloses that a search area is set in which the face of an occupant is searched for in a captured image obtained from an imaging device that captures an image of an occupant in a vehicle, and when the face detection unit fails to detect the face of the occupant, the search area is set.
  • a face detection device is described that enlarges the area.
  • Patent Document 3 discloses a twist determination section that determines whether or not an occupant is in a twisted posture based on the position of the shoulder joint of the occupant seated in a vehicle interior seat, and a physique determination section that determines the physique of the occupant.
  • An occupant physique determining device is described, which includes: a physique determining unit that invalidates the determination of the occupant's physique used in the determination when the twisting determination unit determines that the occupant is in a twisted posture.
  • Patent Document 4 describes an occupant detection system that includes an IR sensor that detects the state of an object and a sensor drive device that changes the position of a detection area that is an area where the state is detected by the IR sensor. .
  • Patent Document 5 describes an occupant monitoring device that acquires and monitors a shadowless image of the upper body of an occupant for use in controlling various equipment of a vehicle.
  • Patent Document 6 discloses a face recognition device in which an illumination light source is turned on only when a clear captured image cannot be obtained due to the presence of ambient light, insufficient exposure, etc., and a car user entertainment using the face recognition device. The system is described.
  • Patent Document 7 describes a vehicle drive system that uses a face recognition device that recognizes the driver's face acquired by an imaging camera installed in the vehicle to collate the driver's facial image data, and when the data matches, the vehicle can be started. The equipment is described.
  • an object of the present disclosure is to provide an occupant information acquisition device, an occupant information acquisition system, an occupant information acquisition method, and a non-transitory computer-readable medium that can improve the accuracy of face recognition. It is in.
  • An occupant information acquisition device includes an occupant information acquisition unit that acquires occupant information from a sensor that detects an occupant in a rear seat of a vehicle, and an occupant information acquisition device that captures image data of the occupant in a driver's seat. an imaging condition control means for activating a second imaging condition different from a first imaging condition in an imaging device, and causing the imaging device to image the image data of the passenger in the rear seat; An image data acquisition means for acquiring image data.
  • An occupant information acquisition system includes: a sensor that detects an occupant riding in a rear seat of a vehicle; an imaging device that captures image data of the occupant of the vehicle; the sensor; and the imaging device. and an occupant information acquisition device connected through a communication line, and the occupant information acquisition device includes an occupant information acquisition means that acquires the occupant's riding information from the sensor, and an occupant information acquisition device that captures image data of the occupant in the driver's seat.
  • imaging condition control means for activating a second imaging condition different from a first imaging condition in the imaging device to cause the imaging device to image the image data of the passenger in the rear seat; and image data acquisition means for acquiring the image data.
  • An occupant information acquisition method includes a first step in acquiring the occupant's riding information from a sensor that detects the occupant in the rear seat of a vehicle, and capturing image data of the occupant in the driver's seat.
  • a second imaging condition different from the imaging condition is activated in the imaging device, the imaging device is caused to image the image data of the passenger in the rear seat, and the image data captured by the imaging device is acquired.
  • a non-transitory computer-readable medium acquires boarding information of the passenger from a sensor that detects the passenger in the rear seat of the vehicle, and captures image data of the passenger in the driver's seat. activating a second imaging condition different from the first imaging condition in the imaging device, causing the imaging device to image the image data of the passenger in the rear seat, and causing the imaging device to acquire the image data imaged by the imaging device.
  • a passenger information acquisition program that causes a computer to execute the following is stored.
  • an occupant information acquisition device an occupant information acquisition system, an occupant information acquisition method, and a non-temporary computer-readable medium that can improve the accuracy of face recognition.
  • FIG. 1 is a configuration diagram illustrating an occupant information acquisition system according to an overview of an embodiment.
  • FIG. 2 is a configuration diagram illustrating another occupant information acquisition system according to an overview of the embodiment.
  • FIG. 1 is a block diagram illustrating an occupant information acquisition device according to an overview of an embodiment.
  • FIG. 2 is a block diagram illustrating another occupant information acquisition device according to an overview of the embodiment.
  • 2 is a flowchart illustrating a method for acquiring occupant information according to an overview of the embodiment.
  • 12 is a flowchart illustrating another method for acquiring occupant information according to an overview of the embodiment.
  • 1 is a block diagram illustrating an occupant information acquisition device according to a first embodiment;
  • FIG. FIG. 3 is a flowchart diagram illustrating an occupant information acquisition method according to the first embodiment.
  • FIG. 2 is a configuration diagram illustrating imaging conditions when capturing images of occupants in the driver's seat and the front passenger seat in the occupant information acquisition system according to the first embodiment.
  • FIG. 2 is a configuration diagram illustrating imaging conditions when imaging an occupant in a rear seat in the occupant information acquisition system according to the first embodiment.
  • FIG. 2 is a configuration diagram illustrating imaging conditions for imaging occupants in the driver's seat, passenger seat, and rear seat in the occupant information acquisition system of Embodiment 1;
  • FIG. 2 is a configuration diagram illustrating imaging conditions for imaging occupants in the driver's seat, passenger seat, and rear seat in the occupant information acquisition system of Embodiment 1;
  • FIG. 1 is a configuration diagram illustrating imaging conditions for imaging occupants in the driver's seat, passenger seat, and rear seat in the occupant information acquisition system of Embodiment 1;
  • FIG. 2 is a configuration diagram illustrating a sensor that detects an occupant riding in a rear seat in the occupant information acquisition system according to the first embodiment.
  • FIG. 2 is a configuration diagram illustrating a sensor that detects an occupant riding in a rear seat in the occupant information acquisition system according to the first embodiment.
  • FIG. 2 is a configuration diagram illustrating a sensor that detects an occupant riding in a rear seat in the occupant information acquisition system according to the first embodiment.
  • FIG. 2 is a configuration diagram illustrating a sensor that detects an occupant riding in a rear seat in the occupant information acquisition system according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of a face authentication device in the occupant information acquisition system according to the first embodiment.
  • 7 is a flowchart showing the flow of facial information registration processing in the occupant information acquisition system according to the first embodiment.
  • 7 is a flowchart showing the flow of face authentication processing in the occupant information acquisition system according to the first embodiment.
  • FIG. 1 is a configuration diagram illustrating an occupant information acquisition system according to an overview of the embodiment.
  • the occupant information acquisition system 1 includes a sensor 10, an imaging device 20, and an occupant information acquisition device 40.
  • FIG. 2 is a configuration diagram illustrating another occupant information acquisition system according to an overview of the embodiment.
  • the occupant information acquisition system 1 may further include a face authentication device 30.
  • the sensor 10, the imaging device 20, the face authentication device 30, and the occupant information acquisition device 40 each have functions as a sensor means, an imaging means, a face authentication means, and an information processing means.
  • the sensor 10 detects an occupant riding in the vehicle.
  • the sensor 10 may detect an occupant in each seat of the vehicle.
  • the sensor 10 may detect an occupant riding in a rear seat of a vehicle, or may detect an occupant riding in a driver's seat and a passenger seat of a vehicle.
  • the imaging device 20 images the occupant inside the vehicle. Specifically, the imaging device 20 captures image data of a vehicle occupant in order to perform facial recognition on the vehicle occupant.
  • the imaging device 20 may capture image data of an occupant riding in a driver's seat and a front passenger seat, or may capture image data of an occupant riding in a rear seat.
  • the imaging device 20 captures the image data of the occupant in the driver's seat under the first imaging condition.
  • the imaging device 20 images the image data of the passenger in the rear seat under the second imaging condition.
  • the first imaging condition and the second imaging condition differ in imaging conditions such as, for example, the angle of view, focus, gain, and exposure time when imaging the occupant, and the type and amount of light source.
  • the face authentication device 30 performs facial recognition of the passenger using image data of the passenger's face.
  • FIG. 3 is a block diagram illustrating the occupant information acquisition device 40 according to an overview of the embodiment. As shown in FIG. 3, the occupant information acquisition device 40 is separated from the occupant information acquisition system 1 and becomes a standalone product.
  • the occupant information acquisition device 40 includes a passenger information acquisition section 41, an imaging condition control section 42, and an image data acquisition section 43.
  • FIG. 4 is a block diagram illustrating another occupant information acquisition device 40 according to an overview of the embodiment. As shown in FIG. 4, the occupant information acquisition device 40 may further include an occupant identification section 44.
  • the boarding information acquisition unit 41, the imaging condition control unit 42, the image data acquisition unit 43, and the occupant identification unit 44 function as a boarding information acquisition unit, an imaging condition control unit, an image data acquisition unit, and an occupant identification unit, respectively. It has a function.
  • the boarding information acquisition unit 41 obtains passenger boarding information from the sensor 10.
  • the occupant information acquisition unit 41 may acquire occupant occupant information from the sensor 10 that detects occupants in the driver's seat and front passenger seat, or from the sensor 10 that detects an occupant in the rear seat of the vehicle. Riding information of the occupant may also be acquired.
  • the imaging condition control unit 42 controls the imaging conditions of the imaging device 20. Specifically, the imaging condition control unit 42 sets the imaging device 20 to the first imaging condition when the imaging device 20 captures image data of the occupants in the driver's seat and the front passenger seat. Thereby, the imaging device 20 images image data of the occupants in the driver's seat and the front passenger seat under the first imaging condition.
  • the imaging condition control unit 42 activates the second imaging condition in the imaging device 20 when the imaging device 20 captures image data of the passenger in the rear seat. Then, the imaging condition control unit 42 causes the imaging device 20 to capture image data of the passenger in the rear seat under the second imaging condition. In this manner, when capturing an image of a passenger in the rear seat, the imaging condition control unit 42 sets the second imaging condition to the imaging device, which is different from the first imaging condition when capturing image data of the passenger in the driver's seat. Activate at 20. Then, the imaging condition control unit 42 causes the imaging device 20 to capture the image data of the passenger in the rear seat.
  • the image data acquisition unit 43 acquires image data captured by the imaging device 20.
  • the occupant identification unit 44 causes the face authentication device 30 to perform face authentication using the acquired image data. Then, the occupant identification unit 44 identifies the occupant from the facial recognition performed by the face authentication device 30 .
  • the above-mentioned occupant information acquisition device 40 is, for example, an information processing device such as a personal computer, a server, a mobile terminal, or a tablet.
  • the occupant information acquisition device 40 may include a processor, a memory and storage device, and a communication device as components not shown.
  • the storage device may store the processing performed by each component of the occupant information acquisition device 40 as a program.
  • the processor may read a program from the storage device into the memory and execute the program. Thereby, the processor realizes the functions of the boarding information acquisition section 41, the imaging condition control section 42, the image data acquisition section 43, the occupant identification section 44, and the like.
  • the communication device performs communication necessary for the occupant information acquisition device 40 to perform information processing.
  • Each component of the occupant information acquisition device 40 may be realized by dedicated hardware. Moreover, a part or all of each component may be realized by a general-purpose or dedicated circuit, a processor, etc., or a combination thereof. These may be configured by a single chip or multiple chips connected via a bus. A part or all of each component of each device may be realized by a combination of the circuits and the like described above and a program. Further, as the processor, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), a quantum processor (Quantum Computer Control Chip), etc. can be used.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field-Programmable Gate Array
  • quantum processor Quantum Computer Control Chip
  • each component of the occupant information acquisition device 40 is realized by a plurality of information processing devices, circuits, etc.
  • the plurality of information processing devices, circuits, etc. may be centrally arranged. , may be distributed.
  • information processing devices, circuits, etc. may be realized as a client server system, a cloud computing system, or the like, in which each is connected via a communication network.
  • the functions of the occupant information acquisition device 40 may be provided in a SaaS (Software as a Service) format.
  • SaaS Software as a Service
  • FIG. 5 is a flowchart illustrating an occupant information acquisition method according to an overview of the embodiment.
  • boarding information is acquired.
  • the occupant information acquisition unit 41 of the occupant information acquisition device 40 acquires occupant information from the sensor 10 that detects an occupant riding in a rear seat of a vehicle.
  • the imaging conditions are controlled.
  • the imaging condition control unit 42 uses a second imaging condition that is different from a first imaging condition when capturing image data of a passenger in the driver's seat.
  • the device 20 is activated.
  • the imaging condition control unit 42 causes the imaging device 20 to capture image data of the passenger in the rear seat.
  • step S13 image data is acquired.
  • the image data acquisition unit 43 acquires image data captured by the imaging device 20.
  • FIG. 6 is a flowchart illustrating another occupant information acquisition method according to the outline of the embodiment.
  • the occupant information acquisition method may further include step S14.
  • step S14 the occupant is identified.
  • the occupant identification unit 44 causes the face authentication device 30 to perform face authentication using the acquired image data.
  • the occupant identification unit 44 then identifies the occupant based on the authentication result of the face authentication device 30.
  • the occupant information acquisition system 1 and the occupant information acquisition device 40 of this embodiment when acquiring image data of the occupant in the rear seat, set a first imaging condition different from the first imaging condition when capturing the image data of the occupant in the driver's seat. 2. Activate the imaging conditions in the imaging device 20. Therefore, high-quality image data can be acquired, and the accuracy of face recognition can be improved. Furthermore, since the second imaging condition is activated only when imaging the rear seat, costs can be reduced.
  • FIG. 7 is a block diagram illustrating the occupant information acquisition device according to the first embodiment.
  • the occupant information acquisition device 50 may further include an occupant determination section 45.
  • the occupant determining section 45 has a function as an occupant determining means.
  • the occupant determination unit 45 determines whether the occupant information acquisition unit 41 has acquired the occupant information of the occupant riding in the rear seat. Then, when the occupant determination unit 45 determines that the occupant information acquisition unit 41 has acquired the occupant information of the occupant riding in the rear seat, the imaging condition control unit 42 activates the second imaging condition in the imaging device 20. On the other hand, when the occupant determination section 45 determines that the occupant information acquisition section 41 has not acquired the occupant information of the occupant riding in the rear seat, the imaging condition control section 42 causes the imaging device 20 to set the first imaging condition. Set.
  • FIG. 8 is a flowchart illustrating the occupant information acquisition method according to the first embodiment. As shown in step S21 of FIG. 8, boarding information is acquired.
  • the occupant information acquisition unit 41 of the occupant information acquisition device 40 acquires occupant information from the sensor 10 that detects an occupant riding in a rear seat of a vehicle.
  • the occupant is determined. For example, the occupant determination unit 45 determines whether the occupant information acquisition unit 41 has acquired the occupant information of the occupant riding in the rear seat. In the case of NO in step S22, where it is determined that the riding information of the occupant riding in the rear seat is not to be acquired, the imaging condition control unit 42 sets the imaging device 20 to the first imaging condition, as shown in step S23. . Then, the imaging condition control unit 42 causes the imaging device 20 to capture image data of the occupant in the driver's seat.
  • the imaging condition control unit 42 sets the imaging device 20 to the first imaging condition, as shown in step S24. Set. Then, the imaging condition control unit 42 causes the imaging device 20 to capture image data of the occupant in the driver's seat. At the same time, the imaging condition control unit 42 activates the second imaging condition in the imaging device 20. Then, the imaging condition control unit 42 causes the imaging device 20 to capture image data of the passenger in the rear seat.
  • image data is acquired.
  • the image data acquisition unit 43 acquires image data captured by the imaging device 20. If the riding information of the occupant in the rear seat is not acquired, the image data acquisition unit 43 acquires image data of the occupant in the driver's seat and the front passenger seat. When acquiring the riding information of the occupant in the rear seat, the image data acquisition unit 43 acquires image data of the occupant in the rear seat in addition to the image data of the occupant in the driver's seat and front passenger seat.
  • the occupant identification unit 44 causes the face authentication device 30 to perform face authentication using the acquired image data.
  • the occupant identification unit 44 then identifies the occupant based on the authentication result of the face authentication device 30. For example, if the passenger information of the passenger in the rear seat is not acquired, the passenger identification unit 44 causes the face authentication device 30 to perform facial recognition using the image data of the passenger in the driver's seat and the front passenger seat. Thereby, the occupant identification unit 44 identifies the occupants in the driver's seat and the passenger seat.
  • the passenger identification unit 44 acquires the passenger information of the passenger in the rear seat
  • the passenger identification unit 44 performs facial recognition using the image data of the passenger in the rear seat in addition to the image data of the passenger in the driver's seat and front passenger seat.
  • the device 30 performs face authentication. Thereby, the occupant identification unit 44 identifies the occupants in the driver's seat, passenger seat, and rear seat. In this way, the occupant information acquisition device 50 can be identified by occupant face authentication.
  • FIG. 9 is a configuration diagram illustrating imaging conditions when capturing images of occupants in the driver's seat and passenger seat in the occupant information acquisition system 1 according to the first embodiment.
  • FIG. 10 is a configuration diagram illustrating imaging conditions when capturing an image of a rear seat occupant in the occupant information acquisition system 1 according to the first embodiment.
  • the imaging device 20 may include an imaging section 21 and a light source 22.
  • the imaging unit 21 and the light source 22 have functions as an imaging means and a light source means, respectively.
  • the imaging unit 21 is, for example, a camera.
  • the imaging unit 21 may be an infrared camera.
  • the light source 22 may be, for example, a white light source or an infrared light source. When the amount of light when the imaging unit 21 images the occupant 70 is insufficient, the light source 22 generates light that illuminates the occupant 70 . Further, when the amount of infrared light is insufficient when the imaging unit 21 images the occupant 70 with an infrared camera, the light source 22 generates infrared light.
  • the imaging device 20 may include an imaging unit 21 located in front of the driver's seat 61 and a light source 22 located in front of the driver's seat.
  • a light source 22 located in front of the driver's seat.
  • at least one of the imaging unit 21 and the light source 22 may be placed in a rearview mirror.
  • Imaging conditions when the imaging device 20 images the occupant 70 riding in the vehicle 60 may differ for each seat of the vehicle 60.
  • the imaging conditions may be different for the driver seat 61, passenger seat 62, and rear seat 63.
  • the occupant 70 is seated on the seat 64 of each seat.
  • the imaging condition control unit 42 controls at least one of the imaging unit 21 and the light source 22. is set as the first imaging condition. For example, while the occupant information acquisition system 1 is in operation, the imaging device 20 is normally set to the first imaging condition.
  • the second imaging condition is not activated in the imaging device 20 until the passenger information acquisition unit 41 acquires the passenger information of the occupant in the rear seat 63 from the sensor 10.
  • the second imaging condition is activated in the imaging device 20.
  • the imaging device 20 may switch from the first imaging condition to the second imaging condition.
  • the imaging device 20 may include an imaging section 21a having a first imaging condition and an imaging section 21b having a second imaging condition. Further, the imaging device 20 may include a light source 22a having a first imaging condition and a light source 22b having a second imaging condition. In this case, when the riding information acquisition unit 41 acquires the riding information of the occupant riding in the rear seat 63 from the sensor 10, the imaging condition control unit 42 activates at least one of the imaging unit 21b and the light source 22b.
  • the imaging condition control unit 42 causes the imaging device 20 to capture image data of the occupant in the rear seat 63 under the second imaging condition before or after causing the imaging device 20 to capture image data of the occupant in the rear seat 61 under the first imaging condition. image data may be captured. In this way, one imaging device 20 may switch between the first imaging condition and the second imaging condition.
  • the imaging condition control unit 42 causes the imaging device 20 to capture the image data of the occupant in the driver's seat 61 under the first imaging condition, before or after the imaging device 20 captures the image data of the occupant in the driver's seat 61, or at the same time, causes the imaging device 20 to capture the image data of the passenger in the driver's seat 61 under the second imaging condition.
  • Image data of the occupant in the seat 63 may be captured.
  • the second imaging condition may be activated only when image data of the occupant in the rear seat 63 is to be captured.
  • FIGS. 11 and 12 are configuration diagrams illustrating imaging conditions when imaging occupants in the driver's seat 61, passenger seat 62, and rear seat 63 in the occupant information acquisition system 1 of the first embodiment.
  • the imaging device 20 includes an imaging unit 21 located in front of the driver's seat 61, a light source 22a located in front of the driver's seat, and a light source located behind the driver's seat. 22b.
  • the imaging unit 21 is placed in a rearview mirror.
  • the light source 22a is arranged in the rearview mirror, and the light source 22b is arranged behind the driver's seat 61 and the passenger seat 62.
  • the imaging device 20 includes an imaging unit 21a located in front of the driver's seat 61, a light source 22a located in front of the driver's seat, and an imaging unit 22a located in front of the driver's seat. 21b, and a light source 22b arranged behind the driver's seat.
  • the imaging unit 21a and the light source 22a are arranged in a rearview mirror.
  • the imaging unit 21b and the light source 22b are arranged between the driver's seat 61 and the passenger seat 62 and behind the driver's seat 61 and the passenger seat 62.
  • the imaging condition control unit 42 When capturing image data of the occupants in the driver's seat 61 and passenger seat 62, the imaging condition control unit 42 sets a first imaging condition in the imaging unit 21a and light source 22a that are arranged in front of the driver's seat. On the other hand, when capturing image data of the passenger in the rear seat 63, the imaging condition control unit 42 includes an imaging unit 21b located in front of the driver's seat 61 and a light source 22b located behind the driver's seat 61. Activate the second imaging condition.
  • the imaging device 20 includes an imaging section 21a disposed in front of the driver's seat 61, a light source 22a disposed in front of the driver's seat 61, and an imaging section different from the imaging section 21a. 21b and a light source 22b different from the light source 22a.
  • the imaging condition control unit 42 activates the second imaging condition in at least one of the imaging unit 21a, the light source 22a, the imaging unit 21b, and the light source 22b.
  • the positions of the imaging unit 21a, the imaging unit 21b, the light source 22a, and the light source 22b are in front of the driver's seat, behind the driver's seat, or in the room, if the occupants in the driver's seat 61, passenger seat 62, and rear seat 63 can be imaged.
  • the position is not limited to a mirror or the like, and may be changed to a position suitable for imaging.
  • FIG. 13 is a configuration diagram illustrating the sensor 10 that detects an occupant riding in the rear seat 63 in the occupant information acquisition system 1 according to the first embodiment.
  • the sensor 11 is placed on the door 66 of the rear seat 63.
  • the sensor 11 detects the occupant 70 in the rear seat 63 from the opening and closing of the door 66 of the rear seat 63.
  • the riding information acquisition unit 41 acquires the riding information of the occupant 70 detected by the sensor 11.
  • FIG. 14 is a configuration diagram illustrating the sensor 10 that detects an occupant riding in the rear seat 63 in the occupant information acquisition system 1 according to the first embodiment.
  • the sensor 12 is arranged at the fastener of the seat belt 67 of the rear seat 63.
  • the sensor 12 detects the occupant 70 in the rear seat 63 based on the opening and closing of the fastener of the seat belt 67 on the rear seat 63.
  • the riding information acquisition unit 41 acquires the riding information of the occupant 70 detected by the sensor 12.
  • FIG. 15 is a configuration diagram illustrating the sensor 10 that detects an occupant riding in the rear seat 63 in the occupant information acquisition system 1 according to the first embodiment.
  • the sensor 13 is arranged below the seat 64 of the rear seat 63.
  • the sensor 13 detects the occupant 70 in the rear seat 63 based on the weight applied to the seat 64 of the rear seat 63.
  • the riding information acquisition unit 41 acquires the riding information of the occupant 70 detected by the sensor 13.
  • FIG. 16 is a configuration diagram illustrating the sensor 10 that detects an occupant riding in the rear seat 63 in the occupant information acquisition system 1 according to the first embodiment.
  • the sensor 14 may be an imaging device 20.
  • the sensor 14 may be the imaging section 21.
  • the imaging device 20, which is the sensor 14, detects the movement of a moving object on the rear seat 63.
  • the sensor 14 detects the occupant 70 in the rear seat 63 from the movement of a moving object on the rear seat 63.
  • the riding information acquisition unit 41 acquires the riding information of the occupant 70 detected by the sensor 13.
  • the imaging device 20 functions as a sensor that detects an occupant in the rear seat based on the movement of a moving object in the rear seat, there is no need to arrange other sensors, so costs can be reduced.
  • the imaging device 20 may function as a sensor that detects an occupant riding in the rear seat under the first imaging condition. Thereby, when image data of the occupant riding in the driver's seat 61 is acquired, the occupant riding in the rear seat can be detected.
  • the imaging device 20 may function as a sensor that detects an occupant in the rear seat when the occupant detection condition is different from the first imaging condition and the second imaging condition. Since the occupant detection condition can reduce the amount of light compared to the first imaging condition and the second imaging condition, it is possible to reduce costs.
  • the sensor 10 that detects the occupant 70 seated in the rear seat 63 is not limited to the one described above.
  • the timing at which the imaging condition control unit 42 activates the second imaging condition is when the occupant information acquisition unit 41 acquires the occupant information of the occupant riding in the rear seat 63 from the sensor 10, and when the occupant determination unit 45 This is not limited to the case where the occupant riding in the rear seat 63 is determined.
  • the passenger identification unit 44 receives the facial recognition failure information transmitted from the face authentication device 30. It could be timing.
  • FIG. 17 is a block diagram showing the configuration of the face authentication device 30 in the occupant information acquisition system 1 according to the first embodiment.
  • the face authentication device 30 includes a face information DB 410, a face detection section 420, a feature point extraction section 430, a registration section 440, and an authentication section 450.
  • the face information DB 410, the face detection section 420, the feature point extraction section 430, the registration section 440, and the authentication section 450 have functions as a face information DB means, a face detection means, a feature point extraction means, a registration means, and an authentication means, respectively. are doing.
  • the face information DB 410 stores a user ID 411 and facial feature information 412 of the user ID in association with each other.
  • the user ID 411 is information that identifies a user, and is, for example, an identification number.
  • the facial feature information 412 is a set of feature points extracted from a facial image, and is an example of facial information. Note that the face authentication device 400 may delete the facial feature information 412 in the facial feature DB 410 in response to a request from a registered user of the facial feature information 412. Alternatively, the face authentication device 400 may delete the facial feature information 412 after a certain period of time has passed since it was registered.
  • the face detection unit 420 detects a face area included in a registration image for registering face information and supplies it to the feature point extraction unit 430.
  • the feature point extraction unit 430 extracts feature points from the face area detected by the face detection unit 420 and supplies facial feature information to the registration unit 440. Further, the feature point extraction unit 430 extracts feature points included in the facial image received from the occupant information acquisition device 50 and supplies facial feature information to the authentication unit 450.
  • the registration unit 440 issues a new user ID 411 when registering facial feature information.
  • the registration unit 440 associates the issued user ID 411 with the facial feature information 412 extracted from the registered image and registers it in the facial information DB 410.
  • Authentication unit 450 performs face authentication using facial feature information 412. Specifically, the authentication unit 450 compares the facial feature information extracted from the facial image with the facial feature information 412 in the facial information DB 410.
  • the authentication unit 450 replies to the occupant information acquisition device 50 whether or not the facial feature information matches. Whether or not the facial feature information matches corresponds to the success or failure of authentication. Note that the facial feature information matches (match exists) when the degree of matching is equal to or greater than a predetermined value.
  • FIG. 18 is a flowchart showing the flow of facial information registration processing in the occupant information acquisition system 1 according to the first embodiment.
  • the face authentication device 30 first obtains the registered image of the user U included in the face registration request.
  • the face authentication device 30 receives a face registration request from the passenger information acquisition device 50, which has received a membership registration request from a user terminal.
  • the face authentication device 30 is not limited to this, and may directly receive a face registration request from a user terminal.
  • step S32 the face detection unit 420 detects a face area included in the registered image.
  • step S33 the feature point extraction unit 430 extracts feature points from the facial area detected in step S32, and supplies facial feature information to the registration unit 440.
  • step S ⁇ b>34 the registration unit 440 issues the user ID 411 and registers the user ID 411 and facial feature information 412 in association with each other in the facial information DB 410 .
  • the face authentication device 400 may receive the facial feature information 412 from the face registration request source, and register it in the facial information DB 410 in association with the user ID 411.
  • FIG. 19 is a flowchart showing the flow of face authentication processing in the occupant information acquisition system 1 according to the first embodiment.
  • the feature point extraction unit 430 first obtains facial feature information for authentication.
  • the face authentication device 30 receives a face authentication request from the occupant information acquisition device 50, and extracts facial feature information from the facial image included in the face authentication request as in steps S31 to S33.
  • the face authentication device 30 may receive facial feature information from the occupant information acquisition device 50.
  • step S42 the authentication unit 450 compares the acquired facial feature information with the facial feature information 412 of the facial information DB 410.
  • step S43 it is determined whether the facial features match. Specifically, in step S43, if the facial feature information matches, that is, if the matching degree of the facial feature information is equal to or higher than a predetermined value (YES), as shown in step S44, the authentication unit 450 The user ID 411 of the user whose characteristic information matches is specified. Then, as shown in step S45, the authentication unit 450 returns the fact that the face authentication was successful and the specified user ID 411 to the occupant information acquisition device 50 as the face authentication result.
  • YES a predetermined value
  • step S43 where matching facial feature information does not exist, the authentication unit 450 sends a message indicating that face authentication has failed to the occupant information acquisition device 50 as a face authentication result, as shown in step S46. Reply.
  • the occupant information acquisition system 1 of the present embodiment can improve the accuracy of facial authentication of the occupant of the vehicle 60 by combining occupant determination of the occupant 70 riding in the vehicle 60 and facial authentication for each seat.
  • the passenger information acquisition unit 41 acquires the passenger information of the occupant who boarded the vehicle 60 from the sensor 10, and the passenger determination unit 45 determines which seat in the vehicle interior 65 the passenger boarded the vehicle.
  • the imaging condition control unit 42 can control the imaging device 20 so that the imaging conditions are suitable for face authentication for each seat, and the image data acquisition unit 43 can acquire image data suitable for face authentication. can do.
  • the imaging device 20 activates the second imaging condition when capturing image data of a passenger riding in the rear seat.
  • the imaging device 20 includes one imaging section 21 and one light source 22
  • the first imaging condition of the imaging section 21 and the light source 22 is stopped, and the second imaging condition is activated.
  • the first imaging condition is switched to the second imaging condition.
  • the imaging device 20 includes a plurality of imaging units 21a, 21b and a plurality of light sources 22a, 22b
  • the imaging unit 21b and light source 22b having the second imaging condition are activated. In this way, since the second imaging condition is activated when image data of the passenger riding in the rear seat is captured, power consumption can be reduced.
  • the face authentication device 30 has the face authentication function, but the occupant information acquisition devices 40 and 50 may have the face authentication function instead of or in addition to the face authentication device 30. good.
  • the occupant information acquisition program may be stored in a non-transitory computer readable medium or a tangible storage medium.
  • computer readable or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD - Including ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the occupant information acquisition program may be transmitted on a temporary computer readable medium or a communication medium.
  • transitory computer-readable or communication media includes electrical, optical, acoustic, or other forms of propagating signals.
  • Occupation information acquisition means for acquiring the occupant's riding information from a sensor that detects the occupant riding in the rear seat of the vehicle; Imaging conditions that activate a second imaging condition in the imaging device that is different from the first imaging condition when imaging the image data of the passenger in the driver's seat, and cause the imaging device to image the image data of the passenger in the rear seat.
  • control means image data acquisition means for acquiring image data captured by the imaging device;
  • the imaging device includes: an imaging means disposed in front of the driver's seat; a light source located in front of the driver's seat; has The imaging condition control means activates the second imaging condition in at least one of the imaging means and the light source.
  • the occupant information acquisition device according to supplementary note 1 or 2.
  • the imaging condition control means may cause the imaging device to capture the image data of the occupant in the driver's seat before or after the imaging device captures the image data of the occupant in the driver's seat under the first imaging condition. capturing the image data of the passenger in the rear seat;
  • the imaging device includes: a first imaging means disposed in front of the driver's seat; a first light source located ahead of the driver's seat; In addition to having comprising at least one of a second imaging means different from the first imaging means and a second light source different from the first light source, The imaging condition control means activates the second imaging condition in at least one of the first imaging means, the first light source, the second imaging means, and the second light source.
  • the occupant information acquisition device according to supplementary note 1 or 2.
  • the imaging condition control means controls the imaging device under the second imaging condition before, after, or simultaneously with causing the imaging device to capture the image data of the occupant in the driver's seat under the first imaging condition.
  • the occupant information acquisition device according to appendix 5.
  • the sensor detects the occupant in the rear seat from opening and closing of the rear seat door.
  • the occupant information acquisition device according to any one of Supplementary Notes 1 to 6.
  • the sensor detects the occupant riding in the rear seat based on opening and closing of a fastener of a seat belt on the rear seat.
  • the occupant information acquisition device according to any one of Supplementary Notes 1 to 6.
  • the occupant information acquisition device according to any one of Supplementary Notes 1 to 6.
  • the sensor includes the imaging device that detects the occupant riding in the rear seat based on the movement of a moving object in the rear seat.
  • the occupant information acquisition device according to any one of Supplementary Notes 1 to 6.
  • (Appendix 11) further comprising an occupant identifying means for causing a face authentication device to perform facial authentication using the acquired image data to identify the occupant;
  • the occupant information acquisition device according to any one of Supplementary Notes 1 to 10.
  • the occupant information acquisition device further includes an occupant determination unit that determines whether the occupant information acquisition unit has acquired the occupant information, When the occupant determining means determines that the riding information has been acquired by the riding information acquiring means, the imaging condition control means activates the second imaging condition in the imaging device.
  • the imaging device includes: an imaging means disposed in front of the driver's seat; a light source located in front of the driver's seat; has The imaging condition control means activates the second imaging condition in at least one of the imaging means and the light source.
  • the occupant information acquisition system according to appendix 12 or 13.
  • the imaging condition control means may cause the imaging device to capture the image data of the occupant in the driver's seat before or after the imaging device captures the image data of the occupant in the driver's seat under the first imaging condition. capturing the image data of the passenger in the rear seat; The occupant information acquisition system described in Appendix 14.
  • the imaging device includes: a first imaging means disposed in front of the driver's seat; a first light source located ahead of the driver's seat; In addition to having comprising at least one of a second imaging means different from the first imaging means and a second light source different from the first light source, The imaging condition control means activates the second imaging condition in at least one of the first imaging means, the first light source, the second imaging means, and the second light source.
  • the occupant information acquisition system according to appendix 12 or 13.
  • the imaging condition control means controls the imaging device under the second imaging condition before, after, or simultaneously with causing the imaging device to capture the image data of the occupant in the driver's seat under the first imaging condition.
  • the sensor detects the occupant in the rear seat from opening and closing of the rear seat door.
  • the sensor detects the occupant riding in the rear seat based on opening and closing of a fastener of a seat belt on the rear seat.
  • Additional note 20 The sensor detects the occupant riding in the rear seat based on the weight applied to the seat in the rear seat.
  • the sensor includes the imaging device that detects the occupant riding in the rear seat based on the movement of a moving object in the rear seat.
  • the occupant information acquisition system according to any one of Supplementary Notes 12 to 17.
  • Additional note 22 further comprising a face authentication device that performs face authentication using the image data,
  • the occupant information acquisition device includes: further comprising an occupant identifying means for causing the face authentication device to perform face authentication using the acquired image data to identify the occupant;
  • the occupant information acquisition system according to any one of Supplementary Notes 12 to 21.
  • (Additional note 23) Obtaining riding information of the occupant from a sensor that detects the occupant riding in the rear seat of the vehicle, activating a second imaging condition different from the first imaging condition when imaging the image data of the passenger in the driver's seat in the imaging device, and causing the imaging device to image the image data of the passenger in the rear seat; acquiring image data captured by the imaging device; How to obtain crew information. (Additional note 24) determining whether the ride information has been acquired; activating the second imaging condition in the imaging device when it is determined that the boarding information has been acquired; The crew information acquisition method described in Appendix 23.
  • the imaging device includes: an imaging means disposed in front of the driver's seat; a light source located in front of the driver's seat; has activating the second imaging condition in at least one of the imaging means and the light source; The crew information acquisition method according to appendix 23 or 24.
  • the imaging device Before or after the imaging device captures the image data of the occupant in the driver's seat under the first imaging condition, the imaging device captures an image of the occupant in the rear seat under the second imaging condition. image data, The crew information acquisition method described in Appendix 25.
  • the imaging device includes: a first imaging means disposed in front of the driver's seat; a first light source located ahead of the driver's seat; In addition to having comprising at least one of a second imaging means different from the first imaging means and a second light source different from the first light source, activating the second imaging condition of at least one of the first imaging means, the first light source, the second imaging means, and the second light source; The crew information acquisition method according to appendix 23 or 24. (Additional note 28) Before or after the imaging device captures the image data of the occupant in the driver's seat under the first imaging condition, or at the same time, the imaging device captures the image data of the occupant in the rear seat under the second imaging condition.
  • the sensor detects the occupant in the rear seat from opening and closing of the rear seat door.
  • the method for acquiring occupant information according to any one of Supplementary Notes 23 to 28. Additional note 30
  • the sensor detects the occupant riding in the rear seat based on opening and closing of a fastener of a seat belt on the rear seat.
  • (Appendix 31) The sensor detects the occupant riding in the rear seat based on the weight applied to the seat in the rear seat.
  • the sensor includes the imaging device that detects the occupant riding in the rear seat based on the movement of a moving object in the rear seat.
  • the method for acquiring occupant information according to any one of Supplementary Notes 23 to 28. (Appendix 33) causing a face authentication device to perform facial recognition using the acquired image data to identify the passenger; The method for acquiring occupant information according to any one of Supplementary Notes 23 to 32.
  • (Appendix 34) Obtaining riding information of the occupant from a sensor that detects the occupant riding in the rear seat of the vehicle; activating a second imaging condition different from the first imaging condition when imaging the image data of the passenger in the driver's seat in the imaging device, and causing the imaging device to image the image data of the passenger in the rear seat; acquiring image data captured by the imaging device;
  • a non-transitory computer-readable medium that stores an occupant information acquisition program that causes a computer to perform certain operations.
  • the imaging device includes: an imaging means disposed in front of the driver's seat; a light source located in front of the driver's seat; has activating the second imaging condition in at least one of the imaging means and the light source; 36.
  • a non-transitory computer-readable medium storing the occupant information acquisition program according to appendix 34 or 35, which causes a computer to execute the program.
  • the imaging device Before or after the imaging device captures the image data of the occupant in the driver's seat under the first imaging condition, the imaging device captures an image of the occupant in the rear seat under the second imaging condition.
  • image data A non-transitory computer-readable medium storing the occupant information acquisition program according to supplementary note 36, which causes a computer to execute the program.
  • the imaging device includes: a first imaging means disposed in front of the driver's seat; a first light source located in front of the driver's seat; In addition to having comprising at least one of a second imaging means different from the first imaging means and a second light source different from the first light source, activating the second imaging condition of at least one of the first imaging means, the first light source, the second imaging means, and the second light source; 36.
  • a non-transitory computer-readable medium storing the occupant information acquisition program according to appendix 34 or 35, which causes a computer to execute the program.
  • the imaging device Before or after the imaging device captures the image data of the occupant in the driver's seat under the first imaging condition, or at the same time, the imaging device captures the image data of the occupant in the rear seat under the second imaging condition. to capture image data of 39.
  • a non-transitory computer-readable medium storing the occupant information acquisition program according to supplementary note 38, which causes a computer to execute the program.
  • the sensor detects the occupant in the rear seat from opening and closing of the rear seat door.
  • the sensor detects the occupant riding in the rear seat based on opening and closing of a fastener of a seat belt on the rear seat.
  • the sensor detects the occupant riding in the rear seat based on the weight applied to the seat in the rear seat.
  • a non-transitory computer-readable medium in which the occupant information acquisition program according to any one of Supplementary Notes 34 to 39 is stored.
  • the sensor includes the imaging device that detects the occupant riding in the rear seat based on the movement of a moving object in the rear seat.
  • Occupant information acquisition system 10, 11, 12, 13, 14 Sensor 20 Imaging device 21, 21a, 21b Imaging section 22, 22a, 22b Light source 30 Face authentication device 40, 50 Occupant information acquisition device 41 Riding information acquisition section 42 Imaging conditions Control unit 43 Image data acquisition unit 44 Occupant identification unit 45 Occupant determination unit 60 Vehicle 61 Driver seat 62 Passenger seat 63 Rear seat 64 Seat 65 Interior 66 Door 67 Seat belt 70 Occupant 410 Facial information DB 411 User ID 412 Facial feature information 420 Face detection section 430 Feature point extraction section 440 Registration section 450 Authentication section

Abstract

乗員情報取得装置（４０）は、車両（６０）の後部座席（６３）に乗車した乗員（７０）を検知するセンサ（１０）から乗員（７０）の乗車情報を取得する乗車情報取得手段と、運転席（６１）の乗員（７０）の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置（２０）において起動させ、撮像装置（２０）に後部座席（６３）の乗員（７０）の画像データを撮像させる撮像条件制御手段と、撮像装置（２０）が撮像した画像データを取得する画像データ取得手段と、を備える。

Description

乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体
　本開示は、乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体に関する。
　自動車等の車両の車室内において、乗員の個人認証及び乗員の状態の把握は、自動車の安全性及びサービス向上に利用されている。例えば、乗員の顔認証を行うために、ルームミラーの位置にカメラを取り付け、室内を撮像することが考えられる。夜間や外光の影響を少なくするために、赤外線カメラによって撮像する方法もある。この場合には、赤外線カメラと赤外光源が必要となる。
　特許文献１には、車両内を撮影した車内画像から人物の顔を探索し、人物の顔が検出された顔領域を特定する顔検出部を備えた顔検出装置が記載されている。特許文献１の顔検出部は、顔領域の位置に基づいて、人物の顔を探索する探索領域を設定した後に、車内画像に対して人物の顔を探索することが記載されている。
　特許文献２には、車両内の乗員を撮像する撮像装置から取得した撮像画像において乗員の顔が探索される探索領域を設定し、顔検出部が乗員の顔の検出に失敗した場合に、探索領域を拡大させる顔検出装置が記載されている。
　特許文献３には、車室内シートに着座している乗員の肩関節位置に基づいて、乗員がひねり姿勢であるか否かを判定するひねり判定部と、乗員の体格を判定する体格判定部と、を備え、体格判定部は、ひねり判定部によりひねり姿勢であると判定された場合は、その判定に用いられた乗員の体格の判定を無効とする乗員体格判定装置が記載されている。
　特許文献４には、物体の状態を検知するＩＲセンサと、ＩＲセンサによって状態が検知される領域である被検知領域の位置を変化させるセンサ駆動装置と、を備える乗員検知システムが記載されている。
　特許文献５には、車両の各種装備の制御に利用するために乗員の上半身の無影画像を取得し監視する乗員監視装置が記載されている。
　特許文献６には、外乱光の存在や露光不足等のために鮮明な撮影画像が得られない場合に限り照明光源が点灯するようにした顔認識装置及び顔認識装置を用いた自動車用ユーザもてなしシステムが記載されている。
　特許文献７には、車両内に設置される撮像カメラにより取得した運転者の顔を認識する顔認識装置により、運転者の顔画像データを照合して一致した場合に、始動可能となる車両駆動装置が記載されている。
国際公開第２０２１／２１００４１号 国際公開第２０２１／１９２００７号 特開２０２１－０６６２７６号公報 特開２０１７－１２８３２１号公報 特開２０１０－１１１３６７号公報 特開２００８－０１７２２７号公報 特開２００４－３３０９７９号公報
　車室内の各座席の顔認証を実施する場合に、各座席で適切な顔画像を取得することが出来ず、顔認証の精度が低下する場合がある。
　本開示の目的は、上述した課題に鑑み、顔認証の精度を向上させることができる乗員情報取得装置、乗員情報取得システム、乗員情報取得方法、及び、非一時的なコンピュータ可読媒体を提供することにある。
　本開示の一態様にかかる乗員情報取得装置は、車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得する乗車情報取得手段と、運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる撮像条件制御手段と、前記撮像装置が撮像した画像データを取得する画像データ取得手段と、を備える。
　本開示の一態様にかかる乗員情報取得システムは、車両の後部座席に乗車した乗員を検知するセンサと、前記車両の前記乗員の画像データを撮像する撮像装置と、前記センサ、及び、前記撮像装置と通信回線で接続された乗員情報取得装置と、を備え、前記乗員情報取得装置は、前記センサから前記乗員の乗車情報を取得する乗車情報取得手段と、運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を前記撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる撮像条件制御手段と、前記撮像装置が撮像した画像データを取得する画像データ取得手段と、を有する。
　本開示の一態様にかかる乗員情報取得方法は、車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得し、運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させ、前記撮像装置が撮像した画像データを取得する。
　本開示の一態様にかかる非一時的なコンピュータ可読媒体には、車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得させ、運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させ、前記撮像装置が撮像した画像データを取得させることをコンピュータに実行させる乗員情報取得プログラムが格納される。
　本開示により、顔認証の精度を向上させることができる乗員情報取得装置、乗員情報取得システム、乗員情報取得方法、及び、非一時的なコンピュータ可読媒体を提供することができる。
実施形態の概要に係る乗員情報取得システムを例示した構成図である。 実施形態の概要に係る別の乗員情報取得システムを例示した構成図である。 実施形態の概要に係る乗員情報取得装置を例示したブロック図である。 実施形態の概要に係る別の乗員情報取得装置を例示したブロック図である。 実施形態の概要に係る乗員情報取得方法を例示したフローチャートである。 実施形態の概要に係る別の乗員情報取得方法を例示したフローチャートである。 実施形態１に係る乗員情報取得装置を例示したブロック図である。 実施形態１に係る乗員情報取得方法を例示したフローチャート図である。 実施形態１に係る乗員情報取得システムにおいて、運転席及び助手席の乗員を撮像する場合の撮像条件を例示した構成図である。 実施形態１に係る乗員情報取得システムにおいて、後部座席の乗員を撮像する場合の撮像条件を例示した構成図である。 実施形態１の乗員情報取得システムにおいて、運転席、助手席及び後部座席の乗員を撮像する場合の撮像条件を例示した構成図である。 実施形態１の乗員情報取得システムにおいて、運転席、助手席及び後部座席の乗員を撮像する場合の撮像条件を例示した構成図である。 実施形態１に係る乗員情報取得システムにおいて、後部座席に乗車した乗員を検知するセンサを例示した構成図である。 実施形態１に係る乗員情報取得システムにおいて、後部座席に乗車した乗員を検知するセンサを例示した構成図である。 実施形態１に係る乗員情報取得システムにおいて、後部座席に乗車した乗員を検知するセンサを例示した構成図である。 実施形態１に係る乗員情報取得システムにおいて、後部座席に乗車した乗員を検知するセンサを例示した構成図である。 実施形態１に係る乗員情報取得システムにおいて、顔認証装置の構成を示すブロック図である。 実施形態１に係る乗員情報取得システムにおいて、顔情報登録処理の流れを示すフローチャートである。 実施形態１に係る乗員情報取得システムにおいて、顔認証処理の流れを示すフローチャートである。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
　（実施形態の概要）
　実施形態の概要に係る乗員情報取得システム及び乗員情報取得装置を説明する。図１は、実施形態の概要に係る乗員情報取得システムを例示した構成図である。図１に示すように、乗員情報取得システム１は、センサ１０、撮像装置２０及び乗員情報取得装置４０を備えている。図２は、実施形態の概要に係る別の乗員情報取得システムを例示した構成図である。図２に示すように、乗員情報取得システム１は、顔認証装置３０をさらに備えてもよい。センサ１０、撮像装置２０、顔認証装置３０及び乗員情報取得装置４０は、それぞれ、センサ手段、撮像手段、顔認証手段及び情報処理手段としての機能を有している。
　センサ１０は、車両に乗車した乗員を検知する。センサ１０は、車両の座席毎に乗車した乗員を検知してもよい。例えば、センサ１０は、車両の後部座席に乗車した乗員を検知してもよいし、車両の運転席及び助手席に乗車した乗員を検知してもよい。
　撮像装置２０は、車両の車室内の乗員を撮像する。具体的には、撮像装置２０は、車両の乗員を顔認証するために、乗員の画像データを撮像する。撮像装置２０は、運転席及び助手席に乗車した乗員の画像データを撮像してもよいし、後部座席に乗車した乗員の画像データを撮像してもよい。撮像装置２０は、運転席及び助手席の乗員の画像データを取得する際には、第１撮像条件によって運転席の乗員の画像データを撮像する。また、撮像装置２０は、後部座席の乗員の画像データを取得する際には、第２撮像条件によって後部座席の乗員の画像データを撮像する。第１撮像条件と第２撮像条件とは、例えば、乗員を撮像する際の画角、焦点、ゲイン及び露光時間、並びに、光源の種類及び光量等の撮像時の条件が異なる。
　顔認証装置３０は、乗員の顔の画像データで乗員の顔認証を行う。
　乗員情報取得装置４０は、センサ１０、撮像装置２０、及び、顔認証装置３０と情報伝達可能な通信回線で接続されている。図３は、実施形態の概要に係る乗員情報取得装置４０を例示したブロック図である。図３に示すように、乗員情報取得装置４０は、乗員情報取得システム１から切り離して、単体として、製品となる。
　乗員情報取得装置４０は、乗車情報取得部４１、撮像条件制御部４２、及び、画像データ取得部４３を備えている。図４は、実施形態の概要に係る別の乗員情報取得装置４０を例示したブロック図である。図４に示すように、乗員情報取得装置４０は、さらに乗員特定部４４を備えてもよい。乗車情報取得部４１、撮像条件制御部４２、画像データ取得部４３、及び、乗員特定部４４は、それぞれ、乗車情報取得手段、撮像条件制御手段、画像データ取得手段、及び、乗員特定手段としての機能を有している。
　乗車情報取得部４１は、センサ１０から乗員の乗車情報を取得する。例えば、乗車情報取得部４１は、運転席及び助手席に乗車した乗員を検知するセンサ１０から乗員の乗車情報を取得してもよいし、車両の後部座席に乗車した乗員を検知するセンサ１０から乗員の乗車情報を取得してもよい。
　撮像条件制御部４２は、撮像装置２０の撮像条件を制御する。具体的には、撮像条件制御部４２は、撮像装置２０が運転席及び助手席の乗員の画像データを撮像する際には、撮像装置２０を第１撮像条件に設定する。これにより、撮像装置２０は、第１撮像条件で運転席及び助手席の乗員の画像データを撮像する。
　また、撮像条件制御部４２は、撮像装置２０が後部座席の乗員の画像データを撮像する際には、撮像装置２０において第２撮像条件を起動させる。そして、撮像条件制御部４２は、第２撮像条件で撮像装置２０に後部座席の乗員の画像データを撮像させる。このように、撮像条件制御部４２は、後部座席に乗車した乗員を撮像する際には、運転席の乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置２０において起動させる。そして、撮像条件制御部４２は、撮像装置２０に後部座席の乗員の前記画像データを撮像させる。
　画像データ取得部４３は、撮像装置２０が撮像した画像データを取得する。乗員特定部４４は、取得した画像データで顔認証装置３０に顔認証させる。そして、乗員特定部４４は、顔認証装置３０の顔認証から乗員を特定する。
　上述した乗員情報取得装置４０は、例えば、パーソナルコンピュータ、サーバ、携帯端末、タブレット等の情報処理装置である。乗員情報取得装置４０は、図示しない構成としてプロセッサ、メモリ及び記憶装置、通信装置を備えてもよい。また、記憶装置は、乗員情報取得装置４０の各構成が行う処理をプログラムにして記憶してもよい。また、プロセッサは、記憶装置からプログラムをメモリへ読み込ませ、当該プログラムを実行してもよい。これにより、プロセッサは、乗車情報取得部４１、撮像条件制御部４２、画像データ取得部４３、及び、乗員特定部４４等の機能を実現する。通信装置は、乗員情報取得装置４０が情報処理を行う上で必要な通信を行う。
　乗員情報取得装置４０が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）、量子プロセッサ（量子コンピュータ制御チップ）等を用いることができる。
　また、乗員情報取得装置４０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、乗員情報取得装置４０の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
　次に、乗員情報取得装置４０を用いた乗員情報取得方法を、フローチャート図を用いて説明する。図５は、実施形態の概要に係る乗員情報取得方法を例示したフローチャートである。図５のステップＳ１１に示すように、乗車情報を取得する。例えば、乗員情報取得装置４０の乗車情報取得部４１は、車両の後部座席に乗車した乗員を検知するセンサ１０から乗員の乗車情報を取得する。
　次に、ステップＳ１２に示すように、撮像条件を制御する。例えば、撮像条件制御部４２は、後部座席に乗車した乗員の画像データを撮像する際には、運転席の乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置２０において起動させる。そして、撮像条件制御部４２は、撮像装置２０に、後部座席の乗員の画像データを撮像させる。
　次に、ステップＳ１３に示すように、画像データを取得する。例えば、画像データ取得部４３は、撮像装置２０が撮像した画像データを取得する。図６は、実施形態の概要に係る別の乗員情報取得方法を例示したフローチャートである。図６に示すように、乗員情報取得方法は、さらにステップＳ１４を有してもよい。ステップＳ１４に示すように、乗員を特定する。具体的には、乗員特定部４４は、取得した画像データで顔認証装置３０に顔認証させる。そして、乗員特定部４４は、顔認証装置３０の認証結果により乗員を特定する。
　次に、本実施形態の効果を説明する。本実施形態の乗員情報取得システム１及び乗員情報取得装置４０は、後部座席の乗員の画像データを取得する場合に、運転席の乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置２０において起動させる。よって、高画像の画像データを取得することができ、顔認証の精度を向上させることができる。また、後部座席の撮像時のみ第２撮像条件を起動させるので、コストを低減させることができる。
　（実施形態１）
　次に、実施形態１に係る乗員情報取得システム及び乗員情報取得装置を説明する。以下で、＜乗員情報取得装置＞、＜撮像装置＞、＜センサ＞及び＜顔認証装置＞の詳細を説明する。
　＜乗員情報取得装置＞
　図７は、実施形態１に係る乗員情報取得装置を例示したブロック図である。図７に示すように、乗員情報取得装置５０は、さらに、乗員判定部４５を備えてもよい。乗員判定部４５は、乗員判定手段としての機能を有している。乗員判定部４５は、乗車情報取得部４１が後部座席に乗車した乗員の乗車情報を取得したかを判定する。そして、乗員判定部４５が乗車情報取得部４１によって後部座席に乗車した乗員の乗車情報が取得されたと判定した場合に、撮像条件制御部４２は、撮像装置２０において第２撮像条件を起動させる。一方、乗員判定部４５が乗車情報取得部４１によって後部座席に乗車した乗員の乗車情報が取得されていないと判定した場合には、撮像条件制御部４２は、撮像装置２０において第１撮像条件に設定する。
　図８は、実施形態１に係る乗員情報取得方法を例示したフローチャート図である。図８のステップＳ２１に示すように、乗車情報を取得する。例えば、乗員情報取得装置４０の乗車情報取得部４１は、車両の後部座席に乗車した乗員を検知するセンサ１０から乗員の乗車情報を取得する。
　次に、ステップＳ２２に示すように、乗員を判定する。例えば、乗員判定部４５は、乗車情報取得部４１が後部座席に乗車した乗員の乗車情報を取得したかを判定する。ステップＳ２２において、後部座席に乗車した乗員の乗車情報を取得しないと判定したＮＯの場合には、ステップＳ２３に示すように、撮像条件制御部４２は、撮像装置２０を第１撮像条件に設定する。そして、撮像条件制御部４２は、撮像装置２０に運転席の乗員の画像データを撮像させる。
　一方、ステップＳ２２において、後部座席に乗車した乗員の乗車情報を取得したと判定したＹＥＳの場合には、ステップＳ２４に示すように、撮像条件制御部４２は、撮像装置２０を第１撮像条件に設定する。そして、撮像条件制御部４２は、撮像装置２０に運転席の乗員の画像データを撮像させる。それとともに、撮像条件制御部４２は、撮像装置２０において、第２撮像条件を起動させる。そして、撮像条件制御部４２は、撮像装置２０に後部座席の乗員の画像データを撮像させる。
　次に、ステップＳ２５に示すように、画像データを取得する。例えば、画像データ取得部４３は、撮像装置２０が撮像した画像データを取得する。後部座席に乗車した乗員の乗車情報を取得していない場合には、画像データ取得部４３は、運転席及び助手席の乗員の画像データを取得する。後部座席に乗車した乗員の乗車情報を取得した場合には、画像データ取得部４３は、運転席及び助手席の乗員の画像データに加えて、後部座席に乗車した乗員の画像データを取得する。
　次に、ステップＳ２６に示すように、乗員を特定する。具体的には、乗員特定部４４は、取得した画像データで顔認証装置３０に顔認証させる。そして、乗員特定部４４は、顔認証装置３０の認証結果により乗員を特定する。例えば、後部座席に乗車した乗員の乗車情報を取得していない場合には、乗員特定部４４は、運転席及び助手席の乗員の画像データで顔認証装置３０に顔認証させる。これにより、乗員特定部４４は、運転席及び助手席の乗員を特定する。一方、後部座席に乗車した乗員の乗車情報を取得した場合には、乗員特定部４４は、運転席及び助手席の乗員の画像データに加えて、後部座席に乗車した乗員の画像データで顔認証装置３０に顔認証させる。これにより、乗員特定部４４は、運転席、助手席及び後部座席の乗員を特定する。このようにして、乗員情報取得装置５０は、乗員顔認証により特定することができる。
　＜撮像装置＞
　次に、撮像装置２０の詳細を説明する。図９は、実施形態１に係る乗員情報取得システム１において、運転席及び助手席の乗員を撮像する場合の撮像条件を例示した構成図である。図１０は、実施形態１に係る乗員情報取得システム１において、後部座席の乗員を撮像する場合の撮像条件を例示した構成図である。
　図９及び図１０に示すように、本実施形態の乗員情報取得システム１は、車両６０の内部６５の乗員７０を撮像する。撮像装置２０は、撮像部２１及び光源２２を含んでもよい。撮像部２１及び光源２２は、それぞれ、撮像手段及び光源手段としての機能を有している。撮像部２１は、例えば、カメラである。撮像部２１は、赤外線カメラでもよい。光源２２は、例えば、白色光源でもよいし、赤外線光源でもよい。撮像部２１が乗員７０を撮像する際の光量が不足している場合に、光源２２は、乗員７０を照明する光を生成する。また、撮像部２１が乗員７０を赤外線カメラで撮像する際の赤外線の光量が不足している場合に、光源２２は、赤外線を生成する。
　撮像装置２０は、運転席６１よりも前方に配置された撮像部２１と、運転席よりも前方に配置された光源２２とを有してもよい。例えば、撮像部２１及び光源２２の少なくともいずれかは、ルームミラーに配置されてもよい。撮像装置２０が車両６０に乗車した乗員７０を撮像する際の撮像条件は、車両６０の座席毎に異なってもよい。例えば、撮像条件は、運転席６１、助手席６２及び後部座席６３で異なってもよい。乗員７０は、各座席のシート６４に着座する。
　図９に示すように、例えば、撮像装置２０が運転席６１及び助手席６２の乗員７０の画像データを撮像する際には、撮像条件制御部４２は、撮像部２１及び光源２２の少なくともいずれかを第１撮像条件に設定する。例えば、乗員情報取得システム１の稼働中において、通常、撮像装置２０は、第１撮像条件に設定されている。
　一方、図１０に示すように、撮像装置２０が後部座席６３の乗員７０の画像データを撮像する際には、撮像条件制御部４２は、撮像部２１及び光源２２の少なくともいずれかにおいて、第２撮像条件を起動させる。具体的には、乗車情報取得部４１がセンサ１０から後部座席６３に乗車した乗員の乗車情報を取得するまでは、撮像装置２０において、第２撮像条件は起動されていない。乗車情報取得部４１がセンサ１０から後部座席６３に乗車した乗員の乗車情報を取得すると、撮像装置２０において、第２撮像条件は起動される。撮像装置２０は、第１撮像条件から第２撮像条件に切り替えてもよい。
　また、撮像装置２０は、第１撮像条件を有する撮像部２１ａと、第２撮像条件を有する撮像部２１ｂとを備えてもよい。また、撮像装置２０は、第１撮像条件を有する光源２２ａと、第２撮像条件を有する光源２２ｂとを備えてもよい。この場合には、乗車情報取得部４１がセンサ１０から後部座席６３に乗車した乗員の乗車情報を取得すると、撮像条件制御部４２は、撮像部２１ｂ及び光源２２ｂの少なくともいずれかを起動させる。
　撮像条件制御部４２は、第１撮像条件で撮像装置２０に運転席６１の乗員の画像データを撮像させる前、または、撮像させた後に、第２撮像条件で撮像装置２０に後部座席６３の乗員の画像データを撮像させてもよい。このように、一つの撮像装置２０で、第１撮像条件と第２撮像条件とを切り替えてもよい。
　また、撮像条件制御部４２は、第１撮像条件で撮像装置２０に運転席６１の乗員の画像データを撮像させる前、撮像させた後、または、同時に、第２撮像条件で撮像装置２０に後部座席６３の乗員の画像データを撮像させてもよい。このように、後部座席６３の乗員の画像データを撮像させる時のみ、第２撮像条件を起動させてもよい。
　図１１及び図１２は、実施形態１の乗員情報取得システム１において、運転席６１、助手席６２及び後部座席６３の乗員を撮像する場合の撮像条件を例示した構成図である。図１１に示すように、撮像装置２０は、運転席６１よりも前方に配置された撮像部２１と、運転席よりも前方に配置された光源２２ａと、運転席よりも後方に配置された光源２２ｂを有している。例えば、撮像部２１は、ルームミラーに配置されている。光源２２ａは、ルームミラーに配置され、光源２２ｂは、運転席６１及び助手席６２のシート６４の後ろ側に配置されている。
　図１２に示すように、撮像装置２０は、運転席６１よりも前方に配置された撮像部２１ａと、運転席よりも前方に配置された光源２２ａと、運転席よりも後方に配置された撮像部２１ｂと、運転席よりも後方に配置された光源２２ｂと、を有している。例えば、撮像部２１ａ及び光源２２ａは、ルームミラーに配置されている。また、撮像部２１ｂ及び光源２２ｂは、運転席６１と助手席６２との間において、運転席６１及び助手席６２の後方に配置されている。
　撮像条件制御部４２は、運転席６１及び助手席６２の乗員の画像データを撮像する場合には、運転席よりも前方に配置された撮像部２１ａ及び光源２２ａにおいて第１撮像条件を設定する。一方、撮像条件制御部４２は、後部座席６３の乗員の画像データを撮像する場合には、運転席６１よりも前方に配置された撮像部２１ｂ及び運転席６１よりも後方に配置された光源２２ｂにおいて第２撮像条件を起動させる。
　このように、撮像装置２０は、運転席６１よりも前方に配置された撮像部２１ａと、運転席６１よりも前方に配置された光源２２ａと、を有するとともに、撮像部２１ａとは異なる撮像部２１ｂ及び光源２２ａとは異なる光源２２ｂの少なくともいずれかを有している。撮像条件制御部４２は、撮像部２１ａ、光源２２ａ、撮像部２１ｂ、及び、光源２２ｂの少なくともいずれかにおいて第２撮像条件を起動させる。
　なお、撮像部２１ａ、撮像部２１ｂ、光源２２ａ及び光源２２ｂの位置は、運転席６１、助手席６２及び後部座席６３の乗員を撮像することができれば、運転席の前方、運転席の後方、ルームミラー等に限らず、撮像に好適な位置に変更してもよい。
　＜センサ＞
　次に、センサ１０の詳細を説明する。図１３は、実施形態１に係る乗員情報取得システム１において、後部座席６３に乗車した乗員を検知するセンサ１０を例示した構成図である。図１３に示すように、センサ１１は、後部座席６３のドア６６に配置されている。センサ１１は、後部座席６３のドア６６の開閉から後部座席６３に乗車した乗員７０を検知する。乗車情報取得部４１は、センサ１１が検知した乗員７０の乗車情報を取得する。
　図１４は、実施形態１に係る乗員情報取得システム１において、後部座席６３に乗車した乗員を検知するセンサ１０を例示した構成図である。図１４に示すように、センサ１２は、後部座席６３のシートベルト６７の留め具に配置されている。センサ１２は、後部座席６３のシートベルト６７の留め具の開閉から後部座席６３に乗車した乗員７０を検知する。乗車情報取得部４１は、センサ１２が検知した乗員７０の乗車情報を取得する。
　図１５は、実施形態１に係る乗員情報取得システム１において、後部座席６３に乗車した乗員を検知するセンサ１０を例示した構成図である。図１５に示すように、センサ１３は、後部座席６３のシート６４の下方に配置されている。センサ１３は、後部座席６３のシート６４にかかる重量から後部座席６３に乗車した乗員７０を検知する。乗車情報取得部４１は、センサ１３が検知した乗員７０の乗車情報を取得する。
　図１６は、実施形態１に係る乗員情報取得システム１において、後部座席６３に乗車した乗員を検知するセンサ１０を例示した構成図である。図１６に示すように、センサ１４は、撮像装置２０でもよい。具体的には、センサ１４は、撮像部２１でもよい。センサ１４である撮像装置２０は、後部座席６３上の動体の動きを検知する。センサ１４は、後部座席６３上の動体の動きから後部座席６３に乗車した乗員７０を検知する。乗車情報取得部４１は、センサ１３が検知した乗員７０の乗車情報を取得する。
　撮像装置２０が後部座席の動体の動きから後部座席に乗車した乗員を検知するセンサとして機能する場合には、他のセンサを配置する必要がないので、コストを低減することができる。例えば、撮像装置２０は、第１撮像条件の場合に後部座席に乗車した乗員を検知するセンサとして機能してもよい。これにより、運転席６１に乗車した乗員の画像データを取得時に、後部座席に乗車した乗員を検知することができる。
　また、撮像装置２０は、第１撮像条件及び第２撮像条件とは異なる乗員検知条件の場合に、後部座席に乗車した乗員を検知するセンサとして機能してもよい。乗員検知条件は、第１撮像条件及び第２撮像条件よりも光量を低減できるので、コストを低減することができる。
　なお、後部座席６３に乗車した乗員７０を検知するセンサ１０は、上述のものに限らない。また、撮像条件制御部４２が第２撮像条件を起動させるタイミングは、乗車情報取得部４１がセンサ１０から後部座席６３に乗車した乗員の乗車情報を取得したとき、及び、乗員判定部４５が、後部座席６３に乗車した乗員を判定したときに限らない。例えば、第１撮像条件で撮像した後部座席の乗員の画像データで顔認証装置３０が顔認証に失敗した場合に、顔認証装置３０から送信される顔認証失敗情報を乗員特定部４４が受信したタイミングでもよい。
　＜顔認証装置＞
　次に、顔認証装置３０の詳細を説明する。図１７は、実施形態１に係る乗員情報取得システム１において、顔認証装置３０の構成を示すブロック図である。図１７に示すように、顔認証装置３０は、顔情報ＤＢ４１０、顔検出部４２０、特徴点抽出部４３０、登録部４４０及び認証部４５０を備える。顔情報ＤＢ４１０、顔検出部４２０、特徴点抽出部４３０、登録部４４０及び認証部４５０は、それぞれ、顔情報ＤＢ手段、顔検出手段、特徴点抽出手段、登録手段及び認証手段としての機能を有している。
　顔情報ＤＢ４１０は、ユーザＩＤ４１１と当該ユーザＩＤの顔特徴情報４１２とを対応付けて記憶する。ユーザＩＤ４１１は、ユーザを識別する情報であり、例えば、識別番号である。顔特徴情報４１２は、顔画像から抽出された特徴点の集合であり、顔情報の一例である。尚、顔認証装置４００は、顔特徴情報４１２の登録ユーザからの要望に応じて、顔特徴ＤＢ４１０内の顔特徴情報４１２を削除してもよい。または、顔認証装置４００は、顔特徴情報４１２の登録から一定期間経過後に削除してもよい。
　顔検出部４２０は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部４３０に供給する。特徴点抽出部４３０は、顔検出部４２０が検出した顔領域から特徴点を抽出し、登録部４４０に顔特徴情報を供給する。また、特徴点抽出部４３０は、乗員情報取得装置５０から受信した顔画像に含まれる特徴点を抽出し、認証部４５０に顔特徴情報を供給する。
　登録部４４０は、顔特徴情報の登録に際して、ユーザＩＤ４１１を新規に発行する。登録部４４０は、発行したユーザＩＤ４１１と、登録画像から抽出した顔特徴情報４１２とを対応付けて顔情報ＤＢ４１０へ登録する。認証部４５０は、顔特徴情報４１２を用いた顔認証を行う。具体的には、認証部４５０は、顔画像から抽出された顔特徴情報と、顔情報ＤＢ４１０内の顔特徴情報４１２との照合を行う。認証部４５０は、顔特徴情報の一致の有無を乗員情報取得装置５０に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する（一致有）とは、一致度が所定値以上である場合をいうものとする。
　図１８は、実施形態１に係る乗員情報取得システム１において、顔情報登録処理の流れを示すフローチャートである。ステップＳ３１に示すように、まず、顔認証装置３０は、顔登録要求に含まれるユーザＵの登録画像を取得する。例えば、顔認証装置３０は、ユーザ端末により会員登録要求を受けた乗員情報取得装置５０から、顔登録要求を受け付ける。尚、顔認証装置３０は、これに限らず、ユーザ端末から直接、顔登録要求を受け付けてもよい。
　次に、ステップＳ３２に示すように、顔検出部４２０は、登録画像に含まれる顔領域を検出する。次に、ステップＳ３３に示すように、特徴点抽出部４３０は、ステップＳ３２で検出した顔領域から特徴点を抽出し、登録部４４０に顔特徴情報を供給する。最後に、ステップＳ３４に示すように、登録部４４０は、ユーザＩＤ４１１を発行し、当該ユーザＩＤ４１１と顔特徴情報４１２とを対応付けて顔情報ＤＢ４１０に登録する。なお、顔認証装置４００は、顔登録要求元から顔特徴情報４１２を受信し、ユーザＩＤ４１１と対応付けて顔情報ＤＢ４１０に登録してもよい。
　図１９は、実施形態１に係る乗員情報取得システム１において、顔認証処理の流れを示すフローチャートである。ステップＳ４１に示すように、まず、特徴点抽出部４３０は、認証用の顔特徴情報を取得する。例えば、顔認証装置３０は、乗員情報取得装置５０から顔認証要求を受信し、顔認証要求に含まれる顔画像からステップＳ３１からＳ３３のように顔特徴情報を抽出する。または、顔認証装置３０は、乗員情報取得装置５０から顔特徴情報を受信してもよい。
　次に、ステップＳ４２に示すように、認証部４５０は、取得した顔特徴情報を、顔情報ＤＢ４１０の顔特徴情報４１２と照合する。次に、ステップＳ４３に示すように、顔特徴が一致するか判断する。具体的には、ステップＳ４３において、顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上であるＹＥＳの場合には、ステップＳ４４に示すように、認証部４５０は、顔特徴情報が一致したユーザのユーザＩＤ４１１を特定する。そして、ステップＳ４５に示すように、認証部４５０は、顔認証に成功した旨と特定したユーザＩＤ４１１とを、顔認証結果として乗員情報取得装置５０に返信する。
　一方、ステップＳ４３において、一致する顔特徴情報が存在しないＮＯの場合には、ステップＳ４６に示すように、認証部４５０は、顔認証に失敗した旨を、顔認証結果として乗員情報取得装置５０に返信する。
　次に、本実施形態の効果を説明する。本実施形態の乗員情報取得システム１は、車両６０に乗車した乗員７０の乗員判定と、座席別の顔認証とを組み合わせることで、車両６０の乗員の顔認証の精度を向上させることができる。具体的には、乗車情報取得部４１は、センサ１０から車両６０に乗車した乗員の乗車情報を取得し、乗員判定部４５は、車内６５のどの座席に乗車したか判定する。これにより、撮像条件制御部４２は、座席毎に顔認証に好適な撮像条件となるように撮像装置２０を制御することができ、画像データ取得部４３は、顔認証に好適な画像データを取得することができる。
　撮像装置２０は、後部座席に乗車する乗員の画像データを撮像する場合に第２撮像条件を起動させる。例えば、撮像装置２０が１つの撮像部２１及び１つの光源２２から構成された場合には、撮像部２１及び光源２２の第１撮像条件を停止させ、第２撮像条件を起動させる。これにより、第１撮像条件から第２撮像条件に切り替える。一方、撮像装置２０が複数の撮像部２１ａ、２１ｂ及び複数の光源２２ａ、２２ｂを含む場合には、第２撮像条件を有する撮像部２１ｂ及び光源２２ｂを起動させる。このように、後部座席に乗車する乗員の画像データを撮像する場合に第２撮像条件を起動させるので、電力消費を低減することができる。
　尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態の概要及び実施形態１の各構成を組み合わせることも可能である。
　また、上述の実施形態では、顔認証機能を顔認証装置３０が有していたが、顔認証装置３０に代えて又は加えて、乗員情報取得装置４０及び５０が顔認証機能を有してもよい。
　さらに、上述した乗員情報取得方法をコンピュータに読み込ませて実行させる乗員情報取得プログラムも実施形態の技術的思想の範囲内である。乗員情報取得プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。乗員情報取得プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得する乗車情報取得手段と、
　運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる撮像条件制御手段と、
　前記撮像装置が撮像した画像データを取得する画像データ取得手段と、
　を備えた乗員情報取得装置。
　（付記２）
　前記乗車情報取得手段が前記乗車情報を取得したかを判定する乗員判定手段をさらに備え、
　前記乗員判定手段が前記乗車情報取得手段によって前記乗車情報が取得されたと判定した場合に、前記撮像条件制御手段は、前記撮像装置において前記第２撮像条件を起動させる、
　付記１に記載の乗員情報取得装置。
　（付記３）
　前記撮像装置は、
　前記運転席よりも前方に配置された撮像手段と、
　前記運転席よりも前方に配置された光源と、
　を有し、
　前記撮像条件制御手段は、前記撮像手段及び前記光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
　付記１または２に記載の乗員情報取得装置。
　（付記４）
　前記撮像条件制御手段は、前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、または、撮像させた後に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる、
　付記３に記載の乗員情報取得装置。
　（付記５）
　前記撮像装置は、
　前記運転席よりも前方に配置された第１撮像手段と、
　前記運転席よりも前方に配置された第１光源と、
　を有するとともに、
　前記第１撮像手段とは異なる第２撮像手段、及び、前記第１光源とは異なる第２光源の少なくともいずれかを有し、
　前記撮像条件制御手段は、前記第１撮像手段、前記第１光源、前記第２撮像手段、及び、前記第２光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
　付記１または２に記載の乗員情報取得装置。
　（付記６）
　前記撮像条件制御手段は、前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、撮像させた後、または、同時に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる、
　付記５に記載の乗員情報取得装置。
　（付記７）
　前記センサは、前記後部座席のドアの開閉から前記後部座席に乗車した前記乗員を検知する、
　付記１～６のいずれか１項に記載の乗員情報取得装置。
　（付記８）
　前記センサは、前記後部座席のシートベルトの留め具の開閉から前記後部座席に乗車した前記乗員を検知する、
　付記１～６のいずれか１項に記載の乗員情報取得装置。
　（付記９）
　前記センサは、前記後部座席のシートにかかる重量から前記後部座席に乗車した前記乗員を検知する、
　付記１～６のいずれか１項に記載の乗員情報取得装置。
　（付記１０）
　前記センサは、前記後部座席の動体の動きから前記後部座席に乗車した前記乗員を検知する前記撮像装置を含む、
　付記１～６のいずれか１項に記載の乗員情報取得装置。
　（付記１１）
　取得した前記画像データで顔認証装置に顔認証させ、前記乗員を特定する乗員特定手段をさらに備えた、
　付記１～１０のいずれか１項に記載の乗員情報取得装置。
　（付記１２）
　車両の後部座席に乗車した乗員を検知するセンサと、
　前記車両の前記乗員の画像データを撮像する撮像装置と、
　前記センサ、及び、前記撮像装置と通信回線で接続された乗員情報取得装置と、
　を備え、
　前記乗員情報取得装置は、
　前記センサから前記乗員の乗車情報を取得する乗車情報取得手段と、
　運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を前記撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる撮像条件制御手段と、
　前記撮像装置が撮像した画像データを取得する画像データ取得手段と、
　を有する、
　乗員情報取得システム。
　（付記１３）
　前記乗員情報取得装置は、前記乗車情報取得手段が前記乗車情報を取得したかを判定する乗員判定手段をさらに有し、
　前記乗員判定手段が前記乗車情報取得手段によって前記乗車情報が取得されたと判定した場合に、前記撮像条件制御手段は、前記撮像装置において前記第２撮像条件を起動させる、
　付記１２に記載の乗員情報取得システム。
　（付記１４）
　前記撮像装置は、
　前記運転席よりも前方に配置された撮像手段と、
　前記運転席よりも前方に配置された光源と、
　を有し、
　前記撮像条件制御手段は、前記撮像手段及び前記光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
　付記１２または１３に記載の乗員情報取得システム。
　（付記１５）
　前記撮像条件制御手段は、前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、または、撮像させた後に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる、
　付記１４に記載の乗員情報取得システム。
　（付記１６）
　前記撮像装置は、
　前記運転席よりも前方に配置された第１撮像手段と、
　前記運転席よりも前方に配置された第１光源と、
　を有するとともに、
　前記第１撮像手段とは異なる第２撮像手段、及び、前記第１光源とは異なる第２光源の少なくともいずれかを有し、
　前記撮像条件制御手段は、前記第１撮像手段、前記第１光源、前記第２撮像手段、及び、前記第２光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
　付記１２または１３に記載の乗員情報取得システム。
　（付記１７）
　前記撮像条件制御手段は、前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、撮像させた後、または、同時に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる、
　付記１６に記載の乗員情報取得システム。
　（付記１８）
　前記センサは、前記後部座席のドアの開閉から前記後部座席に乗車した前記乗員を検知する、
　付記１２～１７のいずれか１項に記載の乗員情報取得システム。
　（付記１９）
　前記センサは、前記後部座席のシートベルトの留め具の開閉から前記後部座席に乗車した前記乗員を検知する、
　付記１２～１７のいずれか１項に記載の乗員情報取得システム。
　（付記２０）
　前記センサは、前記後部座席のシートにかかる重量から前記後部座席に乗車した前記乗員を検知する、
　付記１２～１７のいずれか１項に記載の乗員情報取得システム。
　（付記２１）
　前記センサは、前記後部座席の動体の動きから前記後部座席に乗車した前記乗員を検知する前記撮像装置を含む、
　付記１２～１７のいずれか１項に記載の乗員情報取得システム。
　（付記２２）
　前記画像データで顔認証を行う顔認証装置をさらに備え、
　前記乗員情報取得装置は、
　取得した前記画像データで前記顔認証装置に顔認証させ、前記乗員を特定する乗員特定手段をさらに有する、
　付記１２～２１のいずれか１項に記載の乗員情報取得システム。
　（付記２３）
　車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得し、
　運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させ、
　前記撮像装置が撮像した画像データを取得する、
　乗員情報取得方法。
　（付記２４）
　前記乗車情報が取得されたかを判定し、
　前記乗車情報が取得されたと判定した場合に、前記撮像装置において前記第２撮像条件を起動させる、
　付記２３に記載の乗員情報取得方法。
　（付記２５）
　前記撮像装置は、
　前記運転席よりも前方に配置された撮像手段と、
　前記運転席よりも前方に配置された光源と、
　を有し、
　前記撮像手段及び前記光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
　付記２３または２４に記載の乗員情報取得方法。
　（付記２６）
　前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、または、撮像させた後に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の画像データを撮像させる、
　付記２５に記載の乗員情報取得方法。
　（付記２７）
　前記撮像装置は、
　前記運転席よりも前方に配置された第１撮像手段と、
　前記運転席よりも前方に配置された第１光源と、
　を有するとともに、
　前記第１撮像手段とは異なる第２撮像手段、及び、前記第１光源とは異なる第２光源の少なくともいずれかを有し、
　前記第１撮像手段、前記第１光源、前記第２撮像手段、及び、前記第２光源の少なくともいずれかの前記第２撮像条件を起動させる、
　付記２３または２４に記載の乗員情報取得方法。
　（付記２８）
　前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、撮像させた後、または、同時に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の画像データを撮像させる、
　付記２７に記載の乗員情報取得方法。
　（付記２９）
　前記センサは、前記後部座席のドアの開閉から前記後部座席に乗車した前記乗員を検知する、
　付記２３～２８のいずれか１項に記載の乗員情報取得方法。
　（付記３０）
　前記センサは、前記後部座席のシートベルトの留め具の開閉から前記後部座席に乗車した前記乗員を検知する、
　付記２３～２８のいずれか１項に記載の乗員情報取得方法。
　（付記３１）
　前記センサは、前記後部座席のシートにかかる重量から前記後部座席に乗車した前記乗員を検知する、
　付記２３～２８のいずれか１項に記載の乗員情報取得方法。
　（付記３２）
　前記センサは、前記後部座席の動体の動きから前記後部座席に乗車した前記乗員を検知する前記撮像装置を含む、
　付記２３～２８のいずれか１項に記載の乗員情報取得方法。
　（付記３３）
　取得した前記画像データで顔認証装置に顔認証させ、前記乗員を特定する、
　付記２３～３２のいずれか１項に記載の乗員情報取得方法。
　（付記３４）
　車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得させ、
　運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させ、
　前記撮像装置が撮像した画像データを取得させる、
　ことをコンピュータに実行させる乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３５）
　前記乗車情報が取得されたかを判定させ、
　前記乗車情報が取得されたと判定した場合に、前記撮像装置において前記第２撮像条件を起動させる、
　ことをコンピュータに実行させる付記３４に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３６）
　前記撮像装置は、
　前記運転席よりも前方に配置された撮像手段と、
　前記運転席よりも前方に配置された光源と、
　を有し、
　前記撮像手段及び前記光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
　ことをコンピュータに実行させる付記３４または３５に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３７）
　前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、または、撮像させた後に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の画像データを撮像させる、
　ことをコンピュータに実行させる付記３６に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３８）
　前記撮像装置は、
　前記運転席よりも前方に配置された第１撮像手段と、
　前記運転席よりも前方に配置された第１光源と、
　を有するとともに、
　前記第１撮像手段とは異なる第２撮像手段、及び、前記第１光源とは異なる第２光源の少なくともいずれかを有し、
　前記第１撮像手段、前記第１光源、前記第２撮像手段、及び、前記第２光源の少なくともいずれかの前記第２撮像条件を起動させる、
　ことをコンピュータに実行させる付記３４または３５に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３９）
　前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、撮像させた後、または、同時に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の画像データを撮像させる、
　ことをコンピュータに実行させる付記３８に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記４０）
　前記センサは、前記後部座席のドアの開閉から前記後部座席に乗車した前記乗員を検知する、
　付記３４～３９のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記４１）
　前記センサは、前記後部座席のシートベルトの留め具の開閉から前記後部座席に乗車した前記乗員を検知する、
　付記３４～３９のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記４２）
　前記センサは、前記後部座席のシートにかかる重量から前記後部座席に乗車した前記乗員を検知する、
　付記３４～３９のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記４３）
　前記センサは、前記後部座席の動体の動きから前記後部座席に乗車した前記乗員を検知する前記撮像装置を含む、
　付記３４～３９のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記４４）
　取得した前記画像データで顔認証装置に顔認証させ、前記乗員を特定させる、
　ことをさらにコンピュータに実行させる付記３４～４３のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
１　乗員情報取得システム
１０、１１、１２、１３、１４　センサ
２０　撮像装置
２１、２１ａ、２１ｂ　撮像部
２２、２２ａ、２２ｂ　光源
３０　顔認証装置
４０、５０　乗員情報取得装置
４１　乗車情報取得部
４２　撮像条件制御部
４３　画像データ取得部
４４　乗員特定部
４５　乗員判定部
６０　車両
６１　運転席
６２　助手席
６３　後部座席
６４　シート
６５　内部
６６　ドア
６７　シートベルト
７０　乗員
４１０　顔情報ＤＢ
４１１　ユーザＩＤ
４１２　顔特徴情報
４２０　顔検出部
４３０　特徴点抽出部
４４０　登録部
４５０　認証部

Claims (44)

  1. 　車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得する乗車情報取得手段と、
    　運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる撮像条件制御手段と、
    　前記撮像装置が撮像した画像データを取得する画像データ取得手段と、
    　を備えた乗員情報取得装置。
  2. 　前記乗車情報取得手段が前記乗車情報を取得したかを判定する乗員判定手段をさらに備え、
    　前記乗員判定手段が前記乗車情報取得手段によって前記乗車情報が取得されたと判定した場合に、前記撮像条件制御手段は、前記撮像装置において前記第２撮像条件を起動させる、
    　請求項１に記載の乗員情報取得装置。
  3. 　前記撮像装置は、
    　前記運転席よりも前方に配置された撮像手段と、
    　前記運転席よりも前方に配置された光源と、
    　を有し、
    　前記撮像条件制御手段は、前記撮像手段及び前記光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
    　請求項１または２に記載の乗員情報取得装置。
  4. 　前記撮像条件制御手段は、前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、または、撮像させた後に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる、
    　請求項３に記載の乗員情報取得装置。
  5. 　前記撮像装置は、
    　前記運転席よりも前方に配置された第１撮像手段と、
    　前記運転席よりも前方に配置された第１光源と、
    　を有するとともに、
    　前記第１撮像手段とは異なる第２撮像手段、及び、前記第１光源とは異なる第２光源の少なくともいずれかを有し、
    　前記撮像条件制御手段は、前記第１撮像手段、前記第１光源、前記第２撮像手段、及び、前記第２光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
    　請求項１または２に記載の乗員情報取得装置。
  6. 　前記撮像条件制御手段は、前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、撮像させた後、または、同時に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる、
    　請求項５に記載の乗員情報取得装置。
  7. 　前記センサは、前記後部座席のドアの開閉から前記後部座席に乗車した前記乗員を検知する、
    　請求項１～６のいずれか１項に記載の乗員情報取得装置。
  8. 　前記センサは、前記後部座席のシートベルトの留め具の開閉から前記後部座席に乗車した前記乗員を検知する、
    　請求項１～６のいずれか１項に記載の乗員情報取得装置。
  9. 　前記センサは、前記後部座席のシートにかかる重量から前記後部座席に乗車した前記乗員を検知する、
    　請求項１～６のいずれか１項に記載の乗員情報取得装置。
  10. 　前記センサは、前記後部座席の動体の動きから前記後部座席に乗車した前記乗員を検知する前記撮像装置を含む、
    　請求項１～６のいずれか１項に記載の乗員情報取得装置。
  11. 　取得した前記画像データで顔認証装置に顔認証させ、前記乗員を特定する乗員特定手段をさらに備えた、
    　請求項１～１０のいずれか１項に記載の乗員情報取得装置。
  12. 　車両の後部座席に乗車した乗員を検知するセンサと、
    　前記車両の前記乗員の画像データを撮像する撮像装置と、
    　前記センサ、及び、前記撮像装置と通信回線で接続された乗員情報取得装置と、
    　を備え、
    　前記乗員情報取得装置は、
    　前記センサから前記乗員の乗車情報を取得する乗車情報取得手段と、
    　運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を前記撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる撮像条件制御手段と、
    　前記撮像装置が撮像した画像データを取得する画像データ取得手段と、
    　を有する、
    　乗員情報取得システム。
  13. 　前記乗員情報取得装置は、前記乗車情報取得手段が前記乗車情報を取得したかを判定する乗員判定手段をさらに有し、
    　前記乗員判定手段が前記乗車情報取得手段によって前記乗車情報が取得されたと判定した場合に、前記撮像条件制御手段は、前記撮像装置において前記第２撮像条件を起動させる、
    　請求項１２に記載の乗員情報取得システム。
  14. 　前記撮像装置は、
    　前記運転席よりも前方に配置された撮像手段と、
    　前記運転席よりも前方に配置された光源と、
    　を有し、
    　前記撮像条件制御手段は、前記撮像手段及び前記光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
    　請求項１２または１３に記載の乗員情報取得システム。
  15. 　前記撮像条件制御手段は、前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、または、撮像させた後に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる、
    　請求項１４に記載の乗員情報取得システム。
  16. 　前記撮像装置は、
    　前記運転席よりも前方に配置された第１撮像手段と、
    　前記運転席よりも前方に配置された第１光源と、
    　を有するとともに、
    　前記第１撮像手段とは異なる第２撮像手段、及び、前記第１光源とは異なる第２光源の少なくともいずれかを有し、
    　前記撮像条件制御手段は、前記第１撮像手段、前記第１光源、前記第２撮像手段、及び、前記第２光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
    　請求項１２または１３に記載の乗員情報取得システム。
  17. 　前記撮像条件制御手段は、前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、撮像させた後、または、同時に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させる、
    　請求項１６に記載の乗員情報取得システム。
  18. 　前記センサは、前記後部座席のドアの開閉から前記後部座席に乗車した前記乗員を検知する、
    　請求項１２～１７のいずれか１項に記載の乗員情報取得システム。
  19. 　前記センサは、前記後部座席のシートベルトの留め具の開閉から前記後部座席に乗車した前記乗員を検知する、
    　請求項１２～１７のいずれか１項に記載の乗員情報取得システム。
  20. 　前記センサは、前記後部座席のシートにかかる重量から前記後部座席に乗車した前記乗員を検知する、
    　請求項１２～１７のいずれか１項に記載の乗員情報取得システム。
  21. 　前記センサは、前記後部座席の動体の動きから前記後部座席に乗車した前記乗員を検知する前記撮像装置を含む、
    　請求項１２～１７のいずれか１項に記載の乗員情報取得システム。
  22. 　前記画像データで顔認証を行う顔認証装置をさらに備え、
    　前記乗員情報取得装置は、
    　取得した前記画像データで前記顔認証装置に顔認証させ、前記乗員を特定する乗員特定手段をさらに有する、
    　請求項１２～２１のいずれか１項に記載の乗員情報取得システム。
  23. 　車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得し、
    　運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させ、
    　前記撮像装置が撮像した画像データを取得する、
    　乗員情報取得方法。
  24. 　前記乗車情報が取得されたかを判定し、
    　前記乗車情報が取得されたと判定した場合に、前記撮像装置において前記第２撮像条件を起動させる、
    　請求項２３に記載の乗員情報取得方法。
  25. 　前記撮像装置は、
    　前記運転席よりも前方に配置された撮像手段と、
    　前記運転席よりも前方に配置された光源と、
    　を有し、
    　前記撮像手段及び前記光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
    　請求項２３または２４に記載の乗員情報取得方法。
  26. 　前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、または、撮像させた後に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の画像データを撮像させる、
    　請求項２５に記載の乗員情報取得方法。
  27. 　前記撮像装置は、
    　前記運転席よりも前方に配置された第１撮像手段と、
    　前記運転席よりも前方に配置された第１光源と、
    　を有するとともに、
    　前記第１撮像手段とは異なる第２撮像手段、及び、前記第１光源とは異なる第２光源の少なくともいずれかを有し、
    　前記第１撮像手段、前記第１光源、前記第２撮像手段、及び、前記第２光源の少なくともいずれかの前記第２撮像条件を起動させる、
    　請求項２３または２４に記載の乗員情報取得方法。
  28. 　前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、撮像させた後、または、同時に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の画像データを撮像させる、
    　請求項２７に記載の乗員情報取得方法。
  29. 　前記センサは、前記後部座席のドアの開閉から前記後部座席に乗車した前記乗員を検知する、
    　請求項２３～２８のいずれか１項に記載の乗員情報取得方法。
  30. 　前記センサは、前記後部座席のシートベルトの留め具の開閉から前記後部座席に乗車した前記乗員を検知する、
    　請求項２３～２８のいずれか１項に記載の乗員情報取得方法。
  31. 　前記センサは、前記後部座席のシートにかかる重量から前記後部座席に乗車した前記乗員を検知する、
    　請求項２３～２８のいずれか１項に記載の乗員情報取得方法。
  32. 　前記センサは、前記後部座席の動体の動きから前記後部座席に乗車した前記乗員を検知する前記撮像装置を含む、
    　請求項２３～２８のいずれか１項に記載の乗員情報取得方法。
  33. 　取得した前記画像データで顔認証装置に顔認証させ、前記乗員を特定する、
    　請求項２３～３２のいずれか１項に記載の乗員情報取得方法。
  34. 　車両の後部座席に乗車した乗員を検知するセンサから前記乗員の乗車情報を取得させ、
    　運転席の前記乗員の画像データを撮像する際の第１撮像条件とは異なる第２撮像条件を撮像装置において起動させ、前記撮像装置に前記後部座席の前記乗員の前記画像データを撮像させ、
    　前記撮像装置が撮像した画像データを取得させる、
    　ことをコンピュータに実行させる乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  35. 　前記乗車情報が取得されたかを判定させ、
    　前記乗車情報が取得されたと判定した場合に、前記撮像装置において前記第２撮像条件を起動させる、
    　ことをコンピュータに実行させる請求項３４に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  36. 　前記撮像装置は、
    　前記運転席よりも前方に配置された撮像手段と、
    　前記運転席よりも前方に配置された光源と、
    　を有し、
    　前記撮像手段及び前記光源の少なくともいずれかにおいて前記第２撮像条件を起動させる、
    　ことをコンピュータに実行させる請求項３４または３５に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  37. 　前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、または、撮像させた後に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の画像データを撮像させる、
    　ことをコンピュータに実行させる請求項３４に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  38. 　前記撮像装置は、
    　前記運転席よりも前方に配置された第１撮像手段と、
    　前記運転席よりも前方に配置された第１光源と、
    　を有するとともに、
    　前記第１撮像手段とは異なる第２撮像手段、及び、前記第１光源とは異なる第２光源の少なくともいずれかを有し、
    　前記第１撮像手段、前記第１光源、前記第２撮像手段、及び、前記第２光源の少なくともいずれかの前記第２撮像条件を起動させる、
    　ことをコンピュータに実行させる請求項３４または３５に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  39. 　前記第１撮像条件で前記撮像装置に前記運転席の前記乗員の前記画像データを撮像させる前、撮像させた後、または、同時に、前記第２撮像条件で前記撮像装置に前記後部座席の前記乗員の画像データを撮像させる、
    　ことをコンピュータに実行させる請求項３８に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  40. 　前記センサは、前記後部座席のドアの開閉から前記後部座席に乗車した前記乗員を検知する、
    　請求項３４～３９のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  41. 　前記センサは、前記後部座席のシートベルトの留め具の開閉から前記後部座席に乗車した前記乗員を検知する、
    　請求項３４～３９のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  42. 　前記センサは、前記後部座席のシートにかかる重量から前記後部座席に乗車した前記乗員を検知する、
    　請求項３４～３９のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  43. 　前記センサは、前記後部座席の動体の動きから前記後部座席に乗車した前記乗員を検知する前記撮像装置を含む、
    　請求項３４～３９のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
  44. 　取得した前記画像データで顔認証装置に顔認証させ、前記乗員を特定させる、
    　ことをさらにコンピュータに実行させる請求項３４～４３のいずれか１項に記載の乗員情報取得プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2022/011408 2022-03-14 2022-03-14 乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体 WO2023175686A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/011408 WO2023175686A1 (ja) 2022-03-14 2022-03-14 乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/011408 WO2023175686A1 (ja) 2022-03-14 2022-03-14 乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023175686A1 true WO2023175686A1 (ja) 2023-09-21

Family

ID=88022484

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011408 WO2023175686A1 (ja) 2022-03-14 2022-03-14 乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023175686A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006248364A (ja) * 2005-03-10 2006-09-21 Omron Corp 移動体のドライバー認証装置
JP2007198929A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd 車両内状態検知システム，車両内状態検知装置および方法
JP2017133226A (ja) * 2016-01-27 2017-08-03 株式会社オートネットワーク技術研究所 車両ドアロック制御装置及び車両ドアロックシステム
WO2019176391A1 (ja) * 2018-03-15 2019-09-19 株式会社Ｊｖｃケンウッド ドライブレコーダ、表示制御方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006248364A (ja) * 2005-03-10 2006-09-21 Omron Corp 移動体のドライバー認証装置
JP2007198929A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd 車両内状態検知システム，車両内状態検知装置および方法
JP2017133226A (ja) * 2016-01-27 2017-08-03 株式会社オートネットワーク技術研究所 車両ドアロック制御装置及び車両ドアロックシステム
WO2019176391A1 (ja) * 2018-03-15 2019-09-19 株式会社Ｊｖｃケンウッド ドライブレコーダ、表示制御方法およびプログラム

Similar Documents

Publication Publication Date Title
RU2699168C2 (ru) Обнаружение объекта для транспортных средств
US9576189B2 (en) Method and apparatus for controlling vehicle using motion recognition with face recognition
EP1700761B1 (en) Apparatus for authenticating vehicle driver
ES2702762T3 (es) Activador automático para airbag de pasajero
JP2012014482A (ja) タクシー用判定装置
JP2002288670A (ja) 顔画像を使用した個人認証装置
US10465429B2 (en) Controller, control method, and computer-readable recording medium
EP2860665A2 (en) Face detection apparatus, and face detection method
CN109204114B (zh) 车辆迎宾灯的投射方法和装置
US11710291B2 (en) Image recognition device and image recognition method
US11625927B2 (en) Abnormality determination apparatus
KR102266354B1 (ko) 다중설정을 위한 생체인증 장치 및 방법
US11679763B2 (en) Vehicle accident surrounding information link apparatus
EP3560770A1 (en) Occupant information determination apparatus
US11729501B2 (en) Imaging control system, imaging control method, control device, control method, and storage medium
CN108791119A (zh) 车辆控制系统及方法
WO2023175686A1 (ja) 乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体
CN103425962A (zh) 车辆用脸部认证装置及方法
US10430675B2 (en) Method and device for providing a piece of occupant information for a safety unit for a vehicle
US20150070267A1 (en) Misrecognition reducing motion recognition apparatus and method
JP2011165146A (ja) 車載装置、報知方法、車両照合システム及びコンピュータプログラム
JP2004276783A (ja) 車両監視装置
JP2002140699A (ja) 生体照合装置、生体照合システムおよびその方法
JP2004330979A (ja) 車両の駆動制御装置
JP2019074964A (ja) 運転不能状態予測装置及び運転不能状態予測システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22931971

Country of ref document: EP

Kind code of ref document: A1