WO2020013035A1 - 異常判定装置 - Google Patents

異常判定装置 Download PDF

Info

Publication number
WO2020013035A1
WO2020013035A1 PCT/JP2019/026326 JP2019026326W WO2020013035A1 WO 2020013035 A1 WO2020013035 A1 WO 2020013035A1 JP 2019026326 W JP2019026326 W JP 2019026326W WO 2020013035 A1 WO2020013035 A1 WO 2020013035A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
person
determination device
abnormality determination
operable range
Prior art date
Application number
PCT/JP2019/026326
Other languages
English (en)
French (fr)
Inventor
寛 森本
幸泰 吉村
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112019003500.2T priority Critical patent/DE112019003500T5/de
Publication of WO2020013035A1 publication Critical patent/WO2020013035A1/ja
Priority to US17/142,765 priority patent/US11625927B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to an abnormality determination device.
  • Patent Literature 1 discloses a vehicle control device that executes an appropriate process for safety when an abnormal condition occurs in which a driver of a vehicle interferes with driving.
  • this vehicle control device when it is determined that the driver is in a drowsiness state or a driving impossible state based on the driver's face information and driver state monitoring information detected in the captured image captured by the camera, the vehicle decelerates. Execute vehicle control such as stopping.
  • various states can be considered as the abnormal state of the driver.
  • the vehicle control device that determines an abnormal state of the driver based on information only of the driver as described above cannot detect an abnormal state that does not appear in the driver's face information or the like. Has been found that the determination of the abnormal state of the above is not sufficient.
  • One aspect of the present disclosure is to enable detection of an abnormal state of a driver that cannot be detected by information of the driver alone.
  • an abnormality determination device mounted on a vehicle, and includes an identification unit, a person determination unit, and an abnormality processing unit.
  • the identification unit is configured to identify a person in a captured image obtained from a camera that captures an area including a driver's seat of the vehicle.
  • the person determination unit is configured to determine whether or not a person other than the driver of the vehicle exists in the operable range set as the operable range of the steering of the vehicle based on the identification result by the identification unit.
  • the abnormality processing unit executes an abnormality process on the assumption that the driver of the vehicle is in an abnormal state when the person determination unit determines that a person other than the driver exists in the operable range.
  • FIG. 2 is a block diagram illustrating a configuration of an abnormality determination system.
  • 5 is a flowchart of an abnormality determination process according to the first embodiment.
  • FIG. 7 is a diagram illustrating a setting range set around a steering in a two-dimensional captured image.
  • 5 is a timing chart illustrating an example in which a driver is determined to be in an abnormal state. It is a flowchart of the abnormality determination processing of the second embodiment.
  • An abnormality determination system 100 shown in FIG. 1 is a system mounted on a vehicle such as a bus that carries a large number of passengers, for example, a camera 1, an abnormality determination device 2, an HMI (Human Machine Interface) 3, and a vehicle control. Device 4.
  • a vehicle such as a bus that carries a large number of passengers, for example, a camera 1, an abnormality determination device 2, an HMI (Human Machine Interface) 3, and a vehicle control. Device 4.
  • the camera 1 is an imaging device that can image a range including a driver's seat of the vehicle, and is provided at, for example, a plurality of locations in front of a driver of the vehicle.
  • the camera 1 outputs a signal representing the captured image to the abnormality determination device 2.
  • the abnormality determination device 2 Based on the captured image obtained from the camera 1, the abnormality determination device 2 can specify the three-dimensional position of a person or the like included in the captured image.
  • the abnormality determination device 2 is mainly configured by a known microcomputer having a CPU 21, a ROM 22, a RAM 23, a flash memory 24, and the like.
  • the CPU 21 executes a program stored in a ROM 22, which is a non-transitional substantive recording medium.
  • a method corresponding to the program is executed.
  • the abnormality determination device 2 executes an abnormality determination process illustrated in FIG. 2 described below according to the program.
  • the abnormality determination device 2 outputs a signal indicating the result of the abnormality determination process to the HMI 3 and the vehicle control device 4.
  • the abnormality determination device 2 may include one microcomputer, or may include a plurality of microcomputers.
  • the method of realizing the function of the abnormality determination device 2 is not limited to software, and some or all of the functions may be realized using one or a plurality of hardware.
  • the electronic circuit may be implemented by a digital circuit, an analog circuit, or a combination thereof.
  • the HMI 3 includes a display 31, a speaker 32, and a release switch 33.
  • the display 31 is an in-vehicle display that displays an image, and is provided at a position where a driver of a vehicle or the like can visually recognize the display.
  • the speaker 32 is an in-vehicle speaker shared with a car navigation device, an audio device, and the like.
  • the release switch 33 is a switch provided in a range that can be operated by the driver of the vehicle, and can stop the notification of the abnormal state of the driver. That is, as described later, in the present embodiment, when it is determined that the driver is in an abnormal state, the abnormal state of the driver is notified. However, even though the driver is normal, for example, when the driver tries to take an object near the driver's seat and loses his / her posture, it is determined that the driver's posture is not normal, and the abnormal state of the driver is reported. is there. Therefore, the abnormality determination system 100 is configured to stop the notification by pressing the release switch 33.
  • the vehicle control device 4 includes an engine 41, a brake actuator 42, and a steering actuator 43.
  • the vehicle control device 4 safely and automatically stops the vehicle. Specifically, the vehicle control device 4 decelerates or stops the vehicle by controlling, for example, the engine 41 or the brake actuator 42 in the vehicle. The vehicle control device 4 also retreats the vehicle to the road shoulder by, for example, performing steering angle control of the steering by the steering actuator 43.
  • the abnormality determination device 2 identifies a person by analyzing a captured image acquired from the camera 1.
  • a person is identified in a captured image using a well-known pattern matching method.
  • the abnormality determination device 2 further recognizes the identified human face by analyzing the captured image.
  • a human face is recognized from relative positions of feature points of the face such as eyes and nose specified in the captured image.
  • the abnormality determination device 2 determines whether a driver is present in the captured image based on the identification result in S101. Specifically, the abnormality determination device 2 determines whether a driver exists in the captured image based on the recognition result.
  • the driver is specified by comparing the information on the characteristic points of the driver's face registered in advance in the flash memory 24 with the information on the characteristic points of the human face recognized in the captured image. In other words, the information of the feature points of the driver's face registered in advance and the information of the feature points of the recognized person's face are compared to determine whether they are the same person. When it is determined that the two persons are the same person, it is determined that the driver exists in the captured image.
  • the process proceeds to S107 described below. That is, when the driver does not exist in the captured image, the driver does not exist in the driver's seat, and thus the driver is determined to be in an abnormal state.
  • the abnormality determination device 2 determines the driver's posture in the captured image.
  • the attitude of the driver is determined by detecting the inclination of the head with respect to the body based on the identification result in S101.
  • the abnormality determination device 2 determines whether the driver's posture is normal. In the present embodiment, when the inclination of the head relative to the torso of the driver is equal to or greater than a predetermined threshold and the state of the inclination continues for a predetermined time, it is determined that the driver's posture is not normal.
  • the abnormality determination device 2 determines that the driver's posture is not normal in S104, the process proceeds to S107 described below. That is, when the driver's posture is not normal, for example, when the driver is fainted or the head is tilted, it is determined that the driver is in an abnormal state.
  • the abnormality determination device 2 determines whether or not a person other than the driver exists in the captured image based on the recognition result in S101. In the present embodiment, when a person other than the person identified as the driver in the captured image is identified in S101, it is determined that a person other than the driver exists. If it is determined in S105 that there is no other person than the driver in the captured image, the abnormality determination device 2 returns the process to S101.
  • the process proceeds to S106.
  • abnormality determination device 2 determines whether or not a person other than the driver exists in an operable range that is set in advance as an operable range of the steering of the vehicle.
  • the operable range is, for example, a range in which the driver can operate the steering wheel to drive the vehicle.
  • the operable range is set around the steering in the two-dimensional captured image B as shown in FIG. This is the set range A.
  • the abnormality determination device 2 returns the process to S101. That is, when it is determined that the driver is in a normal state and the passenger is not near the steering wheel, it is determined that the driver is not in an abnormal state.
  • the process proceeds to S107.
  • the driver is determined to be in a normal state, when there is a person other than the driver in the setting range A, it is highly possible that a passenger existing near the steering is intervening in driving the vehicle. Is determined to be in an abnormal state.
  • step S107 the abnormality determining device 2 determines that the driver is in an abnormal state, and thus reports the abnormal state of the driver of the vehicle.
  • an image for notifying an abnormal state of the driver is displayed using the display 31, or an abnormal state of the driver is notified by voice or the like using the speaker 32.
  • the abnormality determination device 2 executes S107 as abnormality processing.
  • the abnormality determination device 2 determines whether a release operation has been performed. In the present embodiment, whether or not the release operation has been performed is determined based on whether or not the release switch 33 has been pressed by the driver. When the release switch 33 is pressed, it is determined that the release operation has been performed. If the abnormality determination device 2 determines in step S108 that the release operation has not been performed, the process proceeds to step S109.
  • the abnormality determination device 2 determines whether the notification state for notifying that the driver is in an abnormal state has continued for a predetermined time or more. If the abnormality determination device 2 determines in S109 that the notification state has not continued for the predetermined time or more, the process returns to S108.
  • the process returns to S101. That is, even when the abnormal state of the driver is notified, if the driver performs the release operation within the predetermined time, it is determined that the driver is not in an abnormal state.
  • the process proceeds to S110.
  • abnormality determination device 2 executes control for automatically stopping the vehicle by vehicle control device 4 described above. Note that the abnormality determination device 2 executes S110 as abnormality processing. Thereafter, the abnormality determination device 2 ends the abnormality determination processing of FIG.
  • the driver's posture is determined to be normal, and the driver is not determined to be in an abnormal state. Conceivable.
  • the passenger who senses the abnormal state of the driver intervenes in driving at the timing of time T2
  • a person other than the driver exists in the setting range A. For this reason, it is determined that a person other than the driver exists in the operable range, and the driver is determined to be in an abnormal state.
  • an abnormal state of the driver is notified. Thereafter, when the notification state continues for a predetermined time or longer without the driver performing the release operation, control for automatically stopping the vehicle is performed at the timing of time T4.
  • the configuration of the present embodiment that determines whether the driver is in an abnormal state in consideration of information of a person other than the driver, the abnormal state of the driver that cannot be detected by the information of the driver alone And the vehicle can be automatically stopped.
  • S101 corresponds to processing as an identification unit
  • S102 and S106 correspond to processing as a person determination unit
  • S107 and S110 correspond to processing as an abnormality processing unit.
  • step S201 the abnormality determination device 2 identifies a person by analyzing a captured image acquired from the camera 1.
  • recognition of the face of the identified person is not required.
  • the abnormality determination device 2 determines whether or not there is a person in the operable range based on the identification result in S201. In S202, similarly to the processing of S106 of the first embodiment, when the person identified in S201 exists in the setting range A, it is determined that the person exists in the operable range. If the abnormality determination device 2 determines in step S202 that a person exists in the operable range, the process proceeds to step S203.
  • the abnormality determination device 2 determines whether two or more people exist in the operable range. If the abnormality determination device 2 determines in step S203 that two or more people exist in the operable range, the process proceeds to step S209. That is, when two or more people exist in the setting range A, there are a person who is assumed to be a driver near the steering wheel and a passenger who is a driver other than the driver who is likely to be involved in driving the vehicle. Therefore, it is determined that the driver is in an abnormal state.
  • the abnormality determination device 2 determines in S203 that two or more people do not exist in the operable range, that is, if there is one person who is assumed to be a driver in the operable range, the abnormality determination device 2 performs the process Move to S204.
  • the abnormality determination device 2 determines the posture of a person present in the operable range.
  • the determination method in S204 is the same as the processing in S103 of the first embodiment.
  • the abnormality determination device 2 determines whether or not the posture of the person present in the operable range is normal.
  • the determination method in S205 is the same as the processing in S104 of the first embodiment. If the abnormality determination device 2 determines in S205 that the posture of the person present in the operable range is normal, the process returns to S201. That is, when the person assumed to be the driver is determined to be in a normal state, and the passenger is not near the steering wheel, it is determined that the driver is not in an abnormal state.
  • the process proceeds to S209.
  • the posture of the person assumed to be the driver is not normal, for example, when the person assumed to be the driver is faint and the head is tilted, the driver is in an abnormal state. Is determined.
  • the process proceeds to S206.
  • the driver has lost sight and has disappeared from the operable range. It is conceivable that the lost driver may return to the imageable range. For this reason, it is determined whether or not the driver is in an abnormal state in the next steps S206 to S208.
  • the abnormality determination device 2 determines whether or not a person has appeared in the operable range. In the present embodiment, when a person exists in the setting range A, it is determined that a person has appeared in the operable range. If the abnormality determination device 2 determines in step S206 that no person has appeared in the operable range, the process proceeds to step S207.
  • the abnormality determination device 2 determines whether the absence state in which no person has appeared in the operable range has continued for a predetermined time or more. In the present embodiment, it is determined whether the absence state has continued for 3 seconds or more. If the abnormality determination device 2 determines in step S207 that the absence state has continued for a predetermined time or more, the process proceeds to step S209. That is, the driver may be determined to be in an abnormal state because the driver may not disappear from the operable range due to the intended behavior.
  • step S207 determines in step S207 that the absence state has not continued for the predetermined time or more. That is, when the absence state of the driver in the operable range is less than 3 seconds, it is too early to determine that the driver is in an abnormal state, and thus the driver is not determined to be in an abnormal state.
  • step S206 determines in step S206 that a person has appeared in the operable range. If the abnormality determination device 2 determines in step S206 that a person has appeared in the operable range, the process proceeds to step S208.
  • the abnormality determination device 2 determines whether the appearance position, which is a position where a person has appeared in the operable range, and the disappearance position, which is a position where a person has disappeared from the operable range, are the same. Specifically, the abnormality determination device 2 determines the appearance position of a person who has appeared in the operable range in the current cycle and the operable range in a cycle earlier than the current cycle stored in the flash memory 24. It is determined whether or not the disappearance position of the person who has disappeared from is the same. Here, when there are a plurality of disappearance positions, the disappearance position is a position immediately before an appearance person appears at an appearance position in the current cycle, that is, the latest disappearance position. Then, the abnormality determination device 2 determines whether the appearing position and the disappearing position are the same, thereby determining whether the appearing person and the disappearing person are the same person.
  • each of the appearance position and the disappearance position in the operable range is classified into one of two positions on the left and right with respect to the driver's seat, and the appearance person and the disappearance person are the same person as follows. It is determined whether or not.
  • the appearance position is different from the disappearance position
  • the disappearance position is on the left side of the driver's seat and the disappearance position is on the right side of the driver's seat.
  • the driver disappears to the right of the driver's seat due to fainting, etc.
  • a passenger who intervened in driving after detecting the abnormal condition of the driver appears from the left of the driver's seat.
  • the driver is the vanished person and the passenger is the appearing person.
  • the appearance position and the disappearance position are the same, for example, the appearance position is on the left side of the driver's seat and the disappearance position is also on the left side of the driver's seat.
  • the person assumed to be the driver temporarily disappeared to the right side of the driver's seat due to intentionally bending down etc., but to complete the intended action and return to the original posture It is possible that the vehicle appears from the right side of the driver's seat.
  • a situation may be considered in which the driver has bent over to pick up an object near the driver's seat and disappeared from the operable range, but has picked up the object and returned. Therefore, when the appearance position and the disappearance position are the same, it is determined that the appearance person and the disappearance person are the same person because there is a high possibility that the disappearance person and the appearance person are drivers.
  • the process proceeds to S209. That is, when the appearing person and the disappearing person are not the same person, it is determined that the driver is in an abnormal state.
  • the process returns to S201. That is, since the appearance person and the disappearance person are likely to be the same person, it is determined that the driver is not in an abnormal state.
  • the abnormal state of the driver is notified. That is, it is determined whether the appearing person and the disappearing person are the same person based on the appearing position and the disappearing position. This makes it possible to determine whether the driver is in an abnormal state by determining whether the appearing person and the disappearing person are the same person without identifying the driver using face recognition. Can be.
  • S201 corresponds to processing as an identification unit
  • S202 corresponds to processing as an existence determination unit
  • S203 corresponds to processing as a person determination unit
  • S209 and S212 correspond to abnormality processing units. Corresponding to the processing.
  • the driver is specified by comparing the information on the feature points of the driver's face registered in advance with the information on the feature points of the recognized human face.
  • the method for recognizing a face that specifies a driver is not limited to this. For example, when the ignition switch is turned on, information on the characteristic points of the face of the person sitting in the driver's seat may be stored as driver information and may be compared. Further, even if the driver is specified by comparing the information on the feature points of the human face acquired in the cycle earlier than the present cycle with the information on the feature points of the human face acquired in the current cycle. Good.
  • each of the appearance position and the disappearance position in the operable range is classified into one of two positions on the left and right with respect to the driver's seat. Is not limited to this. For example, they may be classified into any of four positions, left and right and up and down. In such a case, for example, when the appearance position is the upper left side of the driver's seat and the disappearance position is one of the lower right side, the upper right side, and the lower left side of the driver's seat, the appearance position and the disappearance position are not the same. May be determined.
  • the setting range may be a setting range set in a three-dimensional space. That is, in each of the above embodiments, the rectangular range in the captured image is set as the setting range A. However, for example, a rectangular parallelepiped range in which the setting range A of each of the above embodiments has a further constant depth may be set as the setting range. Good.
  • the appearance person and the disappearance person are determined to be the same person and the driver is determined not to be in an abnormal state.
  • the method for determining whether the driver is in an abnormal state is not limited to this. For example, when a person appears in the operable range from outside the set range, that is, outside the operable range, the driver may be determined to be in an abnormal state regardless of the appearance direction.
  • the abnormality determination system 100 may be mounted on a vehicle other than a bus.
  • the functions of one component in the above embodiments may be distributed as a plurality of components, or the functions of a plurality of components may be integrated into one component. Further, a part of the configuration of each of the above embodiments may be omitted. In addition, at least a part of the configuration of each of the above embodiments may be added to, replaced with, or the like to the configuration of each of the other above embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Emergency Management (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Dentistry (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

車両に搭載される異常判定装置は、識別部（Ｓ１０１）と、人判定部（Ｓ１０６）と、異常処理部（Ｓ１０７，Ｓ１１０）と、を備える。識別部は、車両の運転席を含む範囲を撮像するカメラから取得した撮像画像において人を識別するように構成される。人判定部は、識別部による識別結果に基づいて、車両のステアリングを操作可能な範囲として設定される操作可能範囲に車両のドライバ以外の人が存在するか否かを判定するように構成される。異常処理部は、人判定部により操作可能範囲にドライバ以外の人が存在すると判定された場合、車両のドライバが異常な状態であることを想定した異常処理を実行する。

Description

異常判定装置 関連出願の相互参照
　本国際出願は、２０１８年７月９日に日本国特許庁に出願された日本国特許出願第２０１８－１３０００５号に基づく優先権を主張するものであり、日本国特許出願第２０１８－１３０００５号の全内容を本国際出願に参照により援用する。
　本開示は、異常判定装置に関する。
　特許文献１には、車両のドライバが運転に支障を来すような異常な状態になった場合において、安全上適正な処理を実行する車両制御装置が開示されている。この車両制御装置では、カメラにより撮像された撮像画像において検出されたドライバの顔情報及びドライバの状態の監視情報に基づき、ドライバが眠気状態や運転不能状態にあると判定された場合、減速して停止する等の車両制御を実行する。
特開２０１６－８５５６３号公報
　ところで、ドライバの異常な状態には様々な状態が考えられる。発明者の詳細な検討の結果、上述したようなドライバのみの情報に基づきドライバの異常な状態を判定する車両制御装置では、ドライバの顔情報等に表れない異常な状態については検出できないため、ドライバの異常な状態の判定が十分でないという課題が見出された。
　本開示の一局面は、ドライバのみの情報では検出できないようなドライバの異常な状態を検出可能とすることにある。
　本開示の一態様は、車両に搭載される異常判定装置であって、識別部と、人判定部と、異常処理部と、を備える。識別部は、車両の運転席を含む範囲を撮像するカメラから取得した撮像画像において人を識別するように構成される。人判定部は、識別部による識別結果に基づいて、車両のステアリングを操作可能な範囲として設定される操作可能範囲に車両のドライバ以外の人が存在するか否かを判定するように構成される。異常処理部は、人判定部により操作可能範囲にドライバ以外の人が存在すると判定された場合、車両のドライバが異常な状態であることを想定した異常処理を実行する。
　このような構成によれば、ドライバのみの情報では検出できないようなドライバの異常な状態を検出することができる。すなわち、例えばバスなどにおいて、乗客がドライバの異常な状態を察知した場合、その乗客がステアリングの操作に介入することが考えられる。このような場合には、操作可能範囲にドライバ以外の人である乗客が存在することになる。このため、たとえドライバのみの情報ではドライバの異常な状態を検出できなかった場合でも、操作可能範囲にドライバ以外の人が存在すると判定されることから、異常処理が実行される。したがって、ドライバのみの情報では検出できないようなドライバの異常な状態を検出し、異常処理を実行することができる。
異常判定システムの構成を示すブロック図である。 第１実施形態の異常判定処理のフローチャートである。 ２次元の撮像画像におけるステアリングの周辺に設定された設定範囲を示す図である。 ドライバが異常な状態であると判定される一例を示すタイミングチャートである。 第２実施形態の異常判定処理のフローチャートである。
　以下、本開示の例示的な実施形態について図面を参照しながら説明する。
　［１．第１実施形態］
　［１－１．構成］
　図１に示す異常判定システム１００は、例えば多数の乗客を乗せるバス等の車両に搭載されたシステムであって、カメラ１と、異常判定装置２と、ＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）３と、車両制御装置４と、を備える。
　カメラ１は、車両の運転席を含む範囲を撮像可能な撮像装置であり、例えば車両のドライバの前方における複数箇所に設けられている。カメラ１は、撮像画像を表す信号を異常判定装置２へ出力する。カメラ１から取得した撮像画像に基づき、異常判定装置２によって、当該撮像画像に含まれる人等の３次元位置が特定可能である。
　異常判定装置２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、フラッシュメモリ２４等を有する周知のマイクロコンピュータを中心に構成される。ＣＰＵ２１は、非遷移的実体的記録媒体であるＲＯＭ２２に格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、異常判定装置２は、当該プログラムに従い、後述する図２に示す異常判定処理を実行する。異常判定装置２は、異常判定処理の結果を表す信号をＨＭＩ３及び車両制御装置４に出力する。なお、異常判定装置２は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。また、異常判定装置２の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
　ＨＭＩ３は、ディスプレイ３１、スピーカ３２及び解除スイッチ３３を備える。
　ディスプレイ３１は、画像を表示する車載ディスプレイであって、車両のドライバなどが視認できる位置に設けられる。
　スピーカ３２は、カーナビゲーション装置やオーディオ装置等と共有される車載スピーカである。
　解除スイッチ３３は、車両のドライバが操作可能な範囲に設けられるスイッチであって、ドライバの異常状態の報知を停止することを可能とする。すなわち、後述するように、本実施形態では、ドライバが異常な状態であると判定された場合、ドライバの異常状態が報知される。しかし、ドライバが正常であるにも関わらず、例えばドライバが運転席の近くの物を取ろうとして姿勢を崩すことによりドライバの姿勢が正常でないと判定され、ドライバの異常状態が報知される場合がある。そこで、異常判定システム１００は、解除スイッチ３３を押すことで当該報知を停止できるように構成されている。
　車両制御装置４は、エンジン４１、ブレーキアクチュエータ４２及びステアリングアクチュエータ４３を備える。車両制御装置４は、後述する異常判定処理によりドライバが異常な状態にあると判定された場合、車両を安全に自動停止させる。具体的には、車両制御装置４は、例えば車両においてエンジン４１又はブレーキアクチュエータ４２を制御することで、車両を減速又は停止させる。また、車両制御装置４は、例えばステアリングアクチュエータ４３によるステアリングの操舵角制御を併せて実施することで、車両を路肩に退避させる。
　［１－２．処理］
　次に、異常判定装置２が実行する異常判定処理について、図２のフローチャートを用いて説明する。この異常判定処理は、イグニッションスイッチがオンである間、周期的に実行される。
　まず、Ｓ１０１で、異常判定装置２は、カメラ１から取得した撮像画像を解析することにより人を識別する。本実施形態では、周知のパターンマッチング法を用いて撮像画像において人を識別する。また、Ｓ１０１で、異常判定装置２は、撮像画像を解析することにより、識別された人の顔を更に認識する。本実施形態では、撮像画像において特定される目及び鼻などの顔の特徴点の相対的な位置などから人の顔を認識する。
　続いて、Ｓ１０２で、異常判定装置２は、Ｓ１０１による識別結果に基づいて、撮像画像にドライバが存在するか否かを判定する。具体的には、異常判定装置２は、認識結果に基づいて、撮像画像にドライバが存在するか否かを判定する。本実施形態では、フラッシュメモリ２４に予め登録されたドライバの顔の特徴点の情報と、撮像画像において認識された人の顔の特徴点の情報と、を比較して、ドライバを特定する。つまり、予め登録されたドライバの顔の特徴点の情報と、認識された人の顔の特徴点の情報と、を比較して、同一人物であるか否かが判定される。そして、同一人物であると判定された場合、撮像画像にドライバが存在すると判定される。異常判定装置２は、Ｓ１０２で撮像画像にドライバが存在しないと判定した場合には、処理を後述するＳ１０７へ移行する。つまり、撮像画像にドライバが存在しない場合、運転席にドライバが存在しないことになるため、ドライバが異常な状態であると判定される。
　一方、異常判定装置２は、Ｓ１０２で撮像画像にドライバが存在すると判定した場合には、処理をＳ１０３へ移行する。
　Ｓ１０３で、異常判定装置２は、撮像画像におけるドライバの姿勢を判定する。ドライバの姿勢は、Ｓ１０１による識別結果に基づいて胴体部に対する頭部の傾きを検出することにより判定される。
　続いて、Ｓ１０４で、異常判定装置２は、ドライバの姿勢が正常であるか否かを判定する。本実施形態では、ドライバの胴体部に対する頭部の傾きが所定の閾値以上であり、かつ、その傾き状態が所定時間継続している場合、ドライバの姿勢が正常でないと判定される。異常判定装置２は、Ｓ１０４でドライバの姿勢が正常でないと判定した場合には、処理を後述するＳ１０７へ移行する。つまり、ドライバの姿勢が正常でない場合、例えばドライバが気を失うなどして頭部が傾いているような場合、ドライバが異常な状態であると判定される。
　一方、異常判定装置２は、Ｓ１０４でドライバの姿勢が正常であると判定した場合には、処理をＳ１０５へ移行する。
　Ｓ１０５で、異常判定装置２は、Ｓ１０１による認識結果に基づいて、撮像画像にドライバ以外の人が存在するか否かを判定する。本実施形態では、撮像画像においてドライバと特定された人以外の人がＳ１０１で識別されている場合、ドライバ以外の人が存在すると判定される。異常判定装置２は、Ｓ１０５で撮像画像にドライバ以外の人が存在しないと判定した場合には、処理をＳ１０１へ戻す。
　一方、異常判定装置２は、Ｓ１０５で撮像画像にドライバ以外の人が存在すると判定した場合には、処理をＳ１０６へ移行する。
　Ｓ１０６で、異常判定装置２は、車両のステアリングを操作可能な範囲として予め設定されている操作可能範囲にドライバ以外の人が存在するか否かを判定する。操作可能範囲とは、例えばドライバが車両を運転するためにステアリングが操作可能と考えられる範囲であり、本実施形態では、図３に示すように、２次元の撮像画像Ｂにおけるステアリングの周辺に設定された設定範囲Ａである。本実施形態では、Ｓ１０５で存在すると判定されたドライバ以外の人が撮像画像Ｂにおける設定範囲Ａに存在しない場合、操作可能範囲にドライバ以外の人が存在しないと判定される。異常判定装置２は、Ｓ１０６で操作可能範囲にドライバ以外の人が存在しないと判定した場合には、処理をＳ１０１へ戻す。つまり、ドライバが正常な状態と判定され、かつ、乗客がステアリングの近くにいない場合、ドライバが異常な状態でないと判定される。
　一方、異常判定装置２は、Ｓ１０６で操作可能範囲にドライバ以外の人が存在すると判定した場合には、処理をＳ１０７へ移行する。つまり、ドライバが正常な状態と判定されていても、設定範囲Ａにドライバ以外の人が存在する場合、ステアリングの近くに存在する乗客が車両の運転に介入している可能性が高いため、ドライバが異常な状態であると判定される。
　Ｓ１０７で、異常判定装置２は、ドライバが異常な状態であると判定したため、車両のドライバの異常状態を報知する。本実施形態では、ディスプレイ３１を用いてドライバの異常状態を報知する画像を表示したり、スピーカ３２を用いてドライバの異常状態を音声等により報知したりする。なお、異常判定装置２は、異常処理としてＳ１０７を実行する。
　続いて、Ｓ１０８で、異常判定装置２は、解除操作が実行されたか否かを判定する。本実施形態では、解除操作が実行されたか否かは、ドライバにより解除スイッチ３３が押されたか否かによって判定される。解除スイッチ３３が押された場合、解除操作が実行されたと判定される。異常判定装置２は、Ｓ１０８で解除操作が実行されていないと判定した場合には、処理をＳ１０９へ移行する。
　Ｓ１０９で、異常判定装置２は、ドライバが異常状態であることを報知する報知状態が所定時間以上継続したか否かを判定する。異常判定装置２は、Ｓ１０９で報知状態が所定時間以上継続していないと判定した場合には、処理をＳ１０８へ戻す。
　異常判定装置２は、Ｓ１０８で解除操作が実行されたと判定した場合には、処理をＳ１０１へ戻す。つまり、ドライバの異常状態が報知された場合でも、ドライバにより所定時間内に解除操作が実行された場合、ドライバが異常な状態でないと判定される。
　一方、異常判定装置２は、Ｓ１０９で報知状態が所定時間以上継続したと判定した場合には、処理をＳ１１０へ移行する。
　Ｓ１１０で、異常判定装置２は、上述した車両制御装置４により車両を自動停止させる制御を実行する。なお、異常判定装置２は、異常処理としてＳ１１０を実行する。その後、異常判定装置２は、図２の異常判定処理を終了する。
　［１－３．効果］
　以上詳述した第１実施形態によれば、以下の効果が得られる。
　（１ａ）本実施形態によれば、ドライバのみの情報では検出できないようなドライバの異常な状態を検出することができる。
　ここで、図４のタイミングチャートを用いて、本実施形態においてドライバが異常な状態であると判定される具体的な状況の一例を示す。
　時刻Ｔ１のタイミングにおいて、ドライバが姿勢を崩すことなく気を失うなどして異常な状態となった場合、ドライバの姿勢は正常であると判定され、ドライバが異常な状態であると判定されないことが考えられる。しかし、時刻Ｔ２のタイミングにおいて、ドライバの異常状態を察知した乗客が運転に介入した場合、設定範囲Ａにドライバ以外の人が存在することになる。このため、操作可能範囲にドライバ以外の人が存在すると判定され、ドライバが異常な状態であると判定される。そして、時刻Ｔ３のタイミングにおいて、ドライバの異常状態が報知される。その後、ドライバにより解除操作が実行されることなく報知状態が所定時間以上継続した場合、時刻Ｔ４のタイミングにおいて、車両を自動停止させる制御が実行される。
　以上のように、ドライバのみの情報からドライバが異常な状態であるか否かを判定する場合、ドライバが正常な状態であると誤判定されてしまう可能性がある。これに対し、ドライバ以外の人の情報も考慮してドライバが異常な状態であるか否かを判定する本実施形態の構成によれば、ドライバのみの情報では検出できないようなドライバの異常な状態を検出し、車両を自動停止させることができる。
　（１ｂ）本実施形態では、報知状態が所定時間以上継続したか否かが判定される。そして、ドライバの異常状態が報知された場合でも、ドライバにより所定時間内に解除操作が実行された場合、当該報知が中止される。したがって、ドライバが正常であるにも関わらず、ドライバの異常状態が報知された場合でも、車両を自動停止させる制御を実行しないようにすることができる。
　なお、第１実施形態では、Ｓ１０１が識別部としての処理に相当し、Ｓ１０２，Ｓ１０６が人判定部としての処理に相当し、Ｓ１０７及びＳ１１０が異常処理部としての処理に相当する。
　［２．第２実施形態］
　［２－１．構成］
　第２実施形態の異常判定システムは、基本的な構成は第１実施形態と同様であるため、第１実施形態と共通する構成については同一符号を用いて説明を省略する。
　［２－２．処理］
　次に、異常判定装置２が実行する異常判定処理について、図５のフローチャートを用いて説明する。なお、図５におけるＳ２０９～Ｓ２１２の処理は、それぞれ図２におけるＳ１０７～Ｓ１１０の処理と同様であるため、説明を省略する。
　Ｓ２０１で、異常判定装置２は、カメラ１から取得した撮像画像を解析することにより人を識別する。本実施形態では、第１実施形態とは異なり、識別された人の顔の認識までは要しない。
　Ｓ２０２で、異常判定装置２は、Ｓ２０１による識別結果に基づいて、操作可能範囲に人が存在するか否かを判定する。Ｓ２０２では、第１実施形態のＳ１０６の処理と同様に、Ｓ２０１で識別された人が設定範囲Ａに存在する場合、操作可能範囲に人が存在すると判定される。異常判定装置２は、Ｓ２０２で、操作可能範囲に人が存在すると判定した場合には、処理をＳ２０３へ移行する。
　Ｓ２０３で、異常判定装置２は、操作可能範囲に人が２人以上存在するか否かを判定する。異常判定装置２は、Ｓ２０３で、操作可能範囲に人が２人以上存在すると判定した場合、処理をＳ２０９へ移行する。つまり、設定範囲Ａに人が２人以上存在する場合、ステアリングの近くにドライバであると想定される人と車両の運転に介入している可能性が高いドライバ以外の人である乗客とが存在することになるため、ドライバが異常な状態であると判定される。
　一方、異常判定装置２は、Ｓ２０３で、操作可能範囲に人が２人以上存在しないと判定した場合、つまり、操作可能範囲にドライバであると想定される人が１人存在する場合、処理をＳ２０４へ移行する。
　Ｓ２０４で、異常判定装置２は、操作可能範囲に存在する人の姿勢を判定する。Ｓ２０４における判定の方法は、第１実施形態のＳ１０３の処理と同様である。
　続いて、Ｓ２０５で、異常判定装置２は、操作可能範囲に存在する人の姿勢が正常であるか否かを判定する。Ｓ２０５における判定の方法は、第１実施形態のＳ１０４の処理と同様である。異常判定装置２は、Ｓ２０５で、操作可能範囲に存在する人の姿勢が正常であると判定した場合、処理をＳ２０１へ戻す。つまり、ドライバであると想定される人が正常な状態と判定され、かつ、乗客がステアリングの近くにいない場合、ドライバが異常な状態でないと判定される。
　一方、異常判定装置２は、Ｓ２０５で、操作可能範囲に存在する人の姿勢が正常でないと判定した場合、処理をＳ２０９へ移行する。つまり、ドライバであると想定される人の姿勢が正常でない場合、例えばドライバであると想定される人が気を失うなどして頭部が傾いているような場合、ドライバが異常な状態であると判定される。
　一方、異常判定装置２は、Ｓ２０２で、操作可能範囲に人が存在しないと判定した場合には、処理をＳ２０６へ移行する。つまり、操作可能範囲に人が存在しない場合、ドライバが気を失うなどして操作可能範囲から消失したことが考えられる一方、運転席付近の物を拾うなどのために意図して操作可能範囲から消失したドライバが撮像可能範囲に戻ってくる可能性が考えられる。このため、次のＳ２０６～Ｓ２０８の処理でドライバが異常な状態であるか否かが判定される。
　Ｓ２０６で、異常判定装置２は、操作可能範囲に人が出現したか否かを判定する。本実施形態では、設定範囲Ａに人が存在する場合、操作可能範囲に人が出現したと判定される。異常判定装置２は、Ｓ２０６で、操作可能範囲に人が出現していないと判定した場合、処理をＳ２０７へ移行する。
　Ｓ２０７で、異常判定装置２は、操作可能範囲に人が出現していない状態である不在状態が所定時間以上継続したか否かを判定する。本実施形態では、不在状態が３秒以上継続したか否かが判定される。異常判定装置２は、Ｓ２０７で、不在状態が所定時間以上継続したと判定した場合、処理をＳ２０９へ移行する。つまり、ドライバの操作可能範囲からの消失が意図した行動によるものでない可能性があるため、ドライバが異常な状態であると判定される。
　一方、異常判定装置２は、Ｓ２０７で、不在状態が所定時間以上継続していないと判定した場合、処理をＳ２０６へ戻す。つまり、ドライバの操作可能範囲における不在状態が３秒未満である場合、ドライバが異常な状態であると判断するには時期尚早であるため、ドライバが異常な状態であるとは判定されない。
　一方、異常判定装置２は、Ｓ２０６で、操作可能範囲に人が出現したと判定した場合、処理をＳ２０８へ移行する。
　Ｓ２０８で、異常判定装置２は、操作可能範囲に人が出現した位置である出現位置と、操作可能範囲から人が消失した位置である消失位置と、が同じであるか否かを判定する。具体的には、異常判定装置２は、現在の周期において操作可能範囲に出現した人である出現者の出現位置と、フラッシュメモリ２４に記憶された現在の周期よりも前の周期において操作可能範囲から消失した人である消失者の消失位置と、が同じであるか否かを判定する。ここで、当該消失位置とは、複数の消失位置がある場合において、現在の周期における出現位置に出現者が出現する直前、つまり最新の消失位置である。そして、異常判定装置２は、出現位置と消失位置とが同じであるか否かを判定することで、出現者と消失者とが同一人物であるか否かを判定する。
　本実施形態では、操作可能範囲における出現位置及び消失位置のそれぞれは、運転席を基準とした左右２つの位置のいずれかに分類され、次のように出現者と消失者とが同一人物であるか否かが判定される。
　まず、出現位置と消失位置とが異なる場合、例えば出現位置が運転席の左側であり、消失位置が運転席の右側である場合を例に説明する。このような場合、ドライバが気を失うなどして運転席の右側へ消失し、そのドライバの異常な状態を察知して運転に介入した乗客が運転席の左側から出現するというような状態が考えられる。この場合、ドライバが消失者であり、乗客が出現者である。また、ドライバが運転席の右側へ消失し、運転席の左側から出現するというような状態は考えにくい。したがって、出現位置と消失位置とが異なる場合、消失者がドライバであり、出現者が乗客であると考えられるため、出現者と消失者とが同一人物でないと判定される。
　次に、出現位置と消失位置とが同じ場合、例えば出現位置が運転席の左側であり、消失位置も運転席の左側である場合を例に説明する。このような場合、ドライバであると想定される人が意図的に身をかがめるなどして一時的に運転席の右側へ消失したが、意図していた行動を完了し元の体勢に戻るために運転席の右側から出現するというような状態が考えられる。例えば、ドライバが運転席付近の物を拾うためにかがんで操作可能範囲から消失したが、物を拾って戻ってきたような状態が考えられる。したがって、出現位置と消失位置とが同じ場合、消失者及び出現者がドライバである可能性が高いため、出現者と消失者とが同一人物であると判定される。
　異常判定装置２は、Ｓ２０８で、出現位置と消失位置とが同じでないと判定した場合、処理をＳ２０９へ移行する。つまり、出現者と消失者とが同一人物でない場合、ドライバが異常な状態であると判定される。
　一方、異常判定装置２は、Ｓ２０８で、出現位置と消失位置とが同じであると判定した場合、処理をＳ２０１へ戻す。つまり、出現者と消失者とが同一人物である可能性が高いため、ドライバが異常な状態でないと判定される。
　［２－３．効果］
　以上詳述した第２実施形態によれば、上述した第１実施形態の（１ａ）及び（１ｂ）の効果に加え、以下の効果が得られる。
　（２ａ）本実施形態では、出現位置と消失位置とに基づいて、ドライバが異常な状態であると判定された場合、ドライバの異常状態が報知される。すなわち、出現位置と消失位置とに基づいて、出現者と消失者とが同一人物であるか否かが判定される。これにより、顔認識を用いてドライバを特定しなくても、出現者と消失者とが同一人物であるか否かを判定することで、ドライバが異常な状態であるか否かを判定することができる。
　（２ｂ）本実施形態では、人が操作可能範囲から消失した後、所定時間内に人が操作可能範囲へ出現した場合、ドライバが異常な状態であると判定されない。したがって、例えば、運転席付近の物を拾うなどのために意図して操作可能範囲から一時的に消失したドライバが、所定時間内に撮像可能範囲に戻ってくる場合に、誤ってドライバが異常な状態であると判定することをしないようにすることができる。また、本実施形態では、人が操作可能範囲から消失した後、所定時間以上経っても人が操作可能範囲へ出現しない場合、ドライバが異常な状態であると判定される。したがって、例えば、ドライバが気を失うなどして操作可能範囲から消失し、そのドライバの異常な状態を察知して運転に介入する乗客もいない場合、ドライバが異常な状態であると判定することができる。
　なお、第２実施形態では、Ｓ２０１が識別部としての処理に相当し、Ｓ２０２が存在判定部としての処理に相当し、Ｓ２０３が人判定部としての処理に相当し、Ｓ２０９及びＳ２１２が異常処理部としての処理に相当する。
　［３．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
　（３ａ）上記第１実施形態では、予め登録されたドライバの顔の特徴点の情報と、認識された人の顔の特徴点の情報と、を比較してドライバを特定する構成を例示したが、ドライバを特定する顔の認識方法は、これに限定されるものではない。例えば、イグニッションスイッチがオンされると、運転席に着座している人の顔の特徴点の情報をドライバの情報として記憶し、比較対象としてもよい。また、現在よりも前の周期において取得された人の顔の特徴点の情報と、現在の周期において取得された人の顔の特徴点の情報と、を比較して、ドライバを特定してもよい。
　（３ｂ）上記第２実施形態では、操作可能範囲における出現位置及び消失位置のそれぞれを、運転席を基準とした左右２つの位置のいずれかに分類する構成を例示したが、出現位置及び消失位置の分類方法はこれに限定されるものではない。例えば、左右及び上下における４つの位置のいずれかに分類されるようにしてもよい。このような場合、例えば、出現位置が運転席の左上側であり、消失位置が運転席の右下側、右上側、及び左下側のいずれかである場合、出現位置と消失位置とが同じでないと判定されるようにしてもよい。つまり、出現位置及び消失位置の左右の位置が異なるだけでなく、左右が同じ位置であっても上下の位置が異なる場合も、出現位置と消失位置とが同じでないと判定されるようにしてもよい。
　（３ｃ）設定範囲は、３次元空間において設定された設定範囲であってもよい。すなわち、上記各実施形態では、撮像画像における長方形状の範囲を設定範囲Ａとしたが、例えば上記各実施形態の設定範囲Ａに更に一定の奥行きを持たせた直方体状の範囲を設定範囲としてもよい。
　（３ｄ）上記第２実施形態では、出現位置と消失位置とが同じである場合、出現者と消失者とが同一人物であると判定し、ドライバが異常な状態でないと判定される構成を例示したが、ドライバが異常な状態であるか否かを判定する方法はこれに限定されるものではない。例えば、設定範囲の外から、つまり操作可能範囲の外から出現者が操作可能範囲に出現した場合、出現する方向に関係なく、ドライバが異常な状態であると判定されるようにしてもよい。
　（３ｅ）上記各実施形態において、異常判定システム１００は、バス以外の車両に搭載されていてもよい。
　（３ｆ）上記各実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の上記各実施形態の構成に対して付加、置換等してもよい。
　（３ｇ）本開示は、前述した異常判定装置２の他、当該異常判定装置２を構成要素とするシステム、当該異常判定装置２としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、異常判定処理方法など、種々の形態で実現することができる。

Claims (6)

  1. 　車両に搭載される異常判定装置（２）であって、
    　前記車両の運転席を含む範囲を撮像するカメラ（１）から取得した撮像画像において人を識別するように構成された識別部（Ｓ１０１，Ｓ２０１）と、
    　前記識別部による識別結果に基づいて、前記車両のステアリングを操作可能な範囲として設定される操作可能範囲に前記車両のドライバ以外の人が存在するか否かを判定するように構成された人判定部（Ｓ１０６，Ｓ２０３）と、
    　前記人判定部により前記操作可能範囲に前記ドライバ以外の人が存在すると判定された場合、前記車両のドライバが異常な状態であることを想定した異常処理を実行する異常処理部（Ｓ１０７，Ｓ１１０，Ｓ２０９，Ｓ２１２）と、
    　を備える、異常判定装置。
  2. 　請求項１に記載の異常判定装置であって、
    　前記識別部は、前記撮像画像において人の顔を認識するように構成され、
    　前記人判定部は、前記識別部による認識結果に基づいて、前記操作可能範囲に前記ドライバ以外の人が存在するか否かを判定する、異常判定装置。
  3. 　請求項１に記載の異常判定装置であって、
    　前記人判定部は、前記識別部による識別結果に基づいて、前記操作可能範囲に人が２人以上存在するか否かを判定し、人が２人以上存在する場合、前記操作可能範囲に前記ドライバ以外の人が存在すると判定する、異常判定装置。
  4. 　請求項３に記載の異常判定装置であって、
    　前記異常処理部は、前記操作可能範囲から人が消失した位置である消失位置と、前記操作可能範囲に人が出現した位置である出現位置と、に基づいて、前記異常処理を実行するように構成されている、異常判定装置。
  5. 　請求項４に記載の異常判定装置であって、
    　前記識別部による識別結果に基づいて、前記操作可能範囲に人が存在するか否かを判定するように構成された存在判定部（Ｓ２０２）を更に備え、
    　前記消失位置及び前記出現位置のそれぞれは、前記運転席を基準とした左右２つの位置のいずれかに分類され、
    　前記異常処理部は、前記存在判定部により前記操作可能範囲に人が存在しないと判定された後、前記操作可能範囲に人が出現した場合、前記出現位置と直前の前記消失位置とが異なるとき前記異常処理を実行し、前記出現位置と直前の前記消失位置とが同じとき前記異常処理を実行しない、異常判定装置。
  6. 　請求項５に記載の異常判定装置であって、
    　前記異常処理部は、前記存在判定部により前記操作可能範囲に人が存在しないと判定された後、前記操作可能範囲に人が出現していない状態が所定時間以上継続した場合、前記異常処理を実行する、異常判定装置。
PCT/JP2019/026326 2018-07-09 2019-07-02 異常判定装置 WO2020013035A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112019003500.2T DE112019003500T5 (de) 2018-07-09 2019-07-02 Abnormalitätsbestimmungsvorrichtung
US17/142,765 US11625927B2 (en) 2018-07-09 2021-01-06 Abnormality determination apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018130005A JP6881401B2 (ja) 2018-07-09 2018-07-09 異常判定装置
JP2018-130005 2018-07-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/142,765 Continuation US11625927B2 (en) 2018-07-09 2021-01-06 Abnormality determination apparatus

Publications (1)

Publication Number Publication Date
WO2020013035A1 true WO2020013035A1 (ja) 2020-01-16

Family

ID=69142561

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026326 WO2020013035A1 (ja) 2018-07-09 2019-07-02 異常判定装置

Country Status (4)

Country Link
US (1) US11625927B2 (ja)
JP (1) JP6881401B2 (ja)
DE (1) DE112019003500T5 (ja)
WO (1) WO2020013035A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625957B2 (en) * 2019-01-23 2023-04-11 Assurant, Inc. Methods, apparatuses, and systems for monitoring and maintaining vehicle condition
JP7259793B2 (ja) * 2020-03-26 2023-04-18 いすゞ自動車株式会社 運転支援装置
US11961312B2 (en) * 2020-06-29 2024-04-16 Micron Technology, Inc. Automatic generation of profiles based on occupant identification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060261931A1 (en) * 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function
US20140293053A1 (en) * 2013-03-27 2014-10-02 Pixart Imaging Inc. Safety monitoring apparatus and method thereof for human-driven vehicle

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005108033A (ja) 2003-09-30 2005-04-21 Toshiba Corp 運転者状況判定装置および運転者状況判定方法
DE112011105432B4 (de) 2011-07-11 2018-07-12 Toyota Jidosha Kabushiki Kaisha Fahrzeug-Notfallevakuierungsvorrichtung
US11422352B2 (en) * 2014-05-29 2022-08-23 Rarecyte, Inc. Automated substrate loading
JP6341055B2 (ja) 2014-10-24 2018-06-13 株式会社デンソー 車載制御装置
US9537987B2 (en) * 2014-11-21 2017-01-03 Lenovo (Singapore) Pte. Ltd. Transmission of data pertaining to use of speaker phone function and people present during telephonic communication
US9491374B1 (en) * 2015-12-11 2016-11-08 Fuji Xerox Co., Ltd. Systems and methods for videoconferencing input and display management based on activity
JP6680352B2 (ja) * 2016-02-24 2020-04-15 コニカミノルタ株式会社 被監視者監視装置、該方法および該システム
US10981427B2 (en) * 2016-03-29 2021-04-20 Sony Corporation Damping control device, damping control method, and moving body
US9883144B2 (en) * 2016-05-12 2018-01-30 Fuji Xerox Co., Ltd. System and method for replacing user media streams with animated avatars in live videoconferences
US11311210B2 (en) * 2016-07-14 2022-04-26 Brightday Technologies, Inc. Posture analysis systems and methods
US11623647B2 (en) * 2016-10-27 2023-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Driver and vehicle monitoring feedback system for an autonomous vehicle
JP2018151907A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP6804416B2 (ja) * 2017-09-25 2020-12-23 矢崎総業株式会社 監視システム
US20190215464A1 (en) * 2018-01-11 2019-07-11 Blue Jeans Network, Inc. Systems and methods for decomposing a video stream into face streams
US10275670B1 (en) * 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
JP2020106620A (ja) * 2018-12-26 2020-07-09 ソニー株式会社 撮像レンズ及び撮像装置
US11838684B2 (en) * 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060261931A1 (en) * 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function
US20140293053A1 (en) * 2013-03-27 2014-10-02 Pixart Imaging Inc. Safety monitoring apparatus and method thereof for human-driven vehicle

Also Published As

Publication number Publication date
US11625927B2 (en) 2023-04-11
DE112019003500T5 (de) 2021-04-08
US20210124963A1 (en) 2021-04-29
JP6881401B2 (ja) 2021-06-02
JP2020009179A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
US9616809B1 (en) Lane change prediction and turn signal activation upon observation of head and eye movement
WO2020013035A1 (ja) 異常判定装置
WO2018092265A1 (ja) 運転支援装置および運転支援方法
US9662977B2 (en) Driver state monitoring system
JP6341055B2 (ja) 車載制御装置
CN108263379A (zh) 基于姿势信息的行人检测和行人碰撞预防装置和方法
JP6350145B2 (ja) 顔向き検出装置及び車両用警告システム
US20160262682A1 (en) Driver monitoring apparatus
EP3590772B1 (en) Monitoring system
US9981598B2 (en) Alighting notification device
US20150365810A1 (en) Vehicular emergency report apparatus and emergency report system
JP2010066815A (ja) 人物検出装置、人物検出プログラム、作動制御装置、および衝突緩和装置
CN108263324A (zh) 基于姿势信息的行人检测和行人碰撞预防装置及方法
KR102420289B1 (ko) 자동차 상에 존재하는 적어도 하나의 오브젝트를 검출하기 위한 방법, 제어 장치 및 자동차
US11021081B2 (en) Occupant detection device, occupant detection system, and occupant detection method
JP2017074919A (ja) 保護制御装置
US11628801B2 (en) Wheelchair securing structure
US10525981B2 (en) Driver condition detection system
JP6409736B2 (ja) ポップアップ制御装置
JP7234614B2 (ja) 異常検出装置、異常検出システム及び異常検出プログラム
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
KR100571038B1 (ko) 스테레오 카메라를 이용한 탑승자 인식 시스템
JP4635857B2 (ja) 楕円検出方法、画像認識装置、制御装置
US10945651B2 (en) Arousal level determination device
JP2019074964A (ja) 運転不能状態予測装置及び運転不能状態予測システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19833573

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19833573

Country of ref document: EP

Kind code of ref document: A1