WO2022064592A1 - 運転状態判定装置、方法、及びコンピュータ可読媒体 - Google Patents

運転状態判定装置、方法、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022064592A1
WO2022064592A1 PCT/JP2020/036005 JP2020036005W WO2022064592A1 WO 2022064592 A1 WO2022064592 A1 WO 2022064592A1 JP 2020036005 W JP2020036005 W JP 2020036005W WO 2022064592 A1 WO2022064592 A1 WO 2022064592A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
threshold value
determination
shoulder
distance
Prior art date
Application number
PCT/JP2020/036005
Other languages
English (en)
French (fr)
Inventor
康則 二木
康博 水越
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/036005 priority Critical patent/WO2022064592A1/ja
Priority to US18/024,933 priority patent/US20230311899A1/en
Priority to JP2022551488A priority patent/JP7420277B2/ja
Publication of WO2022064592A1 publication Critical patent/WO2022064592A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Definitions

  • This disclosure relates to an operating condition determination device, a method, and a computer-readable medium.
  • Patent Document 1 discloses an operation condition monitoring device that detects a driver's condition based on a driver image.
  • the driving condition monitoring device described in Patent Document 1 detects the orientation of the driver's face and determines whether or not the driver is concentrating on driving based on the orientation of the face.
  • the face orientation (head posture) is represented by the horizontal deflection angle (yaw angle) and the vertical deflection angle (pitch angle) in the normalized spherical coordinates of the head.
  • the operating condition monitoring device detects that the driver is in a distracted state when the horizontal deflection angle and / or the vertical deflection angle is larger than the angle threshold value and its duration is longer than the time threshold value.
  • the monitoring state device detects the driver's hand, the target object, and the like.
  • the operating condition monitoring device determines that the driver is eating or drinking when the type of the target object is a container or food and the detection box of the target object and the detection box of the mouth overlap.
  • the detection box of the hand and the detection box of the target object overlap, and the minimum distance between the detection box of the target object and the detection box of the mouth or eyes is predetermined. If it is shorter than the distance, the driver determines that he / she is using an electronic device.
  • Patent Document 2 discloses another type of operation condition monitoring device.
  • the driving condition monitoring device described in Patent Document 2 detects facial information indicating the facial condition of the driver from the facial image of the driver.
  • the driving condition monitoring device creates a frequency distribution of face information in a preset time interval when a change occurs in the driver's face.
  • the driving condition monitoring device calculates the mode value of the face information from the frequency distribution of the face information, and calculates the reference value indicating the steady state of the driver based on the mode value of the face information.
  • the driving condition monitoring device compares the calculated reference value with the driver's face information and determines the driving condition of the driver.
  • the operating condition monitoring device determines the inattentive state of the driver by setting the normal viewing range for each driver based on the calculated reference value and comparing the normal viewing range with the current viewing range.
  • Patent Document 1 when the horizontal deflection angle and the vertical deflection angle of the face are larger than the angle threshold value, it is determined that the driver is in a distracted state. However, since the angle of view and the focal length may differ depending on the camera and the vehicle, the size and orientation of the driver in the driver image may change depending on the camera and the vehicle. In Patent Document 1, a predetermined fixed value is used for an angle threshold value or the like, and it is not possible to accurately determine whether or not the driver is in a distracted state by using such a fixed threshold value. Have difficulty.
  • Patent Document 2 a reference value is set based on the mode value of face information, and a normal viewing range is set based on the reference value.
  • the upper limit and the lower limit of the normal viewing range are set to values deviated by a certain value from the reference value. Therefore, Patent Document 2 may not be able to accurately determine the inattentive state of each driver when considering a plurality of drivers having different sizes of the drivers in the driver image.
  • the present disclosure provides a driving state determination device, a method, and a computer-readable medium capable of accurately determining the driving state of a driver even when the size of the driver in the driver image is not constant in view of listing circumstances.
  • the purpose is.
  • the present disclosure provides an operating state determination device as a first aspect.
  • the driving state determination device includes a position detecting means for detecting the positions of the driver's right shoulder and left shoulder and the positions of two or more body parts from the driver image taken by the driver, and the detected right shoulder and the detected right shoulder.
  • a shoulder width calculating means for calculating the shoulder width of the driver based on the position of the left shoulder, a threshold value determining means for determining one or more determination threshold values based on the calculated shoulder width, and two or more detected threshold values.
  • a determination means for determining the operating state of the driver is provided by using the position of the portion of the above and the determination threshold value of 1 or more.
  • the present disclosure provides a method for determining an operating state as a second aspect.
  • the driving state determination method detects the positions of the driver's right shoulder and left shoulder and the positions of two or more body parts from the driver image of the driver, and determines the positions of the detected right shoulder and left shoulder. Based on this, the shoulder width of the driver is calculated, a judgment threshold value of 1 or more is determined based on the calculated shoulder width, the positions of the detected 2 or more parts, and the judgment threshold value of 1 or more. Includes determining the operating state of the driver using and.
  • the present disclosure provides a computer-readable medium as a third aspect.
  • the computer-readable medium detects the positions of the driver's right shoulder and left shoulder and the positions of two or more body parts from the driver image of the driver, and is based on the detected positions of the right shoulder and left shoulder.
  • the shoulder width of the driver is calculated, a judgment threshold value of 1 or more is determined based on the calculated shoulder width, the positions of the detected two or more parts, and the judgment threshold value of 1 or more.
  • the driving state determination device, method, and computer-readable medium according to the present disclosure can accurately determine the driving state of the driver even when the size of the driver in the driver image is not constant.
  • the block diagram which shows the schematic structure of the operation state determination apparatus which concerns on this disclosure The block diagram which shows the operation state determination apparatus which concerns on 1st Embodiment of this disclosure.
  • a flowchart showing an operation procedure for determining driving while driving. A block diagram showing a hardware configuration of an electronic device.
  • FIG. 1 shows a schematic configuration of an operating state determination device according to the present disclosure.
  • the operating state determination device 10 includes a position detecting means 11, a shoulder width calculating means 12, a threshold value determining means 13, and a determining means 14.
  • the position detecting means 11 acquires an image from the camera 20.
  • the camera 20 photographs the driver of the vehicle and outputs the driver image to the position detecting means 11.
  • the position detecting means 11 detects the positions of the driver's right shoulder and left shoulder from the acquired driver image. Further, the position detecting means 11 detects the positions of two or more body parts.
  • the shoulder width calculating means 12 calculates the shoulder width of the driver based on the positions of the right shoulder and the left shoulder detected by the position detecting means 11.
  • the threshold value determining means 13 determines one or more determination threshold values based on the shoulder width calculated by the shoulder width calculating means 12.
  • the determination means 14 determines the operating state of the driver using the positions of two or more parts detected by the position detection means 11 and one or more determination thresholds determined by the threshold value determination means 13. do.
  • the threshold value determination means 13 determines the determination threshold value used by the determination means 14 based on the shoulder width of the driver.
  • the shoulder width is considered to represent the size of the driver in the driver image.
  • the determination means 14 can determine the operating state by using an appropriately set determination threshold value depending on whether the driver is large or small.
  • the driving state determination device 10 according to the present disclosure can accurately determine the driving state of the driver without depending on the angle of view of the camera 20 or the size of the driver in the image.
  • FIG. 2 shows an operating state determination device according to the first embodiment of the present disclosure.
  • the operation state determination device 100 includes a position detection unit 101, a shoulder width estimation unit 102, a threshold value determination unit 103, and an inattentive operation determination unit 104.
  • the driving state determination device 100 is configured as, for example, an electronic device that can be attached to the vehicle later.
  • the driving state determination device 100 may be built in an electronic device attached to the vehicle.
  • the driving state determination device 100 is built in a drive recorder including, for example, a camera that photographs the outside of the vehicle and a controller that records the captured video on a recording medium.
  • the operating state determination device 100 corresponds to the operating state determination device 10 shown in FIG.
  • the driving state determination device 100 acquires a video including a driver image from the camera 200.
  • the camera 200 photographs the driver's seat (driver) from a position on the passenger seat side of the center of the driver's seat in the width direction of the vehicle and from a position on the front side of the vehicle from the position of the driver's face.
  • the camera 200 is installed at a position such as the base of a rear-view mirror of a windshield, and photographs a driver sitting in the driver's seat from the center of the vehicle from an oblique direction. For example, if the vehicle is a right-hand drive vehicle, the camera 200 photographs the driver from the front left.
  • the camera 200 may capture not only the image inside the vehicle but also the image outside the vehicle.
  • the camera 200 may be a 360-degree camera that photographs the front, rear, right side, left side, and interior of the vehicle.
  • the camera 200 outputs the captured image as a moving image to the operating state determination device 100.
  • the camera 200 may be a part of the operating state determination device 100.
  • the camera 200 corresponds to the camera 20 shown in FIG.
  • the driving state determination device 100 determines the driving state of the driver based on the driver image acquired from the camera 200.
  • the operating state determination device 100 determines, for example, whether or not the driver is in an operating state in which he / she is not concentrating on driving.
  • the driving state determination device 100 determines the state in which the driver is inattentive driving as a driving state in which the driver is not concentrating on driving.
  • the position detection unit 101 detects the positions of the driver's right shoulder and left shoulder from the driver image acquired from the camera 200.
  • the position detection unit 101 may, for example, estimate the driver's two-dimensional skeletal structure from the driver image and detect the positions of the right shoulder and the left shoulder based on the estimated two-dimensional skeletal structure.
  • the position detection unit 101 outputs the detected positions of the right shoulder and the left shoulder to the shoulder width estimation unit 102.
  • the position detection unit 101 further detects the positions of two or more body parts of the driver.
  • the position detection unit 101 detects the positions of the driver's right eye, left eye, right ear, and left ear. Any algorithm can be used to detect the position of the driver's right eye, left eye, right ear, and left ear.
  • the position detection unit 101 outputs the detected positions of the right eye, left eye, right ear, and left ear to the inattentive operation determination unit 104.
  • the position detection unit 101 may detect the position of any object other than the body part.
  • the position detecting unit 101 corresponds to the position detecting means 11 shown in FIG.
  • FIG. 3 schematically shows a part detected from the driver image.
  • the position detection unit 101 estimates the skeletal structure of the driver and detects the positions of the driver's right shoulder 305R and left shoulder 305L. Further, the position detection unit 101 detects the positions of the driver's right eye 301R, left eye 301L, right ear 302R, and left ear 302L.
  • the shoulder width estimation unit 102 calculates the shoulder width of the driver based on the positions of the right shoulder and the left shoulder detected by the position detection unit 101.
  • the shoulder width estimation unit 102 calculates, for example, the distance between the detected right shoulder 305R and the left shoulder 305L shown in FIG. 3 as the shoulder width.
  • the shoulder width estimation unit 102 corresponds to the shoulder width calculation means 12 shown in FIG.
  • the threshold value determination unit 103 determines one or more determination threshold values used for determining the operating state based on the shoulder width calculated by the shoulder width estimation unit 102.
  • the determination threshold indicates, for example, the threshold of the distance between specific parts of the human body.
  • the threshold value determination unit 103 has a first and second determination threshold value used for determining a state in which the driver is looking aside to the right, and the driver is in the left direction. Determines the third and fourth determination thresholds used to determine the state of inattentiveness.
  • the first and third determination thresholds indicate the thresholds of the distance between the right eye and the left eye, respectively.
  • the second determination threshold indicates the threshold of the distance between the left eye and the left ear.
  • the fourth determination threshold indicates the threshold of the distance between the right eye and the right ear.
  • the threshold value determination unit 103 stores a set of a reference shoulder width and a reference determination threshold value for each determination threshold value.
  • the threshold value determination unit 103 compares, for example, the shoulder width calculated by the shoulder width estimation unit 102 with the reference shoulder width, and determines the determination threshold value based on the comparison result.
  • the threshold value determination unit 103 calculates the difference or ratio between the shoulder width calculated by the shoulder width estimation unit 102 and the reference shoulder width.
  • the threshold value determination unit 103 determines the determination threshold value by increasing or decreasing the reference determination threshold value according to the calculated difference or ratio.
  • the threshold value determination unit 103 determines the determination threshold value to a value smaller than the reference determination threshold value.
  • the threshold value determination unit 103 determines the determination threshold value to a value larger than the reference determination threshold value.
  • the threshold value determination unit 103 corresponds to the threshold value determination means 13 shown in FIG.
  • the inattentive operation determination unit 104 calculates the distance between specific parts based on the positions of the right eye, left eye, right ear, and left ear detected by the position detection unit 101. In the present embodiment, the inattentive driving determination unit 104 calculates the distance between the right eye and the left eye in the driver image based on the positions of the right eye and the left eye. Further, the inattentive driving determination unit 104 calculates the distance between the left eye and the left ear in the driver image based on the positions of the left eye and the left ear. The inattentive driving determination unit 104 calculates the distance between the right eye and the right ear in the driver image based on the positions of the right eye and the right ear.
  • the inattentive operation determination unit 104 compares the calculated distance between the right eye and the left eye with the first determination threshold value determined by the threshold value determination unit 103. Further, the inattentive operation determination unit 104 compares the calculated distance between the left eye and the left ear with the second determination threshold value. The inattentive operation determination unit 104 compares the distance between the right eye and the left eye with the first determination threshold value, and the distance between the left eye and the left ear with the second determination threshold value. Based on the result, it is determined whether or not the driver is inattentive driving.
  • the inattentive driving determination unit 104 determines that the distance between the right eye and the left eye is equal to or less than the first determination threshold value and the distance between the left eye and the left ear is the second determination. If it is equal to or higher than the threshold value, it is determined that the driver is looking aside to the right.
  • the inattentive operation determination unit 104 compares the calculated distance between the right eye and the left eye with the third determination threshold value determined by the threshold value determination unit 103.
  • the inattentive operation determination unit 104 compares the calculated distance between the right eye and the right ear with the fourth determination threshold value.
  • the inattentive operation determination unit 104 compares the distance between the right eye and the left eye with the third determination threshold value, and the distance between the right eye and the right ear with the fourth determination threshold value. Based on the result, it is determined whether or not the driver is inattentive driving.
  • the inattentive driving determination unit 104 determines that the distance between the right eye and the left eye is larger than the third determination threshold value and the distance between the right eye and the right ear is the fourth determination. If it is smaller than the threshold value, it is determined that the driver is looking aside to the left.
  • the inattentive operation determination unit 104 corresponds to the determination means 14 shown in FIG.
  • FIG. 4 shows an operation procedure (operation state determination method) in the operation state determination device 100.
  • the position detection unit 101 acquires a driver image from the camera 200.
  • the position detection unit 101 detects the positions of the driver's shoulders, eyes, and ears from the driver image (step A1).
  • the shoulder width estimation unit 102 estimates the driver's shoulder width from the positions of both shoulders of the driver detected in step A1 (step A2).
  • the threshold value determination unit 103 determines the determination threshold value based on the shoulder width estimated in step A2 (step A3). In step A3, the threshold value determination unit 103 determines a first determination threshold value and a third determination threshold value regarding the distance between both eyes. Further, the threshold value determination unit 103 determines a second determination threshold value regarding the distance between the left ear and the left eye, and a fourth determination threshold value regarding the distance between the right eye and the right ear.
  • the inattentive driving determination unit 104 calculates the distance between both eyes, the distance between the left eye and the left ear, and the distance between the right eye and the right ear based on the positions of both eyes and both ears detected in step A1. do.
  • the inattentive driving determination unit 104 compares the calculated distance between both eyes, the distance between the left eye and the left ear, and the distance between the right eye and the right ear with the respective determination threshold values (step A4). ..
  • the distance between both eyes is compared with the first determination threshold value, and the distance between the left eye and the left ear is compared with the second determination threshold value. Further, the inattentive operation determination unit 104 compares the distance between both eyes with the third determination threshold value, and compares the distance between the right eye and the right ear with the fourth determination threshold value.
  • the inattentive operation determination unit 104 determines whether or not the driver is inattentive operation based on the comparison result in step A4 (step A5).
  • the inattentive driving determination unit 104 is, for example, when the distance between both eyes is equal to or less than the first determination threshold value and the distance between the left eye and the left ear is equal to or greater than the second determination threshold value.
  • the driver determines that he / she is driving while looking aside to the right.
  • the inattentive driving determination unit 104 when the distance between both eyes is equal to or greater than the third determination threshold value and the distance between the right eye and the right ear is equal to or less than the fourth determination threshold value, the driver moves to the left. Judge that you are driving while looking aside.
  • the position detection unit 101 detects the positions of the driver's right shoulder and the left shoulder, and the shoulder width estimation unit 102 calculates the driver's shoulder width based on the detected positions of the right shoulder and the left shoulder.
  • the threshold value determination unit 103 determines the determination threshold value used by the inattentive operation determination unit 104 based on the calculated shoulder width.
  • the inattentive operation determination unit 104 uses the determination threshold value determined by the threshold value determination unit 103 according to the shoulder width instead of the fixed threshold value to determine whether the driver is inattentive operation. Judge whether or not. Therefore, the driving state determination device 100 can determine whether or not the driver is inattentive driving without depending on the size of the driver in the driver image.
  • the determination threshold value is determined according to the shoulder width, so that the operating state determination device 100 accurately detects the inattentive operation even when the angle of view and the focal length of the camera 200 are different. Can be done.
  • FIG. 5 shows an operating state determination device according to the second embodiment of the present disclosure.
  • the operation state determination device 100a has an operation determination unit 105 in addition to the components of the operation state determination device 100 according to the first embodiment shown in FIG.
  • the driving state determination device 100a determines whether or not the driver is driving while looking aside, in addition to determining whether or not the driver is driving aside.
  • the operation of the operating state determination device 100a when determining whether or not the driver is inattentive operation may be the same as the operation described in the first embodiment.
  • the state in which the driver is driving while driving means a state in which the driver is driving while performing an operation other than driving the vehicle.
  • the state in which the driver is driving while driving may include at least one of the states in which the driver is driving while calling.
  • the state in which the driver is driving while eating is the state in which the driver is driving while eating something, the state in which the driver is driving while drinking a drink, and the state in which the driver is driving while drinking. It may include at least one of the states in which the driver is driving while smoking.
  • the position detection unit 101 detects the positions of the driver's head, right hand, and left hand in addition to the positions of the right shoulder, left shoulder, right eye, left eye, right ear, and left ear.
  • the position detection unit 101 outputs the detected positions of the driver's head, right hand, and left hand to the driving determination unit 105.
  • the threshold value determination unit 103 determines, in addition to the determination threshold value used by the inattentive operation determination unit 104, the determination threshold value (fifth determination threshold value) used by the distracted driving determination unit 105. ..
  • the fifth determination threshold value indicates the threshold value of the distance between the driver's head and the hand.
  • the threshold value determination unit 103 outputs to the operation determination unit 105 while using the determined fifth determination threshold value.
  • the driving determination unit 105 calculates the distance between the driver's head and hand. However, the driving determination unit 105 uses the shorter distance between the head and the right hand and the distance between the head and the left hand as the distance between the head and the hand. However, the driving determination unit 105 compares the distance between the head and the hand with the fifth determination threshold value. However, when the distance between the head and the hand is equal to or less than the fifth determination threshold value, the driving determination unit 105 determines that the driver is driving while driving.
  • FIG. 6 schematically shows the head and hands detected from the driver image.
  • the position detection unit 101 detects the positions of the head 303, the right hand 306R, and the left hand 306L from the driver image.
  • the driving determination unit 105 calculates the distance between the head 303 and the right hand 306R, and the distance between the head 303 and the left hand 306L.
  • the distance between the head 303 and the left hand 306L is shorter than the distance between the head 303 and the right hand 306R.
  • the driving determination unit 105 compares the distance between the head 303 and the left hand 306L with the fifth determination threshold value. In the example of FIG. 6, since the head 303 and the left hand 306L overlap each other, the driving determination unit 105 determines that the driver is driving while driving.
  • FIG. 7 shows an operation procedure of the operating state determination device 100a in the case of determining operation while driving.
  • the operation procedure when the operation state determination device 100a determines the state in which the driver is looking aside is the same as the operation procedure shown in FIG.
  • the position detection unit 101 detects the positions of the driver's shoulders, head, and both hands from the driver image acquired from the camera 200 (step B1).
  • the shoulder width estimation unit 102 estimates the driver's shoulder width from the positions of both shoulders of the driver detected in step B1 (step B2).
  • the threshold value determination unit 103 determines a determination threshold value regarding the distance between the head and the hand based on the shoulder width estimated in step B2 (step B3).
  • the driving determination unit 105 calculates the distance between the head and the hand based on the positions of the head and both hands detected in step B1. However, the driving determination unit 105 compares the calculated distance between the head and the hand with the determination threshold value determined in step B3 (step B4). The distracted driving determination unit 105 determines whether or not the driver is driving while the driver is driving based on the comparison result in step B4 (step B5). However, in step B5, the driving determination unit 105 determines that the driver is driving while driving, for example, when the distance between the head and the hand is equal to or less than the determination threshold value.
  • the threshold value determination unit 103 determines the determination threshold value used by the driving determination unit 105 based on the shoulder width of the driver. However, the driving determination unit 105 determines whether or not the driver is driving while using the determination threshold value determined according to the shoulder width. Also in this embodiment, the determination threshold value is determined according to the shoulder width of the driver. Therefore, the driving state determination device 100a can determine whether or not the driver is driving while not depending on the size of the driver in the driver image, and the angle of view and the focal length of the camera 200 are different. However, it is possible to detect driving with high accuracy.
  • the operation state determination device 100a may determine at least one operation state of the driver, and may not have the inattentive operation determination unit 104.
  • the driving state determination device 100a may have a determination unit for determining an operating state other than the distracted driving and the distracted driving.
  • the operating state determination device 100 may be configured as an electronic device having a processor.
  • FIG. 8 shows a hardware configuration of an electronic device that can be used in the operating state determination device 100.
  • the electronic device 500 includes a processor 501, a ROM (read only memory) 502, and a RAM (random access memory) 503.
  • the processors 501, ROM 502, and RAM 503 are connected to each other via the bus 504.
  • the electronic device 500 may include peripheral circuits and other circuits such as interface circuits.
  • ROM 502 is a non-volatile storage device.
  • a semiconductor storage device such as a flash memory having a relatively small capacity is used.
  • the ROM 502 stores a program executed by the processor 501.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media are, for example, flexible disks, magnetic tapes, or magnetic recording media such as hard disks, such as optical magnetic recording media such as optical magnetic disks, CDs (compact discs), or DVDs (digital versatile disks).
  • Includes optical disk media such as, and semiconductor memory such as mask ROM, PROM (programmable ROM), EPROM (erasable PROM), flash ROM, or RAM.
  • the program may also be supplied to the electronic device using various types of temporary computer-readable media. Examples of temporary computer readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the electronic device via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • RAM 503 is a volatile storage device.
  • various semiconductor memory devices such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory) are used.
  • the RAM 540 can be used as an internal buffer for temporarily storing data and the like.
  • the processor 501 expands the program stored in the ROM 502 into the RAM 503 and executes the program. By executing the program by the processor 501, the functions of each part of the operating state determination device 100 can be realized.
  • a position detecting means for detecting the positions of the right shoulder and the left shoulder of the driver and the positions of two or more body parts from the driver image of the driver.
  • a shoulder width calculating means for calculating the shoulder width of the driver based on the detected positions of the right shoulder and the left shoulder, and
  • a threshold value determining means for determining one or more determination threshold values based on the calculated shoulder width, and
  • An operating state determination device including a determination means for determining the operating state of the driver using the detected positions of two or more portions and the determination threshold value of one or more.
  • Appendix 2 The operating state determination device according to Appendix 1, wherein the position detecting means estimates the skeletal structure of the driver based on the driver image, and detects the positions of the right shoulder and the left shoulder based on the estimated skeletal structure. ..
  • the threshold value determining means stores a set of a reference shoulder width and a reference determination threshold value, and increases or increases the reference determination threshold value according to the difference or ratio between the calculated shoulder width and the reference shoulder width.
  • the operating state determination device according to Appendix 1 or 2, which determines the determination threshold value by reducing the value.
  • the two or more body parts include the driver's head and the driver's hands.
  • the threshold value determining means determines a threshold value of the distance between the head and the hand as the determination threshold value.
  • the two or more body parts include the driver's right eye, left eye, and left ear.
  • the threshold value determining means indicates a first determination threshold value indicating a threshold value of the distance between the right eye and the left eye, and a threshold value of the distance between the left eye and the left ear. Determine the second judgment threshold and
  • the determination means compares the distance between the right eye and the left eye with the first determination threshold value, and the distance between the left eye and the left ear and the second determination threshold value.
  • the operating state determination device according to Appendix 5 or 6, which determines whether or not the driver is inattentive operation based on the comparison result with the above.
  • the two or more body parts include the driver's right eye, left eye, and right ear.
  • the threshold value determining means indicates a third determination threshold value indicating a threshold value of the distance between the right eye and the left eye, and a threshold value of the distance between the right eye and the right ear. Determine the fourth judgment threshold and
  • the determination means compares the distance between the right eye and the left eye with the third determination threshold value, and the distance between the right eye and the right ear and the fourth determination threshold. The values are compared, and the comparison result between the distance between the right eye and the left eye and the third determination threshold value, and the distance between the right eye and the right ear and the fourth determination are made.
  • the operating state determination device according to any one of Supplementary note 5 to 7, which determines whether or not the driver is inattentive operation based on a comparison result with a threshold value.
  • the driver image is obtained by photographing the driver's seat from a position on the passenger seat side of the center of the driver's seat in the width direction of the vehicle and from a position on the front side of the vehicle from the position of the driver's face.
  • the operating state determination device according to any one of Supplementary note 1 to 8, which is an image obtained.
  • the position of the driver's right shoulder and left shoulder and the position of two or more body parts are detected from the driver image of the driver.
  • the shoulder width of the driver is calculated based on the detected positions of the right shoulder and the left shoulder.
  • a determination threshold value of 1 or more is determined based on the calculated shoulder width, and the determination threshold value is determined.
  • a method for determining an operating state for determining an operating state of the driver by using the detected positions of two or more parts and the determination threshold value of one or more.
  • Driving state determination device 11 Position detection means 12: Shoulder width calculation means 13: Threshold value determination means 14: Judgment means 20: Camera 100: Driving state determination device 101: Position detection unit 102: Shoulder width estimation unit 103: Threshold Value determination unit 104: Inattentive driving determination unit 105: Distracted driving determination unit 200: Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

運転者画像における運転者の大きさが一定ではない場合でも、運転者の運転状態を精度よく判定可能とする。位置検出手段（１１）は、運転者を撮影した運転者画像から、運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出する。肩幅算出手段（１２）は、検出された右肩及び左肩の位置に基づいて運転者の肩幅を算出する。しきい値決定手段（１３）は、算出された肩幅に基づいて、１以上の判定しきい値を決定する。判定手段（１４）は、位置検出手段（１１）で検出された２以上の部位の位置と、しきい値決定手段（１３）で決定された１以上の判定しきい値とを用いて、運転者の運転状態を判定する。

Description

運転状態判定装置、方法、及びコンピュータ可読媒体
　本開示は、運転状態判定装置、方法、及びコンピュータ可読媒体に関する。
　関連技術として、特許文献１は、運転者画像に基づいて運転者の状態を検出する運転状態監視装置を開示する。特許文献１に記載の運転状態監視装置は、運転者の顔の向きを検出し、顔の向きに基づいて運転者が運転に集中しているかどうかを決定する。顔の向き（頭部姿勢）は、頭部の正規化球面座標における水平偏向角度（ヨー角）及び垂直偏向角度（ピッチ角）で表される。運転状態監視装置は、水平偏向角度及び／又は垂直偏向角度が角度しきい値より大きく、かつその持続時間が時間しきい値より長い場合、運転者が散漫状態であることを検出する。
　監視状態装置は、上記に加えて、運転者の手、及び目標物体などを検出する。運転状態監視装置は、目標物体のタイプが容器又は食物の場合で、かつ目標物体の検出ボックスと口の検出ボックスとが重なる場合、運転者は飲食していると判定する。運転状態監視装置は、目標物体のタイプが電子機器である場合は、手の検出ボックスと目標物体の検出ボックスが重なり、かつ目標物体の検出ボックスと口又は目の検出ボックスとの最小距離が所定距離より短い場合、運転者は電子機器を使用していると判定する。
　別の関連技術として、特許文献２は、別のタイプの運転状態監視装置を開示する。特許文献２に記載の運転状態監視装置は、運転者の顔画像から、運転者の顔の状態を示す顔情報を検出する。運転状態監視装置は、運転者の顔に変化が生じた場合、あらかじめ設定された時間区間での顔情報の頻度分布を作成する。運転状態監視装置は、顔情報の頻度分布から顔情報の最頻値を算出し、顔情報の最頻値に基づいて、運転者の定常状態を示す基準値を算出する。運転状態監視装置は、算出した基準値と、運転者の顔情報とを比較し、運転者の運転状態を判定する。運転状態監視装置は、算出した基準値に基づいて、運転者ごとの正常視認範囲を設定し、その正常視認範囲と現在の視認範囲とを比較することで、運転者の脇見状態を判定する。
特表２０１９－５３６６７３号公報 国際公開第２０１８／１５０４８５号
　特許文献１では、顔の水平偏向角度及び垂直偏向角度が角度しきい値より大きい場合に、運転者が散漫状態であると判定される。しかしながら、カメラや車両に依存して画角や焦点距離が異なり得るため、運転者画像における運転者の大きさや向きは、カメラや車両に応じて変化し得る。特許文献１では、角度しきい値などに所定の固定値が使用されており、そのような固定のしきい値を使用して運転者が散漫状態であるか否かを正確に判定することは困難である。
　特許文献２では、顔情報の最頻値に基づいて基準値が設定され、基準値に基づいて正常視認範囲が設定される。特許文献２において、正常視認範囲の上限及び下限は、基準値からある値だけずれた値に設定されると考えられる。このため、特許文献２は、運転者画像における運転者の大きさが相互に異なる複数の運転者を考えた場合、各運転者の脇見状態を正確に判定できない可能性がある。
　本開示は、上場事情に鑑み、運転者画像における運転者の大きさが一定ではない場合でも、運転者の運転状態を精度よく判定可能な運転状態判定装置、方法、及びコンピュータ可読媒体を提供することを目的とする。
　上記目的を達成するために、本開示は、第１の態様として、運転状態判定装置を提供する。運転状態判定装置は、運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出する位置検出手段と、前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出する肩幅算出手段と、前記算出された肩幅に基づいて１以上の判定しきい値を決定するしきい値決定手段と、前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する判定手段とを備える。
　本開示は、第２の態様として、運転状態判定方法を提供する。運転状態判定方法は、運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、前記算出された肩幅に基づいて１以上の判定しきい値を決定し、前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定することを含む。
　本開示は、第３の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、前記算出された肩幅に基づいて１以上の判定しきい値を決定し、前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する処理をプロセッサに実行させるためのプログラムを格納する。
　本開示に係る運転状態判定装置、方法、及びコンピュータ可読媒体は、運転者画像における運転者の大きさが一定ではない場合でも、運転者の運転状態を精度よく判定することができる。
本開示に係る運転状態判定装置の概略的な構成を示すブロック図。 本開示の第１実施形態に係る運転状態判定装置を示すブロック図。 運転者画像から検出される部位を模式的に示す図。 運転状態判定装置の動作手順を示すフローチャート。 本開示の第２実施形態に係る運転状態判定装置を示すブロック図。 運転者画像から検出される頭部及び手を模式的に示す図。 ながら運転の判定の動作手順を示すフローチャート。 電子機器のハードウェア構成を示すブロック図。
　本開示の実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る運転状態判定装置の概略的な構成を示す。運転状態判定装置１０は、位置検出手段１１、肩幅算出手段１２、しきい値決定手段１３、及び判定手段１４を有する。位置検出手段１１は、カメラ２０から画像を取得する。カメラ２０は、車両の運転者を撮影し、運転者画像を位置検出手段１１に出力する。位置検出手段１１は、取得した運転者画像から、運転者の右肩及び左肩の位置を検出する。さらに、位置検出手段１１は、２以上の身体部位の位置を検出する。
　肩幅算出手段１２は、位置検出手段１１で検出された右肩及び左肩の位置に基づいて、運転者の肩幅を算出する。しきい値決定手段１３は、肩幅算出手段１２で算出された肩幅に基づいて、１以上の判定しきい値を決定する。判定手段１４は、位置検出手段１１で検出された２以上の部位の位置と、しきい値決定手段１３で決定された１以上の判定しきい値とを用いて、運転者の運転状態を判定する。
　本開示では、しきい値決定手段１３は、判定手段１４で使用される判定しきい値を、運転者の肩幅に基づいて決定する。肩幅は、運転者画像における運転者の大きさを表すと考えられる。判定手段１４は、運転者が大きい場合と、運転者が小さい場合とで、適切に設定された判定しきい値を用いて、運転状態を判定することができる。このように、本開示に係る運転状態判定装置１０は、カメラ２０の画角や画像中の運転者の大きさに依存せずに、運転者の運転状態を精度よく判定できる。
　以下、本開示の実施の形態を詳細に説明する。図２は、本開示の第１実施形態に係る運転状態判定装置を示す。運転状態判定装置１００は、位置検出部１０１、肩幅推定部１０２、しきい値決定部１０３、及び脇見運転判定部１０４を有する。
　運転状態判定装置１００は、例えば、車両に後から取り付け可能な電子機器として構成される。運転状態判定装置１００は、車両に取り付けられる電子機器に内蔵されていてもよい。例えば、運転状態判定装置１００は、例えば車両の外部を撮影するカメラと、撮影した映像を記録媒体に記録するコントローラとを含むドライブレコーダに内蔵される。運転状態判定装置１００は、図１に示される運転状態判定装置１０に対応する。
　運転状態判定装置１００は、カメラ２００から運転者画像を含む映像を取得する。カメラ２００は、例えば、車両の幅方向において運転席の中心よりも助手席側の位置で、かつ運転者の顔の位置より車両の前方側の位置から運転席（運転者）を撮影する。一例として、カメラ２００は、ウィンドシールドのルームミラーの根元などの位置に設置され、車両の中央部から運転席に座る運転者を斜め方向から撮影する。例えば、車両が右ハンドル車である場合、カメラ２００は、運転者をその左前方から撮影する。
　カメラ２００は、車両の内部の映像だけでなく、車両の外部の映像を撮影してもよい。例えば、カメラ２００は、車両の前方、後方、右側面、左側面、及び車室を撮影する３６０度カメラであってもよい。カメラ２００は、撮影した映像を、動画像として運転状態判定装置１００に出力する。カメラ２００は、運転状態判定装置１００の一部であってもよい。カメラ２００は、図１に示されるカメラ２０に対応する。
　運転状態判定装置１００は、カメラ２００から取得した運転者画像に基づいて、運転者の運転状態を判定する。運転状態判定装置１００は、例えば、運転者が運転に集中していない運転状態であるか否かを判定する。本実施形態において、運転状態判定装置１００は、運転者が脇見運転している状態を、運転者が運転に集中していない運転状態として判定するものとする。
　位置検出部１０１は、カメラ２００から取得した運転者画像から、運転者の右肩及び左肩の位置を検出する。位置検出部１０１は、例えば、運転者画像から、運転者の２次元骨格構造を推定し、推定した２次元骨格構造に基づいて右肩及び左肩の位置を検出してもよい。位置検出部１０１は、検出した右肩及び左肩の位置を肩幅推定部１０２に出力する。
　位置検出部１０１は、更に、運転者の２以上の身体部位の位置を検出する。本実施形態において、位置検出部１０１は、運転者の右目、左目、右耳、及び左耳の位置を検出する。運転者の右目、左目、右耳、及び左耳の位置の検出には、任意のアルゴリズムが用いられ得る。位置検出部１０１は、検出した右目、左目、右耳、及び左耳の位置を脇見運転判定部１０４に出力する。位置検出部１０１は、身体部位以外の任意の物の位置を検出してもよい。位置検出部１０１は、図１に示される位置検出手段１１に対応する。
　図３は、運転者画像から検出される部位を模式的に示す。位置検出部１０１は、運転者の骨格構造を推定し、運転者の右肩３０５Ｒ、及び左肩３０５Ｌの位置を検出する。また、位置検出部１０１は、運転者の右目３０１Ｒ、左目３０１Ｌ、右耳３０２Ｒ、及び左耳３０２Ｌの位置を検出する。
　肩幅推定部１０２は、位置検出部１０１において検出された右肩及び左肩の位置に基づいて、運転者の肩幅を算出する。肩幅推定部１０２は、例えば、図３に示される、検出された右肩３０５Ｒと左肩３０５Ｌとの間の距離を、肩幅として算出する。肩幅推定部１０２は、図１に示される肩幅算出手段１２に対応する。
　しきい値決定部１０３は、肩幅推定部１０２において算出された肩幅に基づいて、運転状態の判定に使用される１以上の判定しきい値を決定する。判定しきい値は、例えば、人体の特定の部位間の距離のしきい値を示す。
　本実施形態において、しきい値決定部１０３は、運転者が右方向に脇見をしている状態を判定するために使用される第１及び第２の判定しきい値と、運転者が左方向に脇見をしている状態を判定するために使用される第３及び第４の判定しきい値とを決定する。第１及び第３の判定しきい値は、それぞれ、右目と左目との間の距離のしきい値を示す。第２の判定しきい値は、左目と左耳との間の距離のしきい値を示す。第４の判定しきい値は、右目と右耳との間の距離のしきい値を示す。
　例えば、しきい値決定部１０３は、各判定しきい値について、基準肩幅と、基準判定しきい値との組を記憶する。しきい値決定部１０３は、例えば肩幅推定部１０２が算出した肩幅と基準肩幅とを比較し、比較結果に基づいて判定しきい値を決定する。例えば、しきい値決定部１０３は、肩幅推定部１０２が算出した肩幅と、基準肩幅との差又は比を計算する。しきい値決定部１０３は、計算した差又は比に応じて、基準判定しきい値を増加又は減少させることで、判定しきい値を決定する。しきい値決定部１０３は、肩幅推定部１０２が算出した肩幅が基準肩幅より狭い場合、判定しきい値を、基準判定しきい値より小さい値に決定する。しきい値決定部１０３は、肩幅推定部１０２が算出した肩幅が基準肩幅より広い場合は、判定しきい値を、基準判定しきい値より大きい値に決定する。しきい値決定部１０３は、図１に示されるしきい値決定手段１３に対応する。
　脇見運転判定部１０４は、位置検出部１０１で検出された右目、左目、右耳、及び左耳の位置に基づいて、特定部位間の距離を計算する。本実施形態において、脇見運転判定部１０４は、右目及び左目の位置に基づいて、運転者画像における右目と左目との間の距離を計算する。また、脇見運転判定部１０４は、左目及び左耳の位置に基づいて、運転者画像における左目と左耳との間の距離を計算する。脇見運転判定部１０４は、右目及び右耳の位置に基づいて、運転者画像における右目と右耳との間の距離を計算する。
　脇見運転判定部１０４は、上記計算した右目と左目との間の距離と、しきい値決定部１０３で決定された第１の判定しきい値とを比較する。また、脇見運転判定部１０４は、上記計算した左目と左耳との間の距離と、第２の判定しきい値とを比較する。脇見運転判定部１０４は、右目と左目との間の距離と第１の判定しきい値との比較結果、及び、左目と左耳との間の距離と第２の判定しきい値との比較結果に基づいて、運転者が脇見運転しているか否かを判定する。車両が右ハンドル車の場合、脇見運転判定部１０４は、右目と左目との間の距離が第１の判定しきい値以下で、かつ、左目と左耳との間の距離が第２の判定しきい値以上の場合、運転者は右方向に脇見をしていると判定する。
　また、脇見運転判定部１０４は、上記計算した右目と左目との間の距離と、しきい値決定部１０３で決定された第３の判定しきい値とを比較する。脇見運転判定部１０４は、上記計算した右目と右耳との間の距離と、第４の判定しきい値とを比較する。脇見運転判定部１０４は、右目と左目との間の距離と第３の判定しきい値との比較結果、及び、右目と右耳との間の距離と第４の判定しきい値との比較結果に基づいて、運転者が脇見運転しているか否かを判定する。車両が右ハンドル車の場合、脇見運転判定部１０４は、右目と左目との間の距離が第３の判定しきい値より大きく、かつ、右目と右耳との間の距離が第４の判定しきい値より小さい場合、運転者は左方向に脇見をしていると判定する。脇見運転判定部１０４は、図１に示される判定手段１４に対応する。
　次いで、動作手順を説明する。図４は、運転状態判定装置１００における動作手順（運転状態判定方法）を示す。位置検出部１０１は、カメラ２００から運転者画像を取得する。位置検出部１０１は、運転者画像から、運転者の両肩、両目、及び両耳の位置を検出する（ステップＡ１）。肩幅推定部１０２は、ステップＡ１で検出された運転者の両肩の位置から、運転者の肩幅を推定する（ステップＡ２）。
　しきい値決定部１０３は、ステップＡ２で推定された肩幅に基づいて、判定しきい値を決定する（ステップＡ３）。しきい値決定部１０３は、ステップＡ３では、両目の間の距離に関する第１の判定しきい値、及び第３の判定しきい値を決定する。また、しきい値決定部１０３は、左耳と左目との間の距離に関する第２の判定しきい値、及び右目と右耳との間の距離に関する第４の判定しきい値を決定する。
　脇見運転判定部１０４は、ステップＡ１で検出された両目及び両耳の位置に基づいて、両目間の距離、左目と左耳との間の距離、及び右目と右耳との間の距離を計算する。脇見運転判定部１０４は、計算した両目間の距離、左目と左耳との間の距離、及び右目と右耳との間の距離と、それぞれの判定しきい値とを比較する（ステップＡ４）。脇見運転判定部１０４は、ステップＡ４では、両目間の距離と第１の判定しきい値とを比較し、左目と左耳との間の距離を第２の判定しきい値と比較する。また、脇見運転判定部１０４は、両目間の距離と第３の判定しきい値とを比較し、右目と右耳との間の距離を第４の判定しきい値と比較する。
　脇見運転判定部１０４は、ステップＡ４での比較結果に基づいて、運転者が脇見運転しているか否かを判定する（ステップＡ５）。脇見運転判定部１０４は、ステップＡ５では、例えば、両目間の距離が第１の判定しきい値以下であり、かつ左目と左耳との間の距離が第２の判定しきい値以上の場合、運転者は右方向に脇見しながら運転していると判定する。脇見運転判定部１０４は、両目間の距離が第３の判定しきい値以上であり、かつ右目と右耳との間の距離が第４の判定しきい値以下の場合、運転者は左方向に脇見しながら運転していると判定する。
　本実施形態では、位置検出部１０１は運転者の右肩及び左肩の位置を検出し、肩幅推定部１０２は、検出された右肩及び左肩の位置に基づいて運転者の肩幅を算出する。しきい値決定部１０３は、算出された肩幅に基づいて、脇見運転判定部１０４で使用される判定しきい値を決定する。本実施形態では、脇見運転判定部１０４は、固定のしきい値ではなく、しきい値決定部１０３において肩幅に応じて決定された判定しきい値を用いて、運転者が脇見運転しているか否かの判定を行う。このため、運転状態判定装置１００は、運転者画像における運転者の大きさに依存せずに、運転者が脇見運転しているか否かを判定できる。このように、本実施形態では判定しきい値が肩幅に応じて決定されるため、運転状態判定装置１００は、カメラ２００の画角や焦点距離が異なる場合でも、脇見運転を精度よく検出することができる。
　続いて、本開示の第２実施形態を説明する。図５は、本開示の第２実施形態に係る運転状態判定装置を示す。本実施形態において、運転状態判定装置１００ａは、図２に示される第１実施形態に係る運転状態判定装置１００の構成要素に加えて、ながら運転判定部１０５を有する。運転状態判定装置１００ａは、運転者が脇見運転しているか否かを判定することに加えて、運転者がながら運転しているか否かを判定する。本実施形態において、運転者が脇見運転しているか否かを判定する場合の運転状態判定装置１００ａの動作は、第１実施形態で説明した動作と同様でよい。
　本実施形態において、運転者がながら運転をしている状態とは、運転者が車両の運転以外の動作をしながら運転している状態を示す。運転者がながら運転している状態は、運転者が電話しながら運転している状態の少なくとも一方を含み得る。これに加えて、又はこれに代えて、運転者がながら運転している状態は、運転者が何かを食べながら運転している状態、運転者が飲み物を飲みながら運転している状態、及び運転者がたばこを吸いながら運転している状態の少なくとも１つを含んでいてもよい。
　本実施形態において、位置検出部１０１は、右肩、左肩、右目、左目、右耳、及び左耳の位置に加えて、運転者の頭部、右手、及び左手の位置を検出する。位置検出部１０１は、検出した運転者の頭部、右手、及び左手の位置をながら運転判定部１０５に出力する。しきい値決定部１０３は、脇見運転判定部１０４で使用される判定しきい値に加えて、ながら運転判定部１０５で使用される判定しきい値（第５の判定しきい値）を決定する。第５の判定しきい値は、運転者の頭部と手との間の距離のしきい値を示す。しきい値決定部１０３は、決定した第５の判定しきい値をながら運転判定部１０５に出力する。
　ながら運転判定部１０５は、運転者の頭部と手との間の距離を計算する。ながら運転判定部１０５は、頭部と右手との間の距離、及び頭部と左手との間の距離のうち、距離が短い方を頭部と手との間の距離として使用する。ながら運転判定部１０５は、頭部と手との間の距離と、第５の判定しきい値とを比較する。ながら運転判定部１０５は、頭部と手との間の距離が第５の判定しきい値以下の場合、運転者がながら運転していると判定する。
　図６は、運転者画像から検出される頭部及び手を模式的に示す。位置検出部１０１は、運転者画像から、頭部３０３、右手３０６Ｒ、及び左手３０６Ｌの位置を検出する。ながら運転判定部１０５は、頭部３０３と右手３０６Ｒとの間の距離、及び頭部３０３と左手３０６Ｌとの間の距離を計算する。図６の例では、頭部３０３と左手３０６Ｌとの間の距離の方が、頭部３０３と右手３０６Ｒとの間の距離より短い。ながら運転判定部１０５は、頭部３０３と左手３０６Ｌとの間の距離と第５の判定しきい値とを比較する。図６の例では、頭部３０３と左手３０６Ｌとが重なっているため、ながら運転判定部１０５は、運転者がながら運転していると判定する。
　次いで、動作手順を説明する。図７は、ながら運転を判定する場合の運転状態判定装置１００ａの動作手順を示す。運転状態判定装置１００ａが、運転者が脇見運転している状態を判定する場合の動作手順は、図４に示される動作手順と同様である。
　位置検出部１０１は、カメラ２００から取得した運転者画像から、運転者の両肩、頭部、及び両手の位置を検出する（ステップＢ１）。肩幅推定部１０２は、ステップＢ１で検出された運転者の両肩の位置から、運転者の肩幅を推定する（ステップＢ２）。しきい値決定部１０３は、ステップＢ２で推定された肩幅に基づいて、頭部と手との間の距離に関する判定しきい値を決定する（ステップＢ３）。
　ながら運転判定部１０５は、ステップＢ１で検出された頭部と両手の位置に基づいて、頭部と手との間の距離を計算する。ながら運転判定部１０５は、計算した頭部と手との間の距離と、ステップＢ３で決定された判定しきい値とを比較する（ステップＢ４）。ながら運転判定部１０５は、ながら運転判定部１０５は、ステップＢ４での比較結果に基づいて、運転者がながら運転しているか否かを判定する（ステップＢ５）。ながら運転判定部１０５は、ステップＢ５では、例えば、頭部と手との距離が判定しきい値以下の場合、運転者はながら運転していると判定する。
　本実施形態では、しきい値決定部１０３は、運転者の肩幅に基づいて、ながら運転判定部１０５で使用される判定しきい値を決定する。ながら運転判定部１０５は、肩幅に応じて決定された判定しきい値を用いて、運転者がながら運転しているか否かを判定する。本実施形態においても、判定しきい値は運転者の肩幅に応じて決定される。このため、運転状態判定装置１００ａは、運転者画像における運転者の大きさに依存せずに、運転者がながら運転しているか否かを判定でき、カメラ２００の画角や焦点距離が異なる場合でも、ながら運転を精度よく検出することができる。
　なお、上記第２実施形態では、運転状態判定装置１００ａが脇見運転判定部１０４とながら運転判定部１０５とを有する例を説明したが、本開示はこれには限定されない。運転状態判定装置１００ａは、運転者の運転状態を少なくとも１つ判定すればよく、脇見運転判定部１０４を有していなくてもよい。あるいは、運転状態判定装置１００ａは、脇見運転及びながら運転以外の運転状態を判定する判定部を有していてもよい。
　本開示において、運転状態判定装置１００はプロセッサを有する電子機器として構成され得る。図８は、運転状態判定装置１００に使用され得る電子機器のハードウェア構成を示す。電子機器５００は、プロセッサ５０１、ＲＯＭ（read only memory）５０２、及びＲＡＭ（random access memory）５０３を有する。電子機器５００において、プロセッサ５０１、ＲＯＭ５０２、及びＲＡＭ５０３は、バス５０４を介して相互に接続される。電子機器５００は、図示は省略するが、周辺回路、及びインタフェース回路などの他の回路を含み得る。
　ＲＯＭ５０２は、不揮発性の記憶装置である。ＲＯＭ５０２には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＲＯＭ５０２は、プロセッサ５０１が実行するプログラムを格納する。
　上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、電子機器５００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いて電子機器に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムを電子機器に供給できる。
　ＲＡＭ５０３は、揮発性の記憶装置である。ＲＡＭ５０３には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ５４０は、データなどを一時的に格納する内部バッファとして用いられ得る。
　プロセッサ５０１は、ＲＯＭ５０２に格納されたプログラムをＲＡＭ５０３に展開し、プログラムを実行する。プロセッサ５０１がプログラムを実行することで、運転状態判定装置１００の各部の機能が実現され得る。
　以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
　例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出する位置検出手段と、
　前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出する肩幅算出手段と、
　前記算出された肩幅に基づいて１以上の判定しきい値を決定するしきい値決定手段と、
　前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する判定手段とを備える運転状態判定装置。
［付記２］
　前記位置検出手段は、前記運転者画像に基づいて前記運転者の骨格構造を推定し、該推定した骨格構造に基づいて前記右肩及び左肩の位置を検出する付記１に記載の運転状態判定装置。
［付記３］
　前記しきい値決定手段は、基準肩幅と基準判定しきい値との組を記憶し、前記算出された肩幅と前記基準肩幅との差又は比に応じて、前記基準判定しきい値を増加又は減少させることで、前記判定しきい値を決定する付記１又は２に記載の運転状態判定装置。
［付記４］
　前記判定手段は、前記運転者が運転に集中していない運転状態を、前記運転者の運転状態として判定する付記１から３何れか１つに記載の運転状態判定装置。
［付記５］
　前記判定しきい値は、人体の特定の部位間の距離のしきい値を示す付記１から４何れか１つに記載の運転状態判定装置。
［付記６］
　前記２以上の身体部位は、前記運転者の頭部、及び前記運転者の手を含み、
　前記しきい値決定手段は、前記頭部と前記手との間の距離のしきい値を前記判定しきい値として決定し、
　前記判定手段は、前記頭部と前記手の間の距離が前記判定しきい値以下の場合、前記運転者は運転以外の動作をしながら運転していると判定する付記５に記載の運転状態判定装置。
［付記７］
　前記２以上の身体部位は、前記運転者の右目、左目、及び左耳を含み、
　前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第１の判定しきい値、及び前記左目と前記左耳との間の距離のしきい値を示す第２の判定しきい値を決定し、
　前記判定手段は、前記右目と前記左目との間の距離と前記第１の判定しきい値とを比較し、かつ前記左目と前記左耳との間の距離と前記第２の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第１の判定しきい値との比較結果、及び前記左目と前記左耳との間の距離と前記第２の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしている否かを判定する付記５又は６に記載の運転状態判定装置。
［付記８］
　前記２以上の身体部位は、前記運転者の右目、左目、及び右耳を含み、
　前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第３の判定しきい値、及び前記右目と前記右耳との間の距離のしきい値を示す第４の判定しきい値を決定し、
　前記判定手段は、前記右目と前記左目との間の距離と前記第３の判定しきい値とを比較し、かつ、前記右目と前記右耳との間の距離と前記第４の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第３の判定しきい値との比較結果、及び、前記右目と前記右耳との間の距離と前記第４の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしているか否かを判定する付記５から７何れか１つに記載の運転状態判定装置。
［付記９］
　前記運転者画像は、車両の幅方向において運転席の中心よりも助手席側の位置で、かつ前記運転者の顔の位置より前記車両の前方側の位置から前記運転席を撮影することで得られた画像である付記１から８何れか１つに記載の運転状態判定装置。
［付記１０］
　運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、
　前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
　前記算出された肩幅に基づいて１以上の判定しきい値を決定し、
　前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する運転状態判定方法。
［付記１１］
　運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、
　前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
　前記算出された肩幅に基づいて１以上の判定しきい値を決定し、
　前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
１０：運転状態判定装置
１１：位置検出手段
１２：肩幅算出手段
１３：しきい値決定手段
１４：判定手段
２０：カメラ
１００：運転状態判定装置
１０１：位置検出部
１０２：肩幅推定部
１０３：しきい値決定部
１０４：脇見運転判定部
１０５：ながら運転判定部
２００：カメラ

Claims (11)

  1. 　運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出する位置検出手段と、
    　前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出する肩幅算出手段と、
    　前記算出された肩幅に基づいて１以上の判定しきい値を決定するしきい値決定手段と、
    　前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する判定手段とを備える運転状態判定装置。
  2. 　前記位置検出手段は、前記運転者画像に基づいて前記運転者の骨格構造を推定し、該推定した骨格構造に基づいて前記右肩及び左肩の位置を検出する請求項１に記載の運転状態判定装置。
  3. 　前記しきい値決定手段は、基準肩幅と基準判定しきい値との組を記憶し、前記算出された肩幅と前記基準肩幅との差又は比に応じて、前記基準判定しきい値を増加又は減少させることで、前記判定しきい値を決定する請求項１又は２に記載の運転状態判定装置。
  4. 　前記判定手段は、前記運転者が運転に集中していない運転状態を、前記運転者の運転状態として判定する請求項１から３何れか１項に記載の運転状態判定装置。
  5. 　前記判定しきい値は、人体の特定の部位間の距離のしきい値を示す請求項１から４何れか１項に記載の運転状態判定装置。
  6. 　前記２以上の身体部位は、前記運転者の頭部、及び前記運転者の手を含み、
    　前記しきい値決定手段は、前記頭部と前記手との間の距離のしきい値を前記判定しきい値として決定し、
    　前記判定手段は、前記頭部と前記手の間の距離が前記判定しきい値以下の場合、前記運転者は運転以外の動作をしながら運転していると判定する請求項５に記載の運転状態判定装置。
  7. 　前記２以上の身体部位は、前記運転者の右目、左目、及び左耳を含み、
    　前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第１の判定しきい値、及び前記左目と前記左耳との間の距離のしきい値を示す第２の判定しきい値を決定し、
    　前記判定手段は、前記右目と前記左目との間の距離と前記第１の判定しきい値とを比較し、かつ前記左目と前記左耳との間の距離と前記第２の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第１の判定しきい値との比較結果、及び前記左目と前記左耳との間の距離と前記第２の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしている否かを判定する請求項５又は６に記載の運転状態判定装置。
  8. 　前記２以上の身体部位は、前記運転者の右目、左目、及び右耳を含み、
    　前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第３の判定しきい値、及び前記右目と前記右耳との間の距離のしきい値を示す第４の判定しきい値を決定し、
    　前記判定手段は、前記右目と前記左目との間の距離と前記第３の判定しきい値とを比較し、かつ、前記右目と前記右耳との間の距離と前記第４の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第３の判定しきい値との比較結果、及び、前記右目と前記右耳との間の距離と前記第４の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしているか否かを判定する請求項５から７何れか１項に記載の運転状態判定装置。
  9. 　前記運転者画像は、車両の幅方向において運転席の中心よりも助手席側の位置で、かつ前記運転者の顔の位置より前記車両の前方側の位置から前記運転席を撮影することで得られた画像である請求項１から８何れか１項に記載の運転状態判定装置。
  10. 　運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、
    　前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
    　前記算出された肩幅に基づいて１以上の判定しきい値を決定し、
    　前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する運転状態判定方法。
  11. 　運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、
    　前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
    　前記算出された肩幅に基づいて１以上の判定しきい値を決定し、
    　前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
PCT/JP2020/036005 2020-09-24 2020-09-24 運転状態判定装置、方法、及びコンピュータ可読媒体 WO2022064592A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/036005 WO2022064592A1 (ja) 2020-09-24 2020-09-24 運転状態判定装置、方法、及びコンピュータ可読媒体
US18/024,933 US20230311899A1 (en) 2020-09-24 2020-09-24 Driving state determination apparatus, method, and computer readable medium
JP2022551488A JP7420277B2 (ja) 2020-09-24 2020-09-24 運転状態判定装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/036005 WO2022064592A1 (ja) 2020-09-24 2020-09-24 運転状態判定装置、方法、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022064592A1 true WO2022064592A1 (ja) 2022-03-31

Family

ID=80844613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036005 WO2022064592A1 (ja) 2020-09-24 2020-09-24 運転状態判定装置、方法、及びコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20230311899A1 (ja)
JP (1) JP7420277B2 (ja)
WO (1) WO2022064592A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122309A1 (ja) * 2022-12-05 2024-06-13 矢崎総業株式会社 運転者監視装置および監視プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09219810A (ja) * 1996-02-09 1997-08-19 Toyota Motor Corp 移動体のキャビン内撮影装置
JP2008002838A (ja) * 2006-06-20 2008-01-10 Takata Corp 車両乗員検出システム、作動装置制御システム、車両
JP2017010560A (ja) * 2015-06-24 2017-01-12 スズキ株式会社 車両の運転支援装置
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
JP6725121B1 (ja) * 2019-11-13 2020-07-15 株式会社スワローインキュベート 視線検出方法、視線検出装置、及び制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09219810A (ja) * 1996-02-09 1997-08-19 Toyota Motor Corp 移動体のキャビン内撮影装置
JP2008002838A (ja) * 2006-06-20 2008-01-10 Takata Corp 車両乗員検出システム、作動装置制御システム、車両
JP2017010560A (ja) * 2015-06-24 2017-01-12 スズキ株式会社 車両の運転支援装置
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
JP6725121B1 (ja) * 2019-11-13 2020-07-15 株式会社スワローインキュベート 視線検出方法、視線検出装置、及び制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122309A1 (ja) * 2022-12-05 2024-06-13 矢崎総業株式会社 運転者監視装置および監視プログラム

Also Published As

Publication number Publication date
US20230311899A1 (en) 2023-10-05
JPWO2022064592A1 (ja) 2022-03-31
JP7420277B2 (ja) 2024-01-23

Similar Documents

Publication Publication Date Title
US10455882B2 (en) Method and system for providing rear collision warning within a helmet
JP4107605B2 (ja) 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
JP6960995B2 (ja) 状態判定装置および状態判定方法
US10819956B2 (en) Display system of vehicle and method of driving the same
US9606623B2 (en) Gaze detecting apparatus and method
US11216968B2 (en) Face direction estimation device and face direction estimation method
JP2018511376A (ja) 車両のドライバの疲労状態及び／又は睡眠状態を判定する方法及び装置
JP2017143889A (ja) 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム
WO2022064592A1 (ja) 運転状態判定装置、方法、及びコンピュータ可読媒体
JP2017024711A (ja) 乗員の視線方向を予測する方法および装置
KR20140079947A (ko) 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
JP6775135B2 (ja) ドライバ状態検出装置
JP6594595B2 (ja) 運転不能状態判定装置および運転不能状態判定方法
JP6234701B2 (ja) 車両用周囲モニタ装置
JP2020113066A (ja) 映像処理装置、映像処理方法、およびプログラム
JP7267222B2 (ja) 処理装置、処理方法、報知システム及びプログラム
KR20230085721A (ko) 차량 및 그 제어 방법
JP7175381B2 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
JP6847323B2 (ja) 視線検出装置および視線検出方法
WO2023095297A1 (ja) 乗車位置判定装置、システム、方法、及びコンピュータ可読媒体
JP6984294B2 (ja) 安全運転判定装置及び安全運転判定方法
JP7370456B2 (ja) 乗員状態判定装置および乗員状態判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20955186

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022551488

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20955186

Country of ref document: EP

Kind code of ref document: A1