WO2020161813A1 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
WO2020161813A1
WO2020161813A1 PCT/JP2019/004173 JP2019004173W WO2020161813A1 WO 2020161813 A1 WO2020161813 A1 WO 2020161813A1 JP 2019004173 W JP2019004173 W JP 2019004173W WO 2020161813 A1 WO2020161813 A1 WO 2020161813A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
detection reliability
posture
threshold value
face
Prior art date
Application number
PCT/JP2019/004173
Other languages
English (en)
French (fr)
Inventor
田中　宏治
進也 田口
翔悟 甫天
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020570254A priority Critical patent/JP6887578B2/ja
Priority to PCT/JP2019/004173 priority patent/WO2020161813A1/ja
Publication of WO2020161813A1 publication Critical patent/WO2020161813A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to an information processing device, a program, and an information processing method.
  • Patent Document 1 describes a driving state detection device which detects a driver's looking aside or a dozing state and sounds an alarm based on the position of the driver's eyes detected from the image of the driver. ..
  • the driving state detection device described in Patent Document 1 determines the driver's state based on the position of the eyes detected from the image captured by the driver, and therefore wears sunglasses or a mask. If the face is hidden by hair, or if there is the influence of outside light, the accuracy of the eye position detection becomes poor, and the driver's state cannot be correctly determined.
  • one or more aspects of the present invention are to enable the driver's state to be correctly determined even under adverse conditions in which the detection performance of face parts detected from the image of the driver is degraded. With the goal.
  • An information processing apparatus detects a face part, which is a predetermined part on the driver's face, from an image captured by the driver, and calculates the detection reliability of the face part.
  • a detection reliability calculation unit a face orientation determination unit that determines whether or not the driver is facing the front from a vehicle state that is a state of a vehicle in which the driver is driving, and the face orientation determination unit
  • a detection reliability storage unit that stores the detection reliability calculated using the image captured in the vehicle state when it is determined that the driver is facing front, as a target detection reliability.
  • a threshold value calculation unit that calculates a threshold value for determining whether or not the driver's posture is collapsed, and using the threshold value, the driver from the detection reliability value.
  • a posture collapse determination unit that determines whether or not the posture is collapsed.
  • a program causes a computer to detect a face part, which is a predetermined part on the driver's face, from an image captured by the driver, and calculates the detection reliability of the face part.
  • the detection reliability calculation unit, the face orientation determination unit that determines whether the driver is facing the front from the vehicle state that is the state of the vehicle in which the driver is driving, the face orientation determination unit is A detection reliability storage unit that stores the detection reliability calculated using the image captured in the vehicle state when it is determined that the driver is facing the front, as a target detection reliability, Using the target detection reliability, a threshold value calculation unit that calculates a threshold value for determining whether or not the driver's posture is collapsed, and using the threshold value, the driver's posture from the detection reliability. It is characterized by functioning as a posture collapse determination unit that determines whether or not the posture has collapsed.
  • An information processing method detects a face part that is a predetermined part on the driver's face from an image captured by the driver, and calculates a detection reliability of the face part. From the vehicle state, which is the state of the vehicle in which the driver is driving, it is determined whether the driver is facing the front, and the driver when it is determined that the driver is facing the front.
  • the detection reliability calculated using the image captured in the vehicle state is stored as a target detection reliability, and the target detection reliability is used to determine whether or not the posture of the driver is collapsed. It is characterized in that a threshold for performing the calculation is calculated, and whether or not the posture of the driver has collapsed is determined from the detection reliability using the threshold.
  • the driver's state can be correctly determined even under adverse conditions in which the detection performance of face parts detected from the driver's image is degraded.
  • FIG. 6 It is a block diagram which shows roughly the structure of the posture collapse detection apparatus which concerns on embodiment.
  • 6 is a table for explaining the relationship between the environment at the time of shooting and the face part detection reliability.
  • (A) And (B) is a block diagram which shows the hardware structural example of a posture collapse detection apparatus. It is a flow chart which shows operation of a posture collapse detection device. 6 is a flowchart showing an operation in which a face orientation determination unit determines the driver's face orientation. It is a flow chart which shows operation in a detection reliability processing part. 7 is a flowchart showing the operation of the threshold value calculation unit.
  • Relationship between the typical value of target detection reliability when the driver's posture is normal, the typical value of target detection reliability when the driver's posture is collapsed, and the offset value in normal environment and wearing sunglasses 3 is a graph for explaining 7 is a flowchart showing an operation of calculating an offset value.
  • 7 is a flowchart showing the operation of the posture collapse determination unit.
  • 6 is a graph showing a transition of detection reliability under a bad environment such as a driver's normal posture and the influence of external light, and a threshold value.
  • FIG. 1 is a block diagram schematically showing the configuration of a posture collapse detection device 100 as an information processing device according to an embodiment.
  • the posture collapse detection device 100 includes an image acquisition unit 101, a detection reliability calculation unit 102, a vehicle state acquisition unit 103, a face orientation determination unit 104, a detection reliability processing unit 105, and a detection reliability storage unit 106.
  • a threshold calculation unit 107, a posture collapse determination unit 108, and a determination result output unit 109 are provided.
  • An image capturing device 120, a vehicle state acquisition device 130, and an output interface device 140 are connected to the posture collapse detection device 100.
  • the image capturing device 120 captures an image of a vehicle driver.
  • the image capturing device 120 provides the posture collapse detection apparatus 100 with image information indicating the captured image.
  • the imaging device 120 is, for example, a camera.
  • the image captured by the image capturing device 120 may be a still image or a moving image. Further, the image capturing device 120 may be an infrared camera that captures an image using infrared light, or a three-dimensional range image camera that can acquire the distance to the image capturing target.
  • the vehicle state acquisition device 130 acquires the state of the vehicle and provides the posture collapse detection device 100 with vehicle state information indicating the acquired vehicle state, which is the vehicle state.
  • the vehicle state information indicates the vehicle speed and the steering wheel angle of the vehicle.
  • the output interface device 140 outputs an alarm according to the posture collapse detection result of the posture collapse detection device 100.
  • the output interface device 140 is, for example, an alarm device.
  • the alarm device may be a speaker that outputs a sound in the vehicle, or may be a display device such as an in-vehicle monitor or a head-up display that displays characters or figures indicating an alarm. Further, the alarm device may notify an alarm to a management center (not shown) via a network (not shown).
  • the image acquisition unit 101 is a communication interface that communicates with the imaging device 120. For example, the image acquisition unit 101 acquires image information indicating an image captured by the imaging device 120 and provides the image information to the detection reliability calculation unit 102.
  • the detection reliability calculation unit 102 detects a face part, which is a predetermined part on the driver's face, from the image indicated by the image information given by the image acquisition unit 101, by image processing.
  • the detection reliability calculation unit 102 also calculates the detection reliability indicating the reliability that the detected face part is a predetermined part. Then, the detection reliability calculation unit 102 gives the calculated detection reliability to the detection reliability processing unit 105 and the posture collapse determination unit 108.
  • the face part refers to at least one of a human eye, a nose, and a mouth.
  • other parts such as ears or eyebrows may be face parts as long as they are feature points that can be used when detecting the posture of the driver.
  • the face part detection method and the face part detection reliability calculation method for example, the methods disclosed in the following documents can be used.
  • face parts are detected by matching the features of the face parts learned from a large number of face images in advance and the features of the face parts extracted from the image captured by the driver. Be seen. Further, the face part detection reliability is calculated from the degree of matching in the matching. "Rapid Object Detection using a Boosted Cascade of Simple Features", 2001, Paul Viola, et al.
  • the detection reliability calculation unit 102 can be used.
  • FIG. 2 is a table for explaining the relationship between the environment at the time of shooting and the face part detection reliability.
  • the column of “detection reliability in normal posture” shown in FIG. 2 indicates the detection reliability of face parts when the driver faces the front. Further, the column of “detection reliability when posture is collapsed” shows the detection reliability of face parts when the posture of the driver is collapsed.
  • the reliability of detecting face parts is better when the posture collapses than when the posture is normal. Is reduced. Therefore, it is possible to detect the posture collapse of the driver by using a predetermined threshold value.
  • the detection reliability in the normal posture is “100”, and the detection reliability in the posture collapse is “60”.
  • the posture collapse of the driver can be detected.
  • the reliability of detection of face parts in normal posture and in collapsed posture is high due to the influence of decrease in reliability of detection of face parts due to sunglasses.
  • the environmental threshold value “80” the posture collapse of the driver cannot be detected. Therefore, in order to detect the driver's posture collapse when wearing sunglasses, it is necessary to separately set the threshold value when wearing sunglasses.
  • the posture collapse detection device 100 dynamically calculates an appropriate threshold value that reflects the current environment.
  • the vehicle state acquisition unit 103 is a communication interface that communicates with the vehicle state acquisition device 130.
  • the vehicle state acquisition unit 103 acquires the vehicle state information from the vehicle state acquisition device 130 and provides the face orientation determination unit 104 with the vehicle state information.
  • the face orientation determination unit 104 acquires vehicle state information from the vehicle state acquisition unit 103, and determines from the vehicle state indicated by the acquired vehicle state information whether or not the driver is facing the front. For example, the face orientation determination unit 104 determines whether or not the driver is facing the front depending on whether or not the vehicle condition satisfies a predetermined condition.
  • the condition here may be set to a vehicle state in which the driver is considered to be facing the front.
  • the face orientation determination unit 104 can use the condition that the vehicle speed is equal to or higher than a predetermined speed at which the threshold value is set and that the steering wheel angle is within a predetermined angle range that is set as the threshold value.
  • the face orientation determination unit 104 determines that the driver's face is facing the front when the vehicle condition satisfies a predetermined condition. On the other hand, the face orientation determination unit 104 determines that the driver is not facing the front when the vehicle condition does not satisfy the predetermined condition. Then, the face orientation determination unit 104 gives the face orientation determination result, which is the determination result, to the detection reliability processing unit 105.
  • the detection reliability processing unit 105 acquires the detection reliability from the detection reliability calculation unit 102, and acquires the face orientation determination result from the face orientation determination unit 104. Then, when the obtained face orientation determination result indicates that the driver is facing the front, the detection reliability processing unit 105 determines that the image captured in the vehicle state thus determined is The detection reliability calculated using this is stored in the detection reliability storage unit 106.
  • the detection reliability stored in the detection reliability storage unit 106 is also referred to as target detection reliability.
  • the threshold value calculation unit 107 can calculate the threshold value for determining the posture collapse in a state where the current environment is reflected such as wearing sunglasses.
  • the image information obtained from the image capturing device 120 includes image time information indicating the time when the image represented by the image information was captured.
  • the vehicle state information obtained from the vehicle state acquisition device 130 also includes vehicle state time information indicating the time when the vehicle state was acquired.
  • the detection reliability calculation unit 102 attaches the image time information to the detection reliability and gives it to the detection reliability processing unit 105
  • the face orientation determination unit 104 also attaches the vehicle state time information to the determination result.
  • the detection reliability processing unit 105 can synchronize the detection reliability with the determination result.
  • the method of synchronizing the detection reliability and the determination result is not limited to such an example.
  • the image information and the vehicle state information may be synchronized and input to the posture collapse detection device 100.
  • the threshold calculation unit 107 uses the detection reliability stored in the detection reliability storage unit 106 to calculate a threshold for determining whether or not the driver's posture is collapsed. As described above, the threshold value calculated here takes into consideration the influence of the bad condition when there is the bad condition. Then, the threshold calculation unit 107 gives the calculated threshold to the posture collapse determination unit 108.
  • the posture collapse determination unit 108 determines whether or not the driver's posture is collapsed using the detection reliability acquired from the detection reliability calculation unit 102 and the threshold acquired from the threshold calculation unit 107. Specifically, the posture collapse determination unit 108 determines that the posture of the driver is not collapsed when the acquired detection reliability is equal to or higher than the threshold, and the acquired detection reliability is smaller than the threshold. In this case, it is determined that the driver's posture is broken. Then, the posture collapse determination unit 108 gives the determination result to the determination result output unit 109 as the posture determination result.
  • the determination result output unit 109 outputs the posture determination result acquired from the posture collapse determination unit 108 to the output interface device 140.
  • 3A and 3B are block diagrams showing a hardware configuration example of the posture collapse detection device 100.
  • the detection reliability calculation unit 102, the face orientation determination unit 104, the detection reliability processing unit 105, the threshold value calculation unit 107, and the posture collapse determination unit 108 described above are, for example, as shown in FIG.
  • a processing circuit 150 such as a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array) can be configured.
  • the image acquisition unit 101 is a first interface (I/F) 151 for connecting the imaging device 120
  • the vehicle state acquisition unit 103 is a second I/F 152 for connecting the vehicle state acquisition device 130
  • the determination result output unit 109 can be configured by the third I/F 153 for connecting the output interface device 140.
  • the detection reliability storage unit 106 can be configured by a non-volatile memory or a volatile memory (not shown).
  • the detection reliability calculation unit 102, the face orientation determination unit 104, the detection reliability processing unit 105, the threshold value calculation unit 107, and the posture collapse determination unit 108 for example, as shown in FIG. 154 and a processor 155 such as a CPU (Central Processing Unit) that executes a program stored in the memory 154.
  • the posture collapse detection device 100 can be realized by a computer that executes a program.
  • a program may be provided via a network, or may be provided by being recorded in a recording medium. That is, such a program may be provided as a program product, for example.
  • the detection reliability storage unit 106 can be configured by a non-volatile memory or a volatile memory (not shown), and can also be configured by the memory 154.
  • FIG. 4 is a flowchart showing the operation of the posture collapse detection device 100.
  • the image acquisition unit 101 acquires image information indicating an image captured by the imaging device 120 (S10).
  • the image acquisition unit 101 gives the image information acquired from the imaging device 120 to the detection reliability calculation unit 102.
  • the detection reliability calculation unit 102 detects face parts by performing image processing on the image indicated by the image information given from the image acquisition unit 101, and calculates the detection reliability of the detected face parts. Yes (S11).
  • the detection reliability calculation unit 102 gives the calculated detection reliability to the detection reliability processing unit 105 and the posture collapse determination unit 108.
  • the vehicle status acquisition unit 103 acquires vehicle status information indicating the vehicle status from the vehicle status acquisition device 130 (S12).
  • the vehicle state acquisition unit 103 gives the acquired vehicle state information to the face orientation determination unit 104.
  • the face orientation determination unit 104 determines whether or not the driver's face is facing forward based on the vehicle state indicated by the vehicle state information provided by the vehicle state acquisition unit 103 (S13). Then, the face orientation determination unit 104 gives the determination result to the detection reliability processing unit 105 as a face orientation determination result. Step S13 will be described in detail with reference to FIG.
  • the detection reliability processing unit 105 causes the detection reliability storage unit 106 to store the detection reliability given by the detection reliability calculation unit 102 in accordance with the face orientation determination result provided by the face orientation determination unit 104. It is determined (S14). Specifically, when the face orientation determination result indicates that the driver's face is facing forward, the detection reliability processing unit 105 targets the detection reliability given by the detection reliability calculation unit 102. The detection reliability is stored in the detection reliability storage unit 106. On the other hand, the detection reliability processing unit 105 discards the detection reliability given by the detection reliability calculation unit 102 when the face orientation determination result indicates that the driver's face is not facing the front. Step S14 will be described in detail with reference to FIG.
  • the threshold calculation unit 107 uses the target detection reliability stored in the detection reliability storage unit 106 to calculate a threshold for determining the driver's posture collapse (S15).
  • the threshold value calculation unit 107 gives the calculated threshold value to the posture collapse determination unit 108. Step S15 will be described in detail with reference to FIG.
  • the posture collapse determination unit 108 compares the detection reliability given by the detection reliability calculation unit 102 and the threshold given by the threshold calculation unit 107, and determines whether or not the driver has posture collapse (S16).
  • the posture collapse determination unit 108 provides the determination result output unit 109 with a posture determination result indicating the determination result. Step S16 will be described in detail with reference to FIG.
  • the determination result output unit 109 outputs the posture determination result given from the posture collapse determination unit 108 to the output interface device 140 (S17).
  • the output interface device 140 outputs an alarm according to the output posture determination result.
  • the posture collapse detection apparatus 100 can detect the posture collapse of the person shown in the image from the image captured by the image capturing device 120.
  • FIG. 5 is a flowchart showing the operation of the face orientation determination unit 104 for determining the driver's face orientation.
  • the face orientation determination unit 104 acquires the vehicle state information from the vehicle state acquisition unit 103 (S20).
  • the face orientation determination unit 104 determines whether the vehicle state indicated by the acquired vehicle state information satisfies a predetermined condition (S21).
  • the face orientation determination unit 104 determines that the vehicle state satisfies a predetermined condition when the vehicle speed is equal to or higher than a predetermined speed and the steering wheel angle is within a predetermined angular range. To do. If the vehicle condition satisfies the predetermined condition (Yes in S21), the process proceeds to step S22. If the vehicle condition does not satisfy the predetermined condition (No in S21), the process proceeds to step S23. Proceed to.
  • step S22 the face orientation determination unit 104 determines that the driver's face is facing forward. Then, the process proceeds to step S24. On the other hand, in step S23, the face orientation determination unit 104 determines that the driver's face is not facing forward. Then, the process proceeds to step S24.
  • step S24 the face orientation determination unit 104 provides the detection reliability processing unit 105 with the determination result of step S22 or S23 as the face orientation determination result (S24).
  • FIG. 6 is a flowchart showing the operation of the detection reliability processing unit 105.
  • the detection reliability processing unit 105 acquires the detection reliability from the detection reliability calculation unit 102 (S30).
  • the detection reliability processing unit 105 acquires the face orientation determination result from the face orientation determination unit 104 (S31).
  • the detection reliability processing unit 105 determines whether or not the acquired face orientation determination result indicates that the driver's face is facing forward (S32). When the acquired face orientation determination result indicates that the driver's face is facing forward (Yes in S32), the process proceeds to step S33. When the acquired face orientation determination result does not indicate that the driver's face is facing forward (No in S32), the detection reliability processing unit 105 discards the acquired detection reliability, The operation ends.
  • step S33 the detection reliability processing unit 105 stores the acquired detection reliability as the target detection reliability in the detection reliability storage unit 106.
  • FIG. 7 is a flowchart showing the operation of the threshold value calculation unit 107.
  • the threshold calculation unit 107 reads out the target detection reliability stored in the detection reliability storage unit 106 (S40).
  • the detection reliability storage unit 106 stores a plurality of target detection reliability levels and a plurality of target detection reliability levels are read out.
  • the threshold calculation unit 107 calculates a representative value of the read target detection reliability (S41). Here, the threshold calculation unit 107 calculates the average value of the read target detection reliability. The threshold value calculation unit 107 calculates a threshold value by subtracting a predetermined offset value from the calculated representative value (S42). Here, the offset value is a reduction range that is reduced from the target detection reliability used as the base value in order to calculate the threshold value.
  • FIG. 8 shows a representative value (here, an average value) of the object detection reliability in a normal case where the driver's posture is not collapsed and the driver's posture is collapsed in a normal environment and wearing sunglasses.
  • 6 is a graph for explaining a relationship between a representative value of target detection reliability and an offset value.
  • the representative value of the target detection reliability in the normal environment is “100”.
  • the detection reliability calculated by the detection reliability calculation unit 102 is the threshold value “100”. If it falls below even a little, it will be determined that the driver's posture has collapsed. This is also the case when wearing sunglasses.
  • the threshold for determining the posture collapse of the driver is, as shown in FIG. It is calculated by subtracting the offset value from the value. By doing so, it is possible to calculate the threshold value according to the value of the object detection reliability level in both normal environment and wearing sunglasses.
  • the offset value is calculated, for example, by the flowchart shown in FIG. 9, but the offset value is not limited to such an example.
  • FIG. 9 is a flowchart showing the operation of calculating the offset value.
  • the image capturing device 120 captures an image of a driver (a doll, for example) that imitates a driver who has lost his posture or a driver who has lost his posture in a normal environment, and generates image information indicating the captured image.
  • the acquisition unit 101 acquires the image information (S50).
  • the image acquisition unit 101 gives the acquired image information to the detection reliability calculation unit 102.
  • the detection reliability calculation unit 102 detects face parts from the image indicated by the image information given from the image acquisition unit 101, and calculates the detection reliability of the detected face parts (S51).
  • the detection reliability calculated here is a value that should be determined as the driver's posture collapse.
  • the detection reliability calculation unit 102 gives the calculated detection reliability to the threshold calculation unit 107.
  • the threshold calculation unit 107 specifies the reference value so that the detection reliability given by the detection reliability calculation unit 102 does not fall below (S52).
  • the threshold calculation unit 107 uses the average value of the detection reliability given from the detection reliability calculation unit 102 and “100” as the reference value, but the reference value specifying method is such an example. Not limited.
  • the threshold calculation unit 107 calculates an offset value by subtracting the specified reference value from “100” (S53). The threshold value calculation unit 107 holds the calculated offset value.
  • the operation shown in FIG. 9 is performed by the posture collapse detecting apparatus 100 here, the operation shown in FIG. 9 is performed by another apparatus, and the calculated offset value is Alternatively, the posture collapse detection device 100 may be provided.
  • FIG. 10 is a flowchart showing the operation of the posture collapse determination unit 108.
  • the posture collapse determination unit 108 acquires the detection reliability calculated from the detection reliability calculation unit 102 (S60).
  • the posture collapse determination unit 108 acquires the threshold value calculated by the threshold value calculation unit 107 (S61).
  • the posture collapse determination unit 108 determines whether the acquired detection reliability is below the acquired threshold value (S62). If the detection reliability is below the threshold (Yes in S62), the process proceeds to step S63, and if the detection reliability is equal to or higher than the threshold (No in S62), the process proceeds to step S64.
  • step S63 the posture collapse determination unit 108 determines that there is a posture collapse of the driver. Then, the process proceeds to step S65. On the other hand, in step S64, the posture collapse determination unit 108 determines that there is no posture collapse of the driver. Then, the process proceeds to step S65.
  • step S65 the posture collapse determination unit 108 provides the determination result output unit 109 with the determination result in step S63 or step S64 as the posture determination result.
  • the detection accuracy of the face parts may decrease, even if the driver is in a normal posture.
  • the detection reliability decreases.
  • the threshold value corresponding to the normal environment is used, the driver's state may be erroneously detected.
  • the posture collapse detection apparatus 100 uses the target detection reliability, which is the detection reliability of the face parts facing forward in the current environment, so that the current environment is reflected. Is calculated dynamically. Then, the posture collapse detection device 100 detects the posture collapse of the driver by comparing the detection reliability of the face parts with the dynamically calculated threshold value. Therefore, it becomes unnecessary to set a threshold value for each situation as shown in FIG. 2, and a threshold value according to the current environment can be used.
  • the target detection reliability which is the detection reliability of the face parts facing forward in the current environment, so that the current environment is reflected. Is calculated dynamically. Then, the posture collapse detection device 100 detects the posture collapse of the driver by comparing the detection reliability of the face parts with the dynamically calculated threshold value. Therefore, it becomes unnecessary to set a threshold value for each situation as shown in FIG. 2, and a threshold value according to the current environment can be used.
  • the threshold value calculation unit 107 described above calculates the threshold value based on the representative value of the target detection reliability and the offset value
  • the representative value is the latest predetermined period, in other words, up to the present. May be calculated using only the target detection reliability stored in the predetermined period of. In this case, since only the most recent environment is reflected, it is possible to calculate the threshold value corresponding to the environment that is likely to change in a short time such as the incidence of external light.
  • the mode value may be used instead of the average value.
  • a robust threshold value can be calculated for outliers in the detection reliability of face parts.
  • the posture collapse determination unit 108 compares the face part detection reliability with a threshold value to determine whether or not the driver's posture has collapsed. If the detection reliability becomes unstable, the detection reliability may fall below the threshold value even though the driver is in a normal posture, which may cause an erroneous determination.
  • FIG. 11 is a graph showing the transition of the detection reliability under a bad environment such as the driver's normal posture and the influence of external light, and the threshold value.
  • the line indicated by reference numeral 160 indicates the transition of the detection reliability.
  • the line indicated by reference numeral 161 indicates the threshold value.
  • Reference numeral 162 indicates the average value of the detection reliability obtained in the latest predetermined period.
  • the detection reliability becomes unstable in a bad environment. Therefore, it may fall below the threshold value indicated by the line 161.
  • the posture collapse determination unit 108 accumulates the detection reliability calculated by the detection reliability calculation unit 102 for a predetermined period up to the present time, and calculates the average value of the accumulated detection reliability. The calculation can reduce fluctuations in the detection reliability, as indicated by the line 162 in FIG. 11. Therefore, the posture collapse determination unit 108 can reduce the erroneous determination due to the unstable detection reliability by comparing the average value indicated by the line 162 and the threshold value indicated by the line 161. it can.
  • the vehicle state information is acquired in step S12 after the face part detection reliability is calculated in step S11. It is not limited to this example.
  • the face part detection reliability may be calculated after the vehicle state information is acquired. Further, the calculation of the face part detection reliability and the acquisition of the vehicle state information may be performed in parallel.
  • the vehicle speed and the steering wheel angle are used as the vehicle state, but the embodiment is not limited to such an example.
  • the vehicle state the presence/absence of pedal depression or the pedal depression amount may be used, and at least one of the pedal depression/presence or pedal depression amount may be used together with at least one of the vehicle speed and the steering wheel angle. Good.
  • posture collapse detection device 101 image acquisition unit, 102 detection reliability calculation unit, 103 vehicle state acquisition unit, 104 face orientation determination unit, 105 detection reliability processing unit, 106 detection reliability storage unit, 107 threshold calculation unit, 108 Posture collapse determination unit, 109 determination result output unit, 120 shooting device, 130 vehicle state acquisition device, 140 output interface device.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

運転手を撮影した画像から、運転手の顔パーツを検出し、顔パーツの検出信頼度を算出する検出信頼度算出部（１０２）と、車両状態から運転手が正面を向いているか否かを判定する顔向き判定部（１０４）と、顔向き判定部（１０４）が、運転手が正面を向いていると判定した際における車両状態において撮影された画像を用いて算出された検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部（１０６）と、対象検出信頼度を用いて、運転手の姿勢が崩れているか否かを判定するための閾値を算出する閾値算出部（１０７）と、算出された閾値を用いて、検出信頼度から運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部（１０８）とを備える。

Description

情報処理装置、プログラム及び情報処理方法
　本発明は、情報処理装置、プログラム及び情報処理方法に関する。
　近年、運転手の体調が急変することによる交通事故を防ぐために、ドライバーモニタリングシステム（ＤＭＳ）の開発が進んでいる。ＤＭＳでは、運転手が急病等により意識を失い、運転不能に陥ったような異常状態の発生を検出して、警報の出力又は自動運転による安全な停止等を行うといった機能に対する期待が高まっている。例えば，特許文献１には、運転手の画像から検出された、運転手の眼の位置に基づき、運転手の脇見状態又は居眠り状態を検出して警報を鳴らす運転状態検出装置が記載されている。
特開平１１－１９５２００号公報
　しかしながら、特許文献１に記載されている運転状態検出装置は、運転手を撮像した画像から検出された眼の位置を基に運転手の状態を判定するため、サングラス若しくはマスクを着用している場合、顔が髪で隠れている場合、又は、外光の影響がある場合には、眼の位置の検出の精度が悪くなり、運転手の状態を正しく判定することができない。
　そこで、本発明の一又は複数の態様は、運転手の画像から検出される顔パーツの検出性能が低下してしまうような悪条件下においても、運転手の状態を正しく判定できるようにすることを目的とする。
　本発明の一態様に係る情報処理装置は、運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出する検出信頼度算出部と、前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定する顔向き判定部と、前記顔向き判定部が、前記運転手が正面を向いていると判定した際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部と、前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を算出する閾値算出部と、前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部と、を備えることを特徴とする。
　本発明の一態様に係るプログラムは、コンピュータを、運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出する検出信頼度算出部、前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定する顔向き判定部、前記顔向き判定部が、前記運転手が正面を向いていると判定した際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部、前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を算出する閾値算出部、及び、前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部、として機能させることを特徴とする。
　本発明の一態様に係る情報処理方法は、運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出し、前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定し、前記運転手が正面を向いていると判定された際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶し、前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を算出し、前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定することを特徴とする。
　本発明の一又は複数の態様によれば、運転手の画像から検出される顔パーツの検出性能が低下してしまうような悪条件下においても、運転手の状態を正しく判定することができる。
実施の形態に係る姿勢崩れ検出装置の構成を概略的に示すブロック図である。 撮影時の環境と、顔パーツの検出信頼度との関係を説明するための表である。 （Ａ）及び（Ｂ）は、姿勢崩れ検出装置のハードウェア構成例を示すブロック図である。 姿勢崩れ検出装置の動作を示すフローチャートである。 顔向き判定部が、運転手の顔の向きを判定する動作を示すフローチャートである。 検出信頼度処理部での動作を示すフローチャートである。 閾値算出部での動作を示すフローチャートである。 通常環境時及びサングラス着用時において、運転手の姿勢が正常な場合の対象検出信頼度の代表値と、運転手の姿勢が崩れた場合の対象検出信頼度の代表値と、オフセット値との関係を説明するためのグラフである。 オフセット値を算出する動作を示すフローチャートである。 姿勢崩れ判定部での動作を示すフローチャートである。 運転手が正常な姿勢であり、かつ、外光の影響がある等の悪環境下における検出信頼度の推移と、閾値とを示すグラフである。
　図１は、実施の形態に係る情報処理装置としての姿勢崩れ検出装置１００の構成を概略的に示すブロック図である。
　姿勢崩れ検出装置１００は、画像取得部１０１と、検出信頼度算出部１０２と、車両状態取得部１０３と、顔向き判定部１０４と、検出信頼度処理部１０５と、検出信頼度記憶部１０６と、閾値算出部１０７と、姿勢崩れ判定部１０８と、判定結果出力部１０９とを備える。
　姿勢崩れ検出装置１００には、撮影デバイス１２０、車両状態取得装置１３０及び出力インタフェース装置１４０が接続されている。
　撮影デバイス１２０は、車両の運転手の画像を撮影する。撮影デバイス１２０は、撮像された画像を示す画像情報を姿勢崩れ検出装置１００に与える。撮影デバイス１２０は、例えば、カメラである。なお、撮影デバイス１２０で撮影される画像は、静止画像であっても、動画像であってもよい。また、撮影デバイス１２０は、赤外光を用いて撮影を行う赤外線カメラでもよく、撮影対象までの距離を取得できる三次元距離画像カメラであってもよい。
　車両状態取得装置１３０は、車両の状態を取得して、取得された車両の状態である車両状態を示す車両状態情報を姿勢崩れ検出装置１００に与える。ここで、車両状態情報は、車両の車速及びハンドル角を示すものとする。
　出力インタフェース装置１４０は、姿勢崩れ検出装置１００での姿勢崩れの検出結果に応じて、警報を出力する。出力インタフェース装置１４０は、例えば、警報装置である。警報装置は、車内に音を出力するスピーカでもよく、警報を示す文字又は図形等を表示する車載モニタ又はヘッドアップディスプレイ等の表示デバイスでもよい。また、警報装置は、図示しない管理センターに、図示しないネットワークを介して、警報を通知してもよい。
　画像取得部１０１は、撮影デバイス１２０と通信を行う通信インタフェースである。例えば、画像取得部１０１は、撮影デバイス１２０が撮影した画像を示す画像情報を取得し、その画像情報を検出信頼度算出部１０２に与える。
　検出信頼度算出部１０２は、画像取得部１０１から与えられた画像情報で示される画像から、画像処理により、運転手の顔にある予め定められたパーツである顔パーツの検出を行う。また、検出信頼度算出部１０２は、検出された顔パーツが予め定められたパーツである信頼度を示す検出信頼度を算出する。そして、検出信頼度算出部１０２は、算出された検出信頼度を検出信頼度処理部１０５及び姿勢崩れ判定部１０８に与える。
　ここで、顔パーツは、人間の眼、鼻及び口の少なくとも１つ以上を指す。眼、鼻及び口以外でも、運転手の姿勢を検出する際に利用できる特徴点であれば、耳又は眉毛等の他のパーツも顔パーツとしてもよい。
　顔パーツの検出方法及び顔パーツの検出信頼度の算出方法については、例えば、下記の文献に示された方法等を用いることができる。下記の文献では、事前に大量の顔画像から学習しておいた顔パーツの特徴と、運転手を撮影した画像から抽出された顔パーツの特徴とのマッチングを行うことで顔パーツの検出が行われる。また、そのマッチングにおけるマッチ度合いから、顔パーツの検出信頼度が算出される。
　“Ｒａｐｉｄ　Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ　ｕｓｉｎｇ　ａ　Ｂｏｏｓｔｅｄ　Ｃａｓｃａｄｅ　ｏｆ　Ｓｉｍｐｌｅ　Ｆｅａｔｕｒｅｓ”，２００１，Ｐａｕｌ　Ｖｉｏｌａ，ｅｔ　ａｌ．
　なお、上記文献に記載の方法ではなくても、顔パーツに相当する特定の対象物を画像から検出し、その検出信頼度を算出することができる方法であれば、検出信頼度算出部１０２でその方法を利用することができる。
　ここで、運転手の顔の向きが正面を向いていない場合、運転手がサングラス又はマスクを装着している場合、又は、外光の影響がある場合には、画像から顔パーツを検出するのが困難となり、顔パーツの検出信頼度が低下する。
　図２は、撮影時の環境と、顔パーツの検出信頼度との関係を説明するための表である。
　図２に示されている「正常姿勢時の検出信頼度」の列は、運転手が正面を向いている場合における顔パーツの検出信頼度を示している。
　また、「姿勢崩れ時の検出信頼度」の列は、運転手の姿勢が崩れた場合における顔パーツの検出信頼度を示している。
　図２の表の１行目に示されているように、サングラス、髪型及び外光に影響されていない通常環境においても、顔パーツの検出信頼度は、正常姿勢時よりも姿勢崩れ時の方が低下する。このため、予め定められた閾値を用いることで、運転手の姿勢崩れを検出することができる。
　図２に示されている例では、通常環境時において、正常姿勢時の検出信頼度が「１００」、姿勢崩れ時の検出信頼度が「６０」であるため、これらの間の値「８０」を閾値として用いることで、運転手の姿勢崩れを検出することができる。
　しかしながら、例えば、運転手がサングラスを着用しているという悪条件下では、サングラスによる顔パーツの検出信頼度の低下の影響により、正常姿勢時でも、姿勢崩れ時でも、顔パーツの検出信頼度は、通常環境時よりも低下する。
　このため、例えば、図２に示されているように、サングラス着用時に、正常姿勢時の検出信頼度が「７５」で、姿勢崩れ時の検出信頼度が「３５」である場合には、通常環境時の閾値「８０」では、運転手の姿勢崩れを検出することができない。従って、サングラス着用時において、運転手の姿勢崩れを検出するためには、サングラス着用時の閾値を、別途設定する必要がある。
　しかしながら、髪型の影響時又は外光影響時等の他の悪条件下では、顔パーツの検出信頼度の低下量がそれぞれ異なる可能性がある。このため、他の悪条件下では、サングラス着用時の閾値では、運転手の姿勢崩れを検出することができない。従って、図２に示されているように、髪型の影響時及び外光影響時にも、それぞれの閾値を設定する必要がある。
　しかしながら、考え得る悪条件の種類毎に、閾値を設定するのは、条件毎に様々な姿勢で画像を撮影して検出信頼度を算出し、その閾値を算出しなければならず、大きな手間が掛かる。また、閾値を予め用意しておく方法では、未知の悪条件には対応することができない。さらに、悪条件が重なった場合にも、閾値の算出が複雑となる。加えて、どの条件で検出されたのかを判定する必要も生ずる。
　そこで、本実施の形態に係る姿勢崩れ検出装置１００は、現環境を反映した適切な閾値を動的に算出する。
　図１に戻り、車両状態取得部１０３は、車両状態取得装置１３０と通信する通信インタフェースである。例えば、車両状態取得部１０３は、車両状態取得装置１３０から車両状態情報を取得して、顔向き判定部１０４へ車両状態情報を与える。
　顔向き判定部１０４は、車両状態取得部１０３から車両状態情報を取得し、取得された車両状態情報で示される車両状態から、運転者が正面を向いているか否かを判定する。例えば、顔向き判定部１０４は、その車両状態が予め決められた条件を満たすか否かにより、運転者が正面を向いているか否かを判定する。ここでの条件は、運転手が正面を向いていると考えられる車両状態を設定すればよい。例えば、顔向き判定部１０４は、車速が閾値となる予め定められた速度以上、かつ、ハンドル角が閾値となる予め定められた角度範囲内という条件を用いることができる。
　顔向き判定部１０４は、車両状態が予め定められた条件を満たす場合には、運転手の顔が正面を向いていると判定する。一方、顔向き判定部１０４は、車両状態が予め定められた条件を満たさない場合には、運転手が正面を向いていないと判定する。そして、顔向き判定部１０４は、その判定結果である顔向き判定結果を検出信頼度処理部１０５に与える。
　検出信頼度処理部１０５は、検出信頼度算出部１０２から検出信頼度を取得し、顔向き判定部１０４から顔向き判定結果を取得する。そして、検出信頼度処理部１０５は、取得された顔向き判定結果が、運転手が正面を向いていることを示している場合には、そのように判断された車両状態において撮影された画像を用いて算出された検出信頼度を、検出信頼度記憶部１０６に記憶させる。なお、検出信頼度記憶部１０６に記憶させる検出信頼度を、対象検出信頼度ともいう。
　ここでは、運転手がサングラスを着用している場合、又は、外光が差し込んでいるような場合でも、運転手が正面を向いていると判断されると、対応する検出信頼度が記憶される。従って、後述の閾値算出部１０７は、サングラスを着用している等、現在の環境が反映された状態で、姿勢崩れを判定するための閾値を算出することができる。
　ここで、撮影デバイス１２０から得られる画像情報には、その画像情報で示される画像が撮影された時刻を示す画像時刻情報が含まれているものとする。
　また、車両状態取得装置１３０から得られる車両状態情報にも、その車両状態が取得された時刻を示す車両状態時刻情報が含まれているものとする。
　そして、検出信頼度算出部１０２は、検出信頼度に画像時刻情報を添付して、検出信頼度処理部１０５に与え、顔向き判定部１０４も判定結果に車両状態時刻情報を添付することで、検出信頼度処理部１０５は、検出信頼度と、判定結果とを同期させることができる。
　なお、検出信頼度と、判定結果とを同期させる方法については、このような例に限定されない。例えば、画像情報と、車両状態情報とが同期されて、姿勢崩れ検出装置１００に入力されるようになっていてもよい。
　閾値算出部１０７は、検出信頼度記憶部１０６に記憶されている検出信頼度を用いて、運転手の姿勢が崩れているか否かを判定するための閾値を算出する。ここで算出される閾値は、上述のように、悪条件がある場合には、その悪条件による影響が加味されている。そして、閾値算出部１０７は、算出された閾値を姿勢崩れ判定部１０８に与える。
　姿勢崩れ判定部１０８は、検出信頼度算出部１０２から取得した検出信頼度と、閾値算出部１０７から取得した閾値とを用いて、運転手の姿勢が崩れているか否かを判定する。具体的には、姿勢崩れ判定部１０８は、取得された検出信頼度が閾値以上である場合には、運転手の姿勢が崩れていないと判定し、取得された検出信頼度が閾値よりも小さい場合には、運転手の姿勢が崩れていると判定する。そして、姿勢崩れ判定部１０８は、その判定結果を、姿勢判定結果として判定結果出力部１０９に与える。
　判定結果出力部１０９は、姿勢崩れ判定部１０８から取得した姿勢判定結果を出力インタフェース装置１４０へ出力する。
　図３（Ａ）及び（Ｂ）は、姿勢崩れ検出装置１００のハードウェア構成例を示すブロック図である。
　以上に記載された検出信頼度算出部１０２、顔向き判定部１０４、検出信頼度処理部１０５、閾値算出部１０７及び姿勢崩れ判定部１０８は、例えば、図３（Ａ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の処理回路１５０で構成することができる。
　また、画像取得部１０１は、撮影デバイス１２０を接続するための第１のインタフェース（Ｉ／Ｆ）１５１、車両状態取得部１０３は、車両状態取得装置１３０を接続するための第２のＩ／Ｆ１５２、判定結果出力部１０９は、出力インタフェース装置１４０を接続するための第３のＩ／Ｆ１５３により構成することができる。
　なお、検出信頼度記憶部１０６は、図示しない不揮発性メモリ又は揮発性メモリにより構成することができる。
　また、検出信頼度算出部１０２、顔向き判定部１０４、検出信頼度処理部１０５、閾値算出部１０７及び姿勢崩れ判定部１０８は、例えば、図３（Ｂ）に示されているように、メモリ１５４と、メモリ１５４に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１５５とにより構成することができる。言い換えると、姿勢崩れ検出装置１００は、プログラムを実行するコンピュータにより実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　なお、検出信頼度記憶部１０６は、図示しない不揮発性メモリ又は揮発性メモリにより構成することができ、メモリ１５４により構成することもできる。
　次に動作について説明する。
　図４は、姿勢崩れ検出装置１００の動作を示すフローチャートである。
　まず、画像取得部１０１は、撮影デバイス１２０が撮影した画像を示す画像情報を取得する（Ｓ１０）。画像取得部１０１は、撮影デバイス１２０から取得した画像情報を検出信頼度算出部１０２に与える。
　検出信頼度算出部１０２は、画像取得部１０１から与えられた画像情報で示される画像に対して画像処理を行うことで、顔パーツの検出を行い、検出された顔パーツの検出信頼度を算出する（Ｓ１１）。検出信頼度算出部１０２は、算出された検出信頼度を、検出信頼度処理部１０５及び姿勢崩れ判定部１０８に与える。
　車両状態取得部１０３は、車両状態取得装置１３０から車両状態を示す車両状態情報を取得する（Ｓ１２）。車両状態取得部１０３は、取得した車両状態情報を顔向き判定部１０４に与える。
　顔向き判定部１０４は、車両状態取得部１０３から与えられた車両状態情報で示される車両状態に基づき、運転手の顔が正面向きであるか否かを判定する（Ｓ１３）。そして、顔向き判定部１０４は、その判定結果を顔向き判定結果として、検出信頼度処理部１０５に与える。ステップＳ１３については、図５を用いて詳細に説明する。
　検出信頼度処理部１０５は、顔向き判定部１０４から与えられた顔向き判定結果に応じて、検出信頼度算出部１０２から与えられた検出信頼度を検出信頼度記憶部１０６に記憶させるか否かを判断する（Ｓ１４）。具体的には、検出信頼度処理部１０５は、顔向き判定結果が、運転手の顔が正面向きであることを示す場合には、検出信頼度算出部１０２から与えられた検出信頼度を対象検出信頼度として検出信頼度記憶部１０６に記憶させる。一方、検出信頼度処理部１０５は、顔向き判定結果が、運転手の顔が正面向きではないことを示す場合には、検出信頼度算出部１０２から与えられた検出信頼度を破棄する。ステップＳ１４については、図６を用いて詳細に説明する。
　閾値算出部１０７は、検出信頼度記憶部１０６に記憶されている対象検出信頼度を用いて、運転手の姿勢崩れを判定するための閾値を算出する（Ｓ１５）。閾値算出部１０７は、算出された閾値を姿勢崩れ判定部１０８に与える。ステップＳ１５については、図７を用いて詳細に説明する。
　姿勢崩れ判定部１０８は、検出信頼度算出部１０２から与えられた検出信頼度と、閾値算出部１０７から与えられた閾値とを比較し、運転手の姿勢崩れの有無を判定する（Ｓ１６）。姿勢崩れ判定部１０８は、その判定結果を示す姿勢判定結果を判定結果出力部１０９に与える。ステップＳ１６については、図９を用いて詳細に説明する。
　判定結果出力部１０９は、姿勢崩れ判定部１０８から与えられる姿勢判定結果を出力インタフェース装置１４０へ出力する（Ｓ１７）。出力インタフェース装置１４０は、出力された姿勢判定結果に応じて、警報を出力する。
　以上のように、姿勢崩れ検出装置１００は、撮影デバイス１２０が撮影した画像から、その画像に写っている人物の姿勢崩れを検出することができる。
　図５は、顔向き判定部１０４が、運転手の顔の向きを判定する動作を示すフローチャートである。
　顔向き判定部１０４は、車両状態取得部１０３から車両状態情報を取得する（Ｓ２０）。
　顔向き判定部１０４は、取得された車両状態情報で示される車両状態が予め定められた条件を満たすか否かを判定する（Ｓ２１）。ここでは、顔向き判定部１０４は、「車速が予め定められた速度以上」かつ「ハンドル角が予め定められた角度範囲内」である場合に、車両状態が予め定められた条件を満たすと判定する。車両状態が予め定められた条件を満たす場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進み、車両状態が予め定められた条件を満たさない場合（Ｓ２１でＮｏ）には、処理はステップＳ２３に進む。
　ステップＳ２２では、顔向き判定部１０４は、運転手の顔が正面向きであると判定する。そして、処理はステップＳ２４に進む。
　一方、ステップＳ２３では、顔向き判定部１０４は、運転手の顔が正面向きではないと判定する。そして、処理はステップＳ２４に進む。
　ステップＳ２４では、顔向き判定部１０４は、ステップＳ２２又はステップＳ２３の判定結果を、顔向き判定結果として、検出信頼度処理部１０５に与える（Ｓ２４）。
　図６は、検出信頼度処理部１０５での動作を示すフローチャートである。
　検出信頼度処理部１０５は、検出信頼度算出部１０２から検出信頼度を取得する（S３０）。
　検出信頼度処理部１０５は、顔向き判定部１０４から顔向き判定結果を取得する（S３１）。
　検出信頼度処理部１０５は、取得された顔向き判定結果が運転手の顔が正面向きであることを示しているか否かを判断する（Ｓ３２）。取得された顔向き判定結果が運転手の顔が正面向きであることを示している場合（Ｓ３２でＹｅｓ）には、処理はステップＳ３３に進む。取得された顔向き判定結果が運転手の顔が正面向きであることを示していない場合（Ｓ３２でＮｏ）には、検出信頼度処理部１０５は、取得された検出信頼度を破棄して、動作を終了する。
　ステップＳ３３では、検出信頼度処理部１０５は、取得された検出信頼度を対象検出信頼度として、検出信頼度記憶部１０６に記憶させる。
　図７は、閾値算出部１０７での動作を示すフローチャートである。
　閾値算出部１０７は、検出信頼度記憶部１０６に記憶されている対象検出信頼度を読み出す（Ｓ４０）。ここで、検出信頼度記憶部１０６には、複数の対象検出信頼度が記憶されており、複数の対象検出信頼度が読み出されるものとする。
　閾値算出部１０７は、読み出された対象検出信頼度の代表値を算出する（Ｓ４１）。ここでは、閾値算出部１０７は、読み出された対象検出信頼度の平均値を算出する。
　閾値算出部１０７は、算出された代表値から、予め定められたオフセット値を減算することで、閾値を算出する（Ｓ４２）。
　ここで、オフセット値は、閾値を算出するために、ベース値とする対象検出信頼度から引き下げる引き下げ幅である。
　図８は、通常環境時及びサングラス着用時において、運転手の姿勢が崩れていない正常な場合の対象検出信頼度の代表値（ここでは、平均値）と、運転手の姿勢が崩れた場合の対象検出信頼度の代表値と、オフセット値との関係を説明するためのグラフである。
　図８に示されているように、通常環境時における対象検出信頼度の代表値は、「１００」となっている。ここで、運転手の姿勢崩れを判定するための閾値として、その代表値「１００」を用いてしまうと、検出信頼度算出部１０２で算出された検出信頼度が、閾値である代表値「１００」をわずかにでも下回ることで、運転手の姿勢が崩れたと判定されてしまう。これは、サングラス着用時でも同様である。
　そこで、正常な姿勢であると判断される検出信頼度に幅を持たせるため、運転手の姿勢崩れを判定するための閾値は、図８に示されているように、対象検出信頼度の代表値からオフセット値を減算することで求められる。このようにすることで、通常環境時でもサングラス着用時でも、対象検出信頼度の値に応じて、閾値を算出することができる。
　なお、オフセット値については、例えば、図９に示されているフローチャートで算出されるものとするが、このような例に限定されるものではない。
　図９は、オフセット値を算出する動作を示すフローチャートである。
　撮影デバイス１２０は、通常環境において、姿勢を崩した運転手又は姿勢を崩した運転手を模擬した物（例えば、人形）を対象として撮影し、撮影された画像を示す画像情報を生成し、画像取得部１０１は、その画像情報を取得する（Ｓ５０）。画像取得部１０１は、取得された画像情報を検出信頼度算出部１０２に与える。
　検出信頼度算出部１０２は、画像取得部１０１から与えられた画像情報で示される画像から、顔パーツを検出し、検出された顔パーツの検出信頼度を算出する（Ｓ５１）。ここで算出される検出信頼度は、運転手の姿勢崩れと判断されるべき値である。検出信頼度算出部１０２は、算出した検出信頼度を閾値算出部１０７に与える。
　閾値算出部１０７は、検出信頼度算出部１０２から与えられた検出信頼度を下回らないように、基準値を特定する（Ｓ５２）。ここでは、閾値算出部１０７は、検出信頼度算出部１０２から与えられた検出信頼度と、「１００」との平均値を基準値とするが、基準値の特定方法は、このような例に限定されない。
　閾値算出部１０７は、「１００」から、特定された基準値を減算することで、オフセット値を算出する（Ｓ５３）。なお、閾値算出部１０７は、算出されたオフセット値を保持しておく。
　なお、ここでは、図９に示されている動作は、姿勢崩れ検出装置１００で行う例を示したが、他の装置で図９に示されている動作が行われ、算出されたオフセット値が、姿勢崩れ検出装置１００に与えられてもよい。
　図１０は、姿勢崩れ判定部１０８での動作を示すフローチャートである。
　姿勢崩れ判定部１０８は、検出信頼度算出部１０２から算出された検出信頼度を取得する（Ｓ６０）。
　姿勢崩れ判定部１０８は、閾値算出部１０７で算出された閾値を取得する（Ｓ６１）。
　姿勢崩れ判定部１０８は、取得された検出信頼度が取得された閾値を下回っているか否かを判定する（Ｓ６２）。検出信頼度が閾値を下回っている場合（Ｓ６２でＹｅｓ）には、処理はステップＳ６３に進み、検出信頼度が閾値以上である場合（Ｓ６２でＮｏ）には、処理はステップＳ６４に進む。
　ステップＳ６３では、姿勢崩れ判定部１０８は、運転手の姿勢崩れありと判定する。そして、処理はステップＳ６５に進む。
　一方、ステップＳ６４では、姿勢崩れ判定部１０８は、運転手の姿勢崩れなしと判定する。そして、処理はステップＳ６５に進む。
　ステップＳ６５では、姿勢崩れ判定部１０８は、ステップＳ６３又はステップＳ６４での判定結果を、姿勢判定結果として、判定結果出力部１０９に与える。
　例えば、サングラス又はマスクの着用時、髪型の影響時、又は、外光の影響時等、顔パーツの検出精度が低下する悪条件下では、運転手が正常な姿勢であっても、顔パーツの検出信頼度が低下する。このような場合に、通常環境時に対応した閾値が使用されてしまうと、運転手の状態検出を誤ってしまう可能性がある。
　これに対し、本実施の形態に係る姿勢崩れ検出装置１００は、現在の環境が反映されるように、現環境下の正面向きの顔パーツの検出信頼度である対象検出信頼度を用いて閾値を動的に算出する。そして、姿勢崩れ検出装置１００は、顔パーツの検出信頼度と、動的に算出された閾値とを比較することで、運転手の姿勢崩れを検出する。
　このため、図２に示されているような、状況毎に閾値を設定する必要がなくなり、現環境に応じた閾値を用いることができるようになる。
　なお、以上に記載した閾値算出部１０７は、対象検出信頼度の代表値と、オフセット値に基づき閾値を算出していたが、代表値は、直近の予め定められた期間、言い換えると、現在までの予め定められた期間に記憶された対象検出信頼度のみを用いて算出されてもよい。この場合、直近の環境のみが反映されているため、外光の入射のように短い時間で変化しやすい環境にも対応した閾値を算出することができる。
　また、対象検出信頼度の代表値として、平均値ではなく最頻値が用いられてもよい。この場合、顔パーツの検出信頼度の外れ値にも頑健な閾値を算出することができる。
　また、姿勢崩れ判定部１０８は、顔パーツの検出信頼度と閾値とを比較して、運転手の姿勢崩れの有無を判定しているが、外光の影響等の悪環境により、顔パーツの検出信頼度が不安定となってしまう場合には、運転手が正常な姿勢であるにも関わらず、検出信頼度が閾値を下回ってしまい、誤判定を引き起こしてしまうことがある。
　図１１は、運転手が正常な姿勢であり、かつ、外光の影響がある等の悪環境下における検出信頼度の推移と、閾値とを示すグラフである。
　図１１では、符号１６０で示されている線は、検出信頼度の推移を示している。符号１６１で示されている線は、閾値を示している。符号１６２は、直近の予め定められた期間に得られた検出信頼度の平均値を示している。
　図１１の線１６０で示されているように、悪環境下では、検出信頼度が不安定となる。このため、線１６１で示されている閾値を下回ってしまう場合がある。
　これに対して、例えば、姿勢崩れ判定部１０８が、検出信頼度算出部１０２で算出された検出信頼度を、現在までの予め定められた期間蓄積し、蓄積された検出信頼度の平均値を算出することで、図１１の線１６２に示されているように、検出信頼度の揺れを軽減することができる。このため、姿勢崩れ判定部１０８は、線１６２で示されている平均値と、線１６１で示されている閾値とを比較することで、不安定な検出信頼度による誤判定を軽減することができる。
　なお、図４に示されているフローチャートでは、ステップＳ１１において、顔パーツの検出信頼度が算出された後に、ステップＳ１２において、車両状態情報が取得されているが、本実施の形態は、このような例に限定されない。例えば、車両状態情報が取得されてから、顔パーツの検出信頼度が算出されてもよい。また、顔パーツの検出信頼度の算出と、車両状態情報の取得とが並行しておこなわれてもよい。
　また、以上の実施の形態では、車両状態として、車速とハンドル角とが用いられているが、実施の形態は、このような例に限定されない。車両状態としては、ペダルの踏み込み有無又はペダルの踏み込み量が用いられてもよく、ペダルの踏み込み有無又はペダルの踏み込み量の少なくとも何れか一方が、車速及びハンドル角の少なくとも何れか一方とともに用いてもよい。
　１００　姿勢崩れ検出装置、　１０１　画像取得部、　１０２　検出信頼度算出部、　１０３　車両状態取得部、　１０４　顔向き判定部、　１０５　検出信頼度処理部、　１０６　検出信頼度記憶部、　１０７　閾値算出部、　１０８　姿勢崩れ判定部、　１０９　判定結果出力部、　１２０　撮影デバイス、　１３０　車両状態取得装置、　１４０　出力インタフェース装置。

Claims (11)

  1. 　運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出する検出信頼度算出部と、
    　前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定する顔向き判定部と、
    　前記顔向き判定部が、前記運転手が正面を向いていると判定した際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部と、
    　前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を算出する閾値算出部と、
    　前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部と、を備えること
    　を特徴とする情報処理装置。
  2. 　前記閾値算出部は、複数の前記対象検出信頼度の代表値からオフセット値を減算することで、前記閾値を算出すること
    　を特徴とする請求項１に記載の情報処理装置。
  3. 　前記代表値は、平均値であること
    　を特徴とする請求項２に記載の情報処理装置。
  4. 　前記代表値は、最頻値であること
    　を特徴とする請求項２に記載の情報処理装置。
  5. 　前記閾値算出部は、現在までの予め定められた期間に、前記検出信頼度記憶部に記憶された前記複数の対象検出信頼度を用いて、前記閾値を算出すること
    　を特徴とする請求項２から４の何れか一項に記載の情報処理装置。
  6. 　前記顔向き判定部は、前記車両状態が予め定められた条件を満たす場合に、前記運転手が正面を向いていると判定すること
    　を特徴とする請求項１から５の何れか一項に記載の情報処理装置。
  7. 　前記車両状態は、前記車両の速度である車速及び前記車両のハンドル角であり、
    　前記条件は、前記車速が予め定められた速度以上、かつ、前記ハンドル角が予め定められた角度範囲内であること
    　を特徴とする請求項６に記載の情報処理装置。
  8. 　前記姿勢崩れ判定部は、前記検出信頼度と、前記閾値とを比較することで、前記運転手の姿勢が崩れているか否かを判定すること
    　を特徴とする請求項１から７の何れか一項に記載の情報処理装置。
  9. 　前記姿勢崩れ判定部は、現在までの予め定められた期間に算出された複数の前記検出信頼度の平均値と、前記閾値とを比較することで、前記運転手の姿勢が崩れているか否かを判定すること
    　を特徴とする請求項１から７の何れか一項に記載の情報処理装置。
  10. 　コンピュータを、
    　運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出する検出信頼度算出部、
    　前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定する顔向き判定部、
    　前記顔向き判定部が、前記運転手が正面を向いていると判定した際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部、
    　前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を算出する閾値算出部、及び、
    　前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部、として機能させること
    　を特徴とするプログラム。
  11. 　運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、
    　前記顔パーツの検出信頼度を算出し、
    　前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定し、
    　前記運転手が正面を向いていると判定された際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶し、
    　前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を算出し、
    　前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定すること
    　を特徴とする情報処理方法。
PCT/JP2019/004173 2019-02-06 2019-02-06 情報処理装置、プログラム及び情報処理方法 WO2020161813A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020570254A JP6887578B2 (ja) 2019-02-06 2019-02-06 情報処理装置、プログラム及び情報処理方法
PCT/JP2019/004173 WO2020161813A1 (ja) 2019-02-06 2019-02-06 情報処理装置、プログラム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/004173 WO2020161813A1 (ja) 2019-02-06 2019-02-06 情報処理装置、プログラム及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2020161813A1 true WO2020161813A1 (ja) 2020-08-13

Family

ID=71948222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004173 WO2020161813A1 (ja) 2019-02-06 2019-02-06 情報処理装置、プログラム及び情報処理方法

Country Status (2)

Country Link
JP (1) JP6887578B2 (ja)
WO (1) WO2020161813A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133749A (ja) * 2002-10-11 2004-04-30 Tokai Rika Co Ltd 顔の向き検知装置
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置
JP2018101212A (ja) * 2016-12-19 2018-06-28 矢崎総業株式会社 車載器および顔正面度算出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133749A (ja) * 2002-10-11 2004-04-30 Tokai Rika Co Ltd 顔の向き検知装置
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置
JP2018101212A (ja) * 2016-12-19 2018-06-28 矢崎総業株式会社 車載器および顔正面度算出方法

Also Published As

Publication number Publication date
JP6887578B2 (ja) 2021-06-16
JPWO2020161813A1 (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
JP2003018619A (ja) 立体映像評価装置およびそれを用いた表示装置
JP2020528623A5 (ja)
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
JP2009090028A (ja) 眠気度判定装置
WO2021008115A1 (zh) 获取稳定帧的方法、装置以及计算机可读介质
US20190012522A1 (en) Face authentication device having database with small storage capacity
JP4716119B2 (ja) インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム
JP2010225118A (ja) 画像処理装置、方法及びプログラム
US10148943B2 (en) Image acquisition device and method based on a sharpness measure and an image acquistion parameter
US20190180126A1 (en) State estimation apparatus, method, and non-transitory recording medium
WO2021129806A1 (zh) 图像处理方法、装置、电子设备及可读存储介质
JP5719216B2 (ja) 視線測定装置および視線測定プログラム
WO2020161813A1 (ja) 情報処理装置、プログラム及び情報処理方法
US10334152B2 (en) Image acquisition device and method for determining a focus position based on sharpness
JPWO2009119288A1 (ja) コミュニケーションシステム及びコミュニケーションプログラム
EP1336916B1 (en) Position-direction measuring apparatus and information processing method
KR20150072667A (ko) 디지털 영상 처리 장치 및 그 제어 방법
FR3021205A1 (fr) Procede de determination d'au moins un parametre comportemental
US20220382065A1 (en) Information processing device, information processing method, and information processing program
JP2018500108A5 (ja)
JP2004054442A (ja) 顔検出装置、顔検出方法および顔検出プログラム
JP2008152717A (ja) 転倒状況検知装置
CN116086396A (zh) 一种获取距离的方法、装置、系统及存储介质
US20220309704A1 (en) Image processing apparatus, image processing method and recording medium
JP2012098830A (ja) 監視装置、監視方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914460

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020570254

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19914460

Country of ref document: EP

Kind code of ref document: A1