WO2023223443A1 - 乗員状態推定装置及び乗員状態推定方法 - Google Patents

乗員状態推定装置及び乗員状態推定方法 Download PDF

Info

Publication number
WO2023223443A1
WO2023223443A1 PCT/JP2022/020600 JP2022020600W WO2023223443A1 WO 2023223443 A1 WO2023223443 A1 WO 2023223443A1 JP 2022020600 W JP2022020600 W JP 2022020600W WO 2023223443 A1 WO2023223443 A1 WO 2023223443A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
feature amount
feature
calculation unit
occupant
Prior art date
Application number
PCT/JP2022/020600
Other languages
English (en)
French (fr)
Inventor
和樹 國廣
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2024519511A priority Critical patent/JP7504326B2/ja
Priority to PCT/JP2022/020600 priority patent/WO2023223443A1/ja
Publication of WO2023223443A1 publication Critical patent/WO2023223443A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to an occupant condition estimation device and an occupant condition estimation method.
  • the facial expression determination device includes an extraction means and a facial expression determination means.
  • the extraction means detects the face of a person appearing in the photographed image and extracts facial features.
  • the facial expression determination means determines whether the facial expression is a predetermined expression based on the difference between the feature amount extracted by the extraction means and a reference feature amount stored in advance.
  • the predetermined facial expression includes, for example, a smiling expression or an angry facial expression.
  • the facial expression determination device is based on the premise that the reference feature amount is the feature amount of the face of a person whose facial expression is expressionless.
  • the control circuit in order to enable capturing an image when the expression of a person's face is expressionless, causes the display unit to display guidance indicating that an expressionless face is to be captured.
  • the system prompts the person whose facial expression is to be determined to maintain a neutral facial expression.
  • the control circuit causes the display section to display guidance indicating that a face with no expression is to be photographed. It does not necessarily mean that your face will be photographed. If the standard features are calculated based on the facial features of a person whose facial expression is not expressionless, errors will occur in the results of estimating the passenger's state using the standard features, and the estimation of the passenger's state will be incorrect. There was a problem in that accuracy could decrease.
  • the present disclosure has been made to solve the above-mentioned problems, and provides an occupant state estimation device and an occupant state estimation method that can calculate a reference feature amount that can prevent a decrease in the accuracy of estimating the state of an occupant.
  • the purpose is to obtain.
  • the occupant state estimation device includes an in-vehicle image acquisition unit that acquires an in-vehicle image that is an image of the interior of the vehicle, and a reference feature amount that is used as a reference feature amount to describe the in-vehicle image captured by the in-vehicle image acquisition unit.
  • a first feature amount calculation unit that calculates the facial feature amount of the passenger in the vehicle, and a shooting time acquired by the in-vehicle image acquisition unit after the reference feature amount is calculated by the first feature amount calculation unit.
  • a second feature amount calculation unit that calculates feature amounts of the occupant's face shown in each of the plurality of in-vehicle images that are different from each other.
  • the occupant state estimation device also includes a difference calculation unit that calculates a difference between the reference feature calculated by the first feature calculation unit and each feature calculated by the second feature calculation unit; Among the plurality of differences calculated by the calculation unit, among the plurality of differences calculated within a certain period after the reference feature quantity is calculated by the first feature quantity calculation unit, the difference is greater than or equal to the first threshold value.
  • the apparatus further includes a recalculation instruction section that instructs the first feature amount calculation section to recalculate the reference feature amount if the ratio of the difference is equal to or greater than the second threshold value.
  • FIG. 1 is a configuration diagram showing an occupant state estimation device 2 according to Embodiment 1.
  • FIG. FIG. 2 is a hardware configuration diagram showing the hardware of the occupant state estimation device 2 according to the first embodiment.
  • FIG. 2 is a hardware configuration diagram of a computer when the occupant state estimation device 2 is implemented by software, firmware, or the like.
  • FIG. 2 is a configuration diagram showing a first feature value calculation unit 12 of the occupant state estimation device 2 according to the first embodiment.
  • FIG. 2 is a configuration diagram showing a second feature amount calculation unit 13 of the occupant state estimation device 2 according to the first embodiment.
  • 2 is a flowchart showing an occupant condition estimation method which is a processing procedure of the occupant condition estimation device 2.
  • FIG. FIG. 2 is a hardware configuration diagram showing the hardware of the occupant state estimation device 2 according to the first embodiment.
  • FIG. 2 is a hardware configuration diagram of a computer when the occupant state estimation device 2 is implemented by software, firmware, or the like.
  • FIG. 2 is
  • FIG. 3 is an explanatory diagram showing a straight-line distance L n, m from a face reference point C n to a part constituent point K n, m; It is an explanatory diagram showing an example of three-dimensional model MD cus after customization.
  • FIG. 2 is a configuration diagram showing an occupant state estimation device 2 according to a second embodiment.
  • FIG. 2 is a hardware configuration diagram showing hardware of an occupant state estimation device 2 according to a second embodiment.
  • FIG. 1 is a configuration diagram showing an occupant state estimation device 2 according to the first embodiment.
  • FIG. 2 is a hardware configuration diagram showing the hardware of the occupant state estimation device 2 according to the first embodiment.
  • a camera 1 repeatedly photographs the inside of a vehicle, and repeatedly outputs video data representing an interior video, which is a video of the interior of the vehicle, to an occupant state estimation device 2.
  • the in-vehicle video may be a still image or a moving image.
  • the occupant state estimation device 2 includes an in-vehicle image acquisition section 11, a first feature amount calculation section 12, a second feature amount calculation section 13, a difference calculation section 14, a recalculation instruction section 15, and an occupant state detection section 16.
  • the occupant condition estimation device 2 shown in FIG. 1 detects changes in the facial expressions of occupants riding in a vehicle.
  • the passenger riding the vehicle may be the driver of the vehicle, a passenger sitting in the front passenger seat, or a passenger sitting in the rear seat.
  • the in-vehicle image acquisition unit 11 is realized, for example, by an in-vehicle image acquisition circuit 21 shown in FIG.
  • the in-vehicle video acquisition unit 11 acquires video data representing in-vehicle video from the camera 1.
  • the in-vehicle video acquisition section 11 outputs video data representing the in-vehicle video to the first feature amount calculation section 12 .
  • the in-vehicle video acquisition unit 11 acquires video data showing the in-vehicle video captured by the camera 1 after the reference feature amount has been calculated by the first feature amount calculation unit 12, and converts the video data into a second feature. It is output to the quantity calculation section 13.
  • the first feature amount calculation unit 12 is realized, for example, by the first feature amount calculation circuit 22 shown in FIG.
  • the first feature value calculation unit 12 acquires video data representing an in-vehicle video from the in-vehicle video acquisition unit 11 .
  • the first feature amount calculation unit 12 calculates, as a reference feature amount, the feature amount of the face of the occupant riding in the vehicle, which is shown in the in-vehicle video indicated by the video data.
  • the first feature quantity calculation unit 12 outputs the reference feature quantity to the difference calculation unit 14.
  • the second feature amount calculation unit 13 is realized, for example, by the second feature amount calculation circuit 23 shown in FIG. After the reference feature amount is calculated by the first feature amount calculation section 12, the second feature amount calculation section 13 calculates each of the plurality of in-vehicle images acquired by the in-vehicle image acquisition section 11 and taken at different times. Calculate the facial features of the passenger in the image. The second feature amount calculation unit 13 outputs the feature amount to the difference calculation unit 14.
  • the difference calculation unit 14 is realized, for example, by a difference calculation circuit 24 shown in FIG. 2.
  • the difference calculation unit 14 calculates the difference between the reference feature calculated by the first feature calculation unit 12 and each feature calculated by the second feature calculation unit 13.
  • the difference calculation section 14 outputs the respective differences to the recalculation instruction section 15 and the occupant state detection section 16, respectively.
  • the recalculation instruction unit 15 is realized, for example, by the recalculation instruction circuit 25 shown in FIG.
  • the recalculation instruction unit 15 selects a plurality of differences calculated within the FCP for a certain period after the reference feature quantity is calculated by the first feature quantity calculation unit 12, among the plurality of differences calculated by the difference calculation unit 14. get.
  • the fixed period FCP is a fixed period after a certain period of time has elapsed since the first feature amount calculation unit 12 calculated the reference feature amount. For example, if the time when the reference feature amount is calculated is T 0 and the constant time is t con , the start time of FCP for the constant period is T 0 +t con .
  • the fixed period FCP is not limited to a fixed period, and the time zone of the fixed period FCP may change.
  • the start time of FCP for a certain period is T 0 +t con + ⁇ t
  • the end time of FCP for a certain period is T 0 +t con +t FC + ⁇ t.
  • t FC + ⁇ t is the time length of FCP for a certain period of time
  • ⁇ t is a change time of FCP for a certain period of time.
  • the recalculation instruction unit 15 instructs the recalculation of the reference feature amount to be performed for the first time if the proportion of differences that are equal to or greater than the first threshold is equal to or greater than the second threshold among the plurality of differences computed within the FCP for a certain period of time. 1 to the feature amount calculation unit 12.
  • Each of the first threshold value and the second threshold value may be stored in the internal memory of the recalculation instruction unit 15, or may be given from outside the occupant state estimation device.
  • the occupant condition detection section 16 is realized, for example, by an occupant condition detection circuit 26 shown in FIG. 2. If there is no recalculation instruction from the recalculation instruction section 15 to the first feature value calculation section 12, the occupant state detection section 16 determines the state of the occupant based on the respective differences calculated by the difference calculation section 14. To detect.
  • the occupant state estimation device 2 includes an in-vehicle image acquisition section 11, a first feature amount calculation section 12, a second feature amount calculation section 13, a difference calculation section 14, a recalculation instruction section 15, and an occupant state estimation device 2. It is assumed that each of the state detection units 16 is realized by dedicated hardware as shown in FIG. That is, the occupant state estimation device 2 uses the in-vehicle image acquisition circuit 21 , the first feature amount calculation circuit 22 , the second feature amount calculation circuit 23 , the difference calculation circuit 24 , the recalculation instruction circuit 25 , and the occupant state detection circuit 26 . We envision what will come true.
  • Each of the in-vehicle image acquisition circuit 21, the first feature amount calculation circuit 22, the second feature amount calculation circuit 23, the difference calculation circuit 24, the recalculation instruction circuit 25, and the occupant state detection circuit 26 is, for example, a single circuit, This includes a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the components of the occupant state estimation device 2 are not limited to those realized by dedicated hardware, and the occupant state estimation device 2 may be realized by software, firmware, or a combination of software and firmware. There may be.
  • Software or firmware is stored in a computer's memory as a program.
  • a computer means hardware that executes a program, and includes, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor). do.
  • FIG. 3 is a hardware configuration diagram of a computer when the occupant state estimation device 2 is implemented by software, firmware, or the like.
  • the in-vehicle image acquisition section 11, the first feature amount calculation section 12, the second feature amount calculation section 13, the difference calculation section 14, and the recalculation instruction section A program for causing a computer to execute the respective processing procedures in the passenger condition detecting section 15 and the occupant condition detecting section 16 is stored in the memory 31. Then, the processor 32 of the computer executes the program stored in the memory 31.
  • FIG. 2 shows an example in which each of the constituent elements of the occupant condition estimation device 2 is realized by dedicated hardware
  • FIG. 3 shows an example in which the occupant condition estimation device 2 is realized by software, firmware, etc. ing.
  • this is just an example, and some of the components in the occupant state estimation device 2 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • FIG. 4 is a configuration diagram showing the first feature amount calculation unit 12 of the occupant state estimation device 2 according to the first embodiment.
  • the first feature calculation section 12 shown in FIG. 4 includes a straight-line distance calculation section 41, a model adjustment section 42, and a feature calculation processing section 43.
  • the straight-line distance calculation section 41 acquires video data from the in-vehicle video acquisition section 11 .
  • the straight-line distance calculation unit 41 calculates straight-line distances from a reference point of the passenger's face shown in the in-vehicle image indicated by the video data to a plurality of part constituent points included in the passenger's facial parts.
  • the model adjustment unit 42 includes a three-dimensional model MD of a general face.
  • the model adjustment unit 42 customizes the three-dimensional model MD into a three-dimensional model representing the face of the passenger by fitting each straight-line distance calculated by the straight-line distance calculation unit 41 to the three-dimensional model MD.
  • the feature quantity calculation processing unit 43 calculates the feature quantity of the passenger's face as a reference feature quantity based on the three-dimensional model customized by the model adjustment unit 42 .
  • FIG. 5 is a configuration diagram showing the second feature value calculation unit 13 of the occupant state estimation device 2 according to the first embodiment.
  • the second feature calculation unit 13 shown in FIG. 5 includes a straight-line distance calculation unit 51, a model adjustment unit 52, and a feature calculation processing unit 53.
  • the straight-line distance calculation unit 51 acquires video data each time the in-vehicle video acquisition unit 11 acquires the video data after the first feature calculation unit 12 calculates the reference feature amount.
  • the straight-line distance calculation unit 51 calculates straight-line distances from a reference point of the passenger's face shown in the in-vehicle image indicated by the video data to a plurality of part constituent points included in the passenger's facial parts.
  • the model adjustment unit 52 includes a three-dimensional model MD of a general face.
  • the model adjustment unit 52 customizes the three-dimensional model MD into a three-dimensional model representing the face of the passenger by fitting each straight-line distance calculated by the straight-line distance calculation unit 51 to the three-dimensional model MD.
  • the feature amount calculation processing unit 53 calculates the feature amount of the passenger's face based on the three-dimensional model customized by the model adjustment unit 52.
  • facial expressions can be used as indicators of the occupant's condition.
  • Facial expressions include, for example, a serious expression, a smiling expression, a crying expression, or an angry expression.
  • the expression on a straight face is the expression when the person is expressionless.
  • the time for a straight face expression to appear is longer than the time for a smiling expression, a crying expression, or an angry expression to appear. Therefore, for example, over a certain period of time, such as several minutes, it is assumed that the rate at which a straight face appears is greater than the rate at which a smiling expression, a crying expression, or an angry expression appears. If the occupant has many opportunities to laugh during a certain period of time, the proportion of straight facial expressions will decrease. However, even in that case, it is assumed that the proportion of straight facial expressions appearing will be greater than the proportion of smiling expressions appearing.
  • FIG. 6 is a flowchart showing an occupant condition estimation method, which is a processing procedure of the occupant condition estimation device 2.
  • the occupant condition detection unit 16 detects the condition of the driver among the occupants riding in the vehicle.
  • this is just an example, and the state of the passenger sitting in the front passenger seat or the passenger sitting in the rear seat among the passengers riding in the vehicle may be detected.
  • the camera 1 and the occupant state estimation device 2 are activated. After being activated, the camera 1 repeatedly takes pictures of the interior of the vehicle.
  • the camera 1 repeatedly outputs video data representing an in-vehicle video, which is a video of the inside of the vehicle, to the occupant state estimation device 2 .
  • the facial expression during the initial period is not necessarily a straight-faced expression, but may be a smiling expression, a crying expression, an angry expression, or the like.
  • the initial period is, for example, a period from when the ignition switch is turned on until the vehicle starts running, or a period of several seconds after the ignition switch is turned on.
  • the initial period is, for example, a period shorter than the fixed period FCP.
  • the camera 1 photographs the inside of the vehicle N times during the initial period when the ignition switch is turned on, and the video data P 1 to P N representing N interior images are collected. It is assumed that each of them is output to the occupant state estimation device 2.
  • N is an integer of 1 or more.
  • the in-vehicle video acquisition unit 11 acquires video data P 1 to P N representing N in-vehicle videos from the camera 1 (step ST1 in FIG. 6).
  • the in-vehicle video acquisition section 11 outputs N pieces of video data P 1 to P N to the first feature quantity calculation section 12 .
  • the first feature calculation unit 12 acquires N pieces of video data P 1 to P N from the in-vehicle video acquisition unit 11.
  • j 1, . . . , J, where J is an integer of 1 or more.
  • the first feature quantity calculation unit 12 outputs the reference feature quantity V j to the difference calculation unit 14 .
  • the calculation process of the reference feature value V j by the first feature value calculation unit 12 will be specifically described.
  • the straight line distance L n,m is, for example, a Euclidean distance.
  • the process of calculating the straight-line distance itself is a well-known technique, so a detailed explanation will be omitted.
  • FIG. 7 is an explanatory diagram showing the straight-line distance L n,m from the reference point C n of the face to the part constituent point K n, m .
  • the reference point C n of the face is the midpoint between the inner corner of the left eye and the inner corner of the right eye.
  • the number of part constituent points K n,m of the facial parts is 32.
  • the number of part constituent points K n,m is not limited to 32 points.
  • the facial parts are, for example, eyes, eyebrows, nose, mouth, or chin.
  • the process of customizing the three-dimensional model MD into the three-dimensional model MD cus by fitting the straight-line distance L n,m to the three-dimensional model MD is a well-known technique, so a detailed explanation will be omitted.
  • FIG. 8 is an explanatory diagram showing an example of the three-dimensional model MD cus after customization.
  • the black circle drawn on the upper left face and the black circle drawn on the lower right face each indicate a part constituent point.
  • the upper left face is a general face shown by the three-dimensional model MD
  • the lower right face is the driver's face shown by the customized three-dimensional model MD cus .
  • the feature value calculation processing unit 43 acquires the customized three-dimensional model MD cus from the model adjustment unit 42 .
  • Examples of the reference feature amount V j include the oblateness of the eyes or the angle of the corners of the mouth.
  • the flatness of the eye is the ratio of the maximum distance between the upper and lower eyelids to the distance between the inner and outer corners of the eye.
  • the distance between the inner corner and the outer corner of the eye is the distance between the inner corner and the outer corner of the eye in the three-dimensional model MD cus .
  • the first feature value calculation unit 12 calculates the reference feature value based on N vehicle interior images shot at different times.
  • the quantity V j is calculated.
  • the first feature amount calculation unit 12 may calculate the reference feature amount V j based on one in-vehicle video.
  • the camera 1 After the reference feature value V j is calculated by the first feature value calculation unit 12, the camera 1 repeatedly photographs the interior of the vehicle.
  • the camera 1 repeatedly outputs video data showing an in-vehicle video to the occupant state estimation device 2.
  • G is an integer of 2 or more.
  • the second feature quantity calculation unit 13 outputs the facial feature quantity V g,j to the difference calculation unit 14 .
  • the process of calculating the feature amount V g,j by the second feature amount calculation unit 13 will be specifically described.
  • the straight-line distance calculation unit 51 calculates M part constituent points K g, m included in the driver's facial parts from the reference point C g of the driver's face shown in the in-vehicle image indicated by the video data P g .
  • the reference point C g of the face corresponds to the reference point C n shown in FIG. 7, and the part constituent point K g,m corresponds to the part constituent point K n,m shown in FIG.
  • the straight-line distance L g,m corresponds to the straight-line distance L n,m shown in FIG. 7 .
  • Select M straight distances L g,m (m 1, 2, . . . , 32) related to P g .
  • Any one video data P g is one video data among G video data P 1 to P G.
  • the MD is customized into a three-dimensional model MD cus,g showing the driver's face.
  • the model adjustment unit 52 repeats the selection of M straight-line distances L g,m and the fitting of the straight-line distances L g,m to the 3-dimensional model MD G times. Models MD cus,1 to MD cus,G are generated.
  • the feature calculation processing unit 53 obtains G customized three-dimensional models MD cus,1 to MD cus,G from the model adjustment unit 52.
  • the driver's facial feature amount V g,j includes, for example, the flatness of the eyes or the angle of the corners of the mouth.
  • the difference calculation unit 14 calculates the difference ⁇ V g,j between the reference feature amount V j and the feature amount V g, j as shown in the following equation (1) (step ST5 in FIG. 6).
  • ⁇ V 1,j
  • ⁇ V 2,j
  • ⁇ V G,j
  • the difference calculation unit 14 recalculates G ⁇ J differences ⁇ V 1,1 ... ⁇ V 1,J , ⁇ V 2,1 ... ⁇ V 2,J , ⁇ V G,1 ... ⁇ V G,J It is output to each of the instruction section 15 and the occupant state detection section 16.
  • the recalculation instruction unit 15 selects G ⁇ J differences ⁇ V 1,1 ... ⁇ V 1,J , ⁇ V 2,1 ... ⁇ V 2,J , ⁇ V G,1 ... ⁇ V G,J , attention is paid to G differences ⁇ V 1,j to ⁇ V G,j for a certain j.
  • the recalculation instruction unit 15 compares each of the G differences ⁇ V 1,j to ⁇ V G,j with the first threshold V th1 , and calculates the difference among the G differences ⁇ V 1,j to ⁇ V G,j.
  • the reference feature amount V j calculated by the first feature amount calculation unit 12 is likely to be the feature amount of the driver's face when the facial expression is expressionless. However, there is a possibility that the reference feature amount V j calculated by the first feature amount calculation unit 12 is the feature amount of the driver's face when the facial expression is not expressionless.
  • the fixed period FCP after the reference feature amount V j is calculated by the first feature amount calculation unit 12 is a fixed period of several minutes, for example, the rate at which a straight-faced expression appears in the fixed period FCP It is assumed that R 0 is greater than the rate at which a smiling expression, a crying expression, or an angry expression appears. If the driver has many opportunities to laugh during the FCP for a certain period of time, the rate R0 of a straight facial expression will decrease. However, even in that case, it is assumed that the ratio R 0 where a straight face expression appears is greater than the ratio R 0 where a smiling expression appears.
  • the first feature quantity calculation unit 12 When the first feature quantity calculation unit 12 receives an instruction to recalculate the reference feature quantity V j from the recalculation instruction unit 15, the first feature quantity calculation unit 12 newly generates N pieces of video data P 1 to P N from the in-vehicle image acquisition unit 11.
  • the first feature quantity calculation unit 12 outputs the reference feature quantity V j to the difference calculation unit 14 .
  • step ST6 in FIG. 6: NO the recalculation instruction unit 15 determines that the reference feature value V j indicates that the facial expression is expressionless. It is determined that this is likely to be the feature amount of the driver's face at that time. Therefore, the recalculation instruction section 15 does not instruct the first feature amount calculation section 12 to recalculate the reference feature amount Vj . Thereafter, processes similar to those in steps ST3 to ST5 are repeated.
  • the condition detection threshold value may be stored in the internal memory of the occupant condition detection section 16 or may be given from outside the occupant condition estimation device 2.
  • the occupant condition detection unit 16 determines that the condition of the occupant has changed if the difference ⁇ V g,j is greater than or equal to the condition detection threshold. The occupant condition detection unit 16 determines that the condition of the occupant has not changed if the difference ⁇ V g,j is less than the condition detection threshold. In the occupant condition estimating device 2 shown in FIG. 1, if the difference ⁇ V g,j is equal to or greater than the condition detection threshold, the occupant condition detection unit 16 determines that the condition of the occupant is changing.
  • the occupant condition detection unit 16 detects that the condition of the occupant has changed. It may also be determined that there is.
  • each of the reference feature value V j calculated by the first feature value calculation unit 12 and the feature values V g,j calculated by the second feature value calculation unit 13 is, for example, the oblateness of the eye.
  • the reference feature amount V j is a correct reference feature amount determined by the recalculation instructing unit 15 to determine that any ratio R j is less than the second threshold value V th2 .
  • the occupant condition detection unit 16 can detect the driver's facial expression when the driver is drowsy, as the condition of the occupant.
  • the driver in a situation where the driver is not drowsy, the driver usually has his eyes wide open, so the oblateness of the eyes, which is the reference feature amount Vj , is large.
  • the driver in a situation where the driver is drowsy, the driver closes his eyes or squints his eyes, so the oblateness of the eyes, which is the feature amount V g,j, is small. Therefore, if each of the reference feature value V j and the feature value V g,j is the oblateness of the eyes, it is possible to detect the facial expression when the driver is drowsy as the passenger's condition. .
  • the occupant condition detection unit 16 detects the driving condition as the occupant condition. It is possible to detect whether the driver is looking away, the environment of the vehicle is changing, or the driver's physical condition is suddenly changing. Further, if the reference feature value V j is calculated based on an in-vehicle image taken when the driver's posture is not collapsed, the occupant condition detection unit 16 detects the driver's condition as the occupant condition. It is possible to detect a state where the driver's posture is collapsed, a state where the environment of the vehicle is changing, a state where the driver's physical condition is suddenly changing, etc.
  • the occupant state detection unit 16 can detect changes in the facial expressions of the occupant as the occupant's condition, it is possible to estimate the occupant's emotions. By outputting the detection result of the occupant's condition to, for example, the vehicle control device, the occupant condition detection unit 16 can not only issue a warning of drowsy driving but also execute emergency evacuation processing of the vehicle.
  • the in-vehicle image acquisition unit 11 acquires an in-vehicle image that is an image of the inside of the vehicle, and the in-vehicle image captured in the in-vehicle image acquired by the in-vehicle image acquisition unit 11 is used as a reference feature amount.
  • the reference feature amount is calculated by the first feature amount calculation section 12 that calculates the feature amount of the face of the driver in the vehicle, and the first feature amount calculation section 12, the in-vehicle image acquisition section 11 acquires the reference feature amount.
  • the occupant state estimation device 2 is configured to include a second feature amount calculation unit 13 that calculates the feature amount of the occupant's face shown in each of a plurality of in-vehicle images shot at different times.
  • the occupant state estimation device 2 also includes a difference calculation unit that calculates the difference between the reference feature calculated by the first feature calculation unit 12 and each feature calculated by the second feature calculation unit 13.
  • the first A recalculation instructing unit 15 is provided that instructs the first feature quantity calculating unit 12 to recalculate the reference feature quantity if the proportion of differences that are equal to or greater than one threshold value is equal to or greater than a second threshold value. Therefore, the occupant condition estimating device 2 can calculate a reference feature quantity that can prevent a decrease in the accuracy of estimating the occupant's condition.
  • the occupant state estimating device 2 shown in FIG. 1 is activated when the ignition switch is turned on, and the processing procedure shown in FIG. 6 is executed.
  • this is just an example, and even if the ignition switch is left on, for example, when it is detected that a door of the vehicle has been opened or that the driver has been replaced, as shown in FIG. A processing procedure may be executed.
  • the first feature value calculation unit 12 calculates M part constituent points K n included in the driver's facial parts from a reference point C n of the driver's face. , m are calculated , and the reference feature quantity V j is calculated using the respective straight line distances L n, m .
  • the first feature value calculation unit 12 may calculate the respective straight-line distances L n,m as the reference feature values.
  • the second feature amount calculation unit 13 may calculate the respective straight line distances L g, m as the feature amounts.
  • the first feature amount calculation section 12 calculates the The reference feature amount V j may be recalculated based on the in-vehicle image related to the difference that is greater than or equal to the first threshold value V th1 among the differences ⁇ V g, j .
  • the in-vehicle video related to the difference that is greater than or equal to the first threshold value V th1 is the in-vehicle video acquired by the in-vehicle video acquisition unit 11 within the FCP for a certain period of time. If the reference feature value V j previously calculated by the first feature value calculation unit 12 is calculated based on an in-vehicle video taken when the facial expression is not expressionless, the first feature value calculation unit 12 The in-vehicle video related to the difference that is equal to or greater than the threshold value V th1 is likely to be an in-vehicle video captured when the facial expression is expressionless.
  • Embodiment 2 an occupant condition estimation device 2 including a vehicle information acquisition section 17 that acquires vehicle information indicating the condition of the vehicle will be described.
  • FIG. 9 is a configuration diagram showing an occupant state estimation device 2 according to the second embodiment.
  • the same reference numerals as those in FIG. 1 indicate the same or corresponding parts, so the explanation will be omitted.
  • FIG. 10 is a hardware configuration diagram showing the hardware of the occupant state estimation device 2 according to the second embodiment.
  • the occupant state estimation device 2 includes a vehicle information acquisition section 17, an in-vehicle image acquisition section 11, a first feature amount calculation section 18, a second feature amount calculation section 13, a difference calculation section 14, a recalculation instruction section 15, and an occupant state estimation unit 17.
  • a detection section 16 is provided.
  • the occupant state estimation device 2 detects changes in the facial expressions of the driver among the occupants riding in the vehicle.
  • this is just an example, and the occupant state estimation device 2 detects changes in the facial expressions of the occupant sitting in the front passenger seat or the occupant sitting in the rear seat among the occupants riding in the vehicle. It may be something.
  • the vehicle information acquisition unit 17 is realized, for example, by a vehicle information acquisition circuit 27 shown in FIG.
  • the vehicle information acquisition unit 17 acquires vehicle information indicating the state of the vehicle, for example, from a control circuit of the vehicle.
  • Vehicle information acquisition section 17 outputs vehicle information to first feature quantity calculation section 18 .
  • the first feature amount calculation unit 18 is realized, for example, by a first feature amount calculation circuit 28 shown in FIG.
  • the first feature quantity calculation unit 18 acquires vehicle information from the vehicle information acquisition unit 17.
  • the first feature value calculation unit 18 acquires the video data acquired by the in-vehicle video acquisition unit 11 when the state of the vehicle indicated by the vehicle information acquired by the vehicle information acquisition unit 17 is a certain state.
  • the first feature amount calculation unit 18 calculates, as a reference feature amount, the feature amount of the driver's face shown in the in-vehicle video indicated by the acquired video data.
  • the first feature quantity calculation unit 18 outputs the reference feature quantity to the difference calculation unit 14.
  • Each of the vehicle information acquisition circuit 27, the in-vehicle image acquisition circuit 21, the first feature amount calculation circuit 28, the second feature amount calculation circuit 23, the difference calculation circuit 24, the recalculation instruction circuit 25, and the occupant state detection circuit 26, For example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
  • the components of the occupant state estimation device 2 are not limited to those realized by dedicated hardware, and the occupant state estimation device 2 may be realized by software, firmware, or a combination of software and firmware. There may be.
  • a program for causing a computer to execute the respective processing procedures in the recalculation instruction section 15 and the occupant state detection section 16 is stored in the memory 31 shown in FIG. Then, the processor 32 shown in FIG. 3 executes the program stored in the memory 31.
  • FIG. 10 shows an example in which each of the components of the occupant condition estimation device 2 is realized by dedicated hardware
  • FIG. 3 shows an example in which the occupant condition estimation device 2 is realized by software, firmware, etc. ing.
  • this is just an example, and some of the components in the occupant state estimation device 2 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • the vehicle information acquisition unit 17 acquires vehicle information indicating the state of the vehicle, for example, from a control circuit of the vehicle.
  • the vehicle information includes, for example, information indicating the shift of the vehicle, information indicating the speed of the vehicle, or information indicating the steering angle of the vehicle.
  • Vehicle information acquisition section 17 outputs vehicle information to first feature quantity calculation section 18 .
  • the first feature quantity calculation unit 18 acquires vehicle information from the vehicle information acquisition unit 17. For example, the first feature amount calculation unit 18 calculates N pieces of video data P 1 to P N representing in-vehicle video captured by the camera 1 when the vehicle state indicated by the vehicle information is a certain state. The image is acquired from the in-vehicle image acquisition unit 11.
  • the first feature amount calculation unit 18 calculates, for example, that the vehicle state indicated by the vehicle information is a drive shift state, a state where the speed of the vehicle is equal to or higher than a third threshold value, or a state where the vehicle state is
  • N pieces of video data P 1 to P N representing in-vehicle images captured by the camera 1 are acquired from the in-vehicle image acquisition unit 11.
  • Each of the third threshold value and the fourth threshold value may be stored in the internal memory of the first feature value calculation unit 18, or may be provided from outside the occupant state estimation device 2.
  • the first feature quantity calculation unit 18, similar to the first feature quantity calculation unit 12 shown in FIG. a reference feature quantity V j is calculated.
  • the vehicle state indicated by the vehicle information is a state in which the vehicle shift is a drive shift, a state in which the speed of the vehicle is greater than the third threshold value, or a state in which the steering angle of the vehicle is within the fourth threshold value.
  • the vehicle state indicated by the vehicle information is a state in which the vehicle is shifted to a drive shift, a state in which the speed of the vehicle is greater than or equal to the third threshold, or a state in which the steering angle of the vehicle is within the fourth threshold.
  • the driver's facial expression is a straight-faced expression.
  • the occupant condition estimation device 2 shown in FIG. 9 is configured to include the vehicle information acquisition section 17 that acquires vehicle information indicating the condition of the vehicle.
  • the first feature value calculation unit 18 of the occupant state estimation device 2 shown in FIG. The in-vehicle image obtained by the unit 11 is acquired, and the feature amount of the passenger's face shown in the in-vehicle image is calculated as the reference feature amount. Therefore, the occupant state estimating device 2 shown in FIG. 9 uses the standard feature based on the in-vehicle video taken when the driver's facial expression is a straight-faced expression, rather than the occupant state estimating device 2 shown in FIG. 1. It is possible to increase the possibility that the amount can be calculated.
  • the present disclosure is suitable for an occupant state estimation device and an occupant state estimation method.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

車両の内部の映像である車内映像を取得する車内映像取得部（１１）と、基準特徴量として、車内映像取得部（１１）により取得された車内映像に映っている、車両に乗車している乗員の顔の特徴量を算出する第１の特徴量算出部（１２）と、第１の特徴量算出部（１２）により基準特徴量が算出された後に、車内映像取得部（１１）により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている乗員の顔の特徴量を算出する第２の特徴量算出部（１３）とを備えるように、乗員状態推定装置（２）を構成した。また、乗員状態推定装置（２）は、第１の特徴量算出部（１２）により算出された基準特徴量と第２の特徴量算出部（１３）により算出されたそれぞれの特徴量との差分を算出する差分算出部（１４）と、差分算出部（１４）により算出された複数の差分のうち、第１の特徴量算出部（１２）により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、基準特徴量の再算出を第１の特徴量算出部（１２）に指示する再算出指示部（１５）とを備えている。

Description

乗員状態推定装置及び乗員状態推定方法
　本開示は、乗員状態推定装置及び乗員状態推定方法に関するものである。
　撮影画像に映っている人物の顔を検出し、顔の表情を判定する表情判定装置がある（例えば、特許文献１を参照）。
　当該表情判定装置は、抽出手段及び表情判定手段を備えている。当該抽出手段は、撮影画像に映っている人物の顔を検出し、顔の特徴量を抽出する。当該表情判定手段は、抽出手段により抽出された特徴量と予め記憶された基準特徴量との差分に基づいて、顔の表情が所定の表情であるか否かを判定する。所定の表情としては、例えば、笑顔の表情、又は、怒り顔の表情がある。
　当該表情判定装置では、基準特徴量が、顔の表情が無表情である人物の顔の特徴量であることを前提としている。当該表情判定装置では、人物の顔の表情が無表情であるときの画像の撮影を可能にするために、制御回路が、無表情の顔を撮影する旨を示すガイダンスを表示部に表示させることで、表情判定対象の人物に対して、顔の表情が無表情になるように促している。
特開２０１０－１１７９４８号公報
　特許文献１に開示されている表情判定装置では、制御回路が、無表情の顔を撮影する旨を示すガイダンスを表示部に表示させているものの、当該ガイダンスが表示されるだけでは、無表情の顔が撮影されるとは限らない。基準特徴量が、顔の表情が無表情ではない人物の顔の特徴量に基づいて算出された場合には、基準特徴量を用いた乗員の状態推定結果に誤りが生じ、乗員の状態推定の精度が低下することがあるという課題があった。
　本開示は、上記のような課題を解決するためになされたもので、乗員の状態推定精度の低下を防ぐことが可能な基準特徴量を算出することができる乗員状態推定装置及び乗員状態推定方法を得ることを目的とする。
　本開示に係る乗員状態推定装置は、車両の内部の映像である車内映像を取得する車内映像取得部と、基準特徴量として、車内映像取得部により取得された車内映像に映っている、車両に乗車している乗員の顔の特徴量を算出する第１の特徴量算出部と、第１の特徴量算出部により基準特徴量が算出された後に、車内映像取得部により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている乗員の顔の特徴量を算出する第２の特徴量算出部とを備えている。また、乗員状態推定装置は、第１の特徴量算出部により算出された基準特徴量と第２の特徴量算出部により算出されたそれぞれの特徴量との差分を算出する差分算出部と、差分算出部により算出された複数の差分のうち、第１の特徴量算出部により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、基準特徴量の再算出を第１の特徴量算出部に指示する再算出指示部とを備えている。
　本開示によれば、乗員の状態推定精度の低下を防ぐことが可能な基準特徴量を算出することができる。
実施の形態１に係る乗員状態推定装置２を示す構成図である。 実施の形態１に係る乗員状態推定装置２のハードウェアを示すハードウェア構成図である。 乗員状態推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 実施の形態１に係る乗員状態推定装置２の第１の特徴量算出部１２を示す構成図である。 実施の形態１に係る乗員状態推定装置２の第２の特徴量算出部１３を示す構成図である。 乗員状態推定装置２の処理手順である乗員状態推定方法を示すフローチャートである。 顔の基準点Ｃｎからパーツ構成点Ｋｎ，ｍまでの直線距離Ｌｎ，ｍを示す説明図である。 カスタマイズ後の３次元モデルＭＤｃｕｓの一例を示す説明図である。 実施の形態２に係る乗員状態推定装置２を示す構成図である。 実施の形態２に係る乗員状態推定装置２のハードウェアを示すハードウェア構成図である。
　以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る乗員状態推定装置２を示す構成図である。
　図２は、実施の形態１に係る乗員状態推定装置２のハードウェアを示すハードウェア構成図である。
　図１において、カメラ１は、車両の内部を繰り返し撮影し、車両の内部の映像である車内映像を示す映像データを乗員状態推定装置２に繰り返し出力する。なお、車内映像は、静止画であってもよいし、動画であってもよい。
　乗員状態推定装置２は、車内映像取得部１１、第１の特徴量算出部１２、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６を備えている。
　図１に示す乗員状態推定装置２は、車両に乗車している乗員の顔の表情の変化を検出する。車両に乗車している乗員は、車両の運転者であってもよいし、助手席に座っている乗員であってもよいし、後部座席に座っている乗員であってもよい。
　車内映像取得部１１は、例えば、図２に示す車内映像取得回路２１によって実現される。
　車内映像取得部１１は、カメラ１から、車内映像を示す映像データを取得する。
　車内映像取得部１１は、車内映像を示す映像データを第１の特徴量算出部１２に出力する。
　また、車内映像取得部１１は、第１の特徴量算出部１２により基準特徴量が算出された後に、カメラ１により撮影された車内映像を示す映像データを取得し、映像データを第２の特徴量算出部１３に出力する。
　第１の特徴量算出部１２は、例えば、図２に示す第１の特徴量算出回路２２によって実現される。
　第１の特徴量算出部１２は、車内映像取得部１１から、車内映像を示す映像データを取得する。
　第１の特徴量算出部１２は、基準特徴量として、映像データが示す車内映像に映っている、車両に乗車している乗員の顔の特徴量を算出する。
　第１の特徴量算出部１２は、基準特徴量を差分算出部１４に出力する。
　第２の特徴量算出部１３は、例えば、図２に示す第２の特徴量算出回路２３によって実現される。
　第２の特徴量算出部１３は、第１の特徴量算出部１２により基準特徴量が算出された後に、車内映像取得部１１により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている乗員の顔の特徴量を算出する。
　第２の特徴量算出部１３は、特徴量を差分算出部１４に出力する。
　差分算出部１４は、例えば、図２に示す差分算出回路２４によって実現される。
　差分算出部１４は、第１の特徴量算出部１２により算出された基準特徴量と第２の特徴量算出部１３により算出されたそれぞれの特徴量との差分を算出する。
　差分算出部１４は、それぞれの差分を再算出指示部１５及び乗員状態検出部１６のそれぞれに出力する。
　再算出指示部１５は、例えば、図２に示す再算出指示回路２５によって実現される。
　再算出指示部１５は、差分算出部１４により算出された複数の差分のうち、第１の特徴量算出部１２により基準特徴量が算出された後の一定期間ＦＣＰ内に算出された複数の差分を取得する。
　図１に示す乗員状態推定装置２では、一定期間ＦＣＰは、第１の特徴量算出部１２により基準特徴量が算出されてから、一定の時間が経過した後の固定期間である。例えば、基準特徴量が算出された時刻がＴ０であり、一定の時間がｔｃｏｎであれば、一定期間ＦＣＰの開始時刻は、Ｔ０＋ｔｃｏｎである。また、一定期間ＦＣＰの時間長がｔＦＣであれば、一定期間ＦＣＰの終了時刻は、Ｔ０＋ｔｃｏｎ＋ｔＦＣである。しかしながら、一定期間ＦＣＰは、固定の期間であるものに限るものではなく、一定期間ＦＣＰの時間帯が変化するものであってもよい。一定期間ＦＣＰの時間帯が変化する場合、一定期間ＦＣＰの開始時刻は、Ｔ０＋ｔｃｏｎ＋Δｔであり、一定期間ＦＣＰの終了時刻は、Ｔ０＋ｔｃｏｎ＋ｔＦＣ＋Δｔである。ｔＦＣ＋Δｔは、一定期間ＦＣＰの時間長であり、Δｔは、一定期間ＦＣＰの変化時間である。
　再算出指示部１５は、一定期間ＦＣＰ内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、基準特徴量の再算出を第１の特徴量算出部１２に指示する。第１の閾値及び第２の閾値のそれぞれは、再算出指示部１５の内部メモリに格納されていてもよいし、乗員状態推定装置の外部から与えられるものであってもよい。
　乗員状態検出部１６は、例えば、図２に示す乗員状態検出回路２６によって実現される。
　乗員状態検出部１６は、再算出指示部１５から第１の特徴量算出部１２への再算出の指示がなければ、差分算出部１４により算出されたそれぞれの差分に基づいて、乗員の状態を検出する。
　図１では、乗員状態推定装置２の構成要素である車内映像取得部１１、第１の特徴量算出部１２、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６のそれぞれが、図２に示すような専用のハードウェアによって実現されるものを想定している。即ち、乗員状態推定装置２が、車内映像取得回路２１、第１の特徴量算出回路２２、第２の特徴量算出回路２３、差分算出回路２４、再算出指示回路２５及び乗員状態検出回路２６によって実現されるものを想定している。
　車内映像取得回路２１、第１の特徴量算出回路２２、第２の特徴量算出回路２３、差分算出回路２４、再算出指示回路２５及び乗員状態検出回路２６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
　乗員状態推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、乗員状態推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）が該当する。
　図３は、乗員状態推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
　乗員状態推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、車内映像取得部１１、第１の特徴量算出部１２、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ３１に格納される。そして、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行する。
　また、図２では、乗員状態推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、乗員状態推定装置２がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、乗員状態推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　図４は、実施の形態１に係る乗員状態推定装置２の第１の特徴量算出部１２を示す構成図である。
　図４に示す第１の特徴量算出部１２は、直線距離算出部４１、モデル調整部４２及び特徴量算出処理部４３を備えている。
　直線距離算出部４１は、車内映像取得部１１から、映像データを取得する。
　直線距離算出部４１は、映像データが示す車内映像に映っている乗員の顔の基準点から、乗員の顔パーツに含まれている複数のパーツ構成点までの直線距離をそれぞれ算出する。
　モデル調整部４２は、一般的な顔の３次元モデルＭＤを備えている。
　モデル調整部４２は、直線距離算出部４１により算出されたそれぞれの直線距離を３次元モデルＭＤにフィッティングすることで、３次元モデルＭＤを乗員の顔を示す３次元モデルにカスタマイズする。
　特徴量算出処理部４３は、モデル調整部４２によるカスタマイズ後の３次元モデルに基づいて、基準特徴量として、乗員の顔の特徴量を算出する。
　図５は、実施の形態１に係る乗員状態推定装置２の第２の特徴量算出部１３を示す構成図である。
　図５に示す第２の特徴量算出部１３は、直線距離算出部５１、モデル調整部５２及び特徴量算出処理部５３を備えている。
　直線距離算出部５１は、第１の特徴量算出部１２により基準特徴量が算出された後に、車内映像取得部１１により映像データが取得される毎に、当該映像データを取得する。
　直線距離算出部５１は、映像データが示す車内映像に映っている乗員の顔の基準点から、乗員の顔パーツに含まれている複数のパーツ構成点までの直線距離をそれぞれ算出する。
　モデル調整部５２は、一般的な顔の３次元モデルＭＤを備えている。
　モデル調整部５２は、直線距離算出部５１により算出されたそれぞれの直線距離を３次元モデルＭＤにフィッティングすることで、３次元モデルＭＤを乗員の顔を示す３次元モデルにカスタマイズする。
　特徴量算出処理部５３は、モデル調整部５２によるカスタマイズ後の３次元モデルに基づいて、乗員の顔の特徴量を算出する。
　乗員の状態を示すものとして、例えば、顔の表情がある。顔の表情としては、例えば、真顔の表情、笑顔の表情、泣顔の表情、又は、怒り顔の表情がある。真顔の表情は、無表情であるときの表情である。
　一般的に、真顔の表情が現れる時間は、笑顔の表情、泣顔の表情、又は、怒り顔の表情が現れる時間よりも長いことが知られている。したがって、例えば、数分単位の一定期間では、真顔の表情が現れる割合は、笑顔の表情、泣顔の表情、又は、怒り顔の表情が現れる割合よりも大きくなることが想定される。乗員が、一定期間において、笑う機会が多い場合、真顔の表情が現れる割合が減少する。しかし、その場合でも、真顔の表情が現れる割合は、笑顔の表情が現れる割合よりも大きくなることが想定される。
　次に、図１に示す乗員状態推定装置２の動作について説明する。
　図６は、乗員状態推定装置２の処理手順である乗員状態推定方法を示すフローチャートである。
　図１に示す乗員状態推定装置２では、乗員状態検出部１６が、車両に乗車している乗員のうち、運転者の状態を検出するものとする。しかし、これは一例に過ぎず、車両に乗車している乗員のうち、助手席に座っている乗員、又は、後部座席に座っている乗員の状態を検出するものであってもよい。
　運転者は、車両に乗車して、車両の運転を開始する際に、イグニッションスイッチをオンにする。イグニッションスイッチがオンになることで、カメラ１及び乗員状態推定装置２のそれぞれが起動する。
　カメラ１は、起動後に、車両の内部の撮影を繰り返し行う。
　カメラ１は、車両の内部の映像である車内映像を示す映像データを乗員状態推定装置２に繰り返し出力する。
　イグニッションスイッチがオンになった当初の期間中は、一般的に、運転者の顔の表情が、真顔の表情である確率が高い。ただし、当初の期間中の顔の表情は、真顔の表情であるとは限らず、笑顔の表情、泣顔の表情、又は、怒り顔の表情等であることもある。当初の期間は、例えば、イグニッションスイッチがオンになってから、車両の走行が開始されるまでの期間、あるいは、イグニッションスイッチがオンになってから、数秒の期間である。当初の期間は、例えば、一定期間ＦＣＰよりも短い期間である。
　図１に示す乗員状態推定装置２では、イグニッションスイッチがオンになった当初の期間中、カメラ１が車両の内部をＮ回撮影し、Ｎ個の車内映像を示す映像データＰ１～ＰＮのそれぞれを乗員状態推定装置２に出力するものとする。Ｎは、１以上の整数である。
　車内映像取得部１１は、カメラ１から、Ｎ個の車内映像を示す映像データＰ１～ＰＮを取得する（図６のステップＳＴ１）。
　車内映像取得部１１は、Ｎ個の映像データＰ１～ＰＮを第１の特徴量算出部１２に出力する。
　第１の特徴量算出部１２は、車内映像取得部１１から、Ｎ個の映像データＰ１～ＰＮを取得する。
　第１の特徴量算出部１２は、基準特徴量Ｖｊとして、映像データＰｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に映っている運転者の顔の特徴量を算出する（図６のステップＳＴ２）。ｊ＝１，・・・，Ｊであり、Ｊは、１以上の整数である。
　第１の特徴量算出部１２は、基準特徴量Ｖｊを差分算出部１４に出力する。
　以下、第１の特徴量算出部１２による基準特徴量Ｖｊの算出処理を具体的に説明する。
　直線距離算出部４１は、映像データＰｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に映っている運転者の顔を検出する。運転者の顔を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
　直線距離算出部４１は、図７に示すように、映像データＰｎが示す車内映像に映っている運転者の顔の基準点Ｃｎから、運転者の顔パーツに含まれているＭ個のパーツ構成点Ｋｎ，ｍまでの直線距離Ｌｎ，ｍをそれぞれ算出する。Ｍは、２以上の整数である。直線距離Ｌｎ，ｍは、例えば、ユークリッド距離である。直線距離を算出する処理自体は、公知の技術であるため詳細な説明を省略する。
　図７は、顔の基準点Ｃｎからパーツ構成点Ｋｎ，ｍまでの直線距離Ｌｎ，ｍを示す説明図である。
　図７の例では、顔の基準点Ｃｎは、左目の目頭と右目の目頭との中間点である。また、図７の例では、顔パーツのパーツ構成点Ｋｎ，ｍの数は、３２点である。ただし、パーツ構成点Ｋｎ，ｍの数は、３２点に限るものではない。顔パーツは、例えば、目、眉毛、鼻、口、又は、顎である。
　モデル調整部４２は、直線距離算出部４１から、Ｎ×Ｍ個の直線距離Ｌｎ，ｍ（ｎ＝１，・・・，Ｎ：ｍ＝１，２，・・・，３２）を取得する。
　モデル調整部４２は、一般的な顔の３次元モデルＭＤに対して、Ｎ×Ｍ個の直線距離Ｌｎ，ｍ（ｎ＝１，・・・，Ｎ：ｍ＝１，２，・・・，３２）をフィッティングすることで、図８に示すように、３次元モデルＭＤを運転者の顔を示す３次元モデルＭＤｃｕｓにカスタマイズする。３次元モデルＭＤに対して直線距離Ｌｎ，ｍをフィッティングすることで、３次元モデルＭＤを３次元モデルＭＤｃｕｓにカスタマイズする処理自体は、公知の技術であるため詳細な説明を省略する。
　図８は、カスタマイズ後の３次元モデルＭＤｃｕｓの一例を示す説明図である。
　図８において、左上の顔に描かれている黒○及び右下の顔に描かれている○のそれぞれは、パーツ構成点を示している。
　左上の顔は、３次元モデルＭＤが示している一般的な顔であり、右下の顔は、カスタマイズ後の３次元モデルＭＤｃｕｓが示している運転者の顔である。
　特徴量算出処理部４３は、モデル調整部４２から、カスタマイズ後の３次元モデルＭＤｃｕｓを取得する。
　特徴量算出処理部４３は、カスタマイズ後の３次元モデルＭＤｃｕｓに基づいて、基準特徴量Ｖｊ（ｊ＝１，・・・，Ｊ）として、運転者の顔の特徴量を算出する。
　基準特徴量Ｖｊとしては、例えば、目の扁平率、又は、口角の角度がある。目の扁平率は、目頭と目尻との間の距離に対する、上瞼と下瞼との間の最大距離の比である。目頭と目尻との間の距離は、３次元モデルＭＤｃｕｓにおける目頭と目尻との間の距離である。上瞼と下瞼との間の最大距離は、３次元モデルＭＤｃｕｓにおける上瞼と下瞼との間の最大距離である。
　基準特徴量Ｖｊが、例えば、目の扁平率と口角の角度との２つであれば、Ｊ＝２である。また、基準特徴量Ｖｊが、例えば、目の扁平率の１つであれば、Ｊ＝１である。
　図１に示す乗員状態推定装置２では、基準特徴量Ｖｊの算出精度を高めるために、第１の特徴量算出部１２が、撮影時刻が互いに異なるＮ個の車内映像に基づいて、基準特徴量Ｖｊを算出している。しかし、これは一例に過ぎず、第１の特徴量算出部１２が、１つの車内映像に基づいて、基準特徴量Ｖｊを算出するものであってもよい。
　カメラ１は、第１の特徴量算出部１２により基準特徴量Ｖｊが算出された後、車両の内部の撮影を繰り返し行う。
　カメラ１は、車内映像を示す映像データを乗員状態推定装置２に繰り返し出力する。
　図１に示す乗員状態推定装置２では、第１の特徴量算出部１２により基準特徴量Ｖｊが算出された後の一定期間ＦＣＰ中に、カメラ１が車両の内部をＧ回撮影し、Ｇ個の車内映像を示す映像データＰ１～ＰＧのそれぞれを乗員状態推定装置２に出力するものとする。Ｇは、２以上の整数である。
　車内映像取得部１１は、第１の特徴量算出部１２により基準特徴量Ｖｊが算出された後、カメラ１が車内映像を撮影する毎に、カメラ１から、当該車内映像を示す映像データＰｇ（ｇ＝１，・・・，Ｇ）を取得する（図６のステップＳＴ３）。
　車内映像取得部１１は、映像データＰｇを第２の特徴量算出部１３に出力する。
　第２の特徴量算出部１３は、車内映像取得部１１から、映像データＰｇ（ｇ＝１，・・・，Ｇ）を取得する。
　第２の特徴量算出部１３は、映像データＰｇ（ｇ＝１，・・・，Ｇ）が示す車内映像に映っている運転者の顔の特徴量Ｖｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を算出する（図６のステップＳＴ４）。
　第２の特徴量算出部１３は、顔の特徴量Ｖｇ，ｊを差分算出部１４に出力する。
　以下、第２の特徴量算出部１３による特徴量Ｖｇ，ｊの算出処理を具体的に説明する。
　直線距離算出部５１は、映像データＰｇ（ｇ＝１，・・・，Ｇ）が示す車内映像に映っている運転者の顔を検出する。
　直線距離算出部５１は、映像データＰｇが示す車内映像に映っている運転者の顔の基準点Ｃｇから、運転者の顔パーツに含まれているＭ個のパーツ構成点Ｋｇ，ｍまでの直線距離Ｌｇ，ｍをそれぞれ算出する。顔の基準点Ｃｇは、図７に示す基準点Ｃｎに相当し、パーツ構成点Ｋｇ，ｍは、図７に示すパーツ構成点Ｋｎ，ｍに相当する。また、直線距離Ｌｇ，ｍは、図７に示す直線距離Ｌｎ，ｍに相当する。
　モデル調整部５２は、直線距離算出部５１から、Ｇ×Ｍ個の直線距離Ｌｇ，ｍ（ｇ＝１，・・・，Ｇ：ｍ＝１，２，・・・，３２）を取得する。
　モデル調整部５２は、Ｇ×Ｍ個の直線距離Ｌｇ，ｍ（ｇ＝１，・・・，Ｇ：ｍ＝１，２，・・・，３２）の中から、いずれか１つの映像データＰｇに係るＭ個の直線距離Ｌｇ，ｍ（ｍ＝１，２，・・・，３２）を選択する。いずれか１つの映像データＰｇは、Ｇ個の映像データＰ１～ＰＧの中の１つの映像データである。
　モデル調整部５２は、いずれか１つの映像データＰｇ（ｇ＝１，・・・，Ｇ）に係るＭ個の直線距離Ｌｇ，ｍを３次元モデルＭＤにフィッティングすることで、３次元モデルＭＤを運転者の顔を示す３次元モデルＭＤｃｕｓ，ｇにカスタマイズする。
　モデル調整部５２は、Ｍ個の直線距離Ｌｇ，ｍの選択と３次元モデルＭＤに対する直線距離Ｌｇ，ｍのフィッティングとをＧ回繰り返すことで、３次元モデルＭＤから、Ｇ個の３次元モデルＭＤｃｕｓ，１～ＭＤｃｕｓ，Ｇを生成する。
　特徴量算出処理部５３は、モデル調整部５２から、カスタマイズ後のＧ個の３次元モデルＭＤｃｕｓ，１～ＭＤｃｕｓ，Ｇを取得する。
　特徴量算出処理部４３は、それぞれの３次元モデルＭＤｃｕｓ，ｇ（ｇ＝１，・・・，Ｇ）に基づいて、運転者の顔の特徴量Ｖｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を算出する。
　運転者の顔の特徴量Ｖｇ，ｊとしては、例えば、目の扁平率、又は、口角の角度がある。
　差分算出部１４は、第１の特徴量算出部１２から、Ｊ個の基準特徴量Ｖｊ（ｊ＝１，・・・，Ｊ）を取得し、第２の特徴量算出部１３から、Ｇ×Ｊ個の特徴量Ｖｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を取得する。
　差分算出部１４は、以下の式（１）に示すように、基準特徴量Ｖｊと特徴量Ｖｇ，ｊとの差分ΔＶｇ，ｊを算出する（図６のステップＳＴ５）。
ΔＶ１，ｊ＝｜Ｖｊ－Ｖ１，ｊ｜
ΔＶ２，ｊ＝｜Ｖｊ－Ｖ２，ｊ｜
　　　　　　：　　　　　　（１）
ΔＶＧ，ｊ＝｜Ｖｊ－ＶＧ，ｊ｜
　差分算出部１４は、Ｇ×Ｊ個の差分ΔＶ１，１・・・ΔＶ１，Ｊ、ΔＶ２，１・・・ΔＶ２，Ｊ、ΔＶＧ，１・・・ΔＶＧ，Ｊを再算出指示部１５及び乗員状態検出部１６のそれぞれに出力する。
　再算出指示部１５は、差分算出部１４から、差分ΔＶｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を取得する。
　再算出指示部１５は、Ｇ×Ｊ個の差分ΔＶ１，１・・・ΔＶ１，Ｊ、ΔＶ２，１・・・ΔＶ２，Ｊ、ΔＶＧ，１・・・ΔＶＧ，Ｊのうち、或るｊについてのＧ個の差分ΔＶ１，ｊ～ΔＶＧ，ｊに着目する。
　再算出指示部１５は、Ｇ個の差分ΔＶ１，ｊ～ΔＶＧ，ｊのそれぞれと第１の閾値Ｖｔｈ１とを比較し、Ｇ個の差分ΔＶ１，ｊ～ΔＶＧ，ｊの中で、第１の閾値Ｖｔｈ１以上である差分の個数Ｃｊを計数する。
　再算出指示部１５は、以下の式（２）に示すように、Ｇ個の差分ΔＶ１，ｊ～ΔＶＧ，ｊの中で、第１の閾値Ｖｔｈ１以上である差分の割合Ｒｊを算出する。
Ｒｊ＝（Ｃｊ／Ｇ）×１００（２）
　再算出指示部１５は、それぞれのｊについての割合Ｒｊ（ｊ＝１，・・・，Ｊ）を算出する。
　イグニッションスイッチがオンになった当初の期間中は、一般的に、運転者の顔の表情が、真顔の表情である確率が高い。したがって、第１の特徴量算出部１２により算出された基準特徴量Ｖｊは、顔の表情が無表情であるときの運転者の顔の特徴量である可能性が高い。ただし、第１の特徴量算出部１２により算出された基準特徴量Ｖｊは、顔の表情が無表情ではないときの運転者の顔の特徴量である可能性はある。
　一方、第１の特徴量算出部１２により基準特徴量Ｖｊが算出された後の一定期間ＦＣＰが、例えば、数分単位の一定期間であれば、一定期間ＦＣＰにおいて、真顔の表情が現れる割合Ｒ０は、笑顔の表情、泣顔の表情、又は、怒り顔の表情が現れる割合よりも大きくなることが想定される。運転者が、一定期間ＦＣＰにおいて、笑う機会が多い場合、真顔の表情が現れる割合Ｒ０が減少する。しかし、その場合でも、真顔の表情が現れる割合Ｒ０は、笑顔の表情が現れる割合よりも大きくなることが想定される。
　したがって、例えば、第２の閾値Ｖｔｈ２が割合Ｒ０よりも大きな値である場合、第１の特徴量算出部１２により算出された基準特徴量Ｖｊが、顔の表情が無表情であるときの運転者の顔の特徴量であれば、再算出指示部１５により算出される割合Ｒｊ（ｊ＝１，・・・，Ｊ）は、第２の閾値Ｖｔｈ２未満になる。
　一方、第１の特徴量算出部１２により算出された基準特徴量Ｖｊが、顔の表情が無表情ではないときの運転者の顔の特徴量であれば、再算出指示部１５により算出される割合Ｒｊ（ｊ＝１，・・・，Ｊ）は、第２の閾値以上になる。
　再算出指示部１５は、Ｊ個の割合Ｒ１～ＲＪのうち、いずれかの割合Ｒｊが第２の閾値Ｖｔｈ２以上であれば（図６のステップＳＴ６：ＹＥＳの場合）、基準特徴量Ｖｊが、顔の表情が無表情ではないときの運転者の顔の特徴量である可能性が高いと判断する。このため、再算出指示部１５は、基準特徴量Ｖｊ（ｊ＝１，・・・，Ｊ）の再算出を第１の特徴量算出部１２に指示する（図６のステップＳＴ７）。
　第１の特徴量算出部１２は、再算出指示部１５から、基準特徴量Ｖｊの再算出の指示を受けると、車内映像取得部１１から、Ｎ個の映像データＰ１～ＰＮを新たに取得し、新たに取得した映像データＰｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に基づいて、基準特徴量Ｖｊを再算出する（図６のステップＳＴ１，ＳＴ２）。第１の特徴量算出部１２は、基準特徴量Ｖｊを差分算出部１４に出力する。
　再算出指示部１５は、いずれの割合Ｒｊも第２の閾値Ｖｔｈ２未満であれば（図６のステップＳＴ６：ＮＯの場合）、基準特徴量Ｖｊが、顔の表情が無表情であるときの運転者の顔の特徴量である可能性が高いと判断する。このため、再算出指示部１５は、基準特徴量Ｖｊの再算出を第１の特徴量算出部１２に指示しない。以降、ステップＳＴ３～ＳＴ５の処理と同様の処理が繰り返される。
　乗員状態検出部１６は、差分算出部１４から、差分ΔＶｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を取得する。
　乗員状態検出部１６は、再算出指示部１５から第１の特徴量算出部１２への再算出の指示がなく、基準特徴量Ｖｊが既に正しい値に設定されていれば、差分ΔＶｇ，ｊに基づいて、乗員の状態を検出する。
　即ち、乗員状態検出部１６は、差分ΔＶｇ，ｊと状態検出用閾値とを比較する。状態検出用閾値は、乗員状態検出部１６の内部メモリに格納されていてもよいし、乗員状態推定装置２の外部から与えられるものであってもよい。
　乗員状態検出部１６は、差分ΔＶｇ，ｊが状態検出用閾値以上であれば、乗員の状態が変化しているものと判断する。
　乗員状態検出部１６は、差分ΔＶｇ，ｊが状態検出用閾値未満であれば、乗員の状態が変化していないものと判断する。
　図１に示す乗員状態推定装置２では、差分ΔＶｇ，ｊが状態検出用閾値以上であれば、乗員状態検出部１６が、乗員の状態が変化しているものと判断している。しかし、これは一例に過ぎず、或るｊについての差分ΔＶｇ，ｊが状態検出用閾値以上である期間が所定時間以上であるとき、乗員状態検出部１６が、乗員の状態が変化しているものと判断するようにしてもよい。
　第１の特徴量算出部１２により算出される基準特徴量Ｖｊ及び第２の特徴量算出部１３により算出される特徴量Ｖｇ，ｊのそれぞれが、例えば、目の扁平率である場合を想定する。基準特徴量Ｖｊは、再算出指示部１５によって、いずれの割合Ｒｊも第２の閾値Ｖｔｈ２未満であると判断されることで確定した正しい基準特徴量である。
　このような場合、乗員状態検出部１６は、乗員の状態として、運転者が眠気を生じているときの表情を検出することが可能である。即ち、運転者が眠気を生じていない状況では、通常、運転者は、目を大きく開いているので、基準特徴量Ｖｊである目の扁平率は大きい。一方、運転者が眠気を生じている状況では、運転者は、目を閉じている、あるいは、目を細めているので、特徴量Ｖｇ，ｊである目の扁平率は小さい。したがって、基準特徴量Ｖｊ及び特徴量Ｖｇ，ｊのそれぞれが、目の扁平率であれば、乗員の状態として、運転者が眠気を生じているときの表情を検出することが可能である。
　また、基準特徴量Ｖｊが、運転者が車両の前方を向いているときに撮影された車内映像に基づいて算出されたものであれば、乗員状態検出部１６は、乗員の状態として、運転者のわき見をしている状態、車両の環境が変化している状態、又は、運転者の体調が急変している状態等を検出することが可能である。
　また、基準特徴量Ｖｊが、運転者の姿勢が崩れていないときに撮影された車内映像に基づいて算出されたものであれば、乗員状態検出部１６は、乗員の状態として、運転者の姿勢が崩れている状態、車両の環境が変化している状態、又は、運転者の体調が急変している状態等を検出することが可能である。
　また、乗員状態検出部１６は、乗員の状態として、乗員の表情の変化を検出することができるので、乗員の感情を推定することが可能である。
　乗員状態検出部１６が、乗員の状態の検出結果を、例えば、車両制御装置に出力することで、居眠り運転の警告を提示するだけでなく、車両の緊急退避処理を実行させることができる。
　以上の実施の形態１では、車両の内部の映像である車内映像を取得する車内映像取得部１１と、基準特徴量として、車内映像取得部１１により取得された車内映像に映っている、車両に乗車している運転者の顔の特徴量を算出する第１の特徴量算出部１２と、第１の特徴量算出部１２により基準特徴量が算出された後に、車内映像取得部１１により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている乗員の顔の特徴量を算出する第２の特徴量算出部１３とを備えるように、乗員状態推定装置２を構成した。また、乗員状態推定装置２は、第１の特徴量算出部１２により算出された基準特徴量と第２の特徴量算出部１３により算出されたそれぞれの特徴量との差分を算出する差分算出部１４と、差分算出部１４により算出された複数の差分のうち、第１の特徴量算出部１２により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、基準特徴量の再算出を第１の特徴量算出部１２に指示する再算出指示部１５とを備えている。したがって、乗員状態推定装置２は、乗員の状態推定精度の低下を防ぐことが可能な基準特徴量を算出することができる。
　図１に示す乗員状態推定装置２は、イグニッションスイッチがオンになることで起動し、図６に示す処理手順が実行されている。しかし、これは一例に過ぎず、イグニッションスイッチがオンのままでも、例えば、車両のドアがオープンされたことが検出、又は、運転者が交代されたことが検出されたときに、図６に示す処理手順が実行されるものであってもよい。
　図１に示す乗員状態推定装置２では、第１の特徴量算出部１２が、運転者の顔の基準点Ｃｎから、運転者の顔パーツに含まれているＭ個のパーツ構成点Ｋｎ，ｍまでの直線距離Ｌｎ，ｍをそれぞれ算出し、それぞれの直線距離Ｌｎ，ｍを用いて、基準特徴量Ｖｊを算出している。しかし、これは一例に過ぎず、例えば、第１の特徴量算出部１２が、基準特徴量として、それぞれの直線距離Ｌｎ，ｍを算出するようにしてもよい。
　また、図１に示す乗員状態推定装置２では、第２の特徴量算出部１３が、運転者の顔の基準点Ｃｇから、運転者の顔パーツに含まれているＭ個のパーツ構成点Ｋｇ，ｍまでの直線距離Ｌｇ，ｍをそれぞれ算出し、それぞれの直線距離Ｌｇ，ｍを用いて、特徴量Ｖｇ，ｊを算出している。しかし、これは一例に過ぎず、例えば、第２の特徴量算出部１３が、特徴量として、それぞれの直線距離Ｌｇ，ｍを算出するようにしてもよい。
　図１に示す乗員状態推定装置２では、第１の特徴量算出部１２が、再算出指示部１５から、基準特徴量Ｖｊの再算出の指示を受けると、車内映像取得部１１から、Ｎ個の映像データＰ１～ＰＮを新たに取得している。そして、第１の特徴量算出部１２が、新たに取得した映像データＰｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に基づいて、基準特徴量Ｖｊを再算出している。しかし、これは一例に過ぎず、第１の特徴量算出部１２は、再算出指示部１５から、基準特徴量Ｖｊの再算出の指示を受けると、一定期間ＦＣＰ内に算出された複数の差分ΔＶｇ，ｊのうち、第１の閾値Ｖｔｈ１以上である差分に係る車内映像に基づいて、基準特徴量Ｖｊを再算出するようにしてもよい。第１の閾値Ｖｔｈ１以上である差分に係る車内映像は、車内映像取得部１１によって、一定期間ＦＣＰ内に取得された車内映像である。
　第１の特徴量算出部１２によって、先に算出された基準特徴量Ｖｊが、顔の表情が無表情でないときに撮影された車内映像に基づいて算出されたものである場合、第１の閾値Ｖｔｈ１以上である差分に係る車内映像は、顔の表情が無表情であるときに撮影された車内映像である可能性が高い。
実施の形態２．
　実施の形態２では、車両の状態を示す車両情報を取得する車両情報取得部１７を備えている乗員状態推定装置２について説明する。
　図９は、実施の形態２に係る乗員状態推定装置２を示す構成図である。図９において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
　図１０は、実施の形態２に係る乗員状態推定装置２のハードウェアを示すハードウェア構成図である。図１０において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
　乗員状態推定装置２は、車両情報取得部１７、車内映像取得部１１、第１の特徴量算出部１８、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６を備えている。
　実施の形態２では、乗員状態推定装置２は、車両に乗車している乗員のうち、運転者の表情の変化を検出する。しかし、これは一例に過ぎず、乗員状態推定装置２が、車両に乗車している乗員のうち、助手席に座っている乗員、又は、後部座席に座っている乗員の表情の変化を検出するものであってもよい。
　車両情報取得部１７は、例えば、図１０に示す車両情報取得回路２７によって実現される。
　車両情報取得部１７は、例えば、車両の制御回路から、車両の状態を示す車両情報を取得する。
　車両情報取得部１７は、車両情報を第１の特徴量算出部１８に出力する。
　第１の特徴量算出部１８は、例えば、図１０に示す第１の特徴量算出回路２８によって実現される。
　第１の特徴量算出部１８は、車両情報取得部１７から、車両情報を取得する。
　第１の特徴量算出部１８は、車両情報取得部１７により取得された車両情報が示す車両の状態が或る状態であるときに、車内映像取得部１１により取得された映像データを取得する。
　第１の特徴量算出部１８は、基準特徴量として、取得した映像データが示す車内映像に映っている運転者の顔の特徴量を算出する。
　第１の特徴量算出部１８は、基準特徴量を差分算出部１４に出力する。
　図９では、乗員状態推定装置２の構成要素である車両情報取得部１７、車内映像取得部１１、第１の特徴量算出部１８、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６のそれぞれが、図１０に示すような専用のハードウェアによって実現されるものを想定している。即ち、乗員状態推定装置２が、車両情報取得回路２７、車内映像取得回路２１、第１の特徴量算出回路２８、第２の特徴量算出回路２３、差分算出回路２４、再算出指示回路２５及び乗員状態検出回路２６によって実現されるものを想定している。
　車両情報取得回路２７、車内映像取得回路２１、第１の特徴量算出回路２８、第２の特徴量算出回路２３、差分算出回路２４、再算出指示回路２５及び乗員状態検出回路２６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
　乗員状態推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、乗員状態推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　乗員状態推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、車両情報取得部１７、車内映像取得部１１、第１の特徴量算出部１８、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ３１に格納される。そして、図３に示すプロセッサ３２がメモリ３１に格納されているプログラムを実行する。
　また、図１０では、乗員状態推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、乗員状態推定装置２がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、乗員状態推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　次に、図９に示す乗員状態推定装置２の動作について説明する。車両情報取得部１７及び第１の特徴量算出部１８以外は、図１に示す乗員状態推定装置２と同様である。このため、ここでは、車両情報取得部１７及び第１の特徴量算出部１８の動作のみを説明する。
　車両情報取得部１７は、例えば、車両の制御回路から、車両の状態を示す車両情報を取得する。車両情報としては、例えば、車両のシフトを示す情報、車両の速度を示す情報、又は、車両の舵角を示す情報がある。
　車両情報取得部１７は、車両情報を第１の特徴量算出部１８に出力する。
　第１の特徴量算出部１８は、車両情報取得部１７から、車両情報を取得する。
　第１の特徴量算出部１８は、例えば、車両情報が示す車両の状態が、或る状態であるときに、カメラ１により撮影された車内映像を示すＮ個の映像データＰ１～ＰＮを車内映像取得部１１から取得する。
　即ち、第１の特徴量算出部１８は、例えば、車両情報が示す車両の状態が、車両のシフトがドライブシフトである状態、車両の速度が第３の閾値以上である状態、あるいは、車両の舵角が第４の閾値以内である状態であるときに、カメラ１により撮影された車内映像を示すＮ個の映像データＰ１～ＰＮを車内映像取得部１１から取得する。
　第３の閾値及び第４の閾値のそれぞれは、第１の特徴量算出部１８の内部メモリに格納されていてもよいし、乗員状態推定装置２の外部から与えられるものであってもよい。
　以降、第１の特徴量算出部１８は、図１に示す第１の特徴量算出部１２と同様に、映像データＰｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に基づいて、基準特徴量Ｖｊを算出する。
　車両情報が示す車両の状態が、車両のシフトがドライブシフトである状態、車両の速度が第３の閾値以上である状態、あるいは、車両の舵角が第４の閾値以内である状態のときは、通常、車両の運転に対する注意が必要な時間帯である。
　したがって、車両情報が示す車両の状態が、車両のシフトがドライブシフトである状態、車両の速度が第３の閾値以上である状態、あるいは、車両の舵角が第４の閾値以内である状態のときは、運転者の顔の表情が真顔の表情である可能性が高い。
　以上の実施の形態２では、車両の状態を示す車両情報を取得する車両情報取得部１７を備えるように、図９に示す乗員状態推定装置２を構成した。また、図９に示す乗員状態推定装置２の第１の特徴量算出部１８は、車両情報取得部１７により取得された車両情報が示す車両の状態が或る状態であるときに、車内映像取得部１１により取得された車内映像を取得し、基準特徴量として、当該車内映像に映っている乗員の顔の特徴量を算出するように構成した。したがって、図９に示す乗員状態推定装置２は、図１に示す乗員状態推定装置２よりも、運転者の顔の表情が真顔の表情であるときに撮影された車内映像に基づいて、基準特徴量を算出できる可能性を高めることができる。
　なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本開示は、乗員状態推定装置及び乗員状態推定方法に適している。
　１　カメラ、２　乗員状態推定装置、１１　車内映像取得部、１２　第１の特徴量算出部、１３　第２の特徴量算出部、１４　差分算出部、１５　再算出指示部、１６　乗員状態検出部、１７　車両情報取得部、１８　第１の特徴量算出部、２１　車内映像取得回路、２２　第１の特徴量算出回路、２３　第２の特徴量算出回路、２４　差分算出回路、２５　再算出指示回路、２６　乗員状態検出回路、２７　車両情報取得回路、２８　第１の特徴量算出回路、３１　メモリ、３２　プロセッサ、４１　直線距離算出部、４２　モデル調整部、４３　特徴量算出処理部、５１　直線距離算出部、５２　モデル調整部、５３　特徴量算出処理部。

Claims (8)

  1. 　車両の内部の映像である車内映像を取得する車内映像取得部と、
    　基準特徴量として、前記車内映像取得部により取得された車内映像に映っている、前記車両に乗車している乗員の顔の特徴量を算出する第１の特徴量算出部と、
    　前記第１の特徴量算出部により基準特徴量が算出された後に、前記車内映像取得部により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている前記乗員の顔の特徴量を算出する第２の特徴量算出部と、
    　前記第１の特徴量算出部により算出された基準特徴量と前記第２の特徴量算出部により算出されたそれぞれの特徴量との差分を算出する差分算出部と、
    　前記差分算出部により算出された複数の差分のうち、前記第１の特徴量算出部により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、前記基準特徴量の再算出を前記第１の特徴量算出部に指示する再算出指示部と
    　を備えた乗員状態推定装置。
  2. 　前記再算出指示部から前記第１の特徴量算出部への再算出の指示がなければ、前記差分算出部により算出されたそれぞれの差分に基づいて、前記乗員の状態を検出する乗員状態検出部を備えたことを特徴とする請求項１記載の乗員状態推定装置。
  3. 　前記車内映像取得部は、撮影時刻が互いに異なる複数の車内映像を取得し、
    　前記第１の特徴量算出部は、
    　前記車内映像取得部により取得されたそれぞれの車内映像に映っている前記乗員の顔の特徴量を算出し、算出した複数の特徴量から、前記基準特徴量を算出することを特徴とする請求項１記載の乗員状態推定装置。
  4. 　前記第１の特徴量算出部は、
    　前記車内映像取得部により取得された車内映像に映っている乗員の顔の基準点から、前記乗員の顔パーツに含まれている複数のパーツ構成点までの直線距離をそれぞれ算出する直線距離算出部と、
    　前記直線距離算出部により算出されたそれぞれの直線距離を顔の３次元モデルにフィッティングすることで、当該３次元モデルを前記乗員の顔を示す３次元モデルにカスタマイズするモデル調整部と、
    　前記モデル調整部によるカスタマイズ後の３次元モデルに基づいて、前記基準特徴量として、前記乗員の顔の特徴量を算出する特徴量算出処理部とを備えていることを特徴とする請求項１記載の乗員状態推定装置。
  5. 　前記第２の特徴量算出部は、
    　前記第１の特徴量算出部により基準特徴量が算出された後に、前記車内映像取得部により取得されたそれぞれの車内映像に映っている乗員の顔の基準点から、前記乗員の顔パーツに含まれている複数のパーツ構成点までの直線距離をそれぞれ算出する直線距離算出部と、
    　前記直線距離算出部により算出されたそれぞれの直線距離を顔の３次元モデルにフィッティングすることで、当該３次元モデルを前記乗員の顔を示す３次元モデルにカスタマイズするモデル調整部と、
    　前記モデル調整部によるカスタマイズ後の３次元モデルに基づいて、前記乗員の顔の特徴量を算出する特徴量算出処理部とを備えていることを特徴とする請求項１記載の乗員状態推定装置。
  6. 　前記車両の状態を示す車両情報を取得する車両情報取得部を備え、
    　前記第１の特徴量算出部は、
    　前記車両情報取得部により取得された車両情報が示す車両の状態が或る状態であるときに前記車内映像取得部により取得された車内映像を取得し、前記基準特徴量として、当該車内映像に映っている前記乗員の顔の特徴量を算出することを特徴とする請求項１記載の乗員状態推定装置。
  7. 　前記或る状態は、
    　前記車両のシフトがドライブシフトである状態、前記車両の速度が第３の閾値以上である状態、あるいは、前記車両の舵角が第４の閾値以内である状態であり、
    　前記第１の特徴量算出部は、
    　前記車両情報取得部により取得された車両情報が示す車両の状態が前記或る状態であるときに前記車内映像取得部により取得された車内映像を取得し、前記基準特徴量として、当該車内映像に映っている前記乗員の顔の特徴量を算出することを特徴とする請求項６記載の乗員状態推定装置。
  8. 　車内映像取得部が、車両の内部の映像である車内映像を取得し、
    　第１の特徴量算出部が、基準特徴量として、前記車内映像取得部により取得された車内映像に映っている、前記車両に乗車している乗員の顔の特徴量を算出し、
    　第２の特徴量算出部が、前記第１の特徴量算出部により基準特徴量が算出された後に、前記車内映像取得部により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている前記乗員の顔の特徴量を算出し、
    　差分算出部が、前記第１の特徴量算出部により算出された基準特徴量と前記第２の特徴量算出部により算出されたそれぞれの特徴量との差分を算出し、
    　再算出指示部が、前記差分算出部により算出された複数の差分のうち、前記第１の特徴量算出部により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、前記基準特徴量の再算出を前記第１の特徴量算出部に指示する
    　乗員状態推定方法。
PCT/JP2022/020600 2022-05-18 2022-05-18 乗員状態推定装置及び乗員状態推定方法 WO2023223443A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024519511A JP7504326B2 (ja) 2022-05-18 2022-05-18 乗員状態推定装置及び乗員状態推定方法
PCT/JP2022/020600 WO2023223443A1 (ja) 2022-05-18 2022-05-18 乗員状態推定装置及び乗員状態推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020600 WO2023223443A1 (ja) 2022-05-18 2022-05-18 乗員状態推定装置及び乗員状態推定方法

Publications (1)

Publication Number Publication Date
WO2023223443A1 true WO2023223443A1 (ja) 2023-11-23

Family

ID=88834871

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020600 WO2023223443A1 (ja) 2022-05-18 2022-05-18 乗員状態推定装置及び乗員状態推定方法

Country Status (2)

Country Link
JP (1) JP7504326B2 (ja)
WO (1) WO2023223443A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146137A (ja) * 2006-12-06 2008-06-26 Seiko Epson Corp 画像認識装置、電子機器、画像認識方法、制御プログラム及び記録媒体
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
JP2020163660A (ja) * 2019-03-29 2020-10-08 コニカミノルタ株式会社 画像形成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146137A (ja) * 2006-12-06 2008-06-26 Seiko Epson Corp 画像認識装置、電子機器、画像認識方法、制御プログラム及び記録媒体
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
JP2020163660A (ja) * 2019-03-29 2020-10-08 コニカミノルタ株式会社 画像形成装置

Also Published As

Publication number Publication date
JP7504326B2 (ja) 2024-06-21
JPWO2023223443A1 (ja) 2023-11-23

Similar Documents

Publication Publication Date Title
US11084424B2 (en) Video image output apparatus, video image output method, and medium
US8964066B2 (en) Apparatus and method for generating image including multiple people
EP3033999B1 (en) Apparatus and method for determining the state of a driver
WO2017208529A1 (ja) 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
US20220084384A1 (en) Method and apparatus for detecting child status, electronic device, and storage medium
US8552873B2 (en) Method and system for detecting a driving state of a driver in a vehicle
JP7118136B2 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
CN110155072B (zh) 防晕车方法和防晕车装置
EP3113073A1 (en) Determination device, determination method, and non-transitory storage medium
WO2020170916A1 (ja) 状態検知装置及び状態検知方法
US11203347B2 (en) In-vehicle device, information management server, information management system, and method
CN115439832A (zh) 监测车辆乘员的方法和系统
JP2021037216A (ja) 閉眼判定装置
CN114356072A (zh) 用于检测可穿戴设备的空间取向的系统和方法
WO2017209225A1 (ja) 状態推定装置、状態推定方法、及び状態推定プログラム
CN113365556B (zh) 情绪推定装置及情绪推定方法
WO2023223443A1 (ja) 乗員状態推定装置及び乗員状態推定方法
JP7267467B2 (ja) 注意方向判定装置および注意方向判定方法
JP2018173757A (ja) 検知装置、学習装置、検知方法、学習方法、およびプログラム
JP7374373B2 (ja) 体格判定装置および体格判定方法
JP2017007548A (ja) 後席状況表示制御装置
JP7359084B2 (ja) 感情推定装置、感情推定方法及びプログラム
EP4439485A1 (en) Interactive vision-based child seat mounting assistance
WO2021171538A1 (ja) 表情認識装置及び表情認識方法
JP7557389B2 (ja) 視線検出装置、視線検出システム、及び視線検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22942648

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024519511

Country of ref document: JP

Kind code of ref document: A