WO2018163404A1 - 顔向き推定装置および顔向き推定方法 - Google Patents

顔向き推定装置および顔向き推定方法 Download PDF

Info

Publication number
WO2018163404A1
WO2018163404A1 PCT/JP2017/009726 JP2017009726W WO2018163404A1 WO 2018163404 A1 WO2018163404 A1 WO 2018163404A1 JP 2017009726 W JP2017009726 W JP 2017009726W WO 2018163404 A1 WO2018163404 A1 WO 2018163404A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
unit
facial
detection unit
face direction
Prior art date
Application number
PCT/JP2017/009726
Other languages
English (en)
French (fr)
Inventor
亮介 虎間
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/486,420 priority Critical patent/US11216968B2/en
Priority to PCT/JP2017/009726 priority patent/WO2018163404A1/ja
Priority to DE112017007011.2T priority patent/DE112017007011B4/de
Priority to JP2019504268A priority patent/JP6584717B2/ja
Priority to CN201780087751.3A priority patent/CN110537207B/zh
Publication of WO2018163404A1 publication Critical patent/WO2018163404A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a face direction estimation device and a face direction estimation method for estimating a face direction from a captured image of a face.
  • the driver state monitoring device captures a driver's face image to detect the face position, and detects facial organs such as the eyes, eyes, nose, mouth, and ears from the face detection position. Detection is performed, and the orientation of the face is estimated based on the positional relationship of the facial organs.
  • Patent Document 1 has a problem that it is difficult to estimate the face orientation when the entire face cannot be imaged because the face is shielded by a hand or turned sideways. .
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to estimate the orientation of the face even when the entire face cannot be imaged.
  • a face direction estimation device includes a face image acquisition unit that acquires a face image obtained by capturing a face, a face detection unit that detects a face position from the face image acquired by the face image acquisition unit, and face detection
  • a facial organ detection unit that detects a facial organ from the position of the face detected by the unit, and the facial organ detected by the facial organ detection unit.
  • a switching determination unit that switches between the face orientation estimation methods, and when the switching determination unit switches to the first face orientation estimation method, the face orientation is estimated based on the positional relationship of the facial organs detected by the facial organ detection unit
  • the first face direction estimation unit and the switching determination unit switch to the second face direction estimation method, the amount of movement of the face is calculated from the face position detected by the face detection unit.
  • Second face direction estimation based on face direction estimation In which and a part.
  • the first face orientation estimation method that is usually based on the positional relationship of the facial organs is used, and the entire face can be imaged with part of the face shielded or turned sideways by a hand or the like. If it is difficult to detect the facial organs, it is possible to switch to the second face direction estimation method that estimates the face direction based on the amount of movement of the face. Can be estimated.
  • FIG. 1 It is a block diagram which shows the structural example of the face direction estimation apparatus which concerns on Embodiment 1 of this invention. It is a flowchart which shows the operation example of the face direction estimation apparatus which concerns on Embodiment 1 of this invention.
  • 3A and 3B are diagrams for explaining a first face orientation estimation method according to Embodiment 1 of the present invention, and show the face orientations in the left-right direction.
  • 4A and 4B are diagrams for explaining a first face orientation estimation method according to Embodiment 1 of the present invention, and show the face orientation in the vertical direction. It is a figure explaining the 2nd face direction estimation method in Embodiment 1 of this invention.
  • FIG. 7A to 7E are diagrams for explaining a facial organ quality evaluation method according to Embodiment 2 of the present invention. It is a flowchart which shows the operation example of the face direction estimation apparatus which concerns on Embodiment 3 of this invention. It is a block diagram which shows the structural example of the face direction estimation apparatus which concerns on Embodiment 4 of this invention. It is a flowchart which shows the operation example of the face direction estimation apparatus which concerns on Embodiment 4 of this invention. It is a figure explaining the 3rd face direction estimation method in Embodiment 4 of this invention. It is a figure which shows the hardware structural example of the face direction estimation apparatus which concerns on each embodiment of this invention.
  • FIG. 1 is a block diagram showing a configuration example of a face orientation estimation apparatus 10 according to Embodiment 1 of the present invention.
  • the face direction estimation device 10 includes a face image acquisition unit 11, a face detection unit 12, a face organ detection unit 13, a switching determination unit 14, a first face direction estimation unit 15, a second face direction estimation unit 16, and a control unit. 17.
  • the imaging unit 1 is connected to the face direction estimation apparatus 10 and an image captured by the imaging unit 1 is input.
  • the imaging unit 1 captures the passenger and inputs the captured image to the face image acquisition unit 11 of the face direction estimation device 10.
  • the imaging unit 1 is a visible light camera or a camera using a filter that passes only a near infrared region or an infrared region.
  • the imaging unit 1 is a camera using a filter that passes only the near-infrared region or the infrared region
  • the image is captured in a state where the passenger is illuminated using an illumination device that emits light in the near-infrared region or the infrared region. May be.
  • the driver is not dazzled by irradiating light in the near infrared region or infrared region.
  • FIG. 2 is a flowchart showing an operation example of the face orientation estimating apparatus 10 according to the first embodiment of the present invention.
  • the face image acquisition unit 11 acquires an image including the passenger's face imaged by the imaging unit 1. This image may include not only the passenger's face but also the upper body of the passenger.
  • an image including a face is referred to as a “face image”.
  • the control unit 17 outputs the face image acquired by the face image acquisition unit 11 to the face detection unit 12.
  • the face detection unit 12 detects the position of the face from the face image acquired by the face image acquisition unit 11. For example, the face detection unit 12 detects a region including a face in a face image using a classifier of a general algorithm such as AdaBoost and Cascade using Haar-Like feature values that are image feature values. Further, the face detection unit 12 may use a region detected by object tracking using the Haar-Like feature value as a face detection result when a part of the face on the face image is blocked by a hand or the like. Alternatively, the face detection unit 12 may use a general object tracking algorithm such as a particle filter or template matching for object tracking. The control unit 17 outputs the face position information detected by the face detection unit 12 to the face organ detection unit 13.
  • a classifier of a general algorithm such as AdaBoost and Cascade using Haar-Like feature values that are image feature values.
  • the face detection unit 12 may use a region detected by object tracking using the Haar-Like feature value as a face detection result when a part of the face on the
  • the face organ detection unit 13 detects a face organ from the position of the face detected by the face detection unit 12 in the face image acquired by the face image acquisition unit 11.
  • the facial organ detection unit 13 detects the positions of facial organs such as eyes, nose, and mouth.
  • the facial organ detection unit 13 calculates a likelihood indicating the likelihood of the detected facial organ.
  • the control unit 17 outputs the facial organ position and likelihood information detected by the facial organ detection unit 13 to the switching determination unit 14. Note that a well-known technique may be used for detection of the facial organs, and thus detailed description thereof is omitted.
  • step ST14 the switching determination unit 14 evaluates the facial organ detected by the facial organ detection unit 13, and based on the evaluation result, the estimation method by the first facial orientation estimation unit 15 and the second facial orientation estimation unit 16 Switch between the estimation method by.
  • the switching determination unit 14 evaluates the reliability of the facial organ detected by the facial organ detection unit 13 using the likelihood of the facial organ.
  • the switching determination unit 14 compares a predetermined reference with the likelihood of the facial organ detected by the facial organ detection unit 13, and determines that the reliability of the facial organ is high when the likelihood is equal to or higher than the reference. (Step ST14 “YES”), the first face direction estimating unit 15 switches to the first face direction estimating method (step ST15).
  • the control unit 17 outputs the position information of the facial organ detected by the facial organ detection unit 13 to the first face orientation estimation unit 15.
  • the first face direction estimation method estimates the face direction based on the positional relationship of the facial organs.
  • the switching determination unit 14 compares the likelihood with the reference and evaluates the reliability, so that whether or not the entire face can be imaged because a part of the face is shielded or turned sideways by a hand or the like. Determine.
  • the switching determination unit 14 determines that the reliability of the facial organ is low ("NO" in step ST14), and the second face direction estimation unit 16 performs the second face direction estimation. Switch to the method (step ST16).
  • the control unit 17 outputs the face position information detected by the face detection unit 12 to the second face direction estimation unit 16.
  • the second face direction estimation method estimates the face direction based on the face position information detected by the face detection unit 12 instead of the face organ position information detected by the face organ detection unit 13. To do. Therefore, the second face direction estimation method is inferior in accuracy to the first face direction estimation method, but a part of the face is shielded with a hand or facing sideways and the entire face cannot be imaged. Even in this case, it is possible to estimate the face orientation.
  • step ST15 the first face orientation estimation unit 15 estimates the face orientation based on the positional relationship of the facial organs detected by the facial organ detection unit 13.
  • the face direction estimation method by the first face direction estimation unit 15 will be described with reference to FIGS. 3A, 3B, 4A, and 4B.
  • FIGS. 3A and 3B are diagrams for explaining a first face orientation estimation method according to Embodiment 1 of the present invention, and show the face orientations in the left-right direction.
  • the distance d defw between the right eye and the nose occupies a proportion of the distance d w between the right eye and the left eye.
  • the ratio of the right eye and nose distance d defw to the right eye and left eye distance d w changes.
  • the face becomes small proportion of as the distance d Defw facing right, the face is the proportion of the distance d Defw as facing left direction becomes large.
  • the first face direction estimation unit 15 estimates the face direction Yaw in the left-right direction by the following equation (1).
  • offsetX is an offset for adjusting the ratio of the right eye and nose distance d defw to the distance d w between the right eye and the left eye when the occupant sits in the seat and faces the front, and is relative to the position of the passenger seat It is determined by the relationship between the installation positions of the imaging unit 1.
  • FIG. 4A and 4B are diagrams for explaining a first face orientation estimation method according to Embodiment 1 of the present invention, and show the face orientation in the vertical direction.
  • the face as shown in FIG. 4A is facing the front, of the distance d h between the eyes and the mouth, accounting for some distance d Defh the eyes and the nose.
  • the face as shown in FIG. 4B is facing either up or down direction, the proportion of the distance d Defh the eyes and the nose for a distance d h between the eyes and the mouth are changed.
  • the proportion of the distance d defh decreases as the face faces upward
  • the proportion of the distance d defh increases as the face faces downward.
  • the first face orientation estimation unit 15 estimates the pitch from the vertical direction of the face using the following equation (2).
  • offsetY is, the passenger is an offset for adjusting the ratio of the distance d defh of the eyes and the nose with respect to the distance d h between the eyes and the mouth at the time of facing the front sitting on the seat, the position of the passenger seat It is determined by the relationship between the installation positions of the imaging unit 1.
  • step ST16 the second face direction estimation unit 16 calculates the face movement amount from the face position detected by the face detection unit 12, and estimates the face direction based on the movement amount.
  • the face direction estimation method by the second face direction estimation unit 16 will be described with reference to FIG.
  • FIG. 5 is a diagram for explaining a second face orientation estimation method according to Embodiment 1 of the present invention, and shows the face orientation in the left-right direction.
  • the second face orientation estimation method it is assumed that the amount of movement of the passenger's face in the cabin environment is the same as the amount of change in face orientation, and the face movement is based on the difference between the previous face position and the current face position. The amount is calculated, and the face orientation is estimated by a linear approximation expression such as Expression (3) and Expression (4).
  • a, OFFSET yaw, and OFFSET pitch are parameters for linearly approximating the amount of movement of the face and the direction of the face, and may be arbitrary values.
  • OFFSET yaw and OFFSET pitch are the angles of the face when the passenger sits on the seat and faces the front, and are determined by the relationship of the installation position of the imaging unit 1 to the position of the passenger seat.
  • fd Yaw t A ⁇ (fx t-1 -fx t ) + OFFSET yaw (3)
  • fd Pitch t A ⁇ (fy t-1 -fy t ) + OFFSET pitch (4)
  • the second face orientation estimation unit 16 is detected from the x coordinate fx t ⁇ 1 of the face region 101 detected from the previously captured face image and the currently captured face image using Equation (3).
  • the amount of movement in the left-right direction is calculated from the difference between the face region 102 and the x-coordinate fx t, and the face direction fd Yaw t in the left-right direction is estimated.
  • the second face orientation estimation unit 16 uses equation (4) to detect the y coordinate fy t-1 of the face area 101 detected from the previously captured face image and the currently captured face image.
  • the amount of movement in the vertical direction is calculated from the difference from the y coordinate fy t of the face area 102 detected from the above, and the face direction fd Pitch t in the vertical direction is estimated.
  • the second face orientation estimation unit 16 selects, for example, the center of the face region 101 detected by the face detection unit 12 as coordinates (fx t ⁇ 1 , fy t ⁇ 1 ), and the same applies to the next frame. Then, the center of the face region 102 is selected as coordinates (fx t , fy t ).
  • Expression (3) and Expression (4) an approximate expression that models the movement amount and the face direction, such as Expression (3) and Expression (4), is used, but the present invention is not limited to this.
  • Expression (1) and Expression (2) The face direction may be estimated from the amount of movement using a trigonometric function as in FIG.
  • the face orientation estimated by the first face orientation estimation method immediately before switching from the first face orientation estimation method to the second face orientation estimation method as shown in Expression (5) and Expression (6) is used as PRE_FACE_OFFSET. It may be used as yaw and PRE_FACE_OFFSET pitch . Thereby, an error can be made small compared with the case where OFFSET yaw and OFFSET pitch are used.
  • fd Yaw t a ⁇ (fx t ⁇ 1 ⁇ fx t ) + PRE_FACE_OFFSET yaw (5)
  • fd Pitch t a ⁇ (fy t ⁇ 1 ⁇ fy t ) + PRE_FACE_OFFSET pitch (6)
  • the face orientation estimation apparatus 10 includes the face image acquisition unit 11 that acquires a face image obtained by capturing a face, and the face position from the face image acquired by the face image acquisition unit 11.
  • the face detection unit 12 for detecting the facial organ, the facial organ detection unit 13 for detecting the facial organ from the position of the face detected by the face detection unit 12, and the facial organ detected by the facial organ detection unit 13 are evaluated.
  • the switching determination unit 14 that switches between the first face direction estimation method and the second face direction estimation method based on the above, and the face organ detection unit 13 when the switching determination unit 14 switches to the first face direction estimation method
  • the face determination unit 15 is switched to the second face direction estimation method by the first face direction estimation unit 15 that estimates the face direction based on the positional relationship of the facial organs detected by the switching determination unit 14, the face detection unit 12 Face from face position detected by Calculating a shift amount, a structure and a second face direction estimating section 16 for estimating the orientation of the face based on the amount of movement.
  • the first face orientation estimation method with high accuracy based on the positional relationship of the facial organs is usually used, and the entire face can be imaged with part of the face shielded by hands or facing sideways. If it is difficult to detect the facial organs, it is possible to switch to the second face direction estimation method that estimates the face direction based on the amount of movement of the face. Can be estimated.
  • FIG. FIG. 6 is a flowchart showing an operation example of the face orientation estimation apparatus 10 according to Embodiment 2 of the present invention. Since the configuration of the face orientation estimation apparatus 10 according to Embodiment 2 is the same as that of the face orientation estimation apparatus 10 according to Embodiment 1 shown in FIG. 1, FIG. 1 is used here.
  • the switching determination unit 14 evaluates the reliability of the facial organ based on the likelihood of the facial organ and switches to the first facial orientation estimation method or the second facial orientation. It was determined whether to switch to the estimation method.
  • the switching determination unit 14 evaluates the quality of the facial organ based on the positional relationship between the face position and the facial organ, and the first face direction estimation. It is determined whether to switch to the method or the second face direction estimation method. Note that the processing in steps ST11 to ST13, ST15, and ST16 in FIG. 6 is the same as the processing in steps ST11 to ST13, ST15, and ST16 in FIG. 7A to 7E are diagrams for explaining a method for evaluating the quality of facial organs according to the second embodiment of the present invention.
  • the switching determination unit 14 evaluates the quality of the facial organ based on the positional relationship between the facial position detected by the facial detection unit 12 and the facial organ detected by the facial organ detection unit 13. Evaluate whether it is not unnatural as a face.
  • the face frame 201 is an area indicating the position of the face detected by the face detection unit 12.
  • the right eye corner 202, the right eye head 203, the left eye head 204, the left eye bottom 205, the nose 206, the mouth right end 207, and the mouth left end 208 are face organs detected by the face organ detection unit 13.
  • FIG. 7A the face frame 201 is an area indicating the position of the face detected by the face detection unit 12.
  • the face frame 201, the right eye corner 202, the right eye head 203, the left eye head 204, the left eye corner 205, the nose 206, the right mouth edge 207, and the left mouth edge 208 are correctly detected, and these facial organs are of high quality. It is evaluated.
  • step ST21 the switching determination unit 14 evaluates the quality of the facial organ from the viewpoint of whether or not the facial organ is within the face frame.
  • the switching determination unit 14 proceeds to step ST22 and determines that the quality is low when the face organ is not within the face frame (step ST22 “NO”). ), Switching to the second face direction estimation method by the second face direction estimation unit 16 (step ST16).
  • FIG. 7B when the right eye corner 202 and the left eye corner 205 are not in the face frame 201, it is evaluated that the quality of the facial organ is low.
  • step ST22 the switching determination unit 14 evaluates the quality of the facial organ from the viewpoint of whether or not the facial organ is extremely small with respect to the face frame.
  • step ST22 “YES” the switching determination unit 14 proceeds to step ST23, and the region including the facial organ is extremely large with respect to the face frame. If it is small, it is determined that the quality is low (“NO" in step ST22), and the second face orientation estimation method is switched to the second face orientation estimation unit 16 (step ST16). As shown in FIG.
  • the size of the area including the right eye corner 202, the right eye head 203, the left eye head 204, the left eye corner 205, the nose 206, the mouth right end 207, and the mouth left end 208 is larger than the size of the face frame 201. If it is extremely small, the quality of the facial organ is evaluated as low. It is assumed that the information regarding the evaluation criterion for evaluating “extremely small” when the size of the region including the facial organ is set to the switching determination unit 14 in advance.
  • step ST23 the switching determination unit 14 evaluates the quality of the facial organ from the viewpoint of whether or not the positional relationship between the eyes and the mouth is unnaturally disturbed.
  • step ST23 “YES” the switching determination unit 14 proceeds to step ST24, determines that the quality is low when the balance between eyes and mouth is bad (step ST23 “NO”), Switching to the second face direction estimation method by the second face direction estimation unit 16 (step ST16).
  • FIG. 7D when the right eye corner 202, right eye head 203, left eye head 204, left eye edge 205, right mouth edge 207, and left mouth edge 208 are not well balanced, the quality of the facial organ is evaluated to be low. It is assumed that information regarding the positional relationship between the eyes and the mouth that is “good in balance” and the positional relationship between the eyes and the mouth that are “unbalanced” is set in the switching determination unit 14 in advance.
  • step ST24 the switching determination unit 14 evaluates the quality of the facial organ from the viewpoint of whether or not the position of the facial organ is oscillating in a plurality of face images captured from the present to a predetermined time ago.
  • Step ST24 “YES” the amount of movement from the position of the facial organ in the face image captured before a predetermined time to the position of the facial organ in the currently captured face image is less than a predetermined amount of movement.
  • Step ST24 “YES” switching to the first face direction estimation method by the first face direction estimation unit 15 (step ST15).
  • the switching determination unit 14 has a movement amount from the position of the facial organ in the face image captured before a predetermined time to the position of the facial organ in the currently captured face image is equal to or larger than a predetermined movement amount.
  • step ST24 “NO”) it is determined that the quality of the facial organ is low, and the second face direction estimation unit 16 switches to the second face direction estimation method (step ST16).
  • the second face direction estimation unit 16 switches to the second face direction estimation method (step ST16).
  • FIG. 7E when the amount of movement dt of the right eye corner 202 per unit time or the amount of movement dt of the right eye 203 per unit time is large, it is evaluated that the facial organ position vibrates and the quality of the facial organ is low. Is done.
  • the switching determination unit 14 evaluates that the quality is low in any one of the four viewpoints of steps ST21 to ST24, the switching is made to the second face orientation estimation method of step ST16.
  • the present invention is not limited to this.
  • the switching determination unit 14 evaluates the quality from the four viewpoints of steps ST21 to ST24.
  • the quality is not limited to this, and the quality may be evaluated from at least one of the steps ST21 to ST24.
  • the switching determination unit 14 determines the quality of the facial organ based on the positional relationship between the face position detected by the face detection unit 12 and the facial organ detected by the facial organ detection unit 13. Evaluate and switch to the estimation method by the first face direction estimation unit 15 when the quality is high, and switch to the estimation method by the second face direction estimation unit 16 when the quality is low, so it is not unnatural as a human face
  • the estimation method can be switched by evaluating the facial organ from the viewpoint of whether or not.
  • FIG. FIG. 8 is a flowchart showing an operation example of the face orientation estimation apparatus 10 according to Embodiment 3 of the present invention. Since the configuration of face orientation estimating apparatus 10 according to Embodiment 3 is the same as the configuration of face orientation estimating apparatus 10 according to Embodiment 1 shown in FIG. 1, FIG. 1 is used here.
  • the switching determination unit 14 evaluates the reliability of the facial organ based on the likelihood of the facial organ and switches to the first facial orientation estimation method or the second facial orientation. It was determined whether to switch to the estimation method.
  • the switching determination unit 14 evaluates the quality of the facial organ based on the positional relationship between the face position and the facial organ in steps ST21 to ST24 in FIG. 6 and switches to the first face orientation estimation method. It was determined whether to switch to the second face orientation estimation method.
  • the switching determination unit 14 evaluates the reliability of the facial organ based on the likelihood of the facial organ according to the first embodiment, and the face position and the facial organ position according to the second embodiment. In combination with the evaluation of the facial organ quality based on the relationship, it is determined whether to switch to the first face orientation estimation method or the second face orientation estimation method. 8 are the same as the processes of steps ST11 to ST13, ST15, ST16, and ST21 to ST24 in FIGS. 2 and 6, and thus description thereof is omitted. .
  • step ST31 the switching determination unit 14 evaluates the reliability of the facial organ detected by the facial organ detection unit 13 using the likelihood of the facial organ.
  • the switching determination unit 14 compares the predetermined first reference with the likelihood of the facial organ detected by the facial organ detection unit 13, and when the likelihood is equal to or higher than the first reference, the reliability of the facial organ is determined.
  • the first face orientation estimation method is switched to the first face orientation estimation unit 15 (step ST15).
  • step ST31 “NO” the switching determination unit 14 proceeds to step ST32.
  • step ST32 the switching determination unit 14 compares the predetermined second reference with the likelihood of the facial organ detected by the facial organ detection unit 13, and if the likelihood is less than the second reference, It is determined that the reliability of the facial organ is low (step ST32 “NO”), and the second face orientation estimation method is switched to the second face orientation estimation unit 16 (step ST16). On the other hand, if the likelihood is greater than or equal to the second reference (step ST32 “YES”), the switching determination unit 14 proceeds to step ST21 and evaluates the quality of the facial organs.
  • the second standard is a lower value than the first standard.
  • the switching determination unit 14 evaluates the reliability of the face organ detected by the face organ detection unit 13 and detects the position of the face detected by the face detection unit 12 and the face organ detection.
  • the facial organ quality is evaluated based on the positional relationship of the facial organs detected by the unit 13, and the first facial orientation estimation method and the second facial orientation estimation are performed based on the reliability evaluation result and the quality evaluation result. Since the method is switched, the evaluation can be performed more accurately than when only one of reliability and quality is evaluated.
  • FIG. 9 is a block diagram showing a configuration example of the face direction estimation apparatus 10 according to Embodiment 4 of the present invention.
  • the face direction estimation apparatus 10 according to the fourth embodiment has a configuration in which a learning data storage unit 41 and a third face direction estimation unit 42 are added to the face direction estimation apparatus 10 according to the first embodiment shown in FIG. It is. 9, parts that are the same as or correspond to those in FIG. 1 are given the same reference numerals, and descriptions thereof are omitted.
  • the learning data storage unit 41 stores learning data obtained by learning the face orientation using the sample image.
  • the learning data is, for example, a plurality of decision trees created by learning a large amount of sample images using a discriminator such as Random Forest.
  • the third face direction estimation unit 42 estimates the face direction from the face image acquired by the face image acquisition unit 11 using the learning data stored in the learning data storage unit 41.
  • the orientation of a plurality of faces is estimated by a plurality of decision trees with respect to one face image.
  • the third face direction estimation unit 42 obtains one face direction based on the face direction estimated using the learning data and the face direction estimated by the second face direction estimation unit 16.
  • the third face orientation estimation unit 42 is a function added to increase the estimation accuracy of the face orientation estimation method performed by the second face orientation estimation unit 16.
  • FIG. 10 is a flowchart showing an operation example of the face direction estimating apparatus 10 according to the fourth embodiment of the present invention.
  • the processing in steps ST11 to ST16 in FIG. 10 is the same as the processing in steps ST11 to ST16 in FIG. Further, instead of the process of step ST14 in FIG. 10, the processes of steps ST21 to ST24 in FIG. 6 or the processes of steps ST31, ST32, ST21 to ST24 in FIG. 8 may be performed.
  • the third face direction estimation unit 42 receives the face image acquired by the face image acquisition unit 11 and the face direction information estimated by the second face direction estimation unit 16 from the control unit 17. receive.
  • the third face orientation estimation unit 42 estimates one or more face orientations from the face image acquired by the face image acquisition unit 11 using the learning data stored in the learning data storage unit 41.
  • the third face orientation estimation unit 42 determines a majority from one or more face orientations estimated using learning data, for example, and the face orientation estimated by the second face orientation estimation unit 16. Determine the orientation of one face.
  • the third face orientation estimation unit 42 may obtain an average of one or more face orientations estimated using the learning data and the face orientation estimated by the second face orientation estimation unit 16. Good.
  • the method of obtaining the orientation of one face that is finally output by the third face orientation estimation unit 42 is not limited to majority vote or average value calculation.
  • the third face direction estimation unit 42 corrects the face direction estimated using the learning data based on the face direction estimated by the second face direction estimation unit 16, and the corrected face direction is corrected.
  • the orientation of one face may be obtained based on the above.
  • the face direction estimation method by the third face direction estimation unit 42 will be described with reference to FIG.
  • FIG. 11 is a diagram for explaining a third face direction estimation method according to Embodiment 4 of the present invention, where the vertical axis indicates the face direction in the vertical direction and the horizontal axis indicates the face direction in the left and right direction.
  • the third face orientation estimating unit 42 estimates the face orientations A, B, and C using the learning data, and calculates the likelihood of the face orientations A, B, and C.
  • the second face direction estimation unit 16 estimates the face direction D.
  • the third face orientation estimating unit 42 assigns a large weight to the likelihood of the face orientation C that is closest to the face orientation D among the face orientations A to C, and the weight decreases as the distance from the face orientation D increases.
  • the weighting corresponds to the “correction”. Thereby, out of one or more face orientations estimated using the learning data, those far from the face orientation estimated by the second face orientation estimating unit 16 can be excluded.
  • the face orientation estimation apparatus 10 uses the learning data storage unit 41 that stores the learning data obtained by learning the face orientation using the sample image, and the face using the learning data.
  • the face direction is estimated from the face image acquired by the image acquisition unit 11, and one face direction is determined based on the estimated face direction and the face direction estimated by the second face direction estimation unit 16.
  • a third face orientation estimating unit 42 to be obtained.
  • the third face orientation estimating unit 42 in the fourth embodiment corrects the face orientation estimated using the learning data based on the face orientation estimated by the second face orientation estimating unit 16,
  • the configuration may be such that one face orientation is obtained based on the corrected face orientation. With this configuration, it is possible to suppress erroneous estimation in the face orientation estimation method using learning data.
  • FIG. 12 is a diagram showing a hardware configuration example of the face direction estimating apparatus 10 according to each embodiment of the present invention.
  • the face detection unit 12, the face organ detection unit 13, the switching determination unit 14, the first face direction estimation unit 15, the second face direction estimation unit 16, the control unit 17, and the third face direction in the face direction estimation device 10 Each function of the estimation unit 42 is realized by a processing circuit.
  • the processing circuit is a CPU (Central Processing Unit) 2 that executes a program stored in a ROM (Read Only Memory) 3 or an HDD (Hard Disk Drive) 6.
  • ROM Read Only Memory
  • HDD Hard Disk Drive
  • Functions of the face detection unit 12, the face organ detection unit 13, the switching determination unit 14, the first face direction estimation unit 15, the second face direction estimation unit 16, the control unit 17, and the third face direction estimation unit 42 Is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is described as a program and stored in the ROM 3 or the HDD 6.
  • the CPU 2 implements the functions of each unit by reading a program stored in the ROM 3 or the HDD 6 into a RAM (Random Access Memory) 4 and executing it. That is, the face orientation estimation apparatus 10 includes a ROM 3 or HDD 6 for storing a program that, when executed by the CPU 2, results in the steps shown in the flowchart of FIG.
  • the program also includes a face detection unit 12, a face organ detection unit 13, a switching determination unit 14, a first face direction estimation unit 15, a second face direction estimation unit 16, a control unit 17, and a third face direction. It can also be said that the computer executes the procedure or method of the estimation unit 42.
  • the CPU 2, the ROM 3, the RAM 4, the input device 5, and the HDD 6 are connected by a bus 8 or the like so that information can be exchanged.
  • the face image acquisition unit 11 in the face orientation estimation device 10 is an input device 5 to which a face image is input from the imaging unit 1. Note that an illuminating device 7 for illuminating the face when the imaging unit 1 captures an image may be connected to the bus 8.
  • the learning data storage unit 41 in the face orientation estimation device 10 is the ROM 3 or the HDD 6.
  • the face direction estimation device 10 when the in-vehicle device and the server device are connected so as to be capable of wireless communication, the in-vehicle device includes the imaging unit 1 and the face image acquisition unit 11 and transmits the face image to the server device.
  • the server device includes a face detection unit 12, a face organ detection unit 13, a switching determination unit 14, a first face direction estimation unit 15, a second face direction estimation unit 16, a learning data storage unit 41, and a third face direction estimation.
  • the unit 42 is provided, the face direction is estimated using the face image received from the in-vehicle device, and the estimation result is returned to the in-vehicle device.
  • the server device need not have a function of estimating the face orientation, and may be configured of a portable information terminal such as a smartphone. Or a smart phone etc. may be provided with the imaging part 1 and the face image acquisition part 11, the structure which transmits a face image from a smart phone to a server apparatus, and transmits the result which the server apparatus estimated the direction of the face to a vehicle-mounted apparatus. .
  • the face direction estimation device estimates the face direction even when the entire face cannot be imaged, the face of a passenger who has boarded a moving body including a vehicle, a railroad, a ship, an aircraft, etc. It is suitable for use in a face orientation estimation device that estimates the orientation of the face.
  • 1 imaging unit 2 CPU, 3 ROM, 4 RAM, 5 input device, 6 HDD, 7 illumination device, 8 bus, 10 face orientation estimation device, 11 facial image acquisition unit, 12 facial detection unit, 13 facial organ detection unit, 14 switching determination unit, 15 first face direction estimation unit, 16 second face direction estimation unit, 17 control unit, 41 learning data storage unit, 42 third face direction estimation unit, 101, 102 face area, 201 Face frame, 202, right eye corner, 203, right eye, 204, left eye, 205, left eye, 206, nose, 207, right end of mouth, 208, left end of mouth.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

顔向き推定装置（１０）は、顔を撮像した顔画像を取得する顔画像取得部（１１）と、顔画像取得部（１１）により取得された顔画像から、顔の位置を検出する顔検出部（１２）と、顔検出部（１２）により検出された顔の位置から顔器官を検出する顔器官検出部（１３）と、顔器官検出部（１３）により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部（１４）と、切替判定部（１４）により第一の顔向き推定手法に切り替えられた場合、顔器官検出部（１３）により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部（１５）と、切替判定部（１４）により第二の顔向き推定手法に切り替えられた場合、顔検出部（１２）により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部（１６）とを備える。

Description

顔向き推定装置および顔向き推定方法
　この発明は、顔の撮像画像から顔の向きを推定する顔向き推定装置および顔向き推定方法に関するものである。
　例えば、特許文献１に係る運転者状態監視装置は、運転者の顔画像を撮像して顔の位置を検出し、その顔検出位置から目頭、目尻、鼻、口、および耳などの顔器官を検出し、その顔器官の位置関係に基づいて顔の向きを推定する。
特開２０１４－２１８１４０号公報
　しかしながら、上記特許文献１に記載された手法では、顔が手などで遮蔽されたり横を向いたりして顔全体を撮像できない場合、顔の向きを推定することが困難であるという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、顔全体を撮像できない場合であっても顔の向きを推定することを目的とする。
　この発明に係る顔向き推定装置は、顔を撮像した顔画像を取得する顔画像取得部と、顔画像取得部により取得された顔画像から、顔の位置を検出する顔検出部と、顔検出部により検出された顔の位置から顔器官を検出する顔器官検出部と、顔器官検出部により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部と、切替判定部により第一の顔向き推定手法に切り替えられた場合、顔器官検出部により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部と、切替判定部により第二の顔向き推定手法に切り替えられた場合、顔検出部により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部とを備えるものである。
　この発明によれば、通常は顔器官の位置関係に基づく高精度な第一の顔向き推定手法を用い、顔の一部が手などで遮蔽されたり横を向いたりして顔全体を撮像できず顔器官の検出が困難な場合には、顔の移動量に基づいて顔の向きを推定する第二の顔向き推定手法に切り替えることができるので、顔全体を撮像できない場合であっても顔の向きを推定することができる。
この発明の実施の形態１に係る顔向き推定装置の構成例を示すブロック図である。 この発明の実施の形態１に係る顔向き推定装置の動作例を示すフローチャートである。 図３Ａおよび図３Ｂは、この発明の実施の形態１における第一の顔向き推定手法を説明する図であり、左右方向の顔の向きを示す。 図４Ａおよび図４Ｂは、この発明の実施の形態１における第一の顔向き推定手法を説明する図であり、上下方向の顔の向きを示す。 この発明の実施の形態１における第二の顔向き推定手法を説明する図である。 この発明の実施の形態２に係る顔向き推定装置の動作例を示すフローチャートである。 図７Ａ～図７Ｅは、この発明の実施の形態２における顔器官の質の評価方法を説明する図である。 この発明の実施の形態３に係る顔向き推定装置の動作例を示すフローチャートである。 この発明の実施の形態４に係る顔向き推定装置の構成例を示すブロック図である。 この発明の実施の形態４に係る顔向き推定装置の動作例を示すフローチャートである。 この発明の実施の形態４における第三の顔向き推定手法を説明する図である。 この発明の各実施の形態に係る顔向き推定装置のハードウェア構成例を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る顔向き推定装置１０の構成例を示すブロック図である。顔向き推定装置１０は、顔画像取得部１１、顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、および制御部１７を備える。また、顔向き推定装置１０には撮像部１が接続され、撮像部１により撮像された画像が入力される。
　ここでは、顔向き推定装置１０が、車両に搭乗した搭乗者の顔の向きを推定する場合を例示する。
　撮像部１は、搭乗者を撮像し、撮像した画像を顔向き推定装置１０の顔画像取得部１１へ入力する。この撮像部１は、可視光カメラ、または近赤外領域もしくは赤外領域のみを通すフィルタを用いたカメラである。撮像部１が近赤外領域もしくは赤外領域のみを通すフィルタを用いたカメラである場合、近赤外領域もしくは赤外領域の光を照射する照明装置を用いて搭乗者を照らした状態で撮像してもよい。搭乗者が運転者である場合、近赤外領域もしくは赤外領域の光を照射すれば運転者が眩惑されない。
　図２は、この発明の実施の形態１に係る顔向き推定装置１０の動作例を示すフローチャートである。
　ステップＳＴ１１において、顔画像取得部１１は、撮像部１により撮像された、搭乗者の顔を含む画像を取得する。この画像には、搭乗者の顔だけでなく、搭乗者の上半身等が含まれていてもよい。以下、顔を含む画像を「顔画像」と呼ぶ。制御部１７は、顔画像取得部１１により取得された顔画像を、顔検出部１２へ出力する。
　ステップＳＴ１２において、顔検出部１２は、顔画像取得部１１により取得された顔画像から、顔の位置を検出する。例えば、顔検出部１２は、画像特徴量であるＨａａｒ－Ｌｉｋｅ特徴量を用いた、ＡｄａＢｏｏｓｔおよびＣａｓｃａｄｅ等の一般的なアルゴリズムの識別機を利用して、顔画像における顔を含む領域を検出する。また、顔検出部１２は、顔画像上の顔が手などで一部遮蔽された場合、Ｈａａｒ－Ｌｉｋｅ特徴量を用いた物体追跡により検出した領域を顔検出結果としてもよい。あるいは、顔検出部１２は、物体追跡に、パーティクルフィルタまたはテンプレートマッチングなどの一般的な物体追跡アルゴリズムを利用してもよい。制御部１７は、顔検出部１２により検出された顔位置情報を、顔器官検出部１３へ出力する。
　ステップＳＴ１３において、顔器官検出部１３は、顔画像取得部１１により取得された顔画像における、顔検出部１２により検出された顔の位置から、顔器官を検出する。例えば、顔器官検出部１３は、目、鼻、および口などの顔器官の位置を検出する。また、顔器官検出部１３は、検出した顔器官の尤もらしさを示す尤度を算出する。制御部１７は、顔器官検出部１３により検出された顔器官の位置および尤度の情報を、切替判定部１４へ出力する。なお、顔器官の検出には周知の技術を用いればよいため、詳細な説明を省略する。
　ステップＳＴ１４において、切替判定部１４は、顔器官検出部１３により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定部１５による推定手法と第二の顔向き推定部１６による推定手法とを切り替える。
　実施の形態１の切替判定部１４は、顔器官検出部１３により検出された顔器官の信頼性を、その顔器官の尤度を用いて評価する。切替判定部１４は、予め定められた基準と顔器官検出部１３により検出された顔器官の尤度とを比較し、尤度が基準以上の場合にその顔器官の信頼性が高いと判定し（ステップＳＴ１４“ＹＥＳ”）、第一の顔向き推定部１５による第一の顔向き推定手法に切り替える（ステップＳＴ１５）。この場合、制御部１７は、顔器官検出部１３により検出された顔器官の位置情報を第一の顔向き推定部１５へ出力する。詳細は後述するが、第一の顔向き推定手法は、顔器官の位置関係に基づいて顔の向きを推定するため、顔器官検出部１３により顔器官が検出されなかった場合または顔器官の信頼性が低い場合等には顔の向きを高精度に推定することが困難である。そこで、切替判定部１４が尤度と基準とを比較して信頼性を評価することによって、顔の一部が手などで遮蔽されたり横を向いたりして顔全体を撮像できなかったか否かを判定する。
　一方、切替判定部１４は、尤度が基準未満の場合にその顔器官の信頼性が低いと判定し（ステップＳＴ１４“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。この場合、制御部１７は、顔検出部１２により検出された顔位置情報を第二の顔向き推定部１６へ出力する。詳細は後述するが、第二の顔向き推定手法は、顔器官検出部１３が検出した顔器官の位置情報ではなく、顔検出部１２が検出した顔の位置情報に基づいて顔の向きを推定する。そのため、第二の顔向き推定手法は、第一の顔向き推定手法に比べて精度は劣るが、顔の一部が手などで遮蔽されたり横を向いたりして顔全体を撮像できなかった場合であっても顔の向きを推定することが可能である。
　ステップＳＴ１５において、第一の顔向き推定部１５は、顔器官検出部１３により検出された顔器官の位置関係に基づいて顔の向きを推定する。ここで、図３Ａ、図３Ｂ、図４Ａ、および図４Ｂを用いて、第一の顔向き推定部１５による顔向き推定手法を説明する。
　図３Ａおよび図３Ｂは、この発明の実施の形態１における第一の顔向き推定手法を説明する図であり、左右方向の顔の向きを示す。図３Ａのように顔が正面を向いている場合、右目と左目との距離ｄｗのうち、右目と鼻との距離ｄｄｅｆｗがある割合を占める。図３Ｂのように顔が左右いずれかの方向を向いた場合、右目と左目との距離ｄｗに対する右目と鼻との距離ｄｄｅｆｗが占める割合が変化する。さらに、顔が右方向を向くほど距離ｄｄｅｆｗが占める割合が小さくなり、顔が左方向を向くほど距離ｄｄｅｆｗが占める割合が大きくなる。そこで、第一の顔向き推定部１５は、顔の左右方向の向きＹａｗを、下式（１）により推定する。ｏｆｆｓｅｔＸは、搭乗者が座席に座って正面を向いたときの右目と左目との距離ｄｗに対する右目と鼻との距離ｄｄｅｆｗが占める割合を調整するためのオフセットであり、搭乗席の位置に対する撮像部１の設置位置の関係性により定められる。
ｒｘ＝ｄｄｅｆｗ／ｄｗ＋ｏｆｆｓｅｔＸ
Ｙａｗ＝ａｓｉｎ（ｒｘ）・１８０／π　　　（１）
　図４Ａおよび図４Ｂは、この発明の実施の形態１における第一の顔向き推定手法を説明する図であり、上下方向の顔の向きを示す。図４Ａのように顔が正面を向いている場合、両目と口との距離ｄｈのうち、両目と鼻との距離ｄｄｅｆｈがある割合を占める。図４Ｂのように顔が上下いずれかの方向を向いた場合、両目と口との距離ｄｈに対する両目と鼻との距離ｄｄｅｆｈが占める割合が変化する。さらに、顔が上方向を向くほど距離ｄｄｅｆｈが占める割合が小さくなり、顔が下方向を向くほど距離ｄｄｅｆｈが占める割合が大きくなる。そこで、第一の顔向き推定部１５は、顔の上下方向を向きＰｉｔｃｈを、下式（２）により推定する。ｏｆｆｓｅｔＹは、搭乗者が座席に座って正面を向いたときの両目と口との距離ｄｈに対する両目と鼻との距離ｄｄｅｆｈが占める割合を調整するためのオフセットであり、搭乗席の位置に対する撮像部１の設置位置の関係性により定められる。
ｒｙ＝ｄｄｅｆｈ／ｄｈ＋ｏｆｆｓｅｔＹ
Ｐｉｔｃｈ＝ａｓｉｎ（ｒｙ）・１８０／π　　　（２）
　ステップＳＴ１６において、第二の顔向き推定部１６は、顔検出部１２により検出された顔の位置から顔の移動量を算出し、移動量に基づいて顔の向きを推定する。ここで、図５を用いて、第二の顔向き推定部１６による顔向き推定手法を説明する。
　図５は、この発明の実施の形態１における第二の顔向き推定手法を説明する図であり、左右方向の顔の向きを示す。第二の顔向き推定手法では、車室内環境における搭乗者の顔の移動量が顔向きの変化量と同じであると仮定し、前回の顔位置と今回の顔位置との差分から顔の移動量を算出し、式（３）および式（４）のような直線近似式により顔の向きを推定する。ａ、ＯＦＦＳＥＴｙａｗおよびＯＦＦＳＥＴｐｉｔｃｈは、顔の移動量と顔の向きとを直線近似するためのパラメータであり、任意の値でよい。特に、ＯＦＦＳＥＴｙａｗおよびＯＦＦＳＥＴｐｉｔｃｈは、搭乗者が座席に座って正面を向いたときの顔の角度であり、搭乗席の位置に対する撮像部１の設置位置の関係性により定められる。
ｆｄＹａｗ ｔ
＝ａ・（ｆｘｔ－１－ｆｘｔ）＋ＯＦＦＳＥＴｙａｗ　　　　　（３）
ｆｄＰｉｔｃｈ ｔ
＝ａ・（ｆｙｔ－１－ｆｙｔ）＋ＯＦＦＳＥＴｐｉｔｃｈ　　　（４）
　第二の顔向き推定部１６は、式（３）を用いて、前回撮像された顔画像から検出された顔の領域１０１のｘ座標ｆｘｔ－１と、今回撮像された顔画像から検出された顔の領域１０２のｘ座標ｆｘｔとの差分から左右方向の移動量を算出し、左右方向の顔の向きｆｄＹａｗ ｔを推定する。同様に、第二の顔向き推定部１６は、式（４）を用いて、前回撮像された顔画像から検出された顔の領域１０１のｙ座標ｆｙｔ－１と、今回撮像された顔画像から検出された顔の領域１０２のｙ座標ｆｙｔとの差分から上下方向の移動量を算出し、上下方向の顔の向きｆｄＰｉｔｃｈ ｔを推定する。なお、第二の顔向き推定部１６は、例えば、顔検出部１２が検出した顔の領域１０１の中心を座標（ｆｘｔ－１，ｆｙｔ－１）として選択し、次のフレームにおいても同様に顔の領域１０２の中心を座標（ｆｘｔ，ｆｙｔ）として選択する。
　なお、上記説明では、式（３）および式（４）のような、移動量と顔向きとをモデル化した近似式を用いたが、これに限らず、例えば式（１）および式（２）のように三角関数を用いて移動量から顔の向きを推定してもよい。
　また、搭乗者が座席に座って正面を向いたときの顔の向きには個人差があるため、式（３）および式（４）のようにＯＦＦＳＥＴｙａｗおよびＯＦＦＳＥＴｐｉｔｃｈを固定値にすると、推定結果に誤差が生じやすい。そこで、式（５）および式（６）のように、第一の顔向き推定手法から第二の顔向き推定手法に切り替わる直前に第一の顔向き推定手法で推定された顔向きを、ＰＲＥ＿ＦＡＣＥ＿ＯＦＦＳＥＴｙａｗおよびＰＲＥ＿ＦＡＣＥ＿ＯＦＦＳＥＴｐｉｔｃｈとして利用してもよい。これにより、ＯＦＦＳＥＴｙａｗおよびＯＦＦＳＥＴｐｉｔｃｈを用いる場合に比べて、誤差を小さくできる。
ｆｄＹａｗ ｔ＝ａ・（ｆｘｔ－１－ｆｘｔ）
　　　　　＋ＰＲＥ＿ＦＡＣＥ＿ＯＦＦＳＥＴｙａｗ　　　（５）
ｆｄＰｉｔｃｈ ｔ＝ａ・（ｆｙｔ－１－ｆｙｔ）
　　　　　　　＋ＰＲＥ＿ＦＡＣＥ＿ＯＦＦＳＥＴｐｉｔｃｈ　　　（６）
　以上のように、実施の形態１に係る顔向き推定装置１０は、顔を撮像した顔画像を取得する顔画像取得部１１と、顔画像取得部１１により取得された顔画像から、顔の位置を検出する顔検出部１２と、顔検出部１２により検出された顔の位置から顔器官を検出する顔器官検出部１３と、顔器官検出部１３により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部１４と、切替判定部１４により第一の顔向き推定手法に切り替えられた場合、顔器官検出部１３により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部１５と、切替判定部１４により第二の顔向き推定手法に切り替えられた場合、顔検出部１２により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部１６とを備える構成である。この構成によれば、通常は顔器官の位置関係に基づく高精度な第一の顔向き推定手法を用い、顔の一部が手などで遮蔽されたり横を向いたりして顔全体を撮像できず顔器官の検出が困難な場合には、顔の移動量に基づいて顔の向きを推定する第二の顔向き推定手法に切り替えることができるので、顔全体を撮像できない場合であっても顔の向きを推定することができる。
実施の形態２．
　図６は、この発明の実施の形態２に係る顔向き推定装置１０の動作例を示すフローチャートである。実施の形態２に係る顔向き推定装置１０の構成は、図１に示した実施の形態１に係る顔向き推定装置１０の構成と同じであるため、ここでは図１を援用する。
　実施の形態１では、図２のステップＳＴ１４において切替判定部１４が、顔器官の尤度に基づいて顔器官の信頼性を評価し、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定していた。これに対し、実施の形態２では、図６のステップＳＴ２１～ＳＴ２４において切替判定部１４が、顔の位置と顔器官の位置関係に基づいて顔器官の質を評価し、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定する。なお、図６におけるステップＳＴ１１～ＳＴ１３，ＳＴ１５，ＳＴ１６の処理は、図２におけるステップＳＴ１１～ＳＴ１３，ＳＴ１５，ＳＴ１６の処理と同じであるため説明を省略する。また、図７Ａ～図７Ｅは、この発明の実施の形態２における顔器官の質の評価方法を説明する図である。
　実施の形態２の切替判定部１４は、顔器官の質の評価として、顔検出部１２により検出された顔位置と顔器官検出部１３により検出された顔器官の位置関係に基づいて、人間の顔として不自然でないかどうかを評価する。図７Ａに示すように、顔枠２０１は、顔検出部１２が検出した顔の位置を示す領域である。右目尻２０２、右目頭２０３、左目頭２０４、左目尻２０５、鼻２０６、口右端２０７、および口左端２０８は、顔器官検出部１３が検出した顔器官である。図７Ａでは、顔枠２０１、右目尻２０２、右目頭２０３、左目頭２０４、左目尻２０５、鼻２０６、口右端２０７、および口左端２０８が正しく検出されており、これらの顔器官は質が高いと評価される。
　ステップＳＴ２１において、切替判定部１４は、顔器官が顔枠内にあるか否かという観点で顔器官の質を評価する。切替判定部１４は、顔器官が顔枠内にある場合（ステップＳＴ２１“ＹＥＳ”）、ステップＳＴ２２へ進み、顔器官が顔枠内にない場合に質が低いと判定し（ステップＳＴ２２“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。
　図７Ｂのように、右目尻２０２と左目尻２０５が顔枠２０１内にない場合、顔器官の質が低いと評価される。
　ステップＳＴ２２において、切替判定部１４は、顔器官が顔枠に対して極端に小さいか否かという観点で顔器官の質を評価する。切替判定部１４は、顔器官を含む領域の大きさと顔枠の大きさのバランスが良い場合（ステップＳＴ２２“ＹＥＳ”）、ステップＳＴ２３へ進み、顔器官を含む領域が顔枠に対して極端に小さい場合に質が低いと判定し（ステップＳＴ２２“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。
　図７Ｃのように、顔枠２０１の大きさに対して、右目尻２０２、右目頭２０３、左目頭２０４、左目尻２０５、鼻２０６、口右端２０７、および口左端２０８を含む領域の大きさが極端に小さい場合、顔器官の質が低いと評価される。なお、顔器官を含む領域の大きさがどの程度の場合に「極端に小さい」と評価するかという評価基準に関する情報は、予め切替判定部１４に設定されているものとする。
　ステップＳＴ２３において、切替判定部１４は、目と口の位置関係が不自然にいびつか否かという観点で顔器官の質を評価する。切替判定部１４は、目と口のバランスが良い場合（ステップＳＴ２３“ＹＥＳ”）、ステップＳＴ２４へ進み、目と口のバランスが悪い場合に質が低いと判定し（ステップＳＴ２３“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。
　図７Ｄのように、右目尻２０２、右目頭２０３、左目頭２０４、左目尻２０５、口右端２０７、および口左端２０８のバランスが悪い場合、顔器官の質が低いと評価される。なお、「バランスが良い」目と口の位置関係および「バランスが悪い」目と口の位置関係に関する情報は、予め切替判定部１４に設定されているものとする。
　ステップＳＴ２４において、切替判定部１４は、現在から所定時間前までの間に撮像された複数の顔画像において顔器官の位置が振動しているか否かという観点で顔器官の質を評価する。切替判定部１４は、所定時間前に撮像された顔画像における顔器官の位置から、今回撮像された顔画像における顔器官の位置までの移動量が、予め定められた移動量未満である場合（ステップＳＴ２４“ＹＥＳ”）、第一の顔向き推定部１５による第一の顔向き推定手法に切り替える（ステップＳＴ１５）。一方、切替判定部１４は、所定時間前に撮像された顔画像における顔器官の位置から、今回撮像された顔画像における顔器官の位置までの移動量が、予め定められた移動量以上である場合（ステップＳＴ２４“ＮＯ”）、顔器官の質が低いと判定して第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。
　図７Ｅのように、右目尻２０２の単位時間当たりの移動量ｄｔまたは右目頭２０３の単位時間当たりの移動量ｄｔが大きい場合、顔器官の位置が振動しており顔器官の質が低いと評価される。
　なお、図６の例では、切替判定部１４がステップＳＴ２１～ＳＴ２４の四つの観点のうち一つでも質が低いと評価した場合に、ステップＳＴ１６の第二の顔向き推定手法に切り替えるようにしたが、これに限らず、例えばステップＳＴ２１～ＳＴ２４の四つの観点のうち過半数で質が低いと評価した場合にステップＳＴ１６の第二の顔向き推定手法に切り替えるようにしてもよい。
　また、切替判定部１４がステップＳＴ２１～ＳＴ２４の四つの観点で質を評価したが、これに限らず、ステップＳＴ２１～ＳＴ２４のうちの少なくとも一つの観点で質を評価してもよい。
　以上のように、実施の形態２における切替判定部１４は、顔検出部１２により検出された顔の位置と顔器官検出部１３により検出された顔器官の位置関係に基づいて顔器官の質を評価し、質が高い場合に第一の顔向き推定部１５による推定手法に切り替え、質が低い場合に第二の顔向き推定部１６による推定手法に切り替えるので、人間の顔として不自然ではないかどうかという観点から顔器官を評価して推定手法を切り替えることができる。
実施の形態３．
　図８は、この発明の実施の形態３に係る顔向き推定装置１０の動作例を示すフローチャートである。実施の形態３に係る顔向き推定装置１０の構成は、図１に示した実施の形態１に係る顔向き推定装置１０の構成と同じであるため、ここでは図１を援用する。
　実施の形態１では、図２のステップＳＴ１４において切替判定部１４が、顔器官の尤度に基づいて顔器官の信頼性を評価し、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定していた。実施の形態２では、図６のステップＳＴ２１～ＳＴ２４において切替判定部１４が、顔の位置と顔器官の位置関係に基づいて顔器官の質を評価し、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定していた。これに対し、実施の形態３では、切替判定部１４が、実施の形態１による顔器官の尤度に基づく顔器官の信頼性の評価と、実施の形態２による顔の位置と顔器官の位置関係に基づく顔器官の質の評価とを組み合わせて、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定する。なお、図８におけるステップＳＴ１１～ＳＴ１３，ＳＴ１５，ＳＴ１６，ＳＴ２１～ＳＴ２４の処理は、図２および図６におけるステップＳＴ１１～ＳＴ１３，ＳＴ１５，ＳＴ１６，ＳＴ２１～ＳＴ２４の処理と同じであるため説明を省略する。
　ステップＳＴ３１において、切替判定部１４は、顔器官検出部１３により検出された顔器官の信頼性を、その顔器官の尤度を用いて評価する。切替判定部１４は、予め定められた第一の基準と顔器官検出部１３により検出された顔器官の尤度とを比較し、尤度が第一の基準以上の場合にその顔器官の信頼性が高いと判定し（ステップＳＴ３１“ＹＥＳ”）、第一の顔向き推定部１５による第一の顔向き推定手法に切り替える（ステップＳＴ１５）。一方、切替判定部１４は、尤度が第一の基準未満の場合（ステップＳＴ３１“ＮＯ”）、ステップＳＴ３２へ進む。
　ステップＳＴ３２において、切替判定部１４は、予め定められた第二の基準と顔器官検出部１３により検出された顔器官の尤度とを比較し、尤度が第二の基準未満の場合にその顔器官の信頼性が低いと判定し（ステップＳＴ３２“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。一方、切替判定部１４は、尤度が第二の基準以上の場合（ステップＳＴ３２“ＹＥＳ”）、ステップＳＴ２１へ進み顔器官の質を評価する。なお、第二の基準は、第一の基準より低い値である。
　以上のように、実施の形態３における切替判定部１４は、顔器官検出部１３により検出された顔器官の信頼性を評価するとともに、顔検出部１２により検出された顔の位置と顔器官検出部１３により検出された顔器官の位置関係に基づいて顔器官の質を評価し、信頼性の評価結果と質の評価結果とに基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替えるので、信頼性または質のいずれか一方のみを評価する場合に比べて正確に評価することができる。
実施の形態４．
　図９は、この発明の実施の形態４に係る顔向き推定装置１０の構成例を示すブロック図である。実施の形態４に係る顔向き推定装置１０は、図１に示した実施の形態１の顔向き推定装置１０に対して学習データ格納部４１および第三の顔向き推定部４２が追加された構成である。図９において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
　学習データ格納部４１には、サンプル画像を用いて顔の向きを学習した学習データが格納されている。学習データは、例えば、Ｒａｎｄｏｍ　Ｆｏｒｅｓｔなどの識別機を用いて大量のサンプル画像を学習して作成された複数の決定木である。
　第三の顔向き推定部４２は、学習データ格納部４１に格納されている学習データを用いて、顔画像取得部１１により取得された顔画像から顔の向きを推定する。Ｒａｎｄｏｍ　Ｆｏｒｅｓｔの場合、一枚の顔画像に対して、複数の決定木によって複数の顔の向きが推定される。第三の顔向き推定部４２は、学習データを用いて推定した顔の向きと、第二の顔向き推定部１６により推定された顔の向きとに基づいて、一つの顔の向きを求める。この第三の顔向き推定部４２は、第二の顔向き推定部１６による顔向き推定手法の推定精度を高めるために追加された機能である。
　図１０は、この発明の実施の形態４に係る顔向き推定装置１０の動作例を示すフローチャートである。図１０におけるステップＳＴ１１～ＳＴ１６の処理は、図２におけるステップＳＴ１１～ＳＴ１６の処理と同じであるため説明を省略する。また、図１０におけるステップＳＴ１４の処理の代わりに、図６におけるステップＳＴ２１～ＳＴ２４の処理、または図８におけるステップＳＴ３１，ＳＴ３２，ＳＴ２１～ＳＴ２４の処理を行ってもよい。
　ステップＳＴ４１において、第三の顔向き推定部４２は、顔画像取得部１１により取得された顔画像と第二の顔向き推定部１６により推定された顔の向きの情報とを、制御部１７から受け取る。第三の顔向き推定部４２は、学習データ格納部４１に格納されている学習データを用いて、顔画像取得部１１により取得された顔画像から顔の向きを一つ以上推定する。そして、第三の顔向き推定部４２は、例えば学習データを用いて推定した一つ以上の顔の向きと、第二の顔向き推定部１６により推定された顔の向きとの中から、多数決によって一つの顔の向きを決定する。あるいは、第三の顔向き推定部４２は、学習データを用いて推定した一つ以上の顔の向きと、第二の顔向き推定部１６により推定された顔の向きとの平均を求めてもよい。第三の顔向き推定部４２が最終的に出力する一つの顔の向きの求め方は、多数決または平均値算出に限定されるものではない。
　なお、第三の顔向き推定部４２は、学習データを用いて推定した顔の向きを、第二の顔向き推定部１６により推定された顔の向きに基づいて補正し、補正した顔の向きに基づいて一つの顔の向きを求めるようにしてもよい。ここで、図１１を用いて、第三の顔向き推定部４２による顔向き推定手法を説明する。
　図１１は、この発明の実施の形態４における第三の顔向き推定手法を説明する図であり、縦軸は上下方向の顔の向き、横軸は左右方向の顔の向きを示す。図１１の例では、第三の顔向き推定部４２が、学習データを用いて顔向きＡ，Ｂ，Ｃを推定するとともに、顔向きＡ，Ｂ，Ｃの尤度を算出する。これに対し、第二の顔向き推定部１６は、顔向きＤを推定したとする。この場合に、第三の顔向き推定部４２は、顔向きＡ～Ｃのうちの顔向きＤに最も近い顔向きＣの尤度に大きい重みを付け、顔向きＤから離れるに従い重みが小さくなるようにしたのち、尤度の重みを考慮した多数決または平均値算出を行う。ここでの重みづけが、上記「補正」にあたる。これにより、学習データを用いて推定された一つ以上の顔向きのうち、第二の顔向き推定部１６により推定された顔向きからかけ離れたものを除外することができる。
　以上のように、実施の形態４に係る顔向き推定装置１０は、サンプル画像を用いて顔の向きを学習した学習データを格納している学習データ格納部４１と、学習データを用いて、顔画像取得部１１により取得された顔画像から顔の向きを推定し、推定した顔の向きと、第二の顔向き推定部１６により推定された顔の向きとに基づいて一つの顔の向きを求める第三の顔向き推定部４２とを備える構成である。この構成により、第二の顔向き推定部１６によって顔の向きを推定する場合の精度を高めることができる。
　また、実施の形態４における第三の顔向き推定部４２は、学習データを用いて推定した顔の向きを、第二の顔向き推定部１６により推定された顔の向きに基づいて補正し、補正した顔の向きに基づいて一つの顔の向きを求める構成であってもよい。この構成により、学習データを用いた顔向き推定手法での誤推定を抑制することができる。
　最後に、この発明の各実施の形態に係る顔向き推定装置１０のハードウェア構成例を説明する。図１２は、この発明の各実施の形態に係る顔向き推定装置１０のハードウェア構成例を示す図である。
　顔向き推定装置１０における顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、制御部１７、および第三の顔向き推定部４２の各機能は、処理回路により実現される。処理回路は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３またはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２である。
　顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、制御部１７、および第三の顔向き推定部４２の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、ＲＯＭ３またはＨＤＤ６に格納される。ＣＰＵ２は、ＲＯＭ３またはＨＤＤ６に格納されたプログラムをＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４に読みだして実行することにより、各部の機能を実現する。すなわち、顔向き推定装置１０は、ＣＰＵ２により実行されるときに、図２等のフローチャートで示されたステップが結果的に実行されることになるプログラムを格納するためのＲＯＭ３またはＨＤＤ６を備える。また、このプログラムは、顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、制御部１７、および第三の顔向き推定部４２の手順または方法をコンピュータに実行させるものであるとも言える。
　ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、入力装置５、およびＨＤＤ６は、情報の授受が可能なように、バス８等により接続されている。顔向き推定装置１０における顔画像取得部１１は、撮像部１から顔画像が入力される入力装置５である。なお、撮像部１が撮像する際に顔を照らすための照明装置７が、バス８に接続されていてもよい。
　顔向き推定装置１０における学習データ格納部４１は、ＲＯＭ３またはＨＤＤ６である。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
　また、実施の形態１～４では、顔向き推定装置１０が車両に設置されている場合を例示したが、顔向き推定装置１０のうちの一部の機能が車両に設置され、残りの機能が車両外に設置されてもよい。例えば、車載装置とサーバ装置とが無線通信可能に接続されている場合、車載装置は、撮像部１と顔画像取得部１１を備え、顔画像をサーバ装置へ送信する。サーバ装置は、顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、学習データ格納部４１および第三の顔向き推定部４２を備え、車載装置から受信した顔画像を用いて顔の向きを推定し、推定結果を車載装置に返信する。なお、顔向きを推定する機能をサーバ装置が備える構成である必要はなく、この機能をスマートフォン等の携帯情報端末が備える構成であってもよい。あるいは、スマートフォン等が撮像部１と顔画像取得部１１を備え、スマートフォンからサーバ装置へ顔画像を送信し、サーバ装置が顔の向きを推定した結果を車載装置へ送信する構成であってもよい。
　この発明に係る顔向き推定装置は、顔全体を撮像できない場合であっても顔の向きを推定するようにしたので、車両、鉄道、船舶または航空機等を含む移動体に搭乗した搭乗者の顔の向きを推定する顔向き推定装置などに用いるのに適している。
　１　撮像部、２　ＣＰＵ、３　ＲＯＭ、４　ＲＡＭ、５　入力装置、６　ＨＤＤ、７　照明装置、８　バス、１０　顔向き推定装置、１１　顔画像取得部、１２　顔検出部、１３　顔器官検出部、１４　切替判定部、１５　第一の顔向き推定部、１６　第二の顔向き推定部、１７　制御部、４１　学習データ格納部、４２　第三の顔向き推定部、１０１，１０２　顔の領域、２０１　顔枠、２０２　右目尻、２０３　右目頭、２０４　左目頭、２０５　左目尻、２０６　鼻、２０７　口右端、２０８　口左端。

Claims (7)

  1. 　顔を撮像した顔画像を取得する顔画像取得部と、
    　前記顔画像取得部により取得された顔画像から、顔の位置を検出する顔検出部と、
    　前記顔検出部により検出された顔の位置から顔器官を検出する顔器官検出部と、
    　前記顔器官検出部により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部と、
    　前記切替判定部により前記第一の顔向き推定手法に切り替えられた場合、前記顔器官検出部により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部と、
    　前記切替判定部により前記第二の顔向き推定手法に切り替えられた場合、前記顔検出部により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部とを備える顔向き推定装置。
  2. 　前記切替判定部は、前記顔器官検出部により検出された顔器官の信頼性を評価し、信頼性が高い場合に前記第一の顔向き推定手法に切り替え、信頼性が低い場合に前記第二の顔向き推定手法に切り替えることを特徴とする請求項１記載の顔向き推定装置。
  3. 　前記切替判定部は、前記顔検出部により検出された顔の位置と前記顔器官検出部により検出された顔器官の位置関係に基づいて顔器官の質を評価し、質が高い場合に前記第一の顔向き推定手法に切り替え、質が低い場合に前記第二の顔向き推定手法に切り替えることを特徴とする請求項１記載の顔向き推定装置。
  4. 　前記切替判定部は、前記顔器官検出部により検出された顔器官の信頼性を評価するとともに、前記顔検出部により検出された顔の位置と前記顔器官検出部により検出された顔器官の位置関係に基づいて顔器官の質を評価し、前記信頼性の評価結果と前記質の評価結果とに基づいて前記第一の顔向き推定手法と前記第二の顔向き推定手法とを切り替えることを特徴とする請求項１記載の顔向き推定装置。
  5. 　サンプル画像を用いて顔の向きを学習した学習データを格納している学習データ格納部と、
    　前記学習データを用いて、前記顔画像取得部により取得された顔画像から顔の向きを推定し、推定した顔の向きと、前記第二の顔向き推定部により推定された顔の向きとに基づいて一つの顔の向きを求める第三の顔向き推定部とを備えることを特徴とする請求項１記載の顔向き推定装置。
  6. 　前記第三の顔向き推定部は、前記学習データを用いて推定した顔の向きを、前記第二の顔向き推定部により推定された顔の向きに基づいて補正し、補正した顔の向きに基づいて前記一つの顔の向きを求めることを特徴とする請求項５記載の顔向き推定装置。
  7. 　顔画像取得部が、顔を撮像した顔画像を取得するステップと、
    　顔検出部が、前記顔画像取得部により取得された顔画像から、顔の位置を検出するステップと、
    　顔器官検出部が、前記顔検出部により検出された顔の位置から顔器官を検出するステップと、
    　切替判定部が、前記顔器官検出部により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替えるステップと、
    　前記切替判定部により前記第一の顔向き推定手法に切り替えられた場合、第一の顔向き推定部が、前記顔器官検出部により検出された顔器官の位置関係に基づいて顔の向きを推定するステップと、
    　前記切替判定部により前記第二の顔向き推定手法に切り替えられた場合、第二の顔向き推定部が、前記顔検出部により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定するステップとを備える顔向き推定方法。
PCT/JP2017/009726 2017-03-10 2017-03-10 顔向き推定装置および顔向き推定方法 WO2018163404A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/486,420 US11216968B2 (en) 2017-03-10 2017-03-10 Face direction estimation device and face direction estimation method
PCT/JP2017/009726 WO2018163404A1 (ja) 2017-03-10 2017-03-10 顔向き推定装置および顔向き推定方法
DE112017007011.2T DE112017007011B4 (de) 2017-03-10 2017-03-10 Gesichtsrichtungsschätzvorrichtung und Gesichtsrichtungsschätzverfahren
JP2019504268A JP6584717B2 (ja) 2017-03-10 2017-03-10 顔向き推定装置および顔向き推定方法
CN201780087751.3A CN110537207B (zh) 2017-03-10 2017-03-10 脸部朝向推定装置及脸部朝向推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/009726 WO2018163404A1 (ja) 2017-03-10 2017-03-10 顔向き推定装置および顔向き推定方法

Publications (1)

Publication Number Publication Date
WO2018163404A1 true WO2018163404A1 (ja) 2018-09-13

Family

ID=63448415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009726 WO2018163404A1 (ja) 2017-03-10 2017-03-10 顔向き推定装置および顔向き推定方法

Country Status (5)

Country Link
US (1) US11216968B2 (ja)
JP (1) JP6584717B2 (ja)
CN (1) CN110537207B (ja)
DE (1) DE112017007011B4 (ja)
WO (1) WO2018163404A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210042957A1 (en) * 2019-02-15 2021-02-11 Universal City Studios Llc Object orientation detection system
JPWO2021192225A1 (ja) * 2020-03-27 2021-09-30

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054217A1 (ja) * 2019-09-20 2021-03-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
TWI714318B (zh) * 2019-10-25 2020-12-21 緯創資通股份有限公司 人臉辨識方法及裝置
CN111028014A (zh) * 2019-12-11 2020-04-17 秒针信息技术有限公司 一种评估资源投放效果的方法及装置
CN117097982B (zh) * 2023-10-17 2024-04-02 北京钧雷科技有限公司 目标检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097676A (ja) * 1998-09-24 2000-04-07 Sanyo Electric Co Ltd 顔向き検出方法及びその装置
JP2003296712A (ja) * 2002-04-02 2003-10-17 Nissan Motor Co Ltd 顔状態検出装置及び方法
JP2009237993A (ja) * 2008-03-27 2009-10-15 Secom Co Ltd 画像監視装置
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2012118927A (ja) * 2010-12-03 2012-06-21 Fujitsu Ltd 画像処理プログラムおよび画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391888B2 (en) 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
ATE546800T1 (de) * 2005-07-05 2012-03-15 Omron Tateisi Electronics Co Tracking-vorrichtung
EP2234062A4 (en) * 2008-01-16 2011-06-01 Asahi Chemical Ind FACIAL DETERMINATION DEVICE, FACING PROCEDURE PROCEDURE AND FACE DETERMINATION PROGRAM
JP5176572B2 (ja) * 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2010044214A1 (ja) * 2008-10-14 2010-04-22 パナソニック株式会社 顔認識装置および顔認識方法
JP4748244B2 (ja) * 2009-03-31 2011-08-17 カシオ計算機株式会社 画像選択装置、画像選択方法及びプログラム
US8929598B2 (en) * 2011-06-29 2015-01-06 Olympus Imaging Corp. Tracking apparatus, tracking method, and storage medium to store tracking program
JP5450739B2 (ja) * 2012-08-30 2014-03-26 シャープ株式会社 画像処理装置及び画像表示装置
JP6013241B2 (ja) * 2013-03-18 2016-10-25 株式会社東芝 人物認識装置、及び方法
JP2014218140A (ja) 2013-05-07 2014-11-20 株式会社デンソー 運転者状態監視装置、および運転者状態監視方法
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
JP6573193B2 (ja) 2015-07-03 2019-09-11 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、および判定プログラム
CN109310316B (zh) * 2016-04-28 2021-09-21 尼德克株式会社 眼科装置
US10332312B2 (en) * 2016-12-25 2019-06-25 Facebook, Inc. Shape prediction model compression for face alignment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097676A (ja) * 1998-09-24 2000-04-07 Sanyo Electric Co Ltd 顔向き検出方法及びその装置
JP2003296712A (ja) * 2002-04-02 2003-10-17 Nissan Motor Co Ltd 顔状態検出装置及び方法
JP2009237993A (ja) * 2008-03-27 2009-10-15 Secom Co Ltd 画像監視装置
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2012118927A (ja) * 2010-12-03 2012-06-21 Fujitsu Ltd 画像処理プログラムおよび画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210042957A1 (en) * 2019-02-15 2021-02-11 Universal City Studios Llc Object orientation detection system
US11741628B2 (en) * 2019-02-15 2023-08-29 Universal City Studios Llc Object orientation detection system
JPWO2021192225A1 (ja) * 2020-03-27 2021-09-30
WO2021192225A1 (ja) * 2020-03-27 2021-09-30 日本電気株式会社 教師データ変換装置、教師データ変換方法、及び、非一時的な記録媒体
JP7283631B2 (ja) 2020-03-27 2023-05-30 日本電気株式会社 教師データ変換装置、教師データ変換方法、及び、プログラム

Also Published As

Publication number Publication date
JP6584717B2 (ja) 2019-10-02
JPWO2018163404A1 (ja) 2019-08-08
US11216968B2 (en) 2022-01-04
US20200034981A1 (en) 2020-01-30
CN110537207B (zh) 2023-04-21
CN110537207A (zh) 2019-12-03
DE112017007011B4 (de) 2021-11-04
DE112017007011T5 (de) 2019-10-31

Similar Documents

Publication Publication Date Title
JP6584717B2 (ja) 顔向き推定装置および顔向き推定方法
JP6304999B2 (ja) 顔検出装置、方法およびプログラム
JP4928572B2 (ja) リアルタイムの頭部ポーズ検出において使用するためのデータベースシステム
US9405982B2 (en) Driver gaze detection system
JP4728432B2 (ja) 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
US9251400B2 (en) Learning apparatus, method for controlling learning apparatus, detection apparatus, method for controlling detection apparatus and storage medium
JP6187817B2 (ja) 顔検出装置、方法およびプログラム
WO2019180876A1 (ja) 体格推定装置および体格推定方法
JP2019168954A (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
US20230410356A1 (en) Detection apparatus, detection method, and non-transitory storage medium
JP5111321B2 (ja) 瞼尤度演算装置、及びプログラム
CN110622210A (zh) 用于处理360度图像的方法和装置
JP2011233072A (ja) ロボット、位置推定方法及びプログラム
CN111696312B (zh) 乘员观察装置
JP2021056968A (ja) 物体判定装置
JP2021101288A (ja) 制御装置、コンピュータプログラム、および認証システム
JP2022123912A (ja) 視線検出装置、視線検出システム、及び視線検出方法
JP2021007717A (ja) 乗員観察装置、乗員観察方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900068

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019504268

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17900068

Country of ref document: EP

Kind code of ref document: A1