JP7418386B2

JP7418386B2 - Face orientation determination system

Info

Publication number: JP7418386B2
Application number: JP2021202576A
Authority: JP
Inventors: 俊剛関
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2021-12-14
Filing date: 2021-12-14
Publication date: 2024-01-19
Anticipated expiration: 2041-12-14
Also published as: WO2023112606A1; JP2023087986A

Description

本発明は、顔向き判定システムに関する。 The present invention relates to a face orientation determination system.

従来、顔向き判定システムとして、例えば、特許文献１には、運転者の顔の特徴点として、運転者の眉、目尻、及び口元の少なくとも１つの３次元位置を検出することで運転者の顔向きを推定する運転者監視装置が記載されている。 Conventionally, as a face orientation determination system, for example, Patent Document 1 discloses that a driver's face is detected by detecting at least one three-dimensional position of the driver's eyebrows, the corners of the eyes, and the mouth as feature points of the driver's face. A driver monitoring device that estimates direction is described.

特開２０１１－１５４７２１号公報Japanese Patent Application Publication No. 2011-154721

ところで、上述の特許文献１に記載の運転者監視装置は、例えば、運転者が脇見した際に顔の特徴点の一部しか検出できない場合、運転者の顔向きを推定できないおそれがある。 By the way, the driver monitoring device described in Patent Document 1 mentioned above may not be able to estimate the direction of the driver's face, for example, if only a part of the facial feature points can be detected when the driver looks aside.

そこで、本発明は、上記に鑑みてなされたものであって、人物の顔の向きを適正に判定することができる顔向き判定システムを提供することを目的とする。 Therefore, the present invention has been made in view of the above, and an object of the present invention is to provide a face orientation determination system that can appropriately determine the orientation of a person's face.

上述した課題を解決し、目的を達成するために、本発明に係る顔向き検出システムは、人物の顔を撮像する撮像部と、前記撮像部により撮像された前記人物の顔の画像に基づいて、前記人物の目尻の位置を検出する目尻検出部と、前記目尻検出部により検出された前記目尻の位置と、前記人物の頭部を回旋する際の基準となる頭部回旋基準の位置とに基づいて、前記人物の顔の向きを検出する顔向き検出部と、を備えることを特徴とする。 In order to solve the above-mentioned problems and achieve the purpose, a face orientation detection system according to the present invention includes an imaging section that captures an image of a person's face, and a system based on an image of the person's face captured by the imaging section. , an eye corner detection unit that detects the position of the person's eye corner, a position of the eye corner detected by the eye corner detection unit, and a head rotation reference position that is a reference when rotating the person's head; and a face orientation detection unit that detects the orientation of the face of the person based on the information.

本発明に係る顔向き検出システムは、人物が脇見した際に片方の目尻しか検出できない場合でも人物の顔の向きを判定することができ、この結果、人物の顔の向きを適正に判定することができる。 The face orientation detection system according to the present invention can determine the orientation of a person's face even if only the corner of one eye can be detected when the person looks aside, and as a result, the orientation of the person's face can be determined appropriately. Can be done.

図１は、実施形態に係る顔向き検出システムの構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a face orientation detection system according to an embodiment. 図２は、実施形態に係る頭軸の範囲を示す図である。FIG. 2 is a diagram showing the range of the head axis according to the embodiment. 図３は、実施形態に係る頭軸の位置の計算例を示す図である。FIG. 3 is a diagram showing an example of calculating the position of the head axis according to the embodiment. 図４は、実施形態に係る上下方向の顔向き角度の計算例を示す図である。FIG. 4 is a diagram illustrating an example of calculating the vertical face orientation angle according to the embodiment. 図５は、実施形態に係る上下方向の顔向き角度の計算例を示す図である。FIG. 5 is a diagram illustrating an example of calculating the vertical face orientation angle according to the embodiment. 図６は、実施形態に係る左右方向の顔向き角度の計算例を示す図である。FIG. 6 is a diagram illustrating an example of calculation of the face direction angle in the left and right direction according to the embodiment. 図７は、実施形態に係る左右方向の顔向き角度の計算例を示す図である。FIG. 7 is a diagram illustrating an example of calculating the face direction angle in the left-right direction according to the embodiment. 図８は、実施形態に係る左右の顔向き方向の判定例を示す図である。FIG. 8 is a diagram illustrating an example of determining left and right face directions according to the embodiment. 図９は、実施形態に係る顔映像取得カメラと運転者との位置関係を示す図である。FIG. 9 is a diagram showing the positional relationship between the face image acquisition camera and the driver according to the embodiment. 図１０は、実施形態に係るパラメータの更新例（増加）を示す図である。FIG. 10 is a diagram showing an example of parameter update (increase) according to the embodiment. 図１１は、実施形態に係るパラメータの更新例（減少）を示す図である。FIG. 11 is a diagram showing an example of parameter update (decrease) according to the embodiment. 図１２は、実施形態に係る左右方向における顔映像取得カメラの設置角度を示す図である。FIG. 12 is a diagram showing the installation angle of the facial image acquisition camera in the left-right direction according to the embodiment. 図１３は、実施形態に係る上下方向における顔映像取得カメラの設置角度を示す図である。FIG. 13 is a diagram showing the installation angle of the face image acquisition camera in the vertical direction according to the embodiment. 図１４は、実施形態に係る顔向き検出結果（角度）の平均誤差を示す図である。FIG. 14 is a diagram showing the average error of face orientation detection results (angles) according to the embodiment. 図１５は、実施形態に係る脇見検出処理を示すフローチャートである。FIG. 15 is a flowchart showing the inattentiveness detection process according to the embodiment. 図１６は、実施形態に係る顔向き検出処理を示すフローチャートである。FIG. 16 is a flowchart showing face orientation detection processing according to the embodiment. 図１７は、実施形態に係る頭軸の位置の計算処理を示すフローチャートである。FIG. 17 is a flowchart showing calculation processing for the position of the head axis according to the embodiment. 図１８は、実施形態に係るパラメータ更新処理を示すフローチャートである。FIG. 18 is a flowchart showing parameter update processing according to the embodiment. 図１９は、実施形態の第１変形例に係る頭軸の位置の計算処理を示すフローチャートである。FIG. 19 is a flowchart showing calculation processing for the position of the head axis according to the first modification of the embodiment. 図２０は、実施形態の第２変形例に係る頭軸の位置の計算処理を示すフローチャートである。FIG. 20 is a flowchart showing calculation processing for the position of the head axis according to the second modified example of the embodiment. 図２１は、実施形態の第３変形例に係る頭軸の位置の計算処理を示すフローチャートである。FIG. 21 is a flowchart showing calculation processing for the position of the head axis according to the third modification of the embodiment.

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。更に、以下に記載した構成は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Modes (embodiments) for carrying out the present invention will be described in detail with reference to the drawings. The present invention is not limited to the contents described in the following embodiments. Further, the constituent elements described below include those that can be easily assumed by those skilled in the art and those that are substantially the same. Furthermore, the configurations described below can be combined as appropriate. Further, various omissions, substitutions, or changes in the configuration can be made without departing from the gist of the present invention.

〔実施形態〕
図面を参照しながら実施形態に係る顔向き検出システム１について説明する。顔向き検出システム１は、人物の顔の向きを検出するものであり、例えば、車両に搭載され、当該車両の運転席に着座した運転者の顔の向きを検出する。顔向き検出システム１は、例えば、図１に示すように、撮像部としての顔映像取得カメラ１０と、目尻検出部としての顔特徴点検出ユニット２０と、顔向き計算ユニット３０とを備える。 [Embodiment]
A face orientation detection system 1 according to an embodiment will be described with reference to the drawings. The face orientation detection system 1 detects the orientation of a person's face, and is mounted on a vehicle, for example, and detects the orientation of the face of a driver seated in the driver's seat of the vehicle. The face orientation detection system 1 includes, for example, as shown in FIG. 1, a face image acquisition camera 10 as an imaging unit, a facial feature point detection unit 20 as an eye corner detection unit, and a face orientation calculation unit 30.

ここで、運転者が正面を向いた状態で当該運転者の左右の目尻Ｅに沿った方向を左右方向Ｘと称し、上下に沿った方向を鉛直方向又は上下方向Ｙと称し、運転者が正面を向いた状態で当該運転者の視線に沿った方向を奥行き方向Ｚと称する。左右方向Ｘ、上下方向Ｙ、及び、奥行き方向Ｚは、互いに交差し、典型的には直交する。 Here, the direction along the outer corners E of the left and right eyes of the driver when the driver is facing forward is referred to as the left-right direction X, and the direction along the upper and lower sides is referred to as the vertical direction or up-down direction Y. The direction along the line of sight of the driver when facing is referred to as the depth direction Z. The left-right direction X, the up-down direction Y, and the depth direction Z intersect with each other and are typically orthogonal to each other.

顔映像取得カメラ１０は、運転者の顔を撮像するものであり、例えば、車両に搭載され、当該車両の運転席に着座した運転者の顔を撮像する。顔映像取得カメラ１０は、運転者の前方、例えば、車両のダッシュボードや車両のルーフの前方等に配置され、運転者のアイリプスの中心が撮像範囲の中心になるように設けられ、車両の前方から運転者の顔を撮像する。顔映像取得カメラ１０は、顔特徴点検出ユニット２０に接続され、撮像した運転者の顔を表す画像（動画（映像）又は静止画）データを顔特徴点検出ユニット２０に出力する。 The face image acquisition camera 10 is for capturing an image of a driver's face, and is mounted on a vehicle, for example, and captures an image of the face of a driver seated in the driver's seat of the vehicle. The facial image acquisition camera 10 is placed in front of the driver, for example, in front of the dashboard of the vehicle or the roof of the vehicle. An image of the driver's face is taken from the front. The facial image acquisition camera 10 is connected to the facial feature point detection unit 20 and outputs image data (moving image (video) or still image) representing the captured face of the driver to the facial feature point detection unit 20 .

顔特徴点検出ユニット２０は、画像データから顔の特徴点を検出するものである。顔特徴点検出ユニット２０は、例えば、ＯｐｅｎＣＶ等の周知の画像認識技術（機械学習）を用いて画像データから顔の特徴点を検出する。顔特徴点検出ユニット２０は、例えば、画像データから顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する。ここでは、顔特徴点検出ユニット２０は、検出した顔の部位の位置の情報を座標上の情報として扱う。顔特徴点検出ユニット２０は、顔向き計算ユニット３０に接続され、検出した左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）を顔向き計算ユニット３０に出力する。 The facial feature point detection unit 20 detects facial feature points from image data. The facial feature point detection unit 20 detects facial feature points from image data using a well-known image recognition technique (machine learning) such as, for example, Open CV. The facial feature point detection unit 20 detects, for example, left and right eye corners E, left and right pupils, etc. as facial feature points from the image data, and detects the positions of these facial parts. Here, the facial feature point detection unit 20 treats information on the position of the detected facial part as coordinate information. The facial feature point detection unit 20 is connected to the face orientation calculation unit 30 and outputs information representing the detected positions of the left and right outer corners E (information representing the positional coordinates of the left and right outer corners E) to the face orientation calculation unit 30.

顔向き計算ユニット３０は、運転者の顔の向きを計算するものであり、ＣＰＵ、メモリを構成するＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。顔向き計算ユニット３０は、目尻距離演算部３１と、記憶部３２と、顔向き検出部３３と、パラメータ更新部３４とを含んで構成され、顔の部位の位置の情報を座標上の情報として扱う。 The face direction calculation unit 30 calculates the direction of the driver's face, and includes an electronic circuit mainly including a well-known microcomputer including a CPU, a ROM constituting a memory, a RAM, and an interface. The face direction calculation unit 30 includes an eye corner distance calculation section 31, a storage section 32, a face direction detection section 33, and a parameter update section 34, and calculates information on the position of facial parts as coordinate information. handle.

目尻距離演算部３１は、人物が正面を向いた状態での左右の目尻Ｅの距離ｄ_０（図３参照）を演算するものである。目尻距離演算部３１は、顔特徴点検出ユニット２０に接続され、当該顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅ（左目尻ＬＥ、右目尻ＲＥ）の距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する。目尻距離演算部３１は、例えば、図３に示すように、左目尻ＬＥの位置座標（ｘ_ＬＥ０、ｙ_ＬＥ０）と右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｙ_ＲＥ０）との距離ｄ_０を演算すると共に、左目尻ＬＥの位置座標（ｘ_ＬＥ０、ｙ_ＬＥ０）と右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｙ_ＲＥ０）との中央の位置座標（ｘ_Ｃ０、ｙ_Ｃ０）を演算する。目尻距離演算部３１は、顔向き検出部３３に接続され、演算した距離ｄ_０及び中央の位置座標（ｘ_Ｃ０、ｙ_Ｃ０）を顔向き検出部３３に出力する。 The eye corner distance calculation unit 31 calculates the distance d ₀ (see FIG. 3) between the left and right eye corners E when the person faces forward. The eye corner distance calculation section 31 is connected to the facial feature point detection unit 20, and uses information representing the positions of the left and right outer corners E (information representing the position coordinates of the left and right outer corners E) output from the facial feature point detection unit 20. Based on this, the distance _d0 between the left and right outer corners E (left outer corner LE, right outer corner RE) is calculated, and the center position of the left and right outer corners E is calculated. For example, as shown in FIG. 3, the eye corner distance calculation unit 31 calculates the distance d ₀ between the position coordinates (x _LE0 , y _LE0 ) of the left eye corner LE and the position coordinates (x _RE0 , y _RE0 ) of the right eye corner RE. At the same time, the _central position coordinates (x C0 , y C0 ) between the position coordinates (x _LE0 , y _LE0 ) of the left outer corner LE and the position coordinates (x _RE0 , y _RE0 ) of the right outer corner _RE are calculated. The eye corner distance calculation section 31 is connected to the face direction detection section 33 and outputs the calculated distance d ₀ and center position coordinates (x _C0 , y _C0 ) to the face direction detection section 33 .

記憶部３２は、情報を記憶するものであり、例えば、ＲＡＭ等の揮発性メモリや、ＲＯＭ、フラッシュメモリ等の不揮発性メモリを含んで構成される。記憶部３２は、例えば、顔向き計算ユニット３０での各種処理に必要な条件や情報、顔向き計算ユニット３０で実行する各種プログラムやアプリケーション、制御データ等が格納されている。そして、記憶部３２は、人体の寸法を統計的に表した人体寸法データベースに基づいて予め定められた標準の人体の寸法を記憶している。記憶部３２は、例えば、標準の人体の寸法として、図３に示すように、左右の目尻Ｅの標準距離ｄ、左右の目尻Ｅの中央の位置と軸椎Ｇとの奥行き方向Ｚの標準距離ｗ、左右の目尻Ｅの中央の位置と軸椎Ｇとの上下方向Ｙの距離ｈ等を記憶している。すなわち、記憶部３２は、標準の人体の寸法として、左右の目尻Ｅの標準距離ｄ、左右の目尻Ｅの中央の位置と軸椎Ｇと標準距離ｗ、及び、左右の目尻Ｅの中央の位置と軸椎Ｇとの標準距離ｈから定まる軸椎Ｇ（標準の頭軸Ｐ）の位置を記憶している。 The storage unit 32 stores information, and includes, for example, volatile memory such as RAM, and nonvolatile memory such as ROM and flash memory. The storage unit 32 stores, for example, conditions and information necessary for various processes in the face orientation calculation unit 30, various programs and applications to be executed by the face orientation calculation unit 30, control data, and the like. The storage unit 32 stores standard human body dimensions predetermined based on a human body dimension database that statistically represents human body dimensions. The storage unit 32 stores, for example, as standard human body dimensions, a standard distance d between the left and right outer corners E, and a standard distance in the depth direction Z between the center position of the left and right outer corners E and the axial vertebrae G, as shown in FIG. w, the distance h in the vertical direction Y between the center position of the left and right outer corners E and the axial vertebrae G, etc. are stored. That is, the storage unit 32 stores, as standard human body dimensions, a standard distance d between the left and right outer corners E, a standard distance w between the center position of the left and right outer corners E and the axial vertebrae G, and a center position between the left and right outer corners E. The position of the axial vertebra G (standard head axis P) determined from the standard distance h between the axial vertebra G and the axial vertebra G is stored.

顔向き検出部３３は、運転者の顔向きを検出するものである。顔向き検出部３３は、例えば、顔特徴点検出ユニット２０により検出された目尻Ｅの位置と、頭部回旋基準としての頭軸Ｐの位置とに基づいて、運転者の顔の向きを検出する。ここで、頭軸Ｐは、運転者の頭部を回旋する際の基準となる部分であり、図２に示すように、軸椎Ｇと座骨Ｊとの間に設定される。言い換えれば、運転者の頭部は、頭軸Ｐを基準として旋回する。顔向き検出部３３は、記憶部３２に記憶された標準の頭軸Ｐを個人に合わせて調整するパーソナライズ処理を行う。具体的には、顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正した補正後の頭軸Ｐの位置に基づいて、運転者の顔の向きを検出する。顔向き検出部３３は、例えば、以下の式（１）を用いて、左目尻ＬＥの位置座標（ｘ_ＬＥ０、ｙ_ＬＥ０）と右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｙ_ＲＥ０）とから、頭軸ＰのＸ座標ｘ_Ａ（ｘ_ｃ０）を求める。また、顔向き検出部３３は、以下の式（２）～（４）を用いて、頭軸ＰのＹ座標ｙ_Ａを求める。顔向き検出部３３は、例えば、式（２）を用いて、左右の目尻Ｅの標準距離ｄ、及び、目尻Ｅの位置（例えば、左右の目尻Ｅの中央の位置）と標準の頭軸Ｐとの上下方向Ｙの標準距離ｈからパラメータＰ_ｈを求め、式（３）を用いて、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｈとから補正後の距離ｈ_０を求め、式（４）を用いて、左目尻ＬＥの位置座標（ｘ_ＬＥ０、ｙ_ＬＥ０）と右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｙ_ＲＥ０）と補正後の距離ｈ_０とから頭軸Ｐの補正後のＹ座標ｙ_Ａを求める。つまり、顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０を用いて、頭軸ＰのＹ座標ｙ_Ａをパーソナライズ化している。また、顔向き検出部３３は、以下の式（５）、（６）を用いて、左右の目尻Ｅの中央の位置と頭軸Ｐとの奥行き方向Ｚの距離ｗ_０を求める。顔向き検出部３３は、例えば、式（５）を用いて、左右の目尻Ｅの標準距離ｄ、及び、左右の目尻Ｅの中央の位置と標準の頭軸Ｐとの奥行き方向Ｚの標準距離ｗとからパラメータＰ_ｗを求め、式（６）を用いて、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｗとから補正後の距離ｗ_０を求める。つまり、顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０を用いて、頭軸ＰのＺ座標をパーソナライズ化している。 The face direction detection unit 33 detects the driver's face direction. The face orientation detection unit 33 detects the orientation of the driver's face based on, for example, the position of the outer corner of the eye E detected by the facial feature point detection unit 20 and the position of the head axis P as a head rotation reference. . Here, the head axis P is a reference point when rotating the driver's head, and is set between the axial vertebrae G and the ischial bones J, as shown in FIG. In other words, the driver's head turns with the head axis P as a reference. The face orientation detection unit 33 performs a personalization process to adjust the standard head axis P stored in the storage unit 32 to match the individual. Specifically, the face orientation detection unit 33 determines the predetermined standard position of the head axis P from an image of the driver's face captured by the facial image acquisition camera 10 with the driver facing forward. The direction of the driver's face is detected based on the corrected position of the head axis P, which is corrected according to the distance _d0 between the left and right corners of the eyes of the driver. The face _direction detection unit 33 uses, for example, _the following equation (1 ₎ to determine whether the _head The X coordinate x _A (x _c0 ) of the axis P is determined. Further, the face orientation detection unit 33 determines the Y coordinate _yA of the head axis P using the following equations (2) to (4). The face direction detection unit 33 uses, for example, equation (2) to determine the standard distance d between the left and right outer corners E, the position of the outer corners E (for example, the center position of the left and right outer corners E), and the standard head axis P. _The parameter P _h is determined from the standard distance _h in the vertical _direction Y from ), calculate the corrected Y coordinate of the head axis P from the position coordinates of the left corner of the eye LE (x _LE0 , y _LE0 ), the position coordinates of the right corner of the eye RE (x _RE0 , y _RE0 ), and the corrected distance h ₀ Find _yA . That is, the face direction detection unit 33 personalizes the Y coordinate _yA of the head axis P using the distance _d0 between the left and right outer corners E. Further, the face direction detection unit 33 calculates the distance w ₀ in the depth direction Z between the center position of the left and right outer corners E and the head axis P using the following equations (5) and (6). The face direction detection unit 33 uses, for example, equation (5) to determine the standard distance d between the left and right outer corners E, and the standard distance in the depth direction Z between the center position of the left and right outer corners E and the standard head axis P. A parameter P _w is determined from w, and a corrected distance w ₀ is determined from the distance d ₀ between the left and right outer corners of the eyes E and the parameter P _w using equation (6). In other words, the face direction detection unit 33 personalizes the Z coordinate of the head axis P using the distance d ₀ between the left and right outer corners of the eyes E.

顔向き検出部３３は、パーソナライズ化した頭軸Ｐ、すなわち補正後の頭軸Ｐに基づいて運転者の顔向きを検出する。顔向き検出部３３は、例えば、図４、図５に示すように、目尻Ｅの位置座標（ｙ_ＲＥ１、ｚ_ＲＥ１）と頭軸Ｐの位置座標との上下方向Ｙの距離ｈ_１を検出する。顔向き検出部３３は、検出した距離ｈ_１に基づき、以下の式（７）～（１８）を用いて、顔の上下方向Ｙの角度を求める。以下の式（７）～（１８）では、「ｋ」は、直角三角形の斜辺を表し、「θ_Ｐ０」は、正面を向いたときの顔の目尻Ｅと頭軸Ｐとの角度を表し、「θ_Ｐ１」は、顔の上下方向Ｙの角度を表し、「θ_Ｐ２」は、奥行き方向Ｚと斜辺ｋとの角度を表す。この例では、頭軸Ｐの位置座標を原点（０，０）としている。顔向き検出部３３は、式（７）を用いて、角度θ_Ｐ２を求める。このとき、三角関数により、角度θ_Ｐ２は、式（８）で表される。顔向き検出部３３は、式（７）と式（８）とを組み合わせると、式（９）となり、式（９）～式（１８）に示すように順番に演算を進めると、最終的に式（１８）を取得することができ、この結果、顔の上下方向Ｙの角度θ_Ｐ１を得られる。 The face direction detection unit 33 detects the driver's face direction based on the personalized head axis P, that is, the corrected head axis P. For example, as shown in FIGS. 4 and 5, the face direction detection unit 33 detects the distance h ₁ in the vertical direction Y between the position coordinates (y _RE1 , z _RE1 ) of the outer corner of the eye and the position coordinate of the head axis P. . The face direction detection unit 33 calculates the angle of the face in the vertical direction Y based on the detected distance h ₁ using the following equations (7) to (18). In the following equations (7) to (18), "k" represents the hypotenuse of the right triangle, "θ _P0 " represents the angle between the outer corner of the eye E and the head axis P when facing forward, "θ _P1 " represents the angle of the face in the vertical direction Y, and "θ _P2 " represents the angle between the depth direction Z and the hypotenuse k. In this example, the positional coordinates of the head axis P are set as the origin (0,0). The face direction detection unit 33 uses equation (7) to find the angle θ _P2 . At this time, the angle θ _P2 is expressed by equation (8) using trigonometric functions. When the face orientation detection unit 33 combines equations (7) and (8), equation (9) is obtained, and when the calculations are performed in order as shown in equations (9) to (18), the final result is Equation (18) can be obtained, and as a result, the angle θ _P1 of the face in the vertical direction Y can be obtained.

顔向き検出部３３は、例えば、図６、図７に示すように、右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１）を検出する。顔向き検出部３３は、検出した右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１）に基づき、以下の式（１９）～（２８）を用いて、顔の左右方向Ｘの角度を求める。以下の式（１９）～（２８）では、「θ_Ｙ１」は、顔の左右方向Ｘの角度を表し、その範囲が０°≦θ_Ｙ１≦９０°であり、「ｘ_ｃ１」は、左右の目尻Ｅの中央の位置座標（Ｘ座標）を表し、「ｄ_Ｅ」は、目尻Ｅの変位を表す。この例では、頭軸Ｐの位置座標を原点（０，０）としている。顔向き検出部３３は、式（１９）を用いて、角度θ_Ｙ１を求める。このとき、式（１９）の「ｘ_ｃ１」は、式（２０）で表され、式（２０）を式（１９）に代入すると、式（２１）が得られる。式（２１）において、未知の変数は、「ｄｘ」だけである。式（２１）は、三角関数により、式（２２）に変形することができ、式（２２）は、式（２３）、式（２４）に変形することができる。そして、式（２５）に示すように、変数を置き換えると、式（２６）を導き出すことができ、式（２６）から式（２７）、式（２８）を導き出すことができる。顔向き検出部３３は、式（２８）から「ｄｘ」を算出することができ、算出した「ｄｘ」を式（２１）に代入することで、顔の左右方向Ｘの角度θ_Ｙ１を得られる。 The face direction detection unit 33 detects the position coordinates (x _RE1 , z _RE1 ) of the right outer corner RE, as shown in FIGS. 6 and 7, for example. The face direction detection unit 33 calculates the angle of the face in the left-right direction X based on the detected position coordinates (x _RE1 , z _RE1 ) of the right outer corner RE using the following equations (19) to (28). In the following equations ₍ ₁₉ ) to (28), "θ _Y1 " represents the angle of the face in the left-right direction It represents the positional coordinate (X coordinate) of the center of the outer corner E of the eye, and "d _E " represents the displacement of the outer corner E of the eye. In this example, the positional coordinates of the head axis P are set as the origin (0,0). The face orientation detection unit 33 uses equation (19) to find the angle θ _Y1 . At this time, "x _c1 " in equation (19) is expressed by equation (20), and by substituting equation (20) into equation (19), equation (21) is obtained. In equation (21), the only unknown variable is "dx". Equation (21) can be transformed into equation (22) using trigonometric functions, and equation (22) can be transformed into equation (23) and equation (24). Then, as shown in Equation (25), by replacing variables, Equation (26) can be derived, and Equation (27) and Equation (28) can be derived from Equation (26). The face direction detection unit 33 can calculate "dx" from equation (28), and by substituting the calculated "dx" into equation (21), the angle θ _Y1 of the face in the left-right direction X can be obtained. .

なお、式（２０）において、「ｄｘ≧０」であり、顔が右を向いた場合、「ｘ_ｃ１＝ｘ_ＬＥ１＋ｄｘ」となる。

Note that in equation (20), when "dx≧0" and the face turns to the right, "x _c1 =x _LE1 +dx".

顔向き検出部３３は、図８に示すように、右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１）が、正面を向いたときの右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｚ_ＲＥ０）よりも大きい場合、顔が左側を向いていると判定する。一方で、顔向き検出部３３は、右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１）が、正面を向いたときの右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｚ_ＲＥ０）よりも小さい場合、顔が右側を向いていると判定する。 As shown in FIG. 8, the face orientation detection unit 33 detects that the position coordinates (x _RE1 , z _RE1 ) of the right outer corner RE are smaller than the position coordinates (x _RE0 , z _RE0 ) of the right outer corner RE when facing forward. If it is large, it is determined that the face is facing to the left. On the other hand, if the position coordinates (x _RE1 , z _RE1 ) of the right outer corner RE of the right eye are smaller than the position coordinates (x _RE0 , z _RE0 ) of the right outer corner RE when facing forward, the face orientation detection unit 33 detects is determined to be facing to the right.

次に、パラメータ更新部３４について説明する。パラメータ更新部３４は、顔映像取得カメラ１０の位置と運転者の位置との相対位置（位置ずれ）に応じて、上述したパラメータＰ_ｈ、パラメータＰ_ｗを更新することで、人物が正面位置に対する顔映像取得カメラ１０の相対位置に応じて標準の頭軸Ｐの位置を補正するものである。ここで、顔映像取得カメラ１０は、車両の構造上、例えば、図９に示すように、運転者の正面からずれた位置に配置される場合が多い。この場合、顔映像取得カメラ１０は、運転者が正面を視た際の正面方向Ｍから角度θａだけずれが生じた状態で運転者の顔を撮像する。このため、パラメータ更新部３４は、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算する。これにより、理論上は、顔映像取得カメラ１０のずれ量に相当する角度θａを相殺することができるが、顔映像取得カメラ１０の取り付け精度の誤差、運転者の個人差（視線が正面を視ている状態で、顔が正面を向いてない可能性がある）等によって、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算しても、ゼロにならない場合がある。そこで、パラメータ更新部３４は、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算した値の絶対値をゼロに近づける処理を行う。 Next, the parameter updating section 34 will be explained. The parameter update unit 34 updates the above-mentioned parameters P _h and P _w according to the relative position (positional deviation) between the position of the face image acquisition camera 10 and the position of the driver, so that the person is in a position relative to the front position. The position of the standard head axis P is corrected according to the relative position of the face image acquisition camera 10. Here, due to the structure of the vehicle, the face image acquisition camera 10 is often placed at a position offset from the front of the driver, as shown in FIG. 9, for example. In this case, the face image acquisition camera 10 images the driver's face in a state where the driver's face is shifted by an angle θa from the front direction M when the driver looks straight ahead. Therefore, the parameter updating unit 34 subtracts the angle θa corresponding to the amount of shift of the face image acquisition camera 10 from the angle of the face detected by the face orientation detection unit 33. In theory, this can offset the angle θa corresponding to the amount of deviation of the facial image acquisition camera 10, but due to errors in the installation accuracy of the facial image acquisition camera 10, individual differences among drivers (the line of sight is θa corresponding to the amount of shift of the face image acquisition camera 10 is subtracted from the angle of the face detected by the face orientation detection unit 33. However, it may not become zero. Therefore, the parameter update unit 34 performs processing to bring the absolute value of the value obtained by subtracting the angle θa corresponding to the amount of deviation of the face image acquisition camera 10 from the angle of the face detected by the face orientation detection unit 33 to approach zero.

パラメータ更新部３４は、例えば、図１０に示すように、上述したパラメータＰ_ｈ、パラメータＰ_ｗ、すなわちパラメータＤ１～Ｄ４を段階的に増加させる。このとき、顔向き検出部３３は、段階的に増加されたパラメータＰ_ｈ、パラメータＰ_ｗに基づいて顔の角度をそれぞれ検出する。パラメータ更新部３４は、図１０に示すように、パラメータＰ_ｈ、パラメータＰ_ｗ、すなわちパラメータＤ１～Ｄ４を順番に大きくするに従って、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算した値の絶対値が徐々に小さくなり、パラメータＤ１～Ｄ４の中でパラメータＤ３が最も小さくなるので、当該パラメータＤ３が表す値（パラメータＰ_ｈ、パラメータＰ_ｗ）に更新する。 For example, as shown in FIG. 10, the parameter updating unit 34 increases the above-mentioned parameters P _h and P _w , that is, parameters D1 to D4 in a stepwise manner. At this time, the face orientation detection unit 33 detects the angle of the face based on the parameter P _h and the parameter P _w that are increased in stages. As shown in FIG. 10, the parameter updating unit 34 acquires a face image from the angle of the face detected by the face direction detection unit 33 as the parameter P _h and the parameter P _w , that is, the parameters D1 to D4, are increased in order. The absolute value of the value obtained by subtracting the angle θa corresponding to the amount of deviation of the camera 10 gradually decreases, and the parameter D3 becomes the smallest among the parameters D1 to D4. Therefore, the value represented by the parameter D3 (parameter P _h , parameter P _w ).

パラメータ更新部３４は、図１１に示すように、上述したパラメータＰ_ｈ、パラメータＰ_ｗ、すなわちパラメータＤ１～Ｄ４を段階的に減少させる。このとき、顔向き検出部３３は、段階的に増加されたパラメータＰ_ｈ、パラメータＰ_ｗに基づいて顔の角度をそれぞれ検出する。パラメータ更新部３４は、図１１に示すように、パラメータＰ_ｈ、パラメータＰ_ｗ、すなわちパラメータＤ１～Ｄ４を順番に小さくするに従って、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算した値の絶対値が徐々に小さくなり、パラメータＤ１～Ｄ４の中でパラメータＤ３が最も小さくなるので、当該パラメータＤ３が表す値（パラメータＰ_ｈ、パラメータＰ_ｗ）に更新する。パラメータ更新部３４は、パラメータＰ_ｈ、パラメータＰ_ｗを更新することで、例えば、図１４に示すように、顔向き検出結果（角度）の平均誤差が「縦方向（Ｐｉｔｃｈ）」において、改善前では「１９．６」であったが、改善後では「４．５」と小さくなっており、また、顔向き検出結果（角度）の平均誤差が「横方向（Ｙａｗ）」において、改善前では「７．９」であったが、改善後では「３．８」と小さくなっている。なお、顔映像取得カメラ１０のずれ量に相当する角度θａ（図９参照）は、左右方向Ｘのずれ量であるが、通常、顔映像取得カメラ１０のずれ量は、図１２に示す左右方向Ｘの角度θ_ＣＹａｗ、及び、図１３に示す上下方向Ｙの角度θ_{ＣＰｉｔｃｈ}のずれ量を含む。パラメータ更新部３４は、顔の上下方向Ｙの角度を求める場合には、上下方向Ｙの角度θ_{ＣＰｉｔｃｈ}のずれ量を減算し、顔の左右方向Ｘの角度を求める場合には、左右方向Ｘの角度θ_ＣＹａｗを減算する。 As shown in FIG. 11, the parameter updating unit 34 decreases the above-mentioned parameters P _h and P _w , that is, the parameters D1 to D4 in a stepwise manner. At this time, the face orientation detection unit 33 detects the angle of the face based on the parameter P _h and the parameter P _w that are increased in stages. As shown in FIG. 11, the parameter update unit 34 acquires a face image from the angle of the face detected by the face orientation detection unit 33 as the parameters P _h and P _w , that is, the parameters D1 to D4, are sequentially decreased. The absolute value of the value obtained by subtracting the angle θa corresponding to the amount of deviation of the camera 10 gradually decreases, and the parameter D3 becomes the smallest among the parameters D1 to D4. Therefore, the value represented by the parameter D3 (parameter P _h , parameter P _w ). The parameter update unit 34 updates the parameters P _h and P _w so that, for example, as shown in FIG. The average error of the face direction detection result (angle) was "19.6" in "Horizontal direction (Yaw)", but it was reduced to "4.5" after the improvement. It was "7.9", but after the improvement, it was reduced to "3.8". Note that the angle θa (see FIG. 9) corresponding to the amount of deviation of the face image acquisition camera 10 is the amount of deviation in the left-right direction X, but normally the amount of deviation of the face image acquisition camera 10 is It includes the deviation amount of the angle θ _CYaw in X and the angle θ _CPitch in the vertical direction Y shown in FIG. When determining the angle of the face in the vertical direction Y, the parameter updating unit 34 subtracts the deviation amount of the angle θ _CPitch in the vertical direction Y, and when determining the angle of the face in the horizontal direction Subtract the angle θ _CYaw .

次に、脇見検出処理について説明する。図１５は、実施形態に係る脇見検出処理を示すフローチャートである。顔向き検出システム１は、運転者の視線を検出する視線検出部４０を備える。顔映像取得カメラ１０は、車両の前方から運転者の顔を撮像し、撮像した運転者の顔を表す画像データを顔特徴点検出ユニット２０に出力する。顔特徴点検出ユニット２０は、画像データから顔を検出し（ステップＳ１）、検出した顔の特徴点として左右の目尻Ｅ、左右の瞳孔等の位置を検出し、左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）を顔向き計算ユニット３０に出力し、左右の瞳孔の位置を表す情報を視線検出部４０に出力する（ステップＳ２）。顔向き計算ユニット３０は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報に基づいて顔の向きを検出する（ステップＳ３；後述する図１６のフローチャートで示す検出処理）。視線検出部４０は、顔特徴点検出ユニット２０から出力された左右の瞳孔の位置を表す情報に基づいて視線の向きを検出する（ステップＳ４）。脇見判定処理部（図示省略）は、顔向き計算ユニット３０によって検出された顔の向き、及び、視線検出部４０によって検出された視線の向きに基づいて運転者の脇見を判定する（ステップＳ５）。そして、脇見判定処理部は、運転者が脇見していると判定した場合、音声等で脇見運転していることを報知し（ステップＳ６）、運転者が脇見していないと判定した場合、当該報知を行わない。 Next, the inattentiveness detection process will be explained. FIG. 15 is a flowchart showing the inattentiveness detection process according to the embodiment. The face orientation detection system 1 includes a line-of-sight detection unit 40 that detects the driver's line of sight. The face image acquisition camera 10 images the driver's face from the front of the vehicle, and outputs image data representing the imaged face of the driver to the facial feature point detection unit 20. The facial feature point detection unit 20 detects a face from image data (step S1), detects the positions of the left and right outer corners E, left and right pupils, etc. as feature points of the detected face, and represents the positions of the left and right outer corners E. Information (information representing the positional coordinates of the left and right corners of the eyes E) is output to the face orientation calculation unit 30, and information representing the positions of the left and right pupils is output to the line of sight detection unit 40 (step S2). The face orientation calculation unit 30 detects the face orientation based on the information representing the positions of the left and right outer corners E outputted from the facial feature point detection unit 20 (step S3; detection processing shown in the flowchart of FIG. 16 described later). . The line of sight detection unit 40 detects the direction of the line of sight based on information representing the positions of the left and right pupils output from the facial feature point detection unit 20 (step S4). An inattentiveness determination processing unit (not shown) determines inattentiveness of the driver based on the face orientation detected by the face orientation calculation unit 30 and the line-of-sight direction detected by the line-of-sight detection unit 40 (step S5). . Then, when the inattentiveness determination processing unit determines that the driver is inattentive, it notifies the driver of the inattentive driving by voice or the like (step S6), and if it determines that the driver is not inattentive, the No notification will be made.

次に、顔向き検出処理について説明する。図１６は、実施形態に係る顔向き検出処理を示すフローチャートである。顔向き検出システム１において、目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置座標を演算し（ステップＴ１）、左右の目尻Ｅの中央の位置座標におけるＸ座標を頭軸ＰのＸ座標とする（ステップＴ２）。顔向き検出部３３は、ステップＴ２の頭軸ＰのＸ座標を取得する。また、顔向き検出部３３は、上述の式（２）を用いて、左右の目尻Ｅの標準距離ｄ、及び、左右の目尻Ｅの中央の位置と標準の頭軸Ｐとの上下方向Ｙの標準距離ｈとから初期のパラメータＰ_ｈを求め、式（５）を用いて、左右の目尻Ｅの標準距離ｄ、及び、左右の目尻Ｅの中央の位置と標準の頭軸Ｐとの奥行き方向Ｚの標準距離ｗとから初期のパラメータＰ_ｗを求める（ステップＴ３）。そして、顔向き検出部３３は、式（３）を用いて、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｈとから補正後の距離ｈ_０を求め、式（６）を用いて、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｗとから補正後の距離ｗ_０を求め、これら初期の距離ｈ_０、距離ｗ_０に基づいて定まる補正後の頭軸Ｐに基づいて、顔の上下方向Ｙの角度（式（７）～（１８））、及び、顔の左右方向Ｘの角度（式（１９）～（２８））を求める（ステップＴ４）。パラメータ更新部３４は、予め定められた顔映像取得カメラ１０の角度（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）を取得し（ステップＴ５）、顔向き検出部３３により求めた初期の顔の角度が出力される（ステップＴ６）。そして、パラメータ更新部３４は、顔向き検出部３３により求めた初期の顔の角度から、顔映像取得カメラ１０の角度（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）を減算した値の絶対値を求め、初期のパラメータＰ_ｈ、パラメータＰ_ｗを増加又は減少させて更新する（ステップＴ７、Ｔ９）。顔向き検出部３３は、式（３）を用いて、左右の目尻Ｅの距離ｄ_０と更新後のパラメータＰ_ｈとから補正後の距離ｈ_０を求め、式（６）を用いて、左右の目尻Ｅの距離ｄ_０と更新後のパラメータＰ_ｗとから補正後の距離ｗ_０を求め、これら更新後の距離ｈ_０、距離ｗ_０に基づいて定まる補正後の頭軸Ｐに基づいて、顔の上下方向Ｙの角度（式（７）～（１８））、及び、顔の左右方向Ｘの角度（式（１９）～（２８））を求め（ステップＴ１０）、顔の向きを出力する（ステップＴ１１）。 Next, the face direction detection process will be explained. FIG. 16 is a flowchart showing face direction detection processing according to the embodiment. In the face orientation detection system 1, the eye corner distance calculation unit 31 determines whether the left or right corners are located based on the information representing the positions of the left and right outer corners E (information representing the position coordinates of the left and right outer corners E) output from the facial feature point detection unit 20. At the same time as calculating the distance d ₀ between the outer corners of the eyes E, calculate the position coordinates of the center of the left and right outer corners E (step T1), and set the X coordinate of the center position coordinates of the left and right outer corners E as the X coordinate of the head axis P. (Step T2). The face orientation detection unit 33 acquires the X coordinate of the head axis P in step T2. Further, the face direction detection unit 33 uses the above-mentioned formula (2) to determine the standard distance d between the left and right outer corners E, and the vertical direction Y between the central position of the left and right outer corners E and the standard head axis P. Find the initial parameter _Ph from the standard distance h, and use equation (5) to determine the standard distance d between the left and right outer corners E, and the depth direction between the center position of the left and right outer corners E and the standard head axis P. The initial parameter _Pw is determined from the standard distance w of Z (step T3). Then, the face orientation detection unit 33 uses equation (3) to calculate the corrected distance h 0 from the distance d ₀ between the left and right outer corners E and the parameter P _h , and uses equation (6) to calculate the corrected distance h ₀ between the left and right outer corners E. The corrected distance w _{0 is calculated from the distance d 0} _of the outer corner of the eye E and the parameter P _w , and based on the corrected head axis P determined based on these initial distance h ₀ and distance w ₀ , the vertical direction Y of the face is calculated. (Equations (7) to (18)) and the angle of the face in the left-right direction X (Equations (19) to (28)) are determined (Step T4). The parameter update unit 34 acquires predetermined angles (angle θ _CPitch , angle θ _CYaw ) of the face image acquisition camera 10 (step T5), and outputs the initial face angle determined by the face direction detection unit 33. (Step T6). Then, the parameter update unit 34 calculates the absolute value of the value obtained by subtracting the angle of the face image acquisition camera 10 (angle θ _CPitch , angle θ _CYaw ) from the initial face angle calculated by the face orientation detection unit 33 , and The parameters P _h and P _w of are increased or decreased and updated (steps T7 and T9). The face orientation detection unit 33 uses equation (3) to calculate the corrected distance h 0 from the distance d ₀ between the left and right outer corners E and the updated parameter P _h , and uses equation (6) to calculate the corrected distance h ₀ between the left and right corners E. The corrected distance w _{0 is calculated from the distance d 0} _of the outer corner of the eye and the updated parameter P _w , and based on the corrected head axis P determined based on the updated distance h ₀ and distance w ₀ , The angle of the face in the vertical direction Y (formulas (7) to (18)) and the angle of the face in the horizontal direction (Step T11).

次に、頭軸Ｐの位置の計算処理について説明する。図１７は、実施形態に係る頭軸Ｐの位置の計算処理を示すフローチャートである。顔映像取得カメラ１０は、運転者の顔が正面を向いた状態で当該運転者の顔を撮像する（ステップＵ１、Ｕ２）。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された画像データから顔を検出し（ステップＵ３）、当該顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する（ステップＵ４）。目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する（ステップＵ５）。顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正して補正後の頭軸Ｐの位置を演算する（ステップＵ６）。 Next, the calculation process of the position of the head axis P will be explained. FIG. 17 is a flowchart showing calculation processing of the position of the head axis P according to the embodiment. The face image acquisition camera 10 images the driver's face with the driver's face facing forward (steps U1 and U2). The facial feature point detection unit 20 detects a face from the image data captured by the facial image acquisition camera 10 (step U3), and detects the left and right corners of the eyes E, left and right pupils, etc. as feature points of the face. The position of the facial part is detected (step U4). The eye corner distance calculation unit 31 calculates the distance d 0 between the left and right outer corners E based on the information representing the positions of the left and right outer corners E outputted from the facial feature point detection unit ₂₀ (information representing the positional coordinates of the left and right outer corners E). At the same time, the center position of the left and right outer corners E is calculated (step U5). The face direction detection unit 33 determines the position of the predetermined standard head axis P from the left and right sides of the driver, which is determined from the image of the driver's face captured by the face image acquisition camera 10 with the driver facing forward. The position of the head axis P after correction is calculated according to the distance _d0 of the outer corner of the eye (step U6).

次に、パラメータ更新処理について説明する。図１８は、実施形態に係るパラメータ更新処理を示すフローチャートである。顔向き検出部３３は、初期のパラメータＰ_ｈ、パラメータＰ_ｗを入力する（ステップＬ１）。そして、顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｗとから補正後の距離ｗ_０を求め、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｈとから補正後の距離ｈ_０を求め、補正後の頭軸Ｐに基づいて、運転者の初期の顔の角度を演算する（ステップＬ２）。パラメータ更新部３４は、顔向き検出部３３により演算された初期の顔の角度と、顔映像取得カメラ１０のずれ量に相当する角度θａ（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）との初期の差分を演算する（ステップＬ３）。パラメータ更新部３４は、パラメータＰ_ｈ、パラメータＰ_ｗを増加させ（ステップＬ４）、顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０と増加後のパラメータＰ_ｗとから補正後の距離ｗ_０を求め、左右の目尻Ｅの距離ｄ_０と増加後のパラメータＰ_ｈとから補正後の距離ｈ_０を求め、補正後の頭軸Ｐに基づいて、運転者の顔の角度を演算する（ステップＬ５）。再度、パラメータ更新部３４は、顔向き検出部３３により演算された顔の角度と、顔映像取得カメラ１０のずれ量に相当する角度θａ（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）との差分を演算する（ステップＬ６）。パラメータ更新部３４は、演算した差分が初期値（初期の差分）よりも小さい場合（ステップＬ７；Ｙｅｓ）、パラメータＰ_ｈ、パラメータＰ_ｗを増加させる（ステップＬ８）。顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０と増加後のパラメータＰ_ｗとから補正後の距離ｗ_０を求め、左右の目尻Ｅの距離ｄ_０と増加後のパラメータＰ_ｈとから補正後の距離ｈ_０を求め、補正後の頭軸Ｐに基づいて、運転者の顔の角度を演算する（ステップＬ９）。パラメータ更新部３４は、顔向き検出部３３により演算された顔の角度と、顔映像取得カメラ１０のずれ量に相当する角度θａ（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）との差分を演算する（ステップＬ１０）。パラメータ更新部３４は、演算した差分が前回の差分よりも大きい場合（ステップＬ１１；Ｙｅｓ）、前回のパラメータＰ_ｈ、パラメータＰ_ｗを更新値とし（ステップＬ１２）、処理を終了する。一方で、パラメータ更新部３４は、演算した差分が前回の差分よりも小さい場合（ステップＬ１１；Ｎｏ）、上述のステップＬ８に戻ってパラメータＰ_ｈ、パラメータＰ_ｗを増加させる。 Next, parameter update processing will be explained. FIG. 18 is a flowchart showing parameter update processing according to the embodiment. The face orientation detection unit 33 inputs the initial parameters P _h and P _w (step L1). Then, the face orientation detection unit 33 calculates the corrected distance w 0 from the distance d ₀ between the left and right outer corners E and the parameter P _w , and calculates the corrected distance w ₀ from the distance d ₀ between the left and right outer corners E and the parameter P _h . _h0 is determined, and the initial face angle of the driver is calculated based on the corrected head axis P (step L2). The parameter update unit 34 calculates the initial difference between the initial face angle calculated by the face orientation detection unit 33 and the angle θa (angle θ _CPitch , angle θ _CYaw ) corresponding to the amount of deviation of the face image acquisition camera 10. Calculate (step L3). The parameter update unit 34 increases the parameter P _h and the parameter P _w (step L4), and the face orientation detection unit 33 calculates the corrected distance w from the distance d ₀ between the left and right outer corners E and the increased parameter P _w . ₀ is calculated, a corrected distance _h0 is calculated from the distance _d0 between the left and right outer corners of the eyes and the increased parameter _Ph , and the angle of the driver's face is calculated based on the corrected head axis P ( Step L5). Again, the parameter update unit 34 calculates the difference between the face angle calculated by the face orientation detection unit 33 and the angle θa (angle θ _CPitch , angle θ _CYaw ) corresponding to the amount of deviation of the face image acquisition camera 10. (Step L6). If the calculated difference is smaller than the initial value (initial difference) (step L7; Yes), the parameter update unit 34 increases the parameter P _h and the parameter P _w (step L8). The face orientation detection unit 33 calculates the corrected distance w 0 from the distance d ₀ between the left and right outer corners E and the increased parameter P _w , and calculates the corrected distance w ₀ from the distance d ₀ between the left and right outer corners E and the increased parameter P _h . The corrected distance _h0 is determined, and the angle of the driver's face is calculated based on the corrected head axis P (step L9). The parameter update unit 34 calculates the difference between the face angle calculated by the face orientation detection unit 33 and the angle θa (angle θ _CPitch , angle θ _CYaw ) corresponding to the amount of deviation of the face image acquisition camera 10 (step L10). If the calculated difference is larger than the previous difference (step L11; Yes), the parameter update unit 34 sets the previous parameters P _h and P _w as updated values (step L12), and ends the process. On the other hand, if the calculated difference is smaller than the previous difference (step L11; No), the parameter updating unit 34 returns to step L8 described above and increases the parameters P _h and P _w .

なお、上記ステップＬ７で、パラメータ更新部３４は、演算した差分が初期値（初期の差分）よりも大きい場合（ステップＬ７；Ｎｏ）、パラメータＰ_ｈ、パラメータＰ_ｗを減少させる（ステップＬ１３）。顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０と減少後のパラメータＰ_ｗとから補正後の距離ｗ_０を求め、左右の目尻Ｅの距離ｄ_０と減少後のパラメータＰ_ｈとから補正後の距離ｈ_０を求め、補正後の頭軸Ｐに基づいて、運転者の顔の角度を演算する（ステップＬ１４）。パラメータ更新部３４は、顔向き検出部３３により演算された顔の角度と、顔映像取得カメラ１０のずれ量に相当する角度θａ（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）との差分を演算する（ステップＬ１５）。パラメータ更新部３４は、演算した差分が前回の差分よりも大きい場合（ステップＬ１６；Ｙｅｓ）、前回のパラメータＰ_ｈ、パラメータＰ_ｗを更新値とし（ステップＬ１７）、処理を終了する。一方で、パラメータ更新部３４は、演算した差分が前回の差分よりも小さい場合（ステップＬ１６；Ｎｏ）、上述のステップＬ１３に戻ってパラメータＰ_ｈ、パラメータＰ_ｗを減少させる。 Note that in step L7, if the calculated difference is larger than the initial value (initial difference) (step L7; No), the parameter updating unit 34 decreases the parameter P _h and the parameter P _w (step L13). The face direction detection unit 33 calculates the corrected distance w 0 from the distance d ₀ between the left and right outer corners E and the reduced parameter P _w , and calculates the corrected distance w ₀ from the distance d ₀ between the left and right outer corners E and the reduced parameter P _h . The corrected distance _h0 is determined, and the angle of the driver's face is calculated based on the corrected head axis P (step L14). The parameter update unit 34 calculates the difference between the face angle calculated by the face orientation detection unit 33 and the angle θa (angle θ _CPitch , angle θ _CYaw ) corresponding to the amount of deviation of the face image acquisition camera 10 (step L15). If the calculated difference is larger than the previous difference (step L16; Yes), the parameter update unit 34 sets the previous parameters P _h and P _w as updated values (step L17), and ends the process. On the other hand, if the calculated difference is smaller than the previous difference (step L16; No), the parameter updating unit 34 returns to step L13 described above and decreases the parameter P _h and the parameter P _w .

以上のように、実施形態に係る顔向き検出システム１は、顔映像取得カメラ１０と、顔特徴点検出ユニット２０と、顔向き検出部３３とを備える。顔映像取得カメラ１０は、人物の顔を撮像する。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された人物の顔の画像に基づいて、人物の目尻Ｅの位置を検出する。顔向き検出部３３は、顔特徴点検出ユニット２０により検出された目尻Ｅの位置と、人物の頭部を回旋する際の基準となる頭軸Ｐの位置とに基づいて、人物の顔の向きを検出する。 As described above, the face orientation detection system 1 according to the embodiment includes the face image acquisition camera 10, the facial feature point detection unit 20, and the face orientation detection section 33. The face image acquisition camera 10 images a person's face. The facial feature point detection unit 20 detects the position of the outer corner E of the person's eye based on the image of the person's face captured by the facial image acquisition camera 10. The face orientation detection unit 33 determines the orientation of the person's face based on the position of the outer corner of the eye detected by the facial feature point detection unit 20 and the position of the head axis P, which is a reference when rotating the person's head. Detect.

この構成により、顔向き検出システム１は、人物が脇見した際に片方の目尻しか検出できない場合やマスク等の装着物により顔の一部が覆われている場合でも、人物の顔の向きを判定することができる。また、顔向き検出システム１は、従来のように多数の顔の特徴点を用いた３次元の回転行列等を用いて顔の向きを検出せずに、２次元の座標データに基づいて顔の向きを検出するので、演算量が増加することを抑制することができ、処理負荷を軽減することができる。この結果、顔向き判定システムは、人物の顔の向きを適正に検出することができる。 With this configuration, the face orientation detection system 1 can determine the orientation of a person's face even when only the corner of one eye can be detected when the person looks aside, or when a part of the face is covered by something worn such as a mask. can do. In addition, the face orientation detection system 1 detects the face orientation based on two-dimensional coordinate data, instead of using a three-dimensional rotation matrix using a large number of facial feature points as in the past. Since the direction is detected, an increase in the amount of calculation can be suppressed, and the processing load can be reduced. As a result, the face orientation determination system can appropriately detect the orientation of the person's face.

上記顔向き検出システム１において、顔向き検出部３３は、上下方向Ｙにおける頭軸Ｐの位置と目尻Ｅの位置との間の距離ｈ_１に基づいて上下方向Ｙにおける人物の顔の向きを検出する。この構成により、顔向き検出システム１は、演算量が増加することを抑制した上で、人物の上下方向Ｙの顔の向きを適正に検出することができる。 In the face orientation detection system 1, the face orientation detection unit 33 detects the orientation of a person's face in the vertical direction Y based on the distance _h1 between the position of the head axis P and the position of the outer corner of the eye E in the vertical direction Y. do. With this configuration, the face orientation detection system 1 can appropriately detect the orientation of a person's face in the vertical direction Y while suppressing an increase in the amount of calculation.

上記顔向き検出システム１において、顔向き検出部３３は、上下方向Ｙに交差する左右方向Ｘにおける頭軸Ｐの位置と目尻Ｅの位置（例えば、右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１））とに基づいて左右方向Ｘにおける人物の顔の向きを検出する。この構成により、顔向き検出システム１は、演算量が増加することを抑制した上で、人物の左右方向Ｘの顔の向きを適正に検出することができる。 In the face orientation detection system 1, the face orientation detection unit 33 detects the position of the head axis P and the position of the outer corner of the eye E (for example, the position coordinates of the right outer corner RE (x _RE1 , z _RE1 )) The direction of the person's face in the left-right direction X is detected. With this configuration, the face orientation detection system 1 can appropriately detect the orientation of a person's face in the left-right direction X while suppressing an increase in the amount of calculation.

上記顔向き検出システム１において、顔向き検出部３３は、頭軸Ｐの位置として、予め定められた標準の頭軸Ｐの位置を、人物が正面を向いた状態で顔映像取得カメラ１０により撮像された人物の顔の画像から求まる人物の左右の目尻Ｅの距離ｄ_０に応じて補正した補正後の頭軸Ｐの位置に基づいて、人物の顔の向きを検出する。この構成により、顔向き検出システム１は、人物の個人差に応じて頭軸Ｐを補正することができるので、人物の顔の向きの検出精度を向上することができる。 In the face orientation detection system 1, the face orientation detection unit 33 captures an image of a predetermined standard position of the head axis P as the position of the head axis P using the face image acquisition camera 10 with the person facing forward. The direction of the person's face is detected based on the position of the head axis P after correction, which is corrected according to the distance _d0 between the left and right outer corners E of the person, which is determined from the image of the person's face. With this configuration, the face orientation detection system 1 can correct the head axis P according to individual differences among people, and therefore can improve the accuracy of detecting the orientation of a person's face.

上記顔向き検出システム１において、顔向き検出部３３は、人物の左右の目尻Ｅの距離ｄ_０に応じて、上下方向Ｙにおける頭軸Ｐの位置と目尻Ｅの位置との間の距離ｈ、及び、上下方向Ｙに交差する奥行き方向Ｚにおける頭軸Ｐの位置と左右の目尻Ｅの中央の位置との間の距離ｗを補正した補正後の頭軸Ｐの位置に基づいて、人物の顔の向きを検出する。この構成により、顔向き検出システム１は、人物の個人差に応じて頭軸Ｐを上下方向Ｙ及び奥行き方向Ｚに沿って補正することができるので、人物の顔の向きの検出精度を向上することができる。 In the face orientation detection system 1, the face orientation detection unit 33 determines the distance h between the position of the head axis P and the position of the outer corner of the eye in the vertical direction Y, depending on the distance _d0 between the left and right outer corners of the eyes of the person. Based on the corrected position of the head axis P, which is obtained by correcting the distance w between the position of the head axis P in the depth direction Z intersecting the vertical direction Y and the center position of the left and right outer corners E, the face of the person is Detect the orientation of With this configuration, the face orientation detection system 1 can correct the head axis P along the vertical direction Y and the depth direction Z according to the individual differences of the person, thereby improving the detection accuracy of the face orientation of the person. be able to.

上記顔向き検出システム１において、顔向き検出部３３は、頭軸Ｐの位置として、予め定められた標準の頭軸Ｐの位置を、人物が正面位置に対する顔映像取得カメラ１０の相対位置に応じて補正した補正後の頭軸Ｐの位置に基づいて、人物の顔の向きを検出する。この構成により、顔向き検出システム１は、顔映像取得カメラ１０の取り付け精度の誤差等を補正することができるので、人物の顔向きの検出精度の低下を抑制することができる。 In the face orientation detection system 1, the face orientation detection unit 33 determines a predetermined standard position of the head axis P as the position of the head axis P according to the relative position of the face image acquisition camera 10 with respect to the frontal position of the person. The direction of the person's face is detected based on the corrected position of the head axis P. With this configuration, the face orientation detection system 1 can correct errors in the mounting accuracy of the face image acquisition camera 10, and therefore can suppress a decrease in the detection accuracy of a person's face orientation.

上記顔向き検出システム１において、人物が正面位置に対する顔映像取得カメラ１０の相対位置に応じて、上下方向Ｙにおける頭軸Ｐの位置と目尻Ｅの位置との間の距離ｈ、及び、上下方向Ｙに交差する奥行き方向Ｚにおける頭軸Ｐの位置と左右の目尻Ｅの中央の位置との間の距離ｗを補正するパラメータ更新部３４をさらに備える。この構成により、顔向き検出システム１は、上下方向Ｙ及び奥行き方向Ｚにおいて、顔映像取得カメラ１０の取り付け精度の誤差等を補正することができるので、人物の顔向きの検出精度の低下を抑制することができる。 In the face orientation detection system 1, the distance h between the position of the head axis P and the position of the outer corner of the eye E in the vertical direction Y, and the distance h in the vertical direction It further includes a parameter updating unit 34 that corrects the distance w between the position of the head axis P in the depth direction Z intersecting Y and the center position of the left and right outer corners E. With this configuration, the face orientation detection system 1 can correct errors in the mounting accuracy of the facial image acquisition camera 10 in the vertical direction Y and the depth direction Z, thereby suppressing a decrease in the detection accuracy of the face orientation of a person. can do.

〔変形例〕
次に、実施形態の変形例について説明する。なお、変形例では、実施形態と同等の構成要素には同じ符号を付し、その詳細な説明を省略する。図１９は、実施形態の第１変形例に係る頭軸Ｐの位置の計算処理を示すフローチャートである。第１変形例に係る頭軸Ｐの位置の計算処理は、顔認証により固有の情報を記憶する点で実施形態に係る頭軸Ｐの位置の計算処理とは異なる。図１９において、顔映像取得カメラ１０は、運転者の顔が正面を向いた状態で当該運転者の顔を撮像する（ステップＶ１、Ｖ２）。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された画像データから顔を検出し（ステップＶ３）、当該顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する（ステップＶ４）。目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する（ステップＶ５）。顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正して補正後の頭軸Ｐの位置を演算する（ステップＶ６）。顔認証部（図示省略）は、運転者の顔の認証を行い（ステップＶ７）、顔画像、頭軸Ｐの位置、座席位置等を記憶部３２に記憶する（ステップＶ８）。 [Modified example]
Next, a modification of the embodiment will be described. In addition, in the modified example, the same reference numerals are given to the same components as in the embodiment, and detailed explanation thereof will be omitted. FIG. 19 is a flowchart showing calculation processing of the position of the head axis P according to the first modification of the embodiment. The process of calculating the position of the head axis P according to the first modification differs from the process of calculating the position of the head axis P according to the embodiment in that unique information is stored through face authentication. In FIG. 19, the face image acquisition camera 10 images the driver's face with the driver's face facing forward (steps V1 and V2). The facial feature point detection unit 20 detects a face from the image data captured by the facial image acquisition camera 10 (step V3), detects the left and right corners of the eyes E, left and right pupils, etc. as feature points of the face, and detects these points. The position of the facial part is detected (step V4). The eye corner distance calculation unit 31 calculates the distance d 0 between the left and right outer corners E based on the information representing the positions of the left and right outer corners E outputted from the facial feature point detection unit ₂₀ (information representing the positional coordinates of the left and right outer corners E). At the same time, the center position of the left and right outer corners E is calculated (step V5). The face direction detection unit 33 determines the position of the predetermined standard head axis P from the left and right sides of the driver, which is determined from the image of the driver's face captured by the face image acquisition camera 10 with the driver facing forward. The position of the head axis P after correction is calculated according to the distance _d0 of the outer corner of the eye (step V6). The face authentication section (not shown) authenticates the driver's face (step V7), and stores the face image, the position of the head axis P, the seat position, etc. in the storage section 32 (step V8).

図２０は、実施形態の第２変形例に係る頭軸Ｐの位置の計算処理を示すフローチャートである。顔向き検出システム１は、車両の加速度を検出する加速度センサー５０と、運転者が正面を向いたことを判定する正面判定部６０とを備える。図２０において、顔向き検出システム１は、加速度センサー５０により車両の加速度を検出する（ステップＷ１）。加速度センサー５０は、検出した加速度を正面判定部６０に出力する。正面判定部６０は、加速度センサー５０により車両の加速度が検出された場合（ステップＷ２；Ｙｅｓ）、車両が前進して運転者が正面を向いたと判定する。顔映像取得カメラ１０は、正面判定部６０により運転者が正面を向いたと判定された場合、運転者の顔が正面を向いた状態で当該運転者の顔を撮像する（ステップＷ３）。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された画像データから顔を検出し（ステップＷ４）、当該顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する（ステップＷ５）。目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する（ステップＷ６）。顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正して補正後の頭軸Ｐの位置を演算する（ステップＷ７）。なお、顔向き検出システム１は、加速度センサー５０により加速度が検出されない場合（ステップＷ２；Ｎｏ）、ステップＷ１に戻って、再度、加速度を検出する。以上のように、顔向き検出システム１は、車両の加速度を検出する加速度センサー５０と、加速度センサー５０により検出された車両の加速度に基づいて運転者が正面を向いたことを判定する正面判定部６０とを更に備える。顔映像取得カメラ１０は、正面判定部６０により判定された車両の加速度に基づく判定結果に基づいて運転者の顔を撮像する。この構成により、顔向き検出システム１は、車両の加速度に基づいて運転者が正面を向いたことを自動的に判定して運転者の正面の顔を撮像することができる。 FIG. 20 is a flowchart showing calculation processing for the position of the head axis P according to the second modification of the embodiment. The face orientation detection system 1 includes an acceleration sensor 50 that detects the acceleration of the vehicle, and a frontal determination unit 60 that determines whether the driver is facing forward. In FIG. 20, the face orientation detection system 1 detects the acceleration of the vehicle using the acceleration sensor 50 (step W1). Acceleration sensor 50 outputs the detected acceleration to frontal determination section 60 . If the acceleration of the vehicle is detected by the acceleration sensor 50 (step W2; Yes), the front determination unit 60 determines that the vehicle has moved forward and the driver has faced forward. When the front determination unit 60 determines that the driver is facing forward, the face image acquisition camera 10 images the driver's face with the driver's face facing forward (step W3). The facial feature point detection unit 20 detects a face from the image data captured by the facial image acquisition camera 10 (step W4), and detects the left and right corners of the eyes E, left and right pupils, etc. as feature points of the face. The position of the facial part is detected (step W5). The eye corner distance calculation unit 31 calculates the distance d 0 between the left and right outer corners E based on the information representing the positions of the left and right outer corners E outputted from the facial feature point detection unit ₂₀ (information representing the positional coordinates of the left and right outer corners E). At the same time, the center position of the left and right outer corners E is calculated (step W6). The face direction detection unit 33 determines the position of the predetermined standard head axis P from the left and right sides of the driver, which is determined from the image of the driver's face captured by the face image acquisition camera 10 with the driver facing forward. The position of the head axis P after correction is calculated according to the distance _d0 of the outer corner of the eye (step W7). Note that when the acceleration sensor 50 does not detect acceleration (step W2; No), the face orientation detection system 1 returns to step W1 and detects the acceleration again. As described above, the face orientation detection system 1 includes the acceleration sensor 50 that detects the acceleration of the vehicle, and the frontal determination unit that determines whether the driver is facing forward based on the acceleration of the vehicle detected by the acceleration sensor 50. 60. The face image acquisition camera 10 images the driver's face based on the determination result based on the acceleration of the vehicle determined by the frontal determination unit 60. With this configuration, the face orientation detection system 1 can automatically determine that the driver is facing forward based on the acceleration of the vehicle, and can image the driver's front face.

図２１は、実施形態の第３変形例に係る頭軸Ｐの位置の計算処理を示すフローチャートである。図２１において、顔向き検出システム１は、視線検出部４０により運転者の視線を検出する（ステップＦ１）。視線検出部４０は、検出した運転者の視線を正面判定部６０に出力する。正面判定部６０は、視線検出部４０により検出された視線が正面を向いている場合（ステップＦ２；Ｙｅｓ）、運転者が正面を向いていると判定する。顔映像取得カメラ１０は、正面判定部６０により運転者が正面を向いたと判定された場合、運転者の顔が正面を向いた状態で当該運転者の顔を撮像する（ステップＦ３）。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された画像データから顔を検出し（ステップＦ４）、当該顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する（ステップＦ５）。目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する（ステップＦ６）。顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正して補正後の頭軸Ｐの位置を演算する（ステップＦ７）。なお、顔向き検出システム１は視線検出部４０により検出した視線が正面を向いていない場合（ステップＦ２；Ｎｏ）、ステップＦ１に戻って、再度、視線を検出する。以上のように、顔向き検出システム１は、運転者の視線を検出する視線検出部４０と、視線検出部４０により検出された運転者の視線に基づいて運転者が正面を向いたことを判定する正面判定部６０とを更に備える。顔映像取得カメラ１０は、正面判定部６０により判定された運転者の視線に基づく判定結果に基づいて運転者の顔を撮像する。この構成により、顔向き検出システム１は、運転者の視線に基づいて運転者が正面を向いたことを自動的に判定して運転者の正面の顔を撮像することができる。 FIG. 21 is a flowchart showing calculation processing for the position of the head axis P according to the third modification of the embodiment. In FIG. 21, the face orientation detection system 1 detects the driver's line of sight using the line of sight detection unit 40 (step F1). The line of sight detection section 40 outputs the detected line of sight of the driver to the front determination section 60 . If the line of sight detected by the line of sight detection unit 40 is facing forward (step F2; Yes), the frontal direction determination unit 60 determines that the driver is facing forward. If the front determination unit 60 determines that the driver is facing forward, the face image acquisition camera 10 images the driver's face with the driver's face facing forward (step F3). The facial feature point detection unit 20 detects a face from the image data captured by the facial image acquisition camera 10 (step F4), and detects the left and right corners of the eyes E, left and right pupils, etc. as feature points of the face. The position of the facial part is detected (step F5). The eye corner distance calculation unit 31 calculates the distance d 0 between the left and right outer corners E based on the information representing the positions of the left and right outer corners E outputted from the facial feature point detection unit ₂₀ (information representing the positional coordinates of the left and right outer corners E). At the same time, the center position of the left and right outer corners E is calculated (step F6). The face direction detection unit 33 determines the position of the predetermined standard head axis P from the left and right sides of the driver, which is determined from the image of the driver's face captured by the face image acquisition camera 10 with the driver facing forward. The position of the head axis P after correction is calculated according to the distance _d0 of the outer corner of the eye (step F7). Note that if the line of sight detected by the line of sight detection unit 40 is not facing forward (step F2; No), the face orientation detection system 1 returns to step F1 and detects the line of sight again. As described above, the face direction detection system 1 uses the line of sight detection unit 40 that detects the line of sight of the driver, and determines whether the driver is facing forward based on the line of sight of the driver detected by the line of sight detection unit 40. The image forming apparatus further includes a frontal determination section 60 that performs the following. The face image acquisition camera 10 images the driver's face based on the determination result based on the driver's line of sight determined by the frontal determination unit 60. With this configuration, the face orientation detection system 1 can automatically determine that the driver is facing forward based on the driver's line of sight, and can image the driver's front face.

上記説明では、顔向き検出部３３は、記憶部３２に記憶された標準の頭軸Ｐを個人に合わせて補正するパーソナライズ処理を行う例について説明したが、これに限定されず、当該パーソナライズ処理を行わずに標準の頭軸Ｐに基づいて顔向きを検出してもよい。 In the above description, an example has been described in which the face orientation detection unit 33 performs the personalization process of correcting the standard head axis P stored in the storage unit 32 to match the individual, but the present invention is not limited to this. The face direction may be detected based on the standard head axis P without performing this.

パラメータ更新部３４は、記憶部３２に記憶された標準の頭軸Ｐを顔映像取得カメラ１０の相対位置に応じて補正するパラメータ更新処理を行う例について説明したが、これに限定されず、当該パラメータ更新処理を行わずに標準の頭軸Ｐに基づいて顔向きを検出してもよい。 Although an example has been described in which the parameter updating unit 34 performs a parameter updating process of correcting the standard head axis P stored in the storage unit 32 according to the relative position of the face image acquisition camera 10, the parameter updating unit 34 is not limited to this. The face direction may be detected based on the standard head axis P without performing the parameter update process.

１顔向き検出システム
１０顔映像取得カメラ（撮像部）
２０顔特徴点検出ユニット（目尻検出部）
３３顔向き検出部
３４パラメータ更新部
４０視線検出部
５０加速度センサー
Ｅ目尻
Ｐ頭軸（頭部回旋基準）
Ｙ上下方向（鉛直方向）
Ｘ左右方向
Ｚ奥行き方向
ｈ、ｈ_１、ｄ_０、ｗ距離 1 Face orientation detection system 10 Face image acquisition camera (imaging unit)
20 Facial feature point detection unit (eye corner detection unit)
33 Face direction detection unit 34 Parameter update unit 40 Line of sight detection unit 50 Acceleration sensor E Eye corner P Head axis (head rotation reference)
Y Vertical direction (vertical direction)
X Horizontal direction Z Depth direction h, h ₁ , d ₀ , w Distance

Claims

an imaging unit that captures an image of a person's face;
an eye corner detection unit that detects the position of the person's eye corner based on an image of the person's face captured by the imaging unit;
Face orientation detection that detects the orientation of the person's face based on the position of the eye corner detected by the eye corner detection unit and a head rotation reference position that is a reference when rotating the person's head. A face orientation detection system comprising: and.

The face according to claim 1, wherein the face orientation detection unit detects the orientation of the person's face in the vertical direction based on a distance between the position of the head rotation reference in the vertical direction and the position of the outer corner of the eye. Orientation detection system.

3. The face orientation detection unit detects the orientation of the person's face in the left-right direction based on the position of the head rotation reference and the position of the outer corner of the eye in the left-right direction intersecting the vertical direction. The face orientation detection system described.

The face direction detection unit may set a predetermined standard position of the head rotation reference as the position of the head rotation reference of the person imaged by the imaging unit with the person facing forward. Any one of claims 1 to 3, wherein the orientation of the person's face is detected based on the position of the head rotation reference after correction, which is corrected according to the distance between the left and right outer corners of the eyes of the person, which is determined from a face image. The face orientation detection system according to item 1.

The face orientation detection unit determines a distance between the position of the head rotation reference in the vertical direction and the position of the outer corner of the eye, and a depth intersecting the vertical direction, according to a distance between the left and right outer corners of the eyes of the person. A claim for detecting the orientation of the person's face based on the corrected position of the head rotation reference after correcting the distance between the position of the head rotation reference in the direction and the center position of the left and right outer corners of the eyes. The face orientation detection system according to item 4.

The face direction detection section is configured to set a predetermined standard head rotation reference position as the position of the head rotation reference after correction according to a relative position of the imaging unit with respect to a frontal position of the person. The face orientation detection system according to any one of claims 1 to 5, wherein the face orientation of the person is detected based on the position of the head rotation reference.

The distance between the position of the head rotation reference in the vertical direction and the position of the outer corner of the eye, and the distance of the head in the depth direction intersecting the vertical direction, depending on the relative position of the imaging unit with respect to the front position of the person. The face orientation detection system according to claim 6, further comprising a parameter updating unit that corrects a distance between a position of a partial rotation reference and a center position of the left and right outer corners of the eyes.

an acceleration sensor that detects vehicle acceleration;
further comprising a frontal determination unit that determines that the person faces forward based on the acceleration of the vehicle detected by the acceleration sensor,
The face orientation detection system according to any one of claims 1 to 7, wherein the imaging unit images the face of the person according to a determination result based on the acceleration of the vehicle determined by the frontal orientation determination unit.

a line of sight detection unit that detects the line of sight of the person;
further comprising a frontal determination unit that determines that the person is facing forward based on the person's line of sight detected by the line of sight detection unit;
9. The face orientation detection system according to claim 1, wherein the imaging unit images the face of the person according to a determination result based on the line of sight of the person determined by the frontal determination unit.