WO2023242886A1 - 顔向き推定装置、脇見判断システム、及び顔向き推定方法 - Google Patents

Abstract

顔向き推定装置（ＫＳ）は、車両内の乗員（ＪＩ）の画像（ＧＺ）を撮影する撮影部（ＳＥ）と、前記乗員（ＪＩ）の画像（ＧＺ）に基づき、前記乗員（ＪＩ）の両眼間の第１の距離（ＫＲ１）を算出する第１の算出部（ＳＳ１）と、前記乗員（ＪＩ）の画像（ＧＺ）に基づき、鼻（ＨＮ）の位置を視認することが困難である人が撮影された複数の画像（ＧＺ）と前記人の鼻（ＨＮ）の位置との関係が学習された学習済みモデル（ＧＭ）を参照することにより、前記乗員（ＪＩ）の鼻（ＨＮ）の位置を推論する推論部（ＳＲ）と、前記推論された乗員（ＪＩ）の鼻（ＨＮ）の位置と前記乗員（ＪＩ）の両眼間の中点との間の第２の距離（ＫＲ２）を算出する第２の算出部（ＳＳ２）と、前記第１の算出部（ＳＳ１）により算出された第１の距離（ＫＲ１）と前記第２の算出部（ＳＳ２）により算出された第２の距離（ＫＲ２）との比（ＨＩ）を算出する第３の算出部（ＳＳ３）と、前記第３の算出部（ＳＳ３）により算出された比（ＨＩ）を予め定められた基準値（ＫＪ）と比較する比較部（ＨＫ）と、前記比較部（ＨＫ）による比較の結果に基づき、前記推論部（ＳＲ）により推論された前記乗員（ＪＩ）の鼻（ＨＮ）の位置の当否を推定する推定部（ＳＴ）と、を含む。

Description

顔向き推定装置、脇見判断システム、及び顔向き推定方法

　本開示は、顔向き推定装置、脇見判断システム、及び顔向き推定方法に関する。

　本開示に係る顔向き推定装置と車両のドライバの顔の向きを検出する点で共通する特許文献１に記載のドライバモニタ装置は、前記ドライバの顔の向きを、例えば、前記ドライバの左右の目尻を結ぶ線の距離と、前記ドライバの鼻尖点から前記線へ下した垂線との交点と前記鼻尖点とを結ぶ線の距離との比を用いて検出する。

特開２０２２－０１２８２９号公報

　しかしながら、上記した顔向き推定装置は、例えば、前記ドライバがマスクを装着しているとき、前記マスクにより覆われている前記鼻尖点の位置を検出することができないとの課題があった。

　本開示の目的は、車両内の乗員の、視認することが困難である鼻の推論された位置が妥当であるか否かを推定する顔向き推定装置、脇見判断システム、及び顔向き推定方法を提供することにある。

　上記した課題を解決すべく、本開示に係る顔向き推定装置は、車両内の乗員の画像を撮影する撮影部と、乗員の画像に基づき、乗員の両眼間の第１の距離を算出する第１の算出部と、乗員の画像に基づき、鼻の位置を視認することが困難である人が撮影された複数の画像と人の鼻の位置との関係が学習された学習済みモデルを参照することにより、乗員の鼻の位置を推論する推論部と、推論された乗員の鼻の位置と乗員の両眼間の中点との間の第２の距離を算出する第２の算出部と、第１の算出部により算出された第１の距離と第２の算出部により算出された第２の距離との比を算出する第３の算出部と、第３の算出部により算出された比を予め定められた基準値と比較する比較部と、比較部による比較の結果に基づき、推論部により推論された乗員の鼻の位置の当否を推定する推定部と、を含む。

　本開示に係る顔向き推定装置によれば、車両内の乗員の、視認することが困難である鼻の推論された位置が妥当であるか否かを推定することができる。

実施形態１の顔向き推定装置ＫＳの機能ブロック図である。 実施形態１の乗員ＪＩの第１の距離ＫＲ１、第２の距離ＫＲ２、及び比ＨＩを示す。 図３Ａは、実施形態１の乗員ＪＩの黒立体マスクＭＡ（本来の位置）を示す。図３Ｂは、実施形態１の乗員ＪＩの黒立体マスクＭＡ（ずれた位置）を示す。 実施形態１の顔向き推定装置ＫＳのハードウェア構成を示す。 実施形態１の顔向き推定装置ＫＳの動作を示すフローチャートである。 実施形態１の変形例の画像ＧＺを示す。 実施形態２の顔向き推定装置ＫＳの機能ブロック図である。 実施形態２の乗員ＪＩの顔向きＫＭ及び顔向き角度ＫＫを示す。 実施形態２の顔向き推定装置ＫＳの動作を示すフローチャートである。 実施形態３の脇見判断システムＷＨの構成を示す。

　本開示に係る顔向き推定装置の実施形態について説明する。

実施形態１．
〈実施形態１〉
　実施形態１の顔向き推定装置ＫＳについて説明する。

〈実施形態１の機能〉
　図１は、実施形態１の顔向き推定装置ＫＳの機能ブロック図である。

　図２は、実施形態１の乗員ＪＩの第１の距離ＫＲ１、第２の距離ＫＲ２、及び比ＨＩを示す。

　図３は、実施形態１の乗員ＪＩの黒立体マスクＭＡを示す。

　実施形態１の顔向き推定装置ＫＳの機能について、図１～図３を参照して説明する。

　実施形態１の顔向き推定装置ＫＳは、図１に示されるように、撮影部ＳＥと、第１の算出部ＳＳ１と、推論部ＳＲと、第２の算出部ＳＳ２と、第３の算出部ＳＳ３と、比較部ＨＫと、推定部ＳＴと、を含む。顔向き推定装置ＫＳは、また、図１に示されるように、学習済みモデルＧＭと、基準値ＫＪと、を含む。

　撮影部ＳＥは、「撮影部」に対応し、第１の算出部ＳＳ１は、「第１の算出部」に対応し、推論部ＳＲは、「推論部」に対応し、第２の算出部ＳＳ２は、「第２の算出部」に対応し、第３の算出部ＳＳ３は、「第３の算出部」に対応し、比較部ＨＫは、「比較部」に対応し、推定部ＳＴは、「推定部」に対応する。

　撮影部ＳＥは、自動車等の車両ＳＹ（図示せず。）に搭乗する乗員ＪＩ（例えば、図１に図示。）の画像ＧＺ（図１に図示。）を撮影する。撮影部ＳＥは、より詳しくは、例えば、黒立体マスクＭＡ（図３Ａ、図３Ｂに図示。）を装着しており、鼻ＨＮ（図２に図示。）の位置を視認することが困難である乗員ＪＩの画像ＧＺを撮影する。撮影部ＳＥは、例えば、黒立体マスクＭＡが本来の位置（図３Ａに図示。）である乗員ＪＩの画像ＧＺ、及び、黒立体マスクＭＡが下方にずれた位置（図３Ｂに図示。）である乗員ＪＩの画像ＧＺを撮影する。ここで、「鼻ＨＮの位置を視認することが困難である」とは、上述した、鼻ＨＮが黒立体マスクＭＡにより覆われていることに加えて、例えば、鼻ＨＮが白立体マスクにより覆われていること、車両ＳＹの室内が暗いこと、即ち照度、輝度等が低いために鼻ＨＮの周辺が暗いことに起因して、例えば、画像認識、画像分析等の手法によっては、鼻ＨＮの位置を特定することが困難であることをいう。

　ここで、鼻ＨＮの位置とは、例えば、鼻ＨＮの全体的な位置、及び鼻ＨＮの部分的な位置（例えば、鼻ＨＮの鼻尖の位置、鼻ＨＮの鼻梁の位置、鼻ＨＮの鼻根の位置、鼻ＨＮの鼻翼の位置）をいう。

　第１の算出部ＳＳ１は、乗員ＪＩの画像ＧＺに基づき、乗員ＪＩの両眼間の距離である第１の距離ＫＲ１（図１、図２に図示。）を算出する。

　推論部ＳＲは、学習済みモデルＧＭを参照することにより、撮影された画像ＧＺ中の乗員ＪＩの鼻ＨＮの位置を推論する。学習済みモデルＧＭには、乗員ＪＩを含むか否かに拘わらず、鼻の位置を視認することが困難である人が撮影された複数の画像と前記の人の鼻の位置との関係が予め学習されている。

　第２の算出部ＳＳ２は、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置と、乗員ＪＩの両眼の中点との間の距離である第２の距離ＫＲ２（図１、図２に図示。）を算出する。

　第３の算出部ＳＳ３は、第１の算出部ＳＳ１により算出された第１の距離ＫＲ１と、第２の算出部ＳＳ２により算出された第２の距離ＫＲ２との比ＨＩ（図１、図２に図示。）を算出する。

　比較部ＨＫは、第３の算出部ＳＳ３により算出された比ＨＩを基準値ＫＪと比較する。基準値ＫＪは、例えば、上記した複数の人についての複数の比ＨＩを分析することにより得られた、予め定められた値である。

　推定部ＳＴは、比較部ＨＫによる上記した比較の結果に基づき、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置の当否、即ち、推論された鼻ＨＮの位置が妥当であるか否かを推定する。

〈実施形態１のハードウェア構成〉
　図４は、実施形態１の顔向き推定装置ＫＳのハードウェア構成を示す。

　実施形態１の顔向き推定装置ＫＳは、上述した機能を果たすべく、図４に示されるように、プロセッサＰと、メモリＭと、記憶媒体Ｋと、を含み、必要に応じて、入力部Ｎと、出力部Ｓと、更に含む。

　プロセッサＰは、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。メモリＭは、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。記憶媒体Ｋは、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。記憶媒体Ｋは、プログラムＰＲを記憶する。プログラムＰＲは、プロセッサＰが実行すべき処理の内容を規定する命令群である。

　入力部Ｎ及び出力部Ｓは、例えば、顔向き推定装置ＫＳの外部との間でプロセッサＰの動作に関連する入力信号ＮＳ及び出力信号ＳＳをやりとりするための入力用インターフェイス及び出力用インターフェイスから構成される。

　顔向き推定装置ＫＳにおける機能とハードウェア構成との関係については、ハードウェア上で、プロセッサＰが、記憶媒体Ｋに記憶されたプログラムＰＲを、メモリＭを用いて実行すると共に、必要に応じて、入力部Ｎ及び出力部Ｓの動作を制御することにより、撮影部ＳＥ～推定部ＳＴの各部の機能を実現する。

〈実施形態１の動作〉
　図５は、実施形態１の顔向き推定装置ＫＳの動作を示すフローチャートである。実施形態１の顔向き推定装置ＫＳの動作について、図５のフローチャートを参照して説明する。

　以下では、説明及び理解を容易にすべく、車両ＳＹの乗員ＪＩが、黒立体マスクＭＡ（図３Ａ、図３Ｂに図示。）を装着しており、鼻ＨＮ（図２に図示。）の位置を視認することが困難であることを想定する。

　ステップＳＴ１１：撮影部ＳＥ（図１に図示。）は、車両ＳＹの乗員ＪＩの画像ＧＺを撮影する。

　ステップＳＴ１２：第１の算出部ＳＳ１（図１に図示。）は、撮影部ＳＥにより撮影された画像ＧＺに基づき、乗員ＪＩの両眼の間の距離である第１の距離ＫＲ１（図１、図２に図示。）を算出する。

　ステップＳＴ１３：推論部ＳＲ（図１に図示。）は、乗員ＪＩの画像ＧＺに基づき、学習済みモデルＧＭ（図１に図示。）を参照することにより、乗員ＪＩの鼻ＨＮの位置を推論する。

　ステップＳＴ１４：第２の算出部ＳＳ２（図１に図示。）は、推論部ＳＲにより推論された鼻ＨＮの位置と乗員ＪＩの両眼間の中点との間の距離である第２の距離ＫＲ２（図１、図２に図示。）を算出する。

　ステップＳＴ１５：第２の算出部ＳＳ２（図１に図示。）は、第１の算出部ＳＳ１により算出された第１の距離ＫＲ１（図１、図２に図示。）と第２の算出部ＳＳ２により算出された第２の距離ＫＲ２（図１、図２に図示。）との比ＨＩ（図１、図２に図示。）を算出する。

　ステップＳＴ１６：比較部ＨＫ（図１に図示。）は、第３の算出部ＳＳ３により算出された比ＨＩと、基準値ＫＪ（図１に図示。）とを比較する。

　ステップＳＴ１７：推定部ＳＴ（図１に図示。）は、比較部ＨＫによる前記比較の結果に基づき、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置が妥当であるか否かを推定する。

〈実施形態１の効果〉
　上述したように、実施形態１の顔向き推定装置ＫＳでは、乗員ＪＩの両眼間の第１の距離ＫＲ１と、乗員ＪＩの画像ＧＺに基づき推論された乗員ＪＩの鼻ＨＮの位置及び乗員ＪＩの両眼間の中点間の第２の距離ＫＲ２との比ＨＩを基準値ＫＪと比較することにより、推論された鼻ＨＮの位置が妥当であるか否かを推定する。これにより、乗員ＪＩの視認することが困難である鼻ＨＮの位置であって推論された鼻ＨＮの位置が妥当であるか否かを推定することができる。

〈変形例〉
　図６は、実施形態１の変形例の画像ＧＺを示す。

　変形例の顔向き推定装置ＫＳでは、第３の算出部ＳＳ３が、撮影部ＳＥにより撮影された、車両ＳＹの乗員ＪＩについての複数枚の画像ＧＺ、例えば、予め定められたｎ（ｎは、２以上の整数）枚の画像ＧＺ（１）、ＧＺ（２）、ＧＺ（３）、、、、ＧＺ（ｎ）の各画像ＧＺ毎に、比ＨＩ（図１、図２に図示。）を算出してもよく、特に、第３の算出部ＳＳ３が、ｎ枚の各画像ＧＺの比ＨＩ、即ち、ｎ個の比ＨＩを平均することによりｎ個の比ＨＩの平均値を算出してもよい。推定部ＳＴが、ｎ個の比ＨＩの平均値を用いることにより、例えば、乗員ＪＩが一時的に脇見をし、又は一時的に俯くときに生じ得る、推論部ＳＲにより推論される乗員ＪＩの鼻ＨＮの位置が大きく変動することに起因する、推定部ＳＴによる推定への悪影響を低減することが可能となる。

実施形態２．
〈実施形態２〉
　実施形態２の顔向き推定装置ＫＳについて説明する。

〈実施形態２の機能〉
　図７は、実施形態２の顔向き推定装置ＫＳの機能ブロック図である。

　図８は、実施形態２の乗員ＪＩの顔向きＫＭ及び顔向き角度ＫＫを示す。

　実施形態２の顔向き推定装置ＫＳの機能について、図７及び図８を参照して説明する。

　実施形態２の顔向き推定装置ＫＳは、例えば、黒立体マスクＭＡがずれた位置（図３Ｂに図示。）にあることに起因して、乗員ＪＩの顔向きがあたかも下方に俯いているかのようであり（図８Ｂに図示。）、その結果、乗員ＪＩの鼻ＨＮが本来の位置に比して下方の位置にあると誤判断することを抑制することを目的とする。

　実施形態２の顔向き推定装置ＫＳは、図７に示されるように、実施形態１の顔向き推定装置ＫＳ（図１に図示。）と同様に、撮影部ＳＥと、第１の算出部ＳＳ１と、第２の算出部ＳＳ２と、第３の算出部ＳＳ３と、比較部ＨＫと、推定部ＳＴと、を含む。実施形態２の顔向き推定装置ＫＳは、また、図７に示されるように、実施形態１の顔向き推定装置ＫＳと同様に、学習済みモデルＧＭと、基準値ＫＪと、を含む。

　実施形態２の顔向き推定装置ＫＳは、図７に示されるように、他方で、実施形態１の顔向き推定装置ＫＳと相違し、第４の算出部ＳＳ４と、補正部ＨＳと、を更に含む。

　第４の算出部ＳＳ４は、「第４の算出部」に対応し、「補正部ＨＳ」は、「補正部」に対応する。

　第４の算出部ＳＳ４は、比ＨＩ（図２、図７に図示。）及び基準値ＫＪ（図７に図示。）に基づき、乗員ＪＩの顔向きの角度ＫＫ（以下、「顔向き角度ＫＫ」という。）、例えば、水平方向ＳＵを基準とする、黒立体マスクＭＡがずれた位置（図３Ｂに図示。）にあることに起因して乗員ＪＩの顔が下方に傾いているかのようである（図８Ｂに図示。）角度、いわゆるピッチ角度を算出する。

　第４の算出部ＳＳ４は、比ＨＩが基準値ＫＪに比してやや小さいとき、換言すれば、第２の距離ＫＲ２がやや小さいかのように撮影されているとき、例えば、乗員ＪＩの顔がやや下方を向いているかのような角度がα（図示せず。）であると算出する。

　他方で、第４の算出部ＳＳ４は、比ＨＩが基準値ＫＪに比して極めて小さいとき、換言すれば、第２の距離ＫＲ２が極めて小さいかのように撮影されているとき、例えば、乗員ＪＩの顔が極めて下方を向いているかのような角度がβ（図示せず。βの絶対値＞αの絶対値）であると算出する。

　角度βの絶対値＞角度αの絶対値であるとき、前者の角度βにおける、推論された鼻ＨＮの位置が妥当でない程度は、後者の角度αにおける、推論された鼻ＨＮの位置が妥当でない程度より、大きい。

　補正部ＨＳは、推定部ＳＴにより、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置が妥当でないと推定されたとき、乗員ＪＩの鼻ＨＮの位置が妥当でない程度に応じて、第４の算出部ＳＳ４により算出された乗員ＪＩの顔向き角度ＫＫを補正する。補正部ＨＳは、より詳しくは、黒立体マスクＭＡがずれた位置にあることに起因する乗員ＪＩの顔向きＫＭ（図８Ｂに図示。）が本来の乗員ＪＩの顔向きＫＭ（図８Ａに図示。）に近付くように、上記した乗員ＪＩの鼻ＨＮの位置が妥当でない程度がより大きいほど、乗員ＪＩの顔向き角度ＫＫをより大きく補正する。

〈実施形態２のハードウェア構成〉
　実施形態２の顔向き推定装置ＫＳのハードウェア構成は、実施形態１の顔向き推定装置ＫＳのハードウェア構成（図４に図示。）と同様であえる。

〈実施形態２の動作〉
　図９は、実施形態２の顔向き推定装置ＫＳの動作を示すフローチャートである。実施形態２の顔向き推定装置ＫＳの動作について、図９のフローチャートを参照して説明する。

　ステップＳＴ２１～ステップＳＴ２５：実施形態１のステップＳＴ１１～ＳＴ１５（図５に図示。）と同様に、撮影部ＳＥが乗員ＪＩの画像を撮影し、第１の算出部ＳＳ１が第１の距離ＫＲ１を算出し、推論部ＳＲが乗員ＪＩの鼻ＨＮの位置を推論し、第２の算出部ＳＳ２が第２の距離ＫＲ２を算出し、第３の算出部ＳＳ３が比ＨＩを算出する。

　ステップＳＴ２６：比較部ＨＫは（図７に図示。）、比ＨＩと基準値ＫＪとを比較する。図９に示されるように、比ＨＩが基準値ＫＪより小さくないとき、即ち、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置が妥当であるとき（「ＮＯ」のとき）、処理は、ステップＳＴ２７へ進む。他方で、比ＨＩが基準値ＫＪより小さいとき、即ち、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置が妥当でないとき（「ＹＥＳ」のとき）、処理は、ステップＳＴ２８へ進む。

　ステップＳＴ２７：例えば、推定部ＳＴ（図１に図示。）は、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置をそのまま出力する。

　ステップＳＴ２８：第４の算出部ＳＳ４（図７に図示。）は、比ＨＩ（図２に図示。）及び基準値ＫＪに基づき、乗員ＪＩの顔向き角度ＫＫを算出する。

　ステップＳＴ２９：補正部ＨＳ（図７に図示。）は、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置が妥当でない程度がより大きいほど、第４の算出部ＳＳ４により算出された乗員ＪＩの顔向き角度ＫＫを、黒立体マスクＭＡがずれた位置であることに起因する乗員ＪＩの顔向きＫＭ（図８Ｂに図示。）が乗員ＪＩの本来の顔向きＫＭ（図８Ａに図示。）へ近付くように、より大きく補正する。

　ステップＳＴ３０：補正部ＨＳは、補正された乗員ＪＩの顔向き角度ＫＫ、即ち、補正された乗員ＪＩの鼻ＨＮの位置を出力する。

〈実施形態の効果〉
　上述したように、実施形態２の顔向き推定装置ＫＳでは、推論部ＳＲにより推論された乗員ＪＩの鼻ＨＮの位置が妥当でない程度がより大きいほど、第４の算出部ＳＳ４により算出された乗員ＪＩの顔向き角度ＫＫ（図８Ｂに図示。）を、黒立体マスクＭＡがずれた位置であることに起因する乗員ＪＩの顔向きＫＭ（図８Ｂに図示。）が乗員ＪＩの本来の顔向きＫＭ（図８Ａに図示。）に近付くように、大きく補正する。これにより、例えば、乗員ＪＩが装着する黒立体マスクＭＡが下方にずれていることに起因して、乗員ＪＩの鼻ＨＮの位置が本来の位置（図８Ａに示唆。）よりも下方の位置（図８に示唆。）にあるとの誤認を抑制することができる。

実施形態３．
〈実施形態３〉
　実施形態３の脇見判断システムについて説明する。

　図１０は、実施形態３の脇見判断システムＷＨの構成を示す。

　実施形態３の脇見判断システムＷＨは、図１０に示されるように、実施形態１又は実施形態２の顔向き推定装置ＫＳと、脇見検出装置ＷＫＳと、脇見警報装置ＷＫＨと、を含む。

　実施形態３の脇見判断システムＷＨでは、顔向き推定装置ＫＳが、乗員ＪＩの鼻ＨＮの位置を推論し、また、必要に応じて補正し、脇見検出装置ＷＫＳが、乗員ＪＩの鼻ＨＮの位置に基づき、乗員ＪＩが脇見をしているか否かを検出し、脇見警報装置ＷＫＨが、脇見検出装置ＷＫＳによる検出の結果に基づき、乗員ＪＩが脇見をしている事実を、警報（例えば、表示及び警音）により、例えば、乗員ＪＩ本人に通知する。これにより、乗員ＪＩが、乗員ＪＩが搭乗する車両ＳＹの運転に集中すべきことを促すことができる。

〈変形例〉
　車両ＳＹの運転者のみを撮像する撮影部ＳＥを有する顔向き推定装置ＫＳの場合、前記運転者の鼻ＨＮの位置を視認することが困難であるとき、前記運転者が撮影された複数の画像ＧＺが、実施形態で対象となる画像である。

　車両ＳＹ内全体等の、撮像範囲に運転者及び同乗者を含めて撮像する撮影部ＳＥを有する顔向き推定装置ＫＳの場合、車両ＳＹ内に鼻ＨＮの位置を視認することが困難である人物が１名（例えば乗員Ａ）のみ存在するときは、乗員Ａが撮影された複数の画像が実施形態の対象となる画像である。

　車両ＳＹ内全体等の、撮像範囲に運転者及び同乗者を含めて撮像する撮影部ＳＥを有する顔向き推定装置ＫＳの場合、車両ＳＹ内に鼻ＨＮの位置を視認することが困難である人物が２名（例えば乗員Ａ及び乗員Ｂ）存在するとき、乗員Ａが撮影された複数の画像、及び乗員Ｂが撮影された複数の画像のそれぞれが、実施形態の対象となる画像である。車両ＳＹ内に鼻ＨＮの位置を視認することが困難である人物が３名以上存在する場合も同様である。

　本開示の要旨を逸脱しない範囲で、上述した実施形態同士を組み合わせてもよく、また、各実施形態中の構成要素を適宜、削除し、変更し、または、他の構成要素を追加してもよい。

　本開示に係る顔向き推定装置は、車両内の乗員の、視認することが困難である鼻の推論された位置が妥当であるか否かを推定することに利用可能である。

ＧＭ　学習済みモデル、ＧＺ　画像、ＨＩ　比、ＨＫ　比較部、ＨＮ　鼻、ＪＩ　乗員、ＫＪ　基準値、ＫＫ　顔向き角度、ＫＭ　顔向き、ＫＲ１　第１の距離、ＫＲ２　第２の距離、ＫＳ　顔向き推定装置、ＭＡ　黒立体マスク、ＳＥ　撮影部、ＳＲ　推論部、ＳＳ１　第１の算出部、ＳＳ２　第２の算出部、ＳＳ３　第３の算出部、ＳＳ４　第４の算出部、ＳＴ　推定部。

Claims (6)

1. 　車両内の乗員の画像を撮影する撮影部と、
   　前記乗員の画像に基づき、前記乗員の両眼間の第１の距離を算出する第１の算出部と、
   　前記乗員の画像に基づき、鼻の位置を視認することが困難である人が撮影された複数の画像と前記人の鼻の位置との関係が学習された学習済みモデルを参照することにより、前記乗員の鼻の位置を推論する推論部と、
   　前記推論された乗員の鼻の位置と前記乗員の両眼間の中点との間の第２の距離を算出する第２の算出部と、
   　前記第１の算出部により算出された第１の距離と前記第２の算出部により算出された第２の距離との比を算出する第３の算出部と、
   　前記第３の算出部により算出された比を予め定められた基準値と比較する比較部と、
   　前記比較部による比較の結果に基づき、前記推論部により推論された前記乗員の鼻の位置の当否を推定する推定部と、
   　を含む顔向き推定装置。
2. 　前記第３の算出部は、前記撮影部により撮影された予め定められた数の複数の画像について前記比を計算する、
   　請求項１に記載の顔向き推定装置。
3. 　前記第３の算出部は、前記撮影部により撮影された予め定められた数の複数の画像について計算された前記比の平均値を算出する、
   　請求項２に記載の顔向き推定装置。
4. 　前記比及び前記基準値に基づき、前記乗員の顔向きの角度を算出する第４の算出部と、
   　前記推定部により、前記推論部により推論された前記乗員の鼻の位置が妥当でないと推定されたとき、前記妥当でない程度がより大きいほど、前記第４の算出部により算出された前記乗員の顔向きの角度を、前記乗員の顔向きが前記乗員の本来の顔向きに近付くように、大きく補正する補正部と、を更に含む、
   　請求項１に記載の顔向き推定装置。
5. 　請求項１に記載の顔向き推定装置と、
   　前記乗員の鼻の位置に基づき、前記乗員が脇見をしているか否かを検出する脇見検出装置と、
   　前記検出の結果に基づき、前記乗員が脇見をしている事実を警報により通知する脇見警報装置と、
   　を含む脇見判断システム。
6. 　撮影部が、車両内の乗員の画像を撮影し、
   　第１の算出部が、前記乗員の画像に基づき、前記乗員の両眼間の第１の距離を算出し、
   　推論部が、前記乗員の画像に基づき、鼻の位置を視認することが困難である人が撮影された複数の画像と前記人の鼻の位置との関係が学習された学習済みモデルを参照することにより、前記乗員の鼻の位置を推論し、
   　第２の算出部が、前記推論された乗員の鼻の位置と前記乗員の両眼間の中点との間の第２の距離を算出し、
   　第３の算出部が、前記第１の算出部により算出された第１の距離と前記第２の算出部により算出された第２の距離との比を算出し、
   　比較部が、前記第３の算出部により算出された比を予め定められた基準値と比較し、
   　推定部が、前記比較部による比較の結果に基づき、前記推論部により推論された前記乗員の鼻の位置の当否を推定する、
   　顔向き推定方法。

Images