JP7301256B2 - 顔向き判定装置および顔向き判定方法 - Google Patents

Description

本開示は、人の顔向きを判定する顔向き判定装置および顔向き判定方法に関するものである。

従来、人の顔向きを判定する技術として、人の顔が撮像された画像に基づき、当該画像上の当該人の鼻または口の位置から当該人の顔向きを判定する技術がある。
しかし、顔向きを判定する対象となる人（以下「対象者」という。）がマスクを着用していた場合、当該対象者が撮像された画像上で当該対象者の鼻または口を検知することができず、当該対象者の顔向きの判定が困難になることがある。
そこで、対象者がマスクを着用している場合に、当該対象者が撮像された画像上で当該対象者の鼻または口の位置を推定し、推定した鼻または口の位置から当該対象者の顔向きを判定する技術が知られている。例えば、特許文献１には、車両のドライバの顔が撮像された顔画像中のマスクの外形線に基づいて鼻孔位置を推定し、推定した鼻孔位置に基づいてドライバの眼の位置を特定してドライバの顔の向きを認識する運転状態推定装置が開示されている。

特開２００９－２７６８４８号公報

従来技術では、対象者がマスクを着用している場合、顔向きの判定に用いる画像上の鼻または口の位置が推定された位置であるため、顔向きの判定精度が低下するという課題があった。

本開示は上記のような課題を解決するためになされたもので、画像上の鼻または口の位置を推定して顔向きの判定を行う従来技術よりも精度高く、マスクを着用している対象者の顔向きを判定可能とした顔向き判定装置を提供することを目的とする。

本開示に係る顔向き判定装置は、顔向きを推定する対象となる対象者の顔が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像において、対象者が着用しているマスクの上端部の一点とマスクの下端部の一点との間のマスク距離を測定するマスク認識部と、マスク認識部が測定したマスク距離に基づいて、対象者の顔向きを判定する顔向き判定部とを備えたものである。

本開示によれば、画像上の鼻または口の位置を推定して顔向きの判定を行う従来技術よりも精度高く、マスクを着用している対象者の顔向きを判定することができる。

実施の形態１に係る顔向き判定装置の構成例を示す図である。 実施の形態１において、顔向き判定部がドライバの横方向の顔向きについて、左に顔向きを変更したか、右に顔向きを変更したかを判定する方法の一例を示した図である。 実施の形態１における、顔向き判定部によるドライバの縦方向の顔向きの判定について説明するための図であって、図３Ｂは、ドライバが顔を正面に向けた場合の撮像画像上のドライバの顔を示す図であり、図３Ａは、ドライバが顔を正面に向けた状態から顔を上に向けた場合の撮像画像上のドライバの顔を示す図であり、図３Ｃは、ドライバが顔を正面に向けた状態から顔を下に向けた場合の撮像画像上のドライバの顔を示す図である。 実施の形態１において、顔向き判定部がドライバの縦方向の顔向きについて、上に顔向きを変更したか、下に顔向きを変更したかを判定する方法の一例を示した図である。 実施の形態１に係る顔向き判定装置の動作について説明するためのフローチャートである。 図６Ａおよび図６Ｂは、実施の形態１に係る顔向き判定装置のハードウェア構成の一例を示す図である。 実施の形態２に係る顔向き判定装置の構成例を示す図である。 実施の形態２に係る顔向き判定装置の動作について説明するためのフローチャートである。 第２機械学習モデルに基づいてドライバの顔向きを判定するように構成された顔向き判定装置の構成例を示す図である。 第２機械学習モデルに基づいてドライバの顔向きを判定するように構成された顔向き判定装置の動作を説明するためのフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る顔向き判定装置１の構成例を示す図である。
実施の形態１に係る顔向き判定装置１は、顔向きを判定する対象となる人（以下「対象者」という。）の顔向きを判定する。
以下の実施の形態１では、一例として、顔向き判定装置１は車両１００に搭載され、車両１００のドライバの顔向きを判定するものとする。すなわち、以下の実施の形態１において、対象者は、車両１００のドライバとする。車両１００のドライバは、マスクを着用している可能性がある。
顔向き判定装置１は、車両１００に搭載されているカメラ２および出力装置３と接続され、顔向き判定装置１とカメラ２と出力装置３とで、いわゆるＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）を構成する。
顔向き判定装置１は、カメラ２がドライバの顔を撮像した画像（以下「撮像画像」という。）に基づいて、ドライバの顔向きを判定する。顔向き判定装置１は、判定したドライバの顔向きに関する情報を、出力装置３に出力する。なお、顔向きの単位は度である。
実施の形態１では、顔向き判定装置１は、ドライバの顔向きについて、縦方向の顔向き、および、横方向の顔向きを判定するものとする。ドライバの顔向きは、例えば、ドライバの顔が正面を向いている場合を０度とし、正面を向いた状態からの回転角により示すことができる。ドライバの横方向の顔向きは水平方向の回転角であらわされ、ドライバの縦方向の顔向きは垂直方向の回転角により示すことができる。

カメラ２は、例えば、車両１００のインストルメントパネルの中央部、メータパネル、ステアリングコラム、Ａピラー、または、センターコンソール周辺に、車室内をモニタリングすることを目的に設置される。カメラ２は、少なくとも乗員の顔を撮像可能に設置されている。
実施の形態１では、一例として、カメラ２は、車両１００の運転席の正面に設けられているメータパネルに設置されているものとする。
カメラ２は、可視光カメラ、または、赤外線カメラである。
なお、図１では、カメラ２は車両１００に１台のみ設置されることとしているが、これは一例に過ぎない。カメラ２は、車両１００に複数台設置されてもよい。
カメラ２は、撮像した撮像画像を、顔向き判定装置１に出力する。

出力装置３は、例えば、車両１００の乗員を監視する乗員監視装置（図示省略）である。乗員監視装置は、例えば、顔向き判定装置１が判定したドライバの顔向きが予め設定された閾値（以下「顔向き判定用閾値」という。）以上である場合に、表示装置（図示省略）に、「前方不注意」等の警告メッセージを表示させる。また、例えば、乗員監視装置は、音声出力装置（図示省略）に、顔向き判定装置１が判定したドライバの顔向きに基づく音声または警告音を出力してもよい。具体的には、乗員監視装置は、顔向き判定装置１が判定したドライバの顔向きが顔向き判定用閾値以上である場合に、音声出力装置から、「前方不注意」である旨の音声または警告音を出力させる。
表示装置および音声出力装置は、例えば、車両１００のインストルメントパネルの中央部、メータパネル、ステアリングコラム、Ａピラー、または、センターコンソール周辺に設置される。
なお、例えば、出力装置３を表示装置または音声出力装置とし、表示装置または音声出力装置が、直接、顔向き判定装置１から当該顔向き判定装置１が判定したドライバの顔向きを取得し、ドライバの顔向きに関する情報を表示または音声出力してもよい。
なお、出力装置３は、乗員監視装置、表示装置または音声出力装置に限らず、例えば、振動を発生させる振動発生装置、または、風を出力する送風機としてもよい。
また、図１では、出力装置３は車両１００に１台のみ設置されることとしているが、これは一例に過ぎない。出力装置３は、車両１００に複数台設置されてもよい。

実施の形態１に係る顔向き判定装置１の詳細について説明する。
顔向き判定装置１は、画像取得部１１、特徴点抽出部１２、顔種別判定部１３、顔器官認識部１４、マスク認識部１５、顔向き判定部１６、および、出力部１７を備える。

画像取得部１１は、カメラ２からドライバの顔が撮像された撮像画像を取得する。
画像取得部１１は、取得した撮像画像を特徴点抽出部１２に出力する。

特徴点抽出部１２は、画像取得部１１が取得した撮像画像に基づき、撮像画像において、ドライバの顔のパーツを示す特徴点を抽出する。特徴点抽出部１２は、Ｈａａｒ－Ｌｉｋｅ特徴を用いた手法、または、パターンマッチング等、既知の技術を用いて、撮像画像におけるドライバの顔のパーツを示す特徴点を抽出すればよい。なお、特徴点抽出部１２が顔のどのパーツを示す特徴点を抽出するかは、予め決められている。特徴点抽出部１２は、複数の顔のパーツについて、それぞれ特徴点を抽出することができる。
実施の形態１では、特徴点抽出部１２は、少なくとも、ドライバの目および鼻を示す特徴点を抽出するものとする。より詳細には、ドライバの目は、目頭および目尻であらわされる。また、ドライバの鼻は、鼻頭であらわされる。特徴点は、撮像画像上の座標であらわされる。
特徴点抽出部１２は、抽出した特徴点に関する情報を、顔器官認識部１４に出力する。

また、特徴点抽出部１２は、鼻の特徴点を抽出できたか否かを示す情報を、顔種別判定部１３に出力する。
上述のとおり、ドライバはマスクを着用していることがある。この場合、特徴点抽出部１２は、鼻の特徴点を抽出できない。

顔種別判定部１３は、ドライバがマスクを着用しているか否かを判定する。
具体的には、顔種別判定部１３は、特徴点抽出部１２から出力された、鼻の特徴点を抽出できたか否かを示す情報に基づき、ドライバがマスクを着用しているか否かを判定する。顔種別判定部１３は、特徴点抽出部１２から、鼻の特徴点を抽出できなかった旨の情報が出力された場合、ドライバがマスクを着用していると判定する。
顔種別判定部１３は、ドライバがマスクを着用しているか否かの判定結果を、顔器官認識部１４およびマスク認識部１５に出力する。

顔器官認識部１４は、特徴点抽出部１２が抽出した複数の特徴点のうちの２点の距離（以下「特徴点間距離」という。）を測定する。
具体的には、顔器官認識部１４は、撮像画像において、特徴点抽出部１２が抽出した複数の特徴点のうちドライバの両目頭を結ぶ線分の長さを特徴点間距離として測定する。
実施の形態１において、顔器官認識部１４が測定する上記特徴点間距離は、ドライバの横方向の顔向きを判定するのに用いられる。実施の形態１において、ドライバの横方向の顔向きを判定するための上記特徴点間距離を、「横方向判定用距離」ともいう。なお、ドライバの顔向きの判定は、顔向き判定部１６が行う。
なお、実施の形態１では、両目頭を結ぶ線分の長さを横方向判定用距離とするが、これは一例に過ぎない。横方向判定用距離は、複数の特徴点のうちの適宜の２点を結ぶ線分の長さとすることができる。

また、顔器官認識部１４は、顔種別判定部１３からドライバがマスクを着用していない旨の判定結果が出力された場合は、撮像画像において、ドライバの両目中心と鼻頭を示す特徴点との距離（以下「目鼻距離」という。）を測定する。なお、顔器官認識部１４は、ドライバの両眼中心を、ドライバの両目頭を結ぶ線分の中点とすればよい。ドライバの両目頭および鼻頭を示す特徴点は、特徴点抽出部１２にて抽出されている。
実施の形態１において、顔器官認識部１４が測定する上記目鼻距離は、ドライバの縦方向の顔向きを判定するのに用いられる。実施の形態１において、ドライバの縦方向の顔向きを判定するための上記目鼻距離を、「縦方向判定用距離」ともいう。なお、ドライバの顔向きの判定は、顔向き判定部１６が行う。

顔器官認識部１４は、特徴点間距離、言い換えれば、横方向判定用距離を、顔向き判定部１６に出力する。また、顔器官認識部１４は、目鼻距離を測定した場合は、当該目鼻距離、言い換えれば、縦方向判定用距離を、顔向き判定部１６に出力する。

マスク認識部１５は、顔種別判定部１３からドライバがマスクを着用している旨の判定結果が出力された場合に、撮像画像において、ドライバが着用しているマスクの上端部の一点とマスクの下端部の一点との間の距離（以下「マスク距離」という。）を測定する。なお、マスク認識部１５は、特徴点抽出部１２および顔種別判定部１３を介して、画像取得部１１が取得した撮像画像を取得すればよい。
実施の形態１において、マスク認識部１５が測定する上記マスク距離は、ドライバの縦方向の顔向きを判定するための縦方向判定用距離である。実施の形態１において、縦方向判定用距離には、顔器官認識部１４が測定した目鼻距離と、マスク認識部１５が測定したマスク距離が含まれる。

実施の形態１では、マスクの上端部の一点は、マスクの上端部のうちの最上部の点とする。また、実施の形態１では、ドライバが着用しているマスクの下端部の一点は、マスクの下端部のうちの最下部の点とする。
マスクの上端部のうちの最上部の点の検出方法について、マスク認識部１５は、例えば、撮像画像において、ドライバの目のエリアの下の予め決められた範囲をエッジ検出し、エッジ強度が予め設定された閾値よりも高い最上部の点を、マスクの上端部のうち最上部の点として検出する。撮像画像におけるドライバの目のエリアの大きさは、例えば、目頭を示す特徴点および目尻を示す特徴点の幅に応じて設定される。なお、マスク認識部１５は、例えば、顔種別判定部１３を介して、特徴点抽出部１２が抽出した特徴点に関する情報を取得すればよい。
また、マスクの下端部のうちの最下部の点の検出方法について、マスク認識部１５は、例えば、撮像画像において、ドライバの顔の下部のエリアをエッジ検出し、エッジ強度が予め設定された閾値よりも高い最下部の点を、マスクの下端部のうち最下部の点として検出する。撮像画像におけるドライバの顔の下部のエリアの大きさは、例えば、ドライバの顔の大きさに応じて設定される。マスク認識部１５は、ドライバの目の特徴点等の顔の特徴点から、ドライバの顔の大きさを推定できる。
マスク認識部１５は、ソーベル法、ガウスのラプラシアン法、または、キャニー法等、既知の一般的なエッジ検出フィルタを用いてエッジ検出を行えばよい。

マスク認識部１５は、例えば、既知の画像認識技術を用いて撮像画像上のマスクの領域を検出し、検出したマスクの領域の形状から、マスクの上端部のうちの最上部の点、および、マスクの下端部のうちの最下部の点を検出してもよい。

マスク認識部１５は、検出したマスク距離、言い換えれば、縦方向判定用距離を、顔向き判定部１６に出力する。

顔向き判定部１６は、顔器官認識部１４から出力された横方向判定距離、言い換えれば、特徴点間距離と、顔器官認識部１４またはマスク認識部１５から出力された縦方向判定距離、言い換えれば、目鼻距離またはマスク距離とに基づいて、ドライバの顔向きを判定する。
より詳細には、顔向き判定部１６は、顔器官認識部１４から出力された特徴点間距離に基づいて、ドライバの横方向の顔向きを判定する。また、顔向き判定部１６は、顔器官認識部１４から目鼻距離が出力された場合は、当該目鼻距離に基づいて、ドライバの縦方向の顔向きを判定する。顔向き判定部１６は、マスク認識部１５からマスク距離が出力された場合は、当該マスク距離に基づいて、ドライバの縦方向の顔向きを判定する。

ここで、顔向き判定部１６がドライバの顔向きを判定する方法の一例について説明する。
顔向き判定部１６は、例えば、特徴点間距離の基準値（以下「横方向基準値」という。）と、顔器官認識部１４から出力された特徴点間距離との比較によって、ドライバの横方向の顔向きを判定する。横方向基準値は、ドライバが正面を向いていると想定される場合の、撮像画像における特徴点間距離とする。
また、顔向き判定部１６は、例えば、目鼻距離の基準値と顔器官認識部１４から出力された目鼻距離との比較、または、マスク距離の基準値とマスク認識部１５から出力されたマスク距離との比較によって、ドライバの縦方向の顔向きを判定する。目鼻距離の基準値、および、マスク距離の基準値を、まとめて「縦方向基準値」ともいう。ただし、目鼻距離の基準値としての縦方向基準値と、マスク距離の基準値としての縦方向基準値は、同じ値でなくてよい。

例えば、顔向き判定装置１は、ドライバが乗車した際に、キャリブレーション処理を行って横方向基準値および縦方向基準値を設定し、設定した横方向基準値および縦方向基準値を顔向き判定部１６に記憶している。
キャリブレーション処理において、例えば、まず、ドライバが、正面を向いた状態で着座し、表示装置に備えられているタッチパネル式ディスプレイ（図示省略）のタッチ操作を行って、正面を向いて着座している旨の情報（以下「正面着座情報」という。）を入力する。顔向き判定装置１の制御部（図示省略）は、ドライバによって入力された正面着座情報を受け付け、画像取得部１１に正面着座情報を受け付けた旨を通知する。画像取得部１１は、正面着座情報を受け付けた旨が通知されると、カメラ２から撮像画像を取得する。当該撮像画像には、正面を向いて着座しているドライバの顔が撮像されている。
特徴点抽出部１２は、画像取得部１１が撮像した撮像画像に基づいて特徴点を抽出し、顔種別判定部１３はドライバがマスクを着用しているか否かを判定する。ドライバがマスクを着用していない場合、顔器官認識部１４は、特徴点間距離および目鼻距離を測定する。ドライバがマスクを着用している場合、顔器官認識部１４が特徴点間距離を測定し、マスク認識部１５がマスク距離を測定する。
顔向き判定部１６は、顔器官認識部１４が測定した特徴点間距離を横方向基準値として記憶する。また、顔向き判定部１６は、顔器官認識部１４が目鼻距離を測定した場合は目鼻距離を縦方向基準値とし、マスク認識部１５がマスク距離を測定した場合はマスク距離を縦方向基準値として、記憶する。

なお、以上のキャリブレーション処理において、例えば、ドライバが着座すると、顔向き判定装置１の制御部が、タッチパネル式ディスプレイにて、ドライバに対して、正面を向いて着座し正面着座情報を入力するよう促す表示を行うようにしてもよい。

以上のキャリブレーション処理では、ドライバが正面着座情報を入力するようにしたが、これは一例に過ぎない。例えば、顔向き判定装置１は、運転開始後一定時間はドライバが正面を向いているものとみなし、当該一定時間内の適宜のタイミングで、特徴点間距離と、目鼻距離またはマスク距離の測定とを行い、横方向基準値および縦方向基準値を設定するようにしてもよい。

このように、顔向き判定装置１は、キャリブレーション処理を行って、横方向基準値および縦方向基準値を設定し、顔向き判定部１６に記憶させている。
そして、顔向き判定部１６は、横方向基準値と、顔器官認識部１４から出力された特徴点間距離との比較によって、ドライバの横方向の顔向きを判定する。
実施の形態１において、カメラ２は、車両１００の運転席の正面に設けられているメータパネルに設置されているので、撮像画像上で、特徴点間距離は、ドライバが顔を正面に向けた状態において一番長く、ドライバが左または右に顔向きを変更するに従って短くなっていく。なお、ドライバが左または右に顔向きを変更すると、ある時点からは撮像画像上で片方の目しか撮像されなくなり、特徴点間距離は「０」になる。顔向き判定部１６は、顔器官認識部１４から出力された特徴点間距離が、横方向基準値に対してどれぐらい短くなったかに基づき、ドライバの横方向の顔向きを判定する。
例えば、カメラ２の設置位置および画角に応じて、横方向基準値に対して特徴点間距離がどれぐらい変化した場合に、ドライバが横方向にどれぐらいの角度顔向きを変えたと判定するかが、予め決められている。ここでは、カメラ２が運転席の正面に設けられるので、特徴点間距離はドライバが顔を正面に向けた状態において一番長いが、例えば、カメラ２の設置位置によっては、特徴点間距離は、ドライバが顔を正面に向けた状態において一番長いとは限らない。例えば、カメラ２が斜めからドライバの顔を撮像する場合、ドライバが顔を向けた状態の特徴点間距離よりも、顔を左または右に向けた状態の特徴点間距離の方が長くなることもある。

なお、顔向き判定部１６は、ドライバの横方向の顔向きについて、左に顔向きを変更したか、右に顔向きを変更したかを判定できる。
顔向き判定部１６による、ドライバが左右のどちらの向きに顔向きを変更したかを判定する方法について、具体例を挙げて説明する。

まず、顔向き判定部１６は、ドライバの顔が存在する領域（以下「顔領域」という。）を検出する。実施の形態１において、顔領域とは、撮像画像において顔の輪郭で囲まれた領域とする。顔向き判定部１６は、例えば、撮像画像に対して既知の画像認識処理を行って、顔領域を検出すればよい。顔向き判定部１６は、特徴点抽出部１２、顔種別判定部１３、および、顔器官認識部１４を介して、画像取得部１１が取得した撮像画像を取得すればよい。また、顔向き判定部１６は、例えば、顔種別判定部１３および顔器官認識部１４を介して、特徴点抽出部１２が抽出した特徴点に関する情報を取得し、特徴点に関する情報から顔領域を検出してもよい。

次に、顔向き判定部１６は、検出した顔領域に基づき、ドライバの右半分の顔の輪郭上の１点であって、かつ、撮像画像上で最も左側に撮像されている当該輪郭上の点（以下「顔輪郭右端点」という。）を検出する。また、顔向き判定部１６は、検出した顔領域に基づき、ドライバの左半分の顔の輪郭上の１点であって、かつ、撮像画像上で最も右側に撮像されている当該輪郭上の点（以下「顔輪郭左端点」という。）を検出する。

続いて、顔向き判定部１６は、撮像画像上で顔輪郭右端点を通り撮像画像の縦方向と平行な直線（以下「第１直線」という。）と、撮像画像上でドライバの右目尻を示す特徴点を通り撮像画像の縦方向と平行な直線（以下「第２直線」という。）との距離（以下「右側距離」という。）を算出する。また、顔向き判定部１６は、撮像画像上で顔輪郭左端点を通り撮像画像の縦方向と平行な直線（以下「第３直線」という。）と、撮像画像上でドライバの左目尻を示す特徴点を通り撮像画像の縦方向と平行な直線（以下「第４直線」という。）との距離（以下「左側距離」という。）を算出する。なお、顔向き判定部１６は、ドライバの目尻を示す特徴点に関する情報を、特徴点抽出部１２が抽出した特徴点に関する情報から特定できる。実施の形態１において、「平行」とは、厳密に平行である必要はなく、「平行」は「略平行」も含む。

そして、顔向き判定部１６は、算出した右側距離および左側距離と、以下の条件（以下「横向き判定用条件」という。）との比較によって、ドライバが左に顔向きを変更したか、右に顔向きを変更したかを判定する。なお、横向き判定用条件は、予め設定され、顔向き判定部１６が記憶している。

＜横向き判定用条件＞
顔向きを右と判定する条件：左側距離＞右側距離
顔向きを左と判定する条件：左側距離＜右側距離

ここで、図２は、実施の形態１において、顔向き判定部１６がドライバ（図２においてＤＲで示す）の横方向の顔向きについて、左に顔向きを変更したか、右に顔向きを変更したかを判定する方法の一例を示した図である。なお、図２では、説明の簡単のため、撮像画像上のドライバの顔のみ図示している。また、図２では、ドライバの顔のパーツは、目のみ図示するようにしている。
図２において、３１は顔輪郭右端点を示し、３２は顔輪郭左端点を示し、３３はドライバの右目尻を示す特徴点を示し、３４はドライバの左目尻を示す特徴点を示している。また、図２において、Ｌ_１は第１直線を示し、Ｌ_２は第２直線を示し、Ｌ_３は第３直線を示し、Ｌ_４は第４直線を示している。また、図２において、Ｄ_１は右側距離を示し、Ｄ_２は左側距離を示している。
図２の例でいうと、Ｄ_１＜Ｄ_２であるため、顔向きを右と判定する横向き判定用条件を満たすことになる。したがって、この場合、顔向き判定部１６は、ドライバは右に顔向きを変更したと判定する。

なお、上述の、横方向の顔向きの判定方法は一例に過ぎず、顔向き判定部１６は、撮像画像上の２点の特徴点の距離から顔向きを判定する既知の技術を用いてドライバの横方向の顔向きを判定すればよい。

また、顔向き判定部１６は、キャリブレーション処理によって記憶された縦方向基準値と、顔器官認識部１４から出力された目鼻距離またはマスク認識部１５から出力されたマスク距離との比較によって、ドライバの縦方向の顔向きを判定する。
具体的には、顔種別判定部１３にてドライバはマスクを着用していないと判定された場合、顔向き判定部１６は、目鼻距離の基準値としての縦方向基準値と目鼻距離との比較によってドライバの顔向きを判定する。顔種別判定部１３にてドライバはマスクを着用していると判定された場合、顔向き判定部１６は、マスク距離の基準値としての縦方向基準値とマスク距離との比較によってドライバの顔向きを判定する。

ここで、図３は、実施の形態１における、顔向き判定部１６によるドライバの縦方向の顔向きの判定について説明するための図である。
図３Ｂは、ドライバが顔を正面に向けた場合の撮像画像上のドライバの顔を示す図であり、図３Ａは、ドライバが顔を正面に向けた状態から顔を上に向けた場合の撮像画像上のドライバの顔を示す図であり、図３Ｃは、ドライバが顔を正面に向けた状態から顔を下に向けた場合の撮像画像上のドライバの顔を示す図である。なお、図３では、説明の簡単のため、撮像画像上のドライバの顔のみ図示している。
図３において、Ｅ１～Ｅ３は、ドライバの両目中心を示す。また、図３において、Ｎ１～Ｎ３は、ドライバの鼻頭を示す。また、図３において、Ｍ１１、Ｍ２１、および、Ｍ３１は、マスクの上端部のうちの最上部の点を示し、Ｍ１２、Ｍ２２、および、Ｍ３２は、マスクの下端部のうちの最下部の点を示す。
なお、図３において、２０１ａ～２０１ｃは、ドライバの両目間距離、すなわち、特徴点間距離を示している。

例えば、ドライバがマスクを着用していない場合、実施の形態１において、カメラ２は、車両１００の運転席の正面に設けられているメータパネルに設置されているので、撮像画像上で、目鼻距離は、ドライバが顔を正面に向けた状態において一番長く、ドライバが上または下に顔向きを変更するに従って短くなっていく（図３Ｂの左側の図の２０２ｂ、図３Ａの左側の図の２０２ａ、および、図３Ｃの左側の図の２０２ｃ参照）。顔向き判定部１６は、顔器官認識部１４から出力された目鼻距離が、縦方向基準値に対してどれぐらい短くなったかに基づき、ドライバの縦方向の顔向きを判定する。
例えば、カメラ２の設置位置および画角に応じて、縦方向基準値に対して特徴点間距離がどれぐらい変化した場合に、ドライバが縦方向にどれぐらいの角度顔向きを変えたと判定するかが、予め決められている。ここでは、カメラ２が運転席の正面に設けられるので、目鼻距離はドライバが顔を正面に向けた状態において一番長いが、例えば、カメラ２の設置位置によっては、目鼻距離は、ドライバが顔を正面に向けた状態において一番長いとは限らない。

なお、顔向き判定部１６は、ドライバがマスクを着用していない場合、ドライバの縦方向の顔向きについて、上に顔向きを変更したか、下に顔向きを変更したかを判定できる。
顔向き判定部１６による、ドライバが上下のどちらの向きに顔向きを変更したかを判定する方法について、具体例を挙げて説明する。

まず、顔向き判定部１６は、ドライバの顔領域を検出する。ドライバの顔領域については説明済みであるため、詳細な説明を省略する。
次に、顔向き判定部１６は、検出した顔領域に基づき、ドライバの顔の輪郭上の１点であって、かつ、撮像画像上で最も上側に撮像されている当該輪郭上の点（以下「顔輪郭上端点」という。）を検出する。また、顔向き判定部１６は、検出した顔領域に基づき、ドライバの顔の輪郭上の１点であって、かつ、撮像画像上で最も下側に撮像されている当該輪郭上の点（以下「顔輪郭下端点」という。）を検出する。

続いて、顔向き判定部１６は、撮像画像上で顔輪郭上端点を通り撮像画像の横方向と平行な直線（以下「第５直線」という。）と、撮像画像上でドライバの目の高さを示す点を通り撮像画像の横方向と平行な直線（以下「第６直線」という。）との距離（以下「上側距離」という。）を算出する。また、顔向き判定部１６は、撮像画像上で顔輪郭下端点を通り撮像画像の横方向と平行な直線（以下「第７直線」という。）と第６直線との距離（以下「下側距離」という。）を算出する。なお、顔向き判定部１６は、撮像画像上でドライバの右目尻を示す特徴点、左目尻を示す特徴点、右目頭を示す特徴点、または、左目頭を示す特徴点を、ドライバの目の高さを示す点とすればよい。ここでは、顔向き判定部１６は、ドライバの左目尻を示す特徴点をドライバの目の高さを示す点とする。

そして、顔向き判定部１６は、算出した上側距離および下側距離と、以下の条件（以下「縦向き判定用条件」という。）との比較によって、ドライバが上に顔向きを変更したか、下に顔向きを変更したかを判定する。なお、縦向き判定用条件は、予め設定され、顔向き判定部１６が記憶している。以下では、縦向き判定用条件を２つ（第１縦向き判定用条件および第２縦向き判定用条件）示す。顔向き判定部１６は、第１縦向き判定用条件と第２縦向き判定用条件のいずれかを用いてドライバが上に顔向きを変更したか、下に顔向きを変更したかを判定してもよいし、第１縦向き判定用条件と第２縦向き判定用条件の両方を用いてドライバが上に顔向きを変更したか、下に顔向きを変更したかを判定してもよい。
以下の第１縦向き判定用条件における「第１基準距離」とは、縦方向判定用距離が最長となる場合のドライバの目の高さを示す点を高さ基準点として算出された、当該高さ基準点を通り撮像画像の横方向と平行な直線（以下「基準直線」という。）と上記第５直線との距離である。なお、ここでは、縦方向判定用距離は、目鼻距離である。縦方向判定用距離が最長となる場合は、ドライバが顔を正面に向けた場合と想定される。
また、以下の第２縦向き判定用条件における「第２基準距離」とは、上記基準直線と上記第７直線との距離である。

＜第１縦向き判定用条件＞
顔向きを上と判定する条件：上側距離＜第１基準距離
顔向きを下と判定する条件：上側距離＞第１基準距離

＜第２縦向き判定用条件＞
顔向きを上と判定する条件：下側距離＞第２基準距離
顔向きを下と判定する条件：下側距離＜第２基準距離

ここで、図４は、実施の形態１において、顔向き判定部１６がドライバ（図４においてＤＲで示す）の縦方向の顔向きについて、上に顔向きを変更したか、下に顔向きを変更したかを判定する方法の一例を示した図である。なお、図４では、説明の簡単のため、撮像画像上のドライバの顔のみ図示している。また、図４では、ドライバの顔のパーツは、目のみ図示するようにしている。
図４において、３４はドライバの左目尻を示す特徴点を示し、３５は顔輪郭上端点を示し、３６は顔輪郭下端点を示している。また、図４において、Ｌ_５は第５直線を示し、Ｌ_６は第６直線を示し、Ｌ_７は第７直線を示している。また、図４において、Ｄ_３は上側距離を示し、Ｄ_４は下側距離を示している。
図４の例でいうと、例えば、顔向き判定部１６は、Ｄ_３＜第１基準距離である場合、または、Ｄ_４＞第２基準距離である場合、ドライバは上に顔向きを変更したと判定する。また、例えば、顔向き判定部１６は、Ｄ_３＜第１基準距離であり、かつ、Ｄ_４＞第２基準距離である場合に、ドライバは上に顔向きを変更したと判定してもよい。

また、例えば、ドライバがマスクを着用している場合、実施の形態１において、カメラ２は、車両１００の運転席の正面に設けられているメータパネルに設置されているので、撮像画像上で、ドライバが顔を正面に向けた状態におけるマスク距離は、ドライバが下方向に顔向きを変更させた状態におけるマスク距離よりも長い（図３Ｂの右側の図の２０３ｂ、および、図３Ｃの右側の図の２０３ｃ参照）。逆に、ドライバが顔を正面に向けた状態におけるマスク距離は、ドライバが上方向に顔向きを変更させた状態におけるマスク距離よりも短い（図３Ｂの右側の図の２０３ｂ、および、図３Ａの右側の図の２０３ａ参照）。顔向き判定部１６は、マスク認識部１５から出力されたマスク距離が、縦方向基準値に対してどれぐらい長くなったか、または、短くなったかに基づき、ドライバの縦方向の顔向きを判定する。
例えば、カメラ２の設置位置および画角に応じて、縦方向基準値に対してマスク距離がどれぐらい変化した場合に、ドライバが縦方向にどれぐらいの角度顔向きを変えたと判定するかが、予め決められている。ここでは、カメラ２が運転席の正面に設けられるので、マスク距離は、ドライバが顔を下に向けた状態、ドライバが顔を正面に向けた状態、ドライバが顔を上に向けた状態の順で長くなるが、例えば、カメラ２の設置位置によっては、マスク距離がこの長さ関係になるとは限らない。

顔向き判定部１６は、判定したドライバの顔向き、言い換えれば、ドライバの横方向の顔向き、および、ドライバの縦方向の顔向きを、出力部１７に出力する。

出力部１７は、顔向き判定部１６から出力されたドライバの顔向きに関する情報を、出力装置３に出力する。
なお、出力部１７の機能を、顔向き判定部１６が備えるようにしてもよい。

実施の形態１に係る顔向き判定装置１の動作について説明する。
図５は、実施の形態１に係る顔向き判定装置１の動作について説明するためのフローチャートである。

画像取得部１１は、カメラ２からドライバの顔が撮像された撮像画像を取得する（ステップＳＴ１０）。
画像取得部１１は、取得した撮像画像を特徴点抽出部１２に出力する。

特徴点抽出部１２は、ステップＳＴ１０にて画像取得部１１が取得した撮像画像に基づき、撮像画像において、ドライバの顔のパーツを示す特徴点を抽出する（ステップＳＴ２０）。特徴点抽出部１２は、抽出した特徴点に関する情報を、顔器官認識部１４に出力する。
また、当該ステップＳＴ２０において、特徴点抽出部１２は、鼻の特徴点を抽出できたか否かを示す情報を、顔種別判定部１３に出力する。

顔種別判定部１３は、ドライバがマスクを着用しているか否かを判定する（ステップＳＴ３０）。
顔種別判定部１３は、ドライバがマスクを着用しているか否かの判定結果を、顔器官認識部１４およびマスク認識部１５に出力する。

顔器官認識部１４は、ステップＳＴ２０にて特徴点抽出部１２が抽出した複数の特徴点のうちの２点の特徴点間距離を測定する（ステップＳＴ４０）。また、当該ステップＳＴ４０において、顔器官認識部１４は、ステップＳＴ３０にて顔種別判定部１３からドライバがマスクを着用していない旨の判定結果が出力された場合は、撮像画像において、ドライバの目鼻距離を測定する。
顔器官認識部１４は、特徴点間距離、言い換えれば、横方向判定用距離を、顔向き判定部１６に出力する。また、顔器官認識部１４は、目鼻距離を測定した場合は、当該目鼻距離、言い換えれば、縦方向判定用距離を、顔向き判定部１６に出力する。

マスク認識部１５は、ステップＳＴ３０にて顔種別判定部１３からドライバがマスクを着用している旨の判定結果が出力された場合に、ドライバが着用しているマスクのマスク距離を測定する（ステップＳＴ５０）。
マスク認識部１５は、検出したマスク距離、言い換えれば、縦方向判定用距離を、顔向き判定部１６に出力する。

顔向き判定部１６は、ステップＳＴ４０にて顔器官認識部１４から出力された横方向判定距離、言い換えれば、特徴点間距離と、ステップＳＴ４０またはステップＳＴ５０にて顔器官認識部１４またはマスク認識部１５から出力された縦方向判定距離、言い換えれば、目鼻距離またはマスク距離とに基づいて、ドライバの顔向きを判定する（ステップＳＴ６０）。
顔向き判定部１６は、判定したドライバの顔向き、言い換えれば、ドライバの横方向の顔向き、および、ドライバの縦方向の顔向きを、出力部１７に出力する。そして、出力部１７は、顔向き判定部１６から出力されたドライバの顔向きに関する情報を、出力装置３に出力する。

図６Ａおよび図６Ｂは、実施の形態１に係る顔向き判定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、出力部１７と、図示しない制御部の機能は、処理回路４０１により実現される。すなわち、顔向き判定装置１は、カメラ２から取得した撮像画像に基づいて、対象者の顔向きを判定する制御を行うための処理回路４０１を備える。
処理回路４０１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ４０４であってもよい。

処理回路４０１が専用のハードウェアである場合、処理回路４０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路がプロセッサ４０４の場合、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、出力部１７と、図示しない制御部の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ４０５に記憶される。プロセッサ４０４は、メモリ４０５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、出力部１７と、図示しない制御部の機能を実行する。すなわち、顔向き判定装置１は、プロセッサ４０４により実行されるときに、上述の図５のステップＳＴ１０～ステップＳＴ６０が結果的に実行されることになるプログラムを格納するためのメモリ４０５を備える。また、メモリ４０５に記憶されたプログラムは、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、出力部１７と、図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ４０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、出力部１７と、図示しない制御部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１１と出力部１７については専用のハードウェアとしての処理回路４０１でその機能を実現し、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、図示しない制御部についてはプロセッサ４０４がメモリ４０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、顔向き判定装置１は、カメラ２または出力装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置４０２および出力インタフェース装置４０３を備える。

以上の実施の形態１では、顔種別判定部１３は、特徴点抽出部１２が鼻の特徴点を抽出できたか否かによってドライバがマスクを着用しているか否かを判定するものとしたが、これは一例に過ぎない。例えば、ドライバは鼻を覆わないようにマスクを着用していることも考えられる。そこで、特徴点抽出部１２は口の特徴点も抽出するようにし、顔種別判定部１３は、特徴点抽出部１２が口の特徴点を抽出できなかった場合に、ドライバはマスクを着用していると判定してもよい。この場合、特徴点抽出部１２は、口の特徴点を抽出できたか否かの情報を顔種別判定部１３に出力する。

また、以上の実施の形態１において、顔種別判定部１３は、特徴点抽出部１２から出力された、鼻の特徴点を抽出できたか否か、または、口の特徴点を抽出できたか否かの情報以外の情報に基づいて、ドライバがマスクを着用しているか否かを判定することもできる。例えば、ドライバは、乗車時に、車両１００に搭載されているナビゲーション装置（図示省略）のタッチパネルを操作してマスクを着用しているか否かの情報を入力し、顔種別判定部１３は、ドライバが入力した情報を受け付け、当該情報に基づいて、ドライバがマスクを着用しているかを判定してもよい。この場合、特徴点抽出部１２は、鼻の特徴点を抽出できたか否かの情報、または、口の特徴点を抽出できたか否かの情報を顔種別判定部１３に出力する必要はない。

また、以上の実施の形態１において、顔種別判定部１３は、学習済みのモデル（以下「第１機械学習モデル」という。）を用いて、ドライバがマスクを着用しているか否かを判定してもよい。
第１機械学習モデルは、マスクを着用している顔、または、マスクを着用していない顔を含む人の顔が撮像された撮像画像を入力とし、人の顔の種別を示す情報を出力するよう学習しており、例えば、顔種別判定部１３に記憶されている。第１機械学習モデルは、顔向き判定装置１の外部の、顔向き判定装置１が参照可能な場所に記憶されていてもよい。実施の形態１において、人の顔の種別とは、人の顔が、装着物を装着している顔か、装着物を装着している場合どのような装着物を装着している顔か、を分類分けした情報をいう。第１機械学習モデルが出力する人の顔の種別を示す情報には、マスクを装着している顔であることが判別可能な情報が含まれる。
なお、第１機械学習モデルは、マスクを着用している顔が撮像された撮像画像のみを学習データとして人の顔の種別を示す情報を出力するよう学習したモデル、または、マスクを着用していない顔が撮像された撮像画像のみを学習データとして人の顔の種別を示す情報を出力するよう学習したモデルではなく、マスクを着用している顔が撮像された撮像画像とマスクを着用していない顔が撮像された撮像画像とを学習データとして人の顔の種別を示す情報を出力するよう学習したモデルである。つまり、第１機械学習モデルは、マスクを着用した顔の撮像画像と、マスクを着用していない顔の撮像画像のいずれを入力としても、人の顔の種別を示す情報を出力可能に学習しているモデルである。
顔種別判定部１３は、画像取得部１１が取得した撮像画像と第１機械学習モデルとに基づき、ドライバの顔の種別がマスク着用顔を示す種別であるか否かによって、ドライバがマスクを着用しているか否かを判定する。

また、以上の実施の形態１では、顔向き判定部１６は、ドライバの横方向の顔向き、および、ドライバの縦方向の顔向きを判定していたが、これは一例に過ぎない。顔向き判定部１６は、ドライバの顔向きとして、少なくとも、ドライバの縦方向の顔向きを判定するようになっていればよく、ドライバの横方向の顔向きを判定することは必須ではない。
すなわち、顔向き判定部１６は、マスク認識部１５が測定したマスク距離に基づいて、ドライバの顔向きを判定するようになっていればよい。
また、以上の実施の形態１において、ドライバが、必ずマスクを着用しており、マスクを着用していないことが想定されない場合、顔向き判定装置１は、ドライバがマスクを着用しているか否かの判定機能を有することを必須としない。
この場合、顔向き判定装置１は、顔種別判定部１３を備えない構成としてもよい。
さらに、顔向き判定装置１が、必ずマスクを着用しているドライバの縦方向の顔向きのみを判定する場合、顔向き判定装置１は、特徴点抽出部１２および顔種別判定部１３を備えない構成としてもよい。

また、以上の実施の形態１では、顔向き判定装置１は、車両１００に搭載される車載装置とし、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、出力部１７と、図示しない制御部は、車載装置に備えられているものとした。
これに限らず、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、出力部１７と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで顔向き判定システムを構成するようにしてもよい。
また、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６と、出力部１７と、図示しない制御部が全部サーバに備えられてもよい。

また、以上の実施の形態１では、対象者はドライバとしたが、これは一例に過ぎない。対象者は、車両１００内のドライバ以外の乗員としてもよい。
また、対象者は、車両１００の乗員に限らない。例えば、居室等に存在する人を対象者としてもよい。
また、顔向き判定装置１は、カメラ２が撮像した撮像画像に複数の人の顔が撮像されている場合は、当該複数の人を対象者として、複数の対象者の顔向きをそれぞれ判定することもできる。

このように、顔向き判定装置１は、対象者の顔が撮像された撮像画像において、対象者が着用しているマスクのマスク距離に基づいて、対象者の顔向きを判定する。
上述したような従来技術では、対象者の顔向きの判定に画像上の鼻または口を用い、対象者がマスクを着用している場合には、画像上の鼻または口の位置を推定していた。そのため、マスクを着用している対象者の顔向きの判定精度が、マスクを着用していない対象者の顔向きの判定精度と比べて低下していた。
これに対し、実施の形態１に係る顔向き判定装置１は、対象者がマスクを着用している場合、撮像画像におけるマスクの上端部の一点とマスクの下端部の一点とに基づくマスク距離に基づいて対象者の顔向きを判定する。つまり、実際の撮像画像上の点を用いて対象者の顔向きを判定する。これにより、顔向き判定装置１は、画像上の鼻または口の位置を推定して顔向きの判定を行う従来技術よりも精度高く、マスクを着用している対象者の顔向きを判定することができる。

また、上述したような従来技術では、対象者がマスクを着用している場合、顔向きの判定に用いる画像上の鼻または口の位置を推定するプロセスが必要であり、顔向き判定全体のプロセスが複雑になる。その結果、顔向き判定処理の演算負荷が、高くなる。
これに対し、実施の形態１に係る顔向き判定装置１は、上述したような従来の顔向き判定方法に比べ、簡易な方法で、対象者の顔向きの判定を行うことができる。

以上のように、実施の形態１によれば、顔向き判定装置１は、顔向きを推定する対象となる対象者の顔が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像において、対象者が着用しているマスクの上端部の一点とマスクの下端部の一点との間のマスク距離を測定するマスク認識部１５と、マスク認識部１５が測定したマスク距離に基づいて、対象者の顔向きを判定する顔向き判定部１６とを備えるように構成した。そのため、顔向き判定装置１は、画像上の鼻または口の位置を推定して顔向きの判定を行う従来技術よりも精度高く、マスクを着用している対象者の顔向きを判定することができる。

また、顔向き判定装置１は、対象者がマスクを着用しているか否かを判定する顔種別判定部１３を備え、顔向き判定部１６は、顔種別判定部１３が対象者はマスクを着用していると判定した場合、マスク認識部１５が測定したマスク距離に基づいて、対象者の顔向きを判定する。そのため、顔向き判定装置１は、対象者がマスクを着用している場合とマスクを着用していない場合の両方の場合が想定される場合においても、対象者がマスクを着用していることを判定し、当該対象者の顔向きを判定することができる。

また、顔向き判定装置１において、顔種別判定部１３は、画像取得部１１が取得した撮像画像と、マスクを着用している顔またはマスクを着用していない顔を含む人の顔が撮像された撮像画像を入力とし当該人の顔の種別を示す情報を出力する第１機械学習モデルとに基づき、対象者の顔の種別がマスク着用顔を示す種別であるか否かによって、対象者がマスクを着用しているか否かを判定する。そのため、顔向き判定装置１は、対象者がマスクを着用している場合とマスクを着用していない場合の両方の場合が想定される場合においても、対象者がマスクを着用していることを判定し、当該対象者の顔向きを判定することができる。

また、顔向き判定装置１において、顔向き判定部１６がマスク距離に基づいて判定する対象者の顔向きは対象者の縦方向の顔向きであり、顔向き判定装置１は、画像取得部１１が取得した撮像画像に基づき、撮像画像において、対象者の顔のパーツを示す複数の特徴点を抽出する特徴点抽出部１２と、特徴点抽出部１２が抽出した複数の特徴点のうちの２点の特徴点間距離を測定する顔器官認識部１４を備え、顔向き判定部１６は、顔器官認識部１４が測定した特徴点間距離に基づいて、対象者の横方向の顔向きを判定する。このように、顔向き判定装置１は、マスクを着用している対象者の顔向きとして、縦方向の顔向きのみならず、横方向の顔向きを判定することができる。

実施の形態２．
実施の形態１では、顔向き判定装置は、対象者がマスクをずらす可能性があることを想定していなかった。しかし、対象者は、例えば、マスクを顎方向にずらす可能性もある。
実施の形態２では、顔向き判定装置が、対象者がマスクをずらす可能性があることを想定して、対象者の顔向きを判定する実施の形態について説明する。
なお、以下の実施の形態２でも、実施の形態１同様、顔向き判定装置は車両に搭載され、対象者は車両のドライバとする。しかし、これは一例に過ぎず、顔向き判定装置は、顔向きを判定する対象者を、車両のドライバ以外の乗員、または、車両外に存在する人とすることもできる。

図７は、実施の形態２に係る顔向き判定装置１ａの構成例を示す図である。
実施の形態２に係る顔向き判定装置１ａの構成について、実施の形態１にて図１を用いて説明した顔向き判定装置１と同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態２に係る顔向き判定装置１ａは、実施の形態１に係る顔向き判定装置１とは、ずれ検知部１８を備えた点が異なる。
また、実施の形態２に係る顔向き判定装置１ａにおいて、顔向き判定部１６ａの具体的な動作が、実施の形態１に係る顔向き判定装置１における顔向き判定部１６の具体的な動作と異なる。

ずれ検知部１８は、特徴点抽出部１２が抽出した特徴点の位置と、撮像画像におけるマスク上の一点とに基づいて、ドライバが着用しているマスクのずれ量を検知する。実施の形態１では、ずれ検知部１８がマスクのずれ量を検知する際に用いる、撮像画像におけるマスク上の一点は、例えば、マスクの上端部の一点、言い換えれば、マスクの上端部のうちの最上部の点とする。
なお、実施の形態２において、特徴点抽出部１２は、抽出した特徴点に関する情報をずれ検知部１８に出力する。また、マスク認識部１５は、マスクの上端部の一点に関する情報をずれ検知部１８に出力する。
例えば、ずれ検知部１８は、特徴点抽出部１２およびマスク認識部１５からそれぞれ特徴点に関する情報およびマスクの上端部の一点に関する情報を取得すると、ある特徴点（以下「ずれ検知用特徴点」という。）と、マスクの上端部のうちの最上部の点との距離（以下「ずれ検知用距離」という。）を測定し、記憶する。ずれ検知部１８は、ずれ検知用距離が、予め設定された閾値（以下「ずれ検知用閾値」という。）以上変化したか否かを判定する。ずれ検知用距離がずれ検知用閾値以上変化した場合、ずれ検知部１８は、ドライバのマスクにずれが発生したと判定し、マスクのずれ量を検知する。例えば、ずれ検知部１８は、ずれ検知用距離の変化量を、マスクのずれ量とする。
ずれ検知用特徴点は、例えば、目頭または目尻を示す特徴点とする。
なお、実施の形態２では、ずれ検知部１８がマスクのずれ量を検知する際に用いる、撮像画像におけるマスク上の一点は、マスクの上端部の一点としたが、これは一例に過ぎない。ずれ検知部１８がマスクのずれ量を検知する際に用いる、撮像画像におけるマスク上の一点は、例えば、マスクの下端部の一点としてもよいし、撮像画像におけるマスク上の任意の一点としてもよい。ずれ検知部１８は、例えば、マスク認識部１５から撮像画像を取得し、既知の画像認識処理を行って、マスク上の任意の一点を選択すればよい。

また、例えば、ずれ検知部１８は、複数のずれ検知用距離を設定し、複数のずれ検知用距離の比較によって、マスクのずれ量を検知してもよい。例えば、ずれ検知部１８は、目尻を示す特徴点と眉毛を示す特徴点の距離を第１ずれ検知用距離とする。また、ずれ検知部１８は、マスクの上端部のうちの最上部の点と目頭または目尻を示す特徴点との距離を第２ずれ検知用距離とする。そして、ずれ検知部１８は、例えば、第１ずれ検知用距離が変化していないのに第２ずれ検知用距離が変化した場合、ドライバのマスクにずれが発生したと判定し、マスクのずれ量を検知する。例えば、ずれ検知部１８は、第２ずれ検知用距離の変化量を、マスクのずれ量とする。

ずれ検知部１８は、検知したマスクのずれ量を、顔向き判定部１６ａに出力する。

顔向き判定部１６ａは、顔器官認識部１４から出力された横方向判定距離、言い換えれば、特徴点間距離と、顔器官認識部１４またはマスク認識部１５から出力された縦方向判定距離、言い換えれば、目鼻距離またはマスク距離と、ずれ検知部１８が検知したマスクのずれ量とに基づいて、ドライバの顔向きを判定する。より詳細には、顔向き判定部１６ａは、顔器官認識部１４から出力された特徴点間距離に基づいて、ドライバの横方向の顔向きを判定する。顔向き判定部１６ａによるドライバの横方向の顔向きの判定方法は、実施の形態１にて説明済みの、顔向き判定部１６によるドライバの横方向の顔向きの判定方法と同様である。
また、顔向き判定部１６ａは、顔器官認識部１４から目鼻距離が出力された場合は、当該目鼻距離に基づいて、ドライバの縦方向の顔向きを判定する。顔向き判定部１６ａによる、目鼻距離に基づくドライバの縦方向の顔向きの判定方法は、実施の形態１にて説明済みの、顔向き判定部１６による、目鼻距離に基づくドライバの縦方向の顔向きの判定方法と同様である。

実施の形態２における顔向き判定部１６ａと、実施の形態１における顔向き判定部１６は、マスク距離に基づくドライバの縦方向の顔向きの判定方法が異なる。
顔向き判定部１６ａは、マスク認識部１５からマスク距離が出力された場合は、当該マスク距離に基づいて、ドライバの縦方向の顔向きを判定する。このとき、顔向き判定部１６ａは、マスク認識部１５が測定したマスク距離とずれ検知部１８が検知したマスクのずれ量とに基づいて、ドライバの縦方向の顔向きを判定する。
具体的には、顔向き判定部１６ａは、ずれ検知部１８が検知したマスクのずれ量に応じて縦方向基準値を補正する。例えば、予め、マスクのずれ量がどれぐらいであった場合にどれぐらい縦方向基準値を補正するかが決められている。
そして、顔向き判定部１６ａは、補正後の縦方向基準値とマスク距離との比較によってドライバの顔向きを判定する。なお、顔向き判定部１６ａが補正後の縦方向基準値とマスク距離との比較によってドライバの顔向きを判定する方法は、実施の形態１にて説明済みの、顔向き判定部１６が縦方向基準値とマスク距離との比較によってドライバの顔向きを判定する方法と同様である。

実施の形態２に係る顔向き判定装置１ａの動作について説明する。
図８は、実施の形態２に係る顔向き判定装置１ａの動作について説明するためのフローチャートである。
図８のステップＳＴ１０～ステップＳＴ５０における顔向き判定装置１ａの具体的な動作は、実施の形態１にて説明済みの、図５のステップＳＴ１０～ステップＳＴ５０における顔向き判定装置１の具体的な動作と同様であるため、重複した説明を省略する。

ずれ検知部１８は、ステップＳＴ２０にて特徴点抽出部１２が抽出した特徴点の位置と、撮像画像におけるマスク上の一点とに基づいて、ドライバが着用しているマスクのずれ量を検知する（ステップＳＴ５５）。
ずれ検知部１８は、検知したマスクのずれ量を、顔向き判定部１６ａに出力する。

顔向き判定部１６ａは、ステップＳＴ４０にて顔器官認識部１４から出力された横方向判定距離、言い換えれば、特徴点間距離と、ステップＳＴ４０またはステップＳＴ５０にて顔器官認識部１４またはマスク認識部１５から出力された縦方向判定距離、言い換えれば、目鼻距離またはマスク距離と、ステップＳＴ５５にてずれ検知部１８が検知したマスクのずれ量とに基づいて、ドライバの顔向きを判定する（ステップＳＴ６０）。

実施の形態２に係る顔向き判定装置１ａのハードウェア構成は、実施の形態１において図６Ａおよび図６Ｂを用いて説明した顔向き判定装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態２において、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６ａと、出力部１７と、ずれ検知部１８と、図示しない制御部の機能は、処理回路４０１により実現される。すなわち、顔向き判定装置１ａは、カメラ２から取得した撮像画像に基づいて、ドライバのマスクがずれることを想定しつつドライバの顔向きを判定する制御を行うための処理回路４０１を備える。
処理回路４０１は、メモリ４０５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６ａと、出力部１７と、ずれ検知部１８と、図示しない制御部の機能を実行する。すなわち、顔向き判定装置１ａは、処理回路４０１により実行されるときに、上述の図８のステップＳＴ１０～ステップＳＴ６０が結果的に実行されることになるプログラムを格納するためのメモリ４０５を備える。また、メモリ４０５に記憶されたプログラムは、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６ａと、出力部１７と、ずれ検知部１８と、図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるとも言える。
顔向き判定装置１ａは、カメラ２または出力装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置４０２および出力インタフェース装置４０３を備える。

なお、以上の実施の形態２でも、実施の形態１同様、顔種別判定部１３は、特徴点抽出部１２が口の特徴点を抽出できなかった場合に、ドライバはマスクを着用していると判定してもよい。

また、以上の実施の形態２でも、実施の形態１同様、顔種別判定部１３は、特徴点抽出部１２から出力された、鼻の特徴点を抽出できたか否か、または、口の特徴点を抽出できたか否かの情報以外の情報に基づいて、ドライバがマスクを着用しているか否かを判定することもできる。

また、以上の実施の形態２でも、実施の形態１同様、顔種別判定部１３は、第１機械学習モデルを用いて、ドライバがマスクを着用しているか否かを判定してもよい。

また、以上の実施の形態２では、顔向き判定部１６ａは、ドライバの横方向の顔向き、および、ドライバの縦方向の顔向きを判定していたが、これは一例に過ぎない。顔向き判定部１６ａは、ドライバの顔向きとして、少なくとも、ドライバの縦方向の顔向きを判定するようになっていればよく、ドライバの横方向の顔向きを判定することは必須ではない。
すなわち、顔向き判定部１６ａは、マスク認識部１５が測定したマスク距離とずれ検知部１８が検知したマスクのずれ量とに基づいて、ドライバの顔向きを判定するようになっていればよい。
また、以上の実施の形態２において、ドライバが、必ずマスクを着用しており、マスクを着用していないことが想定されない場合、顔向き判定装置１ａは、ドライバがマスクを着用しているか否かの判定機能を有することを必須としない。

また、以上の実施の形態２では、顔向き判定装置１ａは、車両１００に搭載される車載装置とし、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６ａと、出力部１７と、ずれ検知部１８と、図示しない制御部は、車載装置に備えられているものとした。
これに限らず、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６ａと、出力部１７と、ずれ検知部１８と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで顔向き判定システムを構成するようにしてもよい。
また、画像取得部１１と、特徴点抽出部１２と、顔種別判定部１３と、顔器官認識部１４と、マスク認識部１５と、顔向き判定部１６ａと、出力部１７と、ずれ検知部１８と、図示しない制御部が全部サーバに備えられてもよい。

以上のように、実施の形態２によれば、顔向き判定装置１ａは、実施の形態１に係る顔向き判定装置１の構成に加え、特徴点抽出部１２が抽出した特徴点の位置と撮像画像におけるマスク上の一点とに基づいて、対象者が着用しているマスクのずれ量を検知するずれ検知部１８を備え、顔向き判定部１６ａは、マスク認識部１５が測定したマスク距離とずれ検知部１８が検知したマスクのずれ量とに基づいて、対象者の顔向きを判定する。そのため、顔向き判定装置１ａは、対象者のマスクにずれが発生することを想定しつつ、画像上の鼻または口の位置を推定して顔向きの判定を行う従来技術よりも精度高く、マスクを着用している対象者の顔向きを判定することができる。つまり、顔向き判定装置１ａは、対象者が着用しているマスクにずれが発生した場合に、当該ずれを考慮して、対象者の顔向きを判定することができる。

以上の実施の形態１および実施の形態２では、顔向き判定装置１，１ａにおいて、顔向き判定部１６，１６ａは、横方向判定距離と縦方向判定距離とに基づいて、ドライバの顔向きを判定していた。しかし、これは一例に過ぎない。

顔向き判定装置は、例えば、学習済みのモデル（以下「第２機械学習モデル」という。）に基づいて、ドライバの顔向きを判定するように構成されてもよい。
第２機械学習モデルは、マスクを着用している顔、または、マスクを着用していない顔を含む人の顔が撮像された撮像画像を入力とし、人の顔向きに関する情報を出力するよう学習しており、顔向き判定装置が参照可能な場所に記憶されている。人の顔向きに関する情報には、人の顔向きと、当該人の顔がマスクを着用している顔かマスクを着用していない顔かを示す情報が含まれる。例えば、第２機械学習は、マスクを着用しているか否かの情報が付与された、マスクを着用している顔、マスクを着用していない顔、または、マスクをずらして当該マスクを着用している顔を含む人の顔が撮像された撮像画像を学習用データとした、いわゆる教師あり学習によって生成されている。なお、マスクを着用しているか否かの情報は、教師ラベルである。

なお、第２機械学習モデルは、マスクを着用している顔が撮像された撮像画像のみを学習データとして人の顔向きを出力するよう学習したモデル、または、マスクを着用していない顔が撮像された撮像画像のみを学習データとして人の顔向きを出力するよう学習したモデルではなく、マスクを着用している顔が撮像された撮像画像とマスクを着用していない顔が撮像された撮像画像とを学習データとして人の顔向きを出力するよう学習したモデルである。つまり、第２機械学習モデルは、マスクを着用した顔の撮像画像と、マスクを着用していない顔の撮像画像のいずれを入力としても、人の顔向きを出力可能に学習しているモデルである。
なお、ここでは、対象者はドライバを想定して説明しているが、これは一例に過ぎない。対象者は、ドライバ以外の車両１００の乗員としてもよいし、車両１００外に存在する人としてもよい。

ここで、図９は、第２機械学習モデルに基づいてドライバの顔向きを判定するように構成された顔向き判定装置１ｂの構成例を示す図である。
顔向き判定装置１ｂの構成について、実施の形態１において図１を用いて説明した顔向き判定装置１の構成と同様の構成については、同じ符号を付して重複した説明を省略する。
顔向き判定装置１ｂは、実施の形態１に係る顔向き判定装置１とは、特徴点抽出部１２、顔種別判定部１３、顔器官認識部１４、マスク認識部１５を備えない点が異なる。また、顔向き判定装置１ｂにおいて、顔向き判定部１６ｂの具体的な動作が、実施の形態１に係る顔向き判定装置１における顔向き判定部１６の具体的な動作と異なる。

顔向き判定部１６ｂは、画像取得部１１が取得した撮像画像と第２機械学習モデルとに基づき、ドライバの顔向きを判定する。

図１０は、第２機械学習モデルに基づいてドライバの顔向きを判定するように構成された顔向き判定装置１ｂの動作を説明するためのフローチャートである。

画像取得部１１は、カメラ２からドライバの顔が撮像された撮像画像を取得する（ステップＳＴ１０）。
画像取得部１１は、取得した撮像画像を顔向き判定部１６ｂに出力する。

顔向き判定部１６ｂは、ステップＳＴ１０にて画像取得部１１が取得した撮像画像と第２機械学習モデルとに基づき、ドライバの顔向きを判定する（ステップＳＴ６０ａ）。
顔向き判定部１６ｂは、判定したドライバの顔向きを出力部１７に出力する。そして、出力部１７は、顔向き判定部１６ａから取得したドライバの顔向きを出力装置３に出力する。なお、顔向き判定部１６ｂが出力部１７の機能を有してもよい。

また、顔向き判定装置１ｂは、学習済みのモデル（以下「第３機械学習モデル」という。）を用いて、ドライバが着用しているマスクにずれが発生することを想定しつつ、ドライバの顔向きを判定するよう構成されてもよい。

第３機械学習モデルは、マスクを着用している顔、マスクを着用していない顔、または、マスクをずらして当該マスクを着用している顔を含む人の顔が撮像された撮像画像を入力とし、人の顔向きに関する情報を出力するよう学習しており、顔向き判定装置が参照可能な場所に記憶されている。人の顔向きに関する情報には、人の顔向きと、当該人の顔がマスクを着用している顔かマスクを着用していない顔かを示す情報と、当該人の顔がマスクを着用している顔である場合のマスクのずれ量を示す情報が含まれる。例えば、第３機械学習モデルは、マスクを着用しているか否かの情報が付与された、マスクを着用している顔、マスクを着用していない顔、または、マスクをずらして当該マスクを着用している顔を含む人の顔が撮像された撮像画像と、マスクのずれ量を示す情報とを学習用データとした、いわゆる教師あり学習によって生成されている。なお、マスクを着用しているか否かの情報およびマスクのずれ量を示す情報は、教師ラベルである。

なお、第３機械学習モデルは、マスクを着用している顔が撮像された撮像画像のみを学習データとして人の顔向きを出力するよう学習したモデル、マスクを着用していない顔が撮像された撮像画像のみを学習データとして人の顔向きを出力するよう学習したモデル、または、マスクをずらして当該マスクを着用している顔が撮像された撮像画像のみを学習データとして人の顔向きを出力するよう学習したモデルではない。第３機械学習モデルは、マスクを着用している顔が撮像された撮像画像と、マスクを着用していない顔が撮像された撮像画像と、マスクをずらして当該マスクを着用している顔が撮像された撮像画像を学習データとして人の顔向きを出力するよう学習したモデルである。つまり、第３機械学習モデルは、マスクを着用した顔の撮像画像と、マスクを着用していない顔の撮像画像と、マスクをずらして当該マスクを着用している顔の撮像画像のいずれを入力としても、人の顔向きを出力可能に学習しているモデルである。

この場合、図１０を用いて説明した顔向き判定装置１ｂの動作について、ステップＳＴ６０ａにおいて、顔向き判定部１６ｂは、ステップＳＴ１０にて画像取得部１１が取得した撮像画像と第３機械学習モデルとに基づき、ドライバの顔向きを判定する（ステップＳＴ６０ａ）。

顔向き判定装置１ｂのハードウェア構成は、実施の形態１において図６Ａおよび図６Ｂを用いて説明した顔向き判定装置１のハードウェア構成と同様であるため、図示を省略する。
顔向き判定装置１ｂにおいて、画像取得部１１と、顔向き判定部１６ｂと、出力部１７の機能は、処理回路４０１により実現される。すなわち、顔向き判定装置１ｂは、カメラ２から取得した撮像画像に基づいて、ドライバの顔向きを判定する制御を行うための処理回路４０１を備える。
処理回路４０１は、メモリ４０５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、顔向き判定部１６ｂと、出力部１７の機能を実行する。すなわち、顔向き判定装置１ｂは、処理回路４０１により実行されるときに、上述の図１０のステップＳＴ１０～ステップＳＴ６０ａが結果的に実行されることになるプログラムを格納するためのメモリ４０５を備える。また、メモリ４０５に記憶されたプログラムは、画像取得部１１と、顔向き判定部１６ｂと、出力部１７の処理の手順または方法をコンピュータに実行させるものであるとも言える。
顔向き判定装置１ｂは、カメラ２または出力装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置４０２および出力インタフェース装置４０３を備える。

なお、画像取得部１１と、顔向き判定部１６ｂと、出力部１７のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで顔向き判定システムを構成するようにしてもよい。
また、画像取得部１１と、顔向き判定部１６ｂと、出力部１７が全部サーバに備えられてもよい。

以上のように、顔向き判定装置１ｂは、顔向きを判定する対象となる対象者の顔が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像と、マスクを着用している顔または前記マスクを着用していない顔が撮像された撮像画像を入力とし人の顔向きに関する情報を出力する第２機械学習モデルとに基づき、対象者の前記顔向きを判定する顔向き判定部とを備える構成とできる。これにより、顔向き判定装置１ｂは、画像上の鼻または口の位置を推定して顔向きの判定を行う従来技術よりも精度高く、マスクを着用している対象者の顔向きを判定することができる。

また、顔向き判定装置１ｂにおいて、顔向き判定部１６ｂは、画像取得部１１が取得した撮像画像と、マスクを着用している顔、マスクを着用していない顔、または、マスクをずらしてマスクを着用している顔が撮像された撮像画像を入力とし人の顔向きに関する情報を出力する第３機械学習モデルとに基づいて、対象者の顔向きを判定するようにしてもよい。これにより、顔向き判定装置１ｂは、対象者のマスクにずれが発生することを想定しつつ、画像上の鼻または口の位置を推定して顔向きの判定を行う従来技術よりも精度高く、マスクを着用している対象者の顔向きを判定することができる。

なお、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本開示の顔向き判定装置は、画像上の鼻または口の位置を推定して顔向きの判定を行う従来技術よりも精度高く、マスクを着用している対象者の顔向きを判定することができる。

１，１ａ，１ｂ 顔向き判定装置、２ カメラ、３ 出力装置、１００ 車両、１１ 画像取得部、１２ 特徴点抽出部、１３ 顔種別判定部、１４ 顔器官認識部、１５ マスク認識部、１６，１６ａ，１６ｂ 顔向き判定部、１７ 出力部、１８ ずれ検知部、４０１ 処理回路、４０２ 入力インタフェース装置、４０３ 出力インタフェース装置、４０４ プロセッサ、４０５ メモリ。

Claims (7)

1. 顔向きを推定する対象となる対象者の顔が撮像された撮像画像を取得する画像取得部と、
   前記画像取得部が取得した前記撮像画像において、前記対象者が着用しているマスクの上端部の一点と前記マスクの下端部の一点との間のマスク距離を測定するマスク認識部と、
   前記マスク認識部が測定した前記マスク距離に基づいて、前記対象者の前記顔向きを判定する顔向き判定部
   とを備えた顔向き判定装置。
2. 前記顔向き判定部は、
   前記対象者が正面を向いていると想定される場合の前記マスク距離が設定された基準値と、前記マスク認識部が測定した前記マスク距離との比較によって、前記対象者の前記顔向きを判定する
   ことを特徴とする請求項１記載の顔向き判定装置。
3. 前記対象者が前記マスクを着用しているか否かを判定する顔種別判定部を備え、
   前記顔向き判定部は、前記顔種別判定部が前記対象者は前記マスクを着用していると判定した場合、前記マスク認識部が測定した前記マスク距離に基づいて、前記対象者の前記顔向きを判定する
   ことを特徴とする請求項１記載の顔向き判定装置。
4. 前記顔種別判定部は、前記画像取得部が取得した前記撮像画像と、前記マスクを着用している顔または前記マスクを着用していない顔を含む人の顔が撮像された前記撮像画像を入力とし当該人の顔の種別を示す情報を出力する第１機械学習モデルとに基づき、前記対象者の顔の種別がマスク着用顔を示す種別であるか否かによって、前記対象者が前記マスクを着用しているか否かを判定する
   ことを特徴とする請求項３記載の顔向き判定装置。
5. 前記画像取得部が取得した前記撮像画像に基づき、前記撮像画像において、前記対象者の顔のパーツを示す特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部が抽出した前記特徴点の位置と、前記画像取得部が取得した前記撮像画像における前記マスク上の一点とに基づいて、前記対象者が着用している前記マスクのずれ量を検知するずれ検知部を備え、
   前記顔向き判定部は、前記マスク認識部が測定した前記マスク距離と前記ずれ検知部が検知した前記マスクの前記ずれ量とに基づいて、前記対象者の前記顔向きを判定する
   ことを特徴とする請求項１記載の顔向き判定装置。
6. 前記顔向き判定部が前記マスク距離に基づいて判定する前記対象者の前記顔向きは前記対象者の縦方向の前記顔向きであり、
   前記画像取得部が取得した前記撮像画像に基づき、前記撮像画像において、前記対象者の顔のパーツを示す複数の特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部が抽出した複数の前記特徴点のうちの２点の特徴点間距離を測定する顔器官認識部を備え、
   前記顔向き判定部は、前記顔器官認識部が測定した前記特徴点間距離に基づいて、前記対象者の横方向の前記顔向きを判定する
   ことを特徴とする請求項１記載の顔向き判定装置。
7. 画像取得部が、顔向きを推定する対象となる対象者の顔が撮像された撮像画像を取得するステップと、
   マスク認識部が、前記画像取得部が取得した前記撮像画像において、前記対象者が着用しているマスクの上端部の一点と前記マスクの下端部の一点との間のマスク距離を測定するステップと、
   顔向き判定部が、前記マスク認識部が測定した前記マスク距離に基づいて、前記対象者の前記顔向きを判定するステップ
   とを備えた顔向き判定方法。

Images