JPWO2018163404A1 - 顔向き推定装置および顔向き推定方法 - Google Patents

Abstract

顔向き推定装置（１０）は、顔を撮像した顔画像を取得する顔画像取得部（１１）と、顔画像取得部（１１）により取得された顔画像から、顔の位置を検出する顔検出部（１２）と、顔検出部（１２）により検出された顔の位置から顔器官を検出する顔器官検出部（１３）と、顔器官検出部（１３）により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部（１４）と、切替判定部（１４）により第一の顔向き推定手法に切り替えられた場合、顔器官検出部（１３）により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部（１５）と、切替判定部（１４）により第二の顔向き推定手法に切り替えられた場合、顔検出部（１２）により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部（１６）とを備える。

Description

この発明は、顔の撮像画像から顔の向きを推定する顔向き推定装置および顔向き推定方法に関するものである。

例えば、特許文献１に係る運転者状態監視装置は、運転者の顔画像を撮像して顔の位置を検出し、その顔検出位置から目頭、目尻、鼻、口、および耳などの顔器官を検出し、その顔器官の位置関係に基づいて顔の向きを推定する。

特開２０１４−２１８１４０号公報

しかしながら、上記特許文献１に記載された手法では、顔が手などで遮蔽されたり横を向いたりして顔全体を撮像できない場合、顔の向きを推定することが困難であるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、顔全体を撮像できない場合であっても顔の向きを推定することを目的とする。

この発明に係る顔向き推定装置は、顔を撮像した顔画像を取得する顔画像取得部と、顔画像取得部により取得された顔画像から、顔の位置を検出する顔検出部と、顔検出部により検出された顔の位置から顔器官を検出する顔器官検出部と、顔器官検出部により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部と、切替判定部により第一の顔向き推定手法に切り替えられた場合、顔器官検出部により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部と、切替判定部により第二の顔向き推定手法に切り替えられた場合、顔検出部により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部とを備えるものである。

この発明によれば、通常は顔器官の位置関係に基づく高精度な第一の顔向き推定手法を用い、顔の一部が手などで遮蔽されたり横を向いたりして顔全体を撮像できず顔器官の検出が困難な場合には、顔の移動量に基づいて顔の向きを推定する第二の顔向き推定手法に切り替えることができるので、顔全体を撮像できない場合であっても顔の向きを推定することができる。

この発明の実施の形態１に係る顔向き推定装置の構成例を示すブロック図である。 この発明の実施の形態１に係る顔向き推定装置の動作例を示すフローチャートである。 図３Ａおよび図３Ｂは、この発明の実施の形態１における第一の顔向き推定手法を説明する図であり、左右方向の顔の向きを示す。 図４Ａおよび図４Ｂは、この発明の実施の形態１における第一の顔向き推定手法を説明する図であり、上下方向の顔の向きを示す。 この発明の実施の形態１における第二の顔向き推定手法を説明する図である。 この発明の実施の形態２に係る顔向き推定装置の動作例を示すフローチャートである。 図７Ａ〜図７Ｅは、この発明の実施の形態２における顔器官の質の評価方法を説明する図である。 この発明の実施の形態３に係る顔向き推定装置の動作例を示すフローチャートである。 この発明の実施の形態４に係る顔向き推定装置の構成例を示すブロック図である。 この発明の実施の形態４に係る顔向き推定装置の動作例を示すフローチャートである。 この発明の実施の形態４における第三の顔向き推定手法を説明する図である。 この発明の各実施の形態に係る顔向き推定装置のハードウェア構成例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る顔向き推定装置１０の構成例を示すブロック図である。顔向き推定装置１０は、顔画像取得部１１、顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、および制御部１７を備える。また、顔向き推定装置１０には撮像部１が接続され、撮像部１により撮像された画像が入力される。

ここでは、顔向き推定装置１０が、車両に搭乗した搭乗者の顔の向きを推定する場合を例示する。
撮像部１は、搭乗者を撮像し、撮像した画像を顔向き推定装置１０の顔画像取得部１１へ入力する。この撮像部１は、可視光カメラ、または近赤外領域もしくは赤外領域のみを通すフィルタを用いたカメラである。撮像部１が近赤外領域もしくは赤外領域のみを通すフィルタを用いたカメラである場合、近赤外領域もしくは赤外領域の光を照射する照明装置を用いて搭乗者を照らした状態で撮像してもよい。搭乗者が運転者である場合、近赤外領域もしくは赤外領域の光を照射すれば運転者が眩惑されない。

図２は、この発明の実施の形態１に係る顔向き推定装置１０の動作例を示すフローチャートである。
ステップＳＴ１１において、顔画像取得部１１は、撮像部１により撮像された、搭乗者の顔を含む画像を取得する。この画像には、搭乗者の顔だけでなく、搭乗者の上半身等が含まれていてもよい。以下、顔を含む画像を「顔画像」と呼ぶ。制御部１７は、顔画像取得部１１により取得された顔画像を、顔検出部１２へ出力する。

ステップＳＴ１２において、顔検出部１２は、顔画像取得部１１により取得された顔画像から、顔の位置を検出する。例えば、顔検出部１２は、画像特徴量であるＨａａｒ−Ｌｉｋｅ特徴量を用いた、ＡｄａＢｏｏｓｔおよびＣａｓｃａｄｅ等の一般的なアルゴリズムの識別機を利用して、顔画像における顔を含む領域を検出する。また、顔検出部１２は、顔画像上の顔が手などで一部遮蔽された場合、Ｈａａｒ−Ｌｉｋｅ特徴量を用いた物体追跡により検出した領域を顔検出結果としてもよい。あるいは、顔検出部１２は、物体追跡に、パーティクルフィルタまたはテンプレートマッチングなどの一般的な物体追跡アルゴリズムを利用してもよい。制御部１７は、顔検出部１２により検出された顔位置情報を、顔器官検出部１３へ出力する。

ステップＳＴ１３において、顔器官検出部１３は、顔画像取得部１１により取得された顔画像における、顔検出部１２により検出された顔の位置から、顔器官を検出する。例えば、顔器官検出部１３は、目、鼻、および口などの顔器官の位置を検出する。また、顔器官検出部１３は、検出した顔器官の尤もらしさを示す尤度を算出する。制御部１７は、顔器官検出部１３により検出された顔器官の位置および尤度の情報を、切替判定部１４へ出力する。なお、顔器官の検出には周知の技術を用いればよいため、詳細な説明を省略する。

ステップＳＴ１４において、切替判定部１４は、顔器官検出部１３により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定部１５による推定手法と第二の顔向き推定部１６による推定手法とを切り替える。

実施の形態１の切替判定部１４は、顔器官検出部１３により検出された顔器官の信頼性を、その顔器官の尤度を用いて評価する。切替判定部１４は、予め定められた基準と顔器官検出部１３により検出された顔器官の尤度とを比較し、尤度が基準以上の場合にその顔器官の信頼性が高いと判定し（ステップＳＴ１４“ＹＥＳ”）、第一の顔向き推定部１５による第一の顔向き推定手法に切り替える（ステップＳＴ１５）。この場合、制御部１７は、顔器官検出部１３により検出された顔器官の位置情報を第一の顔向き推定部１５へ出力する。詳細は後述するが、第一の顔向き推定手法は、顔器官の位置関係に基づいて顔の向きを推定するため、顔器官検出部１３により顔器官が検出されなかった場合または顔器官の信頼性が低い場合等には顔の向きを高精度に推定することが困難である。そこで、切替判定部１４が尤度と基準とを比較して信頼性を評価することによって、顔の一部が手などで遮蔽されたり横を向いたりして顔全体を撮像できなかったか否かを判定する。

一方、切替判定部１４は、尤度が基準未満の場合にその顔器官の信頼性が低いと判定し（ステップＳＴ１４“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。この場合、制御部１７は、顔検出部１２により検出された顔位置情報を第二の顔向き推定部１６へ出力する。詳細は後述するが、第二の顔向き推定手法は、顔器官検出部１３が検出した顔器官の位置情報ではなく、顔検出部１２が検出した顔の位置情報に基づいて顔の向きを推定する。そのため、第二の顔向き推定手法は、第一の顔向き推定手法に比べて精度は劣るが、顔の一部が手などで遮蔽されたり横を向いたりして顔全体を撮像できなかった場合であっても顔の向きを推定することが可能である。

ステップＳＴ１５において、第一の顔向き推定部１５は、顔器官検出部１３により検出された顔器官の位置関係に基づいて顔の向きを推定する。ここで、図３Ａ、図３Ｂ、図４Ａ、および図４Ｂを用いて、第一の顔向き推定部１５による顔向き推定手法を説明する。

図３Ａおよび図３Ｂは、この発明の実施の形態１における第一の顔向き推定手法を説明する図であり、左右方向の顔の向きを示す。図３Ａのように顔が正面を向いている場合、右目と左目との距離ｄ_ｗのうち、右目と鼻との距離ｄ_ｄｅｆｗがある割合を占める。図３Ｂのように顔が左右いずれかの方向を向いた場合、右目と左目との距離ｄ_ｗに対する右目と鼻との距離ｄ_ｄｅｆｗが占める割合が変化する。さらに、顔が右方向を向くほど距離ｄ_ｄｅｆｗが占める割合が小さくなり、顔が左方向を向くほど距離ｄ_ｄｅｆｗが占める割合が大きくなる。そこで、第一の顔向き推定部１５は、顔の左右方向の向きＹａｗを、下式（１）により推定する。ｏｆｆｓｅｔＸは、搭乗者が座席に座って正面を向いたときの右目と左目との距離ｄ_ｗに対する右目と鼻との距離ｄ_ｄｅｆｗが占める割合を調整するためのオフセットであり、搭乗席の位置に対する撮像部１の設置位置の関係性により定められる。
ｒｘ＝ｄ_ｄｅｆｗ／ｄ_ｗ＋ｏｆｆｓｅｔＸ
Ｙａｗ＝ａｓｉｎ（ｒｘ）・１８０／π （１）

図４Ａおよび図４Ｂは、この発明の実施の形態１における第一の顔向き推定手法を説明する図であり、上下方向の顔の向きを示す。図４Ａのように顔が正面を向いている場合、両目と口との距離ｄ_ｈのうち、両目と鼻との距離ｄ_ｄｅｆｈがある割合を占める。図４Ｂのように顔が上下いずれかの方向を向いた場合、両目と口との距離ｄ_ｈに対する両目と鼻との距離ｄ_ｄｅｆｈが占める割合が変化する。さらに、顔が上方向を向くほど距離ｄ_ｄｅｆｈが占める割合が小さくなり、顔が下方向を向くほど距離ｄ_ｄｅｆｈが占める割合が大きくなる。そこで、第一の顔向き推定部１５は、顔の上下方向を向きＰｉｔｃｈを、下式（２）により推定する。ｏｆｆｓｅｔＹは、搭乗者が座席に座って正面を向いたときの両目と口との距離ｄ_ｈに対する両目と鼻との距離ｄ_ｄｅｆｈが占める割合を調整するためのオフセットであり、搭乗席の位置に対する撮像部１の設置位置の関係性により定められる。
ｒｙ＝ｄ_ｄｅｆｈ／ｄ_ｈ＋ｏｆｆｓｅｔＹ
Ｐｉｔｃｈ＝ａｓｉｎ（ｒｙ）・１８０／π （２）

ステップＳＴ１６において、第二の顔向き推定部１６は、顔検出部１２により検出された顔の位置から顔の移動量を算出し、移動量に基づいて顔の向きを推定する。ここで、図５を用いて、第二の顔向き推定部１６による顔向き推定手法を説明する。

図５は、この発明の実施の形態１における第二の顔向き推定手法を説明する図であり、左右方向の顔の向きを示す。第二の顔向き推定手法では、車室内環境における搭乗者の顔の移動量が顔向きの変化量と同じであると仮定し、前回の顔位置と今回の顔位置との差分から顔の移動量を算出し、式（３）および式（４）のような直線近似式により顔の向きを推定する。ａ、ＯＦＦＳＥＴ_ｙａｗおよびＯＦＦＳＥＴ_{ｐｉｔｃｈ}は、顔の移動量と顔の向きとを直線近似するためのパラメータであり、任意の値でよい。特に、ＯＦＦＳＥＴ_ｙａｗおよびＯＦＦＳＥＴ_{ｐｉｔｃｈ}は、搭乗者が座席に座って正面を向いたときの顔の角度であり、搭乗席の位置に対する撮像部１の設置位置の関係性により定められる。
ｆｄ^Ｙａｗ _ｔ
＝ａ・（ｆｘ_ｔ−１−ｆｘ_ｔ）＋ＯＦＦＳＥＴ_ｙａｗ （３）
ｆｄ^{Ｐｉｔｃｈ} _ｔ
＝ａ・（ｆｙ_ｔ−１−ｆｙ_ｔ）＋ＯＦＦＳＥＴ_{ｐｉｔｃｈ} （４）

第二の顔向き推定部１６は、式（３）を用いて、前回撮像された顔画像から検出された顔の領域１０１のｘ座標ｆｘ_ｔ−１と、今回撮像された顔画像から検出された顔の領域１０２のｘ座標ｆｘ_ｔとの差分から左右方向の移動量を算出し、左右方向の顔の向きｆｄ^Ｙａｗ _ｔを推定する。同様に、第二の顔向き推定部１６は、式（４）を用いて、前回撮像された顔画像から検出された顔の領域１０１のｙ座標ｆｙ_ｔ−１と、今回撮像された顔画像から検出された顔の領域１０２のｙ座標ｆｙ_ｔとの差分から上下方向の移動量を算出し、上下方向の顔の向きｆｄ^{Ｐｉｔｃｈ} _ｔを推定する。なお、第二の顔向き推定部１６は、例えば、顔検出部１２が検出した顔の領域１０１の中心を座標（ｆｘ_ｔ−１，ｆｙ_ｔ−１）として選択し、次のフレームにおいても同様に顔の領域１０２の中心を座標（ｆｘ_ｔ，ｆｙ_ｔ）として選択する。

なお、上記説明では、式（３）および式（４）のような、移動量と顔向きとをモデル化した近似式を用いたが、これに限らず、例えば式（１）および式（２）のように三角関数を用いて移動量から顔の向きを推定してもよい。

また、搭乗者が座席に座って正面を向いたときの顔の向きには個人差があるため、式（３）および式（４）のようにＯＦＦＳＥＴ_ｙａｗおよびＯＦＦＳＥＴ_{ｐｉｔｃｈ}を固定値にすると、推定結果に誤差が生じやすい。そこで、式（５）および式（６）のように、第一の顔向き推定手法から第二の顔向き推定手法に切り替わる直前に第一の顔向き推定手法で推定された顔向きを、ＰＲＥ＿ＦＡＣＥ＿ＯＦＦＳＥＴ_ｙａｗおよびＰＲＥ＿ＦＡＣＥ＿ＯＦＦＳＥＴ_{ｐｉｔｃｈ}として利用してもよい。これにより、ＯＦＦＳＥＴ_ｙａｗおよびＯＦＦＳＥＴ_{ｐｉｔｃｈ}を用いる場合に比べて、誤差を小さくできる。
ｆｄ^Ｙａｗ _ｔ＝ａ・（ｆｘ_ｔ−１−ｆｘ_ｔ）
＋ＰＲＥ＿ＦＡＣＥ＿ＯＦＦＳＥＴ_ｙａｗ （５）
ｆｄ^{Ｐｉｔｃｈ} _ｔ＝ａ・（ｆｙ_ｔ−１−ｆｙ_ｔ）
＋ＰＲＥ＿ＦＡＣＥ＿ＯＦＦＳＥＴ_{ｐｉｔｃｈ} （６）

以上のように、実施の形態１に係る顔向き推定装置１０は、顔を撮像した顔画像を取得する顔画像取得部１１と、顔画像取得部１１により取得された顔画像から、顔の位置を検出する顔検出部１２と、顔検出部１２により検出された顔の位置から顔器官を検出する顔器官検出部１３と、顔器官検出部１３により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部１４と、切替判定部１４により第一の顔向き推定手法に切り替えられた場合、顔器官検出部１３により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部１５と、切替判定部１４により第二の顔向き推定手法に切り替えられた場合、顔検出部１２により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部１６とを備える構成である。この構成によれば、通常は顔器官の位置関係に基づく高精度な第一の顔向き推定手法を用い、顔の一部が手などで遮蔽されたり横を向いたりして顔全体を撮像できず顔器官の検出が困難な場合には、顔の移動量に基づいて顔の向きを推定する第二の顔向き推定手法に切り替えることができるので、顔全体を撮像できない場合であっても顔の向きを推定することができる。

実施の形態２．
図６は、この発明の実施の形態２に係る顔向き推定装置１０の動作例を示すフローチャートである。実施の形態２に係る顔向き推定装置１０の構成は、図１に示した実施の形態１に係る顔向き推定装置１０の構成と同じであるため、ここでは図１を援用する。
実施の形態１では、図２のステップＳＴ１４において切替判定部１４が、顔器官の尤度に基づいて顔器官の信頼性を評価し、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定していた。これに対し、実施の形態２では、図６のステップＳＴ２１〜ＳＴ２４において切替判定部１４が、顔の位置と顔器官の位置関係に基づいて顔器官の質を評価し、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定する。なお、図６におけるステップＳＴ１１〜ＳＴ１３，ＳＴ１５，ＳＴ１６の処理は、図２におけるステップＳＴ１１〜ＳＴ１３，ＳＴ１５，ＳＴ１６の処理と同じであるため説明を省略する。また、図７Ａ〜図７Ｅは、この発明の実施の形態２における顔器官の質の評価方法を説明する図である。

実施の形態２の切替判定部１４は、顔器官の質の評価として、顔検出部１２により検出された顔位置と顔器官検出部１３により検出された顔器官の位置関係に基づいて、人間の顔として不自然でないかどうかを評価する。図７Ａに示すように、顔枠２０１は、顔検出部１２が検出した顔の位置を示す領域である。右目尻２０２、右目頭２０３、左目頭２０４、左目尻２０５、鼻２０６、口右端２０７、および口左端２０８は、顔器官検出部１３が検出した顔器官である。図７Ａでは、顔枠２０１、右目尻２０２、右目頭２０３、左目頭２０４、左目尻２０５、鼻２０６、口右端２０７、および口左端２０８が正しく検出されており、これらの顔器官は質が高いと評価される。

ステップＳＴ２１において、切替判定部１４は、顔器官が顔枠内にあるか否かという観点で顔器官の質を評価する。切替判定部１４は、顔器官が顔枠内にある場合（ステップＳＴ２１“ＹＥＳ”）、ステップＳＴ２２へ進み、顔器官が顔枠内にない場合に質が低いと判定し（ステップＳＴ２２“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。
図７Ｂのように、右目尻２０２と左目尻２０５が顔枠２０１内にない場合、顔器官の質が低いと評価される。

ステップＳＴ２２において、切替判定部１４は、顔器官が顔枠に対して極端に小さいか否かという観点で顔器官の質を評価する。切替判定部１４は、顔器官を含む領域の大きさと顔枠の大きさのバランスが良い場合（ステップＳＴ２２“ＹＥＳ”）、ステップＳＴ２３へ進み、顔器官を含む領域が顔枠に対して極端に小さい場合に質が低いと判定し（ステップＳＴ２２“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。
図７Ｃのように、顔枠２０１の大きさに対して、右目尻２０２、右目頭２０３、左目頭２０４、左目尻２０５、鼻２０６、口右端２０７、および口左端２０８を含む領域の大きさが極端に小さい場合、顔器官の質が低いと評価される。なお、顔器官を含む領域の大きさがどの程度の場合に「極端に小さい」と評価するかという評価基準に関する情報は、予め切替判定部１４に設定されているものとする。

ステップＳＴ２３において、切替判定部１４は、目と口の位置関係が不自然にいびつか否かという観点で顔器官の質を評価する。切替判定部１４は、目と口のバランスが良い場合（ステップＳＴ２３“ＹＥＳ”）、ステップＳＴ２４へ進み、目と口のバランスが悪い場合に質が低いと判定し（ステップＳＴ２３“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。
図７Ｄのように、右目尻２０２、右目頭２０３、左目頭２０４、左目尻２０５、口右端２０７、および口左端２０８のバランスが悪い場合、顔器官の質が低いと評価される。なお、「バランスが良い」目と口の位置関係および「バランスが悪い」目と口の位置関係に関する情報は、予め切替判定部１４に設定されているものとする。

ステップＳＴ２４において、切替判定部１４は、現在から所定時間前までの間に撮像された複数の顔画像において顔器官の位置が振動しているか否かという観点で顔器官の質を評価する。切替判定部１４は、所定時間前に撮像された顔画像における顔器官の位置から、今回撮像された顔画像における顔器官の位置までの移動量が、予め定められた移動量未満である場合（ステップＳＴ２４“ＹＥＳ”）、第一の顔向き推定部１５による第一の顔向き推定手法に切り替える（ステップＳＴ１５）。一方、切替判定部１４は、所定時間前に撮像された顔画像における顔器官の位置から、今回撮像された顔画像における顔器官の位置までの移動量が、予め定められた移動量以上である場合（ステップＳＴ２４“ＮＯ”）、顔器官の質が低いと判定して第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。
図７Ｅのように、右目尻２０２の単位時間当たりの移動量ｄｔまたは右目頭２０３の単位時間当たりの移動量ｄｔが大きい場合、顔器官の位置が振動しており顔器官の質が低いと評価される。

なお、図６の例では、切替判定部１４がステップＳＴ２１〜ＳＴ２４の四つの観点のうち一つでも質が低いと評価した場合に、ステップＳＴ１６の第二の顔向き推定手法に切り替えるようにしたが、これに限らず、例えばステップＳＴ２１〜ＳＴ２４の四つの観点のうち過半数で質が低いと評価した場合にステップＳＴ１６の第二の顔向き推定手法に切り替えるようにしてもよい。
また、切替判定部１４がステップＳＴ２１〜ＳＴ２４の四つの観点で質を評価したが、これに限らず、ステップＳＴ２１〜ＳＴ２４のうちの少なくとも一つの観点で質を評価してもよい。

以上のように、実施の形態２における切替判定部１４は、顔検出部１２により検出された顔の位置と顔器官検出部１３により検出された顔器官の位置関係に基づいて顔器官の質を評価し、質が高い場合に第一の顔向き推定部１５による推定手法に切り替え、質が低い場合に第二の顔向き推定部１６による推定手法に切り替えるので、人間の顔として不自然ではないかどうかという観点から顔器官を評価して推定手法を切り替えることができる。

実施の形態３．
図８は、この発明の実施の形態３に係る顔向き推定装置１０の動作例を示すフローチャートである。実施の形態３に係る顔向き推定装置１０の構成は、図１に示した実施の形態１に係る顔向き推定装置１０の構成と同じであるため、ここでは図１を援用する。
実施の形態１では、図２のステップＳＴ１４において切替判定部１４が、顔器官の尤度に基づいて顔器官の信頼性を評価し、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定していた。実施の形態２では、図６のステップＳＴ２１〜ＳＴ２４において切替判定部１４が、顔の位置と顔器官の位置関係に基づいて顔器官の質を評価し、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定していた。これに対し、実施の形態３では、切替判定部１４が、実施の形態１による顔器官の尤度に基づく顔器官の信頼性の評価と、実施の形態２による顔の位置と顔器官の位置関係に基づく顔器官の質の評価とを組み合わせて、第一の顔向き推定手法に切り替えるか第二の顔向き推定手法に切り替えるかを判定する。なお、図８におけるステップＳＴ１１〜ＳＴ１３，ＳＴ１５，ＳＴ１６，ＳＴ２１〜ＳＴ２４の処理は、図２および図６におけるステップＳＴ１１〜ＳＴ１３，ＳＴ１５，ＳＴ１６，ＳＴ２１〜ＳＴ２４の処理と同じであるため説明を省略する。

ステップＳＴ３１において、切替判定部１４は、顔器官検出部１３により検出された顔器官の信頼性を、その顔器官の尤度を用いて評価する。切替判定部１４は、予め定められた第一の基準と顔器官検出部１３により検出された顔器官の尤度とを比較し、尤度が第一の基準以上の場合にその顔器官の信頼性が高いと判定し（ステップＳＴ３１“ＹＥＳ”）、第一の顔向き推定部１５による第一の顔向き推定手法に切り替える（ステップＳＴ１５）。一方、切替判定部１４は、尤度が第一の基準未満の場合（ステップＳＴ３１“ＮＯ”）、ステップＳＴ３２へ進む。

ステップＳＴ３２において、切替判定部１４は、予め定められた第二の基準と顔器官検出部１３により検出された顔器官の尤度とを比較し、尤度が第二の基準未満の場合にその顔器官の信頼性が低いと判定し（ステップＳＴ３２“ＮＯ”）、第二の顔向き推定部１６による第二の顔向き推定手法に切り替える（ステップＳＴ１６）。一方、切替判定部１４は、尤度が第二の基準以上の場合（ステップＳＴ３２“ＹＥＳ”）、ステップＳＴ２１へ進み顔器官の質を評価する。なお、第二の基準は、第一の基準より低い値である。

以上のように、実施の形態３における切替判定部１４は、顔器官検出部１３により検出された顔器官の信頼性を評価するとともに、顔検出部１２により検出された顔の位置と顔器官検出部１３により検出された顔器官の位置関係に基づいて顔器官の質を評価し、信頼性の評価結果と質の評価結果とに基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替えるので、信頼性または質のいずれか一方のみを評価する場合に比べて正確に評価することができる。

実施の形態４．
図９は、この発明の実施の形態４に係る顔向き推定装置１０の構成例を示すブロック図である。実施の形態４に係る顔向き推定装置１０は、図１に示した実施の形態１の顔向き推定装置１０に対して学習データ格納部４１および第三の顔向き推定部４２が追加された構成である。図９において図１と同一または相当する部分は、同一の符号を付し説明を省略する。

学習データ格納部４１には、サンプル画像を用いて顔の向きを学習した学習データが格納されている。学習データは、例えば、Ｒａｎｄｏｍ Ｆｏｒｅｓｔなどの識別機を用いて大量のサンプル画像を学習して作成された複数の決定木である。

第三の顔向き推定部４２は、学習データ格納部４１に格納されている学習データを用いて、顔画像取得部１１により取得された顔画像から顔の向きを推定する。Ｒａｎｄｏｍ Ｆｏｒｅｓｔの場合、一枚の顔画像に対して、複数の決定木によって複数の顔の向きが推定される。第三の顔向き推定部４２は、学習データを用いて推定した顔の向きと、第二の顔向き推定部１６により推定された顔の向きとに基づいて、一つの顔の向きを求める。この第三の顔向き推定部４２は、第二の顔向き推定部１６による顔向き推定手法の推定精度を高めるために追加された機能である。

図１０は、この発明の実施の形態４に係る顔向き推定装置１０の動作例を示すフローチャートである。図１０におけるステップＳＴ１１〜ＳＴ１６の処理は、図２におけるステップＳＴ１１〜ＳＴ１６の処理と同じであるため説明を省略する。また、図１０におけるステップＳＴ１４の処理の代わりに、図６におけるステップＳＴ２１〜ＳＴ２４の処理、または図８におけるステップＳＴ３１，ＳＴ３２，ＳＴ２１〜ＳＴ２４の処理を行ってもよい。

ステップＳＴ４１において、第三の顔向き推定部４２は、顔画像取得部１１により取得された顔画像と第二の顔向き推定部１６により推定された顔の向きの情報とを、制御部１７から受け取る。第三の顔向き推定部４２は、学習データ格納部４１に格納されている学習データを用いて、顔画像取得部１１により取得された顔画像から顔の向きを一つ以上推定する。そして、第三の顔向き推定部４２は、例えば学習データを用いて推定した一つ以上の顔の向きと、第二の顔向き推定部１６により推定された顔の向きとの中から、多数決によって一つの顔の向きを決定する。あるいは、第三の顔向き推定部４２は、学習データを用いて推定した一つ以上の顔の向きと、第二の顔向き推定部１６により推定された顔の向きとの平均を求めてもよい。第三の顔向き推定部４２が最終的に出力する一つの顔の向きの求め方は、多数決または平均値算出に限定されるものではない。

なお、第三の顔向き推定部４２は、学習データを用いて推定した顔の向きを、第二の顔向き推定部１６により推定された顔の向きに基づいて補正し、補正した顔の向きに基づいて一つの顔の向きを求めるようにしてもよい。ここで、図１１を用いて、第三の顔向き推定部４２による顔向き推定手法を説明する。

図１１は、この発明の実施の形態４における第三の顔向き推定手法を説明する図であり、縦軸は上下方向の顔の向き、横軸は左右方向の顔の向きを示す。図１１の例では、第三の顔向き推定部４２が、学習データを用いて顔向きＡ，Ｂ，Ｃを推定するとともに、顔向きＡ，Ｂ，Ｃの尤度を算出する。これに対し、第二の顔向き推定部１６は、顔向きＤを推定したとする。この場合に、第三の顔向き推定部４２は、顔向きＡ〜Ｃのうちの顔向きＤに最も近い顔向きＣの尤度に大きい重みを付け、顔向きＤから離れるに従い重みが小さくなるようにしたのち、尤度の重みを考慮した多数決または平均値算出を行う。ここでの重みづけが、上記「補正」にあたる。これにより、学習データを用いて推定された一つ以上の顔向きのうち、第二の顔向き推定部１６により推定された顔向きからかけ離れたものを除外することができる。

以上のように、実施の形態４に係る顔向き推定装置１０は、サンプル画像を用いて顔の向きを学習した学習データを格納している学習データ格納部４１と、学習データを用いて、顔画像取得部１１により取得された顔画像から顔の向きを推定し、推定した顔の向きと、第二の顔向き推定部１６により推定された顔の向きとに基づいて一つの顔の向きを求める第三の顔向き推定部４２とを備える構成である。この構成により、第二の顔向き推定部１６によって顔の向きを推定する場合の精度を高めることができる。

また、実施の形態４における第三の顔向き推定部４２は、学習データを用いて推定した顔の向きを、第二の顔向き推定部１６により推定された顔の向きに基づいて補正し、補正した顔の向きに基づいて一つの顔の向きを求める構成であってもよい。この構成により、学習データを用いた顔向き推定手法での誤推定を抑制することができる。

最後に、この発明の各実施の形態に係る顔向き推定装置１０のハードウェア構成例を説明する。図１２は、この発明の各実施の形態に係る顔向き推定装置１０のハードウェア構成例を示す図である。
顔向き推定装置１０における顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、制御部１７、および第三の顔向き推定部４２の各機能は、処理回路により実現される。処理回路は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３またはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２である。

顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、制御部１７、および第三の顔向き推定部４２の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、ＲＯＭ３またはＨＤＤ６に格納される。ＣＰＵ２は、ＲＯＭ３またはＨＤＤ６に格納されたプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４に読みだして実行することにより、各部の機能を実現する。すなわち、顔向き推定装置１０は、ＣＰＵ２により実行されるときに、図２等のフローチャートで示されたステップが結果的に実行されることになるプログラムを格納するためのＲＯＭ３またはＨＤＤ６を備える。また、このプログラムは、顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、制御部１７、および第三の顔向き推定部４２の手順または方法をコンピュータに実行させるものであるとも言える。

ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、入力装置５、およびＨＤＤ６は、情報の授受が可能なように、バス８等により接続されている。顔向き推定装置１０における顔画像取得部１１は、撮像部１から顔画像が入力される入力装置５である。なお、撮像部１が撮像する際に顔を照らすための照明装置７が、バス８に接続されていてもよい。
顔向き推定装置１０における学習データ格納部４１は、ＲＯＭ３またはＨＤＤ６である。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

また、実施の形態１〜４では、顔向き推定装置１０が車両に設置されている場合を例示したが、顔向き推定装置１０のうちの一部の機能が車両に設置され、残りの機能が車両外に設置されてもよい。例えば、車載装置とサーバ装置とが無線通信可能に接続されている場合、車載装置は、撮像部１と顔画像取得部１１を備え、顔画像をサーバ装置へ送信する。サーバ装置は、顔検出部１２、顔器官検出部１３、切替判定部１４、第一の顔向き推定部１５、第二の顔向き推定部１６、学習データ格納部４１および第三の顔向き推定部４２を備え、車載装置から受信した顔画像を用いて顔の向きを推定し、推定結果を車載装置に返信する。なお、顔向きを推定する機能をサーバ装置が備える構成である必要はなく、この機能をスマートフォン等の携帯情報端末が備える構成であってもよい。あるいは、スマートフォン等が撮像部１と顔画像取得部１１を備え、スマートフォンからサーバ装置へ顔画像を送信し、サーバ装置が顔の向きを推定した結果を車載装置へ送信する構成であってもよい。

この発明に係る顔向き推定装置は、顔全体を撮像できない場合であっても顔の向きを推定するようにしたので、車両、鉄道、船舶または航空機等を含む移動体に搭乗した搭乗者の顔の向きを推定する顔向き推定装置などに用いるのに適している。

１ 撮像部、２ ＣＰＵ、３ ＲＯＭ、４ ＲＡＭ、５ 入力装置、６ ＨＤＤ、７ 照明装置、８ バス、１０ 顔向き推定装置、１１ 顔画像取得部、１２ 顔検出部、１３ 顔器官検出部、１４ 切替判定部、１５ 第一の顔向き推定部、１６ 第二の顔向き推定部、１７ 制御部、４１ 学習データ格納部、４２ 第三の顔向き推定部、１０１，１０２ 顔の領域、２０１ 顔枠、２０２ 右目尻、２０３ 右目頭、２０４ 左目頭、２０５ 左目尻、２０６ 鼻、２０７ 口右端、２０８ 口左端。

この発明に係る顔向き推定装置は、顔を撮像した顔画像を取得する顔画像取得部と、顔画像取得部により取得された顔画像から、顔の位置を検出する顔検出部と、顔検出部により検出された顔の位置から顔器官を検出する顔器官検出部と、顔器官検出部により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部と、切替判定部により第一の顔向き推定手法に切り替えられた場合、顔器官検出部により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部と、切替判定部により第二の顔向き推定手法に切り替えられた場合、顔検出部により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部とを備え、切替判定部は、顔器官検出部により検出された顔器官の信頼性を評価するとともに、顔検出部により検出された顔の位置と顔器官検出部により検出された顔器官の位置関係に基づいて顔器官の質を評価し、信頼性の評価結果と質の評価結果とに基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替えるものである。

Claims (7)

1. 顔を撮像した顔画像を取得する顔画像取得部と、
   前記顔画像取得部により取得された顔画像から、顔の位置を検出する顔検出部と、
   前記顔検出部により検出された顔の位置から顔器官を検出する顔器官検出部と、
   前記顔器官検出部により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替える切替判定部と、
   前記切替判定部により前記第一の顔向き推定手法に切り替えられた場合、前記顔器官検出部により検出された顔器官の位置関係に基づいて顔の向きを推定する第一の顔向き推定部と、
   前記切替判定部により前記第二の顔向き推定手法に切り替えられた場合、前記顔検出部により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定する第二の顔向き推定部とを備える顔向き推定装置。
2. 前記切替判定部は、前記顔器官検出部により検出された顔器官の信頼性を評価し、信頼性が高い場合に前記第一の顔向き推定手法に切り替え、信頼性が低い場合に前記第二の顔向き推定手法に切り替えることを特徴とする請求項１記載の顔向き推定装置。
3. 前記切替判定部は、前記顔検出部により検出された顔の位置と前記顔器官検出部により検出された顔器官の位置関係に基づいて顔器官の質を評価し、質が高い場合に前記第一の顔向き推定手法に切り替え、質が低い場合に前記第二の顔向き推定手法に切り替えることを特徴とする請求項１記載の顔向き推定装置。
4. 前記切替判定部は、前記顔器官検出部により検出された顔器官の信頼性を評価するとともに、前記顔検出部により検出された顔の位置と前記顔器官検出部により検出された顔器官の位置関係に基づいて顔器官の質を評価し、前記信頼性の評価結果と前記質の評価結果とに基づいて前記第一の顔向き推定手法と前記第二の顔向き推定手法とを切り替えることを特徴とする請求項１記載の顔向き推定装置。
5. サンプル画像を用いて顔の向きを学習した学習データを格納している学習データ格納部と、
   前記学習データを用いて、前記顔画像取得部により取得された顔画像から顔の向きを推定し、推定した顔の向きと、前記第二の顔向き推定部により推定された顔の向きとに基づいて一つの顔の向きを求める第三の顔向き推定部とを備えることを特徴とする請求項１記載の顔向き推定装置。
6. 前記第三の顔向き推定部は、前記学習データを用いて推定した顔の向きを、前記第二の顔向き推定部により推定された顔の向きに基づいて補正し、補正した顔の向きに基づいて前記一つの顔の向きを求めることを特徴とする請求項５記載の顔向き推定装置。
7. 顔画像取得部が、顔を撮像した顔画像を取得するステップと、
   顔検出部が、前記顔画像取得部により取得された顔画像から、顔の位置を検出するステップと、
   顔器官検出部が、前記顔検出部により検出された顔の位置から顔器官を検出するステップと、
   切替判定部が、前記顔器官検出部により検出された顔器官を評価し、評価結果に基づいて第一の顔向き推定手法と第二の顔向き推定手法とを切り替えるステップと、
   前記切替判定部により前記第一の顔向き推定手法に切り替えられた場合、第一の顔向き推定部が、前記顔器官検出部により検出された顔器官の位置関係に基づいて顔の向きを推定するステップと、
   前記切替判定部により前記第二の顔向き推定手法に切り替えられた場合、第二の顔向き推定部が、前記顔検出部により検出された顔の位置から顔の移動量を算出し、当該移動量に基づいて顔の向きを推定するステップとを備える顔向き推定方法。

Images