JPWO2019163124A1 - 三次元位置推定装置及び三次元位置推定方法 - Google Patents

Abstract

三次元位置推定装置（１００）は、車室内撮像用のカメラ（２）による撮像画像のうちの搭乗者の顔に対応する領域を検出して、当該検出された領域における複数個の特徴点を抽出する特徴点抽出部（１１）と、複数個の特徴点のうちの距離算出用特徴点間の距離である第１特徴点間距離を算出する特徴点間距離算出部（１２）と、搭乗者の顔向きを検出する顔向き検出部（１３）と、カメラ（２）の撮像軸に対する搭乗者の頭部の位置を示す頭部位置角度を算出する頭部位置角度算出部（１４）と、顔向き検出部（１３）による検出結果及び頭部位置角度を用いて、第１特徴点間距離を、頭部のうちの距離算出用特徴点に対応する部位がカメラ（２）の撮像面に対する平行面に沿うように配置された状態における距離算出用特徴点間の距離である第２特徴点間距離に補正する特徴点間距離補正部（１５）と、頭部位置角度、第２特徴点間距離及び基準特徴点間距離を用いて、頭部の三次元位置を推定する三次元位置推定部（１６）とを備える。

Description

本発明は、三次元位置推定装置及び三次元位置推定方法に関する。

従来、人間の頭部を含む領域が撮像された画像における特徴点を抽出し、当該抽出された特徴点に基づく特徴点間距離を算出し、当該算出された特徴点間距離を用いて頭部の三次元位置を推定する技術が開発されている。例えば、特許文献１には、頭髪部の水平幅を特徴点間距離に用いて頭部の三次元位置を推定する方法が開示されている。

特開平５−１９６４２５号公報

近年、いわゆる「ドライバーモニタリングシステム」などの車載用システムにおいて、搭乗者の頭部の三次元位置を高精度に推定することが求められている。

ここで、特徴点間距離を用いて頭部の三次元位置を推定する従来の技術においては、搭乗者の顔向きが変化したり、又は搭乗者の頭部が移動したりすることにより、算出される特徴点間距離の値が変動する。算出される特徴点間距離の値が変動することにより、三次元位置を正確に推定することができなくなるという問題があった。

本発明は、上記のような課題を解決するためになされたものであり、顔向きの変化及び頭部の移動などによる影響を低減して、三次元位置の推定精度を向上することを目的とする。

本発明の三次元位置推定装置は、車室内撮像用のカメラによる撮像画像のうちの搭乗者の顔に対応する領域を検出して、当該検出された領域における複数個の特徴点を抽出する特徴点抽出部と、複数個の特徴点のうちの距離算出用特徴点間の距離である第１特徴点間距離を算出する特徴点間距離算出部と、搭乗者の顔向きを検出する顔向き検出部と、カメラの撮像軸に対する搭乗者の頭部の位置を示す頭部位置角度を算出する頭部位置角度算出部と、顔向き検出部による検出結果及び頭部位置角度を用いて、第１特徴点間距離を、頭部のうちの距離算出用特徴点に対応する部位がカメラの撮像面に対する平行面に沿うように配置された状態における距離算出用特徴点間の距離である第２特徴点間距離に補正する特徴点間距離補正部と、頭部位置角度、第２特徴点間距離及び基準特徴点間距離を用いて、頭部の三次元位置を推定する三次元位置推定部とを備えるものである。

本発明によれば、上記のように構成したので、顔向きの変化及び頭部の移動などによる影響を低減して、三次元位置の推定精度を向上することができる。

本発明の実施の形態１に係る三次元位置推定装置の要部を示すブロック図である。 撮像画像における対象特徴点の位置座標の一例を示す説明図である。 図３Ａは、水平方向に対する撮像画角及び頭部位置角度の一例を示す説明図である。図３Ｂは、鉛直方向に対する撮像画角及び頭部位置角度の一例を示す説明図である。 図４Ａは、特徴点間距離補正部による補正前の特徴点間距離の一例を示す説明図である。図４Ｂは、特徴点間距離補正部による補正のイメージを示す説明図である。図４Ｃは、特徴点間距離補正部による補正後の特徴点間距離の一例を示す説明図である。 図５Ａは、本発明の実施の形態１に係る三次元位置推定装置のハードウェア構成を示すブロック図である。図５Ｂは、本発明の実施の形態１に係る三次元位置推定装置の他のハードウェア構成を示すブロック図である。 本発明の実施の形態１に係る三次元位置推定装置の動作を示すフローチャートである。 本発明の実施の形態２に係る三次元位置推定装置の要部を示すブロック図である。 対象搭乗者の頭部が基準位置にある状態の一例を示す説明図である。 式（１０）〜式（１５）に含まれる各値に対応するものの位置関係の一例を示す説明図である。 本発明の実施の形態２に係る三次元位置推定装置の動作を示すフローチャートである。 本発明の実施の形態３に係る三次元位置推定装置の要部を示すブロック図である。 本発明の実施の形態３に係る三次元位置推定装置の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る三次元位置推定装置の要部を示すブロック図である。図２は、撮像画像における対象特徴点の位置座標の一例を示す説明図である。図３Ａは、水平方向に対する撮像画角及び頭部位置角度の一例を示す説明図である。図３Ｂは、鉛直方向に対する撮像画角及び頭部位置角度の一例を示す説明図である。図４Ａは、特徴点間距離補正部による補正前の特徴点間距離の一例を示す説明図である。図４Ｂは、特徴点間距離補正部による補正のイメージを示す説明図である。図４Ｃは、特徴点間距離補正部による補正後の特徴点間距離の一例を示す説明図である。図１〜図４を参照して、実施の形態１の三次元位置推定装置１００について説明する。

図中、１は車両である。車両１には、車室内撮像用のカメラ２が設けられている。カメラ２は、例えば、車両１のダッシュボードに取り付けられた可視光カメラ又は赤外線カメラにより構成されている。カメラ２は、車両１の運転席又は助手席のうちの少なくとも一方（以下「前部座席」という。）に着座している搭乗者の顔を含む範囲を撮像可能な撮像画角θ，φを有している。

ここで、θは水平方向（図中ｘ軸及びｚ軸により規定される仮想的な平面に沿う方向）に対する撮像画角であり、φは鉛直方向（図中ｙ軸及びｚ軸により規定される仮想的な平面に沿う方向）に対する撮像画角である。なお、撮像画角の単位は度（ｄｅｇ）である。

特徴点抽出部１１は、カメラ２による撮像画像ＣＩのうちの搭乗者の顔に対応する領域（以下「顔領域」という。）を検出するものである。具体的には、例えば、特徴点抽出部１１は、Ｈａａｒ−Ｌｉｋｅ特徴量を用いて、ＡｄａＢｏｏｓｔ又はＣａｓｃａｄｅなどのアルゴリズムにより顔領域を検出する。なお、撮像画像ＣＩにおいて搭乗者の手などにより搭乗者の顔の一部が遮蔽されている場合、特徴点抽出部１１は、いわゆる「物体追跡」により顔領域を検出するものであっても良い。この物体追跡には、パーティクルフィルタ又はテンプレートマッチングなどのアルゴリズムを用いることができる。

また、特徴点抽出部１１は、顔領域における複数個の特徴点を抽出するものである。具体的には、例えば、特徴点抽出部１１は、搭乗者の右眼に対応する特徴点、搭乗者の左眼に対応する特徴点、搭乗者の両眼間の中心部に対応する特徴点、搭乗者の鼻先に対応する特徴点、及び搭乗者の口の中心部に対応する特徴点などを抽出する。

特徴点間距離算出部１２は、特徴点抽出部１１により抽出された複数個の特徴点のうちの任意の２個の特徴点（以下「距離算出用特徴点」という。）間の距離（以下「特徴点間距離」という。）を算出するものである。具体的には、例えば、特徴点間距離算出部１２は、搭乗者の右眼に対応する特徴点と搭乗者の左眼に対応する特徴点との間の距離を算出する。または、例えば、特徴点間距離算出部１２は、搭乗者の両眼間の中心部に対応する特徴点と搭乗者の口の中心部に対応する特徴点との間の距離を算出する。なお、特徴点間距離は撮像画像ＣＩにおける距離であり、特徴点間距離の単位はピクセル（ｐｉｘｅｌ）である。

顔向き検出部１３は、搭乗者の顔向きを検出するものである。具体的には、例えば、顔向き検出部１３は、特徴点抽出部１１により抽出された複数個の特徴点の各々の位置座標を示す情報を取得して、これらの特徴点の位置関係に基づき顔向きを検出する。または、例えば、顔向き検出部１３は、撮像画像ＣＩを示す画像データを取得して、Ｒａｎｄｏｍ Ｆｏｒｅｓｔなどのアルゴリズムによる機械学習の結果に基づき顔向きを検出する。後者の場合、図１における特徴点抽出部１１と顔向き検出部１３間の接続線は不要である。

頭部位置角度算出部１４は、カメラ２の撮像軸ＩＡに対する搭乗者の頭部の位置を示す角度（以下「頭部位置角度」という。）θ’，φ’を算出するものである。ここで、θ’は水平方向に対する頭部位置角度であり、φ’は鉛直方向に対する頭部位置角度である。なお、頭部位置角度の単位は度（ｄｅｇ）である。

具体的には、例えば、頭部位置角度算出部１４には、撮像画角θ，φの値と、撮像画像ＣＩにおける第１軸方向（図中ｘ軸方向）に対する解像度ｍの値と、撮像画像ＣＩにおける第２軸方向（図中ｙ軸方向）に対する解像度ｎの値とが予め記憶されている。なお、解像度の単位はピクセル（ｐｉｘｅｌ）である。頭部位置角度算出部１４は、特徴点抽出部１１により抽出された複数個の特徴点のうちの任意の１個の特徴点（以下「対象特徴点」という。）を選択して、撮像画像ＣＩにおける対象特徴点の位置座標（ｘ，ｙ）を示す情報を特徴点抽出部１１から取得する。頭部位置角度算出部１４は、以下の式（１）及び式（２）により頭部位置角度θ’，φ’を算出する。

ｘ：ｔａｎθ’＝（ｍ／２）：ｔａｎ（θ／２） （１）

ｙ：ｔａｎφ’＝（ｎ／２）：ｔａｎ（φ／２） （２）

式（１）及び式（２）により算出される頭部位置角度θ’，φ’は、より厳密には、搭乗者の頭部のうちの対象特徴点に対応する部位（以下「対象部位」という。）の位置を示すものである。

図２に、搭乗者の両眼間の中心部に対応する特徴点ｃが対象特徴点として選択された場合における、対象特徴点の位置座標（ｘ，ｙ）の一例を示す。図２に示す如く、撮像画像ＣＩにおいて撮像軸ＩＡに対応する位置の座標、すなわち撮像画像ＣＩにおける中心部の位置座標が（０，０）に設定されている。

図３に、撮像画角θ，φ及び頭部位置角度θ’，φ’の一例を示す。図３におけるＨは、搭乗者の頭部を示している。また、図３におけるＣＬは、車両１の前後方向（図中ｚ軸方向）に対して平行であり、かつ、車両１の左右方向（図中ｘ軸方向）に対して搭乗者が着座している座席の中心部を通る仮想的な直線（以下「座席中心線」という。）を示している。

特徴点間距離補正部１５は、顔向き検出部１３による検出結果及び頭部位置角度算出部１４により算出された頭部位置角度θ’，φ’を用いて、特徴点間距離算出部１２により算出された特徴点間距離を補正するものである。

ここで、図４を参照して、特徴点間距離補正部１５による補正方法の具体例について説明する。図４Ａに示す如く、特徴点間距離算出部１２により距離算出用特徴点ａ，ｂ間の距離ｄが算出されている。これに対して、特徴点間距離補正部１５は、顔向き検出部１３による検出結果及び頭部位置角度θ’，φ’を用いて、撮像軸ＩＡに対する搭乗者の顔向き角度ψを算出する（図４Ｂ参照）。図４ＢにおけるＩＡ’は、撮像軸ＩＡに対して平行であり、かつ、搭乗者の頭部のうちの距離算出用特徴点ａ，ｂに対応する部位Ａ，Ｂ間の中心部を通る仮想的な軸を示している。

以下、カメラ２の撮像軸ＩＡに対して直交しており、かつ、カメラ２の焦点を通る仮想的な平面を「撮像面」という。図４ＢにおけるＩＳ’は、カメラ２の撮像面に対して平行であり、かつ、搭乗者の頭部のうちの距離算出用特徴点ａ，ｂに対応する部位Ａ，Ｂ間の中心部を通る仮想的な平面（以下「平行面」という。）を示している。特徴点間距離補正部１５は、顔向き角度ψに応じて部位Ａ，Ｂ間の線分を回転させることにより（図中Ａ→Ａ’かつＢ→Ｂ’）、仮に部位Ａ，Ｂが平行面ＩＳ’に沿うように配置された状態における部位Ａ’，Ｂ’に対応する特徴点ａ’，ｂ’間の距離ｄ’を算出する（図４Ｃ参照）。特徴点間距離補正部１５は、当該算出された距離ｄ’を補正後の特徴点間距離とする。

三次元位置推定部１６は、頭部位置角度算出部１４により算出された頭部位置角度θ’，φ’と、特徴点間距離補正部１５による補正後の特徴点間距離ｄ’と、三次元位置推定部１６に予め記憶されている基準特徴点間距離Ｄとを用いて、実空間における搭乗者の頭部の三次元位置を推定するものである。

より具体的には、三次元位置推定部１６は、以下の式（３）及び式（４）と式（５）又は式（６）とにより三次元位置座標（Ｘ，Ｙ，Ｚ）を算出する。この三次元位置座標（Ｘ，Ｙ，Ｚ）は、実空間における対象部位の三次元位置、すなわち実空間における搭乗者の頭部の三次元位置を示すものである。

Ｘ＝ｘ＊Ｄ／ｄ’ （３）

Ｙ＝ｙ＊Ｄ／ｄ’ （４）

Ｚ＝Ｘ／ｔаｎθ’ （５）

Ｚ＝Ｙ／ｔａｎφ’ （６）

ここで、基準特徴点間距離Ｄは、実空間における距離算出用特徴点に対応する部位間の幅の基準となる値であり、単位はミリメートル（ｍｍ）である。したがって、三次元位置座標（Ｘ，Ｙ，Ｚ）におけるＸ、Ｙ及びＺの各々の単位もミリメートル（ｍｍ）である。

実施の形態１において、基準特徴点間距離Ｄの値は、複数人の人間に対する実測値の統計値に基づき設定されたものである。具体的には、例えば、複数人の人間の各々について、距離算出用特徴点ａ，ｂに対応する部位Ａ，Ｂ間の幅、すなわち両眼間の幅を実際に測定する。三次元位置推定部１６には、当該測定された幅の平均値が基準特徴点間距離Ｄの値として予め記憶されている。

特徴点抽出部１１、特徴点間距離算出部１２、顔向き検出部１３、頭部位置角度算出部１４、特徴点間距離補正部１５及び三次元位置推定部１６により、三次元位置推定装置１００の要部が構成されている。

次に、図５を参照して、三次元位置推定装置１００の要部のハードウェア構成について説明する。

図５Ａに示す如く、三次元位置推定装置１００はコンピュータにより構成されており、プロセッサ３１及びメモリ３２を有している。メモリ３２には、当該コンピュータを特徴点抽出部１１、特徴点間距離算出部１２、顔向き検出部１３、頭部位置角度算出部１４、特徴点間距離補正部１５及び三次元位置推定部１６として機能させるためのプログラムが記憶されている。メモリ３２に記憶されたプログラムをプロセッサ３１が読み出して実行することにより、特徴点抽出部１１、特徴点間距離算出部１２、顔向き検出部１３、頭部位置角度算出部１４、特徴点間距離補正部１５及び三次元位置推定部１６の機能が実現される。

プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。メモリ３２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどを用いたものである。

または、図５Ｂに示す如く、特徴点抽出部１１、特徴点間距離算出部１２、顔向き検出部１３、頭部位置角度算出部１４、特徴点間距離補正部１５及び三次元位置推定部１６の機能が処理回路３３により実現されるものであっても良い。処理回路３３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などを用いたものである。

次に、図６のフローチャートを参照して、三次元位置推定装置１００の動作について説明する。以下、特徴点間距離算出部１２により算出された特徴点間距離、すなわち特徴点間距離補正部１５による補正前の特徴点間距離を「第１特徴点間距離」という。また、特徴点間距離補正部１５による補正後の特徴点間距離を「第２特徴点間距離」という。

まず、ステップＳＴ１にて、特徴点抽出部１１は、カメラ２による撮像画像ＣＩのうちの顔領域を検出して、顔領域における複数個の特徴点を抽出する。

次いで、ステップＳＴ２にて、顔向き検出部１３は、搭乗者の顔向きを検出する。

次いで、ステップＳＴ３にて、頭部位置角度算出部１４は、頭部位置角度θ’，φ’を算出する。

次いで、ステップＳＴ４にて、特徴点間距離算出部１２は、特徴点抽出部１１により抽出された複数個の特徴点のうちの距離算出用特徴点間の距離、すなわち第１特徴点間距離を算出する。

次いで、ステップＳＴ５にて、特徴点間距離補正部１５は、顔向き検出部１３による検出結果及び頭部位置角度算出部１４により算出された頭部位置角度θ’，φ’を用いて、特徴点間距離算出部１２により算出された第１特徴点間距離を第２特徴点間距離に補正する。

次いで、ステップＳＴ６にて、三次元位置推定部１６は、頭部位置角度算出部１４により算出された頭部位置角度θ’，φ’と、特徴点間距離補正部１５による補正後の特徴点間距離（すなわち第２特徴点間距離）と、予め記憶されている基準特徴点間距離Ｄとを用いて、実空間における搭乗者の頭部の三次元位置を推定する。

顔向き検出部１３による検出結果及び頭部位置角度θ’，φ’を用いて特徴点間距離ｄを補正するとともに、頭部位置角度θ’，φ’及び補正後の特徴点間距離ｄ’を用いて三次元位置を推定することにより、搭乗者の顔が正面を向いていない場合、又は搭乗者の頭部が座席中心線ＣＬ上にない場合であっても、三次元位置推定部１６により算出される三次元位置座標（Ｘ，Ｙ，Ｚ）を実空間における実際の頭部の位置（より厳密には実際の対象部位の位置）に近づけることができる。すなわち、顔向きの変化及び頭部の移動などによる影響を低減して、三次元位置の推定精度を向上することができる。

なお、カメラ２は三次元位置推定装置１００と一体に構成されているものであっても良い。この場合、三次元位置推定装置１００は、カメラ２による撮像用の照明装置を有するものであっても良い。

また、特徴点抽出部１１、特徴点間距離算出部１２、顔向き検出部１３、頭部位置角度算出部１４、特徴点間距離補正部１５及び三次元位置推定部１６の各々は、車両１に搭載されている車載情報機器、車両１に持ち込み自在な携帯情報端末、又は当該車載情報機器若しくは当該携帯情報端末と通信自在なサーバ装置のうちのいずれに設けられているものであっても良い。すなわち、当該車載情報機器、当該携帯情報端末又は当該サーバ装置のうちのいずれか二以上により、三次元位置推定システムが構成されているものであっても良い。

また、距離算出用特徴点は、特徴点抽出部１１により抽出された複数個の特徴点のうちの任意の３個以上の特徴点であっても良い。この場合、特徴点間距離は、当該３個以上の特徴点のうちの各２個の特徴点間の距離であっても良い。

以上のように、実施の形態１の三次元位置推定装置１００は、車室内撮像用のカメラ２による撮像画像ＣＩのうちの搭乗者の顔に対応する領域を検出して、当該検出された領域における複数個の特徴点を抽出する特徴点抽出部１１と、複数個の特徴点のうちの距離算出用特徴点間の距離である第１特徴点間距離ｄを算出する特徴点間距離算出部１２と、搭乗者の顔向きを検出する顔向き検出部１３と、カメラ２の撮像軸ＩＡに対する搭乗者の頭部の位置を示す頭部位置角度θ’，φ’を算出する頭部位置角度算出部１４と、顔向き検出部１３による検出結果及び頭部位置角度θ’，φ’を用いて、第１特徴点間距離ｄを、頭部のうちの距離算出用特徴点に対応する部位がカメラ２の撮像面に対する平行面ＩＳ’に沿うように配置された状態における距離算出用特徴点間の距離である第２特徴点間距離ｄ’に補正する特徴点間距離補正部１５と、頭部位置角度θ’，φ’、第２特徴点間距離ｄ’及び基準特徴点間距離Ｄを用いて、頭部の三次元位置を推定する三次元位置推定部１６とを備える。これにより、顔向きの変化及び頭部の移動などによる影響を低減して、三次元位置の推定精度を向上することができる。

また、実施の形態１の三次元位置推定方法は、特徴点抽出部１１が、車室内撮像用のカメラ２による撮像画像ＣＩのうちの搭乗者の顔に対応する領域を検出して、当該検出された領域における複数個の特徴点を抽出するステップＳＴ１と、特徴点間距離算出部１２が、複数個の特徴点のうちの距離算出用特徴点間の距離である第１特徴点間距離ｄを算出するステップＳＴ４と、顔向き検出部１３が、搭乗者の顔向きを検出するステップＳＴ２と、頭部位置角度算出部１４が、カメラ２の撮像軸ＩＡに対する搭乗者の頭部の位置を示す頭部位置角度θ’，φ’を算出するステップＳＴ３と、特徴点間距離補正部１５が、顔向き検出部１３による検出結果及び頭部位置角度θ’，φ’を用いて、第１特徴点間距離ｄを、頭部のうちの距離算出用特徴点に対応する部位がカメラ２の撮像面ＩＳに対する平行面ＩＳ’に沿うように配置された状態における距離算出用特徴点間の距離である第２特徴点間距離ｄ’に補正するステップＳＴ５と、三次元位置推定部１６が、頭部位置角度θ’，φ’、第２特徴点間距離ｄ’及び基準特徴点間距離Ｄを用いて、頭部の三次元位置を推定するステップＳＴ６とを備える。これにより、顔向きの変化及び頭部の移動などによる影響を低減して、三次元位置の推定精度を向上することができる。

実施の形態２．
図７は、実施の形態２に係る三次元位置推定装置の要部を示すブロック図である。図８は、対象搭乗者の頭部が基準位置にある状態の一例を示す説明図である。図９は、式（１０）〜式（１５）に含まれる各値に対応するものの位置関係の一例を示す説明図である。図７〜図９を参照して、実施の形態２の三次元位置推定装置１００ａについて説明する。なお、図７において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。

実施の形態１の三次元位置推定装置１００は、複数人の人間に対する実測値の統計値を基準特徴点間距離Ｄに用いるものであった。これに対して、実施の形態２の三次元位置推定装置１００ａは、車両１の前部座席に現在着座している搭乗者（以下「対象搭乗者」という。）に対する個人認証処理を実行して、個人認証処理の結果に応じて対象搭乗者用の基準特徴点間距離Ｄの値を設定するものである。

個人認証処理部１７は、対象搭乗者に対する個人認証処理を実行するものである。具体的には、例えば、個人認証処理部１７は、撮像画像ＣＩのうちの顔領域を検出して、顔領域における個人認証用の特徴量を抽出する。個人認証処理部１７は、当該抽出された特徴量などを示す情報（以下「個人認証用情報」という。）と同一の個人認証用情報が記憶装置３に記憶されているか否かを判定する。

以下、個人認証用情報及び専用の基準特徴点間距離Ｄの値が記憶装置３に記憶されている搭乗者を「既登録搭乗者」という。また、個人認証用情報及び専用の基準特徴点間距離Ｄの値が記憶装置３に記憶されていない搭乗者を「未登録搭乗者」という。すなわち、個人認証処理部１７による個人認証処理は、対象搭乗者が未登録搭乗者であるか既登録搭乗者であるかを判定するものである。

個人認証処理部１７は、対象搭乗者が未登録搭乗者であると判定した場合、対象搭乗者の個人認証用情報を記憶装置３に記憶させる。記憶装置３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの補助記憶装置により構成されている。

誘導制御部１８は、個人認証処理部１７が個人認証処理を実行するとき、対象搭乗者の頭部を所定の位置（以下「基準位置」という。）に誘導する制御（以下「誘導制御」という。）を実行するものである。基準位置は、例えば、座席中心線ＣＬ上の位置である。

より具体的には、誘導制御部１８は、対象搭乗者の頭部を基準位置に誘導する画像（以下「誘導画像」という。）を表示装置４に表示させたり、又は対象搭乗者の頭部を基準位置に誘導する音声（以下「誘導音声」という。）を音声出力装置５に出力させたりする。表示装置４は、例えば、三次元位置推定装置１００ａと一体型の液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより構成されている。音声出力装置５は、例えば、車両１に搭載されたスピーカーにより構成されている。誘導画像又は誘導音声による誘導に従い、対象搭乗者は頭部を基準位置に移動させる。

基準特徴点間距離設定部１９は、個人認証処理部１７により対象搭乗者が未登録搭乗者であると判定された場合、誘導制御部１８による誘導後の状態にて、対象搭乗者用の基準特徴点間距離Ｄの値を算出するものである。基準特徴点間距離設定部１９は、当該算出された値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定するものである。また、基準特徴点間距離設定部１９は、当該算出された値を対象搭乗者の個人認証用情報と関連付けて記憶装置３に記憶させるものである。これにより、未登録搭乗者であった対象搭乗者が既登録搭乗者となる。

すなわち、個人認証処理部１７により対象搭乗者が既登録搭乗者であると判定された場合は、対象搭乗者用の基準特徴点間距離Ｄの値が記憶装置３に既に記憶されている。この場合、基準特徴点間距離設定部１９は、記憶装置３に記憶されている対象搭乗者用の基準特徴点間距離Ｄの値を取得して、当該取得された値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定する。

ここで、対象搭乗者用の基準特徴点間距離Ｄの値の算出方法について説明する。基準特徴点間距離設定部１９は、例えば、以下のような幾何学式を用いて対象搭乗者用の基準特徴点間距離Ｄの値を算出する。

基準特徴点間距離設定部１９は、誘導制御部１８による誘導後の状態にて、特徴点抽出部１１と同様の処理を実行することにより複数個の特徴点を抽出し、頭部位置角度算出部１４と同様の処理を実行することにより頭部位置角度θ’，φ’を算出する。また、基準特徴点間距離設定部１９には、撮像軸ＩＡと座席中心線ＣＬ間の幅Ｘｓｅａｔの値が予め記憶されている。基準特徴点間距離設定部１９は、以下の式（７）〜式（９）により、誘導後の状態における対象搭乗者の頭部の三次元位置座標（Ｘ，Ｙ，Ｚ）を算出する。

Ｘ＝Ｘｓｅａｔ （７）

Ｚ＝Ｘｓｅａｔ／ｔａｎθ’ （８）

Ｙ＝Ｚ＊ｔａｎφ’ （９）

図８に、Ｘｓｅａｔと、誘導後の状態における頭部位置角度θ’と、誘導後の状態における対象搭乗者の頭部の三次元位置座標（Ｘ，Ｙ，Ｚ）のうちのＺとの一例を示す。図８に示す如く、式（８）によりＺを算出することができる。

基準特徴点間距離設定部１９には、カメラ２の撮像画角θ，φの値及びカメラ２の焦点距離ｆの値が予め記憶されている。基準特徴点間距離設定部１９は、誘導制御部１８による誘導後の状態にて、顔向き検出部１３と同様の処理を実行することにより対象搭乗者の顔向きを検出して、撮像面ＩＳに対する対象搭乗者の顔向き角度γを算出する。基準特徴点間距離設定部１９は、特徴点間距離算出部１２と同様の処理を実行することにより、誘導後の状態にて抽出された複数個の特徴点のうちの任意の２個の特徴点間の距離ｄを算出する。

ここで、図９に示す如く、２個の特徴点のうちの一方の特徴点の撮像面ＩＳにおける位置をａ１とし、対象搭乗者の頭部のうちの当該特徴点に対応する部位（すなわち右眼）の実空間における位置をＡ１とする。また、２個の特徴点のうちの他方の特徴点の撮像面ＩＳにおける位置をｂ２とし、対象搭乗者の頭部のうちの当該特徴点に対応する部位（すなわち左眼）の実空間における位置をＢ２とする。基準特徴点間距離設定部１９は、以下の式（１０）〜式（１４）に基づく式（１５）により、対象搭乗者用の基準特徴点間距離Ｄの値を算出する。

Ａ１＝（Ｚｔаｎθ’＋Ｄ／２ｃｏｓγ，Ｚ＋Ｄ／２ｓｉｎγ） （１０）

Ｂ２＝（Ｚｔаｎθ’−Ｄ／２ｃｏｓγ，Ｚ−Ｄ／２ｓｉｎγ） （１１）

ａ１＝（Ｚｔаｎθ’＋Ｄ／２ｃｏｓγ）／（Ｚ＋Ｄ／２ｓｉｎγ）＊ｆ
（１２）

ｂ２＝（Ｚｔаｎθ’−Ｄ／２ｃｏｓγ）／（Ｚ−Ｄ／２ｓｉｎγ）＊ｆ
（１３）

ｄ＝ａ１−ｂ２
＝（Ｚｔаｎθ’＋Ｄ／２ｃｏｓγ）／（Ｚ＋Ｄ／２ｓｉｎγ）＊ｆ
−（Ｚｔаｎθ’−Ｄ／２ｃｏｓγ）／（Ｚ−Ｄ／２ｓｉｎγ）＊ｆ
（１４）

ｄ＊Ｄ＾２＋４＊ｆ＊Ｚ＊ｓｉｎγ（ｔаｎθ’−ｔаｎγ）＊Ｄ
＋４＊ｄ＊Ｚ＾２＊（ｓｉｎγ）＾２＝０
（１５）

なお、誘導後の状態における複数個の特徴点は、基準特徴点間距離設定部１９に代えて特徴点抽出部１１により抽出されるものであっても良い。誘導後の状態における頭部位置角度θ’，φ’は、基準特徴点間距離設定部１９に代えて頭部位置角度算出部１４により算出されるものであっても良い。誘導後の状態における顔向きは、基準特徴点間距離設定部１９に代えて顔向き検出部１３により検出されるものであっても良い。誘導後の状態における２個の特徴点間の距離ｄは、基準特徴点間距離設定部１９に代えて特徴点間距離算出部１２により算出されるものであっても良い。すなわち、これらのパラメータは、基準特徴点間距離Ｄの値を算出する処理と頭部の三次元位置を推定する処理とで共用されるものであっても良い。図７において、これらの場合におけるブロック間の接続線は図示を省略している。

特徴点抽出部１１、特徴点間距離算出部１２、顔向き検出部１３、頭部位置角度算出部１４、特徴点間距離補正部１５、三次元位置推定部１６、個人認証処理部１７、誘導制御部１８及び基準特徴点間距離設定部１９により、三次元位置推定装置１００ａの要部が構成されている。

三次元位置推定装置１００ａの要部のハードウェア構成は、実施の形態１にて図５を参照して説明したものと同様であるため、詳細な説明は省略する。すなわち、個人認証処理部１７、誘導制御部１８及び基準特徴点間距離設定部１９の機能を実現するためのプログラムがメモリ３２に記憶されており、当該プログラムをプロセッサ３１が読み出して実行することにより個人認証処理部１７、誘導制御部１８及び基準特徴点間距離設定部１９の機能が実現される。または、処理回路３３により個人認証処理部１７、誘導制御部１８及び基準特徴点間距離設定部１９の機能が実現される。

次に、図１０のフローチャートを参照して、三次元位置推定装置１００ａの動作について説明する。なお、ステップＳＴ１〜ＳＴ６の処理内容は実施の形態１にて図６を参照して説明したものと同様であるため、説明を省略する。

まず、特徴点抽出部１１がステップＳＴ１の処理を実行する。

次いで、ステップＳＴ１１にて、個人認証処理部１７は、対象搭乗者に対する個人認証処理を実行する。すなわち、個人認証処理部１７は、対象搭乗者が未登録搭乗者であるか既登録搭乗者であるかを判定して、判定結果を基準特徴点間距離設定部１９に出力する。また、対象搭乗者が未登録搭乗者であると判定した場合、個人認証処理部１７は、対象搭乗者の個人認証用情報を記憶装置３に記憶させる。

個人認証処理部１７が個人認証処理を実行するとき、ステップＳＴ１２にて、誘導制御部１８は誘導制御を実行する。より具体的には、誘導制御部１８は、表示装置４に誘導画像を表示させたり、又は音声出力装置５に誘導音声を出力させたりする。

次いで、顔向き検出部１３がステップＳＴ２の処理を実行し、次いで、頭部位置角度算出部１４がステップＳＴ３の処理を実行し、次いで、特徴点間距離算出部１２がステップＳＴ４の処理を実行し、次いで、特徴点間距離補正部１５がステップＳＴ５の処理を実行する。

個人認証処理部１７により対象搭乗者が未登録搭乗者であると判定された場合（ステップＳＴ１３“ＹＥＳ”）、ステップＳＴ１４にて、基準特徴点間距離設定部１９は、式（１５）により対象搭乗者用の基準特徴点間距離Ｄの値を算出する。基準特徴点間距離設定部１９は、当該算出された値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定する。また、基準特徴点間距離設定部１９は、当該算出された値を対象搭乗者の個人認証用情報と関連付けて記憶装置３に記憶させる。

他方、個人認証処理部１７により対象搭乗者が既登録搭乗者であると判定された場合（ステップＳＴ１３“ＮＯ”）、対象搭乗者用の基準特徴点間距離Ｄの値が記憶装置３に既に記憶されている。そこで、ステップＳＴ１５にて、基準特徴点間距離設定部１９は、記憶装置３に記憶されている対象搭乗者用の基準特徴点間距離Ｄの値を取得して、当該取得された値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定する。

次いで、三次元位置推定部１６がステップＳＴ６の処理を実行する。このとき、ステップＳＴ１４又はステップＳＴ１５にて基準特徴点間距離設定部１９により設定された値が基準特徴点間距離Ｄに用いられる。

通常、頭部における距離算出用特徴点に対応する部位間の幅（例えば両眼間の幅）は、個々の人間毎に異なるものである。このため、三次元位置の推定精度を更に向上する観点から、基準特徴点間距離Ｄの値も個々の搭乗者毎に設定するのが好適である。すなわち、対象搭乗者に対する個人認証処理を実行して、個人認証処理の結果に応じて対象搭乗者用の基準特徴点間距離Ｄの値を設定することにより、頭部における距離算出用特徴点に対応する部位間の幅に係る個人差の影響を低減することができる。この結果、三次元位置の推定精度を更に向上することができる。

なお、基準特徴点間距離設定部１９には、実施の形態１と同様の基準特徴点間距離Ｄの値、すなわち複数人の人間に対する実測値の統計値に基づき設定された基準特徴点間距離Ｄの値が予め記憶されているものであっても良い。基準特徴点間距離設定部１９は、個人認証処理部１７による個人認証処理が失敗した場合（すなわち対象搭乗者が未登録搭乗者であるか既登録搭乗者であるか不明である場合）、当該予め記憶されている値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定するものであっても良い。

また、個人認証処理の内容又は精度などによっては、個人認証処理を実行するときの誘導制御が不要である場合もある。このような場合、誘導制御部１８はステップＳＴ１４の処理よりも先に誘導制御を実行するものであれば良く、誘導制御の実行タイミングは個人認証処理の実行タイミングと同じタイミングに限定されるものではない。例えば、図１０に示すフローチャートにおいて、ステップＳＴ１３“ＹＥＳ”の場合に誘導制御が実行されて、次いで、ステップＳＴ１４の処理が実行されるものであっても良い。これにより、対象搭乗者が既登録搭乗者である場合は誘導制御の実行がキャンセルされるため、対象搭乗者が誘導に従う必要がなくなり、対象搭乗者の心理的負荷を低減することができる。

また、誘導制御は、対象搭乗者の頭部を基準位置に誘導するのに加えて、対象搭乗者の顔向きを所定の向きに誘導する制御（例えば搭乗者の顔が正面を向くように誘導する制御）であっても良い。すなわち、基準特徴点間距離設定部１９は、対象搭乗者の頭部が基準位置にあり、かつ、対象搭乗者の顔向きが所定の向きである状態にて、対象搭乗者用の基準特徴点間距離Ｄの値を算出するものであっても良い。

また、対象搭乗者が未登録搭乗者であると判定された場合、誘導制御に代えて、対象搭乗者の頭部における距離算出用特徴点に対応する部位間の幅の実測値の入力を求める制御が実行されるものであっても良い。この場合、基準特徴点間距離設定部１９は、タッチパネル又はハードウェアキーなどの操作入力装置により入力された実測値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定するとともに、当該入力された実測値を対象搭乗者の個人認証用情報と関連付けて記憶装置３に記憶させるものであっても良い。

以上のように、実施の形態２の三次元位置推定装置１００ａは、対象搭乗者に対する個人認証処理を実行する個人認証処理部１７と、個人認証処理の結果に応じて、三次元位置推定部１６における基準特徴点間距離Ｄの値を設定する基準特徴点間距離設定部１９とを備える。これにより、頭部における距離算出用特徴点に対応する部位間の幅に係る個人差の影響を低減して、三次元位置の推定精度を更に向上することができる。

また、基準特徴点間距離設定部１９は、対象搭乗者用の基準特徴点間距離Ｄの値が記憶装置３に記憶されている場合、当該記憶されている値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定する。これにより、対象搭乗者が既登録搭乗者である場合は誘導制御の実行がキャンセルされるため、対象搭乗者が誘導に従う必要がなくなり、対象搭乗者の心理的負荷を低減することができる。

また、三次元位置推定装置１００ａは、頭部を基準位置に誘導する制御を実行する誘導制御部１８を備え、基準特徴点間距離設定部１９は、対象搭乗者用の基準特徴点間距離Ｄの値が記憶装置３に記憶されていない場合、誘導制御部１８による誘導後の状態にて対象搭乗者用の基準特徴点間距離Ｄの値を算出して、当該算出された値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定する。これにより、対象搭乗者用の基準特徴点間距離Ｄの値を適切な状態にて算出することができる。

また、誘導制御部１８は、個人認証処理部１７が個人認証処理を実行するとき、頭部を基準位置に誘導する制御を実行する。これにより、ステップＳＴ１４の処理よりも先に誘導制御を実行することができる。この結果、対象搭乗者の頭部が基準位置にある蓋然性の高い状態にてステップＳＴ１４の処理を実行することができるため、対象搭乗者用の基準特徴点間距離Ｄの値を正確に算出することができる。

また、基準特徴点間距離設定部１９は、対象搭乗者用の基準特徴点間距離Ｄの値を算出したとき、当該算出された値を対象搭乗者の個人認証用情報と関連付けて記憶装置３に記憶させる。これにより、未登録搭乗者であった対象搭乗者が既登録搭乗者となるため、次回以降の算出処理を不要とすることができる。

実施の形態３．
図１１は、実施の形態３に係る三次元位置推定装置の要部を示すブロック図である。図１１を参照して、実施の形態３の三次元位置推定装置１００ｂについて説明する。なお、図１１において、図７に示すブロックと同様のブロックには同一符号を付して説明を省略する。

実施の形態２の三次元位置推定装置１００ａは、対象搭乗者が未登録搭乗者である場合、対象搭乗者の頭部を基準位置に誘導して、誘導後の状態にて対象搭乗者用の基準特徴点間距離Ｄの値を算出するものであった。これに対して、実施の形態３の三次元位置推定装置１００ｂは、対象搭乗者が未登録搭乗者である場合、対象搭乗者の頭部が基準位置にある蓋然性が高いタイミングを判定して、当該判定されたタイミングにて対象搭乗者用の基準特徴点間距離Ｄの値を算出するものである。

タイミング判定部２０は、個人認証処理部１７により対象搭乗者が未登録搭乗者であると判定された場合、対象搭乗者の頭部が基準位置にある蓋然性が他のタイミングよりも高いタイミングを判定するものである。基準特徴点間距離設定部１９は、個人認証処理部１７により対象搭乗者が未登録搭乗者であると判定された場合、タイミング判定部２０により判定されたタイミングにて、対象搭乗者用の基準特徴点間距離Ｄの値を算出するようになっている。

すなわち、タイミング判定部２０により判定されるタイミングは、対象搭乗者用の基準特徴点間距離Ｄの値を算出可能なタイミングである。以下、タイミング判定部２０により判定されるタイミングを「算出可能タイミング」という。

ここで、タイミング判定部２０による算出可能タイミングの判定方法の具体例について説明する。なお、対象搭乗者は車両１の運転者であるものとする。

タイミング判定部２０は、車両１に設けられたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）又は車輪速センサなどから、車両１の走行速度を示す情報（以下「車速情報」という。）を取得する。タイミング判定部２０は、車速情報を用いて、車両１の走行速度が所定の閾値以上であるか否かを判定する。すなわち、タイミング判定部２０は、車両１が高速走行中であるか否かを判定する。

また、タイミング判定部２０は、車両１に設けられたＥＣＵ又は操舵角センサなどから、車両１の操舵角を示す情報（以下「操舵角情報」という。）を取得する。タイミング判定部２０は、操舵角情報を用いて、車両１の操舵角が０度を含む所定の角度範囲（以下「第１角度範囲」という。）内であるか否かを判定する。すなわち、タイミング判定部２０は、車両１の操舵方向が直進方向であるか否かを判定する。

また、タイミング判定部２０は、撮像画像ＣＩを示す画像データを取得して、撮像画像ＣＩに対する画像認識処理を実行する。タイミング判定部２０は、画像認識処理により搭乗者の両肩間を繋ぐ直線（以下「第１直線」という。）を検出して、第１直線が略水平であるか否かを判定する。また、タイミング判定部２０は、画像認識処理により搭乗者の頭部の中心部と搭乗者の腰の中心部とを繋ぐ直線（以下「第２直線」という。）を検出して、第１直線と第２直線間の角度が９０度を含む所定の角度範囲（以下「第２角度範囲」という。）内であるか否かを判定する。

車両１の走行速度が閾値以上であり、かつ、車両１の操舵角が第１角度範囲内であり、かつ、第１直線が略水平であり、かつ、第１直線と第２直線間の角度が第２角度範囲内である場合、運転者の頭部が運転席の座席中心線ＣＬ上にある蓋然性が高い。そこで、タイミング判定部２０は、これらの条件が満たされているとき、算出可能タイミングになったと判定する。

特徴点抽出部１１、特徴点間距離算出部１２、顔向き検出部１３、頭部位置角度算出部１４、特徴点間距離補正部１５、三次元位置推定部１６、個人認証処理部１７、基準特徴点間距離設定部１９及びタイミング判定部２０により、三次元位置推定装置１００ｂの要部が構成されている。

三次元位置推定装置１００ｂの要部のハードウェア構成は、実施の形態１にて図５を参照して説明したものと同様であるため、詳細な説明は省略する。すなわち、個人認証処理部１７、基準特徴点間距離設定部１９及びタイミング判定部２０の機能を実現するためのプログラムがメモリ３２に記憶されており、当該プログラムをプロセッサ３１が読み出して実行することにより個人認証処理部１７、基準特徴点間距離設定部１９及びタイミング判定部２０の機能が実現される。または、処理回路３３により個人認証処理部１７、基準特徴点間距離設定部１９及びタイミング判定部２０の機能が実現される。

次に、図１２のフローチャートを参照して、三次元位置推定装置１００ｂの動作について説明する。なお、ステップＳＴ１〜ＳＴ６の処理内容は実施の形態１にて図６を参照して説明したものと同様であるため、説明を省略する。

まず、特徴点抽出部１１がステップＳＴ１の処理を実行する。

次いで、ステップＳＴ２１にて、個人認証処理部１７は、対象搭乗者に対する個人認証処理を実行する。すなわち、個人認証処理部１７は、対象搭乗者が未登録搭乗者であるか既登録搭乗者であるかを判定して、判定結果を基準特徴点間距離設定部１９及びタイミング判定部２０に出力する。また、対象搭乗者が未登録搭乗者であると判定した場合、個人認証処理部１７は、対象搭乗者の個人認証用情報を記憶装置３に記憶させる。

次いで、顔向き検出部１３がステップＳＴ２の処理を実行し、次いで、頭部位置角度算出部１４がステップＳＴ３の処理を実行し、次いで、特徴点間距離算出部１２がステップＳＴ４の処理を実行し、次いで、特徴点間距離補正部１５がステップＳＴ５の処理を実行する。

個人認証処理部１７により対象搭乗者が未登録搭乗者であると判定された場合（ステップＳＴ２２“ＹＥＳ”）、ステップＳＴ２３にて、タイミング判定部２０は算出可能タイミングになったか否かを判定する。算出可能タイミングになったとき（ステップＳＴ２３“ＹＥＳ”）、ステップＳＴ２４にて、基準特徴点間距離設定部１９は、式（１５）により対象搭乗者用の基準特徴点間距離Ｄの値を算出する。基準特徴点間距離設定部１９は、当該算出された値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定する。また、基準特徴点間距離設定部１９は、当該算出された値を対象搭乗者の個人認証用情報と関連付けて記憶装置３に記憶させる。

他方、個人認証処理部１７により対象搭乗者が既登録搭乗者であると判定された場合（ステップＳＴ２２“ＮＯ”）、対象搭乗者用の基準特徴点間距離Ｄの値が記憶装置３に既に記憶されている。そこで、ステップＳＴ２５にて、基準特徴点間距離設定部１９は、記憶装置３に記憶されている対象搭乗者用の基準特徴点間距離Ｄの値を取得して、当該取得された値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定する。

次いで、三次元位置推定部１６がステップＳＴ６の処理を実行する。このとき、ステップＳＴ２４又はステップＳＴ２５にて基準特徴点間距離設定部１９により設定された値が基準特徴点間距離Ｄに用いられる。

このように、タイミング判定部２０が算出可能タイミングを判定することにより、誘導制御を不要とすることができる。この結果、対象搭乗者が誘導制御に従い頭部を基準位置に移動させる必要がなくなり、対象搭乗者の心理的負荷を低減することができる。

なお、基準特徴点間距離設定部１９には、実施の形態１と同様の基準特徴点間距離Ｄの値、すなわち複数人の人間に対する実測値の統計値に基づき設定された基準特徴点間距離Ｄの値が予め記憶されているものであっても良い。基準特徴点間距離設定部１９は、個人認証処理部１７による個人認証処理が失敗した場合（すなわち対象搭乗者が未登録搭乗者であるか既登録搭乗者であるか不明である場合）、当該予め記憶されている値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定するものであっても良い。また、基準特徴点間距離設定部１９は、タイミング判定部２０がステップＳＴ２３の処理を開始した後、算出可能タイミングになったと判定されることなく所定時間が経過した場合、当該予め記憶されている値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定するものであっても良い。

また、タイミング判定部２０は、車両１の走行速度が閾値以上であるか否かという条件、車両１の操舵角が第１角度範囲内であるか否かという条件、第１直線が略水平であるか否かという条件、又は第１直線と第２直線間の角度が第２角度範囲内であるか否かという条件のうちの少なくとも１個の条件を判定するものであれば良い。判定対象となる条件を減らすことにより、プロセッサ３１又は処理回路３３の処理負荷を低減することができる。他方、判定対象となる条件を増やすことにより、算出可能タイミングの判定精度を向上することができる。すなわち、対象搭乗者の頭部が基準位置にある蓋然性がより高いタイミングを判定することができる。

また、タイミング判定部２０は、対象搭乗者の頭部が基準位置にある蓋然性が他のタイミングよりも高く、かつ、対象搭乗者の顔向きが所定の向きである（例えば対象搭乗者の顔が正面を向いている）蓋然性が他のタイミングよりも高いタイミングを判定するものであっても良い。

以上のように、実施の形態３の三次元位置推定装置１００ｂは、頭部が基準位置にある蓋然性が他のタイミングよりも高いタイミングを判定するタイミング判定部２０を備え、基準特徴点間距離設定部１９は、対象搭乗者用の基準特徴点間距離Ｄの値が記憶装置３に記憶されていない場合、タイミング判定部２０により判定されたタイミングにて対象搭乗者用の基準特徴点間距離Ｄの値を算出して、当該算出された値を三次元位置推定部１６における基準特徴点間距離Ｄの値に設定する。これにより、対象搭乗者用の基準特徴点間距離Ｄの値を適切なタイミングにて算出することができる。また、誘導制御を不要とすることができ、対象搭乗者の心理的負荷を低減することができる。

また、タイミング判定部２０は、対象搭乗者が搭乗している車両１の走行速度を示す情報及び車両１の操舵角を示す情報を用いて、対象搭乗者の頭部が基準位置にある蓋然性が他のタイミングよりも高いタイミングを判定する。対象搭乗者が車両１の運転者である場合において、車両１が高速走行中であり、かつ、車両１の操舵方向が直進方向であるとき、運転者の頭部が運転席の座席中心線ＣＬ上にある蓋然性が高い。これを利用して、算出可能タイミングを判定することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本発明の三次元位置推定装置は、例えば、ドライバーモニタリングシステムなどの車載用システムに応用することができる。

１ 車両、２ カメラ、３ 記憶装置、４ 表示装置、５ 音声出力装置、１１ 特徴点抽出部、１２ 特徴点間距離算出部、１３ 顔向き検出部、１４ 頭部位置角度算出部、１５ 特徴点間距離補正部、１６ 三次元位置推定部、１７ 個人認証処理部、１８ 誘導制御部、１９ 基準特徴点間距離設定部、２０ タイミング判定部、３１ プロセッサ、３２ メモリ、３３ 処理回路、１００，１００ａ，１００ｂ 三次元位置推定装置。

Claims (9)

1. 車室内撮像用のカメラによる撮像画像のうちの搭乗者の顔に対応する領域を検出して、当該検出された領域における複数個の特徴点を抽出する特徴点抽出部と、
   前記複数個の特徴点のうちの距離算出用特徴点間の距離である第１特徴点間距離を算出する特徴点間距離算出部と、
   前記搭乗者の顔向きを検出する顔向き検出部と、
   前記カメラの撮像軸に対する前記搭乗者の頭部の位置を示す頭部位置角度を算出する頭部位置角度算出部と、
   前記顔向き検出部による検出結果及び前記頭部位置角度を用いて、前記第１特徴点間距離を、前記頭部のうちの前記距離算出用特徴点に対応する部位が前記カメラの撮像面に対する平行面に沿うように配置された状態における前記距離算出用特徴点間の距離である第２特徴点間距離に補正する特徴点間距離補正部と、
   前記頭部位置角度、前記第２特徴点間距離及び基準特徴点間距離を用いて、前記頭部の三次元位置を推定する三次元位置推定部と、
   を備える三次元位置推定装置。
2. 前記搭乗者に対する個人認証処理を実行する個人認証処理部と、
   前記個人認証処理の結果に応じて、前記三次元位置推定部における基準特徴点間距離の値を設定する基準特徴点間距離設定部と、
   を備えることを特徴とする請求項１記載の三次元位置推定装置。
3. 前記基準特徴点間距離設定部は、前記搭乗者用の基準特徴点間距離の値が記憶装置に記憶されている場合、当該記憶されている値を前記三次元位置推定部における基準特徴点間距離の値に設定することを特徴とする請求項２記載の三次元位置推定装置。
4. 前記頭部を基準位置に誘導する制御を実行する誘導制御部を備え、
   前記基準特徴点間距離設定部は、前記搭乗者用の基準特徴点間距離の値が記憶装置に記憶されていない場合、前記誘導制御部による誘導後の状態にて前記搭乗者用の基準特徴点間距離の値を算出して、当該算出された値を前記三次元位置推定部における基準特徴点間距離の値に設定する
   ことを特徴とする請求項２記載の三次元位置推定装置。
5. 前記誘導制御部は、前記個人認証処理部が前記個人認証処理を実行するとき、前記頭部を前記基準位置に誘導する制御を実行することを特徴とする請求項４記載の三次元位置推定装置。
6. 前記頭部が基準位置にある蓋然性が他のタイミングよりも高いタイミングを判定するタイミング判定部を備え、
   前記基準特徴点間距離設定部は、前記搭乗者用の基準特徴点間距離の値が記憶装置に記憶されていない場合、前記タイミング判定部により判定されたタイミングにて前記搭乗者用の基準特徴点間距離の値を算出して、当該算出された値を前記三次元位置推定部における基準特徴点間距離の値に設定する
   ことを特徴とする請求項２記載の三次元位置推定装置。
7. 前記タイミング判定部は、前記搭乗者が搭乗している車両の走行速度を示す情報及び前記車両の操舵角を示す情報を用いて、前記頭部が前記基準位置にある蓋然性が他のタイミングよりも高いタイミングを判定することを特徴とする請求項６記載の三次元位置推定装置。
8. 前記基準特徴点間距離設定部は、前記搭乗者用の基準特徴点間距離の値を算出したとき、当該算出された値を前記搭乗者の個人認証用情報と関連付けて前記記憶装置に記憶させることを特徴とする請求項４から請求項７のうちのいずれか１項記載の三次元位置推定装置。
9. 特徴点抽出部が、車室内撮像用のカメラによる撮像画像のうちの搭乗者の顔に対応する領域を検出して、当該検出された領域における複数個の特徴点を抽出するステップと、
   特徴点間距離算出部が、前記複数個の特徴点のうちの距離算出用特徴点間の距離である第１特徴点間距離を算出するステップと、
   顔向き検出部が、前記搭乗者の顔向きを検出するステップと、
   頭部位置角度算出部が、前記カメラの撮像軸に対する前記搭乗者の頭部の位置を示す頭部位置角度を算出するステップと、
   特徴点間距離補正部が、前記顔向き検出部による検出結果及び前記頭部位置角度を用いて、前記第１特徴点間距離を、前記頭部のうちの前記距離算出用特徴点に対応する部位が前記カメラの撮像面に対する平行面に沿うように配置された状態における前記距離算出用特徴点間の距離である第２特徴点間距離に補正するステップと、
   三次元位置推定部が、前記頭部位置角度、前記第２特徴点間距離及び基準特徴点間距離を用いて、前記頭部の三次元位置を推定するステップと、
   を備える三次元位置推定方法。

Images