JP7267467B2 - 注意方向判定装置および注意方向判定方法 - Google Patents

Description

本開示は、車両内の乗員が注意を向けている方向を判定する注意方向判定装置および注意方向判定方法に関する。

従来、車両内に搭載されたカメラによって取得された画像から、車両内の乗員の人体的特徴点を検出し、検出した人体的特徴点の位置変化に基づき、車両内の乗員の行動を予測する技術が開示されている。（例えば、特許文献１参照）

特開２０１１－１２３７３３号公報

従来技術では、人体的特徴点の位置変化から車両内の乗員の行動を予測するが、乗員が注意を向けている方向を推定していないため、乗員が注意を向けている方向とは関係のない行動を予測するという問題がある。例えば、従来技術では、乗員が車載機器の方向に注意を向けていない状態で着座姿勢を変えた場合であっても、人体的特徴点の位置変化から、乗員の行動は車載機器を操作する行動であると予測するという問題がある。

本開示は、上記のような課題を解決するためになされたもので、乗員が注意を向けている方向を判定する注意方向判定装置および注意方向判定方法を提供することを目的とする。

本開示に係る注意方向判定装置は、カメラが撮影した車両内の乗員の画像を取得する画像取得部と、画像取得部が取得した画像に基づいて、乗員の顔の特徴点を推定する顔特徴点推定部と、画像取得部が取得した画像に基づいて、乗員の手の伸びている方向を推定する骨格推定部と、顔特徴点推定部が推定した顔の特徴点に基づいて、乗員の顔向きを検出する顔向き検出部と、車両内の乗員の着座情報を取得する着座情報取得部と、骨格推定部が推定した乗員の手の伸びている方向と、顔向き検出部が検出した乗員の顔向きと、着座情報取得部が取得した着座情報とに基づいて、乗員が注意を向けている方向を判定する注意方向判定部と、を備え、注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向が隣席方向であり、顔向き検出部が検出した乗員の顔向きが隣席方向であり、かつ着座情報取得部が取得した着座情報が隣席に乗員が着座していないことを示す場合に、乗員が注意を向けている方向は隣席方向であると判定する。

本開示に係る注意方向判定方法は、カメラが撮影した車両内の乗員の画像を取得するステップと、画像に基づいて、乗員の顔の特徴点を推定するステップと、画像に基づいて、乗員の手の伸びている方向を推定するステップと、顔の特徴点に基づいて、乗員の顔向きを検出するステップと、車両内の乗員の着座情報を取得するステップと、乗員の手の伸びている方向と、乗員の顔向きと、着座情報とに基づいて、乗員が注意を向けている方向を判定するステップと、を有し、推定された乗員の手の伸びている方向が隣席方向であり、検出された乗員の顔向きが隣席方向であり、かつ着座情報が隣席に乗員が着座していないことを示す場合に、乗員が注意を向けている方向は隣席方向であると判定する。

本開示に係る注意方向判定装置によれば、乗員が注意を向けている方向を判定することができる。

本開示に係る注意方向判定方法によれば、乗員が注意を向けている方向を判定することができる。

本開示の実施の形態１に係る注意方向判定装置の構成の一例を示すブロック図である。 本開示の実施の形態１に係る助手席に着座している乗員の画像の一例を示す図である。 本開示の実施の形態１に係る乗員の顔の特徴点の一例を示す図である。 本開示の実施の形態１に係る画像における乗員の複数の部位の一例を示す図である。 本開示の実施の形態１に係る画像における乗員の複数の部位の一例を示す図である。 本開示の実施の形態１に係る画像における乗員の複数の部位の一例を示す図である。 本開示の実施の形態１に係る画像における乗員の複数の部位の一例を示す図である。 本開示の実施の形態１に係る画像における乗員の手の伸びている方向を検出するための一例を示す図である。 本開示の実施の形態１に係る乗員の顔向きの一例を示す図である。 本開示の実施の形態１に係る乗員の視線方向角度を考慮した乗員の顔向きの一例を示す図である。 本開示の実施の形態１に係る注意方向判定装置の動作の一例を示すフローチャートである。 本開示の実施の形態２に係る注意方向判定装置の構成の一例を示すブロック図である。 本開示の実施の形態２に係る注意方向判定装置の動作の一例を示すフローチャートである。 本開示の実施の形態１，２に係る注意方向判定装置のハードウェア構成の一例を示すブロック図である。 本開示の実施の形態１，２に係る注意方向判定装置のハードウェア構成の一例を示すブロック図である。

以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。なお、以下に示す実施の形態は一例であり、これらの実施の形態によって本開示が限定されるものではない。

実施の形態１．
図１は、本実施の形態による注意方向判定装置１００の構成の一例を示すブロック図である。また、注意方向判定装置１００は、車両内に搭載されているものとする。

図１に示すように、注意方向判定装置１００は、画像取得部１と、顔特徴点推定部２と、頭位置推定部３と、部位推定部４と、骨格推定部５と、顔向き検出部６と、注意方向判定部７と判定結果出力部８とを備えている。また、画像取得部１は、カメラ９に接続されている。カメラ９は、車両内に搭載されている。判定結果出力部８は、制御部１０に接続されている。制御部１０は、判定結果出力部８が出力した判定結果を受信し、判定結果に基づいて車載機器等の制御を行う。ここで、車載機器とは、例えば、車内の照明機器、ナビゲーション装置または音響機器等である。

画像取得部１は、カメラ９が撮影した車両内の乗員の画像を取得する。カメラ９は、運転席、助手席、および後部座席のそれぞれに着座した乗員を含むように撮影する。図２は、助手席に着座している乗員の画像の一例を示す図である。なお、図２の例では、助手席に乗員が着座している場合を示しているが、これに限るものではない。カメラ９が撮影した画像には、運転席に着座している乗員、および後部座席に着座している乗員が含まれていてもよい。

顔特徴点推定部２は、画像取得部１が取得した画像に基づいて、乗員の顔の特徴点を推定する。具体的には、顔特徴点推定部２は、画像取得部１が取得した画像を予め準備した学習辞書（図示せず）と照合し、画像取得部１が取得した画像に含まれる乗員の顔、目、および鼻などの位置を示す顔の特徴点を推定する。例えば、顔特徴点推定部２は、乗員の瞳孔の位置および大きさ、両目の各瞳孔の中心の間隔である両目の間隔、眉の両端位置、目の両端位置、鼻頭の位置、口の両端位置などを顔の特徴点として推定するが、これらに限らず顔の他の特徴点を推定してもよい。学習辞書には、複数の人物の顔の特徴点が記録されている。なお、顔特徴点推定部２は、画像に複数の乗員が含まれている場合、各乗員の顔の特徴点を推定する。

図３は、乗員の顔の特徴点の一例を示す図である。図３に示す乗員は、助手席に着座している。図３において、乗員の顔を四角で囲んだ線は、乗員の顔の位置を示している。乗員の目の中心に破線で示した円は、乗員の瞳孔の位置および大きさを示している。乗員の顔に示した複数の点は、眉の両端位置、目の両端位置、鼻頭の位置、口の両端位置をそれぞれ示している。また、目幅は、乗員の両目の間隔であり、具体的には各瞳孔の中心の間隔である。なお、顔特徴点推定部２は、図３に示す顔の特徴点に限らず、顔の他の特徴点を推定してもよい。

頭位置推定部３は、顔特徴点推定部２が推定した顔の特徴点に基づいて、カメラ９に対する乗員の頭の相対的な位置を推定する。具体的には、頭位置推定部３は、顔特徴点推定部２が推定した乗員の両目の間隔または瞳孔の大きさに基づいて、カメラ９に対する乗員の頭の物理的な相対位置を推定する。すなわち、頭位置推定部３は、カメラ９と乗員の頭との距離を推定する。

本実施の形態では、体格差の影響が少ない乗員の両目の間隔または瞳孔の大きさに基づいて、カメラ９に対する乗員の頭の相対的な位置を推定している。従って、乗員の体格に関わらず、カメラ９に対する乗員の頭の相対的な位置を精度良く推定することができる。また、乗員が着座している座席位置が変化した場合であっても、当該変化に応じて、カメラ９に対する乗員の頭の相対的な位置を精度良く推定することができる。

部位推定部４は、画像取得部１が取得した画像に基づいて、画像における乗員の複数の部位の大きさを推定する。具体的には、部位推定部４は、画像取得部１が取得した画像を予め準備した学習辞書（図示せず）と照合し、画像取得部１が取得した画像に含まれる乗員の首、肩、腕、手、および上半身などの各部位の画像における大きさおよび位置を推定する。学習辞書には、複数の人物の各部位の画像における大きさおよび位置が記録されている。なお、部位推定部４は、画像に複数の乗員が含まれている場合、各乗員の複数の部位の大きさを推定する。また、部位推定部４が推定した画像における乗員の各部位の大きさの単位はｐｉｘ（ピクセル）である。

図４から図７は、画像取得部１が取得した画像における乗員の複数の部位の大きさおよび位置の一例を示す図である。図４から図６は、体格が異なる乗員の各部位の大きさおよび位置を示している。図４から図７において、各点を結ぶ直線は乗員の部位に対応し、各部位の大きさの単位はｐｉｘ（ピクセル）である。例えば、図７に示す両矢印は、乗員の肩幅（ｎピクセル）を示している。

骨格推定部５は、頭位置推定部３が推定したカメラ９に対する乗員の頭の相対的な位置と、部位推定部４が推定した画像における乗員の各部位の大きさとに基づいて、乗員の骨格および乗員の手の伸びている方向を推定する。具体的には、まず、骨格推定部５は、部位推定部４が推定した画像における乗員の各部位の大きさを、乗員の各部位の実際の大きさに変換する。なお、骨格推定部５は、乗員が複数である場合、各乗員の各部位の実際の大きさを推定する。

ここで、骨格推定部５が、部位推定部４が推定した画像における乗員の肩幅を実際の肩幅に変換する方法について説明する。骨格推定部５は、下記の式（１）に従って、実際の肩幅ｄを算出する。
ｄ＝Ｍｎ／｛２ｘｔａｎ（θ／２）｝・・・（１）

式（１）において、ｎは、画像における肩幅の大きさを示している。Ｍは、画像の横幅を示しており、カメラ９の画角θによって決まる。ｘは、カメラ９と乗員の頭との距離を示しており、頭位置推定部３が推定したカメラ９に対する乗員の頭の相対的な位置に対応する。このように、骨格推定部５は、部位推定部４が推定した画像における各部位の大きさを、頭位置推定部３が推定した乗員の頭の相対的な位置で補正することによって、乗員の各部位の実際の大きさを算出する。

上記の式（１）に示すように、骨格推定部５は、頭位置推定部３が推定したカメラ９に対する乗員の頭の相対的な位置を用いて、乗員の各部位の実際の大きさを算出している。従って、乗員が着座している座席位置が変化した場合であっても、骨格推定部５は乗員の各部位の実際の大きさを正確に算出することができる。なお、上記では、乗員の肩幅を算出する場合について説明したが、乗員の他の部位についても同様に算出することができる。例えば、骨格推定部５は、乗員の座高、顔の大きさ、および腕の長さを算出してもよい。

画像における乗員の各部位の大きさを、乗員の各部位の実際の大きさに変換することができるのは、カメラ９に対する乗員の頭の相対的な位置に乗員の全ての部位が存在していると仮定しているからである。肩、背骨、および顔が、カメラ９に対する乗員の頭の相対的な位置とほぼ同じ位置に存在することは想定できるが、腕は肩を中心として大きく動かすことができるためこの限りではない。腕については、部位推定部４は、画像の経時的な変化で腕の大きさが最大となったとき、当該最大となった腕の大きさを乗員の腕の大きさと推定してもよい。この場合、骨格推定部５は、部位推定部４が推定した画像における腕の大きさを、実際の腕の大きさに変換する。

次に、骨格推定部５は、乗員の各部位の実際の大きさに基づいて、乗員の骨格を推定する。具体的には、骨格推定部５は、乗員の骨格を推定するための機械学習を行った学習済みの学習器（図示せず）に、乗員の各部位の実際の大きさを入力し、学習器の演算処理を実行することで、乗員の骨格の推定結果を学習器から取得する。なお、骨格推定部５は、乗員が複数である場合、各乗員の骨格を推定する。

学習器は、複数の人物の各部位の実際の大きさと、各人物の骨格とを対応付けて記録された学習辞書（図示せず）を有している。例えば、骨格推定部５が、乗員の座高、肩幅、顔の大きさ、および腕の長さを学習器に入力した場合、学習器は、入力した各部位の実際の大きさを学習辞書と照合し、尤度が最も大きい骨格が、入力した各部位を有する乗員の骨格であると推定する。このように、乗員の各部位の実際の大きさと乗員の骨格とは相関関係を有している。骨格推定部５は、乗員の骨格の推定結果を学習器から取得する。

次に、骨格推定部５は、推定した乗員の骨格から乗員の手の伸びている方向を推定する。例えば、骨格推定部５は、予め設定された骨格検知エリアにおいて乗員の手が検知されることによって乗員の手の伸びている方向を検出する。図８は、画像取得部１が取得した画像における乗員の手の伸びている方向を検出するための一例を示す図である。

図８に示す例では、乗員は、助手席に着座している。図８において、点線で囲まれた各エリアは、予め設定された各骨格検知エリアを示している。図８に示す例では、骨格検知エリアとして設定されたエリアは、検知対象の乗員に対する隣席エリア、検知対象の乗員に対する後席エリア、および検知対象の乗員が乗車または降車するためのドアのドアノブエリアである。なお、図８に示す例で設定された各骨格検知エリアは、乗員が助手席に着座している場合の例であり、検知対象の乗員の着座位置に応じて適宜設定される。また、各検知エリアの大きさは、任意に設定可能であり、検知対象の乗員に応じて適宜設定される。

図８に示す例において、骨格検知エリアＡにて乗員の手が検知された場合、骨格推定部５は、乗員の手が隣席方向に伸びていると推定する。図８に示す例において、骨格検知エリアＢにて乗員の手が検知された場合、骨格推定部５は、乗員の手が後席方向に伸びていると推定する。図８に示す例において、骨格検知エリアＣにて乗員の手が検知された場合、骨格推定部５は、乗員の手がドアノブ方向に伸びていると推定する。予め設定された骨格検知エリア以外で乗員の手が検知された場合、および複数の骨格検知エリアにて乗員の手が検知された場合は、骨格推定部５は、乗員の手の方向を推定不可と判断する。なお、図８では、検知対象の乗員が助手席に着座している場合の例を示したが、検知対象の乗員は助手席に着座している乗員に限られるものではない。

顔向き検出部６は、顔特徴点推定部２が推定した乗員の顔の特徴点である顔、目、および鼻などの位置関係に基づいて、顔向きを検出する。例えば、顔向き検出部６は、乗員の顔画像から顔部位に対応する特徴点を抽出し、その特徴点により示される顔部位の位置関係に基づいて、乗員の顔向き角度を算出する。顔向き角度は、例えば、公知の技術であるＰＯＳＩＴ（Ｐｏｓｅ ｆｒｏｍ Ｏｒｔｈｏｇｒａｐｈｙ ａｎｄ Ｓｃａｌｉｎｇ ｗｉｔｈ Ｉｔｅｒａｔｉｏｎｓ）アルゴリズムを用いて検出することができる。

顔向き検出部６は、検出した顔向き角度から乗員の顔向きを検出する。例えば、顔向き検出部６は、乗員の顔向きとして、検知対象の乗員に対して隣席方向を向いているか、検知対象の乗員に対して後席方向を向いているか、または検知対象の乗員が乗車または降車するためのドアのドアノブ方向を向いているかを検出する。ここで、図９は、乗員の顔向きの一例を示す図であり、乗員の頭部を真上から見た状態を示している。図９では、乗員の顔向きを一点鎖線で示しており、乗員の顔向きが車両の進行方向Ｙと一致している場合に、顔向き角度は０°とする。

次に、顔向き検出部６による乗員の顔向き検出例について図９を用いて説明する。なお、図９に示す例では、乗員は、助手席に着座している。
図９（ａ）に示すように、乗員の顔向きが車両の進行方向Ｙから右方向に回転している場合は、顔向き角度が０°から所定角度α以下の場合に、顔向き検出部６は、乗員は隣席方向を向いていると判断する。
図９（ｂ）に示すように、乗員の顔向きが車両の進行方向Ｙから左方向に回転している場合は、顔向き角度が０°から所定角度β以下の場合に、顔向き検出部６は、乗員はドアノブ方向を向いていると判断する。
図９（ｃ）に示すように、乗員の顔向きが車両の進行方向Ｙから右方向に所定角度αを超えて回転している場合、顔向き検出部６は、乗員は後席方向を向いていると判断する。
図９（ｄ）に示すように、乗員の顔向きが車両の進行方向Ｙから左方向に所定角度βを超えて回転している場合、顔向き検出部６は、乗員は後席方向を向いていると判断する。

ここで、所定角度αおよび所定角度βとしては、後席方向を向く過程で取り得る角度を設定する。所定角度αおよび所定角度βは、例えば５０度に設定される。なお、所定角度αおよび所定角度βは、任意に設定可能であり、所定角度αと所定角度βとは異なる値を設定することができる。図９では、検知対象の乗員が助手席に着座している場合の例を示したが、検知対象の乗員は助手席に着座している乗員に限られるものではない。また、顔向き検出部６によって判断される乗員の顔向きは、検知対象の乗員の着座位置に応じて決定される。

また、顔向き検出部６は、顔特徴点推定部２が推定した特徴点から乗員の視野または視線を検出する構成としてもよい。つまり、顔向き検出部６は、顔特徴点推定部２が推定した乗員の顔の特徴点に基づき、乗員の顔向き角度と、乗員の視野または視線とを算出し、算出した乗員の顔向き角度と、乗員の視野または視線とに基づき、乗員の顔向きを検出する構成としてもよい。例えば、顔向き検出部６は、顔特徴点推定部２が推定した乗員の瞳孔の位置および大きさ、両目の各瞳孔の中心の間隔である両目の間隔、眉の両端位置、目の両端位置から視野または視線を検出する。視野または視線は、公知の視線検出処理を用いて検出することができる。

顔向き検出部６は、視野または視線として、視線方向角度を検出する。視線方向角度とは、乗員の顔向き角度に対する乗員の視線の方向を示す角度である。顔向き検出部６が乗員の視線方向角度を検出する構成である場合、顔向き検出部６は、乗員の視線方向角度を考慮した顔向き角度を算出し、顔向きを検出する。例えば、顔向き検出部６は、車両の進行方向Ｙに対する乗員の顔向き角度の回転方向と、乗員の顔向き角度に対する乗員の視線方向角度の回転方向とが、同一の場合は、乗員の顔向き角度に乗員の視線方向角度を加算した値を乗員の視線方向角度を考慮した顔向き角度として算出する。一方、顔向き検出部６は、車両の進行方向Ｙに対する乗員の顔向き角度の回転方向と、乗員の顔向き角度に対する乗員の視線方向角度の回転方向とが、異なる場合は、乗員の顔向き角度から乗員の視線方向角度を減算した値を乗員の視線方向角度を考慮した顔向き角度として算出する。つまり、顔向き検出部６は、乗員の顔向き角度に加えて乗員の視線方向角度をさらに利用して算出した、乗員の視線方向角度を考慮した顔向き角度に基づいて、顔向きを検出する。

ここで、図１０は、乗員の視線方向角度を考慮した乗員の顔向きの一例を示す図であり、乗員の頭部を真上から見た状態を示している。図１０では、乗員の顔向きを一点鎖線で示しており、乗員の視線方向角度を破線で示している。なお、乗員の顔向きが車両の進行方向Ｙと一致している場合は、顔向き角度は０°とする。また、乗員の顔向きと乗員の視線方向角度とが一致している場合は、乗員の視線方向角度は０°とする。

次に、顔向き検出部６による乗員の視線方向角度を考慮した乗員の顔向き検出例について図１０を用いて説明する。なお、図１０に示す例では、乗員は、助手席に着座している。図１０に示す例では、乗員の顔向き角度は、車両の進行方向Ｙから右方向にＡ°である。また、乗員の視線方向角度は、乗員の顔向き角度から左にａ°である。つまり、図１０に示す例では、顔向き検出部６は、乗員の視線方向角度を考慮した顔向き角度として、Ａ°―ａ°を算出し、乗員の視線方向角度を考慮した顔向き角度Ａ°―ａ°が０°から所定角度α以下の場合は、乗員は隣席方向を向いていると判断する。

つまり、顔向き検出部６は、乗員の視線方向角度を考慮した顔向き角度が０°から所定角度α以下の場合は、乗員は隣席方向を向いていると判断し、乗員の視線方向角度を考慮した顔向き角度が所定角度αを超えている場合は、乗員は後席方向を向いていると判断する。また、顔向き検出部６は、乗員の視線方向角度を考慮した顔向き角度が０°から所定角度β以下の場合は、乗員はドアノブ方向を向いていると判断し、乗員の視線方向角度を考慮した顔向き角度が所定角度βを超えている場合は、乗員は後席方向を向いていると判断する。

注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向と、顔向き検出部６が推定した乗員の顔向きとに基づいて、乗員が注意を向けている方向を判定する。さらに、注意方向判定部７は、判定した判定結果を判定結果出力部８に出力する。例えば、注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向と、顔向き検出部６が推定した乗員の顔向きとが同一の方向である場合に、乗員が注意を向けている方向は、骨格推定部５および顔向き検出部６が推定した方向であると判定する。一方、注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向と、顔向き検出部６が推定した乗員の顔向きとが同一ではない場合、骨格推定部５が推定した乗員の手の伸びている方向が推定不可である場合、および顔向き検出部６が推定した乗員の顔向きが推定不可である場合は、注意方向判定不可と判断する。

判定結果出力部８は、注意方向判定部７が判定した判定結果を制御部１０に出力する。ここで、注意方向判定部７が判定した判定結果には、注意方向判定部７が注意方向判定不可と判断した判断結果も含まれる。

制御部１０は、判定結果出力部８から出力された判定結果を受信し、判定結果に対応した車載機器等の制御を行う。例えば、制御部１０は、乗員が注意を向けている方向は隣席方向であるという判定結果を受信した場合は、検知対象の乗員に対する隣席を照らす照明を点灯させるための制御を行う。また、制御部１０は、乗員が注意を向けている方向は後席方向であるという判定結果を受信した場合は、検知対象の乗員に対する後席を照らす照明を点灯させるための制御を行う。また、制御部１０は、乗員が注意を向けている方向はドアノブ方向であるという判定結果を受信した場合は、検知対象の乗員の足元を照らす照明を点灯させる制御を行う。なお、制御部１０は、受信した判定結果が注意方向判定不可の場合は車載機器等の制御を行わない。

図１１は、図１に示す注意方向判定装置１００の動作の一例を示すフローチャートである。

ステップＳ１０１において、画像取得部１は、カメラ９が撮影した車両内の乗員の画像を取得する。ステップＳ１０２において、顔特徴点推定部２は、画像取得部１が取得した画像に基づいて、乗員の顔の特徴点を推定する。

ステップＳ１０３において、頭位置推定部３は、顔特徴点推定部２が推定した顔の特徴点に基づいて、カメラ９に対する乗員の頭の相対的な位置を推定する。ステップＳ１０４において、部位推定部４は、画像取得部１が取得した画像に基づいて、画像における乗員の複数の部位の大きさを推定する。

ステップＳ１０５において、骨格推定部５は、頭位置推定部３が推定した乗員の頭の相対的な位置と、部位推定部４が推定した各部位の大きさとに基づいて、乗員の骨格を推定する。ステップＳ１０６において、骨格推定部５は、推定した骨格が骨格検知エリアにおいて検知されるかを判定し、乗員の手の伸びている方向を推定する。

ステップＳ１０７において、顔向き検出部６は、顔特徴点推定部２が推定した乗員の顔の特徴点である顔、目、および鼻などの位置関係に基づいて、乗員の顔向きを検出する。

ステップＳ１０８において、注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向と、顔向き検出部６が推定した乗員の顔向きとに基づいて、乗員が注意を向けている方向を判定する。

ステップＳ１０９において、判定結果出力部８は、注意方向判定部７が判定した判定結果を出力する。図１の例では、判定結果出力部８は、注意方向判定部７が判定した乗員が注意を向けている方向を制御部１０に出力する。

本実施の形態１に係る注意方向判定装置は、カメラが撮影した車両内の乗員の画像を取得する画像取得部と、画像取得部が取得した画像に基づいて、乗員の顔の特徴点を推定する顔特徴点推定部と、画像取得部が取得した画像に基づいて、乗員の手の伸びている方向を推定する骨格推定部と、顔特徴点推定部が推定した顔の特徴点に基づいて、乗員の顔向きを検出する顔向き検出部と、骨格推定部が推定した乗員の手の伸びている方向と、顔向き検出部が検出した乗員の顔向きとに基づいて、乗員が注意を向けている方向を判定する注意方向判定部と、を備える。

また、本実施の形態１に係る注意方向判定装置の注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向と、顔向き検出部が検出した乗員の顔向きとが同一の方向の場合に、乗員が注意を向けている方向を判定する。

また、本実施の形態１に係る注意方向判定装置の注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向が隣席方向であり、顔向き検出部が検出した乗員の顔向きが隣席方向である場合に、乗員が注意を向けている方向は隣席方向であると判定する。

また、本実施の形態１に係る注意方向判定装置の注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向が後席方向であり、顔向き検出部が検出した乗員の顔向きが後席方向である場合に、乗員が注意を向けている方向は後席方向であると判定する。

また、本実施の形態１に係る注意方向判定装置の注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向がドアノブ方向であり、顔向き検出部が検出した乗員の顔向きがドアノブ方向である場合に、乗員が注意を向けている方向はドアノブ方向であると判定する。

また、本実施の形態１に係る注意方向判定装置は、顔特徴点推定部が推定した顔の特徴点に基づいて、カメラに対する乗員の頭の相対的な位置を推定する頭位置推定部と、画像取得部が取得した画像に基づいて、画像における乗員の複数の部位の大きさを推定する部位推定部と、を有し、骨格推定部は、頭位置推定部が推定した乗員の頭の相対的な位置と、部位推定部が推定した各部位の大きさとに基づいて、乗員の骨格を推定し、推定した乗員の骨格推定結果から乗員の手の伸びている方向を推定する。

また、本実施の形態１に係る注意方向判定装置は、注意方向判定部が判定した乗員が注意を向けている方向を出力する判定結果出力部をさらに備えることを特徴とする。

以上の構成によって実施の形態１に係る注意方向判定装置１００は、乗員が注意を向けている方向を判定することができる。また、顔向き検出部６が、顔特徴点推定部２が推定した乗員の顔の特徴点である顔、目、および鼻などの位置関係に基づいて、顔向きを検出するため、注意方向判定装置１００は、乗員がサングラスをしている場合であっても乗員が注意を向けている方向を判定することができる。

実施の形態１に係る注意方向判定方法は、カメラが撮影した車両内の乗員の画像を取得するステップと、画像に基づいて、乗員の顔の特徴点を推定するステップと、画像に基づいて、乗員の手の伸びている方向を推定するステップと、顔の特徴点に基づいて、乗員の顔向きを検出するステップと、乗員の手の伸びている方向と、乗員の顔向きとに基づいて、乗員が注意を向けている方向を判定するステップと、を有する。

以上の構成によって実施の形態１に係る注意方向判定方法は、乗員が注意を向けている方向を判定することができる。

実施の形態２．
本開示の実施の形態２に係る注意方向判定装置２００の構成について説明する。なお、実施の形態１と同一または対応する構成については、その説明を省略し、構成の異なる部分のみを説明する。

図１２は、実施の形態２に係る注意方向判定装置２００の構成の一例を示すブロック図である。図１２に示すように、注意方向判定装置２００は、着座情報取得部２１と、車両情報取得部２２とを備えている。

着座情報取得部２１は、カメラ９が撮影した車両内の乗員の画像から車両内の乗員の着座情報を取得する。ここで、着座情報とは乗員が車両内のどの座席に着座しているかを示す情報である。なお、着座情報取得部２１による車両内の乗員の着座情報を取得は、カメラ９が撮影した車両内の乗員の画像から取得する構成に限られるものではない。例えば、車両に着座センサが設けられている場合、着座情報取得部２１は、着座センサから車両内の乗員の着座情報を取得する構成としてもよい。

車両情報取得部２２は、車両の車両情報を取得する。ここで、車両情報とは、例えば、車両の停止に関する情報である。車両情報取得部２２は、例えば、車両情報を車両に設けられた車速センサ等の車両センサ（図示せず）から取得する。

本開示の実施の形態２に係る注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向と、顔向き検出部６が検出した乗員の顔向きと、着座情報取得部２１が取得した着座情報または車両情報取得部２２が取得した車両情報の少なくとも一つの情報と、に基づいて乗員が注意を向けている方向を判定する。

次に、注意方向判定部７が、骨格推定部５が推定した乗員の手の伸びている方向と、顔向き検出部６が検出した乗員の顔向きと、着座情報取得部２１が取得した着座情報と、に基づいて乗員が注意を向けている方向を判定する場合の判定例について説明する。

注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向が隣席方向であり、顔向き検出部６が検出した乗員の顔向きが隣席方向である場合に、さらに着座情報取得部２１が取得した着座情報から隣席着座情報を取得し、乗員が注意を向けている方向を判定する。ここで、隣席着座情報とは、検知対象の乗員に対する隣席に乗員が着座しているかを示す情報である。つまり、注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向が隣席方向であり、顔向き検出部６が検出した乗員の顔向きが隣席方向であり、かつ着座情報取得部２１が取得した着座情報が、検知対象の乗員に対する隣席に乗員が着座していないことを示す場合に、乗員が注意を向けている方向は隣席方向であると判定する構成としてもよい。一方、注意方向判定部７は、着座情報取得部２１が取得した着座情報が、検知対象の乗員に対する隣席に乗員が着座していることを示す場合は、注意方向判定不可と判断する。

注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向が後席方向であり、顔向き検出部６が検出した乗員の顔向きが後席方向である場合に、さらに着座情報取得部２１が取得した着座情報から後席着座情報を取得し、乗員が注意を向けている方向を判定する。ここで、後席着座情報とは、検知対象の乗員に対する後席に乗員が着座しているかを示す情報である。つまり、注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向が後席方向であり、顔向き検出部６が検出した乗員の顔向きが後席方向であり、かつ着座情報取得部２１が取得した着座情報が、検知対象の乗員に対する後席に乗員が着座していないことを示す場合に、乗員が注意を向けている方向は後席方向であると判定する構成としてもよい。一方、注意方向判定部７は、着座情報取得部２１が取得した着座情報が、検知対象の乗員に対する後席に乗員が着座していることを示す場合は、注意方向判定不可と判断する。

次に、注意方向判定部７が、骨格推定部５が推定した乗員の手の伸びている方向と、顔向き検出部６が検出した乗員の顔向きと、車両情報取得部２２が取得した車両情報と、に基づいて乗員が注意を向けている方向を判定する場合の判定例について説明する。

注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向がドアノブ方向であり、顔向き検出部６が検出した乗員の顔向きがドアノブ方向である場合に、さらに車両情報取得部２２が取得した車両情報を用いて、乗員が注意を向けている方向を判定する。ここで、車両情報とは、車両の停止に関する情報である。つまり、注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向がドアノブ方向であり、顔向き検出部６が検出した乗員の顔向きがドアノブ方向であり、かつ車両情報取得部２２が取得した車両情報が、車両が停止していることを示す場合に、乗員が注意を向けている方向はドアノブ方向であると判定する構成としてもよい。一方、注意方向判定部７は、車両情報取得部２２が取得した車両情報が、車両が停止していないことを示す場合は、注意方向判定不可と判断する。

また、注意方向判定部７は、検知対象の乗員が運転席に着座している乗員である場合、車両情報取得部２２が取得した車両情報から車両の停止に関する情報を取得し、車両が停止している場合に乗員が注意を向けている方向を判定する構成としてもよい。つまり、注意方向判定部７は、検知対象の乗員が運転席に着座している乗員であり、かつ車両が停止していない場合は、注意方向判定不可と判断する構成としてもよい。

また、着座情報取得部２１が取得した着座情報または車両情報取得部２２が取得した車両情報に応じて、顔向き検出部６は乗員の顔向きを検出する際に用いる所定角度の値、または骨格推定部５は乗員の手の伸びている方向を推定する際に用いる各骨格検知エリアの大きさを変更する構成としてもよい。例えば、骨格推定部５は、車両情報取得部２２が取得した車両情報が、車両のギアがパーキングの場合、またはイグニッションオフを示す場合は、各骨格検知エリアを車両の走行時に用いる各骨格検知エリアよりも大きくする構成としてもよい。

注意方向判定部７は、着座情報を取得することで、複数の乗員に関する情報を考慮して、乗員が注意を向けている方向を判定するため、注意方向の誤判定を低減することができる。また、注意方向判定部７は、車両情報を取得することで、車両の状態を考慮して乗員が注意を向けている方向を判定するため、注意方向の誤判定を低減することができる。

注意方向判定部７が、乗員が注意を向けている方向を判定する際に着座情報および車両情報を用いない構成である場合は、制御部１０が、判定結果出力部８から出力された判定結果と、着座情報取得部２１が取得した着座情報または車両情報取得部２２が取得した車両情報の少なくとも一つの情報と、に基づいて車載機器等の制御を行う構成としてもよい。

次に、本開示の実施の形態２に係る制御部１０が、判定結果出力部８から出力された判定結果と、着座情報取得部２１が取得した着座情報と、に基づいて車載機器等の制御を行う場合の実施例について説明する。

制御部１０は、乗員が注意を向けている方向は隣席方向であるという判定結果を受信した場合は、着座情報取得部２１が取得した着座情報から隣席着座情報を取得する。制御部１０が取得した着座情報が、検知対象の乗員に対する隣席に乗員が着座していないことを示す情報である場合は、制御部１０は検知対象の乗員に対する隣席を照らす照明を点灯させるための制御を行う。一方、制御部１０が取得した着座情報が、検知対象の乗員に対する隣席に乗員が着座していることを示す情報である場合は、制御部１０は検知対象の乗員に対する隣席を照らす照明を点灯させるための制御を行わない。

制御部１０は、乗員が注意を向けている方向は後席方向であるという判定結果を受信した場合は、着座情報取得部２１が取得した着座情報から後席着座情報を取得する。制御部１０が取得した着座情報が、検知対象の乗員に対する後席に乗員が着座していないことを示す情報である場合は、制御部１０は検知対象の乗員に対する後席を照らす照明を点灯させるための制御を行う。一方、制御部１０が取得した着座情報が、検知対象の乗員に対する後席に乗員が着座していることを示す情報である場合は、制御部１０は検知対象の乗員に対する後席を照らす照明を点灯させるための制御を行わない。

次に、本開示の実施の形態２に係る制御部１０が、判定結果出力部８から出力された判定結果と、車両情報取得部２２が取得した車両情報と、に基づいて車載機器等の制御を行う場合の実施例について説明する。

制御部１０は、乗員が注意を向けている方向はドアノブ方向であるという判定結果を受信した場合は、車両情報取得部２２が取得した車両情報を取得する。制御部１０が取得した車両情報が、車両が停止していることを示す情報である場合は、制御部１０は検知対象の乗員の足元を照らす照明を点灯させるための制御を行う。一方、制御部１０が取得した車両情報が、車両が停止していないことを示す情報である場合は、制御部１０は検知対象の乗員の足元を照らす照明を点灯させるための制御を行わない。

また、注意方向判定部７が、乗員が注意を向けている方向を判定する際に着座情報および車両情報を用いない構成であり、かつ注意方向判定部７によって注意を向けている方向を判定された乗員が運転席に着座している乗員である場合は、制御部１０は、車両情報取得部２２が取得した車両情報が、車両が停止していることを示す場合に判定結果に対応した車載機器等の制御を行う構成としてもよい。つまり、制御部１０は、注意方向判定部７によって注意を向けている方向を判定された乗員が運転席に着座している乗員であり、かつ車両情報取得部２２が取得した車両情報が、車両が停止していないことを示す場合は、車載機器等の制御を行わない構成としてもよい。

制御部１０は、車載機器の制御御を実施する際に着座情報を用いることで、複数の乗員に関する情報に基づいて車載機器等の制御を実施することができるため、車載機器の誤制御を低減することができる。また、制御部１０は、車載機器の制御御を実施する際に車両情報を用いることで、車両の状態を考慮して車載機器等の制御を実施することができるため、車載機器の誤制御を低減することができる。

図１３は、図１２に示す注意方向判定装置２００の動作の一例を示すフローチャートである。なお、図１３のステップＳ２０１からステップＳ２０７は、図１１のステップＳ１０１からステップＳ１０７に対応しており、図１３のステップＳ２１１は、図１１のステップＳ１０９に対応するため、ここでは説明を省略する。以下では、ステップＳ２０８からステップＳ２１０について説明する。

ステップＳ２０８において、着座情報取得部２１は、車両内の乗員の着座情報を取得する。ステップＳ２０９において、車両情報取得部２２は、車両情報を取得する。

ステップＳ２１０において、注意方向判定部７は、骨格推定部５が推定した乗員の手の伸びている方向と、顔向き検出部６が検出した乗員の顔向きと、着座情報取得部２１が取得した着座情報または車両情報取得部２２が取得した車両情報の少なくとも一つの情報と、を用いて乗員が注意を向けている方向を判定する。

本実施の形態２に係る注意方向判定装置は、車両内の乗員の着座情報を取得する着座情報取得部を有し、注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向と、顔向き検出部が検出した乗員の顔向きと、着座情報取得部が取得した着座情報と、に基づいて乗員が注意を向けている方向を判定する。

また、本実施の形態２に係る注意方向判定装置は、車両の車両情報を取得する車両情報取得部を有し、注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向と、顔向き検出部が検出した乗員の顔向きと、車両情報取得部が取得した車両情報と、に基づいて乗員が注意を向けている方向を判定する。

また、本実施の形態２に係る注意方向判定装置の注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向が隣席方向であり、顔向き検出部が検出した乗員の顔向きが隣席方向であり、かつ着座情報取得部が取得した着座情報が隣席に乗員が着座していないことを示す場合に、乗員が注意を向けている方向は隣席方向であると判定する。

また、本実施の形態２に係る注意方向判定装置の注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向が後席方向であり、顔向き検出部が検出した乗員の顔向きが後席方向であり、かつ着座情報取得部が取得した着座情報が後席に乗員が着座していないことを示す場合に、乗員が注意を向けている方向は後席方向であると判定する。

また、本実施の形態２に係る注意方向判定装置の注意方向判定部は、骨格推定部が推定した乗員の手の伸びている方向がドアノブ方向であり、顔向き検出部が検出した乗員の顔向きがドアノブ方向であり、かつ車両情報取得部が取得した車両情報が、車両が停止していることを示す場合に、乗員が注意を向けている方向はドアノブ方向であると判定する。

以上の構成によって実施の形態２に係る注意方向判定装置２００は、乗員が注意を向けている方向を判定することができる。また、実施の形態２に係る注意方向判定装置２００は、着座情報を取得することで、複数の乗員に関する情報を考慮して乗員が注意を向けている方向を判定するため、注意方向の誤判定を低減することができる。また、実施の形態２に係る注意方向判定装置２００は、車両情報を取得することで、車両の状態を考慮して乗員が注意を向けている方向を判定するため、注意方向の誤判定を低減することができる。

上記で説明した注意方向判定装置１００，２００における画像取得部１、顔特徴点推定部２、頭位置推定部３、部位推定部４、骨格推定部５、顔向き検出部６、注意方向判定部７、判定結果出力部８、着座情報取得部２１、および車両情報取得部２２の各機能は、処理回路により実現される。すなわち、注意方向判定装置１００，２００は、カメラが撮影した車両内の乗員の画像を取得し、乗員の顔の特徴点を推定し、カメラに対する乗員の頭の相対的な位置を推定し、画像における乗員の複数の部位の大きさを推定し、乗員の骨格および手の伸びている方向を推定し、乗員の顔向きを検出し、乗員が注意を向けている方向を判定し、判定結果を出力するための処理回路を備える。処理回路は、専用のハードウェアであってもよく、メモリに格納されるプログラムを実行するプロセッサ（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）であってもよい。

処理回路が専用のハードウェアである場合、図１４に示すように、処理回路３１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。画像取得部１、顔特徴点推定部２、頭位置推定部３、部位推定部４、骨格推定部５、顔向き検出部６、注意方向判定部７、判定結果出力部８、着座情報取得部２１、および車両情報取得部２２の各機能をそれぞれ処理回路３１で実現してもよく、各機能をまとめて１つの処理回路３１で実現してもよい。

処理回路３１が図１５に示すプロセッサ３２である場合、画像取得部１、顔特徴点推定部２、頭位置推定部３、部位推定部４、骨格推定部５、顔向き検出部６、注意方向判定部７、判定結果出力部８、着座情報取得部２１、および車両情報取得部２２の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ３３に格納される。プロセッサ３２は、メモリ３３に記録されたプログラムを読み出して実行することにより、各機能を実現する。すなわち、注意方向判定装置１００，２００は、図１１に示したステップＳ１０１からステップＳ１０９の各ステップ、または図１３に示したステップＳ２０１からステップＳ２１１の各ステップが結果的に実行されることになるプログラムを格納するためのメモリ３３を備える。また、これらのプログラムは、画像取得部１、顔特徴点推定部２、頭位置推定部３、部位推定部４、骨格推定部５、顔向き検出部６、注意方向判定部７、判定結果出力部８、着座情報取得部２１、および車両情報取得部２２の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等、または、今後使用されるあらゆる記憶媒体であってもよい。

なお、画像取得部１、顔特徴点推定部２、頭位置推定部３、部位推定部４、骨格推定部５、顔向き検出部６、注意方向判定部７、判定結果出力部８、着座情報取得部２１、および車両情報取得部２２の各機能について、一部の機能を専用のハードウェアで実現し、他の機能をソフトウェアまたはファームウェアで実現するようにしてもよい。

このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

以上で説明した注意方向判定装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なＰＮＤ（Ｐｏｒｔａｂｌｅ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）、および車両の外部に設けられたサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。注意方向判定装置の各機能を、システムを構築する各機能に分散して配置した構成であっても、上記の実施の形態と同様の効果が得られる。

本開示は、開示の範囲内において、各実施の形態を自由に組み合わせることや、各実施の形態を適宜、変形、省略することが可能である。

本開示は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本開示がそれに限定されるものではない。例示されていない無数の変形例が、本開示の範囲から外れることなく想定され得るものと解される。

１００，２００ 注意方向判定装置
１ 画像取得部
２ 顔特徴点推定部
３ 頭位置推定部
４ 部位推定部
５ 骨格推定部
６ 顔向き検出部
７ 注意方向判定部
８ 判定結果出力部
９ カメラ
１０ 制御部
２１ 着座情報取得部
２２ 車両情報取得部
３１ 処理回路
３２ プロセッサ
３３ メモリ

Claims (6)

1. カメラが撮影した車両内の乗員の画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像に基づいて、前記乗員の顔の特徴点を推定する顔特徴点推定部と、
   前記画像取得部が取得した前記画像に基づいて、前記乗員の手の伸びている方向を推定する骨格推定部と、
   前記顔特徴点推定部が推定した前記顔の特徴点に基づいて、前記乗員の顔向きを検出する顔向き検出部と、
   前記車両内の乗員の着座情報を取得する着座情報取得部と、
   前記骨格推定部が推定した前記乗員の手の伸びている方向と、前記顔向き検出部が検出した前記乗員の顔向きと、前記着座情報取得部が取得した前記着座情報とに基づいて、前記乗員が注意を向けている方向を判定する注意方向判定部と、
   を備え、
   前記注意方向判定部は、前記骨格推定部が推定した前記乗員の手の伸びている方向が隣席方向であり、前記顔向き検出部が検出した前記乗員の顔向きが隣席方向であり、かつ前記着座情報取得部が取得した前記着座情報が隣席に乗員が着座していないことを示す場合に、前記乗員が注意を向けている方向は隣席方向であると判定する
   注意方向判定装置。
2. カメラが撮影した車両内の乗員の画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像に基づいて、前記乗員の顔の特徴点を推定する顔特徴点推定部と、
   前記画像取得部が取得した前記画像に基づいて、前記乗員の手の伸びている方向を推定する骨格推定部と、
   前記顔特徴点推定部が推定した前記顔の特徴点に基づいて、前記乗員の顔向きを検出する顔向き検出部と、
   前記車両内の乗員の着座情報を取得する着座情報取得部と、
   前記骨格推定部が推定した前記乗員の手の伸びている方向と、前記顔向き検出部が検出した前記乗員の顔向きと、前記着座情報取得部が取得した前記着座情報とに基づいて、前記乗員が注意を向けている方向を判定する注意方向判定部と、
   を備え、
   前記注意方向判定部は、前記骨格推定部が推定した前記乗員の手の伸びている方向が後席方向であり、前記顔向き検出部が検出した前記乗員の顔向きが後席方向であり、かつ前記着座情報取得部が取得した前記着座情報が後席に乗員が着座していないことを示す場合に、前記乗員が注意を向けている方向は後席方向であると判定する
   注意方向判定装置。
3. 前記顔特徴点推定部が推定した前記顔の特徴点に基づいて、前記カメラに対する前記乗員の頭の相対的な位置を推定する頭位置推定部と、
   前記画像取得部が取得した前記画像に基づいて、前記画像における前記乗員の複数の部位の大きさを推定する部位推定部と、
   を有し、
   前記骨格推定部は、前記頭位置推定部が推定した前記乗員の頭の相対的な位置と、前記部位推定部が推定した各前記部位の大きさとに基づいて、前記乗員の骨格を推定し、推定した前記乗員の骨格判定結果から前記乗員の手の伸びている方向を推定する
   請求項１または請求項２に記載の注意方向判定装置。
4. 前記注意方向判定部が判定した前記乗員が注意を向けている方向を出力する判定結果出力部をさらに備える
   請求項１から請求項３のいずれか１項に記載の注意方向判定装置。
5. カメラが撮影した車両内の乗員の画像を取得するステップと、
   前記画像に基づいて、前記乗員の顔の特徴点を推定するステップと、
   前記画像に基づいて、前記乗員の手の伸びている方向を推定するステップと、
   前記顔の特徴点に基づいて、前記乗員の顔向きを検出するステップと、
   前記車両内の乗員の着座情報を取得するステップと、
   前記乗員の手の伸びている方向と、前記乗員の顔向きと、前記着座情報とに基づいて、前記乗員が注意を向けている方向を判定するステップと、
   を有し、
   推定された前記乗員の手の伸びている方向が隣席方向であり、検出された前記乗員の顔向きが隣席方向であり、かつ前記着座情報が隣席に乗員が着座していないことを示す場合に、前記乗員が注意を向けている方向は隣席方向であると判定する
   注意方向判定方法。
6. カメラが撮影した車両内の乗員の画像を取得するステップと、
   前記画像に基づいて、前記乗員の顔の特徴点を推定するステップと、
   前記画像に基づいて、前記乗員の手の伸びている方向を推定するステップと、
   前記顔の特徴点に基づいて、前記乗員の顔向きを検出するステップと、
   前記車両内の乗員の着座情報を取得するステップと、
   前記乗員の手の伸びている方向と、前記乗員の顔向きと、前記着座情報とに基づいて、前記乗員が注意を向けている方向を判定するステップと、
   を有し、
   推定された前記乗員の手の伸びている方向が後席方向であり、検出された前記乗員の顔向きが後席方向であり、かつ前記着座情報が後席に乗員が着座していないことを示す場合に、前記乗員が注意を向けている方向は後席方向であると判定する
   注意方向判定方法。

Images