JP6759743B2 - 視認方向推定装置 - Google Patents

Description

本発明の実施形態は、視認方向推定装置に関する。

移動体の走行環境リスクと当該移動体を運転するドライバの運転操作との対応を学習し、その学習結果である学習モデルに基づいて、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を用いて、ドライバのリスク認識状態を内部状態として推定する技術がある。また、車両の運転手が注視している注視点の位置を示す注視点データの中から、特定の注視対象物を注視しているとみなされる注視点データを選択し、当該選択した注視点データに基づいて、当該特定の注視対象物に対応する範囲を定め、注視点データが示す位置が当該範囲に属する場合、運転手が特定の注視対象物を注視していると判定する技術がある。

特開２００９−７３４６５号公報 特開２０１５−８５７１９号公報

しかしながら、隠れマルコフモデルを用いてドライバのリスク認識状態を推定する技術では、ドライバのリスク認識状態間の状態遷移が、学習モデルに大きく影響を受けるとともに、ドライバのリスク認識状態の変更が頻繁に発生する場合に、ドライバのリスク認識状態の推定がその変更に対して追従できない場合がある。また、注視点データを用いて特定の注視対象物を注視しているか否かを判定する技術は、注視対象物の変化に対してはロバスト性を有するが、注視点データに誤差が含まれたり、当該注視点データの誤差が外部環境によって大きく変化したりすると、特定の注視対象物を注視しているか否かの判定精度の低下を招く可能性がある。

実施形態の視認方向推定装置は、一例として、車両の運転者の視認方向間の遷移確率を記憶する記憶部と、車両の運転者の顔または視線に関わる観測値を受信する受信部と、第１時刻の観測値、および第１時刻より後の第２時刻の観測値に基づいて、第１時刻の視認方向から、第２時刻の視認方向への遷移確率を更新する更新部と、隠れマルコフモデルによって、更新後の遷移確率に従って、第１時刻の視認方向から、第２時刻の視認方向へ遷移する状態確率を算出する算出部と、算出した状態確率に基づいて、第２時刻以降の時刻の視認方向を推定する推定部と、を備える。よって、一例として、すばやい視認方向の変化に対して、視認方向の推定結果を追従させることができる。

また、上記視認方向推定装置は、一例として、更新部が、第１時刻のうち第３時刻の視認方向から、第１時刻のうち第３時刻より後の第４時刻の視認方向への状態遷移が発生した場合における、第３時刻の観測値と第４時刻の観測値との差分の確率密度関数を混合ガウスモデルによって求め、確率密度関数に基づいて、遷移確率を更新する。よって、一例として、遷移確率を用いた視認方向の推定精度を高めることができる。

また、上記視認方向推定装置は、一例として、更新部が、視認方向を推定する度に、確率密度関数に基づいて、遷移確率を更新する。よって、一例として、視認方向の推定精度をより高めることができる。

また、上記視認方向推定装置は、一例として、観測値が、車両の運転者の顔の角度、車両の運転者の視線の角度、車両の運転者の顔の移動速度、または車両の運転者の開眼度である。よって、一例として、すばやい視認方向の変化に対して、視認方向の推定結果を追従させることができる。

また、上記視認方向推定装置は、一例として、視認方向が、運転者が車両の座席に臨む状態で左方向を視認している左脇見、運転者が車両の座席に臨む状態で前方を視認している正面、運転者が車両の座席に臨む状態で右方向を視認している右脇見、または運転者が車両の座席に臨む状態で下方向を視認している下方視である。よって、一例として、左脇見、正面、右脇見、または下方視へのすばやい視認方向の変化に対して、視認方向の推定結果を追従させることができる。

図１は、本実施形態にかかる車両の車室の一部が透視された状態が示された斜視図である。 図２は、本実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。 図３は、本実施形態にかかる車両が有する視認方向推定システムの構成の一例を示すブロック図である。 図４は、本実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。 図５は、本実施形態にかかる車両が有するＥＣＵによって推定する視認方向の一例を説明するための図である。 図６は、本実施形態にかかる車両が有するＥＣＵによって記憶する遷移確率の一例を説明するための図である。 図７Ａは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図７Ｂは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図７Ｃは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図７Ｄは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図７Ｅは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図７Ｆは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図７Ｇは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図７Ｈは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図７Ｉは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度の差分の分布図の一例を示す図である。 図８は、本実施形態にかかる車両が有するＥＣＵにおける混合ガウス分布の算出方法の一例を説明するための図である。 図９は、本実施形態にかかる車両が有するＥＣＵによる状態確率の算出処理の流れの一例を示すフローチャートである。 図１０は、本実施形態にかかる車両が有するＥＣＵによる状態確率の算出処理の一例を説明するための図である。 図１１は、本実施形態にかかる車両が有するＥＣＵによる状態確率の算出結果の一例を示す図である。 図１２は、本実施形態にかかる車両が有するＥＣＵによる視認方向の適合率と再現率の対応関係の一例を示す図である。

以下、添付の図面を用いて、本実施形態の視認方向推定装置を車両に搭載した例をあげて説明する。

本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。

また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）設けられている。

また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置８（図３参照）や音声出力装置９（図３参照）が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置は８、例えば、タッチパネル等、透明な操作入力部１０（図３参照）で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。

また、図２に示すように、ハンドルコラム２０２には、撮像装置２０１が設置されている。この撮像装置２０１は、例えば、ＣＣＤ（Charge Coupled Device）カメラ等である。撮像装置２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角および姿勢が調整されている。この撮像装置２０１は、運転者３０２の顔を順次撮像し、撮像により得た画像についての画像データを順次出力する。

次に、図３を用いて、本実施形態にかかる車両が有する視認方向推定システムについて説明する。図３は、本実施形態にかかる車両が有する視認方向推定システムの構成の一例を示すブロック図である。図３に例示されるように、視認方向推定システム１００では、ＥＣＵ（Engine Control Unit）１４、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御して、アクチュエータ１３ａ，１８ａを駆動させる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６，１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部等の操作信号等を、受け取ることができる。ここで、ＥＣＵ１４は、視認方向推定装置の一例である。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central Processing Unit）、ＲＯＭ１４ｂ（Read Only Memory）、ＲＡＭ１４ｃ（Random Access Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid State Drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、車両１の外部を撮像可能に設けられた撮像部１５の撮像で得られた画像データを用いた画像処理や、表示装置で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図４は、本実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、記憶部４００と、入力情報算出部４０１と、遷移確率更新部４０２と、状態確率算出部４０３と、視認方向推定部４０４と、を主に備えている。図４に示す、入力情報算出部４０１、遷移確率更新部４０２、状態確率算出部４０３、および視認方向推定部４０４は、ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。記憶部４００は、ＲＡＭ１４ｃやＳＳＤ１４ｆ等の記憶媒体に確保される。本実施形態では、記憶部４００は、後述するように、車両１の運転者の視認方向間の遷移確率、および車両１の運転者の顔または視線に関わる観測値である入力情報等を記憶する。

具体的には、記憶部４００は、時刻ｔ−２における観測値（所謂、学習データ）および当該時刻ｔ−２より後の時刻ｔ−１における観測値（所謂、学習データ）を記憶する。また、記憶部４００は、時刻ｔ−１における車両１の運転者の視認方向から、時刻ｔ−１より後の時刻ｔにおける視認方向への遷移確率ａ_ｉｊを記憶する。ここで、視認方向は、隠れマルコフモデルにおける、観測できない内部状態とする。また、ｉは、時刻ｔ−１における視認方向を表す値（以下、出力値と言う）である。ｊは、時刻ｔにおける視認方向を表す出力値である。そして、ＥＣＵ１４は、隠れマルコフモデルによって、記憶部４００に記憶された遷移確率ａ_ｉｊに従って、時刻ｔ−１の各視認方向から時刻ｔの各視認方向へ遷移する状態確率α_ｔ（ｊ）を算出し、当該状態確率α_ｔ（ｊ）に基づいて、時刻ｔ以降の時刻の視認方向を推定する。

図５は、本実施形態にかかる車両が有するＥＣＵによって推定する視認方向の一例を説明するための図である。図６は、本実施形態にかかる車両が有するＥＣＵによって記憶する遷移確率の一例を説明するための図である。本実施形態では、図５に示すように、ＥＣＵ１４によって推定する視認方向を、運転者が座席２ｂに臨む状態で左方向を視認している左脇見（出力値：１）、運転者が座席２ｂに臨む状態で前方を視認している正面（出力値：２）、および運転者が座席２ｂに臨む状態で右方向を視認している右脇見（出力値：３）とする。よって、本実施形態では、時刻ｔ−１において視認方向がとり得る３個の出力値それぞれに対して、時刻ｔ以降の時刻で視認方向がとり得る３個の出力値への遷移確率ａ_ｉｊが存在することになる。そのため、遷移確率ａ_ｉｊは、図６に示すように、３×３のマルコフ行列により表される。本実施形態では、ＥＣＵ１４によって推定する視認方向を、左脇見、正面、および右脇見としているが、これに限定するものではない。例えば、車両１の運転者が座席２ｂに臨む状態で下方向を視認している下方視や、車両１の運転者が座席２ｂに臨む状態で上方向を視認している上方視を、ＥＣＵ１４によって推定する視認方向としても良い。

入力情報算出部４０１は、車両１の運転者の顔または視線に関わる観測値を算出する。本実施形態では、入力情報算出部４０１は、車両１の運転者の顔の角度（以下、顔角度と言う）、車両１の運転者の視線の角度（以下、視線角度と言う）、または車両１の運転者の顔の移動速度を観測値として算出する。ここで、顔角度は、車両１の運転者が正面を視認している場合における顔角度（０°）を基準として、車両１の運転者の顔が水平方向へ回転した角度である。また、視線角度は、車両１の運転者が正面を視認している場合における視線角度（０°）を基準として、車両１の運転手の視線が水平方向に移動した角度である。そして、入力情報算出部４０１は、算出した観測値を表す入力情報を、遷移確率更新部４０２に送信する。

具体的には、ＳＳＤ１４ｆ等の記憶媒体が、三次元顔モデルを記憶している。三次元顔モデルは、統計的顔形状モデルであり、平均的な被験者の三次元顔形状と、被験者の目や口、鼻等の顔部品の位置とを有している。三次元顔モデルは、一例として、ＣＬＭ（Constrained Local Model）、ＡＡＭ（Active Appearance Model）、ＡＳＭ（Active Shape Model）を用いることができるが、これらに限定されるものではない。そして、入力情報算出部４０１は、ＳＳＤ１４ｆ等の記憶媒体に記憶された三次元顔モデルを用いて、撮像装置２０１の撮像により得られた撮像画像データに含まれる顔画像を追跡しながら、顔角度、視線角度、または移動速度を算出する。本実施形態では、入力情報算出部４０１は、顔角度、視線角度、または移動速度を観測値の一例として算出しているが、車両１の運転者の顔または視線に関わる観測値を算出するものであれば、これに限定するものではなく、例えば、車両１の運転者の開眼度を観測値として算出しても良い。

遷移確率更新部４０２は、入力情報算出部４０１から入力情報を受信する受信部として機能する。そして、遷移確率更新部４０２は、入力情報算出部４０１によって時刻ｔより前の時刻に算出された観測値（本実施形態では、時刻ｔ−２に算出された観測値、および時刻ｔ−１に算出された観測値）と、入力情報算出部４０１によって時刻ｔに算出された観測値と、に基づいて、記憶部４００に記憶された遷移確率ａ_ｉｊを更新する。本実施形態では、遷移確率更新部４０２は、時刻ｔより前の時刻のうち時刻ｔ−２の視認方向から、時刻ｔより前の時刻のうち時刻ｔ−１の視認方向への状態遷移が発生した場合における、時刻ｔ−２に算出された観測値と時刻ｔ−１に算出された観測値との差分ｘ_ｔの確率密度関数を混合ガウス分布によって求める。そして、遷移確率更新部４０２は、求めた確率密度関数に基づいて、遷移確率ａ_ｉｊを更新する。これにより、観測値にノイズが含まれていても、当該ノイズによる遷移確率ａ_ｉｊへの影響を小さくすることができるので、遷移確率ａ_ｉｊを用いた視認方向の推定精度を高めることができる。

本実施形態では、遷移確率更新部４０２は、視認方向を推定する度に、確率密度関数に基づいて、遷移確率ａ_ｉｊを更新する。これにより、視認方向を推定する際の運転者の癖等が反映された遷移確率ａ_ｉｊを用いて視認方向が推定されるので、視認方向の推定精度をより高めることができる。また、本実施形態では、遷移確率更新部４０２は、遷移確率ａ_ｉｊの更新に先立って、確率密度関数を予め求めておくものとする。これにより、視認方向を推定する際に、確率密度関数の算出に要する時間を待つことなく、視認方向を推定することができるので、視認方向の推定に要する時間を短縮することができる。

ここで、図７Ａ〜７Ｉ、および図８を用いて、遷移確率ａ_ｉｊの更新方法について説明する。以下の説明では、入力情報算出部４０１において算出された視線角度を観測値として用いて遷移確率ａ_ｉｊを更新する方法について説明するが、顔角度または移動速度を観測値として用いて遷移確率ａ_ｉｊを更新する場合も同様である。図７Ａ〜７Ｉは、本実施形態にかかる車両が有するＥＣＵにおいて算出する視線角度間に生じる差分毎の頻度の分布図の一例を示す図である。図７Ａ〜７Ｉにおいて、横軸は、時刻ｔ−２に算出された視線角度ω_ｔ−２と、時刻ｔ−１に算出された視線角度ω_ｔ−１との間に生じる差分ｘ_ｔを表している。図７Ａ〜７Ｉにおいて、縦軸は、差分ｘ_ｔの頻度を表している。図８は、本実施形態にかかる車両が有するＥＣＵにおける混合ガウス分布の算出方法の一例を説明するための図である。

本実施形態では、遷移確率更新部４０２は、図７Ａ〜７Ｉに示すように、時刻ｔ−２の視認方向から時刻ｔ−１の各視認方向へ遷移した場合に、時刻ｔ−２に算出される視線角度ω_ｔ−２と、時刻ｔ−１において算出される視線角度ω_ｔ−１との間に生じる差分ｘ_ｔ毎の分布図を求める。この分布図によれば、時刻ｔ−２の視認方向から時刻ｔ−１の視認方向への状態遷移の種類毎に、差分ｘ_ｔが生じる頻度が異なる。例えば、図７Ａに示すように、時刻ｔ−２の視認方向が左脇見でありかつ時刻ｔ−１の視認方向が左脇見である場合、差分ｘ_ｔ＝−４０°が生じる頻度が「５０」である。一方、図７Ｂに示すように、時刻ｔ−２の視認方向が左脇見でありかつ時刻ｔ−１の視認方向が正面である場合、差分ｘ_ｔ＝−４０°が生じる頻度が「３」である。また、図７Ｃに示すように、時刻ｔ−２の視認方向が左脇見でありかつ時刻ｔ−１の視認方向が右脇見である場合、差分ｘ_ｔ＝−４０°が生じる頻度が「０」である。

そこで、遷移確率更新部４０２は、時刻ｔ−２の視認方向から時刻ｔ−１の視認方向への状態遷移の種類毎に、当該種類の状態遷移が発生した場合における、時刻ｔ−２の視線角度ω_ｔ−２と時刻ｔ−１の視線角度ω_ｔ−１との差分ｘ_ｔの確率密度関数を、混合ガウスモデルによって求める。具体的には、遷移確率更新部４０２は、時刻ｔ−２の視認方向から時刻ｔ−１の視認方向への状態遷移が発生した場合における、時刻ｔ−２の視線角度ω_ｔ−２と時刻ｔ−１の視線角度ω_ｔ−１との差分ｘ_ｔ毎の頻度（または確率）の分布（以下、頻度分布と言う）を求める。次いで、遷移確率更新部４０２は、混合ガウスモデルに従って、求めた頻度分布の確率密度関数を求める。

より具体的には、図８に示すように、遷移確率更新部４０２は、頻度分布の各ピークのガウス分布を求める。次いで、図８に示すように、遷移確率更新部４０２は、頻度分布の各ピークのガウス分布を、混合ガウスモデルによって結合した混合ガウス分布を表す関数を、確率密度関数として算出する。

例えば、遷移確率更新部４０２は、下記の式（１）に従って、確率密度関数ｐ_{ｍｉｘ，ｉｊ}（ｘ_ｔ，θ）を求める。式（１）において、ｐ_ｒは混合比であり、ｈ（ｘ_ｔ，ω_ｔ）は頻度分布の各ピークのガウス分布であり、Ｒは重ね合わせるガウス分布の数であり、θは所定のパラメータ｛（ｐ_ｒ，ω_ｔ）：１≦ｒ≦Ｒ｝である。

そして、遷移確率更新部４０２は、確率密度関数に基づいて、遷移確率ａ_ｉｊを更新する。本実施形態では、遷移確率更新部４０２は、更新対象の遷移確率ａ_ｉｊが表す状態遷移の確率密度関数ｐ_{ｍｉｘ，ｉｊ}（ｘ_ｔ，θ）を選択する。次いで、遷移確率更新部４０２は、選択した確率密度関数ｐ_{ｍｉｘ，ｉｊ}（ｘ_ｔ，θ）が表す確率密度のうち、時刻ｔ−１の視線角度ω_ｔ−１と時刻ｔの視線角度ω_ｔとの差分ｘ_ｔでの確率密度を用いて、更新対象の遷移確率ａ_ｉｊを更新する。

例えば、遷移確率更新部４０２は、下記の式（２）または式（３）に従って、遷移確率ａ_ｉｊを更新した遷移確率ａ_ｔ，ｉｊ（ｘ_ｔ）を求める。具体的には、遷移確率更新部４０２は、更新対象の遷移確率ａ_ｉｊを固定値とする場合、下記の式（２）に従って、更新後の遷移確率ａ_ｔ，ｉｊ（ｘ_ｔ）を求める。一方、遷移確率更新部４０２は、更新対象の遷移確率ａ_ｉｊを、最後に更新された遷移確率とする場合、下記の式（３）に従って、更新後の遷移確率ａ_ｔ，ｉｊ（ｘ_ｔ）を求める。ここで、最後に更新された遷移確率は、時刻ｔ−１の視認方向へ遷移する状態確率の算出に用いた遷移確率ａ_{ｔ−１，ｉｊ}（ｘ_ｔ−１）である。

図４に戻り、状態確率算出部４０３は、隠れマルコフモデルによって、更新後の遷移確率ａ_ｔ，ｉｊ（ｘ_ｔ）に従って、時刻ｔ−１の各視認方向から、時刻ｔの各視認方向へ遷移する状態確率α_ｔ（ｊ）を算出する。本実施形態では、状態確率算出部４０３は、下記の式（４）に示すように、遷移確率更新部４０２によって更新された遷移確率ａ_ｔ，ｉｊ（ｘ_ｔ）に従って、状態確率α_ｔ（ｊ）を算出する。式（４）において、α_ｔ−１（ｉ）は、時刻ｔ−１における各視認方向の状態確率であり、ｂ（ω_ｔ，ｘ_ｔ）は、時刻ｔにおいて各視認方向で観測値ω_ｔが算出される出力確率である。

視認方向推定部４０４は、状態確率算出部４０３により算出された状態確率α_ｔ（ｊ）に基づいて、時刻ｔまたは時刻ｔ＋１における視認方向を推定する。これにより、観測値に変化が生じた際に、視認方向の変化を検出し易くすることができるので、素早い視認方向の変化に対して追従させることができる。本実施形態では、視認方向推定部４０４は、時刻ｔ−１において推定された各視認方向（左脇見、正面、右脇見）の状態確率α_ｔ−１（ｉ）に基づいて計算される、時刻ｔにおける状態確率α_ｔ（ｊ）が最も高い視認方向を、時刻ｔにおける視認方向と推定する。また、視認方向推定部４０４は、時刻ｔにおいて推定された各視認方向（左脇見、正面、右脇見）の状態確率α_ｔ（ｉ）に基づいて計算される、時刻ｔ＋１における状態確率α_ｔ＋１（ｊ）が最も高い視認方向を、時刻ｔ＋１における視認方向と推定する。

次に、図９〜１１を用いて、本実施形態にかかるＥＣＵ１４による状態確率α_ｔ（ｊ）の算出処理の流れについて説明する。図９は、本実施形態にかかる車両が有するＥＣＵによる状態確率の算出処理の流れの一例を示すフローチャートである。図１０は、本実施形態にかかる車両が有するＥＣＵによる状態確率の算出処理の一例を説明するための図である。図１１は、本実施形態にかかる車両が有するＥＣＵによる状態確率の算出結果の一例を示す図である。

本実施形態では、入力情報算出部４０１は、顔角度、視線角度、または移動速度を観測値として算出する（ステップＳ９０１）。具体的には、入力情報算出部４０１は、撮像装置２０１の撮像により得られた画像データと、三次元顔モデルを構成する三次元顔構造データとを適合させる。言い換えると、入力情報算出部４０１は、モデルフィッティングとモデルトラッキングを行うことにより、観測値を算出する。本実施形態では、撮像装置２０１は、予め設定された時間毎に、車両１の運転者の撮像を繰り返す。そのため、入力情報算出部４０１は、撮像装置２０１により撮像が行われる度に、モデルフィッティングおよびモデルトラッキングを行う。

モデルフィッティングは、統計的顔形状モデルである三次元顔モデルの平均的な顔のモデルを初期状態として用い、該モデルの特徴点を撮像画像の顔の各部分に位置させることにより、撮像装置２０１により撮像した運転者の顔に近似した三次元顔モデルを生成する。モデルトラッキングは、モデルフィッティングにより生成された顔を、周期的に撮像される運転者の画像データ中の顔に合うように三次元モデルを継続的に適合させる。そして、入力情報算出部４０１は、モデルトラッキングにより得られた三次元モデルに基づいて、観測値を算出する。

次いで、遷移確率更新部４０２は、図１０に示すように、入力情報算出部４０１によって時刻ｔ−２に算出された観測値と時刻ｔ−１に算出された観測値との差分ｘ_ｔ、および入力情報算出部４０１によって時刻ｔに算出された観測値に基づいて、時刻ｔ−１における視認方向から、時刻ｔにおける各視認方向への遷移確率ａ_ｔ，ｉｊ（ｘ_ｔ）を更新する（ステップＳ９０２）。さらに、状態確率算出部４０３は、図１１に示すように、隠れマルコフモデルによって、更新後の遷移確率ａ_ｔ，ｉｊ（ｘ_ｔ）に従って、時刻ｔ−１における視認方向から、時刻ｔにおける各視認方向へ遷移する状態確率α_ｔ（ｊ）を算出する（ステップＳ９０３）。その後、視認方向推定部４０４は、算出した状態確率α_ｔ（ｊ）に基づいて、時刻ｔまたは時刻ｔ＋１における視認方向を推定する（ステップＳ９０４）。

図１２は、本実施形態にかかる車両が有するＥＣＵによる視認方向の適合率と再現率の対応関係の一例を示す図である。図１２において、縦軸が再現率を表し、横軸が適合率を表す。ここで、適合率は、視認方向推定システム１００により推定された視認方向（例えば、右脇見）のうち正しく推定された視認方向（右脇見）の割合である。再現率は、車両１の運転手の実際の視認方向（例えば、右脇見）のうち視認方向推定システム１００により正しい視認方向（右脇見）を推定した割合である。図１２に示すように、本実施形態にかかるＥＣＵ１４による視認方向の推定処理の適合率および再現率は、共に、従来の視認方向推定システムによる視認方向の推定処理の適合率および再現率よりも高くなっている。本実施形態では、遷移確率更新部４０２は、視認方向を推定する度に、混合ガウス分布を求めなおす。これにより、推定する視認方向の適合率および再現率をより向上させることができる。

このように、本実施形態にかかる視認方向推定システム１００によれば、観測値に変化か生じることによる、視認方向の状態変化に対して、遷移確率ａ_ｉｊを動的に変化させることで、すばやい視認方向の変化に対して、視認方向の推定結果を追従させることができるので、視認方向の推定処理の適合率および再現率を向上させることができる。

なお、本実施形態のＥＣＵ１４で実行されるプログラムは、ＲＯＭ１４ｂ等に予め組み込まれて提供されるが、本実施形態のＥＣＵ１４で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のＥＣＵ１４で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＥＣＵ１４で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態のＥＣＵ１４で実行されるプログラムは、上述した各部（入力情報算出部４０１、遷移確率更新部４０２、状態確率算出部４０３、および視認方向推定部４０４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１４ａが上記ＲＯＭ１４ｂからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、入力情報算出部４０１、遷移確率更新部４０２、状態確率算出部４０３、および視認方向推定部４０４が主記憶装置上に生成されるようになっている。

以上、本発明の実施形態を例示したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、２…車体、２ｂ…座席、２０１…撮像装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｆ…ＳＳＤ、４００…記憶部、４０１…入力情報算出部、４０２…遷移確率更新部、４０３…状態確率算出部、４０４…視認方向推定部。

Claims (5)

1. 車両の運転者の視認方向間の遷移確率を記憶する記憶部と、
   車両の運転者の顔または視線に関わる観測値を受信する受信部と、
   第１時刻の前記観測値、および前記第１時刻より後の第２時刻の前記観測値に基づいて、前記第１時刻の前記視認方向から、第２時刻の前記視認方向への前記遷移確率を更新する更新部と、
   隠れマルコフモデルによって、更新後の前記遷移確率に従って、前記第１時刻の前記視認方向から、前記第２時刻の前記視認方向へ遷移する状態確率を算出する算出部と、
   算出した前記状態確率に基づいて、前記第２時刻以降の時刻の前記視認方向を推定する推定部と、
   を備えた視認方向推定装置。
2. 前記更新部は、前記第１時刻のうち第３時刻の前記視認方向から、前記第１時刻のうち前記第３時刻より後の第４時刻の前記視認方向への状態遷移が発生した場合における、前記第３時刻の前記観測値と前記第４時刻の前記観測値との差分の確率密度関数を混合ガウスモデルによって求め、前記確率密度関数に基づいて、前記遷移確率を更新する請求項１に記載の視認方向推定装置。
3. 前記更新部は、前記視認方向を推定する度に、前記確率密度関数に基づいて、前記遷移確率を更新する請求項２に記載の視認方向推定装置。
4. 前記観測値は、車両の運転者の顔の角度、車両の運転者の視線の角度、車両の運転者の顔の移動速度、または車両の運転者の開眼度である請求項１から３のいずれか一に記載の視認方向推定装置。
5. 前記視認方向は、運転者が車両の座席に臨む状態で左方向を視認している左脇見、運転者が車両の座席に臨む状態で前方を視認している正面、運転者が車両の座席に臨む状態で右方向を視認している右脇見、または運転者が車両の座席に臨む状態で下方向を視認している下方視である請求項１から４のいずれか一に記載の視認方向推定装置。

Images