JP7172968B2

JP7172968B2 - 運転分析装置、及び運転分析方法

Info

Publication number: JP7172968B2
Application number: JP2019218107A
Authority: JP
Inventors: 景亮黒川; 要小川
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-12-02
Filing date: 2019-12-02
Publication date: 2022-11-16
Anticipated expiration: 2039-12-02
Also published as: US20220284718A1; JP2021089480A; WO2021112048A1

Description

本開示は、ドライバの画像からドライバの状態を分析する技術に関する。

下記特許文献１には、ドライバの目の向き及び頭の向きを検出することで、ドライバの健康悪化の特徴を識別、評価する技術が記載されている。健康悪化の特徴としては、知覚的又は視覚的なドライバの注意散漫、及びドライバの作業負荷の増大が挙げられている。具体的には、運転中のドライバの目が典型的に向く方向である道路正面を見た時間と、道路正面以外を瞥見した時間の合計とから道路正面を注視した割合である道路中心パーセント（以下、ＰＲＣ）を算出する。そして、ＰＲＣを用いて注意散漫及び健康悪化等を評価する。

特開２０１０－１３１４０１号公報

しかしながら、発明者の詳細な検討の結果、特許文献１に記載の従来技術には以下の課題が見出された。
すなわち、従来技術では、ＰＲＣを用いて評価が行われるため、ドライバが意図的に正面以外を見た場合にも健康悪化及び注意散漫等と評価されてしまうという課題があった。更に、従来技術では、健康悪化や注意散漫以外の状態、及び意図的なドライバの行動等を的確に評価できないという課題もあった。

本開示の１つの局面は、ドライバの画像から、意図的なドライバの行動を含む様々なドライバの状態を分析する技術を提供することにある。

本開示の一態様は、運転分析装置であって、情報生成部（２０：Ｓ１０～Ｓ４０）と、取得部（２０：５０）と、抽出部（２０：Ｓ６０）と、分析部（２０：Ｓ７０）と、を備える。

情報生成部は、車両を運転するドライバの視線が、予め設定された複数の視領域のいずれに向いているかを示す視線方向、及びドライバの目の開閉状態を検出要素として、検出要素の時系列を生成する。取得部は、検出要素の時系列から、予め設定された時間幅を有する時間窓を用いて評価用データを取得する。抽出部とは、検出要素毎に出現頻度を集計した結果を少なくとも含む複数の特徴量を、評価用データから抽出する。分析部は、抽出部にて抽出された複数の特徴量の少なくとも一部を入力とする関数を用いて、ドライバの傾向及び前記ドライバの状態のうち少なくとも一方を分析する。

このような構成によれば、従来技術とは異なり、正面方向を特別視せずに分析が行われるため、ドライバが意図的に正面方向以外を視認している状態を的確に判定でき、これを注意散漫等と誤認することを抑制できる。

また、注視方向に関する情報だけでなく、閉眼状態に関する情報も分析に用いるため、健康悪化や注意散漫等のドライバ状態に関する分析精度を向上させることができる。

運転分析装置の構成を示すブロック図である。運転分析処理のフローチャートである。取得画像と、顔検出及び顔特徴点検出の結果とを示す説明図である。視領域及び眼状態を例示する説明図である。顔状態を例示する説明図である。注視領域及び顔向きの生データと評価用データの抽出に用いる時間窓とを例示する説明図である。顔向きの生データから生成される特徴量を例示する説明図である。顔状態の集計に用いる所定範囲を例示する説明図である。注視領域の生データから生成される特徴量を例示する説明図である。分析結果の提示に用いるレーダチャートである。レーダチャートに示す統計データの算出方法を例示する説明図である。レーダチャートから読み取られる視認行為の特徴を例示する説明図である。関数を利用した分析方法を示す説明図である。回帰関数の生成に用いる回帰木の説明図である。特徴量の値を例示すると共に、比較データの生成に関わる制限事項についての説明図である。勾配ブースティングによって回帰木を生成する学習処理のフローチャートである。学習用データと教師データに用いる正解ラベルとの関係を示す説明図である。勾配ブースティングによって生成される回帰関数を用いた分析処理のフローチャートである。第２実施形態において、ランダムフォレストによって回帰木を生成する学習処理のフローチャートである。ランダムフォレストによって生成される回帰関数を用いた分析処理のフローチャートである。分析結果として、ドライバに対する警告や助言を提示する場合の具体的な内容を例示する説明図である。分析に用いる関数としてニューラルネットワークを用いた場合の説明図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］
［１－１．構成］
図１に示す運転分析装置１は、車両に搭載され、ドライバの顔向きや視線方向等を分析することでドライバの状態等を分析する。分析の対象となるドライバの状態には、通常、眠気、及び漫然運転が含まれてもよい。

運転分析装置１は、カメラ１０と、処理部２０とを備える。運転分析装置１は、ＨＭＩ部３０を備えてもよい。なお、処理部２０と、カメラ１０及びＨＭＩ部３０とは、直接接続されてもよいし、ＣＡＮ等の車載ネットワークを介して接続されてもよい。ＣＡＮは、登録商標であり、Controller Area Networkの略である。

カメラ１０は、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。カメラ１０は、例えば、車両の運転席に着座したドライバの顔が撮像範囲に含まれるように配置される。カメラ１０は、周期的に撮像を実行し、撮像画像のデータを処理部２０に出力する。

処理部２０は、ＣＰＵ２０ａと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ２０ｂ）と、を有するマイクロコンピュータを備える。処理部２０は、ＣＰＵ２０ａがプログラムを実行することで実現される機能を表すブロックとして、運転分析部２１と学習部２２とを備える。運転分析部２１及び学習部２２の処理内容については後述する。

ＨＭＩ部３０は、音声出力部３１と、メータ表示部３２と、ＨＵＤ表示部３３とを備える。なお、ＨＭＩは、ヒューマンマシンインタフェースの略である。
音声出力部３１は、車両に搭載されたスピーカを介して警告音や音声を発生させる装置である。

メータ表示部３２は、車両において計測された車速、エンジン回転数、燃料残量等の計測結果を表示するための装置である。ＨＵＤ表示部３３は、ウィンドシールド又はコンバイナに映像を投影することで、様々な情報を映し出す装置である。ＨＵＤは、ヘッドアップディスプレイの略である。メータ表示部３２及びＨＵＤ表示部３３の少なくとも一方の表示画面には、運転分析部２１による分析結果を提示するためのエリアが用意される。

［１－２．運転分析処理］
運転分析部２１の機能を実現するために処理部２０が実行する運転分析処理を、図２のフローチャートを用いて説明する。運転分析処理は、予め設定された周期（例えば、１／２０～１／３０秒）で繰り返し起動される。

Ｓ１０では、処理部２０は、カメラ１０から１フレーム分の画像を取得する。
続くＳ２０では、処理部２０は、顔検出処理を実行する。顔検出処理は、Ｓ１０で取得した画像から、顔が撮像された領域である顔領域を検出する処理である。顔検出処理では、例えば、パターンマッチングを用いることができるが、これに限定されるものではない。顔検出処理の結果、例えば、図３中の枠Ｗで示す部分が顔領域として検出される。

続くＳ３０では、処理部２０は、特徴点検出処理を実行する。特徴点検出処理は、Ｓ２０で抽出された顔領域の画像を用いて、撮像された顔の向き及び目の状態を特定するのに必要な複数の顔特徴点を検出する処理である。顔特徴点には、目、鼻、口、耳、及び顔等の輪郭における特徴的な部位が用いられる。特徴点検出処理の結果、例えば、図３中の丸印で示す複数の顔特徴点が検出される。

続くＳ４０では、処理部２０は、注視領域／顔向き検出処理を実行する。注視領域／顔向き検出処理は、Ｓ３０で検出された複数の顔特徴点に基づき、顔領域の画像から検出される目の周辺画像を用いて、ドライバが注視する方向、ドライバの眼の開閉状態、及びドライバの顔向きを検出し、検出結果をメモリ２０ｂに蓄積する処理である。なお、メモリ２０ｂには、後述する時間窓の最大幅に相当するフレーム数分の検出結果が少なくとも蓄積される。

ドライバの注視方向は、運転時にドライバに視認される範囲を複数の領域（以下、視領域）に分割して、ドライバがどの視領域を注視しているかによって表す。図４に示すように、視領域には、を左サイドミラー（以下、左ミラー）Ｅ１、正面Ｅ２、ルームミラー（以下、後ミラー）Ｅ３、メータＥ４、右サイドミラー（以下、右ミラー）Ｅ５、コンソールＥ６、及び手元Ｅ７が含まれてもよい。但し、視領域の分割方法は、これらに限定されるものではなく、より細かく分割した視領域を用いてもよいし、ドライバから見た角度等によって分割した視領域を用いてもよい。

ドライバの開閉状態は、ここでは、眼が閉じられることによって、どの視領域も見ていない状態であるか否かを表す。この状態を閉眼Ｅ８と表記する。
視領域Ｅ１～Ｅ７の状態情報は、いずれも、該当する視領域をドライバが注視していると判定された場合に１、それ以外の場合に０となる２値で表される。閉眼Ｅ８の状態情報も、ドライバが閉眼の場合に１、それ以外の場合に０となる２値で表される。

視領域Ｅ１～Ｅ７及び閉眼Ｅ８の状態情報は、任意の時刻において、択一的にいずれか一つが１となり、他は全て０となる。
ドライバの顔向きは、図５にその一部を示すように、顔の向きが、ヨー方向θ１、ピッチ方向θ２、及びロール方向θ３のそれぞれについて、どの程度、回転又は傾斜しているかを角度で表す。ヨー方向θ１は、首を軸とした回転の方向の角度を表す。ピッチ方向θ２は、顔の前後方向への傾斜角度を表す。ロール方向θ３は、顔の横方向への傾斜角度を表す。なお、ドライバの顔向きに加えて、ドライバの顔位置を検出してもよい。

以下では、視領域Ｅ１～Ｅ７及び閉眼Ｅ８をまとめて眼状態Ｅ１～Ｅ８と称し、ドライバの顔向きを表すヨー方向θ１、ピッチ方向θ２、ロール方向θ３をまとめて顔状態θ１～θ３と称する。

なお、Ｓ３０及びＳ４０の処理では、例えば、本願出願人が特願２０１９－１０８０２８号にて提案した、回帰関数を用いて特徴点の検出や注視方向を検出する方法等を用いることができる。

続くＳ５０では、処理部２０は、メモリ２０ｂに蓄積された眼状態Ｅ１～Ｅ８、及び顔状態θ１～θ３の時系列データから、時間窓を用いて評価用データを抽出する。時間窓は、図６に示すように、現時刻を基準として、過去、所定の時間幅に設定される。時間幅は、分析対象に応じて異なる長さに設定されてもよい。例えば、前方不注意の検出に用いる場合は、比較的短い時間幅Ｔ１（例えば、３秒程度）に設定する。周辺環境の確認に用いる場合は、より長い時間幅Ｔ２（例えば、１５秒程度）に設定する。眠気の検出に用いる場合は、更に長い時間幅Ｔ３（例えば、３０秒程度）に設定する。

図６に示す注視領域の生データは、眼状態Ｅ１～Ｅ８の中で値が１となる眼状態を、時間軸に沿って並べることで生成される。時間窓の時間幅Ｔ１～Ｔ３は、当該運転分析処理での分析結果を利用するアプリケーションに応じて切り替えてもよいし、複数種類の時間幅Ｔ１～Ｔ３が同時に用いられてもよい。顔向きの生データは、車両の進行方向を基準にして表された顔状態θ１～θ３の角度を、時間軸に沿って並べたものである。

続くＳ６０では、処理部２０は、抽出された評価用データを用いて、特徴量を抽出する。
特徴量には、眼状態Ｅ１～Ｅ８の値が１となる頻度（すなわち、画像フレームの数）を、眼状態Ｅ１～Ｅ８毎に集計した結果が含まれてもよい。また、特徴量には、一つの眼状態における状態の継続時間、遷移間隔等が含まれてもよい。更に、第１の眼状態から第２の眼状態への遷移（例えば、正面→右ミラー等）の頻度及び遷移間隔等が含まれてもよい。

特徴量には、注視領域の生データ中の閉眼Ｅ８に着目することで算出される、単位時間当たりの閉眼時間（以下、ＰＥＲＣＬＯＳ）、単位時間当たりの閉眼回数（以下、閉眼頻度）、閉眼周期、及び１回当たりの平均閉眼時間等が含まれてもよい。

特徴量には、顔状態θ１～θ３に基づき、図７に示すように、正面方向を基準とした所定角度範囲を範囲内、それ以外を範囲外として、範囲内及び範囲内のそれぞれについて該当する頻度を集計した結果が含まれてもよい。なお、所定角度範囲は、正面方向に対する両側で同じ角度に設定されてもよいし、図８に示すように、正面方向に対する両側でそれぞれ異なる角度に設定されてもよい。また、特徴量には、範囲内にある顔向き角度の平均値、及び分散値が含まれてもよい。更に、特徴量には、評価用データに顔位置が含まれる場合は、予め設定された典型的な顔位置毎の頻度や、顔位置が変化するときの移動速度等が含まれてもよい。

つまり、画像フレームが取得される毎に、時間窓の範囲が１フレーム分ずつずれた評価データに基づく複数の特徴量が得られる。図９は、眼状態Ｅ１～Ｅ８を集計することで得られる特徴量が時間の経過に従って変化する様子をグラフ形式で表現した図である。

続くＳ７０では、処理部２０は、Ｓ６０で抽出された特徴量を用いてドライバの状態等を分析する分析処理を実行する。
続くＳ８０では、処理部２０は、Ｓ７０での分析結果を、ＨＭＩ部３０を介してドライバに提示して処理を終了する。分析結果の提示方法は、画像を用いてもよいし、音声を用いてもよい。

なお、Ｓ１０～Ｓ４０が情報生成部、Ｓ５０が取得部、Ｓ６０が抽出部、Ｓ７０が分析部、Ｓ８０が表示部に相当する。
［１－３．分析及び分析結果の提示］
次に、Ｓ７０での分析処理、及びＳ８０での分析結果の提示方法の具体例について説明する。

［１－３－１．例１：レーダチャート］
Ｓ７０での分析は、例えば、特定のドライバ状態に関連すると考えられる特徴量の一部を抽出して、予め用意された統計データと比較することが考えられる。この場合、Ｓ８０での分析結果の提示は、図１０に示すように、レーダチャートの画像を表示することが考えられる。

具体的には、抽出する特徴量として、例えば、注視方向が、正面Ｅ２、左ミラーＥ１、右ミラーＥ５、バックミラーＥ３である場合の集計値を用いてもよい。また、抽出する特徴量として、顔向きがヨー方向θ１の所定範囲外（以下、大ヨー）である場合の集計値を用いてもよい。更に、抽出する特徴量として、閉眼Ｅ８に基づく特徴量であるＰＥＲＣＬＯＳ、閉眼時間、及び平均閉眼時間等を用いてもよい。

また、比較対象となる統計データとしては、図１１に示すように、予め集計された全ドライバについてのデータの平均値を用いてもよいし、ある条件で抽出される一部のドライバについてのデータの平均値を用いてもよい。なお、統計データが基準値に相当する。ドライバの抽出に用いる条件としては、性別、年齢、運転経験等を用いてもよい。また、ドライバによらず、データの抽出に用いる条件として、地域、時間帯、及び天候等を用いてもよい。

なお、レーダチャートによる表示を確認することで、例えば、図１２に示すような分析結果を得ることができる。図１２中の左側のレーダチャートでは、前方の注視が突出し、ミラーの注視が少ないという傾向から、ドライバの視認行為の特徴として、車両周辺の確認が弱いことがわかる。また、図１２中の右側のレーダチャートでは、前方の注視が非常に少ないという傾向から、ドライバの視認行為の特徴として、脇見をしており前方不注意であることがわかる。

［１－３－２．例２：関数を用いた分析］
Ｓ７０での分析処理では、例えば、図１３に示すように、Ｓ６０にて生成された特徴量の少なくとも一部を入力情報群Ｉ_Ｅとし、予め用意された関数を用いて分析結果であるドライバの傾向やドライバの状態を出力してもよい。ここでは、勾配ブースティングを用いた回帰関数を用いて、ある一つのドライバ状態を分析結果として出力する場合について説明する。つまり、複数のドライバ状態を分析する場合は、分析対象となるドライバ状態毎に異なる回帰関数が用いられる。

関数の入力となる入力情報群Ｉ_Ｅには、先に説明した、レーダチャートに用いる８個の特徴量が含まれてもよい。関数の出力となるドライバ状態には、「通常」「眠気」及び「漫然運転」が含まれてもよい。また、ドライバ傾向を出力とする場合は、図１２に示すように「前方への注視が多い／少ない」「ミラーへの注視が多い／少ない」等が含まれてもよい。

［１－３－２－１．概要］
入力情報群Ｉ_Ｅは、先に説明したように、時間窓を画像の１フレーム分ずつ時間をずらしながら適用する、いわゆるスライディングウインドを用いて、１フレーム毎に連続的に抽出される。分析処理は、１フレーム毎に抽出される入力情報群Ｉ_Ｅのそれぞれに対して実行される。

ここで、関数は、分析結果としてスコアベクトルＡを出力する。スコアベクトルＡは、分析対象となるドライバ状態に該当する場合に１となる要素と、該当しない場合に１となる要素とを有する。つまり、スコアベクトルＡは、２個の要素ａ_１，ａ_２を持つベクトルであり、（１）式で表される。スコアベクトルＡは、いずれかの要素の値が大きく、他の要素の値が小さくなるようなワンホット形式をとり、最終的により大きな値を有する要素に基づいて認識結果（すなわち、分析対象となるドライバ状態に該当する／該当しない）が得られる。

分析処理では、（２）式に示すように、スコアベクトルの初期値Ａ⁽⁰⁾を与え、修正量Ｒによって、スコアベクトルＡを修正することで、ドライバ状態の分析結果を表すスコアベクトルＡを算出する。

修正量Ｒは、（３）式に示すように、時間窓によって切り出された入力情報群Ｉ_Ｅを、修正関数Ｆ_Ｉに作用させることで得られる。修正関数Ｆ_Ｉは、勾配ブースティングを用いた回帰関数の加法モデルを適用した関数である。このような回帰関数は、例えば、“One Millisecond Face Alignment with an Ensemble of Regression Trees” Vahid Kazemi and Josephine Sullivan, The IEEE Conference on CVPR,2014,1867-1874（以下、参考文献１）、及び、“Greedy Function Approximation : A gradient boosting machine” Jerome H. Friedman, The Annals of Statistics Volume 29, Number 5 (2001),1189-1232（以下、参考文献２）等に示される。

修正関数Ｆ_Ｉは、予め用意されたＩ個の回帰木ＲＴ_１～ＲＴ_Ｉを用いて回帰的に値が決定される関数であり、（４）式で定義される。Ｉは１以上の整数である。回帰木ＲＴ_１～ＲＴ_Ｉは、木構造をとる弱仮説の集合である。Ｆ_０は修正関数Ｆ_Ｉの初期値、Ｇ_ｉは回帰木インデックスｉで識別される回帰木ＲＴ_ｉによって値が決定される回帰関数であり、ｉ＝１，２，…，Ｉである。また、γは学習率であり、０＜γ＜１に設定される。γの値を小さくすることで、過学習となることを抑制する。

Ｉ個の回帰木ＲＴ_１～ＲＴ_Ｉは、いずれも同様の構造を有する。例えば、図１４に示すように、回帰木ＲＴ_ｉとして、ノードを順次二つに分岐させる二分木が用いられる。回帰木ＲＴ_ｉの枝の分岐点となるノードを通常ノード４１、回帰木ＲＴ_ｉの葉となるノードを末端ノード４２という。通常ノード４１を識別するノードインデックスをｋとすると、ｋ番目の通常ノード４１には、比較データＸ_ｋと、閾値ＴＨ_ｋとが対応づけられる。比較データＸ_ｋ及び閾値ＴＨ_ｋは、通常ノード４１からいずれの下位ノードに分岐するかを決める分岐判定に使用される。末端ノード４２のそれぞれには回帰木ＲＴ_ｉにより算出される回帰量Ｇ_ｉの具体的な値ｒ_i1～ｒ_i8が対応づけられる。なお、回帰木ＲＴ_ｉを形成するノードのうち、末端ノード４２を除いた、通常ノード４１の数をＫ個とする。Ｋは１以上の整数である。

比較データＸ_ｋは、入力情報群Ｉ_Ｅに属するＭ個の特徴量Ｘ_１～Ｘ_Ｍのいずれかを用いてもよい。Ｍは１以上の整数である。また、Ｍ個の特徴量Ｘ_１～Ｘ_Ｍから選択される複数の特徴量に対して何等かの演算を行った結果を用いてもよい。但し、特徴量に対する演算結果を比較データＸ_ｋとする場合、図１５に示すように、単位が同じ特徴量を選択する必要がある。例えば、眼状態Ｅ１～Ｅ８の集計値をそのまま用いる特徴量は、いずれもカウント値であるため、これらの間での演算結果を比較データＸ_ｋとすることは可能である。しかし、ＰＥＲＣＬＯＳ、閉眼頻度、及び平均閉眼時間を表す特徴量は、時間や割合を表しており、集計値をそのまま用いる特徴量との間での演算結果を比較データＸ_ｋとすることは不能である。

図１４に戻り、回帰木ＲＴ_ｉのノードインデックスｋで特定される各通常ノード４１では、比較データＸ_ｋが、閾値ＴＨ_ｋよりも小さいか否かに応じて、次階層の通常ノード４１又は末端ノード４２に至るいずれの枝を選択するかが決定される。つまり、各通常ノード４１での比較結果に従って、回帰木ＲＴ_ｉの枝を順次選択する処理を繰り返すことで複数ある末端ノード４２のいずれかに到達する。到達した末端ノード４２に対応付けられた回帰量ｒ_i1，ｒ_i2，ｒ_i3，…いずれかが回帰関数Ｇ_ｉの値となり、ひいては修正関数Ｆ_Ｉの値の一部となる。

このように、分析処理では、スコアベクトルＡの初期値Ａ⁽⁰⁾と、修正関数Ｆ_Ｉの初期値Ｆ_０と、回帰木ＲＴ_ｉを定義するパラメータ（すなわち、比較データＸ_１～Ｘ_Ｋ，閾値ＴＨ_１～ＴＨ_Ｋ，回帰量ｒ_i1，ｒ_i2，ｒ_i3，…）とが事前に用意されている必要がある。以下では、これらのパラメータを総称して分析用パラメータという。

分析用パラメータは、処理部２０の学習部２２が学習処理を実行することで生成される。但し、学習処理は、必ずしも処理部２０で実行される必要は無く、処理部２０以外の装置にて実行されてもよい。

［１－３－２－２．学習］
分析用パラメータを設定するための学習処理について、図１６のフローチャートを用いて説明する。学習処理を実行する際に、メモリ２０ｂには、学習用に用意された眼状態Ｅ１～Ｅ８、及び顔状態θ１～θ３の時系列データ（以下、学習用時系列データ）が記憶される。学習用時系列データは、不特定多数のドライバが様々な状況で運転を行うことで得られるデータである。なお、学習用時系列データには、フレーム単位で、ドライバ状態の正解ラベルが予め付与される。なお正解ラベルは、例えば、図１７に示すように、学習用時系列データの収集と平行して、ドライバの状態の主観評価、客観評価を収集し、その主観評価及び客観評価からドライバ状態を推定することで生成される。主観評価は、例えば「眠気を感じた」「ぼーっとしていた」等であり、客観評価は、「あくびをしていた」「首が傾いていた」「正面のみ見ていた」等である。

Ｓ１１０では、処理部２０は、メモリ２０ｂに記憶された学習用時系列データから、時間窓を用いて切り出されたＮ個の入力情報群Ｉ_Ｅのそれぞれを学習データとして、学習データ毎に、スコアベクトルＡの正解値（以下、教師データ）Ａ_１～Ａ_Ｎを生成する。Ｎは１以上の整数である。

具体的には、学習データに含まれる画像のフレーム毎に付与された正解ラベルを参照して、教師データＡ_１～Ａ_Ｎを生成する。ｎ＝１，２，…，Ｎとして、ｎ番目の学習データに含まれる各画像のフレームに付与された正解ラベルに基づき、分析対象となるドライバ状態に該当する場合にはＡ_ｎ＝（１，０）に設定し、該当しない場合にはＡ_ｎ＝（０，１）に設定する。

続くＳ１２０では、処理部２０は、スコアベクトルの初期値Ａ⁽⁰⁾を算出する。スコアベクトルの初期値Ａ⁽⁰⁾は、例えば、Ｓ１１０で生成された教師データＡ_１～Ａ_Ｎの平均値を用いてもよい。

続くＳ１３０では、処理部２０は、（５）式に従って、Ｎ個の学習データのそれぞれについて、教師データＡ_ｎとスコアベクトルの初期値Ａ⁽⁰⁾との差分である修正残差ΔＡ_ｎを算出する。

続くＳ１４０では、処理部２０は、修正量Ｒの算出に用いる修正関数Ｆ_Ｉの初期値Ｆ₀を、（６）式を用いて算出する。

（６）式は、各学習データにおける修正残差ΔＡ_ｎと、スコアベクトルＡと同じ次元を有する任意のベクトルＶとの距離を、全ての学習データについて合計したときに、その合計値を最小にするベクトルＶを修正関数Ｆ_Ｉの初期値Ｆ_０とすることを意味する。

続くＳ１５０では、処理部２０は、回帰木ＲＴ_１～ＲＴ_Ｉの識別に用いる回帰木インデックスｉを１に初期化する。
続くＳ１６０では、処理部２０は、学習データ毎に、残り修正量ｃ_１～ｃ_Ｎを（７）式を用いて算出する。

続くＳ１７０では、処理部２０は、学習データを用いて、回帰木ＲＴ_ｉの各通常ノード４１で用いる比較データＸ_１～Ｘ_Ｋ及び閾値ＴＨ_１～ＴＨ_Ｋを順次設定することで回帰木ＲＴ_ｉを生成する。なお、回帰木ＲＴ_ｉの生成には、例えば、上述した参考文献１の２．３．２項に記載される方法を用いてもよい。特に、比較データＸ_１～Ｘ_Ｋの選択は、選択可能な全ての比較データ候補の中から、ランダムに選択してもよいし、総当たりで最適なものを探索してもよい。

なお、比較データＸ_１～Ｘ_Ｋを、このような学習によって選択することは、選択可能な全ての比較データ候補の中から、ドライバ状態の分析において寄与率の高い特徴に対応づけられる比較データを、自動的に選択することを意味する。

続くＳ１８０では、処理部２０は、Ｓ１７０で選択した比較データＸ_１～Ｘ_Ｋを、学習データを分類する際の指標とし、すべての学習データにおいて残り修正量ｃ_１～ｃ_Ｎに近い値が得られるような閾値ＴＨ_１～ＴＨ_Ｋを設定することで回帰木ＲＴ_ｉを生成する。すなわち、回帰木ＲＴ_ｉによって実現される回帰関数Ｇ_ｉを生成する。

続くＳ１９０では、処理部２０は、Ｓ１８０で生成された回帰関数Ｇ_ｉを用いて、（８）式により、修正関数Ｆ_ｉを更新する。

続くＳ２００では、処理部２０は、回帰木インデックスｉを１増加させる。
続くＳ２１０では、処理部２０は、ｉ＞Ｉであるか否かを判定する。Ｓ２１０において否定判定された場合は、新たな回帰木ＲＴ_ｉを作成するために処理をＳ１６０に戻し、Ｓ２１０において肯定判定された場合は、処理を終了させる。

学習処理では、１つの修正関数Ｆ_ＩのためにＩ個の回帰関数Ｇ_１～Ｇ_Ｉ（すなわち、Ｉ個の回帰木ＲＴ_１～ＲＴ_Ｉ）が生成される。
［１－３－２－３．分析処理］
処理部２０が、先のＳ７０にて実行する分析処理について、図１８のフローチャートを用いて説明する。分析処理では、上述の学習処理によって生成された分析用パラメータが用いられる。分析処理は、Ｓ１０にて画像が取得される毎、すなわち１フレーム毎に行ってもよいし、複数フレーム毎に行ってもよい。

まずＳ３１０では、処理部２０は、回帰木インデックスｉを１に初期化する。
続くＳ３２０では、処理部２０は、回帰木インデックスｉで識別される回帰木ＲＴ_ｉと、Ｓ６０で取得された入力情報群Ｉ_Ｅと、学習処理で算出された回帰木ＲＴｉの判定用パラメータとを用いて回帰関数Ｇ_ｉの値を取得し、（８）式を用いて修正関数Ｆ_ｉを更新する。

続くＳ３３０では、処理部２０は、回帰木インデックスｉを１増加させる。
続くＳ３４０では、処理部２０は、ｉ＞Ｉであるか否かを判定する。つまり、Ｉ個の回帰木ＲＴ_１～ＲＴ_Ｉの全てが修正関数Ｆ_Ｉの算出に用いられたか否かを判定する。処理部２０は、Ｓ３４０において否定判定された場合は処理をＳ３２０に戻し、Ｓ３４０において肯定判定された場合は処理をＳ３５０に進める。Ｓ３２０～Ｓ３４０の処理により、最終的に（４）式に示された修正関数Ｆ_Ｉが算出され、（３）式に示すように、この修正関数Ｆ_Ｉによって得られる値が、スコアベクトルの初期値Ａ⁽⁰⁾に対する修正量Ｒとなる。

Ｓ３５０では、処理部２０は、（２）式を用いて修正されたスコアベクトルＡを生成する。
続くＳ３６０では、処理部２０は、修正されたスコアベクトルＡのうち、より大きい値（以下、最大スコアＳＣ）を有する要素を抽出する。

続くＳ３７０では、処理部２０は、抽出された最大スコアＳＣが予め設定された閾値ＴＨｓより大きいか否かを判定する。ＴＨｓは、分析結果の信頼性を判定するための閾値である。処理部２０は、ＳＣ＞ＴＨｓであれば処理をＳ３８０に進め、ＳＣ≦ＴＨｓであれば処理をＳ３９０に進める。

Ｓ３８０では、処理部２０は、最大スコアＳＣを有する要素に対応づけられた分析結果、すなわち、分析対象のドライバ状態に該当する又は該当しないを出力して、処理を終了する。
Ｓ３９０では、処理部２０は、スコアベクトルＡに示された分析結果の信頼性が低いものとして、分析結果を無効化して、処理を終了する。

［１－４．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１ａ）本実施形態では、眼状態Ｅ１～Ｅ８及び顔状態θ１～θ３から抽出される特徴量を用いて分析対象のドライバ状態に該当するか否かを分析し、分析結果をドライバに提示する。つまり、従来技術とは異なり、正面方向を特別視せずに分析が行われるため、ドライバが意図的に正面方向以外を視認している状態を的確に判定でき、これを注意散漫等と誤認することを抑制できる。

（１ｂ）本実施形態では、分析結果の提示方法としてレーダチャートを用い、ドライバ自身について抽出された特徴量と共に、不特定多数のドライバの平均値等の統計データを提示する。このため、ドライバに、ドライバ自身と他者と比較を簡単に行わせることができる。その結果、ドライバに、運転時におけるドライバ自身の傾向及び特徴を容易に理解させることができる。

（１ｃ）本実施形態では、特徴量の少なくとも一部を入力情報群Ｉ_Ｅとして、勾配ブースティングにより生成される回帰関数を用いて分析対象となるドライバ状態に該当するか否かを推定し、これを分析結果として出力する。このため、ドライバ状態と特徴量との関係について、専門的な知識がなくても、回帰関数の生成を行うことができ、精度の高い分析を行うことができる。

（１ｄ）本実施形態では、注視方向に関する情報だけでなく、閉眼状態に関する情報も分析に用いるため、健康悪化や注意散漫等のドライバ状態に関する分析精度を向上させることができる。

［２．第２実施形態］
［２－１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

上記実施形態では、分析に用いる回帰関数（すなわち、回帰木）の生成に、勾配ブースティングを用いる。これに対し、第２実施形態では、回帰関数の生成に、ランダムフォレストを用いる点で、第１実施形態と相違する。

［２－２．学習処理］
次に、第２実施形態の処理部２０が学習部２２としての機能を実現するために、図１６を用いて説明した第１実施形態の学習処理に代えて実行する学習処理について、図１９のフローチャートを用いて説明する。

学習処理を実行する際には、第１実施形態の場合と同様に、メモリ２０ｂに学習用の状態情報が記憶される。学習用の状態情報には、フレーム単位で、ドライバ状態の正解ラベルが予め付与される。ここでは、ドライバ状態の正解ラベルとして、ドライバが眠気を感じていない状態（以下、通常）を０、ドライバが眠気を感じている状態（以下、眠気）を１とする。

Ｓ５１０では、処理部２０は、Ｓ３１０での処理と同様に、時間窓を用いて切り出されたＮ個の入力情報群Ｉ_Ｅを学習データとして、学習データ毎に、正解値である教師データＡ_１～Ａ_Ｎを生成する。教師データは、０又は１の値をとる。

続くＳ５２０では、処理部２０は、回帰木インデックスｉを１に初期化する。
続くＳ５３０では、処理部２０は、学習データのそれぞれから、Ｍ個の特徴量Ｘ_１～Ｘ_Ｍを抽出する。なお、Ｍ個の特徴量は、回帰木インデックスｉ毎に、Ｍ個より多数の特徴量候補の中から異なる組み合わせパターンで抽出される。

続くＳ５４０では、処理部２０は、Ｓ５３０で抽出した特徴量Ｘ_１～Ｘ_Ｍを、回帰木ＲＴ_ｉが有する各ノードにおいて学習データを分類する際の指標として用いて、回帰木ＲＴｉを生成する。

具体的には、着目する通常ノード４１に割り当てられた学習データのそれぞれを、特徴量Ｘ_ｍが閾値ａ_ｍより大きいか否かによって、下位の二つのノードに振り分ける。このとき、振り分けられた学習データを用いて下位のノード毎に誤差Ｑ_ｍを算出し、この誤差Ｑ_ｍが最小となるように閾値ａ_ｍを選定することで回帰木ＲＴ_ｉを生成する。すなわち、回帰木ＲＴ_ｉによって実現される回帰関数Ｇ_ｉを生成する。

なお、回帰木ＲＴ_ｉを生成する際に、回帰木ＲＴ_ｉの頂点に位置するノードＮ_１には、全ての学習データが割り当てられる。また、誤差Ｑ_ｍは、以下のように算出する。すなわち、下位の二つのノードのうち、一方には「通常」を表す割当値０、他方には「眠気」を表す割当値１を割り当て、それぞれのノードに割り当てられた学習データの教師データと、そのノードの割当値との二乗誤差を誤差Ｑ_ｍとする。

続くＳ５５０では、処理部２０は、回帰木インデックスｉを１増加させる。
続くＳ５６０では、処理部２０は、回帰木インデックスｉが回帰関数の生成に使用する回帰木ＲＴｉの総数Ｉより大きいか否かを判定し、ｉ＞Ｉであれば処理を終了し、ｉ≦Ｉであれば処理をＳ５３０に戻し、新たな回帰木を生成するために、Ｍ個の特徴量の選定から再度処理を始める。

学習処理により、Ｉ個の回帰木ＲＴ_１～ＲＴ_Ｉが生成される。具体的には、回帰木ＲＴ_ｉを構成する通常ノード４１のそれぞれについて設定される比較データＸ_ik及び閾値ａ_ikと、末端ノード４２のそれぞれについて設定される出力値とが、分析用パラメータとして生成される。なお、ｋは、回帰木ＲＴ_ｉを構成する個々のノードを識別するインデックスである。

［２－３．分析処理］
次に、第２実施形態の処理部２０が運転分析部２１としての機能を実現するために、図１８を用いて説明した第１実施形態の分析処理に代えて実行する分析処理について、図２０のフローチャートを用いて説明する。分析処理では、上述の学習処理によって生成された分析用パラメータが用いられる。

Ｓ７１０では、処理部２０は、回帰木インデックスｉを１に初期化すると共に、合計スコアＳＣを０に初期化する。
続くＳ７２０では、処理部２０は、回帰木ＲＴ_ｉにて比較データとして使用する特徴量Ｘ_１～Ｘ_Ｍを、入力情報群Ｉ_Ｅから抽出する。

続くＳ７３０では、処理部２０は、Ｓ７２０で抽出した特徴量Ｘ_１～Ｘ_Ｍを用いて、回帰木ＲＴ_ｉを順次辿ることで出力値ｒを取得する。
続くＳ７４０では、処理部２０は、合計スコアＳＣに出力値ｒを加算することで、合計スコアＳＣを更新する。

続くＳ７５０では、処理部２０は、回帰木インデックスｉを１増加させる。
続くＳ７６０では、処理部２０は、回帰木インデックスｉが回帰関数の生成に使用する回帰木ＲＴ_ｉの総数Ｉより大きいか否かを判定し、ｉ＞Ｉであれば処理をＳ７７０に移行し、ｉ≦Ｉであれば処理をＳ７２０に戻す。

続くＳ７７０では、処理部２０は、合計スコアＳＣが予め設定された閾値ＴＨｓより大きいか否かを判定し、ＳＣ＞ＴＨｓであれば処理をＳ７８０に移行し、ＳＣ≦ＴＨｓであれば処理をＳ７９０に移行する。

Ｓ７８０では、処理部２０は、分析対象のドライバ状態、すなわち「眠気」に該当する旨を、分析結果として出力して処理を終了する。
Ｓ７９０では、処理部２０は、分析対象のドライバ状態に該当せず、ドライバ状態は「通常」に該当する旨を、分析結果として出力して処理を終了する。

［２－４．効果］
以上詳述した第２実施形態によれば、上述した第１実施形態の効果（１ａ）～（１ｄ）と同様の効果を奏する。

［３．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（３ａ）上記実施形態では、分析結果であるドライバ状態をドライバに提示しているが、本開示はこれに限定されるものではない。例えば、図２１に示すように、分析されたドライバ状態に適した警告や助言を提示してもよい。また、提示の仕方は、画像に限らず音声を用いてもよい。

（３ｂ）上記実施形態では、分析処理に使用する関数の生成に回帰木を用いているが、本開示はこれに限定されるものではない。例えば、サポートベクターマシンや、図２２に示すようなニューラルネットワーク等を用いてもよい。

（３ｃ）上記実施形態では、分析処理による分析結果を、ＨＭＩ部３０を介してドライバに提示しているが、本開示はこれに限定されるものではなく、分析結果を、例えば、運転支援のための車両制御等に用いてもよい。

（３ｄ）上記実施形態では、ドライバの顔画像から抽出される眼状態Ｅ１～Ｅ８、及び顔状態θ１～θ３から抽出される特徴量を分析処理に用いているが、本開示は、これに限定されるものではない。これらの特徴量に加え、例えば、ドライバの運転操作を表す情報、車両の挙動を表す情報、及び車両の周囲状況を表す情報等から抽出される特徴量を用いてもよい。

（３ｅ）本開示に記載の処理部２０及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の処理部２０及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の処理部２０及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。処理部２０に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（３ｆ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（３ｇ）上述した運転分析装置１の他、運転分析装置１を構成要素とするシステム、運転分析装置１を構成する処理部２０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、及び運転分析方法など、種々の形態で本開示を実現することもできる。

１…運転分析装置、１０…カメラ、２０…処理部、２０ａ…ＣＰＵ、２０ｂ…メモリ、２１…運転分析部、２２…学習部、３０…ＨＭＩ部、３１…音声出力部、３２…メータ表示部、３３…ＨＵＤ表示部、４１…通常ノード、４２…末端ノード。

Claims

車両を運転するドライバの視線が、予め設定された複数の視領域のいずれに向いているかを示す視線方向、及び前記ドライバの目の開閉状態を検出要素として、前記検出要素の時系列を生成するように構成された情報生成部（２０：Ｓ１０～Ｓ４０）と、
前記検出要素の時系列から、予め設定された時間幅を有する時間窓を用いて評価用データを取得するように構成された取得部（２０：５０）と、
前記検出要素毎に出現頻度を集計した結果を少なくとも含む複数の特徴量を、前記評価用データから抽出するように構成された抽出部（２０：Ｓ６０）と、
前記抽出部にて抽出された前記複数の特徴量の少なくとも一部を入力とする関数を用いて、前記ドライバの傾向を分析するように構成された分析部（２０：Ｓ７０）と、
を備える運転分析装置。
請求項１に記載の運転分析装置であって、
前記抽出部にて抽出された前記複数の特徴量の少なくとも一部をレーダチャートの形式で表示するように構成された表示部（２０：Ｓ８０）を更に備える、
運転分析装置。
請求項２に記載の運転分析装置であって、
前記表示部は、前記レーダチャートに示す基準値として、不特定多数のドライバについての前記特徴量の平均値、及び当該運転分析装置での分析対象となる前記ドライバについて過去に取得された前記特徴量の平均値のうちいずれかを用いる
運転分析装置。
請求項１から請求項３までのいずれか１項に記載の運転分析装置であって、
前記抽出部にて抽出される前記特徴量には、同一の前記検出要素内又は複数の前記検出要素間での状態遷移の特徴を表す値が含まれる
運転分析装置。
請求項１から請求項４までのいずれか１項に記載の運転分析装置であって、
前記分析部は、前記関数として、ランダムフォレスト、及び勾配ブースティングのうちいずれかを用いて得られる回帰関数を用いる
運転分析装置。
請求項５に記載の運転分析装置であって、
前記分析部は、前記回帰関数の生成に用いる回帰木の各ノードでの分岐判定に用いる比較データとして、前記複数の特徴量から選択された２つ以上の対象特徴量による演算結果が少なくとも用いられ、
前記対象特徴量には、値の単位が同じである前記特徴量が選択される
運転分析装置。
請求項１から請求項４までのいずれか１項に記載の運転分析装置であって、
前記分析部は、前記関数として、サポートベクターマシン、及びニューラルネットのうちいずれかを用いる
運転分析装置。
車両を運転するドライバの視線が、予め設定された複数の視領域のいずれに向いているかを示す視線方向、及び前記ドライバの目の開閉状態を検出要素として、前記検出要素の時系列を生成し、
前記検出要素の時系列から、予め設定された時間幅を有する時間窓を用いて評価用データを取得し、
前記検出要素毎に出現頻度を集計した結果を少なくとも含む複数の特徴量を、前記評価用データから抽出し、
抽出された前記複数の特徴量の少なくとも一部を入力とする関数を用いて、前記ドライバの傾向を分析する
運転分析方法。