JP6320942B2

JP6320942B2 - 重み行列学習装置、視線方向予測システム、警告システムおよび重み行列学習方法

Info

Publication number: JP6320942B2
Application number: JP2015005166A
Authority: JP
Inventors: 佑介可児; 顕吉澤
Original assignee: Denso IT Laboratory Inc
Current assignee: Denso IT Laboratory Inc
Priority date: 2015-01-14
Filing date: 2015-01-14
Publication date: 2018-05-09
Anticipated expiration: 2035-01-14
Also published as: JP2016130959A

Description

本発明は、所定期間の視線方向を予測するための重み行列を生成する重み行列学習装置および重み行列学習方法に関する。また、本発明は、そのような重み行列学習装置を用いた視線方向予測システムおよび警告システムに関する。

交通事故の原因の１つとして、ドライバの見落としが挙げられる。よって、ドライバの将来の視線を予測し、見落としのおそれがある場合に警告を発することで交通事故を減らすことができると考えられる。

視線を予測する技術として、特許文献１には、Ｗｅｂ閲覧者を対象として、視線位置の移動速度から視線位置の移動先を予測することが開示されている。特許文献２には、ドライバを対象として、将来の車両位置を予測注視点と設定することが開示されている。特許文献３には、走行環境情報を取得し、特定の走行環境下で走行支援画像の表示面を注視していた時間や回数を記憶し、ドライバが表示面を見る確率を判定することが開示されている。非特許文献１には、テレビゲームの画面やコントローラの操作と、視線方向との関係を学習することで、現在の視線を推定することが開示されている。

特開２００９−１５６１０号公報特開２０１４−１２７９３６号公報特開２０１３−２２５１３１号公報 Borji Ali, Sihite Dicky N, Itti Laurent,"Computational Modeling of Top-down Visual Attention in Interactive Environments", BMVC, pp. 85.1-85.12, 2011

しかしながら、特許文献１に記載の手法では、極めて短い時間における視線を予測するにすぎない。特許文献２に記載の手法は、単調にカーブしている道での運転など、限られた状況でなければ適切な予測ができない。特許文献３に記載の手法は、走行環境情報としてのパラメータ数が増大であるとともに、特定の走行環境下以外では高精度な予測が期待できない。非特許文献１に記載の手法は現在の視線を推定するものであり、将来の視線を予測するものではない。

本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、現在から将来にかけての所定期間における視線方向を予測するための重み行列を生成する重み行列学習装置および重み行列学習方法、ならびに、そのような重み行列学習装置を用いた視線方向予測システムおよび警告システムを提供することである。

本発明の一態様によれば、対象者の、現在から所定期間における視線方向を予測するための重み行列を生成する学習装置であって、前記対象者の視線方向を取得する視線方向取得部と、前記視線方向に影響を与える視線影響情報を取得する視線影響情報取得部と、前記所定期間における前記視線方向に基づいて累積視線方向ベクトルを生成し、複数の前記累積視線方向ベクトルから累積視線方向行列を生成する累積視線方向行列生成部と、前記所定期間における前記視線影響情報に基づいて特徴行列を生成する特徴行列生成部と、前記累積視線方向行列と前記特徴行列とを関連付ける重み行列を生成する学習部と、を備える、重み行列学習装置が提供される。
所定期間における視線方向に基づく視線方向行列と、所定期間における視線影響情報に基づく特徴行列とから重み行列を生成するため、所定期間における視線方向を予測できる。

前記学習部は、前記特徴行列と前記重み行列との積が前記累積視線方向行列に近づくよう、前記重み行列を生成するのが望ましい。

前記視線影響情報は、前記対象者の前方の画像情報、前記対象者の行動情報、および、環境情報のうちの少なくとも１つを含んでいてもよい。また、前記特徴行列生成部は、前記対象者の現在の視線方向も考慮して、前記特徴行列を生成してもよい。このようにすることで、予測精度が向上する。

また、本発明の別の態様によれば、対象者の、現在から所定期間における視線方向を予測する視線方向予測システムであって、前記対象者の視線方向を取得する視線方向取得部と、前記視線方向に影響を与える視線影響情報を取得する視線影響情報取得部と、前記所定期間における前記視線方向に基づいて累積視線方向ベクトルを生成し、複数の前記累積視線方向ベクトルから累積視線方向行列を生成する累積視線方向行列生成部と、前記所定期間における前記視線影響情報に基づいて特徴行列を生成する特徴行列生成部と、前記累積視線方向行列と前記特徴行列とを関連付ける重み行列を生成する学習部と、前記視線影響情報に基づいて特徴ベクトルを生成する特徴ベクトル生成部と、前記重み行列および前記特徴ベクトルに基づいて、前記所定期間における前記対象者の視線方向を予測する予測部と、を備える、視線方向予測システムが提供される。

当該視線方向予測システムは、ネットワークを介して接続された予測装置および学習装置から構成され、前記予測装置は、少なくとも前記予測部を有し、前記学習装置は、少なくとも前記学習部と、前記重み行列を前記予測装置に送信する第１通信部と、を有するのが望ましい。これにより、処理負荷が大きい学習部と、処理負荷が小さい予測部とを別個の装置とすることができる。

前記予測装置は、前記視線方向取得部と、前記視線影響情報取得部と、前記視線方向および前記視線影響情報を前記学習装置に送信する第２通信部と、を有し、前記学習装置は、前記累積視線方向行列生成部と、前記特徴行列生成部と、を有するのが望ましい。これにより、学習部は多くの視線方向や視線影響情報を取得でき、予測精度が向上する。

前記予測部は、前記対象者の前方の画像情報における目立つ位置、および／または、前記対象者の頭部方向も考慮して、前記対象者の視線方向を予測してもよい。これにより、予測精度が向上する。

また、本発明の別の態様によれば、上記視線方向予測システムと、前記予測された視線方向に基づいて警告するか否かを判定する警告判定部と、を備える警告システムが提供される。

前記対象者が注目すべき対象物の位置を検出する対象物検出部を備え、前記警告判定部は、前記対象物の位置と前記予測された視線方向とを比較して、警告するか否かを判定してもよい。あるいは、前記警告判定部は、前記対象者の実際の視線方向と、前記予測された視線方向とを比較して、警告するか否かを判定してもよい。これにより、事故を減らすことができる。

また、本発明の別の態様によれば、対象者の、現在から所定期間における視線方向を予測するための重み行列を生成する学習方法であって、前記対象者の視線方向を取得するステップと、前記視線方向に影響を与える視線影響情報を取得するステップと、前記所定期間における前記視線方向に基づいて累積視線方向ベクトルを生成し、複数の前記累積視線方向ベクトルから累積視線方向行列を生成するステップと、前記所定期間における前記視線影響情報に基づいて特徴行列を生成するステップと、前記累積視線方向行列と前記特徴行列とを関連付ける重み行列を生成するステップと、を備える、重み行列学習方法が提供される。

所定期間における視線方向に基づく視線方向行列と、所定期間における視線影響情報に基づく特徴行列とから重み行列を生成するため、所定期間における視線方向を予測できる。

警告システム５０の概略構成を示すブロック図。予測システム１００の詳細な構成を示すブロック図。予測機能の処理を示すフローチャート。予測部２２の処理を説明する図。学習機能の処理を示すフローチャート。累積視線方向行列生成部１４の処理を説明する図。警告機能の処理を示すフローチャート。複数の装置に分散された予測システム１００’の構成例を示すブロック図。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。まずは、本発明の実施形態に係る予測システムを、車載される警告システムに用いる例を説明する。

図１は、警告システム５０の概略構成を示すブロック図である。この警告システム５０には、車両のドライバ（特にドライバの目）を撮影するドライバカメラ１０、および、車外（特に車両の前方）を撮影する車外カメラ２０で撮影された画像が入力される。また、警告システム５０が生成した警告は、ディスプレイ３０および／またはスピーカ４０から出力される。ディスプレイ３０は例えば車両のダッシュボードやオーディオスペースに設けられる。スピーカ４０は例えばディスプレイ３０と一体であってもよいし、車両に内蔵されたオーディオスピーカであってもよい。
警告システム５０は、予測システム１００と、警告装置２００とを備えている。

車両のドライバが視線予測の対象者であり、予測システム１００は、ドライバカメラ１０や車外カメラ２０からの画像などに基づいて、現在から将来にかけての所定期間（例えば現在から３秒間）のドライバの実際の視線方向を予測する。より具体的には、予測システム１００は、ドライバカメラ１０および車外カメラ２０からの画像などに基づいて重み行列Ｗを生成する学習装置１と、重み行列Ｗを用いて視線方向を予測する予測装置２とから構成される。

警告装置２００は、予測された視線方向を考慮して、ドライバに警告を発する。より具体的には、警告装置２００は、対象物検出部３と、警告判定部４と、表示制御部５と、音声出力制御部６とから構成される。対象物検出部３は、車外カメラ２０からの画像などから、ドライバが注目すべき対象物があるか否か、ある場合にはどの方向にあるかを検出する。警告判定部４は、予測されたドライバの視線方向と、注目すべき対象物の方向とを比較し、警告をするか否かを判定する。表示制御部５は警告をディスプレイ３０に表示するためのデータを生成する。音声出力制御部６は警告をスピーカ４０から出力するためのデータを生成する。

図２は、予測システム１００の詳細な構成を示すブロック図である。
予測システム１００の学習装置１は、視線方向取得部１１と、視線影響情報取得部１２と、記憶部１３と、累積視線方向行列生成部１４と、特徴行列生成部１５と、学習部１６とを有する。これら各部の少なくとも一部は、プロセッサ（不図示）が所定のプログラムを実行することによって実現されてもよいし、ハードウェアで実装されてもよい。

視線方向取得部１１はドライバカメラ１０からの画像に基づいて実際のドライバの視線方向を取得する。視線影響情報取得部１２は、車外カメラ２０からの画像などに基づいて、ドライバの視線方向に影響を与える情報（以下、視線影響情報という）を取得する。視線方向および視線影響情報は互いに関連付けて記憶部１３に記憶される。また、視線影響情報は予測装置２にも出力される。

累積視線方向行列生成部１４は、所定期間における視線方向を累積して、累積視線方向行列Ｇを生成する。特徴行列生成部１５は、同じ所定期間における視線影響情報に基づいて特徴行列Ｍを生成する。このように所定期間における視線方向および視線影響情報を用いて学習を行うため、ある時点ではなく所定期間における視線方向を予測できる。

学習部１６は累積視線方向行列Ｇと特徴行列Ｍとを関連付ける重み行列Ｗを生成する。より具体的には、学習部１６は、特徴行列Ｍと重み行列Ｗとの積が累積視線方向行列Ｇに近づくよう、重み行列Ｗを生成する。重み行列Ｗは学習部１６が記憶しておき、予測装置２に出力される。

一方、予測システム１００の予測装置２は、特徴ベクトル生成部２１と、予測部２２とを有する。これら各部の少なくとも一部は、プロセッサ（不図示）が所定のプログラムを実行することによって実現されてもよいし、ハードウェアで実装されてもよい。

特徴ベクトル生成部２１は学習装置１からの視線影響情報に基づいて特徴ベクトルｍを生成する。予測部２２は、特徴ベクトルｍと、学習装置１からの重み行列Ｗとに基づいて、現在から所定期間（例えば現在から３秒間）のドライバの視線方向を予測する。後述するように、予測結果は予測視線方向分布ｐとして表される。

図１において、警告システム５０における予測システム１００は、重み行列Ｗを生成する学習機能と、視線方向を予測して予測視線方向分布ｐを生成する予測機能とを有する。そして、警告装置２００は視線方向の予測結果を用いた警告機能を有する。まずは、適切な重み行列Ｗがすでに生成されているとして、予測システム１００における予測機能について説明する。

図３は、予測機能の処理を示すフローチャートである。
まず、学習装置１の視線影響情報取得部１２は視線影響情報を取得する（ステップＳ１）。この視線影響情報は予測装置２の特徴ベクトル生成部２１に出力される。視線影響情報は、画像情報、行動情報、環境情報などである。

画像情報とは、車外カメラ２０によって撮影された車両の前方すなわちドライバ前方の画像などである。例えば車両前方に極めて明るい物体がある場合、ドライバはその物体の方向に視線を向ける可能性が高いと考えられる。あるいは閑散とした道路と混雑した道路とでは、視線の動きが異なることが知られており、前方の画像から閑散または混雑が判別できれば、視線の方向が推測しやすくなると考えられる。

行動情報とは、アクセル操作、ステア操作、ウィンカなどの運転操作や、頭部の向きなど、ドライバの行動を示す情報である。例えば、右方向のウィンカを出している場合、ドライバは視線を右方向に向ける可能性が高いと考えられる。

環境情報とは、上記の行動情報とは異なる情報であり、車両ＣＡＮ（Controller Area Network）から取得できる車速などの車両挙動や位置情報、先行車との距離などである。例えば、車速が高く、かつ先行車との距離が近づいている場合には、ドライバは車線変更する可能性が高く、先行車と車線変更先の進路を交互に見る可能性が高い。

視線影響情報は、画像情報、行動情報および環境情報のすべてを含んでいてもよいし、その一部を含んでいてもよし、視線方向に影響を与える他の情報を含んでいてもよい。

次に、特徴ベクトル生成部２１は視線影響情報から１行ａ列の特徴ベクトルｍを生成する（ステップＳ２）。視線影響情報における画像情報は、例えば大局的特徴量ＧＩＳＴに変換したものを用いる（例えばSiagian, Itti, "Rapid Biologically-Inspired Scene Classification Using Features Shared with Visual Attention", Pattern Analysis and Machine Intelligence, IEEE Transactions on, Vol.29, Issue 2, pp.300-312, 2007やOLIVA, TORRALBA, "Modeling the Shape of the Scene", International Journal of Computer Vision , Vol. 42, Issue3, pp 145-175 , 2001参照）。視線影響情報における行動情報や環境情報は各要素を１列ずつ割り当てる。視線影響情報の要素の数がａである。また、特徴ベクトル生成部２１は、視線方向取得部１１が取得した、ドライバの現在の視線方向も考慮して特徴ベクトルｍを生成してもよい。

続いて、予測部２２は、特徴ベクトルｍおよび重み行列Ｗから、所定期間内におけるドライバの視線方向分布を予測する（ステップＳ３）。予測された視線方向分布を予測視線方向分布ｐと呼ぶ。

図４は、予測部２２の処理を説明する図である。図４（ａ）に示すように、特徴ベクトルｍは１行ａ列のベクトルであり、重み行列Ｗはａ行ｂ列の行列である。そして、予測視線方向分布ｐは特徴ベクトルｍと重み行列Ｗとの積であり、よって予測視線方向分布ｐは１行ｂ列のベクトルとなる。重み行列Ｗの列数ｂは図４（ｂ）のように定められる。すなわち、ドライバの視線方向を垂直方向にｂ１ブロック、水平方向にｂ２ブロックに分割し、ｂ１×ｂ２ブロックを列方向に並べてｂ＝ｂ１×ｂ２列とする。

予測視線方向分布ｐは現在から所定期間におけるドライバの視線を累積したものとなっている。例えば、予測視線方向分布ｐにおけるｂ個の要素のうちｂ０列目の値が大きい場合、所定期間における少なくともある時点で、ｂ０行目と対応するブロックにドライバが視線を向ける確率が高いことを意味する。図４（ｃ）はｂ２＝１（つまり垂直方向には視線方向を分割しない）とした場合の予測視線方向分布ｐの一例であり、縦軸を予測視線方向分布ｐの各成分の値、横軸を予測視線方向分布ｐの水平成分としている。これによればドライバは右方向に視線を向ける確率は高いが左方向に視線を向ける確率は低い、という予測結果を示している。

なお、予測部２２は、特徴ベクトルｍおよび重み行列Ｗとの積を補正して、予測視線方向分布ｐを生成してもよい。例えば、視覚的に目立つ特徴への注意であるボトムアップ注意が視線方向に影響を与え得ることが知られている。そこで、視線影響情報における画像情報のどの部分が目立つかを示す顕著性マップを、特徴ベクトルｍと重み行列Ｗとの積に加算することで予測視線方向分布ｐの精度を向上できる。また、加算する顕著性マップの重みを予め調整しておくことで、さらに精度を向上できる。

顕著性マップの生成には種々の手法が考えられ、公知の手法（例えばItti, Koch, Niebur, "A model of saliency-based visual attention for rapid scene analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20 (11), pp. 1254-1259, 1998、Harel, Koch, Perona, "Graph-Based Visual Saliency" NIPS, vol.19, pp.545-552, 2006,）を利用してもよい。また、人が動くものに目を向けやすいことを利用し、画像中の動き（Optical Flow）がある箇所を目立つ部分としてもよい。また、人が人物や顔に目を向けやすいことを利用し、歩行者検出技術や顔検出技術を用いて推定された人物や顔の位置を目立つ部分としてもよい。さらに、人の視線方向は顔の向きの中心に偏りやすいことを利用し、ドライバの顔の方向に重みをかけることを考慮して顕著性マップを生成してもよい（Judd, Ehinger, "Learning to predict where humans look", Computer Vision, 2009 IEEE 12th International Conference on, pp. 2106 - 2113, 2009）。

予測部２２は、顕著性マップの他、ドライバの頭部方向を中心とするガウス分布を生成し、このガウス分布を特徴ベクトルｍおよび重み行列Ｗとの積に加算して、予測視線方向分布ｐを生成してもよい。
以上の予測機能が運転中継続的に行われる（ステップＳ４）。

続いて、予測システム１００における学習機能について説明する。
図５は、学習機能の処理を示すフローチャートである。
まず、学習装置１の視線方向取得部１１はドライバの視線方向を所定周期（例えば２５Ｈｚ）で取得する（ステップＳ１１）。視線方向は、各時点において、図４（ｂ）に示すｂ１×ｂ２ブロックのうちのどこにドライバの視線が向いているかを示す。

視線方向の取得手法は特に問わないが、例えば、視線方向取得部１１はドライバカメラ１０からの画像からドライバの瞳孔位置を検出し、その瞳孔位置に基づいて視線方向を推定することができる。あるいは、視線方向取得部１１は、近赤外線をドライバに照射してその反射点と瞳孔位置を用いる角膜反射法や、眼球付近の電位を計測してその変化量から視線方向を推定するＥＯＧ法によって視線方向を取得してもよい。

続いて、視線影響情報取得部１２は、図３のステップＳ２と同様の視線影響情報を、視線方向の取得と同じ周期で取得する（ステップＳ１２）。

そして、記憶部１３は視線方向および視線影響情報のデータを保存するか否かを判定する（ステップＳ１３）。例えば、カーナビ操作や信号停止などで運転中でない場合のデータは不要である。よって、行動情報や環境情報などから運転中でないと判断される場合、記憶部１３はデータを保存しないと判定してもよい。また、取得された視線方向の精度が低いと考えられる場合、記憶部１３はデータを保存しないと判定してもよい。精度が低い場合とは、瞳孔の大きさや視線方向が急激に変化した場合や、日光などの外乱が強い場合などである。

データを保存しないと判定された場合（ステップＳ１３のＮＯ）、引き続き視線方向および視線影響情報の取得が行われる（ステップＳ１１，Ｓ１２）。データを保存すると判定された場合（ステップＳ１３のＹＥＳ）、記憶部１３は視線方向および視線影響情報を互いに関連付けて保存する。（ステップＳ１４）。

続いて、学習部１６は学習を行うタイミングであるか否かを判定する（ステップＳ１５）。例えば、学習部１６は、運転中でない場合などの、視線方向および視線影響情報の取得が不要であるときに学習を行うと判定してもよい。あるいは、学習部１６は、所定数のデータが記憶部１３に記憶された場合に学習を行うと判定してもよいし、所定間隔で学習を行うことにしてもよい。

学習を行うタイミングでないと判定された場合（ステップＳ１５のＮＯ）、引き続き視線方向および視線影響情報の取得が行われる（ステップＳ１１，Ｓ１２）。学習を行うタイミングであると判定された場合（ステップＳ１５のＹＥＳ）、累積視線方向行列生成部１４は所定期間における視線方向を累積して累積視線方向ベクトルを生成し（ステップＳ１６）、累積視線方向ベクトルから累積視線方向行列Ｇを生成する（ステップＳ１７）。

図６は、累積視線方向行列生成部１４の処理を説明する図である。
まず、図６（ａ）に示すように、累積視線方向行列生成部１４は所定期間の視線方向を記憶部１３から読み出す。例えば、視線方向の取得が２５Ｈｚで行われ、現在から３秒間の視線方向の予測をする場合、２５×３＝７５個の視線方向が記憶部１３から読みだされる。

続いて、図６（ｂ）に示すように、累積視線方向行列生成部１４は読み出された所定期間の視線方向を足し合わせる。これにより、所定期間において、ｂ１×ｂ２ブロックのうちのどの部分に視線を向けられたかを示すデータが生成される。

さらに、図６（ｃ）に示すように、累積視線方向行列生成部１４は図６（ｂ）のデータに対してガウス畳み込みを行う。その理由は、固視微動という１ｄｅｇ程度以下の小さな視線方向変動の影響や、眼球の歪みや視線方向取得時のエラーなどによって発生する誤差の影響を表現するためである。

そして、図６（ｄ）に示すように、累積視線方向行列生成部１４は図６（ｃ）のデータを列方向に並べて１行ｂ列の累積視線方向ベクトルとする。記憶部１３にｎ個の視線方向が記憶されている場合、累積視線方向行列生成部１４は、用いる視線方向を１つずつずらしながら、ｎ個の累積視線方向ベクトルを生成する。各累積視線方向ベクトルは、ある時点での視線方向ではなく、所定期間の視線方向を累積したものとなっている。

その後、図６（ｅ）に示すように、累積視線方向行列生成部１４はｎ個の累積視線方向ベクトルを行方向に並べてｎ行ｂ列の累積視線方向行列Ｇを生成する。

より詳しく説明する。図６（ｆ）は、記憶部１３に記憶されたｎ個の視線方向を模式的に示しており、４個の視線方向から１つの累積視線方向ベクトルが生成される例を示している。まず、累積視線方向行列生成部１４は１〜４個目の視線方向から１番目の累積視線方向ベクトルを生成する。続いて、累積視線方向行列生成部１４は２〜５個目の視線方向から２番目の累積視線方向ベクトルを生成する。以下同様にして、累積視線方向行列生成部１４は（ｎ−３）〜ｎ個目の視線方向からｎ番目（正確にはｎ−３番目）の累積視線方向ベクトルを生成する。そして、これらｎ個の累積視線方向ベクトルから図６（ｅ）に示す累積視線方向行列Ｇが生成される。

図５に戻り、特徴行列生成部１５は、記憶部１３から視線影響情報を読み出して、図３のステップＳ２と同様にして１行ａ列の特徴ベクトルｍを生成する（ステップＳ１８）。記憶部１３には、視線方向と同数であるｎ個の視線影響情報がそれぞれ視線方向と関連付けて記憶されており、特徴行列生成部１５はｎ個の特徴ベクトルｍを生成する。さらに、特徴行列生成部１５はｎ個の特徴ベクトルｍを行方向に並べて、ｎ行ａ列の特徴行列Ｍを生成する（ステップＳ１９）。

ここで、特徴行列Ｍにおけるａ次元の各要素について、アクセルペダル開度など連続値で表現される要素は、低分解能の離散値に置き換えてもよい。これにより、特徴行列Ｍにおける特徴の各要素のデータ量が減り、計算に必要なメモリ量を削減できる。例えば、ｋ−ｍｅａｎｓを適用することで、必要な情報の欠損を抑えつつ、分解能を下げられることが知られている。

あるいは、ａ次元の各要素のうち、視線方向への影響が特に大きい要素のみを残し、他の要素を削除してもよい。これにより、やはりメモリ量を削減できる。例えば、主成分分析を用いることで、視線方向のばらつきが大きくなる成分、つまり、視線方向に大きな影響を与える成分のみを残すことができる。さらに、視線方向にあまり影響を与えない成分はノイズの影響を受けやすいため、削除することで視線の予測精度も向上する。

以上のようにして生成された累積視線方向行列Ｇおよび特徴行列Ｍから、学習部１６は重み行列Ｗを更新・生成する（ステップＳ２０）。例えば、学習部１６は下記（１）式に示す線形回帰モデルを用いて重み行列Ｗを更新できる。

あるいは、学習部１６は下記（２）式に示すように正則化項を含む線形回帰モデルを用いてもよい。

正則化項を加えることにより、重み行列Ｗに大きな値が入るのを抑えることができる。よって、データの変更や外乱の混入に強いロバストな視線予測が可能となる。正則化項の重みλは、正規化項の強さを表す。λを大きくするほどロバスト性は向上するが、予測精度が低下する。λを小さくするほど予測精度は向上するが、ロバスト性が低下する。重みλは経験的に適切な値に設定すればよい。

学習部１６は、線形回帰モデルに代えて、ＳＶＭ（Support Vector Machine）を用いて重み行列Ｗを生成してもよい。すなわち、累積視線方向行列Ｇを１または−１で二値化し、１をポジティブラベル、−１をネガティブラベルとして、両者を分ける境界線を探索してもよい。

このようにして、学習部１６は、特徴行列Ｍと重み行列Ｗとの積ができるだけ累積視線方向行列Ｇに近づくよう、重み行列Ｗを算出する。新たな重み行列Ｗが予測装置２の予測部２２において用いられる。
以上の学習機能が運転中継続的に行われる（ステップＳ２１）。

以上、予測システム１００について説明した。続いて、図１の警告装置２００による警告機能について説明する。
図７は、警告機能の処理を示すフローチャートである。
警告装置２００の対象物検出部３はドライバが注目すべき対象物があるか否か、ある場合にはどの方向にあるかを検出する（ステップＳ３１）。対象物とは、例えば歩行者、自転車、先行車、信号、道路標識が挙げられる。対象物の検出には公知の手法を適用すればよい。例えば、対象物検出部３は、車外カメラ２０からの画像からＨＯＧ（Histograms of Oriented Gradients）特徴量を抽出し、予め学習されたパラメータを用いて歩行者らしさを推定することができる。あるいは、レーダなどの測距装置を車両に取り付けておき、対象物検出部３はドップラー効果を利用して歩行者らしさを推定してもよい。

なお、対象物検出部３は車両の進行方向から一定の範囲の領域のみから対象物を検出してもよい。例えば、空の領域に歩行者が検出されたといても誤検出の可能性が高いし、仮に正しい検出結果であったとしても車両と衝突する可能性は低く注目する必要がないためである。

そして、対象物が検出された場合（ステップＳ３２のＹＥＳ）、警告判定部４は、検出された対象物の位置と、予測視線方向分布ｐとを比較し、ドライバに対して警告すべきか否かを判定する（ステップＳ３３）。より具体的には、警告判定部４は、対象物の位置に対応する予測視線方向分布ｐの要素の値が閾値ｒ以上であれば、警告不要と判断する。ドライバが所定期間内にその対象物を見る可能性が高いためである。

図４（ｃ）の例では、対象物が位置Ａに検出された場合、位置Ａに対応する予測視線方向分布ｐの要素の値が閾値ｒ未満であって所定期間内にドライバが対象物を見る可能性は低いため、警告判定部４は警告すべきと判定する。一方、対象物が位置Ｂに検出された場合、警告判定部４は警告不要と判定する。

なお、閾値ｒは固定値であってもよいしダイナミックに変動してもよい。例えば、対象物までの距離や車速に応じて閾値ｒを変動させてもよく、具体的には距離が近いほど、また車速が速いほど閾値ｒを小さくしてもよい。

図７に戻り、警告すべきと判定された場合（ステップＳ３３のＹＥＳ）、表示制御部５および／または音声出力制御部６はディスプレイ３０および／またはスピーカ４０から警告を出力する（ステップＳ３４）。これにより、ドライバの視線が向かないと予測された位置に対象物がある場合に、危険を早めに警告でき事故の低減に役立つ。

警告の内容として、対象物の位置を含んでいてもよい。例えば、図４（ｃ）の例では左方向に注目すべき対象物があることを警告してもよい。これにより、ドライバの勘違いを防止でき、事故発生を低減する効果を高めることができる。
以上の警告機能が運転中継続的に行われる（ステップＳ３５）。

ステップＳ３３における警告判定部４の別の処理例として、視線方向取得部１１によって取得されたドライバの現在の視線方向と、予測視線方向分布ｐとを比較して、警告すべきか否かを判定してもよい。両者が大幅に異なる場合、例えば図４（ｃ）において右側に視線を向けると予測されているにもかかわらず、実際のドライバの視線方向が左側である場合、体調不良や脇見運転などドライバが正常に運転できていない状態にあるおそれがある。よって、このような場合に警告を発することでやはり事故の発生を低減できる。

なお、予測機能に引き続いて警告機能が行われるが、これらと同時並行で学習機能が行われてもよいし、別個に行われてもよい。

このように、本実施形態では、現在から将来にかけての所定期間での視線方向を累積した累積視線方向行列Ｇと、同期間での視線影響情報に基づく特徴行列Ｍとを用いて重み行列Ｗを生成する。そのため、ある時点ではなく同期間での視線方向を精度よく予測できる。

ところで、図１に示した警告システム５０内の各部は１つの装置内にあってもよいし、複数の装置に分散していてもよい。同様に、図２に示した予測システム１００内の各部は、１つの装置内にあってもよいし、複数の装置に分散していてもよい。また、学習装置１内の少なくとも一部が予測装置２内にあってもよいし、予測装置２内の少なくとも一部が学習装置１内にあってもよい。

図８は、複数の装置に分散された予測システム１００’の構成例を示すブロック図である。この予測システム１００’は学習装置１’および予測装置２’がネットワーク６０を介して接続されて構成される。ネットワーク６０は有線ネットワークでもよいし無線ネットワークでもよいし、両者が混在していてもよい。学習装置１’は、例えば処理能力が高いサーバである。予測装置２’は、例えばユーザが用いる端末装置であり、学習装置１’よりは処理能力が低くてもよい。

学習装置１’は少なくとも学習部１６を有し、望ましくは記憶部１３、累積視線方向行列生成部１４および特徴行列生成部１５を有する。さらに、学習装置１’はネットワーク６０を介して予測装置２’と通信するための通信部１７を有する。

予測装置２’は少なくとも予測部２２を有し、望ましくは視線方向取得部１１、視線影響情報取得部１２および特徴ベクトル生成部２１を有する。さらに、予測装置２’はネットワーク６０を介して学習装置１’と通信するための通信部２３を有する。また、予測装置２’にドライバカメラ１０および車外カメラ２０が接続される。

この予測システム１００’では、ユーザが用いる予測装置２’が視線方向および視線影響情報を取得し、通信部２３が学習装置１’にこれらを送信する。そして、重み行列Ｗの生成は処理能力が高い学習装置１’で行う。得られた重み行列Ｗは通信部１７によって予測装置２’に送信される。そのため、予測装置２’は負荷が大きい学習処理を行う必要がない。

１台の学習装置１’に対して複数の予測装置２’から視線方向および視線影響情報が送信されてもよい。これにより、複数のドライバからのデータを集約でき、予測の精度を向上できる。また、視線の予測対象となるドライバと、学習用の視線方向および視線影響情報が取得されるドライバは異なっていてもよい。例えば後者を教習所の指導教官とすることで模範的な視線方向を予測できる。そして、模範的な視線方向と、ドライバの予測視線方向分布ｐとが大きく異なる場合に警告判定部４が警告を発することで、ドライバの運転技能の向上が期待できる。

また、本予測システム１００の用途は車両用の警告システムに限られるものではない。例えば、パソコンに搭載してもよい。そして、Ｗｅｂ閲覧中のユーザを視線方向予測の対象者とし、ユーザが視線を向けると予測された方向に広告を表示することが考えられる。この用途においては、図１のドライバカメラ１０や車外カメラ２０の代わりに、ノートパソコンのディスプレイ上部に内蔵カメラを用いてもよいし、外付けカメラを用いるようにしてもよい。

そして、図３のステップＳ１において、視線影響情報における画像情報として、ディスプレイに表示されている画像を用いることができる。行動情報として、マウスやキーボードなど入力インターフェースに対する操作を用いることができる。環境情報としては、当該パソコンにおける他のソフトウェアの実行状況を用いることができる。

図５のステップＳ１３において、広告を表示予定のページ以外をユーザが閲覧している場合には、データ保存の必要がないと判定してもよい。同ステップＳ１５において、パソコンの処理負荷が低いときにバックグラウンドで学習を行うと判定してもよい。

その他の用途例として、テレビゲームやアトラクションに適用してもよい。ユーザの視線方向を予測し、視線が向かないと予測された方向にイベントを発生させることで、意外性からユーザの満足度を向上できる。

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

１，１’ 学習装置
１１視線方向取得部
１２視線影響情報取得部
１３記憶部
１４累積方向行列生成部
１５特徴行列生成部
１６学習部
１７通信部
２，２’ 予測装置
２１特徴ベクトル生成部
２２予測部
２３通信部
３対象物検出部
４警告判定部

Claims

対象者の、現在から所定期間における視線方向を予測するための重み行列を生成する学習装置であって、
前記対象者の視線方向を取得する視線方向取得部と、
前記視線方向に影響を与える視線影響情報を取得する視線影響情報取得部と、
前記所定期間における前記視線方向に基づいて累積視線方向ベクトルを生成し、複数の前記累積視線方向ベクトルから累積視線方向行列を生成する累積視線方向行列生成部と、
前記所定期間における前記視線影響情報に基づいて特徴行列を生成する特徴行列生成部と、
前記累積視線方向行列と前記特徴行列とを関連付ける重み行列を生成する学習部と、を備える、重み行列学習装置。
前記学習部は、前記特徴行列と前記重み行列との積が前記累積視線方向行列に近づくよう、前記重み行列を生成する、請求項１に記載の重み行列学習装置。
前記視線影響情報は、前記対象者の前方の画像情報、前記対象者の行動情報、および、環境情報のうちの少なくとも１つを含む、請求項１または２に記載の重み行列学習装置。
前記特徴行列生成部は、前記対象者の現在の視線方向も考慮して、前記特徴行列を生成する、請求項１乃至３のいずれかに記載の重み行列学習装置。
対象者の、現在から所定期間における視線方向を予測する視線方向予測システムであって、
前記対象者の視線方向を取得する視線方向取得部と、
前記視線方向に影響を与える視線影響情報を取得する視線影響情報取得部と、
前記所定期間における前記視線方向に基づいて累積視線方向ベクトルを生成し、複数の前記累積視線方向ベクトルから累積視線方向行列を生成する累積視線方向行列生成部と、
前記所定期間における前記視線影響情報に基づいて特徴行列を生成する特徴行列生成部と、
前記累積視線方向行列と前記特徴行列とを関連付ける重み行列を生成する学習部と、
前記視線影響情報に基づいて特徴ベクトルを生成する特徴ベクトル生成部と、
前記重み行列および前記特徴ベクトルに基づいて、前記所定期間における前記対象者の視線方向を予測する予測部と、を備える、視線方向予測システム。
当該視線方向予測システムは、ネットワークを介して接続された予測装置および学習装置から構成され、
前記予測装置は、少なくとも前記予測部を有し、
前記学習装置は、少なくとも前記学習部と、前記重み行列を前記予測装置に送信する第１通信部と、を有する、請求項５に記載の視線方向予測システム。
前記予測装置は、前記視線方向取得部と、前記視線影響情報取得部と、前記視線方向および前記視線影響情報を前記学習装置に送信する第２通信部と、を有し、
前記学習装置は、前記累積視線方向行列生成部と、前記特徴行列生成部と、を有する、請求項６に記載の視線方向予測システム。
前記予測部は、前記対象者の前方の画像情報における目立つ位置、および／または、前記対象者の頭部方向も考慮して、前記対象者の視線方向を予測する、請求項５乃至７のいずれかに記載の視線方向予測システム。
請求項５乃至８のいずれかに記載の視線方向予測システムと、
前記予測された視線方向に基づいて警告するか否かを判定する警告判定部と、を備える警告システム。
前記対象者が注目すべき対象物の位置を検出する対象物検出部を備え、
前記警告判定部は、前記対象物の位置と前記予測された視線方向とを比較して、警告するか否かを判定する、請求項９に記載の警告システム。
前記警告判定部は、前記対象者の実際の視線方向と、前記予測された視線方向とを比較して、警告するか否かを判定する、請求項９に記載の警告システム。
対象者の、現在から所定期間における視線方向を予測するための重み行列を生成する学習方法であって、
前記対象者の視線方向を取得するステップと、
前記視線方向に影響を与える視線影響情報を取得するステップと、
前記所定期間における前記視線方向に基づいて累積視線方向ベクトルを生成し、複数の前記累積視線方向ベクトルから累積視線方向行列を生成するステップと、
前記所定期間における前記視線影響情報に基づいて特徴行列を生成するステップと、
前記累積視線方向行列と前記特徴行列とを関連付ける重み行列を生成するステップと、を備える、重み行列学習方法。