JP6847323B2 - 視線検出装置および視線検出方法 - Google Patents

Description

本発明は、視線検出装置および視線検出方法に関する。

特許文献１には、運転者状態検出装置が開示されている。運転者状態検出装置は、運転手の目の基準位置を検出し、その基準位置に基づいて運転者の視認領域を判定する。運転者状態検出装置は、運転者の体格など個人的特徴によらず、精度の高い検出を実現している。

特許文献２には、視線検出装置が開示されている。従来、顔が横を向いて片方の目が隠れたり、髪の毛に覆われて目が隠れたりすることにより視線検出精度は低下していた。そのような課題を解決するため、特許文献２に記載の視線検出装置は、目の表出の程度または顔の向きで表される信頼度に応じて、視線推定に使用する目(左目のみ、両目、右目のみ)を選択する手段を有する。視線検出装置は、その選択された目の視線を推定することにより、目の隠れが発生した場合においても、高精度な視線検出を可能としている。

特開２００５−６６０２３号公報 特許第５６１８６８６号公報

車両のセンターコンソール付近に取り付けられたカメラによって運転手の視線方向を推定する場合、カメラから遠い方の目(例えば、右ハンドル車両の運転手が視線検出の対象者である場合、その運転手の右目)の画像は小さく撮像される。また、顔の向きによってはカメラに対して目が隠れることがある。このような場合、視線の検出精度は低下する。よって、視線方向は、カメラに近い方の目によって検出されるのが妥当である。また、カメラから近い方の目の情報に基づき視線を算出することによって、視線検出の際の計算量も抑えられる。

運転中に運転手の顔向きが変動し、カメラに近い方の目が切り替わる場合、視線推定の対象の目が切り替わる。例えば、右ハンドル車両の運転手が正面を向いて運転している最中に顔を助手席側のサイドミラーに向けた場合、視線推定の対象の目が左目から右目に切り替わる。視線推定の対象の目が切り替わったとしても、その切替え前後において、視線推定方向は連続的に変化することが期待される。しかし、運転手の左目および右目の各々の特徴が異なる場合、視線が連続的に変化しないことがある。不連続な変化は、視線推定に関して誤判定を引き起こす可能性がある。

本発明は、以上のような課題を解決するためになされたものであり、視線検出の対象の目の切り替えが発生した際に、切り替え前後の視線の推定結果に関する信頼度を出力する視線検出装置の提供を目的とする。

本発明に係る視線検出装置は、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択する推定対象選択部と、一の視線検出モードにおける視線検出対象者の視線を推定する視線推定部と、推定対象選択部の選択によって視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定する信頼度決定部と、第２視線の情報と第２視線の信頼度とを出力する視線方向出力部と、を含む。

本発明によれば、視線検出の対象の目の切り替えが発生した際に、切り替え前後の視線の推定結果に関する信頼度を出力する視線検出装置の提供が可能である。

本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。

実施の形態１にける視線検出装置の構成を示すブロック図である。 実施の形態１にける視線検出装置が有する処理回路の一例を示す図である。 実施の形態１にける視線検出装置が有する処理回路の別の一例を示す図である。 実施の形態１にける視線検出装置の動作および視線検出方法を示すフローチャートである。 実施の形態２における視線検出装置およびそれに関連して動作する装置の構成を示すブロック図である。 実施の形態２における車両の内部を示す図である。 実施の形態２における車両の内部を示す図である。 実施の形態２における視線検出装置の動作および視線検出方法の一部を示すフローチャートである。 実施の形態２における視線検出装置の動作および視線検出方法の一部を示すフローチャートである。 実施の形態２における視線検出装置の動作および視線検出方法の一部を示すフローチャートである。 実施の形態２における視線検出装置の動作および視線検出方法の一部を示すフローチャートである。 実施の形態２における視線検出対象者とカメラとの位置関係の一例を示す図である。 実施の形態２における視線推定結果を示す図である。 実施の形態２における視線推定結果を示す図である。 実施の形態２における視線推定結果を示す図である。 実施の形態２における視線推定結果を示す図である。 実施の形態３における視線検出装置およびそれに関連して動作する装置の構成を示すブロック図である。

＜実施の形態１＞
（視線検出装置の構成）
図１は、実施の形態１における視線検出装置１００の構成を示すブロック図である。

視線検出装置１００は、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０を有する。

推定対象選択部１０は、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択する。視線検出対象者とは、例えば、車両の搭乗者である。車両の搭乗者とは、例えば、運転手である。ただし、視線検出対象者は、それらに限定されるものではない。視線推定対象の目とは、右目、左目または両目である。

視線推定部２０は、推定対象選択部により選択された視線検出モードにおける視線検出対象者の視線を推定する。例えば、視線検出モードが右目である場合、視線推定部２０は視線検出対象者の右目の視線を推定する。視線検出モードが左目である場合、視線推定部２０は視線検出対象者の左目の視線を推定する。視線検出モードが両目である場合、視線推定部２０は視線検出対象者の両目の視線を推定する。

信頼度決定部３０は、推定対象選択部１０の選択によって視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定する。例えば、視線検出モードが右目から左目、または、左目から右目に切り替わった場合に、信頼度決定部３０は、第２視線の信頼度を決定する。または、例えば、視線検出モードが両目から片目、または、片目から両目に切り替わった場合に、信頼度決定部３０は、第２視線の信頼度を決定する。

視線方向出力部４０は、視線推定部２０にて推定された第２視線の情報と信頼度決定部３０にて決定された第２視線の信頼度を出力する。

図２は視線検出装置１００が有する処理回路９０の一例を示す図である。推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の各機能は、処理回路９０により実現される。すなわち、処理回路９０は、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０を有する。

処理回路９０が専用のハードウェアである場合、処理回路９０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせた回路等である。推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の各機能は、複数の処理回路により個別に実現されてもよいし、１つの処理回路によりまとめて実現されてもよい。

図３は視線検出装置１００が有する処理回路の別の一例を示す図である。処理回路は、プロセッサ９１とメモリ９２とを有する。プロセッサ９１がメモリ９２に格納されるプログラムを実行することにより、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ９１により実行されることにより各機能が実現される。すなわち、視線検出装置１００は、プログラムを格納するメモリ９２と、そのプログラムを実行するプロセッサ９１とを有する。

プログラムには、視線検出装置１００が、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択し、一の視線検出モードにおける視線検出対象者の視線を推定し、視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定し、第２視線の情報と第２視線の信頼度とを出力する機能が記述されている。また、プログラムは、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の手順または方法をコンピュータに実行させるものである。

プロセッサ９１は、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。メモリ９２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の、不揮発性または揮発性の半導体メモリである。または、メモリ９２は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、今後使用されるあらゆる記憶媒体であってもよい。

上述した推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。

（視線検出装置の動作および視線検出方法）
図４は、実施の形態１にける視線検出装置１００の動作および視線検出方法を示すフローチャートである。

ステップＳ１にて、推定対象選択部１０は、視線検出対象者の視線推定対象の目を選択する。つまり、一の視線検出モードが選択される。

ステップＳ２にて、視線推定部２０は、視線検出対象者の視線を推定する。

ステップＳ３にて、信頼度決定部３０は、視線検出モードが切り替わったか否かを判定する。信頼度決定部３０は、視線検出モードが切り替わったと判定した場合、ステップＳ４が実行される。信頼度決定部３０は、視線検出モードが切り替わっていないと判定した場合、ステップＳ１が再び実行される。

ステップＳ４にて、信頼度決定部３０は、第１視線と第２視線とに基づき、第２視線の信頼度を決定する。

ステップＳ５にて、視線方向出力部４０は、第２視線の情報と第２視線の信頼度とを出力する。

（効果）
以上をまとめると、実施の形態１における視線検出装置１００は、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択する推定対象選択部１０と、一の視線検出モードにおける視線検出対象者の視線を推定する視線推定部２０と、推定対象選択部１０の選択によって視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定する信頼度決定部３０と、第２視線の情報と第２視線の信頼度とを出力する視線方向出力部４０と、を含む。

以上の構成により、視線検出装置１００は、視線検出の対象の目の切り替えが発生した際に、切り替え前後の視線の推定結果に関する信頼度を出力することが可能である。左右の目のそれぞれの瞳孔位置は、個人の特徴（例えば斜視など）により異なる。視線検出モードが切り替わった場合、切り替え前後の各視線の連続性が保たれない場合がある。例えば、運転手の脇見を判定するシステムが、そのような不連続な視線の検出結果を使用した場合、脇見の判定を誤る可能性がある。実施の形態１における視線検出装置１００は、視線検出モードが切り替わった場合に視線の信頼度を出力することで、精度の高い視線検出を可能とする。

以上をまとめると、実施の形態１における視線検出方法は、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択し、一の視線検出モードにおける視線検出対象者の視線を推定し、視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定し、第２視線の情報と第２視線の信頼度とを出力する、視線検出方法。

以上の構成により、視線検出方法は、視線検出の対象の目の切り替えが発生した際に、切り替え前後の視線の推定結果に関する信頼度を出力することが可能である。左右の目のそれぞれの瞳孔位置は、個人の特徴（例えば斜視など）により異なる。視線検出モードが切り替わった場合、切り替え前後の各視線の連続性が保たれない場合がある。例えば、運転手の脇見を判定するシステムが、そのような不連続な視線の検出結果を使用した場合、脇見の判定を誤る可能性がある。実施の形態１における視線検出方法は、視線検出モードが切り替わった場合に視線の信頼度を出力することで、精度の高い視線検出を可能とする。

＜実施の形態２＞
実施の形態２における視線検出装置および視線検出方法を説明する。なお、実施の形態１と同様の構成および動作については説明を省略する。

（視線検出装置の構成）
図５は、実施の形態２における視線検出装置１０１およびそれに関連して動作する装置の構成を示すブロック図である。図５には、視線検出装置１０１に関連して動作する装置として、画像取得装置１１０および視線情報利用装置１２０が示されている。視線検出装置１０１は、画像取得装置１１０にて取得された車両の運転手の画像に基づき、運転手の視線を検出する。

画像取得装置１１０は、視線検出対象者の画像を撮影する。画像取得装置１１０は、例えば、車両に搭載されたカメラである。図６および図７は、車両１の内部を示す図である。カメラ２は、車内の前方のセンターコンソールまたはその付近に設置されている。ここでは、車両１は右ハンドル車であり、視線検出対象者である運転手３が前方を向いた場合、カメラ２は左前方に位置する。カメラ２は、運転手３の顔の周辺の画像を取得できるように配置されている。カメラ２は、カメラ２の光軸２Ａが運転席の方向を向くように設置されている。ただし、カメラ２は、その光軸２ＡがＺ軸方向（車両１の前方と後方とを結ぶ方向）を向いて設けられていてもよい。カメラ２の光軸２ＡがＺ軸方向を向いていることにより、カメラ２は、運転手３および助手席の搭乗者の両方を撮影することができる。また、カメラ２は、運転手３の顔の周辺の画像を連続的に画像を撮影している、つまり映像を撮影している。以下、画像とは、映像を構成するフレームごとの画像のことである。

顔特徴検出部５０は、視線検出対象者の画像を画像取得装置１１０から取得する。顔特徴検出部５０は、その画像に基づき、視線検出対象者の顔の特徴を検出する。顔の特徴とは、例えば、顔を構成する器官などの所定の部位（所定の顔のパーツの位置）のことである。顔の特徴とは、例えば、目の位置である。

瞳孔検出部６０は、顔の特徴つまり目の位置に基づき、瞳孔位置を検出する。瞳孔位置とは、顔の画像において、目尻および目頭に対する瞳孔の中心位置のことである。

瞳孔基準位置決定部７０は、視線検出対象者の正面視認時における瞳孔位置である瞳孔基準位置を決定する。運転手３は運転中におおよそ正面方向つまり車両１の前方を向いているという仮定に基づき、瞳孔基準位置決定部７０は、複数の画像（複数のフレーム）から、瞳孔位置の度数分布を求める。その度数分布に基づき、瞳孔基準位置決定部７０は、運転手３の正面視認時における瞳孔基準位置を決定する。瞳孔基準位置決定部７０は、運転手３が正面方向を視認している画像に基づき、瞳孔位置の度数分布を作成することが好ましい。そのため、瞳孔基準位置決定部７０は、車両１の走行状態に応じて、検出された瞳孔位置を度数分布の作成のためのデータとして採用するか否かを判定してもよい。車両１の走行状態とは、車両１の速度または操舵角などである。例えば、瞳孔基準位置決定部７０は、車両１の速度が予め定められた速度以下の場合に検出された瞳孔位置を度数分布の作成のためのデータとして採用しない。または例えば、瞳孔基準位置決定部７０は、ハンドルが切られている状態で検出された瞳孔位置を度数分布の作成のためのデータとして採用しない。

顔向き推定部８０は、顔の特徴に基づき、視線検出対象者の顔の方向を推定する。

推定対象選択部１０は、視線検出対象者の顔の方向に基づき、視線検出モードを選択する。つまり、推定対象選択部１０は、運転手３の右目、左目または両目を視線検出モードとして選択する。

視線推定部２０は、推定対象選択部１０にて選択された視線検出モードにおける瞳孔位置と瞳孔基準位置との差に基づき、視線検出対象者の視線を推定する。例えば、視線検出モードが片目（右目もしくは左目）である場合、視線推定部２０は片目の瞳孔位置と瞳孔基準位置との差に基づき、視線を推定する。または例えば、視線検出モードが両目である場合、視線推定部２０は右目および左目のそれぞれの瞳孔位置と瞳孔基準位置との差に基づき、右目および左目のそれぞれの視線を推定する。右目の視線と左目の視線とが交わる位置が視線検出対象者によって注視されている位置である。

信頼度決定部３０は、推定対象選択部１０の選択によって視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定する。例えば、視線検出モードが右目から左目、もしくは、左目から右目に切り替わった場合に、信頼度決定部３０は、第２視線の信頼度を決定する。または、例えば、視線検出モードが片目から両目、もしくは、両目から片目に切り替わった場合に、信頼度決定部３０は、第２視線の信頼度を決定する。

信頼度決定部３０は、第２視線の信頼度を以下のように決定してもよい。例えば、信頼度決定部３０は、第１視線と第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。つまり、信頼度決定部３０は、第１視線と第２視線との連続性が予め定められた基準を満たさない場合に、第２視線の信頼度を決定する。

信頼度決定部３０は、他の一例として、視線検出モードが切り替わる前の予め定められた第１時間内における第１視線と、視線検出モードが切り替わった後の予め定められた第２時間内における第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。または、例えば、信頼度決定部３０は、視線検出モードが切り替わる前の予め定められた時間内における第１視線の変化に基づいて予測される視線の予測範囲内に第２視線が含まれてない場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。

視線方向出力部４０は、視線推定部２０にて推定された第２視線の情報と信頼度決定部３０にて決定された第２視線の信頼度を出力する。

視線情報利用装置１２０は、視線検出装置１０１にて推定された第２視線の情報と信頼度とを利用する。視線情報利用装置１２０は、例えば、運転者の脇見運転を防止するための警告装置である。

視線検出装置１０１、画像取得装置１１０および視線情報利用装置１２０のいずれかは、車両に搭載されるドライバーモニタリングシステムの一部を構成していてもよい。

視線検出装置１０１は、実施の形態１と同様の処理回路を有する。処理回路は、顔特徴検出部５０、顔向き推定部８０、瞳孔検出部６０、瞳孔基準位置決定部７０、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０を有する。つまり、実施の形態２に記載の各部の機能は、処理回路により実現される。

（視線検出装置の動作および視線検出方法）
図８は、実施の形態２における視線検出装置１０１の動作および視線検出方法の一部を示すフローチャートである。より詳細には、図８は、視線検出対象者の顔の方向を推定する方法を示すフローチャートである。

ステップＳ１１にて、画像取得装置１１０は、視線検出対象者の画像を取得する。ここでは、画像取得装置１１０は、運転手３の顔周辺の画像を撮影する。

ステップＳ１２にて、顔特徴検出部５０は、顔周辺の画像に基づき、顔の特徴を検出する。ここでは、顔特徴検出部５０は、運転手３の顔周辺の画像に基づき、顔および顔のパーツ情報を取得する。

ステップＳ１３にて、顔特徴検出部５０は、特徴量を検出できたか否かを判定する。顔特徴検出部５０が特徴量を検出できたと判定した場合、ステップＳ１４が実行される。顔特徴検出部５０が特徴量を検出できていないと判定した場合、ステップＳ１１が再び実行される。ここでは、顔特徴検出部５０は、運転手３の顔および顔のパーツ情報を取得できたか否かを判定する。

ステップＳ１４にて、顔向き推定部８０は、顔の方向を推定する。ここでは、顔向き推定部８０は、運転手３の顔および顔のパーツ情報に基づき、運転手３の顔向きを推定する。

図９は、実施の形態２における視線検出装置１０１の動作および視線検出方法の一部を示すフローチャートである。より詳細には、図９は、瞳孔基準位置の決定方法を示すフローチャートである。

ステップＳ１１からステップＳ１３は、図８における各ステップと同様であるためそれらの説明は省略する。ただし、ステップＳ１３にて、顔特徴検出部５０が特徴量を検出できたと判定した場合、ステップＳ２１が実行される。

ステップＳ２１にて、瞳孔検出部６０は、顔および顔のパーツ情報に基づき、瞳孔位置を検出し、瞳孔基準位置決定部７０は、度数分布を作成する。

ステップＳ２２にて、瞳孔基準位置決定部７０は、瞳孔基準位置を決定するのに十分な度数分布が収集できたか否かを判定する。十分な度数分布が収集できたと判定された場合、ステップＳ２３が実行される。十分な度数分布が収集できていないと判定された場合、ステップＳ１１が再び実行される。この判定条件は、度数分布のプロット数や、度数分布の実施時間などで決定される。

ステップＳ２３にて、瞳孔基準位置決定部７０は、瞳孔基準位置を決定する。この際、瞳孔基準位置決定部７０は、瞳孔位置の度数分布に基づき、瞳孔の存在頻度が最も高い位置を算出し、その位置を運転手３の瞳孔基準位置に決定する。正面視認時の瞳孔位置は人ごとに異なるものの、この瞳孔基準位置の決定方法により、視線推定装置は個人の特徴に応じた瞳孔基準位置を決定することができる。

図１０は、実施の形態２における視線検出装置１０１の動作および視線検出方法の一部を示すフローチャートである。より詳細には、図１０は、視線検出モードの選択方法を示すフローチャートである。

ステップＳ３１にて、推定対象選択部１０は、カメラ２に対する顔の方向を算出する。

ステップＳ３２にて、推定対象選択部１０は、カメラ２に近い方の目を視線検出対象の目として選択する。

図１１は、実施の形態２における視線検出装置１０１の動作および視線検出方法の一部を示すフローチャートである。より詳細には、図１１は、視線の信頼度の決定方法を示すフローチャートである。

ステップＳ１１からステップＳ１３は、図８における各ステップと同様であるためそれらの説明は省略する。ただし、ステップＳ１３にて、顔特徴検出部５０が特徴量を検出できたと判定した場合、ステップＳ４１が実行される。

ステップＳ４１にて、視線推定部２０は、現在の視線検出モードにおける瞳孔位置を検出する。例えば、視線検出モードが左目である場合、視線推定部２０は、左目の瞳孔位置を検出する。

ステップＳ４２にて、視線推定部２０は、視線を推定する。例えば、視線推定部２０は、ステップＳ２３で決定された左目の瞳孔基準位置と、ステップＳ４１にて検出された左目の瞳孔位置との関係から視線を推定する。

ステップＳ４３にて、信頼度決定部３０は、視線検出モードが切り替わったか否かを判定する。つまり、信頼度決定部３０は、現在の視線検出モードと前回検出時の視線検出モードとが異なるか否かを判定する。この前回検出時の視線検出モードおよび前回検出時の視線検出モードにおいて推定された視線は、例えば、視線検出装置１０１の記憶部（図示せず）に格納されている。信頼度決定部３０は、その記憶部から前回検出時の視線検出モードを読み込み、上記の判定を行う。視線検出モードが切り替わったと判定された場合、ステップＳ４４が実行される。視線検出モードが切り替わっていないと判定された場合、ステップＳ１１が再び実行される。

ステップＳ４４にて、信頼度決定部３０は、視線検出モードが切り替わる前の第１視線と視線検出モードが切り替わった後の第２視線とが連続しているか否かを判定する。第１視線と第２視線とが連続していないと判定された場合、ステップＳ４５が実行される。第１視線と第２視線とが連続していると判定された場合、ステップＳ４６が実行される。

ステップＳ４５にて、信頼度決定部３０は、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。つまり、信頼度決定部３０は、第２視線の信頼度を第１視線の信頼度よりも下げる。

ステップＳ４６にて、視線方向出力部４０は、第２視線の情報および第２視線の信頼度を出力する。また、第２視線の情報は、ステップＳ１４にて推定された顔の方向を含んでいてもよい。

（信頼度決定方法）
図１２は、実施の形態２における視線検出対象者である運転手３とカメラ２との位置関係の一例を示す図である。図１２における０°方向が、正面方向（車両１の前方）である。車両１が右ハンドル車の場合、９０°方向が助手席の位置する方向である。カメラ２は、上述したように、車両１のセンターコンソール付近に設置されている。図１２においては、視線検出モードとして左目が選択され、その左目の視線が推定されている。

図１３から図１６は、実施の形態２における視線推定結果を示す図である。時間の経過とともに、運転手３の視線が０°から９０°の方向に移動している。時間Ｔ１において、視線検出モードが切り替わる。例えば、ここでは、視線検出モードが左目から右目、または左目から両目に切り替わる。各図において、黒塗りの印が第１視線であり、白抜きの印が第２視線である。以下、１つの視線のデータが１つの画像に基づいて推定された視線として説明する。

図１３において、信頼度決定部３０は、第１視線と第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。例えば、視線検出モードが切り替わる前の第１視線を基準として、予め定められた範囲Ａに第２視線が含まれる場合、信頼度決定部３０は、信頼度を１．０に決定する。また、予め定められた範囲Ｂに第２視線が含まれる場合、信頼度決定部３０は、信頼度を０．８に決定する。予め定められた範囲Ｃに第２視線が含まれる場合、信頼度決定部３０は、信頼度を０．５に決定する。予め定められた範囲Ｃの外側に第２視線が位置する場合、信頼度決定部３０は、信頼度を０に決定する。このような方法により、信頼度決定部３０は、第１視線と第２視線との連続性に基づく視線の信頼度を決定することができる。

図１４において、第１視線は、予め定められた第１時間内における視線の平均値である。予め定められた第１時間は、視線検出モードが切り替わる前の時間Ｔ０からＴ１までの期間である。第１視線は、その第１時間における３つの視線の平均値として算出されている。つまり、信頼度決定部３０は、予め定められた第１時間内における視線の平均値と、第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。

図１５において、第２視線は、予め定められた第２時間内における視線の平均値である。予め定められた第２時間は、視線検出モードが切り替わった後の時間Ｔ１からＴ２までの期間である。第２視線は、その第２時間における３つの視線の平均値として算出されている。つまり、信頼度決定部３０は、第１視線と、予め定められた第２時間内における視線の平均値との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。

また、図示は省略するが、予め定められた第１時間内における視線の平均値である第１視線と、予め定められた第２時間内における視線の平均値である第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。

図１６において、信頼度決定部３０は、視線検出モードが切り替わる前の予め定められた時間内における第１視線の変化に基づいて予測される視線の予測範囲Ｄ内に第２視線が含まれてない場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。図１６において、予め定められた時間は、視線検出モードが切り替わる前の時間Ｔ０からＴ１までの期間である。信頼度決定部３０は、視線の予測範囲Ｄに第２視線が含まれる場合、例えば、信頼度を１．０に決定する。視線の予測範囲Ｄよりも外側に第２視線が位置する場合、信頼度決定部３０は、信頼度を１．０よりも小さな値に決定する。

（実施の形態２の変形例）
ステップＳ４２およびステップＳ４３の間にて、信頼度決定部３０は、ステップＳ４２にて推定された視線に関する信頼度である第１信頼度を決定してもよい。その後、ステップＳ４５にて、信頼度決定部３０は、第２視線に関する第１信頼度を補正するための第２信頼度を決定することにより、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。つまり、信頼度決定部３０は、第２視線の第１信頼度を第２信頼度で補正することにより、第２視線の信頼度を第１視線の信頼度よりも下げてもよい。

ステップＳ４６にて、視線方向出力部４０は、第２視線の情報および補正された第２視線の信頼度を出力する。また、第２視線の情報は、ステップＳ１４にて推定された顔の方向を含んでいてもよい。

以上をまとめると、実施の形態２における視線検出装置１０１の信頼度決定部３０は、第１視線と第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。

このような構成により、視線検出装置１０１は、視線検出モードの切り替え前後の各視線の連続性が保たれない場合に、視線の信頼度を下げることで、精度の高い視線検出を可能とする。

また、実施の形態２における視線検出装置１０１において、第１視線は、視線検出モードが切り替わる前の予め定められた第１時間内における視線の平均値であってもよい。

このような構成により、視線検出装置１０１は、視線検出モードの切り替え前後の各視線の連続性が保たれない場合に、視線の信頼度を下げることで、精度の高い視線検出を可能とする。視線の平均値による信頼度の決定が可能であるため、信頼度決定の精度が向上する。

また、実施の形態２における視線検出装置１０１において、第２視線は、視線検出モードが切り替わった後の予め定められた第２時間内における視線の平均値であってもよい。

このような構成により、視線検出装置１０１は、視線検出モードの切り替え前後の各視線の連続性が保たれない場合に、視線の信頼度を下げることで、精度の高い視線検出を可能とする。視線の平均値による信頼度の決定が可能であるため、信頼度決定の精度が向上する。

また、実施の形態２における視線検出装置１０１の信頼度決定部３０は、視線検出モードが切り替わる前の予め定められた時間内における第１視線の変化に基づいて予測される視線の予測範囲内に第２視線が含まれてない場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。

このような構成により、視線検出装置１０１は、視線検出モードの切り替え前後の各視線の連続性が保たれない場合に、視線の信頼度を下げることで、精度の高い視線検出を可能とする。第２視線の連続性を予測することが可能であるため、信頼度決定の精度が向上する。

また、実施の形態２における視線検出装置１０１の信頼度決定部３０は、視線検出モードが右目から左目、または、左目から右目に切り替わった場合に第２視線の信頼度を決定する。

このような構成により、視線検出装置１０１は、左右の目のそれぞれの瞳孔基準位置が異なる場合であっても、視線検出モードの切り替え前後において精度の高い視線検出を可能とする。

また、実施の形態２における視線検出装置１０１の信頼度決定部３０は、視線検出モードが両目から片目、または、片目から両目に切り替わった場合に第２視線の信頼度を決定してもよい。

このような構成により、視線検出装置１０１は、視線検出装置１０１は、左右の目のそれぞれの瞳孔基準位置が異なる場合であっても、視線検出モードの切り替え前後において精度の高い視線検出を可能とする。

また、実施の形態２における視線検出装置１０１は、視線検出対象者の画像を取得し、画像に基づき、視線検出対象者の顔の特徴を検出する顔特徴検出部５０と、顔の特徴に基づき、視線検出対象者の顔の方向を推定する顔向き推定部８０と、をさらに含む。推定対象選択部１０は、視線検出対象者の顔の方向に基づき、視線検出モードを選択する。

このような構成により、視線検出装置１０１は、精度の高い視線検出を可能とする。

また、実施の形態２における視線検出装置１０１は、顔の特徴に基づき、瞳孔位置を検出する瞳孔検出部６０と、瞳孔位置に基づき、視線検出対象者の正面視認時における瞳孔位置である瞳孔基準位置を決定する瞳孔基準位置決定部７０と、をさらに含む。視線推定部２０は、推定対象選択部１０にて選択された視線検出モードにおける瞳孔位置と瞳孔基準位置との差に基づき、視線検出対象者の視線を推定する。

このような構成により、視線検出装置１０１は、精度の高い視線検出を可能とする。

＜実施の形態３＞
各実施の形態にて示された視線検出装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、ＰＮＤ（Portable Navigation Device）などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。

図１７は、実施の形態３における視線検出装置１００およびそれに関連して動作する装置の構成を示すブロック図である。

視線検出装置１００および通信装置１３０がサーバ３００に設けられている。視線検出装置１００は、車両１に設けられた画像取得装置１１０から通信装置１４０および通信装置１３０を介して視線検出対象者の画像を取得する。視線検出装置１００は、視線検出モードが切り替わった後の第２視線の情報と第２視線の信頼度とを各通信装置を介して視線情報利用装置１２０に出力する。

このように、視線検出装置１００がサーバ３００に配置されることにより、車載装置の構成を簡素化することができる。また、同様に、多数の視線推定の結果を蓄積して学習することができるため、視線推定および信頼度決定の精度が向上する。

また、視線検出装置１００の機能あるいは構成要素の一部がサーバ３００に設けられ、他の一部が車両１に設けられるなど、分散して配置されてもよい。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１ 車両、２ カメラ、３ 運転手、１０ 推定対象選択部、２０ 視線推定部、３０ 信頼度決定部、４０ 視線方向出力部、５０ 顔特徴検出部、６０ 瞳孔検出部、７０ 瞳孔基準位置決定部、８０ 顔向き推定部、１００ 視線検出装置。

Claims (10)

1. 切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択する推定対象選択部と、
   前記一の視線検出モードにおける前記視線検出対象者の視線を推定する視線推定部と、
   推定対象選択部の選択によって前記視線検出モードが切り替わる前の前記視線である第１視線と、前記視線検出モードが切り替わった後の前記視線である第２視線と、に基づき、前記視線検出モードが切り替わった後の前記第２視線の信頼度を決定する信頼度決定部と、
   前記第２視線の情報と前記第２視線の前記信頼度とを出力する視線方向出力部と、を備える視線検出装置。
2. 前記信頼度決定部は、前記第１視線と前記第２視線との差が予め定められた値よりも大きい場合に、前記第２視線の前記信頼度を前記第１視線の信頼度よりも小さな値に決定する、請求項１に記載の視線検出装置。
3. 前記第１視線は、前記視線検出モードが切り替わる前の予め定められた第１時間内における前記視線の平均値である、請求項１に記載の視線検出装置。
4. 前記第２視線は、前記視線検出モードが切り替わった後の予め定められた第２時間内における前記視線の平均値である、請求項１に記載の視線検出装置。
5. 前記信頼度決定部は、前記視線検出モードが切り替わる前の予め定められた時間内における前記第１視線の変化に基づいて予測される前記視線の予測範囲内に前記第２視線が含まれてない場合に、前記第２視線の前記信頼度を前記第１視線の信頼度よりも小さな値に決定する、請求項１に記載の視線検出装置。
6. 前記信頼度決定部は、前記視線検出モードが右目から左目、または、左目から右目に切り替わった場合に前記第２視線の前記信頼度を決定する、請求項１に記載の視線検出装置。
7. 前記信頼度決定部は、前記視線検出モードが両目から片目、または、片目から両目に切り替わった場合に前記第２視線の前記信頼度を決定する、請求項１に記載の視線検出装置。
8. 前記視線検出対象者の画像を取得し、前記画像に基づき、前記視線検出対象者の顔の特徴を検出する顔特徴検出部と、
   前記顔の特徴に基づき、前記視線検出対象者の顔の方向を推定する顔向き推定部と、をさらに備え、
   前記推定対象選択部は、前記視線検出対象者の前記顔の方向に基づき、前記一の視線検出モードを選択する、請求項１に記載の視線検出装置。
9. 前記顔の特徴に基づき、瞳孔位置を検出する瞳孔検出部と、
   前記瞳孔位置に基づき、前記視線検出対象者の正面視認時における瞳孔位置である瞳孔基準位置を決定する瞳孔基準位置決定部と、をさらに備え、
   前記視線推定部は、前記推定対象選択部にて選択された前記一の視線検出モードにおける前記瞳孔位置と前記瞳孔基準位置との差に基づき、前記視線検出対象者の前記視線を推定する、請求項８に記載の視線検出装置。
10. 切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択し、
    前記一の視線検出モードにおける前記視線検出対象者の視線を推定し、
    前記視線検出モードが切り替わる前の前記視線である第１視線と、前記視線検出モードが切り替わった後の前記視線である第２視線と、に基づき、前記視線検出モードが切り替わった後の前記第２視線の信頼度を決定し、
    前記第２視線の情報と前記第２視線の前記信頼度とを出力する、視線検出方法。

Images