JP5561219B2 - 視線方向検出装置 - Google Patents

Description

本発明は、車両を運転する運転者の視線方向を検出する視線方向検出装置に関する。

従来の視線方向検出装置は、運転者の顔を撮影するカメラを備えるとともに、運転者の顔を撮影した画像と運転者の視線方向とを対応づけたフィルタ情報（視線検出用モデル）を用いて、カメラで撮影された運転者の顔の画像から運転者の視線方向を検出する処理を行っている。
このうちフィルタ情報は、運転者の個体差によって異なるので、これに対応した補正（キャリブレーション）を行う必要がある。
この一例として、自車両に備えられたナビゲーション装置やエアコン等の装備品のスイッチが操作されたとき、運転者の視線がこれら装備品の方向を向いているとして、これら装備品が操作されたときの運転者の顔を撮影し、この撮影された画像の画像情報（キャリブレーション情報）に基づいてキャリブレーションを行う方法が知られている（特許文献１）。

特開２０１０−３０３６１号公報

しかし、これらの装備品は、運転席に座っている運転者から手の届く範囲、すなわち、運転者の目が中央に寄る輻輳が生じる範囲内に配置されているものばかりであり、数も限られている。
そのため、これらに基づいてキャリブレーション情報を収集しようとしても、その限定された範囲内でしかできないので、この範囲内での精度のキャリブレーションしかできなかった。
この精度を上げるため、別途、キャリブレーション情報を収集する処理を行うことも考えられるが、運転者にこの処理を実行するための操作負担やこの処理につきあう負担等を負わせることも考えられる。
そこで、本発明は、輻輳が発生しない範囲にまでキャリブレーション情報を収集する範囲を広げ、より正確なキャリブレーションを行うとともに、この範囲の拡大に伴う負担を運転者に負わせることのない視線方向検出装置を提供することを目的とする。

上記目的を達成するため、本発明の請求項１に記載された視線方向検出装置は、自車両のブレーキの踏み込みを検出するブレーキ検出手段と、この視線方向検出装置を備える自車両の前方を走行する他車両との離間距離が、ブレーキ操作をすれば自車両の他車両への衝突を防止可能な距離以上離れた安全走行状態で走行しているか判定する走行状態判定手段とを備えている。
また、本発明の視線方向検出装置はキャリブレーション手段を備え、このキャリブレーション装置は、非輻輳時にキャリブレーション情報を収集する非輻輳時取得手段と、輻輳時にキャリブレーション情報を収集する輻輳時取得手段とを備えている。

非輻輳時取得手段は、運転者の目に輻輳が発生していないときに運転者の視線が第１方向を向く第１事象として、安全走行状態で自車両が走行しているときに最初のブレーキの踏み込みがあった場合、運転者の視線が第１方向である他車両に向いていて輻輳が発生していないものとして、この踏み込みがあったとき撮影手段により撮影した第１画像をキャリブレーション情報として取得する。
輻輳時取得手段は、運転者の目に輻輳が発生しているときに運転者の視線が第２方向を向く第２事象が発生した場合、撮影手段により撮影した第２画像をキャリブレーション情報として取得する。
そして、キャリブレーション手段は、非輻輳時取得手段及び輻輳時取得手段によって得られたキャリブレーション情報に基づいて、フィルタ情報のキャリブレーションを実行する。

このようにすると、輻輳が発生する場合と発生しない場合の両方のキャリブレーション情報を収集することができるので、フィルタ情報の正確なキャリブレーションを実行することができる。

また、本発明では、キャリブレーション情報の収集とは無関係の第１事象または第２事象が生じたときにキャリブレーション情報を収集しているため、輻輳が発生する範囲にまでキャリブレーション情報を収集する範囲を広げても、運転者に負担を負わせることなくキャリブレーション情報を収集することができる。

また、非輻輳時取得手段は、第１事象として、安全走行状態で自車両が走行しているときに最初のブレーキの踏み込みがあった場合、運転者の視線が第１方向である他車両に向いていて、輻輳が発生していないものとして、このブレーキの踏み込みがあったときに撮影手段により撮影した第１画像をキャリブレーション情報として取得している。
そのため本発明では、安全走行状態で最初にブレーキが踏み込まれるだけで、輻輳が発生していないときのキャリブレーション情報を取得できる。
次に、本発明の請求項２に記載された視線方向検出装置は、請求項１，２のいずれか１項に記載の視線方向検出装置の構成に加え、第２事象として自車両の装備具が操作されると第１対応表示を行う第１対応表示手段を備えている。
そして、輻輳時取得手段は、装備具が操作されたとき、運転者の視線が第２方向である第１対応表示に向いていて輻輳が発生しているものとして、この第１対応表示があったとき撮影手段により撮影した第２画像をキャリブレーション情報として取得している。
そのため本発明では、自動車の装備具が操作されるだけで、輻輳が発生しているときのキャリブレーション情報として、この装備具が操作されたときに表示される第１対応表示に向いている運転者の顔を撮影した第２画像を確実に取得できる。
次に、本発明の請求項３に記載された視線方向検出装置は、請求項１〜３のいずれか１項に記載の視線方向検出装置の構成に加え、第２事象として運転者に対する報知がなされると第２対応表示を行う第２対応表示手段を備えている。
そして、輻輳時取得手段は、報知がされたとき、運転者の視線が第２方向である第２対応表示に向いていて輻輳が発生しているものとして、第２対応表示があったとき撮影手段により撮影した第２画像をキャリブレーション情報として取得している。
そのため本発明では、運転者に対する報知がなされるだけで、輻輳が発生しているときのキャリブレーション情報として、この報知がなされたときに表示される第２対応表示に向いている運転者の顔を撮影した画像を確実に取得できる。
次に、本発明の請求項４に記載された視線方向検出装置は、請求項１〜４のいずれか１項に記載の視線方向検出装置の構成に加え、撮影手段で撮影した運転者の画像により顔向きを算出する顔向算出手段と、第２事象が発生した場合に運顔向算出手段で算出された顔向きが、運転者の視線が第２方向を向いているときに予定されている顔向きの範囲内か判定する顔向判定手段と、を備えている。
そして、輻輳時取得手段は、顔向算出手段で算出された顔向きが、予定されている顔向きの範囲内にないと判断された場合、取得禁止手段が、第２画像をキャリブレーション情報として取得することを禁止している。
そのため、本発明では、第２事象が発生したときでも、運転者の顔向きが想定されるものよりも大きくずれているときに、第２画像をキャリブレーション情報として取得することを禁止しているので、正確なキャリブレーションを実行することができる。

本実施形態の視線方向検出装置のブロック図である。 本実施形態で実行される視線方向監視処理のフローチャートである。 本実施形態で実行されるキャリブレーション情報取得処理のフローチャートである。 本実施形態で実行されるキャリブレーション処理のフローチャートである。

以下に本発明の実施形態を図面と共に説明する。
[１．全体構成]
本実施形態の視線方向検出装置１は、図１に示すように、後述する視線方向監視処理等を実行する中央制御装置３と、顔向検出器４と、視線方向検出器５と、インターフェイス部６とを備えている。

中央制御装置３は、視線方向監視処理等に関するプログラムにより各種処理を実行するＣＰＵ３０と、プログラム等を記憶するＲＯＭ３１と、ＣＰＵ３０で実行される処理等で用いる各種情報を書込消去が可能なＲＡＭ３２とを備えている。

このうちＲＡＭ３２は、視線方向監視処理において、後述するカメラ７で撮影される輻輳時画像及び非輻輳時画像の画像情報をそれぞれ記憶する記憶領域が設定されており、以下では、各画像の記憶領域を、それぞれ輻輳時画像記憶部３２ａ及び非輻輳時画像記憶部３２ｂと呼ぶ。尚、これら輻輳時画像記憶部３２ａ及び非輻輳時画像記憶部３２ｂに記憶されている画像情報をまとめてキャリブレーション情報と呼ぶ。

また、ＲＡＭ３２には、カメラ７で運転者の顔を撮影した画像に基づいて、運転者の視線方向を検出するためのフィルタ情報を記憶するフィルタ情報記憶部３２ｃが設定されている。

中央制御装置３は、インターフェイス部６を介し、ＣＡＮ上の各種装置と通信可能に接続されている。
中央制御装置３と通信可能な装置としては、後述する視線方向監視処理で主に用いられるカメラ７及びスピーカ８の他に、ＯＤＯメータリセットボタン２０、ＯＤＯメータ２１、ヘッドアップディスプレイ（以下「ＨＵＤ」という）点灯表示ボタン３０、ＨＵＤ用の輝度調整ボタン３１、ＨＵＤ用の投射機３２がある。

また、中央制御装置３と通信可能な装置としては、ガソリン残量報知器４０、ガソリン残量表示器４１、速度検出器５０、ブレーキ踏込量検出器５１、前方監視装置５２があり、他に、オートクルーズ装置１００、オートクルーズ動作状態表示器１０１、冷却水温度警告灯１０２などがある。

このうち、カメラ７は、インパネに設置されており、前方を向いて運転席に座っている運転者の顔を正面から撮影できる位置に配置されている。尚、カメラ７は、インパネ以外に設置されていてもよい。例えば、ステアリングコラムの上部に設置してもよい。

スピーカ８は、視線方向監視処理等で出力が指示された音声や警報音を出力する。
ＯＤＯメータリセットボタン２０は、押下するとＯＤＯメータ２１の表示を０に戻すことができるボタンである。ＯＤＯメータリセットボタン２０及びＯＤＯメータ２１はインパネ上に隣接して配置されるとともに、ＯＤＯメータリセットボタン２０は、インパネ上のドライバーから操作可能な位置に配置され、ＯＤＯメータ２１はインパネ上のドライバーから視認可能な位置に配置される。

ＨＵＤ用の投射機３２は、運転者から見てフロントガラス越しの車両外部の虚像面に画像が表示されているように見える画像を、図示しないフロントガラス上に表示する装置である。

ＨＵＤ用の点灯表示ボタン３０及びＨＵＤ用の輝度調整ボタン３１は、投射機３２を始めとするＨＵＤ機能をオンオフさせるボタンと、投射機３２が投射する画像の輝度を調整するボタンである。

点灯表示ボタン３０及び輝度調整ボタン３１は、インパネ上に配置され、投射機３２は、インパネ内に配置される。
ガソリン残量報知器４０は、図示しないガソリンタンク内のガソリン残量を検出して、残量が少なくなってきた場合に報知を行う装置である。

ガソリン残量表示器４１は、ガソリン残量報知器４０で検出されたガソリンタンク内のガソリン量を表示する装置で、インパネ上のドライバーから視認可能な位置に設置される。

速度検出器５０は、自車両の速度を検出する装置である。
ブレーキ踏込量検出器５１は、自車両のブレーキペダルの踏込量を検出する装置である。

前方監視装置５２は、主に、自車両の前方を走行する他車量までの距離を計測する装置である。この前方監視装置５２による距離の測定は、ミリ波によるものでもよいし、Ｌｉｄａｒやカメラを用いてもよい。
[２．視線方向監視処理]
次に、中央制御装置３で実行される視線方向監視処理について説明する。

尚、以下の説明では、特に説明がない場合、ステップ番号が小さいものから大きいものに順に実行されるものとして説明する。
この視線方向監視処理は、図示しないスタートボタンを操作すると開始される。

図２に示すように、視線方向監視処理がスタートするとすぐに、Ｓ１０の処理が実行され、Ｓ１０では、カメラ７により運転者の顔を撮影する制御が実行され、運転者の顔を撮影した画像の画像情報を取得する処理が実行される。

このＳ１０において行われるカメラ７による運転者の顔を撮影する処理は、視線方向監視処理が実行されている間、常時行われ、以下の処理は、Ｓ１０において撮影された１フレームの画像毎に実行される。

Ｓ１２では、前回キャリブレーション処理（Ｓ５０）を行ってから、予め定めた更新期間が経過したかを判定する処理が実行される。
この更新期間は、例えば、３０分としてもよい。

Ｓ１２の処理で、更新期間が経過したと判定されると（Ｓ１２：ＹＥＳ）、次にＳ３０の処理が実行され、経過していないと判定されると（Ｓ１２：ＮＯ）、次にＳ１４の処理が実行される。

Ｓ３０及びＳ５０では、後述するキャリブレーション情報取得処理、及び、キャリブレーション処理が実行される。
Ｓ１４では、Ｓ１０の処理で運転者の顔を撮影した画像の画像情報と、フィルタ情報記憶部３２ｃに記憶されたフィルタ情報から、Ｓ１０で運転者の顔を撮影したときの運転者の視線方向を検出する処理が実行される。

Ｓ１６では、Ｓ１４で検出された運転者の視線方向が、よそ見をしているときに想定される予め定められた範囲を向いているか判定する処理が実行される。
Ｓ１６の処理で運転者がよそ見をしていないと判定されたら、再び、Ｓ１０以下の処理が実行され、よそ見をしていると判定されたら、Ｓ１８で、スピーカ８から警報音を発する処理が実行され、再びＳ１０以下の処理が実行される。
[３．キャリブレーション情報取得処理]
次に、中央制御装置１０で実行されるキャリブレーション情報取得処理について図３を用いて説明する。

このキャリブレーション情報取得処理が開始されると、Ｓ３２〜Ｓ３８の処理が順次実行される。
Ｓ３２では、Ｓ１０で運転者の顔画像が撮影されたとき、ＯＤＯメータリセットボタン２０が押下されたかが判定され、押下されたと判定された場合（Ｓ３２：ＹＥＳ）、Ｓ３２０の処理が実行され（１）、押下されていない場合、Ｓ３４の処理が実行される。

Ｓ３２０では、顔向検出器４において、Ｓ１０で撮影された画像の画像情報と、画像情報から運転者の顔向きを検出するために別途取得した顔向検出用情報（運転者の顔画像と顔向方向との対応関係を示す情報）とに基づき顔向運転者の顔向きが検出され、その運転者の顔向きが、ＯＤＯメータ２１を見たときに予定されている顔向方向から見て±５度の範囲内に収まっているか判定する処理が実行される。

この顔向検出用情報は、図２の視線方向監視処理を実行する前に取得した、運転者に指定方向を向かせて撮影した運転者の顔の画像と、その指定方向とを対応づけた情報である。この顔向検出用情報は、定期的に更新してもよい。

そして、運転者の顔向きが±５度以内に収まっている場合（Ｓ３２０：ＹＥＳ）、ＯＤＯメータ２１に視線が向いている画像として、Ｓ１０においてカメラ１７で撮影された画像の画像情報をＲＡＭ１３に記憶する処理が実行された後（Ｓ３２２）、キャリブレーション処理Ｓ５０に移行し（５）、収まっていない場合（Ｓ３２０：ＮＯ）、Ｓ１４の処理に移行し、Ｓ１０で取得した画像はよそ見の判定（Ｓ１６）に用いられる。

Ｓ３４では、Ｓ１０で運転者の顔画像が撮影されたとき、ＨＵＤの点灯表示ボタン３０又は輝度調整ボタン３１が操作されたかが判定され、操作されたと判定された場合（Ｓ３４：ＹＥＳ）、Ｓ３４０の処理が実行され（２）、押下されていない場合（Ｓ３４：ＮＯ）、Ｓ３６の処理が実行される。

Ｓ３４０では、顔向検出器１５において、Ｓ１０で撮影された画像の画像情報から、顔向検出用情報に基づき運転者の顔向きが検出され、その運転者の顔向きが、ＨＵＤ３２を見たときの顔向きから±５度以内に収まっているか判定する処理が実行される。

そして、運転者の顔向きが±５度以内に収まっている場合（Ｓ３４０：ＹＥＳ）、ＨＵＤの投射機３２が投射している画像が表示された方向に視線が向いている画像として、Ｓ１０においてカメラ７で撮影された画像の画像情報をＲＡＭ１３に記憶する処理が実行された後（Ｓ３４２）、キャリブレーション処理Ｓ５０に移行し（５）、収まっていない場合（Ｓ３４０：ＮＯ）、Ｓ１４の処理に移行する。

Ｓ３６では、Ｓ１０で運転者の顔画像が撮影されたとき、ガソリン残量検出部から警報が発せられたかが判定され、警報が発せられたと判定された場合（Ｓ３６：ＹＥＳ）、Ｓ３６０の処理が実行され（３）、発せられていない場合、Ｓ３８の処理が実行される。

Ｓ３６０では、顔向検出器１５において、Ｓ１０で撮影された画像の画像情報から、顔向検出用情報に基づき運転者の顔向きが検出され、その運転者の顔向きが、ガソリン残量表示器４１を見たときの顔向きから±５度以内に収まっているか判定する処理が実行される。

そして、運転者の顔向きが±５度以内に収まっている場合（Ｓ３６０：ＹＥＳ）、ガソリン残量表示器４１に視線が向いている画像として、Ｓ１０においてカメラ７で撮影された画像の画像情報をＲＡＭ１３に記憶する処理が実行された後（Ｓ３６２）、キャリブレーション処理（Ｓ５０）に移行し（５）、収まっていない場合（Ｓ３４０：ＮＯ）、Ｓ１４の処理に移行する。

Ｓ３８では、Ｓ１０で運転者の顔画像が撮影されたとき、自車両が走行し、その速度が１０ｋｍ／ｈを超えているかが判定され、超えていると判定された場合（Ｓ３８：ＹＥＳ）、Ｓ３８０の処理が実行され（４）、超えていない場合、Ｓ１４の処理に移行する。

Ｓ３８０では、自車両の前方を走行する他車両との離間距離が、ブレーキ操作をすれば自車両の他車両への衝突を防止可能な距離以上離れた安全走行状態であるか否か、具体的には、自車両が前方を走行する他車両から１０ｍ以上離れているか判定する処理が実行される。

そして、自車両が他車両から１０ｍ以上離れていると判定されると（Ｓ３８０：ＹＥＳ）、Ｓ３８２の処理が実行され、１０ｍ以上離れていないと判定されると（Ｓ３８０：ＮＯ）、Ｓ１４の処理に移行する。

Ｓ３８２では、安全走行状態で運転者が踏み込んだブレーキが最初のものか判定する処理が実行される。そして、最初にブレーキを踏み込んだものと判定されると（Ｓ３８２：ＹＥＳ）、Ｓ３８４の処理が実行され、最初にブレーキを踏み込んだものではないと判定されると（Ｓ３８２：ＮＯ）、Ｓ１４の処理に移行する。

Ｓ３８４では、前方車両に運転者の視線の方向がある画像として、Ｓ１０においてカメラ７で撮影された画像の画像情報をＲＡＭ１３に記憶する処理が実行され（Ｓ３８４）、キャリブレーション処理（Ｓ５０）に移行する。
[４．キャリブレーション処理]
次に、中央制御装置１０で実行されるキャリブレーション処理（Ｓ５０）について図４を用いて説明する。

尚、キャリブレーション処理とは、撮影画像に基づき視線方向を検出するアルゴリズムを、実際の視線方向及びその状態での撮影画像に基づき補正することで、運転者の個体差等に関係なく視線方向を精度よく検出可能とするための処理である。

このキャリブレーション処理（Ｓ５０）が開始されると、キャリブレーション情報取得処理（Ｓ３０）で取得された情報が、非輻輳時情報か否か、すなわち、運転者の視線方向が他車両を向いている情報か否かを判断する処理が実行され（Ｓ５２）、非輻輳時情報を取得したと判断されると（Ｓ５２：ＹＥＳ）、Ｓ５４の処理が実行され、輻輳時情報を取得したと判断されると（Ｓ５２：ＮＯ）、Ｓ５６の処理が実行される。

Ｓ５４では、ＲＡＭ１３に記憶された画像、すなわち、Ｓ１０において運転者の視線が他車両に向いているときにカメラ７で撮影した運転者の顔の画像と、顔向検出用情報に基づいて、顔向きを算出する処理が実行され、Ｓ５６の処理が実行される。

Ｓ５６では、Ｓ５４が実行された場合、非輻輳時画像記憶部３２ａに記憶された画像情報を、ＲＡＭ１３に記憶された画像情報で更新し、Ｓ３２０、Ｓ３４０、Ｓ３６０が実行された場合、輻輳時画像記憶部３２ｂに記憶された各表示に対応する画像情報を、ＲＡＭ１３に記憶された画像情報で更新する。

Ｓ５８では、更新されたキャリブレーション情報、及び、Ｓ５４、Ｓ３２０、Ｓ３４０、Ｓ３６０で算出された顔向きに基づき、各表示２１，３２，４１や前方を走行する他車両への視線方向を検出し、検出した視線方向と、各表示２１，３２，４１や前方を走行する他車両の位置との関係に基づき、運転者の顔の画像から視線方向を検出するためのフィルタ情報である視線検出用モデルを生成（補正）、すなわち、キャリブレーションを実行する。

その後、本キャリブレーション処理を終了し、図２のＳ１２へ移行する。
[５．効果]
以上説明したように、本実施形態では、非輻輳時にキャリブレーション情報を収集している（Ｓ３８４）とともに、輻輳時にキャリブレーション情報を収集している（Ｓ３２２、Ｓ３４２、Ｓ３６２）。
そして、キャリブレーション処理（Ｓ５０）では、これら収集されたキャリブレーション情報に基づいて、フィルタ情報のキャリブレーションを実行している（Ｓ５８）。

このようにすると、輻輳が発生する場合と発生しない場合の両方のキャリブレーション用の情報を収集することができるので、フィルタ情報の正確なキャリブレーションを実行することができる。

また、本実施形態では、輻輳が発生しない範囲にキャリブレーション情報を収集する範囲を広げても、運転者に何らの負担を負わせることなくキャリブレーション情報を収集することができる。

次に、本実施形態では、自車両と他車両とが離間距離（１０ｍ）以上離れた状態で走行しているときに（Ｓ３８０：ＹＥＳ）、最初にブレーキが踏み込まれた場合（Ｓ３８２：ＹＥＳ）、運転者の視線の先が、高い確率で前方を走行している他車両に位置するので、輻輳が発生しておらず、かつ、運転者の視線方向が他車両を向いていると判断している。 そのため本実施形態では、この最初にブレーキが踏まれたときに、運転者の視線が他車両を向く方向（第１方向）に運転者の視線があることが推定される事象（第１事象）が発生したものとして、このときカメラ７で撮影した画像（第１画像）を、キャリブレーション情報として取得している。
従って、本実施形態のように構成すると、輻輳が発生していない場合のキャリブレーション情報を取得できるので、正確なキャリブレーションを行うことができる。
次に、本実施形態では、ＯＤＯメータリセットボタン２０など操作具が操作されたときに（Ｓ３２、Ｓ３４：ＹＥＳ）、運転者の視線が対応する表示（第１対応表示）を向く方向（第２方向）に運転者の視線があることが推定される事象（第２事象）が発生したものとして、カメラ７で撮影した画像（第２画像）を、キャリブレーション情報として取得している（Ｓ３２２、Ｓ３４２）。
従って、本実施形態のように構成すると、輻輳が発生している場合のキャリブレーション情報を取得できるので、正確なキャリブレーションを行うことができる。
また、本実施形態では、ガソリン残量の報知がなされたときに（Ｓ３６：ＹＥＳ）、運転者の視線がその報知に対応する表示（第２対応表示）を向く方向（第２方向）に運転者の視線があることが推定される事象（第２事象）が発生したものとして、このときカメラ７で撮影した第２画像を、キャリブレーション情報として取得している（Ｓ３６２）。
従って、本実施形態のように構成すると、輻輳が発生している場合のキャリブレーション情報を取得できるので、正確なキャリブレーションを行うことができる。
また、本実施形態では、第２方向に運転者の視線が向いていることが想定されない方向に運転者の顔が向いている場合に（Ｓ３２０，Ｓ３４０，Ｓ３６０：ＮＯ）、運転者の顔を撮影した画像をキャリブレーション画像として取得することを防止しているので、正確なキャリブレーションを行うことができる。
（その他の実施形態）
尚、輻輳が発生しているときに運転者が視線を向ける表示として、ＯＤＯメータ２１等を例示したが、その他に、ウォッシャ液の残量表示や、ナビゲーション装置が操作されたときのナビゲーション装置の表示画面や、オーディオが操作されたときのオーディオ装置の表示画面等も考え得る。

また、輻輳が発生している場合として、ドアミラーの角度調整ボタンが操作されたときにドアミラーを見る場合なども考えられる。
また、上記実施形態のＳ３２０，Ｓ３４０，Ｓ３６０では、許容範囲を±５度としたが、例えばこれを±１としてもよく、精度等に応じてその範囲を拡縮してよい。

また、自車両が走行していることを判断する基準として自車両が１０ｋｍ／ｈで走行していることを基準としたが（Ｓ３８）、これに限られるものではない。
また、自車両の他車両への衝突を防止可能な距離として１０ｍとしたが、これに限られるものではない。
（対応関係）
請求項に記載された撮影手段は、実施形態のカメラ７に対応し、視線方向検出手段は、Ｓ１０，Ｓ１４の処理に対応し、非輻輳時取得手段は、Ｓ３８、Ｓ３８０〜Ｓ３８４の処理に相当し、輻輳時取得処理は、Ｓ３２，Ｓ３４，Ｓ３６，Ｓ３２０，Ｓ３２２，Ｓ３４０，Ｓ３４２，Ｓ３６０，Ｓ３６２の処理に相当する。

請求項に記載された装備具は、ＯＤＯメータリセットボタン２０や、ＨＵＤ用の点灯表示ボタン３０、ＨＵＤ用の輝度調整ボタン３１に相当する。
請求項に記載されたブレーキ検出手段は、実施形態のブレーキ踏込量検出器５１に対応し、走行状態判定手段はＳ３８０の処理に相当し、第１対応表示手段は、ＯＤＯメータ２１、ＨＵＤの投射機３２に相当し、第２対応表示手段は、ガソリン残量表示器４１に相当する。

請求項に記載された顔向算出手段は、本実施形態のＳ３２０，Ｓ３４０，Ｓ３６０で顔向きを算出する処理に相当し、顔向判定手段は、Ｓ３２２，Ｓ３４２，Ｓ３６２に相当し、取得禁止手段はＳ３２０，Ｓ３４０，Ｓ３６０の処理に相当する。

また、本発明は、特許請求の範囲に記載された発明の趣旨に合致するものであればよく、上述の実施形態に限定されるものではない。

１…視線方向検出装置、３…中央制御装置、４…顔向検出器、５…視線方向検出器、６…インターフェイス部、７…カメラ、８…スピーカ、１０…中央制御装置、１７…カメラ、２０…ＯＤＯメータリセットボタン、２１…ＯＤＯメータ、３０…点灯表示ボタン、３１…輝度調整ボタン、３２…投射機、３２ａ…非輻輳時画像記憶部、３２ｂ…輻輳時画像記憶部、３２ｃ…フィルタ情報記憶部、４０…ガソリン残量報知器、４１…ガソリン残量表示器、５０…速度検出器、５１…ブレーキ踏込量検出器、５２…前方監視装置。

Claims (4)

1. 運転者の顔を撮影する撮影手段と、
   運転者の顔を撮影した画像と運転者の視線方向とを対応づけたフィルタ情報を用いて、前記撮影手段で撮影された運転者の顔の画像から運転者の視線方向を検出する視線方向検出手段と、
   前記フィルタ情報のキャリブレーションを実行するキャリブレーション手段とを備えた視線方向検出装置において、
   自車両のブレーキの踏み込みを検出するブレーキ検出手段と、
   当該視線方向検出装置を備える自車両の前方を走行する他車両との離間距離が、ブレーキ操作をすれば自車両の他車両への衝突を防止可能な距離以上離れた安全走行状態で走行しているか判定する走行状態判定手段と、
   を備え、
   前記キャリブレーション手段は、
   運転者の目に輻輳が発生していないときに運転者の視線が第１方向を向く第１事象として、前記安全走行状態で自車両が走行しているときに最初のブレーキの踏み込みがあった場合、運転者の視線が前記第１方向である前記他車両に向いていて輻輳が発生していないものとして、この踏み込みがあったとき前記撮影手段により撮影した第１画像をキャリブレーション情報として取得する非輻輳時取得手段と、
   運転者の目に輻輳が発生しているときに運転者の視線が第２方向を向く第２事象が発生した場合、前記撮影手段により撮影した第２画像をキャリブレーション情報として取得する輻輳時取得手段と、
   を備え、
   前記非輻輳時取得手段及び前記輻輳時取得手段によって得られた前記キャリブレーション情報に基づいて、前記フィルタ情報のキャリブレーションを実行することを特徴とする視線方向検出装置。
2. 請求項１に記載の視線方向検出装置において、
   前記第２事象として自車両の装備具が操作されると第１対応表示を行う第１対応表示手段を備え、
   前記輻輳時取得手段は、
   前記装備具が操作されたとき、運転者の視線が前記第２方向である前記第１対応表示に向いていて輻輳が発生しているものとして、前記第１対応表示があったとき前記撮影手段により撮影した前記第２画像をキャリブレーション情報として取得する
   ことを特徴とする視線方向検出装置。
3. 請求項１〜２のいずれか１項に記載の視線方向検出装置において、
   前記第２事象として運転者に対する報知がなされたとき、該報知に対応した第２対応表示を行う第２対応表示手段を備え、
   前記輻輳時取得手段は、
   前記報知がされたとき、運転者の視線が前記第２方向である前記第２対応表示に向いていて輻輳が発生しているものとして、前記第２対応表示があったとき前記撮影手段により撮影した前記第２画像をキャリブレーション情報として取得する
   ことを特徴とする視線方向検出装置。
4. 請求項１〜３のいずれか１項に記載の視線方向検出装置において、
   前記撮影手段で撮影した運転者の画像により顔向きを算出する顔向算出手段と、
   前記第２事象が発生した場合に前記顔向算出手段で算出された顔向きが、運転者の視線 が前記第２方向を向いているときに予定されている顔向きの範囲内か判定する顔向判定手段と、
   を備え、
   前記輻輳時取得手段は、
   前記顔向算出手段で算出された顔向きが、予定されている顔向きの範囲内にないと判断された場合、前記第２画像をキャリブレーション情報として取得することを禁止する取得禁止手段を備えることを特徴とする視線方向検出装置。

Images