JP6213435B2 - 注意過多状態判定装置及び注意過多状態判定プログラム - Google Patents

Description

本発明は、判定対象者の視線が特定の対象物に固定された注意過多状態であることを判定する注意過多状態判定装置及び注意過多状態判定プログラムに関する。

例えば、特許文献１には、自動車の運転者の視線方向に基づいて、運転者が先行車に対して注意過多になっていることを検出する装置が開示されている。この特許文献１の装置では、先行車を基準とする注意過多状態判定領域を設定する。そして、予め設定した状況下において、過去１０秒間の間の注意過多状態判定領域内の視線の停留時間を測定するとともに、基準停留時間に対する測定した視線の停留時間の比率を算出する。さらに、過去１０秒間の、先行車を基準とする平均視線角度を算出する。そして、停留時間の比率が予め設定した閾値以上で、かつ平均視線角度が予め設定した閾値以下の場合に注意過多状態と判定する。

特開２００７−７３０１１号公報

例えば自動車において、運転者が注意すべき対象物を検出する対象物検出装置として、カメラを用いることができるが、そのカメラの取り付け位置は、運転者の頭部位置とは異なる。例えば、自動車の進行方向前方を撮影するカメラは、ルームミラーとフロントガラスの間が代表的な設置箇所となる。この場合、カメラと運転者の頭部位置との間に、自車両の前後方向に約５０ｃｍ、左右方向にも約５０ｃｍ程度のズレが生じることになる。このズレが原因で、対象物検出装置によって検出される対象物の方向と、運転者の視線方向との間には誤差が生じる。

ここで、図７に示すように、片側１車線の道路の横断歩道を歩行者が横切る場合を例に取り、カメラによって検出される歩行者の方向と運転者の視線方向との間に、どの程度の誤差が生じるかを説明する。なお、カメラによって検出される歩行者の方向及び運転者の視線方向とも、自動車の正面方向を基準方向として、その基準方向とのなす角度によって表すものとする。また、図７に示す例では、自車両は、交差点の手前で停止しており、カメラと運転者の頭部位置とは、前後方向及び左右方向にそれぞれ５０ｃｍずれており、カメラ位置は道路の左端から２ｍの位置にあり、歩行者は、自車両から見て交差点の向こう側の横断歩道を、交差道路から１．５ｍ離れた位置にて渡るものとしている。

図７に示す条件で、図中左の歩行者が図中右の歩行者の位置まで歩いた場合の、カメラ位置を原点とした自車両正面方向と歩行者のいる方向とのなす角度θ［ｄｅｇ］と、運転者頭部位置を原点とした自車両正面方向と歩行者のいる方向とのなす角度φ［ｄｅｇ］とを図８のグラフに示す。図８のグラフに示すように、自車両のちょうど正面に歩行者がいる場合、角度θと角度φとの間に約３．２［ｄｅｇ］の誤差が生じる。この誤差はカメラの設置位置に応じて一定のものではなく、対象物（歩行者）までの距離や方向に応じて増減する。図８のグラフに示した例では、歩行者が横断歩道を渡り初めてから渡り終えるまでに、誤差は約１．６［ｄｅｇ］から約３．７［ｄｅｇ］まで変化する。

さらに、カメラの設置位置による誤差の他、運転者の視線方向の計測に際しても、少なからず誤差が含まれる可能性がある（例えば、「眼球形状モデルに基づく視線測定法」、第８回画像センシングシンポジウム、ｐｐ．３０７−３１２、２００２を参照）。

そのため、特許文献1の装置のように、対象物に対する視線の停留時間で注意過多を判定しようとすると、カメラの設置位置による誤差と視線方向の計測誤差を合わせた誤差範囲をカバーするように対象物の領域よりも大きな領域を設定し、その設定した大きな領域に対する視線の停留時間を用いることが必要となる。

しかしながら、上記誤差範囲は数度の幅があるため、その誤差範囲内に対象物が複数存在する場合もありえる。そのため、例えば対向車とその奥の歩行者とに交互に視線を移しながら運転するような、安全確認している状態も注意過多として検出してしまうという問題がある。

本発明は、上述した点に鑑みてなされたものであり、対象物検出装置の設置位置による誤差や、視線方向の計測誤差によらず、判定対象者の注意過多状態をより高精度に判定することが可能な注意過多状態判定装置を提供することを目的とする。

上記目的を達成するために、本発明による注意過多状態判定装置は、
判定対象者の周囲において、判定対象者の注視対象となりえる対象物を検出するとともに、検出された対象物が存在する方向を算出する対象物検出手段（Ｓ１４０、Ｓ１５０）と、
判定対象者の視線方向を検出する視線方向検出手段（Ｓ１１０〜Ｓ１３０）と、
判定対象者の眼球運動の速さを検出する眼球運動速さ検出手段（Ｓ１８０）と、
所定時間の間、判定対象者の視線方向が、対象物検出手段によって検出された１つの特定の対象物の方向に向けられ、かつ、眼球運動速さ検出手段によって検出された眼球運動の速さが第１閾値以下である場合に、判定対象者の視線が特定の対象物に注がれた注意過多状態であると判定する注意過多判定手段（Ｓ１９０）と、を備えることを特徴とする。

ここで、人は、注視対象を変更するときに、サッカードと呼ばれる短時間の高速な眼球運動を行うことが知られている。サッカードは、例えば、判定対象者が移動する対象物を眼で追う場合に起きる追従性眼球運動よりもかなり速度が速く、追従性眼球運動とは容易に区別され得るものである。

本発明では、このような眼球運動の特性を利用して、判定対象者の注意過多状態の判定精度を向上させようとするものである。そのため、本発明では、所定時間の間、判定対象者の視線方向が、１つの特定の対象物の方向に向けられていることに加え、眼球運動の速さが第１閾値以下であることを条件として、判定対象者の視線が特定の対象物に注がれた注意過多状態であると判定するように構成した。

従って、本発明にて注意過多状態であると判定するのは、判定対象者の視線方向が特定の対象物に向けられ、かつ高速な眼球運動が起こっていない場合に限られる。換言すると、眼球運動による視線方向の変化が、対象物検出手段の設置位置による誤差や、視線方向検出手段による検出誤差などによる誤差範囲内であり、特定の対象物に向けられたままであるとみなされても、その眼球運動の速さが第１閾値より大きくサッカードを示すものであれば、本発明では注意過多状態とは判定されない。この結果、注意過多状態と誤って判定してしまう機会を減少することができ、従来に比較して、注意過多状態の判定精度を向上することができる。

上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、なんら本発明の範囲を制限することを意図したものではない。

また、上述した特徴以外の、特許請求の範囲の各請求項に記載した技術的特徴に関しては、後述する実施形態の説明及び添付図面から明らかになる。

実施形態による注意過多状態判定装置を含む車両用警告システムの構成の一例を示す構成図である。 注意過多状態判定処理を含む、注意過多状態判定部において実行される処理を示すフローチャートである。 自車両の運転者が、自車両に向かって走行してくる対向車への視線を逸らさないように指示された時に計測された左右両目の視線方向の変化を示すグラフである。 自車両の運転者が、対向車とその奥の歩行者とに交互に視線を移したときの、左右両目の視線方向の変化を示すグラフである。 自車両の運転者が対向車を注視しているときの左右両目の視線方向の変化とともに、一方の目の眼球運動の角速度を示したグラフである。 実施形態による注意過多状態判定装置による効果を説明するための説明図である。 カメラによって検出される歩行者の方向と運転者の視線方向との間に、どの程度の誤差が生じるかを説明するための説明図である。 図７に示す条件で、図中左の歩行者が図中右の歩行者の位置まで歩いた場合の、カメラ位置を原点とした自車両正面方向と歩行者のいる方向とのなす角θと、運転者頭部位置を原点とした自車両正面方向と歩行者のいる方向とのなす角φとを示したグラフである。

以下、本発明の好ましい実施形態を図面に基づいて説明する。なお、本実施形態では、注意過多状態判定装置を、自動車の運転者の注意過多状態を判定するために適用した例について説明する。図１は、本実施形態による注意過多状態判定装置を含む車両用警告システム１の構成の一例を示す構成図である。まず、この図１を参照しつつ、注意過多状態判定装置について説明する。

注意過多状態判定装置は、ドライバーカメラ１０、車外カメラ１２、及び、車両用警告システム１の制御装置２０の一機能として具現化された注意過多状態判定部２２とによって構成される。ただし、注意過多状態判定部２２を具現化するための制御装置は、車両用警告システム１の制御装置２０とは別であっても良い。また、制御装置２０の一機能として注意過多状態判定部２２を具現化する場合、コンピュータにより注意過多状態判定部２２としての機能を発揮するようにプログラミングされたソフトウエアを用いても良いし、制御装置２０内においてハードウエアにより構成されても良い。

ドライバーカメラ１０は、運転席に着座した運転者の顔全体の画像を撮像する運転席カメラである。ドライバーカメラ１０は、運転者に正対するように、例えば、各種の計器が配置されるインストルメントパネル内や、ステアリングシャフトを内包するステアリングコラムの上面に配設される。そして、ドライバーカメラ１０は、周期的に運転者の顔を含む画像を撮像して、注意過多状態判定部２２へ出力する。なお、ドライバーカメラ１０は、それぞれ別角度から運転者の顔を撮像するように複数台設けても良い。

車外カメラ１２は、例えば、車両の前方を撮影すべく、ルームミラーの裏側や、運転者から見てルームミラーの後方であって、フロントウインドシールドの内側上部などに固定される。そして、車外カメラ１２は、定期的に撮影を行うとともに、撮影した画像を注意過多状態判定部２２に出力する。なお、車外カメラ１２は、単眼カメラであっても、ステレオカメラであっても良い。また、対象物を検出するための手段は、車外カメラ１２に限定されず、車外カメラ１２に代えて、もしくは車外カメラ１２とともに、レーザー光やミリ波などを用いて前方障害物を検出するレーダー装置を用いても良い。

注意過多状態判定部２２は、車外カメラ１２から入力された画像に、パターンマッチング等の画像処理を施すことにより、車両の前方に存在し、運転者が注意を向ける可能性がある対象物（車両、歩行者、道路標識、看板など）を検出する。なお、検出された対象物の内、以前の検出結果を参照して、静止しているものは静止対象物、移動しているものは移動対象物と認識される。また、注意過多状態判定部２２は、検出された対象物に関して、自車両に対する方向を算出する。具体的には、対象物の方向は、自車両の正面方向を基準方向とし、その基準方向とのなす角度として算出される。この場合、例えば、自車両の正面方向から右方向への角度を正の角度、左方向への回転角度を負の角度として表すことができる。さらに、注意過多状態判定部２２は、必要に応じて、自車両から対象物までの距離を算出したり、画像に映しだされた対象物の大きさを検出したりする。

このように、注意過多状態判定部２２は、運転者が注意を向ける可能性がある対象物を検出し、その対象物の方向などを算出する一方で、運転者の視線方向の検出処理も実行する。具体的には、注意過多状態判定部２２は、まず、ドライバーカメラ１０によって撮像された運転者の顔を含む画像に基づき、運転者の顔向きの角度を検出する。例えば、注意過多状態判定部２２は、運転者の顔向き角度を検出する場合、最初に、ドライバーカメラ１０が撮像した画像において、運転者の顔が含まれる顔領域を定め、その顔領域中において、顔を構成する主要な要素（目、鼻、口など）を認識する。次いで、注意過多状態判定部２２は、認識した顔の主要な要素の相対的な位置関係に基づいて、運転者の顔向き角度を算出する。

また、注意過多状態判定部２２は、ドライバーカメラ１０によって撮像された画像から、運転者の左右の眼球それぞれに関して、眼球の向いている角度（眼球方向）を検出する。例えば、角膜(黒目)と強膜(白目)の光に対する反射率の差を利用して眼球方向を検出（強膜反射法）したり、近赤外光を照射したときに生じるプルキンエ像と呼ばれる反射像により眼球方向を検出（角膜反射法）したり、あるいは、画像解析により瞳孔の中心位置を推定して眼球方向を検出したりすることができる。なお、注意過多状態判定部２２は、ドライバーカメラ１０を用いることなく、他の公知の手法（ＥＯＧ法、サーチコイル法など）によって、運転者の眼球方向を検出しても良い。

そして、注意過多状態判定部２２は、検出された運転者の顔向き角度及び眼球方向に基づいて、運転者の左右両目の視線方向をそれぞれ算出する。つまり、注意過多状態判定部２２は、運転者の顔向き角度を基準として、左右両目のそれぞれの眼球方向から運転者の左右両目の視線方向を示す角度を算出する。この際、運転者の視線方向も、対象物の方向の検出と同様に、自車両の正面方向を基準方向とし、この基準方向とのなす角度として算出される。なお、注意過多状態判定部２２は、運転者の視線方向を、水平方向（左右方向）の動きとして２次元的に求めても良いし、水平方向及び上下方向の動きとして３次元的に求めても良い。

さらに、注意過多状態判定部２２は、検出された対象物の方向と、運転者の左右両目の視線方向とに基づいて、運転者の視線が、１つの特定の対象物に注がれた注意過多状態であるか否かを判定する。以下、この注意過多状態判定処理を含め、注意過多状態判定部２２において実行される処理について、図２のフローチャートなどを参照しつつ、詳細に説明する。なお、図２のフローチャートは、自動車の運転が継続されている限り、所定の周期で繰り返し実行される。

注意過多状態判定部２２は、まず、ステップＳ１００において、上述したように、ドライバーカメラ１０によって撮像された画像において運転者の顔の主要な要素の認識処理を行う。そして、ステップＳ１１０において、ステップＳ１００にて認識された各要素の相対的な位置関係から顔向き角度θｆを算出する。続くステップＳ１２０では、ドライバーカメラ１０によって撮像された画像において、運転者の左右の眼球の向いている角度に関連する特徴を抽出することにより、運転者の左右の目の眼球方向θｅを算出する。

そして、ステップＳ１３０において、左右両目に関して、それぞれ、運転者の顔向き角度θｆを基準として、左右の目のそれぞれの眼球方向θｅから運転者の視線方向θを算出する（θ＝θｆ＋θｅ）。このようにして算出された運転者の視線方向θの一例を図３のグラフに示す。図３のグラフは、自車両の運転者が、自車両に向かって走行してくる対向車への視線を逸らさないように指示された時に計測された結果を示している。

図３に示すように、運転者が対向車を注視している場合、原則として、左右両目の視線方向とも、対向車の動きに追従するので、ほぼ同様に変化する。ただし、図３において、点線で描かれた円によって示されるように、通常では考えにくい視線の動きが検出されることもある。そのため、左右両目の視線方向θを算出する際には、通常では考えにくい視線の動きをノイズとして除去するために、平滑化フィルタ（例えば、ｍｅｄｉａｎフィルタ）などを用いて平滑化処理を行うことが望ましい。

続くステップＳ１４０では、今回の周期で算出された眼球方向θｅ（ｔ）と、前回の周期で算出された眼球方向θｅ（ｔ−１）とに基づき、眼球方向θｅの時間的変化である角速度θｅｖを算出する。なお、眼球方向θｅは、ステップＳ１２０において所定の制御周期毎に算出されるので、ステップＳ１４０では、眼球方向θｅの時間的変化として、今回の周期で算出された眼球方向θｅ（ｔ）と前回の周期で算出された眼球方向θｅ（ｔ−１）との単なる差分を求めても良い。

ここで、運転者がある特定の対象物を注視した場合には、図３に示したように、左右両眼とも対象物の動きに追従するように視線方向が変化する。一方、運転者が注視対象を変更するときには、左右両眼において、サッカードと呼ばれる短時間の高速な眼球運動が観測される。例えば、図４は、運転者が、対向車とその奥の歩行者とに交互に視線を移したときの、左右両眼の視線方向の変化を示すグラフである。この図４からも、運転者が注視対象を変更するときに、左右両眼の視線方向が急速に変化していることが分かる。なお、図４のグラフの左端の角度が大きく増減しているのは、運転者の瞬きによるものである。

ここで、図５に、運転者が対向車を注視しているときの左右両目の視線方向の変化とともに、一方の目の眼球運動の角速度（眼球運動の変化量［ｄｅｇ］）を示す。図５に示すように、運転者が対向車を注視している場合には、追従性眼球運動が起きるが、眼球運動の角速度は非常に小さい。例えば、図５に示すデータでは、対向車の方向が自車両正面方向から１０［ｄｅｇ］以内の範囲では、眼球運動の変化量は１［ｄｅｇ］以内に収まっていることが分かる。

このように、図４及び図５のグラフからも明らかであるが、サッカードは、運転者が、対向車など移動対象物を眼で追う場合に起きる追従性眼球運動よりもかなり速度が速く、追従性眼球運動とは容易に区別され得るものである。従って、後述するように、眼球運動の角速度（眼球運動の変化量）を所定の第１閾値Ｔｈ１と大小比較することにより、サッカードが生じているか否かを高精度に判別することができる。

続くステップＳ１５０では、車外カメラ１２によって撮像された画像に基づいて、運転者が注意を向ける可能性がある対象物を検出する。そして、ステップＳ１６０において、検出された対象物の、自車両に対する方向φを算出する。

ステップＳ１７０では、ステップＳ１５０における対象物の検出結果に基づいて、自車両の周囲に、運転者が注意を向ける可能性がある対象物が存在するかどうかを判定する。対象物が存在すると判定されると、ステップＳ１７０の処理に進み、対象物が存在しないと判定されると、ステップＳ１００の処理に戻る。

ステップＳ１８０では、自車両の運転者の左右それぞれの目の視線方向θが、１つの特定の対象物の方向φに向けられているかを確認するための指標として、運転者の左右それぞれの目の視線方向θの変化と、対象物の方向φの変化とがどの程度相関しているかを示す相関値Γを、左右両目についてそれぞれ以下の数式１により算出する。

なお、ｔ−Ｎやｔは、視線方向θ及び対象物方向φが検出される時間（時点）を表し、θやφの上に付されたバー記号は、ある時点ｔ−Ｎからある時点ｔまでの、視線方向θの平均値、及び対象物の方向φの平均値を表す。また、対象物が複数検出されている場合には、それぞれの対象物に対して、上記相関値Γが算出される。

上記相関値Γは、時点ｔ−Ｎから時点ｔまでの所定期間（例えば、２秒間）における、視線方向θの時系列データと対象物方向φの時系列データとの共分散を、視線方向θの時系列データの標準偏差と対象物方向φの時系列データの標準偏差とで除算したものとなっている。このため、相関値Γは、−１から１までの値をとるとともに、視線方向θと対象物方向φとが同様に変化し、その正相関が強いほど、１に近い値をとる。

ここで、上述したように、車外カメラ１２の設置位置と、運転者の頭部位置との間にズレがあることに起因して、視線方向θと対象物方向φとはオフセット誤差を持つ。しかしながら、数式１の相関値Γは、その分母、分子において、所定期間の視線方向θの時系列データの各々から、その所定時間における視線方向θの平均値を減算するとともに、所定期間の対象物方向φの時系列データの各々から、その所定時間における対象物方向φの平均値を減算している。このため、数式１の相関値Γは、上述したオフセット誤差によらず、視線方向θと対象物方向φとが同様に変化しているかどうかを正しく示す指標となる。

さらに、数式１の相関値Γは、視線方向θの時系列データの標準偏差と対象物方向φの時系列データの標準偏差を分母としているため、視線方向θ及び対象物方向φの角度の大きさの違いによる影響を受けないように正規化される。これにより、視線方向θ及び対象物方向φの角度によらず、一定の第２閾値Ｔｈ２との大小比較により、運転者の視線が、対象物に向けられているか否かを判定することができる。

そして、ステップＳ１９０において、所定期間の間にステップＳ１４０にて算出されたすべての眼球方向角速度θｅｖが第１閾値Ｔｈ１以下であり、かつ、所定時間における視線方向θと対象物方向φとの相関値Γが第２閾値Ｔｈ２以上であるかどうかが判定される。このステップＳ１９０の判定処理は、対象物が複数検出されている場合、各対象物に対して個別に実行される。そして、この判定処理において肯定判定された場合、運転者は特定の対象物に対して注意過多状態であるとみなすことができる。そのため、ステップＳ２００の処理に進む。一方、否定判定された場合には、特定の対象物への注意過多状態は生じていないとみなされるので、ステップＳ１００の処理に戻る。

なお、ステップＳ１９０の判定処理では、左右両目に関して、上記の条件がともに成立する場合に注意過多状態が生じていると判定しても良いし、眼球方向角速度θｅｖに関しては、左右いずれかの眼球方向角速度θｅｖが第１閾値Ｔｈ１以下であることをもって注意過多状態が生じていると判定しても良い。運転者が注視対象を変化させる場合には、左右両目においてサッカードが観測される。換言すると、いずれか一方の目において眼球方向の大きな角速度θｅｖが検出された場合、それはサッカードではなく、図３に示したようなノイズである可能性がある。従って、左右いずれかの眼球方向角速度θｅｖが第１閾値Ｔｈ１以下であることをもってサッカードは生じていないとみなすようにすれば、図３に示すようなノイズが左右いずれかの眼球方向θｅの検出において生じたとしても、それによって、注意過多状態が発生していないと誤判定することを防止することができる。

以上のように、本実施形態では、所定時間の間、運転者の視線方向が、１つの特定の対象物の方向に向けられていることに加え、サッカードが起こっていないことを示す、眼球方向角速度θｅｖが第１閾値Ｔｈ１以下であることを条件として、運転者の視線が特定の対象物に注がれた注意過多状態であると判定する。従って、本実施形態にて注意過多状態であると判定されるのは、判定対象者の視線方向が特定の対象物に向けられ、かつ高速な眼球運動が起こっていない場合に限られる。

このため、図６に示すように、眼球運動による視線方向の変化が、車外カメラ１２の設置位置に起因する誤差や、視線方向の検出誤差などによる誤差範囲内であって、視線方向は特定の対象物に向けられたままであるとみなされる場合であっても、その眼球方向の角速度θｅｖが第１閾値Ｔｈ１より大きく、サッカードを示すものであれば、注意過多状態と判定されることはない。この結果、本実施形態によれば、注意過多状態と誤って判定してしまう機会を減少することができ、従来技術に比較して、注意過多状態の判定精度を向上することができる。

続くステップＳ２００では、警告出力制御部２４に対して、運転者が特定の対象物に注意過多状態である旨を知らせるための注意喚起を行うことを指示する。

ここで、注意喚起を行うための構成、及び注意喚起の内容の一例について説明する。車両用警告システム１は、注意喚起メッセージを表示するためのディスプレイ３０及び音声による注意喚起メッセージや注意喚起音を発生するスピーカー３２を備えている。

警告出力制御部２４は、注意過多状態判定部２２から注意喚起の実行を指示されると、表示制御部２６及び音声出力制御部２８を作動させるための作動信号を出力する。すると、表示制御部２６は、ディスプレイ３０に注意喚起メッセージを表示させ、音声出力制御部２８は、スピーカー３２から音声による注意喚起メッセージや注意喚起音を発生させる。なお、注意喚起を行うための構成として、ディスプレイ３０は省略しても良い。また、スピーカー３２に代えて、運転席シートやステアリングを振動させるように構成し、運転者に注意過多状態であることを警告しても良い。

最後に、ステップＳ２１０では、例えばイグニッションスイッチがオフされたことに基づいて、自動車の運転が終了したか否かを判定する。運転が終了したと判定した場合には、図２のフローチャートに示す処理を終了する。一方、まだ運転は終了していないと判定した場合には、ステップＳ１００の処理に戻る。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することが可能である。

例えば、上述した実施形態では、眼球方向の角速度θｅｖがサッカードを示すものであるかを判定するための第１閾値Ｔｈ１は一定値であるものとして説明したが、この第１閾値Ｔｈ１は、種々の要因に応じて変化するものであっても良い。

例えば、検出した対象物の方向φが時間的に変化する場合、その対象物方向φが変化する変化速度に応じて、第１閾値Ｔｈ１の大きさを変化させても良い。具体的には、対象物方向φの変化速度が速くなるほど、第１閾値Ｔｈ１の大きさが大きくなるように変化させる。これにより、対象物の動きに追従する追従性眼球運動を、誤ってサッカードであると判定することをより確実に防止することができる。

さらに、対象物方向φの変化速度に応じて第１閾値Ｔｈ１の大きさを変化させる場合、対象物方向φの変化に追従する方向への眼球運動の速さに対する第１閾値Ｔｈ１の大きさだけを大きくするようにしても良い。この結果、対象物方向φの変化に追従する方向への眼球方向の角速度θｅｖに対する第１閾値Ｔｈ１は、対象物方向φの変化方向とは逆方向への眼球方向の角速度θｅｖに対する第１閾値Ｔｈ１の大きさよりも大きくなる。

また、画像における対象物の大きさに応じて、第１閾値Ｔｈ１の大きさを変化させるようにしても良い。具体的には、対象物の大きさが大きくなるほど、第１閾値の大きさを大きくする。これにより、同一の対象物において注視箇所を変更した場合などに、眼球運動の角速度が第１閾値Ｔｈ１を超えることを抑制することができる。

上述した実施形態では、自動車の運転者が、特定の対象物に視線を注いでいる注意過多状態が判定されたときに、運転者に対して、注意喚起を行うものであった。しかしながら、上述した注意喚起に代えて、あるいは、上述した注意喚起とともに、以下に説明するような注意喚起を行うようにしても良い。

すなわち、対象物の検出結果から、運転者が注意過多状態となっている対象物以外にも他の対象物があり、当該他の対象物と衝突する可能性が生じたときに、その旨を警告するための注意喚起を行っても良い。衝突可能性に関しては、まず、検出された各対象物の方位から、自車両の進路上に存在する他の対象物が存在するか否かを判定する。そして、自車両の進路上に他の対象物が存在すると判定した場合、当該他の対象物との距離を取得する。さらに、その距離の時間的変化から、自車両と他の対象物との相対速度を算出する。そして、他の対象物との距離及び相対速度を用いて、他の対象物と衝突することが予測されるまでの残り時間である衝突予測時間ＴＴＣ（Time To Collision）を計算する。衝突可能性は、衝突予測時間ＴＴＣの大きさから判断することができる。

そして、衝突可能性がある他の対象物が検出された場合、以下のような態様で注意喚起を行っても良い。例えば、歩行者が、衝突の可能性がある対象物として検出された場合、ディスプレイに車両前方の状況を表示するとともに、輝度や色彩の変更や、拡大表示、円で囲うなどにより歩行者が強調して表示されるようにしても良い。また、ヘッドアップディスプレイなどに、運転者から見た歩行者方向を矢印で示すようにしても良い。また、注意喚起対象が歩行者であることを示すメッセージをディスプレイに表示しても良い。

さらに、スピーカーを用いた注意喚起として、注意過多状態を知らせるための警告音とは異なる警告音を発生させて注意喚起したり、「右、歩行者」のような音声メッセージによって注意喚起したりしても良い。

そして、ディスプレイやスピーカーによる注意喚起の態様は、衝突可能性の高さに応じて異なるものであっても良い。例えば、ディスプレイにおいて強調表示する場合、その強調の度合いを衝突可能性が高まるほど強めても良い。また、警告音や音声メッセージの音量を、衝突可能性が高めるほど大きくしても良い。

上述した実施形態では、運転者の視線が特定の対象物の方向に向けられているかどうかを、数式１に示す相関値の大きさに基づいて判定する例について説明した。しかしながら、運転者の視線が特定の対象物の方向に向けられているかどうかは、例えば、従来と同様に、対象物を基準として注意過多状態判定領域を設定し、その注意過多状態判定領域内の視線の停留時間の比率に基づいて判定しても良い。

また、上述した実施形態では、運転者の左右両目に関して、それぞれ、視線方向θ及び眼球方向の角速度θｅｖを求めて、それら左右両目に関する視線方向θ及び眼球方向の角速度θｅｖに基づいて、運転者が特定の対象物に視線を注いでいる注意過多状態かどうかを判定した。しかしながら、運転者の左右のいずれか一方の目の視線方向θ及び眼球方向の角速度θｅｖだけを検出して、注意過多状態であるかどうかを判定しても良い。ただし、運転者が特定の対象物を注視して、その対象物を認識しようとする場合、奥行き情報も大きな手掛かりとなる。その奥行き情報を得るためには、両眼視差が重要な意味を持ち、運転者が両眼で対象物を捉えることでより正確な奥行き情報を得ることができる。そのため、運転者が対象物に注意を向けている状態であるか否かについて、左右両目の視線方向θ及び眼球方向の角速度θｅｖに基づくことで、より精度の高い判定を行うことができる。

さらに、上述した実施形態において、例えば画像処理により対象物を認識するようにし、例えば、注意過多状態と判別された対象物が道路標識であった場合、その道路標識が読めないために注視した可能性があるので、音声により、その道路標識が意味するところを読み上げても良い。また、注意過多状態と判別された対象物が駐車場の看板であった場合、駐車スペースを探している可能性があるので、地図情報に基づき、最寄りの駐車スペースを案内するようにしても良い。

また、先行車に対する注意過多状態の判定頻度が増加した場合、漫然運転に陥っている可能性があるので、音声や表示メッセージにより、運転者に休憩を勧めるようにしても良い。

上述した実施形態では、本発明による注意過多状態判定装置を、自動車の運転者の注意過多状態を判定するために適用した例について説明した。しかしながら、本発明による注意過多状態判定装置の適用対象は自動車だけに限定されるものではない。例えば、自動車以外の乗り物（例えば、電車、船舶、飛行機など）に適用しても良いし、あるいはプラントのオペレータ等の特定の対象物に対する注意過多状態を検出するために適用しても良い。さらに、例えば、人と対話するロボットの改良に本発明による注意過多状態判定装置を利用しても良い。すなわち、人と対話するロボットにおいて、対象となる人が注意している対象がわかれば、ロボットがより自然な対話を行う可能性を高めることができる。また、本発明により注意過多状態判定装置は、動画広告のコンテンツ作りの改良に活用できる可能性もある。つまり、本発明による注意過多状態判定装置により、動画広告の視聴者が、動画中のどんなイベントにより強く惹きつけられるかがわかれば、より人に強く訴える動画広告のコンテンツ作りに役立つことが期待される。

１ 車両用警告システム
１０ ドライバーカメラ
１２ 車外カメラ
２０ 制御装置
２２ 注意過多状態判定部
２４ 警告出力制御部
２６ 表示制御部
２８ 音声出力制御部
３０ ディスプレイ
３２ スピーカー

Claims (14)

1. 判定対象者の周囲において、前記判定対象者の注視対象となりえる対象物を検出するとともに、検出された対象物が存在する方向を算出する対象物検出手段（Ｓ１４０、Ｓ１５０）と、
   前記判定対象者の視線方向を検出する視線方向検出手段（Ｓ１１０〜Ｓ１３０）と、
   前記判定対象者の眼球運動の速さを検出する眼球運動速さ検出手段（Ｓ１８０）と、
   所定時間の間、前記判定対象者の視線方向が、前記対象物検出手段によって検出された１つの特定の対象物の方向に向けられ、かつ、前記眼球運動速さ検出手段によって検出された眼球運動の速さが第１閾値（Ｔｈ１）以下である場合に、前記判定対象者の視線が前記特定の対象物に注がれた注意過多状態であると判定する注意過多判定手段（Ｓ１９０）と、を備えることを特徴とする注意過多状態判定装置。
2. 前記視線方向検出手段は、前記判定対象者の左右両目の視線方向をそれぞれ検出するものであり、
   前記眼球運動速さ検出手段は、前記判定対象者の左右両目の眼球運動の速さをそれぞれ検出するものであり、
   前記注意過多判定手段は、前記判定対象者の左右両目の視線方向が、ともに、前記特定の対象物の方向に向けられ、かつ、左右両目の少なくとも一方の眼球運動の速さが、前記第１閾値以下である場合に、前記判定対象者は前記特定の対象物への注意過多状態であると判定することを特徴とする請求項１に記載の注意過多状態判定装置。
3. 前記注意過多判定手段は、前記所定時間における、前記判定対象者の視線方向の時系列データと、前記特定の対象物の方向の時系列データとの相関値（Γ）を求め、当該相関値が第２閾値（Ｔｈ２）以上であるとき、前記判定対象者の視線方向が前記特定の対象物の方向に向けられているとみなすことを特徴とする請求項１又は２に記載の注意過多状態判定装置。
4. 前記注意過多判定手段は、前記所定時間における、前記判定対象者の視線方向の時系列データと、前記特定の対象物の方向の時系列データとの前記相関値を求める際、それぞれの前記時系列データのオフセット誤差を取り除くべく、前記判定対象者の視線方向の時系列データの各々から、前記所定時間における前記判定対象者の視線方向の平均値を減算するとともに、前記特定の対象物の方向の時系列データの各々から、前記所定時間における前記特定の対象物の方向の平均値を減算することを特徴とする請求項３に記載の注意過多状態判定装置。
5. 前記対象物検出手段は、所定の基準方向に対する角度として前記対象物の方向を算出し、
   前記視線方向検出手段は、前記基準方向に対する角度として前記視線方向を検出し、
   前記注意過多判定手段は、前記所定時間における、前記判定対象者の視線方向の時系列データと、前記特定の対象物の方向の時系列データとの前記相関値を求める際、前記相関値が前記角度の大きさの違いによる影響を受けないように正規化することを特徴とする請求項３又は４に記載の注意過多状態判定装置。
6. 前記視線方向検出手段は、前記判定対象者の視線方向を検出する際に、その視線方向のノイズ成分を除去するための平滑化処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の注意過多状態判定装置。
7. 前記注意過多判定手段は、前記対象物の方向が時間的に変化する場合、その方向が変化する変化速度に応じて、前記第１閾値の大きさを変化させるものであって、前記変化速度が速くなるほど、前記第１閾値の大きさを大きくすることを特徴とする請求項１乃至６のいずれか１項に記載の注意過多状態判定装置。
8. 前記注意過多判定手段は、前記対象物の方向の変化に追従する方向への眼球運動の速さに対する第１閾値の大きさを、前記対象物の方向の変化とは逆方向への眼球運動の速さに対する第１閾値の大きさよりも大きくすることを特徴とする請求項７に記載の注意過多状態判定装置。
9. 前記対象物検出手段は、前記対象物の大きさも検出するものであり、
   前記注意過多判定手段は、前記対象物の大きさに応じて、前記第１閾値の大きさを変化させるものであって、前記対象物の大きさが大きくなるほど、前記第１閾値の大きさを大きくすることを特徴とする請求項１乃至８のいずれか１項に記載の注意過多状態判定装置。
10. 前記判定対象者に対して注意喚起を行う注意喚起手段（２４〜３２）を備え、
    前記注意喚起手段は、前記注意過多判定手段によって注意過多状態であると判定されたときに、前記判定対象者が注意過多状態である旨を知らせるための注意喚起を行うことを特徴とする請求項１乃至９のいずれか１項に記載の注意過多状態判定装置。
11. 前記注意過多状態判定装置は、乗り物の運転者を判定対象者とし、前記乗り物の周囲の対象物に対する注意過多状態を判定するものであることを特徴とする請求項１乃至１０のいずれかに記載の注意過多状態判定装置。
12. 前記乗り物と前記対象物検出手段によって検出された対象物との衝突可能性を判定する衝突可能性判定手段と、
    前記判定対象者である前記乗り物の運転者に対して注意喚起を行う注意喚起手段と、を備え、
    前記衝突可能性判定手段が、前記注意過多判定手段によって注意過多状態と判定された特定の対象物以外の対象物との衝突可能性が生じたことを判定したとき、前記注意喚起手段が、前記乗り物の運転者に対して注意喚起を行うことを特徴とする請求項１１に記載の注意過多状態判定装置。
13. 前記注意喚起手段は、前記衝突可能性判定手段が判定した衝突可能性の高さにより、注意喚起の態様を異ならせることを特徴とする請求項１２に記載の注意過多状態判定装置。
14. コンピュータを、請求項１から１３のいずれか１項に記載の注意過多状態判定装置における、前記対象物検出手段、前記視線方向検出手段、前記眼球運動速さ検出手段、及び前記注意過多判定手段として機能させる注意過多状態判定プログラム。

Images