JP6956473B2 - わき見状態判定装置 - Google Patents

Description

本発明は、わき見状態判定装置に関するものである。

運転者のわき見は、安全運転を行う上で好ましくないものである。特許文献１には、視線が動くときに生じる跳躍運動の１回あたりの移動量から、進行方向を見ていないときのわき見を判定するものが開示されている。

わき見の中には、車両の進行方向を見ていない一般的なわき見の他、進行方向を見ているるが、注視すべき物を見ていないときのわき見（「進行方向わき見」と定義する）がある。すなわち、運転者の注意力が散漫なとき等は、運転者の視線が車両の前方を向いていても（視線方向が車両前方方向であって）、車両前方に存在する危険物等の視認すべき視認対象物を十分に見ていないために、事実上わき見状態となっていることがある。なお、特許文献２には、運転者の脳波に基づいて、運転者の視線方向が前方を向いている状態でのわき見を判定するものが開示されている。

特開２００３−９９８９９号公報 特開２０１２−８５７４６号公報

上述した進行方向わき見つまり視線方向わき見であるか否かを判定するために、特許文献２に記載のように運転者の脳波を用いることは一般的でなく（脳波検出装置がかなり大掛かりでコスト高）、より簡便な手法で判定できるようにすることが望まれる。また、わき見であるか否かを判定するには、注視すべき対象物を特定する必要があるが、この注視すべき対象物をいかに的確に特定するかも問題になる。

本発明は以上のような事情を勘案してなされたもので、その目的は、注視すべき対象物を的確に特定しつつ、簡便な手法により視線方向わき見を判定できるようにしたわき見状態判定装置を提供することにある。

前記目的を達成するため、本発明にあっては、次のような解決手法を採択してある。すなわち、請求項１に記載のように、
車両前方にある風景を撮像する撮像手段と、
車両状態を検出する車両状態検出手段と、
前記撮像手段で取得された撮像画像から、車両の運転者が注視すべき視認対象物となる視覚的特徴点を検出する視覚特徴点検出手段と、
前記運転者の注視点を検出する注視点検出手段と、
前記視覚特徴点検出手段により検出された視覚特徴点と前記注視点検出手段により検出された注視点とに基づいて、前記運転者が前記視覚特徴点を見ていないわき見であるか否かを判定するわき見判定手段と、
前記撮像手段で撮像された撮像画像中から、前記車両状態検出手段で検出された車両状態に応じて視認しなくともよい領域を除外する領域除外手段と、
を備え、
前記視覚特徴点検出手段は、前記領域除外手段で領域除外された後の撮像画像に基づいて危険対象物に限定して視覚特徴点を検出する、
ようにしてある。上記解決手法によれば、運転者が注視すべき危険対象物を視覚特徴点検出手段によって的確に特定することができる。そして、特定された視覚特徴点と運転者の注視点とに基づくという簡便な手法によって視線方向わき見であるか否かを判定することができる。以上に加えて、領域除外手段で領域除外された後の撮像画像に基づいて視覚特徴点を検出することから、運転者の視認すべき方向とは無関係な方向にある視覚特徴点等を、不必要に判定対象としてしまう事態を防止して、制御系の負担軽減やわき見であると誤って判定してしまう事態を防止する上でも好ましいものとなる。以上に加えて、わき見判定の対象とすべき視認対象物を的確に限定して、上記効果をより一層高める上で好ましいものとなる。

上記解決手法を前提とした好ましい態様は、請求項２以下に記載のとおりである。すなわち、
前記わき見判定手段は、前記注視点の前記視覚特徴点への視線移動頻度があらかじめ設定された所定値以下のときに、わき見であると判定する、ようにしてある（請求項２対応）。この場合、わき見することなく視覚特徴点を視認しているときは、視覚特徴点に対する視線移動の頻度が高くなることから、この視線移動の頻度に基づいてわき見であるか否かを精度よく判定することができる。

前記視覚特徴点検出手段は、前記撮像画像中における少なくとも輝度、色、エッジ方向、動きに基づいて視覚特徴点を検出する、ようにしてある（請求項３対応）。この場合、輝度、色、エッジ方向、動きというような人間が直感的に認識しやすいものを注視すべき（わき見によって見過ごしてはならない）視認対象物として特定して、注視すべき視認対象物をより的確に検出する上で好ましいものとなる。

前記わき見判定手段によって前記判定対象者がわき見をしていると判定されたときに警報を行う警報手段を備えている、ようにしてある（請求項４対応）。この場合、わき見状態から視認対象物をきちんと視認する正常状態へと復帰させる上で好ましいものとなる。

本発明によれば、注視すべき視覚特徴点を的確に特定しつつ、視線方向わき見であることを簡便に判定して、安全運転向上の上で好ましいものとなる。

本発明の制御系統例を示す図。 車両前方に存在する視覚特徴点の例を示す図。 図２に示す前方風景を撮像した撮像画像から、除外領域を設定する例を示す図。 本発明の制御例を示すフローチャート。

以下、本発明の実施形態について説明するが、実施形態では、判定対象者が移動体としての車両（実施形態では自動車）の運転者であり、したがって視線方向わき見の判定は、視線方向が車両の進行方向であるときとなる進行方向わき見について行うようにしてある。
まず、図１は、本発明の制御系統例をブロック図的に示すものであり、移動体としての自動車（自車両）に搭載されている。図中、Ｕはマイクロコンピュータを利用して構成されたコントローラ（制御ユニット）である。このコントローラＵには、各種センサや機器類１〜４からの信号が入力される。すなわち、１は、自車両前方を撮像するカメラであり、このカメラ１により、自車両前方の周囲状況が取得される。なお、カメラ１をカラー方式のステレオカメラとすることにより、視認対象物までの距離や色をも検出することができる。なお、視認対象物までの距離の検出のために、別途レーダを利用することもできる。

図１中、２は、車室内に搭載されたアイカメラであり、特に運転者の視線方向（注視方向）を検出するものとなっている。３は、各種センサを利用した車両状態検出手段であり、例えば、車速、加速度、ヨーレート、エンジン回転数、舵角、ワイパの作動状況（雨天、降雪等の検出用）、ライト作動状況（昼間、夜間の検出）等が検出される。４は、ナビゲーション装置であり、現在走行している道路の状況や前方の道路状況に関する情報（（例えば高速道路、一般道路、直線路、カーブ路、交差点、各種道路標識や交通信号機の存在等）が取得される他、自車両位置情報等が取得される。

コントローラＵは、後述するように、視認すべき対象物となるを示す視覚特徴点の検出と、この検出された視覚特徴点と運転者の視線（注視点）との比較結果に基づいて進行方向わき見をしているか否かを判定するわき見判定と、を行うようになっている。そして、進行方向わき見であると判定したときは、プロジェクションマッピング装置１１、ヘッドアップディスプレイ１２あるいはスピーカ１３を制御して、運転者に注意喚起（警告）を行うようになっている。

コントローラＵは、視覚特徴点つまり運転者が視認すべき視認対象物を決定（抽出）するために、後述するように、サリエンシーモデル２１のモデル系を有している。サリエンシーモデル２１は、見た瞬間に視認されるもの（目立つもの）を視認対象物として決定するためのものであり、例えば、大きいもの、明るいもの（輝度が高いもの）、コントラストが強いもの（色）、周囲と異なるエッジ方向や動きをしている物等が対象となる。そして、サリエンシーモデル２１には、車両前方に存在する多くの視認対象物のうち、特に危険となる視認対象物（例えば前方車両、対向車両、信号機、歩行者等々）の情報が数多く記憶されている。

コントローラＵは、データベース２２を有しており、このデータベース２２には、視認対象物を確実に注視しているときの当該視認対象物に対する視線移動の頻度（単位時間あたりの視線移動回数）を記憶している。すなわち、データベース２２には、視認対象物が例えば交差点の信号機としたとき、注視状態であれば（わき見することなく信号機を見ている状態であれば）、この信号機に対して単位時間あたり何回以上視線移動するかという情報を対応づけて記憶している。そして、データベース２２には、視認対象物として、信号機の他、歩行者、前方車両、対向車両等々、数多くの視認対象物について、道路状況や天候等々をも対応させつつ、上記視線移動回数が対応づけて記憶されている。

次に、図２に基づいて、視認対象物となる視覚特徴点の検出手法について説明する。図２中、３１はフロントウインドガラスで、ルーフパネル３２の前縁部によってフロントウインドガラス３１の上縁部（上枠部）が規定され、インストルメントパネル３３の前縁部によってフロントウインドガラスの下縁部（下枠部）が規定され、左右のフロントピラー３４Ｒ、３４Ｌによってフロントウインドガラス３１の左右縁部（左右枠部）が規定される。３５Ｒ、３５Ｌは左右のサイドミラー、３６はバックミラー、３７はメータパネル、３８はステアリングハンドルである（図２では左ハンドル車となっている）。

図２においては、フロントウインドガラス３１を通して運転者により視認される前方の道路状況として、自車両が走行している走行車線が符号４１で示され、対向車線が符号４２で示され、その中央境界線が符号４３で示される。車線４１には、前方車両４４が存在し、前方車両４４の前方に信号機４５が存在し、対向車線４２の路肩沿いに点灯式の看板４６が存在している。

図２において、サリエンシーモデル２１においては、見た瞬間に目立つものを視認対象物として決定することから、すぐ前方を走行している前方車両４４の他、信号機４５と光っている看板４６とが視認対象物として決定される。特に、前方車両４４のブレーキランプが点灯された場合には、このブレーキランプが点灯された前方車両４４は危険対象物とされ、また信黄色表示あるいは赤色表示のときにおける号機４５も危険対象物とされる。

カメラ１によって撮像された撮像画像には、少なくとも上記前方車両４４、信号機４５、看板４６が視認対象物を示す視覚特徴点として表示されたものとなる。撮像画像中に含まれる全ての視覚特徴点のうち、わき見の対象とならない視覚特徴点も多く存在するのが実情である。例えば、車両の進行方向とは大きく左右にずれた位置にある看板４６はわき見判定の対象外であり、また、フロントウインドガラス３１の左上方領域も、わき見判定の対象外となる。さらに、フロントウインドガラス３１の上縁部付近にある空の景色も判定対象外として問題のない領域となる。このため、わき見判定の対象となる視覚特徴点を抽出する（絞り込む）ために、例えば図３に示すように、撮像画像Ｇ中における領域Ｒ１とＲ２とはわき見判定する領域から除外するように処理される。

コントローラＵは、進行方向わき見の判定を行う判定実行条件として、アイカメラ２によって検出される運転者の視線方向が、車両の進行方向とほぼ一致しているとき、つまり車両進行方向に対する視線方向のオフセット量が所定量（所定角度）以下のときとしてある。

コントローラＵは、運転者の視線方向（つまり注視点）が、図３に示すような撮像画像Ｇから検出される視覚特徴点となる例えば前方車両４４、信号機４５のそれぞれに対して、運転者の視線の移動頻度が所定値以下のときに、前方車両４４あるいは信号機４５を見ていないわき見状態（進行方向わき見状態）であると判定する。

次に、コントローラＵの制御内容の詳細について、図４に示すフローチャートを参照しつつ説明する。なお、以下の説明でＱはステップを示す。

まず、Ｑ１において、車両の車速、加速度、ヨーレート等の車両状態が読み込まれる。この後、Ｑ２において、カメラ１によって撮像された前方状況（前方風景）を示す撮像画像が取得される。この後、Ｑ３において、車両状態に応じて、視覚特徴点を抽出するための撮像画像中から除外する領域を設定するための前処理が行われる。すなわち、除外する領域として、例えば、車速が高いときや加速時には撮像画像中の左右領域が除外領域として設定され、ヨーレートが発生しているときは、カーブ走行なので曲がる方向とは反対側の領域が除外される。なお、このような除外領域の設定は一例であり、この他、車両状態や運転者状態（特に疲労状態）に応じて適宜除外領域を設定することもできる。

Ｑ４においては、Ｑ３で設定された除外領域が除外された（補正された）後の撮像画像が取得される。この後、Ｑ５において、除外領域を除いた撮像画像（例えば図３に示すように領域Ｒ１とＲ２を除外した撮像画像）から、視覚特徴点（領域）を示すサリエンシーが演算（抽出）される（図３の場合、前方車両４４、信号機４５が抽出される）。

Ｑ５の後、Ｑ６において、Ｑ５で抽出された視覚特徴点のうち、危険領域が設定される。すなわち、視覚特徴点としては、例えば図３に示すように前方車両４４および信号機４５が抽出されるが、例えば、前方車両４４においては特異な動きをしておらず、また前方車両４４に対する車間距離も十分にあるときは、この前方車両４４は特に危険対象物とする必要がないことになる。この一方、前方車両４４との車間距離が小さすぎる場合や、ブレーキランプが点灯されたときは、この前方車両４４の存在領域が危険領域とされる。一方、信号機４５について、黄色表示あるいは赤色表示であるときは、信号機４５が危険対象物であるとされる（青色表示であるときは危険対象物とされない）。このように、視覚特徴点が複数存在する場合は、その中から特に注意すべき危険対象物が絞り込まれることになる。

上記Ｑ６の後、Ｑ７において、アイカメラ２によって、運転者の視線行動が検出される。この後、Ｑ８において、Ｑ６において絞り込まれた危険対象物（例えば信号機４５）に対して行われた運転者の視線移動の頻度が演算される。

Ｑ８の後、Ｑ９において、Ｑ８で取得された視線移動の頻度が、データベース２２に記憶された基準の視線頻度と比較されてる。この基準の視線移動の頻度は、危険対象物が例えば信号機４５であるときは、データベース２２に記憶されている信号機に対する視線移動の頻度のうち、例えば車両の現在の状況や信号機の表示状態に対応した視線移動の頻度が選択（抽出）される。Ｑ９での比較は、Ｑ８で取得された視線移動の頻度が、データベース２２から抽出された基準の視線移動の頻度以上であるか否かの比較となる。

この後、Ｑ１０において、注意状態の判定が行われる。このＱ１０での判定は、Ｑ９での比較の結果が、Ｑ８で３取得された視線移動の頻度が、データベース２２から抽出された基準の視線移動の頻度以上であるときは、信号機４５を注視している正常状態であって、注意低下ではないとされる。逆に、Ｑ８で３取得された視線移動の頻度が、データベース２２から抽出された基準の視線移動の頻度未満であるときは、信号機４５を見落としているあるいは信号機４５の表示内容を十分に認識していない注意低下状態（進行方向のわき見状態）であるとされる。

Ｑ１１においては、Ｑ１０での比較結果に基づいて、注意低下状態（進行方向わき見状態）であるか否かが判別される。このＱ１１の判別でＮＯのときは、そのままリターンされる．Ｑ１１の判別でＹＥＳのときは、Ｑ１２において、運転者に対する注意喚起方法が演算された後、Ｑ１３において、Ｑ１２で演算された注意喚起方法でもって注意喚起が実行される。

Ｑ１２、Ｑ１３の処理は、進行方向わき見であると判定されている状態で、例えば車両の状況や道路状況等に応じて注意すべき内容を変更するための処理となる。例えば、黄色表示や赤色表示されているときの信号機４５に対するわき見のときは、危険なので、スピーカ１３により音声による注意喚起（重度の注意喚起）が行われる（例えば「前方の信号機が赤です」というような音声注意）。また、前方車両４４までの車間距離が小さいときでこの前方車両４４に対するわき見のときは、例えばヘッドアップディスプレイ１２はプロジェクションマッピング１１による表示によって、例えば「車間距離をもっと確保しましょう」といいうような注意喚起が行われる（軽度の注意喚起）。なお、注意喚起（警報）の内容は、種々選択でき、例えば視認対象物（特に危険対象物）の位置に対応した位置に、プロジェクションマッピング装置１１によって点灯表示（あるいは点滅表示）を行って、注視すべき位置を運転者に報知することもできる。

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。判定対象者としては、車両の運転者に限らず、船舶や航空機の操縦者、クレーン等のオペレータ等々、視線方向（移動体の進行方向）のわき見が問題となるような者であれば、適宜のものを判定対象者とすることができ、また移動体の運転者あるいは操縦者に限らず、例えば定位置でもって監視を行う者であってもよい。視線方向が移動体の進行方向とは所定以上大きくずれた一般的なわき見についても合わせて判定することもでき、この場合、運転者に対するわき見の注意喚起（警報）の内容を、一般的なわき見と視認方向（移動体の場合は進行方向）のわき見とで区別して行うこともできる。図４に示すステップ（あるいはステップ群）は、コントローラＵの有する機能（あるいは手段）として表現することができる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

本発明は、注視すべき視覚特徴点を的確に特定しつつ、例えば車両の運転者における進
行方向わき見であることを簡便に判定して、安全運転向上の上で好ましいものとなる。

Ｕ：コントローラ
１：カメラ（前方風景）
２：アイカメラ
３：センサ（車両状態検出）
４：ナビゲーション装置
１１：プロジェクションマッピング（注意喚起用）
１２：ヘッドアップディスプレイ（注意喚起用）
１３：スピーカ（注意喚起用）

Claims (4)

1. 車両前方にある風景を撮像する撮像手段と、
   車両状態を検出する車両状態検出手段と、
   前記撮像手段で取得された撮像画像から、車両の運転者が注視すべき視認対象物となる視覚的特徴点を検出する視覚特徴点検出手段と、
   前記運転者の注視点を検出する注視点検出手段と、
   前記視覚特徴点検出手段により検出された視覚特徴点と前記注視点検出手段により検出された注視点とに基づいて、前記運転者が前記視覚特徴点を見ていないわき見であるか否かを判定するわき見判定手段と、
   前記撮像手段で撮像された撮像画像中から、前記車両状態検出手段で検出された車両状態に応じて視認しなくともよい領域を除外する領域除外手段と、
   を備え、
   前記視覚特徴点検出手段は、前記領域除外手段で領域除外された後の撮像画像に基づいて危険対象物に限定して視覚特徴点を検出する、
   ことを特徴とするわき見状態判定装置。
2. 請求項１において、
   前記わき見判定手段は、前記注視点の前記視覚特徴点への視線移動頻度があらかじめ設定された所定値以下のときに、わき見であると判定する、ことを特徴とするわき見状態判定装置。
3. 請求項１または請求項２において、
   前記視覚特徴点検出手段は、前記撮像画像中における少なくとも輝度、色、エッジ方向、動きに基づいて視覚特徴点を検出する、ことを特徴とするわき見状態判定装置。
4. 請求項１ないし請求項３のいずれか１項において、
   前記わき見判定手段によって前記判定対象者がわき見をしていると判定されたときに警報を行う警報手段を備えている、ことを特徴とするわき見状態判定装置。
   
   

Images