JP5040851B2 - 脇見運転判定装置 - Google Patents

Description

本発明は、車両を運転する運転者が脇見運転をしているか否かを判定する脇見運転判定装置に関するものである。

従来、脇見運転判定装置として、例えば特許第３３６９２３７号公報に記載されるように、運転者の眼の位置と視線方向を検出することにより運転者の注視点を判定する視点判定手段と、運転者の注視点が前方障害物に留まる時間を計測する継続時間計測手段と、運転者の注視点とその継続時間に基づいて脇見運転を判定する脇見判定手段とを備えるものが知られている。この装置は、運転者の注視点が前方障害物に一定時間留まっていない時に脇見運転と判定し、判定の精度を向上させようとするものである。
特許第３３６９２３７号公報

しかしながら、上述した装置にあっては、車両の前方から側方へ流れる物体に視線を追従させる場合に、運転者の注視点がその物体に一定時間留まっているため、脇見運転と判定できない問題点があった。その結果、判定精度の向上を図り難い。

そこで本発明は、このような技術課題を解決するためになされたものであって、脇見運転の判定精度を向上させることができる脇見運転判定装置を提供することを目的とする。

すなわち本発明に係る脇見運転判定装置は、車両の前方を撮像する撮像手段と、運転者の視線を検出する視線検出手段と、撮像手段により撮像された画像に基づいてオプティカルフローを算出するオプティカルフロー算出手段と、視線検出手段により検出された運転者の視線に基づいて視線の移動ベクトルを演算する移動ベクトル演算手段と、オプティカルフロー算出手段により算出されたオプティカルフロー、及び移動ベクトル演算手段により演算された移動ベクトルに基づいて、運転者が脇見運転しているか否かを判定する脇見運転判定手段と、を備えて構成されている。

この発明によれば、オプティカルフロー算出手段により算出されたオプティカルフロー、及び移動ベクトル演算手段により演算された視線の移動ベクトルに基づいて、運転者が脇見運転しているか否かを判定する。このようにオプティカルフローと運転者視線の移動ベクトルとの関係を利用して脇見運転であるかを判定することにより、脇見運転の判定精度を向上させることができる。

また本発明に係る脇見運転判定装置において、脇見運転判定手段は、オプティカルフロー算出手段により算出されたオプティカルフローと移動ベクトル演算手段により演算された移動ベクトルとが所定時間一致する場合に、運転者が脇見運転していると判定することが好適である。

この場合にあっては、運転者の視線が車外の物体の動きに追従する状態に対して、確実に脇見運転と判定することができる。従って、車両の前方から側方へ流れる物体に運転者の視線を追従させるような状態でも、脇見運転と判定することが可能となるので、脇見運転の判定精度をより一層向上させることができる。

本発明に係る脇見運転判定装置において、脇見運転判定手段により運転者が脇見運転していると判定された場合に、運転者に警告を報知する警報手段を更に備えることが好適である。

この場合にあっては、運転者に警告を報知することにより、運転者の脇見運転を是正させることができる。

本発明によれば、脇見運転の判定精度を向上させることができる脇見運転判定装置を提供することができる。

以下、添付図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の実施形態に係る脇見運転判定装置の概略構成図である。図１に示すように、本実施形態に係る脇見運転判定装置１は、車両Ｍに搭載され、車両Ｍの運転者Ｄが脇見運転しているか否かを判定することにより、車両の走行を支援するためのものである。

脇見運転判定装置１は、車両Ｍの前方を撮像するカメラ（撮像手段）２、運転者Ｄの視線を検出する視線計測カメラ（視線検出手段）３、運転支援ＥＣＵ４、及び警報器５を備えている。カメラ２は、例えばＣＣＤカメラであり、車両Ｍの車室内前方中央に配置されている。このカメラ２は、車両Ｍの前方の路面画像や物体などを撮像して、複数の画素データからなる画像データを生成し、生成した画像データを運転支援ＥＣＵ４に送信する。

視線計測カメラ３は、車室内の運転席の前側に設置され、運転者Ｄの視線を検出するものである。この視線計測カメラ３は、例えば赤外線を運転者Ｄの顔に照射して運転者Ｄの顔にから反射された赤外線を受光することにより、運転者Ｄの運転操作を妨げずに運転者Ｄの顔を撮像し、運転者Ｄの視線を検出するための撮像画像を取得する。そして、視線計測カメラ３は、取得した画像を運転支援ＥＣＵ４に送信する。

運転支援ＥＣＵ４は、全体の制御を行うものであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成されている。この運転支援ＥＣＵ４は、オプティカルフロー算出部４１、移動ベクトル演算部４２、及び脇見運転判定部４３を備えている。

オプティカルフロー算出部４１は、カメラ２に接続され、カメラ２から送信された画像データを取得し、時系列に連続する画像データからオプティカルフローを算出するものである。ここで、オプティカルフローとは、時間的に連続する数フレームの画像から、画像中の各画素が時間的にそれぞれどの方向に動いたかを求めたものである。そして、オプティカルフロー算出方法として、例えば勾配法が挙げられる。

図２はオプティカルフローと視線移動ベクトルを示す図である。図２において、矢印付きの４本の放射状の直線Ｆ１〜Ｆ４は風景のオプティカルフローを示し、矢印なしの２本の太い直線は走行車線を示す。図２に示すように、車両走行方向の風景で生じる風景のオプティカルフローは、消失点Ｐから放射状に広がる速度ベクトルとなり、消失点Ｐから外側に向かって流れていくように見えている。この風景のオプティカルフローは、カメラ２により撮像された時系列に連続する２コマの画像から算出されるものである。

移動ベクトル演算部４２は、視線計測カメラ３に接続され、視線計測カメラ３から送信された運転者Ｄの顔の画像を画像処理することにより、運転者Ｄの視線を検出する。更に、この移動ベクトル演算部４２は、検出した運転者Ｄの視線に基づいて視線の移動ベクトルを演算する手段として機能している。例えば、図２に示すように、移動ベクトル演算部４２は、視線計測カメラ３から運転者Ｄが見ている視線ベクトルＶ１、Ｖ２をそれぞれ検出し、検出した視線ベクトルＶ１、Ｖ２に基づいて視線移動ベクトルＶ３を演算する。

脇見運転判定部４３は、オプティカルフロー算出部４１及び移動ベクトル演算部４２にそれぞれ接続され、オプティカルフロー算出部４１により算出されたオプティカルフロー、及び移動ベクトル演算部４２により演算された移動ベクトルに基づいて、運転者Ｄが脇見運転しているか否かを判定する。

警報器５は、脇見運転判定部４３により運転者Ｄが脇見運転していると判定された場合に、運転者Ｄに警告を報知する警報手段として機能している。例えば、警報器５は警告音を発することによって運転者Ｄに注意を促す。

次に、本実施形態に係る脇見運転判定装置１の動作について説明する。

図３は、本実施形態に係る脇見運転判定装置の動作を示すフローチャートである。図３に示す制御処理は、例えばイグニッションオンされてから所定の周期（例えば、１００〜１０００ｍｓ）で繰り返し実行される。

初めに、Ｓ１０の処理では、車両前方の画像取得が実施される。このとき、オプティカルフロー算出部４１は、カメラ２により撮像された車両Ｍの前方の物体の画像データを取得する。

Ｓ１０の処理に続くＳ１１の処理では、オプティカルフローの計算が行われる。このとき、オプティカルフロー算出部４１は、Ｓ１０の処理で取得した物体の画像データを１コマ前の画像データと比較し、オプティカルフローを計算する。

Ｓ１１の処理に続くＳ１２の処理では、運転者視線ベクトルの取得が実施される。このとき、移動ベクトル演算部４２は、視線計測カメラ３から運転者Ｄが見ている視線ベクトルを取得する。

Ｓ１２の処理に続くＳ１３の処理では、視線移動ベクトルの計算が行われる。このとき、移動ベクトル演算部４２は、Ｓ１２の処理で取得した視線ベクトルを単位時間前の視線ベクトルと比較し、視線移動ベクトルを計算する。

Ｓ１３の処理に続くＳ１４の処理では、オプティカルフローと視線移動ベクトルとが一致するか否かが判定される。このとき、脇見運転判定部４３は、まずＳ１１の処理で計算されたオプティカルフローとＳ１３の処理で計算された視線移動ベクトルに対し、測定によるノイズの除去を行い、次にノイズを除去したオプティカルフローと視線移動ベクトルとを比較することにより、両者が一致するか否かを判定する。

そして、オプティカルフローと視線移動ベクトルとが一致しない場合に、制御処理を終了する。一方、オプティカルフローと視線移動ベクトルとが一致する場合に、運転者Ｄが車外の物体を注視していると判定され、処理がＳ１５に進む。なお、ここでの一致とは、オプティカルフローと視線移動ベクトルとが完全一致のみならず、これらの大きさ又は向きが許容範囲内の誤差を有する場合も含むものである。

Ｓ１５の処理では、注視の継続時間が単位時間以上であるか否かが判定される。すなわち、脇見運転判定部４３は、運転者Ｄが車外の物体を注視する継続時間を測定し、その継続時間が単位時間を越えるかどうかを判定する。そして、継続時間が単位時間を越えない場合に、処理を終了する。一方、その継続時間が単位時間を越えた場合に、運転者Ｄが脇見運転していると判定され、処理がＳ１６に進む。

Ｓ１６の処理では、運転者Ｄに対する警告が行われる。このとき、警報器５は、警告音を発し運転者Ｄへの注意喚起を行う。Ｓ１６の処理を終えたら、一連の制御処理を終了する。

本実施形態に係る脇見運転判定装置１にあっては、脇見運転判定部４３は、オプティカルフロー算出部４１により算出されたオプティカルフロー、及び移動ベクトル演算部４２により演算された視線の移動ベクトルに基づいて、運転者Ｄが脇見運転しているか否かを判定し、そして、オプティカルフローと移動ベクトルとが所定時間一致する場合に、運転者が脇見運転していると判定する。このため、運転者Ｄの視線が車両外の物体の動きに追従する状態に対して、確実に脇見運転と判定することができる。従って、車両Ｍの前方から側方へ流れる物体に運転者Ｄの視線を追従させるような状態でも、脇見運転と判定することが可能となる。その結果、脇見運転の判定精度を向上させることができる。

また、運転者Ｄに警告を報知する警報器５を備えているので、脇見運転と判定された場合に、運転者Ｄに警告音を発することにより、運転者Ｄの脇見運転を是正させることができ、安全運転を図ることができる。

以下、図４を参照し本実施形態に係る脇見運転判定装置の別の動作を説明する。図４に示す制御処理と図３の制御処理との相違点は、運転者が注意対象物を所定時間目視していない場合に脇見運転と判定されることである。ここでの注意対象物とは、運転者Ｄが目視しなければならない対象物であり、例えば信号、交通標識、右左折時などの目視対象、側道から出てくる車や歩行者などである。これらの注意対象物は、インフラ情報や車両Ｍに搭載されたカーナビゲーションから得られるものである。

図５は運転者の視線方向と注意対象物との位置を示す図である。図５において、斜線で示す範囲は運転者Ｄの視野を示し、矢印付きの直線Ｆ５は運転者Ｄの視線方向を示し、Ｓは注意対象物を示す。図５に示すように、運転者Ｄの視線方向は注意対象物Ｓに向かっていないので、運転者Ｄが注視対象物Ｓを目視していない状態にある。

図６はオプティカルフローと視線移動ベクトルを示す図である。図６において、矢印付きの４本の放射状の直線Ｆ１〜Ｆ４は風景のオプティカルフローを示し、矢印なしの２本の太い直線は走行車線を示し、Ｖ１、Ｖ２は運転者Ｄの視線ベクトルを示し、Ｖ３は視線ベクトルＶ１、Ｖ２に基づいて計算された視線移動ベクトルを示す。また、矢印付きの直線Ｆ６は注視対象物Ｓのオプティカルフローを示す。

図４に示す制御処理は、例えばイグニッションオンされてから所定の周期（例えば、１００〜１０００ｍｓ）で繰り返し実行される。初めに、Ｓ２０の処理では、車両前方の画像取得が実施される。このとき、オプティカルフロー算出部４１は、カメラ２により撮像された車両Ｍの前方の物体の画像データを取得する。

Ｓ２０の処理に続くＳ２１の処理では、注意対象物の特定が行われる。このとき、運転支援ＥＣＵ４は、車両Ｍに搭載されたカーナビゲーションの地図情報、及び自車の車速などの情報を組み合わせて、注意対象物を特定する。

Ｓ２１の処理に続くＳ２２の処理では、注意対象物のオプティカルフローの計算が行われる。このとき、オプティカルフロー算出部４１は、Ｓ２０の処理で取得した注意対象物の画像データを１コマ前の画像データと比較し、注意対象物のオプティカルフローを算出する。この処理では、カメラ２の画像を用いて誤差を修正し、注意対象物を車両前方画像上にプロットして、更に自車の車速に合わせて風景のオプティカルフローと注意対象物のオプティカルフローとをそれぞれ計算する（図６参照）。

Ｓ２２の処理に続くＳ２３の処理では、運転者視線ベクトルの取得が実施される。このとき、移動ベクトル演算部４２は、視線計測カメラ３から運転者Ｄが見ている視線ベクトルを取得する。

Ｓ２３の処理に続くＳ２４の処理では、視線移動ベクトルの計算が行われる。このとき、移動ベクトル演算部４２は、Ｓ２３の処理で取得した視線ベクトルを単位時間前の視線ベクトルと比較し、視線移動ベクトルを計算する。

Ｓ２４の処理に続くＳ２５の処理では、注意対象物のオプティカルフローと視線移動ベクトルとが一致しないか否かが判定される。このとき、脇見運転判定部４３は、Ｓ２２の処理で計算された注意対象物のオプティカルフローとＳ２４の処理で計算された視線移動ベクトルとを比較することにより、両者が一致しない否かを判定する。

そして、注意対象物のオプティカルフローと視線移動ベクトルとが一致する場合に、制御処理を終了する。なお、ここでの一致とは、注意対象物のオプティカルフローと視線移動ベクトルとが完全一致のみならず、これらの大きさ又は向きが許容範囲内の誤差を有する場合も含むものである。一方、注意対象物のオプティカルフローと視線移動ベクトルとが一致しない場合に、運転者Ｄが注意対象物を目視していないと判定され、処理がＳ２６に進む。

Ｓ２６の処理では、注視の継続時間が単位時間以上であるか否かが判定される。すなわち、脇見運転判定部４３は、運転者Ｄが注意対象物以外の物体を注視する継続時間を測定し、その継続時間が単位時間を越えるかどうかを判定する。そして、継続時間が単位時間を越えない場合に、処理を終了する。一方、その継続時間が単位時間を越えた場合に、運転者Ｄが脇見運転していると判定され、処理がＳ２７に進む。

Ｓ２７の処理では、運転者Ｄに対する警告が行われる。このとき、警報器５は、警告音を発し運転者Ｄへの注意喚起を行う。Ｓ２７の処理を終えたら、一連の制御処理を終了する。

なお、上述した実施形態は本発明に係る脇見運転判定装置の一例を説明したものであり、本発明に係る脇見運転判定装置は実施形態に記載したものに限定されるものではない。本発明に係る脇見運転判定装置は、各請求項に記載した要旨を変更しないように実施形態に係る脇見運転判定装置を変形し、又は他のものに適用したものであってもよい。

例えば、上記の実施形態では、脇見運転判定装置１の制御処理の順序として、車両前方の画像取得（Ｓ１０）及びオプティカルフローの計算（Ｓ１１）の処理は、視線ベクトルの取得（Ｓ１２）及び視線移動ベクトルの計算（Ｓ１３）の処理より先に行われているが、これに限らず、両者の処理順序を逆にしたり、又はこれらの処理を同時に行ったりしてもよい。

本発明の実施形態に係る脇見運転判定装置の概略構成図である。 オプティカルフローと視線移動ベクトルを示す図である。 本実施形態に係る脇見運転判定装置の動作を示すフローチャートである。 本実施形態に係る脇見運転判定装置の動作を示すフローチャートである。 運転者の視線方向と注意対象物との位置を示す図である。 オプティカルフローと視線移動ベクトルを示す図である。

符号の説明

１…脇見運転判定装置、２…カメラ（撮像手段）、３…視線計測カメラ（視線検出手段）、５…警報器、４１…オプティカルフロー算出部、４２…移動ベクトル演算部、４３…脇見運転判定部。

Claims (2)

1. 車両の前方を撮像する撮像手段と、
   運転者の視線を検出する視線検出手段と、
   前記撮像手段により撮像された画像に基づいてオプティカルフローを算出するオプティカルフロー算出手段と、
   前記視線検出手段により検出された運転者の視線に基づいて視線の移動ベクトルを演算する移動ベクトル演算手段と、
   前記オプティカルフロー算出手段により算出されたオプティカルフロー、及び前記移動ベクトル演算手段により演算された移動ベクトルに基づいて、運転者が脇見運転しているか否かを判定する脇見運転判定手段と、
   を備え、
   前記脇見運転判定手段は、前記オプティカルフロー算出手段により算出されたオプティカルフローと前記移動ベクトル演算手段により演算された移動ベクトルとが所定時間一致する場合に、運転者が脇見運転していると判定することを特徴とする脇見運転判定装置。
2. 前記脇見運転判定手段により運転者が脇見運転していると判定された場合に、運転者に警告を報知する警報手段を更に備える請求項１に記載の脇見運転判定装置。

Images