WO2015182040A1 - 注意喚起装置 - Google Patents

Abstract

　カメラ（３５）を備えた携帯端末機（３０）の表示部（３２）を、車両の運転者が注視している場合に注意喚起する注意喚起装置は、カメラで撮影された画像データに基づき、表示部を運転者が注視しているか否かを判定する注視判定部（Ｓ２３、Ｓ２４、Ｓ２３Ａ、Ｓ２４Ａ）と、注視判定部により注視していると判定された場合に、運転者に対して注意喚起する指令を出力する注意喚起指令部（Ｓ３３）と、を備える。この注意喚起装置によると、車載カメラを用いた場合に比べて、注視判定を容易に実現できる。

Description

注意喚起装置 関連出願の相互参照

　本開示は、２０１４年５月２７日に出願された日本出願番号２０１４－１０９３８４号と、２０１５年１月２９日に出願された日本出願番号２０１５－０１５８５７号とに基づくもので、ここにその記載内容を援用する。

　本開示は、携帯端末機を注視している車両運転者に対して注意喚起する、注意喚起装置に関する。

　特許文献１には、脇見運転している車両運転者に対して注意喚起する装置が記載されている。具体的には、運転者の顔をカメラで撮影し、頭部の向きや眼球の向きを画像解析し、その解析結果に基づき脇見しているか否かを判別する。

　本発明者は、車室内のインストルメントパネルに取り付けられた表示装置を注視する脇見運転について、特許文献１に記載の注意喚起装置を用いることを検討した。この場合、顔の向きや眼球の向きが、予め設定しておいた所定範囲内であれば、表示装置を注視していると判定できる。上記所定範囲は、運転者の眼球の向き等を実際に試験して設定しておけばよい。

　しかしながら、近年では、車室内に持ち込まれた携帯端末機の表示内容が充実してきているので、インストルメントパネルに取り付けられた表示装置に代わって携帯端末機の表示部を注視する脇見運転が懸念される傾向にある。そして、携帯端末機は車室内のいずれに置かれるかが不特定であるため、先述した所定範囲を固定した値に設定しておくことができない。そのため、携帯端末機を注視していることの判定が困難である。

特開２０１４－１６７０２号公報

　本開示は、上記点に鑑みてなされたもので、その目的は、携帯端末機を注視する運転者に対して注意喚起することを容易に実現できる注意喚起装置を提供することにある。

　本開示の一態様によるカメラを備えた携帯端末機の表示部を、車両の運転者が注視している場合に注意喚起する注意喚起装置は、カメラで撮影された画像データに基づき、表示部を運転者が注視しているか否かを判定する注視判定部と、注視判定部により注視していると判定された場合に、運転者に対して注意喚起する指令を出力する注意喚起指令部と、を備える。

　上記注意喚起装置によると、携帯端末機が備えるカメラを用いて注視判定するので、車載カメラを用いた場合に比べて、注視判定を容易に実現できる。

　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、本開示の第１実施形態による注意喚起装置が設けられ、注意喚起される運転者が乗車する車室内を示す図であり、 図２は、図１に示す注意喚起装置の電気ブロック図であり、 図３は、図１に示す注意喚起装置の正面図であり、 図４は、図１に示す注意喚起装置が実施する、初期処理の手順を示すフローチャートであり、 図５は、図１に示す注意喚起装置が実施する、注視モニタリング処理の手順を示すフローチャートであり、 図６は、図１に示す注意喚起装置が実施する、注意喚起処理の手順を示すフローチャートであり、 図７は、本開示の第２実施形態において、注意喚起処理の手順を示すフローチャートであり、 図８は、本開示の第３実施形態において、注意喚起処理の手順を示すフローチャートであり、 図９は、本開示の第４実施形態において、注意喚起処理の手順を示すフローチャートであり、 図１０は、本開示の第５実施形態において、注意喚起処理の手順を示すフローチャートであり、 図１１は、本開示の第６実施形態において、注視モニタリング処理の手順を示すフローチャートである。

　以下、本開示にかかる注意喚起装置の各実施形態について、図面を参照しつつ説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。

　（第１実施形態）
　図１は、注意喚起の対象となる運転者が乗車する、車両１０の室内を示す図である。図示されるように、車室内に設けられたインストルメントパネル（インパネ１１）には車載機２０が取り付けられている。車載機２０は、車両左右方向の中央部分に配置されており、運転者が運転席に着座した状態で視認可能な位置に配置されている。車載機２０は、ナビゲーション装置、オーディオ装置および空調装置の少なくとも１つとして機能する。インパネ１１には、運転者が室内に持ち込んだ携帯端末機３０が置かれている。

　図２に示すように、車載機２０は、上記機能を実現させるための各種演算処理を実行する中央演算処理装置（ＣＰＵ）２１を有するとともに、ＣＰＵ２１により制御される表示部２２およびスピーカ２３を有する。車両１０には、以下に説明する車外カメラ１２および障害物センサ１３が搭載されている。車外カメラ１２は、車両１０外部の風景を撮影する。例えば、車両１０の前方に位置する交差点１、交差点１に設置されている信号機２および前方車両３等が、車外カメラ１２により撮影可能である。障害物センサ１３は、レーダーや超音波を用いて、車両１０の周囲に存在する障害物（例えば前方車両３）までの距離を検出する。車外カメラ１２により撮影された画像のデータ、および障害物センサ１３による検出値は、車載機２０に入力される。

　車載機２０は、無線ＬＡＮ回路２７ａおよび電話回線回路２７ｂを含む無線回路２７を備える。無線ＬＡＮ回路２７ａは、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等により無線ＬＡＮに接続する回路である。電話回線回路２７ｂは電話回線に接続する回路である。

　車載機２０は、メインメモリ２８ａおよび外部メモリ２８ｂを含む記憶装置２８を備える。メインメモリ２８ａには、ＣＰＵ２１により実行される演算処理のプログラムが記憶されている。外部メモリ２８ｂは、車載機２０に対して脱着可能なＳＤカード等のメモリであり、車外カメラ１２により撮影された画像のデータを記憶する。

　携帯端末機３０は、中央演算処理装置（ＣＰＵ）３１、表示部３２、スピーカ３３、振動モータ３４、カメラ３５、姿勢センサ３６、無線回路３７、記憶装置３８およびケース３９（図３参照）を備える。

　図３に示すように、表示部３２はケース３９に保持されている。ケース３９には、脱着可能なスタンド（図示せず）が取り付けられており、このスタンドにより、表示部３２が運転者の視線に対して垂直になるよう、携帯端末機３０をインパネ１１に置くことが可能となる。

　表示部３２には複数のアイコン３２ｉが表示されている。表示部３２は図示しないタッチセンサを有しており、所望のアイコン３２ｉに対するタップ操作がタッチセンサにより検知されると、該アイコン３２ｉに割り付けられていたコマンドがＣＰＵ３１により実施される。

　表示部３２には、無線通信状態やバッテリ残量、現在時刻等の情報を表示するステータス表示部３２ａの領域が設定されている。表示部３２の最外周に位置する領域には、運転者に注意喚起するための表示を行う注意喚起表示部３２ｂの領域が設定されている。スピーカ３３および振動モータ３４は、操作者に各種情報を報知するとともに、注意喚起する注意喚起部としても機能する。

　カメラ３５は、表示部３２を視認する人間の顔を撮影可能である。姿勢センサ３６は、携帯端末機３０の位置および向きを検出するものであり、加速度センサ３６ａ、角速度センサ３６ｂ、磁気センサ３６ｃおよびＧＰＳアンテナ３６ｄを有する。

　無線回路３７は、無線ＬＡＮ回路３７ａおよび電話回線回路３７ｂを有する。無線ＬＡＮ回路３７ａは、ＢｌｕｅｔｏｏｔｈやＷｉＦｉ等により無線ＬＡＮに接続する回路である。電話回線回路３７ｂは電話回線に接続する回路である。したがって、携帯端末機３０の無線回路３７と車載機２０の無線回路２７との間で無線通信が可能である。

　携帯端末機３０が備える記憶装置３８は、メインメモリ３８ａおよび外部メモリ３８ｂを有する。メインメモリ３８ａには、ＣＰＵ３１により実行される演算処理のプログラムであって、図４、図５、図６に示す処理のプログラムが記憶されている。外部メモリ２８ｂは、携帯端末機３０に対して脱着可能なＳＤカード等のメモリであり、カメラ３５により撮影された画像のデータを記憶する。

　さて、図１に示す車両１０は、交差点１で走行停止した状況である。運転者は、フロントウィンドシールド１４越しに、交差点１に設置されている信号機２、および前方車両３を視認することが可能な状況である。詳細には、信号機２が赤信号であることにしたがって交差点１で走行停止し、その後、青信号に替わったことに起因して前方車両３が走行を開始した状況である。但し、赤信号の期間中に、運転者が携帯端末機３０を注視していたため、青信号に替わったことに気づかずに停止を継続している状況である。

　要するに、図１に示す現時点での状況は、携帯端末機３０の表示部３２を注視することが許されず、信号機２を見て青信号であることを確認し、速やかに発進するように車両１０を運転することが要求される状況である。つまり、運転者が見るべき視線方向が信号機２の方向であるのに対し、実際の視線方向が携帯端末機３０の方向である状況である。このように、携帯端末機３０の注視が許容されない場合に携帯端末機３０を注視している運転者に対して注意喚起するよう、携帯端末機３０は注意喚起装置として機能する。

　以下、注意喚起装置として機能するために携帯端末機３０のＣＰＵ３１が実行する処理の手順を、図４、図５、図６を用いて説明する。図５は、運転者が携帯端末機３０を注視しているか否かの判定を行う処理である。図４は、図５の判定に用いる判定基準を取得するためのキャリブレーションを行う初期処理である。図６は、図５の処理により携帯端末機３０を注視していると判定された場合に、その注視が許容されない状況であることを条件に注意喚起するように指令する処理である。

　図４に示す初期処理の手順を説明すると、先ずステップＳ１０において、上記キャリブレーションを実行する要求が為されているか否かを判定する。具体的には、表示部３２に表示されている複数のアイコン３２ｉのうち、キャリブレーションの実行を指令するアイコンが選択操作されたか否かに基づき、キャリブレーションの要求有無を判定する。

　ステップＳ１０にてキャリブレーションの要求が有ると判定された場合には、続くステップＳ１１において、携帯端末機３０の表示部３２を注視するよう、運転者へのアナウンス音声をスピーカ３３から出力する。さらにステップＳ１１では、携帯端末機３０のカメラ３５を作動させて画像を撮影する。これにより、アナウンスにしたがって表示部３２を注視している運転者の顔の画像が、カメラ３５により撮影される。

　続くステップＳ１２では、ステップＳ１１で取得した画像データに基づき、運転者の顔、目、瞳を画像解析する。例えば、これら顔、目、瞳の形状、向き、位置関係等を画像解析する。そして、画像解析の結果を、基準情報として記憶装置３８に記憶する。

　なお、ステップＳ１１、Ｓ１２の処理を実行している時のＣＰＵ３１は、運転者が表示部３２を注視している時の画像データを取得する「キャリブレーション部」に相当する。

　次に、図５に示す注視モニタリング処理の手順を説明する。この注視モニタリング処理は、複数のアイコン３２ｉのうち注視モニタリングの実行を指令するアイコンが選択操作された場合に、ＣＰＵ３１により所定周期で繰返し実行される。先ずステップＳ２０において、図４の初期処理によるキャリブレーションが完了しているか否かを判定する。なお、ステップＳ１２による記憶が為された後、携帯端末機３０の車室内における位置や向きが変化した場合には、キャリブレーションが完了していないと判定する。上記変化は、姿勢センサ３６の検出結果に基づき判定される。

　ステップＳ２０にてキャリブレーション済みと判定された場合、続くステップＳ２１において、携帯端末機３０のカメラ３５を作動させて画像を撮影する。この撮影は、携帯端末機３０のバッテリ残量が所定値未満になるまで、所定時間毎に繰返し継続して実施される。なお、上記所定時間を極めて短い時間に設定し、動画撮影としてもよい。

　続くステップＳ２２では、ステップＳ２１で撮影した画像（モニタリング画像）に運転者の瞳が含まれているか否かを判定する。例えば、運転者が上半身を捻って車両後方を目視している場合等、運転者の実際の視線方向が携帯端末機３０への視線方向に対して大きく異なる場合がある。その場合には、モニタリング画像に顔が含まれていても瞳が含まれなくなり、ステップＳ２２にて否定判定される。

　ステップＳ２２にてモニタリング画像に瞳が含まれていると判定された場合には、続くステップＳ２３において、記憶装置３８に基準情報とモニタリング情報とを比較する。モニタリング情報とは、モニタリング画像に含まれる顔、目、瞳の形状、向きおよび位置関係を表したパラメータのことである。モニタリング情報に係る各種パラメータと基準情報に係る各種パラメータとの差分が所定量未満であれば、モニタリング情報は基準情報と類似していると判定する。つまり、キャリブレーション結果とモニタリング結果が類似していると判定する。

　このように、ステップＳ２３にて類似していると肯定判定された場合、続くステップＳ２４において、上記肯定判定の状態が所定時間（例えば２秒）以上継続したか否かを判定する。該判定に用いる上記所定時間は、ステップＳ２１での画像撮影間隔である所定時間よりも長い時間に設定されている。

　ステップＳ２４にて２秒以上継続したと肯定判定された場合には、続くステップＳ２５において、運転者は携帯端末機３０の表示部３２を注視しているとみなし、注視フラグをオンに設定する。一方、ステップＳ２４、Ｓ２３、Ｓ２２による各判定のいずれかで否定判定された場合には、注視していないとみなし、ステップＳ２６にて注視フラグをオフに設定する。また、ステップＳ２０にて否定判定された場合には、注視の判定ができないためステップＳ２６にて注視フラグをオフに設定する。

　なお、ステップＳ２３の処理を実行している時のＣＰＵ３１は、カメラ３５で撮影された画像データに基づき表示部３２を運転者が注視しているか否かを判定する「注視判定部」に相当する。

　次に、図６に示す注意喚起処理の手順を説明する。この注意喚起処理は、先述した注視モニタリングの実行を指令するアイコンが選択操作された場合に、ＣＰＵ３１により所定周期で繰返し実行される。先ずステップＳ３０において、車載機２０と通信することにより、車載機２０の記憶装置２８に記憶されている車両情報を取得する。この車両情報には、車両１０の走行有無、走行方向が前進であるか否か、走行速度、ステアリング操舵角度、内燃機関の運転状態等が含まれている。

　続くステップＳ３１では、ステップＳ３０で取得した車両情報に基づき、車両１０が走行中であるか否かを判定する。走行中であると判定されれば、続くステップＳ３２において、図５で説明した注視フラグがオンに設定されているか否かを判定する。注視フラグがオンであると判定されれば、続くステップＳ３３において、注意喚起フラグをオンに設定する。注意喚起フラグがオンであれば、運転者に対して注意喚起する指令を出力する。要するに、走行中であれば（Ｓ３１：ＹＥＳ）、携帯端末機３０の表示部３２を注視することが許容されない状況であるとみなし、その上で注意フラグがオンであれば（Ｓ３２：ＹＥＳ）、注意喚起する指令を出力する。

　この注意喚起指令の信号は、携帯端末機３０の表示部３２、スピーカ３３および振動モータ３４へ出力される。注意喚起指令を受けた表示部３２は、注意喚起表示部３２ｂを注意喚起させる態様で表示させる。例えば、注意喚起表示部３２ｂを赤色で点滅させる。注意喚起指令を受けたスピーカ３３は、携帯端末機３０の注視を止めるように運転者に促す音を出力する。例えば、注視を止めるアナウンスの音声を出力したり、警告音を出力したりする。注意喚起指令を受けた振動モータ３４は、振動駆動することで運転者へ注意喚起する。

　一方、ステップＳ３２にて注視フラグがオフであると判定された場合には、続くステップＳ３４にて、携帯端末機３０を注視することが許容される注視許容状況であるとみなし、注意喚起フラグをオフに設定する。

　次に、ステップＳ３１にて走行中でないと否定判定された場合の処理について説明する。この場合には先ず、ステップＳ３５において、車載機２０と通信することにより、車載機２０の記憶装置２８に記憶されている車外情報を取得する。この車外情報には、車外カメラ１２で撮影された画像のデータ、障害物センサ１３の検出結果、および無線回路２７が車外送信機との通信により取得した渋滞情報、信号情報等が挙げられる。

　続くステップＳ３６では、ステップＳ３５で取得した車外情報に基づき、走行停止している車両１０の前方に信号機２が存在するか否かを判定する。例えば、車外カメラ１２の画像を解析して、該画像に信号機２が含まれているか否かを判定する。或いは、無線回路２７が取得した信号情報に基づき、信号機２が存在するか否かを判定する。

　ステップＳ３６にて信号機２が存在すると肯定判定された場合には、ステップＳ３７において、信号機２の状態を運転者に報知する指令（信号報知指令）を出力する。上記状態の具体例としては、現在の信号機２の色や、その色が次回変わるまでの時間、車両１０から信号機２までの距離等が挙げられる。信号機２の状態を表した情報は、ステップＳ３５で取得した車外情報に含まれている。

　信号報知指令の信号は、携帯端末機３０の表示部３２、スピーカ３３および振動モータ３４へ出力される。信号報知指令を受けた表示部３２は、注意喚起表示部３２ｂの表示色を、信号の色が変わるタイミングで変化させる。例えば、信号の色と同じ色を注意喚起表示部３２ｂに表示させる。信号報知指令を受けたスピーカ３３は、信号の色が変わるタイミングで、信号の色が変化したことを報知する音を出力する。例えば、信号の色をアナウンスする音声を出力したり、警告音を出力したりする。信号報知指令を受けた振動モータ３４は、信号の色が変化したタイミングで振動駆動することで、信号の色が変化したことを運転者へ報知する。

　続くステップＳ３８では、現時点での信号の色が青色か否かを判定する。青色と判定された場合には、ステップＳ３１にて走行停止中と判定されていても注視許容状況でないとみなしてステップＳ３２の処理に進む。一方、ステップＳ３８にて青信号でないと判定された場合には、注視許容状況であるとみなしてステップＳ３４の処理に進む。また、ステップＳ３６にて信号機２が無いと判定された場合にも、注視許容状況であるとみなしてステップＳ３４の処理に進む。

　なお、ステップＳ３３の処理を実行している時のＣＰＵ３１は、注視判定部により注視していると判定された場合に運転者に対して注意喚起する指令を出力する「注意喚起指令部」に相当する。また、ステップＳ３１、Ｓ３２、Ｓ３６、Ｓ３８の処理を実行している時のＣＰＵ３１は、表示部３２を注視することが許容される注視許容状況であるか否かを判定する「状況判定部」に相当する。また、ステップＳ３７の処理を実行している時のＣＰＵ３１は、信号機２が設置された交差点１で車両１０が走行停止している場合に、信号機２の状態を運転者に対して報知する指令を出力する「報知指令部」に相当する。

　以上により、本実施形態によれば、携帯端末機３０を運転者が注視していると注視判定された場合に、運転者に対して注意喚起する指令を出力するにあたり、その注視判定を、携帯端末機３０が備えるカメラ３５で撮影された画像データで行う。そのため、注視対象である携帯端末機３０とカメラ３５との位置関係が特定されることになる。一方、本実施形態に反して車室内に固定設置された車載カメラを用いて注視判定を行う場合には、携帯端末機３０と車載カメラとの位置関係が不特定になるため、注視判定が困難である。したがって、携帯端末機３０が備えるカメラ３５を用いて注視判定する本実施形態によれば、その注視判定を容易に実現できる。

　ここで、赤信号で走行停止している場合等、状況によっては携帯端末機３０の注視を許容できる場合がある。そのような場合にまで注意喚起すると、運転者に煩わしさを感じさせることになる。この点を鑑みた本実施形態によれば、携帯端末機３０の表示部３２を注視することが許容される注視許容状況であるか否かを判定する状況判定部を備える。そして、注意喚起指令部は、状況判定部により注視許容状況でないと判定されていることを条件として、注意喚起の指令を出力する。そのため、携帯端末機３０の注視に対する注意喚起を、注視許容状況の場合にまで実施することが抑制される。よって、必要以上に注意喚起することにより運転者に煩わしさを感じさせることを回避できる。

　さらに本実施形態によれば、状況判定部は、車両１０が走行中である場合に注視許容状況でないと判定する。走行中であるか否かは車両情報に基づき容易に判定できるので、注視許容状況であるか否かの判定を容易に実現できる。

　さらに本実施形態によれば、状況判定部は、交差点１での信号機２が赤信号であることに起因して車両１０が停止している場合に注視許容状況であると判定する。赤信号で停止している時にまで注意喚起する必要はないので、不必要に注意喚起することを回避できる。

　さらに本実施形態によれば、状況判定部は、交差点１での信号機２が青信号である場合には、車両１０が走行停止中であっても注視許容状況でないと判定する。そのため、青信号であるにも拘らず携帯端末機３０を注視して青信号に気付かない運転者に対して、注意喚起をすることができる。

　さらに本実施形態によれば、信号機２が設置された交差点１で車両１０が走行停止している場合に、信号機２の状態を運転者に対して報知する指令を出力する報知指令部を備える。これによれば、青信号で携帯端末機３０を注視している運転者に対し、まもなく黄色に変わる旨の情報や、赤色に変わるまでの時間を運転者に報知することができる。よって、信号機２が青色から黄色または赤色に変わることを運転者に予報できる。つまり、注視許容状況から注視許容状況でない状況に変化することを運転者に予報できる。よって、注視許容状況でない状況に変化した以降も注視を継続することの予防を促すことができる。

　ここで、上記予報を車載機２０の表示部２２に表示させると、携帯端末機３０の表示部３２を注視している運転者が上記予報に気付かないことが懸念される。この懸念に対し、本実施形態によれば、携帯端末機３０の表示部３２は、報知指令部から出力された指令に基づき、信号機２の色に対応した色の画像を表示する。つまり、上記予報を携帯端末機３０の表示部３２に表示させる。よって、上記懸念を抑制でき、携帯端末機３０を注視しながらも信号機２の色を把握しやすくなる。

　本実施形態によれば、携帯端末機３０が備えるカメラで撮影された画像データに基づき、携帯端末機３０を注視しているか否かを判定（注視判定）する。そのため、注視対象である携帯端末機とカメラとの位置関係が特定されることになる。一方、車室内に固定設置された車載カメラを用いて注視判定を行う場合には、携帯端末機３０と車載カメラとの位置関係が不特定になる。そのため、該位置関係の検出を要するとともに、あらゆる位置関係の場合を想定した注視判定プログラムを要するので、注視判定が困難である。携帯端末機３０が備えるカメラを用いて注視判定する本開示によれば、車載カメラを用いた場合に比べて、注視判定を容易に実現できる。

　さらに本実施形態によれば、運転者が携帯端末機３０を注視している時の画像データを取得するキャリブレーション部を備える。そして、注視判定部は、キャリブレーション部により取得された画像データを基準にして、携帯端末機３０を注視しているか否かを判定する。これによれば、実際に携帯端末機３０を注視している時の画像データを基準にして注視判定が為されるので、注視判定の精度を向上できる。

　（第２実施形態）
　本実施形態では、上記第１実施形態に係る図６の処理に、図７に示すステップＳ３２Ａ（状況判定部）の処理を追加したものである。該ステップＳ３２Ａの処理は、注視フラグがオンであるとステップＳ３２にて判定された場合に実行される。このステップＳ３２Ａでは、車両１０の前方に歩行者または他車両（前方車両３）が存在するか否かを判定する。例えば、図２に示す障害物センサ１３や車外カメラ１２により、前方の所定領域に障害物が検出された場合に、前方車両３等が存在すると肯定判定する。

　ステップＳ３２Ａにて肯定判定された場合には、続くステップＳ３３において、注意喚起フラグをオンに設定する。一方、ステップＳ３２Ａにて否定判定された場合には、注視許容状況であるとみなし、続くステップＳ３４にて注意喚起フラグをオフに設定する。

　したがって、青信号であるにも拘らず走行停止している場合において、注視フラグがオンであっても、前方に他車両または歩行者が存在しない場合には、注視を許容して注意喚起フラグをオフに設定する。また、走行時に注視フラグがオンであっても、前方に他車両や歩行者が存在しない場合には、注視を許容して注意喚起フラグをオフに設定する。

　図７の処理を実行すれば、例えば赤信号で停車している時に表示部３２を注視している状況で、青信号に切り替わっても未だ注視している場合に、前方に他車両等が存在していれば注意喚起する。一方、上記注視の場合であっても、前方に他車両等が存在していなければ注意許容状況であるとみなし、注意喚起をしない。

　なお、ステップＳ３１、Ｓ３２、Ｓ３６、Ｓ３８、Ｓ３２Ａの処理を実行している時のＣＰＵ３１は、表示部３２を注視することが許容される注視許容状況であるか否かを判定する「状況判定部」に相当する。

　以上により、本実施形態によれば、状況判定部は、交差点１での信号機２が青信号であり、かつ、車両１０が走行停止中の場合において、車両１０の前方に他車両または歩行者が存在しないことを条件として注視許容状況であると判定する。そのため、前方に他車両または歩行者が存在しない場合にまで必要以上に注意喚起することが抑制され、過剰な注意喚起により運転者に煩わしさを感じさせることを回避できる。それでいて、前方に他車両または歩行者が存在する場合には、青信号であるにも拘らず携帯端末機３０を注視している運転者に対して、注意喚起することができる。

　（第３実施形態）
　本実施形態では、上記第２実施形態に係るステップＳ３２Ａの処理を、図８に示すステップＳ３２Ｂ（状況判定部）の処理に変更したものである。該ステップＳ３２Ｂの処理は、注視フラグがオンであるとステップＳ３２にて判定された場合に実行される。このステップＳ３２Ｂでは、停車している前方車両３が存在しているか否かを判定する。例えば、図２に示す障害物センサ１３や車外カメラ１２により、前方車両３が検出され、かつ、その前方車両３の検出位置が変化していない場合に、停車している前方車両３が存在すると肯定判定する。

　ステップＳ３２Ｂにて肯定判定された場合には、続くステップＳ３３において、注意喚起フラグをオンに設定する。一方、ステップＳ３２Ｂにて否定判定された場合には、注視許容状況であるとみなし、続くステップＳ３４にて注意喚起フラグをオフに設定する。

　したがって、青信号であるにも拘らず車両１０が走行停止している場合において、注視フラグがオンであっても、未発進の前方車両３が存在しない場合には、注視を許容して注意喚起フラグをオフに設定する。また、走行時に注視フラグがオンであっても、停車中の前方車両３が存在しない場合には、注視を許容して注意喚起フラグをオフに設定する。

　図８の処理を実行すれば、例えば赤信号で停車している時に表示部３２を注視している状況で、青信号に切り替わっても未だ注視している場合に、前方車両３が存在していれば注意喚起する。一方、上記注視の場合であっても、前方車両３が存在していなければ注意許容状況であるとみなし、注意喚起をしない。

　なお、ステップＳ３１、Ｓ３２、Ｓ３６、Ｓ３８、Ｓ３２Ｂの処理を実行している時のＣＰＵ３１は、表示部３２を注視することが許容される注視許容状況であるか否かを判定する「状況判定部」に相当する。

　以上により、本実施形態によれば、交差点１での信号機２が青信号であり、かつ、車両１０が走行停止中の場合において、車両１０の前方に未発進の他車両（前方車両３）が存在しないことを条件として注視許容状況であると判定する。そのため、未発進の前方車両３が存在しない場合にまで必要以上に注意喚起することが抑制され、過剰な注意喚起により運転者に煩わしさを感じさせることを回避できる。それでいて、未発進の前方車両３が存在する場合には、青信号であるにも拘らず携帯端末機３０を注視している運転者に対して、注意喚起することができる。

　（第４実施形態）
　本実施形態では、上記第２実施形態に係るステップＳ３２Ａの処理を、図９に示すステップＳ３２Ｃ（状況判定部）の処理に変更したものである。該ステップＳ３２Ｃの処理は、注視フラグがオンであるとステップＳ３２にて判定された場合に実行される。このステップＳ３２Ｃでは、車両１０に備えられた方向指示器が運転者により操作されているか否かを判定する。

　ステップＳ３２Ｃにて操作されていると肯定判定された場合には、続くステップＳ３３において、注意喚起フラグをオンに設定する。一方、ステップＳ３２Ｃにて否定判定された場合には、注視許容状況であるとみなし、続くステップＳ３４にて注意喚起フラグをオフに設定する。

　したがって、青信号であるにも拘らず車両１０が走行停止している場合において、注視フラグがオンであっても、方向指示器が操作されていない場合には、注視を許容して注意喚起フラグをオフに設定する。また、走行時に注視フラグがオンであっても、方向指示器が操作されていない場合には、注視を許容して注意喚起フラグをオフに設定する。

　図９の処理を実行すれば、例えば青信号の交差点１で停車している状況で方向指示器が操作されている場合には、右折または左折しようとしているとみなし、表示部３２を注視している場合には注意喚起する。また、走行中に方向指示器が操作されている場合には、車線変更しようとしているとみなし、表示部３２を注視している場合には注意喚起する。一方、表示部３２を注視していても、方向指示器が操作されていなければ注意許容状況であるとみなし、注意喚起をしない。

　なお、ステップＳ３１、Ｓ３２、Ｓ３６、Ｓ３８、Ｓ３２Ｃの処理を実行している時のＣＰＵ３１は、表示部３２を注視することが許容される注視許容状況であるか否かを判定する「状況判定部」に相当する。ここで、許容される表示部３２に対する注視は、許容注視とも称する。

　以上により、本実施形態によれば、交差点１での信号機２が青信号であり、かつ、車両１０が走行停止中の場合において、車両１０の方向指示器が操作されていないことを条件として注視許容状況であると判定する。そのため、右左折を予定していない場合にまで必要以上に注意喚起することが抑制され、過剰な注意喚起により運転者に煩わしさを感じさせることを回避できる。それでいて、右左折を予定している場合には、青信号であるにも拘らず携帯端末機３０を注視している運転者に対して、注意喚起することができる。

　（第５実施形態）
　本実施形態では、上記第１実施形態に係る図６の処理に、図１０に示すステップＳ３８Ａ（状況判定部）の処理を追加したものである。該ステップＳ３８Ａの処理は、青信号でないとステップＳ３８にて否定判定された場合に実行される。このステップＳ３８Ａでは、車両１０のブレーキペダルが十分に踏み込まれておらずブレーキ解除された状態であるか否かを判定する。

　ステップＳ３８Ａにてブレーキ解除されていると肯定判定された場合には、ステップＳ３２に進み、ブレーキ解除されていないと否定判定された場合には、ステップＳ３４にて注意喚起フラグをオフに設定する。そして、ステップＳ３２において、注視フラグがオンに設定されていると判定されれば、続くステップＳ３３において、注意喚起フラグをオンに設定する。したがって、赤信号または黄信号であっても、ブレーキ解除した場合には注視フラグがオンであれば注意喚起フラグをオンに設定する。

　図１０の処理を実行すれば、例えば赤信号または黄信号の交差点１で停車している状況で表示部３２を注視している場合において、運転者の意図に反してブレーキペダルの踏み込み力が不足した場合には注意喚起する。

　なお、ステップＳ３１、Ｓ３２、Ｓ３６、Ｓ３８、Ｓ３８Ａの処理を実行している時のＣＰＵ３１は、表示部３２を注視することが許容される注視許容状況であるか否かを判定する「状況判定部」に相当する。

　以上により、本実施形態によれば、交差点１での信号機２が赤信号であり、かつ、車両１０が走行停止中の場合において、車両１０のブレーキが操作されていることを条件として注視許容状況であると判定する。そのため、赤信号で注視している状況であっても、ブレーキペダルの踏み込み力が不足した場合には、携帯端末機３０を注視している運転者に対して、注意喚起することができる。

　（第６実施形態）
　本実施形態では、上記第１実施形態に係るステップＳ２４の処理を、図１１に示すステップＳ２３Ａ、Ｓ２４Ａ（注視判定部）の処理を変更したものである。該ステップＳ２３Ａ、Ｓ２４Ａの処理は、キャリブレーション結果とモニタリング結果が類似しているとステップＳ２３にて肯定判定された場合に実行される。ステップＳ２３Ａでは、車両１０の走行速度（車速）に応じて、次のステップＳ２４Ａの判定で用いる許容時間の値を設定する。車速が大きいほど許容時間を短く設定する。続くステップＳ２４Ａでは、上記類似の状態が、ステップＳ２３Ａで設定した許容時間以上継続したか否かを判定する。

　ステップＳ２４Ａにて許容時間以上継続したと肯定判定された場合には、続くステップＳ２５にて注視フラグをオンに設定する。一方、ステップＳ２４Ａにて否定判定された場合には注視フラグをオフに設定する。なお、ステップＳ２３Ａ、Ｓ２４Ａの処理を実行している時のＣＰＵ３１は、表示部３２を運転者が注視しているか否かを判定する「注視判定部」に相当する。

　以上により、本実施形態によれば、車両１０の走行速度に応じて、注視しているか否かの判定基準（許容時間）を変更する。具体的には、低速走行時に注視判定される許容時間よりも高速走行時の許容時間の方が短く設定される。高速走行であるほど、注視中に進む走行距離は長くなるので、注視が許容される時間も短く設定することが望ましい。

　本開示に記載されるフローチャート、あるいは、フローチャートの処理は、複数の部（あるいはステップと言及される）から構成され、各部は、たとえば、Ｓ１０と表現される。さらに、各部は、複数のサブ部に分割されることができる、一方、複数の部が合わさって一つの部にすることも可能である。さらに、このように構成される各部は、サーキット、デバイス、モジュール、ミーンズとして言及されることができる。

　また、上記の複数の部の各々あるいは組合わさったものは、(i)　ハードウエアユニット（例えば、コンピュータ）と組み合わさったソフトウエアの部のみならず、(ii)　ハードウエア（例えば、集積回路、配線論理回路）の部として、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアの部は、マイクロコンピュータの内部に構成されることもできる。

　（他の実施形態）
　以上、開示の好ましい実施形態について説明したが、開示は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。

　携帯端末機３０のＣＰＵ３１または車載機２０のＣＰＵ２１が、運転者が見るべき視線方向を車外情報に基づき演算し、見るべき視線方向と携帯端末機３０への視線方向とのずれ量を演算する。そして、演算したずれ量が大きいほど、スピーカ３３の出力を大きくする等、注意喚起の度合いを大きくしてもよい。見るべき視線方向の具体例としては、信号機２、交差点１、前方を走行する車両等が挙げられる。

　本開示は、図５および図６の処理を、携帯端末機３０のＣＰＵ３１で実行することに限定されるものではなく、図５および図６の処理の少なくとも一部を車載機２０のＣＰＵ２１で実行してもよい。この場合、注意喚起装置は、携帯端末機３０および車載機２０により提供されるか、車載機２０により提供されることとなる。

　上記各実施形態では、注意喚起フラグがオンであることに伴い注意喚起指令の信号が出力された場合、携帯端末機３０の表示部３２、スピーカ３３および振動モータ３４を作動させて注意喚起する。これに対し、車両１０に搭載されたスピーカ２３や表示部２２を作動させて注意喚起してもよい。

　上記第２、第３および第４実施形態では、ステップＳ３１で走行中と判定され、かつ、ステップＳ３２で注視フラグオンと判定された場合であっても、ステップＳ３２Ａ、Ｓ３２Ｂ、Ｓ３２Ｃにて否定判定された場合には注視喚起を実施しない。これに対し、走行中で注視フラグがオンになっていれば、ステップＳ３２Ａ、Ｓ３２Ｂ、Ｓ３２Ｃの判定結果に拘らずに注意喚起を実施してもよい。

　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

 

Claims (13)

1. 　カメラ（３５）を備えた携帯端末機（３０）の表示部（３２）を、車両の運転者が注視している場合に注意喚起する注意喚起装置において、
   　前記カメラで撮影された画像の画像データに基づき、前記表示部を前記運転者が注視しているか否かを判定する注視判定部（Ｓ２３、Ｓ２４、Ｓ２３Ａ、Ｓ２４Ａ）と、
   　前記注視判定部により前記運転者が前記表示部を注視していると判定された場合に、前記運転者に対して注意喚起する指令を出力する注意喚起指令部（Ｓ３３）と、
   を備える注意喚起装置。
2. 　前記表示部を注視することが許容される注視許容状況であるか否かを判定する状況判定部（Ｓ３１、Ｓ３２、Ｓ３６、Ｓ３８、Ｓ３２Ａ、Ｓ３２Ｂ、Ｓ３２Ｃ、Ｓ３８Ａ）をさらに備え、
   　前記注意喚起指令部は、前記状況判定部により前記注視許容状況でないと判定されていることを条件として、前記指令を出力する請求項１に記載の注意喚起装置。
3. 　前記状況判定部は、前記車両が走行中である場合に前記注視許容状況でないと判定する請求項２に記載の注意喚起装置。
4. 　前記状況判定部は、交差点での信号機が赤信号であることに起因して前記車両が停止している場合に前記注視許容状況であると判定する請求項２または３に記載の注意喚起装置。
5. 　前記状況判定部は、交差点での信号機が青信号である場合には、前記車両が走行停止中であっても前記注視許容状況でないと判定する請求項２～４のいずれか１つに記載の注意喚起装置。
6. 　前記状況判定部は、
   　交差点での信号機が青信号であり、かつ、前記車両が走行停止中の場合において、前記車両の前方に他車両または歩行者が存在しないことを条件として前記注視許容状況であると判定する請求項２～５のいずれか１つに記載の注意喚起装置。
7. 　前記状況判定部は、
   　交差点での信号機が青信号であり、かつ、前記車両が走行停止中の場合において、前記車両の前方に未発進の他車両が存在しないことを条件として前記注視許容状況であると判定する請求項２～６のいずれか１つに記載の注意喚起装置。
8. 　前記状況判定部は、
   　交差点での信号機が青信号であり、かつ、前記車両が走行停止中の場合において、前記車両の方向指示器が操作されていないことを条件として前記注視許容状況であると判定する請求項２～７のいずれか１つに記載の注意喚起装置。
9. 　前記状況判定部は、
   　交差点での信号機が赤信号であり、かつ、前記車両が走行停止中の場合において、前記車両のブレーキが操作されていることを条件として前記注視許容状況であると判定する請求項２～８のいずれか１つに記載の注意喚起装置。
10. 　前記注視判定部は、前記車両の走行速度に応じて、注視しているか否かの判定基準を変更する請求項２～９のいずれか１つに記載の注意喚起装置。
11. 　信号機が設置された交差点で前記車両が走行停止している場合に、前記信号機の状態を前記運転者に対して報知する指令を出力する報知指令部（Ｓ３７）をさらに備える請求項１～１０のいずれか１つに記載の注意喚起装置。
12. 　前記表示部は、前記報知指令部から出力された指令に基づき、前記信号機の色に対応した色の画像を表示する請求項１１に記載の注意喚起装置。
13. 　前記運転者が前記表示部を注視している時に前記カメラで撮影された画像の画像データを取得するキャリブレーション部（Ｓ１１、Ｓ１２）をさらに備え、
    　前記注視判定部は、前記キャリブレーション部により取得された画像データを基準にして、前記表示部を注視しているか否かを判定する請求項１～１２のいずれか１つに記載の注意喚起装置。
    
     

Images