JP7294194B2

JP7294194B2 - 安全運転判定装置

Info

Publication number: JP7294194B2
Application number: JP2020042078A
Authority: JP
Inventors: 和彦山口
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2023-06-20
Anticipated expiration: 2040-03-11
Also published as: CN115398504A; DE112021001536T5; US20240199046A1; WO2021182484A1; JP2021144420A; CN115398504B

Description

本発明は、安全運転判定装置に関する。

従来、車両を運転する運転者の顔向き方向によって運転者の前方不注視（脇見）を判定し、運転者が前方不注視であると判定した場合に運転者に警報を発する装置が知られている。特許文献１には、運転者の視線が前方不注視の方向か否かを判定する機能を有する不注視状態判定装置が開示されている。

特開２０２０－２４５３２号公報

従来の不注視状態判定装置は、運転者の視線が前方不注視の方向を向いている時間が所定以上であれば運転者は前方不注視状態であると判定する。しかしながら、道路の状態によって前方不注視状態になることによる安全性への影響の大きさが異なる。したがって、道路の状態によらず同じ基準を用いて前方不注視状態であるか否かを不注視状態判定装置が判定すると、安全であるにもかかわらず前方不注視状態であると判定して警報を発してしまったり、危険であるにもかかわらず前方不注視状態でないと判定して警報を発しなかったりしてしまうという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、道路の状態によらず、運転者の不注視状態であるか否かを適切に判定できるようにすることを目的とする。

本発明の態様に係る安全運転判定装置は、車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する角度値算出部と、過去の所定の判定期間内の角度値の積算値が閾値以上であるか否かに基づいて、前記運転者が前方不注視状態であるか否かを判定する判定部と、前記車両が走行している道路の状態を特定する道路状態特定部と、を有し、前記判定部は、前記車両が走行している道路の状態に基づいて前記判定期間を決定する。

前記道路状態特定部は、前記車両が走行している車線の幅を前記道路の状態として特定し、前記判定部は、前記車線の幅が閾値以上である場合の前記判定期間を、前記車線の幅が前記閾値未満である場合の前記判定期間よりも長く設定してもよい。

前記道路状態特定部は、前記車両が走行している道路における前記車両から所定の範囲内の人又は車両の密度を前記道路の状態として特定し、前記判定部は、前記密度が閾値以上である場合の前記判定期間を、前記密度が閾値未満である場合の前記判定期間よりも短くしてもよい。

前記道路状態特定部は、時刻と、道路の位置と、前記密度とが関連付けられた道路状態情報を記憶している外部装置から、前記車両が走行中の時刻に対応する前記道路状態情報を取得し、取得した前記道路状態情報において、前記車両が走行中の位置に関連付けられた前記密度を前記道路の状態として特定してもよい。

前記車両の運転者から、前記車両が走行中の道路の状態ごとに前記判定期間の長さを設定するための設定操作を受け付ける操作受付部をさらに有し、前記判定部は、前記道路状態特定部が特定した道路の状況に関連付けて前記操作受付部が受け付けた前記設定操作が示す長さに前記判定期間を決定してもよい。

本発明によれば、道路の状態によらず、運転者の不注視状態であるか否かを適切に判定できるようにするという効果を奏する。

本発明に係る車両Ｓの構成を示す図である。運転者撮像装置１と運転者の顔向き角度との関係を示す図である。判定部４２３が道路状態特定部４２２から取得した車線の幅に基づいて判定期間を設定する処理のフローチャートを示す図である。判定部４２３が道路状態特定部４２２から取得した人又は車両の密度に基づいて判定期間を設定する処理のフローチャートを示す図である。外部装置５を有する車両Ｓの構成を示す図である。操作受付部４２５を有する車両Ｓの構成を示す図である。

＜車両Ｓの構成＞
図１は、本発明に係る車両Ｓの構成を示す図である。車両Ｓは、運転者撮像装置１と、道路撮像装置２と、警報装置３と、安全運転判定装置４とを有する。

運転者撮像装置１は、車両Ｓの運転席に設けられており、例えばＣＣＤカメラを含む。運転者撮像装置１は、運転席に座っている運転者を前方から撮像して、撮像画像を生成する。例えば、運転者撮像装置１は、車両Ｓが走行中の運転者の顔を撮像して、車両Ｓの進行方向に対する運転者の顔向き角度を特定できる撮像画像を生成する。運転者撮像装置１は、生成した撮像画像を安全運転判定装置４に出力する。

図２は、運転者撮像装置１と運転者の顔向き角度との関係を示す図である。図２（ａ）には運転者Ｄの側面から見た図が示され、図２（ｂ）には運転者Ｄの上方から見た図が示されている。運転者撮像装置１は、図２（ａ）及び図２（ｂ）に示すように、運転者Ｄの顔の正面ではなく、運転者Ｄの顔に対して、例えば斜め下方に設けられている。

道路撮像装置２は、例えば複数のＣＣＤカメラを含み、走行中の車両Ｓの前後及び左右の道路を撮像して、撮像画像を生成する。例えば、道路撮像装置２は、車両Ｓの走行中の車線等を撮像して、走行中の道路の車線の幅を特定できる撮像画像を生成する。道路撮像装置２は、生成した撮像画像を安全運転判定装置４に出力する。

警報装置３は、運転中の運転者が前方不注視（例えば脇見）であることを安全運転判定装置４から通知されたことに基づいて、運転者に対して警告を発する装置である。警報装置３は、例えば、アラームの音を鳴らすスピーカ、警告画面を表示する表示部、及び振動を発生する振動発生部を含む。なお、警報装置３は、音、表示、及び振動の少なくとも２つを組み合わせて、警報を発してもよい。

安全運転判定装置４は、運転者が前方不注視状態ではなく、安全に運転をしているか否かを判定する装置である。安全運転判定装置４は、車両Ｓの運転者を運転者撮像装置１によって撮像して車両Ｓの進行方向を基準にしたときの運転者の顔向き角度を示す角度値を取得する。また、安全運転判定装置４は、道路撮像装置２が撮像した画像に基づいて、例えば車両Ｓが走行中の車線の幅を含む道路状態を特定する。

安全運転判定装置４は、取得した角度値と特定した道路状態とに基づいて車両Ｓの運転者が前方不注視状態であるか否かを判定する。安全運転判定装置４は、運転者が前方不注視状態であると判定した場合は、警報装置３に警報を発するように通知する。

安全運転判定装置４は、記憶部４１と制御部４２とを有する。記憶部４１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部４１は、後述する制御部４２が実行するプログラムを記憶している。記憶部４１は、例えば運転者の顔向き角度に係る情報及び車両Ｓが走行する道路の状態に係る情報が記憶されている。

制御部４２は、例えばＣＰＵ（Central Processing Unit）である。制御部４２は、記憶部４１に記憶されているプログラムを実行することにより、角度値算出部４２１、道路状態特定部４２２、判定部４２３、及び警報部４２４として機能する。制御部４２は、運転者の顔向き角度及び車両Ｓが走行中の道路の状態を特定するとともに、運転者が前方不注視状態であるか否かを判定する。

角度値算出部４２１は、運転者撮像装置１が撮像した撮像画像に基づいて、運転者の顔向きの角度値を算出する。角度値算出部４２１は、進行方向に対する運転者のヨー方向（図２（ｂ））の顔向き角度と、進行方向に対する運転者のピッチ方向（図２（ａ））の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する。角度値算出部４２１は、算出した角度値を判定部４２３に通知する。

道路状態特定部４２２は、道路撮像装置２が撮像した撮像画像に基づいて、車両Ｓが走行している道路の状態を特定する。道路の状態は、例えば車両Ｓが走行中の車線の幅、道路の種別、道路内の車両又は人の密度である。道路状態特定部４２２は、特定した道路の状態を判定部４２３に通知する。

道路状態特定部４２２は、例えば道路撮像装置２から取得した撮像画像に基づいて車両Ｓの前後及び左右に検出した、車両Ｓとは異なる車両の数を、道路内の車両の密度として特定する。道路状態特定部４２２は、例えば、道路撮像装置２から取得した撮像画像に基づいて車両Ｓの周囲の所定範囲内（例えば１０メートル以内）の人の数を、道路内の人の密度として特定する。

判定部４２３は、過去の所定の判定期間内の角度値の積算値が閾値以上であるか否かに基づいて、運転者が前方不注視状態であるか否かを判定する。判定部４２３は、道路状態特定部４２２が特定した車両Ｓが走行している道路の状態に基づいて判定期間を決定する。

判定部４２３は、例えば、道路状態特定部４２２から取得した車両Ｓの走行中の車線の幅が閾値以上である場合、車線の幅が閾値未満の場合よりも長い判定期間に決定する。車線の幅の閾値は、例えば３．５メートルであり、高速道路と一般道とを区別できる車線の幅である。

また、判定部４２３は、道路状態特定部４２２から取得した車両Ｓから所定の範囲内（例えば１０メートル以内）の車両又は人の密度が閾値以上である場合、車両又は人の密度が閾値未満の場合よりも短い判定期間に決定してもよい。車両又は人の密度の閾値、及び判定部４２３が決定する判定期間は、例えば安全上問題がないレベルとして実験によって予め定められたものである。

判定部４２３は、車両Ｓの運転者が前方不注視状態であると判定した場合、運転者が前方不注視状態であることを警報部４２４に通知する。警報部４２４は、運転者が前方不注視状態であるという通知を判定部４２３から受けると、警報装置３に警報を発するように通知する。

＜判定部４２３の動作＞
図３は、判定部４２３が道路状態特定部４２２から取得した車線の幅に基づいて判定期間を設定する処理のフローチャートを示す図である。道路状態特定部４２２は、道路撮像装置２から車両Ｓが走行中の道路の画像を取得する（Ｓ１１）。道路状態特定部４２２は、取得した道路の画像に基づいて、車両Ｓが走行している車線の幅を道路の状態として特定するとともに、判定部４２３に車線の幅を通知する（Ｓ１２）。なお、道路状態特定部４２２は、車線の幅を数値として判定部４２３に通知する代わりに、車線の幅を示す情報（例えば「広い」又は「狭い」）により通知してもよい。

判定部４２３は、取得した車線の幅が閾値（例えば３．５メートル）以上である場合（Ｓ１３のＹＥＳ）、車線の幅が閾値未満である場合の判定期間よりも長い第１判定期間に設定する（Ｓ１４）。一方、判定部４２３は、取得した車線の幅が閾値未満である場合（Ｓ１３のＮＯ）、車線の幅が閾値以上である場合の判定期間よりも短い第２判定期間に設定する（Ｓ１５）。第１判定期間及び第２判定期間は、例えば安全上問題がないレベルの判定期間として実験によって予め定められた期間である。

道路状態特定部４２２及び判定部４２３がこのように動作することで、判定部４２３は、車線の幅が大きい場合に判定期間を長く設定できる。その結果、安全運転判定装置４は、例えば車両Ｓが、直線路が多く人がいない高速道路を走行している場合、運転者の顔向きの角度の変化に敏感に反応して警報装置３が誤って警報を発することを抑制できる。

図４は、判定部４２３が道路状態特定部４２２から取得した人又は車両の密度に基づいて判定期間を設定する処理のフローチャートを示す図である。道路状態特定部４２２は、道路撮像装置２から車両Ｓが走行中の道路の画像を取得する（Ｓ２１）。道路状態特定部４２２は、取得した道路の画像に基づいて車両Ｓが走行している道路における車両Ｓから所定の範囲内の人又は車両Ｓとは異なる車両の密度を道路の状態として特定するとともに、判定部４２３に人又は車両の密度を通知する（Ｓ２２）。

道路状態特定部４２２が特定する車両Ｓから所定の範囲内の人の密度は、例えば車両Ｓの周囲１０メートル以内に検出できる人の数である。道路状態特定部４２２が特定する車両Ｓから所定の範囲内の車両の密度は、例えば車両Ｓの前後及び左右に検出した、車両Ｓとは異なる車両の数である。

判定部４２３は、取得した人又は車両の密度が閾値未満である場合（Ｓ２３のＹＥＳ）、人又は車両の密度が閾値以上である場合の判定期間よりも長い第１判定期間に設定する（Ｓ２４）。一方、判定部４２３は、取得した人又は車両の密度が閾値以上である場合（Ｓ２３のＮＯ）、人又は車両の密度が閾値未満である場合の判定期間よりも短い第２判定期間に設定する（Ｓ２５）。閾値、第１判定期間、及び第２判定期間は、例えば安全上問題がないレベルとして実験によって予め定められた値である。なお、図４における第１判定期間及び第２判定期間は、図３における第１判定期間及び第２判定期間と同一であってもよく、異なっていてもよい。

道路状態特定部４２２及び判定部４２３がこのように動作することで、判定部４２３は、車両Ｓの周囲の車両又は人が多い場合に、判定期間を短く設定できる。その結果、安全運転判定装置４は、例えば車両Ｓが、車両又は人が多い一般道を走行している場合、運転者の顔向きの角度の変化に敏感に反応して警報装置３が警報を発するようにすることができる。

また、判定部４２３は、図３に示した車両Ｓが走行中の車線の幅に基づく判定と、図４に示した車両Ｓから所定の範囲の車両又は人の密度に基づく判定との両方を組み合わせてもよい。例えば、判定部４２３は、道路状態特定部４２２から取得した車両Ｓの走行中の車線の幅が閾値未満であっても、道路状態特定部４２２から取得した車両Ｓから所定の範囲内の車両又は人の密度が閾値未満であれば、判定期間を長く設定してもよい。一方、判定部４２３は、例えば、判定部４２３は、道路状態特定部４２２から取得した車両Ｓの走行中の車線の幅が閾値以上であっても、道路状態特定部４２２から取得した車両Ｓから所定の範囲内の車両又は人の密度が閾値以上であれば、判定期間を短く設定できる。

判定部４２３がこのように動作することで、安全運転判定装置４は、例えば車両Ｓの走行中の車線の幅が小さい場合であっても、周囲に車両又は人が少ない場合は、運転者の顔向きの変化に敏感に反応して警報装置３が警報を発することを抑制できる。一方、安全運転判定装置４は、例えば車両Ｓの走行中の車線の幅が大きい場合であっても、周囲に車両又は人が多い場合は、運転者の顔向きの変化に敏感に反応して警報装置３が警報を発するようにすることができる。

以上の動作において、判定部４２３は、直線路が多く人がいない高速道路を車両Ｓが走行中の場合は、一般道路を車両Ｓが走行中の場合よりも、運転者が前方不注視状態であるか否かを判定する判定期間を長くしてもよい。その結果、安全運転判定装置４は、運転者の顔向きの変化に敏感に反応して警報装置３が警報を発することを抑制できる。一方、判定部４２３は、例えば車両Ｓが、人が多い一般道を走行している場合は、運転者が前方不注視状態であるか否かを判定する判定期間を短くする。その結果、安全運転判定装置４は、運転者の顔向きの変化に敏感に反応して警報装置３が警報を発するようにすることができる。

図５は、外部装置５を有する車両Ｓの構成を示す図である。車両Ｓは、外部装置５を有するという点で、図１に示した車両Ｓと異なり、他の点で同じである。外部装置５は、例えばカーナビゲーションシステムである。外部装置５は、車両Ｓが走行している位置を特定する位置特定部を有する。

外部装置５は、時刻と、道路の位置と、車両Ｓから所定の範囲内の車両又は人の密度とが関連付けられた道路状態情報を記憶している。道路状態特定部４２２は、車両Ｓが走行中である現時刻を外部装置５に通知する。外部装置５は、道路状態特定部４２２から取得した車両Ｓが走行中である現時刻と外部装置５が有する位置特定部が特定した位置情報とに関連付けられる車両Ｓから所定の範囲内の車両又は人の密度を、外部装置５が記憶している道路状態情報から特定し、道路状態特定部４２２に通知する。道路状態特定部４２２は、外部装置５から取得した車両Ｓから所定の範囲内の車両又は人の密度を判定部４２３に通知する。

外部装置５及び道路状態特定部４２２がこのように動作することで、判定部４２３は、車両Ｓが走行中の時刻及び位置に関連付けられた道路状態情報に基づいて判定期間を設定できる。具体的には、判定部４２３は、例えば早朝などの道路に人が少ない時刻においては、判定期間を長く設定し、昼間などの道路に人が多い時刻においては、判定時間を短く設定できる。その結果、安全運転判定装置４は、例えば道路に人が少ない早朝などの時刻では、運転者の顔向きの変化に敏感に反応して警報装置３が警報を発することを抑制できる。一方、道路に人が多い昼間などの時刻では、安全運転判定装置４は、運転者の顔向きの変化に敏感に反応して警報装置３が警報を発するようにすることができる。

図６は、操作受付部４２５を有する車両Ｓの構成を示す図である。車両Ｓは、操作受付部４２５を有するという点で図５に示した車両Ｓと異なり、他の点で同じである。操作受付部４２５は、車両Ｓが走行中の道路の状態ごとに判定期間の長さを設定するための設定操作を受け付ける。操作受付部４２５は、例えば外部装置５が有する操作画面を介して、運転手が設定した、車両Ｓが走行している道路の状態ごとの判定期間の長さを受け付ける。操作受付部４２５は、受け付けた判定期間を判定部４２３に通知する。

判定部４２３は、道路状態特定部４２２が特定した道路の状況に関連付けて操作受付部４２５が受け付けた設定操作が示す長さに判定期間を決定する。判定部４２３及び操作受付部４２５がこのように動作することで、判定部４２３は、運転者それぞれの運転条件に基づいて前方不注視状態であるか否かを判定できる。その結果、安全運転判定装置４は、運転者それぞれの運転条件に対応するとともに、車両Ｓが走行している道路の状態に基づいて警報装置３が警報を発するようにすることができる。

＜安全運転判定装置４による効果＞
以上のとおり、制御部４２は、車両Ｓの運転者の角度値を算出する角度値算出部４２１と、車両Ｓが走行中の車線の幅などの道路の状態を特定する道路状態特定部４２２と、算出した角度値に基づいて運転者が前方不注視状態であるか否かを判定する判定部４２３とを有する。判定部４２３は、道路状態特定部４２２から取得した道路の状態に基づいて、運転者が前方不注視状態であるか否かを判定するための判定期間を設定する。

その結果、安全運転判定装置４は、例えば、車線の幅が狭い場合は、車線の幅が広い場合よりも運転者の顔向きの変化に敏感に反応して警報装置３が警報を発するようにする。また、安全運転判定装置４は、車両Ｓから所定の範囲の人又は車両の密度が高い場合は、人又は車両の密度が低い場合よりも運転者の顔向きの変化に敏感に反応して警報装置３が警報を発するようにする。したがって、安全運転判定装置４は、道路の状態によらず、運転者が前方不注視状態であるか否かを適切に判定することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１運転者撮像装置
２道路撮像装置
３警報装置
４安全運転判定装置
５外部装置
４１記憶部
４２制御部
４２１角度値算出部
４２２道路状態特定部
４２３判定部
４２４警報部
４２５操作受付部

Claims

車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、
前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する角度値算出部と、
過去の所定の判定期間内の角度値の積算値が閾値以上であるか否かに基づいて、前記運転者が前方不注視状態であるか否かを判定する判定部と、
前記車両が走行している道路の状態を特定する道路状態特定部と、
を有し、
前記道路状態特定部は、前記車両が走行している車線の幅を前記道路の状態として特定し、
前記判定部は、前記車線の幅が閾値以上である場合の前記判定期間を、前記車線の幅が前記閾値未満である場合の前記判定期間よりも長く設定する、
安全運転判定装置。
車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、
前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する角度値算出部と、
過去の所定の判定期間内の角度値の積算値が閾値以上であるか否かに基づいて、前記運転者が前方不注視状態であるか否かを判定する判定部と、
前記車両が走行している道路の状態を特定する道路状態特定部と、
を有し、
前記道路状態特定部は、前記車両が走行している道路における前記車両から所定の範囲内の人又は車両の密度を前記道路の状態として特定し、
前記判定部は、前記密度が閾値以上である場合の前記判定期間を、前記密度が閾値未満である場合の前記判定期間よりも短くする、
安全運転判定装置。
前記道路状態特定部は、時刻と、道路の位置と、前記密度とが関連付けられた道路状態情報を記憶している外部装置から、前記車両が走行中の時刻に対応する前記道路状態情報を取得し、取得した前記道路状態情報において、前記車両が走行中の位置に関連付けられた前記密度を前記道路の状態として特定する、
請求項２に記載の安全運転判定装置。
前記車両の運転者から、前記車両が走行中の道路の状態ごとに前記判定期間の長さを設定するための設定操作を受け付ける操作受付部をさらに有し、
前記判定部は、前記道路状態特定部が特定した道路の状況に関連付けて前記操作受付部が受け付けた前記設定操作が示す長さに前記判定期間を決定する、
請求項１から３のいずれか一項に記載の安全運転判定装置。