JP7075048B2 - 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム - Google Patents

安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム Download PDF

Info

Publication number
JP7075048B2
JP7075048B2 JP2018127398A JP2018127398A JP7075048B2 JP 7075048 B2 JP7075048 B2 JP 7075048B2 JP 2018127398 A JP2018127398 A JP 2018127398A JP 2018127398 A JP2018127398 A JP 2018127398A JP 7075048 B2 JP7075048 B2 JP 7075048B2
Authority
JP
Japan
Prior art keywords
evaluation
vehicle
safety confirmation
time
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018127398A
Other languages
English (en)
Other versions
JP2020008978A (ja
Inventor
尚良 佐藤
哲也 塚本
美加 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018127398A priority Critical patent/JP7075048B2/ja
Publication of JP2020008978A publication Critical patent/JP2020008978A/ja
Application granted granted Critical
Publication of JP7075048B2 publication Critical patent/JP7075048B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラムに関する。
特許文献1には、交差点における安全運転度を判定する安全運転度判定装置が提案されている。前記安全運転度判定装置は、速度検出部、ヨーレート検出部、加速度検出部、車両位置検出部、地図データベース、及びコントローラを含んで構成されている。
前記コントローラでは、交差点への右左折進入の情報を受けて、車両の速度、ヨーレート、加速度等の交差点通過特性値の演算を行い、該交差点通過特性値を前記地図データベースの情報から求めた交差点の曲率半径と対応付けて記録部に記録させておき、前記交差点の曲率半径の分類ごとの前記交差点通過特性値に基づいて、運転者の安全運転度を判定する処理が行われる構成になっている。
[発明が解決しようとする課題]
特許文献1記載の安全運転度判定装置では、交差点通過時の速度、ヨーレート、加速度等の車両の走行状態に基づいて、運転者の安全運転度が判定されている。そのため、交差点通過時などの右左折時、特に交差点内で車両が一時的に停止したような場合において、運転者が適切な安全確認を行っているのかどうかなど、運転者の安全確認動作までは評価することができていないという課題があった。
特開2015-76000号公報
課題を解決するための手段及びその効果
本発明は上記課題に鑑みなされたものであって、交差点における運転者の安全確認動作、特に交差点内で車両が一時的に停止した場合であっても、運転者の安全確認動作を適正に評価することができる安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラムを提供することを目的としている。
上記目的を達成するために本開示に係る安全確認評価装置(1)は、車両の運転者の安全確認動作を評価する安全確認評価装置であって、
前記車両の交差点への進入時刻を推定する交差点進入推定部と、
前記運転者の顔の挙動を含む情報を取得する挙動情報取得部と、
前記進入時刻の前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する評価部とを備え、
該評価部が、
前記進入時刻の後に前記車両が停止したか否かを判定する停止判定部と、
該停止判定部により前記車両が停止したと判定された場合、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する第1評価部とを備えていることを特徴としている。
上記安全確認評価装置(1)によれば、前記進入時刻の前後に取得された前記情報に基づいて、前記交差点における前記運転者の安全確認動作が評価される。また、前記停止判定部により前記進入時刻の後に前記車両が停止したと判定された場合、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作が評価される。したがって、前記交差点内で前記車両が一時的に停止した場合であっても、前記第1評価部によって、前記再発進する前後における、換言すれば、前記交差点内を通過するタイミングにおける、前記運転者の安全確認動作を適正に評価することができる。
また本開示に係る安全確認評価装置(2)は、上記安全確認評価装置(1)において、
前記評価部が、
前記停止判定部により前記車両が停止したと判定された場合、前記進入時刻より前の所定時間に取得された前記情報に基づいて、前記進入時刻より前における、前記運転者の安全確認動作を評価する第2評価部を備えていることを特徴としている。
上記安全確認評価装置(2)によれば、前記停止判定部により前記車両が停止したと判定された場合、前記進入時刻より前の所定時間に取得された前記情報に基づいて、前記進入時刻より前における、前記運転者の安全確認動作が評価される。したがって、前記第2評価部によって、前記交差点への進入前における前記運転者の安全確認動作を適正に評価することができる。
また本開示に係る安全確認評価装置(3)は、上記安全確認評価装置(1)又は(2)において、
前記評価部が、
前記停止判定部により前記車両が停止していないと判定された場合、前記進入時刻の前後所定時間に取得された前記情報に基づいて、前記進入時刻の前後における、前記運転者の安全確認動作を評価する第3評価部を備えていることを特徴としている。
上記安全確認評価装置(3)によれば、前記停止判定部により前記車両が停止していないと判定された場合、前記進入時刻の前後所定時間に取得された前記情報に基づいて、前記進入時刻の前後における、前記運転者の安全確認動作が評価される。したがって、前記交差点内で前記車両が一時的に停止しない場合には、前記第3評価部によって、前記交差点への進入前後における前記運転者の安全確認動作を適正に評価することができる。
また本開示に係る安全確認評価装置(4)は、上記安全確認評価装置(1)~(3)のいずれかにおいて、
前記評価部が、
前記進入時刻の後に前記車両が停止してから再発進するまでの停車時間と、予め定められた所定時間とを比較して、前記再発進する前の評価時間を設定する評価時間設定部を備えていることを特徴としている。
上記安全確認評価装置(4)によれば、前記評価時間設定部によって、前記進入時刻の後に前記車両が停止してから再発進するまでの停車時間と、予め定められた所定時間とが比較されて、前記再発進する前の評価時間が設定される。前記停車時間は、前記交差点内の交通状況の違いによって、長い場合もあれば短い場合もあるが、前記評価時間設定部を備えることにより、前記再出発の前後における、前記運転者の安全確認動作の評価がより適切に行えるように、より適切な時間を前記評価時間として設定することができる。
また本開示に係る安全確認評価装置(5)は、上記安全確認評価装置(4)において、
前記評価時間設定部が、
前記停車時間が前記所定時間より短い場合、前記再発進する前の評価時間を前記停車時間に設定するものであることを特徴としている。
上記安全確認評価装置(5)によれば、前記停車時間が前記所定時間より短い場合、前記評価時間設定部により、前記再発進する前の前記評価時間が前記停車時間に設定される。したがって、前記停車時間内に行われた前記運転者の安全確認動作を評価することができる。例えば、前記停車時間が比較的短い場合(例えば、10秒未満である場合)には、前記評価時間が前記停車時間に設定され、該停車時間内における、再発進する前の前記運転者の安全確認動作を評価することができる。
また本開示に係る安全確認評価装置(6)は、上記安全確認評価装置(4)において、
前記評価時間設定部が、
前記停車時間が前記所定時間より長い場合、前記再発進する前の評価時間を前記所定時間に設定するものであることを特徴としている。
上記安全確認評価装置(6)によれば、前記停車時間が前記所定時間より長い場合、前記評価時間設定部により、前記再発進する前の評価時間が前記所定時間に設定される。例えば、前記停車時間が長い場合(例えば、10秒より長い場合)には、前記評価時間が前記所定時間(例えば、10秒間)に設定される。したがって、前記停車時間が長い場合であっても、再発進する前の安全確認動作の評価を適正に行うことができる。なお、前記所定時間は、例えば、前記情報に基づいて、前記再発進する前における、前記運転者の安全確認動作を評価するのに必要な長さに設定される。
また本開示に係る安全確認評価装置(7)は、上記安全確認評価装置(1)~(3)のいずれかにおいて、
前記評価部が、
前記停止判定部により前記車両が停止したと判定された場合に、前記車両が停止した回数を検出する停止回数検出部をさらに備え、
前記第1評価部が、
前記停止回数検出部により前記進入時刻の後に複数回の停止が検出された場合、少なくとも最後に停止した後に再発進する前後における、前記運転者の安全確認動作を評価するものであることを特徴としている。
上記安全確認評価装置(7)によれば、前記停止判定部により前記車両が停止したと判定された場合に、前記停止回数検出部により、前記進入時刻の後に前記車両が停止した回数が検出される。前記進入時刻の後に複数回の停止が検出された場合、前記第1評価部によって、少なくとも最後に停止した後に再発進する前後における、前記運転者の安全確認動作が評価される。したがって、前記交差点内で前記車両が複数回停止した場合であっても、少なくとも最後に停止した後に再発進する前後、即ち、前記交差点内を通過するタイミング(例えば、右左折するタイミング)における、前記運転者の安全確認動作を適正に評価することができる。
また本開示に係る安全確認評価装置(8)は、上記安全確認評価装置(1)~(7)のいずれかにおいて、
前記評価部が、
前記情報に基づいて、前記運転者の顔の向き又は視線の方向の少なくともいずれかの左右の振り角度及び振り時間を検出し、該検出された左右の振り角度及び振り時間に基づいて、前記運転者の安全確認動作を評価するものであることを特徴としている。
上記安全確認評価装置(8)によれば、前記情報に基づいて、前記運転者の顔の向き又は視線の方向の少なくともいずれかの左右の振り角度及び振り時間が検出され、該検出された左右の振り角度及び振り時間に基づいて、前記運転者の安全確認動作が評価される。したがって、前記運転者の左右の振り向き状態と振り向き時間により、前記運転者の安全確認動作を適正に評価することができる。
また本開示に係る安全確認評価装置(9)は、上記安全確認評価装置(1)~(8)のいずれかにおいて、
前記交差点進入推定部が、
前記車両の角速度の時系列データに基づいて、前記進入時刻を推定するものであることを特徴としている。
上記安全確認評価装置(9)によれば、前記車両の角速度の時系列データに基づいて、前記車両の交差点への進入時が推定される。したがって、地図情報などに含まれる交差点情報を用いることなく、簡素かつ低コストの構成で、前記車両が交差点に進入した時刻を推定することができる。例えば、前記車両の角速度の時系列データを積分して角度(鉛直軸に対する回転角度)を演算し、該演算された角度に基づいて、交差点進入時刻を推定してもよい(例えば、該角度が所定値を超えた時刻を交差点進入時刻として推定してもよい)。
また本開示に係る安全確認評価システムは、上記安全確認評価装置(1)~(9)のいずれかと、車両に搭載される車載機とを含んで構成され、
該車載機が、
前記車両の運転者の顔の挙動を検出する運転者モニタリング部と、
前記車両の位置を検出する位置検出部と、
前記車両の角速度を含む走行挙動を検出する走行挙動検出部と、
前記運転者モニタリング部、前記位置検出部、及び前記走行挙動検出部で検出されたデータを、前記安全確認評価装置に出力する出力部とを備えていることを特徴としている。
上記安全確認評価システムによれば、上記安全確認評価装置(1)~(9)のいずれかと、上記車載機とを含んで構成されている。したがって、上記安全確認評価装置(1)~(9)の効果を得ることができる。また、上記車載機の前記運転者モニタリング部、前記位置検出部、及び前記走行挙動検出部で検出されたデータが前記安全確認評価装置に出力されるので、前記安全確認評価装置に前記運転者の安全確認動作の評価を実行させることにより、前記車載機の処理負担を軽減することができ、前記車載機のコストを抑え、広く導入可能なシステムを構築することができる。
また本開示に係る安全確認評価方法は、車両の運転者の安全確認動作を評価する安全確認評価方法であって、
前記車両の交差点への進入時刻を推定する進入時刻推定ステップと、
前記運転者の顔の挙動を含む情報を取得する情報取得ステップと、
前記進入時刻の前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する評価ステップとを含み、
該評価ステップは、
前記進入時刻の後に前記車両が停止したか否かを判定する停止判定ステップと、
該停止判定ステップにより前記車両が停止したと判定された場合、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する第1評価ステップとを含んでいることを特徴としている。
上記安全確認評価方法によれば、前記評価ステップにより、前記進入時刻の前後に取得された前記情報に基づいて、前記交差点における前記運転者の安全確認動作が評価される。また、前記停止判定ステップにより、前記進入時刻の後に前記車両が停止したと判定された場合、前記第1評価ステップにより、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作が評価される。したがって、前記交差点内で前記車両が一時的に停止した場合であっても、前記第1評価ステップによって、前記再発進する前後における、換言すれば、前記交差点内を通過するタイミングにおける、前記運転者の安全確認動作を適正に評価することができる。
また本開示に係る安全確認評価プログラムは、車両の運転者の安全確認動作を評価する処理を少なくとも1つのコンピュータに実行させるための安全確認評価プログラムであって、
前記少なくとも1つのコンピュータに、
前記車両の交差点への進入時刻を推定する進入時刻推定ステップと、
前記運転者の顔の挙動を含む情報を取得する情報取得ステップと、
前記進入時刻の前後所定時間に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する評価ステップとを実行させ、
該評価ステップでは、
前記進入時刻の後に前記車両が停止したか否かを判定する停止判定ステップと、
該停止判定ステップにより前記車両が停止したと判定された場合、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する第1評価ステップとを実行させることを特徴としている。
上記安全確認評価プログラムによれば、前記評価ステップにより、前記進入時刻の前後に取得された前記情報に基づいて、前記交差点における前記運転者の安全確認動作が評価される。また、前記停止判定ステップにより、前記進入時刻の後に前記車両が停止したと判定された場合、前記第1評価ステップにより、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作が評価される。したがって、前記交差点内で前記車両が一時的に停止した場合であっても、前記第1評価ステップによって、前記再発進する前後における、換言すれば、前記交差点内を通過するタイミングにおける、前記運転者の安全確認動作を適正に評価することが可能な安全確認評価装置を実現することができる。
実施の形態(1)に係る安全確認評価システムの構成例を示す模式図である。 実施の形態(1)に係る安全確認評価システムで用いられる車載機のハードウェア構成例を示すブロック図である。 車載機からサーバ装置に送信される検出データの構成例を示す図である。 実施の形態に係る安全確認評価システムで用いられるサーバ装置のハードウェア構成例を示すブロック図である。 検出データ蓄積部に蓄積される検出データファイルの構成例を示す図である。 評価データ記憶部に記憶されている評価データファイルの構成例を示す図である。 実施の形態(1)に係るサーバ装置の機能構成例を示すブロック図である。 実施の形態(1)に係るサーバ装置が備えている安全確認評価部の機能構成例を示すブロック図である。 実施の形態(1)に係る車載機のドライバモニタリング部が行う処理動作を示すフローチャートである。 実施の形態(1)に係る車載機の制御部が行う処理動作を示すフローチャートである。 実施の形態(1)に係るサーバ装置のサーバコンピュータが行う処理動作を示すフローチャートである。 実施の形態(1)に係るサーバ装置のサーバコンピュータが行う安全確認動作の評価処理動作を示すフローチャートである。 実施の形態(2)に係るサーバ装置が備えている安全確認評価部の機能構成例を示すブロック図である。 実施の形態(2)に係るサーバ装置のサーバコンピュータが行う安全確認動作の評価処理動作を示すフローチャートである。 実施の形態(3)に係るサーバ装置が備えている安全確認評価部の機能構成例を示すブロック図である。 実施の形態(3)に係るサーバ装置のサーバコンピュータが行う安全確認動作の評価処理動作を示すフローチャートである。
以下、本発明に係る安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラムの実施の形態を図面に基づいて説明する。
本発明に係る安全確認評価装置は、例えば、事業者が管理する車両の運転者の安全確認動作を評価して、運転者の安全意識の改善を図ることを支援するシステムなどに広く適用可能である。
[システム構成例]
図1は、実施の形態(1)に係る安全確認評価システムの構成例を示す模式図である。
安全確認評価システム1は、車両2に乗車している運転者3の安全確認動作を評価するためのシステムであって、少なくとも1台以上の車両2に搭載される車載機10と、各車載機10から取得したデータを処理する少なくとも1つ以上のサーバ装置40とを含んで構成されている。サーバ装置40が、本発明の「安全確認評価装置」の一例である。
車載機10が搭載される車両2は、特に限定されない。本実施の形態では、各種の事業を営む事業者が管理する車両が対象とされ得る。例えば、運送事業者が管理するトラック、バス事業者が管理するバス、タクシー事業者が管理するタクシー、カーシェアリング事業者が管理するカーシェア車両、レンタカー事業者が管理するレンタカー、会社が所有している社有車、又はカーリース事業者からリースして使用する社有車などが対象とされ得る。
車載機10とサーバ装置40とは、通信ネットワーク4を介して通信可能に構成されている。通信ネットワーク4は、基地局を含む携帯電話網(3G/4G)や無線LAN(Local Area Network)などの無線通信網を含んでもよいし、公衆電話網などの有線通信網、インターネット、又は専用網などの電気通信回線を含んでもよい。サーバ装置40は、通信ユニット41、サーバコンピュータ50、及び記憶ユニット70を含んで構成されている。
また、車両2を管理する事業者の端末装置80(以下、事業者端末という。)が、通信ネットワーク4を介してサーバ装置40と通信可能に構成されている。事業者端末80は、通信機能を備えたパーソナルコンピュータでもよいし、携帯電話、スマートフォン、又はタブレット装置などの携帯情報端末などでもよい。また、事業者端末80が、通信ネットワーク4を介して車載機10と通信可能に構成されていてもよい。
安全確認評価システム1では、サーバ装置40が、各車載機10から適宜送信されてきた、運転者3の顔の挙動(顔の向き又は視線の方向など)、車両2の位置、及び車両2の走行挙動(角速度など)を含む検出データを蓄積し、蓄積された各車載機10の検出データを用いて、各運転者3の安全確認動作の評価を行う。この安全確認動作には、交差点における運転者3の安全確認動作が含まれている。サーバ装置40は、例えば、各車載機10から取得した検出データを用いて、各車両2の一日の運転が終了した後に、その日に通過した各交差点における安全確認動作の評価処理を実行してもよいし、又は一定期間毎に、該一定期間内に通過した各交差点における安全確認動作の評価処理を実行してもよく、運転評価処理の実行タイミングは特に限定されない。
そして、サーバ装置40では、例えば、事業者端末80から要求があった場合に、各車両2の運転者3の安全確認動作の評価結果などの情報を、通信ネットワーク4を介して事業者端末80に提供する処理を行う。事業者は、事業者端末80に表示された評価結果を運転者3に提示することにより、運転者の安全意識の改善を図るなどの安全教育を実施することが可能となっている。
サーバ装置40は、交差点における運転者3の安全確認動作を評価するにあたり、車両2の交差点進入時刻(以下、進入時刻ともいう。)を推定する処理を行う。例えば、サーバ装置40は、車載機10から送信されてきた車両2の角速度データ(例えば、交差点を通過する前後の角速度データ)を蓄積し、蓄積された車両2の角速度データに基づいて、進入時刻を推定してもよい。該進入時刻は、換言すれば、車両2が右左折を始めた時刻(右左折開始時刻)であり、交差点への進入前と進入後とにおける運転者の安全確認動作を評価するための境界時刻としてもよい。
なお、交差点とは、例えば、2本以上の道路と道路が交差する分岐点であり、十字路(四叉路)の他、T字路やY字路を含んでもよく、また、四叉路以上の交差点を含んでもよい。また、信号機、又は横断歩道の有無は問わない。換言すれば、交差点とは、車両2が、右折又は左折により進行方向を切り替える地点を含み、上記した道路と道路が交差する部分の他、道路と沿道施設(店舗、駐車場など)に至る通路が交差する部分、すなわち、沿道施設への出入口地点も含んでもよい。前記沿道施設に至る通路には歩道部分を含んでもよい。
また、サーバ装置40は、車載機10から取得した車両2の交差点通過時の運転者の顔の挙動に関する情報(以下、顔挙動情報ともいう。)を蓄積し、前記推定された進入時刻の前後に取得された顔挙動情報に基づいて、運転者の安全確認動作を評価する処理を行う。例えば、サーバ装置40は、進入時刻より前の所定時間と、進入時刻より後の所定時間とにおける運転者の安全確認動作をそれぞれ評価する処理などを行い、これら評価結果を記憶する。
顔挙動情報は、運転者3の顔の挙動に関するものであれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。顔挙動情報には、例えば、運転者3の顔の向き、又は視線の方向の少なくともいずれかが含まれ、これらの他に、顔の検出可否、顔の動き、顔の器官の位置、及び眼の開閉の少なくとも1つが含まれてもよい。
ところで、車両2が交差点で右左折する場合、例えば、車両2が交差点に進入後、交差点内で停止することなく、右左折する場合もあれば、交差点内で一時停止した後、再発進して右左折する場合もある。具体的には、交差点を右折する場合では、車両2が交差点に進入した後、対向車の通過を待つために、交差点内(例えば、交差点の中央手前)で一旦停止し、対向車が通過した後に再発進して右折する場合がある。また、交差点を左折する場合では、車両2が交差点に進入した後、歩行者などが道路を横断するのを待つために、交差点内(例えば、横断歩道の手前)で一旦停止し、歩行者などが横断した後に再発進して左折する場合がある。
このような交差点内で一時的に停止する場合の停車時間の長さは、各交差点での交通状況などによって異なり、数秒程度の短い場合もあれば、10秒以上の長い場合もある。特に交差点内での停車時間が長い場合、停止直後の安全確認動作よりも、停止後に再発進する前後での安全確認動作を適正に評価することが重要となる。このように交差点における運転者の安全確認動作を評価するにあたっては、交差点内での車両2の停止状況も踏まえて、より適切なタイミングで適切な安全確認動作が行われたどうかを評価する必要がある。
そこで、サーバ装置40では、交差点における運転者3の安全確認動作を評価する処理を実行する場合に、交差点への進入時刻の後に車両2が停止したか否かを判定し、車両2が停止したと判定された場合、車両2が停止した後に再発進する前後に取得された、顔挙動情報に基づいて、運転者の安全確認動作を評価する処理を実行するように構成されている。
サーバ装置40によれば、交差点内で車両が停止した場合であっても、停止後に再発進する前後、換言すれば、交差点を実際に曲がるタイミングでの運転者3の安全確認動作を評価することが可能となり、交差点における運転者3の安全確認動作をより適正に評価することが可能となる。
[ハードウェア構成例]
図2は、実施の形態に係る安全確認評価システム1で用いられる車載機10のハードウェア構成例を示すブロック図である。
車載機10は、プラットフォーム部11及びドライバモニタリング部20を含んで構成されている。また、車載機10にドライブレコーダー部30が接続されている。
プラットフォーム部11には、車両2の加速度を測定する加速度センサ12、車両2の回転角速度を検出する角速度センサ13、車両2の位置を検出するGPS(Global Positioning System)受信部14が装備されている。また、プラットフォーム部11には、通信ネットワーク4を介して外部機器と通信処理を行う通信部15、ビープ音などの警告するための音、又は警告メッセージなどの音声を出力する報知部16、記憶部17、及び外部インターフェース(外部I/F)18が装備されている。さらにプラットフォーム部11には、各部の処理動作を制御する制御部19が装備されている。加速度センサ12と角速度センサ13は、本発明に係る車載機の「走行挙動検出部」の一例である。GPS受信部14は、本発明に係る車載機の「位置検出部」の一例である。
加速度センサ12は、例えば、XYZ軸の3方向の加速度を測定する3軸加速度センサで構成されている。3軸加速度センサには、静電容量型の他、ピエゾ抵抗型などの半導体方式の加速度センサを用いることができる。なお、加速度センサ12には、2軸、1軸の加速度センサを用いてもよい。加速度センサ12で測定された加速度データが、例えば、検出時刻と対応付けて(即ち、時系列で)制御部19のRAM19bに記憶される。
角速度センサ13は、少なくとも鉛直軸回り(ヨー方向)の回転に応じた角速度、すなわち、車両2の左右方向への回転(旋回)に応じた角速度データを検出可能なセンサ、例えば、ジャイロセンサ(ヨーレートセンサともいう)で構成されている。なお、角速度センサ13には、鉛直軸回りの1軸ジャイロセンサの他、左右方向の水平軸回り(ピッチ方向)の角速度も検出する2軸ジャイロセンサ、さらに前後方向の水平軸回り(ロール方向)の角速度も検出する3軸ジャイロセンサを用いてもよい。これらジャイロセンサには、振動式ジャイロセンサの他、光学式、又は機械式のジャイロセンサを用いてもよい。
また、角速度センサ13の鉛直軸回りの角速度の検出方向については、例えば、時計回りを正方向に、反時計回りを負方向に設定してもよい。この場合、車両2が右方向に旋回すれば正の角速度データが検出され、左方向に旋回すれば負の角速度データが検出される。角速度センサ13では、所定の周期(例えば、数十ms周期)で角速度が検出され、検出された角速度データが、例えば、検出時刻と対応付けて制御部19のRAM19bに記憶される。なお、加速度センサ12と角速度センサ13には、これらが一つのパッケージ内に実装された慣性センサを用いてもよい。
GPS受信部14は、アンテナ14aを介して人工衛星からのGPS信号を所定周期(例えば、1秒毎)で受信して、現在地の位置データ(緯度、及び経度)を検出する。GPS受信部14で検出された位置データは、例えば、検出時刻と対応付けて制御部19のRAM19bに記憶される。なお、車両2の位置を検出する装置は、GPS受信部14に限定されるものではない。例えば、日本の準天頂衛星、ロシアのグロナス(GLONASS)、欧州のガリレオ(Galileo)、又は中国のコンパス(Compass)等の他の衛星測位システムに対応した測位装置を用いてもよい。
通信部15は、本発明に係る車載機の「出力部」の一例であり、通信ネットワーク4を介してサーバ装置40にデータ出力処理などを行う通信モジュールを含んで構成されている。
記憶部17は、例えば、メモリーカードなどの着脱可能な記憶装置、又はハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などの1つ以上の記憶装置で構成されている。記憶部17に、加速度センサ12、角速度センサ13、GPS受信部14、ドライバモニタリング部20、又はドライブレコーダー部30から取得した各種の検出データが時系列で記憶される構成としてもよい。
外部I/F18は、ドライブレコーダー部30などの車載機器との間でデータや信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。
制御部19は、CPU(Central Processing Unit)19a、RAM(Random Access Memory)19b、及びROM(Read Only Memory)19cを含むマイクロコンピュータで構成されている。制御部19は、加速度センサ12、角速度センサ13、GPS受信部14、ドライバモニタリング部20、又はドライブレコーダー部30から取得した各種の検出データをRAM19b又は記憶部17に記憶する処理を行う。また、制御部19は、ROM19cに記憶されたプログラムの他、必要に応じてRAM19b又は記憶部17に記憶された各種の検出データを読み出して、所定のプログラムを実行する。
例えば、制御部19は、角速度センサ13で検出された角速度の絶対値が所定の角速度閾値ωthを超えた時刻を検出し、検出した時刻を交差点通過時刻t0(以下、通過時刻t0ともいう)として記憶する処理などを行う。なお、通過時刻t0での車速が、所定の交差点上限速度以上である場合は、交差点を右左折中ではないと見做し、時刻t0を取り消してもよい。車速は、例えば、GPS受信部14で検出される位置データの時系列変化から算出することができる。また、制御部19は、通過時刻t0の前後に取得された各種の検出データをサーバ装置40に所定タイミングで送信する処理なども行う。
ドライバモニタリング部20は、ドライバカメラ21、画像解析部22、及びインターフェース(I/F)23を含んで構成されている。
ドライバカメラ21は、例えば、図示しないレンズ部、撮像素子部、光照射部、及びこれら各部を制御するカメラ制御部などを含んで構成されている。
前記撮像素子部は、例えば、CCD(Charge Coupled Device)、又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、及びマイクロレンズなどを含んで構成されている。前記撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、近赤外線などの赤外線又は紫外線を受けて撮像画像を形成できるCCD、CMOS、或いはフォトダイオード等の赤外線センサを含んでもよい。前記光照射部は、LED(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線LEDなどを用いてもよい。ドライバカメラ21は、単眼カメラでもよいし、ステレオカメラであってもよい。
前記カメラ制御部は、例えば、プロセッサなどを含んで構成されている。前記カメラ制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光(例えば、近赤外線など)を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。ドライバカメラ21は所定のフレームレート(例えば、毎秒30~60フレーム)で画像を撮像し、ドライバカメラ21で撮像された画像のデータが画像解析部22へ出力される。
画像解析部22は、例えば、画像処理プロセッサなどを含んで構成され、ドライバカメラ21で撮像された画像から運転者3の顔の挙動(例えば、顔の向き、視線の方向、及び目開度など)を検出する処理などを行う。画像解析部22で検出された運転者3の顔の挙動を示すデータ、画像データ、及び撮像日時データが、インターフェース(I/F)23を介してプラットフォーム部11に送出され、プラットフォーム部11のRAM19b又は記憶部17に記憶される。
画像解析部22で検出される運転者3の顔の向きは、例えば、運転者の顔のX軸(左右軸)回りの角度(上下の向き)であるピッチ(Pitch)角、顔のY軸(上下軸)回りの角度(左右の向き)であるヨー(Yaw)角、及び顔のZ軸(前後軸)回りの角度(左右傾き)であるロール(Roll)角で示してよく、少なくとも左右の向きを示すヨー角が含まれる。またこれらの角度は、所定の基準方向に対する角度で示すことができ、例えば、前記基準方向が、運転者の正面方向に設定されてもよい。
また、画像解析部22で検出される運転者3の視線の方向は、例えば、画像から検出された、運転者の顔の向きと、目領域の情報(目頭、眼尻、又は瞳孔の位置など)との関係から推定され、3次元座標上における視線ベクトルV(3次元ベクトル)などで示すことができる。視線ベクトルVは、例えば、運転者の顔のX軸(左右軸)回りの角度(上下の向き)であるピッチ角、顔のY軸(上下軸)回りの角度(左右の向き)であるヨー角、及び顔のZ軸(前後軸)回りの角度(左右傾き)であるロール角のうち、少なくとも1つと、前記目領域の情報とから推定されたものでもよい。また、視線ベクトルVは、その3次元ベクトルの一部の値を顔の向きのベクトルの値と共通(例えば、3次元座標の原点を共通)にして示したり、顔の向きのベクトルを基準とした相対角度(顔の向きのベクトルの相対値)で示したりしてもよい。
また、画像解析部22で検出される運転者3の目開度は、例えば、画像から検出された、運転者の目領域の情報(目頭、眼尻、上下のまぶたの位置、又は瞳孔の位置など)を基に推定される。
プラットフォーム部11の外部I/F18には、ドライブレコーダー部30が接続されている。ドライブレコーダー部30は、車外カメラ31と車内カメラ32とを含んで構成されている。
車外カメラ31は、車両2の前方の画像を撮像するカメラであり、車内カメラ32は、車両2の室内の画像を撮像するカメラである。車外カメラ31と車内カメラ32は、例えば、可視光カメラで構成され得るが、近赤外線カメラなどで構成してもよい。
車外カメラ31と車内カメラ32は、それぞれ所定のフレームレート(例えば、毎秒数十フレーム)で画像を撮像し、車外カメラ31と車内カメラ32で撮像された画像と撮像日時などのデータがプラットフォーム部11へ送出され、プラットフォーム部11のRAM19b又は記憶部17に記憶される。なお、ドライブレコーダー部30は車外カメラ31のみ備えた構成であってもよい。
車載機10は、プラットフォーム部11とドライバモニタリング部20とが1つの筐体内に収納された、コンパクトな構成にすることが可能である。その場合における車載機10の車内設置箇所は、ドライバカメラ21で少なくとも運転者の顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両2のダッシュボード中央付近の他、ハンドルコラム部分、メーターパネル付近、ルームミラー近傍位置、又はAピラー部分などに設置してもよい。また、ドライバカメラ21の仕様(例えば、画角や画素数(縦×横)など)及び位置姿勢(例えば、取付角度や所定の原点(ハンドル中央位置など)からの距離など)を含む情報がドライバモニタリング部20又はプラットフォーム部11に記憶されてもよい。また、ドライバモニタリング部20は、プラットフォーム部11と一体に構成される形態の他、プラットフォーム部11と別体で構成されてもよい。
図3は、車載機10からサーバ装置40に送信される検出データの構成例を示す図である。
検出データには、車載機10の識別情報(シリアルナンバー等)、及び交差点通過時刻t0の他、運転者の顔の向き(ピッチ、ヨー、及びロール)、視線の方向(ピッチ、及びヨー)、目開度(右目、及び左目)、車両の加速度(前後、左右、及び上下)、角速度(ヨー)、運転者画像、車外画像、車両の位置データ(緯度、及び経度)、及び走行速度などの所定期間(例えば、通過時刻t0の前後)の時系列データが含まれている。なお、サーバ装置40に送信される検出データの構成は、図3に示した構成に限定されるものではない。図3に例示した検出データは、例えば、車載機10が、車両2が交差点を通過し終えたことを検出した後(例えば、通過時刻t0の一定時間後)に送信される。
図4は、実施の形態に係る安全確認評価システム1で用いられるサーバ装置40のハードウェア構成例を示すブロック図である。
サーバ装置40は、通信ユニット41、サーバコンピュータ50、及び記憶ユニット70を含んで構成され、これらは通信バス42を介して接続されている。
通信ユニット41は、通信ネットワーク4を介して、車載機10や事業者端末80などとの間で各種のデータや信号の送受信を実現するための通信装置で構成されている。
サーバコンピュータ50は、1つ以上のCPUを含んで構成される中央処理装置51と、制御プログラム53が記憶されたメインメモリ52とを含んで構成されている。中央処理装置51は、メインメモリ52中の制御プログラム53に従って、各種処理を実行するようになっている。
記憶ユニット70は、例えば、ハードディスクドライブ、ソリッドステートドライブなど、1つ以上の大容量記憶装置で構成され、検出データ蓄積部71、評価データ記憶部72、及び運転者情報記憶部73などを含んで構成されている。
検出データ蓄積部71には、各車両2の車載機10から取得した各種の検出データ(図3を参照)が、各車載機10の識別情報に対応付けて時系列に蓄積される。
図5は、検出データ蓄積部71に蓄積される検出データファイルの構成例を示す図である。
検出データファイル71aには、例えば、車載機10の識別情報(シリアルナンバー等)に対応付けて、運転者ID、交差点通過時刻t0、運転者の顔の向き(ピッチ、ヨー、及びロール)、視線の方向(ピッチ、及びヨー)、目開度(右目、及び左目)、車両の加速度(前後、左右、及び上下)、角速度(ヨー)、運転者画像(撮像日時、フレーム番号、及び画像データ)、車外画像(撮像日時、フレーム番号、及び画像データ)、車両の位置情報(緯度、及び経度)、走行速度などのデータが時系列で蓄積される。
評価データ記憶部72には、サーバコンピュータ50で実行された、各車両2の運転者3の安全確認動作の評価結果、すなわち、少なくとも交差点における運転者3の安全確認動作の評価結果に関する情報が、車載機10毎、又は運転者3毎に記憶される。
図6は、評価データ記憶部72に記憶されている評価データファイルの構成例を示す図である。
評価データファイル72aには、車載機10の識別情報、運転者ID、交差点通過時刻t0、交差点位置、交差点への進入時刻t5、交差点内での停止時刻t6、停止時刻t6の後の再発進時刻t7、評価条件(交差点内での停止の有無など)、及び評価結果などが含まれている。評価結果には、例えば、所定の評価項目に基づいて評価された結果を基に、統計処理して点数化された評価データ、又はランク付けされた評価データなどが記憶される。
運転者情報記憶部73には、事業者が管理する運転者3に関する各種情報(運転者の識別情報(運転者ID)、及び勤務スケジュールなど)が記憶されている。
[機能構成例]
図7は、実施の形態(1)に係る安全確認評価システム1で用いられるサーバ装置40の機能構成例を示すブロック図である。
サーバ装置40を構成するサーバコンピュータ50は、交差点進入推定部54、挙動情報取得部55、及び安全確認評価部56を含んで構成されている。安全確認評価部56は、本発明の「評価部」の一例である。
サーバコンピュータ50は、図4に示したメインメモリ52に記憶された制御プログラム53を読み出し、制御プログラム53を実行することで、交差点進入推定部54、挙動情報取得部55、及び安全確認評価部56などの動作を実現する。
交差点進入推定部54は、記憶ユニット70の検出データ蓄積部71に記憶された車両2の角速度データなどに基づいて、車両2の交差点への進入時刻t5を推定する処理を行う。交差点進入推定部54は、進入時刻検出部54aの他、方向推定部54bを含んで構成されてもよい。
進入時刻検出部54aは、交差点通過時刻t0の前後所定時間(例えば、±n秒間)の角速度データの積分値θ(即ち、角度)を演算し、演算された積分値θが所定の積分比率θr(積分値θに対する比率)に到達した時刻を検出し、当該時刻を交差点への進入時刻t5として推定する処理を行う。前記±n秒間は、例えば、±10~20秒間程度のいずれかの時間に設定してもよい。また、積分値θを演算する際には、角速度の誤差成分を減らすために、角速度の絶対値が所定の角速度下限値ωL以上の角速度データのみを用いて演算してもよい。また、積分比率θrは、例えば、積分値θの10%以下のいずれかの値(%)に設定してもよい。また、積分値θの値に応じて、積分比率θrの設定値を変更してもよいし、通過時刻t0より前における角速度の変化状態に応じて、積分比率θrの設定値を変更してもよい。
なお、進入時刻検出部54aで演算された積分値θが、所定の道路交差角度の範囲内にない場合(換言すれば、交差点ではないと推定される場合)に、進入時刻t5の検出を取り止める処理を行ってもよい。所定の道路交差角度の範囲には、例えば、交差角度下限値から交差角度上限値の範囲(例えば、40度~120度)を設定してもよい。
方向推定部54bは、進入時刻検出部54aで演算された角速度データの積分値の正負に基づいて、車両2の右左折方向を推定する。本実施の形態の一例では、積分値が正の場合、右折と推定し、積分値が負の場合、左折と推定する。
挙動情報取得部55は、車載機10から送信されてくる各種の検出データを取得し、取得した検出データを検出データ蓄積部71に記憶する処理の他、安全確認評価部56で評価処理を実行する際に、検出データ蓄積部71から各種の検出データを読み出す処理を行う。各種の検出データには、加速度センサ12、角速度センサ13、GPS受信部14、ドライバモニタリング部20、及びドライブレコーダー部30で検出されたデータが含まれている。ドライバモニタリング部20で検出されたデータには、運転者の顔の挙動に関する情報が含まれている。
安全確認評価部56は、交差点進入推定部54で推定された進入時刻t5の前後における運転者の安全確認動作を評価する処理を行う。例えば、安全確認評価部56は、検出データ蓄積部71に蓄積された、運転者の顔挙動情報に基づいて、進入時刻t5の前後(前又は後の少なくともいずれか)、及び/又は再発進時刻t7の前後(前又は後の少なくともいずれか)における運転者の顔の向き又は視線の向きの少なくともいずれかの左右の振り角度及び振り時間を検出する。そして安全確認評価部56は、検出された左右の振り角度及び振り時間に基づいて、進入時刻t5の前後、及び/又は再発進時刻t7の前後における運転者3の安全確認動作を評価する。
図8は、サーバ装置40が備えている安全確認評価部56の機能構成例を示すブロック図である。
安全確認評価部56は、停止判定部57、第1評価部58、第2評価部59、第3評価部60、及び評価点算出部61を含んで構成されている。
停止判定部57は、交差点への進入時刻t5の後(例えば、交差点を通過するのに必要であると想定される所定時間内)に車両2が停止したか否かを判定する。
第1評価部58は、停止判定部57により車両2が停止したと判定された場合、車両2が停止した後に再発進する前後に取得された、運転者3の顔挙動情報に基づいて、運転者3の安全確認動作を評価する処理を行う。
例えば、第1評価部58では、再発進時刻t7の前後(例えば、前後所定時間)に検出された、左右の振り角度及び振り時間に基づいて、左右、又は進路変更方向(例えば、右折先又は左折先)の少なくともいずれかの安全確認動作が行われたかを判定する。なお、左右の各方向の検出順序は問わない。
第2評価部59は、停止判定部57により車両2が停止したと判定された場合、交差点への進入時刻t5より前の所定時間に取得された、運転者3の顔挙動情報に基づいて、進入時刻t5より前における、運転者3の安全確認動を評価する処理を行う。
例えば、第2評価部59では、進入時刻t5の前(例えば、所定時間)に検出された、左右の振り角度及び振り時間に基づいて、左右の安全確認動作が行われたかを判定する。なお、左右の各方向の検出順序は問わない。
第3評価部60は、停止判定部57により車両2が停止していないと判定された場合、交差点への進入時刻t5の前後に取得された、運転者3の顔挙動情報に基づいて、進入時刻t5の前後における、運転者3の安全確認動作を評価する処理を行う。
例えば、第3評価部60では、進入時刻t5の前後(例えば、前後所定時間)に検出された、左右の振り角度及び振り時間に基づいて、左右、及び進路変更方向(例えば、右折先又は左折先)の安全確認動作が行われたかを判定する。なお、左右の各方向の検出順序は問わない。
第1評価部58、第2評価部59、及び第3評価部60のそれぞれで評価される右方向の安全確認については、例えば、[評価項目1]右方向への振り角度が所定角度以上であるかを判定し、また、[評価項目2]前記所定角度以上の状態が所定時間以上継続しているかを判定する。同様に、左方向の安全確認については、[評価項目3]左方向への振り角度が所定角度以上であるかを判定し、また、[評価項目4]前記所定角度以上の状態が所定時間以上継続しているかを判定する。
また、前記進路変更方向の安全確認については、例えば、[評価項目5]右左折する進路変更方向への振り角度が所定角度以上であるかを判定し、[評価項目6]前記所定角度以上の状態が所定時間以上継続しているかを判定する。
また、進入時刻t5の前後における車両2の速度に基づいて、運転者の減速意識を評価する処理を行ってもよい。例えば、[評価項目7]進入時刻t5の前後所定時間における車両2の速度の最高値が、所定の上限速度以下であるかを判定することにより、減速意識の有無を評価してもよい。
評価点算出部61は、停止判定部57により車両2が停車したと判定された場合、第1評価部58で実行される再発進時刻t7の前後における安全確認評価、及び第2評価部59で実行される進入時刻t5の前における安全確認評価に基づいて、各交差点での安全確認動作の評価点を算出する処理を行う。そして、評価点算出部61は、算出した評価点を記憶ユニット70の評価データ記憶部72に記憶する処理を行う。
また、評価点算出部61は、停止判定部57により車両2が停車していないと判定された場合、第3評価部60で実行される進入時刻t5の前後における安全確認評価に基づいて、各交差点での安全確認動作の評価点を算出する処理を行い、算出した評価点を記憶ユニット70の評価データ記憶部72に記憶する処理を行う。
例えば、評価点算出部61は、上記した評価項目1から7の各項目で判定された評価点を合計、平均化又は正規化等の統計処理を行って、交差点毎の評価点を算出し、算出した評価点を記憶ユニット70の評価データ記憶部72に記憶する処理を行う。
なお、安全確認評価部56では、検出データ蓄積部71に蓄積された顔挙動情報に基づいて、進入時刻t5の前後、及び/又は再発進時刻t7の前後における、運転者の顔の向き又は視線の向きの少なくともいずれかの上下の振り角度及び振り時間を検出し、進入時刻t5及び/又は再発進時刻t7の前後所定時間に、運転者の顔の向き又は視線の向きの少なくともいずれかの左右の振り角度とともに、所定値以上の上下の振り角度が検出された場合、該上下の振り角度が検出されたときの顔挙動情報を安全確認動作の評価対象から除外する処理を行ってもよい。所定値以上の上下の振り角度には、上下方向への脇見であると判定し得る角度を設定することができる。
また、別の実施の形態に係るサーバ装置40では、プレゼンテーション層として動作するWebサーバ、アプリケーション層として動作するアプリケーションサーバ、データベース層として動作するデータベースサーバを含む、クラウドサービスを提供可能な構成としてもよい。なお、クラウドサービスを提供するためのサーバの構成は、上記した3層構造に限定されない。
Webサーバは、通信ユニット41として動作するものであり、例えば、事業者端末80のブラウザから要求されたHTTPリクエストを処理して、アプリケーションサーバに該当する処理を指示したり、又はアプリケーションサーバから処理結果を受け取り、ブラウザを通じて事業者端末80に処理結果を提示したりする処理を行う。
アプリケーションサーバは、サーバコンピュータ50として動作するものであり、例えば、Webサーバからの要求に応じ、データベースサーバにアクセスして、処理に必要なデータの検索やデータの抽出を行い、交差点進入推定部54、挙動情報取得部55、及び安全確認評価部56などの処理を行う。
データベースサーバは、記憶ユニット70として動作するものであり、例えば、車載機10から取得した各種の検出データ、評価データ、及び運転者情報などを管理し、アプリケーションサーバなどからの要求に応じて、データの検索、抽出、保存などの処理を行う。
[処理動作例]
図9は、実施の形態に係る車載機10におけるドライバモニタリング部20が行う処理動作を示すフローチャートである。本処理動作は、例えば、ドライバカメラ21で画像が撮像されるタイミング(例えば、毎フレーム、又は所定間隔のフレーム毎)で実行される。
まず、ステップS1において、画像解析部22は、ドライバカメラ21で撮像された画像を取得し、ステップS2に処理を進める。
ステップS2では、画像解析部22は、取得した画像から運転者の顔、又は顔の領域を検出する処理を行い、ステップS3に処理を進める。画像から顔を検出する手法は特に限定されないが、高速で高精度に顔を検出する手法を採用することが好ましい。
ステップS3では、画像解析部22は、ステップS2で検出した顔の領域から、目、鼻、口、眉などの顔器官の位置や形状を検出する処理を行い、ステップS4に処理を進める。画像中の顔の領域から顔器官を検出する手法は特に限定されないが、高速で高精度に顔器官を検出できる手法を採用することが好ましい。例えば、画像解析部22が、3次元顔形状モデルを作成し、これを2次元画像上の顔の領域にフィッティングさせ、顔の各器官の位置と形状を検出する手法が採用され得る。この手法によれば、ドライバカメラ21の設置位置や画像中の顔の向きなどに関わらず、正確に顔の各器官の位置と形状を検出することが可能となる。画像中の人の顔に3次元顔形状モデルをフィッティングさせる技術として、例えば、特開2007-249280号公報に記載された技術を適用することができるが、これに限定されるものではない。
ステップS4では、画像解析部22は、ステップS3で求めた顔の各器官の位置や形状のデータに基づいて、運転者の顔の向きを検出する処理を行い、ステップS5に処理を進める。例えば、上記3次元顔形状モデルのパラメータに含まれている、上下回転(X軸回り)のピッチ角、左右回転(Y軸回り)のヨー角、及び全体回転(Z軸回り)のロール角を運転者の顔の向きに関する情報として検出してもよい。
ステップS5では、画像解析部22は、ステップS4で求めた運転者の顔の向き、及びステップS3で求めた運転者の顔器官の位置や形状、特に目の特徴点(目尻、目頭、及び瞳孔)の位置や形状に基づいて、視線の方向を検出する処理を行い、ステップS6に処理を進める。
視線の方向は、例えば、様々な顔の向きと目の画像の特徴量(目尻、目頭、瞳孔の相対位置、又は強膜(いわゆる白目)部分と虹彩(いわゆる黒目)部分の相対位置、濃淡、テクスチャーなど)とを予め学習器を用いて学習し、これら学習した特徴量データとの類似度を評価することで検出してもよい。または、前記3次元顔形状モデルのフィッティング結果などを用いて、顔の大きさや向きと目の位置などから眼球の大きさと中心位置とを推定するとともに、瞳孔の位置を検出し、眼球の中心と瞳孔の中心とを結ぶベクトルを視線方向として検出してもよい。
ステップS6では、画像解析部22は、ステップS3で求めた運転者の顔器官の位置や形状、特に目の特徴点(目尻、目頭、瞳孔、及びまぶた)の位置や形状に基づいて、目開度を検出する処理を行い、ステップS7に処理を進める。
ステップS7では、画像解析部22は、ステップS4で検出した運転者の顔の向きと、ステップS5で検出した運転者の視線の方向と、ステップS6で検出した運転者の目開度と、運転者の画像と、撮像時刻とを対応付けて、画像情報としてプラットフォーム部11に送信し、その後、画像解析部22は、ステップS1に戻り、処理を繰り返す。
図10は、実施の形態(1)に係る車載機10における制御部19が行う処理動作の一例を示すフローチャートである。本処理動作は、例えば、数十ms~数秒の所定周期で実行される。
まず、ステップS11において、制御部19は、加速度センサ12で測定された加速度データを取得してRAM19bに記憶する処理を行い、ステップS12に処理を進める。
ステップS12では、制御部19は、角速度センサ13で検出された角速度データを取得してRAM19bに記憶する処理を行い、ステップS13に処理を進める。
ステップS13では、制御部19は、ドライバモニタリング部20から送信されてきた画像情報を取得してRAM19bに記憶する処理を行い、ステップS14に処理を進める。
ステップS14では、制御部19は、ドライブレコーダー部30から送出されてきたデータ(車外画像と車内画像のデータ)を取得してRAM19bに記憶する処理を行い、ステップS15に処理を進める。
ステップS15では、制御部19は、GPS受信部14で検出された位置データを取得し、ステップS16に処理を進める。
ステップS16では、制御部19は、ステップS15で取得した位置データの単位時間あたりの変化に基づいて、車両2の走行速度を算出し、位置データと走行速度とをRAM19bに記憶する処理を行い、ステップS17に処理を進める。なお、ステップS11~S16までの各処理の順序は特に限定されない。また、これら各処理を並列的に実行してもよい。
ステップS17では、制御部19は、車両2が交差点を通過中(即ち、右左折中)であるか否かを判断する。例えば、制御部19は、ステップS12で取得した角速度の絶対値が所定の角速度閾値ωth以上になったか否かを判断する。なお、角速度閾値ωthは、交差点を右左折中であることを判定可能な値に設定されている。また、ステップS17の判断処理において、角速度の絶対値が所定の角速度閾値ωth以上になったときの車速が所定の交差点上限速度以下であることを判断条件に追加してもよい。なお、所定の交差点上限速度は、交差点を安全に右左折できる速度を考慮して設定されている。
ステップS17において、制御部19は、車両2が交差点を通過中ではないと判断すれば、その後、制御部19は、ステップS11に戻り、処理を繰り返す。
一方ステップS17において、制御部19は、車両2が交差点を通過中であると判断すれば、ステップS18に処理を進める。
ステップS18では、制御部19は、角速度の絶対値が所定の角速度閾値ωth以上になった時刻(即ち、通過時刻t0)を検出し、ステップS19に処理を進める。
ステップS19では、制御部19は、車両2が交差点を通過し終えたか否かを判断する。例えば、制御部19は、通過時刻t0から所定時間経過したか否かを判断してもよいし、角速度データの積分値(即ち、鉛直軸回りの角度)が、車両2が交差点を通過し終えたことを示す閾値(角度)以上になった否かを判断してもよい。
ステップS19において、制御部19は、車両2が交差点を通過し終えたと判断すれば、ステップS20に処理を進める。
ステップS20では、制御部19は、通過時刻t0のデータとともに、通過時刻t0の前後所定期間(例えば、数十秒間)に取得した検出データ(ステップS11~S16で取得したデータ)をRAM19b又は記憶部17から読み出し、通信部15を制御して、これらデータをサーバ装置40へ送信する処理を行う。その後、制御部19は、ステップS11に戻り、処理を繰り返す。車載機10からサーバ装置40へ送信される検出データの構造例は図3に示している。
なお、ステップS20において、制御部19は、通過時刻t0の前後所定時間に車両2の停止状態(例えば、車速が0の状態)を検出した場合、車両2の停止状態が検出された時刻の前後所定時間内に取得した検出データをサーバ装置40へ送信するようにしてもよい。
また、制御部19は、ステップS20の処理に代えて、RAM19b又は記憶部17から読み出した検出データを記憶部17(例えば、着脱式記憶媒体)に記憶してもよい。そして、一日の走行終了後、運転者3が車載機10から記憶部17を取り外し、記憶部17に記憶された検出データを事業者端末80に読み込ませて、事業者端末80がサーバ装置40に送信するようにしてもよい。
図11は、実施の形態(1)に係るサーバ装置40におけるサーバコンピュータ50が行う処理動作を示すフローチャートである。
まず、ステップS21において、サーバコンピュータ50は、車載機10から送信されてきた検出データを受信したか否かを判断し、車載機10から検出データを受信したと判断すれば、ステップS22に処理を進める一方、車載機10から検出データを受信していないと判断すれば、ステップS23に処理を進める。
ステップS22では、サーバコンピュータ50は、車載機10から受信した検出データを、車載機10の識別情報と対応付けて検出データ蓄積部71に記憶する処理を行い、ステップS23に処理を進める。
ステップS23では、サーバコンピュータ50は、運転者の安全運転行動の評価を実行するタイミングか否かを判断する。前記評価を実行するタイミングか否かは、例えば、車載機10から車両2の運転業務の終了を示す信号を受信したか否かで判断してもよいし、所定の評価実行時刻になったか否かで判断してもよい。
ステップS23において、サーバコンピュータ50は、前記評価を実行するタイミングではないと判断すればステップS21に戻る一方、前記評価を実行するタイミングになったと判断すれば、ステップS24に処理を進める。
ステップS24では、サーバコンピュータ50は、車載機10が搭載された車両2の運転者3の交差点等における安全確認動作の評価処理を行う。なお、ステップS24で実行される評価処理の具体例については、図12のフローチャートを用いて説明する。
サーバコンピュータ50は、ステップS24における安全確認動作の評価処理を終えると、ステップS25に処理を進める。
ステップS25では、サーバコンピュータ50は、評価処理の結果を、車載機10の識別情報及び運転者IDと対応付けて評価データ記憶部72に記憶する処理を行い、その後処理を終える。
図12は、実施の形態(1)に係るサーバ装置40におけるサーバコンピュータ50が行う安全確認動作の評価処理動作(図11のステップS24の処理動作)の一例を示すフローチャートである。なお、本フローチャートは、車載機10が搭載された車両2の1日の運転が終了するまでに通過した各交差点における運転者3の安全確認動作を評価する処理動作を示している。
まず、ステップS31では、サーバコンピュータ50は、交差点進入推定部54として動作し、検出データ蓄積部71から交差点通過時刻t0のデータを抽出し、ステップS32に処理を進める。
ステップS32では、サーバコンピュータ50は、交差点進入推定部54として動作し、検出データ蓄積部71から、通過時刻t0±n秒間(±n秒間は、例えば、±10~20秒間程度のいずれかの時間)の角速度のデータを読み出し、ステップS33に処理を進める。
ステップS33では、サーバコンピュータ50は、交差点進入推定部54として動作し、ステップS32で読み出した角速度の時系列データに基づいて、交差点進入時刻t5を算出し、その後ステップS34に処理を進める。例えば、サーバコンピュータ50は、角速度の時系列データを積分して積分値θを求め、求めた積分値θが、所定の積分比率θrに到達した時刻を検出し、当該時刻を交差点への進入時刻t5として記憶する。
ステップS34では、サーバコンピュータ50は、交差点進入推定部54として動作し、車両2の右左折方向(右折又は左折)を推定する処理を行い、ステップS35に処理を進める。例えば、サーバコンピュータ50は、ステップS33で演算された、角速度の積分値θの正負に基づいて、車両2の右左折方向を推定し、進入時刻t5の右左折方向として記憶する。
ステップS35では、サーバコンピュータ50は、検出データ蓄積部71から、進入時刻t5±m秒間に検出された検出データ(運転者の顔挙動情報、車両の位置、及び車両の走行挙動などに関するデータ)を読み出し、ステップS36に処理を進める。なお、±m秒間は、例えば、±0~20秒間程度のいずれかの時間に設定してもよい。また、通過時刻t0±n秒の時間内に、進入時刻t5±m秒が収まるように、±m秒が設定されてもよい。
ステップS36では、サーバコンピュータ50は、停止判定部57として動作し、進入時刻t5の後(例えば、時刻t5から時刻t5+m秒までの間)に(換言すれば、交差点内で)車両2が停止したか否かを判定する。車両2が停止したか否かの判定は、例えば、進入時刻t5の後に、走行速度が0である時間が検出されたか否かにより判定してもよいし、進入時刻t5の後に、角速度が0である時間が検出されたか否かにより判定してもよい。
ステップS36において、サーバコンピュータ50は、進入時刻t5の後に車両2が停止したと判定すれば、ステップS37に処理を進める。
ステップS37では、サーバコンピュータ50は、進入時刻t5の後に車両2が停止した時刻t6を検出し、ステップS38に処理を進める。
ステップS38では、サーバコンピュータ50は、停止時刻t6の後に再発進した時刻(再発進時刻)t7を検出し、ステップS39に処理を進める。サーバコンピュータ50は、例えば、停止時刻t6の後の走行速度が0である状態から所定速度以上になった時刻を再発進時刻t7として検出してもよいし、停止時刻t6の後の角速度が0である状態から所定の角速度以上になった時刻を再発進時刻t7として検出してもよい。
ステップS39では、サーバコンピュータ50は、第1評価部58として動作し、再発進時刻t7の前後所定時間(例えば、t7±s秒間)に取得された、顔挙動情報に基づいて、再発進時刻t7の前後(換言すれば、交差点通過中)における、運転者3の安全確認動作を評価する処理を行い、その後ステップS40に処理を進める。なお、±s秒間は、例えば、±0~15秒間程度のいずれかの時間に設定される。±s秒間は、固定時間でもよいし、可変時間でもよい。
ステップS40では、サーバコンピュータ50は、第2評価部59として動作し、進入時刻t5より前の所定時間(例えば、時刻t5-m秒から時刻t5までの間)に取得された、顔挙動情報に基づいて、進入時刻t5より前(換言すれば、交差点への進入前)における、運転者3の安全確認動作を評価する処理を行い、その後ステップS41に処理を進める。なお、ステップS40の処理をステップS39よりも前で行ってもよく、ステップS39とS40との処理順序は問わない。
ステップS41では、サーバコンピュータ50は、ステップS39及びS40で評価した結果を評価データ記憶部72に記憶する処理を行い、その後ステップS42に処理を進める。
一方、ステップS36において、サーバコンピュータ50は、進入時刻t5の後に車両2が停止していないと判定すれば、ステップS43に処理を進める。
ステップS43では、サーバコンピュータ50は、サーバコンピュータ50として動作し、進入時刻t5の前後所定時間(例えば、t5±m秒間)に取得された、顔挙動情報に基づいて、進入時刻t5の前後における、運転者の安全確認動作を評価する処理を行い、その後ステップS44に処理を進める。
ステップS44では、サーバコンピュータ50は、ステップS43で評価した結果を評価データ記憶部72に記憶する処理を行い、その後ステップS42に処理を進める。
ステップS42では、サーバコンピュータ50は、次の交差点通過時刻t0があるか否かを判断し、次の交差点通過時刻t0があると判断すれば、ステップS31に戻り、全ての交差点通過時刻t0の抽出を終えるまで処理を繰り返す。一方、ステップS42において、次の交差点通過時刻t0がない、即ち、蓄積されたデータから交差点通過時刻t0の抽出が全て終了したと判断すれば、その後評価処理を終える。
実施の形態(1)に係る安全確認評価システム1によれば、車載機10において、角速度の変化から交差点通過時刻t0が検出され、サーバ装置40において、通過時刻t0の前後の角速度の積分値θが所定の積分比率θrに到達した時刻が、交差点への進入時刻t5として推定される。したがって、地図データベースなどの交差点情報を用いることなく、角速度データを用いた、簡素かつ低コストの構成で、車両2の交差点への進入時刻t5を推定できる。また、推定された交差点への進入時刻t5を用いて、交差点への進入前後における運転者の安全確認動作を、運転者の顔挙動情報に含まれる顔の向き及又は視線の向きの少なくともいずれかの情報に基づいて、適切に評価することができる。
また、サーバ装置40によれば、停止判定部57により、進入時刻t5の後に車両2が停止したと判定された場合、車両2が停止した後に再発進する前後に取得された顔挙動情報に基づいて、運転者3の安全確認動作が評価される。したがって、交差点内で車両2が一時的に停止した場合であっても、第1評価部58によって、交差点内で再発進する前後における、換言すれば、交差点内を通過するタイミングにおける、運転者3の安全確認動作を適正に評価することができる。
また、サーバ装置40によれば、停止判定部57により、進入時刻t5の後に車両2が停止したと判定された場合、進入時刻t5より前の所定時間に取得された顔挙動情報に基づいて、進入時刻t5より前における運転者3の安全確認動作が評価される。したがって、第2評価部59によって、交差点への進入前における運転者3の安全確認動作を適正に評価することができる。
また、サーバ装置40によれば、停止判定部57により、進入時刻t5の後に車両2が停止していないと判定された場合、進入時刻t5の前後所定時間に取得された顔挙動情報に基づいて、進入時刻t5の前後における運転者3の安全確認動作が評価される。したがって、交差点内で車両2が一時的に停止せずに右左折した場合には、第3評価部60によって、交差点への進入前後における運転者3の安全確認動作を適正に評価することができる。
サーバ装置40によれば、顔挙動情報に基づいて、運転者3の顔の向き又は視線の方向の少なくともいずれかの左右の振り角度及び振り時間が検出され、該検出された左右の振り角度及び振り時間に基づいて、進入時刻t5の前後、及び/又は再発進時刻t7の前後における運転者3の安全確認動作が評価される。したがって、運転者3の左右の振り向き状態と振り向き時間とに基づいて、運転者3の安全確認動作を適正に評価することができる。さらに、交差点毎の安全確認動作の評価点を算出することにより、通過した交差点全体における安全確認動作をより高度に評価することができる。
また、車載機10によれば、サーバ装置40に、運転者3の顔挙動、及び車両2の車両挙動などの検出データを出力し、サーバ装置40に運転者3の安全確認動作の評価を実行させることにより、車載機10の処理負担を軽減することができる。また、車載機10の構成を簡略化することができ、車両2への後付けも容易に行うことができ、安全確認評価システム1を低コストで導入することができる。
次に実施の形態(2)に係る安全確認評価システムについて説明する。但し、実施の形態(2)に係る安全確認評価システム1Aの構成については、サーバ装置40Aを除いて、図1に示した実施の形態(1)に係る安全確認評価システム1と略同様であるため、同一機能を有する構成には、同一符号を付し、その説明を省略する。
実施の形態(2)に係るサーバ装置40Aが、実施の形態(1)に係るサーバ装置40と相違する点は、安全確認評価部56Aの構成にある。
図13は、実施の形態(2)に係るサーバ装置40Aを構成する安全確認評価部56Aの機能構成例を示すブロック図である。但し、図8に示した安全確認評価部56と同一機能を有する構成には、同一符号を付し、その説明を省略する。
上記した実施の形態(1)に係るサーバ装置40の安全確認評価部56では、停止判定部57により車両2が停止したと判定された場合、第1評価部58が、車両2が停止した後に再発進する前後所定時間(再発進時刻t7±s秒間)に取得された、顔挙動情報に基づいて、交差点通過中における運転者3の安全確認動作を評価するように構成されていた。
実施の形態(2)に係るサーバ装置40Aの安全確認評価部56Aには、評価時間設定部62が設けられている。
サーバ装置40Aの安全確認評価部56Aでは、停止判定部57により車両2が停止したと判定された場合、評価時間設定部62において、進入時刻t5の後に車両2が停止してから再発進するまでの停車時間(停止時刻t6から再発進時刻t7までの時間)と、予め定められた所定時間とを比較して、再発進する前の評価時間が設定される。
そして、第1評価部58Aが、評価時間設定部62で設定された再発進する前の評価時間と再発進後の所定時間とに取得された、顔挙動情報に基づいて、交差点通過中における運転者3の安全確認動作を評価するように構成されている。
図14は、実施の形態(2)に係るサーバ装置40Aのサーバコンピュータ50Aが行う、再発進時刻t7前後の安全確認動作の評価処理動作を示すフローチャートである。なお、本フローチャートは、図12に示すステップS39における処理の別の処理動作例を示すものである。
まず、ステップS51では、サーバコンピュータ50Aは、評価時間設定部62として動作し、交差点進入後の停車時間(停止時刻t6から再発進時刻t7までの時間)ΔT(t7-t6)と、予め定められた所定時間Txとを比較し、停車時間ΔT(t7-t6)が、所定時間Txより長いか否かを判定する。
ステップS51において、サーバコンピュータ50Aは、停車時間ΔT(t7-t6)が所定時間Txより長い(即ち、交差点内での停車時間が長い)と判定すると、ステップS52に処理を進める。所定時間Txは、例えば、10~20秒間のいずれかの時間に設定されてもよい。
ステップS52では、サーバコンピュータ50Aは、評価時間設定部62として動作し、再発進する前の評価時間を、再発進時刻t7より前のTx秒間(再発進時刻t7-Tx秒間)に設定し、ステップS53に処理を進める。
ステップS53では、サーバコンピュータ50Aは、第1評価部58Aとして動作し、再発進時刻t7-Tx秒間(即ち、交差点内での再発進直前期)における、運転者3の安全確認動作を評価する処理を行い、その後ステップS54に処理を進める。
ステップS54では、サーバコンピュータ50Aは、第1評価部58Aとして動作し、再発進時刻t7+Ty秒間(即ち、再発進後)における、運転者3の安全確認動作を評価する処理を行い、その後、評価処理を終え、図12のステップS40に処理を進める。時間Tyは、時間Txと同じ時間に設定されてもよいし、時間Txより長い時間に設定されてもよいし、時間Txより短い時間に設定されてもよい。
一方、ステップS51において、サーバコンピュータ50Aは、停車時間ΔT(t7-t6)が、所定時間Txより短い(即ち、交差点内での停車時間が短い)と判定すると、ステップS55に処理を進める。
ステップS55では、サーバコンピュータ50Aは、評価時間設定部62として動作し、再発進する前の評価時間を、停車時間ΔT(t7-t6)に設定し、ステップS56に処理を進める。
ステップS56では、サーバコンピュータ50Aは、第1評価部58Aとして動作し、停車時間ΔT(t7-t6)(即ち、交差点内での短時間の停車期間)における、運転者3の安全確認動作を評価する処理を行い、その後ステップS57に処理を進める。
ステップS57では、サーバコンピュータ50Aは、第1評価部58Aとして動作し、再発進時刻t7+Ty秒間(即ち、再発進後)における、運転者3の安全確認動作を評価する処理を行い、その後、評価処理を終え、図12のステップS40に処理を進める。
実施の形態(2)に係るサーバ装置40Aによれば、サーバ装置40と同様の効果が得られる他、評価時間設定部62によって、進入時刻t5の後に車両2が停止してから再発進するまでの停車時間ΔT(t7-t6)と、予め定められた所定時間Txとが比較されて、再発進する前の評価時間が設定される。
例えば、停車時間ΔT(t7-t6)が所定時間Txより短い場合(換言すれば、停車時間が比較的短い場合)、評価時間設定部62により、再発進する前の評価時間が停車時間ΔT(t7-t6)に設定される。したがって、短い停車時間内に行われた運転者3の安全確認動作を適正に評価することができる。
また、停車時間ΔT(t7-t6)が所定時間Txより長い場合(換言すれば、停車時間が比較的長い場合)、評価時間設定部62により、再発進する前の評価時間が所定時間Txに設定される。したがって、停車時間が長い場合であっても、再発進する前に行われた運転者3の安全確認動作を適正に評価することができる。
このように、停車時間ΔT(t7-t6)は、交差点内の交通状況の違いによって、長い場合もあれば短い場合もある。評価時間設定部62を備えることにより、再発進の前後における、運転者3の安全確認動作の評価がより適切に行えるように、より適切な時間を評価時間として設定することができる。
次に実施の形態(3)に係る安全確認評価システムについて説明する。但し、実施の形態(3)に係る安全確認評価システム1Bの構成については、サーバ装置40Bを除いて、図1に示した実施の形態(1)に係る安全確認評価システム1と略同様であるため、同一機能を有する構成には、同一符号を付し、その説明を省略する。
実施の形態(3)に係るサーバ装置40Bが、実施の形態(1)に係るサーバ装置40と相違する点は、安全確認評価部56Bの構成にある。
図15は、実施の形態(3)に係るサーバ装置40Bを構成する安全確認評価部56Bの機能構成例を示すブロック図である。但し、図8に示した安全確認評価部56と同一機能を有する構成には、同一符号を付し、その説明を省略する。
実施の形態(3)に係るサーバ装置40Aの安全確認評価部56Bには、停止回数検出部63が設けられている。
サーバ装置40Bの安全確認評価部56Bでは、停止判定部57により車両2が停止したと判定された場合、停止回数検出部63において、車両2が停止した回数が検出される。
そして、第1評価部58Bが、停止回数検出部63により進入時刻t5の後に複数回の停止が検出された場合、少なくとも最後に停止した後に再発進する前後に取得された、顔挙動情報に基づいて、運転者3の安全確認動作を評価するように構成されている。
図16は、実施の形態(3)に係るサーバ装置40Bにおけるサーバコンピュータ50Bが行う安全確認動作の評価処理動作の一例を示すフローチャートである。
なお、図12のフローチャートに示した処理動作とは、ステップS31~S36、S43、及びS44の処理動作が同一なので、ここではその説明を省略する。
サーバコンピュータ50Bは、ステップS31~S35までの処理を実行した後、ステップS36において、進入時刻t5の後(例えば、時刻t5+m秒間)に車両2が停止したか否かを判定し、車両2が停止したと判定すれば、ステップS61に処理を進める。
ステップS61において、サーバコンピュータ50Bは、停止回数検出部63として動作し、進入時刻t5の後に車両2が停止した時刻t6を全て検出し、ステップS62に処理を進める。
ステップS62では、サーバコンピュータ50Bは、停止回数検出部63として動作し、停止時刻t6が複数検出されたか否かを判定し、ステップS62において、停止時刻t6が複数検出されたと判断すれば、ステップS63に処理を進める。
ステップS63では、サーバコンピュータ50Bは、複数検出された停止時刻t6のうち、最後の停止時刻t6の後に再発進した時刻t7を検出する処理を行い、ステップS64に処理を進める。
ステップS64では、サーバコンピュータ50Bは、第1評価部58Bとして動作し、最後の停止時刻t6の後に再発進した時刻t7の前後所定時間(例えば、t7±s秒間)に取得された、顔挙動情報に基づいて、再発進時刻t7の前後(換言すれば、交差点通過中)における、運転者3の安全確認動作を評価する処理を行い、その後ステップS65に処理を進める。なお、±s秒間は、固定時間でもよいし、可変時間でもよい。例えば、-s秒間は、固定時間でもよいし、最後の停止時刻t6から再発進時刻t7までの時間に設定してもよいし、最初の停止時刻t6から最後の再発進時刻t7までの時間に設定してもよい。
ステップS65では、サーバコンピュータ50Bは、第2評価部59として動作し、進入時刻t5より前の所定時間(t5-m秒間)に取得された、顔挙動情報に基づいて、進入時刻t5より前(換言すれば、交差点への進入前)における、運転者3の安全確認動作を評価する処理を行い、その後ステップS66に処理を進める。
ステップS66では、サーバコンピュータ50Bは、ステップS64及びS65で評価した結果を評価データ記憶部72に記憶する処理を行い、その後ステップS42に処理を進める。
一方、ステップS62において、サーバコンピュータ50Bは、停止時刻t6が複数検出されなかった(即ち、停止時刻t6が1回検出された)と判断すれば、ステップS67に処理を進める。
ステップS67では、サーバコンピュータ50Bは、検出された停止時刻t6後に再発進した時刻t7を検出する処理を行い、ステップS68に処理を進める。
ステップS68では、サーバコンピュータ50Bは、交差点への進入時刻t5から再発進時刻t7までの時間ΔT(t7-t5)が、予め定められた所定時間Ty(秒)以下である(換言すれば、交差点へ進入してから再発進するまでの時間が短い)か否かを判定する。所定時間Tyは、例えば、0~5秒前後のいずれかの時間に設定されてよい。
ステップS68において、サーバコンピュータ50Bは、時間ΔT(t7-t5)が、所定時間Ty以下である(換言すれば、交差点進入後に一時停止したが、すぐに発進した)と判断すれば、ステップS69に処理を進める。
ステップS69では、サーバコンピュータ50Bは、第1評価部58Bとして動作し、再発進した時刻t7の前後所定時間(例えば、t7±m秒間)に取得された、顔挙動情報に基づいて、再発進した時刻t7の前後(即ち、交差点進入前、及び再発進前後)における、運転者3の安全確認動作を評価する処理を行い、その後ステップS70に処理を進める。なお、±m秒間は、例えば、±0~20秒間のいずれかの時間に設定されてよい。時間ΔT(t7-t5)が、所定時間Ty以下である場合、即ち、交差点へ進入してから再発進するまでの時間が短いは、進入時刻t5の前の評価を、再発進した時刻t7の前所定時間の評価で代用するようになっている。
ステップS70では、サーバコンピュータ50Bは、ステップS69で評価した結果を評価データ記憶部72に記憶する処理を行い、その後ステップS42に処理を進める。
一方、ステップS68において、サーバコンピュータ50Bは、時間ΔT(t7-t5)が所定時間Ty以下ではない(換言すれば、交差点進入後に一時停止したが、すぐに発進していない)と判断すれば、ステップS71に処理を進める。
ステップS77では、サーバコンピュータ50Bは、第1評価部58Bとして動作し、再発進した時刻t7の前後所定時間(例えば、t7±s秒間)に取得された、顔挙動情報に基づいて、再発進した時刻t7の前後における、運転者3の安全確認動作を評価する処理を行い、その後ステップS72に処理を進める。
ステップS72では、サーバコンピュータ50Bは、第2評価部59として動作し、進入時刻t5より前の所定時間(t5-m秒間)に取得された、顔挙動情報に基づいて、進入時刻t5より前における、運転者3の安全確認動作を評価する処理を行い、その後ステップS73に処理を進める。
ステップS73では、サーバコンピュータ50Bは、ステップS71及びS72で評価した結果を評価データ記憶部72に記憶する処理を行い、その後ステップS42に処理を進める。
なお、上記したステップS63の処理に代えて、例えば、複数検出された各停止時刻t6の後に再発進した全ての再発進時刻t7を検出する処理を行い、上記したステップS64の処理に代えて、全ての再発進時刻t7の前後(換言すれば、一時停止してから再発進する毎)における、運転者3の安全確認動作を評価する処理を行うようにしてもよい。
また、上記したステップS71の評価処理において、図14に示した再発進時刻t7前後の安全確認動作の評価処理を実行するように構成してもよい。
上記実施の形態(3)に係るサーバ装置40Bによれば、サーバ装置40と同様の効果を得ることができるとともに、停止判定部57により車両2が停止したと判定された場合に、停止回数検出部63により、進入時刻t5の後に車両2が停止した回数が検出される。進入時刻t5の後に複数回の停止が検出された場合、第1評価部58Bによって、少なくとも最後に停止した後に再発進する前後における、運転者の安全確認動作が評価される。
したがって、交差点内で車両が複数回停止した場合であっても、少なくとも最後に停止した後に再発進する前後、即ち、交差点内を通過するタイミング(例えば、右左折するタイミング)における、運転者3の安全確認動作を適正に評価することができる。
また、サーバ装置40Bによれば、進入時刻t5から再発進時刻t7までの時間ΔT(t7-t5)が、予め定められた所定時間Ty以下の場合(換言すれば、交差点に進入直後に停止したが、直ちに再発進した場合)、再発進時刻t7の前後所定時間に取得された顔挙動情報に基づいて、交差点進入前後における、運転者3の安全確認動作を評価することができる。
以上、本発明の実施の形態を詳細に説明したが、上記説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
上記実施の形態では、車両2の角速度データ、換言すれば、車両2が右左折するときになどに検出される角速度データに基づいて、車両2の交差点への進入時刻t5を推定し、推定された時刻t5の前後所定時間内における運転者の安全確認動作を評価する構成となっている。
例えば、別の実施の形態では、車両2の角速度データに基づいて、車両2の沿道施設の出入口地点への進入時刻を推定し、推定された時刻の前後所定時間内における運転者の安全確認動作を評価する構成としてもよい。係る構成によれば、道路から沿線施設に入るとき、又は沿線施設から道路に出るときの運転者の安全確認動作も評価することができる。
[付記]
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
(付記1)
車両(2)の運転者(3)の安全確認動作を評価する安全確認評価装置(40)であって、
前記車両(2)の交差点への進入時刻を推定する交差点進入推定部(54)と、
前記運転者(3)の顔の挙動を含む情報を取得する挙動情報取得部(55)と、
前記進入時刻の前後に取得された前記情報に基づいて、前記運転者(3)の安全確認動作を評価する評価部(56)とを備え、
該評価部(56)が、
前記進入時刻の後に前記車両が停止したか否かを判定する停止判定部(57)と、
該停止判定部(57)により前記車両(2)が停止したと判定された場合、前記車両(2)が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者(3)の安全確認動作を評価する第1評価部(58)とを備えていることを特徴とする安全確認評価装置(40)。
(付記2)
安全確認評価装置(40)と、
車両(2)に搭載される車載機(10)とを含んで構成され、
該車載機(10)が、
前記車両(2)の運転者(3)の顔の挙動を検出する運転者モニタリング部(20)と、
前記車両(2)の位置を検出する位置検出部(14)と、
前記車両(2)の角速度を含む走行挙動を検出する走行挙動検出部(13)と、
前記運転者モニタリング部(20)、前記位置検出部(14)、及び前記走行挙動検出部(13)で検出されたデータを、前記安全確認評価装置(40)に出力する出力部(15)とを備えていることを特徴とする安全確認評価システム(1)。
(付記3)
車両(2)の運転者(3)の安全確認動作を評価する安全確認評価方法であって、
前記車両(2)の交差点への進入時刻を推定する進入時刻推定ステップ(S33)と、
前記運転者(3)の顔の挙動を含む情報を取得する情報取得ステップ(S35)と、
前記進入時刻の前後に取得された前記情報に基づいて、前記運転者(3)の安全確認動作を評価する評価ステップ(S36~S44)とを含み、
該評価ステップ(S36~S44)は、
前記進入時刻の後に前記車両(2)が停止したか否かを判定する停止判定ステップ(S37)と、
該停止判定ステップ(S37)により前記車両(2)が停止したと判定された場合、前記車両(2)が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者(3)の安全確認動作を評価する第1評価ステップ(S39)とを含んでいることを特徴とする安全確認評価方法。
(付記4)
車両(2)の運転者(3)の安全確認動作を評価する処理を少なくとも1つのコンピュータ(50)に実行させるための安全確認評価プログラム(53)であって、
前記少なくとも1つのコンピュータ(50)に、
前記車両の交差点への進入時刻を推定する進入時刻推定ステップ(S33)と、
前記運転者の顔の挙動を含む情報を取得する情報取得ステップ(S35)と、
前記進入時刻の前後所定時間に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する評価ステップ(S36~S44)とを実行させ、
該評価ステップ(S36~S44)では、
前記進入時刻の後に前記車両が停止したか否かを判定する停止判定ステップ(S37)と、
該停止判定ステップ(S37)により前記車両が停止したと判定された場合、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する第1評価ステップ(S39)とを実行させることを特徴とする安全確認評価プログラム(53)。
1、1A、1B 安全確認評価システム
2 車両
3 運転者
4 通信ネットワーク
10 車載機
11 プラットフォーム部
12 加速度センサ
13 角速度センサ
14 GPS受信部
15 通信部
16 報知部
17 記憶部
18 外部インターフェース(外部I/F)
19 制御部
19a CPU
19b RAM
19c ROM
20 ドライバモニタリング部
21 ドライバカメラ
22 画像解析部
23 インターフェース(I/F)
30 ドライブレコーダー部
31 車外カメラ
32 車内カメラ
40、40A、40B サーバ装置(安全確認評価装置)
41 通信ユニット
50、50A、50B サーバコンピュータ
51 中央処理装置
52 メインメモリ
53 制御プログラム
54 交差点進入推定部
54a 進入時刻検出部
54b 方向推定部
55 挙動情報取得部
56、56A、56B 安全確認評価部
57 停止判定部
58、58A、58B 第1評価部
59 第2評価部
60 第3評価部
61 評価点算出部
62 評価時間設定部
63 停止回数検出部
70 記憶ユニット
71 検出データ蓄積部
71a 検出データファイル
72 評価データ記憶部
72a 評価データファイル
73 運転者情報記憶部
80 事業者端末

Claims (11)

  1. 車両の運転者の安全確認動作を評価する安全確認評価装置であって、
    前記車両の交差点への進入時刻を推定する交差点進入推定部と、
    前記運転者の顔の挙動を含む情報を取得する挙動情報取得部と、
    前記進入時刻の前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する評価部とを備え、
    該評価部が、
    前記進入時刻の後に前記車両が停止したか否かを判定する停止判定部と、
    該停止判定部により前記車両が停止したと判定された場合、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する第1評価部と
    前記停止判定部により前記車両が停止していないと判定された場合、前記進入時刻の前後所定時間に取得された前記情報に基づいて、前記進入時刻の前後における、前記運転者の安全確認動作を評価する第3評価部とを備えていることを特徴とする安全確認評価装置。
  2. 前記評価部が、
    前記停止判定部により前記車両が停止したと判定された場合、前記進入時刻より前の所定時間に取得された前記情報に基づいて、前記進入時刻より前における、前記運転者の安全確認動作を評価する第2評価部を備えていることを特徴とする請求項1記載の安全確認評価装置。
  3. 前記評価部が、
    前記進入時刻の後に前記車両が停止してから再発進するまでの停車時間と、予め定められた所定時間とを比較して、前記再発進する前の評価時間を設定する評価時間設定部を備えていることを特徴とする請求項1又は請求項2記載の安全確認評価装置。
  4. 前記評価時間設定部が、
    前記停車時間が前記所定時間より短い場合、前記再発進する前の評価時間を前記停車時間に設定するものであることを特徴とする請求項記載の安全確認評価装置。
  5. 前記評価時間設定部が、
    前記停車時間が前記所定時間より長い場合、前記再発進する前の評価時間を前記所定時間に設定するものであることを特徴とする請求項記載の安全確認評価装置。
  6. 前記評価部が、
    前記停止判定部により前記車両が停止したと判定された場合に、前記車両が停止した回数を検出する停止回数検出部をさらに備え、
    前記第1評価部が、
    前記停止回数検出部により前記進入時刻の後に複数回の停止が検出された場合、少なくとも最後に停止した後に再発進する前後における、前記運転者の安全確認動作を評価するものであることを特徴とする請求項1又は請求項2記載の安全確認評価装置。
  7. 前記評価部が、
    前記情報に基づいて、前記運転者の顔の向き又は視線の方向の少なくともいずれかの左右の振り角度及び振り時間を検出し、該検出された左右の振り角度及び振り時間に基づいて、前記運転者の安全確認動作を評価するものであることを特徴とする請求項1~のいずれかの項に記載の安全確認評価装置。
  8. 前記交差点進入推定部が、
    前記車両の角速度の時系列データに基づいて、前記進入時刻を推定するものであることを特徴とする請求項1~のいずれかの項に記載の安全確認評価装置。
  9. 請求項1~のいずれかの項に記載の安全確認評価装置と、
    車両に搭載される車載機とを含んで構成され、
    該車載機が、
    前記車両の運転者の顔の挙動を検出する運転者モニタリング部と、
    前記車両の位置を検出する位置検出部と、
    前記車両の角速度を含む走行挙動を検出する走行挙動検出部と、
    前記運転者モニタリング部、前記位置検出部、及び前記走行挙動検出部で検出されたデータを、前記安全確認評価装置に出力する出力部とを備えていることを特徴とする安全確認評価システム。
  10. 少なくとも1つのコンピュータが車両の運転者の安全確認動作を評価する安全確認評価方法であって、
    前記少なくとも1つのコンピュータが、
    前記車両の交差点への進入時刻を推定する進入時刻推定ステップと、
    前記運転者の顔の挙動を含む情報を取得する情報取得ステップと、
    前記進入時刻の前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する評価ステップとを含むステップを実行し
    該評価ステップは、
    前記進入時刻の後に前記車両が停止したか否かを判定する停止判定ステップと、
    該停止判定ステップにより前記車両が停止したと判定された場合、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する第1評価ステップと
    前記停止判定ステップにより前記車両が停止していないと判定された場合、前記進入時刻の前後所定時間に取得された前記情報に基づいて、前記進入時刻の前後における、前記運転者の安全確認動作を評価する第3評価ステップとを含んでいることを特徴とする安全確認評価方法。
  11. 車両の運転者の安全確認動作を評価する処理を少なくとも1つのコンピュータに実行させるための安全確認評価プログラムであって、
    前記少なくとも1つのコンピュータに、
    前記車両の交差点への進入時刻を推定する進入時刻推定ステップと、
    前記運転者の顔の挙動を含む情報を取得する情報取得ステップと、
    前記進入時刻の前後所定時間に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する評価ステップとを実行させ、
    該評価ステップでは、
    前記進入時刻の後に前記車両が停止したか否かを判定する停止判定ステップと、
    該停止判定ステップにより前記車両が停止したと判定された場合、前記車両が停止した後に再発進する前後に取得された前記情報に基づいて、前記運転者の安全確認動作を評価する第1評価ステップと
    前記停止判定ステップにより前記車両が停止していないと判定された場合、前記進入時刻の前後所定時間に取得された前記情報に基づいて、前記進入時刻の前後における、前記運転者の安全確認動作を評価する第3評価ステップとを実行させることを特徴とする安全確認評価プログラム。
JP2018127398A 2018-07-04 2018-07-04 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム Active JP7075048B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018127398A JP7075048B2 (ja) 2018-07-04 2018-07-04 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018127398A JP7075048B2 (ja) 2018-07-04 2018-07-04 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム

Publications (2)

Publication Number Publication Date
JP2020008978A JP2020008978A (ja) 2020-01-16
JP7075048B2 true JP7075048B2 (ja) 2022-05-25

Family

ID=69151801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018127398A Active JP7075048B2 (ja) 2018-07-04 2018-07-04 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム

Country Status (1)

Country Link
JP (1) JP7075048B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166791A1 (ja) * 2020-02-21 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293495A (ja) 2006-04-24 2007-11-08 Toyota Motor Corp 運転者行動評価装置
JP2014229228A (ja) 2013-05-27 2014-12-08 富士通株式会社 運転診断装置,運転診断方法及びプログラム
JP2015090676A (ja) 2013-11-07 2015-05-11 株式会社デンソー 車両運転評価システム
JP2017033507A (ja) 2015-08-06 2017-02-09 矢崎エナジーシステム株式会社 運転評価装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293495A (ja) 2006-04-24 2007-11-08 Toyota Motor Corp 運転者行動評価装置
JP2014229228A (ja) 2013-05-27 2014-12-08 富士通株式会社 運転診断装置,運転診断方法及びプログラム
JP2015090676A (ja) 2013-11-07 2015-05-11 株式会社デンソー 車両運転評価システム
JP2017033507A (ja) 2015-08-06 2017-02-09 矢崎エナジーシステム株式会社 運転評価装置

Also Published As

Publication number Publication date
JP2020008978A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
JP7224118B2 (ja) 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム
US11783600B2 (en) Adaptive monitoring of a vehicle using a camera
JP6967042B2 (ja) 運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法
WO2019117005A1 (ja) 運転評価報告書、車載機、運転評価報告書作成装置、運転評価報告書作成システム、運転評価報告書作成のためのコンピュータプログラム、及び記憶媒体
JP7114953B2 (ja) 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム
JP2019088522A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP2019091255A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP7068606B2 (ja) 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム
JP7099036B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP2019159926A (ja) 運転者交替促進装置、該装置が搭載された運転評価システム、及びコンピュータプログラム
JP7075048B2 (ja) 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム
JP7135913B2 (ja) 運転評価画面の表示方法、プログラム、運転評価システム、及び運転評価画面
US11912307B2 (en) Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
WO2019117004A1 (ja) 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、安全確認評価プログラム、及び記憶媒体
KR101702950B1 (ko) 차량용 디스플레이 장치 및 그 제어방법
JP7060841B2 (ja) 運転評価装置、運転評価方法、及び運転評価プログラム
JP7070827B2 (ja) 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム
JP7298351B2 (ja) 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム
JP6950597B2 (ja) 車載機、運転評価システム、情報処理方法、及びプログラム
JP7155512B2 (ja) 安全確認評価システム、該安全確認評価システムに用いられる車載装置、処理装置、安全確認評価方法、及び安全確認評価プログラム
JP7235438B2 (ja) 運転評価装置、運転評価方法、及びコンピュータプログラム
JP7130994B2 (ja) 車載機、後退判定方法、及び後退判定プログラム
US20240051465A1 (en) Adaptive monitoring of a vehicle using a camera
JP2023104122A (ja) 情報処理装置、情報処理方法、および、情報処理装置用プログラム
WO2022265776A1 (en) Devices and methods for predicting collisions, predicting intersection violations, and/or determining region of interest for object detection in camera images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220426

R150 Certificate of patent or registration of utility model

Ref document number: 7075048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150