JP7114953B2 - 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム - Google Patents

車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム Download PDF

Info

Publication number
JP7114953B2
JP7114953B2 JP2018043970A JP2018043970A JP7114953B2 JP 7114953 B2 JP7114953 B2 JP 7114953B2 JP 2018043970 A JP2018043970 A JP 2018043970A JP 2018043970 A JP2018043970 A JP 2018043970A JP 7114953 B2 JP7114953 B2 JP 7114953B2
Authority
JP
Japan
Prior art keywords
driver
data
vehicle
driving evaluation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018043970A
Other languages
English (en)
Other versions
JP2019159642A (ja
Inventor
哲也 塚本
雄一郎 久野
健 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018043970A priority Critical patent/JP7114953B2/ja
Publication of JP2019159642A publication Critical patent/JP2019159642A/ja
Application granted granted Critical
Publication of JP7114953B2 publication Critical patent/JP7114953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラムに関する。
特許文献1には、所定箇所(危険個所)に対する自動車の運転者の運転行動を評価する運転行動自動評価システムが開示されている。
特許文献1記載の運転行動自動評価システムは、計測制御用コンピュータと、解析用コンピュータとを含んで構成され、該解析用コンピュータが、運転者の頭部に装着された角速度センサで検出された角速度データ、自動車の位置データ、及び事故予防動作が定義された動作定義データに基づいて、前記事故予防動作が正しくなされたか否かを評価し、該評価の結果が表示装置に表示できるように構成されている。
前記表示装置に表示される評価結果画面には、「警告」、「注意」のテキスト情報、危険個所に対する運転行動(首振り角度、右足位置、車両速度)の時間変化を示す波形グラフ、及び予め記憶されている危険個所の写真が表示されている。
[発明が解決しようとする課題]
特許文献1記載の運転行動自動評価システムでは、前記評価結果画面に首振り角度の波形グラフが表示され、確認が不十分な場合、「注意」のテキスト情報が表示されるようになっている。しかしながら、前記評価結果画面では、確認が不十分なときの運転者の実際の様子までは把握することができない。
確認が不十分な原因が、運転者の確認不足ではなく、角速度センサの不具合、又は角速度センサの運転者への装着不良などである可能性もあるため、運転者が評価結果に納得しない場合もあり、このような場合、特許文献1記載の運転行動自動評価システムでは、運転者に評価結果を納得させることが難しいという課題があった。
特許第5408572号公報
課題を解決するための手段及びその効果
本発明は上記課題に鑑みなされたものであって、運転評価に対する運転者の納得性を高め得るデータを適切に送信することができる車載機、運転者にとって納得性の高い評価報告書を作成することができる運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラムを提供することを目的としている。
上記目的を達成するために本開示に係る車載機(1)は、車両の運転者の運転評価に用いるデータを運転評価装置に送信する車載機であって、
前記車両の運転中に運転者の画像を撮像する撮像部と、
該撮像部で撮像された前記運転者の画像を記憶する画像記憶部と、
前記車両の運転中に所定の事象が検出されたか否かを判定する事象判定部と、
該事象判定部により前記所定の事象が検出されたと判定された場合に、前記画像記憶部に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータを前記運転評価装置に送信するデータ送信部とを備えていることを特徴としている。
上記車載機(1)によれば、前記所定の事象が検出されたと判定された場合に、前記画像記憶部に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータが前記運転評価装置に送信される。したがって、前記運転評価装置に、前記所定の事象が検出されたときの画像のデータを使用させて、納得性の高い運転評価の報告書を作成させることができる。また、前記画像記憶部に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータが前記運転評価装置に送信されるので、前記車載機から前記運転評価装置に送信される前記画像のデータ量を削減することができ、通信コストも抑制することができる。
また本開示に係る車載機(2)は、上記車載機(1)において、前記所定の事象は、前記車両の交差点への進入を含むことを特徴としている。
上記車載機(2)によれば、前記車両の交差点への進入が検出されたときの画像のデータを前記運転評価装置に送信することができる。したがって、前記運転評価装置に、前記車両の交差点への進入が検出されたときの画像のデータを使用させて、前記車両の交差点への進入時における運転者の様子が確認できる納得性の高い運転評価の報告書を作成させることができる。
また本開示に係る車載機(3)は、上記車載機(1)において、前記所定の事象は、前記運転者の眠気、脇見、及び顔未検出のうちの少なくともいずれかを含むことを特徴としている。
上記車載機(3)によれば、前記運転者の眠気、脇見、及び顔未検出のうちの少なくともいずれかが検出されたときの画像のデータを前記運転評価装置に送信することができる。したがって、前記運転評価装置に、前記運転者の眠気、脇見、及び顔未検出のうちの少なくともいずれかが検出されたときの画像のデータを使用させて、前記運転者の眠気、脇見、及び顔未検出のうちの少なくともいずれかの検出時における運転者の様子が確認できる納得性の高い運転評価の報告書を作成させることができる。
また本開示に係る車載機(4)は、上記車載機(1)において、前記所定の事象は、前記車両の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかを含むことを特徴としている。
上記車載機(4)によれば、前記車両の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかが検出されたときの画像のデータを前記運転評価装置に送信することができる。したがって、前記運転評価装置に、前記車両の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかが検出されたときの画像のデータを使用させて、前記車両の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかの検出時における運転者の様子が確認できる納得性の高い運転評価の報告書を作成させることができる。
また本開示に係る運転評価装置(1)は、上記車載機(1)~(4)のいずれかから送信されてくるデータに基づいて、運転者の運転評価を行う運転評価装置であって、
前記車載機から送信されてくるデータを蓄積するデータ蓄積部と、
該データ蓄積部に蓄積された前記データに基づいて、前記運転者の運転評価を行う運転評価部と、
該運転評価部で行われた前記運転者の運転評価データを記憶する評価データ記憶部と、
該評価データ記憶部に記憶された前記運転者の運転評価データに基づいて、コンピュータ画面表示用の運転評価報告書を作成する報告書作成部と、
該報告書作成部により作成された前記運転評価報告書を外部コンピュータ装置に送信する報告書送信部とを備え、
前記報告書作成部が、前記所定の事象が検出されたときの運転者の画像を前記運転評価報告書の中に表示可能な構造の報告書を作成するものであることを特徴としている。
上記運転評価装置(1)によれば、前記所定の事象が検出されたときの運転者の画像を前記運転評価報告書の中の表示可能な構造の報告書を作成して、前記外部コンピュータ装置に送信するので、前記外部コンピュータ装置では、前記所定の事象が検出されたときの運転者の画像を前記運転評価報告書の中で表示させることができる。したがって、前記所定の事象が検出されたとき評価結果に対する運転者の納得性を高めることができる。
また本開示に係る運転評価システムは、上記車載機(1)~(4)のいずれかと、上記運転評価装置(1)と、を含んで構成されていることを特徴としている。
上記運転評価システムによれば、上記車載機(1)~(4)のいずれかと、上記運転評価装置(1)と、を含んで構成されているので、上記車載機(1)~(4)のいずれかと、上記運転評価装置(1)との効果を得ることができ、評価結果に対する運転者の納得性を高めることができ、また通信コストを抑制できるシステムを構築することができる。
また本開示に係るデータ送信方法は、車両の運転者の運転評価に用いるデータを運転評価装置に送信するデータ送信方法であって、
前記車両の運転中に運転者の画像を撮像部で撮像する撮像ステップと、
該撮像ステップで撮像された前記運転者の画像を画像記憶部に記憶する記憶ステップと、
前記車両の運転中に所定の事象が検出されたか否かを判定する事象判定ステップと、
該事象判定ステップにより前記所定の事象が検出されたと判定された場合に、前記画像記憶部に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータを前記運転評価装置に送信する送信ステップとを含むステップを実行させることを特徴としている。
上記データ送信方法によれば、前記所定の事象が検出されたと判定された場合に、前記画像記憶部に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータを前記運転評価装置に送信する。したがって、前記運転評価装置に、前記所定の事象が検出されたときの画像のデータを使用させて、納得性の高い運転評価の報告書を作成させることができる。また、前記所定の事象が検出されたときの画像のデータを前記運転評価装置に送信するので、前記車載機から前記運転評価装置に送信する前記画像のデータ量を削減することができ、通信コストも抑制することができる。
また本開示に係るデータ送信プログラムは、車両の運転者の運転評価に用いるデータを運転評価装置に送信する処理を少なくとも1つのコンピュータに実行させるためのデータ送信プログラムであって、
前記少なくとも1つのコンピュータに、
前記車両の運転中に運転者の画像を撮像部で撮像する撮像ステップと、
該撮像ステップで撮像された前記運転者の画像を画像記憶部に記憶する記憶ステップと、
前記車両の運転中に所定の事象が検出されたか否かを判定する事象判定ステップと、
該事象判定ステップにより前記所定の事象が検出されたと判定された場合に、前記画像記憶部に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータを前記運転評価装置に送信する送信ステップとを実行させることを特徴としている。
上記データ送信プログラムによれば、前記所定の事象が検出されたと判定された場合に、前記画像記憶部に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータを前記運転評価装置に送信する。したがって、前記運転評価装置に、前記所定の事象が検出されたときの画像のデータを使用させて、納得性の高い運転評価の報告書を作成させることができる。また、前記所定の事象が検出されたときの画像のデータを前記運転評価装置に送信するので、前記運転評価装置に送信する前記画像のデータ量を削減することができ、通信コストも抑制することができる。
実施の形態に係る運転評価システムの適用例を示す概略構成図である。 実施の形態に係る運転評価システムで用いられる車載機の要部を概略的に示すブロック図である。 実施の形態に係る車載機の特徴部分を説明するための機能構成ブロック図である。 車載機からサーバ装置にデータが送信される場合の事象が登録された事象テーブルの一例である。 車載機からサーバ装置に送信されるデータの構造の一例を示す図である。 実施の形態に係る運転評価システムで用いられるサーバ装置の要部を概略的に示すブロック図である。 データ蓄積部に蓄積されるデータファイルの構造の一例を示す図である。 評価データ記憶部に記憶される評価データファイルの構造の一例を示す図である。 実施の形態に係るサーバ装置の特徴部分を説明するための機能構成ブロック図である。 事業者端末の表示画面に表示される運転評価報告書の一部の表示例を示す図である。 実施の形態に係る車載機のドライバモニタリング部が行う処理動作を示すフローチャートである。 実施の形態に係る車載機の制御部が行う処理動作を示すフローチャートである。 実施の形態に係るサーバ装置の中央処理装置が行う処理動作を示すフローチャートである。 実施の形態に係るサーバ装置の中央処理装置が行う処理動作を示すフローチャートである。
以下、本発明に係る車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラムの実施の形態を図面に基づいて説明する。
[適用例]
図1は、実施の形態に係る運転評価システムの適用例を示す概略構成図である。
運転評価システム1は、車両2に乗車している運転者3の安全確認動作を評価するためのシステムであって、少なくとも1台以上の車両2に搭載される車載機10と、各車載機10から取得したデータを用いて、各運転者3の運転評価を行う、少なくとも1つ以上のサーバ装置40とを含んで構成されている。サーバ装置40が、本発明に係る「運転評価装置」の一例である。
車載機10が搭載される車両2は、特に限定されない。本適用例では、各種の事業を営む事業者が管理する車両が対象とされ得る。例えば、運送事業者が管理するトラック、バス事業者が管理するバス、タクシー事業者が管理するタクシー、カーシェアリング事業者が管理するカーシェア車両、レンタカー事業者が管理するレンタカー、会社が所有している社有車、又はカーリース事業者からリースして使用する社有車などが対象とされ得る。
車載機10とサーバ装置40とは、通信ネットワーク4を介して通信可能に構成されている。通信ネットワーク4は、基地局を含む携帯電話網(3G/4G)や無線LAN(Local Area Network)などの無線通信網を含んでもよいし、公衆電話網などの有線通信網、インターネット、又は専用網などの電気通信回線を含んでもよい。
車載機10は、車両2の運転者3の運転評価に用いるデータを取得し、所定のタイミングでサーバ装置40に送信する。車載機10からサーバ装置40に送信されるデータには、車載機10で検出された運転者3の状態、車両2の位置、及び車両2の挙動のうちの少なくともいずれかのデータが含まれている。
また、車両2を管理する事業者の端末装置80(以下、事業者端末という。)が、通信ネットワーク4を介してサーバ装置40と通信可能に構成されている。事業者端末80は、外部コンピュータ装置の一例であり、通信機能を備えたパーソナルコンピュータでもよいし、携帯電話、スマートフォン、又はタブレット装置などの携帯情報端末などでもよい。また、事業者端末80が、通信ネットワーク4を介して車載機10と通信可能に構成されてもよい。
サーバ装置40は、通信ユニット41、サーバコンピュータ50、及び記憶ユニット60を含んで構成されている。
運転評価システム1では、サーバ装置40が、各車載機10から送信されてきた、運転者3の状態、車両2の位置、及び車両2の挙動のうちの少なくともいずれかを含むデータを記憶ユニット60に蓄積し、蓄積された各車載機10のデータを用いて、各運転者3の運転評価を行う。該運転評価の項目には、運転操作行為に関する評価、交差点における安全確認動作に関する評価、運転時の集中状態に関する評価などの項目が含まれている。
サーバ装置40は、各車載機10から取得したデータを用いて、各車両2の一日の運転が終了した後に、各項目の運転評価処理を実行してもよいし、又は一定期間毎に、該一定期間内における各項目の評価処理を実行してもよく、運転評価処理の実行タイミングは特に限定されない。そして、サーバ装置40は、前記運転評価処理で得られた各運転者3の運転評価データを記憶ユニット60に記憶する。
また、サーバ装置40は、クラウドサービスを提供できるように構成されている。例えば、サーバ装置40は、Webサーバ、アプリケーションサーバ、及びデータベースサーバを含むサーバシステムで構成されてもよい。Webサーバは、事業者端末80のブラウザからのアクセス要求などの処理を行う。アプリケーションサーバは、例えば、Webサーバからの要求に応じ、データベースサーバにアクセスして、処理に必要なデータの検索やデータの抽出などの処理を行う。データベースサーバは、例えば、車載機10から取得した各種データなどを管理し、アプリケーションサーバからの要求に応じて、データの検索、抽出、保存などの処理を行う。
例えば、サーバ装置40は、事業者端末80のブラウザなどから要求された各種リクエスト、例えば、Webサイトへのログイン、運転評価報告書の送信リクエストなどを処理する。また、サーバ装置40は、ブラウザなどを通じて処理結果、例えば、作成した運転評価報告書のデータを事業者端末80に送信し、事業者端末80の表示画面に運転評価報告書を表示させる処理を実行する。
事業者は、事業者端末80の表示画面に表示された各運転者の運転評価報告書を確認し、各運転者に対して安全意識の改善を図る指導などを行う。このような指導を行うことにより、運転者の安全意識を高めて、事故リスクの低減を図ることが可能となる。
事業者端末80の表示画面に表示される運転評価報告書は、運転者にとっても納得性の高いものであることが望まれる。
そこで、実施の形態に係る車載機10は、車両2の運転中に運転者3の画像を所定周期で撮像し、撮像した画像のデータを車載機10内の画像記憶部に記憶していく。そして、車載機10は、運転中に所定の事象が検出された場合に、前記画像記憶部に記憶されている運転者の画像のうち、前記所定の事象が検出されたときの画像のデータをサーバ装置40に送信する。
前記所定の事象は、例えば、車両2の交差点への進入である。また、前記所定の事象は、運転者3の眠気、脇見、及び顔未検出のうちの少なくともいずれかを含んでよい。さらに、前記所定の事象は、車両2の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかを含んでよい。
サーバ装置40は、車載機10から送信されてきた、前記所定の事象が検出されたときの画像のデータを記憶ユニット60に記憶する。そして、サーバ装置40では、運転者3の運転評価データに基づいて運転評価報告書を作成する際に、前記所定の事象が検出されたときの運転者3の画像を運転評価報告書の中に表示可能な構造の報告書を作成する。
係る構成によって、車載機10は、サーバ装置40に、前記所定の事象が検出されたときの画像のデータを使用させて、納得性の高い運転評価の報告書を作成させることができる。また、前記所定の事象が検出されたときの画像のデータがサーバ装置40に送信されるので、車載機10からサーバ装置40に送信される前記画像のデータ量を削減することができ、通信コストも抑制することができる。
また、サーバ装置40によれば、前記所定の事象が検出されたときの運転者の画像を運転評価報告書の中に表示可能な構造の報告書を作成して、事業者端末80に送信するので、事業者端末80では、前記所定の事象が検出されたときの運転者の画像を前記運転評価報告書の中で表示させることができる。したがって、前記所定の事象が検出されたとき評価結果に対する運転者の納得性を高めることが可能となる。
[構成例]
図2は、実施の形態に係る運転評価システム1で用いられる車載機10の要部を概略的に示すブロック図である。
車載機10は、プラットフォーム部11及びドライバモニタリング部20を含んで構成されている。また、車載機10にドライブレコーダ部30が接続されている。
プラットフォーム部11には、車両2の加速度を測定する加速度センサ12、車両2の回転角速度を検出する角速度センサ13、車両2の位置を検出するGPS(Global Positioning System)受信部14が装備されている。また、プラットフォーム部11には、通信ネットワーク4を介して外部機器と通信処理を行う通信部15、ビープ音などの警告するための音、又は警告メッセージなどの音声を出力する報知部16、記憶部17、及び外部インターフェース(外部I/F)18が装備されている。さらにプラットフォーム部11には、各部の処理動作を制御する制御部19が装備されている。
加速度センサ12は、例えば、XYZ軸の3方向の加速度を測定する3軸加速度センサで構成されている。3軸加速度センサには、静電容量型の他、ピエゾ抵抗型などの半導体方式の加速度センサを用いることができる。なお、加速度センサ12には、2軸、1軸の加速度センサを用いてもよい。加速度センサ12で測定された加速度データが、検出時刻と対応付けて制御部19のRAM19bに記憶される。
角速度センサ13は、少なくとも鉛直軸回り(ヨー方向)の回転に応じた角速度、すなわち、車両2の左右方向への回転(旋回)に応じた角速度データを検出可能なセンサ、例えば、ジャイロセンサ(ヨーレートセンサともいう)で構成されている。
なお、角速度センサ13には、鉛直軸回りの1軸ジャイロセンサの他、左右方向の水平軸回り(ピッチ方向)の角速度も検出する2軸ジャイロセンサ、さらに前後方向の水平軸回り(ロール方向)の角速度も検出する3軸ジャイロセンサを用いてもよい。これらジャイロセンサには、振動式ジャイロセンサの他、光学式、又は機械式のジャイロセンサを用いることができる。
また、角速度センサ13の鉛直軸回りの角速度の検出方向については、例えば、時計回りを正方向に、反時計回りを負方向に設定してもよい。この場合、車両2が右方向に旋回すれば正の角速度データが検出され、左方向に旋回すれば負の角速度データが検出される。角速度センサ13では、所定の周期(例えば、数十ms周期)で角速度が検出され、検出された角速度データが、例えば、検出時刻と対応付けて制御部19のRAM19bに記憶される。なお、加速度センサ12と角速度センサ13には、これらが一つのパッケージ内に実装された慣性センサを用いてもよい。
GPS受信部14は、アンテナ14aを介して人工衛星からのGPS信号を所定周期で受信して、現在地の位置データ(緯度、及び経度)を検出する。GPS受信部14で検出された位置データは、検出時刻と対応付けて制御部19のRAM19bに記憶される。なお、車両2の位置を検出する装置は、GPS受信部14に限定されるものではない。例えば、日本の準天頂衛星、ロシアのグロナス(GLONASS)、欧州のガリレオ(Galileo)、又は中国のコンパス(Compass)等の他の衛星測位システムに対応した測位装置を用いてもよい。
通信部15は、通信ネットワーク4を介してサーバ装置40にデータの出力処理などを行う通信モジュールを含んで構成されている。
記憶部17は、例えば、メモリーカードなどの着脱可能な記憶装置、又はハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などの1つ以上の記憶装置で構成されている。記憶部17には、例えば、加速度センサ12、角速度センサ13、GPS受信部14、ドライバモニタリング部20、又はドライブレコーダ部30から取得したデータなどが記憶される。
外部I/F18は、ドライブレコーダ部30などの車載機器との間でデータや信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。
制御部19は、CPU(Central Processing Unit)19a、RAM(Random Access Memory)19b、及びROM(Read Only Memory)19cを含むマイクロコンピュータで構成されている。制御部19は、取得した各種データをRAM19b又は記憶部17に記憶する処理を行う。また、制御部19は、ROM19cに記憶されたプログラムの他、必要に応じてRAM19b又は記憶部17に記憶された各種データを読み出して、プログラムを実行する。ROM19cに、データ送信プログラムが格納されている。
ドライバモニタリング部20は、ドライバカメラ21、画像解析部22、及びインターフェース(I/F)23を含んで構成されている。
ドライバカメラ21は、例えば、図示しないレンズ部、撮像素子部、光照射部、及びこれら各部を制御するカメラ制御部などを含んで構成されている。
前記撮像素子部は、例えば、CCD(Charge Coupled Device)、又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、及びマイクロレンズなどを含んで構成されている。前記撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、近赤外線などの赤外線又は紫外線を受けて撮像画像を形成できるCCD、CMOS、或いはフォトダイオード等の赤外線センサを含んでもよい。前記光照射部は、LED(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線LEDなどを用いてもよい。ドライバカメラ21は、単眼カメラでもよいし、ステレオカメラであってもよい。
前記カメラ制御部は、例えば、プロセッサなどを含んで構成されている。前記カメラ制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光(例えば、近赤外線など)を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。ドライバカメラ21は車両2の運転中に所定のフレームレート(例えば、毎秒30~60フレーム)で画像を撮像し、ドライバカメラ21で撮像された画像のデータが画像解析部22へ出力される。
画像解析部22は、例えば、画像処理プロセッサなどを含んで構成され、ドライバカメラ21で撮像された画像から運転者の顔の向き、視線の方向、及び目開度のうちの少なくともいずれかの情報(運転者の状態)を検出する処理などを行う。画像解析部22で検出された運転者の状態を示すデータ、画像データ、及び撮像日時データが、インターフェース(I/F)23を介してプラットフォーム部11に送出され、プラットフォーム部11のRAM19b又は記憶部17に記憶される。
画像解析部22で検出される運転者の顔の向きは、例えば、運転者の顔のX軸(左右軸)回りの角度(上下の向き)であるピッチ(Pitch)角、顔のY軸(上下軸)回りの角度(左右の向き)であるヨー(Yaw)角、及び顔のZ軸(前後軸)回りの角度(左右傾き)であるロール(Roll)角で示してよく、少なくとも左右の向きを示すヨー角が含まれる。またこれらの角度は、所定の基準方向に対する角度で示すことができ、例えば、前記基準方向が、運転者の正面方向に設定されてもよい。
また、画像解析部22で検出される運転者の視線の方向は、例えば、画像から検出された、運転者の顔の向きと、目領域の情報(目頭、眼尻、又は瞳孔の位置など)との関係から推定され、3次元座標上における視線ベクトルV(3次元ベクトル)などで示すことができる。視線ベクトルVは、例えば、運転者の顔のX軸(左右軸)回りの角度(上下の向き)であるピッチ角、顔のY軸(上下軸)回りの角度(左右の向き)であるヨー角、及び顔のZ軸(前後軸)回りの角度(左右傾き)であるロール角のうち、少なくとも1つと、前記目領域の情報とから推定されたものでもよい。また、視線ベクトルVは、その3次元ベクトルの一部の値を顔の向きのベクトルの値と共通(例えば、3次元座標の原点を共通)にして示したり、顔の向きのベクトルを基準とした相対角度(顔の向きのベクトルの相対値)で示したりしてもよい。
また、画像解析部22で検出される運転者の目開度は、例えば、画像から検出された、運転者の目領域の情報(目頭、眼尻、上下のまぶたの位置、又は瞳孔の位置など)を基に推定される。
プラットフォーム部11の外部I/F18には、ドライブレコーダ部30が接続されている。ドライブレコーダ部30は、車外カメラ31と車内カメラ32とを含んで構成されている。
車外カメラ31は、車両2の前方の画像を撮像するカメラであり、車内カメラ32は、車両2の室内の画像を撮像するカメラである。車外カメラ31と車内カメラ32は、例えば、可視光カメラで構成され得るが、近赤外線カメラなどで構成してもよい。
車外カメラ31と車内カメラ32は、それぞれ所定のフレームレート(例えば、毎秒30~60フレーム)で画像を撮像し、車外カメラ31と車内カメラ32で撮像された画像と撮像日時などのデータがプラットフォーム部11へ送出され、プラットフォーム部11のRAM19b又は記憶部17に記憶される。なお、ドライブレコーダ部30は車外カメラ31のみ備えた構成であってもよい。
車載機10は、プラットフォーム部11とドライバモニタリング部20とが1つの筐体内に収納された、コンパクトな構成にすることが可能である。その場合における車載機10の車内設置箇所は、ドライバカメラ21で少なくとも運転者の顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両2のダッシュボード中央付近の他、ハンドルコラム部分、メーターパネル付近、ルームミラー近傍位置、又はAピラー部分などに設置してもよい。また、ドライバカメラ21の仕様(例えば、画角や画素数(縦×横)など)及び位置姿勢(例えば、取付角度や所定の原点(ハンドル中央位置など)からの距離など)を含む情報がドライバモニタリング部20又はプラットフォーム部11に記憶されてもよい。また、ドライバモニタリング部20は、プラットフォーム部11と一体に構成される形態の他、プラットフォーム部11と別体で構成されてもよい。また、車載機10の電源は、例えば、車両2のアクセサリー電源から供給される。
図3は、実施の形態に係る車載機10の特徴部分を説明するための機構構成ブロック図である。なお、図2に示した車載機10の各部と同一機能を示す構成部分には、同一符号を付し、その説明を省略する。
車載機10の制御部19は、画像記憶部19ba、挙動データ記憶部19bb、事象判定部19aa、データ送信部19abを含んで構成されている。
画像記憶部19baには、ドライバモニタリング部20で撮像された運転者3の画像が撮像日時と対応付けて記憶される。なお、画像記憶部19baには、運転者の画像とともに、画像解析部22で解析された運転者3の顔の向き、視線の方向、及び目開度のうちの少なくともいずれかの情報(運転者の状態)が記憶されてもよい。
挙動データ記憶部19bbには、加速度センサ12、角速度センサ13、及びGPS受信部14で検出された挙動データ、位置データが検出日時と対応付けて記憶される。なお、画像記憶部19ba、挙動データ記憶部19bbは記憶部17に設けてもよい。
事象判定部19aaは、車両2の運転中に所定の事象が検出されたか否かを判定する。
所定の事象は、例えば、車両2の交差点への進入である。また、所定の事象は、運転者3の眠気、脇見、及び顔未検出のうちの少なくともいずれかを含んでよい。さらに、所定の事象は、車両2の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかを含んでよい。
例えば、事象判定部19aaは、挙動データ記憶部19bbから挙動データ、位置データの少なくともいずれかを読み出し、読み出したデータを用いて、車両2の交差点への進入、車両2の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知の少なくともいずれかを判定する。
さらに、事象判定部19aaは、画像記憶部19baから運転者3の顔の向き、視線の方向、及び目開度の少なくともいずれかの情報を読み出し、読み出した情報を用いて、運転者3の眠気、脇見、及び顔未検出の少なくともいずれかを判定してもよい。
データ送信部19abは、事象判定部19aaにより所定の事象が検出されたと判定された場合に、画像記憶部19baに記憶されている運転者3の画像のうち、所定の事象が検出されたときの画像のデータ及び撮像日時のデータを、通信部15を制御してサーバ装置40に送信する。また、データ送信部19abは、運転者3の画像のデータとともに、運転者3の顔の向き、視線の方向、及び目開度のうちの少なくともいずれかの情報(運転者の状態)を送信してもよい。
さらに、データ送信部19abは、事象判定部19aaにより所定の事象が検出されたと判定された場合に、挙動データ記憶部19bbに記憶されている挙動データ、位置データのうち、所定の事象が検出されたときの挙動データ、位置データ及び検出日時のデータを、通信部15を制御してサーバ装置40に送信してもよい。
図4は、データ送信部19abにより車載機10からサーバ装置40にデータが送信される場合の事象が登録された事象テーブルの一例である。事象テーブル19caは、ROM19cに記憶されている。事象テーブル19caには、各事象の識別記号と、各事象の内容とが対応付けて記憶されている。事象テーブル19caには、事象として、運転開始、運転終了、交差点進入、急ハンドル、急加速、急減速、急発進、速度超過、衝撃検知、眠気、脇見、及び顔未検出などが含まれている。なお、事象テーブル19caに記憶される事象は、これらに限定されるものではないが、少なくとも交差点進入は含まれている。
図5は、データ送信部19abにより車載機10からサーバ装置40に送信されるデータの構造の一例を示す図である。
車載機10からサーバ装置40に送信されるデータには、車載機10の識別情報(シリアルナンバー等)、事象の識別記号、事象の検出日時、運転者の顔の向き(ピッチ、ヨー、及びロール)、視線の方向(ピッチ、及びヨー)、目開度(右目、及び左目)、車両の加速度(前後、左右、及び上下)、角速度(ヨー)、運転者画像、車外画像、車両の位置情報(緯度、及び経度)、及び走行速度などが含まれている。なお、サーバ装置40に送信されるデータの構造は、図3に示した構造に限定されるものではないが、少なくとも車載機10の識別情報(シリアルナンバー等)、事象の識別記号、事象の検出日時、及び運転者画像が含まれている。
図6は、実施の形態に係る運転評価システム1で用いられるサーバ装置40の要部を概略的に示すブロック図である。
サーバ装置40は、通信ユニット41、サーバコンピュータ50、及び記憶ユニット60を含んで構成され、これらは通信バス42を介して接続されている。
通信ユニット41は、通信ネットワーク4を介して、車載機10や事業者端末80などとの間で各種のデータや信号の送受信を実現するための通信装置で構成されている。
サーバコンピュータ50は、1つ以上のCPUを含んで構成される中央処理装置51と、制御プログラム52が記憶されたメインメモリ53とを含んで構成されている。中央処理装置51は、メインメモリ53中の制御プログラム52に従って、各種処理を実行するようになっている。
記憶ユニット60は、例えば、ハードディスクドライブ、ソリッドステートドライブなど、1つ以上の大容量記憶装置で構成され、データ蓄積部61、評価データ記憶部62、及び運転者情報記憶部63などを含んで構成されている。
データ蓄積部61には、車両2の運転中に所定の事象が検出されたときに、車載機10で検出されたデータが、各車載機10の識別情報と各事象の識別記号とに対応付けて蓄積される。また、データ蓄積部61には、一定期間毎に車載機10から送信されてくる位置情報などのデータが蓄積されてもよい。
図7は、データ蓄積部61に蓄積されるデータファイルの構造の一例を示す図である。
データファイル61aには、例えば、車載機10の識別情報(シリアルナンバー等)と各事象の識別記号とに対応付けて、車載機10から送信されてきた事象の検出日時、運転者の顔の向き(ピッチ、ヨー、及びロール)、視線の方向(ピッチ、及びヨー)、目開度(右目、及び左目)、車両の加速度(前後、左右、及び上下)、角速度(ヨー)、運転者画像(撮像日時、フレーム番号、及び画像データ)、車外画像(撮像日時、フレーム番号、及び画像データ)、車両の位置情報(緯度、及び経度)、走行速度などの情報が蓄積される。
評価データ記憶部62には、サーバコンピュータ50で実行された運転者の運転評価の結果、すなわち、車載機10毎に、運転操作行為に関する評価の結果、交差点における安全確認動作に関する評価の結果、及び運転時の集中状態に関する評価の結果に関する情報が記憶される。
図8は、評価データ記憶部62に記憶されている評価データファイル62aの構造の一例を示す図である。
評価データファイル62aには、車載機10の識別情報、事象の識別記号、事象の検出日時、事象の検出位置、運転評価の結果、及び警告情報が含まれている。運転評価の結果には、例えば、各運転評価の項目に対して点数化又はランク付けされた評価データが記憶される。また、警告情報には、各運転評価の項目において検出された警告情報が記憶される。この警告情報には、警告対象となった事象の検出日時における運転者の画像データが紐付けられて記憶されるようになっている。
運転者情報記憶部63には、事業者が管理する運転者3に関する各種情報が記憶されている。
図9は、実施の形態に係るサーバ装置40の特徴部分を説明するための機能構成ブロック図である。なお、図6に示したサーバ装置40の各部と同一機能を示す構成部分には、同一符号を付し、その説明を省略する。
サーバコンピュータ50の中央処理装置51は、運転評価部51a、報告書作成部51b、及び報告書送信部51cを含んで構成されている。
運転評価部51aは、データ蓄積部61に蓄積された所定の運転期間(日、週、又は月など)のデータを読み出し、読み出したデータに基づいて、運転者の運転評価を行い、運転評価の結果を示すデータを評価データ記憶部62に記憶する処理を行う。
運転評価部51aは、例えば、運転操作行為に関する評価、交差点における安全確認動作に関する評価、及び運転時の集中状態に関する評価などを行う。
運転操作行為に関しては、所定の運転期間のデータの中から、急ハンドル、急加速、急減速、急発進、速度超過、又は衝撃検知などの不適切な運転操作行為の検出回数などを抽出して評価を行う。
交差点における安全確認動作に関しては、所定の運転期間のデータを用いて、通過した各交差点での安全確認のタイミング、確認角度、確認時間、又は交差点への進入速度などについて評価を行う。
運転時の集中状態に関しては、所定の運転期間のデータを用いて、運転者の眠気の検出状態(時間、及び頻度)、脇見の検出状態(時間、及び頻度)などについて評価を行う。
報告書作成部51bは、評価データ記憶部62に記憶された運転者の運転評価データを読み出し、読み出した運転評価データに基づいて、コンピュータ画面表示用の運転評価報告書を作成する処理を行う。
報告書作成部51bは、運転評価報告書を作成するための評価データの中に、図4に示した事象テーブル19caに含まれている所定の事象が検出されたときのデータが含まれている場合、所定の事象が検出されたときの運転者の画像を運転評価報告書の中に表示可能な報告書を作成する。
報告書送信部51cは、報告書作成部51bにより作成された運転評価報告書を、通信ユニット41を制御して、事業者端末80に送信する処理を行う。
図10は、事業者端末80の表示画面に表示された運転評価報告書の一部を示す表示例である。図10に示した運転評価報告書は、ドライバ基本情報の欄に表示された運転者の運転評価報告書(日報)の一例を示している。
運転評価サマリーの欄には、総合評価点、運転操作行為に関する各項目の評価点を示すチャート、安全確認・集中に関する各項目の評価点又は評価レベルを示すチャートなどが含まれている。
そして、警告情報の欄には、不適切な運転操作、安全確認、又は集中状態などが検出された日時、警告内容、詳細情報の表示欄が設けられている。
例えば、警告内容が交差点確認不足の詳細情報の欄には、運転者画像を表示させる操作ボタンが表示されている。この運転者画像を表示させる操作ボタンが選択されると、交差点確認不足が検出された日時の運転者の画像が表示されるようになっている。表示される画像は、静止画像でもよいし、動画像でもよい。運転者は、この画像を確認することによって、実際に交差点での左右の確認行為が不適切であったことを把握することができる。したがって、運転者にとって納得性の高い報告書を提示することが可能となる。
[動作例]
図11は、実施の形態に係る車載機10におけるドライバモニタリング部20が行う処理動作を示すフローチャートである。本処理動作は、例えば、ドライバカメラ21で画像が撮像されるタイミング(例えば、毎フレーム、又は所定間隔のフレーム毎)で実行される。
まず、画像解析部22は、ドライバカメラ21で撮像された画像を取得する(ステップS1)。
次に画像解析部22は、取得した画像から運転者の顔、又は顔の領域を検出する処理を行う(ステップS2)。画像から顔を検出する手法は特に限定されないが、高速で高精度に顔を検出する手法を採用することが好ましい。
画像解析部22は、ステップS2で検出した顔の領域から、目、鼻、口、眉などの顔器官の位置や形状を検出する処理を行う(ステップS3)。画像中の顔の領域から顔器官を検出する手法は特に限定されないが、高速で高精度に顔器官を検出できる手法を採用することが好ましい。例えば、画像解析部22が、3次元顔形状モデルを作成し、これを2次元画像上の顔の領域にフィッティングさせ、顔の各器官の位置と形状を検出する手法が採用され得る。この手法によれば、ドライバカメラ21の設置位置や画像中の顔の向きなどに関わらず、正確に顔の各器官の位置と形状を検出することが可能となる。画像中の人の顔に3次元顔形状モデルをフィッティングさせる技術として、例えば、特開2007-249280号公報に記載された技術を適用することができるが、これに限定されるものではない。
次に画像解析部22は、ステップS3で求めた顔の各器官の位置や形状のデータに基づいて、運転者の顔の向きを検出する(ステップS4)。例えば、上記3次元顔形状モデルのパラメータに含まれている、上下回転(X軸回り)のピッチ角、左右回転(Y軸回り)のヨー角、及び全体回転(Z軸回り)のロール角を運転者の顔の向きに関する情報として検出してもよい。
次に画像解析部22は、ステップS4で求めた運転者の顔の向き、及びステップS3で求めた運転者の顔器官の位置や形状、特に目の特徴点(目尻、目頭、及び瞳孔)の位置や形状に基づいて、視線の方向を検出する(ステップS5)。
視線の方向は、例えば、様々な顔の向きと視線方向の目の画像の特徴量(目尻、目頭、瞳孔の相対位置、又は強膜(いわゆる白目)部分と虹彩(いわゆる黒目)部分の相対位置、濃淡、テクスチャーなど)とを予め学習器を用いて学習し、これら学習した特徴量データとの類似度を評価することで検出してもよい。または、前記3次元顔形状モデルのフィッティング結果などを用いて、顔の大きさや向きと目の位置などから眼球の大きさと中心位置とを推定するとともに、瞳孔の位置を検出し、眼球の中心と瞳孔の中心とを結ぶベクトルを視線方向として検出してもよい。
次に画像解析部22は、ステップS3で求めた運転者の顔器官の位置や形状、特に目の特徴点(目尻、目頭、瞳孔、及びまぶた)の位置や形状に基づいて、目開度を検出する(ステップS6)。
次に画像解析部22は、ステップS4で検出した運転者の顔の向きと、ステップS5で検出した運転者の視線の方向と、ステップS6で検出した運転者の目開度と、運転者の画像と、撮像時刻とを対応付けて、画像情報としてプラットフォーム部11に送信し(ステップS7)、その後、画像解析部22は、ステップS1に戻り、処理を繰り返す。
図12は、実施の形態に係る車載機10における制御部19が行う処理動作を示すフローチャートである。本処理動作は、例えば、数十ms~数秒の所定周期で実行される。
制御部19は、加速度センサ12で測定された加速度データを取得してRAM19bに記憶する(ステップS11)。
また、制御部19は、角速度センサ13で検出された角速度データを取得してRAM19bに記憶する(ステップS12)。
また、制御部19は、ドライバモニタリング部20から送信されてきた画像情報を取得してRAM19bに記憶する(ステップS13)。
さらに、制御部19は、ドライブレコーダ部30から送出されてきたデータ(車外画像と車内画像のデータ)を取得してRAM19bに記憶する(ステップS14)。
また、制御部19は、GPS受信部14で検出された位置データ(経度、及び緯度)を取得する(ステップS15)。
次に制御部19は、位置データの単位時間変化に基づいて走行速度を算出し、位置データと走行速度とをRAM19bに記憶する(ステップS16)。
次に制御部19は、車両2が交差点に進入したか否かを判断する(ステップS17)。例えば、制御部19は、角速度の積分値が車両2の交差点への進入を示す閾値以上であり、かつ走行速度が交差点への進入を示す所定の上限速度以下であるか否かを判断する。
ステップS17において、制御部19は、車両2が交差点に進入したと判断すれば、次に制御部19は、車両2が交差点を通過したか否かを判断する(ステップS18)。例えば、角速度の積分値が、車両2が交差点を通過したことを示す閾値以下になり、かつ走行速度が、交差点の通過を示す所定の下限速度以上になったか否かを判断する。
制御部19が、車両2が交差点を通過したと判断すれば、制御部19は、車両2が交差点に進入した前後所定時間(数十秒程度)に取得したデータをRAM19bから読み出し、通信部15を制御してデータをサーバ装置40へ送信する処理を実行する(ステップS19)。その後、制御部19は、ステップS11に戻り、処理を繰り返す。ステップS19で、制御部19がサーバ装置40へ送信するデータの構造は、図5に示したデータの構造となっている。
一方、ステップS17において、制御部19が、車両2が交差点に進入していないと判断した場合、制御部19は、交差点への進入以外の所定の事象が検出されたか否かを判定する(ステップS20)。交差点への進入以外の所定の事象は、例えば、図4に示した事象テーブルに含まれる、交差点進入以外の事象のいずれかである。
急ハンドルが検出されたか否かは、例えば、角速度センサ13で検出された角速度値が、急ハンドルを示す所定の閾値以上になかったか否かにより判定する。車両2の急加速、急減速、又は急発進が検出されたか否かは、例えば、加速度センサ12で測定された加速度値が、急加速、急減速、又は急発進を示す所定の閾値以上になったか否かにより判定する。
運転者の眠気が検出されたか否かは、例えば、画像解析部22で検出される運転者の目開度が、眠気を示す所定の閾値以下の状態が所定時間又は所定頻度検出されたか否かにより判定する。また、眠気の閾値とは異なる閾値で、居眠りを検知してもよい。
運転者の脇見が検出されたか否かは、例えば、画像解析部22で検出される運転者の顔の向き、又は視線の方向のうちの少なくともいずれかが、脇見を示す所定の向き(角度)以上の状態が所定時間又は所定頻度検出されたか否かにより判定する。運転者の顔未検出が検出されたか否かは、例えば、画像解析部22で、画像から運転者の顔が検出されたか否かにより判定する。
ステップS20において、制御部19が、交差点への進入以外の所定の事象が検出されたと判断すれば、制御部19は、交差点への進入以外の所定の事象が検出された前後所定時間(数秒から数十秒程度)に取得したデータをRAM19bから読み出し、通信部15を制御してデータをサーバ装置40へ送信する処理を実行する(ステップS19)。その後、制御部19は、ステップS11に戻り、処理を繰り返す。ステップS19で、制御部19がサーバ装置40へ送信するデータの構造は、図5に示したデータの構造となっている。
一方ステップS20において、制御部19は、交差点への進入以外の所定の事象が検出されていないと判断すれば、その後、制御部19は、ステップS11に戻り、処理を繰り返す。
なお、制御部19は、ステップS19の処理に代えて、RAM19bから読み出したデータを記憶部17(例えば、着脱式記憶媒体)に記憶してもよい。そして、一日の走行終了後、運転者3が車載機10から記憶部17を取り外し、記憶部17に記憶されたデータを事業者端末80に読み込ませて、事業者端末80がサーバ装置40に送信するようにしてもよい。
図13は、実施の形態に係るサーバ装置40における中央処理装置51が行う処理動作を示すフローチャートである。
中央処理装置51は、車載機10から送信されてきた、事象検出時のデータを受信したか否かを判断する(ステップS21)。
中央処理装置51は、車載機10から事象検出時のデータを受信したと判断すれば、次に、車載機10から受信したデータを、車載機10の識別情報及び事象の識別記号と対応付けてデータ蓄積部61に記憶する(ステップS22)。
その後、中央処理装置51は、運転者3の運転評価を実行するタイミングか否かを判断する(ステップS23)。運転者3の運転評価を実行するタイミングか否かは、例えば、車載機10から車両2の運転終了を示す信号を受信したか否かで判断してもよい。
中央処理装置51は、ステップS23において、運転者3の運転評価を実行するタイミングではないと判断すればステップS21に戻る。
一方、中央処理装置51は、ステップS23において、運転者3の運転評価を実行するタイミングになったと判断すれば、データ蓄積部61に蓄積された車載機10の所定期間のデータを用いて、車載機10が搭載された車両2の運転者3の運転評価を実行する(ステップS24)。
中央処理装置51の運転評価部51aは、運転者3の運転操作行為に関する評価、交差点における安全確認動作に関する評価、及び運転時の集中状態に関する評価のうちの少なくともいずれかの処理を行う。
運転評価部51aは、運転操作行為に関する評価として、以下に説明する、急ハンドル、急加速、急減速、急発進、及び速度超過の少なくともいずれかの運転操作行為について評価を行う。
運転評価部51aは、例えば、評価する期間内(例えば、一日の走行時間内)において、走行時に所定の閾値以上の急ハンドル操作による角速度が検出された急ハンドル回数と、走行時間との比(急ハンドル回数/走行時間)などを求めて、急ハンドル操作について評価する。
運転評価部51aは、例えば、評価対象の期間内(例えば、一日の走行時間内)において、走行時に所定の閾値以上の急加速による加速度が検出された急加速回数と、走行時間との比(急加速回数/走行時間)などを求めて、急加速行為について評価する。
運転評価部51aは、例えば、評価対象の期間内(例えば、一日の走行時間内)において、走行時に所定の閾値以上の急減速による加速度が検出された急減速回数と、走行時間との比(急減速回数/走行時間)などを求めて、急減速行為について評価する。
運転評価部51aは、例えば、評価対象の期間内(例えば、一日の走行時間内)において、発進時に所定の閾値以上の加速度が検出された急発進回数と、発進回数との比(急発進回数/発進回数)などを求めて、急発進行為について評価する。
運転評価部51aは、例えば、評価対象の期間内(例えば、一日の走行時間内)において、制限速度以上の走行速度が検出された時間と、一日の走行時間との比(速度超過時間/走行時間)などを求めて、速度超過について評価する。
また、運転評価部51aは、交差点における安全確認動作に関する評価として、以下に説明する、評価対象の期間内に通過した各交差点での安全確認のタイミング、確認角度、確認時間、又は交差点への進入速度などについて評価を行う。
まず、運転評価部51aは、車両2の交差点への進入時刻を推定する処理を行う。例えば、運転評価部51aは、データ蓄積部61に記憶された角速度データ(車載機10から交差点通過時に送信されてきた角速度データ)の積分値を演算し、演算された積分値が所定の積分比率に到達した時刻を検出し、この検出時刻を交差点への進入時刻として推定する。
そして、運転評価部51aは、所定の評価条件に基づいて、交差点への進入時刻の前後所定時間内における運転者の安全確認動作を評価する処理を行う。
運転評価部51aは、まず、データ蓄積部61に蓄積されたデータに基づいて、進入時刻の前後所定時間内における運転者の顔の向き又は視線の方向の少なくともいずれかの振り角度及び振り時間を検出する。
次に運転評価部51aは、所定の評価条件と、進入時刻より前の所定時間(すなわち進入前)における、振り角度及び振り時間とに基づいて、交差点への進入前の安全確認動作を評価する処理を行う。なお、評価条件に左右の各方向の確認行動が含まれている場合、左右の各方向の検出順序は問わない。
例えば、右方向の安全確認については、(1)右方向の確認タイミングが適切であるか否か、(2)右方向への振り角度が所定角度以上であるか否か、(3)前記所定角度以上の状態が所定時間以上継続しているか否かを判定する。上記(1)右方向の確認タイミングが適切であるか否かは、例えば、進入時刻の所定時間前までに、右方向への振り角度が所定角度以上になったか否かにより判定することができる。
同様に、左方向の安全確認については、(4)左方向の確認タイミングが適切であるか否か、(5)左方向への振り角度が所定角度以上であるか否か、(6)前記所定角度以上の状態が所定時間以上継続しているか否かを判定する。上記(4)左方向の確認タイミングが適切であるか否かは、例えば、進入時刻の所定時間前までに、左方向への振り角度が所定角度以上になったか否かにより判定することができる。
また、運転評価部51aは、所定の評価条件と、進入時刻より後の所定時間(すなわち進入中)における、振り角度及び振り時間とに基づいて、交差点での進路変更方向、例えば、右折先又は左折先の安全確認動作を評価する処理を行う。
例えば、進路変更方向の安全確認については、(7)進路変更方向の確認タイミングが適切であるか否か、(8)右折又は左折する進路変更方向への振り角度が所定角度以上であるか否か、(9)前記所定角度以上の状態が所定時間以上継続しているか否かを判定する。上記(7)進路変更方向の確認タイミングが適切であるか否かは、例えば、進入時刻より後の所定時間までに、進路変更方向への振り角度が所定角度以上になったか否かにより判定することができる。
さらに、運転評価部51aは、進入時刻の前後所定時間における車両2の走行速度に基づいて、運転者の減速意識を評価する処理を行ってもよい。例えば、(10)進入時刻の前後所定時間における車両2の走行速度の最高値が、所定の速度(たとえば、交差点を安全に曲がって通過できる上限速度)以下であるかを判定することにより、減速意識の有無を評価してもよい。
運転評価部51aは、評価条件として予め設定された各確認行動について、上記項目(1)~(10)の判定方法に基づいて評価を行い、交差点毎の評価点を算出する処理を行う。例えば、評価条件に設定された各確認行動について、確認タイミング、確認角度、及び確認時間の評価結果を合計し、必要な統計処理(平均化、正規化処理など)を施して、交差点毎の点数又はランク付けによるスコアを算出する。
また、運転評価部51aは、運転時の集中状態に関する評価として、以下に説明する、運転者の眠気の検出状態、及び脇見の検出状態の少なくともいずれかについて評価を行う。
運転評価部51aは、例えば、評価対象の期間内(例えば、一日の走行時間内)において、運転者の目開度が、眠気状態を示す所定の閾値以下の状態が継続した時間と、走行時間との比(眠気継続時間/走行時間)などを求めて、眠気状態について評価する。
運転評価部51aは、例えば、評価対象の期間内(例えば、一日の走行時間内)において、運転者の顔の向き、又は視線の方向が、脇見状態を示す所定の角度以上の状態が継続した時間と、走行時間との比(脇見継続時間/走行時間)などを求めて、脇見状態について評価する。
中央処理装置51は、上記した運転者3の運転評価を実行した後、運転者3の運転評価の結果を示すデータを、車載機10又は運転者3の情報と対応付けて評価データ記憶部62に記憶する処理を行い(ステップS25)、その後、処理を終える。
図14は、実施の形態に係るサーバ装置40における中央処理装置51が行う処理動作を示すフローチャートの一例である。なお、本処理動作は、例えば、サーバ装置40が管理するWebサイト(運転評価報告書を提供するWebサイト)に、事業者端末80からのログインが検出された場合に実行される。
中央処理装置51は、事業者端末80からWebサイトのログインデータを受信したか否かを判断する(ステップS31)。
中央処理装置51は、ステップS31において、事業者端末80からログインデータを受信していないと判断すれば処理を終える。
一方、中央処理装置51は、ステップS31において、事業者端末80からログインデータを受信したと判断すれば、次に中央処理装置51は、ログイン処理を行う(ステップS32)。
次に中央処理装置51は、運転評価報告書を提示するWebサイトのメニュー画面情報を事業者端末80へ送信する(ステップS33)。
その後、中央処理装置51は、事業者端末80から運転評価報告書の要求信号を受信したか否かを判断する(ステップS34)。
中央処理装置51は、ステップS34において、前記要求信号を受信したと判断すれば、次に中央処理装置51は、前記要求信号に基づいて、運転評価報告書を作成する処理を開始する(ステップS35)。なお、前記要求信号には、運転評価報告書を作成する対象の運転者情報、作成する報告書の形式情報(日単位、週単位、又は月単位)などのデータが含まれている。
中央処理装置51は、評価データ記憶部62から報告書作成対象の運転者の評価データを読み出す(ステップS36)。評価データには、運転操作行為に関する評価データ、交差点における安全確認動作に関する評価データ、及び運転時の集中状態に関する評価データのうちの少なくともいずれかが含まれている。
次に中央処理装置51は、評価データに、警告情報が含まれているか否かを判断する(ステップS37)。例えば、運転操作行為に関する評価データに対しては、警告情報として、急ハンドル、急加速、急減速、急発進、速度超過、又は衝撃検知などの情報が含まれているか否かを判断する。
また、交差点における安全確認動作に関する評価データに対しては、警告情報として、交差点通過時の左右確認不良(確認タイミング、確認角度、又は確認時間)などの情報が含まれているか否かを判断する。
また、運転時の集中状態に関する評価データに対しては、警告情報として、眠気検出、又は脇見検出などの情報が含まれているか否かを判断する。
ステップS37において、中央処理装置51は、評価データに警告情報が含まれていると判断すれば、次に中央処理装置51は、警告情報と、該警告情報が示す事象が検出された日時の運転者の画像のデータとを関連付けて、画像データを提示可能な報告書を作成する(ステップS38)。運転評価報告書で提示される運転者3の画像は、静止画像でもよいし、動画像でもよい。また、静止画像と動画像とを選択できるようにしてもよい。
次に中央処理装置51は、運転者3の画像を提示可能な運転評価報告書を事業者端末80に送信し(ステップS39)、その後処理を終える。
一方ステップS37において、中央処理装置51が、評価データに警告情報が含まれていないと判断すれば、次に中央処理装置51は、警告情報を含まない運転評価報告書を作成する(ステップS40)。
そして中央処理装置51は、作成した運転評価報告書を事業者端末80に送信し(ステップS41)、その後処理を終える。
実施の形態に係る車載機10によれば、所定の事象が検出されたと判定された場合に、画像記憶部19baに記憶されている運転者3の画像のうち、前記所定の事象が検出されたときの画像のデータがサーバ装置40に送信される。したがって、サーバ装置40に、前記所定の事象が検出されたときの運転者の画像のデータを使用させて、納得性の高い運転評価の報告書を作成させることができる。また、画像記憶部19baに記憶されている運転者3の画像のうち、前記所定の事象が検出されたときの画像のデータがサーバ装置40に送信されるので、車載機10からサーバ装置40に送信される運転者3の画像のデータ量を削減することができ、通信コストも抑制することができる。
また、前記所定の事象は、車両2の交差点への進入を含むので、車載機10は、車両2の交差点への進入が検出されたときの運転者3の画像のデータをサーバ装置40に送信することができる。したがって、サーバ装置40に、車両2の交差点への進入が検出されたときの運転者3の画像のデータを使用させて、車両2の交差点への進入時における運転者3の様子が確認できる納得性の高い運転評価の報告書を作成させることができる。
また、前記所定の事象は、運転者3の眠気、脇見、及び顔未検出のうちの少なくともいずれかを含むので、車載機10は、運転者3の眠気、脇見、及び顔未検出のうちの少なくともいずれかが検出されたときの運転者3の画像のデータをサーバ装置40に送信することができる。したがって、サーバ装置40に、運転者3の眠気、脇見、及び顔未検出のうちの少なくともいずれかが検出されたときの運転者3の画像のデータを使用させて、運転者3の眠気、脇見、及び顔未検出のうちの少なくともいずれかの検出時における運転者3の様子が確認できる納得性の高い運転評価の報告書を作成させることができる。
また、前記所定の事象は、車両2の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかを含むので、車載機10は、車両2の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかが検出されたときの運転者3の画像のデータをサーバ装置40に送信することができる。したがって、サーバ装置40に、車両2の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかが検出されたときの運転者3の画像のデータを使用させて、車両2の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかの検出時における運転者3の様子が確認できる納得性の高い運転評価の報告書を作成させることができる。
また、サーバ装置40によれば、所定の事象が検出されたときの運転者3の画像を運転評価報告書の中に表示可能な構造の報告書を作成して、事業者端末80に送信するので、事業者端末80では、前記所定の事象が検出されたときの運転者3の画像を運転評価報告書の中で表示させることができる。したがって、前記所定の事象が検出されたとき評価結果に対する運転者3の納得性を高めることができる。
また、運転評価システム1によれば、車載機10と、サーバ装置40との有する効果を得ることができ、評価結果に対する運転者の納得性を高めることができ、また通信コストを抑制できるシステムを構築することができる。
以上、本発明の実施の形態を詳細に説明したが、上記説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
[付記]
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
(付記1)
車両の運転者の運転評価に用いるデータを運転評価装置(40)に送信する車載機(10)であって、
前記車両の運転中に運転者の画像を撮像する撮像部(20)と、
該撮像部(20)で撮像された前記運転者の画像を記憶する画像記憶部(19ba)と、
前記車両の運転中に所定の事象が検出されたか否かを判定する事象判定部(19aa)と、
該事象判定部(19aa)により前記所定の事象が検出されたと判定された場合に、前記画像記憶部(19ba)に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータを前記運転評価装置(40)に送信するデータ送信部(19ab)とを備えていることを特徴とする車載機。
(付記2)
付記1記載の車載機(10)から送信されてくるデータに基づいて、運転者の運転評価を行う運転評価装置(40)であって、
前記車載機(10)から送信されてくるデータを蓄積するデータ蓄積部(61)と、
該データ蓄積部(61)に蓄積された前記データに基づいて、前記運転者の運転評価を行う運転評価部(51a)と、
該運転評価部(51a)で行われた前記運転者の運転評価データを記憶する評価データ記憶部(62)と、
該評価データ記憶部(62)に記憶された前記運転者の運転評価データに基づいて、コンピュータ画面表示用の運転評価報告書を作成する報告書作成部(51b)と、
該報告書作成部(51b)により作成された前記運転評価報告書を外部コンピュータ装置に送信する報告書送信部(51c)とを備え、
前記報告書作成部(51b)が、前記所定の事象が検出されたときの運転者の画像を前記運転評価報告書の中に表示可能な構造の報告書を作成するものであることを特徴とする運転評価装置。
(付記3)
付記1記載の車載機(10)と、
付記2記載の運転評価装置(40)と、を含んで構成されていることを特徴とする運転評価システム(1)。
(付記4)
車両の運転者の運転評価に用いるデータを運転評価装置(40)に送信するデータ送信方法であって、
前記車両の運転中に運転者の画像を撮像部(20)で撮像する撮像ステップ(S1)と、
該撮像ステップで撮像された前記運転者の画像を画像記憶部(19ab)に記憶する記憶ステップ(S13)と、
前記車両の運転中に所定の事象が検出されたか否かを判定する事象判定ステップ(S17,S20)と、
該事象判定ステップ(S17,S20)により前記所定の事象が検出されたと判定された場合に、前記画像記憶部(19ab)に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータを前記運転評価装置(40)に送信する送信ステップ(S19)とを含むステップを実行させることを特徴とするデータ送信方法。
(付記5)
車両の運転者の運転評価に用いるデータを運転評価装置(40)に送信する処理を少なくとも1つのコンピュータに実行させるためのデータ送信プログラムであって、
前記少なくとも1つのコンピュータに、
前記車両の運転中に運転者の画像を撮像部(20)で撮像する撮像ステップ(S1)と、
該撮像ステップで撮像された前記運転者の画像を画像記憶部(19ab)に記憶する記憶ステップ(S13)と、
前記車両の運転中に所定の事象が検出されたか否かを判定する事象判定ステップ(S17,S20)と、
該事象判定ステップ(S17,S20)により前記所定の事象が検出されたと判定された場合に、前記画像記憶部(19ab)に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像のデータを前記運転評価装置(40)に送信する送信ステップ(S19)とを実行させることを特徴とするデータ送信プログラム。
1 運転評価システム
2 車両
3 運転者
4 通信ネットワーク
10 車載機
11 プラットフォーム部
12 加速度センサ
13 角速度センサ
14 GPS受信部
14a アンテナ
15 通信部
16 報知部
17 記憶部
18 外部インターフェース(外部I/F)
19 制御部
19a CPU
19b RAM
19c ROM
19aa 事象判定部
19ab データ送信部
19ba 画像記憶部
19bb 挙動データ記憶部
19ca 事象テーブル
20 ドライバモニタリング部(撮像部)
21 ドライバカメラ
22 画像解析部
23 インターフェース(I/F)
30 ドライブレコーダ部
31 車外カメラ
32 車内カメラ
40 サーバ装置(運転評価装置)
41 通信ユニット
50 サーバコンピュータ
51 中央処理装置
51a 運転評価部
51b 報告書作成部
51c 報告書送信部
52 メインメモリ
53 制御プログラム
54 判別用データ取得部
60 記憶ユニット
61 データ蓄積部
61a データファイル
62 評価データ記憶部
62a 評価データファイル
63 運転者情報記憶部
80 事業者端末(外部コンピュータ装置)

Claims (4)

  1. 車両の運転者の運転評価に用いるデータを運転評価装置に送信する車載機と、
    該車載機から送信されてくるデータに基づいて、運転者の運転評価を行う運転評価装置とを含んで構成されている運転評価システムであって、
    前記車載機が、
    前記車両の運転中に運転者の画像を撮像する撮像部と、
    該撮像部で撮像された前記運転者の画像を記憶する画像記憶部と、
    前記車両の運転中に所定の事象が検出されたか否かを判定する事象判定部と、
    該事象判定部により前記所定の事象が検出されたと判定された場合に、前記画像記憶部に記憶されている前記運転者の画像のうち、前記所定の事象が検出されたときの画像を含むデータを前記運転評価装置に送信するデータ送信部とを備え、
    前記運転評価装置が、
    前記車載機から送信されてくるデータを蓄積するデータ蓄積部と、
    該データ蓄積部に蓄積された前記データに基づいて、前記運転者の運転評価を行う運転評価部と、
    該運転評価部で行われた前記運転者の運転評価データを記憶する評価データ記憶部と、
    該評価データ記憶部に記憶された前記運転者の運転評価データに基づいて、コンピュータ画面表示用の運転評価報告書を作成する報告書作成部と、
    該報告書作成部により作成された前記運転評価報告書を外部コンピュータ装置に送信する報告書送信部とを備え、
    前記報告書作成部が、前記所定の事象が検出されたときの前記運転者の画像のうち、前記運転評価データに含まれる警告情報と紐付けられた前記運転者の画像を前記運転評価報告書の中に表示可能な構造の報告書を作成するものであることを特徴とする運転評価システム。
  2. 前記所定の事象は、前記車両の交差点への進入を含むことを特徴とする請求項1記載の運転評価システム
  3. 前記所定の事象は、前記運転者の眠気、脇見、及び顔未検出のうちの少なくともいずれかを含むことを特徴とする請求項1記載の運転評価システム
  4. 前記所定の事象は、前記車両の急ハンドル操作、急加速、急減速、急発進、速度超過、及び衝撃検知のうちの少なくともいずれかを含むことを特徴とする請求項1記載の運転評価システム
JP2018043970A 2018-03-12 2018-03-12 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム Active JP7114953B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018043970A JP7114953B2 (ja) 2018-03-12 2018-03-12 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018043970A JP7114953B2 (ja) 2018-03-12 2018-03-12 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム

Publications (2)

Publication Number Publication Date
JP2019159642A JP2019159642A (ja) 2019-09-19
JP7114953B2 true JP7114953B2 (ja) 2022-08-09

Family

ID=67996967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018043970A Active JP7114953B2 (ja) 2018-03-12 2018-03-12 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム

Country Status (1)

Country Link
JP (1) JP7114953B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7509576B2 (ja) 2020-05-21 2024-07-02 株式会社Subaru 運転技能評価システム
JP7568483B2 (ja) 2020-11-04 2024-10-16 矢崎エナジーシステム株式会社 ドライバ状態推定装置、ドライバ状態推定プログラム、及び、運行日報生成方法
EP4296989A4 (en) * 2021-02-18 2024-10-23 Pioneer Corp INFORMATION PROCESSING DEVICE, OUTPUT CONTROL METHOD, AND OUTPUT CONTROL PROGRAM
JP7133672B1 (ja) * 2021-02-25 2022-09-08 本田技研工業株式会社 運転支援装置、運転支援方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210375A (ja) 2007-02-01 2008-09-11 Denso Corp ドライバ管理装置および運行管理システム
JP2009251861A (ja) 2008-04-04 2009-10-29 Toyota Motor Corp 運転評価装置、及び運転評価方法
JP2010072767A (ja) 2008-09-16 2010-04-02 Shinano Kenshi Co Ltd 運転情報評価システム
JP2015026004A (ja) 2013-07-29 2015-02-05 いすゞ自動車株式会社 視認行動評価装置
JP2016197378A (ja) 2015-04-06 2016-11-24 株式会社リコー 運転特性評価用情報提供システムおよび提供方法
JP2017033507A (ja) 2015-08-06 2017-02-09 矢崎エナジーシステム株式会社 運転評価装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210375A (ja) 2007-02-01 2008-09-11 Denso Corp ドライバ管理装置および運行管理システム
JP2009251861A (ja) 2008-04-04 2009-10-29 Toyota Motor Corp 運転評価装置、及び運転評価方法
JP2010072767A (ja) 2008-09-16 2010-04-02 Shinano Kenshi Co Ltd 運転情報評価システム
JP2015026004A (ja) 2013-07-29 2015-02-05 いすゞ自動車株式会社 視認行動評価装置
JP2016197378A (ja) 2015-04-06 2016-11-24 株式会社リコー 運転特性評価用情報提供システムおよび提供方法
JP2017033507A (ja) 2015-08-06 2017-02-09 矢崎エナジーシステム株式会社 運転評価装置

Also Published As

Publication number Publication date
JP2019159642A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP7114953B2 (ja) 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム
EP3316231B1 (en) Alert generation correlating between head mounted imaging data and external device
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6693489B2 (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP6683185B2 (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP6418341B1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6967042B2 (ja) 運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法
WO2019117005A1 (ja) 運転評価報告書、車載機、運転評価報告書作成装置、運転評価報告書作成システム、運転評価報告書作成のためのコンピュータプログラム、及び記憶媒体
JP7224118B2 (ja) 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム
JP7068606B2 (ja) 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム
JP2019159926A (ja) 運転者交替促進装置、該装置が搭載された運転評価システム、及びコンピュータプログラム
JP7099036B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP7135913B2 (ja) 運転評価画面の表示方法、プログラム、運転評価システム、及び運転評価画面
WO2019155914A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
JP7060841B2 (ja) 運転評価装置、運転評価方法、及び運転評価プログラム
JP6950597B2 (ja) 車載機、運転評価システム、情報処理方法、及びプログラム
WO2019117004A1 (ja) 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、安全確認評価プログラム、及び記憶媒体
JP7298351B2 (ja) 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム
JP7075048B2 (ja) 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム
JP7070827B2 (ja) 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム
JP7130994B2 (ja) 車載機、後退判定方法、及び後退判定プログラム
JP7235438B2 (ja) 運転評価装置、運転評価方法、及びコンピュータプログラム
JP2023104122A (ja) 情報処理装置、情報処理方法、および、情報処理装置用プログラム
CN116449813A (zh) Vr设备及其工作方法、计算机可读存储介质
RU2587408C2 (ru) Видео контроль функционального состояния

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R150 Certificate of patent or registration of utility model

Ref document number: 7114953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150