JP7243616B2 - 情報記録再生装置、情報記録再生プログラムおよび情報記録再生システム - Google Patents

情報記録再生装置、情報記録再生プログラムおよび情報記録再生システム Download PDF

Info

Publication number
JP7243616B2
JP7243616B2 JP2019234640A JP2019234640A JP7243616B2 JP 7243616 B2 JP7243616 B2 JP 7243616B2 JP 2019234640 A JP2019234640 A JP 2019234640A JP 2019234640 A JP2019234640 A JP 2019234640A JP 7243616 B2 JP7243616 B2 JP 7243616B2
Authority
JP
Japan
Prior art keywords
information
vehicle
driver
behavior
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019234640A
Other languages
English (en)
Other versions
JP2021103449A (ja
Inventor
敦史 前田
佑真 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019234640A priority Critical patent/JP7243616B2/ja
Priority to US17/119,447 priority patent/US20210197835A1/en
Priority to CN202011490210.5A priority patent/CN113034724B/zh
Publication of JP2021103449A publication Critical patent/JP2021103449A/ja
Application granted granted Critical
Publication of JP7243616B2 publication Critical patent/JP7243616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3617Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0833Indicating performance data, e.g. occurrence of a malfunction using audio means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00Output or target parameters relating to data
    • B60W2756/10Involving external transmission of data to or from the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Description

本開示は、情報記録再生装置、情報記録再生プログラムおよび情報記録再生システムに関する。
特許文献1には、車内外に配置されたカメラを備え、例えば居眠り等の運転者の挙動異常を検出すると、アラートによる報知(警告)および車内の録画を行うドライブレコーダシステムが開示されている。
特開2014-044691号公報
運転者の挙動異常の原因の解析を容易とする技術が求められていた。
本開示は、上記に鑑みてなされたものであって、挙動異常の原因の解析が容易となるデータを取得することができる情報記録再生装置、情報記録再生プログラムおよび情報記録再生システムを提供することを目的とする。
本開示に係る情報記録再生装置は、ハードウェアを有するプロセッサとを備え、前記プロセッサが、車両に搭載された第一装置から、運転者の挙動に関する情報を示す第一情報を取得し、前記車両に搭載された第二装置から、前記車両の挙動に関する情報を示す第二情報を取得し、前記第一情報および前記第二情報を、同期再生可能にメモリに蓄積する。
本開示に係る情報記録再生プログラムは、ハードウェアを有するプロセッサに、車両に搭載された第一装置から、運転者の挙動に関する情報を示す第一情報を取得し、前記車両に搭載された第二装置から、前記車両の挙動に関する情報を示す第二情報を取得し、前記第一情報および前記第二情報を、同期再生可能に情報記録再生装置が備えるメモリに蓄積する、ことを実行させる。
本開示に係る情報記録再生システムは、ハードウェアを有する第一のプロセッサであって、車両に搭載され、運転者の挙動に関する情報を示す第一情報を送信する第一のプロセッサを有する第一装置と、ハードウェアを有する第二のプロセッサであって、前記車両に搭載され、前記車両の挙動に関する情報を示す第二情報を送信する第二のプロセッサを有する第二装置と、ハードウェアを有する第三のプロセッサであって、前記第一装置から前記第一情報を取得し、前記第二装置から前記第二情報を取得し、前記第一情報および前記第二情報を、同期再生可能にメモリに蓄積する第三のプロセッサを有するサーバと、を備える。
本開示によれば、車両挙動情報および運転者挙動情報を後から同期再生可能であるため、挙動異常の原因を容易に解析することができ、解析用データとしての有用性が向上する。
図1は、実施形態1に係る情報記録再生装置を含む情報記録再生システムの構成を概略的に示すブロック図である。 図2は、実施形態1に係る情報記録再生装置の表示制御部が表示部に表示させる表示画面の一例を示す図である。 図3は、実施形態1に係る情報記録再生システムが実行する情報記録再生方法の処理手順を示すフローチャートである。 図4は、実施形態2に係る情報記録再生装置を含む情報記録再生システムの構成を概略的に示すブロック図である。
[実施形態1]
本開示の実施形態1に係る情報記録再生装置、情報記録再生プログラムおよび情報記録再生システムについて、図1~図3を参照しながら説明する。なお、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
(情報記録再生システム)
本実施形態に係る情報記録再生装置を含む情報記録再生システムの構成について、図1を参照しながら説明する。情報記録再生システムは、車載装置の出力データを蓄積し、再生するためのものである。情報記録再生システムは、同図に示すように、サーバ1と、デジタルタコグラフ3と、ドライバステータスモニタ(DSM:Driver Status Monitor、以下「DSM」という)4と、を備えている。なお、本実施形態に係る情報記録再生装置は、具体的にはサーバ1によって実現される。
デジタルタコグラフ3およびDSM4は、車両2に車載機として搭載されている。車両2は、外部と通信可能な移動体であり、デジタルタコグラフ3およびDSM4に加えて、通信部5と、ECU(Electronic Control Unit)6と、スピーカ7と、マイク8と、を備えている。なお、図1では、車両2を一台のみ図示しているが、車両2は複数台であってもよい。
サーバ1、デジタルタコグラフ3、DSM4および車両2の通信部5は、ネットワークNWを通じて相互に通信可能に構成されている。このネットワークNWは、例えばインターネット回線網、携帯電話回線網等から構成される。
(サーバ)
サーバ1は、デジタルタコグラフ(第二装置)3の出力データ(車両挙動情報(第二情報)等)とDSM(第一装置)4の出力データ(運転者挙動情報(第一情報)等)とをネットワークNW経由で取得し、これらのデータを同期再生可能な状態で蓄積し、同期再生するためのものである。サーバ1は、制御部11と、通信部12と、記憶部13と、表示部(ディスプレイ)14と、スピーカ15と、マイク16と、を備えている。
制御部11は、具体的には、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)等からなるプロセッサと、RAM(Random Access Memory)、ROM(Read Only Memory)等からなるメモリ(主記憶部)と、を備えている。
制御部11は、記憶部13に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。制御部11は、プログラムの実行を通じて、同期部111および表示制御部112として機能する。
同期部111は、ネットワークNW経由で受信した車両挙動情報および運転者挙動情報を、同期再生可能に記憶部13に蓄積する。同期部111は、デジタルタコグラフ3から車両挙動情報を、DSM4から運転者挙動情報をそれぞれ受信(取得)した後、車両挙動情報および運転者挙動情報に含まれる時刻情報に基づいて、両者を時間的に同期させて記憶部13に蓄積する。
ここで、車両挙動情報とは、デジタルタコグラフ3によって生成される、車両2の挙動に関する情報である。車両挙動情報には、センサ群36によって検出された車速、ジャイロ(角速度)、他車との車間距離、G値(前後G、左右G、縦G)等のセンサ値と、測位部35によって検出された車両位置(座標)と、車両2の挙動異常の有無に関する情報と、時刻情報と、が含まれる。車両2の挙動異常としては、例えば車両2の急加速、急旋回、他車両への急接近、または白線外へのはみ出し等が挙げられる。デジタルタコグラフ3は、これらの車両挙動情報とともに、カメラ34によって撮像した映像(画像)を、サーバ1の同期部111に対して出力する。
また、運転者挙動情報とは、DSM4によって生成される、車両2の運転者の挙動に関する情報である。運転者挙動情報には、例えば運転者の脇見(よそ見)、閉眼(居眠り)、頭部の揺れ、運転姿勢の乱れ等の、運転者の挙動異常の有無に関する情報が含まれる。DSM4は、これらの運転者挙動情報とともに、カメラ44によって撮像した映像(画像)を、サーバ1の同期部111に対して出力する。
本実施形態に係る情報記録再生システムで運用される車両2は、例えば決まった時間に決まったルートを走行する運搬車、路線バス等を想定している。すなわち、車両2の運転者は、運転を専門とするプロドライバを想定している。そのため、車両挙動情報および運転者挙動情報は、同じ時間(時間帯)に同じルートを繰り返し走行する車両2から受信した情報といえる。
表示制御部112は、車両挙動情報および運転者挙動情報を同期させて表示部14に表示させる。図2は、表示制御部112が表示部14に表示させる表示画面9の一例を示している。表示画面9は、例えばデジタルタコグラフ3が備えるカメラ34のうち、車両2内の運転者を撮像するカメラ34によって撮像された映像(以下、「車内映像」という)を表示する映像表示領域91と、車内映像を再生する際の操作が可能な操作領域92と、運転者挙動情報が表示される運転者挙動情報表示領域93と、車両挙動情報が表示される車両挙動情報表示領域94と、から構成される。なお、同図に示した映像表示領域91では、車内映像を表示しているが、デジタルタコグラフ3が備えるカメラ34のうち、車両2外を撮像するカメラ34によって撮像された映像(以下、「車外映像」という)を表示してもよい。また、表示制御部112は、映像表示領域91内に、車内映像と車外映像を切り替えることができる切り替えボタン等を表示させてもよい。
表示制御部112は、例えば運転席に着座している運転者Drを写した車内映像を、映像表示領域91に表示させる。また、表示制御部112は、例えば車内映像の再生ボタン、一時停止ボタン、停止ボタン、巻き戻しボタンおよび早送りボタン等の操作ボタン群921と、シークバー922とを、操作領域92に表示させる。操作ボタン群921およびシークバー922は、マウス等のポインティングデバイスによって操作可能である。また、シークバー922の可動方向(図2の左右方向)は、時間軸方向と一致しており、シークバー922を左右に動かすことにより、対応する時刻の車内映像を映像表示領域91に表示させることができる。
表示制御部112は、車両挙動情報および運転者挙動情報を同期させて表示部14に表示させる際に、運転者の挙動異常が発生している区間を、挙動異常の種類(例えば運転者の脇見、閉眼、頭部の揺れ、運転姿勢の乱れ等)に応じて色分けして表示させる。表示制御部112は、例えば図2に示すように、運転者挙動情報表示領域93に、所定時間ごとに区切ったマス目状の領域を時間軸方向に並べて表示し、挙動異常の種類に応じて各マス目を色分けして表示させる。例えば同図のA部のマス目に表示された色は、運転者が閉眼していることを示している。このように、運転者の挙動異常が発生している区間を色分けして表示することにより、運転者の挙動異常を一目で把握することが可能となる。
表示制御部112は、例えば図2に示すように、車両挙動情報表示領域94に、車速、ジャイロ、他車との車間距離、G値等の情報を示すグラフを表示させる。また、表示制御部112は、同図に示したグラフの他に、例えば地図上に車両位置の座標を表示させたり、あるいは車両2の挙動異常が発生している区間を、挙動異常の種類(例えば車両2の急加速、急旋回、他車両への急接近、または白線外へのはみ出し等)に応じて色分けして表示してもよい。このように、車両2の挙動をグラフで示したり、あるいは車両2の挙動異常が発生している区間を色分けして表示することにより、車両2の挙動異常を一目で把握することが可能となる。
表示制御部112は、車両挙動情報および運転者挙動情報を同期させて表示部14に表示させる際に、運転者挙動情報に含まれている運転者の挙動異常が継続している区間のみを表示させてもよい。すなわち、表示制御部112は、図2のA部に示すように、運転者の同じ挙動異常(例えば閉眼)が継続している部分の情報および映像のみを抜き出して表示部14に表示させてもよい。これにより、サーバ1を管理するユーザ(以下、「オペレータ」という)は、運転者の挙動異常が発生している可能性の高い部分だけを優先的に確認することができる。
また、表示制御部112は、車両挙動情報および運転者挙動情報を同期させて表示部14に表示させる際に、車両挙動情報に含まれている車両2の挙動異常が継続している部分の情報および映像のみを抜き出して表示部14に表示させてもよい。これにより、オペレータは、車両2の挙動異常が発生している可能性の高い部分だけを優先的に確認することができる。
通信部12は、例えばLAN(Local Area Network)インターフェースボード、無線通信のための無線通信回路等から構成される。通信部12は、公衆通信網であるインターネット等のネットワークNWに接続されている。そして、通信部12は、当該ネットワークNWに接続することにより、デジタルタコグラフ3、DSM4および車両2の通信部5との間で通信を行う。
記憶部13は、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(Hard Disk Drive:HDD)およびリムーバブルメディア等の記録媒体から構成される。リムーバブルメディアとしては、例えばUSB(Universal Serial Bus)メモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)のようなディスク記録媒体が挙げられる。また、記憶部13には、オペレーティングシステム(Operating System:OS)、各種プログラム、各種テーブル、各種データベース等が格納可能である。
記憶部13は、車両挙動DB131と、運転者挙動DB132と、を備えている。これらのデータベース(DB)は、制御部11によって実行されるデータベース管理システム(Database Management System:DBMS)のプログラムが、記憶部13に記憶されるデータを管理することによって構築される。
車両挙動DB131は、例えばデジタルタコグラフ3から受信した車両挙動情報が索出可能に格納されたリレーショナルデータベースによって構成されている。また、運転者挙動DB132は、例えばDSM4から受信した運転者挙動情報が索出可能に格納されたリレーショナルデータベースによって構成されている。
表示部14は、LCD(液晶ディスプレイ)またはOLED(有機ELディスプレイ)等から構成される。表示部14は、表示制御部112の制御に基づいて、車両挙動情報および運転者挙動情報を同期させて表示する。なお、表示部14は、表示制御部112の制御に基づいて、車両挙動情報および運転者挙動情報をリアルタイムで同期させながら表示することも可能であり、あるいは記憶部13に別々のタイミングで格納された車両挙動情報および運転者挙動情報を、後から同期させながら表示することも可能である。
スピーカ15は、サーバ1を管理するオペレータに対して音声情報を出力する出力部である。スピーカ15は、例えばオペレータがネットワークNW経由で車両2の運転者と対話を行う際に用いられる。また、スピーカ15は、車両または運転者の挙動異常が発生した際に、オペレータにアラートを報知する用途で用いられてもよい。
マイク16は、オペレータからの音声入力を受け付ける入力部である。マイク16は、例えばオペレータがネットワークNW経由で車両2の運転者と対話を行う際に用いられる。
デジタルタコグラフ(車両情報取得部)3は、制御部31と、通信部32と、記憶部33と、カメラ34と、測位部35と、センサ群36と、を備えている。制御部31、通信部32および記憶部33は、物理的には制御部11、通信部12および記憶部13と同様である。制御部31は、記憶部33に格納されたプログラムの実行を通じて、車両挙動検出部311および報知部312として機能する。
車両挙動検出部311は、センサ群36から入力されるセンサデータに基づいて、車両2の挙動(例えば車速、ジャイロ、他車との車間距離、G値、車両位置等)および車両2の挙動異常(例えば車両2の急加速、急旋回、他車両への急接近、または白線外へのはみ出し等)の有無を検出する。
車両挙動検出部311は、例えば車速、ジャイロ、他車との車間距離、G値、白線との距離等に対して予め閾値(第二の判定基準)を設定し、センサ群36から入力されたセンサデータが閾値を超えた場合、あるいは閾値を超えた経過時間に基づいて、「車両2の挙動異常あり」と判定する。
報知部312は、車両挙動検出部311によって車両2の挙動異常が検出された際に、車両2に搭載されたスピーカ7を通じて運転者に対してアラートを報知する。なお、報知部312は、アラートに代えて、挙動異常の改善を促す音声(例えば白線外へのはみ出しの場合「白線をはみ出しています」等の音声)を流してもよい。また、デジタルタコグラフ3自体がスピーカを備えていてもよく、当該スピーカからアラートまたは音声を流してもよい。
カメラ34は、例えばCCD(Charge Coupled Device)またはCIS(CMOS Image Sensor)等の撮像素子を内蔵するカメラである。カメラ34は、車内外に配置されており、例えば車両2の前方を撮像できる位置、車両2の後方を撮像できる位置、車両2内の運転者を撮像できる位置等にそれぞれ配置される。カメラ34は、撮像した映像(画像)データを車両挙動検出部311に対して出力する。
測位部35は、GPS(Global Positioning System)衛星からの電波を受信して、車両位置を検出する。なお、車両位置の検出方法は、GPS衛星を利用した方法に限定されず、例えばLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)と3次元デジタル地図とを組み合わせた方法等を利用してもよい。
センサ群36は、例えば車速センサ、エンジン回転数センサ、Gセンサおよびジャイロセンサ等から構成される。センサ群36は、検出した各センサデータを制御部31に出力する。
DSM(運転者情報取得部)4は、制御部41と、通信部42と、記憶部43と、カメラ44と、を備えている。制御部41、通信部42および記憶部43は、物理的には制御部11、通信部12および記憶部13と同様である。制御部41は、記憶部43に格納されたプログラムの実行を通じて、運転者挙動検出部411および報知部412として機能する。
運転者挙動検出部411は、カメラ44によって撮像された画像を解析することにより、運転者の挙動異常を検出する。なお、運転者挙動検出部411は、運転者の挙動異常を検出する際に、ディープラーニング等の機械学習技術を利用してもよい。
運転者挙動検出部411は、例えば画像から解析した運転者の顔の角度、眼の開き具合、頭部および身体の位置等に対して予め閾値(第一の判定基準)を設定し、画像解析結果が閾値を超えた場合、あるいは閾値を超えた経過時間に基づいて、「運転者の挙動異常あり」と判定する。
報知部412は、運転者挙動検出部411によって運転者の挙動異常が検出された際に、車両2に搭載されたスピーカ7を通じて運転者に対してアラートを報知する。なお、報知部412は、アラートに代えて、挙動異常の改善を促す音声(例えば脇見の場合「前方に注意を払って下さい」等の音声)を流してもよい。また、DSM4自体がスピーカを備えていてもよく、当該スピーカからアラートまたは音声を流してもよい。
カメラ44は、例えば赤外線カメラからなり、車両2内の運転者を撮像できる位置に配置されている。カメラ44は、撮像した映像(画像)データを車両挙動検出部311に対して出力する。
通信部5は、例えばDCM(Data Communication Module)等から構成され、ネットワークNWを介した無線通信により、サーバ1との間で通信を行う。ECU6は、車両2に搭載される各種構成要素の動作を統括的に制御する。スピーカ7およびマイク8は、車両2内に設けられており、物理的にはスピーカ15およびマイク16と同様である。なお、スピーカ7およびマイク8は、デジタルタコグラフ3およびDSM4のそれぞれに設けられていてもよい。
(情報記録再生方法)
本実施形態に係る情報記録再生システムが実行する情報記録再生方法について、図3を参照しながら説明する。なお、以下で説明する処理フローは、車両2のイグニッションスイッチがオフ状態からオン状態に切り替えられたタイミングで開始となり、ステップS1の処理に進む。また、デジタルタコグラフ3における処理(ステップS1~S3)と、DSM4における処理(ステップS4~S6)とは、同図に示すように異なるタイミングで行ってもよく、あるいは同じタイミングで行ってもよい。
まず、デジタルタコグラフ3の制御部31は、車両挙動情報のデータ記録を開始する(ステップS1)。続いて、車両挙動検出部311は、センサ群36から入力されるセンサデータに基づいて、車両2の挙動を検出する(ステップS2)。続いて、車両挙動検出部311は、車両挙動情報およびカメラ34で撮像した映像(画像)をサーバ1に送信する(ステップS3)。
続いて、DSM4の制御部41は、運転者挙動情報のデータ記録を開始する(ステップS4)。続いて、運転者挙動検出部411は、カメラ44から入力される画像に基づいて、運転者の挙動を検出する(ステップS5)。続いて、運転者挙動検出部411は、運転者挙動情報およびカメラ44で撮像した映像(画像)をサーバ1に送信する(ステップS6)。
続いて、サーバ1の同期部111は、デジタルタコグラフ3から受信した車両挙動情報およびDSM4から受信した運転者挙動情報を、同期再生可能に記憶部13に蓄積する(ステップS7)。以上により情報記録再生方法の処理は終了する。
以上説明したように、本実施形態に係る情報記録再生装置、情報記録再生プログラムおよび情報記録再生システムによれば、車両挙動情報および運転者挙動情報を後から同期再生することが可能であるため、挙動異常の原因の解析が容易となり、解析用データとしての有用性が向上する。すなわち、車両2の挙動と運転者の挙動を関連付けて分析することにより、運転者の挙動異常(例えば居眠り)の原因をつきとめることができるため、運転者の挙動異常を未然に防止することも可能となる。
[実施形態2]
本開示の実施形態2に係る情報記録再生装置、情報記録再生プログラムおよび情報記録再生システムについて、図4を参照しながら説明する。
(情報記録再生システム)
本実施形態に係る情報記録再生システムは、サーバ1に代えてサーバ1Aを備えること以外は、実施形態1に係る情報記録再生システムと同様の構成を備えている。そのため、以下ではサーバ1Aの構成についてのみ説明を行う。
(サーバ)
サーバ1Aは、制御部11Aと、通信部12と、記憶部13と、表示部14と、スピーカ15と、マイク16と、を備えている。制御部11Aは、物理的には制御部11と同様である。制御部11Aは、記憶部13に格納されたプログラムの実行を通じて、同期部111、表示制御部112、分析部113および学習部114として機能する。
ここで、デジタルタコグラフ3の車両挙動検出部311は、予め定めた第一の判定基準(閾値)に基づいて、車両2の挙動異常の有無を判定する。また、DSM4の運転者挙動検出部411は、予め定めた第二の判定基準(閾値)に基づいて、運転者の挙動異常の有無を判定する。
そこで、本実施形態に係る分析部113は、車両挙動検出部311から取得した車両挙動情報および運転者挙動検出部411から取得した運転者動情報を分析し、その分析結果に基づいて、第一の判定基準および第二の判定基準を変更する。このように、車両挙動情報および運転者挙動情報の分析結果をフィードバックし、挙動異常を検出する際の閾値(第一、第二の判定基準)を変更することにより、挙動異常の検出精度を向上させることができる。
また、本実施形態に係る学習部114は、DSM4の運転者挙動検出部411が判定した運転者の挙動異常の有無と、実際の挙動異常の有無との関係を機械学習することにより学習モデルを生成する。そして、運転者挙動検出部411による判定の代わりに、当該学習モデルを用いて、運転者の挙動異常の有無を判定する。このように、運転者の挙動異常の有無と、実際の挙動異常の有無との関係を学習させた学習モデルを利用することにより、挙動異常の検出精度を向上させることができる。
以上説明したように、本実施形態に係る情報記録再生装置、情報記録再生プログラムおよび情報記録再生システムによれば、車両2および運転者の挙動異常の検出精度が向上する。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
例えば、実施形態1,2において、車両挙動情報および運転者挙動情報の同期のタイミングは特に限定されない。実施形態1,2では、デジタルタコグラフ3から受信した車両挙動情報と、DSM4から受信した運転者挙動情報とを、時間的に同期させて記憶部13に蓄積していたが、車両挙動情報および運転者挙動情報を時間的に同期させていない状態で記憶部13に蓄積し、再生する際に同期させてもよい。この場合、表示制御部112は、記憶部13から車両挙動情報および運転者挙動情報を読み込んだ後、車両挙動情報および運転者挙動情報に含まれる時刻情報に基づいて両者を時間的に同期させながら、表示部14に表示させる。
1,1A サーバ
11,11A 制御部
111 同期部
112 表示制御部
113 分析部
114 学習部
12 通信部
13 記憶部
131 車両挙動DB
132 運転者挙動DB
14 表示部
15 スピーカ
16 マイク
2 車両
3 デジタルタコグラフ
31 制御部
311 車両挙動検出部
312 報知部
32 通信部
33 記憶部
34 カメラ
35 測位部
36 センサ群
4 ドライバステータスモニタ(DSM)
41 制御部
411 運転者挙動検出部
412 報知部
42 通信部
43 記憶部
44 カメラ
5 通信部
6 ECU
7 スピーカ
8 マイク
9 表示画面
91 映像表示領域
92 操作領域
921 操作ボタン群
922 シークバー
93 運転者挙動情報表示領域
94 車両挙動情報表示領域
Dr 運転者
NW ネットワーク

Claims (17)

  1. ハードウェアを有するプロセッサと
    第一情報および第二情報を表示するディスプレイと、
    を備え、
    前記プロセッサは、
    車両に搭載された第一装置から、運転者の挙動に関する情報を示す前記第一情報を取得し、
    前記車両に搭載された第二装置から、前記車両の挙動に関する情報を示す前記第二情報を取得し、
    前記第一情報および前記第二情報を、同期再生可能にメモリに蓄積し、
    前記第一情報および前記第二情報を同期させて前記ディスプレイに表示させる際に、前記第一情報に含まれている前記運転者の挙動異常または前記第二情報に含まれている前記車両の挙動異常が継続している区間のみを表示させる、
    情報記録再生装置。
  2. 前記プロセッサは、前記第一情報および前記第二情報を同期させて前記ディスプレイに表示させる際に、前記運転者の挙動異常が発生している区間を、挙動異常の種類に応じて色分けして表示させる、
    請求項に記載の情報記録再生装置。
  3. 前記第一装置は、予め定めた第一の判定基準に基づいて、前記運転者の挙動異常の有無を判定し、
    前記第二装置は、予め定めた第二の判定基準に基づいて、前記車両の挙動異常の有無を判定し、
    前記プロセッサは、前記第一情報および前記第二情報を分析し、その分析結果に基づいて、前記第一の判定基準および前記第二の判定基準を変更する、
    請求項1または請求項に記載の情報記録再生装置。
  4. 前記プロセッサは、
    前記第一装置が判定した前記運転者の挙動異常の有無と、実際の挙動異常の有無との関係を機械学習することにより学習モデルを生成し、
    前記第一装置による判定の代わりに、前記学習モデルを用いて、前記運転者の挙動異常の有無を判定する、
    請求項に記載の情報記録再生装置。
  5. 前記第一情報および前記第二情報は、同じ時間に同じルートを繰り返し走行する車両から取得した情報である、
    請求項1から請求項のいずれか一項に記載の情報記録再生装置。
  6. 前記第一装置は、前記運転者を撮像するカメラを備えるドライバステータスモニタであり、
    前記第二装置は、車内外に配置されたカメラおよびセンサを備えるデジタルタコグラフであり、
    前記運転者の挙動異常は、前記運転者のよそ見、閉眼、頭部の揺れ、運転姿勢の乱れの少なくとも一つを含み、
    前記車両の挙動異常は、前記車両の急加速、急旋回、他車両への急接近、または白線外へのはみ出しの少なくとも一つを含む、
    請求項から請求項のいずれか一項に記載の情報記録再生装置。
  7. ハードウェアを有するプロセッサに、
    車両に搭載された第一装置から、運転者の挙動に関する情報を示す第一情報を取得し、
    前記車両に搭載された第二装置から、前記車両の挙動に関する情報を示す第二情報を取得し、
    前記第一情報および前記第二情報を、同期再生可能に情報記録再生装置が備えるメモリに蓄積し、
    前記第一情報および前記第二情報を同期させて、前記第一情報および前記第二情報を表示するディスプレイに表示させる際に、前記第一情報に含まれている前記運転者の挙動異常または前記第二情報に含まれている前記車両の挙動異常が継続している区間のみを表示させる、
    ことを実行させる情報記録再生プログラム。
  8. 前記プロセッサに、前記第一情報および前記第二情報を同期させて前記ディスプレイに表示させる際に、前記運転者の挙動異常が発生している区間を、挙動異常の種類に応じて色分けして表示させる、
    ことを実行させる請求項に記載の情報記録再生プログラム。
  9. 前記第一装置は、予め定めた第一の判定基準に基づいて、前記運転者の挙動異常の有無を判定し、
    前記第二装置は、予め定めた第二の判定基準に基づいて、前記車両の挙動異常の有無を判定し、
    前記プロセッサに、前記第一情報および前記第二情報を分析し、その分析結果に基づいて、前記第一の判定基準および前記第二の判定基準を変更する、
    ことを実行させる請求項7または請求項に記載の情報記録再生プログラム。
  10. 前記プロセッサに、
    前記第一装置が判定した前記運転者の挙動異常の有無と、実際の挙動異常の有無との関係を機械学習することにより学習モデルを生成し、
    前記第一装置による判定の代わりに、前記学習モデルを用いて、前記運転者の挙動異常の有無を判定する、
    ことを実行させる請求項に記載の情報記録再生プログラム。
  11. 前記第一情報および前記第二情報は、同じ時間に同じルートを繰り返し走行する車両から取得した情報である、
    請求項から請求項10のいずれか一項に記載の情報記録再生プログラム。
  12. 前記第一装置は、前記運転者を撮像するカメラを備えるドライバステータスモニタであり、
    前記第二装置は、車内外に配置されたカメラおよびセンサを備えるデジタルタコグラフであり、
    前記運転者の挙動異常は、前記運転者のよそ見、閉眼、頭部の揺れまたは運転姿勢の乱れの少なくとも一つを含み、
    前記車両の挙動異常は、前記車両の急加速、急旋回、他車両への急接近、または白線外へのはみ出しの少なくとも一つを含む、
    請求項から請求項11のいずれか一項に記載の情報記録再生プログラム。
  13. ハードウェアを有する第一のプロセッサであって、車両に搭載され、運転者の挙動に関する情報を示す第一情報を送信する第一のプロセッサを有する第一装置と、
    ハードウェアを有する第二のプロセッサであって、前記車両に搭載され、前記車両の挙動に関する情報を示す第二情報を送信する第二のプロセッサを有する第二装置と、
    ハードウェアを有する第三のプロセッサであって、前記第一装置から前記第一情報を取得し、前記第二装置から前記第二情報を取得し、前記第一情報および前記第二情報を、同期再生可能にメモリに蓄積する第三のプロセッサを有するサーバと、
    を備え
    前記サーバは、前記第一情報および前記第二情報を表示するディスプレイを備え、
    前記第三のプロセッサは、前記第一情報および前記第二情報を同期させて前記ディスプレイに表示させる際に、前記第一情報に含まれている前記運転者の挙動異常または前記第二情報に含まれている前記車両の挙動異常が継続している区間のみを表示させる、
    情報記録再生システム。
  14. 前記第三のプロセッサは、前記第一情報および前記第二情報を同期させて前記ディスプレイに表示させる際に、前記運転者の挙動異常が発生している区間を、挙動異常の種類に応じて色分けして表示させる、
    請求項13に記載の情報記録再生システム。
  15. 前記第一のプロセッサは、予め定めた第一の判定基準に基づいて、前記運転者の挙動異常の有無を判定し、
    前記第二のプロセッサは、予め定めた第二の判定基準に基づいて、前記車両の挙動異常の有無を判定し、
    前記第三のプロセッサは、前記第一情報および前記第二情報を分析し、その分析結果に基づいて、前記第一の判定基準および前記第二の判定基準を変更する、
    請求項13または請求項14に記載の情報記録再生システム。
  16. 前記第三のプロセッサは、
    前記第一装置が判定した前記運転者の挙動異常の有無と、実際の挙動異常の有無との関係を機械学習することにより学習モデルを生成し、
    前記第一装置による判定の代わりに、前記学習モデルを用いて、前記運転者の挙動異常の有無を判定する、
    請求項15に記載の情報記録再生システム。
  17. 前記第一情報および前記第二情報は、同じ時間に同じルートを繰り返し走行する車両から取得した情報である、
    請求項13から請求項16のいずれか一項に記載の情報記録再生システム。
JP2019234640A 2019-12-25 2019-12-25 情報記録再生装置、情報記録再生プログラムおよび情報記録再生システム Active JP7243616B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019234640A JP7243616B2 (ja) 2019-12-25 2019-12-25 情報記録再生装置、情報記録再生プログラムおよび情報記録再生システム
US17/119,447 US20210197835A1 (en) 2019-12-25 2020-12-11 Information recording and reproduction device, a non-transitory storage medium, and information recording and reproduction system
CN202011490210.5A CN113034724B (zh) 2019-12-25 2020-12-16 信息记录与再现装置、非暂时性存储介质和信息记录与再现系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019234640A JP7243616B2 (ja) 2019-12-25 2019-12-25 情報記録再生装置、情報記録再生プログラムおよび情報記録再生システム

Publications (2)

Publication Number Publication Date
JP2021103449A JP2021103449A (ja) 2021-07-15
JP7243616B2 true JP7243616B2 (ja) 2023-03-22

Family

ID=76459241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019234640A Active JP7243616B2 (ja) 2019-12-25 2019-12-25 情報記録再生装置、情報記録再生プログラムおよび情報記録再生システム

Country Status (3)

Country Link
US (1) US20210197835A1 (ja)
JP (1) JP7243616B2 (ja)
CN (1) CN113034724B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127661B2 (ja) * 2020-03-24 2022-08-30 トヨタ自動車株式会社 開眼度算出装置
US20240246483A1 (en) * 2023-01-23 2024-07-25 Gentex Corporation Driver monitoring system with lane detection

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008107535A (ja) 2006-10-25 2008-05-08 Jidosha Anzen Unten Center 車両運転教育装置
JP2008186174A (ja) 2007-01-29 2008-08-14 Toyota Motor Corp 走行状況記録装置
JP2010130577A (ja) 2008-11-28 2010-06-10 Fujitsu Ten Ltd 常時記録画像処理プログラム
JP2014044691A (ja) 2012-08-29 2014-03-13 Toyoda Gosei Co Ltd ドライブレコーダシステム
JP2015117996A (ja) 2013-12-18 2015-06-25 株式会社ユピテル システム及びプログラム
JP2016057490A (ja) 2014-09-10 2016-04-21 スズキ株式会社 運転支援システム
JP2018180983A (ja) 2017-04-14 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2018195301A (ja) 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
JP2019020859A (ja) 2017-07-12 2019-02-07 矢崎エナジーシステム株式会社 記録画像処理方法、記録画像処理装置、およびデータ処理システム
JP2019152942A (ja) 2018-03-01 2019-09-12 矢崎エナジーシステム株式会社 点呼システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041561B2 (en) * 2006-10-05 2015-05-26 Trimble Navigation Limited Method for controlling power usage of a reporting device
CN201707720U (zh) * 2010-06-28 2011-01-12 宁波四维科技有限公司 Gps车载硬盘录像机
CN102750755A (zh) * 2012-06-11 2012-10-24 上海博闻汽车配件有限公司 车辆行驶定位视频安全系统主机实施方法
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US20150094929A1 (en) * 2013-09-30 2015-04-02 Ford Global Technologies, Llc Vehicle diagnostic and prognostic systems and methods
CN103813139A (zh) * 2013-12-31 2014-05-21 南宁市公安局 一种车载监控设备
CN103871243A (zh) * 2014-04-16 2014-06-18 武汉欧普威科技有限公司 基于主动安全平台的无线车辆管理系统及方法
JP2016045714A (ja) * 2014-08-22 2016-04-04 株式会社デンソー 車載制御装置
CN104363429B (zh) * 2014-11-28 2018-03-23 哈尔滨威克技术开发公司 一种机车运行监视系统
US9925987B1 (en) * 2015-12-11 2018-03-27 Lytx, Inc. Driving abnormality detection
JP6275362B1 (ja) * 2016-04-01 2018-02-07 株式会社wise 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
CN205788318U (zh) * 2016-05-25 2016-12-07 广州通易科技有限公司 一种可同时记录和展示驾驶动作及行车视频的设备
JP2018055446A (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
WO2020061198A1 (en) * 2018-09-19 2020-03-26 Pivnicka Richard J A method and system for alerting drivers with direction specific audio system
CN110558998A (zh) * 2019-09-17 2019-12-13 广东工业大学 一种基于adas系统的汽车疲劳驾驶检测控制方法
CN112622916A (zh) * 2019-10-08 2021-04-09 株式会社斯巴鲁 车辆的驾驶辅助系统
KR20210052634A (ko) * 2019-10-29 2021-05-11 엘지전자 주식회사 운전자의 부주의를 판단하는 인공 지능 장치 및 그 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008107535A (ja) 2006-10-25 2008-05-08 Jidosha Anzen Unten Center 車両運転教育装置
JP2008186174A (ja) 2007-01-29 2008-08-14 Toyota Motor Corp 走行状況記録装置
JP2010130577A (ja) 2008-11-28 2010-06-10 Fujitsu Ten Ltd 常時記録画像処理プログラム
JP2014044691A (ja) 2012-08-29 2014-03-13 Toyoda Gosei Co Ltd ドライブレコーダシステム
JP2015117996A (ja) 2013-12-18 2015-06-25 株式会社ユピテル システム及びプログラム
JP2016057490A (ja) 2014-09-10 2016-04-21 スズキ株式会社 運転支援システム
JP2018180983A (ja) 2017-04-14 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2018195301A (ja) 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
JP2019020859A (ja) 2017-07-12 2019-02-07 矢崎エナジーシステム株式会社 記録画像処理方法、記録画像処理装置、およびデータ処理システム
JP2019152942A (ja) 2018-03-01 2019-09-12 矢崎エナジーシステム株式会社 点呼システム

Also Published As

Publication number Publication date
US20210197835A1 (en) 2021-07-01
CN113034724A (zh) 2021-06-25
JP2021103449A (ja) 2021-07-15
CN113034724B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CA2981443C (en) Vehicle event recording system and method
US9796391B2 (en) Distracted driver prevention systems and methods
US9363361B2 (en) Conduct and context relationships in mobile devices
EP3611055B1 (en) Multimedia information push method and apparatus, storage medium, and electronic device
CA2916882C (en) System and method for aggregation display and analysis of rail vehicle event information
US20080030580A1 (en) Command system, imaging device, command device, imaging method, command processing method, and program
JP2017194950A (ja) マルチメディアキャプチャ用のシステム及び方法
JP7243616B2 (ja) 情報記録再生装置、情報記録再生プログラムおよび情報記録再生システム
US9902410B2 (en) System and method for synthesizing rail vehicle event information
CN102708120A (zh) 生活流式传输
JP7108847B2 (ja) 駐車監視システム、駐車監視方法およびプログラム
US20210179131A1 (en) Driver assistance device, non-transitory storage medium storing driver assistance program, and driver assistance system
CN111133752B (zh) 表情记录系统
EP4171023A1 (en) Computer-implemented method and computer program for generating a thumbnail from a video stream or file, and video surveillance system
JP2019191639A (ja) ドライブレコーダ、表示制御方法およびプログラム
JP7447455B2 (ja) 車両用記録制御装置および車両用記録制御方法
CN106599220A (zh) 输出线路信息的方法、装置及设备
JP2010257483A (ja) 運転支援装置および運転支援方法
JP2020109572A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
JP6833322B2 (ja) 探索装置、探索方法、探索プログラム及び記録媒体、並びにナビゲーション装置
TWI787205B (zh) 表情記錄系統、嬰兒車、及表情記錄程式
JP2023064218A (ja) 運転講習システム、及び運転講習システムの制御方法
KR102083929B1 (ko) 감시 영상의 헤더 생성 장치 및 감시 영상 재생 장치
JP2022079950A (ja) 運転データ記録装置、運転支援システム、運転データ記録方法、およびプログラム
JP2022106381A (ja) コンテンツ再生装置およびコンテンツ再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R151 Written notification of patent or utility model registration

Ref document number: 7243616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151