JP5133784B2 - Driving operation evaluation device - Google Patents

Driving operation evaluation device Download PDF

Info

Publication number
JP5133784B2
JP5133784B2 JP2008144908A JP2008144908A JP5133784B2 JP 5133784 B2 JP5133784 B2 JP 5133784B2 JP 2008144908 A JP2008144908 A JP 2008144908A JP 2008144908 A JP2008144908 A JP 2008144908A JP 5133784 B2 JP5133784 B2 JP 5133784B2
Authority
JP
Japan
Prior art keywords
driving
driving operation
driver
operation data
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008144908A
Other languages
Japanese (ja)
Other versions
JP2009294250A (en
Inventor
茂之 木村
浩司 岸
和則 樋口
三輝 國分
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2008144908A priority Critical patent/JP5133784B2/en
Publication of JP2009294250A publication Critical patent/JP2009294250A/en
Application granted granted Critical
Publication of JP5133784B2 publication Critical patent/JP5133784B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、運転者に対し、地図情報と模範的運転操作に関する情報と運転者の運転操作に関する情報とを同時に提示する技術に関する。   The present invention relates to a technique for simultaneously presenting map information, information on an exemplary driving operation, and information on a driving operation of the driver to the driver.

従来、運転状態(車両挙動、車両操作)を客観的に診断評価して、この評価結果を運転者に報知する技術が知られている。例えば、特許文献1では、カーブ走行時の挙動を記録し、その時のステアリング操作、ブレーキ操作の時系列データをグラフ表示する技術が公開されている。特許文献2では、危険認知テストにおいて、危険場面とそのときの運転者のテスト結果と指導員のテスト結果を一緒に表示させる技術が公開されている。特許文献3では、ドライビングシミュレーターにおいて、教習者の操作した走行軌跡をマップ形式で作成し、危険運転があった場所を強調表示する技術や、当該危険運転と評価された場所毎にアドバイスを出力する技術が公開されている。
特開2000−185676号公報 特開2002−260146号公報 特開2003−288003号公報
Conventionally, a technique for objectively diagnosing and evaluating a driving state (vehicle behavior, vehicle operation) and notifying a driver of the evaluation result is known. For example, Patent Document 1 discloses a technique for recording a behavior during curve driving and displaying the time series data of steering operation and brake operation at that time in a graph. Patent Document 2 discloses a technique for displaying a danger scene, a test result of a driver at that time, and a test result of an instructor together in a danger recognition test. In Patent Document 3, in a driving simulator, a driving trajectory operated by a teacher is created in a map format, and a technique for highlighting a place where a dangerous driving has occurred, and advice for each place evaluated as a dangerous driving are output. The technology is public.
JP 2000-185676 A JP 2002-260146 A JP 2003-288003 A

しかしながら、上記技術においては、運転者による運転操作がその運転操作を行う場所や交通環境等によって変化することに起因して、当該運転者が行った操作状態を正確に伝えられないという問題点があった。   However, the above technique has a problem that the operation state performed by the driver cannot be accurately transmitted due to the change of the driving operation by the driver depending on the place where the driving operation is performed or the traffic environment. there were.

そこで、本発明では、上記問題点に鑑み、地図と模範的運転操作と運転者の運転操作とを並列して提示することにより、各地点での運転の振り返りを可能とし、運転者に対する教示効果を向上させた運転操作評価装置を提供することを目的とする。   Therefore, in the present invention, in view of the above problems, the map, the exemplary driving operation, and the driving operation of the driver are presented in parallel, so that the driving can be looked back at each point, and the teaching effect to the driver is achieved. An object of the present invention is to provide a driving operation evaluation apparatus with improved performance.

本発明に係る運転操作評価装置では、車両の運転操作に関係する操作データに基づき、前記運転操作の評価を行う運転操作評価装置であって、地図を表示する地図表示手段と、前記車両を運転する運転者の前記操作データに関する時系列グラフを表示する運転者操作表示手段と、当該運転操作評価装置で定める模範的な前記操作データに関する時系列グラフを表示する模範操作表示手段と、を有し、前記地図表示手段により表示される所定の場所に関する地図と、前記運転者操作表示手段により表示される前記場所に対応する前記時系列グラフと、前記模範操作表示手段により表示される前記場所に対応する前記時系列グラフとを、一の画面に並列して表示することを特徴とする。   The driving operation evaluation apparatus according to the present invention is a driving operation evaluation apparatus that evaluates the driving operation based on operation data related to the driving operation of the vehicle, and includes a map display means for displaying a map, and driving the vehicle. A driver operation display means for displaying a time series graph related to the operation data of the driver, and an exemplary operation display means for displaying a time series graph related to the exemplary operation data determined by the driving operation evaluation device. Corresponding to the place displayed by the map display means, the time series graph corresponding to the place displayed by the driver operation display means, and the place displayed by the model operation display means The time series graph is displayed in parallel on one screen.

また、本発明に係る運転操作評価装置の一形態では、前記地図表示手段により表示される前記地図上に所定の位置を示す目印と、前記模範操作表示手段により表示される前記時系列グラフ上に前記位置に対応した時点の目印とを表示する目印表示手段を有することを特徴とする。   Moreover, in one form of the driving operation evaluation apparatus according to the present invention, a mark indicating a predetermined position on the map displayed by the map display unit and a time series graph displayed by the model operation display unit are displayed. It has a mark display means for displaying a mark at a time corresponding to the position.

また、本発明に係る運転操作評価装置の一形態では、前記車両の運転操作に関する機器の画像であって、前記時点の前記操作データに対応する前記機器の画像を、前記時系列グラフと並列して、表示する機器画像表示手段を有することを特徴とする。   Moreover, in one form of the driving operation evaluation apparatus according to the present invention, an image of the device related to the driving operation of the vehicle, and the image of the device corresponding to the operation data at the time point is arranged in parallel with the time series graph. And a device image display means for displaying.

また、本発明に係る運転操作評価装置の一形態では、前記運転者が運転する前記車両の速度に基づいて、前記模範的な運転操作をした場合の操作データを生成する模範操作データ生成手段を有することを特徴とする。   Moreover, in one form of the driving operation evaluation apparatus according to the present invention, exemplary operation data generation means for generating operation data when the exemplary driving operation is performed based on the speed of the vehicle driven by the driver. It is characterized by having.

また、本発明に係る運転操作評価装置の一形態では、前記運転者の操作データに基づき、警告音を報知する警告報知手段を有することを特徴とする。   Moreover, in one form of the driving operation evaluation apparatus which concerns on this invention, it has a warning alerting | reporting means which alert | reports a warning sound based on the said driver | operator's operation data, It is characterized by the above-mentioned.

また、本発明に係る運転操作評価装置の一形態では、前記位置に応じた前記運転操作に関する情報を、前記時系列グラフと並列して表示するアドバイス表示手段を有することを特徴とする。   Moreover, in one form of the driving operation evaluation apparatus according to the present invention, there is provided an advice display unit that displays information related to the driving operation according to the position in parallel with the time series graph.

従って、本発明では、地図と模範的運転操作と運転者の運転操作とを並列して提示することにより、各地点での運転の振り返りを可能とし、運転者に対する教示効果を向上させた運転操作評価装置を提供することができる。   Therefore, in the present invention, by presenting the map, the exemplary driving operation, and the driving operation of the driver in parallel, it is possible to look back on the driving at each point and improve the teaching effect for the driver. An evaluation device can be provided.

本発明では、地図と模範的運転操作と運転者の運転操作とを並列して提示することにより、各地点での運転の振り返りを可能とし、運転者に対する教示効果を向上させた運転操作評価装置を提供することができる。   In the present invention, by presenting a map, an exemplary driving operation, and the driving operation of the driver in parallel, it is possible to look back on the driving at each point and improve the teaching effect on the driver. Can be provided.

図面を参照しながら、本発明を実施するための最良の形態について説明する。   The best mode for carrying out the present invention will be described with reference to the drawings.

(本実施の形態に係る運転操作評価装置の動作原理)
図1を用いて、本実施の形態に係る運転操作評価装置の動作原理を説明する。図1は、本実施の形態に係る運転操作評価装置100の動作原理を説明する図である。なお、本件のメイン実施例は実際の車両に搭載されたとして説明をしているが、その他にドライビングシミュレーターを本件のような構成とすることも可能である。
(Operational principle of the driving operation evaluation device according to the present embodiment)
The operation principle of the driving operation evaluation apparatus according to the present embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining the operation principle of the driving operation evaluation apparatus 100 according to the present embodiment. Although the main embodiment of the present embodiment is described as being mounted on an actual vehicle, a driving simulator may be configured as described above.

運転操作評価装置100は、車両300の一部を構成し、運転者操作データ記録手段110、運転操作評価手段120、模範操作データ生成手段130、地図表示手段140、運転者操作表示手段150、模範操作表示手段160、目印表示手段170、機器画像表示手段180、警告報知手段190、アドバイス表示手段200、ドライバ現状モデルDB(DataBase)210、運転規範モデルDB220、環境情報認識ECU(Electric Control Unit)400、車両情報認識ECU500、運転支援ECU600を有する。   The driving operation evaluation apparatus 100 constitutes a part of the vehicle 300, and includes a driver operation data recording unit 110, a driving operation evaluation unit 120, an exemplary operation data generation unit 130, a map display unit 140, a driver operation display unit 150, an exemplary model. Operation display means 160, mark display means 170, device image display means 180, warning notification means 190, advice display means 200, driver current model DB (DataBase) 210, driving norm model DB 220, environmental information recognition ECU (Electric Control Unit) 400 The vehicle information recognition ECU 500 and the driving support ECU 600 are included.

環境情報認識ECU400は、車両300の置かれた環境に関する情報を収集するためのECUであり、本実施の形態では、ナビゲーション装置360を有する。ナビゲーション装置360は、道路等の地図情報を有し、車両300に対して当該地図情報を提供する。車両情報認識ECU500は、車両300の機器に関する情報等、車両300自身に関する情報を収集するためのECUであり、本実施の形態では、舵角センサ351、アクセル開度センサ352、ブレーキ踏み込み度センサ353、前後・左右・上下G(Gravity)センサ354、ウィンカ操作センサ355を有する。   The environment information recognition ECU 400 is an ECU for collecting information related to the environment in which the vehicle 300 is placed, and has a navigation device 360 in the present embodiment. The navigation device 360 has map information such as roads and provides the map information to the vehicle 300. The vehicle information recognition ECU 500 is an ECU for collecting information related to the vehicle 300 itself such as information related to the device of the vehicle 300. In this embodiment, the steering angle sensor 351, the accelerator opening sensor 352, and the brake depression degree sensor 353 are collected. , Front / rear / left / right / upper / lower G (Gravity) sensor 354 and winker operation sensor 355.

舵角センサ351は、車両300が有するステアリングの舵角を検出するためのセンサである。舵角センサ351の検知結果を用いて、一般的には悪い運転操作と評価される、いわゆる急ハンドル等を検知することができる。アクセル開度センサ352は、車両300が有するアクセルペダルを踏み込んだ量(アクセル開度)を検知するためのセンサである。通常走行では、アクセル開度が大きくなるにつれて、車両300が有するエンジンへの燃料供給量が増加し、車両300の加速度は大きくなる。アクセル開度センサ352の検知結果を用いて、一般的には悪い運転操作と評価される、いわゆる急発進や急加速を検知することができる。   The steering angle sensor 351 is a sensor for detecting the steering angle of the steering included in the vehicle 300. A detection result of the steering angle sensor 351 can be used to detect a so-called sudden handle or the like that is generally evaluated as a bad driving operation. The accelerator opening sensor 352 is a sensor for detecting the amount of depression of the accelerator pedal (accelerator opening) of the vehicle 300. In normal travel, as the accelerator opening increases, the amount of fuel supplied to the engine of the vehicle 300 increases and the acceleration of the vehicle 300 increases. The detection result of the accelerator opening sensor 352 can be used to detect so-called sudden start or sudden acceleration, which is generally evaluated as a bad driving operation.

ブレーキ踏み込み度センサ353は、車両300が有するブレーキペダルを踏み込んだ量(ブレーキ踏み込み度)を検知するためのセンサである。通常走行では、ブレーキ踏み込み度が大きくなるにつれて、車両300の制動力は大きくなる。ブレーキ踏み込み度センサ353の検知結果を用いて、一般的には悪い運転操作と評価される、いわゆる急ブレーキを検知することができる。前後・左右・上下Gセンサ354は、車両300が受ける前後方向、横方向、上下方向の加速度の大きさを検知するためのセンサである。   The brake depression degree sensor 353 is a sensor for detecting the amount of depression of the brake pedal of the vehicle 300 (brake depression degree). In normal travel, the braking force of the vehicle 300 increases as the degree of brake depression increases. The detection result of the brake depression degree sensor 353 can be used to detect so-called sudden braking, which is generally evaluated as a bad driving operation. The front / rear / left / right / up / down G sensors 354 are sensors for detecting the magnitude of acceleration in the front / rear direction, the lateral direction, and the vertical direction received by the vehicle 300.

ウィンカ操作センサ355は、車両300が有するウィンカが操作されたことを検知するためのセンサである。車速センサ356は、車両300の走行速度を検知するためのセンサである。運転支援ECU600は、運転者の五感に何らかの刺激を与えることで、運転者の運転操作を支援するためのECUであり、表示装置371、スピーカ372を有する。表示装置371は、画像データを出力する装置である。スピーカ372は、音声データを出力する装置である。   The winker operation sensor 355 is a sensor for detecting that the winker of the vehicle 300 has been operated. The vehicle speed sensor 356 is a sensor for detecting the traveling speed of the vehicle 300. The driving assistance ECU 600 is an ECU for assisting the driving operation of the driver by giving some stimulus to the driver's five senses, and includes a display device 371 and a speaker 372. The display device 371 is a device that outputs image data. The speaker 372 is a device that outputs audio data.

また、ドライバ現状モデルDB210は、車両300の運転者が運転操作に関わる機器を操作した操作データを時系列データとしてデータベース化したものである。また、運転規範モデルDB220は、運転操作評価装置100で定める模範的な運転操作をしたと想定した場合に、車両300が有する運転操作に関わる機器の操作データを時系列データとしてデータベース化したものである。   In addition, the driver current model DB 210 is a database in which operation data obtained by the driver of the vehicle 300 operating a device related to a driving operation is time-series data. In addition, the driving norm model DB 220 is a database of operation data of devices related to driving operations of the vehicle 300 as time series data when it is assumed that an exemplary driving operation determined by the driving operation evaluation apparatus 100 is performed. is there.

運転者操作データ記録手段110は、運転者が車両300の運転操作を行った場合に、当該運転操作に関わる機器の操作データを車両情報認識ECU500の各センサから取得し、ドライバ現状モデルDB210に当該取得した操作データを記録する。   When the driver performs the driving operation of the vehicle 300, the driver operation data recording unit 110 acquires the operation data of the equipment related to the driving operation from each sensor of the vehicle information recognition ECU 500, and stores the operation data in the driver current model DB 210. Record the acquired operation data.

具体的には、運転者操作データ記録手段110は、舵角センサ351から取得したステアリングの舵角に関する時系列データ、アクセル開度センサ352から取得したアクセル開度に関する時系列データ、ブレーキ踏み込み度センサ353から取得したブレーキ踏み込み度に関する時系列データ、前後・左右・上下Gセンサ354から取得した車両300の各方向の加速度に関する時系列データ、ウィンカ操作センサ355から取得したウィンカ操作に関する時系列データ、車速センサ356から取得した車両300の走行速度に関する時系列データをドライバ現状モデルDB210に記録する。   Specifically, the driver operation data recording unit 110 includes time-series data regarding the steering angle of the steering acquired from the steering angle sensor 351, time-series data regarding the accelerator opening acquired from the accelerator opening sensor 352, and a brake depression degree sensor. Time series data regarding the degree of depression of the brake acquired from 353, time series data regarding acceleration in each direction of the vehicle 300 acquired from the front / rear / left / right / up / down G sensor 354, time series data regarding the winker operation acquired from the winker operation sensor 355, vehicle speed The time-series data regarding the traveling speed of the vehicle 300 acquired from the sensor 356 is recorded in the driver current model DB 210.

運転操作評価手段120は、ドライバ現状モデルDB210に記憶される時系列データに基づき、車両300の運転者に関する運転操作の評価を行う。ここで、運転操作評価手段120による運転操作の評価方法は、急ブレーキの回数、急発進の回数、急ハンドルの回数に基づいて行う形態であっても良い。これらの運転操作の回数が多くなると、運転操作の評価は低くなる。   The driving operation evaluation unit 120 evaluates the driving operation related to the driver of the vehicle 300 based on the time series data stored in the driver current model DB 210. Here, the driving operation evaluation method by the driving operation evaluation unit 120 may be performed based on the number of sudden braking, the number of sudden starts, and the number of sudden steering. As the number of these driving operations increases, the evaluation of the driving operation decreases.

また、運転操作評価手段120による運転操作の評価方法は、ドライバ現状モデルDB210に記録される操作データと運転規範モデルDB220に記録される操作データを比較して評価する形態であっても良い。実際の運転操作に関する操作データと模範的な運転操作に関する操作データとの差異に基づき、運転操作の評価をすることができる。   Further, the driving operation evaluation method by the driving operation evaluation unit 120 may be a mode in which the operation data recorded in the driver current model DB 210 and the operation data recorded in the driving norm model DB 220 are compared and evaluated. The driving operation can be evaluated based on the difference between the operation data related to the actual driving operation and the operation data related to the exemplary driving operation.

また、運転操作評価手段120による運転操作の評価は、1日単位で評価を行っても良く、車両300のエンジンが始動してから停止するまでの期間で評価を行っても良い。また、運転操作評価手段120による運転操作の評価は、交差点やカーブ等を走行した際の操作データに基づいて、当該交差点毎やカーブ毎に評価を行う形態としても良い。つまり、運転操作の評価区間は、交差点毎やカーブ毎に設けても良い。なお、運転操作評価手段120による運転操作の評価区間は、交差点毎やカーブ毎等、予め定められた場所(例えば、交通事故が多い場所)であっても良い。   Further, the evaluation of the driving operation by the driving operation evaluation unit 120 may be performed in units of one day, or may be performed in a period from when the engine of the vehicle 300 is started to when it is stopped. The driving operation evaluation by the driving operation evaluation unit 120 may be performed for each intersection or curve based on operation data when traveling at an intersection or a curve. In other words, the driving operation evaluation section may be provided for each intersection or for each curve. The driving operation evaluation section by the driving operation evaluation unit 120 may be a predetermined place (for example, a place where there are many traffic accidents) such as every intersection or every curve.

また、運転操作評価手段120は、運転操作の評価区間を決める際に、評価区間の始期をブレーキ踏み込みの開始1秒〜2秒前とし、評価区間の終期を舵角が0°となった1秒〜2秒後とする形態としても良い。   Further, when determining the evaluation section of the driving operation, the driving operation evaluation means 120 sets the start of the evaluation section as 1 second to 2 seconds before the start of the brake depression, and the end of the evaluation section is 1 when the steering angle is 0 °. It is good also as a form made into after 2 seconds-2 seconds.

運転操作評価手段120は、運転操作の評価を行った場合に、ナビゲーション装置360が表示する地図上へ目印(運転操作評価フラグ)を表示する。例えば、運転操作評価手段120は、良い評価となった地点(交差点、カーブ等)に青い旗の目印を表示し、悪い評価となった地点(交差点、カーブ等)に赤い旗の目印を表示する。   The driving operation evaluation means 120 displays a mark (driving operation evaluation flag) on the map displayed by the navigation device 360 when the driving operation is evaluated. For example, the driving operation evaluation means 120 displays a blue flag mark at a point (intersection, curve, etc.) with a good evaluation, and displays a red flag mark at a point (intersection, curve, etc.) with a bad evaluation. .

そして、運転操作評価手段120により表示された運転操作評価フラグを運転者が選択することで、後述する地図表示手段140、運転者操作表示手段150、模範操作表示手段160により当該評価区間に係る地図や操作データが表示装置371に表示される。上記運転操作評価フラグの選択は、運転操作の安全を担保するために、車両300の停車している場合にのみ行うことができる形態としても良い。   Then, when the driver selects the driving operation evaluation flag displayed by the driving operation evaluation unit 120, a map related to the evaluation section is displayed by a map display unit 140, a driver operation display unit 150, and an exemplary operation display unit 160 described later. And the operation data are displayed on the display device 371. The driving operation evaluation flag may be selected only when the vehicle 300 is stopped in order to ensure the safety of the driving operation.

模範操作データ生成手段130は、運転操作評価装置100で定める模範的な運転操作に関する各種機器の操作データ(模範操作データ)を生成し、運転規範モデルDB220に記録する。当該模範操作データは、運転者が模範的操作を行った場合の操作データを基に生成する形態であっても良い。具体的には、模範操作データ生成手段130は、交差点又はカーブへの進入速度、交差点又はカーブの曲率半径等道路の形状に関する情報に基づき、当該模範操作データを生成する。   The exemplary operation data generation unit 130 generates operation data (exemplary operation data) of various devices related to exemplary driving operations determined by the driving operation evaluation apparatus 100 and records the operation data in the driving norm model DB 220. The model operation data may be generated based on operation data when the driver performs an exemplary operation. Specifically, the model operation data generation unit 130 generates the model operation data based on information related to the shape of the road such as an approach speed to an intersection or a curve, a radius of curvature of the intersection or a curve.

模範操作データ生成手段130は、同一の評価区間に対して、異なる複数の走行速度に基づき、複数の模範操作データを生成する形態としても良い。例えば、模範操作データ生成手段130は、走行速度が40km/h未満である場合の操作データと、走行速度が40km〜60km/hである場合の操作データと、走行速度が60km/hより速い場合の操作データとを生成する形態が考えられる。   The model operation data generation unit 130 may generate a plurality of model operation data for the same evaluation section based on a plurality of different traveling speeds. For example, the exemplary operation data generation unit 130 operates data when the traveling speed is less than 40 km / h, operation data when the traveling speed is 40 km to 60 km / h, and when the traveling speed is faster than 60 km / h. The form which produces | generates the operation data of is considered.

地図表示手段140は、ナビゲーション装置360から取得した地図情報を、表示装置371に表示する。また、地図表示手段140の別形態では、車両300の外部にある地図情報を発信するサーバから地図情報を取得し、表示装置371に表示する形態としても良い。   The map display unit 140 displays the map information acquired from the navigation device 360 on the display device 371. Further, in another form of the map display means 140, the map information may be acquired from a server that transmits map information outside the vehicle 300 and displayed on the display device 371.

運転者操作表示手段150は、ドライバ現状モデルDB210から取得した車両300の運転者に関する操作データを時系列のグラフとして、表示装置371に表示する。また、運転者操作表示手段150は、複数の機器に関するグラフを重畳的に表示する形態としても良い。運転者操作表示手段150は、例えば、図2で示すように、各機器の操作データを時系列グラフとして表示する。   The driver operation display means 150 displays operation data regarding the driver of the vehicle 300 acquired from the driver current model DB 210 on the display device 371 as a time-series graph. Further, the driver operation display means 150 may be configured to display graphs related to a plurality of devices in a superimposed manner. For example, as shown in FIG. 2, the driver operation display unit 150 displays operation data of each device as a time series graph.

模範操作表示手段160は、運転規範モデルDB220から取得した模範操作データを時系列のグラフとして、表示装置に表示する。また、模範操作表示手段160は、複数の機器に関するグラフを重畳的に表示する形態としても良い。模範操作表示手段160は、例えば、図3で示すように、各機器の模範操作データを時系列グラフとして表示する。図2、3で示すように、運転者による実際の操作データ(図2)と模範操作データ(図3)との間には差異が存在し、当該差異を運転者へ明示的に提示することで運転操作の向上を図ることができる。   The model operation display means 160 displays the model operation data acquired from the driving model model DB 220 on the display device as a time series graph. The exemplary operation display unit 160 may display a graph related to a plurality of devices in a superimposed manner. The exemplary operation display unit 160 displays exemplary operation data of each device as a time-series graph, for example, as shown in FIG. As shown in FIGS. 2 and 3, there is a difference between the actual operation data (FIG. 2) by the driver and the model operation data (FIG. 3), and the difference should be explicitly presented to the driver. With this, driving operation can be improved.

ここで、模範操作表示手段160は、時系列グラフを表示させる都度、模範操作データ生成手段130に模範操作データを生成させて表示させる形態としても良い。また、模範操作表示手段160は、模範操作データ生成手段130により予め生成された複数の模範操作データパターンの中から、ブレーキペダル踏み込み時の車両速度に応じて一の操作データパターンを選択して、当該模範操作データに係る時系列グラフを表示する形態としても良い。   Here, the model operation display unit 160 may generate the model operation data and display the model operation data generation unit 130 each time the time series graph is displayed. Further, the model operation display unit 160 selects one operation data pattern from a plurality of model operation data patterns generated in advance by the model operation data generation unit 130 according to the vehicle speed when the brake pedal is depressed, A time series graph related to the exemplary operation data may be displayed.

そして、本実施の形態に係る運転操作評価装置100は、地図表示手段140により表示される地図と、運転者操作表示手段150により表示される時系列グラフと、模範操作表示手段160により表示される時系列グラフとを、一つの画面に並列して表示する。   The driving operation evaluation apparatus 100 according to the present embodiment is displayed by the map displayed by the map display unit 140, the time series graph displayed by the driver operation display unit 150, and the exemplary operation display unit 160. A time series graph is displayed in parallel on one screen.

運転操作評価装置100は、例えば、図4で示すように、画面左側に地図表示手段140により表示される地図を表示し、画面右側の上方に模範操作表示手段160により表示される時系列グラフを表示し、さらに、画面右側の下方に運転者操作表示手段150により表示される時系列グラフを表示する。   For example, as shown in FIG. 4, the driving operation evaluation apparatus 100 displays a map displayed by the map display unit 140 on the left side of the screen and displays a time series graph displayed by the model operation display unit 160 on the upper right side of the screen. Further, a time series graph displayed by the driver operation display means 150 is displayed below the right side of the screen.

こうすることにより、運転者に対し、特定の場所に関する模範的な運転操作と実際の運転操作との差異を明示的に提示することができる。また、これに地図を連動させることで、さらに、特定の場所における運転の振り返りが可能となり、運転者に対する教示効果が画期的に向上する。   By doing so, the driver can be explicitly presented with a difference between an exemplary driving operation regarding a specific place and an actual driving operation. Further, by linking the map to this, it is possible to look back on driving at a specific place, and the teaching effect for the driver is dramatically improved.

目印表示手段170は、地図表示手段140により表示される地図上に、自車位置を示す目印(自車マーク)を表示する。例えば、目印表示手段170は、図5で示すように、地図上に自車マークを表示する。   The mark display means 170 displays a mark (vehicle mark) indicating the vehicle position on the map displayed by the map display means 140. For example, as shown in FIG. 5, the mark display means 170 displays the vehicle mark on the map.

また、目印表示手段170は、模範操作表示手段160により表示される時系列データ上に、上記地図上に示された自車位置と対応する時点を示す目印(操作目印)を表示する。例えば、目印表示手段170は、図3で示すように操作目印を表示する。そして、目印表示手段170により表示される2つの目印(自車マーク、操作目印)は、時刻の経過と共に地図上及びグラフ上を移動する。こうすることで、運転操作に関する機器について、特定の場所での適切な操作量を、運転者へ容易に理解させることができる。   In addition, the mark display means 170 displays a mark (operation mark) indicating a time point corresponding to the vehicle position indicated on the map on the time-series data displayed by the model operation display means 160. For example, the mark display means 170 displays an operation mark as shown in FIG. Then, the two marks (the own vehicle mark and the operation mark) displayed by the mark display means 170 move on the map and the graph as time passes. By doing so, it is possible to make the driver easily understand the appropriate operation amount at a specific place for the device related to the driving operation.

また、目印表示手段170により表示される目印(自車マーク、操作目印)は、図3、図5に示したようなポインタの形態でも良く、地図上の線や時系列グラフの色が徐々に変化していく形態としても良い。こうすることで、特定の場所における運転の振り返りが可能となり、運転者に対する教示効果を向上させることができる。   Further, the mark (own vehicle mark, operation mark) displayed by the mark display means 170 may be in the form of a pointer as shown in FIGS. 3 and 5, and the colors of the lines on the map and the time series graph gradually change. It may be a form that changes. By doing so, it is possible to look back on driving at a specific place, and to improve the teaching effect for the driver.

また、目印表示手段170は、運転者操作表示手段150により表示される時系列データ上にも、地図上に示された自車位置と対応する時点を示す目印を表示しても良い。   The mark display means 170 may also display a mark indicating the time corresponding to the vehicle position indicated on the map on the time-series data displayed by the driver operation display means 150.

機器画像表示手段180は、ブレーキペダル、アクセルペダル、ステアリング等の運転操作に関する機器の画像であって、各機器の操作量(操作データ)に応じた画像を表示する。つまり、機器画像表示手段180は、各機器の操作量に応じた動画(例えばブレーキペダルが大きく踏み込まれた様子を示す)を表示する。例えば、機器画像表示手180は、ブレーキペダルが大きく踏み込込まれた際には、ブレーキペダルが大きく踏み込まれた画像を表示装置371に表示する。   The device image display means 180 is an image of a device related to a driving operation such as a brake pedal, an accelerator pedal, and a steering wheel, and displays an image corresponding to the operation amount (operation data) of each device. That is, the device image display means 180 displays a moving image (for example, showing a state where the brake pedal is greatly depressed) according to the operation amount of each device. For example, the device image display hand 180 displays on the display device 371 an image in which the brake pedal is greatly depressed when the brake pedal is largely depressed.

また、機器画像表示手段180は、目印表示手段170により表示される目印(自車マーク又は操作目印)が示す位置又は時点と連動して、上記機器の画像を表示する。さらに、機器画像表示手段180は、運転者操作表示手段150及び模範操作表示手段160により表示される時系列グラフと並列して上記機器の画像を表示する(図2、3中に示す各機器に関する画像を参照)。こうすることで、模範的な機器の操作量と実際の操作量の差異を、より分かり易く運転者に教示することができる。   The device image display unit 180 displays the image of the device in conjunction with the position or time point indicated by the mark (the vehicle mark or the operation mark) displayed by the mark display unit 170. Further, the device image display unit 180 displays the image of the device in parallel with the time series graph displayed by the driver operation display unit 150 and the model operation display unit 160 (related to each device shown in FIGS. 2 and 3). See image). In this way, the driver can be more easily informed of the difference between the model device operation amount and the actual operation amount.

警告報知手段190は、運転者の操作データに基づき、警告音をスピーカ372から出力する。具体的には、警告報知手段190は、運転者の操作データが一定の閾値を超えた場合に、警告音を出力する。例えば、警告報知手段190は、運転者がステアリングを急に切った場合、急ブレーキ、急発進を行った場合等に、警告音を出力する。警告報知手段190は、操作データに関する機器に合わせて、複数の警告音を使い分けて報知する形態としても良い。例えば、急ハンドル、急ブレーキ、急アクセルで警告音を使い分けることが考えられる。こうすることで、運転者に対し、実際の運転操作に関する問題点を効果的に教示することができる。   The warning notification unit 190 outputs a warning sound from the speaker 372 based on the operation data of the driver. Specifically, the warning notification unit 190 outputs a warning sound when the driver's operation data exceeds a certain threshold value. For example, the warning notification unit 190 outputs a warning sound when the driver suddenly turns off the steering wheel, sudden braking, sudden start, or the like. The warning notification unit 190 may be configured to notify a plurality of warning sounds properly according to the device related to the operation data. For example, it is conceivable to use different warning sounds for sudden steering, sudden braking, and sudden acceleration. By doing so, it is possible to effectively teach the driver about the problems related to the actual driving operation.

アドバイス表示手段200は、運転者操作表示手段150及び模範操作表示手段160により表示される時系列グラフと並列して、運転操作に関するアドバイスを表示する。また、アドバイス表示手段200は、目印表示手段170により表示される目印(自車マーク又は操作目印)の移動に伴い、当該目印が示す位置又は時点の運転環境に応じた種々のアドバイスを表示する。こうすることで、運転環境に応じた運転操作に関するアドバイスを適切に提示することができる。   The advice display unit 200 displays advice related to the driving operation in parallel with the time series graph displayed by the driver operation display unit 150 and the exemplary operation display unit 160. The advice display unit 200 displays various advices according to the driving environment at the position indicated by the mark or the time point as the mark (the vehicle mark or the operation mark) displayed by the mark display unit 170 moves. By doing so, it is possible to appropriately present advice relating to the driving operation according to the driving environment.

ここで、運転操作評価装置100は、運転操作評価手段120による評価が低かった場合に限り、上記各手段が処理を行う形態としても良い。こうすることで、運転操作の評価が低かった場所における運転者の操作状態と模範操作状態とを容易に比較して提示することができ、運転者に対する教示効果をより向上させることができる。   Here, the driving operation evaluation device 100 may be configured such that each of the above units performs processing only when the evaluation by the driving operation evaluation unit 120 is low. By doing so, it is possible to easily compare and present the operation state of the driver and the exemplary operation state in a place where the evaluation of the driving operation is low, and it is possible to further improve the teaching effect for the driver.

以下で、運転操作評価装置100の処理の流れを説明する。はじめに、運転者が通常の運転操作を行っている間の処理について説明する。運転者操作データ記録手段110が、運転者による車両300の運転操作が行われている間、車両情報認識ECU500が有する各センサから操作データを取得し、当該操作データをドライバ現状モデルDB210に記録する。   Below, the flow of a process of the driving operation evaluation apparatus 100 is demonstrated. First, processing while the driver is performing a normal driving operation will be described. The driver operation data recording unit 110 acquires operation data from each sensor of the vehicle information recognition ECU 500 while the driver is driving the vehicle 300, and records the operation data in the driver current model DB 210. .

また、上記処理と平行して、運転操作評価手段120が、ドライバ現状モデルDB210に記憶される操作データに基づき、運転操作の評価を行う。そして、運転操作評価手段120が、ナビゲーション装置360が表示する地図上に、運転操作の評価を行った目印(運転操作評価フラグ)を表示する。一方、模範操作データ生成手段130が、交差点やカーブ毎に、模範的運転操作を行った場合の操作データを生成し、運転規範モデルDB220に記録する。   In parallel with the above processing, the driving operation evaluation unit 120 evaluates the driving operation based on the operation data stored in the driver current model DB 210. Then, the driving operation evaluation unit 120 displays a mark (driving operation evaluation flag) on which the driving operation is evaluated on the map displayed by the navigation device 360. On the other hand, the model operation data generation unit 130 generates operation data when the model driving operation is performed for each intersection or curve, and records the generated operation data in the driving model model DB 220.

ここからは、運転者が、運転操作評価手段120により表示された運転操作評価フラグを選択した後の処理に関して説明する。地図表示手段140が、ナビゲーション装置360から、上記選択された運転操作評価フラグに関する評価区間についての地図情報を取得し、その地図情報を表示装置371に表示する。   From here, the processing after the driver selects the driving operation evaluation flag displayed by the driving operation evaluation means 120 will be described. The map display means 140 acquires map information about the evaluation section related to the selected driving operation evaluation flag from the navigation device 360, and displays the map information on the display device 371.

また、運転者操作表示手段150が、ドライバ現状モデルDB210から、上記選択された運転操作評価フラグに関する評価区間についての運転者の操作データを取得し、その操作データに関する時系列グラフを表示装置371に表示する。さらに、模範操作表示手段160が、運転規範モデルDB220から、上記選択された運転操作評価フラグに関する評価区間についての模範操作データを取得し、この操作データに関する時系列グラフを表示装置371に表示する。   Further, the driver operation display means 150 acquires driver operation data for the evaluation section related to the selected driving operation evaluation flag from the driver current model DB 210, and displays a time series graph regarding the operation data on the display device 371. indicate. Further, the model operation display unit 160 acquires model operation data regarding the evaluation section related to the selected driving operation evaluation flag from the driving model model DB 220 and displays a time series graph regarding the operation data on the display device 371.

ここで、運転操作評価装置100は、地図表示手段140が表示する地図と、運転者操作表示手段150が表示する時系列グラフと、模範操作表示手段160が表示する時系列グラフとを、一の画面に並列して表示する(図4に例示)。   Here, the driving operation evaluation apparatus 100 uses a map displayed by the map display unit 140, a time series graph displayed by the driver operation display unit 150, and a time series graph displayed by the model operation display unit 160 as one. They are displayed in parallel on the screen (illustrated in FIG. 4).

また、目印表示手段170が、上記地図上に自車位置を示す目印(自車マーク)と、上記模範的運転操作に関する時系列データ上に当該自車位置に対応する時点の目印(操作目印)を表示する。そして、機器画像表示手段180が、上記時系列グラフと並列して、上記目印(自車マーク又は操作目印)が示す時点の操作データに対応した機器の画像を表示する。つまり、機器画像表示手段180は、各機器の操作量に応じた動画(例えばブレーキペダルが大きく踏み込まれた様子を示す)を表示する。   In addition, the mark display means 170 has a mark (vehicle mark) indicating the vehicle position on the map, and a mark (operation mark) at the time corresponding to the vehicle position on the time series data related to the exemplary driving operation. Is displayed. And the apparatus image display means 180 displays the image of the apparatus corresponding to the operation data at the time point which the said mark (own vehicle mark or operation mark) shows in parallel with the said time series graph. That is, the device image display means 180 displays a moving image (for example, showing a state where the brake pedal is greatly depressed) according to the operation amount of each device.

また、警告報知手段190が、上記目印(自車マーク又は操作目印)が示す時点の運転者に関する操作データが一定の閾値を超えた場合に、スピーカ372から警告音を報知する。また、アドバイス表示手段200が、上記時系列グラフと並列して、運転操作に関するアドバイスを表示装置371に表示する。   Further, the warning notification unit 190 notifies the warning sound from the speaker 372 when the operation data regarding the driver at the time indicated by the mark (the vehicle mark or the operation mark) exceeds a certain threshold value. Moreover, the advice display means 200 displays the advice regarding driving operation on the display device 371 in parallel with the time series graph.

この様な処理をすることによって、本発明に関する運転操作評価装置100は、地図と模範的運転操作と運転者の運転操作とを並列して提示することにより、各地点での運転の振り返りを可能とし、運転者に対する教示効果を向上させることができる。   By performing such processing, the driving operation evaluation device 100 according to the present invention can reflect the driving at each point by presenting the map, the exemplary driving operation, and the driving operation of the driver in parallel. Thus, the teaching effect for the driver can be improved.

(本実施の形態に係る運転操作評価装置のハードウェア構成)
図6を用いて、本実施の形態に係る運転操作評価装置のハードウェア構成について説明する。図6は、本実施の形態に係る運転操作評価装置100のハードウェア構成の一例を示す図である。
(Hardware configuration of the driving operation evaluation apparatus according to the present embodiment)
The hardware configuration of the driving operation evaluation apparatus according to the present embodiment will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of a hardware configuration of the driving operation evaluation apparatus 100 according to the present embodiment.

運転操作評価装置100は、CPU(Central Processing Unit)310、ROM(Read−Only Memory)320、RAM(Ramdom Access Memory)330、HDD(Hard Disk Drive)340、各種センサ350、ナビゲーション装置360、出力装置370を有する。   The driving operation evaluation apparatus 100 includes a CPU (Central Processing Unit) 310, a ROM (Read-Only Memory) 320, a RAM (Random Access Memory) 330, an HDD (Hard Disk Drive) 340, various sensors 350, a navigation device 360, and an output device. 370.

CPU310は、ROM320に記憶されたプログラムを実行する装置で、RAM330に展開(ロード)されたデータを、プログラムの命令に従って演算処理し、運転操作評価装置100の全体を制御する。ROM320は、CPU310が実行するプログラムやデータを記憶している。RAM330は、CPU310でROM320に記憶されたプログラムを実行する際に、実行するプログラムやデータが展開(ロード)され、演算の間、演算データを一時的に保持する。   The CPU 310 is a device that executes a program stored in the ROM 320, and performs arithmetic processing on the data expanded (loaded) in the RAM 330 in accordance with the instructions of the program, thereby controlling the entire driving operation evaluation device 100. The ROM 320 stores programs and data executed by the CPU 310. When the program stored in the ROM 320 is executed by the CPU 310, the RAM 330 is loaded (loaded) with the program and data to be executed, and temporarily holds the operation data during the operation.

HDD340は、基本ソフトウェアであるOS(Operating System)、本実施の形態に関係するアプリケーションプログラムや機能拡張用のプラグインなどを、関連するデータとともに記憶する装置である。また、本実施の形態では、HDD340には、ドライバ現状モデルDB210、運転規範モデルDB220が記憶されている。   The HDD 340 is a device for storing an OS (Operating System) that is basic software, an application program related to the present embodiment, a plug-in for function expansion, and the like together with related data. In the present embodiment, the HDD 340 stores a driver current model DB 210 and an operation model model DB 220.

各種センサ350は、車両300の動作に関する情報や車両300が有する運転操作に関わる機器の操作量を時系列データとして取得する装置である。本実施の形態では、各種センサ350として、舵角センサ351、アクセル開度センサ352、ブレーキ踏み込み度センサ353、前後・左右・上下Gセンサ354、ウィンカ操作センサ355、車速センサ356がある。   The various sensors 350 are devices that acquire, as time-series data, information related to the operation of the vehicle 300 and device operation amounts related to driving operations of the vehicle 300. In the present embodiment, the various sensors 350 include a steering angle sensor 351, an accelerator opening sensor 352, a brake depression degree sensor 353, a front / rear / left / right / up / down G sensor 354, a winker operation sensor 355, and a vehicle speed sensor 356.

出力装置370は、表示装置371、スピーカ372のように、音声データ又は画像データを運転操作評価装置100の外部に出力する装置である。表示装置371は、ハードキーによるキースイッチとLCD(Liquid Crystal Display)とから構成され、運転操作評価装置100が有する機能をユーザが利用する際や、各種設定を行う際などのユーザインタフェースとして機能する装置である。また、表示装置371には、ナビゲーション装置360により運転者にルート案内をするための地図等の画像データが表示される。また、スピーカ372では、ナビゲーション装置360により運転者にルート案内をするための音声案内に関する音声データが出力される。   The output device 370 is a device that outputs audio data or image data to the outside of the driving operation evaluation device 100, such as a display device 371 and a speaker 372. The display device 371 includes a key switch using hard keys and an LCD (Liquid Crystal Display), and functions as a user interface when the user uses the functions of the driving operation evaluation device 100 or when performing various settings. Device. The display device 371 displays image data such as a map for route guidance to the driver by the navigation device 360. The speaker 372 outputs voice data related to voice guidance for route guidance to the driver by the navigation device 360.

運転操作評価装置100の各手段は、CPU210が、ROM220又はHDD240に記憶された各手段に対応するプログラムを実行することにより実現される。   Each means of the driving operation evaluation apparatus 100 is realized by the CPU 210 executing a program corresponding to each means stored in the ROM 220 or the HDD 240.

(運転操作評価装置の動作処理(その1))
図7を用いて、本実施の形態に係る運転操作評価装置の動作処理(その1)を説明する。図7は、本実施の形態に係る運転操作評価装置100の処理例(その1)を示すフローチャートである。
(Operation processing of driving operation evaluation device (part 1))
The operation process (part 1) of the driving operation evaluation apparatus according to the present embodiment will be described with reference to FIG. FIG. 7 is a flowchart showing a processing example (part 1) of the driving operation evaluation apparatus 100 according to the present embodiment.

はじめに運転者の操作データを蓄積し、当該操作データの評価を行う第1のフェーズを説明した後、運転者に対して、地図情報、模範操作データ、及び実際の操作データを同時に提示する第2のフェーズについて説明する。また、模範操作表示手段160により表示される時系列グラフに係る操作データは、当該模範操作表示手段160による表示処理が行われる都度、模範操作データ生成手段130によって生成されるものとする。   First, after accumulating the operation data of the driver and explaining the first phase in which the operation data is evaluated, the second is to simultaneously present the map information, the model operation data, and the actual operation data to the driver. The phase of will be described. Further, the operation data related to the time series graph displayed by the exemplary operation display unit 160 is generated by the exemplary operation data generation unit 130 every time display processing by the exemplary operation display unit 160 is performed.

S1で運転操作評価装置100は処理を開始する。例えば、IGオン時もしくは運転者による開始処理(ナビ画面上に開始スイッチが備えられている等)が行われた場合に、運転操作評価装置100は処理を開始する。   In S1, the driving operation evaluation apparatus 100 starts processing. For example, the driving operation evaluation device 100 starts the process when the IG is turned on or when a start process is performed by the driver (a start switch is provided on the navigation screen).

S2で運転操作データ記録手段110が、車両情報認識ECU500を構成する各センサから運転者の操作データを取得し、当該操作データをドライバ現状モデルDB210に記録する。   In S <b> 2, the driving operation data recording unit 110 acquires the driver's operation data from each sensor constituting the vehicle information recognition ECU 500, and records the operation data in the driver current model DB 210.

S3で運転操作評価手段120が、ドライバ現状モデルDB210に記憶されている運転者の操作データに基づき、運転操作の評価を行う。そして、運転操作評価手段120は、当該評価を行う毎に、ナビゲーション装置360が表示する地図上に、当該評価に対応する目印(運転操作評価フラグ)を表示する。ここで、運転者が、ナビゲーション装置360が表示する地図上にある上記評価に対応する運転操作評価フラグを選択したものとする。   In S <b> 3, the driving operation evaluation unit 120 evaluates the driving operation based on the driver operation data stored in the driver current model DB 210. And every time the said evaluation is performed, the driving operation evaluation means 120 displays the mark (driving operation evaluation flag) corresponding to the said evaluation on the map which the navigation apparatus 360 displays. Here, it is assumed that the driver has selected a driving operation evaluation flag corresponding to the evaluation on the map displayed by the navigation device 360.

S4で地図表示手段140と運転者操作表示手段150と模範操作表示手段160とが、運転者が選択した上記運転操作評価フラグに対応する評価区間に関する情報を取得する。   In S4, the map display means 140, the driver operation display means 150, and the model operation display means 160 acquire information related to the evaluation section corresponding to the driving operation evaluation flag selected by the driver.

S5で模範データ生成手段130が、上記評価区間において模範的な運転操作を行った場合の操作データ(模範操作データ)を生成し、運転規範モデルDB220に記録する。   In S <b> 5, the model data generation unit 130 generates operation data (model operation data) when the model driving operation is performed in the evaluation section, and records it in the driving model model DB 220.

S6で地図表示手段140が、ナビゲーション装置360から上記評価区間に対応する地図情報を取得し、図4における地図画面の位置に、当該地図情報に関する地図を表示する。   In S6, the map display means 140 acquires map information corresponding to the evaluation section from the navigation device 360, and displays a map related to the map information at the position of the map screen in FIG.

またS6で模範操作表示手段160が、運転規範モデルDB220から上記評価区間に対応する模範操作データを取得し、図4における模範操作データ画面の位置に、当該模範操作データを時系列グラフで表示する。   In S6, the model operation display unit 160 acquires model operation data corresponding to the evaluation section from the driving model model DB 220, and displays the model operation data in a time series graph at the position of the model operation data screen in FIG. .

またS6で運転者操作表示手段150が、ドライバ現状モデルDB210から上記評価期間に対応する運転者の操作データを取得し、図4における運転者操作データ画面の位置に、当該運転者の操作データを時系列グラフで表示する。   In S6, the driver operation display means 150 acquires the driver operation data corresponding to the evaluation period from the driver current model DB 210, and the driver operation data is displayed at the position of the driver operation data screen in FIG. Display in time series graph.

S6で表示される上記地図、模範操作を示す時系列グラフ及び運転者の操作を示す時系列グラフは、上記の通り、同一画面に並列して表示される。   The map displayed in S6, the time series graph indicating the model operation, and the time series graph indicating the operation of the driver are displayed in parallel on the same screen as described above.

S7で目印表示手段170が、地図表示手段140により表示された地図上に、図5に示すような自車マークを表示する。また、目印表示手段170が、模範操作表示手段160により表示された時系列グラフ上に、上記自車マークが示す位置に対応した時点の操作目印を表示する。また、目印表示手段170は、上記自車マーク及び操作目印を、評価区間の開始時点から終了時点に向かって移動するように表示する。   In S7, the mark display means 170 displays the vehicle mark as shown in FIG. 5 on the map displayed by the map display means 140. Further, the mark display means 170 displays the operation mark at the time corresponding to the position indicated by the vehicle mark on the time series graph displayed by the model operation display means 160. The mark display means 170 displays the vehicle mark and the operation mark so as to move from the start point of the evaluation section to the end point.

またS7で機器画面表示手段180が、図4における模範操作データ画面及び運転者操作データ画面に、運転操作に関する機器(ブレーキペダル、アクセルペダル、ステアリング等)に関する画像であって、上記自車マーク又は操作目印が示す時点の操作データ(各機器の操作量)に応じた画像を表示する。つまり、機器画像表示手段180は、各機器の操作量に応じた動画(例えばブレーキペダルが大きく踏み込まれた様子を示す)を表示する。   In S7, the device screen display means 180 is an image related to devices related to driving operations (brake pedal, accelerator pedal, steering, etc.) on the model operation data screen and driver operation data screen in FIG. An image corresponding to the operation data (operation amount of each device) at the time indicated by the operation mark is displayed. That is, the device image display means 180 displays a moving image (for example, showing a state where the brake pedal is greatly depressed) according to the operation amount of each device.

またS7で警告報知手段190が、上記自車マーク又は操作目印が示す時点の運転者の操作データ(各機器の操作量)が一定の閾値を超えた場合に、スピーカ372から警告音を報知する。   In S7, the warning notification unit 190 notifies the warning sound from the speaker 372 when the driver's operation data (the amount of operation of each device) at the time indicated by the vehicle mark or the operation mark exceeds a certain threshold value. .

またS7でアドバイス表示手段200が、上記自車マーク又は操作目印が示す時点に応じて、図4の地図画面、模範操作データ画面、運転者操作データ画面と並列に、運転操作のアドバイス情報を表示する。   In S7, the advice display unit 200 displays driving operation advice information in parallel with the map screen, model operation data screen, and driver operation data screen of FIG. 4 according to the time point indicated by the vehicle mark or the operation mark. To do.

S8で運転操作評価装置100が処理終了の命令を受信した場合(S8でYesの場合)、S9で運転操作評価装置100は処理を終了する。   When the driving operation evaluation apparatus 100 receives a process end command in S8 (Yes in S8), the driving operation evaluation apparatus 100 ends the process in S9.

S8で運転操作評価装置100が処理終了の命令を受信しない場合(S8でNoの場合)、S2で運転操作評価装置100は待機する。   When the driving operation evaluation device 100 does not receive the processing end command in S8 (No in S8), the driving operation evaluation device 100 stands by in S2.

なお、本件のメイン実施例は実際の車両に搭載されたとして説明をしているが、その他にドライビングシミュレーターを本件のような構成とすることも可能である。   Although the main embodiment of the present embodiment is described as being mounted on an actual vehicle, a driving simulator may be configured as described above.

(運転操作評価装置の動作処理(その2))
図8を用いて、本実施の形態に係る運転操作評価装置の動作処理(その2)を説明する。図8は、本実施の形態に係る運転操作評価装置100の処理例(その2)を示すフローチャートである。
(Operation processing of driving operation evaluation device (part 2))
The operation process (part 2) of the driving operation evaluation apparatus according to the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing a processing example (part 2) of the driving operation evaluation apparatus 100 according to the present embodiment.

はじめに運転者の操作データを蓄積し、当該操作データの評価を行う第1のフェーズを説明した後、運転者に対して、地図情報、模範操作データ、及び実際の操作データを同時に提示する第2のフェーズについて説明する。また、上記処理例(その1)と異なる点は、模範操作データ生成手段130により予め複数の操作データを生成しデータベースに記憶させておいて、模範操作表示手段160による表示処理が行われる際には、当該データベースから適当な操作データを選択して表示する処理が行われる点である。   First, after accumulating the operation data of the driver and explaining the first phase in which the operation data is evaluated, the second is to simultaneously present the map information, the model operation data, and the actual operation data to the driver. The phase of will be described. Further, the difference from the above processing example (No. 1) is that a plurality of operation data is generated in advance by the model operation data generation unit 130 and stored in the database, and the display process by the model operation display unit 160 is performed. Is a process of selecting and displaying appropriate operation data from the database.

S11で運転操作評価装置100は処理を開始する。例えば、IGオン時もしくは運転者による開始処理(ナビ画面上に開始スイッチが備えられている等)が行われた場合に、運転操作評価装置100は処理を開始する。   In S11, the driving operation evaluation apparatus 100 starts processing. For example, the driving operation evaluation device 100 starts the process when the IG is turned on or when a start process is performed by the driver (a start switch is provided on the navigation screen).

S12で運転操作データ記録手段110が、車両情報認識ECU500を構成する各センサから運転者の操作データを取得し、当該操作データをドライバ現状モデルDB210に記録する。   In S12, the driving operation data recording unit 110 acquires the driver's operation data from each sensor constituting the vehicle information recognition ECU 500, and records the operation data in the driver current model DB 210.

S13で運転操作評価手段120が、ドライバ現状モデルDB210に記憶されている運転者の操作データに基づき、運転操作の評価を行う。そして、運転操作評価手段120は、当該評価を行う毎に、ナビゲーション装置360が表示する地図上に、当該評価に対応する目印(運転操作評価フラグ)を表示する。   In S13, the driving operation evaluation unit 120 evaluates the driving operation based on the operation data of the driver stored in the driver current model DB 210. And every time the said evaluation is performed, the driving operation evaluation means 120 displays the mark (driving operation evaluation flag) corresponding to the said evaluation on the map which the navigation apparatus 360 displays.

S14で模範データ生成手段130が、上記運転操作評価フラグに対応する交差点又はカーブについて、模範的な運転操作を行った場合の操作データ(模範操作データ)を生成し、運転規範モデルDB220に記録する。ここで、模範データ生成手段130は、ブレーキ踏み込み時の車速に応じて、複数の模範操作データのパターンを生成する。ここで、運転者が、ナビゲーション装置360が表示する地図上にある上記評価に対応する運転操作評価フラグを選択したものとする。   In S14, the model data generating unit 130 generates operation data (exemplary operation data) when an exemplary driving operation is performed for an intersection or a curve corresponding to the driving operation evaluation flag, and records the generated operation data in the driving norm model DB 220. . Here, the model data generating means 130 generates a plurality of model operation data patterns according to the vehicle speed when the brake is depressed. Here, it is assumed that the driver has selected a driving operation evaluation flag corresponding to the evaluation on the map displayed by the navigation device 360.

S15で地図表示手段140と運転者操作表示手段150と模範操作表示手段160とが、運転者が選択した上記運転操作評価フラグに対応する評価区間に関する情報を取得する。   In S15, the map display means 140, the driver operation display means 150, and the model operation display means 160 acquire information related to the evaluation section corresponding to the driving operation evaluation flag selected by the driver.

S16で地図表示手段140が、ナビゲーション装置360から上記評価区間に対応する地図情報を取得し、図4における地図画面の位置に、当該地図情報に関する地図を表示する。   In S16, the map display means 140 acquires map information corresponding to the evaluation section from the navigation device 360, and displays a map related to the map information at the position of the map screen in FIG.

またS16で模範操作表示手段160が、運転規範モデルDB220から上記評価区間に対応し、かつ、ブレーキ踏み込み時の車速に応じた模範操作データを取得し、図4における模範操作データ画面の位置に、当該模範操作データを時系列グラフで表示する。   Also, in S16, the model operation display means 160 acquires model operation data corresponding to the evaluation section and corresponding to the vehicle speed when the brake is depressed from the driving norm model DB 220, and at the position of the model operation data screen in FIG. The model operation data is displayed in a time series graph.

またS16で運転者操作表示手段150が、ドライバ現状モデルDB210から上記評価期間に対応する運転者の操作データを取得し、図4における運転者操作データ画面の位置に、当該運転者の操作データを時系列グラフで表示する。   In S16, the driver operation display means 150 acquires the driver operation data corresponding to the evaluation period from the driver current model DB 210, and the driver operation data is displayed at the position of the driver operation data screen in FIG. Display in time series graph.

S16で表示される上記地図及び時系列グラフは、上記の通り、同一画面に並列して表示される。   The map and time series graph displayed in S16 are displayed in parallel on the same screen as described above.

S17で目印表示手段170が、地図表示手段140により表示された地図上に、図5に示すような自車マークを表示する。また、目印表示手段170が、模範操作表示手段160により表示された時系列グラフ上に、上記自車マークが示す位置に対応した時点の操作目印を表示する。また、目印表示手段170は、上記自車マーク及び操作目印を、評価区間の開始時点から終了時点に向かって移動するように表示する。   In S <b> 17, the mark display unit 170 displays the vehicle mark as shown in FIG. 5 on the map displayed by the map display unit 140. Further, the mark display means 170 displays the operation mark at the time corresponding to the position indicated by the vehicle mark on the time series graph displayed by the model operation display means 160. The mark display means 170 displays the vehicle mark and the operation mark so as to move from the start point of the evaluation section to the end point.

またS17で機器画面表示手段180が、図4における模範操作データ画面及び運転者操作データ画面に、運転操作に関する機器(ブレーキペダル、アクセルペダル、ステアリング等)に関する画像であって、上記自車マーク又は操作目印が示す時点の操作データ(各機器の操作量)に応じた画像を表示する。つまり、機器画像表示手段180は、各機器の操作量に応じた動画(例えばブレーキペダルが大きく踏み込まれた様子を示す)を表示する。   In S17, the device screen display means 180 is an image related to devices related to driving operations (brake pedal, accelerator pedal, steering, etc.) on the model operation data screen and the driver operation data screen in FIG. An image corresponding to the operation data (operation amount of each device) at the time indicated by the operation mark is displayed. That is, the device image display means 180 displays a moving image (for example, showing a state where the brake pedal is greatly depressed) according to the operation amount of each device.

またS17で警告報知手段190が、上記自車マーク又は操作目印が示す時点の運転者の操作データ(各機器の操作量)が一定の閾値を超えた場合に、スピーカ372から警告音を報知する。   In S17, the warning notification unit 190 notifies the warning sound from the speaker 372 when the driver's operation data (the amount of operation of each device) at the time indicated by the vehicle mark or the operation mark exceeds a certain threshold. .

またS17でアドバイス表示手段200が、上記自車マーク又は操作目印が示す時点に応じて、図4の地図画面、模範操作データ画面、運転者操作データ画面と並列に、運転操作のアドバイス情報を表示する。   In S17, the advice display unit 200 displays driving operation advice information in parallel with the map screen, model operation data screen, and driver operation data screen of FIG. 4 according to the time point indicated by the vehicle mark or the operation mark. To do.

S18で運転操作評価装置100が処理終了の命令を受信した場合(S18でYesの場合)、S19で運転操作評価装置100は処理を終了する。   When the driving operation evaluation apparatus 100 receives a process end command in S18 (Yes in S18), the driving operation evaluation apparatus 100 ends the process in S19.

S18で運転操作評価装置100が処理終了の命令を受信しない場合(S18でNoの場合)、S12で運転操作評価装置100は待機する。   If the driving operation evaluation device 100 does not receive the processing end command in S18 (No in S18), the driving operation evaluation device 100 stands by in S12.

なお、本件のメイン実施例は実際の車両に搭載されたとして説明をしているが、その他にドライビングシミュレーターを本件のような構成とすることも可能である。   Although the main embodiment of the present embodiment is described as being mounted on an actual vehicle, a driving simulator may be configured as described above.

(総括)
上記のように、本発明に係る運転操作評価装置100は、地図と模範的運転操作と運転者の運転操作とを並列して提示することにより、各地点での運転の振り返りを可能とし、運転者に対する教示効果を向上させることができる。
以上、本発明の実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲において、種々の変形・変更が可能である。
(Summary)
As described above, the driving operation evaluation device 100 according to the present invention enables a look back on driving at each point by presenting a map, an exemplary driving operation, and a driving operation of the driver in parallel. The teaching effect for the person can be improved.
Although the embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and various modifications are possible within the scope of the gist of the present invention described in the claims.・ Change is possible.

本実施の形態に係る運転操作評価装置の動作原理を説明する図である。It is a figure explaining the principle of operation of the driving operation evaluation device concerning this embodiment. 本実施の形態に係る運転者操作データの表示例を示す図である。It is a figure which shows the example of a display of the driver operation data which concerns on this Embodiment. 本実施の形態に係る模範操作データの表示例を示す図である。It is a figure which shows the example of a display of model operation data which concerns on this Embodiment. 本実施の形態に係る地図と2つの操作データとが1つの画面上に同時に表示される例を示す図である。It is a figure which shows the example which displays simultaneously the map and two operation data which concern on this Embodiment on one screen. 本実施の形態に係る地図における自車位置を示す目印の一例を示す図である。It is a figure which shows an example of the mark which shows the own vehicle position in the map which concerns on this Embodiment. 本実施の形態に係る運転操作評価装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the driving operation evaluation apparatus which concerns on this Embodiment. 本実施の形態に係る運転操作評価装置の処理例(その1)を示すフローチャートである。It is a flowchart which shows the process example (the 1) of the driving operation evaluation apparatus which concerns on this Embodiment. 本実施の形態に係る運転操作評価装置の処理例(その2)を示すフローチャートである。It is a flowchart which shows the process example (the 2) of the driving operation evaluation apparatus which concerns on this Embodiment.

符号の説明Explanation of symbols

100 運転操作評価装置
110 運転者操作データ記録手段
120 運転操作評価手段
130 模範操作データ生成手段
140 地図表示手段
150 運転者操作表示手段
160 模範操作表示手段
170 目印表示手段
180 機器画像表示手段
190 警告報知手段
200 アドバイス表示手段
210 ドライバ現状モデルDB
220 運転規範モデルDB
310 CPU
320 ROM
330 RAM
340 HDD
350 各種センサ
351 舵角センサ
352 アクセル開度センサ
353 ブレーキ踏み込み度センサ
354 前後・左右・上下Gセンサ
355 ウィンカ操作センサ
356 車速センサ
360 ナビゲーション装置
370 出力装置
371 表示装置
372 スピーカ
400 環境情報認識ECU
500 車両情報認識ECU
600 運転支援ECU
DESCRIPTION OF SYMBOLS 100 Driving operation evaluation apparatus 110 Driver operation data recording means 120 Driving operation evaluation means 130 Model operation data generation means 140 Map display means 150 Driver operation display means 160 Model operation display means 170 Mark display means 180 Equipment image display means 190 Warning notification Means 200 Advice display means 210 Driver current model DB
220 Driving model DB
310 CPU
320 ROM
330 RAM
340 HDD
350 Various sensors 351 Rudder angle sensor 352 Accelerator opening sensor 353 Brake depression sensor 354 Front / rear / left / right / up / down G sensor 355 Winker operation sensor 356 Vehicle speed sensor 360 Navigation device 370 Output device 371 Display device 372 Speaker 400 Environmental information recognition ECU
500 Vehicle information recognition ECU
600 Driving assistance ECU

Claims (6)

表示装置と、
地図画面を前記表示装置の表示画面における第1の領域に表示させる地図表示手段と、
車両を運転する運転者が操作デバイスに対して行った操作データを取得する操作データ取得手段と、
所定の地点で運転者の運転操作を評価すると共に、該運転操作の評価を行った地点を示す目印を前記地図画面上に表示させる運転操作評価手段と、
ユーザにより前記地図画面上で選択された目印の示す地点において前記操作データ取得手段により取得された操作データの第1の時系列グラフを前記表示装置の表示画面における第2の領域に表示させる運転者操作表示手段と、
前記ユーザにより前記地図画面上で選択された目印の示す地点に関する模範的な操作データに関する第2の時系列グラフを前記表示装置の表示画面における前記第2の領域とは異なる第3の領域に表示させる模範操作表示手段と、
を有し、
前記第1の領域、前記第2の領域、及び前記第3の領域を、前記表示装置における一の画面に並列して表示する運転操作評価装置。
A display device;
Map display means for displaying a map screen in a first area of the display screen of the display device;
Operation data obtaining means for obtaining operation data performed by the driver driving the vehicle on the operation device;
Driving operation evaluation means for evaluating the driving operation of the driver at a predetermined point and displaying a mark indicating the point where the driving operation is evaluated on the map screen;
A driver for displaying a first time-series graph of operation data acquired by the operation data acquisition means in a second area on the display screen of the display device at a point indicated by a mark selected by the user on the map screen. Operation display means;
A second time-series graph related to exemplary operation data related to a point indicated by the mark selected on the map screen by the user is displayed in a third area different from the second area on the display screen of the display device. An exemplary operation display means for
Have
The driving operation evaluation device that displays the first region, the second region, and the third region in parallel on one screen of the display device.
前記地図表示手段により表示される前記地図画面上において所定の位置を示す第2の目印と、前記模範操作表示手段により表示される前記第2の時系列グラフ上に前記所定の位置に対応した時点の第3の目印とを表示する目印表示手段を有することを特徴とする請求項1に記載の運転操作評価装置。   A second mark indicating a predetermined position on the map screen displayed by the map display means, and a time point corresponding to the predetermined position on the second time-series graph displayed by the exemplary operation display means The driving operation evaluation apparatus according to claim 1, further comprising a mark display means for displaying the third mark. 前記車両の運転操作に関する機器の画像であって、前記時点の前記操作データに対応する前記機器の画像を、前記第1の時系列グラフ及び前記第2の時系列グラフと並列して表示する機器画像表示手段を有することを特徴とする請求項2に記載の運転操作評価装置。 An image of a device related to the driving operation of the vehicle, wherein the device image corresponding to the operation data at the time point is displayed in parallel with the first time series graph and the second time series graph. The driving operation evaluation apparatus according to claim 2, further comprising an image display unit. 前記操作データ取得手段が操作データを取得した地点における前記車両の速度に基づいて、前記模範的な運転操作をした場合の操作データを生成する模範操作データ生成手段を有することを特徴とする請求項1乃至3のいずれか一に記載の運転操作評価装置。   The model operation data generation unit configured to generate operation data when the exemplary driving operation is performed based on a speed of the vehicle at a point where the operation data acquisition unit acquires the operation data. The driving operation evaluation apparatus according to any one of 1 to 3. 前記運転者の操作データに基づき、警告音を報知する警告報知手段を有することを特徴とする請求項1乃至4のいずれか一に記載の運転操作評価装置。   5. The driving operation evaluation apparatus according to claim 1, further comprising warning notifying means for notifying a warning sound based on the operation data of the driver. 前記所定の位置に応じた前記運転操作に関する情報を、前記第1及び第2の時系列グラフと並列して表示するアドバイス表示手段を有することを特徴とする請求項2記載の運転操作評価装置。 The driving operation evaluation apparatus according to claim 2, further comprising advice display means for displaying information related to the driving operation according to the predetermined position in parallel with the first and second time series graphs.
JP2008144908A 2008-06-02 2008-06-02 Driving operation evaluation device Expired - Fee Related JP5133784B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008144908A JP5133784B2 (en) 2008-06-02 2008-06-02 Driving operation evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008144908A JP5133784B2 (en) 2008-06-02 2008-06-02 Driving operation evaluation device

Publications (2)

Publication Number Publication Date
JP2009294250A JP2009294250A (en) 2009-12-17
JP5133784B2 true JP5133784B2 (en) 2013-01-30

Family

ID=41542519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008144908A Expired - Fee Related JP5133784B2 (en) 2008-06-02 2008-06-02 Driving operation evaluation device

Country Status (1)

Country Link
JP (1) JP5133784B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680888A (en) * 2015-03-17 2015-06-03 郭玉 Teaching tool for fresh drivers

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5856387B2 (en) 2011-05-16 2016-02-09 トヨタ自動車株式会社 Vehicle data analysis method and vehicle data analysis system
CN103714731A (en) * 2013-12-31 2014-04-09 江苏中寰卫星导航通信有限公司 Driver training subject identification terminal based on microsensor
JP6160594B2 (en) * 2014-10-27 2017-07-12 富士通株式会社 Dangerous driving recording method, dangerous driving recording program, and dangerous driving recording device
JP6725297B2 (en) * 2016-03-31 2020-07-15 本田技研工業株式会社 Evaluation display device and evaluation display method
JP2017220171A (en) * 2016-06-10 2017-12-14 株式会社デンソー Safe driving support device and safe driving support program
JP6731619B2 (en) * 2016-10-26 2020-07-29 パナソニックIpマネジメント株式会社 Information processing system, information processing method, and program
JP7135913B2 (en) * 2019-02-12 2022-09-13 オムロン株式会社 Driving evaluation screen display method, program, driving evaluation system, and driving evaluation screen
JP7206165B2 (en) * 2019-07-11 2023-01-17 東芝インフラシステムズ株式会社 Remote monitoring device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097179A (en) * 1996-09-20 1998-04-14 Sanyo Electric Works Ltd Running information recording device, running information analyzer, and vehicle training system using both devices
JP4364338B2 (en) * 1998-03-11 2009-11-18 株式会社エクォス・リサーチ Vehicle control device
JP3593502B2 (en) * 2001-01-16 2004-11-24 株式会社データ・テック Vehicle driving technology diagnosis system, components thereof, and driving technology diagnosis method
JP3782024B2 (en) * 2002-03-07 2006-06-07 本田技研工業株式会社 Driving training system using driving simulator

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680888A (en) * 2015-03-17 2015-06-03 郭玉 Teaching tool for fresh drivers

Also Published As

Publication number Publication date
JP2009294250A (en) 2009-12-17

Similar Documents

Publication Publication Date Title
JP5133784B2 (en) Driving operation evaluation device
US10446047B1 (en) Real-time driver observation and scoring for driver&#39;S education
US7382240B2 (en) Warning device in a vehicle
JP6497915B2 (en) Driving support system
JP5359665B2 (en) Driving assistance device
EP2896032A1 (en) Method and system for providing a tutorial message to a driver of a vehicle
JP2006209455A (en) Apparatus, system and method for diagnosing vehicle drive
JP2009146185A (en) Degree-of-fatigue determination device
JP5255945B2 (en) Vehicle operation evaluation device
JP2006209455A5 (en)
JP2012113477A (en) Driving fatigue degree determination device
JP2016057490A (en) Driving support system
WO2008010391A1 (en) Information distribution device, information processing device, information distribution method, information processing method, information distribution program, information processing program, and computer readable recording medium
JP2007333502A (en) Merging support device, and merging support method
JP2009301267A (en) Driving support device
JP2011204120A (en) Information-providing apparatus
JP2010237969A (en) Vehicle operation diagnosis device, vehicle operation diagnosis method and computer program
JP2004302902A (en) Driving support system
JP6587438B2 (en) Inter-vehicle information display device
JP5090891B2 (en) Safe driving teaching system
JP3973949B2 (en) Driving support system
JP6475428B2 (en) In-vehicle device and safe driving system
JP2009085728A (en) Rest period reporting device
JP5019292B2 (en) Device for determining driving capability, and driving support device for adjusting the content of support according to driving capability
JP2019066637A (en) Driving training device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees