JP4780711B2 - Driving motion analysis apparatus and driving motion analysis method - Google Patents
Driving motion analysis apparatus and driving motion analysis method Download PDFInfo
- Publication number
- JP4780711B2 JP4780711B2 JP2006163338A JP2006163338A JP4780711B2 JP 4780711 B2 JP4780711 B2 JP 4780711B2 JP 2006163338 A JP2006163338 A JP 2006163338A JP 2006163338 A JP2006163338 A JP 2006163338A JP 4780711 B2 JP4780711 B2 JP 4780711B2
- Authority
- JP
- Japan
- Prior art keywords
- driving
- driving operation
- subject
- abnormal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 60
- 230000033001 locomotion Effects 0.000 title claims description 60
- 230000001133 acceleration Effects 0.000 claims description 100
- 230000002159 abnormal effect Effects 0.000 claims description 81
- 230000009471 action Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 31
- 230000006399 behavior Effects 0.000 claims description 18
- 210000000707 wrist Anatomy 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 27
- 239000013598 vector Substances 0.000 description 15
- 230000008859 change Effects 0.000 description 9
- 210000002683 foot Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000003371 toe Anatomy 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000029305 taxis Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Description
この発明は運転動作解析装置および運転動作解析方法に関し、特にたとえば、自動車の運転者の運転動作を解析する、運転動作解析装置および運転動作解析方法に関する。 The present invention relates to a driving motion analysis device and a driving motion analysis method, and more particularly to a driving motion analysis device and a driving motion analysis method for analyzing a driving motion of an automobile driver, for example.
従来のこの種の運転動作解析装置の一例が特許文献1に開示される。この特許文献1に開示される居眠り運転検出装置によれば、ハンドルの中心点を「O」とし、運転者がハンドル操作中にハンドルが中心点「O」を通過する周期が測定される。運転者がアクセルペダルを踏み始めてから、その周期を2回〜5回測定し、そのうちの最も長い周期(最長周期)が記憶される。その後、ハンドル操作中にハンドルが中心点「O」を通過する周期が最大周期を超えるとき、居眠り運転と判断して警告が発せられる。 An example of a conventional operation analysis device of this type is disclosed in Patent Document 1. According to the snoozing driving detection device disclosed in Patent Document 1, the center point of the steering wheel is set to “O”, and the period of the steering wheel passing through the central point “O” while the driver is operating the steering wheel is measured. After the driver starts depressing the accelerator pedal, the cycle is measured 2 to 5 times, and the longest cycle (longest cycle) is memorized. Thereafter, when the period during which the steering wheel passes the center point “O” during the steering operation exceeds the maximum period, it is determined that the driver is dozing and a warning is issued.
また、非特許文献1には、映像記録型ドライブレコーダーの搭載効果が報告されている。この非特許文献2によれば、タクシー,トラック,バスに映像記憶型ドライブレコーダーが搭載される。たとえば、タクシー用ドライブレコーダーは、車外映像を撮影するカメラユニット、カメラユニットの中に組み込まれた加速度センサーからの情報がドライブレコーダー本体に送られ、同時に車両からはブレーキ信号、ウインカー信号、車速パルス信号および電源が供給される。ドライブレコーダーに送付されたデータは、予め設定されたトリガー(映像を記録するきっかけ)信号により、信号の前後15秒間のデータが取り外し可能な記録媒体(フラッシュメモリカード)に記録される。また、本ドライブレコーダーでは、ドライバーが危険を感じた時点で手動スイッチを押すことにより、データを記録することも可能である。これにより、タクシー用ドライブレコーダーは、事故に加えヒヤリハット事象について自車と周辺環境の状況を映像および車体センサー情報として記憶し、運行管理業務に役立てている。
しかし、特許文献1の技術では、ハンドル操作の周期が最大周期を超えると、警告を発するようにしてあるため、たとえば、緩やかで大きなカーブを走行する場合には、運転者が居眠りしているか否かに拘わらず、ハンドル操作の周期が最大周期を超えてしまう恐れがある。つまり、居眠り運転であることが誤って判断される場合がある。 However, in the technique of Patent Document 1, since a warning is issued when the cycle of the steering wheel operation exceeds the maximum cycle, for example, when driving on a gentle and large curve, whether or not the driver is asleep. Nevertheless, there is a possibility that the cycle of the steering wheel operation exceeds the maximum cycle. That is, it may be erroneously determined that the driver is a snooze driving.
また、非特許文献1の技術では、ドライブレコーダーに記録した事故やヒヤリハット事象などから運行管理業務に役立てるようにしてあるが、これは運転者の運転動作の結果を間接的に測定しているだけであり、運転者がどのように操作し、自動車の挙動がどうなったかを知ることができない。つまり、事故を未然に防止するためには、十分な情報が得られているとは言えない。また、前後方向と左右方向との合成加速度が0.5秒間に0.4G(Gは重力加速度)変動した場合(もしくは、合成加速度が0.8Gを超えた場合)に、ヒヤリハットが発生したと認定しているが、この程度の加速度は、急カーブやちょっとした急発進で直に発生してしまう。このため、ヒヤリハットが本当に異常な(危険な)運転動作に起因しているのか否かを正確に判断することができない。 In addition, in the technology of Non-Patent Document 1, it is intended to be used for operation management work from accidents or near-miss events recorded in the drive recorder, but this only indirectly measures the result of the driving operation of the driver. Therefore, it is impossible to know how the driver operates and what the behavior of the car has become. In other words, it cannot be said that sufficient information is obtained to prevent accidents. Also, when the combined acceleration of the front-rear direction and the left-right direction fluctuates by 0.4 G (G is gravitational acceleration) in 0.5 seconds (or when the combined acceleration exceeds 0.8 G), a near-miss occurs. Although accredited, this degree of acceleration occurs directly on a sharp curve or a slight sudden start. For this reason, it is impossible to accurately determine whether the near-miss is caused by a really abnormal (dangerous) driving operation.
それゆえに、この発明の主たる目的は、新規な、運転動作解析装置および運転動作解析方法を提供することである。 Therefore, a main object of the present invention is to provide a novel driving operation analysis apparatus and driving operation analysis method.
この発明の他の目的は、異常な運転動作を正確に検出できる、運転動作解析装置および運転動作解析方法を提供することである。 Another object of the present invention is to provide a driving motion analysis device and a driving motion analysis method capable of accurately detecting an abnormal driving motion.
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。 The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate correspondence relationships with embodiments described later to help understanding of the present invention, and do not limit the present invention in any way.
請求項1の発明は、被験者の運転動作についての運転動作データを検出する運転動作検出手段、運転動作検出手段によって検出された運転動作データを周波数解析する周波数解析手段、周波数解析手段の解析結果に基づいて被験者の運転動作の特徴量を抽出する特徴量抽出手段、および特徴量を所定の空間にマッピングした場合において、特徴量抽出手段によって抽出された特徴量が、マルチプル インスタンス ラーニングにより所定のラベルが付された基準の運転動作についての基準特徴量の集合が存在していない地点に存在することが判断されたとき、被験者の異常な運転動作を検出する運転動作解析手段を備える、運転動作解析装置である。 According to the first aspect of the present invention, driving operation detection means for detecting driving operation data regarding the driving operation of the subject, frequency analysis means for frequency analysis of driving operation data detected by the driving operation detection means, and analysis results of the frequency analysis means Based on the feature quantity extraction means for extracting the feature quantity of the driving motion of the subject and the feature quantity is mapped to a predetermined space, the feature quantity extracted by the feature quantity extraction means is assigned a predetermined label by multiple instance learning. A driving action analysis device comprising driving action analysis means for detecting an abnormal driving action of a subject when it is determined that a set of reference feature values for the attached reference driving action exists at a point where the set does not exist It is.
請求項1の発明では、運転動作解析装置(10)は、運転動作検出手段(12,14,16,18,20,S51)、周波数解析手段(12,S55,S71,S73)、特徴量抽出手段(12,S75)および運転動作解析手段(12,S33,S79,S81)を備える。運転動作検出手段は、被験者の運転動作についての運転動作データを検出する。周波数解析手段は、検出された運転動作データを周波数解析(ウェーブレット解析)する。特徴量抽出手段は、周波数解析手段の解析結果に基づいて被験者の運転動作の特徴量を抽出する。運転動作解析手段は、特徴量を所定の空間にマッピングした場合において、特徴量抽出手段によって抽出された特徴量が、マルチプル インスタンス ラーニングにより所定のラベルが付された基準の運転動作についての基準特徴量の集合が存在していない地点に存在することが判断されたとき、被験者の異常な運転動作を検出する。ここで、マルチプル インスタンス ラーニング(Multiple Instance Learning:MIL)では、たとえば、被験者の運転動作に基づく特徴量の集合をポジティブバッグとし、基準特徴量の集合をネガティブバッグとして、真のポジティブバッグを検出する。ここで、バッグとは、一定時間における運転動作に基づく特徴量(インスタンス)の集合をいう。また、ポジティブおよびネガティブは、バッグのラベルであり、ポジティブのラベルは異常な運転動作を一度は必ず行っていると予測(仮定)されるバッグに付され、ネガティブのラベルはすべて正しい運転動作(基準の運転動作)であると予測されるバッグに付される。したがって、ネガティブのラベルが付されたバッグのインスタンスが存在しない地点に、ポジティブのラベルが付されたバッグのインスタンスが存在する場合に、当該インスタンスが異常な運転動作として検出される。 In the first aspect of the present invention, the driving motion analysis device (10) includes a driving motion detection means (12, 14, 16, 18, 20, S51), a frequency analysis means (12, S55, S71, S73), and a feature amount extraction. Means (12, S75) and driving action analysis means (12, S33, S79, S81) are provided. The driving motion detection means detects driving motion data regarding the driving motion of the subject. The frequency analysis means performs frequency analysis (wavelet analysis) on the detected operation data. The feature amount extraction means extracts the feature amount of the driving motion of the subject based on the analysis result of the frequency analysis means. When the feature value is mapped to a predetermined space , the driving action analysis means is configured such that the feature quantity extracted by the feature quantity extraction means is a reference feature quantity for a reference driving action that is given a predetermined label by multiple instance learning. When it is determined that the set is present at a point where no set exists, the abnormal driving motion of the subject is detected. Here, multiple instances Learning: In (Multiple Instance Learning MIL), for example, a set of feature data based on the operating behavior of the subject as positive bag, a set of reference feature amount as a negative bag, detects the true positives bag . Here, the bag refers to a set of feature quantities (instances) based on a driving operation for a fixed time. Also, positive and negative are bag labels, positive labels are attached to bags that are predicted (assumed) that they have always performed abnormal driving behavior once, and all negative labels are correct driving behavior (standard It is attached to a bag that is predicted to be the driving operation). Therefore, when an instance of a bag with a positive label exists at a point where there is no instance of the bag with a negative label, the instance is detected as an abnormal driving action.
請求項1の発明によれば、被験者の運転動作の特徴量と、マルチプル インスタンス ラーニングにより所定のラベルが付された基準の運転動作の基準特徴量の集合とに基づいて、被験者の異常な運転動作を検出するので、正確かつ容易に被験者の異常な運転動作を検出することができる。 According to the present invention, the feature amount of the subject driving operation, based on a set of reference features of driving operation of a predetermined label is affixed reference by multiple instances learning, abnormal operation of the subjects' Since the motion is detected, the abnormal driving motion of the subject can be detected accurately and easily.
請求項2の発明は請求項1に従属し、運転動作解析手段によって異常な運転動作が検出されたとき、当該異常な運転動作である旨を被験者に警告する警告手段をさらに備える。 The invention of claim 2 is dependent on claim 1 and further comprises warning means for warning the subject that the abnormal driving action is detected when the abnormal driving action is detected by the driving action analyzing means.
請求項2の発明では、警告手段(12,22,S85)は、運転動作解析手段によって異常な運転動作が検出されたとき、当該異常な運転動作である旨を被験者に警告する。たとえば、異常な運転動作である旨の警告を、音(音声)で知らせたり、光の明滅ないし点灯で知らせたり、振動により知らせたりする。場合によっては、テキスト表示で知らせたりする。ただし、これらは、いずれか2つ以上を複合的に実行するようにしてもよい。 In the invention of claim 2, the warning means (12, 22, S85) warns the subject that the abnormal driving action is detected when the abnormal driving action is detected by the driving action analyzing means. For example, a warning that the driving operation is abnormal is notified by sound (voice), flashing or lighting of light, or by vibration. In some cases, it is notified by text display. However, any two or more of these may be executed in combination.
請求項2の発明によれば、異常な運転動作であることを被験者に警告するので、ヒヤリハット事象や事故を未然に防止することができる。 According to the invention of claim 2, since the subject is warned of an abnormal driving operation, a near-miss event or an accident can be prevented in advance.
請求項3の発明は請求項1または2に従属し、基準特徴量は、模範となる運転者が運転動作を行ったときの特徴量である。 The invention of claim 3 is dependent on claim 1 or 2, and the reference feature amount is a feature amount when an exemplary driver performs a driving action.
請求項3の発明では、基準特徴量は、ベテランや教習所の教官のような模範となる運転者が運転動作を行ったときの特徴量である。 In the invention of claim 3, the reference feature amount is a feature amount when a driver who becomes a model such as a veteran or an instructor of a driving school performs a driving operation.
請求項3の発明によれば、模範となる運転者を基準とするので、初心者のような被験者の異常な運転動作を容易に検出することができる。 According to the invention of claim 3, since the driver who serves as a model is used as a reference, it is possible to easily detect an abnormal driving motion of a subject such as a beginner.
請求項4の発明は請求項1または2に従属し、基準特徴量は、被験者が正常な運転動作を行ったときの特徴量である。 The invention of claim 4 is dependent on claim 1 or 2, and the reference feature value is a feature value when the subject performs a normal driving operation.
請求項4の発明では、基準特徴量は、被験者が心身ともに健全である場合のような状態で正常な運転動作を行ったときの特徴量である。たとえば、運転を開始した当初の運転動作についての特徴量が該当する。 In the invention of claim 4, the reference feature amount is a feature amount when a normal driving operation is performed in a state where the subject is healthy both physically and mentally. For example, the feature quantity regarding the initial driving operation when the driving is started corresponds.
請求項4の発明によれば、被験者の正常な運転動作を基準として、異常な運転動作を検出するので、たとえば、被験者の疲労の蓄積による異常な運転を検出することができる。したがって、休憩すべき旨の警告が可能である。 According to the fourth aspect of the invention, since the abnormal driving motion is detected based on the normal driving motion of the subject, for example, the abnormal driving due to the accumulation of fatigue of the subject can be detected. Therefore, a warning that a break should be made is possible.
請求項5の発明は請求項1ないし4のいずれかに従属し、運転動作解析手段によって異常な運転動作が検出されたときの運転動作データを記憶する運転動作データ記憶手段をさらに備え、運転動作解析手段は、さらに、特徴量抽出手段によって抽出された特徴量と、運転動作データ記憶手段に記憶され運転動作データに基づく特徴量とが近似するとき、被験者の異常な運転動作を検出する。 The invention of claim 5 is according to any one of claims 1 to 4, further comprising a driving operation data storing means for storing running operation data when an abnormal operating behavior is detected by the running operation analysis means, OPERATION operation analysis means further includes a feature amount extracted by the feature extraction means, can a feature quantity stored in the running operation data storing means based on the driving operation data and you approximated, abnormal operating behavior of the subject Detect .
請求項5の発明では、運転動作データ記憶手段(12,12a,S41)は、運転動作解析手段によって異常な運転動作が検出されたときの運転動作データを予め記憶する。したがって、たとえば、異常な運転動作についてのデータベースが作成される。次回以降の運転時に、運転動作解析手段は、特徴量抽出手段によって抽出された特徴量と、運転動作データ記憶手段に記憶され運転動作データに基づく特徴量とが近似するとき、被験者の異常な運転動作を検出する。 In the invention of claim 5, the driving operation data storage means (12, 12a, S41) stores in advance driving operation data when an abnormal driving operation is detected by the driving operation analysis means. Therefore, for example, a database about abnormal driving operations is created . At the subsequent times operation, the running operation analyzing means includes a feature quantity extracted by the feature extraction means, can a feature quantity stored in the running operation data storing means based on the driving operation data and you approximated, subject Detects abnormal driving behavior .
請求項5の発明によれば、予め異常な運転動作の運転動作データを記憶しておき、次回以降の運転時にこれを参酌して、異常な運転動作であるか否かを判断するだけなので、処理コストを低減して、迅速に異常な運転動作を判断することができる。 According to the invention of claim 5, since driving operation data of abnormal driving operation is stored in advance, it is only determined whether or not it is an abnormal driving operation in consideration of this in the subsequent driving. Processing costs can be reduced, and abnormal driving operations can be quickly determined.
請求項6の発明は請求項1ないし5のいずれかに従属し、運転動作検出手段は、少なくとも被験者の手首に装着された第1加速度センサの出力を検出する。 The invention of claim 6 is according to any one of claims 1 to 5, the operating dynamic Sakuken detecting means detects the output of the first acceleration sensor mounted on at least the subject's wrist.
請求項6の発明では、少なくとも被験者の手首には第1加速度センサ(14,16)が装着される。加速度センサの出力を時系列に従って検出することにより、被験者の一連の運転動作(運転動作データ)が検出される。たとえば、被験者が或る周回コースを走行する場合の手の動きが検出される。 In the invention of claim 6, the first acceleration sensor (14, 16) is attached to at least the wrist of the subject. By detecting the output of the acceleration sensor in time series, a series of driving actions (driving action data) of the subject is detected. For example, the movement of the hand when the subject runs on a certain round course is detected.
請求項6の発明によれば、加速度センサの出力を検出するだけなので、運転動作を容易に検出することができる。 According to the invention of claim 6, since only the output of the acceleration sensor is detected, the driving operation can be easily detected.
請求項7の発明は請求項6に従属し、自動車に取り付けられた第2加速度センサ、および運転動作検出手段によって検出された運転動作データから、前記第2加速度センサの出力に基づく前記自動車に起因するノイズを除去する除去手段をさらに備える。 The invention of claim 7 is dependent on claim 6 and is attributed to the automobile based on the output of the second acceleration sensor from the second acceleration sensor attached to the automobile and the driving action data detected by the driving action detecting means. The apparatus further includes a removing unit that removes noise.
請求項7の発明では、第2加速度センサ(20)が自動車のたとえばダッシュボードに取り付けられる。除去手段(12,S9,S11,S61,S63)は、運転動作検出手段によって検出された運転動作データから、第2加速度センサの出力に基づく自動車に起因するノイズ(エンジンの振動、路面状態、自動車自体の加速度など)を除去する。 In the invention of claim 7, the second acceleration sensor (20) is attached to, for example, a dashboard of an automobile. The removing means (12, S9, S11, S61, S63) is noise (engine vibration, road surface condition, automobile, etc.) caused by the automobile based on the output of the second acceleration sensor from the driving action data detected by the driving action detecting means. Removing its own acceleration).
請求項7の発明によれば、自動車に起因するノイズを運転動作データから除去するので、被験者の運転動作を正確に検出することができる。 According to the seventh aspect of the present invention, noise caused by the automobile is removed from the driving operation data, so that the driving operation of the subject can be accurately detected.
請求項8の発明は、(a)被験者の運転動作についての運転動作データを検出し、(b)ステップ(a)によって検出された運転動作データを周波数解析し、(c)ステップ(b)の解析結果に基づいて被験者の運転動作の特徴量を抽出し、そして(d)特徴量を所定の空間にマッピングした場合において、ステップ(c)によって抽出された特徴量が、マルチプル インスタンス ラーニングにより所定のラベルが付された基準の運転動作についての基準特徴量の集合が存在していない地点に存在することが判断されたとき、被験者の異常な運転動作を検出する、運転動作解析方法である。 The invention of claim 8 (a) detects driving operation data about the driving operation of the subject, (b) analyzes the frequency of the driving operation data detected in step (a), and (c) performs step (b). Based on the analysis result, the feature amount of the driving motion of the subject is extracted, and (d) when the feature amount is mapped to a predetermined space, the feature amount extracted in step (c) is determined by the multiple instance learning. This is a driving motion analysis method for detecting an abnormal driving motion of a subject when it is determined that a set of reference feature values for a reference driving motion with a label is present at a point where it does not exist .
請求項8の発明においても、請求項1の発明と同様に、正確かつ容易に被験者の異常な運転動作を検出することができる。 In the invention of claim 8, similarly to the invention of claim 1, the abnormal driving motion of the subject can be detected accurately and easily.
この発明によれば、被験者の運転動作の特徴量と、基準の運転動作の特徴量とに基づいて、異常な運転動作を検出する学習手法により、当該被験者の異常な運転動作を検出するので、正確かつ容易に被験者の異常な運転動作を検出することができる。 According to the present invention, the abnormal driving operation of the subject is detected by the learning method for detecting the abnormal driving operation based on the characteristic amount of the driving operation of the subject and the characteristic amount of the reference driving operation. It is possible to detect an abnormal driving motion of the subject accurately and easily.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この実施例の運転動作解析装置10は、PC或いはPDAのような汎用のコンピュータ12を含む。このコンピュータ12には、複数の(この実施例では、4つの)加速度センサ14,16,18,20が接続されるとともに、出力装置22が接続される。図1では、加速度センサ14,16,18,20の各々がコンピュータ12に有線で接続されるように記載してあるが、実際には、無線で接続される。これは、後述するように、加速度センサ14および16は、運転者の手首に装着され、加速度センサ18は運転者の右足のつま先に装着されるため、運転の邪魔にならないようにするためである。また、加速度センサ20は、車体の所定の位置(この実施例では、ダッシュボード)に設置される。 With reference to FIG. 1, the driving | operation operation | movement analysis apparatus 10 of this Example contains the general purpose computer 12 like PC or PDA. A plurality of (four in this embodiment) acceleration sensors 14, 16, 18, and 20 are connected to the computer 12, and an output device 22 is connected to the computer 12. In FIG. 1, each of the acceleration sensors 14, 16, 18, and 20 is described as being connected to the computer 12 by wire, but actually, it is connected wirelessly. As will be described later, the acceleration sensors 14 and 16 are mounted on the wrist of the driver, and the acceleration sensor 18 is mounted on the toe of the right foot of the driver, so that it does not interfere with driving. . The acceleration sensor 20 is installed at a predetermined position of the vehicle body (dashboard in this embodiment).
加速度センサ14,16,18,20としては、汎用の多軸(この実施例では、3軸)加速度センサを用いることができる。たとえば、日立金属株式会社製の3軸加速度センサ(型式:H48C)を用いることができる。また、出力装置22は、この実施例では、スピーカ、ランプまたはバイブレータ、或いは、それらのうちのいずれか2つ以上で構成され、運転者に対して、音(音声)、光または振動或いはそれらのうちのいずれか2つ以上の組み合わせにより、異常な(危険な)運転動作である旨の警告を運転者に発する。ただし、出力装置22には、CRTモニタやLCDのような表示装置が含まれることもある。たとえば、この運転動作解析装置10が自動車の教習ないし運転のシミュレーター(シミュレーションゲームを含む。)のために用いられる場合に、異常な運転動作の内容(指摘)や運転技術のレベルないしスコアを画面表示することも有り得るからである。 As the acceleration sensors 14, 16, 18, and 20, general-purpose multi-axis (three-axis in this embodiment) acceleration sensors can be used. For example, a three-axis acceleration sensor (model: H48C) manufactured by Hitachi Metals, Ltd. can be used. Further, in this embodiment, the output device 22 is constituted by a speaker, a lamp, a vibrator, or any two or more of them, and gives sound (sound), light, vibration, or those to the driver. Any two or more of these combinations are used to issue a warning to the driver that the operation is abnormal (dangerous). However, the output device 22 may include a display device such as a CRT monitor or LCD. For example, when this driving motion analysis apparatus 10 is used for automobile training or driving simulators (including simulation games), abnormal driving motion details (points) and driving skill levels or scores are displayed on the screen. It is possible to do it.
図2は、運転者が加速度センサ14,16,18を装着した状態で、自動車を運転している様子の一例を示す。ただし、図2では、自動車の一部(運転座席部分)のみを示してある。この図2からも分かるように、加速度センサ14は右手首に取り付けられ、加速度センサ16は左手首に取り付けられ、加速度センサ18は右足のつま先に取り付けられる。また、加速度センサ20は、自動車のダッシュボードに取り付けられる。 FIG. 2 shows an example of a state in which the driver is driving a car with the acceleration sensors 14, 16, and 18 attached. However, in FIG. 2, only a part of the automobile (driver's seat part) is shown. As can be seen from FIG. 2, the acceleration sensor 14 is attached to the right wrist, the acceleration sensor 16 is attached to the left wrist, and the acceleration sensor 18 is attached to the toe of the right foot. The acceleration sensor 20 is attached to the dashboard of the automobile.
なお、図2では、加速度センサ14,16,18の取付状態を分かり易く示すために、自動車のチェンジレバー、ブレーキペダルやアクセルペダルなどは省略してある。 In FIG. 2, the change lever, the brake pedal, the accelerator pedal, and the like of the automobile are omitted for easy understanding of the mounting state of the acceleration sensors 14, 16, and 18.
図面では分かり難いが、加速度センサ14,16,18は、マジックテープ(登録商標)付のバンドまたはリストバンドのような固定部材を用いて、手足に取り付けられる。また、加速度センサ20は、粘着テープなどの固定部材を用いて、ダッシュボードに取り付けられる。 Although it is difficult to understand in the drawings, the acceleration sensors 14, 16, and 18 are attached to the limbs using a fixing member such as a band with a Velcro tape (registered trademark) or a wristband. The acceleration sensor 20 is attached to the dashboard using a fixing member such as an adhesive tape.
また、図示は省略するが、加速度センサ14−20は、それぞれ、3軸方向の加速度を検出し、水平面に置いた状態で、水平面における互いに直交する方向(左右方向、前後方向)の加速度を2つの軸(X軸およびY軸)でそれぞれ検出し、その2つの軸に垂直に直交する方向(上下方向)の加速度を残りの1つの軸(Z軸)で検出する。つまり、左右方向(X軸方向)の加速度、前後方向(Y軸方向)の加速度および上下方向(Z軸方向)の加速度が検出される。ただし、この実施例では、加速度センサ14−20を水平面においた状態で、右方向、前方向および上方向に現れる加速度をプラスとし、左方向、後ろ方向および下方向に現れる加速度をマイナス方向とする。 Although not shown, each of the acceleration sensors 14-20 detects acceleration in three axial directions, and in a state where the acceleration sensor 14-20 is placed on the horizontal plane, the acceleration sensor 14-20 generates an acceleration in a direction orthogonal to the horizontal plane (left-right direction, front-rear direction). Detection is performed on each of the two axes (X-axis and Y-axis), and acceleration in a direction perpendicular to the two axes (vertical direction) is detected on the remaining one axis (Z-axis). That is, acceleration in the left-right direction (X-axis direction), acceleration in the front-rear direction (Y-axis direction), and acceleration in the vertical direction (Z-axis direction) are detected. However, in this embodiment, with the acceleration sensor 14-20 in a horizontal plane, acceleration appearing in the right direction, forward direction, and upward direction is positive, and acceleration appearing in the left direction, backward direction, and downward direction is negative direction. .
さらに、図示は省略するが、加速度センサ14は、手の甲に対する垂直方向がZ軸方向と一致し、手指を伸ばした状態の指先方向がY軸方向と一致するように、右の手首に取り付けられる。同様に、加速度センサ16は、左の手首に取り付けられる。また、加速度センサ18は、被験者の右足の甲であり、その甲に対する垂直方向がZ軸方向と一致し、足の指先方向がY軸方向と一致するように、右足のつま先に取り付けられる。さらに、加速度センサ20は、自動車の前後方向とY軸方向とが一致し、自動車の上下方向とZ軸方向とが一致するように、ダッシュボードに取り付けられる。 Further, although not shown, the acceleration sensor 14 is attached to the right wrist so that the vertical direction with respect to the back of the hand coincides with the Z-axis direction and the fingertip direction in the state where the finger is extended coincides with the Y-axis direction. Similarly, the acceleration sensor 16 is attached to the left wrist. The acceleration sensor 18 is the back of the subject's right foot, and is attached to the toe of the right foot so that the vertical direction to the back matches the Z-axis direction and the toe direction of the foot matches the Y-axis direction. Further, the acceleration sensor 20 is attached to the dashboard so that the front-rear direction of the automobile and the Y-axis direction coincide with each other, and the vertical direction of the automobile coincides with the Z-axis direction.
たとえば、運転動作解析装置10では、被験者が、或るコース(経路)に従って自動車を運転したときの加速度センサ14−20の出力が時系列に従って検出される。この実施例では、被験者は、自動車の運転者のうち、初心者またはベテラン(模範となる者)である。図3は、初心者が自動車を運転して、或るコースを走行した場合の加速度センサ(16)の出力の時間変化を示すグラフである。ただし、図3では、簡単のため、運転動作のうち、左手の動作についてのみ示してある。また、図3においては、グラフの縦軸が加速度を示し、グラフの横軸が時間を示す。この実施例では、時間は、9桁の数値で示すが、先頭から順に、時(2桁)、分(2桁)、秒(2桁)、ミリ秒(3桁)を表わす。したがって、たとえば「142203201」と記載されている場合には、時間は「14時22分03.201秒」である。 For example, in the driving motion analysis apparatus 10, the output of the acceleration sensor 14-20 when the subject drives the automobile according to a certain course (route) is detected in time series. In this embodiment, the test subject is a beginner or a veteran (exemplary person) among motor vehicle drivers. FIG. 3 is a graph showing the time change of the output of the acceleration sensor (16) when a beginner drives a car and travels on a certain course. However, in FIG. 3, for the sake of simplicity, only the left-hand operation among the driving operations is shown. In FIG. 3, the vertical axis of the graph represents acceleration, and the horizontal axis of the graph represents time. In this embodiment, the time is represented by a 9-digit numerical value, and represents time (2 digits), minutes (2 digits), seconds (2 digits), and milliseconds (3 digits) in order from the beginning. Therefore, for example, when “142203201” is described, the time is “14: 22: 03.201 seconds”.
一方、図4(A)および図4(B)は、初心者が走行したコースと同じコースを、異なる2人のベテラン(ベテラン1,ベテラン2)が自動車(いずれも初心者が運転した自動車と同じ自動車)を運転して、走行した場合の加速度センサ(16)の出力の時間変化のグラフを示す。このベテラン1および2についても、運転動作のうち、左手の動作のみの検出結果を示してある。 On the other hand, FIG. 4A and FIG. 4B show the same course that the beginner drove, and two different veterans (veteran 1, veteran 2) are cars (both the same cars that the beginners drove) The graph of the time change of the output of the acceleration sensor (16) at the time of driving | running | working is shown. For the veterans 1 and 2, the detection results of only the left-hand motion among the driving motions are also shown.
ここで、一般的なドライブレコーダーを用いた場合には、車体に取り付けた加速度センサの出力が所定の閾値を超えたときに、ヒヤリハット(ヒヤリとか、ハッとした出来事を意味する。)が発生したと判断したり、事故が発生したと判断したりして、そのような事象を記録する。また、運転者のスイッチ操作によってヒヤリハットが発生したと判断することもある。従来では、このような事例を集めて、その後の運転に役立てようとしているが、ヒヤリハットや事故が発生するに至った原因が分からないため、ヒヤリハットや事故を未然に防止するには不十分であると言える。 Here, when a general drive recorder is used, when the output of the acceleration sensor attached to the vehicle body exceeds a predetermined threshold value, a near-miss (meaning a near-miss event) occurred. Or determine that an accident has occurred and record such an event. Moreover, it may be determined that a near-miss has occurred due to a driver's switch operation. Conventionally, such cases have been gathered and are being used for subsequent driving, but since the cause of the occurrence of a near-miss or accident is unknown, it is insufficient to prevent near-miss or accidents. It can be said.
そこで、この実施例では、初心者のような運転者と、ベテランのような運転者との運転動作そのものを比較し、初心者の異常な運転動作を予め検出しておき、異常な運転動作を検出したときに、初心者のような運転者に警告を発して、ヒヤリハットや事故の発生を未然に防止するようにしてある。 Therefore, in this embodiment, the driving operation itself of a driver such as a beginner and a driver such as a veteran is compared, an abnormal driving operation of a beginner is detected in advance, and an abnormal driving operation is detected. Occasionally, warnings are given to drivers such as beginners to prevent near-misses and accidents.
簡単に説明すると、加速度センサ14−20の出力に基づいて、初心者やベテランの運転動作のデータ(運転動作データ)を取得する。ただし、後述するように、加速度センサ14−18から出力される加速度のデータ(加速度データ)には、自動車自体にかかる加速度成分に起因するノイズが含まれる。したがって、自動車に起因するノイズ成分を除去するために、ウェーブレット(wavelet)変換する際に、特定の周波数成分(この実施例では、レベル5−9)についてのみ抽出するようにしてある。これにより、加速度データすなわち運転動作データがウェーブレット解析(多重解像度解析)される。 Briefly, based on the output of the acceleration sensor 14-20, data on driving operation (driving operation data) for beginners and veterans is acquired. However, as will be described later, the acceleration data (acceleration data) output from the acceleration sensor 14-18 includes noise due to the acceleration component applied to the automobile itself. Therefore, in order to remove a noise component caused by the automobile, only a specific frequency component (level 5-9 in this embodiment) is extracted when performing wavelet transform. Thereby, acceleration data, that is, driving operation data is subjected to wavelet analysis (multi-resolution analysis).
また、緊急回避の時などに生じる突発的な運転動作(高周波数帯帯)を検出する場合と、基本的な通常の運転動作(低周波数帯帯)を検出する場合とでは、注目(着目)すべき周波数帯が異なる。かかる場合には、目的に応じた周波数成分(レベル)で、再度ウェーブレット変換することにより、運転動作データが再構成される。 Also, when detecting sudden driving behavior (high frequency band) that occurs during emergency avoidance, etc., and when detecting basic normal driving behavior (low frequency band) (attention) Different frequency bands should be used. In such a case, the driving operation data is reconstructed by performing wavelet transform again with a frequency component (level) according to the purpose.
ここで、ウェーブレット解析は、マザー・ウェーブレット関数を用いて、時間と周波数との両面から信号(この実施例では、加速度データ)を分解して分析する手法である。また、マザー・ウェーブレット関数Ψ(t)は数1を満たす関数の総称である。 Here, the wavelet analysis is a technique of decomposing and analyzing signals (acceleration data in this embodiment) from both sides of time and frequency using a mother wavelet function. Further, the mother wavelet function Ψ (t) is a generic name of functions satisfying Equation 1.
マザー・ウェーブレット関数としては、様々なものが提案されているが、この実施例では、Daubechiesのウェーブレット関数を用いてある。また、マザー・ウェーブレット関数をΨ(t)とするとき、離散ウェーブレット変換に基づくウェーブレット展開係数dj,kは数2で示される。 Various mother wavelet functions have been proposed. In this embodiment, the Daubechies wavelet function is used. Further, when the mother wavelet function is ψ (t), the wavelet expansion coefficient d j, k based on the discrete wavelet transform is expressed by the following equation (2).
ただし、ウェーブレット展開係数dj,kは、加速度データx(t)の時点2jk、周波数レベル2−jにおける成分を抽出したものである。このとき、加速度データx(t)の周波数レベル2−jの成分xj(t)は、数3で表現することができる。これ以降では、周波数レベル2−jを、レベルjの成分と呼ぶことにする。 However, the wavelet expansion coefficient d j, k is a component extracted at time 2 j k and frequency level 2- j of the acceleration data x (t). At this time, the component x j (t) of the frequency level 2− j of the acceleration data x (t) can be expressed by Equation 3. Hereinafter, the frequency level 2- j is referred to as a level j component.
したがって、たとえば、図3に示した初心者についての加速度データを或るレベル(重要と思われる周波数帯のみ)でウェーブレット変換すると、図5に示すような波形が得られる。また、図4(A)および図4(B)に示したベテラン1およびベテラン2についての加速度データを或るレベルでウェーブレット変換すると、図6(A)および図6(B)に示すような波形がそれぞれ得られる。ただし、レベルjの成分を抽出するには、2j個のサンプルが必要である。この実施例では、サンプリング周波数が100Hzであるため、レベルj(j=5−9)の周期は1/(100×2−j)である。以下、同じ。 Therefore, for example, if the acceleration data for the beginner shown in FIG. 3 is wavelet transformed at a certain level (only the frequency band considered to be important), a waveform as shown in FIG. 5 is obtained. When the acceleration data for the veteran 1 and veteran 2 shown in FIGS. 4A and 4B is wavelet transformed at a certain level, waveforms as shown in FIGS. 6A and 6B are obtained. Are obtained respectively. However, 2 j samples are required to extract level j components. In this embodiment, since the sampling frequency is 100 Hz, the period of the level j (j = 5-9) is 1 / (100 × 2 −j ). same as below.
詳細な説明は省略するが、重要と思われる周波数帯は、被験者の運転動作による加速度成分であり、加速度センサ14,16,18の出力において、自動車に起因するノイズ(加速度成分)を除去した周波数帯である。つまり、加速度センサ20の出力に基づいて自動車自体にかかる加速度成分の周波数帯を検出し、当該周波数帯を除く周波数帯(レベル)でウェーブレット変換が行われる。たとえば、自動車に起因するノイズとしては、エンジンの振動、路面状態、自動車自体の加速度などが該当する。したがって、この実施例では、エンジンの振動による加速度(レベル1−4の高周波数帯)および自動車自体の加速度(レベル10−12の低周波数帯)を除去するようにしてある。つまり、運転動作データのレベル5−9の成分のみが抽出されるのである。 Although detailed explanation is omitted, the frequency band considered to be important is an acceleration component due to the driving operation of the subject, and the frequency from which noise (acceleration component) caused by the automobile is removed from the output of the acceleration sensors 14, 16 and 18. It is a belt. That is, the frequency band of the acceleration component applied to the automobile itself is detected based on the output of the acceleration sensor 20, and wavelet transform is performed in a frequency band (level) excluding the frequency band. For example, noise caused by an automobile includes engine vibration, road surface condition, acceleration of the automobile itself, and the like. Therefore, in this embodiment, acceleration due to engine vibration (high frequency band of level 1-4) and acceleration of the automobile itself (low frequency band of level 10-12) are removed. That is, only the level 5-9 component of the driving operation data is extracted.
具体的には、レベルα,β(周波数レベル2−α,2−β)を含む成分を抽出したい場合には、数4に従って算出すればよい。したがって、たとえば、特定の周波数帯成分のみを含む成分を抽出することができる。 Specifically, when it is desired to extract components including levels α and β (frequency levels 2 −α and 2 −β ), the calculation may be performed according to Equation 4. Therefore, for example, a component including only a specific frequency band component can be extracted.
次に、ウェーブレット変換された加速度データの時間軸を一定時間毎に区切り、各区間において、各加速度データのエネルギおよび加速度データ間の相関を計算し、運転動作の特徴量とする。たとえば、両手首に加速度センサ(3軸)を取り付けた場合、6種類の加速度データが得られる。この場合、ウェーブレット解析によって特定周波数帯(特定レベル)を抽出後、時間軸を所定時間(たとえば、1秒)毎に区切り、各区間において加速度データのエネルギ(ここでは、6種類)と加速度データとの相関(6C2=15種類)を計算し、区間tにおける特徴量xtとする。このような特徴量xtは、各被験者(初心者またはベテラン)について求められる。 Next, the time axis of the acceleration data subjected to the wavelet transform is divided at regular intervals, and the correlation between the energy of each acceleration data and the acceleration data is calculated in each section to obtain the characteristic amount of the driving operation. For example, when acceleration sensors (three axes) are attached to both wrists, six types of acceleration data are obtained. In this case, after extracting a specific frequency band (specific level) by wavelet analysis, the time axis is divided every predetermined time (for example, 1 second), and energy of acceleration data (here, six types) and acceleration data Are calculated ( 6 C 2 = 15 types) and set as the feature quantity x t in the section t. Such a feature amount x t is obtained for each subject (beginner or veteran).
この実施例では、ベテランの運転では起こり得ない初心者の運転動作(異常な運転動作)を抽出するために、MILが用いられる。このMILについては、「O.Maron and T.Lozano−Perez,“A Framework for Multiple−Instance Learning”In advances in Neural Information Processing Systems,10,MIT press,1988.」に開示されているため、詳細な説明は省略することにする。 In this embodiment, MIL is used to extract a beginner's driving action (abnormal driving action) that cannot occur in an experienced driving. This MIL is described in detail in “O. Maron and T. Lozano-Perez,“ A Framework for Multiple-Instance Learning ”, Advanced in Informal Information Processing Systems, 10, MIT Pres. The description will be omitted.
従来の教師あり学習では、全てのデータに対してラベル付けがなされている必要があったのに対し、MILではいくつかのデータ(インスタンス)の集合であるバック(bag)と呼ばれる単位毎にラベル付けが行われる。ラベルは、“ポジティブ(Positive)”または“ネガティブ(Negative)”である。したがって、バッグ中のインスタンスのいずれか1つでも“ポジティブ”であれば、当該バッグには“ポジティブ”のラベルが付される。また、バッグ中のインスタンスのいずれか1つでも“ネガティブ”であれば、当該バッグには“ネガティブ”のラベルが付される。 In conventional supervised learning, all data needs to be labeled, whereas in MIL, labels are provided for each unit called a bag, which is a set of several data (instances). The attachment is done. The label is “Positive” or “Negative”. Thus, if any one of the instances in the bag is “positive”, the bag is labeled “positive”. If any one of the instances in the bag is “negative”, the bag is labeled “negative”.
この実施例では、或る瞬間の加速度データをインスタンスとみなし、或る一定時間(たとえば、曲がり始めから終わりまで、周回コース一周分)における加速度データの集合(運転動作データ)をバッグとみなす。初心者は、或る一定時間の運転中、少なくとも一度は変な動きを行っている(その瞬間が真のポジティブである。)と仮定することにより、初心者のバッグには“ポジティブ”とラベル付けすることができる。言い換えると、どのインスタンスが真のポジティブであるかは分からないが、少なくともどれかはポジティブであることは分かっている。逆に、ベテランは変な動きを行っていない(ポジティブなインスタンスがない。)と仮定することにより、そのバッグには“ネガティブ”とラベル付けすることができる。どのインスタンスがポジティブであるかを推定するためには、ポジティブバッグのインスタンスが密集し、ネガティブバッグのインスタンスが存在しない地点を探せばよい。たとえば、図7に示すように、各インスタンスを多次元ベクトル空間上にマッピングした場合に、ネガティブバッグが密集している領域ないし範囲から外れた位置に存在するポジティブバッグを真のポジティブバッグとみなす。ただし、ネガティブバッグは、ベテランの運転動作データであり、ポジティブバッグは、初心者の運転動作データである。 In this embodiment, acceleration data at a certain moment is regarded as an instance, and a set of acceleration data (driving operation data) at a certain fixed time (for example, one round of the round course from the beginning to the end of a turn) is regarded as a bag. The beginner's bag is labeled "positive" by assuming that the beginner has made a strange movement at least once during a certain period of driving (the moment is a true positive). be able to. In other words, you don't know which instance is truly positive, but you know that at least some are positive. Conversely, the bag can be labeled “negative” by assuming that the veteran is not doing any strange behavior (no positive instances). In order to estimate which instance is positive, it is only necessary to find a point where instances of positive bags are dense and there are no instances of negative bags. For example, as shown in FIG. 7, when each instance is mapped on a multidimensional vector space, a positive bag present at a position outside the area or range where the negative bags are dense is regarded as a true positive bag. However, the negative bag is veteran driving operation data, and the positive bag is beginner driving operation data.
なお、図面の都合上、図7では2次元ベクトル空間で示してあるが、実際には、インスタンスは、上述したように、加速度データのエネルギ(6種類)と加速度データとの相関(15種類)を示す21次元のベクトルで表わされる。 For convenience of drawing, FIG. 7 shows a two-dimensional vector space, but in reality, as described above, the instance is a correlation between acceleration data energy (6 types) and acceleration data (15 types). It is expressed by a 21-dimensional vector indicating
したがって、ネガティブバッグのインスタンスが存在しない地点にポジティブバッグのインスタンスが存在する場合には、「通常の運転動作から外れた突飛な動作(異常な運転動作)」とみなすことができる。また、ネガティブバッグのインスタンスが存在しない地点に、ポジティブバッグのインスタンスが密集している場合には、「異常な運転動作であり、かつその人がよくやる(直すべき)運転の癖」とみなすこともできる。 Therefore, when an instance of a positive bag exists at a point where no instance of a negative bag exists, it can be regarded as “a sudden operation deviating from a normal driving operation (abnormal driving operation)”. In addition, if positive bag instances are clustered at a point where there are no negative bag instances, it is regarded as “an abnormal driving operation and a person's driving habits that should be corrected (corrected)”. You can also.
ここで、試行i,区間tにおける動作特徴量ベクトルxi,tをインスタンスとし、インスタンスを試行iごとにまとめたバッグBi={xi,t}とする。また、最終的な目的は、異常な運転動作が生じた瞬間のインスタンスxi,tを抽出することである。つまり、どの時点で異常な運転動作が起きたのかを検出する。上述したように、この異常な運転動作が生じた瞬間のインスタンスが、真にポジティブなインスタンスである。 Here, it is assumed that the motion feature vector x i, t in trial i and section t is an instance, and the bag B i = {x i, t } in which the instances are grouped for each trial i. The final purpose is to extract the instance x i, t at the moment when the abnormal driving operation occurs. That is, it is detected at which point an abnormal driving operation has occurred. As described above, the instance at the moment when this abnormal driving operation occurs is a truly positive instance.
或るポジティブバッグのインスタンスxの周りにどれだけネガティブバッグが存在するかの尺度として、数5を用いる。数5において、‖a−b‖は、aとbとの間の距離(たとえば、ユークリッド距離)を表わす。 Equation 5 is used as a measure of how many negative bags exist around a positive bag instance x. In Equation 5, ‖a−b‖ represents a distance between a and b (for example, Euclidean distance).
このネガティブ非密集度の値が0に近いほど、周りにネガティブインスタンスが存在しないことを示す。つまり、インスタンスxが異常な運転動作をした瞬間のデータである確率が高い。 The closer the value of this negative non-crowdness is to 0, the more negative instances there are. That is, there is a high probability that the instance x is data at the moment when an abnormal driving operation is performed.
また、逆に、インスタンスxの周りにポジティブバッグが密集している場合には、インスタンスxは異常な運転動作をする人のよくやる癖であると考えられる。ポジティブ密集度は、数6に従って算出される。 On the other hand, when positive bags are densely packed around the instance x, the instance x is considered to be a habit of a person who performs an abnormal driving operation. The positive density is calculated according to Equation 6.
ポジティブ密集度の値が0に近いほど、周りにポジティブインスタンスが密集していることを表わす。 The closer the value of the positive density is to 0, the more dense the positive instances are.
以上より、ネガティブ非密集度の値が0に近いインスタンスxは運転動作のセオリーから外れた異常な運転動作をした場合の運転動作データである。また、ネガティブ非密集度の値が0に近く、かつポジティブ密集度の値が0に近ければ、その異常な運転動作がその人のよくやる癖になっていることを示す。 As described above, the instance x having a negative non-crowd value close to 0 is driving operation data when an abnormal driving operation deviates from the driving operation theory. In addition, if the negative non-crowding value is close to 0 and the positive crowding value is close to 0, it indicates that the abnormal driving behavior is often a habit of the person.
図8(A)および図8(B)には、初心者の運転動作(左手)データの時間変化およびMILによって抽出されたその運転動作についてのネガティブ非密集度+(かつ)ポジティブ密集度(Diverse Density:以下、単に「DD」という。)の時間変化を示すグラフである。ただし、図8(A)に示すグラフは、図5に示した初心者の運転動作データのグラフと同じである。ここで、図8(B)に示すDDの値が0に近ければ、異常な運転動作と言える。したがって、点線で囲んで示すように、たとえば、DDの値が0に近い時間における運転動作データ(加速度データで構成される運転動作の特徴ベクトル)を得ることにより、異常な運転動作(ここでは、左手の動き)を知ることができる。 FIG. 8A and FIG. 8B show the change in time of the beginner's driving motion (left hand) data and the negative non-crowding degree + (and) positive density (Diversity Density) for the driving motion extracted by MIL. : Hereinafter, simply referred to as “DD”). However, the graph shown in FIG. 8A is the same as the graph of the beginner's driving operation data shown in FIG. Here, if the value of DD shown in FIG. 8B is close to 0, it can be said that the driving operation is abnormal. Therefore, as shown by surrounding with a dotted line, for example, by obtaining driving operation data (feature vector of driving operation composed of acceleration data) at a time when the value of DD is close to 0, an abnormal driving operation (here, (Left hand movement)
図9(A)および図9(B)は、初心者の運転動作(右手および左手)データの時間変化およびMILによって抽出されたその運転動作についてのDDの時間変化を示すグラフである。図示は省略するが、この運転動作データを取得したとき、初心者は、切ったハンドルを戻す際、ハンドルから完全に両手を離した瞬間があった。瞬間的にハンドルから手を離す際、ハンドル中心から放射方向に大きな加速度が生じていることが、点線で囲んで示すように、同じ時間帯における図9(A)の運転動作データの変化から分かる。ベテランは、切ったハンドルを戻す際、ハンドルを滑らすことはするが、完全に手を離してしまうことはない。つまり、切ったハンドルを戻す際に両手を離すような動きはベテランの運転動作には全く現れないため、MILはそのような動きを異常なものとして検出しているのである。 FIG. 9A and FIG. 9B are graphs showing temporal changes in data of a beginner's driving operation (right hand and left hand) and DD with respect to the driving operation extracted by the MIL. Although illustration is omitted, when this driving operation data was acquired, there was a moment when a beginner completely released both hands from the handle when returning the cut handle. When the hand is instantaneously released from the handle, it can be seen from the change in the driving operation data in FIG. 9A in the same time zone that a large acceleration is generated in the radial direction from the center of the handle as shown by the dotted line. . The veteran will slip the handle when returning the cut handle, but will never let go of the handle. In other words, the movement that releases both hands when returning the cut handle does not appear at all in the veteran driving operation, so MIL detects such movement as abnormal.
ただし、この実施例では、瞬間的に発生する異常な運転動作(以下、「突発的な運転動作」ということがある。)および比較的長い時間で発生する異常な動作(以下、「継続的な運転動作」ということがある。)を検出するため、特定のレベル(レベル5−9)の成分を抽出するようにウェーブレット変換した運転動作データを、高周波数帯(レベル5−6)と、低周波数帯(レベル7−9)とで再構成するようにしてある。 However, in this embodiment, an abnormal driving operation that occurs instantaneously (hereinafter sometimes referred to as “sudden driving operation”) and an abnormal operation that occurs in a relatively long time (hereinafter referred to as “continuous operation”). In order to detect a component of a specific level (level 5-9), the driving operation data obtained by wavelet transform so as to extract a component of a specific level (level 5-9) and a low frequency band (level 5-6) Reconfiguration is performed with the frequency band (level 7-9).
図10(A)は図3に示した初心者の運転動作データをウェーブレット変換し、自動車に起因するノイズを除去した後、高周波数帯(レベル5および6)についてのみ抽出して、運転動作データを再構成した場合のグラフを示す。また、図10(B)は図3に示した初心者の運転動作データをウェーブレット変換し、自動車に起因するノイズを除去した後、低周波数帯(レベル7−9)についてのみ抽出して、運転動作データを再構成した場合のグラフを示す。 FIG. 10A shows the wavelet transform of the beginner driving operation data shown in FIG. 3 to remove noise caused by the automobile, and then extracts only the high frequency band (levels 5 and 6). The graph at the time of reconstruction is shown. FIG. 10B is a wavelet transform of the beginner driving operation data shown in FIG. 3 to remove noise caused by the automobile, and then only the low frequency band (level 7-9) is extracted and driving operation is performed. The graph when data is reconstructed is shown.
同様に、図11(A)は図4(A)に示したベテラン1の運転動作データをウェーブレット変換し、自動車に起因するノイズを除去した後、高周波数帯(レベル5および6)についてのみ抽出して、運転動作データを再構成した場合のグラフを示す。また、図11(B)は図4(A)に示したベテラン1の運転動作データをウェーブレット変換し、自動車に起因するノイズを除去した後、低周波数帯(レベル7−9)についてのみ抽出して、運転動作データを再構成した場合のグラフを示す。 Similarly, FIG. 11 (A) extracts only the high frequency band (levels 5 and 6) after wavelet transforming the driving operation data of the veteran 1 shown in FIG. 4 (A) and removing noise caused by the automobile. And the graph at the time of reconstructing driving | operation operation | movement data is shown. In addition, FIG. 11B is a wavelet transform of the driving operation data of the veteran 1 shown in FIG. 4A, and after removing noise caused by the automobile, only the low frequency band (level 7-9) is extracted. Then, a graph when the operation data is reconstructed is shown.
さらに、図12(A)は図4(B)に示したベテラン2の運転動作データをウェーブレット変換し、自動車に起因するノイズを除去した後、高周波数帯(レベル5および6)についてのみ抽出して、運転動作データを再構成した場合のグラフを示す。また、図12(B)は図4(B)に示したベテラン2の運転動作データをウェーブレット変換し、自動車に起因するノイズを除去した後、低周波数帯(レベル7−9)についてのみ抽出して、運転動作データを再構成した場合のグラフを示す。 Further, FIG. 12 (A) is a wavelet transform of the driving operation data of the veteran 2 shown in FIG. 4 (B), and after removing noise caused by the automobile, only the high frequency band (levels 5 and 6) is extracted. Then, a graph when the operation data is reconstructed is shown. In addition, FIG. 12 (B) performs wavelet transform on the driving operation data of the veteran 2 shown in FIG. 4 (B), removes noise caused by the automobile, and then extracts only the low frequency band (level 7-9). Then, a graph when the operation data is reconstructed is shown.
このようにして、周波数の違いに応じて、検出対象とする異常な運転動作に応じて、抽出するレベルを適宜変化させるので、初心者の異常な運転動作を正確に検出して、ヒヤリハット事象や事故の発生前に警告を発することができる。 In this way, the level to be extracted is appropriately changed according to the abnormal driving behavior to be detected according to the difference in frequency, so that the abnormal driving behavior of the beginner can be accurately detected, and a near-miss event or accident A warning can be issued before the occurrence.
具体的には、図1に示したコンピュータ12が図13および図14に示すようなオフライン処理または図15および図16に示すようなリアルタイム処理を実行する。図13および図14に示すオフライン処理では、たとえば、予め取得(検出)しておいた初心者およびベテランの運転動作データに基づいて、初心者の異常な運転動作を抽出して、ハードディスク12aのようなメモリに記憶する。つまり、異常な運転動作(特徴ベクトル)についてのデータベースを構築する。そして、図15および図16に示すリアルタイム処理において、オフライン処理で得られた結果(データベース)を用いて、初心者の運転動作が異常であるか否かを判断するようにしてある。 Specifically, the computer 12 shown in FIG. 1 executes real-time processing shown in offline processing or 1 5 and 1 6 as shown in FIGS. 13 and 14. In the offline processing shown in FIG. 13 and FIG. 14, for example, abnormal driving behaviors of beginners are extracted based on driving motion data of beginners and veterans acquired (detected) in advance, and a memory such as the hard disk 12a is extracted. To remember. That is, a database for abnormal driving operations (feature vectors) is constructed. Then, in a real-time processing shown in FIG. 1 5 and 1 6, results obtained in off-line processing using a (database), are to be determined whether novice driver operation is abnormal.
図13に示しように、コンピュータ12はオフライン処理を開始すると、一定フレーム数(たとえば、512フレーム)の運転動作データを取得する。ここでは、初心者について予め検出しておいた運転動作データのうち、最初の512フレーム分を取得する。512フレーム分の運転動作データを取得するのは、後述するウェーブレット変換処理において最低限必要なデータ量だからである。続くステップS3では、ステップS1で取得した512フレーム分の運転動作データを用いてウェーブレット変換する。ここでは、ウェーブレット変換を実行することにより、レベル5−9の成分が抽出される。 As illustrated in FIG. 13, when the computer 12 starts the offline processing, the computer 12 acquires driving operation data of a certain number of frames (for example, 512 frames). Here, the first 512 frames are acquired from the driving operation data detected in advance for the beginner. The reason why the operation data for 512 frames is acquired is that it is the minimum amount of data necessary for the wavelet transform process described later. In the subsequent step S3, wavelet transform is performed using the driving operation data for 512 frames acquired in step S1. Here, components of level 5-9 are extracted by executing wavelet transform.
続くステップS5では、ウェーブレット変換した運転動作データを、周波数レベル毎に分解する。次のステップS7では、周波数レベル個数iを初期化する(i=1)。続いて、ステップS9では、ノイズと予想される周波数帯かどうかを判断する。ここでは、自動車や路面に起因するノイズか否かが判断される。ここで、自動車や路面に起因するノイズとしては、エンジンの振動、路面状態による上下の振動、車体自体の加速度などが該当する。具体的には、ウェーブレット変換においては、エネルギ保存の法則が成り立つため、どの周波数帯の成分がどの程度含まれているのかをエネルギ分析することにより知ることができる。このため、自動車のダッシュボードに設置した加速度センサ20の加速度データをウェーブレット解析することで、自動車や路面に起因するノイズがどの周波数帯に多く分布しているのかを知ることができる。この周波数帯に相当するレベルであるか否かを判断するのである。上述したように、この実施例では、レベル1−4およびレベル10−12が除去される。 In subsequent step S5, the operation data subjected to wavelet transform is decomposed for each frequency level. In the next step S7, the frequency level number i is initialized (i = 1). In step S9, it is determined whether the frequency band is expected to be noise. Here, it is determined whether the noise is caused by the automobile or the road surface. Here, the noise caused by the automobile or the road surface includes engine vibration, vertical vibration due to road surface conditions, acceleration of the vehicle body itself, and the like. Specifically, in the wavelet transform, the law of conservation of energy is established, so that it is possible to know how much frequency band components are contained by performing energy analysis. Therefore, by performing wavelet analysis on the acceleration data of the acceleration sensor 20 installed on the dashboard of the automobile, it is possible to know in which frequency band the noise caused by the automobile and the road surface is distributed. It is determined whether the level corresponds to this frequency band. As described above, in this embodiment, levels 1-4 and levels 10-12 are removed.
ステップS9で“NO”であれば、つまり自動車に起因するノイズと予想される周波数帯でなければ、そのままステップS13に進む。ステップS9で“YES”であれば、つまり自動車に起因するノイズと予想される周波数帯であれば、ステップS11で、当該周波数帯(レベル)を運転動作データから除去して、ステップS13に進む。ステップS13では、全周波数レベルについて処理済みであるかどうかを判断する。つまり、個数iが12以上であるかどうかを判断する。 If “NO” in the step S9, that is, if the frequency band is not expected to be noise caused by the automobile, the process proceeds to a step S13 as it is. If “YES” in the step S9, that is, if the frequency band is expected to be noise caused by the automobile, the frequency band (level) is removed from the driving operation data in a step S11, and the process proceeds to the step S13. In step S13, it is determined whether all frequency levels have been processed. That is, it is determined whether the number i is 12 or more.
ステップS13で“NO”であれば、つまり全周波数レベルについて処理済みでなければ、次のレベルについての処理を実行すべく、ステップS15で、周波数レベル個数iを1加算して(i=i+1)、ステップS9に戻る。一方、ステップS13で“YES”であれば、つまり全周波数レベルについて処理済みであれば、図14に示すステップS17で、突発的な運転動作を抽出するかどうかを判断する。 If “NO” in the step S13, that is, if the processing has not been completed for all the frequency levels, the frequency level number i is incremented by 1 in a step S15 (i = i + 1) in order to execute the processing for the next level. Return to step S9. On the other hand, if “YES” in the step S13, that is, if all the frequency levels have been processed, it is determined whether or not a sudden driving operation is extracted in a step S17 shown in FIG.
ステップS17で“NO”であれば、つまり継続的な運転動作を抽出する場合には、ステップS19で、低周波数帯成分のみを用いて、運転動作データを再構成して、ステップS23に進む。たとえば、ステップS19では、レベル7−9の周波数帯を抽出するように、運転動作データが再構成される。一方、ステップS17で“YES”であれば、つまり突発的な運転動作を抽出する場合には、ステップS21で、高周波数帯成分のみを用いて、運転動作データを再構成し、ステップS23に進む。たとえば、ステップS21では、レベル5−6の周波数帯を抽出するように、運転動作データが再構成される。 If “NO” in the step S17, that is, if a continuous driving operation is extracted, the driving operation data is reconstructed using only the low frequency band component in the step S19, and the process proceeds to the step S23. For example, in step S19, the driving operation data is reconfigured so as to extract the level 7-9 frequency band. On the other hand, if “YES” in the step S17, that is, if a sudden driving operation is extracted, the driving operation data is reconstructed using only the high frequency band component in a step S21, and the process proceeds to the step S23. . For example, in step S21, the driving operation data is reconfigured so as to extract the level 5-6 frequency band.
ステップS23では、運転動作特徴量(特徴量xt)を抽出する。具体的には、再構成した運転動作データにおいて、上述したように、時間軸を1秒毎に区切り、各区間でそれぞれ加速度データのエネルギおよび加速度データの相関を計算し、区間tにおける特徴量xtとする。 In step S23, a driving action feature quantity (feature quantity x t ) is extracted. Specifically, in the reconstructed driving operation data, as described above, the time axis is divided every second, the energy of acceleration data and the correlation of acceleration data are calculated in each section, and the feature amount x in the section t is calculated. Let t .
次のステップS25では、すべての運転動作データについて処理済みであるかどうかを判断する。つまり、試行iについての運転動作特徴量をすべて抽出したかどうかを判断する。ステップS25で“NO”であれば、つまりすべての運転動作データについて処理済みでなければ、ステップS27で、次の一定フレーム数の運転動作データを取得して、図13に示したステップS3に戻る。一方、ステップS25で“YES”であればつまりすべての運転動作データについて処理済みであれば、ステップS29で、解析対象運転動作データを生成する。つまり、初心者についてのポジティブバッグを生成する。 In the next step S2 5, it is determined whether the processed for all the running operation data. That is, it is determined whether or not all driving operation feature values for trial i have been extracted. If “NO” in the step S25, that is, if all the driving operation data has not been processed, the driving operation data of the next predetermined number of frames is acquired in a step S27, and the process returns to the step S3 shown in FIG. . On the other hand, if “YES” in the step S25, that is, if all the driving operation data have been processed, the analysis target driving operation data is generated in a step S29. That is, a positive bag for a beginner is generated.
また、ステップS31では、模範運転動作データを取得する。ここでは、ベテランについてのネガティブバッグを取得する。ただし、ネガティブバッグは、予め取得しておいたベテランの運転動作データに基づいて、ステップS1〜S27と同じ処理を実行することによって得られる。 In step S31, model driving operation data is acquired. Here, the negative bag about the veteran is acquired. However, the negative bag is obtained by executing the same processing as steps S1 to S27 based on the veteran driving operation data acquired in advance.
続いて、ステップS33で、MILにより、異常な運転動作を抽出する。つまり、ポジティブバッグから真のポジティブなインスタンスを抽出する。そして、ステップS35で、当該異常な運転動作に対応する特徴ベクトル(運転特徴ベクトル)をハードディスク12aに記憶して、オフライン処理を終了する。つまり、異常な運転動作についてのデータベースを作成する。ただし、運転特徴ベクトルは、コンピュータ12のハードディスク12aに記憶される必要はなく、図示は省略するが、コンピュータ12に装着された記録媒体(ディスク記録媒体,メモリスティック,USBメモリなど)に記憶されてもよい。または、コンピュータ12に直接またはインターネットのようなネットワークを介して接続されるデータベース(図示せず)に記憶されるようにしてもよい。 Subsequently, in step S33, an abnormal driving operation is extracted by MIL. That is, a true positive instance is extracted from the positive bag. In step S35, a feature vector (driving feature vector) corresponding to the abnormal driving operation is stored in the hard disk 12a, and the offline processing is terminated. That is, a database for abnormal driving operations is created. However, the driving feature vector does not need to be stored in the hard disk 12a of the computer 12, and although not shown, it is stored in a recording medium (disk recording medium, memory stick, USB memory, etc.) attached to the computer 12. Also good. Alternatively, it may be stored in a database (not shown) connected to the computer 12 directly or via a network such as the Internet.
また、上述したように、図15および図16には、コンピュータ12のリアルタイム処理が示される。以下、リアルタイム処理について説明するが、オフライン処理と同様の処理については簡単に説明することにする。 As described above, FIGS. 15 and 16 show real-time processing of the computer 12. Hereinafter, real-time processing will be described, but processing similar to offline processing will be briefly described.
たとえば、自動車の運転が開始されると、図15に示すように、コンピュータ12は、リアルタイム処理を開始し、ステップS51で、運転動作データの取得を開始する。つまり、加速度センサ14−20からの加速度データの記録を開始する。このとき、たとえば、コンピュータ12は、一定時間毎に、記録時の時間とともに、加速度データを記憶する。なお、コンピュータ12は、その内部に備えるタイマ(図示せず)から時間を取得する。 For example, when driving of a car is started, as shown in FIG. 15, the computer 12 starts real-time processing, and starts acquiring driving operation data in step S51. That is, recording of acceleration data from the acceleration sensor 14-20 is started. At this time, for example, the computer 12 stores the acceleration data together with the recording time at regular intervals. The computer 12 acquires time from a timer (not shown) provided therein.
続くステップS53では、一定フレーム数(たとえば、512フレーム)以上の運転動作データを取得したかどうかを判断する。ステップS53で“NO”であれば、つまり一定フレーム数の運転動作データを取得していなければ、そのまま同じステップS53に戻る。一方、ステップS53で“YES”であれば、つまり一定フレーム数の運転動作データを取得すれば、ステップS55で、現フレームを含む過去一定フレーム分の運転動作データを用いて、ウェーブレット変換する。 In a succeeding step S53, it is determined whether or not driving operation data having a certain number of frames (for example, 512 frames) or more has been acquired. If “NO” in the step S53, that is, if driving operation data of a certain number of frames is not acquired, the process returns to the same step S53 as it is. On the other hand, if “YES” in the step S53, that is, if driving operation data for a certain number of frames is acquired, in step S55, wavelet transform is performed using driving operation data for a certain past frame including the current frame.
続くステップS57では、ウェーブレット変換された運転動作データを、レベルj毎に分解する。次に、ステップS59で、周波数レベル個数iを初期化する(i=1)。続いて、ステップS61では、ノイズと予想される周波数帯かどうかを判断する。ステップS61で“YES”であれば、ステップS63で、当該周波数帯(レベル)を除去して、ステップS65に進む。一方、ステップS61で“NO”であれば、そのままステップS65に進む。 In subsequent step S57, the operation data subjected to wavelet transform is decomposed for each level j. Next, in step S59, the frequency level number i is initialized (i = 1). In step S61, it is determined whether the frequency band is expected to be noise. If “YES” in the step S61, the frequency band (level) is removed in a step S63, and the process proceeds to a step S65. On the other hand, if “NO” in the step S61, the process proceeds to a step S65 as it is.
ステップS65では、全周波数レベルについて処理済みであるかどうかを判断する。ステップS65で“NO”であれば、ステップS67で、周波数レベル個数iを1加算(i=i+1)して、ステップS61に戻る。一方、ステップS65で“YES”であれば、図16に示すステップS69で、突発的な運転動作の抽出かどうかを判断する。ステップS69で“NO”であれば、ステップS71で、低周波数帯成分のみを用いて、運転動作データを再構成し、ステップS75に進む。一方、ステップS69で“YES”であれば、ステップS73で、高周波数帯成分のみを用いて、運転動作データを再構成し、ステップS75に進む。 In step S65, it is determined whether all frequency levels have been processed. If “NO” in the step S65, the frequency level number i is incremented by 1 (i = i + 1) in a step S67, and the process returns to the step S61. On the other hand, if “YES” in the step S65, it is determined whether or not a sudden driving operation is extracted in a step S69 shown in FIG. If “NO” in the step S69, the driving operation data is reconstructed using only the low frequency band component in a step S71, and the process proceeds to the step S75. On the other hand, if “YES” in the step S69, the driving operation data is reconstructed using only the high frequency band component in a step S73, and the process proceeds to the step S75.
ステップS75では、所定のレベルのみを抽出した運転動作データから、運動動作特徴量(特徴量xi)を抽出する。続くステップS77では、簡易処理かどうかを判断する。たとえば、自動車教習所のような練習所においては、比較的簡易な処理で異常な運転動作かどうかを判断し、公道を走行するような場合においては、厳格な処理で異常な運転動作かどうかを判断するのである。これは、運転動作解析装置10の管理者等が設定する事項である。ただし、簡易処理は、処理コストを低減できる利点があるが、未知の運転動作については対応できない欠点がある。一方、厳格な処理は、未知の運転動作についても対応できる利点はあるが、インスタンスの数が増えると、処理コストが増大してしまうという欠点がある。 In step S75, an exercise action feature quantity (feature quantity x i ) is extracted from driving action data obtained by extracting only a predetermined level. In a succeeding step S77, it is determined whether or not it is a simple process. For example, at a driving school such as a driving school, it is determined whether or not it is an abnormal driving action with relatively simple processing, and when driving on public roads, it is determined whether or not it is an abnormal driving action with strict processing. To do. This is an item set by the administrator of the driving motion analysis apparatus 10 or the like. However, the simple processing has an advantage that the processing cost can be reduced, but there is a disadvantage that it cannot cope with an unknown driving operation. On the other hand, the strict processing has an advantage that it can cope with an unknown driving operation, but there is a disadvantage that the processing cost increases as the number of instances increases.
なお、厳格な処理のみを実行するようにした場合には、オフライン処理(図13−図14)は不要である。 Note that when only strict processing is executed, offline processing (FIGS. 13 to 14) is unnecessary.
ステップS77で“YES”であれば、つまり簡易処理であれば、ステップS79で、オフライン処理で抽出された異常運転特徴ベクトルとの距離(近似度)を算出して、ステップS83に進む。つまり、テンプレートマッチングを実行する。一方、ステップS77で“NO”であれば、つまり簡易処理でなければ、ステップS81で、模範運転動作データを用いて、ネガティブ非密集度を計算して、ステップS83に進む。ただし、模範運転動作データは、リアルタイムで取得してもよく、予めオフラインで取得しておいてもよい。なお、リアルタイムで取得する場合には、ベテランが運転する自動車に搭載される加速度センサの出力(運転動作データ)を検出するコンピュータと、直接またはネットワークを介してコンピュータ12は接続される。ただし、ネガティブ非密集度を計算する前に、模範運転動作データについても前処理により、高周波数帯または低周波数帯が抽出される。 If “YES” in the step S77, that is, if it is a simple process, a distance (approximation) with the abnormal driving feature vector extracted in the offline process is calculated in a step S79, and the process proceeds to a step S83. That is, template matching is executed. On the other hand, if “NO” in the step S77, that is, if it is not a simple process, the negative non-congestion degree is calculated using the exemplary driving operation data in a step S81, and the process proceeds to the step S83. However, the model driving operation data may be acquired in real time or may be acquired offline in advance. In addition, when acquiring in real time, the computer 12 is connected with the computer which detects the output (driving operation data) of the acceleration sensor mounted in the motor vehicle which a veteran drives directly or via a network. However, before calculating the negative non-crowdness, the high frequency band or the low frequency band is extracted by preprocessing for the model operation data.
ステップS83では、閾値を超えるかどうかを判断する。ここで、簡易処理を実行した場合には、距離が所定距離(第1閾値)を超えて接近(近似)しているかどうかを判断する。つまり、距離が第1閾値以下かどうかを判断する。一方、厳密な処理を実行した場合には、ネガティブ非密集度が第2閾値を超えて0に近いかどうかを判断する。ステップS83で“NO”であれば、つまり閾値(第1閾値,第2閾値)を超えていなければ、異常な運転動作ではないと判断して、ステップS87に進む。一方、ステップS83で“YES”であれば、つまり閾値(第1閾値,第2閾値)を超えている場合には、ステップS85で、異常な運転動作でることを運転者(被験者)に警告して、ステップS87に進む。たとえば、音(音声)、振動、点灯する光の色または光の明滅の各々、または、それらのうちのいずれか2つ以上によって、異常な運転動作である旨を警告する。 In step S83, it is determined whether or not the threshold value is exceeded. Here, when the simple process is executed, it is determined whether or not the distance exceeds a predetermined distance (first threshold) and approaches (approximates). That is, it is determined whether the distance is equal to or less than the first threshold value. On the other hand, when strict processing is executed, it is determined whether or not the negative non-crowdness exceeds the second threshold and is close to 0. If “NO” in the step S83, that is, if the threshold value (first threshold value, second threshold value) is not exceeded, it is determined that the driving operation is not abnormal, and the process proceeds to the step S87. On the other hand, if “YES” in the step S83, that is, if the threshold value (first threshold value, second threshold value) is exceeded, the driver (subject) is warned in step S85 that the driving operation is abnormal. Then, the process proceeds to step S87. For example, it is warned that an abnormal driving operation is performed by sound (sound), vibration, color of light to be lit or blinking of light, or any two or more of them.
ステップS87では、リアルタイム処理の終了であるかどうかを判断する。たとえば、自動車の運転を終了したか(エンジンをオフしたか)どうかを判断する。ステップS87で“NO”であれば、つまりリアルタイム処理の終了でなければ、そのまま図15に示したステップS53に戻る。ステップS87で“YES”であれば、つまりリアルタイム処理の終了であれば、リアルタイム処理を終了する。 In step S87, it is determined whether or not the real-time processing is completed. For example, it is determined whether or not the driving of the car is finished (whether the engine is turned off). If “NO” in the step S87, that is, if the real-time processing is not ended, the process returns to the step S53 shown in FIG. If “YES” in the step S87, that is, if the real-time processing is ended, the real-time processing is ended.
この実施例によれば、予め登録しておいた異常な動作との近似度を検出するだけなので、処理コストを低減することができる。また、リアルタイムに模範となる運転者の運転動作の特徴量と比較することも可能であるため、データベースにない異常な運転動作であっても、正確に判断することもできる。 According to this embodiment, since only the degree of approximation with an abnormal operation registered in advance is detected, the processing cost can be reduced. In addition, since it is possible to compare with the characteristic amount of the driving operation of the driver who is a model in real time, even an abnormal driving operation that does not exist in the database can be accurately determined.
なお、上述の実施例のオフライン処理では、異常な運転動作についての運転特徴ベクトルを記憶するようにしてあるが、初心者の運転動作のよくやる癖を記憶するようにしてもよい。かかる場合には、ステップS33において、MILにより異常な運転動作を抽出する場合に、ネガティブ非密集度とポジティブ密集度との両方が0に近い場合の運転特徴ベクトルを取得すればよい。つまり、DDが0に近い場合の運転特徴ベクトルを取得すればよい。 In the offline processing of the above-described embodiment, the driving feature vector for the abnormal driving operation is stored. However, it is also possible to store a habit of a beginner's driving operation. In such a case, in step S33, when an abnormal driving operation is extracted by the MIL, it is only necessary to acquire a driving feature vector when both the negative non-crowding degree and the positive crowding degree are close to zero. That is, it is only necessary to obtain a driving feature vector when DD is close to zero.
また、上述の実施例のオフライン処理では、異常な運転動作についての運転特徴ベクトルを記憶するようにしてあるが、異常な運転動作をヒヤリハット事象として記憶するようにしてもよい。かかる場合には、従来のドライブレコーダーと、運転動作解析装置10とを連係させることにより、ヒヤリハット事象の発生を正確に判断することが可能である。しかも、自動でヒヤリハット事象のデータベースを作成することができる。 In the offline processing of the above-described embodiment, the driving feature vector for the abnormal driving operation is stored. However, the abnormal driving operation may be stored as a near-miss event. In such a case, it is possible to accurately determine the occurrence of a near-miss event by linking the conventional drive recorder and the driving operation analysis device 10. Moreover, a database of near-miss events can be automatically created.
さらに、上述の実施例のリアルタイム処理では、簡易処理(S79)または厳格な処理(S81)を実行するようにしたが、簡易処理を実行した場合に、異常な運転動作を検出することができないときに、厳格な処理を実行するようにしてもよい。 Furthermore, in the real-time process of the above-described embodiment, the simple process (S79) or the strict process (S81) is executed. However, when the simple process is executed, an abnormal driving operation cannot be detected. In addition, a strict process may be executed.
さらにまた、上述の実施例では、予め異常な運転動作を検出して、これをヒヤリハット事象として、データベース化して、その後の運転動作に役立てるようにしてあるが、これに限定される必要はない。 Furthermore, in the above-described embodiment, an abnormal driving operation is detected in advance, and this is made into a database as a near-miss event, which is useful for the subsequent driving operation. However, the present invention is not limited to this.
たとえば、自動車教習所において、教習生と教官との運転動作データをそれぞれ取得し、教習生の運転動作データをポジティブバッグとし、教官の運転動作データをネガティブバッグとし、MILにより、教習生の正しくない(異常な)運転動作を検出してそれを示したり、教官の運転動作を満点とした場合の教習生の運転動作を点数で示したりすることもできる。これは、オフライン処理でも、オンライン処理でも実現可能である。 For example, at a driving school, driving operation data of a trainee and an instructor are acquired, the driving operation data of the instructor is set as a positive bag, the driving operation data of the instructor is set as a negative bag, and an instructor is incorrect by MIL It is also possible to detect and indicate an abnormal driving operation, or to indicate the driving operation of a trainee when the driving operation of the instructor is a perfect score. This can be realized by offline processing or online processing.
また、初心者やベテランの別に拘わらず、運転者が心身ともに健全な状態で運転した際の運転動作データを予め記憶しておき、これをネガティブバッグとする。ただし、運転者が運転を開始した当初の運転動作データを記憶して、これをネガティブバッグとしてもよい。一方、当該運転者が自動車を運転している時間が一定時間(たとえば、15分〜30分)が経過する毎に、当該運転者の運転動作データを検出し、検出した運転動作データをポジティブバッグとする。そして、MILにより、真のポジティブのインスタンスを検出した場合には、運転者の疲労が蓄積され、運転が乱れてきたと判断して、休憩すべき旨の警告を発することもできる。 Regardless of whether it is a beginner or a veteran, driving operation data when the driver drove in a state where both the mind and body are healthy is stored in advance, and this is used as a negative bag. However, it is also possible to store the initial driving operation data when the driver starts driving and use this as a negative bag. On the other hand, every time a certain period of time (for example, 15 minutes to 30 minutes) during which the driver is driving the vehicle has passed, the driver's driving operation data is detected, and the detected driving operation data is set as a positive bag. And When a true positive instance is detected by the MIL, the driver's fatigue is accumulated, and it can be determined that the driving has been disturbed, and a warning that the user should take a break can be issued.
さらに、同一の被験者に、基本部分は同じであるが運転席のレイアウトが異なる自動車を運転させ、初心者であっても異常な動作を起こし難い運転席のレイアウトを選択することができる。かかる場合には、運転席のレイアウトの異なる自動車をベテランのような運転者が運転したときの運転動作データを記憶して、これをネガティブとする。そして、初心者のような被験者が運転する場合の運転動作データをポジティブとする。各運転席のレイアウト毎に、MILにより、真のポジティブの存在を検出し、たとえば、真のポジティブが存在しない場合の運転席のレイアウトを異常な動作を起こしにくいものとして選択することができる。 Further, the same subject can drive an automobile having the same basic part but different driver seat layout, and a driver seat layout that is difficult for an novice to cause an abnormal operation can be selected. In such a case, driving operation data when a veteran driver drives a car with a different driver seat layout is stored as negative. And driving operation data in case a test subject like a beginner drives is made positive. For each driver seat layout, the presence of a true positive can be detected by the MIL, and for example, the driver seat layout when there is no true positive can be selected as being less likely to cause an abnormal operation.
さらにまた、上述の実施例では、両手首および右足のつま先に加速度センサを装着して、被験者の運転動作を検出するようにしたが、たとえば、初心者の運転動作の特徴量とベテランの運転動作の特徴量とに基づいて初心者の異常な運転動作を検出するようにしてあるため、左手首、右手首、右足のつま先のいずれか1に加速度センサを装着するだけであっても、初心者の異常な運転動作を検出することも可能である。ただし、安全面を考慮して、上述の実施例では、上記3箇所の動きを検出するようにしてある。 Furthermore, in the above-described embodiment, the acceleration sensor is attached to the toes of both wrists and the right foot to detect the subject's driving motion. For example, the feature amount of the beginner's driving motion and the veteran driving motion Since the beginner's abnormal driving motion is detected based on the feature amount, even if the acceleration sensor is only attached to one of the left wrist, right wrist, or right toe, It is also possible to detect a driving action. However, in consideration of safety, in the above-described embodiment, the movements at the three positions are detected.
また、上述の実施例では、被験者の運転動作を検出するために加速度センサを用いるようにしたが、これに限定されるべきではない。モーションキャプチャシステムを用いることもできる。たとえば、モーションキャプチャシステムとしては、VICON社(http://www.vicon.com/)の光学式のモーションキャプチャシステムを適用することができる。かかる場合には、マーカを両手首、右足のつま先に貼り付けておき、これを赤外線照射機能を有する複数台のカメラで撮影し、その撮影結果から3次元の動き(位置)を時系列に従って追跡(検出)することができる。なお、基本的には、被験者は運転席で留まっているため、比較的少ない台数のカメラを設ければよく、しかも、自動車に起因するノイズを無視することができると考えられる。ただし、モーションキャプチャシステムは光学式のものに限られず、種々の公知のものが適用され得る。 In the above-described embodiment, the acceleration sensor is used to detect the driving motion of the subject. However, the present invention should not be limited to this. A motion capture system can also be used. For example, an optical motion capture system of VICON (http://www.vicon.com/) can be applied as the motion capture system. In such a case, a marker is pasted to the toes of both wrists and the right foot, and this is photographed by a plurality of cameras having an infrared irradiation function, and the three-dimensional movement (position) is tracked in time series from the photographing result. (Detection). Basically, since the subject remains in the driver's seat, a relatively small number of cameras may be provided, and noise caused by the automobile can be ignored. However, the motion capture system is not limited to an optical system, and various known systems can be applied.
10 …運転動作解析装置
12 …コンピュータ
14,16,18,20 …加速度センサ
22 …出力装置
DESCRIPTION OF SYMBOLS 10 ... Driving | running operation analysis apparatus 12 ... Computer 14, 16, 18, 20 ... Acceleration sensor 22 ... Output device
Claims (8)
前記運転動作検出手段によって検出された運転動作データを周波数解析する周波数解析手段、
前記周波数解析手段の解析結果に基づいて前記被験者の運転動作の特徴量を抽出する特徴量抽出手段、および
特徴量を所定の空間にマッピングした場合において、前記特徴量抽出手段によって抽出された特徴量が、マルチプル インスタンス ラーニングにより所定のラベルが付された基準の運転動作についての基準特徴量の集合が存在していない地点に存在することが判断されたとき、前記被験者の異常な運転動作を検出する運転動作解析手段を備える、運転動作解析装置。 Driving action detection means for detecting driving action data about the driving action of the subject;
Frequency analysis means for analyzing the frequency of the driving action data detected by the driving action detection means;
Feature quantity extraction means for extracting the feature quantity of the driving motion of the subject based on the analysis result of the frequency analysis means; and
In the case of mapping the feature quantity in a predetermined space, the feature quantity extracted by the feature amount extracting means, a set of reference feature amount for driving operation of a predetermined label is affixed criteria exist by multiple instances Learning when it is determined that present in non point including the driving operation analysis means for detecting an abnormal operation operation before Symbol subject, operational behavior analysis apparatus.
前記運転動作解析手段は、さらに、前記特徴量抽出手段によって抽出された特徴量と、前記運転動作データ記憶手段に記憶され運転動作データに基づく特徴量とが近似するとき、前記被験者の異常な運転動作を検出する、請求項1ないし4のいずれかに記載の運転動作解析装置。 A driving operation data storage unit for storing driving operation data when an abnormal driving operation is detected by the driving operation analysis unit;
Before SL running operation analyzing means further wherein the feature amount feature amount extracted by the extraction means, when said driving operation data storage means stored feature based on the operating behavior data you approximation, of the subject The driving | running operation analysis apparatus in any one of Claim 1 thru | or 4 which detects abnormal driving | operation operation | movement.
前記運転動作検出手段によって検出された運転動作データから、前記第2加速度センサの出力に基づく前記自動車に起因するノイズを除去する除去手段をさらに備える、請求項6記載の運転動作解析装置。 A second acceleration sensor attached to the vehicle, and a removal unit that removes noise caused by the vehicle based on an output of the second acceleration sensor from driving operation data detected by the driving operation detection unit. Item 6. The operation analysis device according to item 6.
(b)前記ステップ(a)によって検出された運転動作データを周波数解析し、
(c)前記ステップ(b)の解析結果に基づいて前記被験者の運転動作の特徴量を抽出し、そして
(d)特徴量を所定の空間にマッピングした場合において、前記ステップ(c)によって抽出された特徴量が、マルチプル インスタンス ラーニングにより所定のラベルが付された基準の運転動作についての基準特徴量の集合が存在していない地点に存在することが判断されたとき、前記被験者の異常な運転動作を検出する、運転動作解析方法。 (a) Detect driving action data about the driving action of the subject,
(b) frequency analysis of the driving operation data detected in the step (a),
(c) based on the analysis result of the step (b) to extract the feature quantity of the subject's driving action, and
(d) In the case of mapping the feature quantity in a predetermined space, feature amount extracted by said step (c), a set of reference feature value for the reference driving operation of a predetermined label is affixed by multiple instances Learning when there it is determined that at spot does not exist, detecting abnormal operation operation before Symbol subject, operating operation analyzing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006163338A JP4780711B2 (en) | 2006-06-13 | 2006-06-13 | Driving motion analysis apparatus and driving motion analysis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006163338A JP4780711B2 (en) | 2006-06-13 | 2006-06-13 | Driving motion analysis apparatus and driving motion analysis method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007334479A JP2007334479A (en) | 2007-12-27 |
JP4780711B2 true JP4780711B2 (en) | 2011-09-28 |
Family
ID=38933925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006163338A Active JP4780711B2 (en) | 2006-06-13 | 2006-06-13 | Driving motion analysis apparatus and driving motion analysis method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4780711B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5691065B2 (en) * | 2008-01-22 | 2015-04-01 | 株式会社国際電気通信基礎技術研究所 | Dangerous driving prevention awareness judgment system and dangerous driving prevention awareness judgment method |
JP5499277B2 (en) * | 2008-01-22 | 2014-05-21 | 株式会社国際電気通信基礎技術研究所 | Dangerous driving prevention awareness judgment system and dangerous driving prevention awareness judgment method |
EP2252209B1 (en) * | 2008-03-14 | 2012-01-18 | Koninklijke Philips Electronics N.V. | An activity monitoring system insensitive to accelerations induced by external motion factors |
JP4590010B1 (en) * | 2009-12-14 | 2010-12-01 | エンパイア テクノロジー ディベロップメント エルエルシー | Motion analysis apparatus and motion analysis method |
JP5681522B2 (en) * | 2011-02-24 | 2015-03-11 | 本田技研工業株式会社 | Riding simulator |
JP6417673B2 (en) | 2013-05-08 | 2018-11-07 | 株式会社デンソー | Vehicle operation detection system, vehicle operation detection unit, and vehicle operation detection device |
DE102013212235A1 (en) * | 2013-06-26 | 2014-12-31 | Bayerische Motoren Werke Aktiengesellschaft | Method for processing measurement data of a vehicle for determining the beginning of a search for a parking space |
JP2015138381A (en) * | 2014-01-22 | 2015-07-30 | 株式会社デンソー | Operation input system, operation device and information equipment |
JP6307356B2 (en) | 2014-06-06 | 2018-04-04 | 株式会社デンソー | Driving context information generator |
JP6347078B2 (en) * | 2014-07-24 | 2018-06-27 | 国立研究開発法人土木研究所 | Deflection measuring method and deflection measuring apparatus |
US10300922B2 (en) | 2017-09-29 | 2019-05-28 | Denso International America, Inc. | Risk assessment system for assessing current driver behavior relative to past behavior and behaviors of other drivers |
JP2019073069A (en) * | 2017-10-12 | 2019-05-16 | 京セラ株式会社 | Vehicle, determination method, and determination program |
CN116578910B (en) * | 2023-07-13 | 2023-09-15 | 成都航空职业技术学院 | Training action recognition method and system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05155269A (en) * | 1991-12-06 | 1993-06-22 | Toyota Motor Corp | Asleep driving detecting device |
JP3593502B2 (en) * | 2001-01-16 | 2004-11-24 | 株式会社データ・テック | Vehicle driving technology diagnosis system, components thereof, and driving technology diagnosis method |
JP2005173635A (en) * | 2003-12-05 | 2005-06-30 | Fujitsu Ten Ltd | Dozing-detection device, camera, light-shielding sensor, and seat belt sensor |
JP2006130046A (en) * | 2004-11-05 | 2006-05-25 | Daikin Ind Ltd | Arousal level determining apparatus |
JP2006143159A (en) * | 2004-11-25 | 2006-06-08 | Alpine Electronics Inc | Vehicular motion recognition device |
-
2006
- 2006-06-13 JP JP2006163338A patent/JP4780711B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007334479A (en) | 2007-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4780711B2 (en) | Driving motion analysis apparatus and driving motion analysis method | |
Pérez et al. | Argos: An advanced in-vehicle data recorder on a massively sensorized vehicle for car driver behavior experimentation | |
US10963741B2 (en) | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene | |
Li et al. | Detecting drivers' mirror-checking actions and its application to maneuver and secondary task recognition | |
CN100571628C (en) | A kind of psychology and behavior monitoring system based on simulation driving platform | |
US11798297B2 (en) | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene | |
CN110765807A (en) | Driving behavior analysis method, driving behavior processing method, driving behavior analysis device, driving behavior processing device and storage medium | |
CN108563891B (en) | Intelligent traffic accident prevention method based on inertial measurement unit | |
CN112906515A (en) | In-vehicle abnormal behavior identification method and system, electronic device and storage medium | |
CN112489425A (en) | Vehicle anti-collision early warning method and device, vehicle-mounted terminal equipment and storage medium | |
CN109887373A (en) | Driving behavior collecting method, assessment method and device based on vehicle drive | |
Ansari et al. | Driver’s foot trajectory tracking for safe maneuverability using new modified reLU-BiLSTM deep neural network | |
Zheng et al. | Identification of adaptive driving style preference through implicit inputs in sae l2 vehicles | |
Baltodano et al. | Eliciting driver stress using naturalistic driving scenarios on real roads | |
Murphey et al. | Driver lane change prediction using physiological measures | |
CN201067406Y (en) | Device for monitoring psychology and behavior of a driver | |
JP6772775B2 (en) | Driving support device and driving support method | |
CN112168190B (en) | Real-time driving pressure monitoring system and method | |
CN114926896A (en) | Control method for automatic driving vehicle | |
Murphey et al. | Personalized driver workload estimation in real-world driving | |
KR102486161B1 (en) | Vehicle, Control Method of the vehicle and Image tracking apparatus | |
Kübler et al. | 55 rides: attention annotated head and gaze data during naturalistic driving | |
Alvarez et al. | The SKYNIVI experience: evoking startle and frustration in dyads and single drivers | |
Fleicher et al. | Using physiological metrics to improve reinforcement learning for autonomous vehicles | |
Dixit et al. | Face detection for drivers’ drowsiness using computer vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110701 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4780711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |