JP5572339B2 - オンラインリスク認識システム - Google Patents
オンラインリスク認識システム Download PDFInfo
- Publication number
- JP5572339B2 JP5572339B2 JP2009159063A JP2009159063A JP5572339B2 JP 5572339 B2 JP5572339 B2 JP 5572339B2 JP 2009159063 A JP2009159063 A JP 2009159063A JP 2009159063 A JP2009159063 A JP 2009159063A JP 5572339 B2 JP5572339 B2 JP 5572339B2
- Authority
- JP
- Japan
- Prior art keywords
- risk
- recognition
- state
- information
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
- Alarm Systems (AREA)
Description
本発明のオンラインリスク認識システムは、自動車等の移動体に搭載され、外界環境の検出結果からその環境内に含まれる危険度(リスク)に係る情報を適応的に認識するシステムであり、事前には想定していなかった環境に対しても、適応的にリスク認識が行えるようにオンラインで成長していく。
(a)ドライバ操作データからのリスク情報の抽出(リスク情報抽出部6)
(b)画像データからの画像特徴量の決定・選択(特徴量抽出部4)
(c)画像特徴量から状態への変換(状態認識部5)
(d)状態とリスクとの相関認識(リスク認識部7)
特徴量抽出部4は、以降のリスク認識のためのデータを抽出する。一般に、リスク認識に相関がないデータは認識に悪影響を与える。つまり、この特徴量抽出処理においては、むやみに特徴量を増やすということは得策でなく、逆に、必要な特徴量を用いないことも精度を悪化させる。
入力画像に対して、ソベル、縦方向ソベル、横方向ソベル、フレーム間差分、輝度、彩度の6種類のフィルタ処理を行い、6次元の特徴量データを抽出する。
フィルタ処理された画像の画素値に対して、平均、分散、最大値、最小値、横方向重心、縦方向重心、コントラスト、均一性、エントロピー、フラクタル次元の10種類の計算処理を行い、10次元の特徴量データを抽出する。
図2に示すように、画像内に領域A0を設定し、この設定領域A0の全体、設定領域A0内の左側の領域A1、右側の領域A2、中央の領域A3の4種類の領域について、4次元の特徴量データを抽出する。
状態認識部5では、N次元の特徴量データを1次元の状態という量に圧縮変換する。つまり、状態は、入力された特徴量データから状態という量を出力する識別器としての機能によって認識される(但し、この識別器の出力は、1状態を確定せずに確率的に扱うこともできる)。本処理は、この識別器の内部構造を入力データ、教師データを用いて実環境に適応させることになるが、ここでの教師は、この入力データがどの状態であるかを直接教えるのではなく、出力された状態から認識されるリスクを、できるだけ効率的に、且つ精度良く認識できるようにするものである。
認識モデル設定部5aは、先ず、入力データの性質に応じて並列化されたSOMモデル群の中から、比較的長い時間で使用するモデル群を選択する。例えば、昼用のSOMモデル群と夜用のSOMモデル群とを保有している場合、スモールライトスイッチの点灯状態から判別した昼夜の別に応じてモデルを切り換える。但し、モデル切り換えに際しては、パッシングライト等への対策としてヒステリシスを設ける。
(1)雨天時の判別のためのワイパー動作情報
(2)晴天時の判別のための日照センサの情報
(3)高速道路走行の判別のための車速やギア情報
(4)自車の走行位置、時刻、季節の判別のためのGPS情報
(5)明るさ条件の判別のためのシャッタースピード等のカメラ制御情報
(6)各判別のための画像情報
認識学習部5bは、走行状態に応じて選択したSOMモデルに対する第2段階の処理として、選択したSOMモデルに画像特徴量のみの同じ種類のデータを入力し、状態の認識処理及び認識処理の学習を行う。この認識処理は、入力データに対するプロトタイプ型の識別処理として行われる。ここで、状態番号をSとすると、各状態は代表値を持ち、これをprots(i)とする。状態代表値prots(i)は、N次元のベクトルであり、i=0,1,…,N−1となる。
L(s)=(Σi(prots(i)−In(i))2)1/2 …(1)
K=mins(L(s)) …(2)
P(s)=(exp(−L(s)/σ))/z …(3)
z=Σsexp(−L(s)/σ) …(4)
次に、状態認識部5の学習処理では、入力データ及び教師情報から、SOMをベースとした各状態の代表値の学習(更新)を行う。本システムにおいては、SOMによる学習は、以下のようになる。但し、本システムにおいては、ユニット(状態)は1次元につながっているものとする。勝者ユニットの状態番号を、前述の状態番号Kとすると、代表ベクトルprotsは、以下の(5)式に従って更新(学習)される。
prots(i)→prots(i)+α(In(i)−prots(i) …(5)
α=a・b(t)・c(D(s,K),t)・e(t) …(6)
但し、a :学習係数
b :時間減衰係数
c :領域減衰係数
D(s,K):更新対象のユニットと勝者ベクトル間のつながりにおける距離
e :教師情報係数
前述したように、本形態では、車両操作情報からのリスク抽出に際して、リスク情報抽出部6では学習を行わず、予め設定したルールを用いてドライバの操作情報からリスク情報を抽出するようにしている。このルールに従ったリスク情報の抽出処理においては、リスク情報をレベル付きの1次元データとして扱う。
フレーム間のブレーキ圧力の差分に応じてリスクレベルを設定する。例えば、ブレーキ圧力の差分が1×102kPa以上ならリスク有り、1×102kPaでリスク5、1×103kPaでリスク10とし、リスク5とリスク10との間は、ブレーキ圧力の差分に応じて線形に設定する。
所定の車速以上で、ブレーキ圧力に応じてリスクレベルを設定する。例えば、車速10km/h以上で、ブレーキ圧力が20×102kPa以上の場合はリスク10、ブレーキ圧力が10×102kPa以上の場合はリスク6、ブレーキ圧力が5×102kPa以上の場合はリスク2とする。
ウインカーが出ていない状態で、フレーム間のハンドル角の差分の絶対値が設定値(例えば10deg)以上の場合、リスク5とする。
所定の車速以上で、フレーム間のアクセル開度の差分に応じてリスクレベルを設定する。例えば、車速5km/h以上でアクセル開度の差分が−1%以下の場合、リスク4とする。
加速中のアクセル開度に応じてリスクレベルを設定する。加速中であるか否かは、車速の微分値で判断し、車速の微分値0以上(加速中)でアクセル開度1%以下の場合、リスク2とする。
リスク認識部7では、状態認識部5で求めた状態により、リスクを出力する。前述したように、各状態はそれぞれリスク確率分布を持つため、状態sでのリスクの確率分布をp(R│s)と表すことにする。尚、ここでのリスクは、リスク情報抽出部6でのリスクと対応しており、11段階のレベルに分けているので、リスクレベルRとリスク確率(分布)p(R│s)とは、例えば図11に示すような関係で表される。
E=ΣRR・p(R│s) …(7)
E=ΣsΣRP(s)・R・p(R│s) …(8)
リスク確率の学習は毎フレームに行われ、リスク確率は逐次更新される。リスク確率は、基本的に、過去に経験したリスクレベルの頻度分布を用いて算出する。しかし、本システムは、オンライン学習なので無限遠過去のデータまで持つことは難しく、また遠い過去の経験に現在と同じ重要度を持たせることは好ましくないと考えられる。従って、ここでは、以下の方法でリスク確率を更新する。
pt+1(R│st)=pt(R│st)+β…(9)
pt+1(R│st)←pt+1(R│st)/ΣRpt+1(R│st) …(10)
p(r│st-1)=p(r│st-1)+η・(RI(r)+γ・p(r│st)−p(r│st-1))
+h・η・(γ・p(r−1│st)−p(r−1│st-1))
+h・η・(γ・p(r+1│st)−p(r+1│st-1)) …(11)
但し、h:リスクレベル方向の伝播の大きさを表すパラメータ
γ:時系列の伝播の大きさを表すパラメータ
η:一回の学習での更新の大きさを表すパラメータ
RI(r)=1 (r=Q) …(12)
RI(r)=0 (r≠Q) …(13)
R≠0のとき、
e(t)=10・R・p(R│st) …(14)
R=0のとき、
e(t)=const …(15)
4 特徴量抽出部
5 状態認識部
5a 認識モデル設定部
5b 認識学習部
6 リスク情報抽出部
7 リスク認識部
Claims (5)
- 移動体の外界環境を検出し、この外界環境に含まれる危険度を認識するオンラインリスク認識システムであって、
上記外界環境の検出情報を処理して上記外界環境に含まれる多次元の特徴量を抽出する特徴量抽出部と、
上記特徴量をクラスタリングするための認識モデルを階層化して設定する認識モデル設定部と、
上記認識モデル設定部で設定された認識モデルを用いて多次元の上記特徴量を1次元の状態として認識する状態認識部と、
上記状態認識部で認識された状態と上記危険度に係るリスク情報を抽出して作成された教師情報との相関に基づいて、上記状態の危険度を学習し、上記外界環境に含まれる危険度を認識するリスク認識部とを備え、
上記認識モデル設定部は、走行環境に応じて並列化された複数のモデル群と、該モデル群の下位に存在し、運転状態に応じて複数に分割して階層化されたループ上の認識モデルとを備え、走行環境に応じて上記複数の認識モデル群から1つのモデル群を選択し、選択した1つのモデル群の中から運転状態に応じて上記状態認識部で用いる認識モデルを選択する
ことを特徴とするオンラインリスク認識システム。 - 上記認識モデル群を自己組織化マップで作成し、該自己組織化マップを上記移動体の運転状態に応じて複数の1次元モデルに分割して階層化することを特徴とする請求項1記載のオンラインリスク認識システム。
- 上記複数の1次元モデルの中から上記移動体の運転状態に応じて1つの1次元モデルを選択し、選択した1次元モデルに、上記外界環境を撮像した画像情報から抽出した特徴量のみを入力することを特徴とする請求項2記載のオンラインリスク認識システム。
- 上記複数の1次元モデルを、入力データの性質に応じて並列化することを特徴とする請求項2又は3記載のオンラインリスク認識システム。
- 上記並列化された複数の1次元モデルを、ヒステリシスを持って切り換えることを特徴とする請求項4記載のオンラインリスク認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009159063A JP5572339B2 (ja) | 2009-07-03 | 2009-07-03 | オンラインリスク認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009159063A JP5572339B2 (ja) | 2009-07-03 | 2009-07-03 | オンラインリスク認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011014038A JP2011014038A (ja) | 2011-01-20 |
JP5572339B2 true JP5572339B2 (ja) | 2014-08-13 |
Family
ID=43592833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009159063A Expired - Fee Related JP5572339B2 (ja) | 2009-07-03 | 2009-07-03 | オンラインリスク認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5572339B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824427B (zh) * | 2013-11-20 | 2016-09-14 | 柳州天运寰通科技有限公司 | 一种便携式远程救助终端 |
JP2015146087A (ja) * | 2014-02-03 | 2015-08-13 | 有限会社ジロウコレクション | 自動車用警報システム |
JP6945297B2 (ja) * | 2016-12-05 | 2021-10-06 | 株式会社日立製作所 | 機器診断装置、機器診断システム及び機器診断方法 |
TWI701174B (zh) | 2018-06-06 | 2020-08-11 | 緯創資通股份有限公司 | 駕駛預測方法及其處理裝置與系統 |
JP7176376B2 (ja) * | 2018-11-30 | 2022-11-22 | トヨタ自動車株式会社 | 車両の制御装置 |
JP7240916B2 (ja) * | 2019-03-22 | 2023-03-16 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP7173317B2 (ja) * | 2019-05-22 | 2022-11-16 | 日本電気株式会社 | 動作規則決定装置、動作規則決定方法およびプログラム |
JP7204717B2 (ja) * | 2020-09-29 | 2023-01-16 | トヨタ モーター ヨーロッパ | 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0785280B2 (ja) * | 1992-08-04 | 1995-09-13 | タカタ株式会社 | 神経回路網による衝突予測判定システム |
JP3032402B2 (ja) * | 1993-05-18 | 2000-04-17 | ホーチキ株式会社 | 火災判定装置及びニューラルネットワークの学習方法 |
JP3747056B2 (ja) * | 2002-12-13 | 2006-02-22 | 小糸工業株式会社 | 路面状態判別装置 |
JP4595759B2 (ja) * | 2005-09-09 | 2010-12-08 | 株式会社デンソー | 環境認識装置 |
JP2008026997A (ja) * | 2006-07-18 | 2008-02-07 | Denso Corp | 歩行者認識装置及び歩行者認識方法 |
JP5185554B2 (ja) * | 2007-03-23 | 2013-04-17 | 富士重工業株式会社 | オンラインリスク学習システム |
-
2009
- 2009-07-03 JP JP2009159063A patent/JP5572339B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011014038A (ja) | 2011-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5572339B2 (ja) | オンラインリスク認識システム | |
US11318928B2 (en) | Vehicular automated parking system | |
JP7140922B2 (ja) | マルチセンサデータ融合方法、及び装置 | |
JP5185554B2 (ja) | オンラインリスク学習システム | |
JP2011014037A (ja) | リスク予測システム | |
CN112840350A (zh) | 自动驾驶车辆规划和预测 | |
KR20180051335A (ko) | 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치 | |
CN111605565A (zh) | 基于深度强化学习的自动驾驶行为决策方法 | |
JP2009096365A (ja) | リスク認識システム | |
CN112149618B (zh) | 适用于巡检车的行人异常行为检测方法与装置 | |
JP2011003076A (ja) | リスク認識システム | |
CN115009304A (zh) | 一种基于端到端的自动驾驶车辆实现方法 | |
JP7415471B2 (ja) | 運転評価装置、運転評価システム、車載装置、車外評価装置、および運転評価プログラム | |
CN115635961A (zh) | 样本数据生成方法及应用其的轨迹预测方法、装置 | |
CN113435356B (zh) | 一种克服观察噪声与感知不确定性的轨迹预测方法 | |
WO2022044210A1 (ja) | 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム | |
CN110913212B (zh) | 基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶系统 | |
JP2010267134A (ja) | リスク認識システム | |
JP5547913B2 (ja) | オンラインリスク学習システム | |
CN115481724A (zh) | 用于训练用于语义图像分割的神经网络的方法 | |
JP2019053377A (ja) | 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 | |
CN113011347B (zh) | 一种基于人工智能的智能驾驶方法、装置及相关产品 | |
JP7143538B2 (ja) | 運転支援装置および運転支援方法 | |
US11760388B2 (en) | Assessing present intentions of an actor perceived by an autonomous vehicle | |
CN116373736A (zh) | 自动驾驶的智能信息交互方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5572339 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |