JP5521893B2 - 運転支援システム、車載装置 - Google Patents

運転支援システム、車載装置 Download PDF

Info

Publication number
JP5521893B2
JP5521893B2 JP2010187368A JP2010187368A JP5521893B2 JP 5521893 B2 JP5521893 B2 JP 5521893B2 JP 2010187368 A JP2010187368 A JP 2010187368A JP 2010187368 A JP2010187368 A JP 2010187368A JP 5521893 B2 JP5521893 B2 JP 5521893B2
Authority
JP
Japan
Prior art keywords
information
driver
vehicle
driving
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010187368A
Other languages
English (en)
Other versions
JP2012048310A (ja
Inventor
誉司 坂東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010187368A priority Critical patent/JP5521893B2/ja
Publication of JP2012048310A publication Critical patent/JP2012048310A/ja
Application granted granted Critical
Publication of JP5521893B2 publication Critical patent/JP5521893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、ドライバの注意を喚起すべき位置を示した注意情報を生成し、その注意情報を各車両に配信して、ドライバに報知させることで運転を支援する運転支援システムに関する。
従来、ドライバが車両の運転中に危険(いわゆる「ヒヤリハット」)を察知した危険ポイントを表す情報を各車両にて記録すると共に、各車両から収集した情報をデータベース化して各車両に配信し、各車両では、その配信された情報(以下「注意情報」という)に基づいて、ドライバに対する情報提供や警報を行う運転支援システムが知られている(例えば、特許文献1参照)。
この運転支援システムでは、ドライバの精神状態が反映された生体反応データや、ドライバによる車両操作が反映された車両操作データを測定し、生体反応データが平均的な状態から所定値を超えて変化し、且つ、車両操作データが異常操作と認められるデータを示した場合に危険反応が検出されたものとして、ドライバは危険を察知したと判定している。
特許第4396597号公報
ところで、上述のような危険反応が検出されるのは、天候や道路幅、信号の有無などの走行環境だけに要因があるとは限らず、運転に対するドライバの集中力の低下などドライバに要因がある場合もある。
つまり、ドライバ側の要因に基づく危険ポイントは、同じ場所で他人が危険反応を示す可能性は極めて低いため、そのような危険ポイントを配信してしまうと、運転に集中しているドライバにとっては煩わしいだけであるという問題があった。
また、ドライバが危険を察知する(危険反応が検出される)状況は、運転の習熟度や感性等によってドライバ毎に様々に異なっているため、多様なドライバから収集されたヒヤリハットデータを、そのまま配信してしまうと、提供を受けたドライバの感性とは一致しない、ドライバにとって煩わしい情報提供や警報が増えてしまうという問題があった。
例えば、普段、穏やかにブレーキを踏む人にとっては、注意情報が欲しい場面であっても、普段急減速を行うドライバにとっては、同じ注意情報が配信されるのは煩わしいだけである。
本発明は、上記問題点を解決するために、個々のドライバに有用な注意情報を、ドライバを煩わせることなく配信可能な運転支援システムを提供することを目的とする。
上記目的を達成するためになされた請求項1に記載の発明は、ドライバの注意を喚起すべき位置である危険ポイントを示した注意情報を生成し、該注意情報を、無線通信ネットワークを介して配信する情報配信装置と、前記情報配信装置から配信される注意情報に従って前記危険ポイントに関する報知を行う車載装置とからなる運転支援システムであって、前記車載装置は、ドライバが危険を感じた時に生じる危険反応を検出すると、該危険反応を生じさせた要因が走行環境によるものかドライバの不注意によるものかを判断し、該要因が走行環境にあると判断した場合に、前記危険反応が検出された位置を表す位置データが少なくとも含まれた報告情報を無線通信ネットワークを介して前記情報配信装置に送信し、前記情報配信装置は、前記車載装置から送信されてくる報告情報に基づいて、前記注意情報を生成することを特徴とする。
このように構成された本発明の運転支援システムによれば、危険要因がドライバ側にある普遍性のない危険ポイントに関する注意情報の生成,配信が防止されるため、必要のない注意情報によって、ドライバに煩わしさを感じさせてしまうことを防止できる。
ところで、請求項2に記載の運転支援システムでは、情報配信装置は、個々のドライバの運転行動の傾向を表す運転特性を統計的に分類することで生成されるドライバクラス毎に、注意情報を生成し、車載装置は、注意情報として、自車両を運転するドライバが属するドライバクラスについて生成されたものを用いる。
また、請求項3に記載の運転支援システムでは、情報配信装置は、危険反応の検出時における車両の走行環境や車両の挙動を表す状況データを統計的に分類することで生成される環境クラス毎に、注意情報を生成し、車載装置は、注意情報として、自車両の走行環境や車両の挙動から特定される環境クラスについて生成されたものを用いる。
これらの場合、情報配信装置が、ドライバが属するドライバクラスに適合する注意情報や車両の走行状態に対応する環境クラスに適合する注意情報のみを配信してもよいし、車載装置側で、情報配信装置から配信される注意情報の中から、ドライバや車両の走行状態に適合する注意情報を抽出するようにしてもよい。
このように構成された本発明の運転支援システムによれば、ドライバの運転傾向や車両の走行環境に合わせた注意情報を配信することができるため、個々のドライバにとって意味のある注意情報を、ドライバに煩わしさを感じさせることなく提供することができる。
次に、請求項4に記載の発明は、ドライバの注意を喚起すべき位置である危険ポイントを示した注意情報を生成し、該注意情報を無線通信ネットワークを介して配信する情報配信装置と共に運転支援システムを構成し、前記情報配信装置から配信される注意情報に従って前記危険ポイントに関する報知を行う車載装置を前提とする。
そして、本発明の車載装置では、位置記録手段が、車両の位置を示す位置データを取得して記録し、状況記録手段が、車両の走行環境や車両の挙動を表す状況データを取得して記録し、操作記録手段が、ドライバの車両操作を示す操作データを取得して記録する。
すると、学習手段が、状況データおよび操作データの履歴から、ドライバの運転行動の傾向を表す運転特性を、個々のドライバ毎に学習し、逸脱量算出手段が、学習手段により得られた運転特性に対する、状況データや操作データにより示される運転状態の逸脱量を算出し、ドライバ状態判定手段が、逸脱量算出手段で算出される逸脱量に基づいてドライバが運転に集中しているか否かを判定する。
更に、ドライバが運転中に危険を察知した時に生じる危険反応を検出する危険反応検出手段により危険反応が検出され、且つ、ドライバ状態判定手段によりドライバが運転に集中していると判定された場合、送信手段が、危険反応を引き起こした要因が走行環境にあるものとして、危険反応の検出時に記録された位置データを少なくとも含んだ報告情報を、無線通信ネットワークを介して情報配信装置に送信する。
なお、送信手段により情報配信装置に送信する報告情報には、請求項5に記載のように、危険反応の検出時に記録された前記状況データや、請求項6に記載のように、学習手段にて学習された運転特性に関するデータが含まれていてもよい。
このように構成された本発明の車載装置は、請求項1乃至請求項3のいずれか1項に記載された運転支援システムを構築する際に、好適に用いることができる
実施形態の運転支援システムの全体構成を示すブロック図。 車載装置の制御部が実行するドライバ状態推定処理の内容を示すフローチャート。 運転特性を例示するグラフであり、(a)は加減速特性、(b)は車間特性、(c)は応答特性である。 運転特性分類データを例示するグラフ。 車載装置の制御部が実行する危険対応処理の内容を示すフローチャート。 車載装置の制御部が実行する注意処理の内容を示すフローチャート。 危険度マップに関する説明図であり、(a)は危険度マップの構成、(b)は危険度マップに登録される各情報の内容を例示したものである。 管理センタの制御部が実行するマップ更新処理の内容を示すフローチャート。 ドライバクラスおよび環境クラスに関する説明図であり、(a)は、運転特性分類データの分布を、車間特性と加減速特性の平面で切り出した部分分布図、(b)は、操作データ(ステアリング/ブレーキ)に基づいて求めた操作量と車速との関係を表す分布図である。 管理センタの制御部が実行する注意情報配信処理の内容を示すフローチャート。
以下に本発明の実施形態を図面と共に説明する。
[全体構成]
図1は、本発明が適用された運転支援システム1の概要を示すブロック図である。
図1に示すように、運転支援システム1は、車両に搭載される車載装置(ナビゲーション装置)2と、VICSの路側機や携帯電話の基地局等を含む無線通信用の通信インフラ3を介して車載装置2からの情報収集、車載装置2への情報配信を行う管理センタ4と、通信インフラ3を介して、車両に搭載されたセンサ等では取得し難い車両の走行環境に関する各種情報を提供する情報サーバ5とで構成されている。
そして、車載装置2は、ドライバが運転中に危険(いわゆるヒヤリハット)を察知した場合に、その位置およびその時の状況等が示された報告情報を管理センタ4に送信し、管理センタ4は、多数の車載装置2から得られた報告情報に基づいて、ドライバの注意を喚起すべき位置を示した注意情報を生成して車載装置2に配信する。注意情報の配信を受けた車載装置2は、その注意情報に従って、ドライバの注意を喚起するための各種アクチュエーションを実行するようにされている。
[車載装置]
車載装置2は、車両の挙動,ドライバによる車両操作,各種車載機器の作動状態などを検出するための各種センサからなる車両センサ群21と、ドライバの身体的変化(生体反応)を検出するための各種センサからなる生体センサ群22と、車両の周囲の走行環境を検出するための各種センサからなる環境センサ群23と、GPS衛星より送信されるGPS信号を受信して、車両の位置(緯度,経度)や進行方向を検出するGPS受信機24とを備えている。
また、車載装置2は、通信インフラ3を利用して管理センタ4や情報サーバ5との通信を行う無線通信部25と、各種画像を表示するためのディスプレイ,警報音や音声を出力するためのスピーカ等からなる画像/音声出力部26と、車載装置2に対する指令を入力するための各種入力装置からなる指令入力部27と、地図データが記憶された地図データベース28と、CPU,ROM,RAM,I/O等からなる周知のマイクロコンピュータを中心にして構成され、各種処理を実行する制御部29とを備えている。
[センサ群]
車両センサ群21を構成する各センサの検出対象は、例えば、車体の速度,加速度,ヨーレート等の他、アクセルペダル,ブレーキペダル,ステアリング等の操作量や、ウインカ,ワイパ,ヘッドライト,シートベルト等の作動状態である。
生体センサ群22を構成する各センサの検出対象は、例えば、視線や顔向き,心拍,血圧,発汗等である。また、環境センサ群23は、レーザレーダやミリ波レーダ、車両の前方や後方を撮影する各種カメラ、ソナー等の近距離センサ等からなる。
なお、これらセンサ群21〜23を構成する各センサは車両の各部に配置されており、制御部29は、図示しない車載LAN(CANやLIN)を介して各センサでの検出結果を取得するようにされている。また、センサ群21〜23を構成する個々のセンサは、必ずしも全ての車両が全種類を備えている必要はなく、車両毎に部分的に異なっていてもよい。
[制御部]
制御部29は、地図データベース28に格納された地図データ、GPS受信機24から得られる位置データ等を用い、画像/音声出力部26を介して、車両位置周辺の地図の表示や設定経路に関する案内表示や音声ガイダンス等を行ういわゆるナビゲーション機能を実現するための処理を実行する。つまり、車載装置2は、基本的には、周知のナビゲーション装置として機能するように構成されている。
また、制御部29は、走行環境に関する各種情報(外気温、天候、各種道路規制、信号機の状態など)を、無線通信部25を介して、必要に応じて情報サーバ5から取得して記憶したり、車両センサ群21,生体センサ群22,環境センサ群23,GPS受信機24(以下「センサ群等21〜24」とも称する)での検出結果を定期的(例えば、100ms周期)に取得して記録したりすると共に、記録された各種情報を更に加工(画像処理や各種演算を実行)することにより、微分値,積分値,各種平均値を求めたり、先行車や対向車の有無、車間距離、相対速度、相対加速度、道路形状(交差点/直線/カーブ)、車線数、道路幅、制限速度、横断歩道の有無、歩道の有無、その他標識の有無や内容など、走行環境に関する各種情報を生成し、これらの情報を、取得,生成した位置を表す位置データ、取得,生成した日時を表す時間データと対応付けて走行情報として記録する走行情報記録処理を実行する。
以下では、走行情報のうち、ドライバの車両操作が直接的に反映される情報(例えば、アクセルペダル操作量,ブレーキペダル操作量,ステアリング角,スロットル開度等)の情報を車両操作データ、ドライバの生体反応に関わる情報(例えば、生体センサ群22の出力)を生体データ、車両の位置を表す情報(GPS受信機24の出力)を位置データ、その他の車両の挙動や車両周囲の走行環境に関わる情報を状況データと称する。
つまり、走行情報には、位置データ、時間データ、車両操作データ、生体データ、状況データが含まれることになる。また、同じ車両を複数のドライバが使用する場合には、別途設けられたドライバ認識装置によって認識したドライバ毎に走行情報を記録する。更に、走行情報には、位置データに対応する地図データ(地図データベース28から取得)が付加されていてもよい。
また、走行情報記録処理により取得,生成された走行情報の記録先は、制御部29を構成するRAMであってもよいし、又は別途設けられた記憶装置であってもよい。そして、走行情報は、一定期間(例えば、60s)分が常に保持されるように逐次更新される。また、全ての情報を生データのまま保持すると、必要な記憶容量が膨大なものとなるため、一定期間毎の平均値や分散、スペクトルなどの特徴抽出手法により圧縮した情報を記憶するようにしてもよい。
更に、制御部29は、走行情報記録処理によって記録された走行情報に基づき、ドライバの運転特性を学習し、その学習結果に基づいてドライバの状態を推定するドライバ状態推定処理、ドライバが察知した危険(ヒヤリハット)に対処する危険対応処理、ドライバの注意を喚起すべき位置等を示した注意情報を管理センタ4から取得し、その注意情報に基づいてドライバに対するアクチュエーションを実行する注意処理を実行する。
以下、これらドライバ状態推定処理、危険対応処理、注意処理について詳述する。
[ドライバ状態推定処理]
まず、ドライバ状態推定処理を、図2に示すフローチャートに沿って説明する。
本処理は、予め設定された一定期間毎(少なくとも走行情報記録処理によって1個以上の走行情報が生成される毎)に起動する。
本処理が起動すると、S110では、記録された走行情報を用い、確率・統計理論などを利用してドライバ毎に行動モデルを学習する。
なお、行動モデルとは、状況データから特定される状況下において、ドライバがどのような車両操作を行うか(車両操作データや、車両の挙動を示す状況データをどのように変化させるか)を統計的に記述した数学的モデルであり、その分布形状は、個人によって異なったものとなる。つまり、あるドライバについて生成された行動モデルからは、そのドライバが、行動モデルに示された状況下において、普段どのような運転行動をとるかを予測することが可能となる。
ここで生成する行動モデルには、アクセルやブレーキの操作を予測するための加減速行動モデルと、操舵行動(直進/左右折/車線変更)を予測するための操舵行動モデルが少なくとも含まれている。
なお、加減速行動モデルや操舵行動モデルは、ドライバによる車両操作が反映される車両操作データや状況データ(加減速行動モデルであればアクセルペダル操作量やアクセル開度等、操舵行動モデルであれば操舵量や横加速度等)と、ドライバの車両操作に影響を及ぼすと考えられる各種状況を示す状況データ(自車速・先行車との車間距離,相対速度,車両加速度,道路の車線数,制限速度,道路形状,信号の有無と色,その他道路標識情報等)とを入力として、混合ガウス分布,SVM(Support Vector Machine),ブースティング等の周知の確率統計手法を用いることで生成される。
つまり、車両操作データや状況データ、更には、その加工値(微分値,積分値,各種平均値等)を適宜組み合わせることで生成される多次元の分布図が行動モデルである。
次に、S120では、行動モデルの信頼性が使用に耐え得るレベルに達しているか否かを判定し、達していなければそのまま本処理を終了する。
即ち、行動モデルの信頼性は、その生成に使用されるデータ量が増加するほど向上する。しかし、逆に言えば、十分なデータ量が確保されるまでは、十分な信頼性を得ることができないということであるため、使用に耐えうるレベルの信頼性が獲得されるまでは、行動モデルの使用を禁止しているのである。この判定は、具体的には、単純に集まったデータ量に従って行ってもよいし、別途用意された判定基準(例えば、何等かの評価式から得られる評価値等)に従って行ってもよい。
S120にて、行動モデルの信頼性が使用に耐えうるレベルに達していると判断した場合は、S130にて、行動モデルから複数種類の運転特性を抽出する。
なお、運転特性とは、S110にて学習した行動モデルから抽出される、ドライバの運転行動を特徴付ける情報のことであり、本実施形態では、「加減速特性」「車間特性」「視覚特性」「応答特性」「車速特性」「操舵特性」からなる6個の運転特性を抽出する。但し、運転支援システム1において使用する運動特性は、これらに限るものではない。
そして、「加減速特性」は、ドライバの加減速行動モデルの分布の形状(輪郭)を表すパラメータとして定義され、そのパラメータは、加減速行動モデルの分布に対してOne ClassSVMを適用することで求められる。なお、図3(a)は、加減速行動モデルの分布を、アクセル開度率およびアクセル開度率変化量の平面で切り出した部分分布上の加減速特性を示す。
「車間特性」は、図3(b)に示すように、自車速と車間距離との関係を示す車間距離行動モデルの分布の下限を示す曲線の形状を表すパラメータとして定義され、そのパラメータは、上記行動モデルの分布に対してOne ClassSVMを適用することで求められる。なお、車間距離行動モデルは、上述の加減速行動モデル又は操舵行動モデルから切り出したもの(部分行動モデル)であってもよいし、車間特性抽出のために専用に生成されたものであってもよい。
「応答特性」は、図3(c)に示すように、先行車の速度変化(加減速)に対するドライバの反応時間を学習することで得られるドライバの反応時間の頻度の分布の形状を表すパラメータとして定義され、そのパラメータは、頻度分布をガンマ分布で近似することで得られる。
「車速特性」は、加減速行動モデルから、道路の制限速度・道路幅・車線数等の条件と自車速との関係を表す部分行動モデルを切り出し、その部分行動モデルの分布を特徴付けるパラメータ(分布の形状、ピーク値等)として定義される。
「操舵特性」は、操舵行動モデルの分布を特徴付けるパラメータとして定義され、ここでは、横加速度の最大値を用いる。
「視覚特性」は、ドライバの年齢や明順応暗順応の順応速度を調べる視覚テスト等によって、予め求められたものを用いる。
次に、S140では、S130にて更新された運転特性を用いて、ドライバの運転特性を総合的に表す運転特性分類データを生成する。
この運転特性分類データは、図4に示すように、各運転特性を、ドライバ毎のバラツキを考慮して、それぞれ0〜1の値に正規化して示したものである。つまり、運転特性分類データは、生成される運転特性の数と同じ要素数を有している。なお、この運転特性分類データは、後述するドライバクラスの生成や、個々のドライバがどのドライバクラスに属するのかの判断において使用される。
次に、S150では、運転特性に対応する走行情報中のデータを対象データとして、S130にて生成された運転特性と、今回の処理サイクルで得られた対象データとを比較し、走行情報毎に、運転特性からの対象データの逸脱量を算出する。
なお、逸脱量は、運転特性を表す各グラフと対象データとの距離によって定義される。具体的には、6個ある運転特性のそれぞれについて個別逸脱量を算出し、その個別逸脱量を重み付き統合することで求める。なお、ノイズを除去するために、個別逸脱量あるいは統合した逸脱量のいずれかを時系列フィルタリングしてもよい。
S160では、S150にて算出された逸脱量(統合した逸脱量)を用いて、ドライバの状態を更新する。具体的には、隠れマルコフフィルタ等を用いて、ドライバが運転に集中している集中状態にあるか、運転に集中していない漫然状態にあるかを時系列で確率的に予測して本処理を終了する。
具体的には、集中状態の確率および漫然状態の確率を、両者の合計確率が1となるように、逸脱量の時系列的な変化に応じて逐次更新する。
つまり、逸脱量が小さいということは、普段通りの運転であることを意味するため、ドライバは運転に集中していると推定することができ、一方、逸脱量が大きいということは、普段通りの運転ではないことを意味するため、ドライバは運転に集中していないと推定することができる。
但し、ドライバが運転に集中している時であっても、何等かの原因によって逸脱量が一時的に大きくなる場合があるため、1回毎に判断するのではなく、逸脱量が小さい状態が続くと、集中状態の確率を高くし、逆に、逸脱量が大きい状態が続くと、漫然状態の確率を高くする等して、時系列的で判断するようにしている。
このドライバ状態の推定結果は、次に説明する危険対応処理中で使用される。
[危険対応処理]
次に、危険対応処理の内容を図5に示すフローチャートに沿って説明する。
本処理は、予め設定された一定期間(例えば、100ms)毎に起動する。
本処理が起動すると、まず、S210では、走行情報(特に生体データや車両操作データ)に基づいて、ドライバが危険(ヒヤリハット)を察知した場合に生じる危険反応が検出されたか否かを判断する。
具体的には、生体データや車両操作データの急激な変化(変化量が予め設定された閾値を超えるような変化)を危険反応として検出する。即ち、ドライバが何等かの危険を察知した場合は、それに伴う身体的な反応が生体データに反映されると共に、車両操作データにも通常の運転では行われないような急激な変化が表われると考えられるためである。
そして、危険反応が検出されなかった場合は、そのまま本処理を終了し、危険反応が検出された場合は、S220に進み、先のS110にて更新される行動モデルが使用できる状態にあるか否かを判断する。
行動モデルが使用可能であれば、S230に進み、先のS160にて推定されたドライバ状態に従って、危険反応を引き起こした危険要因は、環境,ドライバのいずれにあるかを判定する。
具体的には、集中状態の確率が散漫状態の確率より高ければ、危険要因は環境にあると判定し、逆に、集中状態の確率が散漫状態の確率以下であれば、危険要因はドライバにあると判定する。
そして、危険要因が環境にあると判定した場合は、S240に進み、走行情報に基づいて、その危険反応を引き起こした地点の危険度を算出する。危険度は、例えばヒヤリハットの発生頻度・逸脱度・危険地点までの距離から次式に基づいて判定する。
D=(Fh×Da)/L (1)
ここで、Dが危険度、Fhは単位時間当たりのヒヤリハットの発生頻度(例えば1年)、DaはS150で算出された(統合された)逸脱量であり、Lは危険地点までの距離である。
続くS250では、位置データ、時間データ、車両操作データ、状況データ、運転特性分類データ、危険度からなる報告情報を作成し、これを無線通信部25を介して管理センタ4に送信して本処理を終了する。但し、報告情報を構成する各データのうち、車両操作データ,状況データについては、危険反応が検出された時点のデータだけでなく、その前後の一定期間のデータを一緒に送信する。
先のS220にて、行動モデルが使用できる状態にないと判定した場合、又は先のS230にて、危険要因はドライバにあると判定した場合、S270に進み、ドライバに対するアクチュエーションを実行して、本処理を終了する。
ここで言うアクチュエーションは、運転に対するドライバの集中が高まるようにするためにするドライバへの働きかけであり、具体的には、警報を発生させたり、エアコンを作動させたり、ペダル・ステアリング・シート等を振動させたりすることが考えられる。
[注意処理]
次に、注意処理の内容を図6に示すフローチャートに沿って説明する。
本処理は、車載装置2に電源が投入される起動する。
本処理が起動すると、まず、S310では、無線通信部25を介して注意情報を受信しているか否かを判断し、受信していればS320に進む。
なお、注意情報には、位置データ、類型化された危険要因、危険度に関する情報が含まれている。このうち、位置データは、いわゆるヒヤリハットポイントであり、類型化された危険要因とは、ヒヤリハットを引き起こした要因である。また、危険度に関する情報は、危険度(必須)と、その危険度を適用する条件(任意)とからなる。つまり、一つのヒヤリハットポイントに対して、適用する条件の異なる複数の危険度が含まれている場合がある。
また、本実施形態において、危険度は大中小で示されるが、これに限るものではなく、2段階に分かれていたり又は4段階以上に分かれていたりしてもよいし、連続的な値であってもよい。
S320では、注意情報に示されている危険度が、予め設定された危険閾値以上であるか否かを判断する。但し、注意情報に複数の危険度が存在する場合は、自車の状況(走行情報)と比較して、適用する条件を満たすものを用いて判定を行う。
なお、危険度閾値が中である場合、危険閾値以上の危険度とは大、中のことであり、危険閾値より小さい危険度とは小のことである。また、危険閾値は、ドライバが指令入力部27を介して任意に設定できるように構成されているものとする。
そして、危険度が危険閾値より小さければ、そのままS310に戻り、危険度が危険閾値以上であれば、S330に進み、ドライバに対するアクチュエーションを実行してS310に戻る。
ここでのアクチュエーションは、光や音を利用すること、具体的には、例えば、インパネ上部やAピラーに設置された光源の点灯、点滅、フロー表示やメータ・ナビ画面への情報提示、警報音などが考えられる。但し、ヒヤリハット低減のためには、煩わしさを感じさせる直接的な警報ではなく、自然なアクチュエーションが望ましい。
また、注意情報に示されている危険要因や危険度に応じて、アクチュエーションの方法を変化させるように構成してもよい。
先のS310にて、注意情報を受信していないと判定した場合は、S340に移行し、自車両の位置を通知する通知タイミングであるか否かを判定する。なお、通知タイミングは、例えば、自車両が一定距離を移動する毎であってもよいし、一定時間が経過する毎であってもよい。
S340にて通知タイミングではないと判定した場合は、そのままS310に戻り、通知タイミングであると判定した場合は、S350に移行する。
S350では、最新の走行情報(少なくとも時間データ、位置データを含む)、運転特性分類データからなる車両位置通知情報を送信して、S310に戻る。
[サーバ]
次に、管理センタ4は、図1に示すように、通信インフラ3を介して車載装置2との通信を行う通信部41と、注意情報の集合である危険度マップを格納するデータベース43と、車載装置2から取得した報告情報に基づいて、ドライバの注意を喚起すべき位置(以下「危険ポイント」という)等を示す危険度マップを更新するマップ更新処理や、車載装置2から通知される車両位置通知情報に基づき、その車両位置通知情報に該当する注意情報を危険度マップから抽出して配信する注意情報配信処理を実行する。
なお、危険度マップは、図7(a)に示すように、ドライバの運転行動の特徴を示すドライバクラスと走行環境の特徴を示す環境クラスとによってクラス分けされており、そのクラス毎に、そのクラスに対して適用される危険ポイントの位置データ、危険要因、危険度が登録されている。そして、図中の注意情報識別子で識別される個々の情報(位置データ、危険要因、危険度からなる)が、車載装置2に配信される注意情報となる。
ここで、図7(b)は、危険度マップに登録される各情報の内容を例示した表である。
即ち、ドライバクラスとして、本実施形態では、「急加速を行う」「ステアリング操作が苦手」「車間距離が短い」「応答が遅い」「車速が速い」等が用意され、環境クラスとしては、「交通量が多い」「操作量が多い」「交差点」「死角が多い」等が用意されている。
また、危険要因としては、「車速が速い」「車間距離が短い」「レーンからの逸脱」「ふらつき」「横加速度(急ハンドル)」「縦加速度(急ブレーキ」等が用意され、危険度としては「大」「中」「小」、危険度を適用する条件としては、車速や車間距離に基づく条件等が用意されている。なお、危険度を適用する条件としては、図示されていないが、天候や時間帯等があってもよい。
以下、管理センタ4の制御部42が実行するマップ更新処理、注意情報配信処理について説明する。
[マップ更新処理]
まず、マップ更新処理を、図8に示すフローチャートに沿って説明する。
このマップ更新処理は、一定時間が経過する毎に、又は、報告情報が一定量以上蓄積される毎に起動する。
S410では、各車載装置2からの報告情報に含まる運転特性分類データに基づき、各報告情報が、それぞれドライバクラスのいずれに属するかを識別する。
具体的には、運転特性分類データを構成する6個の要素(運転特性)によって張られる多次元空間(ここでは6次元空間)の中での運転特性分類データの分布を、K-Nearest-Neighbor 法やEMアルゴリズムによるGaussian Mixture のパラメータ推定等、統計的手法を利用して分割することで生成する。
但し、初期段階では、車載装置2から収集した報告情報だけでなく、別途用意された既存の運転特性分類データを利用する。これによって分割された領域のそれぞれが、個々のドライバクラスに該当する。
そして、新たな報告情報を取得すると、前回の処理で用いた運転特性分類データ(既存データ)に、新たな報告情報に含まれる運転特性分類データ(新データ)を加えた分布を生成し、この生成された分布に対して、上述の同じ統計的手法を適用することで分布の再分割を行う。この時、初期の分割が十分に信頼度の高いものであれば、グループの数が変化することはなく、新たなデータは、いずれかのクラスに属するように分割されることになる。これにより、新たな報告情報は、自身の運転特性分類データが、分割されたいずれの領域に属するかによって、上述のドライバクラスと対応付けられることになる。
図9(a)は、運転特性分類データの分布を、車間特性と加減速特性の平面で切り出した部分分布である。この部分分布からは、「急加速を行う」クラスや「車間距離が短い」クラスの存在がわかる。
S420では、各車両装置2からの報告情報に含まれる車両操作データや状況データ等に基づき、各報告情報が、それぞれ環境クラスのいずれに属するかを識別する。
この環境クラスは、操作データや状況データを用いてこれらの相互関係を示す分布を生成し、この分布を、ディリクレ過程混合ガウス(DPGMM)等の統計的手法を利用して分割することで生成する。
つまり、ドライバクラスの時とは、分布に用いるデータ、分割に用いる手法が異なるが、これと同様に、環境クラスとの対応付けが行われる。
図9(b)は、操作データ(ステアリング/ブレーキ)に基づいて求めた操作量と車速との関係を表す分布を生成し、この分布を、ディリクレ過程混合ガウス(DPGMM)により分類したものである。この分布では、高速道路・高規格道路・一般道の様々なシーンが、3つのクラスタに分類されており、これらを、例えば、「交通量が多い」クラスや「操作量が多い」クラスとすることができることがわかる。これらのクラスタ中心からの距離を利用して環境の類似度をはかることができる。
なお、DPGMMでは、環境の集合の個数もデータに応じて最適に決めることができるため、予め全ての環境クラスを定義しておく必要は無い。
S430では、S410,S420でのドライバクラス、環境クラスの分類結果を利用して、個々の報告情報を、危険度マップに反映させて、本処理を終了する。
具体的には、S410,S420で分類したドライバクラス、環境クラスによって、検索対象とするクラスを特定し、その特定したクラスを検索対象として、報告情報の位置データと一致する注意情報を検索する。
そして、位置データが一致する注意情報が存在しない場合は、その報告情報に基づく新たな注意情報を作成して、これを危険度マップに登録する。一方、位置データが一致する注意情報が存在する場合は、その注意情報の危険要因や危険度を適用する条件が、報告情報の内容(状況データ等)と同じものとみなせるか否かを判断する。そして、同じものとみなせるのであれば、報告情報の内容は、既に危険度マップに登録されているものとして、危険度マップの内容を更新せず、同じものとみなせないのであれば、報告情報の内容が適用されるように、注意情報の危険要因や危険度を適用する条件を追加,変更することによって、危険度マップの内容を更新する。
危険度マップの更新は、発生位置・危険度・危険要因・環境クラス・ドライバクラスの各情報をリスト中に追加することで行われる。
なお、危険度を適用する条件の変更は、例えば、同じ注意情報に対応すると判断された報告情報のデータ(例えば、車速や車間距離)に基づく分布を生成し、その分布に対して統計的手法を適用することでクラスタを抽出し、そのクラスタに適合するように、適宜、変更していけばよい。
[注意情報配信処理]
次に、注意情報配信処理の内容を図10に示すフローチャートに沿って説明する。
本処理は、車載装置2からの車両位置通知情報を受信すると起動する。
本処理が起動すると、S510では、車両位置通知情報に示された情報(特に運転特性分類データや状況データ)に基づいて、車両位置通知情報の送信元である送信元車両のドライバは、どのドライバクラスに属するかを識別すると共に、送信元車両の走行環境は、どの環境クラスに属するかを識別する。
続く、S520では、S510で識別したドライバクラスおよび環境クラスを対象として、危険度マップを検索し、車両位置通知情報に示された位置データから、その進行方向の予め設定された距離範囲内に、危険ポイントが存在するか否かを判断し、存在しなければ、そのまま本処理を終了する。
一方、危険ポイントが存在する場合、S530に進み、その危険ポイントについての注意情報を、送信元車両に向けて配信して、本処理を終了する。
[動作]
このように構成された運転支援システム1では、車載装置2は、予め設定された通知タイミングに従って定期的に、自車両の位置や状況等を車両位置通知情報として管理センタ4に通知すると共に、ドライバの危険反応を検出した場合には、車両位置通知情報とは別に、その時の自車両の位置や状況を報告情報として管理センタ4に通知(報告)する。
管理センタ4では、車載装置2からの車両位置通知情報を受信した場合には、車両位置通知情報の内容から識別されるドライバクラスや環境クラスを対象として、危険度マップを検索し、該当する危険ポイントが登録されている場合には、その危険ポイントに関する注意情報を車載装置2に配信する。すると、車載装置2は、配信された注意情報の内容に従って、ドライバに対するアクチュエーションを実行する。
また、管理センタ4では、車載装置2から報告情報を受信すると、その都度あるいは有る程度情報が蓄積される毎に、その受信した報告情報の内容に従って、危険度マップの内容を更新する。
[効果]
以上説明したように運転支援システム1では、管理センタ4は、危険度マップを構成する注意情報を、ドライバクラス、環境クラスによって分類して登録することによって、要求元車両のドライバと同様の運転傾向を有する他のドライバによって、要求元車両の現在の走行環境と同様の走行環境にある時に収集された危険ポイントに関する注意情報を、要求元車両の車載装置2に提供するようにされている。
従って、運転支援システム1によれば、ドライバの特性や走行環境に合わせた注意情報の配信が可能となる。
つまり、ドライバがある特定の特性を有している場合や、走行環境がある状況になっている場合に、ヒヤリハットを引き起こすような危険ポイントの注意情報を、ドライバの特性や走行環境が全く異なる車両に対して、配信してしまうことがないため、個々のドライバが感じる煩わしさを抑制しつつ、全てのドライバのヒヤリハットを低減させることができる。
また、運転支援システム1では、車載装置2は、ドライバの危険反応を検出した場合に、その危険反応を引き起こした要因がドライバではなく、走行環境にあると推定される場合に、管理センタ4に対して報告情報を送信するようにされている。
従って、運転支援システム1によれば、危険要因がドライバ側にある普遍性のない危険ポイントが、危険度マップに登録されてしまうことがないため、危険度マップの有効性を向上させることができる。
[発明との対応]
本実施形態において、管理センタ4が情報配信装置、車載装置2が車載装置、通信インフラ3が無線通信ネットワークに対応する。
また、走行情報記録処理が位置記録手段,状況記録手段,操作記録手段に相当し、S110〜S140が学習手段、S150が逸脱量算出手段、S160がドライバ状態判定手段、S210が危険反応検出手段、無線通信部25およびS250が送信手段、通信部41が情報取得手段、S410がドライバクラス生成手段、S430が注意情報生成手段、S420が環境クラス生成手段に相当する。
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
例えば、上記実施形態では、管理センタ4は、車両位置通知情報に応答して、その車両位置通知情報に適合した注意情報を、その都度、送信元車両に対して配信するようにされているが、ある一定領域内の注意情報をまとめて配信し、車両側で該当する注意情報を適宜抽出して、アクチュエーションを実行するように構成してもよい。また、この場合、一定領域内の注意情報を、個々の車載装置2側からの要求によらず、領域内の全ての車両に放送形式で送信するように構成してもよい。これらの場合、管理センタ4と車載装置2との間の通信量を大幅に削減することができる。
上記実施形態では、管理センタ4が、危険度マップ(注意情報)の生成,配信をいずれも行っているが、生成と配信とは、別々の装置が行うように構成してもよい。
上記実施形態では、ドライバ状態を推定する際に、逸脱量を時系列的に見て判断するようにされてが、逸脱量を、例えば、0〜1の間の値となるように正規化し、予め設定された閾値より大きいか否かにより、その都度判断するように構成してもよい。
上記実施形態では、報告情報が属するドライバクラスおよび環境クラスを識別する(S410,S420)際に、行動モデルの分布を再分割しているが、再分割を行わずに、データがどのクラスに属するか、分布との比較だけを行うように構成してもよい。
上記実施形態では、注意情報の中に、危険度を適用する条件を設けているが、この条件を環境クラスに反映させるようにしてもよい。
1…運転支援システム 2…車載装置 3…通信インフラ 4…管理センタ 5…情報サーバ 21…車両センサ群 22…生体センサ群 23…環境センサ群 24…GPS受信機 25…無線通信部 26…画像/音声出力部 27…指令入力部 28…地図データベース 29…制御部 41…通信部 42…制御部 43…データベース

Claims (6)

  1. ドライバの注意を喚起すべき位置である危険ポイントを示した注意情報を生成し、該注意情報を、無線通信ネットワークを介して配信する情報配信装置と、
    前記情報配信装置から配信される注意情報に従って前記危険ポイントに関する報知を行う車載装置と、
    からなる運転支援システムであって、
    前記車載装置は、ドライバが危険を感じた時に生じる危険反応を検出すると、該危険反応を生じさせた要因が走行環境によるものかドライバの不注意によるものかを判断し、該要因が走行環境にあると判断した場合に、前記危険反応が検出された位置を表す位置データが少なくとも含まれた報告情報を、無線通信ネットワークを介して前記情報配信装置に送信し、
    前記情報配信装置は、前記車載装置から送信されてくる報告情報に基づいて、前記注意情報を生成することを特徴とする運転支援システム。
  2. 前記情報配信装置は、個々のドライバの運転行動の傾向を表す運転特性を統計的に分類することで生成されるドライバクラス毎に、前記注意情報を生成し、
    前記車載装置は、前記注意情報として、自車両を運転するドライバが属するドライバクラスについて生成されたものを用いることを特徴とする請求項1に記載の運転支援システム。
  3. 前記情報配信装置は、前記危険反応の検出時における車両の走行環境や車両の挙動を表す状況データを統計的に分類することで生成される環境クラス毎に、前記注意情報を生成し、
    前記車載装置は、前記注意情報として、自車両の走行環境や車両の挙動から特定される環境クラスについて生成されたものを用いることを特徴とする請求項1又は請求項2に記載の運転支援システム。
  4. ドライバの注意を喚起すべき位置である危険ポイントを示した注意情報を生成し、該注意情報を無線通信ネットワークを介して配信する情報配信装置と共に運転支援システムを構成し、前記情報配信装置から配信される注意情報に従って前記危険ポイントに関する報知を行う車載装置であって、
    車両の位置を示す位置データを取得して記録する位置記録手段と、
    車両の走行環境や車両の挙動を表す状況データを取得して記録する状況記録手段と、
    ドライバの車両操作を示す操作データを取得して記録する操作記録手段と、
    前記状況データおよび前記操作データの履歴から、ドライバの運転行動の傾向を表す運転特性を、個々のドライバ毎に学習する学習手段と、
    前記学習手段により得られた運転特性に対する、前記状況データや操作データにより表される運転状態の逸脱量を算出する逸脱量算出手段と、
    前記逸脱量算出手段で算出される逸脱量に基づいてドライバが運転に集中しているか否かを判定するドライバ状態判定手段と、
    ドライバが運転中に危険を察知した時に生じる危険反応を検出する危険反応検出手段と、
    前記危険反応検出手段により危険反応が検出され、且つ、前記ドライバ状態判定手段によりドライバが運転に集中していると判定された場合、前記危険反応を引き起こした要因が走行環境にあるものとして、前記危険反応の検出時に記録された前記位置データを少なくとも含んだ報告情報を、無線通信ネットワークを介して前記情報配信装置に送信する送信手段と、
    を備えることを特徴とする車載装置。
  5. 前記報告情報には、前記危険反応の検出時に記録された前記状況データが含まれていることを特徴とする請求項4に記載の車載装置。
  6. 前記報告情報には、前記学習手段にて学習された運転特性に関するデータが含まれていることを特徴とする請求項4又は請求項5に記載の車載装置。
JP2010187368A 2010-08-24 2010-08-24 運転支援システム、車載装置 Active JP5521893B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010187368A JP5521893B2 (ja) 2010-08-24 2010-08-24 運転支援システム、車載装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010187368A JP5521893B2 (ja) 2010-08-24 2010-08-24 運転支援システム、車載装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013251115A Division JP2014081947A (ja) 2013-12-04 2013-12-04 情報配信装置

Publications (2)

Publication Number Publication Date
JP2012048310A JP2012048310A (ja) 2012-03-08
JP5521893B2 true JP5521893B2 (ja) 2014-06-18

Family

ID=45903152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010187368A Active JP5521893B2 (ja) 2010-08-24 2010-08-24 運転支援システム、車載装置

Country Status (1)

Country Link
JP (1) JP5521893B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016883A (ja) * 2012-07-10 2014-01-30 Toyota Infotechnology Center Co Ltd 危険個所報知システムおよび危険個所報知方法
US9978279B2 (en) 2012-08-07 2018-05-22 Sony Corporation Information processing apparatus, information processing method, and information processing system
KR102045937B1 (ko) * 2013-05-20 2019-11-19 주식회사 케이티 위험 차량 판단 방법 및 시스템
KR101519217B1 (ko) * 2013-09-13 2015-05-11 현대자동차주식회사 부주의 운전 판정 장치 및 그 방법
JP6299343B2 (ja) * 2014-03-31 2018-03-28 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
JP6364879B2 (ja) * 2014-03-31 2018-08-01 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
EP2950294B1 (en) * 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
JP6475428B2 (ja) * 2014-06-18 2019-02-27 矢崎エナジーシステム株式会社 車載装置及び安全運転システム
US10799175B2 (en) * 2014-08-15 2020-10-13 Federal Express Corporation Research performance framework
JP6527058B2 (ja) * 2014-12-26 2019-06-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 危険情報処理方法およびサーバ装置
JP2017191368A (ja) * 2016-04-11 2017-10-19 株式会社デンソー 運転支援システム、運転支援装置及び運転支援プログラム
JP2017204208A (ja) * 2016-05-13 2017-11-16 富士ゼロックス株式会社 操作モデル構築システム及び操作モデル構築プログラム
JP6397602B1 (ja) * 2017-04-28 2018-09-26 株式会社スマートドライブ データ処理装置、サーバ、移動体、データ処理方法、及びプログラム
WO2018199253A1 (ja) * 2017-04-28 2018-11-01 株式会社スマートドライブ データ処理装置、サーバ、移動体、データ処理方法、及びプログラム
JP2019114100A (ja) * 2017-12-25 2019-07-11 株式会社東芝 交通管制装置および車載器
TWI690440B (zh) * 2018-10-17 2020-04-11 財團法人車輛研究測試中心 基於支持向量機之路口智慧駕駛方法及其系統
US11661195B2 (en) 2019-03-13 2023-05-30 Federal Express Corporation Mitigating operational risk in aircraft
CN110137946B (zh) * 2019-05-10 2022-02-22 东北电力大学 一种数据驱动的电力系统扰动时空特征提取方法
JP2021032115A (ja) * 2019-08-22 2021-03-01 トヨタ自動車株式会社 車両用学習制御システム、車両用制御装置、および車両用学習装置
CN110705370B (zh) * 2019-09-06 2023-08-18 中国平安财产保险股份有限公司 基于深度学习的路况识别方法、装置、设备及存储介质
CN114095898A (zh) * 2021-11-04 2022-02-25 武汉极目智能技术有限公司 一种基于车联网运营控制中心的交互方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277548A (ja) * 2005-03-30 2006-10-12 Toyota Motor Corp 車両用制御装置
JP2006330833A (ja) * 2005-05-23 2006-12-07 Sky Kk 警告通知システム
JP4930321B2 (ja) * 2007-10-25 2012-05-16 株式会社デンソー 潜在危険地点検出装置および車載危険地点通知装置
JP2010066827A (ja) * 2008-09-08 2010-03-25 Fujitsu Ten Ltd 運転支援システム、運転支援装置及び運転支援方法
JP2010238209A (ja) * 2009-03-31 2010-10-21 Fujitsu Ten Ltd 車載システム

Also Published As

Publication number Publication date
JP2012048310A (ja) 2012-03-08

Similar Documents

Publication Publication Date Title
JP5521893B2 (ja) 運転支援システム、車載装置
JP2014081947A (ja) 情報配信装置
JP6895634B2 (ja) 情報処理システム、情報処理方法、およびプログラム
CN108028015B (zh) 信息处理装置、信息处理方法和存储介质
JP6807559B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US10776735B2 (en) Risk information processing method and server device
US20170072850A1 (en) Dynamic vehicle notification system and method
US20170369069A1 (en) Driving behavior analysis based on vehicle braking
WO2018085804A1 (en) System and method for driver distraction determination
US10336252B2 (en) Long term driving danger prediction system
WO2017038166A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP3698340A1 (en) Method and system for vehicular-related communications
CN108713221A (zh) 信息处理装置、信息处理方法、程序和车辆
JP6545940B2 (ja) 要因分析装置および要因分析方法
JP4622749B2 (ja) 車両用データ収集装置、車両用運転支援装置及び車両の安全運転支援システム
JP2012123625A (ja) 車両運転推定システム
JP2007164439A (ja) 情報提示装置及び情報提示方法
JP2023067970A (ja) 情報処理装置
CN113352989A (zh) 智能行车安全辅助方法、产品、设备和介质
KR20150066308A (ko) 운전자 운행 상태 판단 장치 및 그 방법
JP6894857B2 (ja) 周辺走行中の被観測車両の運転特性を推定するプログラム、装置及び方法
JP4915874B2 (ja) 運転支援装置
JP2012103849A (ja) 情報提供装置
JP2019128697A (ja) 情報処理方法及び情報処理装置
JP7171225B2 (ja) 運転支援装置、運転支援装置の制御方法、及び運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140324

R151 Written notification of patent or utility model registration

Ref document number: 5521893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250