JP6967042B2 - 運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法 - Google Patents
運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法 Download PDFInfo
- Publication number
- JP6967042B2 JP6967042B2 JP2019154393A JP2019154393A JP6967042B2 JP 6967042 B2 JP6967042 B2 JP 6967042B2 JP 2019154393 A JP2019154393 A JP 2019154393A JP 2019154393 A JP2019154393 A JP 2019154393A JP 6967042 B2 JP6967042 B2 JP 6967042B2
- Authority
- JP
- Japan
- Prior art keywords
- intersection
- vehicle
- angular velocity
- data
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 236
- 238000012850 discrimination method Methods 0.000 title description 3
- 238000012790 confirmation Methods 0.000 claims description 116
- 238000000034 method Methods 0.000 claims description 112
- 230000008569 process Effects 0.000 claims description 92
- 238000004364 calculation method Methods 0.000 claims description 81
- 238000001514 detection method Methods 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 51
- 239000006185 dispersion Substances 0.000 claims description 31
- 230000006399 behavior Effects 0.000 description 86
- 210000001508 eye Anatomy 0.000 description 29
- 238000004891 communication Methods 0.000 description 24
- 238000010191 image analysis Methods 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 10
- 238000012854 evaluation process Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 230000003449 preventive effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000002265 prevention Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002902 bimodal effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001504424 Zosteropidae Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Description
特許文献1記載の運転行動自動評価システムは、計測制御用コンピュータと、解析用コンピュータとを含んで構成され、該解析用コンピュータには、危険個所に関する情報が予め記憶されている。前記危険個所の情報には、名称、座標および特徴等が含まれ、また、当該危険個所毎に設定された事故予防動作の定義データも記憶されている。
特許文献1記載の運転行動自動評価システムでは、前記危険個所の情報を危険個所毎に予め記憶しておく必要がある。特許文献1に記載されているように、運転者に走行させるコースが、教習所や施設等の予め決められたコースに設定されている場合は、設定すべき前記危険個所の数も限られるため、これら危険個所の情報量も少なくて済む。
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出部と、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別部と、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価部とを備えていることを特徴としている。
また、前記判別部で判別された前記交差点の属性に対応した前記安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作が評価されるので、前記交差点の属性ごと安全確認ポイントの違いなどが考慮された、より正確な運転評価を行うことができ、事故リスクの高い運転者の検出精度を向上させることができる。また、運転評価結果に基づく、前記運転者への安全アドバイスをより的確に行うことが可能となり、事故を未然に防ぐ予防安全教育の効果を高めることができる。
前記判別部が、
前記特徴量を入力すると前記交差点の属性を示す値を出力するように学習した学習済みの識別器を用いて、前記交差点の属性を判別するものであることを特徴としている。
前記走行挙動データが、前記車両の角速度データを含み、
前記算出部が、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度のばらつきを示す指標値を前記特徴量の1つとして算出する指標値算出部を含んで構成され、
前記判別部が、
前記特徴量の1つに前記指標値を用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び道路種別のうちの少なくともいずれかを判別するものであることを特徴としている。
上記運転評価装置(3)によれば、前記交差点を通過している区間に相当する前記所定区間の前記角速度のばらつきを示す指標値が前記特徴量の1つとして算出され、算出された前記指標値を用いることで、前記交差点の属性として信号機の有無、道路幅員の広狭、及び道路種別のうちの少なくともいずれかを判別することができる。前記道路種別には、例えば、幹線道路、生活道路が含まれる。
したがって、信号機が有る交差点、道路幅員の広い交差点、及び幹線道路と、信号機が無い交差点、道路幅員が狭い交差点、及び生活道路とでの前記運転者の安全確認動作の違いなどを踏まえて、これら交差点の属性ごとに、より正確な運転評価を行うことができ、運転評価の精度をより高めることができる。
なお、前記角速度のばらつきを示す指標値は、前記角速度の分散でもよいし、標準偏差でもよいが、計算処理負荷が少なく、ばらつき度合の差をより大きく示すことのできる分散の方が好ましい。
前記走行挙動データが、前記車両の角速度データと位置データとを含み、
前記算出部が、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度のばらつきを示す指標値を前記特徴量の1つとして算出する指標値算出部と、
前記所定区間の前記位置データを用いて前記車両の移動距離を前記特徴量の1つとして算出する移動距離算出部とを含んで構成され、
前記判別部が、
前記特徴量に少なくとも前記指標値と前記移動距離とを用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び道路種別のうちの少なくともいずれかを判別するものであることを特徴としている。
上記運転評価装置(4)によれば、前記交差点を通過している区間に相当する前記所定区間の前記角速度のばらつきを示す指標値と、前記移動距離とが前記特徴量としてそれぞれ算出され、算出された前記指標値と前記移動距離とを用いることで、前記交差点の属性として信号機の有無、道路幅員の広狭、及び道路種別のうちの少なくともいずれかを、より精度良く判別することができる。前記道路種別には、例えば、幹線道路、生活道路が含まれる。
したがって、信号機が有る交差点、道路幅員の広い交差点、及び幹線道路と、信号機が無い交差点、道路幅員が狭い交差点、及び生活道路とでの前記運転者の安全確認動作の違いなどを踏まえて、これら交差点の属性ごとに、より正確な運転評価を行うことができ、運転評価の精度をより高めることができる。
前記走行挙動データが、前記車両の角速度データと位置データとを含み、
前記算出部が、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度の平均値を前記特徴量の1つとして算出する平均値算出部と、
前記所定区間の前記角速度のばらつきを示す指標値を前記特徴量の1つとして算出する指標値算出部と、
前記所定区間の前記位置データを用いて前記車両の移動距離を前記特徴量の1つとして算出する移動距離算出部とのうちの少なくとも2つ以上を含んで構成され、
前記判別部が、
前記特徴量に前記平均値、前記指標値、及び前記移動距離のうちの少なくとも2つ以上を用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び道路種別のうちの少なくともいずれかを判別するものであることを特徴としている。
上記運転評価装置(5)によれば、前記交差点を通過している区間に相当する前記所定区間の前記角速度の平均値と、前記角速度のばらつきを示す指標値と、前記移動距離とのうちの少なくとも2つ以上が前記特徴量として算出され、算出された前記平均値、前記指標値、及び前記移動距離のうちの少なくとも2つ以上を用いることで、前記交差点の属性として信号機の有無、道路幅員の広狭、及び道路種別のうちの少なくともいずれかを、より精度良く判別することができる。前記道路種別には、例えば、幹線道路、生活道路が含まれる。
したがって、信号機が有る交差点、道路幅員の広い交差点、及び幹線道路と、信号機が無い交差点、道路幅員が狭い交差点、及び生活道路とでの前記運転者の安全確認動作の違いなどを考慮して、これら交差点の属性ごとに、より正確な運転評価を行うことができ、運転評価の精度をより高めることができる。
上記運転評価装置(6)によれば、前記車両が対向車線を横切って曲がった交差点の属性が判別されるので、前記車両が対向車線を横切って曲がった交差点の属性に対応した前記安全確認評価条件で、前記運転者の安全確認動作をより正確に評価することができ、前記車両が対向車線を横切って曲がった交差点での前記運転者の運転評価の精度を高めることができる。
少なくとも1以上の前記車両に搭載される車載機とを含んで構成され、
前記車載機が、
前記車両の走行挙動を検出する走行挙動検出部と、
前記運転者の運転挙動を検出する運転挙動検出部と、
前記走行挙動検出部及び前記運転挙動検出部で検出されたデータを前記運転評価装置に出力する出力部とを含んで構成され、
前記運転評価装置が、
前記車載機から取得した前記データを記憶する記憶ユニットと、
該記憶ユニットに記憶された前記データを用いて、前記算出部、前記判別部、及び前記評価部の処理を実行する制御ユニットとを含んで構成されていることを特徴としている。
また、前記車載機の前記走行挙動検出部、及び前記運転挙動検出部で検出されたデータが前記運転評価装置に出力されるので、前記運転評価装置に前記運転者の安全確認動作の評価を実行させることにより、前記車載機の処理負担を軽減することができ、前記車載機のコストを抑え、広く導入可能なシステムを構築することができる。
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出ステップと、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別ステップと、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価ステップとを含んでいることを特徴としている。
また、判別された前記交差点の属性に対応した前記安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価するので、前記交差点の属性ごと安全確認ポイントの違いなどが考慮された、より精度の高い運転評価を行うことができ、事故リスクの高い運転者の検出精度を向上させることが可能となる。また、前記運転評価の結果に基づく、前記運転者への安全アドバイスをより的確に行うことが可能となり、事故を未然に防ぐ予防安全教育の効果を高めることができる。
前記コンピュータに、
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出ステップと、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別ステップと、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価ステップとを実行させるためのプログラムであることを特徴としている。
また、前記評価ステップにより、判別された前記交差点の属性に対応した前記安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作が評価されるので、前記交差点の属性ごと安全確認ポイントの違いなどが考慮された、より精度の高い運転評価を前記コンピュータに実行させることができ、事故リスクの高い運転者の検出精度を向上させることが可能な運転評価装置を実現することができる。また、前記運転評価の結果に基づく、前記運転者への安全アドバイスをより的確に行うことが可能となり、事故を未然に防ぐ予防安全教育の効果を高めることができる。
本発明に係る運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法は、例えば、事業者が管理する車両の運転者の安全確認動作を評価して、事故を未然に防ぐ予防安全の観点から運転者の安全意識の改善を図ることを支援するシステムなどに広く適用可能である。
図1は、実施の形態に係る運転評価システムの概略構成図である。
運転評価システム1は、車両2に乗車している運転者3の安全確認動作などの運転評価を行うシステムであって、少なくとも1台以上の車両2に搭載される車載機10と、各車載機10から取得したデータを処理する少なくとも1つ以上のサーバ装置40とを含んで構成されている。
例えば、日本の道路において、信号機が有る交差点を右折する場合では、対向車、及び右折中に通過する横断歩道の歩行者等に対する安全確認がより重要となる一方、信号機が無い交差点を右折する場合では、その交差点の進入前に、交差している道路(すなわち、左右方向)から接近してくる他車両、自転車、又は歩行者などに対する安全確認がより重要となる。このように、同じ右折であっても、交差点の属性によって、事故リスクを下げるために注意すべき安全確認のポイントが異なってくる。
前記交差点の属性を判別するために、例えば、交差点情報などを含む地図データを用いることが考えられる。しかしながら、このような地図データを用いて、全国各地で事業活動又は日常生活を行っている車両運転者の運転行動を評価しようとした場合、利用する地図データのデータ容量が膨大となり、これら地図データを読み出す処理などにかかる処理負荷も増大し、また地図データの提供を受ける場合には、その利用にかかるコストも高くつくという課題があった。
また、判別された前記交差点の属性に対応した前記安全確認評価条件と、前記交差点における、車両2の運転挙動データとを用いて、運転者3の安全確認動作が評価されるので、前記交差点の属性ごとの運転者3の安全確認動作の違いなどを踏まえた、より正確な運転評価を行うことができ、運転者3の運転評価の精度を高めることが可能となる。
図2は、実施の形態に係る運転評価システム1で用いられる車載機10のハードウェア構成例を示すブロック図である。
車載機10は、プラットフォーム部11及びドライバモニタリング部20を含んで構成されている。また、車載機10にドライブレコーダー部30が接続されてもよい。
ドライバカメラ21は、例えば、図示しないレンズ部、撮像素子部、光照射部、及びこれら各部を制御するカメラ制御部などを含んで構成されている。
送信される検出データには、車載機10の識別情報(シリアルナンバー等)、及び交差点通過時刻t0の他、運転者3の運転挙動データとして、運転者3の顔の向き(ピッチ、ヨー、及びロール)、視線の方向(ピッチ、及びヨー)、及び目開度(右目、及び左目)などの所定期間(例えば、通過時刻t0の前後所定時間)の時系列データが含まれている。さらに、車両2の走行挙動データとして、車両2の加速度(前後、左右、及び上下)、角速度(ヨー)、車両2の位置データ(緯度、及び経度)、及び走行速度などの前記所定期間の時系列データが含まれている。さらに、前記所定期間に撮像された運転者画像、車外画像の画像データが含まれてもよい。なお、サーバ装置40に送信される検出データの構成は、図3に例示した構成に限定されるものではない。
サーバ装置40は、通信ユニット41、制御ユニット50、及び記憶ユニット60を含んで構成され、これらは通信バス42を介して接続されている。
図5は、検出データ蓄積部61に蓄積される検出データファイル61aの構成例を示す図である。図5に例示した検出データファイル61aには、車載機10の識別情報(シリアルナンバー等)に対応付けて、運転者ID、交差点通過時刻t0の他、運転者3の運転挙動データとして、運転者3の顔の向き(ピッチ、ヨー、及びロール)、視線の方向(ピッチ、及びヨー)、及び目開度(右目、及び左目)のデータ(通過時刻t0の前後所定時間のデータ)が時系列で蓄積される。さらに、車両2の走行挙動データとして、車両2の加速度(前後、左右、及び上下)、角速度(ヨー)、車両2の位置(緯度、及び経度)、及び走行速度のデータ(通過時刻t0の前後所定時間のデータ)が時系列で蓄積される。また、運転者画像(撮像日時、フレーム番号、及び画像データ)、車外画像(撮像日時、フレーム番号、及び画像データ)などのデータが時系列で蓄積されてもよい。
図6に例示した評価条件テーブル62aの項目には、交差点の属性と、交差点で曲がる方向との組み合わせごとに、評価項目の1つとして、最低限行うべき安全確認項目が含まれている。
交差点の属性の欄には、予め類型化された交差点の属性が登録されている。図6の例では、交差点の属性として、信号機有り、又は信号機無しが登録されているが、交差点の属性はこれに限定されない。たとえば、信号機有りの交差点を幹線道路の交差点、信号機無しの交差点を生活道路の交差点と定義し、交差点の属性として、幹線道路、又は生活道路を登録してもよい。
また、曲がる方向の欄には、交差点で曲がる方向の一例として、右折、又は左折が登録されている。
評価タイミング(換言すれば、評価する区間)の欄には、交差点進入前、又は交差点進入後が登録されている。
確認動作の欄には、交差点の属性ごとに、これら交差点を通過する際(進入前、又は進入後)に、運転者3が安全確認すべき方向(右確認、左確認など)、安全確認すべき箇所(左ミラー、右ミラー、横断歩道方向など)、確認角度、及び確認時間などの条件が1つ以上登録されている。なお、確認角度(a度〜i度)は、例えば、車両2の正面方向に対する運転者3の顔の向き、又は視線の方向を示す角度である。確認時間(t1〜t9)は、例えば、前記確認角度以上の状態が継続される時間である。
この評価内容によれば、信号機が無い交差点で左折又は右折する場合、交差点進入前に、交差する左右方向からの車両又は自転車などの接近状況を確認したか否かについて評価可能となっている。これらは、信号機が無い交差点において、出合い頭での事故を防止する観点から、重要な安全確認項目である。
この評価内容によれば、信号機が有る交差点で左折する場合、交差点進入前に、左後方の安全状況(二輪車等の接近状況など)の確認、対向車線から左折してくる車両の確認、及び横断歩道を渡る歩行者などの巻き込み確認を行ったか否かについて評価可能となっている。これらは、信号機が有る交差点において、左折時巻き込み事故を防止する観点から、重要な安全確認項目である。
この評価内容によれば、信号機が有る交差点で右折する場合、交差点進入前に、右前方の安全状況(対向車線の車両等の接近状況など)の確認、交差点進入後に、車両が横切る横断歩道の状況確認(歩行者などの確認)を行ったか否かについて評価可能となっている。これらは、信号機が有る交差点において、右折時における対向車や横断歩道の歩行者等との事故を防止する観点から、重要な安全確認項目である。
評価結果ファイル63aには、車載機10の識別情報、運転者ID、交差点通過時刻t0、交差点位置、交差点への進入時刻t5、交差点の属性、交差点で曲がった方向、及び評価結果などが含まれている。評価結果には、例えば、上記した評価条件テーブル62aの評価条件に基づいて評価された結果の他、これら評価結果を基に、統計処理して点数化された評価データ、又はランク付けされた評価データなどが記憶されてもよい。
図8は、実施の形態に係るサーバ装置40の機能構成例を示す要部ブロック図である。
サーバ装置40の制御ユニット50は、特徴量算出部54、交差点属性判別部55、及び安全確認評価部56を含んで構成されている。特徴量算出部54、交差点属性判別部55、及び安全確認評価部56は、本発明の「算出部」、「判定部」、及び「評価部」の一例である。
平均値算出部541は、車両2の角速度が所定の閾値を超えた時点を含む所定区間の角速度の平均値を特徴量の1つとして算出する処理を行う。
所定の閾値は、車両2が、車線変更とかではなく、右折又は左折していることを判定可能な値に設定される。所定区間は、車両2が右折又は左折を開始してから終了するまでの区間(以下、交差点区間ともいう)に設定される。例えば、車両2が右折(右旋回)した場合に負の角速度データが検出され、左折(左旋回)した場合に正の角速度データが検出される場合、所定区間には、右折の場合、負の角速度データが検出されている区間、左折の場合、正の角速度データが検出されている区間をそれぞれ設定することができる。
また、交差点属性判別部55は、車両2が対向車線を横切って曲がった(換言すれば、右折した)交差点の属性を判別する処理を実行してもよいし、左折した交差点の属性を判別する処理を実行してもよい。
交差点属性判別部55は、特徴量算出部54で算出された特徴量(角速度平均値、角速度分散、及び移動距離)を入力すると、交差点の属性(例えば、信号機の有無)を示す値を出力するように学習した学習済みの識別器を用いて、交差点の属性(例えば、信号機の有無)を判別する構成としてもよい。
車載機10を搭載した車両2の運転者20人分の一日の運転行動を計測したデータ(走行挙動データ)を解析対象データに用いて、学習済み識別器を生成し、交差点右折時の走行挙動データに基づく、交差点属性の判別について検証した。ここでの交差点の属性は、信号機の有無とした。
図9は、車両2の角速度データから交差点区間を決定する方法を説明するための角速度データの波形図の一例である。
図9に示すように、車両2の角速度データが、右旋回方向に所定の閾値(一例として、−8deg/s)を超えた場合に、右折イベントが生起したとみなし、前記閾値を超えた時点を含む、角速度データが負の値の区間を交差点区間とした。
識別器による交差点属性の判別精度の検証には、データ全体のうち1つだけをテストデータとして抜き出し、残りのデータを教師データとして交差検証を行うリーブワンアウト(Leave One Out)法を用いた。
すなわち、上記計107箇所のデータのうち、1箇所のデータを除いた106箇所のデータを教師データに用いて線形判別分析の識別器を作成し、1箇所のデータをテストデータに用いて、交差点の属性(信号機の有無)が正しく識別できているか否かの評価処理を、テストデータを切り替えながら繰り返す方法で検証を行った。なお、リーブワンアウト(Leave One Out)法に代えて、ホールドアウト(Hold-out)法、クロスバリデーション(Cross Validation)法などを用いてもよい。
図10に示すように、特徴量として、車両2の移動距離、角速度分散、及び角速度平均値を組み合わせて使用した場合の判別率が、79.4%となり、特徴量の組み合わせの中で判別率が最も高い結果が得られた。また、その内訳は、信号機有りの判別率が83.6%(51箇所/61箇所中)、信号機無しの判別率が73.9%(34箇所/46箇所中)であった。
また、特徴量として、車両2の移動速度、及び角速度分散を組み合わせて使用した場合の判別率が、2番目に高い値(77.6%)であった。また、特徴量として、車両2の移動速度、角速度分散、及び速度分散を組み合わせて使用した場合の判別率が、77.4%であり、特徴量として、車両2の移動速度、角速度分散、及び速度平均値を組み合わせて使用した場合の判別率が、76.4%であり、有用性が確認できた。
これら検証例から、右折した交差点の属性(信号機の有無)を判別する場合、交差点内の車両2の移動距離と角速度データ(角速度分散と角速度平均値、又は角速度分散)とを用いることにより、約80%の精度で判別可能であり、これら特徴量を用いて、交差点属性を判別する有用性が認められた。
例えば、安全確認評価条件に含まれる評価タイミング及び確認動作について判定された評価点を合計、平均化又は正規化等の統計処理を行って、交差点毎の評価点を算出し、算出した評価点を記憶ユニット60の評価結果記憶部63に記憶する処理を行う。
図11は、実施の形態に係る車載機10におけるドライバモニタリング部20が行う処理動作を示すフローチャートである。本処理動作は、例えば、ドライバカメラ21で画像が撮像されるタイミング(例えば、毎フレーム、又は所定間隔のフレーム毎)で実行される。
ステップS2では、画像解析部22は、取得した画像から運転者の顔、又は顔の領域を検出する処理を行い、ステップS3に処理を進める。画像から顔を検出する手法は特に限定されないが、高速で高精度に顔を検出する手法を採用することが好ましい。
ステップS12では、制御部19は、角速度センサ13で検出された角速度データを取得してRAM19bに記憶する処理を行い、ステップS13に処理を進める。
ステップS14では、制御部19は、ドライブレコーダー部30から送出されてきたデータ(車外画像と車内画像のデータ)を取得してRAM19bに記憶する処理を行い、ステップS15に処理を進める。
ステップS16では、制御部19は、ステップS15で取得した位置データの単位時間あたりの変化に基づいて、車両2の走行速度を算出し、位置データと走行速度とをRAM19bに記憶する処理を行い、ステップS17に処理を進める。なお、ステップS11〜S16までの各処理の順序は特に限定されない。また、これら各処理を並列的に実行してもよい。
一方ステップS17において、制御部19は、車両2が交差点を通過中であると判断すれば、ステップS18に処理を進める。
ステップS19では、制御部19は、車両2が交差点を通過し終えたか否かを判断する。例えば、制御部19は、通過時刻t0から所定時間経過したか否かを判断してもよいし、角速度データの積分値(即ち、鉛直軸回りの角度)が、車両2が交差点を通過し終えたことを示す閾値(角度)以上になった否かを判断してもよい。
ステップS20では、制御部19は、通過時刻t0のデータとともに、通過時刻t0の前後所定時間(例えば、数秒から数十秒間)に取得した検出データ(ステップS11〜S16で取得したデータ)をRAM19b又は記憶部17から読み出し、通信部15を制御して、これら検出データをサーバ装置40へ送信する処理を行う。その後、制御部19は、ステップS11に戻り、処理を繰り返す。車載機10からサーバ装置40へ送信される検出データの構成例は図3に示している。
まず、ステップS21において、制御ユニット50は、車載機10から送信されてきた検出データを受信したか否かを判断し、車載機10から検出データを受信したと判断すれば、ステップS22に処理を進める一方、車載機10から検出データを受信していないと判断すれば、ステップS23に処理を進める。
ステップS25では、制御ユニット50は、評価処理の結果を、車載機10の識別情報及び運転者IDと対応付けて評価結果記憶部63に記憶する処理を行い、その後処理を終える。
例えば、運転者の運転挙動データに基づいて、交差点進入時刻t5の前後における運転者の顔の向き又は視線の向きの少なくともいずれかの左右の振り角度及び振り時間と、選択された安全確評価条件とに基づいて、交差点進入前、及び/又は交差点進入後における運転者3の安全確認動作を評価する。
例えば、安全確認評価条件の各項目で判定された評価点を合計、平均化又は正規化等の統計処理を行って、当該交差点の評価点又は評価レベルを算出する処理を行い、ステップS35に処理を進める。
ステップS36では、制御ユニット50は、次の交差点通過時の検出データがあるか否かを判断し、次の交差点通過時の検出データがあると判断すれば、ステップS31に戻り、全ての交差点通過時の検出データの読み出しを終えるまで処理を繰り返す。一方、ステップS36において、次の交差点通過時の検出データがない、即ち、蓄積されたデータから交差点通過時の検出データの読み出しが全て終了したと判断すれば、その後評価処理を終える。
まず、ステップS41では、制御ユニット50は、検出データ蓄積部61から読み出した、交差点通過時(交差点通過時刻t0±n秒間)の検出データに含まれる角速度データを平滑化する処理を行い、その後、ステップS42に処理を進める。この平滑化処理は、角速度データ中のノイズ等を除去するために行われ、例えば、所定の周波数成分を除去するフィルタリング処理などが行われる。
一方、左折フラグf2が1の場合、制御ユニット50は、角速度が正の閾値を超えた時点を含む、正の値を示している区間を検出し、当該区間の開始時点から終了時点までを右折時の交差点区間として設定し、その後ステップS46に処理を進める。
例えば、特徴量(車両2の移動距離、角速度平均値、角速度分散)を入力すると交差点の属性を示す値(例えば、信号機有りの場合は0より大きい値、信号機無しの場合は0より小さい値)を出力するように学習した学習済みの識別器に、特徴量(車両の移動距離、角速度平均値、角速度分散)を入力し、その出力結果に基づいて交差点の属性を判別する。
上記実施の形態に係るサーバ装置40によれば、特徴量算出部54によって特徴量(車両2の移動距離、角速度分散、角速度平均値)が算出され、交差点属性判別部55によって、前記特徴量に基づいて、進行方向を切り替えた交差点の属性が判別されるので、データの読み込みなどの処理負荷が大きい地図データを用いることなく、前記交差点の属性を負荷の軽減された処理で判別することが可能となる。
以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
上記実施の形態では、本発明に係る運転評価装置を、サーバ装置40に適用した例について説明したが、他の適用例としては、例えば、本発明に係る運転評価装置を、車載機10に適用し、各車載機10で運転者3の運転評価処理を行うように構成してもよい。または、本発明に係る運転評価装置を、事業者端末80に適用し、事業者端末80で、管理する車両2の運転者3の運転評価を行うように構成してもよい。
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
(付記1)
車載機(10)で検出された車両(2)の走行挙動データと、前記車両(2)の運転者(3)の運転挙動データとを用いて、前記運転者(3)の運転評価を行う運転評価装置(40)であって、
前記走行挙動データを用いて、前記車両(2)が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出部(54)と、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別部(55)と、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価部(56)とを備えていることを特徴とする運転評価装置(40)。
車載機(10)で検出された車両(2)の走行挙動データと、前記車両(2)の運転者(3)の運転挙動データとを用いて、前記運転者(3)の運転評価を行う運転評価方法であって、
前記走行挙動データを用いて、前記車両(2)が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出ステップ(S46、S47、S48)と、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別ステップ(S49)と、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価ステップ(S34)とを含んでいることを特徴とする運転評価方法。
車載機(10)で検出された車両(2)の走行挙動データと、前記車両(2)の運転者(3)の運転挙動データとを用いて、前記運転者(3)の運転評価を少なくとも1以上のコンピュータ(50)に実行させるためのプログラム(53)であって、
前記コンピュータ(50)に、
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出ステップ(S46、S47、S48)と、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別ステップ(S49)と、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価ステップ(S34)とを実行させるためのプログラム。
車載機(10)で検出された車両(2)の走行挙動データと、前記車両(2)の運転者(3)の運転挙動データとを用いて、前記運転者(3)の運転評価を行う運転評価装置(40)が実行する交差点属性判別方法であって、
前記走行挙動データを用いて、前記車両(2)が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出ステップ(S46、S47、S48)と、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別ステップ(S49)とを含んでいることを特徴とする交差点属性判別方法。
2 車両
3 運転者
4 通信ネットワーク
10 車載機
11 プラットフォーム部
12 加速度センサ
13 角速度センサ(走行挙動検出部)
14 GPS受信部(走行挙動検出部)
15 通信部(出力部)
16 報知部
17 記憶部
18 外部インターフェース(外部I/F)
19 制御部
19a CPU
19b RAM
19c ROM
20 ドライバモニタリング部(運転挙動検出部)
21 ドライバカメラ
22 画像解析部
23 インターフェース(I/F)
30 ドライブレコーダー部
31 車外カメラ
32 車内カメラ
40 サーバ装置(運転評価装置)
41 通信ユニット
50 制御ユニット
51 演算処理装置
52 メインメモリ
53 制御プログラム
54 特徴量算出部
541 平均値算出部
542 ばらつき指標値算出部
543 移動距離算出部
55 交差点属性判別部
56 安全確認評価部
60 記憶ユニット
61 検出データ蓄積部
61a 検出データファイル
62 評価条件テーブル記憶部
62a 評価条件テーブル
63 評価結果記憶部
63a 評価結果ファイル
64 運転者情報記憶部
80 事業者端末
Claims (8)
- 車載機で検出された車両の走行挙動データと、前記車両の運転者の運転挙動データとを用いて、前記運転者の運転評価を行う運転評価装置であって、
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出部と、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別部と、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価部とを備え、
前記走行挙動データが、前記車両の角速度データを含み、
前記算出部が、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度のばらつきを示す指標値として前記角速度の分散、又は標準偏差を前記特徴量の1つとして算出する指標値算出部を含んで構成され、
前記判別部が、
前記交差点の属性を示す値を出力するように学習した学習済みの識別器に入力する前記特徴量の1つに前記指標値を用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び幹線道路と生活道路の道路種別のうちの少なくともいずれかを判別するものであることを特徴とする運転評価装置。 - 車載機で検出された車両の走行挙動データと、前記車両の運転者の運転挙動データとを用いて、前記運転者の運転評価を行う運転評価装置であって、
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出部と、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別部と、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価部とを備え、
前記走行挙動データが、前記車両の角速度データと位置データとを含み、
前記算出部が、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度のばらつきを示す指標値として前記角速度の分散、又は標準偏差を前記特徴量の1つとして算出する指標値算出部と、
前記所定区間の前記位置データを用いて前記車両の移動距離を前記特徴量の1つとして算出する移動距離算出部とを含んで構成され、
前記判別部が、
前記交差点の属性を示す値を出力するように学習した学習済みの識別器に入力する前記特徴量に少なくとも前記指標値と前記移動距離とを用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び幹線道路と生活道路の道路種別のうちの少なくともいずれかを判別するものであることを特徴とする運転評価装置。 - 車載機で検出された車両の走行挙動データと、前記車両の運転者の運転挙動データとを用いて、前記運転者の運転評価を行う運転評価装置であって、
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出部と、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別部と、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価部とを備え、
前記走行挙動データが、前記車両の角速度データと位置データとを含み、
前記算出部が、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度の平均値を前記特徴量の1つとして算出する平均値算出部と、
前記所定区間の前記角速度のばらつきを示す指標値として前記角速度の分散、又は標準偏差を前記特徴量の1つとして算出する指標値算出部と、
前記所定区間の前記位置データを用いて前記車両の移動距離を前記特徴量の1つとして算出する移動距離算出部とのうちの少なくとも2つ以上を含んで構成され、
前記判別部が、
前記交差点の属性を示す値を出力するように学習した学習済みの識別器に入力する前記特徴量に前記平均値、前記指標値、及び前記移動距離のうちの少なくとも2つ以上を用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び幹線道路と生活道路の道路種別のうちの少なくともいずれかを判別するものであることを特徴とする運転評価装置。 - 前記判別部が、前記車両が対向車線を横切って曲がった交差点の属性を判別するものであることを特徴とする請求項1〜3のいずれかの項に記載の運転評価装置。
- 請求項1〜4のいずれかの項に記載の運転評価装置と、
少なくとも1以上の前記車両に搭載される車載機とを含んで構成され、
前記車載機が、
前記車両の走行挙動を検出する走行挙動検出部と、
前記運転者の運転挙動を検出する運転挙動検出部と、
前記走行挙動検出部及び前記運転挙動検出部で検出されたデータを前記運転評価装置に出力する出力部とを含んで構成され、
前記運転評価装置が、
前記車載機から取得した前記データを記憶する記憶ユニットと、
該記憶ユニットに記憶された前記データを用いて、前記算出部、前記判別部、及び前記評価部の処理を実行する制御ユニットとを含んで構成されていることを特徴とする運転評価システム。 - 少なくとも1以上のコンピュータが、車載機で検出された車両の走行挙動データと、前記車両の運転者の運転挙動データとを用いて、前記運転者の運転評価を行う運転評価方法であって、
前記コンピュータが、
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出ステップと、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別ステップと、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価ステップとを含むステップを実行し、
前記走行挙動データが、前記車両の角速度データを含み、
前記算出ステップが、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度のばらつきを示す指標値として前記角速度の分散、又は標準偏差を前記特徴量の1つとして算出するステップを含み、
前記判別ステップが、
前記交差点の属性を示す値を出力するように学習した学習済みの識別器に入力する前記特徴量の1つに前記指標値を用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び幹線道路と生活道路の道路種別のうちの少なくともいずれかを判別するステップであることを特徴とする運転評価方法。 - 車載機で検出された車両の走行挙動データと、前記車両の運転者の運転挙動データとを用いて、前記運転者の運転評価を少なくとも1以上のコンピュータに実行させるためのプログラムであって、
前記コンピュータに、
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出ステップと、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別ステップと、
判別された前記交差点の属性に対応した安全確認評価条件と、前記交差点における前記運転挙動データとを用いて、前記運転者の安全確認動作を評価する評価ステップとを実行させ、
前記走行挙動データが、前記車両の角速度データを含み、
前記算出ステップが、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度のばらつきを示す指標値として前記角速度の分散、又は標準偏差を前記特徴量の1つとして算出する処理を実行させるステップを含み、
前記判別ステップが、
前記交差点の属性を示す値を出力するように学習した学習済みの識別器に入力する前記特徴量の1つに前記指標値を用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び幹線道路と生活道路の道路種別のうちの少なくともいずれかを判別する処理を実行させるステップであることを特徴とするプログラム。 - 車載機で検出された車両の走行挙動データと、前記車両の運転者の運転挙動データとを用いて、前記運転者の運転評価を行う運転評価装置が実行する交差点属性判別方法であって、
前記走行挙動データを用いて、前記車両が進行方向を切り替えた交差点の属性を判別するための少なくとも1以上の特徴量を算出する算出ステップと、
算出された前記特徴量に基づいて、前記交差点の属性を判別する判別ステップとを含み、
前記走行挙動データが、前記車両の角速度データを含み、
前記算出ステップが、
前記車両の角速度が所定の閾値を超えた時点を含む所定区間の前記角速度のばらつきを示す指標値として前記角速度の分散、又は標準偏差を前記特徴量の1つとして算出するステップを含み、
前記判別ステップが、
前記交差点の属性を示す値を出力するように学習した学習済みの識別器に入力する前記特徴量の1つに前記指標値を用いて、前記交差点の属性として信号機の有無、道路幅員の広狭、及び幹線道路と生活道路の道路種別のうちの少なくともいずれかを判別するステップであることを特徴とする交差点属性判別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019154393A JP6967042B2 (ja) | 2019-08-27 | 2019-08-27 | 運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019154393A JP6967042B2 (ja) | 2019-08-27 | 2019-08-27 | 運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033742A JP2021033742A (ja) | 2021-03-01 |
JP6967042B2 true JP6967042B2 (ja) | 2021-11-17 |
Family
ID=74678311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019154393A Active JP6967042B2 (ja) | 2019-08-27 | 2019-08-27 | 運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6967042B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102661067B1 (ko) | 2021-10-25 | 2024-04-29 | (주)네오정보시스템 | 더미 돌발 장치를 이용한 운전적합성 평가 시스템 및 방법 |
KR102610282B1 (ko) | 2021-12-02 | 2023-12-06 | 서울시립대학교 산학협력단 | 시험장 내 복수의 평가 코스를 통해 운전 적합성 평가를 수행하는 시스템 및 방법 |
KR20230089205A (ko) | 2021-12-13 | 2023-06-20 | (주)네오정보시스템 | 시험장 내에서 출현하는 더미 돌발 장치 및 컴퓨터 프로그램 |
CN115762130A (zh) * | 2022-10-10 | 2023-03-07 | 北京车和家汽车科技有限公司 | 驾驶行为规范性评价方法、装置、设备、介质和车辆 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004157880A (ja) * | 2002-11-07 | 2004-06-03 | Toyota Central Res & Dev Lab Inc | 確認行動評価装置 |
JP2006227905A (ja) * | 2005-02-17 | 2006-08-31 | Toyota Motor Corp | 車両用情報報知装置 |
JP7224118B2 (ja) * | 2017-12-13 | 2023-02-17 | オムロン株式会社 | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム |
-
2019
- 2019-08-27 JP JP2019154393A patent/JP6967042B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021033742A (ja) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6967042B2 (ja) | 運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法 | |
US11735037B2 (en) | Method and system for determining traffic-related characteristics | |
US20170221283A1 (en) | Method for smartphone-based accident detection | |
US11113775B1 (en) | System and method for standardized evaluation of driver's license eligibility | |
WO2021014464A1 (en) | System, multi-utility device and method to monitor vehicles for road saftey | |
Alluhaibi et al. | Driver behavior detection techniques: A survey | |
KR20150084250A (ko) | 차량 센싱 장치 기반 안전운전 성향정보를 반영한 자동차 보험료 산출 방법 | |
JP7224118B2 (ja) | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム | |
US20240037935A1 (en) | Artificial intelligence based real time vehicle parking verification | |
WO2019117005A1 (ja) | 運転評価報告書、車載機、運転評価報告書作成装置、運転評価報告書作成システム、運転評価報告書作成のためのコンピュータプログラム、及び記憶媒体 | |
JP7114953B2 (ja) | 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム | |
JP7068606B2 (ja) | 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム | |
JP2019159926A (ja) | 運転者交替促進装置、該装置が搭載された運転評価システム、及びコンピュータプログラム | |
CN108074395B (zh) | 一种身份识别的方法及装置 | |
WO2019117004A1 (ja) | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、安全確認評価プログラム、及び記憶媒体 | |
JP7070827B2 (ja) | 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム | |
WO2021005975A1 (ja) | 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム | |
JP7075048B2 (ja) | 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム | |
RU2703341C1 (ru) | Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства | |
JP6950597B2 (ja) | 車載機、運転評価システム、情報処理方法、及びプログラム | |
JP7235438B2 (ja) | 運転評価装置、運転評価方法、及びコンピュータプログラム | |
JP7060841B2 (ja) | 運転評価装置、運転評価方法、及び運転評価プログラム | |
Kashevnik et al. | Intelligent driver decision support system in vehicle cabin: reference model for dangerous events recognition and learning | |
JP2020123214A (ja) | 運転評価システム及び車載器 | |
JP2023104122A (ja) | 情報処理装置、情報処理方法、および、情報処理装置用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190827 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6967042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |