JP6144737B2 - Drive recorder and image storage method - Google Patents
Drive recorder and image storage method Download PDFInfo
- Publication number
- JP6144737B2 JP6144737B2 JP2015182193A JP2015182193A JP6144737B2 JP 6144737 B2 JP6144737 B2 JP 6144737B2 JP 2015182193 A JP2015182193 A JP 2015182193A JP 2015182193 A JP2015182193 A JP 2015182193A JP 6144737 B2 JP6144737 B2 JP 6144737B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- drive recorder
- specific behavior
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 230000006399 behavior Effects 0.000 claims description 56
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 20
- 230000001133 acceleration Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012905 input function Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Television Signal Processing For Recording (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、走行履歴を記録する技術に関する。 The present invention relates to a technique for recording a travel history.
近年、検知した車両における特定の挙動と走行履歴とを記録することができるドライブレコーダが開発されており、車両の運転終了後に、このドライブレコーダによって記録された走行履歴をパソコンなどに取り込んで、パソコンにおいてその走行履歴を確認する、即ち、事後的に走行履歴を確認することによって、ドライバの運転に対する評価や他者の教育などを行うことが可能である。 In recent years, drive recorders have been developed that can record specific behaviors and travel histories in detected vehicles. After the vehicle has finished driving, the drive histories recorded by this drive recorder are imported into a personal computer, etc. It is possible to evaluate the driver's driving, educate others, etc. by confirming the traveling history, that is, confirming the traveling history later.
そのような記録技術として、例えば、特許文献1に、車両の走行状況により判定した挙動に伴って走行履歴を記録するドライブレコーダ技術が記載されている。
As such a recording technique, for example,
しかし、そのような技術を採用したドライブレコーダによって記録された走行履歴によって、事後的に、ドライバの運転に対する評価などを行う場合は、次のような問題が発生する。 However, the following problems occur when the driver's driving is evaluated afterwards using the driving history recorded by the drive recorder adopting such a technique.
つまり、車両の速度状況などにより判定する挙動は、長時間走行させた場合などには、大量に走行履歴が記録されてしまい、事後的に、大量の走行履歴のなかから評価などに適切な走行履歴を抽出しなければならないという問題が発生する。 In other words, the behavior determined by the speed condition of the vehicle, etc., when traveling for a long time, a large amount of travel history is recorded, and after that, it is suitable for evaluation etc. from a large amount of travel history The problem arises that the history must be extracted.
更に、そのドライブレコーダを搭載した車両を大量に採用している会社、例えば、タクシー会社などにおいては、事後的に管理者が、それらドライブレコーダそれぞれが記録した大量の走行履歴のなかから、ドライバの運転評価や他のドライバの教育などに適切な走行履歴を抽出しなければならないという問題が発生する。 Furthermore, in a company that employs a large number of vehicles equipped with the drive recorder, such as a taxi company, the administrator later determines that the driver's There arises a problem that it is necessary to extract a driving history appropriate for driving evaluation and education of other drivers.
本発明は、上記課題に鑑みてなされたものであり、ドライブレコーダが記録した走行履歴を事後的に評価などする場合において、適切な走行履歴を容易に抽出することができるドライブレコーダ技術を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a drive recorder technique capable of easily extracting an appropriate traveling history when the traveling history recorded by the drive recorder is evaluated afterwards. For the purpose.
上記課題を解決するため、請求項1の発明は、車両の走行履歴を記録するドライブレコーダであって、前記車両に搭載される撮像部が取得する画像に含まれる路面の走行レーンを区画する区画線と交通規制を示す対象物とを認識する認識手段と、前記区画線を前記車両が逸脱するか否かを判定する判定手段と、前記対象物が示す交通規制に従って前記車両を運転すべき状況が前記画像に含まれているか判断する判断手段と、前記車両の特定の挙動の発生を検知する検知手段と、前記特定の挙動が検知されたとき、その前後所定時間の前記走行履歴と前記画像と前記判定手段の判定結果とを該特定の挙動ごとにグループとして不揮発性メモリへ記録する記録手段と、を備え、前記記録手段は、該画像と該判断結果とを関連付けて前記グループに含めて記録する。
In order to solve the above-mentioned problem, the invention of
また、請求項2の発明は、車両の走行履歴を記録するドライブレコーダであって、前記車両に搭載される撮像部が取得する画像に含まれる路面の走行レーンを区画する区画線と交通規制を示す対象物とを認識する認識手段と、前記区画線を前記車両が逸脱するか否かを判定する判定手段と、前記対象物が示す交通規制に従って前記車両を運転すべき状況が前記画像に含まれているか判断する判断手段と、前記車両の特定の挙動の発生を検知する検知手段と、前記特定の挙動が検知されたとき、その前後所定時間の前記走行履歴と前記画像を該特定の挙動ごとにグループとして不揮発性メモリへ記録すると共に、前記所定時間の間に判定された前記判定手段の判定結果を該グループに含めて不揮発性メモリへ記録する記録手段と、を備え、前記記録手段は、前記画像と前記判断結果とを関連付けて前記グループに含めて記録する。
Further, the invention of
また、請求項3の発明は、車両の走行履歴を記録する画像記録方法であって、(a)前記車両に搭載される撮像部が取得する画像に含まれる路面の走行レーンを区画する区画線と交通規制を示す対象物とを認識する工程と、(b)前記区画線を前記車両が逸脱するか否かを判定する工程と、(c)前記対象物が示す交通規制に従って前記車両を運転すべき状況が前記画像に含まれているか判断する工程と、(d)前記車両の特定の挙動の発生を検知する工程と、(e)前記特定の挙動が検知されたとき、その前後所定時間の前記走行履歴と前記画像と前記判定手段の判定結果とを該特定の挙動ごとにグループとして不揮発性メモリへ記録する工程と、を備え、前記工程(e)は、前記画像と前記判断結果とを関連付けて前記グループに含めて記録する。
The invention of
請求項1ないし3の発明によれば、ドライブレコーダにおいて、認識した画像に含まれる路面の走行レーンを区画する区画線を車両が逸脱するか否かを判定し、走行履歴とその判定結果とを記録するため、危険運転した場合の走行履歴を容易に抽出することができ、車両運転後における、運転の評価、教育、及び、研修などを容易にすることができる。 According to the first to third aspects of the present invention, in the drive recorder, it is determined whether or not the vehicle deviates from a lane marking that divides the road lane included in the recognized image, and the travel history and the determination result are determined. Since it is recorded, it is possible to easily extract a driving history when driving dangerously, and it is possible to facilitate evaluation, education, training, and the like after driving the vehicle.
<代表の実施の形態>
本代表の実施の形態は、車両に搭載される、走行履歴記録機能を備えたドライブレコーダを例にして説明する。このドライブレコーダについて、以下、添付図面を参照しながら、「ドライブレコーダシステムの構成」、「ドライブレコーダ制御」の順に説明を行う。
<Representative embodiment>
In the representative embodiment, a drive recorder equipped with a traveling history recording function mounted on a vehicle will be described as an example. Hereinafter, this drive recorder will be described in the order of “configuration of drive recorder system” and “drive recorder control” with reference to the accompanying drawings.
<ドライブレコーダシステムの構成>
ドライブレコーダシステムの構成を図1、及び、図2に基づいて説明する。ドライブレコーダシステムは、図1に示すように、車両1に搭載されたドライブレコーダ2、撮像部9、加速度センサー10、操作部11、及び、車速センサー12などが信号線を介して電気的に接続されて構成される。
<Configuration of drive recorder system>
The configuration of the drive recorder system will be described with reference to FIG. 1 and FIG. As shown in FIG. 1, in the drive recorder system, a
ドライブレコーダ2は、車両1の助手席前のダッシュボード内に搭載される。
The
撮像部9は、レンズと撮像素子とを備えており、電子的に画像データを取得することが可能である。撮像部9は、車両1のフロントガラス内側であって、フロントガラス内側のバックミラー近傍において、その撮像方向が車外へ向くように搭載される。これにより撮像部9は、車両1の前方側の様子を示す車外画像を取得する。撮像部9が備えるレンズの搭載角度は、撮像部9が撮像した車外画像において、車両1が図3に示すように通常の走行を行った場合に、車両1のボンネットの端部が映るように設定され、かつ、車両1の進行方向における路面の走行レーンを区画する区画線が所定の領域に映るように設定される。
The
加速度センサー10は、車両1に加わる衝撃の大きさを示す加速度を検出し、その検出結果を加速度信号として出力する。加速度センサー10は、車両1のエンジンルーム内に設置される。
The
操作部11は、ユーザ操作を受け付けて、その操作内容を示す操作信号を出力する。操作部11は、車両1の助手席前のダッシュボード内に搭載される。
The
車速センサー12は、車両1が移動した際に車輪が回転する速度を車速として検出し、その検出結果を車速信号として出力する。車速センサー12は、車両1のエンジンルーム内に設置される。
The
ドライブレコーダ2と撮像部9とは、通信ケーブルにより電気的に接続されている。ドライブレコーダにおいて、撮像部9が撮像した車両1の進行方向における車外画像を通信ケーブルを介して、ドライブレコーダ2において入力可能にしている。
The
ドライブレコーダ2と加速度センサー10とは、通信ケーブルにより電気的に接続されている。ドライブレコーダ2において、加速度センサー10が検知した加速度信号を通信ケーブルを介して、入力可能にしている。
The
ドライブレコーダ2と操作部11とは、通信ケーブルにより電気的に接続されている。ドライブレコーダ2において、ドライブレコーダ2が備える機能を開始及び終了させる操作を受け付ける操作部11から、その開始及び終了を示す信号を通信ケーブルを介して、入力可能にしている。
The
ドライブレコーダ2と車速センサー12とは、通信ケーブルにより電気的に接続されている。ドライブレコーダにおいて、車速センサー12が検知した車速信号を通信ケーブルを介して、入力可能にしている。
The
ドライブレコーダ2は、第1制御部4、第1揮発性記憶部3、第2制御部6、第2揮発性記憶部7、不揮発性記憶部8、及び、音出力部5を、バスなどの信号線により接続して備える。また、ドライブレコーダ2は、通信ケーブルを介して撮像部9から受信される車外画像を、信号線を介して第1制御部4及び第2制御部6へ入力させる。更に、ドライブレコーダ2は、通信ケーブルを介して加速度センサー10から受信する加速度信号、操作部11から受信する操作信号、並びに、車速センサー12から受信する車速信号を信号線を介して第2制御部6へ入力させる。
The
第1制御部4は、例えば、ROMやCPUなどから構成されるマイコンである。第1制御部4は、ROMに記憶された制御プログラムをCPUが実行することにより、画像入力機能、画像認識機能、及び、車両逸脱判定機能などを発揮させる。なお、画像入力機能、画像認識機能、及び、車両逸脱判定機能の詳細については後述する。
The
第1揮発性記憶部3は、例えばRAMなどの揮発性メモリであり、第1制御部4が制御プログラムを実行するなどの際に、パラメータなどを一時的に記憶するワーキングエリアとして機能する。
The first
第2制御部6は、例えば、ROMやCPUなどを備えるマイコンである。第2制御部6は、ROMに記憶された制御プログラムをCPUが実行することにより、車両挙動判定機能、及び、走行履歴記録機能などを発揮させる。なお、車両挙動判定機能、及び、走行履歴記録機能の詳細については後述する。
The
第2揮発性記憶部7は、例えばRAMなどの揮発性メモリであり、第2制御部6が制御プログラムを実行するなどの際に、パラメータなどを一時的に記憶するワーキングエリアとして機能する。また、第2揮発性記憶部7には、撮像部9で所定周期ごとに取得される車外画像が記憶される。第2揮発性記憶部7には、現時点から遡って所定時間以内に得られた車外画像のみが記憶され、古い車外画像は消去される。即ち、直近過去の所定時間における車外の様子を示す車外画像が第2揮発性記憶部7に記憶されることになる。
The second
不揮発性記憶部8は、例えばフラッシュメモリなどの不揮発性メモリであり、第2制御部6が第2揮発性記憶部7から、所定のタイミングで所定のデータを抜き出して記録するメモリである。更に、不揮発性記憶部8は、ドライブレコーダ2に着脱可能であり、このため、車両の運転終了後に、取り外した不揮発性記憶部8をパソコンなどへ装着し、不揮発性記憶部8に記録されているデータをパソコンへ取り込ませることができる。
The
音出力部5は、例えば、ブザーであり、音出力部5は、第1記憶部が車両逸脱判定をした際に送信した信号を受信して音を出力させる機能を発揮する。
The
ここで、第1制御部4により実現される画像判定機能、及び、第2制御部6により実現される走行履歴記録機能を説明する。
Here, an image determination function realized by the
まず、ドライブレコーダ2における画像判定機能を図4、及び、図6に示す制御フローに基づいて説明する。
First, the image determination function in the
なお、以降の制御に示す各フラグは、制御におけるイニシャル処理及び終了処理においてオフにされるとともに、ドライブレコーダ2のリセット処理においてオフにされる。
Each flag shown in the subsequent control is turned off in the initial process and the end process in the control, and is turned off in the reset process of the
<画像判定制御>
まず、画像判定制御のうち挙動判定制御を図4に示す制御フローに基づいてについて説明する。
<Image judgment control>
First, behavior determination control among image determination controls will be described based on a control flow shown in FIG.
(挙動判定制御)
第2制御部6は、ユーザ操作により操作部11からその機能を開始する旨の信号を受信した場合に、図4に示す制御フローを所定の周期で実行する。従って、第2制御部6は、所定の周期ごとに図4に示す制御フローのステップS1へ移行する。
(Behavior judgment control)
When the
ステップS1において、第2制御部6は、車両における特定の挙動の発生を検知する機能により、図5に示すように、加速度センサー10から受信する加速度信号が、第1スレッシュSL1を超えた場合に、車両の挙動を検知したとしてステップS2へ移行する(ステップS1においてYES)。加速度信号が第1スレッシュSL1を超えない場合に、車両における特定の挙動の発生を検知しないとして、リターンへ移行する(ステップS1においてNO)。
In step S1, the
なお、この第1スレッシュSL1は、ユーザが操作部11を操作することによって、変更することができる。
The first threshold SL1 can be changed by the user operating the
ステップS2において、第2制御部6は、第2揮発性記憶部7の所定の領域に設定された挙動フラグをオンにする。
In step S <b> 2, the
なお、第2制御部6は、後述するように、所定の周期で入力された車外画像を、第2揮発性記憶部7へ時系列に記憶するとともに、挙動フラグを入力画像と関連付けつつオン状態にして記録する。次に、リターンへ移行する。
As will be described later, the
次に、画像判定制御のうち画像認識制御を図6に示す制御フローに基づいて説明する。 Next, image recognition control in the image determination control will be described based on the control flow shown in FIG.
(画像認識制御)
第1制御部4は、ユーザ操作により操作部11からその機能を開始する旨の信号を受信した場合に、図6に示す制御フローを所定の周期で実行する。従って、第1制御部4は、所定の周期ごとに図6に示す制御フローのステップS3へ移行する。
(Image recognition control)
The
ステップS3において、第1制御部4は、画像入力機能により、撮像部9が所定の周期で取得した車外画像を入力し、画像認識機能により、入力した車外画像に含まれる交通規制を示す対象物を認識する。即ち、第1制御部4は、図7に示すような受信した車外画像に含まれる交通規制を示す対象物P1からP7が、図8に示すパターンD1からD13、及び、図9に示すパターンD14からD17と一致するか否かを判定する。一致すると判定する場合は、ステップS4へ移行する。一致しないと判定する場合は、リターンへ移行する。
In step S <b> 3, the
具体的には、第1制御部4に備わるROMに予め記憶されている、図8に示すような路上に設置される交通規制を示す標識、及び、図9に示すような路面に表示される交通規制を示す路面の標識を示すパターンが、受信した車外画像に含まれていないかどうかを判定する。即ち、パターンマッチングを行う。パターンマッチングとは、入力画像のなかに予めメモリに記憶されているパターンと一致するものがあるかどうか、又は、近似するものがあるかどうかを判定する技術である。
Specifically, it is pre-stored in a ROM provided in the
つまり、第1制御部4は、図7に示す対象物P1は、図8に示すパターンD3と一致すると判定する。また、第1制御部4は、図7に示す対象物P2は、図8に示すパターンD9と一致すると判定し、図7に示す対象物P3は、図8に示すパターンD13と一致すると判定し、図7に示す対象物P4は、図9に示すパターンD17と一致すると判定し、というようにROMに予め記録されているパターンと車外画像に含まれる対象物とが一致するか否かの判定を順次繰り返す。
That is, the
ステップS4において、第1制御部4は、第2揮発性記憶部7において、パターンと一致した交通規制を示す対象物を特定可能にするために対象物の種類ごとに予め設定されたフラグをオン/オフする。これらフラグは、各種標識の認識結果を示すものであり標識フラグと言う。
In step S <b> 4, the
なお、第2制御部6は、後述するように、所定の周期で入力された車外画像を、第2揮発性記憶部7へ時系列に記憶するとともに、標識フラグを入力画像と関連付けつつオン状態にして記録する。次に、リターンへ移行する。
As will be described later, the
次に、画像判定制御のうち車両逸脱判定制御を図10の制御フローに基づいて説明する。 Next, vehicle departure determination control among image determination control will be described based on the control flow of FIG.
(車両逸脱判定制御)
第1制御部4は、ユーザ操作により操作部11からその機能を開始する旨の信号を受け付けた場合に、図10に示す制御フローを所定の周期で実行する。従って、第1制御部4は、所定の周期ごとに図10に示す制御フローのステップS5へ移行する。
(Vehicle departure judgment control)
When the
ステップS5において、第1制御部4は、画像認識機能により、撮像部9から入力された、図11に示すような、車外画像に含まれる車両1の一部と路面の走行レーンを区画する区画線を認識する。
In step S <b> 5, the
第1制御部4は、入力された車外画像中に区画線を認識したと判定する場合は、ステップS6へ移行する(ステップS5においてYES)。区画線を認識したと判定しない場合は、リターンへ移行する(ステップS5においてNO)。
When determining that the lane marking has been recognized in the input outside-vehicle image, the
第1制御部4は、カラー画像である車外画像をモノクロの車外画像に変換した場合に、車外画像を構成する複数の画素それぞれが示す明るさの差を検知して、車外画像においての区画線を認識する。第1制御部4は、複数画素それぞれが示す明るさの差が高い場合にエッジを検知する。そして、図12に示すように、互いに近傍にあるエッジH1とエッジH2との幅Lが、不揮発性記憶部8に予め設定された路面の区画線を特定する幅と一致した場合に区画線を認識したと判定する。
The
ステップS6において、第1制御部4は、車両逸脱判定機能により、車両1が進行方向における路面の走行レーンを区画する区画線を逸脱するか否かの判定、即ち、逸脱判定を行う。第1制御部4が、逸脱判定を行う場合は、ステップS7へ移行する(ステップS6においてYES)。逸脱判定を行わない場合は、リターンへ移行する(ステップS6においてNO)。
In step S <b> 6, the
ここで、第1制御部4が行う逸脱判定の詳細を説明する。車両1の進行方向における路面の走行レーンを区画する区画線は、撮像部9が取得する、図11に示すような、車外画像中に示される車両の外部の所定の領域に含まれている。
Here, details of the departure determination performed by the
その車外画像中に示される所定の領域とは、図11に示す、車両1のボンネットBにおける前端部の左右中央の点Cから左右方向に少なくとも2m離間した位置までを含む領域である。これにより、図11に示すように、車外画像において、車両1が走行する路面の走行レーンと、隣接する走行レーンとの境界を示す左側区画線LL及び右側区画線RLが、ボンネットBの外側に示されることになる。
The predetermined area shown in the outside image is an area including a position at least 2 m away from the center C of the front end of the bonnet B of the
第1制御部4は、図11に示すような、車外画像を利用して、車外画像に含まれる、車両1のボンネットBにおける端部の中央点Cと、車外画像に含まれる路面の走行レーンを区画する左側区画線LL及び右側区画線RLのうち車両寄りの右側区画線RLであって、車両1の右側前輪まで仮想的に延長させた場合の区画線RLのポイントPとの相対距離Dを算出する。次に、ステップS6へ移行する。
The
更に、第1制御部4は、今回算出したその相対距離Dと、過去に算出したその相対距離Dに基づいて、車両1が横方向へ移動する際の移動速度Sを算出する。
Further, the
第1制御部4は、算出した相対距離Dと横方向への横移動速度Sとに基づいて、車両1がその区画線を逸脱するか否かを判定する。この車両の逸脱は、車両1がその区画線を逸脱する可能性が高い場合と、車両1がその区画線を実際に逸脱した場合との両方を含む概念である。
The
第1制御部4は、備えるROMに予め記憶されている図13に示すようなマップを参照して、相対距離Dと横方向への横移動速度Sとが交差する位置を求める。そして、第1制御部4は、当該位置が、図中に示す車両逸脱警戒領域Wに含まれるか否かに基づいて車両逸脱判定を行う。
The
ここで、図13に示すマップについて説明する。車両1と右側区画線RLとの相対距離D、及び、横移動速度Sが、マップにおける車両逸脱警戒領域Wに位置する場合は、車両1が右側区画線RLを逸脱する可能性が高い場合、又は、車両1が右側区画線RLを逸脱している場合である。
Here, the map shown in FIG. 13 will be described. When the relative distance D between the
車両1が右側区画線RLを逸脱する可能性が高い場合とは、横移動速度Sが比較的小さくて相対距離Dが比較的小さい場合や、横移動速度Sが比較的大きくて相対距離Dが比較的大きい場合などであり、そのような場合を車両逸脱警戒領域Wに設定している。
When the
一方、相対距離Dが比較的大きくて、横移動速度Sが比較的小さい場合や、相対距離Dが比較的小さくて、横移動速度Sが比較的大きい場合などは、区画線を不意に超える虞はないため、マップにおけるそのような領域は車両逸脱警戒領域Wには設定されていない。 On the other hand, when the relative distance D is relatively large and the lateral movement speed S is relatively small, or when the relative distance D is relatively small and the lateral movement speed S is relatively large, the lane marking may be exceeded unexpectedly. Therefore, such an area in the map is not set as the vehicle departure warning area W.
つまり、このような逸脱警戒領域Wの設定は、車両1がその区画線を不意に超えそうだ、若しくは、不意に超えたと感じる人間の感覚に基づいて設定されている。次に、ステップS7へ移行する。
That is, the setting of the departure warning area W is set based on a human sense that the
ステップS7において、第1制御部4は、第2制御部6へ車両逸脱を判定したことを示す信号を送信し、第2制御部6に車両逸脱の判定結果を示す逸脱フラグを第2揮発性記憶部7においてオンに設定させる。次に、ステップS8へ移行する。
In step S <b> 7, the
なお、第1制御部4は、第2揮発性記憶部7において、逸脱フラグをオンにするとともに、逸脱フラグを入力画像と関連付けつつオン状態にして記録する。
The
ステップS8において、第1制御部4は、音出力部5を制御して音を出力する。これにより、第1制御部4は、車両1がその区画線を逸脱する可能性があること、又は、区画線を逸脱したことをドライバなどへ知らせる。
In step S8, the
次に、ドライブレコーダ2における走行履歴記録機能を図14、及び、図15の制御フローに基づいて説明する。
Next, the travel history recording function in the
<走行履歴記録制御>
まず、走行履歴記録制御のうちリングバッファ制御を図14に示す制御フローに基づいて説明する。
<Running history recording control>
First, the ring buffer control in the travel history recording control will be described based on the control flow shown in FIG.
(リングバッファ制御)
第2制御部6は、ユーザ操作により操作部11からその機能を開始する旨の信号を受け付けた場合に、第2制御部6が、図14に示す制御フローを所定の周期で実行する。従って、第2制御部6は、所定の周期ごとに図14に示す制御フローのステップS9へ移行する。
(Ring buffer control)
When the
ステップS9において、第2制御部6は、第2揮発性記憶部7の記憶量が所定量になっているか否かを判断する。所定量になっていると判断する場合は、ステップS10へ移行する(ステップS9において、YES)。所定量になっていると判断しない場合は、ステップS11へ移行する(ステップS9において、NO)。
In step S9, the
ステップS10において、第2制御部6は、今回入力された走行履歴である車外画像によって、第2揮発性記憶部7に記憶されている最古の走行履歴である車外画像を上書きする。
In step S <b> 10, the
なお、走行履歴には、図示しないGPSアンテナから入力したGPSデータや車速信号などの車両制御データなどを含めても良い。 The travel history may include vehicle control data such as GPS data input from a GPS antenna (not shown) or a vehicle speed signal.
ステップS11において、第2制御部6は、第2揮発性記憶部7へ今回入力された車外画像を記憶する。次に、リターンへ移行する。
In step S <b> 11, the
つまり、この処理は、第2制御部6が、第2揮発性記憶部7をリングバッファにして、リングバッファ制御を実行する処理である。リングバッファ制御とは、第2制御部6が、第2揮発性記憶部7における最後の領域までデータを記憶すると最初の領域に戻って新たなデータを記憶する。これにより、リングバッファである第2揮発性記憶部7は、最も古いデータに対して新たなデータが順次に上書きされていく。このため、第2揮発性記憶部7においては、常に過去一定時間分の車外画像が記憶された状態にできる。本実施の形態では、例えば、30分以上の車外画像が時系列に第2揮発性記憶部7において記録される。即ち、リングバッファ制御をドライブレコーダ2に採用することによって、容量の小さい不揮発性メモリで対応でき、コストの低減を図ることができるというメリットがある。
That is, this processing is processing in which the
次に、走行履歴記録制御のうち走行履歴抽出制御を図15に示す制御フローに基づいて説明する。 Next, the travel history extraction control in the travel history recording control will be described based on the control flow shown in FIG.
(走行履歴抽出制御)
第2制御部6は、ユーザ操作により操作部11からその機能を開始する旨の信号を受け付けた場合に、第2制御部6が、図15に示す制御フローを所定の周期で実行する。従って、第2制御部6は、所定の周期ごとに図15に示す制御フローのステップS12へ移行する。
(Driving history extraction control)
When the
なお、第2制御部6は、図14、及び、図15に示す制御を、マルチタスク制御機能により並列に処理する。
The
ステップ12において、第2制御部6は、第2揮発性記憶部7に挙動フラグがオンになっているか否かを判定する。挙動フラグがオンになっていると判定する場合はステップS13へ移行する(ステップS12においてYES)。挙動フラグがオンになっていると判定しない場合はリターンへ移行する。
In
ステップS13において、第2制御部6は、第2揮発性記憶部7において、挙動フラグをオンにした第1所定時間(例えば12秒)前から、挙動フラグをオンにしたときまでの、第2揮発性記憶部7に記憶されている車外画像を不揮発性記憶部8へ記録する。次に、ステップS14へ移行する。
In step S13, the
ステップS14において、第2制御部6は、第2揮発性記憶部7において、挙動フラグをオンにしたときから第2所定時間(例えば、8秒)までの、第2揮発性記憶部7に記憶されている車外画像を不揮発性記憶部8へ記録する。次に、ステップS15へ移行する。
In step S <b> 14, the
ステップS15において、第2制御部6は、第2揮発性記憶部7に標識フラグ、又は、逸脱フラグがオンになっているか否かを判定する。標識フラグ、又は、逸脱フラグがオンになっていると判定する場合はステップS16へ移行する(ステップS12においてYES)。標識フラグ、又は、逸脱フラグがオンになっていると判定しない場合はステップS18へ移行する。
In step S <b> 15, the
ステップS16において、第2制御部6は、ステップS13やステップS14の処理において、不揮発性記憶部8へ記録させた車外画像に関連付けた標識フラグ、又は、逸脱フラグと同様に、不揮発性記憶部8においても、車外画像と関連付けて標識フラグ、又は、逸脱フラグの状態を記録する。
In step S16, the
つまり、第2制御部6は、前述した通り、第2揮発性記憶部7において、所定の周期で入力される車外画像を時系列に記憶しているとともに、標識フラグ、又は、逸脱フラグは、記憶された車外画像と関連付けて記憶している。
That is, as described above, the
このため、ドライブレコーダ2は、図16に示すように、挙動フラグをオンにした第1所定時間前から、挙動フラグをオンにしたときまでと、挙動フラグをオンにしたときから第2所定時間後までにおいて、第2揮発性記憶部7に記憶されている車外画像を不揮発性記憶部8へ記録することができるとともに、不揮発性記憶部8へ記録した車外画像と関連付けつつオン状態に記憶した標識フラグも同様に記録することができる。次に、ステップS17へ移行する。
For this reason, as shown in FIG. 16, the
ステップS17において、第2制御部6は、第2揮発性記憶部7における、標識フラグ、又は、逸脱フラグをオフにする。次に、ステップS18へ移行する。
In step S <b> 17, the
ステップS18において、第2制御部6は、第2揮発性記憶部7に記憶していた挙動フラグをオフにする。次に、リターンへ移行する。
In step S <b> 18, the
このような制御を実行するため、ドライブレコーダ2は不揮発性記憶部8に次のような構成で走行履歴を記録することができる。
In order to execute such control, the
ドライブレコーダ2は、不揮発性記憶部8において、イベントが発生したごとに、即ち、車両における特定の挙動の発生を検知したごとに、走行履歴である車外画像を記録する。
The
具体的には、ドライブレコーダ2は、不揮発性記憶部8において、イベントが発生したごとに、グループが組まれるように車外画像を記録する。例えば、図17に示すように始めにイベントが発生した際の車外画像をグループG1とし、その次にイベントが発生した際の車外画像をグループG2とし、その次にイベントが発生した際の車外画像をグループG3とし、というように構成して記録する。
Specifically, the
グループを構成する複数の車外画像のそれぞれには、イベントデータである車両における特定の挙動の発生を検知するための加速度、標識フラグや逸脱フラグ(例えば、図17に示すフラグFAからフラグFD)などを関連付けて記録している。 In each of the plurality of outside images constituting the group, acceleration for detecting the occurrence of a specific behavior in the vehicle, which is event data, a sign flag, a departure flag (for example, flag FA to flag FD shown in FIG. 17), etc. Is recorded in association.
なお、このほかにも、GPSデータや車両の制御データなどを関連付けて記録しても良い。 In addition, GPS data, vehicle control data, and the like may be associated and recorded.
ドライブレコーダ2が、このような構成の走行履歴を不揮発性記憶部8へ記録することによって、不揮発性記憶部8へ記録した、多量の走行履歴である車外画像などから、事後的に、図18に示すような、ドライバを評価などする際に適切な画像をパソコンなどにおいて効率的に絞り込むことができる。
The
ここで、ドライバを評価などする際に適切な車外画像とは、ドライバが危険運転をしている車外画像、若しくは、危険運転をしそうな車外画像(以降、これら画像を危険運転画像と言う)、や、交通規制に従って車両1を徐行運転すべき状況の車外画像、若しくは、車両1を一旦停止すべき状況の車外画像(以降、これら画像を安全運転画像と言う)などである。
Here, an image outside the vehicle suitable for evaluating the driver is an image outside the vehicle in which the driver is driving dangerously, or an image outside the vehicle that is likely to perform dangerous driving (hereinafter, these images are referred to as dangerous driving images), Or an out-of-vehicle image of a situation where the
ドライブレコーダ2は、車両1の加速度が、第1スレッシュSL1を超えた場合、即ち、車両1が急加速した場合を、危険運転をした、若しくは、危険運転をしそうであるとみなして、そのときの前後の危険運転画像を記録する。
When the acceleration of the
しかし、車両の急加速は、必ずしも、危険運転であるとは言い切れないため、ドライバを評価などする際に不必要な車外画像についても記録する虞があり、事後的にパソコンなどにおいて評価などする際に、多量の車外画像などから適切な車外画像を抽出しなければならない虞がある。 However, sudden acceleration of the vehicle cannot always be said to be dangerous driving, so there is a possibility that unnecessary images outside the vehicle will be recorded when evaluating the driver. At this time, there is a possibility that an appropriate outside image must be extracted from a large number of outside images.
そこで、ドライブレコーダ2は、危険運転画像に安全運転画像が含まれる場合は、不揮発性記憶部8へ記録する車外画像に、その旨を示す標識フラグ、又は、逸脱フラグを関連付けて記録することによって、車両の運転終了後に、パソコンにおいて、不揮発性記憶部8から取り込んだ、標識フラグ、又は、逸脱フラグなどが関連付けられた車外画像から、その評価などする際に適切な画像と関連付けられた標識フラグ、又は、逸脱フラグを検索条件にして検索することができ、ドライバを評価などする際に適切な車外画像のみを容易に抽出することができる。
Therefore, when the safe driving image is included in the dangerous driving image, the
<変形例>
以上、本発明の代表の実施の形態について説明してきたが、この発明は上記代表の実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
<Modification>
The representative embodiment of the present invention has been described above. However, the present invention is not limited to the above-described representative embodiment, and various modifications can be made. Below, the modification which is other embodiment is demonstrated. Of course, you may combine the form demonstrated below suitably.
<変形例1>
上記代表の実施の形態における図4に示す制御フローのステップS1において、「第2制御部6は、加速度センサー10から受信する加速度信号が、第1スレッシュSL1を超えたか否かを検知し、その信号が第1スレッシュを超えた場合に車両における特定の挙動の発生を検知し、その信号が第1スレッシュSL1をこえない場合に車両の挙動を検知しない」と説明したが、第2制御部6は、図19に示すように、車速センサー12から受信する車速信号が、第2スレッシュSL2を超えたか否かを検知し、その信号が第2スレッシュSL2を超えた場合に車両の挙動を検知し、その信号が第2スレッシュSL2をこえない場合に車両の挙動を検知しないとしても良い。
<
In step S1 of the control flow shown in FIG. 4 in the representative embodiment, “the
<変形例2>
上記代表の実施の形態における、図14に示すリングバッファ制御、及び、図15に示す走行履歴記録制御を、所謂、常時走行履歴記録制御としても良い。
<
The ring buffer control shown in FIG. 14 and the travel history recording control shown in FIG. 15 in the representative embodiment may be so-called constant travel history recording control.
常時走行履歴記録制御とは、ドライブレコーダ2が、走行履歴である撮像部9が取得した車外画像を入力して、その車外画像を、揮発性記憶部、又は、不揮発性記憶部8の何れかに、時系列に記録し続ける制御であり、車両1の挙動を検知したときに、揮発性記憶部に記憶していた過去の車外画像の一部を不揮発性記憶部8へ記録するものではない。
In the continuous running history recording control, the
この場合には、ドライブレコーダ2は、挙動を検知した場合は、その検知したときに記録した車外画像と関連付けて挙動フラグの状態を記録する。。また、ドライブレコーダ2は、車外画像に含まれる交通規制を示す対象物、又は、路面の標識を認識した場合は、その認識したときに記録した車外画像と関連付けて標識フラグ、又は、逸脱フラグの状態を記録する。
In this case, when the
これにより、パソコンにおいて、所定時間内の記録された、挙動フラグ、標識フラグ、又は、逸脱フラグを検索することによって、挙動フラグ、標識フラグ、又は、逸脱フラグが関連付けられている車外画像を抽出することができ、その評価・教育をする際に適切な車外画像のみを抽出することができる。 As a result, in the personal computer, a behavior flag, a sign flag, or a departure flag recorded within a predetermined time is searched to extract an image outside the vehicle associated with the behavior flag, the sign flag, or the departure flag. Therefore, it is possible to extract only appropriate outside-vehicle images when performing the evaluation / education.
<変形例3>
上記代表の実施の形態における、撮像部9の搭載方法を、「撮像部9の車両1への搭載は、車両1のフロントガラス内側であって、フロントガラスとバックミラーとの間において、その撮像方向が車外へ向くよう搭載される」と説明したが、車両1のリアガラス内部の上端中央に搭載されても良い。
<
The mounting method of the
この場合、撮像部9の撮像方向が車外へ向くように搭載され、撮像部9が備えるレンズの搭載角度は、撮像部9が撮像した車外画像において、車両1が通常の走行を行った場合に、車両1のトランクの端部が映るように設定され、かつ、車両1の進行方向の逆方向における路面の走行レーンを区画する区画線が所定の領域に映るように設定される。
In this case, the
その車外画像中に示される所定の領域とは、車両1のトランクにおける前端部の左右中央の点Cから左右方向に少なくとも2m離間した位置までを含む領域である。これにより、車両1が走行する路面の走行レーンと、隣接する走行レーンとの境界を示す左側区画線LL及び右側区画線RLが、車外画像中に示されることになる。
The predetermined region shown in the vehicle outside image is a region including a position at least 2 m away from the left and right center point C of the front end portion of the trunk of the
このように撮像部9を搭載するため、第1制御部4は、車外画像に含まれる、車両1のトランクにおける端部の中央点Cと、車外画像に含まれる路面の走行レーンを区切る左側区画線LL及び右側区画線RLのうち、右側区画線RLの破線それぞれの非進行方向側のエッジとの相対距離Dを算出することができる。
In order to mount the
<変形例4>
上記代表の実施の形態における図6に示す制御フローのステップS3において、「第1制御部4が、備えるROMに予め記憶されている、図8に示すような路上に設置される交通規制を示す標識、及び、図9に示すような路面に表示される交通規制を示す標識で構成されるデータが、受信した車外画像に含まれていないかどうかをパターンマッチング技術により判定する」と説明したが、種々の画像認識技術を採用しても良い。例えば、周知の技術である、入力画像に含まれる対象物の形状の一部である線が示すベクトルに基づいて画像を識別する統計的識別法や、入力画像に含まれる対象物の形状の一部であるエッジに基づいて画像を識別する構造識別法であっても良い。
<
In step S3 of the control flow shown in FIG. 6 in the above-described representative embodiment, “the
<変形例5>
上記代表の実施の形態における「ステップS5において、第1制御部4は、音出力部5を制御して音を出力する。これにより、第1制御部4は、車両1がその区画線を逸脱する可能性があること、又は、区画線を逸脱したことをドライバなどへ知らせる」すると説明したが、ドライブレコーダ2が車両1に搭載されるナビゲーション装置と通信ケーブルによって接続され、ドライブレコーダ2の第1制御部4が通信ケーブルを介してナビゲーション装置へ車両逸脱判断による警報を示す信号を送信し、その信号を受信したドライブレコーダ2が警報を示す音や映像を出力するものであっても良い。
<
“In step S5, the
<変形例6>
各実施例の制御を説明するフローチャート図における各処理は、便宜上、一の系列で示しているが、細分化されたそれぞれの処理を制御部がマルチタスク制御機能により並列に処理するものであっても良い。
<
Each process in the flowchart for explaining the control of each embodiment is shown in one series for convenience, but the control unit processes each subdivided process in parallel by the multitask control function. Also good.
2 ドライブレコーダ
3 第1揮発性記憶部
4 第1制御部
6 第2制御部
7 第2揮発性記憶部
8 不揮発性記憶部
9 撮像部
10 加速度センサー
12 車速センサー
2
Claims (3)
前記車両に搭載される撮像部が取得する画像に含まれる路面の走行レーンを区画する区画線と交通規制を示す対象物とを認識する認識手段と、
前記区画線を前記車両が逸脱するか否かを判定する判定手段と、
前記対象物が示す交通規制に従って前記車両を運転すべき状況が前記画像に含まれているか判断する判断手段と、
前記車両の特定の挙動の発生を検知する検知手段と、
前記特定の挙動が検知されたとき、その前後所定時間の前記走行履歴と前記画像と前記判定手段の判定結果とを該特定の挙動ごとにグループとして不揮発性メモリへ記録する記録手段と、
を備え、
前記記録手段は、該画像と該判断結果とを関連付けて前記グループに含めて記録することを特徴とするドライブレコーダ。 A drive recorder for recording a running history of a vehicle,
Recognizing means for recognizing a marking line that divides a traveling lane on a road surface included in an image acquired by an imaging unit mounted on the vehicle and an object indicating traffic regulation;
Determining means for determining whether or not the vehicle deviates from the lane marking;
Determining means for determining whether the image includes a situation in which the vehicle should be driven in accordance with traffic regulations indicated by the object;
Detecting means for detecting occurrence of a specific behavior of the vehicle;
When the specific behavior is detected, a recording unit that records the travel history of the predetermined time before and after the image, the image, and the determination result of the determination unit in a nonvolatile memory as a group for each specific behavior ;
With
The drive recorder is characterized in that the image and the determination result are associated and recorded in the group .
前記車両に搭載される撮像部が取得する画像に含まれる路面の走行レーンを区画する区画線と交通規制を示す対象物とを認識する認識手段と、
前記区画線を前記車両が逸脱するか否かを判定する判定手段と、
前記対象物が示す交通規制に従って前記車両を運転すべき状況が前記画像に含まれているか判断する判断手段と、
前記車両の特定の挙動の発生を検知する検知手段と、
前記特定の挙動が検知されたとき、その前後所定時間の前記走行履歴と前記画像を該特定の挙動ごとにグループとして不揮発性メモリへ記録すると共に、前記所定時間の間に判定された前記判定手段の判定結果を該グループに含めて不揮発性メモリへ記録する記録手段と、
を備え、
前記記録手段は、前記画像と前記判断結果とを関連付けて前記グループに含めて記録することを特徴とするドライブレコーダ。 A drive recorder for recording a running history of a vehicle,
Recognizing means for recognizing a marking line that divides a traveling lane on a road surface included in an image acquired by an imaging unit mounted on the vehicle and an object indicating traffic regulation;
Determining means for determining whether or not the vehicle deviates from the lane marking;
Determining means for determining whether the image includes a situation in which the vehicle should be driven in accordance with traffic regulations indicated by the object;
Detecting means for detecting occurrence of a specific behavior of the vehicle;
When the specific behavior is detected, the travel history and the images for a predetermined time before and after the specific behavior are recorded in a nonvolatile memory as a group for each specific behavior, and the determination means determined during the predetermined time Recording means for including the determination result in the group and recording it in a nonvolatile memory;
With
The drive recorder characterized in that the image and the determination result are associated and recorded in the group .
(a)前記車両に搭載される撮像部が取得する画像に含まれる路面の走行レーンを区画する区画線と交通規制を示す対象物とを認識する工程と、
(b)前記区画線を前記車両が逸脱するか否かを判定する工程と、
(c)前記対象物が示す交通規制に従って前記車両を運転すべき状況が前記画像に含まれているか判断する工程と、
(d)前記車両の特定の挙動の発生を検知する工程と、
(e)前記特定の挙動が検知されたとき、その前後所定時間の前記走行履歴と前記画像と前記判定手段の判定結果とを該特定の挙動ごとにグループとして不揮発性メモリへ記録する工程と、
を備え、
前記工程(e)は、前記画像と前記判断結果とを関連付けて前記グループに含めて記録することを特徴とする画像記録方法。 An image recording method for recording a running history of a vehicle,
(A) recognizing a lane marking that divides a traveling lane on a road surface included in an image acquired by an imaging unit mounted on the vehicle and an object indicating traffic regulation;
(B) determining whether the vehicle deviates from the lane marking;
(C) determining whether the image includes a situation in which the vehicle should be driven according to traffic regulations indicated by the object;
(D) detecting the occurrence of a specific behavior of the vehicle;
(E) when the specific behavior is detected, a step of recording the traveling history, the image, and the determination result of the determination unit for a predetermined time before and after the specific behavior as a group for each specific behavior in a nonvolatile memory;
With
In the step (e), the image and the determination result are associated with each other and recorded in the group .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182193A JP6144737B2 (en) | 2015-09-15 | 2015-09-15 | Drive recorder and image storage method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182193A JP6144737B2 (en) | 2015-09-15 | 2015-09-15 | Drive recorder and image storage method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010164405A Division JP5813298B2 (en) | 2010-07-22 | 2010-07-22 | Drive recorder and image storage method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016028332A JP2016028332A (en) | 2016-02-25 |
JP6144737B2 true JP6144737B2 (en) | 2017-06-07 |
Family
ID=55360752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015182193A Active JP6144737B2 (en) | 2015-09-15 | 2015-09-15 | Drive recorder and image storage method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6144737B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115359587B (en) * | 2022-10-21 | 2023-02-17 | 常州海图信息科技股份有限公司 | Micro CVBS image acquisition system and method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5141941B2 (en) * | 2006-08-22 | 2013-02-13 | 株式会社ジェイテクト | In-vehicle control device |
JP2008176357A (en) * | 2007-01-16 | 2008-07-31 | Fujitsu Ten Ltd | Abnormality diagnostic system and diagnostic information management device |
JP2009199328A (en) * | 2008-02-21 | 2009-09-03 | Yazaki Corp | Operation recording and evaluating apparatus for vehicle |
WO2009125454A1 (en) * | 2008-04-11 | 2009-10-15 | パイオニア株式会社 | In-vehicle recorder, program, and data recording method of the in-vehicle recorder |
-
2015
- 2015-09-15 JP JP2015182193A patent/JP6144737B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016028332A (en) | 2016-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5594246B2 (en) | Lane recognition device | |
CN102956118B (en) | Device and method for traffic sign recognition | |
JP6045889B2 (en) | In-vehicle control device | |
JP6697522B2 (en) | Marking line recognition device | |
WO2014129312A1 (en) | Device for suppressing deviation from lane boundary line | |
US20150220796A1 (en) | Sign recognition apparatus and method for determining left- or right-hand traffic division and distance unit | |
JP5813298B2 (en) | Drive recorder and image storage method | |
US20190258894A1 (en) | Detection based on fusion of multiple sensors | |
JP2004310522A (en) | Vehicular image processor | |
JP2002314989A (en) | Peripheral monitor for vehicle | |
JP5067358B2 (en) | Traveling lane detection device and traveling lane detection program | |
JP5511987B2 (en) | Vehicle object collision warning system and vehicle object collision warning method | |
CN111231948A (en) | Driving safety control system using environmental noise and control method thereof | |
JP5587075B2 (en) | Drive recorder and image storage method | |
JP6144737B2 (en) | Drive recorder and image storage method | |
JP4066869B2 (en) | Image processing apparatus for vehicle | |
JP2006146956A (en) | Device for determining travel path for vehicle | |
US20220292686A1 (en) | Image processing apparatus, image processing method, and computer-readable storage medium storing program | |
JP6500813B2 (en) | Vehicle driving evaluation system | |
JP6232027B2 (en) | Drive recorder and vehicle deviation determination device | |
JP5957182B2 (en) | Road surface pattern recognition method and vehicle information recording apparatus | |
US20170253239A1 (en) | Device to detect country in which vehicle is located | |
JP7163817B2 (en) | Vehicle, display method and program | |
JP2018049633A (en) | Drive recorder | |
JP5970030B2 (en) | Drive recorder and vehicle deviation determination device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6144737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |