JP6059946B2 - 解析装置 - Google Patents

解析装置 Download PDF

Info

Publication number
JP6059946B2
JP6059946B2 JP2012234149A JP2012234149A JP6059946B2 JP 6059946 B2 JP6059946 B2 JP 6059946B2 JP 2012234149 A JP2012234149 A JP 2012234149A JP 2012234149 A JP2012234149 A JP 2012234149A JP 6059946 B2 JP6059946 B2 JP 6059946B2
Authority
JP
Japan
Prior art keywords
image data
data
drive recorder
information
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012234149A
Other languages
English (en)
Other versions
JP2014086879A (ja
Inventor
幹雄 ▲船▼木
幹雄 ▲船▼木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Energy System Corp
Original Assignee
Yazaki Energy System Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Energy System Corp filed Critical Yazaki Energy System Corp
Priority to JP2012234149A priority Critical patent/JP6059946B2/ja
Publication of JP2014086879A publication Critical patent/JP2014086879A/ja
Application granted granted Critical
Publication of JP6059946B2 publication Critical patent/JP6059946B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、車両に搭載されたドライブレコーダによって記録された画像データを解析する解析装置に関する。
従来、この種のドライブレコーダとして、運行時に常時画像を記録するものがある。運行ルートの定点観測を行う場合、管理者は、ドライブレコーダで常時記録された画像の中から、特定の箇所の画像を探し出して解析する。
画像を探し出す際、管理者は、撮影した時刻毎に時系列に並べられたデータから、時刻を元に必要なデータを探し出すか、あるいは特定の信号入力があったことの条件でデータを抽出し、その中から所望のデータを探していた。
この種の先行技術として、特許文献1には、常時記録画像ファイルを生成するドライブレコーダが示されている。この常時記録画像ファイルには、基本情報、設定情報、及び画像・音声情報が含まれる。基本情報は、ドライブレコーダが起動してからの時間、及びGPSから得られた車両の座標を含む。
特開2010−130577号公報
しかしながら、従来の解析装置では、前述したように、常時記録された画像を解析する際、時系列に並べられた複数のデータから、所望のデータを管理者が探し出す必要があり、管理者に大きな負担を強いていた。また、場所が明確で時刻がはっきりしない場合でも、映像を見ながら探すことになり、画像の検索が困難であった。
また、運行データに対応する画像データがドライブレコーダから抜き取られた記録媒体に記録されていない場合、解析を必要とする画像データの取得が困難であった。
本発明は、上述した事情に鑑みてなされたものであり、その目的は、取得したデータに含まれている画像データから所望の画像データの取得が容易であり、また、取得したデータに画像データが含まれていない場合でも、ドライブレコーダからの取得が容易になる解析装置を提供することにある。
前述した目的を達成するために、本発明に係る解析装置は、下記(1)〜()を特徴としている。
(1) 車両に搭載されたドライブレコーダによって記録された画像データを解析する解析装置であって、
前記ドライブレコーダから取得したデータに車両情報、位置情報および時刻情報と共に画像データが含まれているか否かを判定し、
前記取得したデータに前記画像データが含まれている場合所定の位置および時刻に対応する特定画像データを前記画像データから抽出し、
前記取得したデータに前記画像データが含まれていない場合、前記取得したデータに含まれる前記車両情報によって特定される前記ドライブレコーダから前記画像データを取得であることを通知するための情報、前記画像データが未取得である前記ドライブレコーダを特定するための情報、及び、前記特定画像データに対応する前記所定の時刻を特定するための情報を含む通知情報を、特定の端末装置に通知すること。
(2) 上記(1)の構成の解析装置であって、
入力部を更に備え、
前記所定の位置および時刻が、前記入力部を用いてあらかじめ指定されること。
) 上記(1)の構成の解析装置であって、
前記時刻情報は、前記ドライブレコーダによって前記画像データが記録された期間中の一時点を表すこと。
) 上記(1)の構成の解析装置であって、
前記ドライブレコーダに挿抜自在に装着された記録媒体を介して、前記車両情報、位置情報および時刻情報を含むデータを取得すること。
上記(1)の構成の解析装置によれば、取得したデータに含まれている画像データから所望の画像データの抽出が容易であり、また、取得したデータに画像データが含まれていない場合でも、ドライブレコーダからの取得が容易になる。更に、本構成の解析装置によれば、管理者は、時刻情報から画像データが残っていると判断した場合に限って作業を行えばよく、負担が軽減される。
上記()の構成の解析装置によれば、運行ルート上の任意の観測地点を指定することが可能である。
上記()の構成の解析装置によれば、運行データとこの運行データが記録された時点を含む画像データとの対応付けが容易である。
上記()の構成の解析装置によれば、運行データの受け渡しを確実に行うことができ、また、乗務員ごとの管理が容易になる。
本発明によれば、取得したデータに画像データが含まれている場合、所定の位置情報および時刻情報に対応する画像データを抽出し、取得したデータに画像データが含まれていない場合、画像データを取得できないことの通知情報を、特定の端末装置に通知する。
これにより、取得したデータに含まれている画像データから所望の画像データの抽出が容易であり、また、取得したデータに画像データが含まれていない場合でも、ドライブレコーダからの取得が容易になる。
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態(以下、「実施形態」という。)を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
図1(A)及び図1(B)は、実施形態における運行ルートの定点観測システムの概要を説明する図である。 図2(A)及び図2(B)は、ドライブレコーダ1及び解析装置5の構成を示すブロック図である。 図3は、ドライブレコーダ1の動作手順を示すフローチャートである。 図4(A)及び図4(B)は、ドライブレコーダ1によって運行データ記録用カード39に記録された運行データの一覧80、及び常時記録用カード36に記録された画像ファイルの一覧90を示す図である。 図5は、解析装置5の動作手順を示すフローチャートである。 図6は、ステップS19における解析処理移行手順を示すフローチャートである。
本発明の実施形態における解析装置について図面を用いて説明する。本実施形態の解析装置は、画像データを常時記録するドライブレコーダを用いた、運行ルートの定点観測システムに適用される。
図1(A)及び図1(B)は実施形態における運行ルートの定点観測システムの概要を説明する図である。図1(A)に示すように、この定点観測システムでは、3台の車両3にそれぞれドライブレコーダ1が搭載されている場合を示す。各ドライブレコーダ1には、常時記録用のメモリカード(常時記録用カード)36と運行データ記録用のメモリカード(運行データ記録用カード)39とが挿抜自在に装着可能である。なお、1つのメモリカードで常時記録用と運行データ記録用の両方を兼用させることも可能である。
即ち、複数のドライブレコーダ1には、運行データ記録用カード39に、運行データを記録する他、イベント発生時の画像データを記録するものと、運行データ記録用カード39に運行データを記録し、常時記録用カード36に画像データを記録するものとがある。常時記録用カード36は、通常、ドライブレコーダ1に装着されたままである。
運行後、各車両3のドライブレコーダ1から、乗務員によって運行データ記録用カード39が抜き取られ、事務所側のPCからなる解析装置5に装着されると、運行データが解析装置5によって読み取られて保管される。
この運行データには、後述するように、日時、位置、車両コード、乗務員コード等のデータが含まれている。運行ルートの定点観測として、図1(B)のマップに示すような点線枠Aで囲まれた、特定の観測地点(定点)における、特定の時刻を含む所定期間の画像データが運行データ記録用カード39に記録されているかを、解析装置5が調べる。記録されている場合、解析装置5はその画像データを画像データベース(DB)62(図2(B)参照)に保管する。
画像データが記録されていない場合、解析装置5は、運行データに含まれる車両情報(車両コード)および時刻情報(日時)を管理者70が所持する携帯端末75に送信する。管理者70は、この通知を受けると、車両3に搭載されたドライブレコーダ1の常時記録用カード36にこの画像データが残されているか否かを判断し、残されている場合、このカードを抜き取って解析装置5に読み込ませる。
なお、常時記録用カード36は、記録容量が少なくなると、古い画像データを削除して新しい画像データを記録するので、運行データが記録された時刻(日時)によっては、画像データが消去されている可能性がある。従って、管理者70は、時刻情報から画像データが残っていると判断した場合に限って、前述した作業を行えばよく、負担が軽減する。
図2(A)及び図2(B)はドライブレコーダ1及び解析装置5の構成を示すブロック図である。図2(A)に示すように、ドライブレコーダ1は、ドライブレコーダ本体10を有する。ドライブレコーダ本体10には、ドライブレコーダ全体の制御を司るCPU11の他、後述する各種部品が内蔵されている。
CPU11には、不揮発性メモリ12、カードI/F13、14、GPS I/F15、音声I/F16、カメラI/F17、入力I/F18、入出力I/F19及び速度I/F21が接続される。
不揮発性メモリ12には、CPU11が実行する制御プログラム等が格納される。カードI/F13、14には、それぞれ常時記録用カード36、運行データ記録用カード39が接続される。なお、ここでは、外部記録媒体として、メモリカードが挿抜自在にドライブレコーダに接続される場合を示したが、USB、CD−R、ハードディスク等が接続されてもよい。また、前述したように、運行データ記録用カード39に、運行データの他、常時記録の画像データを記録するようにしてもよい。また、ドライブレコーダは、常時記録用カードを持つことなく、運行データ記録用カードだけが装着可能なカードI/Fを有するものであってもよい。
GPS I/F15には、GPS衛星からのGPS信号を受信するGPS受信器38が接続される。音声I/F16には、警報等を発するスピーカ32が接続される。
カメラI/F17は、車両のフロントガラス上部に設置されたカメラ33に接続され、カメラ33で撮影された画像の画像データを処理する。カメラ33は、車両前方等の画像を撮影可能である。入力I/F18には、車両に発生する加速度を検出する加速度センサ34が接続される。
入出力I/F19には、乗務員に警報を報知(出力)する警報ランプ35が接続される。速度I/F21には、車両の速度を検出する速度センサ37が接続される。
一方、図2(B)に示すように、解析装置5は、前述したように、汎用のコンピュータ装置(PC)で構成され、CPU51、ディスプレイ52、ストレージメモリ53及び入力部54を有する。CPU51は、内蔵するROMに格納された制御プログラムを実行し、解析装置5の全体を制御するとともに、後述する解析処理を行う。
ディスプレイ52は各種の情報を表示する。ストレージメモリ53は、ハードディスクドライブ装置等からなる。ストレージメモリ53には、ドライブレコーダ1で記録された運行データが登録される運行データDB(データベース)61、およびカメラ33で撮影された画像データが登録される画像DB62が設けられている。入力部54は、キーボード、タッチパッド、マウス等からなり、各種の入力を受け付ける。
また、CPU51には、常時記録用カード36、運行データ記録用カード39等のメモリカードが挿抜自在に装着されるカードI/F55、および管理者70が所持する携帯端末75と無線通信を行う通信端末I/F56が接続される。
上記構成を有するドライブレコーダ1および解析装置5を用いた運行ルートの定点観測動作を示す。図3はドライブレコーダ1の動作手順を示すフローチャートである。この動作プログラムは、ドライブレコーダ本体10内の不揮発性メモリ12に格納されており、CPU11によって実行される。
ドライブレコーダ1は、電源オン後に起動し、まず、カメラ33の撮影動作を開始し、カメラ33で撮影された画像データを含む画像ファイルを常時記録用カード36に記録する(ステップS1)。この画像ファイルには、撮影された画像データの他、その属性情報(プロファイル)として、撮影時刻、車両コード、ファイルサイズ等の情報が含まれる。
ドライブレコーダ1は、イベントトリガが発生するまで待つ(ステップS2)。イベントトリガの発生としては、例えば、タイマによる一定時間が経過した場合、速度センサ37によって急発進や急減速が検出された場合、加速度センサ34によって検出されるG値が閾値を超える場合、定点からトリガ信号を受信した場合等が挙げられる。
イベントトリガが発生すると、ドライブレコーダ1は、GPS受信器38から得られる現在位置(緯度、経度)および現在の日時の情報を取得し、車両コード、車両名、乗務員コード等の情報とともに、運行データ記録用カード39に記録する(ステップS3)。さらに、ドライブレコーダ1は、同じイベントのものとして、速度センサ37によって検出される速度、加速度センサ34によって検出されるG値等の情報を運行データ記録用カード39に記録する(ステップS4)。この後、ドライブレコーダ1はステップS2の処理に戻る。
図4(A)及び図4(B)はドライブレコーダ1によって運行データ記録用カード39に記録された運行データの一覧80、及び常時記録用カード36に記録された画像ファイルの一覧90を示す図である。図4(A)に示すように、運行データの一覧80には、トリガイベントが発生した順に時系列で、記録開始日時、位置(GPS位置)、車両コード、車両名、乗務員コード、乗務員名、データ種別、運転データ等が登録されている。
図4(B)に示すように、画像ファイルの一覧90には、繰り返し上書きされる画像ファイルとして、記録日時、車両コード、ファイル名等の情報および画像データが登録されている。
図5は解析装置5の動作手順を示すフローチャートである。この動作プログラムは、解析装置5のCPU51内のROMに格納されており、CPU51によって実行される。
解析装置5は、入力部54を介して、画像データを収集する位置および時刻の指定を受け付ける(ステップS11)。これにより、運行ルート上の任意の観測地点を指定することが可能である。
解析装置5は、運行データ記録用カード39が挿入されるまで待ち(ステップS12)、運行データ記録用カード39が挿入されると、運行データ記録用カード39に記録された運行データを読み込む。この運行データ記録用カード39(記録媒体)を用いることで、運行データの受け渡しを確実に行うことができ、また、乗務員ごとの管理が容易になる。
解析装置5は、運行データ記録用カード39に時系列に記録された位置(GPS位置)と、ステップS11で指定された位置とが一致するものがあるか否かを判別する(ステップS13)。一致するものが無い場合、解析装置5はステップS19の処理に進む。
一方、指定された位置と一致するGPS位置がある場合、解析装置5は、位置が合致したデータの中から、ステップS11で指定された時刻と一致する時刻を有するものがあるか否かを判別する(ステップS14)。これらの時刻の一致は、2つの時刻が所定の期間内にあるか否かで判断される。例えば、所定の期間として、指定された時刻を含む、常時記録された画像データの記録期間が挙げられる。これにより、運行データとこのデータが記録された時点(所定の期間中の一時点)を含む画像データとの対応付けが容易である。指定された時刻を含む所定の期間内に記録されたデータが無い場合、解析装置5はステップS19の処理に進む。
一方、解析装置5は、指定された時刻を含む所定の期間内に記録されたデータがある場合、その記録された画像データを含む画像ファイルは別のカードに記録されているか否かを判定する(ステップS15)。同一の運行データ記録用カード39に画像ファイルが記録されている場合、解析装置5は、その画像ファイルを画像DB62に保存する(ステップS18)。この後、解析装置5は、ステップS19の処理に進む。
一方、ステップS15で、画像ファイルが別のカードに記録されている場合、解析装置5は、その画像ファイルを探し出すための検索用情報として、車両番号(車両コード)及び時刻範囲をストレージメモリ53に記録(保管)する(ステップS16)。そして、解析装置5は、通信端末I/F56を介して、管理者70の携帯端末75に、画像データを取得できない旨および検索用情報が記されたメールを送信する(ステップS17)。
この後、解析装置5は、解析処理移行を行い(ステップS19)、本動作を終了する。
図6はステップS19における解析処理移行手順を示すフローチャートである。解析装置5は、対象となる画像ファイルが画像DB62に保存されているか否かを判別する(ステップS21)。保存されている場合、解析装置5は、ステップS25の処理に進む。
一方、対象となる画像ファイルが画像DB62に保存されていない場合、解析装置5は、常時記録用カード36が挿入されるまで待つ(ステップS22)。解析装置5は、常時記録用カード36が挿入されると、検索用情報の車両コードと一致する車両コードが登録されているか否かを判別する(ステップS23)。検索用情報の車両コードと合致する車両コードが登録されていない場合、解析装置5はステップS25の処理に進む。
車両コードが登録されている画像ファイルがある場合、解析装置5は、その画像ファイルの中から、検索用情報と同じ時刻範囲の画像データを画像DB62に保存する(ステップS24)。そして、解析装置5は、通常の解析処理を行う(ステップS25)。この通常の解析処理は、画像DB62に画像テータが登録されている場合、その画像データを用い、登録されていない場合、運行データDB61に登録されている運行データだけを用いて、行われる。
また、通常の解析処理では、例えば、ヒヤリハットの運行データや画像の抽出、確認、保存等の処理、画像を鮮明にする処理、ハザードマップの作成処理等が行われる。この後、解析装置5は元の処理に復帰する。
本実施形態の運行ルートの定点観測システムによれば、運行データ記録用カードから取得したデータに画像データが含まれている場合、複数の画像データの中から、所定の位置情報および時刻情報に対応する画像データが抽出される。一方、運行データ記録用カードから取得したデータに画像データが含まれていない場合、画像データを取得できない旨および検索用情報が記されたメールが、管理者の携帯端末に通知される。
これにより、運行データ記録用カードから取得したデータに含まれている画像データから所望の画像データの抽出が容易であり、また、運行データ記録用カードから取得したデータに画像データが含まれていない場合でも、ドライブレコーダからの取得が容易になる。
従って、指定された位置及び時刻の画像データを自動的に選別・保管することができるようになる。この結果、複数の車両が通過する観測地点の画像データを時系列に取得し、解析に反映させることができる。
なお、本発明は、上記実施形態の構成に限られるものではなく、本実施形態の構成が持つ機能を達成できる構成であればどのようなものであっても適用可能である。
例えば、上記実施形態では、常時記録用カードは、ドライブレコーダ専用としてドライブレコーダに装着されたまま用いられ、一方、運行データ記録用カードは、複数の車両に乗り継いで使用される場合を想定した。この場合に限らず、同じ運行データ記録用カードを、複数の乗務員が交代で利用してもよく、解析装置は、運行データに含まれる乗務員コードで乗務員を識別可能である。
本発明は、ドライブレコーダによって記録された画像データを解析する際、取得したデータに画像データが含まれていない場合でも、ドライブレコーダからの取得が容易になり、有用である。
1 ドライブレコーダ
3 車両
5 解析装置
10 ドライブレコーダ本体
11、51 CPU
12 不揮発性メモリ
13、14、55 カードI/F
15 GPS I/F
16 音声I/F
17 カメラI/F
18 入力I/F
19 入出力I/F
21 速度I/F
32 スピーカ
33 カメラ
34 加速度センサ
35 警報ランプ
36 常時記録用カード
38 GPS受信器
39 運行データ記録用カード
51 CPU
52 ディスプレイ
53 ストレージメモリ
54 入力部
56 通信端末I/F
61 運行データDB(データベース)
62 画像DB
70 管理者
75 携帯端末
80 運行データの一覧
90 画像ファイルの一覧

Claims (2)

  1. 車両に搭載されたドライブレコーダによって記録された画像データを解析する解析装置であって、
    前記ドライブレコーダから取得したデータに車両情報、位置情報および時刻情報と共に画像データが含まれているか否かを判定し、
    前記取得したデータに前記画像データが含まれている場合所定の位置および時刻に対応する特定画像データを前記画像データから抽出し、
    前記取得したデータに前記画像データが含まれていない場合、前記取得したデータに含まれる前記車両情報によって特定される前記ドライブレコーダから前記画像データを取得であることを通知するための情報、前記画像データが未取得である前記ドライブレコーダを特定するための情報、及び、前記特定画像データに対応する前記所定の時刻を特定するための情報を含む通知情報を、特定の端末装置に通知する
    解析装置。
  2. 入力部を更に備え、
    前記所定の位置および時刻が、前記入力部を用いてあらかじめ指定される
    請求項1記載の解析装置。
JP2012234149A 2012-10-23 2012-10-23 解析装置 Expired - Fee Related JP6059946B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012234149A JP6059946B2 (ja) 2012-10-23 2012-10-23 解析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012234149A JP6059946B2 (ja) 2012-10-23 2012-10-23 解析装置

Publications (2)

Publication Number Publication Date
JP2014086879A JP2014086879A (ja) 2014-05-12
JP6059946B2 true JP6059946B2 (ja) 2017-01-11

Family

ID=50789568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012234149A Expired - Fee Related JP6059946B2 (ja) 2012-10-23 2012-10-23 解析装置

Country Status (1)

Country Link
JP (1) JP6059946B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4926400B2 (ja) * 2004-12-27 2012-05-09 京セラ株式会社 移動カメラシステム
JP5187617B2 (ja) * 2007-09-03 2013-04-24 泰章 岩井 画像記録装置、画像記録方法
JP2011077898A (ja) * 2009-09-30 2011-04-14 Fujitsu Ten Ltd 表示装置、表示方法、および、プログラム

Also Published As

Publication number Publication date
JP2014086879A (ja) 2014-05-12

Similar Documents

Publication Publication Date Title
JP6853494B2 (ja) ドライブレコーダ
JP6817531B2 (ja) 運転状況記録装置
US20110077819A1 (en) Data management device, data reading method and computer-readable medium
EP3618011B1 (en) Data collection apparatus, on-vehicle device, data collection system, and data collection method
JP2008003657A (ja) 運転情報集約装置、システム、情報集約方法、及び、情報集約プログラム
JP7340678B2 (ja) データ収集方法およびデータ収集装置
JP6063189B2 (ja) ドライブレコーダ
JP2012221307A (ja) 運転内容評価装置
US11409699B2 (en) Drive recorder operation system, drive recorder, operation method, and recording medium for operation
US20210056329A1 (en) Driving state monitoring device, driving state monitoring system, driving state monitoring method and recording medium
JP6059946B2 (ja) 解析装置
JP5180450B2 (ja) 運転支援方法および運転支援装置
EP3618010A1 (en) On-vehicle device, data collection system, data collection method, and data collection apparatus
JP2016103049A (ja) 情報処理装置、システム、制御方法、及びプログラム
JP2009093254A (ja) ドライブレコーダ、ドライブレコーダシステム、ドライブレコーダの制御方法およびプログラム
JP2019016227A (ja) 情報処理方法、情報処理装置及び情報処理プログラム
JP4826151B2 (ja) ドライブレコーダ及びそのデータ読出装置
EP4080506A1 (en) Recording device, recording method and program
JP7056778B2 (ja) ドライブレコーダ
JP7310962B2 (ja) ドライブレコーダ
KR101285588B1 (ko) 블랙박스 메모리 다이렉트 접근장치
JP2023070586A (ja) 情報処理装置および情報処理方法
US20220345661A1 (en) Recording control apparatus, recording control method, and program
JP6014371B2 (ja) 車載器
CN118200464A (zh) 视频处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161212

R150 Certificate of patent or registration of utility model

Ref document number: 6059946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees