JP5907700B2 - 画像処理装置、車両システム、及び、画像処理方法 - Google Patents
画像処理装置、車両システム、及び、画像処理方法 Download PDFInfo
- Publication number
- JP5907700B2 JP5907700B2 JP2011252376A JP2011252376A JP5907700B2 JP 5907700 B2 JP5907700 B2 JP 5907700B2 JP 2011252376 A JP2011252376 A JP 2011252376A JP 2011252376 A JP2011252376 A JP 2011252376A JP 5907700 B2 JP5907700 B2 JP 5907700B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- distance
- unit
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 43
- 238000003672 processing method Methods 0.000 title claims 9
- 238000005259 measurement Methods 0.000 claims description 138
- 238000000034 method Methods 0.000 claims description 87
- 238000001514 detection method Methods 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 description 20
- 230000003044 adaptive effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000010354 integration Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000003449 preventive effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Description
図1は、本発明の第1の実施形態の外界認識装置100を示すブロック図である。
以下、本発明の第2の実施形態を説明する。前述の第1の実施形態の車両下端推定部107は、仮の実車幅(W^)を用いることによって車両下端位置(by^)を推定した。第2の実施形態の車両下端推定部107は、車両識別器に保持される画像上の高さの学習データを用いることによって車両下端位置(by^)を推定する。
以下、本発明の第3の実施形態を示す。前述の第1の実施形態及び第2の実施形態は、先行車両301の下端が遮蔽される場合に、状況に従って好適に距離(Z)を測定した。第3の実施形態は、さらに様々な状況下(車両下端遮蔽、左右端遮蔽、及び、車線検出不可など)においても好適に距離(Z)を測定する。
第4の実施形態は、前述の第1の実施形態、第2の実施形態、又は、第3の実施形態を車両システムに適用した実施形態である。第4の実施形態に係る外界認識装置の構成要素のうち、第1の実施形態、第2の実施形態、又は、第3の実施形態に係る外界認識装置の機能部及び処理等と同じものには同じ符号を付す。
101 車線検出部
102 消失点測定部
103 車両検出部
104 車両幅測定部
105 下端遮蔽判定部
106 車両下端測定部
107 車両下端推定部
108 実車幅測定部
109 距離測定部
201、202 車線
203 自車線領域
204 消失点
301、801 車両
501 スプラッシュ
502 遮蔽判定領域
503 下端存在領域
802 車両下端
901 状況判定部
902 状況適応測距部
903 距離統合算出部
1000 第1の距離測定部
1100 第2の距離測定部
1200 第3の距離測定部
1201 下端距離測定部
1300 第4の距離測定部
1301 実車幅設定部
1500 車両用外界認識装置
1501 カメラ
1502 スピーカー
1503 走行制御装置
1504 入出力(I/O)インタフェース
1505 メモリ
1506 プロセッサ
1507 衝突危険度判定部
Claims (12)
- カメラを搭載した第1の車両の前方の画像を取得する画像処理装置であって、
前記画像処理装置は、
プロセッサとメモリとを備え、
前記画像から、前記第1の車両の前方に位置する第2の車両の画像である部分画像を検出する車両検出部と、
前記第1の車両と前記第2の車両との距離を算出するために必要な複数のパラメータのうち、前記部分画像と前記画像とから取得できない前記パラメータの有無を判定する状況判定部と、
前記部分画像と前記画像とから前記パラメータを取得し、取得された前記パラメータによって前記第1の車両と前記第2の車両との距離を算出する距離測定部と、を備え、
前記状況判定部が、前記取得できないパラメータが有ると判定した場合、前記距離測定部は、前記状況判定部によって判定された取得できないパラメータ以外の前記パラメータを用いて前記第1の車両と前記第2の車両との距離を算出し、
複数の前記パラメータは、前記画像における前記第1の車両が走行する車線の消失点の位置と、前記画像における前記第2の車両の幅と、前記画像における前記第2の車両の下端の位置と、を含み、
前記距離測定部は、
前記画像から、前記画像における前記消失点の位置を取得する第1の消失点取得部と、
前記部分画像から、前記画像における前記第2の車両の幅を取得する第1の車両幅取得部と、
前記部分画像と前記画像とから、前記画像における第2の車両の下端の位置を推定する下端推定部と、
前記画像において、前記消失点の位置と前記第2の車両の幅と前記下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第1の距離算出部と、を有し、
前記状況判定部が、複数の前記パラメータのうち、前記画像における前記第2の車両の下端の位置を取得できないと判定した場合、前記距離測定部は、前記部分画像と前記画像とを取得し、
前記画像処理装置は、複数の車両の幅を、前記メモリに保持し、
前記状況判定部が、前記画像における前記第2の車両の下端の位置を取得できないと判定した場合、前記下端推定部は、
前記メモリに保持された各車両の幅と、前記前方の画像における前記第2の車両の幅と、前記消失点の位置の高さと、前記カメラが設置された地表からの高さとを用いて、前記画像における前記第2の車両の下端が存在する高さを複数算出することによって、前記第2の車両の下端が存在する領域を特定し、
前記特定された領域における輝度に基づいて、前記特定された領域における水平エッジを積算し、前記積算された水平エッジがピーク値となる高さを、前記画像における前記第2の車両の下端の位置として推定することを特徴とする画像処理装置。 - 前記画像処理装置は、前記画像における前記第2の車両の下端を取得できないと判定された場合に、取得された前記画像における前記第2の車両の第1の高さと、前記画像における前記第2の車両の下端を取得できると判定された場合に取得された前記画像における前記第2の車両の第2の高さと、を前記メモリに保持し、
前記状況判定部が、前記画像における第2の車両の下端の位置を取得できないと判定した場合、前記下端推定部は、前記第2の高さと前記第1の高さとに基づいて、前記画像における前記第2の車両の下端の位置を推定することを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理装置は、さらに、前記距離測定部である第1の距離測定部とは異なる第2の距離測定部と第3の距離測定部とを備え、
前記第2の距離測定部は、
前記画像から、前記消失点の位置を取得する第2の消失点取得部と、
前記部分画像から、前記画像における前記第2の車両の幅を取得する第2の車両幅取得部と、
前記部分画像と前記画像とから、前記画像における前記第2の車両の下端の位置を取得する第1の下端推定部と、
前記画像において、前記消失点の位置と前記第2の車両の幅と前記下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第2の距離算出部と、を有し、
前記第3の距離測定部は、
前記画像から、前記画像における前記消失点の位置を取得する第3の消失点取得部と、
前記部分画像と前記画像とから、前記画像における前記第2の車両の下端の位置を取得
する第2の下端測定部と、
前記画像において、前記消失点の位置と前記第2の車両の下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第3の距離算出部と、を有し、
前記状況判定部が、前記パラメータのうち、取得できない前記パラメータがないと判定した場合、前記第2の距離測定部は、前記部分画像と前記画像とを取得し、
前記状況判定部が、前記画像における第2の車両の幅を取得できないと判定した場合、前記第3の距離測定部は、前記部分画像と前記画像とを取得することを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理装置は、さらに、複数の車両の幅を、前記メモリに保持し、
第4の距離測定部、を備え、
前記第4の距離測定部は、
前記部分画像から、前記画像における前記第2の車両の幅を取得する第3の車両幅取得部と、
前記メモリに保持された各車両の幅と、前記画像における前記第2の車両の幅とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第4の距離算出部と、を有し、
前記状況判定部が、前記画像における、前記第2の車両の下端の位置及び前記消失点の位置を取得できないと判定した場合、前記第4の距離測定部は、前記部分画像と前記画像とを取得することを特徴とする請求項3に記載の画像処理装置。 - 前記第1の消失点取得部と、前記第2の消失点取得部と、前記第3の消失点取得部とは、同じ又は異なる処理部によって構成され、
前記第1の車両幅取得部と、前記第2の車両幅取得部と、前記第3の車両幅取得部とは、同じ又は異なる処理部によって構成され、
前記第1の下端推定部と、前記第2の下端測定部とは、同じ処理部によって構成されることを特徴とする請求項4に記載の画像処理装置。 - 請求項1に記載の前記画像処理装置を有する車両システムであって、
前記車両システムは、前記画像処理装置によって算出された前記第1の車両と第2の車両との距離に基づいて、前記第1の車両と前記第2の車両とが衝突するまでの衝突予測時間を算出する危険度判定部を有し、
前記危険度判定部は、
前記算出された衝突予測時間と所定の閾値とを比較した結果、前記算出された衝突予測時間が前記所定の閾値よりも低い場合、危険度が高いと判定し、前記第2の車両との衝突を回避するための指示を、前記第1の車両に送信することを特徴とする車両システム。 - 前記第2の車両との衝突を回避するための指示は、前記第1の車両に警告を報知する指示、又は、前記第1の車両を停止させる指示を含むことを特徴とする請求項6に記載の車両システム。
- カメラを搭載した第1の車両の前方の画像を取得する画像処理装置による画像処理方法であって、
前記画像処理装置は、プロセッサとメモリとを備え、
前記画像処理方法は、
前記プロセッサが、前記画像から、前記第1の車両の前方の第2の車両の画像である部分画像を検出する車両検出手順と、
前記プロセッサが、前記第1の車両と前記第2の車両との距離を算出するために必要な複数のパラメータのうち、前記部分画像と前記画像とから取得できない前記パラメータの有無を判定する状況判定手順と、
前記プロセッサが、前記部分画像と前記画像とから前記パラメータを取得し、取得された前記パラメータによって前記第1の車両と前記第2の車両との距離を算出する距離測定手順と、を含み、
前記状況判定手順において、取得できない前記パラメータがあると判定された場合、前記距離測定手順は、前記プロセッサが、取得できない前記パラメータ以外の前記パラメータを用いて前記第1の車両と前記第2の車両との距離を算出する手順を含み、 複数の前記パラメータは、前記画像における前記第1の車両が走行する車線の消失点の位置と、前記画像における前記第2の車両の幅と、前記画像における前記第2の車両の下端の位置と、を含み、
前記距離測定手順は、
前記プロセッサが、前記画像から前記消失点の位置を取得する消失点取得手順と、
前記プロセッサが、前記部分画像から、前記画像における前記第2の車両の幅を取得する車両幅取得手順と、
前記プロセッサが、前記部分画像と前記画像とから、前記画像における前記第2の車両の下端の位置を推定する下端推定手順と、
前記プロセッサが、前記画像において、前記消失点の位置と前記第2の車両の幅と下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第1の距離算出手順と、
前記状況判定手順によって、前記画像における前記第2の車両の下端の位置を取得できないと判定された場合、前記プロセッサが、前記部分画像と前記画像とを取得する手順と、を含み、
前記画像処理装置は、複数の車両の幅を、前記メモリに保持し、
前記下端推定手順は、前記画像における前記第2の車両の下端の位置を取得できないと、前記状況判定手順によって判定された場合、
前記プロセッサが、各車両の幅と、前記画像における前記第2の車両の幅と、前記消失点の位置の高さと、前記カメラが設置された地表からの高さとを用いて、前記画像における前記第2の車両の下端が存在する高さを複数算出することによって、前記第2の車両の下端が存在する領域を特定する手順と、
前記プロセッサが、前記特定された領域における輝度に基づいて、前記特定された領域における水平エッジを積算し、前記積算された水平エッジがピーク値となる高さを、前記画像における前記第2の車両の下端の位置として推定する手順と、を含むことを特徴とする画像処理方法。 - 前記画像処理装置は、前記画像における前記第2の車両の下端を取得できないと判定された場合に取得された前記画像における前記第2の車両の第1の高さと、前記画像における前記第2の車両の下端を取得できると判定された場合に取得された前記画像における前記第2の車両の第2の高さと、を前記メモリに保持し、
前記下端推定手順は、前記画像における前記第2の車両の下端の位置を取得できないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記第2の高さと前記第1の高さとに基づいて、前記画像における前記第2の車両の下端の位置を推定する手順を含むことを特徴とする請求項8に記載の画像処理方法。 - 前記画像処理方法は、さらに、前記距離測定手順である第1の距離測定手順とは異なる第2の距離測定手順と第3の距離測定手順とを含み、
前記第2の距離測定手順は、
前記消失点取得手順と、前記車両幅取得手順と、
前記プロセッサが、前記部分画像と前記画像とから、前記画像における前記第2の車両の下端の位置を取得する下端測定手順と、
前記プロセッサが、前記画像において、前記消失点の位置と前記第2の車両の幅と下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第2の距離算出手順と、を有し、
前記第3の距離測定手順は、
前記消失点取得手順と、前記下端測定手順と、
前記プロセッサが、前記画像において、前記消失点の位置と前記下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第3の距離算出手順と、を有し、
前記第2の距離測定手順は、前記パラメータのうち取得できない前記パラメータがないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記部分画像と前記画像とを取得する手順を含み、
前記第3の距離測定手順は、前記画像における前記第2の車両の幅を取得できないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記部分画像と前記画像とを取得する手順を含むことを特徴とする請求項8に記載の画像処理方法。 - 前記画像処理装置は、複数の車両の幅を、前記メモリに保持し、
前記画像処理方法は、さらに、第4の距離測定手順を含み、
前記第4の距離測定手順は、
前記車両幅取得手順と、
前記プロセッサが、前記メモリに保持された各車両の幅と、前記画像における前記第2の車両の幅とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第4の距離算出手順と、
前記画像における、前記第2の車両の下端の位置及び前記消失点の位置を取得できないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記部分画像と前記画像とを取得する手順とを含むことを特徴とする請求項10に記載の画像処理方法。 - 第1車両に搭載されたカメラが撮像した画像を取得する画像処理装置であって、
前記画像処理装置は、
前記画像から、前記第1車両の前方に位置する第2車両を検出する車両検出部と、
前記第1車両と前記第2車両との距離を算出し、出力する距離測定部と、を備え、
前記画像処理装置のメモリは、複数の車両の幅を保持し、
前記距離測定部は、
前記画像における前記第2車両の下端位置を検出し、
前記下端位置が検出できた場合には、前記下端位置を用いた第1算出方法により前記距離を算出し、
前記下端位置が検出できなかった場合には、前記第1算出方法とは異なる第2算出方法により前記距離を算出し、
前記画像から、前記画像における消失点の位置を取得し、
前記第2車両が撮像された画像である部分画像から、前記画像における前記第2車両の幅を取得し、
前記画像において、前記消失点の位置と前記第2車両の幅と前記下端の位置とに基づいて、前記距離を算出し、
前記下端位置が検出できなかった場合に前記第2算出方法として、
前記画像上に、前記画像の平均輝度に基づいて、前記下端位置を遮蔽している遮蔽領域を設定し、
前記メモリに保持された各車両の幅と、前記前方の画像における前記第2車両の幅と、前記消失点の位置の高さと、前記カメラが設置された地表からの高さとを用いて、前記画像における前記第2車両の下端が存在する高さを複数算出することによって、前記第2車両の下端が存在する領域を特定し、
前記特定された領域における輝度に基づいて、前記特定された領域における水平エッジを積算し、前記積算された水平エッジがピーク値となる高さを、前記画像における前記第2車両の下端の位置として推定し、
前記推定した下端の位置を用いて前記距離を算出することを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011252376A JP5907700B2 (ja) | 2011-11-18 | 2011-11-18 | 画像処理装置、車両システム、及び、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011252376A JP5907700B2 (ja) | 2011-11-18 | 2011-11-18 | 画像処理装置、車両システム、及び、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013109455A JP2013109455A (ja) | 2013-06-06 |
JP2013109455A5 JP2013109455A5 (ja) | 2014-11-27 |
JP5907700B2 true JP5907700B2 (ja) | 2016-04-26 |
Family
ID=48706167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011252376A Expired - Fee Related JP5907700B2 (ja) | 2011-11-18 | 2011-11-18 | 画像処理装置、車両システム、及び、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5907700B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5752729B2 (ja) * | 2013-02-28 | 2015-07-22 | 富士フイルム株式会社 | 車間距離算出装置およびその動作制御方法 |
JP6204782B2 (ja) * | 2013-10-07 | 2017-09-27 | 日立建機株式会社 | オフロードダンプトラック |
JP6163453B2 (ja) * | 2014-05-19 | 2017-07-12 | 本田技研工業株式会社 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
KR102241324B1 (ko) * | 2014-06-17 | 2021-05-25 | (주)엠아이웨어 | 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법 |
JP6534147B2 (ja) * | 2015-08-19 | 2019-06-26 | 国立研究開発法人産業技術総合研究所 | 単一カメラによる物体の変位と振動の測定方法、装置およびそのプログラム |
JP6688091B2 (ja) * | 2016-01-22 | 2020-04-28 | 株式会社デンソーテン | 車両距離導出装置および車両距離導出方法 |
US10629079B2 (en) * | 2016-12-05 | 2020-04-21 | Ford Global Technologies, Llc | Vehicle collision avoidance |
JP7058128B2 (ja) * | 2017-05-18 | 2022-04-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理装置およびプログラム |
JP7145770B2 (ja) * | 2019-01-25 | 2022-10-03 | 株式会社デンソーアイティーラボラトリ | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム |
KR102259603B1 (ko) * | 2019-11-14 | 2021-06-02 | 계명대학교 산학협력단 | 차량 간 거리 산출 장치 및 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2862199B2 (ja) * | 1993-05-25 | 1999-02-24 | 松下電器産業株式会社 | 車両認識装置 |
JP3775200B2 (ja) * | 2000-10-06 | 2006-05-17 | 日産自動車株式会社 | 車間距離推定装置 |
JP3718747B2 (ja) * | 2001-04-27 | 2005-11-24 | 日産自動車株式会社 | 車両用走行制御装置 |
JP3823782B2 (ja) * | 2001-08-31 | 2006-09-20 | 日産自動車株式会社 | 先行車両認識装置 |
JP3812384B2 (ja) * | 2001-08-31 | 2006-08-23 | 日産自動車株式会社 | 先行車両認識装置 |
JP2006003995A (ja) * | 2004-06-15 | 2006-01-05 | Calsonic Kansei Corp | 先行車両水しぶき認識装置 |
JP2010271750A (ja) * | 2009-05-19 | 2010-12-02 | Suzuki Motor Corp | 車両走行制御装置 |
-
2011
- 2011-11-18 JP JP2011252376A patent/JP5907700B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013109455A (ja) | 2013-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5907700B2 (ja) | 画像処理装置、車両システム、及び、画像処理方法 | |
US10685449B2 (en) | Surrounding environment recognition device for moving body | |
EP3258214B1 (en) | Object detection device | |
JP7025912B2 (ja) | 車載環境認識装置 | |
CN105128836B (zh) | 自主紧急制动系统及其中识别行人的方法 | |
EP2302412B1 (en) | System and method for evaluation of an automotive vehicle forward collision threat | |
US9288381B2 (en) | In-vehicle image recognizer | |
US10860869B2 (en) | Time to collision using a camera | |
JP5938569B2 (ja) | 方位情報を考慮する高度運転者支援システム、及びその動作方法 | |
US9827956B2 (en) | Method and device for detecting a braking situation | |
JP4707067B2 (ja) | 障害物判別装置 | |
KR101604447B1 (ko) | 선행차량 추돌 경보 장치 및 방법 | |
CN104508722A (zh) | 车载用周围环境识别装置 | |
JP2014106703A (ja) | 車載画像処理装置 | |
KR20150096924A (ko) | 전방 충돌 차량 선정 방법 및 시스템 | |
JP7119317B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
KR20120086577A (ko) | 카메라를 이용한 측면차량 검출 장치 및 방법 | |
JP5097681B2 (ja) | 地物位置認識装置 | |
CN112249007A (zh) | 一种车辆危险报警方法及相关设备 | |
CN112542060B (zh) | 车用后侧方警报装置 | |
KR20160089933A (ko) | 차량 충돌 방지 장치 및 차량 충돌 방지 방법 | |
EP3825648A1 (en) | Object detection device | |
US20230122293A1 (en) | Occluded oncoming vehicles detection systems and methods | |
US20220028258A1 (en) | Warning presentation control device, warning presentation control system, method of controlling warning presentation, and recording medium storing warning presentation control program | |
JP6429101B2 (ja) | 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141009 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5907700 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |