JP5792678B2 - 車線境界線検出装置およびプログラム - Google Patents
車線境界線検出装置およびプログラム Download PDFInfo
- Publication number
- JP5792678B2 JP5792678B2 JP2012126154A JP2012126154A JP5792678B2 JP 5792678 B2 JP5792678 B2 JP 5792678B2 JP 2012126154 A JP2012126154 A JP 2012126154A JP 2012126154 A JP2012126154 A JP 2012126154A JP 5792678 B2 JP5792678 B2 JP 5792678B2
- Authority
- JP
- Japan
- Prior art keywords
- lane boundary
- vehicle
- road surface
- image
- boundary line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 79
- 238000000034 method Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 235000019557 luminance Nutrition 0.000 description 37
- 230000000694 effects Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002401 inhibitory effect Effects 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 241001147389 Panthera uncia Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Mechanical Engineering (AREA)
Description
第1の機能(S1)は、車両周辺の路面を撮影した路面画像を取得する。第2の機能(S9)は、路面画像から画像処理により車線境界線を検出する。第3の機能(S3、S4)は、路面画像において、車両のタイヤの下方に対応する領域と比較した車両中央の下方に対応する領域の白さの度合を示すパラメータを算出する。
なお上記プログラムは、コンピュータによる処理に適した命令の順番付けられた列からなるものであって、コンピュータに組み込まれるROMやRAMなどに記憶され、これらからコンピュータにロードされて用いられてもよいし、各種記録媒体や通信回線を介してコンピュータにロードされ用いられるものであってもよい。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
[実施例1]
(1)車線境界線認識システム1の構成
車線境界線認識システム1は自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、画像撮像装置3と、車両情報取得手段5と、車線境界線検出装置7と、外気温センサ9と、車両制御装置101とを備えている。なお、以下の記載において、車両とは本システムが搭載された車両のことを指すものとする。
この車線境界線検出装置7は、CPU11と、CPU11が実行するプログラム等を記憶するROM13と、CPU11によるプログラム実行時に作業領域として使用されるRAM15と、電気的にデータを書き換え可能なフラッシュメモリやEEPROM等の不揮発性メモリとしてのNVRAM17などを備えるコンピュータシステムとして構成されており、プログラムの実行により所定の処理を実行する。
雪道判定部21は、路面情報取得手段31、雪轍度数算出手段33および雪轍尤度算出手段35を有する。
図4に示すように、轍の部分はタイヤが乗ることで雪が圧縮、融解されて路面が露出しやすい。一方、轍以外の部分には轍部分よりも雪が多く残りやすい。露出した路面はアスファルト等で黒く見え、雪が存在する部分は雪により白く見える。よって、轍部分(タイヤ下方に対応する領域)と比較した轍の間の部分(車両中央の下方に対応する領域)の白さ度合を示すパラメータは、雪轍が形成されている指標とすることができる。
上式は、図5に示すように、左タイヤ下の輝度Aおよび右タイヤ下の輝度Cのうち輝度が大きい方の値と、車両中央真下の輝度値Bと、の比に基づいて雪轍度数を算出することを意味する。
統合判定部23は、雪轍尤度算出手段35から雪轍尤度を入力して、以下の式によりローパスフィルタ処理を行う。
ここで、Output(t)は時刻tにおける出力パラメータ、A(t)は時刻tにおける瞬時尤度であり、A(t-1)は時刻t−1における出力パラメータ(Output(t-1))である。αは1未満の値であって1に近いほど安定性が高くなる。
次に、雪轍らしさのパラメータと所定の閾値を比較して雪轍の存在の有無を判定する。この判定にヒステリシスを付与するため、上記雪轍らしさのパラメータの履歴と、値に差をつけた2つの閾値を用いる。即ち、相対的に高く設定された閾値を上記パラメータが超えた場合に雪轍が存在すると判定し、この判定は相対的に低く設定された閾値を上記パラメータが下回るまで継続する。一方この低く設定された閾値を上記パラメータが下回った場合には雪轍が存在しないと判定し、この判定は高く設定された閾値を上記パラメータが超えるまで継続する。
以下に、車線境界線検出装置7により実行される境界線検出処理の処理手順を、図8に基づいて説明する。この境界線検出処理は、車両のアクセサリスイッチがオンにされることで車線境界線認識システム1全体に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
次に、S1において取得された路面画像に基づいて輝度情報を取得する(S2)。この処理は路面情報取得手段31が実行する。ここでは、上述したように、路面画像に基づいて左タイヤ下,車両中央下,右タイヤ下のサンプル点51のグループ53a,53b,53cそれぞれから、輝度情報として輝度値の10%タイル値を取得する。
次に、S3にて算出された雪轍度数に基づいて、雪轍尤度算出手段35により図6のマップから尤度(瞬間尤度)を算出する(S4)。
(3)効果
本実施例の車線境界線認識システム1は、車両が走行する路面が、雪轍が形成されている雪道であるか否かを適切に判断することができ、雪轍が形成された雪道であれば車線境界線検出(S9)を実行しないため、雪轍の存在によって車線境界線を誤検出してしまう虞を低減できる。その結果、車両制御装置101により誤った車両制御を行ってしまうことを抑制できる。
以上説明した実施例において、図8におけるS1の処理が画像取得手段の一例であり、S9の処理が検出手段の一例であり、S3,S4の処理が算出手段の一例であり、S5〜S8の処理が判定手段の一例である。
(1)車線境界線認識システム61の構成
実施例2における車線境界線認識システム61は、実施例1の車線境界線認識システム1とほぼ同一の構成であるが、その機能が実施例1とは相違する。よって、実施例1と同様である部分の説明は割愛し、変更された機能および処理を以下に説明する。
以下に、車線境界線検出装置63により実行される境界線検出処理の処理手順を、図10に基づいて説明する。なお、図8の境界線検出処理と同じ処理については同符号を付して説明を省略する。
本実施例の車線境界線認識システム61は、轍が形成された雪道である尤度の他に、砂利道である尤度や路面に反射面が存在する尤度という複数の要素を考慮して、路面に境界線検出精度を低下させるノイズが存在するか否かを判断することができる。したがって、高い精度でノイズが存在する路面を認識でき、ノイズが存在する路面において車線境界線を検出する処理を行って、車線境界線を誤検出する虞を低減できる。
本実施例においては、図10におけるS23〜S25の処理が判定手段の一例である。
[変形例]
以上本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
また上記各実施例では、画像撮像装置3が車両前方の路面画像を撮影し、その路面画像に基づいて各処理を実行する構成を例示したが、車両の下方やタイヤ付近に画像撮像装置を設置して、その画像撮像装置により撮影された路面画像に基づいて処理を実行する構成であってもよい。
Claims (7)
- 車両周辺の路面を撮影した路面画像を取得する画像取得手段(S1)と、
前記画像取得手段により取得された前記路面画像から画像処理により車線境界線を検出する検出手段(S9)と、
前記画像取得手段により取得された前記路面画像において、前記車両のタイヤの下方に対応する領域と比較した前記車両中央の下方に対応する領域の白さの度合を示すパラメータを算出する算出手段(S3、S4)と、
少なくとも前記算出手段により算出された前記パラメータに基づいて、前記検出手段による前記検出、検出された前記車線境界線の出力、および検出された前記車線境界線を用いた所定の制御、のうち、いずれかの処理についてその処理を実行するか否かを判定する判定手段(S5〜S8、S23〜S25)と、を備える
ことを特徴とする車線境界線検出装置(7)。 - 前記判定手段は、前記パラメータの値が大きいほど、否定判定の可能性が大きくなるように設定されている
ことを特徴とする請求項1に記載の車線境界線検出装置。 - 前記算出手段は、前記路面画像における前記車両中央の下方に対応する領域および前記タイヤの下方に対応する領域において、当該領域の画像特徴量を取得し、前記車両中央の下方に対応する領域における前記画像特徴量と、前記タイヤの下方に対応する領域における前記画像特徴量と、を比較することで前記パラメータを算出する
ことを特徴とする請求項1または請求項2に記載の車線境界線検出装置。 - 前記画像特徴量は輝度である
ことを特徴とする請求項3に記載の車線境界線検出装置。 - 前記路面画像における前記車両中央の下方に対応する領域および前記タイヤの下方に対応する領域は、車両の進行方向に沿って長さを有する領域であり、
前記算出手段は、前記各領域において、前記車両の進行方向に沿って間隔をあけた複数の位置において前記画像特徴量を取得し、取得された複数の前記画像特徴量の中から所定の基準に基づいて抽出された前記画像特徴量を用いて前記比較を行う
ことを特徴とする請求項3または請求項4に記載の車線境界線検出装置。 - 前記判定手段は、前記パラメータの値が所定の閾値を超えて大きいときに、前記処理を実行しないと判定する
ことを特徴とする請求項1から請求項5のいずれか1項に記載の車線境界線検出装置。 - 車両周辺の路面を撮影した路面画像を取得する第1の機能(S1)と、
前記第1の機能により取得された前記路面画像から画像処理により車線境界線を検出する第2の機能(S9)と、
前記第1の機能により取得された前記路面画像において、前記車両のタイヤの下方に対応する領域と比較した前記車両中央の下方に対応する領域の白さの度合を示すパラメータを算出する第3の機能(S3、S4)と、
前記第3の機能により算出された前記パラメータに基づいて、前記第1の機能による前記検出、検出された前記車線境界線の出力、および検出された前記車線境界線を用いた所定の制御、のうち、いずれかの処理についてその処理を実行するか否かを判定する第4の機能(S5〜S8、S23〜S25)と、
をコンピュータに実現させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012126154A JP5792678B2 (ja) | 2012-06-01 | 2012-06-01 | 車線境界線検出装置およびプログラム |
DE112013002730.5T DE112013002730T5 (de) | 2012-06-01 | 2013-05-31 | Vorrichtung und verfahren zum erfassen einer grenzlinie einer fahrzeugfahrspur |
US14/404,224 US9626572B2 (en) | 2012-06-01 | 2013-05-31 | Apparatus for detecting boundary line of vehicle lane and method thereof |
CN201380028005.9A CN104380343B (zh) | 2012-06-01 | 2013-05-31 | 检测车道的分界线的装置以及其方法 |
PCT/JP2013/065206 WO2013180273A1 (ja) | 2012-06-01 | 2013-05-31 | 車線の境界線を検出する装置及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012126154A JP5792678B2 (ja) | 2012-06-01 | 2012-06-01 | 車線境界線検出装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013250874A JP2013250874A (ja) | 2013-12-12 |
JP5792678B2 true JP5792678B2 (ja) | 2015-10-14 |
Family
ID=49673456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012126154A Expired - Fee Related JP5792678B2 (ja) | 2012-06-01 | 2012-06-01 | 車線境界線検出装置およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9626572B2 (ja) |
JP (1) | JP5792678B2 (ja) |
CN (1) | CN104380343B (ja) |
DE (1) | DE112013002730T5 (ja) |
WO (1) | WO2013180273A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9547805B1 (en) * | 2013-01-22 | 2017-01-17 | The Boeing Company | Systems and methods for identifying roads in images |
JP6130325B2 (ja) * | 2014-04-24 | 2017-05-17 | 本田技研工業株式会社 | 道路環境認識装置 |
CN104036253A (zh) * | 2014-06-20 | 2014-09-10 | 智慧城市系统服务(中国)有限公司 | 一种车道线追踪方法及系统 |
JP6140658B2 (ja) | 2014-08-20 | 2017-05-31 | 株式会社Soken | 走行区画線認識装置、走行区画線認識プログラム |
JP6189815B2 (ja) | 2014-10-29 | 2017-08-30 | 株式会社Soken | 走行区画線認識システム |
JP6389119B2 (ja) * | 2014-12-25 | 2018-09-12 | 株式会社デンソー | 車線境界線認識装置 |
JP6404748B2 (ja) * | 2015-03-02 | 2018-10-17 | 株式会社Soken | 走行区画線認識装置 |
JP6745112B2 (ja) | 2016-02-04 | 2020-08-26 | 株式会社トプコン | 路面性状の評価方法、及び路面性状の評価装置 |
JP6811534B2 (ja) | 2016-02-04 | 2021-01-13 | 株式会社トプコン | 道路性状の表示方法、及び道路性状の表示装置 |
JP6745113B2 (ja) * | 2016-02-04 | 2020-08-26 | 株式会社トプコン | 路面性状取得方法、及び路面性状取得装置 |
SE539816C2 (en) | 2016-04-19 | 2017-12-05 | Scania Cv Ab | Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle |
JP6874834B2 (ja) * | 2017-05-16 | 2021-05-19 | 日産自動車株式会社 | 走行支援装置の動作予測方法及び動作予測装置 |
SE542423C2 (en) | 2017-06-19 | 2020-04-28 | Scania Cv Ab | Road detection control unit for a vehicle |
KR102499398B1 (ko) * | 2017-08-09 | 2023-02-13 | 삼성전자 주식회사 | 차선 검출 방법 및 장치 |
CN115620545A (zh) * | 2017-08-24 | 2023-01-17 | 北京三星通信技术研究有限公司 | 用于辅助驾驶的增强现实的方法及装置 |
JP6592051B2 (ja) * | 2017-09-25 | 2019-10-16 | 本田技研工業株式会社 | 車両制御装置 |
US10435020B2 (en) | 2017-12-01 | 2019-10-08 | Robert Bosch Gmbh | Lane keeping support on roads covered by snow |
CN113408407B (zh) * | 2018-10-31 | 2023-06-23 | 百度在线网络技术(北京)有限公司 | 电子地图车道线修正方法、设备及计算机可读存储介质 |
JP7083768B2 (ja) * | 2019-03-13 | 2022-06-13 | 本田技研工業株式会社 | 認識装置、車両制御装置、認識方法、およびプログラム |
CN110737266B (zh) * | 2019-09-17 | 2022-11-18 | 中国第一汽车股份有限公司 | 一种自动驾驶控制方法、装置、车辆和存储介质 |
CN110674732B (zh) * | 2019-09-21 | 2022-06-07 | 福建农林大学 | 一种融合多元数据的沥青路面车辙三维尺寸自动检测及定位方法 |
US11643082B2 (en) | 2020-08-05 | 2023-05-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for determining real-time lane level snow accumulation |
JP7409266B2 (ja) * | 2020-09-08 | 2024-01-09 | トヨタ自動車株式会社 | 轍判定装置、轍判定方法、プログラム |
CN112446293B (zh) * | 2020-10-30 | 2023-06-23 | 华设设计集团股份有限公司 | 一种公路路面车辙污染事件视频检测方法 |
CN114037837A (zh) * | 2021-09-17 | 2022-02-11 | 武汉光谷卓越科技股份有限公司 | 一种基于精密三维轮廓的车辙检测方法 |
CN115908525B (zh) * | 2022-11-24 | 2023-10-20 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种基于路面车辙病害三维重构的车辙体积计算方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5675489A (en) * | 1995-07-06 | 1997-10-07 | Carnegie Mellon University | System and method for estimating lateral position |
JP4532089B2 (ja) | 2003-09-09 | 2010-08-25 | 富士重工業株式会社 | 車外監視装置 |
JP2005275691A (ja) * | 2004-03-24 | 2005-10-06 | Toshiba Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP4451179B2 (ja) * | 2004-03-26 | 2010-04-14 | クラリオン株式会社 | 車線位置検知システム |
JP4092308B2 (ja) * | 2004-06-02 | 2008-05-28 | トヨタ自動車株式会社 | 境界線検出装置 |
JP4950858B2 (ja) * | 2007-11-29 | 2012-06-13 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識プログラム |
JP4697480B2 (ja) * | 2008-01-11 | 2011-06-08 | 日本電気株式会社 | 車線認識装置、車線認識方法および車線認識プログラム |
JP5039013B2 (ja) | 2008-04-09 | 2012-10-03 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
JP2010164521A (ja) * | 2009-01-19 | 2010-07-29 | Sumitomo Electric Ind Ltd | 路面状況判別装置 |
JP5664152B2 (ja) * | 2009-12-25 | 2015-02-04 | 株式会社リコー | 撮像装置、車載用撮像システム及び物体識別装置 |
CN102156979B (zh) * | 2010-12-31 | 2012-07-04 | 上海电机学院 | 基于GrowCut的车道线快速检测方法及系统 |
CN102184535B (zh) * | 2011-04-14 | 2013-08-14 | 西北工业大学 | 一种车辆所在车道边界检测方法 |
CN102360499B (zh) * | 2011-06-30 | 2014-01-22 | 电子科技大学 | 一种基于卡尔曼滤波器组的多车道线追踪方法 |
-
2012
- 2012-06-01 JP JP2012126154A patent/JP5792678B2/ja not_active Expired - Fee Related
-
2013
- 2013-05-31 WO PCT/JP2013/065206 patent/WO2013180273A1/ja active Application Filing
- 2013-05-31 CN CN201380028005.9A patent/CN104380343B/zh not_active Expired - Fee Related
- 2013-05-31 US US14/404,224 patent/US9626572B2/en active Active
- 2013-05-31 DE DE112013002730.5T patent/DE112013002730T5/de not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
DE112013002730T5 (de) | 2015-03-19 |
US9626572B2 (en) | 2017-04-18 |
CN104380343A (zh) | 2015-02-25 |
US20150169966A1 (en) | 2015-06-18 |
WO2013180273A1 (ja) | 2013-12-05 |
JP2013250874A (ja) | 2013-12-12 |
CN104380343B (zh) | 2017-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5792678B2 (ja) | 車線境界線検出装置およびプログラム | |
JP5276637B2 (ja) | 車線推定装置 | |
CN108334819B (zh) | 用于自动化车辆的地面分类器系统 | |
KR101417571B1 (ko) | 물체 식별 장치 | |
US9317756B2 (en) | Lane boundary marking line detection device and electronic control device | |
US7209832B2 (en) | Lane recognition image processing apparatus | |
US7307545B2 (en) | Vehicle lane detector | |
JP6220327B2 (ja) | 走行区画線認識装置、走行区画線認識プログラム | |
WO2007111220A1 (ja) | 道路区画線検出装置 | |
JP5554579B2 (ja) | 車線検出プログラム及び車線検出装置 | |
WO2007077682A1 (ja) | 車両及びレーンマーク検出装置 | |
JP2003168104A (ja) | 道路白線認識装置 | |
US9676393B2 (en) | System and method for detecting environment-induced disablement of advanced driver assistance system | |
JP6295859B2 (ja) | 車載システム、情報処理装置、及びプログラム | |
US20120229644A1 (en) | Edge point extracting apparatus and lane detection apparatus | |
US10949686B2 (en) | Image processing device and image processing method | |
JP2008033750A (ja) | 物体傾き検出装置 | |
JP5855756B2 (ja) | レーンマーク認識装置 | |
JP4939137B2 (ja) | 車線認識装置 | |
JP5090313B2 (ja) | 路面標示認識装置 | |
JP4270183B2 (ja) | 白線検出装置 | |
JP7068017B2 (ja) | 車両の走行路認識装置及び走行制御装置 | |
JP2005090974A (ja) | 先行車認識装置 | |
JP4927908B2 (ja) | 車線位置検知システム | |
US10796172B2 (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5792678 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |