JP5952532B2 - 画像処理装置および配光制御方法 - Google Patents
画像処理装置および配光制御方法 Download PDFInfo
- Publication number
- JP5952532B2 JP5952532B2 JP2011124549A JP2011124549A JP5952532B2 JP 5952532 B2 JP5952532 B2 JP 5952532B2 JP 2011124549 A JP2011124549 A JP 2011124549A JP 2011124549 A JP2011124549 A JP 2011124549A JP 5952532 B2 JP5952532 B2 JP 5952532B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- brightness
- visibility
- light distribution
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 19
- 238000000034 method Methods 0.000 title claims description 18
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 15
- 238000005286 illumination Methods 0.000 description 12
- 230000004313 glare Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
- B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/30—Indexing codes relating to the vehicle environment
- B60Q2300/31—Atmospheric conditions
- B60Q2300/314—Ambient light
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/40—Indexing codes relating to other road users or special conditions
- B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
リスクは、主に、何秒先に車両が到達する空間に視対象が存在するか(予見時間)と、視対象が見えるか否(視認性)とに基づいて決定される。視対象が遠方に存在すればリスクは低くなり、事故回避が難しい位置に存在すればリスクは高くなる。そして、視対象が見えない場合にはリスクは高くなり、見える場合には低くなる。そこで、リスクは予見時間に対するその視対象(障害物、歩行者)の可視度レベルVL(Visibility Level)で定義することが一つの方法として挙げられる。
可視度VLは、以下の式(1)で定義される。
VL=C/Cth・・・式(1)
ここで、Cは輝度対比であり、視対象の輝度をL、背景の輝度をLbとすれば式(2)で定義される。Cthは視認限界における限界輝度対比である。
C=(L−Lb)/Lb・・・式(2)
本実施の形態では、カメラの画像データから視認確率VR(可視度VL)と予見時間リスクPRを求め、それらから所定位置における安全視環境を推定するとともに、それに基づいて総合リスクRを決定する。ここではそれらの決定方法に先立ち、画像計測方法について説明する。
通常、ドライバは、歩行者の一部、例えば膝から下や頭部のみを視認した場合でも、それら視対象の輝度と背景輝度の輝度対比が大きければ視対象を歩行者と認識できる。一般に、移動体である車両のカメラは、所定範囲の濃度分布あるいは輝度分布は測定できる。しかし、移動するカメラでは、歩行者はもとより歩行者の一部を認識することは難しい。これは、カメラの移動(オプティカルフロー)を考慮しなければならないことと、夜間の背景の輝度分布が複雑であり、その中から種々の反射率・色材の着衣を着ている歩行者を見分けることが難しいからである。
視対象がどの程度の距離に存在するかを予見時間という。前述のように、視対象が遠方に存在すればリスクは低くなり、事故回避が難しい位置に存在すればリスクは高くなる。
停止距離SD=空走距離(V・t/3.6)+制動距離{(V/3.6)2/(2g・f)}・・・式(3)
ここでV:車速[km/h]、t:運転者の認知反応時間=0.5〜1.0[s]、f:路面の摩擦係数(乾燥時60km/hでは0.53)、g:重力加速度(9.8m/s2)。
次に、視対象の存在する位置をカメラにより取得した画像データから推定するために好適な、車両前方の視野の分割例について説明する。図5は、車両前方の視野の分割例を示す模式図である。
安全走行にかかわるリスクは、車両の移動空間において一定であることがリスク管理上求められる。したがって、それを規定する可視度VL(VL=0;見えない、VL=1;見える限界、VL=5;普通に見える、VL=25;はっきり見える)が急変しないこと、また可視度VLの値が所定値以上に維持されていることが好ましい。
次に、可視度VLの低い領域において、可視度VLが所定の値以上となるような配光を実現できるヘッドランプの配光制御について説明する。図7(a)は、カットオフラインを揺動制御するロービーム用配光パターンの一例を示す模式図、図7(b)は、カットオフラインを上下制御するロービーム用配光パターンの一例を示す模式図、図7(c)は、重畳したスポット光を上下左右に移動制御したロービーム用配光パターンの一例を示す模式図、図7(d)は、重畳した複数のスポット光を上下左右に移動制御するハイビーム用配光パターンの一例を示す模式図である。
次に、本実施の形態に係る車両用前照灯装置について説明する。図9は、本実施の形態に係る車両用前照灯装置110の概略構成を示すブロック図である。車両用前照灯装置110は、前照灯ユニット12R,12Lと、前照灯ユニット12R,12Lによる光の照射を制御する制御システム14とを備える。そして、車両用前照灯装置110は、制御システム14において、取得した車両前方の撮像画像を、車両から前方のそれぞれの領域までの距離に応じて区画された複数のブロックに分割し、複数のブロックの画像情報に基づいて、該ブロックに対応する領域のそれぞれについて雰囲気の明るさ(または可視度VL)を推定し、車両からの距離が異なる複数の領域の推定された雰囲気の明るさに基づいて、前照灯ユニットの光により照射が可能な照射領域における雰囲気の明るさ(または可視度VLの変化)を予見することができる。そして、車両用前照灯装置110は、予見した雰囲気の明るさの変化、または、可視度VLの変化に基づいて配光制御条件を決定し、決定された配光制御条件に基づいて前照灯ユニット12R,12Lによる光の照射を制御する。
図9に示すように、制御システム14は、画像処理ECU32と、配光制御ECU34と、GPSナビゲーションECU36と、車車間通信ECU37と、車内LAN制御ECU38とを備える。各種ECUおよび各種車載センサは、車内LANバス40により接続されデータの送受信が可能になっている。
Claims (5)
- 前照灯ユニットの光により照射された状態で取得した車両前方の撮像画像を、車両から前方のそれぞれの領域までの距離に応じて区画された複数のブロックに分割する画像分割部と、
前記複数のブロックの画像情報に基づいて、該ブロックに対応する前記領域のそれぞれについて雰囲気の明るさを推定する明るさ推定部と、
車両からの距離が異なる複数の前記領域の推定された雰囲気の明るさに基づいて、車両の走行によって前照灯ユニットの光により照射が可能な照射領域に前記領域が含まれた場合における該それぞれの領域の領域毎の雰囲気の明るさの変化を予見する明るさ予見部と、
を備える画像処理装置。 - 予見される前記照射領域における雰囲気の明るさの変化を緩和するように、前照灯ユニットの配光を制御する制御信号を予め算出する制御信号算出部を更に備えることを特徴とする請求項1に記載の画像処理装置。
- 前照灯ユニットの光により照射された状態で取得した車両前方の撮像画像を、車両から前方のそれぞれの領域までの距離に応じて区画された複数のブロックに分割する画像分割部と、
前記複数のブロックの画像情報に基づいて、該ブロックに対応する前記領域のそれぞれについて雰囲気の明るさを推定する明るさ推定部と、
車両からの距離が異なる複数の前記領域の推定された雰囲気の明るさに基づいて、車両の走行によって前照灯ユニットの光により照射が可能な照射領域に前記領域が含まれた場合における該それぞれの領域の領域毎の可視度の変化を予見する可視度予見部と、
を備える画像処理装置。 - 予見される前記照射領域における可視度が所定の値以上となるように、前照灯ユニットの配光を制御する制御信号を予め算出する制御信号算出部を更に備えることを特徴とする請求項3に記載の画像処理装置。
- 前照灯ユニットの光により照射された状態で取得した車両前方の撮像画像から消失点を算出し、
前記消失点に基づいて、車両から前方の領域までの距離に応じて区画されたブロックを前記撮像画像から抽出し、
前記ブロックの画像情報に基づいて、該ブロックに対応する領域の雰囲気の明るさを推定し、
車両の走行によって前照灯ユニットの光により照射が可能な照射領域に次に含まれると予測される前記領域の、推定された雰囲気の明るさに応じて前照灯ユニットの配光を制御する、
配光制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011124549A JP5952532B2 (ja) | 2011-06-02 | 2011-06-02 | 画像処理装置および配光制御方法 |
EP12170334.2A EP2537709B1 (en) | 2011-06-02 | 2012-05-31 | Image processing apparatus and light distribution control method |
CN201210179523.8A CN102806867B (zh) | 2011-06-02 | 2012-06-01 | 图像处理装置及配光控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011124549A JP5952532B2 (ja) | 2011-06-02 | 2011-06-02 | 画像処理装置および配光制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012250618A JP2012250618A (ja) | 2012-12-20 |
JP5952532B2 true JP5952532B2 (ja) | 2016-07-13 |
Family
ID=46651333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011124549A Expired - Fee Related JP5952532B2 (ja) | 2011-06-02 | 2011-06-02 | 画像処理装置および配光制御方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2537709B1 (ja) |
JP (1) | JP5952532B2 (ja) |
CN (1) | CN102806867B (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150052638A (ko) * | 2013-11-06 | 2015-05-14 | 현대모비스 주식회사 | Adb 헤드램프 시스템 및 adb 헤드램프 시스템을 이용한 빔 제어 방법 |
CN104394327A (zh) * | 2014-11-18 | 2015-03-04 | 章建国 | 基于像素点控制的智能补光系统 |
JP6558228B2 (ja) * | 2015-11-30 | 2019-08-14 | 株式会社Jvcケンウッド | ヘッドライト装置、ヘッドライト制御方法およびヘッドライト制御プログラム |
CN105730321B (zh) * | 2016-02-15 | 2018-03-06 | 长沙科讯智能科技有限公司 | 一种车辆远光灯智能控制系统及控制方法 |
EP3284682B1 (en) | 2016-08-19 | 2019-04-24 | Goodrich Lighting Systems GmbH | Helicopter search light and method of adjusting a light output of a helicopter search light |
US10965878B2 (en) * | 2016-12-15 | 2021-03-30 | Koito Manufacturing Co., Ltd. | Vehicle illumination system and vehicle |
EP3591576A3 (en) * | 2017-01-20 | 2020-01-15 | Koito Manufacturing Co., Ltd. | Vehicle lamp system, vehicle lamp control apparatus, and vehicle lamp control method |
EP3594058A4 (en) * | 2017-03-10 | 2020-12-30 | Koito Manufacturing Co., Ltd. | LIGHTING DEVICE |
CN107539209B (zh) * | 2017-08-14 | 2021-01-29 | 北京小米移动软件有限公司 | 控制车辆灯光的方法及装置 |
DE102017119394A1 (de) * | 2017-08-28 | 2019-02-28 | HELLA GmbH & Co. KGaA | Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium |
JP7163101B2 (ja) * | 2018-08-16 | 2022-10-31 | 株式会社小糸製作所 | 前照灯の配光制御システム及び配光制御手段 |
WO2020116195A1 (ja) * | 2018-12-07 | 2020-06-11 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
CN111435972B (zh) * | 2019-01-15 | 2021-03-23 | 杭州海康威视数字技术股份有限公司 | 一种图像处理的方法及装置 |
CN112721794B (zh) * | 2021-02-07 | 2023-03-10 | 一汽奔腾轿车有限公司 | 一种车辆前照灯远光自适应控制系统 |
CN113799685B (zh) * | 2021-09-17 | 2023-04-11 | 东风汽车集团股份有限公司 | Adb大灯亮度和光区自适应调节方法及装置 |
CN114025102A (zh) * | 2021-09-29 | 2022-02-08 | 浙江亚太机电股份有限公司 | 一种提高adas系统识别准确度和环境适应性的方法 |
JP2023115849A (ja) * | 2022-02-08 | 2023-08-21 | 本田技研工業株式会社 | 車両用撮像装置 |
DE102022105234A1 (de) * | 2022-03-07 | 2023-09-07 | HELLA GmbH & Co. KGaA | Scheinwerfer für Fahrzeuge |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19743580B4 (de) * | 1997-10-02 | 2004-12-02 | Robert Bosch Gmbh | Verfahren und Anordnung zur Ermittlung der Lichtverhältnisse in Front eines beweglichen Fahrzeuges, insbesondere vor einem Kraftfahrzeug |
JP3932623B2 (ja) * | 1997-10-09 | 2007-06-20 | 日産自動車株式会社 | オートフォグランプ装置 |
US8136969B2 (en) * | 2005-07-12 | 2012-03-20 | Burkett Karl A | Variable lighting system for optimizing night visibility |
GB2443664A (en) * | 2006-11-10 | 2008-05-14 | Autoliv Dev | An infra red object detection system de-emphasizing non relevant hot objects |
JP2007124676A (ja) * | 2006-11-22 | 2007-05-17 | Hitachi Ltd | 車載用画像処理装置 |
EP2181414B1 (de) * | 2007-08-28 | 2017-06-14 | Valeo Schalter und Sensoren GmbH | Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen |
JP2009077230A (ja) * | 2007-09-21 | 2009-04-09 | Seiko Epson Corp | 画像処理装置、マイクロコンピュータ及び電子機器 |
DE102007061658A1 (de) * | 2007-12-18 | 2009-06-25 | Adc Automotive Distance Control Systems Gmbh | Klassifikation der Fahrzeugumgebung |
JP5151452B2 (ja) * | 2007-12-19 | 2013-02-27 | 株式会社豊田中央研究所 | 情報表示装置 |
DE102008025947A1 (de) * | 2008-05-30 | 2009-12-03 | Hella Kgaa Hueck & Co. | Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Frontscheinwerfers eines Fahrzeugs |
JP5097648B2 (ja) * | 2008-08-28 | 2012-12-12 | 株式会社小糸製作所 | 前照灯制御装置および車両用前照灯装置 |
JP2010073009A (ja) * | 2008-09-19 | 2010-04-02 | Denso Corp | 画像処理装置 |
JP5313638B2 (ja) * | 2008-11-12 | 2013-10-09 | 株式会社小糸製作所 | 車両用前照灯装置 |
JP5481074B2 (ja) * | 2009-01-23 | 2014-04-23 | 株式会社豊田中央研究所 | 照明環境判定装置及びプログラム |
US20110001819A1 (en) * | 2009-07-02 | 2011-01-06 | Sanyo Electric Co., Ltd. | Image Processing Apparatus |
-
2011
- 2011-06-02 JP JP2011124549A patent/JP5952532B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-31 EP EP12170334.2A patent/EP2537709B1/en not_active Not-in-force
- 2012-06-01 CN CN201210179523.8A patent/CN102806867B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2537709A3 (en) | 2013-09-04 |
EP2537709A2 (en) | 2012-12-26 |
CN102806867A (zh) | 2012-12-05 |
CN102806867B (zh) | 2016-04-27 |
EP2537709B1 (en) | 2018-03-07 |
JP2012250618A (ja) | 2012-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5952532B2 (ja) | 画像処理装置および配光制御方法 | |
JP5097648B2 (ja) | 前照灯制御装置および車両用前照灯装置 | |
JP6310899B2 (ja) | 車外環境認識装置 | |
JP6200481B2 (ja) | 車外環境認識装置 | |
US8232895B2 (en) | Vehicle detection apparatus, vehicle detection program and light control apparatus | |
JP5809785B2 (ja) | 車両用外界認識装置およびそれを用いた配光制御システム | |
JP5680573B2 (ja) | 車両の走行環境認識装置 | |
JP4473232B2 (ja) | 車載用車両前方環境検出装置および車両用照明装置 | |
JP5617999B2 (ja) | 車載周辺物認識装置及びこれを用いる運転支援装置 | |
JP4544233B2 (ja) | 車両検出装置及びヘッドランプ制御装置 | |
JP5313638B2 (ja) | 車両用前照灯装置 | |
JP5361901B2 (ja) | 前照灯制御装置 | |
EP2525302A1 (en) | Image processing system | |
CN104842862A (zh) | 一种基于机器视觉的前照灯随动转向控制方法 | |
JP5643877B2 (ja) | 車両用前照灯装置 | |
JP2012196999A (ja) | 車両用照明装置及び方法 | |
JP6539191B2 (ja) | 車外環境認識装置 | |
JP6549974B2 (ja) | 車外環境認識装置 | |
WO2019208544A1 (ja) | 画像処理装置、車両用灯具および画像処理方法 | |
WO2018146801A1 (ja) | 車両用照明の制御方法及び車両用照明の制御装置 | |
JP2017094966A (ja) | 車外環境認識装置 | |
JP2013086739A (ja) | ヘッドライト制御装置、ヘッドライトシステム、及びヘッドライトシステムの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5952532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |