JP6413957B2 - ピッチング判定装置 - Google Patents
ピッチング判定装置 Download PDFInfo
- Publication number
- JP6413957B2 JP6413957B2 JP2015136266A JP2015136266A JP6413957B2 JP 6413957 B2 JP6413957 B2 JP 6413957B2 JP 2015136266 A JP2015136266 A JP 2015136266A JP 2015136266 A JP2015136266 A JP 2015136266A JP 6413957 B2 JP6413957 B2 JP 6413957B2
- Authority
- JP
- Japan
- Prior art keywords
- pitching
- determination device
- hidden
- line
- position data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007423 decrease Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 20
- 230000003247 decreasing effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 180
- 238000012545 processing Methods 0.000 description 27
- 238000012986 modification Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
すなわち、いわゆるレーザレーダによって物体を検出する構成において、物体を検出してから物体が検出領域から外れて検出されなくなるまでの間に、物体に接近するにつれて物体は大きく検出されるようになる。この際、ピッチングがない場合、物体に含まれるライン数は徐々に増加するが減少することはない。そこで、本発明では、物体に含まれるライン数が減少すると、ピッチングが発生した可能性がある旨を出力するようにしている。
[第1実施形態]
[本実施形態の構成]
本実施形態の走行安全装置1は、例えば乗用車等の車両に搭載されており、自車両が障害物等の物体と衝突することを抑制する走行安全機能を備えている。走行安全機能としては、レーザレーダ21で物体を検出しつつ車両の上下方向の傾き(ピッチング)の量であるピッチ量を推定する機能、物体の種別および物体までの距離を求める機能を含む。
レーザレーダ21は、発光部22および受光部23を備えた周知のレーザレーダとして構成されている。レーザレーダ21は、車両の進行方向のうちの車両が通過する可能性がある領域を、物体を検出する検出領域とする。そして、レーザレーダ21の発光部22は、この検出領域を予め水平方向および鉛直方向に格子状に区分した多数の照射領域として設定し、これらの照射領域毎にレーザ光を照射する。レーザレーダ21の受光部23は、それぞれの照射領域にて得られるレーザ光の反射光を受光する。そして、レーザレーダ21は、照射領域の方向と反射光が得られたタイミングとに従って、レーザ光を反射した物体が存在する位置を位置データとして出力する。
このように構成された走行安全装置1において、制御部10は、図2に示す走行安全処理を実施する。走行安全処理は、例えば車両の電源が投入されると開始される処理であり、その後、一定周期毎に繰り返し実施される処理である。
は3であり、iBottomは2である。
判定する(S340)。例えば、時刻tにおいて、図5に示す例では、ライン1およびライン2が検出されており、iTopであるライン3が検出されていないことになる。
能性が低いものとして、ライン変化検出処理を終了する。また、iTopまたはiBottomが存
在していなければ(S340:NO)、ピッチングが発生している可能性が高い旨を示すピッチング可能性フラグをセットする(S350)。
続いて、図2に戻り、隠れ判定処理を実施する(S150)。隠れ判定処理は、該当のクラスタが他のクラスタの陰に隠れているか否かを判定する処理である。この処理は、特開2014−167702号公報にて類似の処理が記載されているため、詳細な説明を省略し、概略を簡単に説明する。
ラスタ100の手前の地面付近に他のクラスタ110が検出された場合、iBottomが存在
しないと判定されるが、この際、ピッチングフラグを解除することでピッチングの誤判定を抑制することができる。また、図9に示すように、該当クラスタ100の手前の空中に他のクラスタ120が検出された場合、iTopが存在しないと判定されるが、この際においても、ピッチングフラグを解除することでピッチングの誤判定を抑制することができる。
の両方が検出されなかった場合にも実施が省略される。
場合には、ピッチ方向が下向きであると判定する。
が対応するラインを選択する(S530)。S530が実施された場合、後述するS560の処理にて、このラインの上側に位置するラインを下から順に選択する。
このような処理が終了すると、ピッチ量推定処理を終了する。
なお、図14(A)および図14(B)に示すように、評価対象領域の高さを固定して分割した場合でも、クラスタの高さが異なると割り当てられるブロックも異なり特徴量が変化することが分かる。このように評価対象領域の高さを固定する場合においても、ピッチングによりクラスタの高さを誤って検出すると、安定した特徴量を算出する事ができなくなるといえる。
実施することで、どのような種別の物体が、どの位置に、どのような方向で移動しているかを認識できることになる。
[本実施形態による効果]
以上のように詳述した走行安全装置1において制御部10は、物体を検出する検出領域を予め水平方向および鉛直方向に格子状に区分した照射領域毎にレーザ光を照射し、それ
ぞれの照射領域にてレーザ光の反射光を受光することで得られるそれぞれの位置データを取得する。また、制御部10は、位置データのうちの近接するものをグループ化し、該グループ化したものを物体(クラスタ)として抽出する。
すなわち、走行安全装置1においては、いわゆるレーザレーダによって物体を検出する構成とされているため、物体を検出してから物体が検出領域から外れて検出されなくなるまでの間に、物体に接近するにつれて物体が大きく検出されるようになる。この際、ピッチングがない場合、物体に含まれるライン数は徐々に増加するが減少することはない。そこで、本実施形態の走行安全装置1においては、物体に含まれるライン数が減少すると、ピッチングが発生した可能性がある旨を出力するようにしている。
なお、本構成の記載には、接近している物体についてのみライン数の監視をする構成、全ての物体についてライン数の監視を行い、ライン数が減少したもののうちの接近している物体についてのみにピッチングの可能性を出力する構成、の両方を含む。
また、上記の走行安全装置1において制御部10は、減少したライン数に応じてピッチング量を推定し、ピッチングが発生した可能性がある旨として、ピッチング量を含む情報を出力する。
を補正する。
このような走行安全装置1よれば、ピッチングが発生したと推定される場合に、演算したピッチング量に応じて位置データを補正することができる。よって、位置データを用いた処理(例えば、物体認識処理等)を精度よく実施することができる。
このような走行安全装置1よれば、ピッチング発生の可能性を加味して物体の種別を識別することができる。つまり、ピッチングによって一時的に物体の上部や下部が欠けたり、物体の大きさが変化したりすることを予測することができる。よって、物体の種別を精度よく識別することができる。
次に、別形態の走行安全装置2について説明する。本実施形態(第2実施形態)では、第1実施形態の走行安全装置1と異なる箇所のみを詳述し、第1実施形態の走行安全装置1と同様の箇所については、同一の符号を付して説明を省略する。
めは大きくなり、その後、再び小さくなる傾向がある。
60)。何れかのクラスタを選択していなければ(S660:NO)、未選択の次のクラスタを選択し(S670)、S650の処理に戻る。
を用いて求めることができる。
S910)。続いて、クラスタBを選択したか否かを判定する(S920)。
いての最終ピッチ角θENDとを比較する(S940)。
クラスタAの最終ピッチ角θEND未満の範囲内の任意の値を推定ピッチ角とする。このよ
うな処理が終了すると、上向きピッチ角度算出処理を終了する。
チ角θEND以下であれば(S940:NO)、直ちに上向きピッチ角度算出処理を終了す
る。
る理論的なレーザ光の照射位置の高さHと、地面の高さ(H=0)とを比較し、これらの大小関係に基づいてピッチ角を推定する。
続いて、レーザ光の照射位置の高さHと地面の高さとを比較する(S880)。レーザ光の照射位置の高さHが地面の高さ以上であれば(S880:NO)、前述のS850の処理に移行する。ただし、本処理では、ピッチ角θを任意の刻み幅Δθ分だけ下向きに加算する。
上記の走行安全装置2において制御部10は、同時に抽出された複数の物体の最大検出高さをそれぞれ抽出し、複数の物体が抽出された場合に、それぞれの物体についてのライン数の変化を監視する。そして、制御部10は、複数の物体までの距離と複数の物体の最大検出高さとに基づいて、車両にピッチングが発生したと仮定したときに、複数の物体についての減少したライン数と一致するピッチング量の範囲を演算することによってピッチング量を推定する。
ができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
また、現在のなす角θ(t)が閾値Th以上、またはn秒前のなす角θ(t−n)が現在のなす角θ(t)以下である場合(S1160:NO)、対象物体がその他物体に隠されていることはないものとして、物体位置判定処理を終了する。
このような第1変形例の走行安全装置3によれば、対象物体の形状の変化を観察することによって対象物体がその他物体に隠されたか否かを判定することができる。
また、上記の走行安全装置3においては、図25に示すように、第2変形例の隠れ判定処理を実施してもよい。図25に示す第2変形例の隠れ判定処理では、前述のS1010の処理に続いて、各クラスタの横幅の最大値をメモリ12に保存する(S1210)。この処理では、現在の横幅Width(t)とメモリ12内に保存された最大横幅MaxWidthとを比較し、現在の横幅Width(t)が最大横幅MaxWidthを超える場合に、現在の横幅Width(t)を最大横幅MaxWidthとしてメモリ12において上書きして保存する。
また、上記の走行安全装置3においては、図27に示す第3変形例の隠れ判定処理を実施してもよい。図27に示す第3変形例の隠れ判定処理では、前述のS1050の処理にて肯定判定された場合に、隠れ度合いを算出する(S1260)。
また、上記の走行安全装置3においては、図29に示す第4変形例の隠れ判定処理を実施してもよい。図29に示す第4変形例の隠れ判定処理では、第1変形例から第3変形例にて示した処理を組み合わせて実施する。
続いて、その他物体と対象物体との位置関係について判定する(S1320)。その他物体が対象物体よりも奥に存在してれば(S1320:NO)、隠れ可能性判定処理を終了する。その他物体が対象物体よりも手前に存在していれば(S1320:YES)、対象物体およびその他物体の端点を算出する(S1330)。この処理は、前述のS1130と同様の処理である。
また、上記実施形態においては、ピッチ量に拘わらず処理を続行したが、ピッチ量がある基準値以上となった場合には、物体を識別する精度が低下する虞があるため、走行安全処理を中断してもよい。
上記実施形態における制御部10は、本発明でいうピッチング判定装置に相当する。また、制御部10が実行する処理のうちのS110の処理は本発明でいう位置データ取得手段に相当し、上記実施形態におけるS120の処理は本発明でいう物体抽出手段に相当する。
ーダ、22…発光部、23…受光部、31…表示部、32…警報部、33…作動指示部、100,110,120…クラスタ。
Claims (14)
- 車両に搭載され、該車両の上下方向への傾きを表すピッチングの発生の可能性を判定するピッチング判定装置(10)であって、
物体を検出する検出領域を予め水平方向および鉛直方向に格子状に区分した照射領域毎にレーザ光を照射し、それぞれの照射領域にて前記レーザ光の反射光を受光することで得られるそれぞれの位置データを取得する位置データ取得手段(S110)と、
前記位置データのうちの近接するものをグループ化し、該グループ化したものを物体として抽出する物体抽出手段(S120)と、
前記位置データのうちの前記水平方向に並ぶ複数の位置データを1本のラインとして、前記物体に含まれるライン数をカウントするライン数カウント手段(S140:S310〜S330)と、
前記位置データ取得手段による位置データの取得、前記物体抽出手段による物体の抽出、および前記ライン数カウント手段によるライン数のカウント、を繰り返し実施させ、前記物体に含まれるライン数の変化を監視するライン数変化監視手段(S140:S340)と、
前記物体に含まれるライン数が減少すると、前記ピッチングが発生した可能性がある旨を出力するピッチング可能性出力手段(S140:S350)と、
を備えたことを特徴とするピッチング判定装置。 - 請求項1に記載のピッチング判定装置において、
前記物体についての位置を追跡する位置追跡手段(S130)、
を備え、
前記ピッチング可能性出力手段は、前記物体の位置の追跡結果を用いて、接近している物体についてのみ、前記ピッチングが発生した可能性がある旨を出力すること
を特徴とするピッチング判定装置。 - 請求項1または請求項2に記載のピッチング判定装置において、
前記物体において複数のラインが認識された状態からライン数が減少した場合に、何れのラインが減少したかを特定する減少ライン特定手段(S340,S360)、
を備え、
前記ピッチング可能性出力手段は、減少したと特定されたラインに物体の上端を示すラインが含まれている場合に、上側へのピッチングが発生した可能性がある旨を出力し、減少したと特定されたラインに物体の下端を示すラインが含まれている場合に、下側へのピッチングが発生した可能性がある旨を出力すること
を特徴とするピッチング判定装置。 - 請求項1〜請求項3の何れか1項に記載のピッチング判定装置において、
減少したライン数に応じてピッチング量を推定するピッチング量推定手段(S160)、
を備え、
前記ピッチング可能性出力手段は、前記ピッチングが発生した可能性がある旨として、前記ピッチング量を含む情報を出力すること
を特徴とするピッチング判定装置。 - 請求項4に記載のピッチング判定装置において、
同時に抽出された複数の物体の最大検出高さをそれぞれ抽出する最大検出高さ抽出手段(S650、S750)、
を備え、
前記ライン数変化監視手段は、複数の物体が抽出された場合に、それぞれの物体につい
てのライン数の変化を監視し、
前記ピッチング量推定手段は、
前記複数の物体までの距離と前記複数の物体の最大検出高さとに基づいて、車両にピッチングが発生したと仮定したときに、前記複数の物体についての減少したライン数と一致するピッチング量の範囲を演算することによって前記ピッチング量を推定すること
を特徴とするピッチング判定装置。 - 請求項4または請求項5に記載のピッチング判定装置において、
前記ピッチング量に応じて前記位置データを補正する位置データ補正手段(S170)、
を備えたことを特徴とするピッチング判定装置。 - 請求項1〜請求項6の何れか1項に記載のピッチング判定装置において、
前記物体に含まれるライン数が減少した場合において、該減少したラインに対応する位置に別の物体が存在するか否かを判定する別物体判定手段(S410、S420)と、
前記別の物体が存在する場合に、前記ピッチング可能性出力手段が、前記ピッチングが発生した可能性がある旨を出力することを禁止する出力禁止手段(S450)と、
を備えたことを特徴とするピッチング判定装置。 - 請求項1〜請求項7の何れか1項に記載のピッチング判定装置において、
前記位置データおよび前記ピッチングが発生した可能性がある旨を利用して、前記物体の種別を識別する物体識別手段(S210、S220)、
を備えたことを特徴とするピッチング判定装置。 - 請求項8に記載のピッチング判定装置において、
前記物体が他の物体に隠されているか否かを判定する隠れ判定手段(S150)、
を備え、
前記物体識別手段は、前記物体が他の物体に隠されているか否かを加味して前記物体の種別を識別すること
を特徴とするピッチング判定装置。 - 請求項9に記載のピッチング判定装置において、
前記物体が他の物体に隠されている場合に、前記物体のうちの隠れている部位を表す隠れ部位を推定する隠れ部位推定手段(S1260)と、
前記隠れ部位を前記物体の位置データとして補完する位置データ補完手段(S170)と、
を備えたことを特徴とするピッチング判定装置。 - 請求項9または請求項10に記載のピッチング判定装置において、
前記隠れ判定手段は、前記物体の形状が小さく変化した際に、前記物体が他の物体に隠されたものと判定すること
を特徴とするピッチング判定装置。 - 請求項11に記載のピッチング判定装置において、
前記車両から前記物体までを結ぶ仮想的な直線と、前記車両から前記物体よりも近い他の物体までを結ぶ仮想的な直線となす角を求める角度演算手段(S1130、S1140)、を備え、
前記隠れ判定手段は、前記なす角が基準角度以下であり、かつ前記なす角がより小さく変化した際に、前記物体が他の物体に隠されたものと判定すること
を特徴とするピッチング判定装置。 - 請求項11または請求項12に記載のピッチング判定装置において、
前記隠れ判定手段は、前記物体の横幅の変化を監視し、最大となったときの横幅を最大横幅として記録し、前記最大横幅に対して物体の横幅が減少した際に、前記物体が他の物体に隠されたものと判定すること
を特徴とするピッチング判定装置。 - 請求項9〜請求項13の何れか1項に記載のピッチング判定装置において、
当該車両におけるピッチング量を取得するピッチング量取得手段(S160)と、
前記物体が他の物体に隠されたものと判定され、かつ、前記ピッチング量が予め設定された基準ピッチング量以上である場合に、前記物体識別手段が前記物体の種別を識別することを禁止する識別禁止手段(S1420)と、
を備えたことを特徴とするピッチング判定装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014265875 | 2014-12-26 | ||
JP2014265875 | 2014-12-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016125999A JP2016125999A (ja) | 2016-07-11 |
JP6413957B2 true JP6413957B2 (ja) | 2018-10-31 |
Family
ID=56357842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015136266A Active JP6413957B2 (ja) | 2014-12-26 | 2015-07-07 | ピッチング判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6413957B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6660228B2 (ja) * | 2016-03-31 | 2020-03-11 | セコム株式会社 | 物体検出センサ |
JP6803690B2 (ja) | 2016-06-24 | 2020-12-23 | 太洋電機産業株式会社 | 半田ごて |
WO2018037508A1 (ja) * | 2016-08-24 | 2018-03-01 | 日産自動車株式会社 | 走行軌跡推定方法及び走行軌跡推定装置 |
JP6813436B2 (ja) * | 2017-06-16 | 2021-01-13 | 株式会社東芝 | 情報処理装置、移動体、情報処理方法、およびプログラム |
WO2019021887A1 (ja) * | 2017-07-27 | 2019-01-31 | シャープ株式会社 | 光レーダ装置 |
JP7525453B2 (ja) | 2021-08-30 | 2024-07-30 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3903754B2 (ja) * | 2001-08-23 | 2007-04-11 | オムロン株式会社 | 対象物検出装置および方法 |
JP2004317134A (ja) * | 2003-04-11 | 2004-11-11 | Daihatsu Motor Co Ltd | 車両の物体認識装置及び物体認識方法 |
DE102004033114A1 (de) * | 2004-07-08 | 2006-01-26 | Ibeo Automobile Sensor Gmbh | Verfahren zur Kalibrierung eines Abstandsbildsensors |
JP4196211B2 (ja) * | 2004-12-03 | 2008-12-17 | 日産自動車株式会社 | 画像処理装置及び画像処理方法 |
JP5152840B2 (ja) * | 2007-11-07 | 2013-02-27 | オムロンオートモーティブエレクトロニクス株式会社 | 車載用レーダ装置 |
JP2010006270A (ja) * | 2008-06-27 | 2010-01-14 | Toyota Motor Corp | 車両挙動検出装置 |
JP5287392B2 (ja) * | 2009-03-17 | 2013-09-11 | トヨタ自動車株式会社 | 物体識別装置 |
JP6064674B2 (ja) * | 2013-02-28 | 2017-01-25 | 株式会社デンソー | 物体認識装置 |
-
2015
- 2015-07-07 JP JP2015136266A patent/JP6413957B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016125999A (ja) | 2016-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6413957B2 (ja) | ピッチング判定装置 | |
CN111016919B (zh) | 用于识别近距离切入车辆的装置和方法以及包括该装置的车辆 | |
JP7025912B2 (ja) | 車載環境認識装置 | |
EP3258214B1 (en) | Object detection device | |
JP6733225B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6440411B2 (ja) | 物体検出装置 | |
JP5729416B2 (ja) | 衝突判定装置、および衝突緩和装置 | |
JP5938569B2 (ja) | 方位情報を考慮する高度運転者支援システム、及びその動作方法 | |
EP3382639A1 (en) | Image processing device, image pickup device, apparatus control system, distribution data generation method, and program | |
US8941738B2 (en) | Vehicle exterior monitoring device and vehicle exterior monitoring method | |
US20170124725A1 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
EP3410416B1 (en) | Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program | |
JP6597352B2 (ja) | 物体認識装置 | |
US20140168431A1 (en) | Method and apparatus for detecting moving objects | |
JP5907700B2 (ja) | 画像処理装置、車両システム、及び、画像処理方法 | |
CN111052201B (zh) | 碰撞预测装置、碰撞预测方法以及存储介质 | |
CN107491065B (zh) | 利用障碍物的地面边界信息检测物体的侧面的方法和装置 | |
JP2013140515A (ja) | 立体物検出装置及びプログラム | |
KR102304851B1 (ko) | Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법 | |
JP6382525B2 (ja) | 物体識別方法、および物体識別装置 | |
CN111497741B (zh) | 碰撞预警方法及装置 | |
JP6431299B2 (ja) | 車両周辺監視装置 | |
JP6812701B2 (ja) | 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP4321410B2 (ja) | 物体検出装置、および方法 | |
JP2010032430A (ja) | 物体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6413957 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |