JP6536372B2 - レーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラム - Google Patents

レーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラム Download PDF

Info

Publication number
JP6536372B2
JP6536372B2 JP2015224009A JP2015224009A JP6536372B2 JP 6536372 B2 JP6536372 B2 JP 6536372B2 JP 2015224009 A JP2015224009 A JP 2015224009A JP 2015224009 A JP2015224009 A JP 2015224009A JP 6536372 B2 JP6536372 B2 JP 6536372B2
Authority
JP
Japan
Prior art keywords
detected
sudden
mud
laser radar
radar device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015224009A
Other languages
English (en)
Other versions
JP2017090379A (ja
Inventor
坂部 向志
向志 坂部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2015224009A priority Critical patent/JP6536372B2/ja
Publication of JP2017090379A publication Critical patent/JP2017090379A/ja
Application granted granted Critical
Publication of JP6536372B2 publication Critical patent/JP6536372B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、レーザレーダ装置の窓部への泥汚れを検出するレーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラムに関する。
レーザレーダ装置は、所定の走査角度ごとにレーザ光の照射と物体で反射した反射光の受光とを行っており、反射光を受光するまでの時間に基づいて、各走査角度における物体の検出および距離の測定を行っている。このようなレーザレーダ装置には、レーザ光を透過するための窓部が設けられている。このとき、窓部に物体が付着すると、つまりは、窓部に汚れが付着すると、測定エリア内に照射されるレーザ光の強度が低下したり、レーザ光や反射光が窓部に付着した泥汚れによって遮られたりすることにより、物体の検出や距離の測定の精度が低下する。そのため、例えば特許文献1では、専用のセンサ等を設けることにより、窓部の汚れを検出している。
特開2002−6039号公報
ところで、レーザレーダ装置は、屋外に設置されることも多く、その場合には、泥汚れのような自然な汚れが窓部に付着する可能性がある。この場合、従来のレーザレーダ装置では、上記した特許文献1のように窓部の位置に汚れ等の物体が付着していること自体は検出できるものの、その物体が意図的つまりは人為的に付けられたものなのか、水しぶきがかかって付いた泥汚れのような自然に付いたものなのかを判別することができなかった。
本発明は上記事情に鑑みてなされたものであり、その目的は、レーザレーダ装置の窓部に付着した物体が泥汚れであるかを判定することができるレーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラムを提供することにある。
まず、レーザレーダ装置の窓部に自然な泥汚れが生じるメカニズムについて検討してみる。レーザレーダ装置の窓部に生じる自然な泥汚れは、地面の泥が跳ね上げられて付着するものと考えられる。ここで、自然とは、意図的・恣意的ではないことを意味している。ただし、乾燥している地面から泥が跳ね上げられることは考えにくいため、レーザレーダ装置の近くの地面に水たまりが存在しており、その水たまりから水しぶきが生じた結果、窓部に泥汚れが付着するものと考えられる。つまり、自然な泥汚れが付く場合には、レーザレーダ装置の近傍には、泥汚れを生じさせるような水たまりが存在していると考えられる。
ただし、レーザレーダ装置は、一般的に地面から離間した位置に設けられている。そのため、レーザレーダ装置の近傍に水たまりが存在していたとしても、レーザレーダ装置の走査面から外れていることから、直接的に水たまりを検出することはできないと考えられる。そこで、発明者らは、水たまりから生じると予想される水しぶきの挙動に着目し、どのような方法であれば泥汚れが付着したことを高い確度で判定できるかについて検討した。
意図的・恣意的に作り出されたものではなく自然に生じた水しぶきの場合、その水しぶきは、物理法則に沿って移動すると考えられる。具体的には、地面から跳ね上げられた水しぶきは、発生点から放物線を描きながら飛散すると考えられる。また、その際に水しぶきが飛散する範囲は、概ね数m程度であると考えられる。
このとき、地面から跳ね上げられた水しぶきが走査面の高さまで到達すると、レーザレーダ装置は、その水しぶきに泥が含まれており、レーザ光を反射するような不透明度である場合には、物体として検出すると考えられる。ただし、水しぶきは地面から跳ね上がっているため、時系列的にみた場合、レーザレーダ装置は、自身の近傍に、その移動が検知されることなく、突発的に出現した物体を検出することになる。また、跳ね上がった水しぶきは重力に引かれて落下することから、レーザレーダ装置は、突発的に出現した物体を検出してから比較的短い時間内に、その物体を検出しなくなると考えられる。
そして、その水しぶきが窓部にかかったとすると、水しぶきに含まれていた泥が窓部に付着して泥汚れになると考えられる。
このように、自然な泥汚れが付着する場合には、泥汚れが付着するメカニズムをある程度想定することができる。
そこで、請求項1に係る発明では、レーザレーダ装置の周囲に予め設定されている近傍エリアを対象として、当該近傍エリアの外縁部からの進入が検出されることなく突発的に検出された物体である突発物が検出されたか否かを判定する出現判定処理と、出現判定処理によって突発物が検出されたと判定されてから予め定められている判定時間が経過した時点において、突発物が検出されなくなった場合であって、且つ、窓部の位置に新たな物体が検出されている場合に、窓部の位置に検出された物体が前記突発物によってもたらされたとして泥汚れと判別する判別処理と、を含む泥汚れ判定方法により、泥汚れを判定する。
レーザレーダ装置は、一般的に設置面からある程度の高さの位置に設置されるため、出現判定処理により検出された突発物は、空中に浮遊していると考えることができる。この場合、検出された突発物が例えば水しぶきのように自然に発生したものであれば、重力に引かれて比較的間時間で落下すると考えられる。つまり、レーザレーダ装置によって検出されなくなると考えられる。この場合、突発物が検出されなくなるとは、全く検出されなくなる状態を含むとともに、ある程度の大きさで検出されていた突発物が突然その大きさでは検出されなくなる状態も含んでいる。
このとき、突発物が自然に発生したものであれば、例えば地面から跳ね上がった後に落下すると想定される時間つまりは判定時間を、例えば車両によって跳ね上げられる一般的な範囲で水しぶきの到達高さを想定あるいは実験により求めることで、設定することができる。
そのため、出現判定処理において水しぶきのように突発的に出現する可能性のある突発物が検出されたか否かを判定し、判別処理において、その突発物の挙動が上記したような自然な水しぶきの挙動に一致するかを判定し、挙動が一致した場合には、突発物が水しぶきである可能性が高いと判断することができる。また、レーザレーダ装置によって検出されていることから、その水しぶきには泥が含まれている可能性が高いと判断することができる。すなわち、水と泥とを含んだ状態の物体が、突発物として検出されたと考えられる。
そして、突発物が検出される前には窓部の位置に検出されていなかった物体が新たに検出された場合には、その物体が、突発物によってもたらされたものであること、つまりは、意図的に発生させられたものではない自然な水しぶきによって付けられた汚れであると、高い確度で判断することができる。
したがって、レーザレーダ装置の窓部に付着した物体が泥汚れであるかを判別することができる。
この場合、地面に存在している水たまりから跳ね上がった水しぶきによって付けられた汚れである可能性が高いため、その汚れは、自然な汚れである可能性が高いと考えることができる。
また、物体までの距離、およびその物体が突然検出された突発物であるか否かは、レーザレーダ装置で検出可能なデータに基づいて判定することができる。このため、特別な専用センサ等を設けなくても、また、既に設置されている既設のレーザレーダ装置に対しても、この泥汚れ判定方法を適用することができる。
請求項2に係る発明では、検出された突発物がレーザレーダ装置に徐々に接近していることが検出された場合、または、突発物が検出された後に当該突発物との間に新たに検出された物体がレーザレーダ装置に徐々に接近していることが検出された場合に、窓部の位置に検出された物体を泥汚れと判別する。
検出された突発物が水しぶきであった場合、レーザレーダ装置の窓部に泥汚れが付くためには、水しぶきがレーザレーダ装置にかかる必要がある。このとき、レーザレーダ装置は、1秒間に数10回程度の走査を行っているため、水しぶきがレーザレーダ装置にかかる場合には、突発物までの距離が徐々に短くなっていくと想定される。
そこで、検出された突発物つまりは水しぶきがレーザレーダ装置に徐々に接近していることが検出されたか否かを判定することにより、突発物が水しぶきである可能性がより高まると考えられる。換言すると、突発物が水しぶきであるか否かの判定の精度をより向上させることができる。なお、ここで言う徐々にとは、複数回の走査において突発物までの距離が減少していく状況を意味している。
また、検出された突発物が水しぶきであった場合には、水しぶきが放物線上に跳ね上がると考えられることから、水しぶきが一旦走査面よりも上に上昇した後、窓部に上方から降りかかることも想定される。その場合、突発物が一旦検出されなくなった後、新たに突発物が検出されることになる。そのため、先に検出された突発物とは異なる突発物が検出された場合も判定条件に設定することで、突発物が水しぶきであるか否かの判定の精度をより向上させることができる。
請求項3に係る発明では、検出された突発物の大きさが徐々に拡大していることが検出された場合、または、突発物が検出された後に当該突発物との間に新たに検出された物体の大きさが徐々に拡大していることが検出された場合に、窓部の位置に検出された物体を泥汚れと判別する。
検出された突発物が水しぶきであった場合、ある一点から生じた水しぶきが、放射状に広がることが想定される。その場合、突発物までの距離とその突発物が検出された走査角との関係から求まる突発物の実際の大きさも、徐々に大きくなっていることが想定される。つまり、検出された突発物の実際の大きさが徐々に拡大している場合には、突発物が水しぶきである可能性がより高いと判断することができる。なお、ここで言う徐々にとは、複数回の走査において突発物の大きさが拡大していく状況を意味している。
また、検出された突発物が水しぶきであった場合には、水しぶきが放物線上に跳ね上がると考えられることから、水しぶきが一旦走査面よりも上に上昇した後、窓部に上方から降りかかることも想定される。その場合、突発物が一旦検出されなくなった後、新たに突発物が検出されることになる。そのため、先に検出された突発物とは異なる突発物が検出された場合も判定条件に設定することで、突発物が水しぶきであるか否かの判定の精度をより向上させることができる。
請求項4に係る発明では、判定時間が経過した時点において窓部の位置で検出されている物体の大きさが、予め設定されている許容サイズ以下である場合に、窓部の位置に検出された物体を泥汚れと判別する。
水しぶきに含まれる泥は、それほど大きくないと考えられる。そのため、窓部の位置で検出された物体の大きさが許容サイズ以下の物体である場合、泥汚れである可能性が高いと考えることができる。これにより、泥汚れの判別精度を向上させることができる。なお、許容サイズは、レーザレーダ装置の設置場所の土壌環境等に応じて、例えば1〜2cm程度で適宜設定すればよい。
また、許容サイズを超えるような大きさの物体が検出された場合には、意図的な汚れである可能性が高いと考えることもできる。
請求項5に係る発明では、突発物が最初に検出された時点よりも前の観察期間中に近傍エリアを移動する移動体が検出されていた場合であって、且つ、突発物が当該移動体とレーザレーダ装置との間で検出されていた場合に、窓部の位置に検出された物体を泥汚れと判別する。
地面に存在している水たまりから水しぶきが自然に生じるとは考えにくいことから、水しぶきが生じた場合には、突発物が検出される前の時点で、水しぶきを生じさせる移動体が検出されていると考えられる。また、その移動体によって水しぶきが発生した場合、突発物は、移動体とレーザレーダ装置との間に検出されると想定される。
そのため、突発物が最初に検出された時点よりも前の観察期間中に近傍エリアを移動する移動体が検出されていたか否か、および、突発物が検出された位置を判定することにより、突発物が水しぶきであるか否かの判定の精度をより向上させることができる。なお、観察期間は、水しぶきであるかを判定できる時間であればよいため、例えば突発物が検出される前の1〜2秒程度の期間、多くても、一桁秒程度の期間に設定すればよい。
請求項6に係る発明では、判別処理によって泥汚れと判別された場合に、窓部に泥汚れが生じたことを報知する報知処理を含んでいる。
レーザレーダ装置により監視を行っている場合等には、測定エリア内に物体が検出されると、侵入が通知され、警備員が出動するような対応が取られることになる。しかし、泥汚れの場合には、清掃員が作業をすれば十分に対応できる。そのため、窓部に泥汚れが生じたことを報知することにより、警備員ではなく清掃員を呼ぶといった柔軟な対応を取ることができる。
請求項7に係る発明では、予め設定されている判定時間が経過した時点で窓部の位置に物体が検出されなかった場合に、窓部に泥汚れが生じる可能性があることを報知する付着可能性報知処理を含んでいる。
判定時間が経過した時点で窓部の位置に物体が検出されなかった場合であっても。突発物すなわち水しぶきがレーザレーダ装置の近傍で生じていることから、将来的には窓部に泥汚れが生じる可能性がある。そのため、付着可能性報知処理を行うことで、実際に泥汚れが生じる前にその可能性を報知することができ、ユーザの利便性が向上する。
請求項8に係る発明では、突発物が検出された回数が予め定められている規定回数を超えたか否か、突発物が検出された頻度が予め定められている規定頻度を超えたか否か、および、突発物が検出された際に近傍エリアで移動体が検出されたか否かのうち、少なくともいずれか1つの判断基準に基づいて、窓部に泥汚れが生じる可能性があることを報知するか否かを決定する。
この場合、規定回数を例えば複数回に設定し、規定頻度を1時間に複数回あるいは1日に複数回のように設定したりすることにより、過度に泥汚れの可能性が報知されることによる煩わしさを低減することができる。
一方、移動体が検出されている場合には、移動体が通過するごとに水しぶきが生じていることになるため、早急に対応するために1回の移動体の検出で泥汚れの可能性を報知することにより、泥汚れが生じる可能性を事前に排除することができる。
また、上記した泥汚れ判定方法の発明と共通する技術的思想に基づいてなされた請求項9に係る泥汚れ判定装置の発明、および請求項10に係る泥汚れ判定プログラムの発明も、同様に、レーザレーダ装置の窓部に付着した物体が自然な泥汚れであるかを判別することができる。
第1実施形態における泥汚れ判定装置を適用した監視装置の構成を模式的に示す図 監視装置の測定エリアを模式的に示す図 泥はねが生じるメカニズムの一例を時系列で模式的に示す図 泥汚れ判定処理の流れを示す図 第2実施形態における泥汚れ判定処理の流れを示す図
以下、本発明の複数の実施形態について、図面を参照しながら説明する。なお、各実施形態において実質的に共通する部位には同一の符号を付して説明する。
(第1実施形態)
以下、本発明の第1実施形態について図1から図4を参照しながら説明する。
図1に示すように、泥汚れ判定装置としても機能する監視装置1は、レーザレーダ装置2と、レーザレーダ装置2を制御する制御装置3とにより構成されている。なお、本実施形態では泥汚れ判定装置をレーザレーダ装置2と制御装置3とにより構成した例を示しているが、後述する泥汚れ判定処理をレーザレーダ装置2側で行うことにより、レーザレーダ装置2単体で泥汚れ判定装置を構成することもできる。
レーザレーダ装置2は、制御部20、照射部21、回転ミラー22、受光部23、および記憶部24等を備えている。これら各部は、筐体25内に収容されている。この筐体25には、レーザ光および反射光を透過させる窓部26が設けられている。
レーザレーダ装置2の制御部20は、図示しないCPUやROMおよびRAMなどを有するマイクロコンピュータにより構成されており、記憶部24などに記憶されているコンピュータプログラムを実行することによりレーザレーダ装置2の全体を制御する。
レーザレーダ装置2は、回転ミラー22を回転させることにより、照射部21から照射されたレーザ光を、所定の走査角度ごとに対象エリアに向けて照射する。そして、レーザレーダ装置2は、レーザ光を照射してから符号Mにて示す物体で反射した反射光が受光部23で受光されるまでの経過時間に基づいて、各走査角度において、物体までの距離を測定する。そして、レーザレーダ装置2により物体が検出された場合には、検出された物体の走査角度および距離等に基づいて、周知のように侵入検知処理が行われる。なお、侵入検知処理では、例えば音声あるいは信号等により侵入物を検出した旨が報知される。
制御装置3は、制御部30および報知部31等を備えている。この制御装置3は、いわゆるパソコンで構成されており、図示は省略するが、レーザレーダ装置2による監視状況やカメラで撮像した画像等を表示する表示部、およびマウスやキーボード等のユーザの操作を入力する入力部も備えている。本実施形態の監視装置1の場合、レーザレーダ装置2側では基本的に物体を検出する処理を行っており、制御装置3側において侵入物の有無の判定や、詳細は後述するが、泥汚れ判定プログラムを実行することにより出現判定処理、判別処理および報知処理等を行っている。つまり、本実施形態では、制御部30が、出現判定処理部、判別処理部を構成している。
次に、上記した構成の作用について説明する。
監視装置1は、図2に示すように、予め設定されている測定エリアR1内の侵入物を検出する。この測定エリアR1は、レーザレーダ装置2の測定限界距離Lmを外縁とする概ね半円状に設定されている。監視装置1は、矢印Sにて示す走査方向で、A0、A1・・・Anとして示す所定の走査角度ごとに、測定エリアR1内の物体、例えば車両4等の検出を繰り返し行っている。なお、図2には示していないが、測定エリアR1内に存在する建物等の固定物は、周知のように、予め侵入検知対象からは外されている。
このレーザレーダ装置2の周囲には、判定距離Lsを外縁とする近傍エリアR2が予め設定されている。この判定距離Lsは、窓部26への泥汚れの付着を検出するために設定されている距離である。本実施形態の場合、水たまり5からの水しぶきに含まれる泥が窓部26に付着することによる泥汚れを想定している。その場合、水たまり5は、比較的レーザレーダ装置2の近くにあると考えられる。そのため、判定距離Lsは、水しぶきが飛散すると想定される程度の距離、例えば、概ね数m〜10m程度の範囲に設定されている。本実施形態では、判定距離Lsは、資材置き場を走行するダンプカー等、重量があり、且つ、タイヤサイズの大きな車両4を考慮して、7mに設定されている。つまり、判定距離Lsは、近傍エリアR2を移動する物体の種類や速度を予め想定しておき、それに応じて設定することができる。
ここで、泥汚れのような自然な汚れがレーザレーダ装置2の窓部26に付着する状況について検討してみる。
レーザレーダ装置2は、監視する対象物によって異なることはあるものの、例えば車両4等を検出する場合には、地面から1m程度の高さに設置されることが考えられる。そのため、窓部26に自然な泥汚れが付着するのは、地面から泥が跳ね上げられたときであると考えられる。ただし、乾燥した泥が自然に跳ね上がることは考えにくいため、泥汚れが付着するとすれば、近傍エリアR2内に水たまり5等が存在し、その上を例えば車両4等の移動体が通過したときに泥が跳ね上げられた可能性が高いと考えられる。
具体的には、図3(a)に示すように、時刻t1の時点において、レーザレーダ装置2の近傍の地面に水たまり5が存在し、その水たまり5に向かって車両4が接近しているとする。このとき、水たまり5は、地面すなわちレーザレーダ装置2の走査面から外れた位置にあるため、物体としてレーザレーダ装置2に検出されることはない。
続いて、図3(b)に示すように、時刻t2の時点において水たまり5に車両4が差しかかると、タイヤが水たまり5を踏むことによって、水たまり5から水しぶき6が生じる。そして、この水しぶき6が窓部26にかかると、水しぶき6に含まれている泥が窓部26に付着して泥汚れになると考えられる。このとき、泥が窓部26に付着する可能性があるのは、水しぶき6が、最低限、窓部26の高さまで跳ね上がった場合である。
そのため、泥汚れが付着する可能性のある水しぶき6が生じた場合には、その水しぶき6は、物体としてレーザレーダ装置2に検出されることになる。なお、レーザレーダ装置2によって検出されるのは水しぶき6の前面であるため、水しぶき6は、データとしては線状に検出されることになるものの、図3(b)および後述する図3(c)では、説明の簡略化のために、水しぶき6を楕円形状にて示している。
この水しぶき6は、近傍エリアR2内に突然出現したかのように検出されることになる。換言すると、水しぶき6は、近傍エリアR2の外縁部つまりは判定距離Lsの位置からの進入が検出されることなく、突発的に近傍エリアR2内に出現した突発物として検出される。このとき、水しぶき6が最初に検出された際の走査角がα1°であったとする。
この水しぶき6がレーザレーダ装置2に徐々に接近していき、その結果、図3(c)に示すように、時刻t3の時点において水しぶき6が窓部26にかかったとする。この場合、水しぶき6は、窓部26のほぼ全域で検出されることになる。そのため、この状態で検出された水しぶき6の走査角がα2°であったとすると、α2は、α1よりも大きいと考えられる。また、水しぶき6が放射状に飛散することを想定すると、突発物までの距離と走査角との関係から求まる突発物の実際の大きさも、時刻t2よりも時刻t3の時点のほうが大きくなっていると考えられる。
そして、水しぶき6に泥が含まれており、水しぶき6が窓部26にかかったことによって、図3(d)に示すように、時刻t4の時点において窓部26の位置に泥汚れが付着物7として検出されたとする。このとき、水しぶき6に含まれている泥が付着したと考えると、その泥は、それほど大きな塊ではないと考えられる。そのため、窓部26の位置に検出された物体が走査角でα3°であったとすると、α3は、α2よりも小さいと考えられる。また、この時点では、突発物として検出された水しぶき6は、既に地面に落下あるいは落下中で測定面から外れており、レーザレーダ装置2によって検出されることはないと考えられる。
このように、レーザレーダ装置2の窓部26に泥汚れが自然に付着する場合には、泥汚れが付着する状況をある程度想定することができる。
そこで、監視装置1は、以下に説明する泥汚れ判定方法により、窓部26の位置に検出された物体が自然に付着した泥汚れであるか否かを判定している。なお、前提として、監視装置1は、従来と同様にレーザレーダ装置2による物体の検出結果に基づいて、測定エリアR1への侵入物を検出する処理も行っている。また、物体が検出された検出結果は、検出履歴として記憶されている。そのため、例えば図3における時刻t4の時点において、時刻t4よりも前の期間の例えば時刻t1、t2等においてどのような事象が発生していたかを、検出履歴に基づいて参照することができる。
監視装置1は、図4に示す泥汚れ判定処理を繰り返し実行している。この泥汚れ判定処理は、制御装置3の制御部30に泥汚れ判定プログラムを実行させることにより実現されている。監視装置1は、泥汚れ判定処理において、まず、出現フラグをOFFし、付着フラグをOFFする(S1)。ここで、出現フラグとは、突発物を検出したときにONされるフラグであり、OFFの場合には突発物が検出されていないことを示し、ONの場合には突発物が検出されたことを示している。また、付着フラグとは、窓部26の位置に物体を検出したとき、つまりは、窓部26に付着物7が付着したときにONされるフラグであり、OFFの場合には付着物7が付着していないことを示し、ONの場合には付着物7が付着していることを示している。
続いて、監視装置1は、突発物を検出したか否かを判定し(S2)、突発物を検出していない場合には(S2:NO)、ステップS2を繰り返し実行する。
これに対して、監視装置1は、突発物を検出した場合には(S2:YES)、出現フラグをONし、(S3)、窓部26の位置に物体を検出したか否かを判定する(S4)。例えば図3(b)に示す時刻t2においては、突発物としての水しぶき6が検出されているものの、窓部26の位置には物体が検出されていない。そのため、この時刻t2のような状況の場合には、監視装置1は、窓部26の位置に物体が検出されていないことから(S4:NO)、ステップS5をスキップしてステップS6に移行する。
このステップS6では、監視装置1は、突発物が検出されなくなったか否かを判定する(S6)。例えば図3(c)に示す時刻t3においては、突発物としての水しぶき6が未だ検出されている。そのため、そのため、この時刻t3のような状況の場合には、監視装置1は、突発物が検出されていることから(S6:NO)、ステップS7をスキップしてステップS8に移行する。
なお、この時刻t3においては、窓部26の位置に物体としての水しぶき6が検出されている状態であるとも言えるが、本実施形態では、水しぶき6が消えた後に窓部26に付着している物体を付着物7と想定している。そのため、水しぶき6のように比較的大きな走査角で検出される物体は付着物7とは扱わずに、図3(d)に示す走査角がα3で検出された物体のように、予め設定されている許容サイズ以下の走査角で検出された物体を付着物7として扱っている。この場合、許容サイズは、走査角で規定しても、実際の大きさを設定してもよい。本実施形態では、許容サイズは概ね数cm程度を設定している。
続いて、監視装置1は、判定時間が経過したか否かを判定する(S8)。ここで、待機期間とは、水たまり5から水しぶき6が跳ね上がったとして、その水しぶきが滞空していると予想される期間として設定されている。
水しぶき6が自然に発生したものである場合には、換言すると、水しぶき6が意図的・恣意的に発生させられたものではない場合には、その水しぶき6は、物理法則に沿った運動をすると考えられる。また、水しぶき6が例えば車両4が水たまりを通過したことによって発生したものである場合には、その水しぶき6が到達する高さは、ある程度想定することができると考えられる。そのため、水しぶき6が到達すると想定される高さから自由落下して地面に到達するまでの時間、つまりは、判定時間をある程度想定することができる。本実施形態では、判定時間を数秒程度に設定している。
監視装置1は、判定時間が経過していない場合には(S8:NO)、ステップS4に移行した後、窓部26の位置に物体を検出したか否かの判定(S4)と、突発物が検出されなくなったか否かの判定(S6)とを繰り返す。
そして、監視装置1は、例えば図3(d)に示すように窓部26の位置に物体が検出されると(S4:YES)、付着フラグをONする(S5)。また、同図に示すように突発物としての水しぶき6が検出されなくなると(S6:YES)、出現フラグをOFFする(S7)。なお、実際の時系列的には、水しぶき6が窓部26にかかり、その水しぶき6が消えた後に(S6:YES)、窓部26に残っている物体が(S4:YES)、付着物7として検出されることになる(S5)。
さて、監視装置1は、判定時間が経過した場合には(S8:YES)、出現フラグがOFFであるか否かを判定する(S9)。なお、判定時間が経過するのを待機しているのは、水しぶき6がかかった際に一時的に付着した後、自然に落ちる物体もあると考えられること、および、判定時間が経過しても窓部26の位置に検出されていれば、付着している可能性が高いと考えられるためである。
監視装置1は、出現フラグがOFFでない場合には(S9:NO)、突発物が未だ検出されていることから、突発物が水しぶき6ではない可能性が高いとして、異常を報知する(S14)。
これに対して、監視装置1は、出現フラグがOFFである場合には(S9:YES)、付着フラグがONであるか否かを判定する(S10)。そして、監視装置1は、付着フラグがONである場合には(S10:YES)、窓部26に付着した付着物7を泥汚れと判別する(S11)。つまり、例えば図3(d)に示すように、突発物としての水しぶき6が検出されなくなり、且つ、窓部26の位置に付着物7が検出されていると、監視装置1は、その付着物7が跳ね上げられた泥汚と判別する。このステップS9〜S11の処理が、判別処理に相当する。
監視装置1は、付着物7が泥汚であると判別すると、泥汚れが生じたことを報知する(S12)。この場合、例えば音声や表示部への表示等により、泥汚れが生じたことが報知される。このステップS12の処理は、報知処理に相当する。
一方、監視装置1は、付着フラグがONではない場合には(S10:NO)、現時点では泥汚れが無いものの、レーザレーダ装置2の近傍で水しぶき6が生じていることから、今後に泥汚れが生じる可能性があるとして、泥汚れが生じる可能性があることを報知する(S13)。この場合、例えば音声や表示部への表示等により、泥汚れが生じる可能性があることが報知される。このステップS13の処理は、付着可能性報知処理に相当する。
このように、監視装置1は、物体が検出されたときの状況や、検出された物体が検出されなくなったときの状況等、レーザレーダ装置2で検出可能なデータに基づいて、窓部26に付着した物体が泥汚れであるか否かを判定している。
なお、図4では、説明の簡略化のために報知処理を行った後で泥汚れ判定処理が終了するようになっているが、報知処理を行った場合であっても泥汚れ判定処理を終了することなく、ステップS1に移行して次の突発物の検出に備えていてもよい。
以上説明した実施形態によれば、次のような効果を得ることができる。
泥汚れ判定方法は、レーザレーダ装置2の周囲に予め設定されている近傍エリアR2を対象として出現判定処理により突発物が検出されたか否かを判定し、突発物が検出されたと判定されてから予め定められている判定時間が経過した時点において、窓部26の位置に物体が検出されている場合であって、且つ、突発物が検出されなくなった場合に、窓部26の位置に検出された物体を泥汚れと判別する判別処理と、を含んでいる。
上記したように、レーザレーダ装置2の窓部26に自然な泥汚れが付着するのは、例えば車両4が水たまり5上を通過した際に跳ね上げられた水しぶき6によるものと考えられる。その場合、水たまり5は、比較的レーザレーダ装置2の近傍に存在していると考えられる。また、自然な水たまり5は地面にあると考えられるため、水しぶき6は、地面から上昇すると考えられ、その場合には、レーザレーダ装置2の測定範囲外から突如としてレーザレーダ装置2の測定範囲内に検出されることになる。
そのため、レーザレーダ装置2の近傍に、水しぶきが飛散すると想定される程度の範囲を近傍エリアR2として設定し、その近傍エリアR2を対象として突発的に出現した突発物が検出されたか否かを判定することで、まず、水しぶき6の可能性がある物体を検出する。
そして、自然な水しぶき6であれば物理法則に沿った動きをすることから、突発物が水しぶき6であった場合には、突発物は、ある程度の時間が経過すると、レーザレーダ装置2の検出範囲から外れることになる。この場合、水たまり5から跳ね上がる水しぶき6の高さを常識的な範囲で想定すれば、水しぶき6であるか否かを判定するための判定時間を設定することができる。
このため、出現判定処理により突発物が検出されたか否かを判定し、突発物が検出されたと判定されてから判定時間が経過した時点において、窓部26の位置に物体が検出されている場合であって、且つ、突発物が検出されなくなった場合には、検出された突発物が高い確率で水しぶき6であると推測できる。
そして、水しぶき6が検出された後で窓部26に付着物7が検出された場合には、その付着物7は、水しぶき6によってもたらされたもの、つまりは、水たまり5から跳ね上げられた泥汚れであると判別することができる。
したがって、レーザレーダ装置2の窓部26に付着した物体が泥汚れであると判別すること、すなわち、自然な泥汚れであるかを判定することができる。
この場合、監視装置1は、物体が検出されたときの状況や、検出された物体が検出されなくなったときの状況等、レーザレーダ装置2でも検出可能なデータに基づいて泥汚れを判別している。このため、特別な専用センサ等を設けなくても、また、既設の装置に対しても、泥汚れ判定方法を適用することができる。
判別処理では、窓部26の位置で検出された物体の大きさが、判定時間が経過した時点において予め設定されている許容サイズ以下である場合に、窓部26の位置に検出された物体を泥汚れと判別する。
水しぶき6に含まれる泥は、それほど大きくないと考えられる。そのため、窓部26の位置で検出された物体の大きさが、例えば1〜2cm程度の許容サイズ以下の物体である場合、泥汚れである可能性が高いと考えることができる。したがって、より高い精度で泥汚れを判別すること、すなわち、自然な汚れであると判定することができる。換言すると、許容サイズを超えるような大きさの物体が検出された場合には、意図的な汚れである可能性が高いと考えることもできる。
泥汚れ判定方法では、判別処理によって泥汚れと判別された場合に、窓部26に泥汚れが生じたことを報知する報知処理を含んでいる。通常、レーザレーダ装置2により監視を行っている場合、物体が検出されると、侵入が報知され、警備員が出動するような対応が取られることになる。しかし、泥汚れの場合には、清掃員が作業をすれば十分に対応できる。そのため、窓部26に泥汚れが生じたことを報知することにより、警備員ではなく清掃員を呼ぶといった対応を取ることができ、ユーザが柔軟な対応を取ることができる。
泥汚れ判定方法では、判定時間が経過した時点で窓部26の位置に物体が検出されなかった場合に、窓部26に泥汚れが生じる可能性があることを報知する付着可能性報知処理を含んでいる。これにより、将来的に泥汚れが生じる可能性を、実際に泥汚れが生じる前に報知することができ、例えば地面をならす等の対応を取ることができる。
また、レーザレーダ装置2と、実施形態では制御装置3の制御部30で実現している出現判定処理部と、同じく制御部30で実現している判別処理部と、を備える泥汚れ判定装置としての監視装置1によっても、上記した泥汚れ判定方法と同様の効果を得ることができる。
また、実施形態では監視装置1で実現している泥汚れ判定装置に、出現判定処理と判別処理とを実行させることを特徴とする泥汚れ判定プログラムによっても、上記した泥汚れ判定方法と同様の効果を得ることができる。
(第2実施形態)
以下、本発明の第2実施形態について図5を参照しながら説明する。なお、本実施形態では、泥汚れ判定処理の一部が第1実施形態と異なっている。
本実施形態の場合、監視装置1は、上記した図4に示す泥汚れ判定処理と同様の処理を行っている。ただし、監視装置1は、図4に示す泥汚れ判定処理のステップS11の処理内容を置き換えている。
具体的には、監視装置1は、図4のステップS10において付着フラグがONであると判定されると(S10:YES)、図5に示すように、物体の検出履歴である検出履歴を参照し(S31)、突発物が徐々に接近したか否か(S32)、突発物が徐々に拡大したか否か(S33)、および、観察期間中に移動体があったか否か(S34)を判定する。
検出された突発物が水しぶき6であった場合、上記した図3(b)、(c)に示したように、その突発物が、徐々にレーザレーダ装置2に近づいてくると考えられる。そのため、監視装置1は、突発物が徐々に接近していることが検出履歴から確認できた場合には(S32:YES)、付着物7が泥汚れであると判定して(S36)、図4に示すステップS12へ移行する。
また、検出された突発物が水しぶき6であった場合、上記した図3(b)、(c)に示したように、その突発物が、徐々に検出される大きさが拡大されてくると考えられる。そのため、監視装置1は、検出履歴に突発物が徐々に拡大していることが検出履歴から確認できた場合には(S33:YES)、付着物7が泥汚れであると判定して(S36)、図4に示すステップS12へ移行する。
また、検出された突発物が水しぶき6であった場合には、水しぶき6が放物線上に跳ね上がると考えられることから、水しぶき6が一旦走査面よりも上に上昇した後、窓部26に上方から降りかかることも想定される。その場合、突発物が一旦検出されなくなった後、新たに突発物が検出されることになるため、先に検出された突発物とは異なる突発物が検出された場合も判定に加えてもよい。また、検出された突発物、あるいは、先に検出された突発物とは異なる突発物がレーザレーダ装置2の走査角度のほぼ全域で検出されたことを判定条件に加えてもよい。これは、跳ね上げられた水しぶき6が窓部26のほぼ全面にかかることも予想されるためである。
また、地面に存在している水たまり5から、水しぶき6が自然に跳ね上がることはないと考えられる。換言すると、水しぶき6が検出される場合には、突発物が検出される前の時点で、水しぶき6を生じさせる移動体が検出されていると考えられる。そのため、監視装置1は、突発物が最初に検出された時点よりも前の観察期間中に近傍エリアR2を移動する移動体が検出されたことが検出履歴から確認できた場合には(S34:YES)、付着物7が泥汚れであると判定して(S36)、図4に示すステップS12へ移行する。なお、観察期間としては、水しぶき6であるかを判定できればよく、突発物が検出される前の1〜2秒程度、多くても一桁秒程度に設定すればよい。この場合、突発物が移動体とレーザレーダ装置2との間で検出されたか否かを判定条件に加えてもよい。
これに対して、監視装置1は、突発物が徐々に接近しておらず(S32:NO)、突発物が徐々に拡大しておらず(S33:NO)、且つ、観察期間中に移動体がなかった場合には(S34:NO)、検出された突発物が水しぶき6である可能性が低いと判断して、泥汚れではないと判定し(S35)、図4に示すステップS14へ移行する。
このように、物体の検出履歴である検出履歴を確認して、突発物が徐々に接近したか否か、突発物が徐々に拡大したか否か、および、観察期間中に移動体があったか否かを判定する履歴確認処理を実行することにより、突発物が水しぶき6である可能性をより高い精度で判断することができる。
(その他の実施形態)
本発明は、上記し且つ図面に記載した態様に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形や拡張をすることができる。
各実施形態で示した距離や数等は例示であり、それに限定されるものではない。
図4のステップS13の付着可能性報知処理では、付着物7がつかなかった場合にそのまま泥汚れが生じる可能性があることを報知する例を示したが、突発物が検出された回数が予め定められている規定回数を超えたか否か、突発物が検出された頻度が予め定められている規定頻度を超えたか否か、および、突発物が検出された際に近傍エリアR2で移動体が検出されたか否かのうち、少なくともいずれか1つの判断基準に基づいて報知するか否かを決定してもよい。
この場合、規定回数を例えば5回と設定したり、規定回数を例えば1日に3回以上のように設定したりすることにより、過度に可能性が報知されることによる煩わしさを低減することができる。なお、規定回数は、例えば車両4が通過する頻度等に応じて適宜設定すればよい。
一方、移動体が検出された場合には、移動体が通るたびに水しぶき6が検出されていることから、早めに対応したほうがよいと考えられるため、1回の移動体の検出で報知してもよい。勿論、移動体の検出回数に応じて報知するか否かを決定してもよい。
実施形態では制御装置3の制御部30で出現判定処理部および判別処理部を構成する例を示したが、レーザレーダ装置2の制御部20で泥汚れ判定プログラムを実行することにより出現判定処理、判別処理および報知処理等を行ってもよい。すなわち、レーザレーダ装置2の制御部20で出現判定処理部および判別処理部を構成してもよい。
実施形態では測定エリアR1を平面的に走査するレーザレーダ装置2を例示したが、回転ミラー22を傾動可能とすることで高さ方向への走査も可能なレーザレーダ装置であっても、突発的に出現した物体を検出し、その後に窓部26に付着した物体があるか否かを検出することで、泥汚れであるか否かを判別することができる。つまり、本願は、高さ方向への走査も可能なレーザレーダ装置にも適用することができる。
図面中、1は監視装置(泥汚れ判定装置)、2はレーザレーダ装置(泥汚れ判定装置)、3は制御装置(泥汚れ判定装置)、4は車両(物体、移動体)、6は水しぶき(物体、突発物)、7は付着物(物体、泥汚れ)、20は制御部(出現判定処理部、判別処理部)、26は窓部、30は制御部(出現判定処理部、判別処理部)、31は報知部、R1は測定エリア、R2は近傍エリアを示す。

Claims (10)

  1. 所定の走査角度ごとに物体までの距離を測定するレーザレーダ装置の窓部の泥汚れを判定するレーザレーダ装置の泥汚れ判定方法であって、
    前記レーザレーダ装置の周囲に予め設定されている近傍エリアを対象として、当該近傍エリアの外縁部からの進入が検出されることなく突発的に検出された物体である突発物が検出されたか否かを判定する出現判定処理と、
    前記出現判定処理によって前記突発物が検出されたと判定されてから予め定められている判定時間が経過した時点において、前記突発物が検出されなくなった場合であって、且つ、前記窓部の位置に新たな物体が検出されている場合に、前記窓部の位置に検出された物体が前記突発物によってもたらされたとして泥汚れと判別する判別処理と、
    を含むことを特徴とするレーザレーダ装置の泥汚れ判定方法。
  2. 前記判別処理では、検出された前記突発物が前記レーザレーダ装置に徐々に接近していることが検出された場合、または、前記突発物が検出された後に当該突発物が検出された位置との間に新たに検出された物体が前記レーザレーダ装置に接近していることが検出された場合に、前記窓部の位置に検出された物体を泥汚れと判別することを特徴とする請求項1記載のレーザレーダ装置の泥汚れ判定方法。
  3. 前記判別処理では、検出された前記突発物の大きさが徐々に拡大していることが検出された場合、または、前記突発物が検出された後に当該突発物との間に新たに検出された物体の大きさが徐々に拡大していることが検出された場合に、前記窓部の位置に検出された物体を泥汚れと判別することを特徴とする請求項1または2記載のレーザレーダ装置の泥汚れ判定方法。
  4. 前記判別処理では、前記判定時間が経過した時点において前記窓部の位置で検出されている物体の大きさが、予め設定されている許容サイズ以下である場合に、前記窓部の位置に検出された物体を泥汚れと判別することを特徴とする請求項1から3のいずれか一項記載のレーザレーダ装置の泥汚れ判定方法。
  5. 前記判別処理では、前記突発物が最初に検出された時点よりも前の観察期間中に前記近傍エリアを移動する移動体が検出されていた場合であって、且つ、前記突発物が当該移動体と前記レーザレーダ装置との間で検出されていた場合に、前記窓部の位置に検出された物体を泥汚れと判別することを特徴とする請求項1から4のいずれか一項記載のレーザレーダ装置の泥汚れ判定方法。
  6. 前記判別処理によって泥汚れと判別された場合に、前記窓部に泥汚れが生じたことを報知する報知処理を含むことを特徴とする請求項1から5のいずれか一項記載のレーザレーダ装置の泥汚れ判定方法。
  7. 予め設定されている判定時間が経過した時点で前記窓部の位置に物体が検出されなかった場合に、前記窓部に泥汚れが生じる可能性があるとして報知する付着可能性報知処理を含むことを特徴とする請求項1から6のいずれか一項記載のレーザレーダ装置の泥汚れ判定方法。
  8. 前記付着可能性報知処理では、前記突発物が検出された回数が予め定められている規定回数を超えたか否か、前記突発物が検出された頻度が予め定められている規定頻度を超えたか否か、および、前記突発物が検出された際に前記近傍エリアで移動体が検出されたか否かのうち、少なくともいずれか1つの判断基準に基づいて、前記窓部に泥汚れが生じる可能性があることを報知するか否かを決定することを特徴とする請求項7記載のレーザレーダ装置の泥汚れ判定方法。
  9. 所定の走査角度ごとに物体までの距離を測定するレーザレーダ装置と、
    前記レーザレーダ装置の周囲に予め設定されている近傍エリアを対象として、当該近傍エリアの外縁部からの進入が検出されることなく突発的に出現した物体である突発物が検出されたか否かを判定する出現判定処理部と、
    前記出現判定処理によって前記突発物が検出されたと判定されてから予め定められている判定時間が経過した時点において、前記突発物が検出されなくなった場合であって、且つ、前記窓部の位置に新たな物体が検出されている場合に、前記窓部の位置に検出された物体が前記突発物によってもたらされたとして泥汚れと判別する判別処理部と、
    を備えることを特徴とする泥汚れ判定装置。
  10. 所定の走査角度ごとに物体までの距離を測定するレーザレーダ装置の窓部の泥汚れを判定する泥汚れ判定装置に、
    前記レーザレーダ装置の周囲に予め設定されている近傍エリアを対象として、当該近傍エリアの外縁部からの進入が検出されることなく突発的に出現した物体である突発物が検出されたか否かを判定する出現判定処理と、
    前記出現判定処理によって前記突発物が検出されたと判定されてから予め定められている判定時間が経過した時点において、前記突発物が検出されなくなった場合であって、且つ、前記窓部の位置に新たな物体が検出されている場合に、前記窓部の位置に検出された物体が前記突発物によってもたらされたとして泥汚れと判別する判別処理と、
    を実行させることを特徴とする泥汚れ判定プログラム。
JP2015224009A 2015-11-16 2015-11-16 レーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラム Active JP6536372B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015224009A JP6536372B2 (ja) 2015-11-16 2015-11-16 レーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015224009A JP6536372B2 (ja) 2015-11-16 2015-11-16 レーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラム

Publications (2)

Publication Number Publication Date
JP2017090379A JP2017090379A (ja) 2017-05-25
JP6536372B2 true JP6536372B2 (ja) 2019-07-03

Family

ID=58768147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015224009A Active JP6536372B2 (ja) 2015-11-16 2015-11-16 レーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラム

Country Status (1)

Country Link
JP (1) JP6536372B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6544213B2 (ja) * 2015-11-17 2019-07-17 株式会社デンソーウェーブ 窓汚れ判別装置、窓汚れ判別方法、窓汚れ判別プログラム
JP2020160943A (ja) * 2019-03-27 2020-10-01 いすゞ自動車株式会社 検出装置及び検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622314B2 (ja) * 1996-01-31 2005-02-23 日産自動車株式会社 車両用レーザレーダ装置
JP3915742B2 (ja) * 2003-06-20 2007-05-16 株式会社デンソー 車両用物体認識装置
FR2919727B1 (fr) * 2007-08-03 2010-07-30 Valeo Vision Procede de detection par un vehicule d'un phenomene perturbateur de visibilite
JP5710108B2 (ja) * 2009-07-03 2015-04-30 日本信号株式会社 光測距装置
US9097800B1 (en) * 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion

Also Published As

Publication number Publication date
JP2017090379A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6665497B2 (ja) レーザレーダ装置の着雪検出方法、着雪検出装置、着雪検出プログラム
EP2048517B1 (en) Laser area sensor
JP5076070B2 (ja) 対象検出装置、対象検出方法、および対象検出プログラム
EP3290915B1 (en) Structure evaluation system, structure evaluation device, and structure evaluation method
JP6544213B2 (ja) 窓汚れ判別装置、窓汚れ判別方法、窓汚れ判別プログラム
JPWO2016208373A1 (ja) 対物センサ、対物センサの汚れ判定方法および物体検出装置
JP6672729B2 (ja) レーザレーダ装置の着雪検出方法、着雪検出装置、着雪検出プログラム
JP2021513634A5 (ja)
JP6536372B2 (ja) レーザレーダ装置の泥汚れ判定方法、泥汚れ判定装置、泥汚れ判定プログラム
KR20130076047A (ko) 교량 보호를 위한 선박 접근 경보 시스템 및 경보 방법
KR101463764B1 (ko) 물체 검출 센서 및 경비 시스템
CN106353755A (zh) 基于微波雷达的周界防护系统和方法
JP6915572B2 (ja) レーザレーダ装置の着雪検出方法および着雪検出装置
JP5539060B2 (ja) 監視用センサ
JP2008009929A (ja) 移動ロボット
JP6911801B2 (ja) 着雪検出装置
JP2017090381A (ja) レーザレーダ装置の泥汚れ検出方法、泥汚れ検出装置、泥汚れ検出プログラム
JP2012038078A (ja) 監視用センサ
JP6838040B2 (ja) 建設機械の障害物検出装置
JP2017090380A (ja) レーザレーダ装置、レーザレーダ装置用の窓部材、及びレーザレーダ装置用の制御プログラム
JP6565626B2 (ja) レーザレーダ装置
JP5590992B2 (ja) 監視用センサ
JP2017096674A (ja) レーザレーダ装置
JP6911802B2 (ja) レーザレーダ装置の着雪検出方法および着雪検出装置
JP5431230B2 (ja) 物体検出センサおよび警備システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190520

R150 Certificate of patent or registration of utility model

Ref document number: 6536372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250