JP5976027B2 - センサ軸ずれ検出装置およびセンサ軸ずれ検出方法 - Google Patents

センサ軸ずれ検出装置およびセンサ軸ずれ検出方法 Download PDF

Info

Publication number
JP5976027B2
JP5976027B2 JP2014065484A JP2014065484A JP5976027B2 JP 5976027 B2 JP5976027 B2 JP 5976027B2 JP 2014065484 A JP2014065484 A JP 2014065484A JP 2014065484 A JP2014065484 A JP 2014065484A JP 5976027 B2 JP5976027 B2 JP 5976027B2
Authority
JP
Japan
Prior art keywords
sensor
detection
detection target
sensor information
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014065484A
Other languages
English (en)
Other versions
JP2015187589A (ja
Inventor
森 正憲
正憲 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2014065484A priority Critical patent/JP5976027B2/ja
Publication of JP2015187589A publication Critical patent/JP2015187589A/ja
Application granted granted Critical
Publication of JP5976027B2 publication Critical patent/JP5976027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、複数のセンサ間の軸ずれを検出するセンサ軸ずれ検出装置およびセンサ軸ずれ検出方法に関するものである。
複数のセンサからのセンサ情報を融合することで、単一センサのみではなし得ない周辺状況認識性能を達成するセンサフュージョン技術がある。そして、このようなセンサフュージョン技術においては、各センサ間の座標軸が互いにずれていると、同一の物体を別々の物体と認識してしまい、融合に失敗する。このため、複数のセンサ間での軸ずれがある場合に、このような軸ずれを補正したり、センサ情報の融合を中止したりする技術が提案されている。
このような従来技術の一例として、複数のセンサとして車両に搭載した光学カメラおよびレーザレーダのそれぞれにおいて、検出物体の距離と速度を計測し、検出物体と自車両とが衝突するまでの時間を計算する。そして、それぞれのセンサが計算した衝突するまでの時間が一致するように、光学カメラの水平位置を補正する(例えば、特許文献1参照)。
このような従来技術の別例として、複数のセンサとして車両に搭載した光学カメラおよびミリ波レーダのそれぞれにおいて、検出物体の座標をそれぞれ計測し、計測した座標の複数サンプリングから方位角の軸ずれ補正量を学習する。そして、学習した軸ずれ補正量が一定値よりも大きい場合には、センサ情報の融合を中止する(例えば、特許文献2参照)。
また、このように複数のセンサ間での軸ずれを補正したり、センサ情報の融合を中止したりする前提としては、複数のセンサ間の軸ずれが発生した場合に、この軸ずれを正確に検出する必要がある。
特開2006−011570号公報 特開2010−249613号公報
しかしながら、従来技術には以下のような課題がある。
特許文献1、2に記載の従来技術においては、複数のセンサ間の軸ずれを検出する際には、複数のセンサのすべてが同一の物体を検出することが前提である。しかしながら、複数のセンサのそれぞれの検出特性(検出領域(覆域))が異なるので、これらすべてのセンサが同一の物体を検出できるとは限らない。
そのため、複数のセンサのすべてが同一の物体を検出できない場合には、複数のセンサ間の軸ずれを検出することができないという問題点がある。例えば、第1センサが物体を検出し、第1センサによって検出された物体を第2センサが検出できない場合、第1センサと第2センサとの間の軸ずれを検出することができない。
本発明は、前記のような課題を解決するためになされたものであり、従来と比べて簡単な構成で、複数のセンサのすべてが同一の物体を検出できない場合であっても、複数のセンサ間の軸ずれを検出することのできるセンサ軸ずれ検出装置およびセンサ軸ずれ検出方法を得ることを目的とする。
本発明におけるセンサ軸ずれ検出装置は、第1検出領域に存在する物体の位置に関する情報を第1センサ情報として検出する第1センサと、第2検出領域に存在する物体の位置に関する情報を第2センサ情報として検出する第2センサとの間の軸ずれを検出するセンサ軸ずれ検出装置であって、第1センサおよび第2センサは、同一の物体を検出対象とし、第1センサの座標軸と第2センサの座標軸とが一致しないときの、第1センサの座標軸に対する第2センサの座標軸のずれを軸ずれとして検出し、第1センサから取得した第1センサ情報に基づいて、検出対象が第1検出領域に存在するか否かを判定するとともに、第1センサと第2センサとの間で軸ずれが発生していないと仮定した時の第2検出領域に対応する領域であり、あらかじめ設定されている第2センサの設定覆域に検出対象が存在するか否かを判定する第1センサ情報解析部と、第2センサから取得した第2センサ情報に基づいて、検出対象が第2検出領域に存在するか否かを判定する第2センサ情報解析部と、第1センサ情報解析部による判定結果および第2センサ情報解析部による判定結果にしたがって、第1センサと第2センサとの間での軸ずれの有無を判定する軸ずれ判定部と、を備え、軸ずれ判定部は、第1センサ情報解析部により検出対象が第1検出領域に存在すると判定された場合において、第1センサ情報解析部により第2センサの設定覆域に検出対象が存在すると判定され、かつ、第2センサ情報解析部により検出対象が第2検出領域に存在しないと判定された場合、または第1センサ情報解析部により検出対象が第1検出領域に存在すると判定された場合において、第1センサ情報解析部により第2センサの設定覆域に検出対象が存在しないと判定され、かつ、第2センサ情報解析部により検出対象が第2検出領域に存在すると判定された場合、軸ずれが有りと判定し、第1センサ情報解析部には、第2センサの設定覆域として第2センサのメインローブに当たる設定主覆域および第2センサのサイドローブに当たる設定副覆域に分けられてあらかじめ設定され、第1センサ情報解析部は、第1センサから取得した第1センサ情報に基づいて、あらかじめ設定されている第2センサの設定主覆域に検出対象が存在するか否かをさらに判定し、軸ずれ判定部は、第1センサ情報解析部により検出対象が第1検出領域に存在すると判定された場合において、第1センサ情報解析部により第2センサの設定覆域に検出対象が存在すると判定され、第2センサ情報解析部により検出対象が第2検出領域に存在すると判定され、かつ、第1センサ情報解析部により第2センサの設定主覆域に検出対象が存在しないと判定された場合、第2センサの設定副覆域で、検出対象を検出したと判定し、第2センサの設定覆域の少なくとも一部は、第1検出領域に包含され、第2センサの設定主覆域の少なくとも一部は、第1検出領域に包含されるものである。
また、本発明におけるセンサ軸ずれ検出方法は、第1検出領域に存在する物体の位置に関する情報を第1センサ情報として検出する第1センサと、第2検出領域に存在する物体の位置に関する情報を第2センサ情報として検出する第2センサとの間の軸ずれを検出するセンサ軸ずれ検出装置で実行されるセンサ軸ずれ検出方法であって、第1センサの座標軸と第2センサの座標軸とが一致しないときの、第1センサの座標軸に対する第2センサの座標軸のずれを軸ずれとして検出し、第1センサおよび第2センサは、同一の物体を検出対象とし、第1センサから取得した第1センサ情報に基づいて、検出対象が第1検出領域に存在するか否かを判定するとともに、第1センサと第2センサとの間で軸ずれが発生していないと仮定した時の第2検出領域に対応する領域であり、あらかじめ設定されている第2センサの設定覆域に検出対象が存在するか否かを判定する第1センサ情報解析ステップと、第2センサから取得した第2センサ情報に基づいて、検出対象が第2検出領域に存在するか否かを判定する第2センサ情報解析ステップと、第1センサ情報解析ステップでの判定結果および第2センサ情報解析ステップでの判定結果にしたがって、第1センサと第2センサとの間での軸ずれの有無を判定する軸ずれ判定ステップと、を備え、軸ずれ判定ステップで、第1センサ情報解析ステップで検出対象が第1検出領域に存在すると判定された場合において、第1センサ情報解析ステップで第2センサの設定覆域に検出対象が存在すると判定され、かつ、第2センサ情報解析ステップで検出対象が第2検出領域に存在しないと判定された場合、または第1センサ情報解析ステップで検出対象が第1検出領域に存在すると判定された場合において、第1センサ情報解析ステップで、第2センサの設定覆域に検出対象が存在しないと判定され、かつ、第2センサ情報解析ステップで、検出対象が第2検出領域に存在すると判定された場合、軸ずれが有りと判定し、第1センサ情報解析ステップでは、第2センサの設定覆域として第2センサのメインローブに当たる設定主覆域および第2センサのサイドローブに当たる設定副覆域に分けられてあらかじめ設定され、第1センサ情報解析ステップでは、第1センサから取得した第1センサ情報に基づいて、あらかじめ設定されている第2センサの設定主覆域に検出対象が存在するか否かをさらに判定し、軸ずれ判定ステップでは、第1センサ情報解析ステップにおいて検出対象が第1検出領域に存在すると判定された場合において、第1センサ情報解析ステップにおいて第2センサの設定覆域に検出対象が存在すると判定され、第2センサ情報解析ステップにおいて検出対象が第2検出領域に存在すると判定され、かつ、第1センサ情報解析ステップにおいて第2センサの設定主覆域に検出対象が存在しないと判定された場合、第2センサの設定副覆域で、検出対象を検出したと判定し、第2センサの設定覆域の少なくとも一部は、第1検出領域に包含され、第2センサの設定主覆域の少なくとも一部は、第1検出領域に包含されるものである。
本発明によれば、複数のセンサのそれぞれの設定覆域および検出データに基づいて、複数のセンサ間の軸ずれの有無を判定する。これにより、従来と比べて簡単な構成で、複数のセンサのすべてが同一の物体を検出できない場合であっても、複数のセンサ間の軸ずれを検出することのできるセンサ軸ずれ検出装置およびセンサ軸ずれ検出方法を得ることができる。
本発明の実施の形態1におけるセンサ軸ずれ検出装置の構成を示すブロック図である。 本発明の実施の形態1において、第1センサの第1検出領域および第1設定覆域と、第2センサの第2検出領域および第2設定覆域と、検出対象との位置関係の一例を示す説明図である。 本発明の実施の形態1におけるセンサ軸ずれ検出装置の一連の動作を示すフローチャートである。 本発明の実施の形態2において、第1センサの第1検出領域および第1設定覆域と、第2センサの第2設定覆域に相当する設定主覆域および設定副覆域と、検出対象との位置関係の一例を示す説明図である。 本発明の実施の形態2におけるセンサ軸ずれ検出装置の一連の動作を示すフローチャートである。 本発明の実施の形態3において、第1センサの第1検出領域および第1設定覆域と、第2センサの第2設定覆域に相当する設定主覆域および設定副覆域と、検出対象との位置関係の一例を示す説明図である。 本発明の実施の形態3において、第1センサの第1検出領域と第2センサの設定主覆域および設定副覆域とによって分類される領域を示す概念図である。 本発明の実施の形態3におけるセンサ軸ずれ検出装置の一連の動作を示すフローチャートである。
以下、本発明によるセンサ軸ずれ検出装置およびセンサ軸ずれ検出方法を、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一要素には同一符号を付し、重複する説明を省略する。
実施の形態1.
図1は、本発明の実施の形態1におけるセンサ軸ずれ検出装置30の構成を示すブロック図である。また、この図1におけるセンサ軸ずれ検出装置30には、第1センサ10と、第2センサ20と、表示装置40と、補正装置50とが接続されている。
なお、本実施の形態1においては、座標軸の基準となる第1センサ10と、軸ずれ検出の対象となる第2センサ20との2つのセンサ間の軸ずれを検出するように、センサ軸ずれ検出装置30を構成する場合を例示する。また、以降では、センサ軸ずれ検出装置30を、検出装置30と省略する。
第1センサ10は、自身の検出可能である領域(以降では、第1検出領域11と称す)に存在する物体を検出し、検出した物体に関する情報を第1センサ情報として検出し、検出装置30に出力する。同様に、第2センサ20は、自身の検出可能である領域(以降では、第2検出領域21と称す)に存在する物体を検出し、検出した物体に関する情報を第2センサ情報として検出し、検出装置30に出力する。また、第1センサ10および第2センサ20のそれぞれは、同一の物体を検出対象60とし、このような検出処理を独立に行う。
ここで、第1センサ情報および第2センサ情報には、例えば、検出された物体までの距離、センサの視線方向(検出方向)からみた物体の角度および物体の相対速度が含まれる。また、第2センサ20においては、例えば、センサの視線方向が固定されており、ある特定の方角に存在する物体のみを検出するとともに、検出された物体の角度を計測しない代わりに、物体の距離を計測できるようにして構成してもよい。
また、第1センサ10および第2センサ20のそれぞれの検出特性(検出領域)は、用いるセンサの種類によってあらかじめ決まっている既知のものである。検出装置30には、第1センサ10と第2センサ20との間で軸ずれが発生していないと仮定した時のこれらの検出特性があらかじめ設定(記憶)されている。なお、以降では、第1センサ10と第2センサ20との間で軸ずれが発生していないと仮定した時の、第1センサ10の第1検出領域11を第1設定覆域12と称し、第2センサ20の第2検出領域21を第2設定覆域22と称す。
検出装置30は、第1センサ情報解析部31、第2センサ情報解析部32および軸ずれ判定部33を有する。
第1センサ情報解析部31は、第1解析処理として、第1センサ10が出力する第1センサ情報を取得し、取得した第1センサ情報に基づいて、検出対象60が第1検出領域11に存在するか否かを判定する。また、第1センサ情報解析部31は、さらに第1解析処理として、取得した第1センサ情報に基づいて、検出対象60が第2設定覆域22に存在するか否かを判定する。
第2センサ情報解析部32は、第2解析処理として、第2センサ20が出力する第2センサ情報を取得し、取得した第2センサ情報に基づいて、検出対象60が第2検出領域21に存在するか否かを判定する。また、第1センサ情報解析部31および第2センサ情報解析部32は、このような判定結果(解析結果)を軸ずれ判定部33に出力する。
軸ずれ判定部33は、第1センサ情報解析部31および第2センサ情報解析部32が出力した判定結果を取得し、取得した判定結果に基づいて、第1センサ10と第2センサ20との間で軸ずれが発生しているか否かを判定する。また、軸ずれ判定部33は、このような判定結果を軸ずれ情報として外部に出力する。
ここで、例えば、図1で例示したように、軸ずれ判定部33が外部の表示装置40に軸ずれ情報を出力するように構成した場合、表示装置40は、この軸ずれ情報を表示する。これにより、第1センサ10と第2センサ20との間で軸ずれが発生しているか否かを知ることができる。
また、図1で例示したように、軸ずれ判定部33が外部の補正装置50に軸ずれ情報を出力するように構成した場合、補正装置50は、第1センサ10と第2センサ20との間で軸ずれが有りと判定されていれば、公知の技術を用いて、この軸ずれを補正する。
次に、本実施の形態1における検出装置30の動作について、図2を参照しながら説明する。図2は、本発明の実施の形態1において、第1センサ10の第1検出領域11および第1設定覆域12と、第2センサ20の第2検出領域21および第2設定覆域22と、検出対象60との位置関係の一例を示す説明図である。なお、検出装置30においては、第1センサ10の第1検出領域11および第1設定覆域12が一致していることを前提として、第1センサ10と第2センサ20との間で軸ずれが発生しているか否かを判定するように構成されている。
図2(a)は、検出対象60が第1センサ10の第1検出領域11と、第2センサ20の第2検出領域21および第2設定覆域22とに存在する状況の一例を示している。また、図2(a)の状況では、第2センサ20の実際の覆域に相当する第2検出領域21と、第2設定覆域22とが一致している(同じである)。
このような状況の場合、検出装置30は、第1センサ10と第2センサ20との間で軸ずれが発生していないと判定する。
図2(b)は、検出対象60が第1検出領域11および第2設定覆域22に存在し、かつ第2検出領域21に存在しない状況の一例を示している。すなわち、図2(b)の状況では、第2検出領域21と第2設定覆域22とが一致しておらず、本来、軸ずれが発生していなければ第2センサ20が検出できるはずの検出対象60が実際には検出できていない状況である。
このような状況の場合、検出装置30は、第1センサ10と第2センサ20との間で軸ずれが発生していると判定する。
図2(c)は、検出対象60が第1検出領域11および第2検出領域21に存在し、かつ第2設定覆域22に存在しない状況の一例を示している。すなわち、図2(c)の状況では、第2検出領域21と第2設定覆域22とが一致しておらず、本来、軸ずれが発生していなければ第2センサ20が検出できないはずの検出対象60が実際には検出できている状況である。
このような状況の場合、図2(b)の状況と同様に、検出装置30は、第1センサ10と第2センサ20との間で軸ずれが発生していると判定する。
図2(d)は、検出対象60が第1検出領域11に存在し、かつ第2検出領域21および第2設定覆域22に存在しない状況の一例を示している。また、図2(d)の状況では、第2検出領域21と第2設定覆域22とが一致している。
このような状況の場合、図2(a)の状況と同様に、第1センサ10と第2センサ20との間で軸ずれが発生していないと判定する。
次に、本実施の形態1における検出装置30の動作(軸ずれ判定処理)について、図3のフローチャートを参照しながら説明する。図3は、本発明の実施の形態1におけるセンサ軸ずれ検出装置30の一連の動作を示すフローチャートである。なお、図3のフローチャートは、例えば、あらかじめ設定されたタイミングで実行されるように構成される。
ステップS101(「センサ検出データ取得」ステップ)において、第1センサ情報解析部31は、第1センサ10から第1センサ情報を取得し、第2センサ情報解析部32は、第2センサ20から第2センサ情報を取得し、ステップS102へと進む。
ステップS102(「第1センサ検出?」ステップ)において、第1センサ情報解析部31は、取得した第1センサ情報に基づいて、検出対象60が第1検出領域11に存在するか否かを判定する。
そして、第1センサ情報解析部31は、検出対象60が第1検出領域11に存在する(すなわち、Yes)と判定した場合には、ステップS103へと進む。一方、第1センサ情報解析部31は、検出対象60が第1検出領域11に存在しない(すなわち、No)と判定した場合には、ステップS110へと進む。この場合、ステップS110において、軸ずれ判定部33は、「軸ずれ不明」と判定し、一連の処理を終了する。
ステップS103(「第2センサ覆域内?」ステップ)において、第1センサ情報解析部31は、取得した第1センサ情報と、あらかじめ設定された第2センサ20の設定覆域22とに基づいて、第1検出領域11に存在する検出対象60が第2設定覆域22に存在するか否かを判定する。
そして、第1センサ情報解析部31は、検出対象60が第2設定覆域22に存在する(すなわち、Yes)と判定した場合には、ステップS104へと進む。一方、第1センサ情報解析部31は、検出対象60が第2設定覆域22に存在しない(すなわち、No)と判定した場合には、ステップS107へと進む。
ステップS104(「第2センサ検出?」ステップ)において、第2センサ情報解析部32は、取得した第2センサ情報に基づいて、第2設定覆域22に存在する検出対象60が第2検出領域21に存在するか否かを判定する。
そして、第2センサ情報解析部32は、検出対象60が第2検出領域21に存在する(すなわち、Yes)と判定した場合には、ステップS105へと進む。この場合、ステップS105において、軸ずれ判定部33は、「軸ずれなし」と判定し、一連の処理を終了する。一方、第2センサ情報解析部32は、検出対象60が第2検出領域21に存在しない(すなわち、No)と判定した場合には、ステップS106へと進む。この場合、ステップS106において、軸ずれ判定部33は、「軸ずれあり」と判定し、一連の処理を終了する。
ステップS107(「第2センサ検出?」ステップ)において、第2センサ情報解析部32は、取得した第2センサ情報に基づいて、第2設定覆域22に存在しない検出対象60が第2検出領域21に存在するか否かを判定する。
そして、第2センサ情報解析部32は、検出対象60が第2検出領域21に存在する(すなわち、Yes)と判定した場合には、ステップS108へと進む。この場合、ステップS108において、軸ずれ判定部33は、「軸ずれあり」と判定し、一連の処理を終了する。一方、第2センサ情報解析部32は、検出対象60が第2検出領域21に存在しない(すなわち、No)と判定した場合には、ステップS109へと進む。この場合、ステップS109において、軸ずれ判定部33は、「軸ずれなし」と判定し、一連の処理を終了する。
なお、先の図2(a)〜(d)のそれぞれの状況において、図3のフローチャートは以下のように実行される。
すなわち、図2(a)の状況では、ステップS101→S102→S103→S104→S105の順に実行され、軸ずれ判定部33は、「軸ずれなし」と判定することとなる。また、図2(b)の状況では、ステップS101→S102→S103→S104→S106の順に実行され、軸ずれ判定部33は、「軸ずれあり」と判定することとなる。
図2(c)の状況では、ステップS101→S102→S103→S107→S108の順に実行され、軸ずれ判定部33は、「軸ずれあり」と判定することとなる。また、図2(d)の状況では、ステップS101→S102→S103→S107→S109の順に実行され、軸ずれ判定部33は、「軸ずれなし」と判定することとなる。
以上、本実施の形態1によれば、第1センサおよび第2センサは、同一の物体を検出対象とし、第1センサの第1検出領域に存在する検出対象が、あらかじめ設定されている第2センサの設定覆域に存在し、かつ第2検出領域に存在しない場合、第1センサと第2センサとの間で軸ずれが発生している(「軸ずれあり」)と判定するように構成する。
また、第1センサの第1検出領域に存在する検出対象が、あらかじめ設定されている第2センサの設定覆域に存在せず、かつ第2検出領域に存在する場合、第1センサと第2センサとの間で軸ずれが発生している(「軸ずれあり」)と判定するように構成する。
これにより、簡単な構成で、すべてのセンサで同一物体を検出している(すべてのセンサの検出領域に同一物体が存在する)とは限らない状況であっても、複数のセンサ間の軸ずれを検出することができる。
なお、本実施の形態1では、第1センサ10と第2センサ20との2つのセンサ間の軸ずれを検出する場合を例示して説明したが、センサの数は2つに限定されるものではなく、3つ以上のセンサに対しても本願発明を適用することができ、同様に軸ずれを検出することができる。
実施の形態2.
本発明の実施の形態2では、先の実施の形態1と異なり、副覆域の存在を考慮する場合について説明する。なお、本実施の形態2における検出装置30としては、先の実施の形態1における検出装置30と比べて、構成は同様であるが、動作が異なる。したがって、ここでは、先の実施の形態1における検出装置30とは異なる動作を中心に説明する。
図4は、本発明の実施の形態2において、第1センサ10の第1検出領域11および第1設定覆域12と、第2センサ20の第2設定覆域22に相当する設定主覆域22aおよび設定副覆域22bと、検出対象60との位置関係の一例を示す説明図である。なお、図4では、第2センサ20の第2検出領域21と第2設定覆域22とが一致している状況を示しているので、第2検出領域21の図示を省略している。
ここで、先の実施の形態1と異なり、第2センサ20で一部に限定した検出処理を行う範囲(主覆域)以外に、検出が期待されていない領域(副覆域)が存在する状況を想定する。例えば、第2センサ20がミリ波レーダ等である場合、主覆域としてメインローブを、副覆域としてサイドローブをそれぞれ設定することができる。このように、副覆域の存在を考慮する場合、従来においては、第2センサ20によって検出された検出対象60が第2検出領域21のうちの主覆域内と副覆域内とのどちらに存在するのかを区別することができない。
しかしながら、本実施の形態2における検出装置30は、先の実施の形態1と同様の動作をするとともに、さらに、第2センサ20によって検出された検出対象60が主覆域内と副覆域内とのどちらに存在するのかを区別することができる。
具体的には、本実施の形態2では、第1センサ情報解析部31には、第2設定覆域22として設定主覆域22aおよび設定副覆域22bに分けてあらかじめ設定されるように構成する。すなわち、第1センサ情報解析部31には、既知である第2センサ20の主覆域および副覆域のそれぞれの検出特性(検出領域)が設定主覆域22aおよび設定副覆域22bとしてあらかじめ設定される。
次に、本実施の形態2における検出装置30の動作について、図5のフローチャートを参照しながら説明する。図5は、本発明の実施の形態2におけるセンサ軸ずれ検出装置30の一連の動作を示すフローチャートである。なお、図5のフローチャートは、例えば、あらかじめ設定されたタイミングで実行されるように構成される。また、図5のフローチャートは、先の図3のフローチャートと比べて、新しいステップとしてステップS111、S112が追加されている。したがって、これらの追加されたステップを中心に説明し、先の図3のフローチャートと同様のステップについては説明を省略する。
ステップS104において、第2センサ情報解析部32は、取得した第2センサ情報に基づいて、第2設定覆域22に存在する検出対象60が第2検出領域21に存在する(すなわち、Yes)と判定した場合、ステップS111へと進む。
ステップS111(「第2センサ主覆域内?」ステップ)において、第1センサ情報解析部31は、第1センサ情報とあらかじめ設定された設定主覆域22aとに基づいて、第1検出領域11、第2設定覆域22および第2検出領域21に存在する検出対象60が設定主覆域22aに存在するか否かを判定する。
そして、第1センサ情報解析部31は、検出対象60が設定主覆域22aに存在する(すなわち、Yes)と判定した場合には、ステップS105へと進む。この場合、ステップS105において、先の実施の形態1と同様に、軸ずれ判定部33は、「軸ずれなし」と判定し、一連の処理を終了する。一方、第1センサ情報解析部31は、検出対象60が設定主覆域22aに存在しない(すなわち、No)と判定した場合には、ステップS112へと進む。この場合、ステップS112において、軸ずれ判定部33は、第2センサ20の副覆域で、検出対象60を検出したと判定する。
このように、図5のフローチャートにおいてステップS111、S112を新たに追加することで、第2センサ20によって検出された検出対象60が主覆域内と副覆域内とのどちらに存在するのかを区別することができる。すなわち、第1センサ10と第2センサ20との間で軸ずれが発生しているか否かを、第2センサ20の副覆域内での検出可能性を含めて判定することができる。
なお、先の図4の状況において、図5のフローチャートは以下のように実行される。すなわち、図4の状況では、ステップS101→S102→S103→S104→S111→S112の順に実行され、軸ずれ判定部33は、第2センサ20の副覆域で、検出対象60を検出したと判定することとなる。
以上、本実施の形態2によれば、第2センサの設定覆域として設定主覆域および設定副覆域に分けられてあらかじめ設定され、第1センサの第1検出領域に存在する検出対象が、第2センサの設定覆域および第2検出領域に存在し、かつ第2センサの設定主覆域に存在しない場合、第2センサの副覆域で、検出対象を検出したと判定するように構成する。
これにより、先の実施の形態1と同様の効果が得られるとともに、簡単な構成で、第2センサの検出が主覆域内と副覆域内のどちらであるかを区別することができる。
また、従来技術においては、例えば、ミリ波レーダにおけるサイドローブなど、検出が期待されていない信号は存在しないことを前提とするので、もしそのような信号が存在した場合、誤って軸ずれが検出されてしまう可能性がある。これに対して、本実施の形態2におけるセンサ軸ずれ検出装置では、副覆域の存在を考慮して構成されているので、誤って軸ずれを検出することがない。
実施の形態3.
本発明の実施の形態3では、先の実施の形態2と異なり、第2センサ20の設定副覆域22bの一部が第1センサ10の検出領域11の外側にあることを考慮する場合について説明する。なお、本実施の形態3における検出装置30としては、先の実施の形態1、2における検出装置30と比べて、構成は同様であるが、動作が異なる。したがって、ここでは、先の実施の形態1、2における検出装置30とは異なる動作を中心に説明する。
図6は、本発明の実施の形態3において、第1センサ10の第1検出領域11および第1設定覆域12と、第2センサ20の第2設定覆域22に相当する設定主覆域22aおよび設定副覆域22bと、検出対象60との位置関係の一例を示す説明図である。なお、図6では、先の図4と同様に、第2センサ20の第2検出領域21と第2設定覆域22とが一致している状況を示しているので、第2検出領域21の図示を省略している。
ここで、先の実施の形態2と異なり、図6に例示するように、第1センサ10の第1検出領域11と、第2センサ20の設定副覆域22bとが重複しない領域が存在する状況を想定する。
このような状況をより一般的に示したものが図7に相当する。図7は、本発明の実施の形態3において、第1センサ10の第1検出領域11と第2センサ20の設定主覆域22aおよび設定副覆域22bとによって分類される領域を示す概念図である。なお、第2センサ20の設定主覆域22aおよび設定副覆域22bのそれぞれは、図6に示すように互いに重複しないことを前提としている。
図7において、領域(1)は、検出対象60が第1センサ10の第1検出領域11に存在し、かつ第2センサ20の設定主覆域22aおよび設定副覆域22bに存在しない状況に相当する。また、領域(2)は、検出対象60が設定主覆域22aに存在し、かつ第1検出領域11および設定副覆域22bに存在しない状況に相当する。さらに、領域(3)は、検出対象60が第1検出領域11および設定主覆域22aに存在し、かつ設定副覆域22bに存在しない状況に相当する。
領域(4)は、検出対象60が第1検出領域11および設定副覆域22bに存在し、かつ設定主覆域22aに存在しない状況に相当する。また、領域(5)は、検出対象60が設定副覆域22bに存在し、かつ第1検出領域11および設定主覆域22aに存在しない状況に相当する。さらに、領域(6)は、検出対象60が第1検出領域11、設定主覆域22aおよび設定副覆域22bに存在しない状況に相当する。
次に、本実施の形態3における検出装置30の動作について、図8のフローチャートを参照しながら説明する。図8は、本発明の実施の形態3におけるセンサ軸ずれ検出装置30の一連の動作を示すフローチャートである。なお、図8のフローチャートは、例えば、あらかじめ設定されたタイミングで実行されるように構成される。また、図8のフローチャートは、先の図5のフローチャートと比べて、新しいステップとしてステップS113、S114が追加されている。したがって、これらの新しいステップを中心に説明し、先の図3、図5のフローチャートと同様のステップについては説明を省略する。
ステップS102において、第1センサ情報解析部31は、取得した第1センサ情報に基づいて、検出対象60が第1検出領域11に存在しない(すなわち、No)と判定した場合には、ステップS113へと進む。
ステップS113(「第2センサ検出?」ステップ)において、第2センサ情報解析部32は、取得した第2センサ情報に基づいて、第1検出領域11に存在しない検出対象60が第2検出領域21に存在するか否かを判定する。
そして、ステップS113において、第2センサ情報解析部32は、検出対象60が第2検出領域21に存在しない(すなわち、No)と判定した場合には、ステップS110へと進む。この場合、ステップS110において、先の実施の形態1、2と同様に、軸ずれ判定部33は、「軸ずれ不明」と判定し、一連の処理を終了する。
一方、ステップS113において、第2センサ情報解析部32は、検出対象60が第2検出領域21に存在する(すなわち、Yes)と判定した場合には、ステップS114へと進む。この場合、ステップS114において、軸ずれ判定部33は、軸ずれの有無を判定することなく、第2センサ20のみで検出対象60を検出したと判定し、一連の処理を終了する。
このように、図8のフローチャートにおいてステップS113、S114を新たに追加することで、第2センサ20によって検出された検出対象60が第2センサ20のみで検出されたかを判定することができる。すなわち、第1センサ10と第2センサ20との間で軸ずれが発生しているか否かを、第2センサ20の副覆域内での検出可能性、および第1センサの覆域外での検出可能性を含めて判定することができる。
次に、本実施の形態3における検出装置30の動作について、先の図7、図8を参照しながらさらに説明する。
第1センサ10で検出対象60を検出するともに検出対象60が第2センサ20の第2設定覆域22に存在し、かつ第2センサ20で検出対象60を検出するとともに検出対象60が第2センサ20の設定主覆域22aに存在する場合、検出対象60は、領域(3)に存在する。この場合、ステップS105において、軸ずれ判定部33は、「軸ずれなし」と判定することとなる。
第1センサ10で検出対象60を検出するともに検出対象60が第2センサ20の第2設定覆域22に存在し、かつ第2センサ20で検出対象60を検出するとともに検出対象60が第2センサ20の設定主覆域22aに存在しない場合、検出対象60は、領域(4)に存在する。この場合、ステップS112において、軸ずれ判定部33は、第2センサ20の副覆域で、検出対象60を検出したと判定する。
第1センサ10で検出対象60を検出するともに検出対象60が第2センサ20の第2設定覆域22に存在し、かつ第2センサ20で検出対象60を検出していない場合、検出対象60は、領域(1)〜(6)のいずれの領域にも存在しない。この場合、ステップS106において、軸ずれ判定部33は、「軸ずれあり」と判定することとなる。
第1センサ10で検出対象60を検出するとともに検出対象60が第2センサ20の第2設定覆域22に存在せず、かつ第2センサ20で検出対象60を検出している場合、検出対象60は、領域(1)〜(6)のいずれの領域にも存在しない。この場合、ステップS108において、軸ずれ判定部33は、「軸ずれあり」と判定することとなる。
第1センサ10で検出対象60を検出するとともに検出対象60が第2センサ20の第2設定覆域22に存在せず、かつ第2センサ20で検出対象60を検出していない場合、検出対象60は、領域(1)に存在する。この場合、ステップS109において、軸ずれ判定部33は、「軸ずれなし」と判定することとなる。
第1センサ10で検出対象60を検出せず、かつ第2センサ20で検出対象60を検出している場合、検出対象60は、領域(2)および領域(5)のいずれかに存在する。この場合、ステップS114において、軸ずれ判定部33は、第2センサ20のみで検出対象60を検出したと判定することとなる。
第1センサ10で検出対象60を検出せず、かつ第2センサ20で検出対象60を検出していない場合、検出対象60は、領域(6)に存在する。この場合、ステップS110において、軸ずれ判定部33は、「軸ずれ不明」と判定することとなる。
以上、本実施の形態3によれば、第1検出領域に存在しない検出対象が第2センサの第2検出領域に存在する場合、第2センサのみで検出対象を検出したと判定するように構成する。
これにより、先の実施の形態1、2と同様の効果が得られるとともに、簡単な構成で、2センサによって検出された検出対象が第2センサのみで検出されたかを判定することができる。
なお、本実施の形態3では、第1センサ10で検出対象60を検出しておらず、かつ第2センサ20で検出対象60を検出していれば、第2センサ20のみで検出対象60を検出したと判定するように構成したがこれに限定されない。すなわち、第1センサ10の検出領域11内に設定主覆域22aが含まれていることを前提とする場合においては、第1センサ10で検出対象60を検出しておらず、かつ第2センサ20で検出対象60を検出していれば、検出対象60が第2センサ20の副覆域で検出されたと判定するように構成してもよい。
10 第1センサ、11 第1検出領域、12 第1設定覆域、20 第2センサ、21 第2検出領域、22 第2設定覆域、22a 設定主覆域、22b 設定副覆域、30 軸ずれ検出装置、31 第1センサ情報解析部、32 第2センサ情報解析部、33 軸ずれ判定部、40 表示装置、50 補正装置、60 検出対象。

Claims (3)

  1. 第1検出領域に存在する物体の位置に関する情報を第1センサ情報として検出する第1センサと、第2検出領域に存在する物体の位置に関する情報を第2センサ情報として検出する第2センサとの間の軸ずれを検出するセンサ軸ずれ検出装置であって、
    前記第1センサおよび前記第2センサは、同一の物体を検出対象とし、
    前記第1センサの座標軸と第2センサの座標軸とが一致しないときの、前記第1センサの座標軸に対する前記第2センサの座標軸のずれを前記軸ずれとして検出し、
    前記第1センサから取得した前記第1センサ情報に基づいて、前記検出対象が前記第1検出領域に存在するか否かを判定するとともに、前記第1センサと前記第2センサとの間で前記軸ずれが発生していないと仮定した時の前記第2検出領域に対応する領域であり、あらかじめ設定されている前記第2センサの設定覆域に前記検出対象が存在するか否かを判定する第1センサ情報解析部と、
    前記第2センサから取得した前記第2センサ情報に基づいて、前記検出対象が前記第2検出領域に存在するか否かを判定する第2センサ情報解析部と、
    前記第1センサ情報解析部による判定結果および前記第2センサ情報解析部による判定結果にしたがって、前記第1センサと前記第2センサとの間での軸ずれの有無を判定する軸ずれ判定部と、
    を備え、
    前記軸ずれ判定部は、
    前記第1センサ情報解析部により前記検出対象が前記第1検出領域に存在すると判定された場合において、前記第1センサ情報解析部により前記第2センサの設定覆域に前記検出対象が存在すると判定され、かつ、前記第2センサ情報解析部により前記検出対象が前記第2検出領域に存在しないと判定された場合、
    または
    前記第1センサ情報解析部により前記検出対象が前記第1検出領域に存在すると判定された場合において、前記第1センサ情報解析部により前記第2センサの設定覆域に前記検出対象が存在しないと判定され、かつ、前記第2センサ情報解析部により前記検出対象が前記第2検出領域に存在すると判定された場合、
    前記軸ずれが有りと判定し、
    前記第1センサ情報解析部には、前記第2センサの設定覆域として前記第2センサのメインローブに当たる設定主覆域および前記第2センサのサイドローブに当たる設定副覆域に分けられてあらかじめ設定され、
    前記第1センサ情報解析部は、
    前記第1センサから取得した前記第1センサ情報に基づいて、あらかじめ設定されている前記第2センサの前記設定主覆域に前記検出対象が存在するか否かをさらに判定し、
    前記軸ずれ判定部は、
    前記第1センサ情報解析部により前記検出対象が前記第1検出領域に存在すると判定された場合において、
    前記第1センサ情報解析部により前記第2センサの設定覆域に前記検出対象が存在すると判定され、前記第2センサ情報解析部により前記検出対象が前記第2検出領域に存在すると判定され、かつ、前記第1センサ情報解析部により前記第2センサの前記設定主覆域に前記検出対象が存在しないと判定された場合、
    前記第2センサの前記設定副覆域で、前記検出対象を検出したと判定し、
    前記第2センサの前記設定覆域の少なくとも一部は、前記第1検出領域に包含され、
    前記第2センサの前記設定主覆域の少なくとも一部は、前記第1検出領域に包含される センサ軸ずれ検出装置。
  2. 請求項1に記載のセンサ軸ずれ検出装置において、
    前記軸ずれ判定部は、
    前記第1センサ情報解析部により前記検出対象が前記第1検出領域に存在しないと判定され、かつ、前記第2センサ情報解析部により前記検出対象が前記第2検出領域に存在すると判定された場合、
    前記第2センサのみで前記検出対象を検出したと判定する
    センサ軸ずれ検出装置。
  3. 第1検出領域に存在する物体の位置に関する情報を第1センサ情報として検出する第1センサと、第2検出領域に存在する物体の位置に関する情報を第2センサ情報として検出する第2センサとの間の軸ずれを検出するセンサ軸ずれ検出装置で実行されるセンサ軸ずれ検出方法であって、
    前記第1センサの座標軸と第2センサの座標軸とが一致しないときの、前記第1センサの座標軸に対する前記第2センサの座標軸のずれを前記軸ずれとして検出し、
    前記第1センサおよび前記第2センサは、同一の物体を検出対象とし、
    前記第1センサから取得した前記第1センサ情報に基づいて、前記検出対象が前記第1検出領域に存在するか否かを判定するとともに、前記第1センサと前記第2センサとの間で前記軸ずれが発生していないと仮定した時の前記第2検出領域に対応する領域であり、あらかじめ設定されている前記第2センサの設定覆域に前記検出対象が存在するか否かを判定する第1センサ情報解析ステップと、
    前記第2センサから取得した前記第2センサ情報に基づいて、前記検出対象が前記第2検出領域に存在するか否かを判定する第2センサ情報解析ステップと、
    前記第1センサ情報解析ステップでの判定結果および前記第2センサ情報解析ステップでの判定結果にしたがって、前記第1センサと前記第2センサとの間での軸ずれの有無を判定する軸ずれ判定ステップと、
    を備え、
    前記軸ずれ判定ステップで、
    前記第1センサ情報解析ステップで前記検出対象が前記第1検出領域に存在すると判定された場合において、前記第1センサ情報解析ステップで前記第2センサの設定覆域に前記検出対象が存在すると判定され、かつ、前記第2センサ情報解析ステップで前記検出対象が前記第2検出領域に存在しないと判定された場合、
    または
    前記第1センサ情報解析ステップで前記検出対象が前記第1検出領域に存在すると判定された場合において、前記第1センサ情報解析ステップで、前記第2センサの設定覆域に前記検出対象が存在しないと判定され、かつ、前記第2センサ情報解析ステップで、前記検出対象が前記第2検出領域に存在すると判定された場合、
    前記軸ずれが有りと判定し、
    前記第1センサ情報解析ステップでは、前記第2センサの設定覆域として前記第2センサのメインローブに当たる設定主覆域および前記第2センサのサイドローブに当たる設定副覆域に分けられてあらかじめ設定され、
    前記第1センサ情報解析ステップでは、
    前記第1センサから取得した前記第1センサ情報に基づいて、あらかじめ設定されている前記第2センサの前記設定主覆域に前記検出対象が存在するか否かをさらに判定し、
    前記軸ずれ判定ステップでは、
    前記第1センサ情報解析ステップにおいて前記検出対象が前記第1検出領域に存在すると判定された場合において、
    前記第1センサ情報解析ステップにおいて前記第2センサの設定覆域に前記検出対象が存在すると判定され、前記第2センサ情報解析ステップにおいて前記検出対象が前記第2検出領域に存在すると判定され、かつ、前記第1センサ情報解析ステップにおいて前記第2センサの前記設定主覆域に前記検出対象が存在しないと判定された場合、
    前記第2センサの前記設定副覆域で、前記検出対象を検出したと判定し、
    前記第2センサの前記設定覆域の少なくとも一部は、前記第1検出領域に包含され、
    前記第2センサの前記設定主覆域の少なくとも一部は、前記第1検出領域に包含される センサ軸ずれ検出方法。
JP2014065484A 2014-03-27 2014-03-27 センサ軸ずれ検出装置およびセンサ軸ずれ検出方法 Active JP5976027B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014065484A JP5976027B2 (ja) 2014-03-27 2014-03-27 センサ軸ずれ検出装置およびセンサ軸ずれ検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014065484A JP5976027B2 (ja) 2014-03-27 2014-03-27 センサ軸ずれ検出装置およびセンサ軸ずれ検出方法

Publications (2)

Publication Number Publication Date
JP2015187589A JP2015187589A (ja) 2015-10-29
JP5976027B2 true JP5976027B2 (ja) 2016-08-23

Family

ID=54429888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014065484A Active JP5976027B2 (ja) 2014-03-27 2014-03-27 センサ軸ずれ検出装置およびセンサ軸ずれ検出方法

Country Status (1)

Country Link
JP (1) JP5976027B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3667359A1 (de) * 2018-12-11 2020-06-17 Volkswagen AG Verfahren zur ermittlung einer vorliegenden dejustage wenigstens eines sensors innerhalb eines sensorverbundes

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6514828B2 (ja) * 2016-08-12 2019-05-15 株式会社小糸製作所 照明システムおよびセンサシステム
JP6848725B2 (ja) * 2017-06-29 2021-03-24 株式会社デンソー 車両用の対象物検出装置および車両用の対象物検出装置における水平方向の軸ずれ判定方法
JP6637472B2 (ja) * 2017-07-06 2020-01-29 本田技研工業株式会社 情報処理方法及び情報処理装置
RU2742323C2 (ru) * 2018-12-29 2021-02-04 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и компьютерное устройство для определения углового смещения радиолокационной системы

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3331882B2 (ja) * 1995-12-27 2002-10-07 株式会社デンソー 車両用障害物検出装置の中心軸偏向量算出装置,中心軸偏向量補正装置,および車間制御装置
JPH09218265A (ja) * 1996-02-14 1997-08-19 Nissan Motor Co Ltd レーダ中心軸自動補正装置
JP2000028715A (ja) * 1998-07-14 2000-01-28 Nippon Signal Co Ltd:The 複合形レーダセンサ
DE19962997B4 (de) * 1999-12-24 2010-06-02 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Sensorsystems
JP2005114542A (ja) * 2003-10-08 2005-04-28 Hitachi Ltd 障害物検知装置及びそれを用いた障害物警報装置
JP2006011570A (ja) * 2004-06-23 2006-01-12 Daihatsu Motor Co Ltd カメラキャリブレーション方法及びカメラキャリブレーション装置
JP5146716B2 (ja) * 2007-03-01 2013-02-20 マツダ株式会社 車両用障害物検知装置
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP2011043387A (ja) * 2009-08-20 2011-03-03 Toyota Motor Corp 車載レーダシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3667359A1 (de) * 2018-12-11 2020-06-17 Volkswagen AG Verfahren zur ermittlung einer vorliegenden dejustage wenigstens eines sensors innerhalb eines sensorverbundes
US11604245B2 (en) 2018-12-11 2023-03-14 Volkswagen Aktiengesellschaft Method for establishing the presence of a misalignment of at least one sensor within a sensor group

Also Published As

Publication number Publication date
JP2015187589A (ja) 2015-10-29

Similar Documents

Publication Publication Date Title
JP5976027B2 (ja) センサ軸ずれ検出装置およびセンサ軸ずれ検出方法
JP6643166B2 (ja) 物体認識装置及び物体認識方法
US10126410B2 (en) Determination of an elevation misalignment angle of a radar sensor of a motor vehicle
JP5835243B2 (ja) 物標認識装置
JP5316572B2 (ja) 物体認識装置
JP2014153211A (ja) 周辺監視システム及び周辺監視システムの軸ずれ検知方法
JPWO2018079297A1 (ja) 故障検知装置
KR20160056129A (ko) 주변차량의 위치정보 보정 시스템 및 방법
KR101473736B1 (ko) 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법
KR101915363B1 (ko) Gps 음영 지역에서 차량을 측위하는 장치 및 그 방법
JP2004037239A (ja) 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2014137288A (ja) 車両周辺監視装置および車両周辺監視方法
KR20210061875A (ko) 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
WO2016031918A1 (ja) 軸ずれ診断装置
KR20200052751A (ko) 차량용 측위 장치 및 그의 측위 방법과 그를 포함하는 차량
JP6075377B2 (ja) 通信装置、通信システム、通信方法およびプログラム
US11333790B2 (en) Method of setting a plurality of part regions of a desired protected zone
CN103728615A (zh) 相控阵二次雷达多目标检测方法及系统
US20120032924A1 (en) Touch screen apparatus
US20160137157A1 (en) Object recognition device
US20180172475A1 (en) Drive Device with Detection Apparatus and Method
US20230260395A1 (en) Correction data generation device, correction data generation method and computer readable medium
US11709269B2 (en) Method, processing unit and surveying instrument for improved tracking of a target
US10469823B2 (en) Image apparatus for detecting abnormality of distance image
US11039114B2 (en) Method for determining distance information from images of a spatial region

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160719

R150 Certificate of patent or registration of utility model

Ref document number: 5976027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250