JP5163088B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP5163088B2
JP5163088B2 JP2007321103A JP2007321103A JP5163088B2 JP 5163088 B2 JP5163088 B2 JP 5163088B2 JP 2007321103 A JP2007321103 A JP 2007321103A JP 2007321103 A JP2007321103 A JP 2007321103A JP 5163088 B2 JP5163088 B2 JP 5163088B2
Authority
JP
Japan
Prior art keywords
group
detection
obstacle
grouping
ecu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007321103A
Other languages
English (en)
Other versions
JP2009145123A (ja
Inventor
弘 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007321103A priority Critical patent/JP5163088B2/ja
Publication of JP2009145123A publication Critical patent/JP2009145123A/ja
Application granted granted Critical
Publication of JP5163088B2 publication Critical patent/JP5163088B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、レーダによる検出点を用いて物体を検出する物体検出装置に関する。
近年、衝突防止装置、車間制御装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方を走行する車両を検出することが重要となる。物体検出装置には、レーザレーダなどのレーダで検出した多数の検出点のうち所定の条件を満たす検出点同士をグルーピングし、そのグルーピングした各グループの検出点群から物体の情報を求める(特許文献1、特許文献2参照)。
特開2003−30792号公報 特開2003−255047号公報
レーザレーダではレーザ光を左右方向に所定角度毎に出射しているので、車両の側面の方向とレーザ光の出射方向とが近くなるほど(平行に近づくほど)、側面に当たるレーザ光の間隔が広くなり、検出点が観測され難くなる。そのため、1台の車両において、レーザ光が正対して当たる面に対しては検出点が密に観測されるが、レーザ光が正対しない他の面に対しては検出点が疎にしか観測されない場合がある。このような場合、検出点間の距離が大きくなり、1台の車両の検出点群を複数のグループにグルーピングし、複数の物体として検出してしまう。
そこで、本発明は、レーダを用いた物体検出において物体を高精度に検出する物体検出装置を提供することを課題とする。
本発明に係る物体検出装置は、物体の位置を検出するレーダ検出手段と、レーダ検出手段で今回検出された2個の検出点間の距離が閾値未満の場合には当該2個の検出点を同一のグループとすることによって、レーダ検出手段で検出された各検出点をグルーピングするグルーピング手段と、前回のグループに基づいてグルーピング手段で今回グルーピングされた複数のグループを統合する統合手段と、グルーピング手段又は統合手段で最終的に統合されたグループ毎に、グループに含まれる検出点を用いて物体を検出する物体検出手段と、前回のグループの情報に基づいて該前回のグループの今回の位置を推定する位置推定手段とを備え、位置推定手段は、物体検出手段が物体として検出した前回のグループ毎に、今回の推定位置を推定し、統合手段は、物体検出手段が1つ以上物体を前回検出した場合、今回グルーピングされた各グループと各グループから最も近い推定位置との距離をそれぞれ算出し、同じ物体の推定位置に対する距離が該同じ物体の大きさ未満であるグループ同士を統合することを特徴とする。
この物体検出装置では、レーダ検出手段により電磁波を送信するとともにその反射してきた電磁波を受信し、その電磁波の送受信情報に基づいて物体に対する検出点を取得する。そして、物体検出装置では、グルーピング手段により今回取得した検出点を所定の条件に従ってグルーピングする。この際、1つの物体に対する検出点群が複数のグループとしてグルーピングされている場合がある。そこで、前回のグルーピング結果を利用し、物体検出装置では、統合手段により前回のグループ(前回検出された物体に相当)に基づいて今回グルーピングされた複数のグループを1つに統合する。そして、物体検出装置では、物体検出手段によりグルーピングした各グループの検出点を用いて物体を検出する。このように、この物体検出装置では、前回のグルーピング結果(前回の物体検出結果に相当)を考慮して複数のグループを統合することができるので、物体を高精度に検出することができる。なお、前回のグルーピング結果(前回のグループ)として、直近の前時刻でのグルーピング結果だけでなく、前々時刻でのグルーピング結果などの前時刻以前の過去のグルーピング結果を用いてもよい。
この物体検出装置では、位置推定手段により前回のグループの情報(位置、速度、移動方向など)に基づいて前回のグループが今回の検出時までに移動した位置を推定する。そして、物体検出装置では、統合手段によりその前回のグループの推定位置と今回グルーピングされたグループの位置との位置関係に基づいて前回検出されている物体に対するグループか否かを判断し、今回グルーピングされた複数のグループを統合する。このように、この物体検出装置では、前回のグループの今回推定位置に基づいて複数のグループを統合することにより、高精度に統合を行うことができる。
本発明は、前回の結果を考慮して複数のグループを統合することにより、物体を高精度に検出することができる。
以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。
本実施の形態では、本発明に係る物体検出装置を、車両に搭載される障害物検出装置に適用する。本実施の形態に係る障害物検出装置は、車両周辺の障害物(例えば、他車両、自転車、歩行者)を検出し、検出した障害物情報を車間制御装置、衝突防止装置などの運転支援装置に提供する。検出方向としては、車両の全周方向でもよいし、あるいは、前方、側方、後方などの目的に応じた方向だけでもよい。
図1〜図3を参照して、本実施の形態に係る障害物検出装置1について説明する。図1は、本実施の形態に係る障害物検出装置の構成図である。図2は、図1のECUにおけるグループ統合手法の説明図である。図3は、グループ統合の一例である。
障害物検出装置1は、レーザ光を利用したレーダによって検出点を取得し、その検出点をグルーピングし、グルーピングした各グループの検出点から障害物情報を求める。特に、障害物検出装置1では、グルーピング精度を向上させるために、現時刻でグルーピングした複数のグループを前時刻のグルーピング結果(障害物検出結果)を考慮して統合する。そのために、障害物検出装置1は、レーザレーダ2及びECU[Electronic Control Unit]3を備えている。
なお、本実施の形態では、レーザレーダ2が特許請求の範囲に記載するレーザ検出手段に相当し、ECU3における各処理が特許請求の範囲に記載するグルーピング手段、統合手段、物体検出手段及び位置推定手段に相当する。
レーザレーダ2は、レーザ光を利用して物体を検出するレーダである。レーザレーダ2は、障害物の検出方向(検出領域)に応じて1個又は複数個設けられ、障害物の検出方向に応じて車両の所定の箇所(例えば、前端の中央)に取り付けられる。レーザレーダ2では、一定時間毎に、レーザ光を左右方向の所定角度毎に出射し、反射してきたレーザ光を受光する。レーザ光を受光する毎に、レーザレーダ2では、少なくとも、出射から受光までの時間に基づいて検出点(反射点)との相対距離を算出するとともにレーザ光の出射角度から検出点(反射点)との相対方向を算出する。そして、レーザレーダ2では、一定時間毎に、1回のスキャンで検出できた全ての検出点についての情報(相対距離、相対方向など)をレーダ信号としてECU3に送信する。
ECU3は、CPU[Central ProcessingUnit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなる電子制御ユニットであり、障害物検出装置1を統括制御する。ECU3では、一定時間毎に、レーザレーダ2からレーダ信号を受信する。そして、ECU3では、一定時間毎に、レーダ信号に含まれる検出点の情報を用いて障害物検出処理を行い、障害物を検出できた場合にはその障害物の情報を障害物情報信号として運転支援装置に送信する。
障害物検出処理について説明する。ECU3では、検出点の情報を取得すると、通常のグルーピングを行う。このグルーピング手法としては、従来の手法を適用し、例えば、2個の検出点間の距離が閾値未満の場合にはその2個の検出点を同じグループとする。図2に示す例の場合、現時刻では、検出点P1,P2,P3からなるグループG1、検出点P4,P5からなるグループG2、検出点P6,P7,P8,P9からなるグループG3、検出点P10,P11からなるグループG4、検出点P12,P13からなるグループG5がグルーピングされる。
ECU3では、RAMの所定の領域から前時刻での障害物検出結果(グルーピング結果に相当)を読み出す。前時刻での障害物検出結果で1つ以上の障害物の情報がある場合、ECU3では、前時刻での障害物(前時刻でのグループに相当)毎に、前時刻の障害物の位置、速度、移動方向に基づいて現時刻までに移動した位置を推定する。図2に示す例の場合、前時刻の障害物検出結果として、2つの障害物O1,O2がある。障害物O1は、前時刻の位置Op1から現時刻ではOp1’まで移動したと推定される。障害物O2は、前時刻の位置Op2から現時刻ではOp2’まで移動したと推定される。
ECU3では、前時刻での各障害物に対してそれぞれリスト配列をRAMの所定の領域に確保し、リスト配列を初期化する。リスト配列は前時刻で検出されている障害物に対するグループ(検出点)であると判断されたグループを格納する配列であり、リスト配列に書き込まれた全てのグループが1つのグループ(障害物)となる。図2の例の場合、前時刻で2つの障害物O1,O2が検出されているので、障害物O1に対してlist[1]が用意され、障害物O2に対してlist[2]が用意される。
続いて、ECU3では、上記の通常のグルーピングでグルーピングされたグループを順次抽出し、全てのグループについて以下の処理を行う。ECU3では、抽出したグループの位置と前時刻の各障害物の推定現在位置との間の距離をそれぞれ算出する。この際、抽出したグループの位置は、グループに含まれる全ての検出点の位置から算出される。そして、ECU3では、抽出したグループに最も近い前時刻の障害物の推定現在位置を求める。さらに、ECU3では、抽出したグループが最も近い障害物に対するグループ(検出点)か否かを判断するために、抽出したグループの位置と最も近い前時刻の障害物の推定現在位置との間の距離がその最も近い前時刻の障害物の大きさよりも短いか否かを判定する。そして、ECU3では、距離が障害物の大きさより短い場合にはその最も近い前時刻の障害物のリスト配列に抽出したグループを書き込む。
図2に示す例では、グループG1は前時刻の障害物O1の推定現在位置Op1’に最も近く、グループG1の位置Gp1と推定現在位置Op1’との間の距離が障害物O1の大きさr1より短いので、グループG1は障害物O1に対するリスト配列list[1]に書き込まれる。グループG2は前時刻の障害物O1の推定現在位置Op1’に最も近く、グループG2の位置Gp2と推定現在位置Op1’との間の距離が障害物O1の大きさr1より短いので、グループG2は障害物O1に対するリスト配列list[1]に書き込まれる。グループG3は前時刻の障害物O1の推定現在位置Op1’に最も近く、グループG3の位置Gp3と推定現在位置Op1’との間の距離が障害物O1の大きさr1より短いので、グループG3は障害物O1に対するリスト配列list[1]に書き込まれる。グループG4は前時刻の障害物O2の推定現在位置Op2’に最も近く、グループG4の位置Gp4と推定現在位置Op2’との間の距離が障害物O2の大きさr2より長いので、グループG4は障害物O2に対するリスト配列list[2]に書き込まれない。グループG5は前時刻の障害物O2の推定現在位置Op2’に最も近く、グループG5の位置Gp5と推定現在位置Op2’との間の距離が障害物O2の大きさr2より長いので、グループG5は障害物O2に対するリスト配列list[2]に書き込まれない。したがって、障害物O1に対するリスト配列list[1]={G1,G2,G3}となり、障害物O2に対するリスト配列list[2]={}となる。
続いて、ECU3では、前時刻の各障害物に対するリスト配列を順次抽出し、全てのリスト配列について以下の処理を行う。ECU3では、抽出したリスト配列に書き込まれたグループに含まれる検出点を全て読み出す。そして、ECU3では、その読み出した全ての検出点を構成要素とする新たなグループを生成する。また、ECU3では、抽出したリスト配列から読み出したグループを現時刻でのグループ群から削除する。また、ECU3では、新たに生成したグループを現時刻でのグループ群に追加する。なお、リスト配列にグループが書き込まれていない場合、そのリスト配列についての処理は行われない。図2に示す例では、障害物O1に対するリスト配列list[1]={G1,G2,G3}であるので、グループG1の検出点P1,P2,P3、グループG2の検出点P4,P5、グループG3の検出点P6,P7,P8,P9が読み出され、この検出点P1,・・・,P9からなる新たなグループG123が生成される。障害物O2に対するリスト配列list[2]={}にはグループが書き込まれていないので、新たなグループは生成されない。したがって、現時刻でのグループ群は、新たに生成されたグループG123と通常のグルーピングでグルーピングされたグループG4,G5からなる。
全てのリスト配設についての処理が終了すると、ECU3では、グループ群の中のグループ毎に、グループに含まれる全ての検出点の相対位置、相対方向などからグループ(すなわち、障害物)の位置、大きさ、速度、移動方向などを算出し、これらの障害物検出結果をRAMの所定の領域に一時記憶する。速度や移動方向については、前時刻の障害物情報を利用し(前々時刻などの更に過去の障害物情報も利用してもよい)、前時刻の位置からの変化に基づいて算出される。なお、グループの検出点の数が所定数未満のグループについては、障害物とは認定せず、障害物の情報を算出しない。
なお、前時刻で障害物が検出されていない場合、前時刻での障害物検出結果に基づいてグループ統合の処理を行わないので、通常のグルーピングの結果がそのまま用いられる。
図3に示す例は、車両V1が前時刻での障害物検出で1つの障害物として検出されていたが、現時刻での通常のグルーピングにおいて、車両V1に対する検出点P1,・・・,P10が2つのグループG1とグループG2としてグルーピングされた場合である。車両V1は、前時刻の位置Vp1から現時刻では位置Vp1’まで移動したと推定される。グループ統合処理により、グループG1の位置と推定現在位置Vp1’との距離が車両V1の大きさ未満であり、グループG2の位置と推定現在位置Vp1’との距離が車両V1の大きさ未満であるので、検出点P1,・・・,P7からなるグループG1と検出点P8,P9,P10からなるグループG2とは1つのグループG12に統合される。その結果、現時刻でも、グループG12によって、1つの障害物(車両V1)として検出できる。
図1を参照して、障害物検出装置1における動作について説明する。特に、ECU3における処理については図4のフローチャートに沿って説明する。図4は、図1のECUにおける処理の流れを示すフローチャートである。
レーザレーダ2では、一定時間毎に、左右方向の所定角度毎にレーザ光を出射するとともにその反射光を受光する。そして、レーザレーダ2では、各検出点についての情報を算出し、レーダ信号をECU3に送信する。
レーダ信号を受信する毎(一定時間毎)に、ECU3では、検出点の情報を取得する(S1)。そして、ECU3では、通常のグルーピングによって検出点をグルーピングする(S2)。
ECU3では、前時刻での全ての障害物(グループ)に対して、前時刻での位置、速度、移動方向から現時刻での位置をそれぞれ推定する(S3)。また、ECU3では、前時刻での障害物の数分のリスト配列を用意し、初期化する(S4)。
ECU3では、S2でグルーピングした現時刻でのグループを順次抽出する。そして、ECU3では、抽出したグループと最も近い前時刻の障害物の推定現在位置を探索する(S5)。ECU3では、抽出したグループと最も近い前時刻の障害物の推定現在位置との距離がその最も近い前時刻の障害物の大きさより小さい場合、その最も近い前時刻の障害物に対するリスト配列に抽出したグループを追加する(S6)。
ECU3では、S2でグルーピングした現時刻での全てのグループについての処理が終了したか否かを判定する(S7)。S7にて全てのグループについての処理が終了していないと判定した場合、ECU3では、S5に戻って、次のグループを抽出し、このグループについての処理を行う。
S6にて全てのグループについての処理が終了したと判定した場合、ECU3では、前時刻の各障害物に対するリスト配列を順次抽出する。そして、ECU3では、抽出したリスト配列に含まれるグループの持つ検出点を全て読み出し、その読み出したグループを現時刻でのグループ群から削除する(S8)。さらに、ECU3では、読み出した全ての検出点を構成要素するグループを新たに作成し、その作成したグループを現時刻でのグループ群に追加する(S9)。
ECU3では、全てのリスト配列についての処理が終了したか否かを判定する(S10)。S10にて全てのリスト配列についての処理が終了していないと判定した場合、ECU3では、S8に戻って、次のリスト配列を抽出し、このリスト配列についての処理を行う。
S10にて全てのリスト配列についての処理が終了したと判定した場合、ECU3では、現時刻のグループ群に含まれるグループ毎に、各グループに含まれる検出点の情報に基づいて障害物の情報を算出する(S11)。そして、ECU3では、その障害物の情報を障害物情報信号として運転支援装置に送信する。
この障害物検出装置1によれば、現時刻で通常のグルーピングの後にそのグルーピングした複数のグループを前時刻の障害物検出結果(前時刻の最終的なグルーピング結果)を考慮して統合することにより、1つの障害物が複数のグループとしてグルーピングされた場合でもその1つの障害物に対応したグループに統合することができる。その結果、適切なグルーピングを行うことができ、障害物を高精度に検出することができる。特に、障害物検出装置1では、前時刻の障害物の推定現在位置を算出し、現時刻で検出されたグループと推定現在位置との間の距離と障害物の大きさとの大小関係に応じて統合するか否かを判断することにより、高精度に統合を行うことができる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では車両に搭載される障害物検出装置に適用したが、衝突防止装置、車間制御装置などの運転支援装置や周辺監視装置などの他の装置にも適用可能である。また、検出対象としては、車両周辺の障害物以外にも、物体検出装置の使用用途に応じて様々な物体を検出することも可能である。また、搭載対象としては、車両以外にも、ロボットなどの他のものに搭載することも可能である。
また、本実施の形態ではレーダ検出手段としてレーザレーダを用いる構成としたが、ミリ波レーダなどの他のレーダを用いてもよい。
また、本実施の形態では前時刻での障害物検出結果だけを用いる構成としたが、前々時刻での障害物検出結果やそれ以前の障害物検出結果も用いる構成としてもよい。
本実施の形態に係る障害物検出装置の構成図である。 図1のECUにおけるグループ統合手法の説明図である グループ統合の一例である。 図1のECUにおける処理の流れを示すフローチャートである。
符号の説明
1…障害物検出装置、2…レーザレーダ、3…ECU

Claims (1)

  1. 物体の位置を検出するレーダ検出手段と、
    前記レーダ検出手段で今回検出された2個の検出点間の距離が閾値未満の場合には当該2個の検出点を同一のグループとすることによって、前記レーダ検出手段で検出された各検出点をグルーピングするグルーピング手段と、
    前回のグループに基づいて前記グルーピング手段で今回グルーピングされた複数のグループを統合する統合手段と、
    前記グルーピング手段又は前記統合手段で最終的に統合されたグループ毎に、グループに含まれる検出点を用いて物体を検出する物体検出手段と、
    前回のグループの情報に基づいて該前回のグループの今回の位置を推定する位置推定手段とを備え、
    前記位置推定手段は、前記物体検出手段が物体として検出した前回のグループ毎に、今回の推定位置を推定し、
    前記統合手段は、前記物体検出手段が1つ以上物体を前回検出した場合、今回グルーピングされた各グループと各グループから最も近い推定位置との距離をそれぞれ算出し、同じ物体の推定位置に対する前記距離が該同じ物体の大きさ未満であるグループ同士を統合することを特徴とする物体検出装置。
JP2007321103A 2007-12-12 2007-12-12 物体検出装置 Expired - Fee Related JP5163088B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007321103A JP5163088B2 (ja) 2007-12-12 2007-12-12 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007321103A JP5163088B2 (ja) 2007-12-12 2007-12-12 物体検出装置

Publications (2)

Publication Number Publication Date
JP2009145123A JP2009145123A (ja) 2009-07-02
JP5163088B2 true JP5163088B2 (ja) 2013-03-13

Family

ID=40915890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007321103A Expired - Fee Related JP5163088B2 (ja) 2007-12-12 2007-12-12 物体検出装置

Country Status (1)

Country Link
JP (1) JP5163088B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11828873B2 (en) 2020-02-20 2023-11-28 Samsung Electronics Co., Ltd. Method and apparatus for detecting object based on transforming voxel to pixel images using radar signal

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163087B2 (ja) * 2007-12-12 2013-03-13 トヨタ自動車株式会社 物体検出装置
JP5838901B2 (ja) * 2012-04-25 2016-01-06 トヨタ自動車株式会社 物体識別装置及び物体識別方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3044522B2 (ja) * 1995-03-01 2000-05-22 本田技研工業株式会社 車両における対照物認識方法
JP3044524B2 (ja) * 1995-05-23 2000-05-22 本田技研工業株式会社 車両における対照物検知方法
JP3356058B2 (ja) * 1998-05-27 2002-12-09 三菱自動車工業株式会社 車両用後方モニタシステム
JP3639191B2 (ja) * 2000-07-10 2005-04-20 株式会社デンソー 物体認識方法及び装置、記録媒体
JP3664127B2 (ja) * 2001-06-07 2005-06-22 日産自動車株式会社 物体検出装置
JP4079623B2 (ja) * 2001-11-13 2008-04-23 富士通テン株式会社 レーダ測距装置
JP5163087B2 (ja) * 2007-12-12 2013-03-13 トヨタ自動車株式会社 物体検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11828873B2 (en) 2020-02-20 2023-11-28 Samsung Electronics Co., Ltd. Method and apparatus for detecting object based on transforming voxel to pixel images using radar signal

Also Published As

Publication number Publication date
JP2009145123A (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
JP4595833B2 (ja) 物体検出装置
JP3941765B2 (ja) 物体検出装置
JP5034911B2 (ja) 白線検出装置
CN108140323B (zh) 用于机动车中的环境检测时改进的数据融合的方法和设备
JP6073646B2 (ja) 補正値設定装置、および距離検出装置
US20080106462A1 (en) Object detection system and object detection method
JP5012270B2 (ja) 物体検出装置
JP5712900B2 (ja) 周辺物体検出装置
JP2010271788A (ja) 物体検出装置
JP5316572B2 (ja) 物体認識装置
JP2007304034A (ja) 車載道路形状識別装置
JP7147648B2 (ja) 運転支援装置
JP2006292475A (ja) 物体検出装置
JP2008195293A (ja) 衝突予測装置
US10197672B2 (en) Moving object detection apparatus and drive support apparatus
JP7077967B2 (ja) 走行車線推定装置、走行車線推定方法、及び制御プログラム
RU2019131588A (ru) Структура и способ определения сигнала уклона в транспортном средстве
US11846722B2 (en) Method and apparatus for improving object identification of a radar device with the aid of a lidar map of the surroundings
JP2010108168A (ja) 衝突予測装置
JP2009098023A (ja) 物体検出装置及び物体検出方法
JP5163087B2 (ja) 物体検出装置
JP5163088B2 (ja) 物体検出装置
EP3467545A1 (en) Object classification
JP2015132553A (ja) 物体検出装置
JP2007163317A (ja) レーダー装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5163088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees