JP4745149B2 - 移動ロボット - Google Patents

移動ロボット Download PDF

Info

Publication number
JP4745149B2
JP4745149B2 JP2006182377A JP2006182377A JP4745149B2 JP 4745149 B2 JP4745149 B2 JP 4745149B2 JP 2006182377 A JP2006182377 A JP 2006182377A JP 2006182377 A JP2006182377 A JP 2006182377A JP 4745149 B2 JP4745149 B2 JP 4745149B2
Authority
JP
Japan
Prior art keywords
road surface
mobile robot
obstacle
distance
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006182377A
Other languages
English (en)
Other versions
JP2008009927A (ja
Inventor
洋正 大町
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2006182377A priority Critical patent/JP4745149B2/ja
Publication of JP2008009927A publication Critical patent/JP2008009927A/ja
Application granted granted Critical
Publication of JP4745149B2 publication Critical patent/JP4745149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、走行路面の障害物を検出しつつ屋外を走行する移動ロボットに関し、特に走行路面が濡れていても障害物の検出精度を確保するための技術に関する。
従来、走行路面の障害物を検出しつつ走行する移動ロボットは、特許文献1にあるように距離検知センサを用いて、床面(走行路面)に向けて距離測定用のレーザ光を左右方向に所定サンプリング間隔にて投受光し、得られた距離データに基づいて障害物を検出していた。
図11は、従来の移動ロボットRによる障害物検出の状態を説明する図であって、右側に移動ロボットR、レーザ光L、走行路面S及び障害物Hの位置関係を側面視した図を示し、左側には距離検知センサにて計測した距離データを平面視した図を示している。左側の距離データは、距離検知センサを中心に左右(X軸方向)及び前後(Y軸方向)に平面視した直交座標系にて模式的に示している。また、移動ロボットRの移動の履歴を見るために、時刻t,t+1,t+2,t+3,t+4の時刻の経過順に上下に並べて示している。
時刻tでは、移動ロボットRのレーザ光Lは走行路面Sに投光され、走行路面Sからの反射光を受光する。このため、左欄にあるように、走行路面Sのレーザ光Lが当たっているところまでの距離が計測されている。
時刻t+1では、移動ロボットRが障害物Hにやや近づき、レーザ光Lが障害物Hの走行路面Sに近い高さに当たった状態である。この場合、計測される距離データは、左欄に示すように走行路面Sからの反射光による距離と障害物Hからの反射光による距離に差が生じる。
t+2では、移動ロボットRがt+1時点より更に近づき、レーザ光Lが障害物Hの中間的な高さに当たった状態である。この場合、計測される距離データは、左欄に示すように走行路面Sからの反射光による距離と障害物Hからの反射光による距離の差がt+1時点より大きく生じる。
t+3では、移動ロボットRがt+2時点より更に近づき、レーザ光Lが障害物Hの上方部に当たった状態である。この場合、計測される距離データは、左欄に示すように走行路面Sからの反射光による距離と障害物Hからの反射光による距離の差がt+2時点より更に大きくなる。
t+4では、移動ロボットRのレーザ光Lは障害物Hの上方を通過して走行路面Sに投光され、走行路面Sからの反射光を受光する。このため、左欄にあるように、走行路面Sのレーザ光Lが当たっているところまでの距離が計測されている。
なお、通常では、移動ロボットRが障害物に衝突するのを防ぐために、障害物Hを検出した時点で停止または回避動作を行うので、t+4まで移動させないように制御されるが、今回は説明のために記載している。
移動ロボットRでは、図11の左欄に示すような距離データに基づいて、障害物Hを検出している。すなわち、同図から明らかなように、走行路面Sからの反射光による距離データは、略等距離のデータとして計測され、障害物Hは走行路面Sからの反射光による距離データよりも近距離のデータとなる。そこで、移動ロボットRでは、走行路面Sによる距離データより所定閾値以上の距離差があれば障害物として検出していた。なお、所定閾値は、距離差が障害物の走行路面からの高さに相当することを考慮し、走行に障害となるか否かを判定するのに使用している。
特開平1-293410号公報
しかしながら、雨が降り、走行路面が濡れるとレーザセンサによる正しい距離値が得にくくなる。特にレーザセンサを走行路面に対して浅い角度で設置している場合、走行路面の状況によっては、レーザ光が鏡面反射して距離値がまったく得られなかったり、受光した反射光による信号の波形の立ち上がり位置が判断しにくい等のため、距離値の誤差が大きくなることがあり、距離値の誤差によって実際の走行路面よりも短い値(近い距離)が得られた場合には、障害物と間違えて判定してしまうことがある。
例えば、移動ロボットが速度10km/h(277.7cm/s) で走行し、レーザセンサのサンプリング周期が33msとすると、移動ロボットが9.2cm 移動するごとにセンサデータが得られることになる。ここで、障害物にレーザ光が当たる場合、センサの取付角度が約10度とすると、レーザ光が障害物に当たる位置は、ロボットが移動するにつれて障害物の高さ方向に1.6cm(=tan10°*9.2) ずつずれていくことになる。
ここで移動ロボットが5cm までの段差を乗り越えることができる場合には、5cm 以上の高さの物体を走行を阻害する障害物として検出することが必要となる。
したがって、5cm 高の障害物を発見するにはセンシング結果が3.4cm <h ≦5cm の範囲内である必要があり、すなわち5cm のものを確実に見つけるには閾値を3.4cm として設定する必要がある。
しかし、前述の通り、走行路面が濡れることにより誤差が大きくなり、実際の距離よりも短い値が得られると、高さの低い物体であっても高さ3.4 cm以上の障害物として誤検出される可能性があるという問題点があった。
また、移動ロボットの走行速度が速いと、レーザセンサのサンプリング周期の限界により、走行距離に対する計測できる距離データのサンプル数が少なくなる。すなわち、速度が遅ければ、t〜t+4までの5周期分の距離データを取得できるが、速度が倍程度速くなるとt、t+2、t+4の3周期分の距離データしか取得できない。また、走行路面が濡れてくると、レーザ光の受光数が少なくなるので、計測できる距離データの数が少なくなる。したがって、移動ロボットの走行速度が速いこと、及び走行路面が濡れていることに起因して、計測できる距離データのサンプル数がかなり少なくなるので、結果的に障害物の検出精度の低下を招いてしまうという問題があった。
本発明は、上記問題に鑑みてなされたものであり、走行路面の状態(雨による濡れ)に応じて、障害物検出の判定基準である閾値を変更あるいは走行速度を落とすことにより、障害物検出における誤報の可能性を減じて判定精度を向上させることを目的とする。
請求項1に記載された移動ロボットは、走行する路面の濡れ状態を検出可能な移動ロボットであって、
前記路面に対して一定周期ごとに距離計測用の検知波を送波するとともに反射波を受波して移動ロボットまでの距離を測定する測距センサと、
前記路面の濡れ状態を検知する路面状態判定手段と、
前記測距センサにて計測した前記周期ごとの距離データの差を所定閾値と比較することにより、前記所定閾値を越える大きさの前記路面上に存在する障害物を検出する障害物判定手段と、
前記移動ロボットの走行速度を制御する制御手段を具備し、
前記制御手段は、前記路面状態判定手段にて路面の濡れ状態を検出すると、前記走行速度を前記路面が乾いた状態のときよりも前記測距センサの走行距離に対するデータ取得間隔が短くなるような速度に制限することを特徴としている。
請求項2に記載された移動ロボットは、請求項1記載の移動ロボットにおいて、
前記障害物判定手段は、前記路面状態判定手段にて路面の濡れ状態を検知すると、前記所定閾値を前記路面の濡れ状態を検出していないときの閾値よりも前記障害物を検出しにくい値とすることを特徴としている。
請求項3に記載された移動ロボットは、請求項1または2記載の移動ロボットにおいて、
前記所定閾値は、移動ロボットの走行に支障を与える障害物の前記路面からの高さに相当する値に基づいて定めることを特徴としている。
請求項4に記載の移動ロボットは、請求項1乃至請求項3のいずれか一つに記載の移動ロボットにおいて、
前記路面状態判定手段は、前記測距センサにて計測した距離データを前記路面の距離データに基づいて設定された一定値と比較した結果に基づき前記路面の濡れ状態を検知することを特徴としている。
請求項1に記載された移動ロボットによれば、一定周期で動作する測距センサを備えた移動ロボットの制御において、走行路面が濡れている場合には移動ロボットの速度を制限することにより、移動ロボットの走行距離に対する測距センサによる見かけ上のサンプリング間隔を高め、これによって障害物の検出データをより多く取得して走行路面と障害物の距離差をより細密に得ることができる。
請求項2に記載された移動ロボットによれば、測距センサによる見かけ上のサンプリング間隔を高めたために、障害物判定の閾値をより厳しい値に変えることが可能となり、これによって走行路面の濡れによる誤報を減少させつつ、同時に必要な検出精度を達成することができる。
従来技術では、走行路面乾燥時には、移動ロボットの走行速度が相対的に速くても、非障害物(誤報対象)からのデータは閾値にはかからず、誤報は発生しないが、走行路面濡れ時には乾燥時よりもデータの誤差が大きくなるため、移動ロボットの走行速度と閾値がそのままであると、誤報が生じる可能性が高まる。そこで誤報を避けるためには閾値を相対的に高くする必要がある。しかし、走行速度が速いままだと走行距離に対するデータ取得間隔が相対的に長くサンプル数が少ないので、前述したように誤報を避けるために単に閾値を相対的に高くしたのでは本来検出すべき障害物を見逃すおそれがある。
そこで、雨天時には走行速度を遅くして走行距離に対するデータ取得間隔を短くする(サンプル数を増加する)ことにより、走行路面と障害物の距離差をより細密に得られるようにするとともに、これにより閾値を高い値にすることができることから、障害物を見落としなく、かつ、誤報を避けることもできるようになる。
1.全体の構成(図1)
図1は、本発明の一実施形態に係る移動ロボット1が利用される環境である監視区域の平面図と、同移動ロボット1の外観を示す斜視図である。
この移動ロボット1は、例えば警備目的のために使用される自律移動型のロボットであり、監視区域内の所定経路を巡回しながら図示しない異常判定用のセンサや撮像ユニット7、レーザセンサ2にて監視区域内の異常の検出を行うものである。
図1(a)において、建物の周囲が、予め設定された移動ロボット1が巡回する移動経路とされており、その移動経路の全長にわたってガイド手段としての白線テープ3が固定的に設けられている。監視区域は、建物と、この建物の周囲を一周するように設定された白線テープ3を含む所定面積の範囲とされている。
また経路中の所定の地点には、白線テープ3の近傍に地点指示手段としての指示マーカ4が固定的に配置されている。指示マーカ4は、白色矩形のマークとして移動経路上に設定された走行区間の境界に設けられており、移動経路上に設定された走行区間や指示マーカ4が設定された地点を移動ロボット1に指示するものである。
また、白線テープ3の中途には、移動ロボット1による監視巡回行動の1サイクルにおける開始地点(出発点)及び終了地点(到着点)となり、ロボット不使用時の格納庫であるとともに、さらに移動ロボット1のバッテリーを充電する充電装置を備えたロボットボックスが配置されている。
なお、図1には示さないが、例えば前記建物内のセキュリティー関連部署等には監視センタが設置されている。この監視センタには、本例の移動ロボット1及びこれに関連するシステムを運用するための管制装置等が配置されており、係員がその運用に当たる。
図1(b)にその外観を示すように、移動ロボット1は、移動手段である左右の車輪6で前記白線テープ3に沿って走行しつつ、本体の正面側に装備した障害物検知手段としてのレーザセンサ2により、移動方向前方の監視区域を図示一点鎖線で示すように走査する。本体の上部には、全周囲を撮像できる撮像ユニット7が装備されており、レーザセンサ2等によって異常を発見した場合やその他必要な場合に周囲の必要な位置の画像を撮像できるようになっている。
そして、この移動ロボット1は、監視巡回行動中に監視区域内で異常を検出すると、遠隔の前記監視センタに撮像画像とともに異常信号を送出する。監視センタでは、異常信号を受信すると、受信した撮像画像を表示して異常の確認を行い、移動ロボット1を遠隔操作して異常対処を行う。
2.移動ロボット1の構成(図1及び図2)
図2は、本例の移動ロボット1の具体的な構成を示す機能ブロック図である。
この移動ロボット1は、移動手段6,8、ガイド検出部10、移動制御部9、自己位置検出部13、測距センサ16、記憶部17、処理部18、撮像ユニット7、通信部20及びこれら各部を制御する制御部21、各部に電力を供給する電源部22を有している。以下に各部ごとに説明する。
(1) 移動手段
移動ロボット1は図1(b)に示すように4つの車輪6を有しており、それらのうち右前輪6、左前輪6の2つが駆動輪として機能する。移動手段は、右前輪6,左前輪6と左右各前輪6を独立に駆動する2つのモータ8で構成されており、左右各前輪6の回転速度により直進走行速度、旋回走行速度が制御され、旋回方向も制御される。この左右各前輪6の回転速度は移動制御部9により制御される。なお、左右前輪6を独立に制御する代わりに、舵角を制御して旋回速度を制御する方式でもよいし、車輪駆動でなく、左右のクローラを独立に制御する方式でもよい。
(2) ガイド検出部
ガイド検出部10は、移動経路上のガイド手段である前述した白線テープ3を検出する。
ガイド検出部10は、白線検出カメラ11と路面情報抽出部12とから成る。白線検出カメラ11は、走行路面を撮影可能な様に移動ロボット1の底面に設置されている。路面情報抽出部12は、エッジ抽出やハフ変換などの処理により、白線検出カメラ11の撮影画像から、移動ロボット1の経路を誘導すべき白線テープ3及び指示マーカ4を検出して制御部21に出力する。
なお、ガイド検出部10は、磁気センサ、電磁誘導センサなどで構成されても良く、それぞれ移動経路に設置されたガイド手段としての磁気ガイド、電磁誘導ガイドを検出するようにすることもできる。ガイド手段及びガイド検出部は設置する環境により選択できるようにすることが好ましい。また、巡回経路上にガイド手段や地点指示手段を設けることなく、デッドレコニングやGPSにより算出する位置情報に基づき、巡回経路上の各地点を認識するようにしてもよい。
(3) 移動制御部
移動制御部9は、移動手段の車輪6を駆動するモータ8を制御するための手段である。移動制御部9は、ガイド検出部10による白線テープ3の検知出力に応じて、例えば周知のPID制御などにより、移動ロボット1が白線テープ3に沿って移動するようモータ8を制御する。また、移動制御部9は、後述する自己位置検出部13の位置算出部15による走行区間の検出に応じて、予め設定された経路情報に基づき移動速度を制御し、位置算出部15による特定地点の検出に応じて走行停止する。
(4) 自己位置検出部
自己位置検出部13は、前記移動手段の各モータ8にそれぞれ設置された回転量検出部としてのレゾルバ14と、各レゾルバ14にそれぞれ接続された位置算出部15からなる。レゾルバ14はモータ8の回転軸の絶対位置をそれぞれ検出する。位置算出部15はレゾルバ14の出力から得られるモータ8の回転軸の回転量から左右各前輪輪6それぞれの回転量を算出し、左右各前輪6それぞれの回転量と車輪半径から算出された左右各前輪6の走行距離の平均から移動ロボット1の走行距離を算出する。
本例では移動ロボット1の巡回経路は固定されているため、走行距離をもって自己位置とすることができる。走行距離として記録するのは、開始地点からの総距離としてもよいし、各指示マーカ4の位置からの距離として記録してもよい。なお、位置算出部15は左右各前輪それぞれの回転量の差と車輪間隔から移動ロボットの姿勢(向き)の変化を算出して左右各前輪による走行距離と姿勢変化からデッドレコニングにより自己位置を算出してもよい。
また、自己位置算出部13は、ガイド検出部10による指示マーカ4の検知出力に応じて、指示マーカ4の検知回数を計数し、経路情報に基づき現在の走行区間を検出するとともに、自己位置の補正などを行う。
(5) 測距センサ
測距センサ16は、移動ロボット1の前方を走査して走行路面の状態、走行路面上の異物その他の被検出対象を検出するための手段である。
測距センサ16は、図3に示すように移動ロボット1の本体の前面側に、進行方向の前方下方に向けて設置されたレーザセンサ2からなり、レーザ発振器より照射されるレーザ光が光路上にある物体にて反射した際の反射光を受光する。測距センサ16は、走査鏡とこの走査鏡を回転駆動する手段とによりレーザ発振器から発射されるレーザ光の照射方向を制御して、移動ロボット1の前方を含む所定の範囲を所定周期(例えば33ms)で空間走査している。
なお、図3(a)には、本例の移動ロボット1におけるレーザセンサ2と測定点との幾何学的位置関係を示し、図3(b)には、同レーザセンサ2の走査角度範囲Φで示すセンシングエリア(斜線領域)及び同エリア内におけるセンサ測定データ数についての一例を示した。図示したように、本例ではレーザセンサ2によるセンシングエリアとして移動ロボット1の正面140°を設定し、走査鏡を0.5°ずつ回転させてセンシングエリアを走査している。これによりレーザセンサ2による一周期の走査で281個の測定点のデータが所得される。
そして、測距センサ16はレーザ光の照射から反射光検出までの時間により算出される測距センサ16とレーザ光を反射した物体(測定点)との距離値と、回転駆動される走査鏡の角度とにより、レーザ光を反射した物体、即ちレーザ光を反射した測定点の相対位置を算出する。相対位置は、移動ロボット1を基準とした測定点の位置(距離値、角度)である。測距センサ16はレーザセンサ2が一周期走査するごとに測定結果を出力する。
なお、測距センサ16はレーザセンサ以外のセンサで構成されてもよい。例えば、測距センサ16は赤外線タイプのセンサで構成されてもよく、ミリ波レーダタイプのセンサで構成されてもよい。また、走査鏡により走査する構成に限らず、移動ロボットの周囲所定角度毎に複数の投受光部を設けて、各投受光部を所定周期で作動させることにより、周囲下方の路面や障害物までの距離値を得るよう構成されてもよい。この場合、測距センサ16は各投受光部の測定結果をまとめて出力する。
(6) 記憶部
記憶部17は、移動ロボット1の各種処理に使用される情報を記憶している。記憶部17が記憶する情報には、以下1)〜4)のものが含まれる。
1)移動経路の情報を示した経路情報
2)障害物マップ
3)位置算出部により算出された移動ロボット1の位置情報
4)障害物判定用の閾値
1)の経路情報は、走行経路中の各区間(ある指示マーカ4から次の指示マーカ4までの区間)番号に対応して、区間内での走行速度maxHとmaxL(maxH>maxL)、予め測量した区間距離、区間の始点終点間の方位角の差(角度差)及び各区間を走行している時の車輪径、各指示マーカ4上での移動ロボット1の動作が記憶されている。経路情報では、区間番号が、該当区間までに検出されるべき指示マーカ4の数(検出回数)と対応付けられている。走行制御では、指示マーカ4の検出回数から区間番号や指示マーカ4上での移動ロボット1の動作が特定され、そして区間番号から各区間における車輪径が特定されることとなる。
2)の障害物マップは、測距センサ16、処理部18で検出された障害物情報を一時的に記憶するための移動ロボット1周囲所定範囲を示したマップである。図4に示すように、移動ロボット1に設置されたレーザセンサ2の位置を原点(0,0)としたそのマップエリアの中には、停止エリア、減速エリアが設定されており、検出された障害物や走行路面の濡れ情報がマップに登録される。そして、移動ロボット1が走行するごとに、その移動に応じてマップ上に登録された障害物データの座標変換を行う。
3)の位置情報は、自己位置検出部13の位置算出部15によって算出された移動ロボット1の自己位置情報である。
4)の障害物判定用の閾値は、移動ロボット1が乗り越えられないような走行に支障を与える高さの物体を障害物として検出するために物体の高さに相当する値と比較される閾値である。閾値として設定される値として、相対的に大きな値thH(障害物ありと判定するための閾値として厳しい値)と相対的に低い値thL(障害物ありと判定するための閾値として緩い値)の2つの値が予め記憶されており、この内何れかが、後述する障害物検知に係る制御で障害物判定用閾値として設定される。
(7) 処理部
処理部18は路面状態判定部23と障害物判定部19を備えている。路面状態判定部23は、レーザセンサ2の出力結果に基づき路面状態が乾燥しているか、濡れているかを判定し、判定結果を制御部21に出力する。この結果、制御部21は路面状態に応じた上限速度(maxH又はmaxL)で走行するよう移動制御部9に信号を出力する。障害物判定部19は、測距センサ16の出力に基づき異常の有無を判定する。障害物判定部19は、測距センサ16の一周期の走査結果として出力されたデータに含まれる距離値の差を閾値(thH又はthL)と比較して、所定以上の高さを持つ障害物が存在するか否かを判定する。前述したように、測距センサ16が路面を走査した結果として出力したデータに含まれる距離値の差(走査鏡の角度毎における距離値の差)は、障害物の高さに相当する値となる。この障害物高さに相当する値を閾値処理することで、移動ロボット1の走行に支障を与える高さの障害物が存在するか否かを判定するのである。そして、移動ロボット1の走行に支障を与える高さの障害物が検出され異常と判定されると、後述する通信部20より異常信号が出力され、また、移動制御部9が移動ロボット1の停止や減速などの予め定められた処理を行う。障害物判定部19は、前記障害物マップを用いて異常を判定する。具体例は後述する。なお、本例では、レーザセンサ2の出力結果から路面の濡れを判定しているが、路面の濡れを判定する手段を別途設けてもよい。この場合、レーザセンサ2の反射波から判定する方法に限られず超音波、赤外線の反射波、或いは画像解析、車輪から発生する走行音の違いを解析するなどにより判定してもよい。
(8) 撮像ユニット
撮像ユニット7は、移動ロボット1の本体上面に搭載されて移動ロボット1の周囲を撮像する手段である。本例では、複数のカメラを周方向に外向きに並べて全周をカバーするようにしている。
(9) 通信部
通信部20は、遠隔の監視センタと信号を送受信する無線通信手段である。通信部20は、移動ロボット1が監視領域内で異常を検知した場合、遠隔の監視センタに無線等で異常信号を出力する。また、通信部20は、撮像ユニット7が撮像した画像と自己位置検出部13が算出した移動ロボット1の位置を遠隔の監視センタに送信し、監視センタから送信された制御コマンドの信号を受信して後述する制御部21に入力する。
(10)制御部
制御部21は、移動ロボット1の各構成部分を統括的に制御する手段であり、CPU等を備えたコンピュータで構成される。
なお、上述した各部の構成で、その機能がコンピュータ処理によって実現可能なものは、同コンピュータで実現されてよい。例えば、路面情報抽出部12、位置算出部15、移動制御部9、路面状態判定部23、障害物判定部19などは同コンピュータで実現されてよい。また、記憶部17は、同コンピュータのメモリおよび外部記憶装置などで実現されてよい。
3.移動ロボットの制御系における情報処理の手順及びこれによる動作
以下、本例の移動ロボット1の走行時における制御動作を説明するが、まず本例の移動ロボット1の走行時における障害物検知の全体的な制御手順を説明し(図5)、次に図5の手順で取得した情報等を用いて行う移動ロボット1の走行制御を説明する(図6)。次に、前記障害物検知時の制御手順における濡れ路面検知制御(図7)と、障害物検知制御(図8)についてそれぞれ詳細に説明する。各フローチャートを用いた以下の説明では、Sで始まる連続番号により制御手順の各ステップを示すものとする。
(1) 障害物検知に係る全体的な制御(図5)
図5は、本例の移動ロボット1の走行時における障害物検知手順の全体を示すフローであり、この手順において、濡れ路面検知処理(S01)において走行路面の濡れを検知した場合には移動ロボット1の走行速度の上限を下げる速度設定の要求を行うとともに障害物ありと判定するための閾値を上げ、またレーザセンサによる1回の走査結果から障害物検知処理(S07)を行っている。ここで障害物の有無を検出した場合には検出結果に応じた移動ロボット1の停止・減速の要求を行う。なお、本例では、障害物検知制御の一例を図8、図9に示しているが、これに限らず、測距センサ16で前方路面を走査して得られた距離値の差に基づき障害物の有無を判定する処理であればよい。
S01:濡れ走行路面検知処理において、走行路面が濡れているかどうかを判定する。このサブルーチンの詳細は図7に示し、後に詳述する。
S02:走行路面に濡れがある場合はS05へ進む。濡れがない場合はS03へ進む。
S03:走行路面に濡れがない場合(S02でNO)は、走行速度の上限をmaxHに設定するよう制御部21へ指令する。この走行速度の上限maxHは、走行路面が濡れていない場合の走行速度の上限を示す。なお、路面の凹凸の影響などにより、水たまりが点在し、濡れ路面判定処理の判定結果が短い間隔で濡れと乾燥が変化する場合、速度制御を頻繁に行うのは好ましくない為、濡れを検知した後、所定距離進むまでは乾燥と判定されても上限速度を変更しないようにしたり、障害物マップ上に濡れと判定された位置を記憶しておき移動ロボット1が走行することによりマップ上の所定エリアから濡れと判定された位置がなくなってから乾燥路面の判定を再開するようにしてもよい。
S04:走行路面状態(濡れなし)に応じて障害物ありと判定するための閾値(障害物高さに相当する値)として、路面が濡れている場合と比較して相対的に低い閾値thLを設定する。すなわち、乾いた走行路面ではレーザセンサ2により検出する距離の誤差が濡れ路面の場合よりも相対的に小さいので、走行速度の上限を相対的に高く(maxH)して、障害物ありと判定する際の閾値は相対的に低いもの(thL)とする。設定された閾値thLは記憶部17に記憶される。
S05:走行路面が濡れている場合(S02でYES)は、走行速度の上限をmaxL(<maxH)に設定するよう制御部21へ指令する。この走行速度の上限maxLは、走行路面が濡れている場合の速度の上限を示すもので、すなわち走行路面が濡れている場合は濡れていない場合よりも移動ロボット1の速度を落とす。
S06;走行路面状態(濡れあり)に応じて障害物ありと判定するための閾値(障害物高さに相当する値)として路面が濡れていない場合と比較して相対的に高い閾値thHを設定する。すなわち、濡れた走行路面ではレーザセンサ2により検出する距離の誤差が乾いている場合よりも相対的に大きいので、走行速度の上限を相対的に低く(maxL)して、障害物ありと判定する際の閾値は相対的に高いもの(thH)とする。設定された閾値thHは記憶部17に記憶される。
S07:障害物検知処理(走行路面との距離差検出方式)を実行する。このサブルーチンは図8に示し、図9も参照して後に詳述する。
S09:S07の障害物検知処理において障害物ありと判定されたか否かを判定する。障害物有りの場合はS10へ進み、ない場合はS14へ進む。
S10:障害物がある場合(S09でYES)は、この障害物が障害物マップにおいて停止エリア(図4参照)にあるか否かを判定し(S10)、ある場合(S10でYES)はS11で移動ロボット1を停止させるよう制御部21へ指令し、ない場合(S10でNO)はS12へ進む。
S12:検出された障害物が障害物マップにおいて減速エリア(図4参照)にあるか否かを判定する。ある場合(S12でYES)はS13で移動ロボット1を減速させるよう制御部21へ指令し、ない場合(S12でNO)はS14へ進む。
S14:制御部21から障害物検知処理を停止するよう指令が入力されているか否か判定し、なければS01に戻って以上の処理手順を繰り返し、停止するよう指令があれば終了する。
(2) 全体的な走行制御(図6)
図6は本例の移動ロボット1の走行制御において、指示マーカ4と指示マーカ4の間を1走行区間とした場合のフローチャートを示すものであり、初期の設定に従い規定の移動経路を走行しながら、前述した障害物検知処理(図5)において出力された走行速度の設定要求や停止要求、減速要求等に基づいて行う情報処理手順を示すものである。
S51:制御部21は、記憶部17に記憶されている経路情報から、現在の走行区間の速度情報として、maxHとして指定された速度を取得する。経路情報には走行区間ごとの走行速度として、maxHとmaxLの2つの速度が記憶されている。移動ロボット1は、通常、maxHで指定された速度で走行し、濡れた路面を検出すると走行速度をmaxLにおとして走行する。
S52:制御部21は、取得したmaxHとして指定された走行速度で移動ロボット1を走行させる。
S53:制御部21は、処理部18が前述した図5のフローにおいて制御部21へ出力した走行速度に関する情報(maxHの設定速度、又はmaxLの設定速度、又は停止要求、又は減速要求)を取得する。
S54:制御部21は、処理部18からの走行速度に関する情報中、停止要求があるか否かを判定する。停止要求があれば(S54でYES)、S55で移動ロボット1の走行を停止する。移動ロボット1が停止した場合、制御部21は再び走行開始の指令がくるまで移動ロボット1を停止した状態に維持する。
S56:停止要求がなかった場合(S54でNO)には、処理部18からの走行速度に関する情報(以下「指定速度」とする)に基づき、速度変更が必要か否かを判定する。制御部21は、指定速度と現在走行速度を比較して、現在走行速度が指定速度よりも速ければ指定速度まで減速し、現在走行速度の方が指定速度より遅ければ、指定速度まで加速して走行する。
つまり、指定速度の上限が増加または減少した場合(例えば、走行路面が濡れ時のmaxLから走行路面乾燥時のmaxHへ変更した場合又は路面乾燥時のmaxHから路面濡れ時のmaxLに変更された場合)、現在走行速度が、指定速度の上限と同じであればそのまま現在走行速度で走行し、現在走行速度が指定速度の上限よりも遅ければ指定速度の上限まで加速し、現在走行速度が指定速度の上限よりも速ければ指定速度の上限まで減速する。尚、maxHとして指定される速度の上限は予め記憶部17の経路情報に各区間毎に記憶されている走行速度の値であって、例えば10km/hや6km/h等であり、maxLとして指定される速度の上限は、maxH以下の例えば3km/h等である。
また、障害物が障害物マップにおいて減速エリアにあるために減速要求がなされた場合は、maxHやmaxLによる走行速度の要求にかかわらず減速を行う。
S57:上述のような処理により制御部21が速度変更が必要と判断した場合(S56でYES)には、指定された走行速度に変更する。
S58:制御部21は、移動ロボット1が走行している走行区間が終了したか否かを判定する。終了していなければS53へ戻って以上の手順を繰り返す。走行区間が終了していれば、S51に処理を戻して次の走行区間における走行制御を開始する。また、経路の終点に到着した場合には以上の制御を終了する。
(3) 濡れ走行路面検知制御(図7)
図7は、図5のS01においてサブルーチン化されているレーザセンサによる濡れ路面検知処理の具体的フローを示す。
S71:路面状態判定部23は、レーザセンサ2からの出力信号によるレーザ光を反射した測定点までの距離値yのデータ(センサデータ)を取得する。レーザセンサは180度に近い中心角度の範囲において約3m先の走行路面にレーザ光を照射し、反射光を得ている(図3参照)。
S72:路面状態判定部23は、センサデータのうち、移動ロボット1の進行方向の正面に相当するN個(例えば正面60°分のデータとなる121個)のデータを選択する。
S73:路面状態判定部23は、上記の進行方向正面に相当するN個のデータのうち、各センサデータの値(距離値y)が一定値以下であるようなセンサデータの数をカウントする。
ここで一定値としては、路面で反射した場合に得られる距離値よりもやや高い数値としており、得られた各センサデータの値(距離値y)が一定値以下である場合とは、レーザ光が走行路面で反射してレーザセンサ2に戻ってきた場合であり、走行路面のレーザ光が当たった部分から反射光が得られたことを意味する。すなわち、ここでのカウント数とは、センサデータN個のうち、走行路面で反射してレーザセンサ2に戻ってきたレーザ光の数を意味する。
なお、走行路面が濡れている場合にはレーザ光が走行路面で全反射してレーザセンサ2には戻ってこない場合があり、この場合レーザセンサ2におけるセンサデータとしては無限遠と評価され、センサデータの値(距離値y)としては一定値以上と判定される。あるいは、走行路面が濡れている場合に走行路面で乱反射したレーザ光がレーザセンサにおいて路面からの距離値とは著しく異なる大きな距離値として出力される場合もある。そこで、本例では、路面で反射した場合に比べて著しく大きな距離値を示すセンサデータは濡れた路面で反射したレーザ光によるものとみなして処理する。
S74:路面状態判定部23は、上記カウント数が前述のセンサデータの数N個に対して占める割合が予め設定しておいた所定値(例えば70%)以上か否かを判定する。
S75:上記カウント数が前述のセンサデータの数N個に対して占める割合が前述の所定値以上である場合(S74においてYES)、乾燥路面と判定する。
S76:上記カウント数がセンサデータの総数N個に対して占める割合が前述の所定値以上でない場合(S74においてNO)、濡れ路面と判定する。
(4) 障害物検知制御(図8及び図9)
この障害物検知制御は、平坦な走行路面上に存在する何らかの障害物を検知するための方式である。
S81:1周期分のセンサデータにおいて隣接するデータ間で距離値の差が所定値以下となるものをグループ化してラベリングする。
図9は前述の図11と同様にレーザセンサが1周期の走査によって検出した各位置を示す距離値yのセンサデータをxy座標平面上にプロットしたものであり、X軸は移動ロボット1の正面からの角度、Y軸は移動ロボット1からの距離値を示す。図示上は連続した直線になっているが実際には測定点の集合であって、図中両脇の水平な直線は平坦な走行路面のデータであり、中央の凸部は走行路面上に置かれた障害物までの距離を示すデータであり、両者の連続部分は障害物の側面からの反射によるデータを示している。また、図示していないが、レーザセンサの位置はXY座標の原点となり図中下方にある。
ここで、ラベリングとは、センサデータの順列中、y方向の距離が近くx方向に並んでいる複数のデータをひとつの集合として分類することを意味し、図9の例では図中両脇の水平な2箇所の直線と、中央の凸部がラベリングされている。
S82:ラベリングされたひとかたまりのデータ(ラベリングデータ)の1つに着目し、ラベリングデータのX方向についての両脇にそれぞれK個(例えば10個)以上の数の測定点からなるラベリングデータがあるか否かを判断する。Kの値はセンサデータの総数と検出対象の障害物の大きさ等を考慮して適宜設定する。
S83:両脇にそれぞれK個以上の数のデータがある場合(S82でYES)、これら両脇のラベリングデータがほぼ同じy座標値であるか否かを判断する。これによって、両脇のラベリングデータが走行路面によるものか否かを判断する。
S84:着目したラベリングデータのy座標値の平均値と、両脇のラベリングデータのy座標値の平均値の差を算出する。これにより、着目した検知対象物と、その両脇にある検知対象物との距離値の差が求められる。この距離差は着目した検知対象物の高さに相当するものである。
S85:S84で算出した差が、図5に示した検知に係る制御で記憶部17に記憶された障害物判定用の閾値(障害物の高さに相当する閾値:thL又はthH)以上であるか否かを判定する。図5において示した様に、記憶部17には、路面の状態に応じて、路面が濡れていれば高さに相当する値として相対的に高い値thH、路面が濡れていなければ高さに相当する値として相対的に低い値thLの何れかが障害物判定用の閾値として設定されている。
S86:S84で算出した差が障害物判定用の閾値以上である場合(S85でYES)、着目したラベリングデータを障害物として認定し、障害物ありと判定する。
障害物ありとされた場合及びS82、S83、S85でそれぞれNOだった場合、全ラベリングデータについて以上の処理を行ったか否かを判断し、全て処理していれば(S87でYES)本フローによる処理手順を終了し、全ラベリングデータについて以上の処理を行っていなければ(S87でNO)S82に戻って次のラベリングデータに着目して以上の手順を繰り返す。
4.本例による作用効果(図10)
本例による作用効果を図10を参照して詳述する。
同図は、前述した図11、図9と同様に、レーザセンサ2が1周期走査したときの計測対象(障害物又は非障害物(誤報対象))と移動ロボットとの距離値を示すセンサデータをxy座標平面上にプロットして、レーザセンサ2が1周期走査したときの測定点の軌跡と、障害物判定用閾値との関係を示したものである。また、図10(a)では、連続する各時刻毎に得られたセンサデータを重ねてxy座標平面上にプロットしている。図においてX軸は移動ロボット1の正面からの角度、Y軸は移動ロボット1からの距離値を示す。
図5において説明したように、本例の移動ロボット1は、路面の濡れを検出すると、走行速度の上限をmaxLに下げ、障害物ありと判定するための閾値を厳しい値thHに設定する。
また、前述したように、レーザセンサ2は、前方路面を所定周期で走査するので、移動ロボット1の走行速度が速くなるほど、一回走査した後に次に走査するまでの走行距離が長くなる。つまり、走行速度が遅いときは、走行距離に対するサンプリング間隔が密になり、走行速度が速いときは走行距離に対するサンプリング間隔が疎になる。
図10(b)は、例えば路面となるアスファルト上に白線が引かれている場合の例を示している。白線は路面が乾燥していると距離が短く計測されることがあり、左図のような計測例となる。そして、路面とともに白線が濡れると右図のように更に距離が短く計測される。すなわち、図10(b)に示す白線のような非障害物(誤報対象)の計測例によれば、走行路面乾燥時には(図10(b)中の左図)、移動ロボット1の走行速度が相対的に速いmaxHであっても、非障害物(誤報対象)の路面との距離差(高さに相当する値)は速度maxHでの相対的に低い閾値thLにはかからず、誤報は発生しないが、走行路面濡れ時には乾燥時よりもデータの誤差が大きくなるため(図10(b)中の右図)、移動ロボット1の走行速度が相対的に速いmaxHであって閾値が相対的に低いthLのままであると、非障害物(誤報対象)からのデータはこの相対的に低い閾値thLにかかってしまい、誤報となってしまう。そこで誤報を避けるためには閾値を相対的に高くする必要がある。
しかし、図10(a)に示す障害物計測例の左図のように、速度が相対的に高速の速度maxHで走行距離に対するデータ取得間隔が相対的に長くサンプル数が少ない場合は、見逃しを避けるために障害物判定用の閾値を相対的に低い値にする必要があり、前述したように誤報を避けるために単に閾値を相対的に高くしたのでは検出すべき障害物を見逃すおそれがある。
そこで、図10(a)に示す障害物計測例の右図のように、速度を相対的に低速の速度maxLとすることで走行距離に対するデータ取得間隔を短くする(サンプル数を増加する)ことにより、走行路面と障害物の距離差をより細密に得られるようにするとともに、閾値を相対的に高い値thHにすることで、障害物を見落としなく、かつより細密な距離差で検出するとともに、誤報を避けることもできる。
このように、誤報の発生しやすい雨天時にはロボットの走行速度を落とすことで走行路面に対するデータ取得のサンプリング間隔を短くし、走行路面と障害物の距離差をより細密に得られるようにすれば、これにより閾値を厳しくすることができ、誤報削減を図れる効果も得られるのである。
図1は、本発明の一実施形態に係る移動ロボット1が利用される環境である監視区域の平面図と、同移動ロボット1の外観を示す斜視図である。 図2は、本例の移動ロボット1の具体的な構成を示す機能ブロック図である。 図3(a)は、本例の移動ロボット1におけるレーザセンサ2と測定点との幾何学的位置関係を示す側面図であり、図3(b)は、同レーザセンサ2の走査角度範囲Φで示すセンシングエリア(斜線領域)等を示す平面図である。 図4は、本例の移動ロボット1の記憶部17において、移動ロボット1に設置されたレーザセンサの位置を原点(0,0)としたマップとして登録されたマップエリアを示す図である。 図5は、本例の移動ロボット1の走行制御における障害物検知手順の全体を示すフローである。 図6は、本例の移動ロボット1の走行制御において、指示マーカ4と指示マーカ4の間を1走行区間とした場合のフローチャートを示すものである。 図7は、図5のS01においてサブルーチン化されているレーザセンサによる濡れ走行路面検知処理の具体的フローを示す。 図8は、平坦な走行路面上に存在する何らかの障害物を検知するのに適した走行路面との距離差検出方式による障害物検知制御を示すフローである。 図9は、レーザセンサが1周期の走査によって検出した各位置を示す距離差yのセンサデータをxy座標平面上にプロットしたものである。 図10は、移動する本例の移動ロボット1におけるレーザ光の走査において、計測対象(障害物又は非障害物(誤報対象))と移動ロボット1との距離差を示すレーザの軌跡を、レーザセンサ2の位置を含むxy座標系の平面内において各時刻毎におけるレーザセンサ2からの距離データとして示したものである。 図11は、移動しながら前方斜め下方に向けてレーザを走査しつつ障害物の検出を行う基本構造の移動ロボット1において、その走行中の障害物検出の状態を時系列で示す図であり、各時刻t〜t+4において、レーザ光と移動ロボット1と障害物の側面図と、レーザセンサ2の位置を原点とした平面視xy座標系の画面において検出対象と移動ロボット1との距離差(図中y方向の距離)をレーザの軌跡で表現したものである。
符号の説明
1…移動ロボット
2…測距センサとしてのレーザセンサ
16…測距センサ
19…障害物判定手段としての障害物判定部
21…制御手段としての制御部

Claims (4)

  1. 走行する路面の濡れ状態を検出可能な移動ロボットであって、
    前記路面に対して一定周期ごとに距離計測用の検知波を送波するとともに反射波を受波して移動ロボットまでの距離を測定する測距センサと、
    前記路面の濡れ状態を検知する路面状態判定手段と、
    前記測距センサにて計測した前記周期ごとの距離データの差を所定閾値と比較することにより、前記所定閾値を越える大きさの前記路面上に存在する障害物を検出する障害物判定手段と、
    前記移動ロボットの走行速度を制御する制御手段を具備し、
    前記制御手段は、前記路面状態判定手段にて路面の濡れ状態を検出すると、前記走行速度を前記路面が乾いた状態のときよりも前記測距センサの走行距離に対するデータ取得間隔が短くなるような速度に制限することを特徴とした移動ロボット。
  2. 前記障害物判定手段は、前記路面状態判定手段にて路面の濡れ状態を検知すると、前記所定閾値を前記路面の濡れ状態を検出していないときの閾値よりも前記障害物を検出しにくい値とする請求項1に記載の移動ロボット。
  3. 前記所定閾値は、移動ロボットの走行に支障を与える障害物の前記路面からの高さに相当する値に基づいて定める請求項1または2に記載の移動ロボット。
  4. 前記路面状態判定手段は、前記測距センサにて計測した距離データを前記路面の距離データに基づいて設定された一定値と比較した結果に基づき前記路面の濡れ状態を検知する請求項1乃至請求項3のいずれか一つに記載の移動ロボット。
JP2006182377A 2006-06-30 2006-06-30 移動ロボット Active JP4745149B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006182377A JP4745149B2 (ja) 2006-06-30 2006-06-30 移動ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006182377A JP4745149B2 (ja) 2006-06-30 2006-06-30 移動ロボット

Publications (2)

Publication Number Publication Date
JP2008009927A JP2008009927A (ja) 2008-01-17
JP4745149B2 true JP4745149B2 (ja) 2011-08-10

Family

ID=39068035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006182377A Active JP4745149B2 (ja) 2006-06-30 2006-06-30 移動ロボット

Country Status (1)

Country Link
JP (1) JP4745149B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2677385B1 (en) * 2011-02-14 2019-12-04 Murata Machinery, Ltd. Transport carriage system and method for controlling running of transport carriage
US10245730B2 (en) * 2016-05-24 2019-04-02 Asustek Computer Inc. Autonomous mobile robot and control method thereof
CN107807643B (zh) * 2017-10-30 2019-09-03 珠海市一微半导体有限公司 机器人的行走预测和控制方法
CN111360841B (zh) * 2020-05-27 2020-08-18 北京云迹科技有限公司 机器人监控方法及装置、存储介质及电子设备
CN114543763B (zh) * 2020-11-24 2024-01-16 广东博智林机器人有限公司 一种地坪设备的工作方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01293410A (ja) * 1988-05-20 1989-11-27 Sanyo Electric Co Ltd 自律型移動車の障害物検知方法
JPH03266005A (ja) * 1990-03-16 1991-11-27 Honda Motor Co Ltd 自動走行装置
JP2002257934A (ja) * 2001-02-27 2002-09-11 Omron Corp 車両用路面状態検知装置及び車両用測距装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01293410A (ja) * 1988-05-20 1989-11-27 Sanyo Electric Co Ltd 自律型移動車の障害物検知方法
JPH03266005A (ja) * 1990-03-16 1991-11-27 Honda Motor Co Ltd 自動走行装置
JP2002257934A (ja) * 2001-02-27 2002-09-11 Omron Corp 車両用路面状態検知装置及び車両用測距装置

Also Published As

Publication number Publication date
JP2008009927A (ja) 2008-01-17

Similar Documents

Publication Publication Date Title
JP4745151B2 (ja) 移動ロボット
JP4745159B2 (ja) 移動ロボット
JP4368317B2 (ja) 移動ロボット
JP5062364B2 (ja) 自律移動体及びその制御方法
CN110304386B (zh) 机器人及机器人丢码后的重新定位方法
US20080040039A1 (en) Road environment recognition device and method of recognizing road environment
CN108803595B (zh) 环境布置机器人和存储其控制程序的计算机可读存储介质
JP4530996B2 (ja) 移動ロボット
JP6875790B2 (ja) 測距装置および走行装置
JP4745149B2 (ja) 移動ロボット
JP4745150B2 (ja) 移動ロボット
JP2008033760A (ja) 移動ロボット
CN109285381A (zh) 用于探测停车场内的空闲区域的方法和系统
JP2017204062A (ja) 自律搬送システム
US20190094025A1 (en) Apparatus and method for localising a vehicle
JP4745160B2 (ja) 移動ロボット
JP6900214B2 (ja) 障害物検出装置と障害物検出方法
JP4377346B2 (ja) 移動ロボット
EP4294690A1 (en) Indoor localization of autonomous vehicles
JP4368318B2 (ja) 移動ロボット
JP7196711B2 (ja) 移動車両
JP6863049B2 (ja) 自律移動ロボット
JP4071412B2 (ja) 駐機位置表示装置
JP4879595B2 (ja) 移動ロボット
JP4745152B2 (ja) 移動ロボット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110511

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4745149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250