JP3648604B2 - 自律移動装置 - Google Patents
自律移動装置 Download PDFInfo
- Publication number
- JP3648604B2 JP3648604B2 JP2001329903A JP2001329903A JP3648604B2 JP 3648604 B2 JP3648604 B2 JP 3648604B2 JP 2001329903 A JP2001329903 A JP 2001329903A JP 2001329903 A JP2001329903 A JP 2001329903A JP 3648604 B2 JP3648604 B2 JP 3648604B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- sensor
- scan type
- specific shape
- mobile device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 138
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
【発明の属する技術分野】
本発明は障害物を検出して障害物を回避しながら目的地までの移動等の所要の動作を行う自律移動装置に関するものである。
【0002】
【従来の技術】
障害物の回避のために自律移動装置に障害物検知手段を設ける場合、超音波センサや赤外線センサ(非スキャン型センサ)を障害物検知手段としたものと、水平面内をスキャンするスキャン型センサを障害物検知手段としたものとが提供されている。
【0003】
【発明が解決しようとする課題】
しかし、前者の障害物検知手段、つまり超音波センサや赤外線センサ等の非スキャン型センサで障害物を検知する場合、障害物の検知エリアを広く且つ障害物の位置を精度良く検知できるようにするには、たとえば特開平7−49381号公報に示されているように検知エリアの小さいセンサを多数配置することになる。
【0004】
すなわち、図16(a)に示すように、検知エリアの大きいセンサSを用いた場合、少数のセンサSで全体の検知エリアを広くとることができるが、あるセンサSで障害物9を検知しても、その障害物9が図中のイ位置にあるのかロ位置にあるのかを判断することができない。これは障害物の回避動作を行うにあたり、どの方向にどれだけ動けば回避できるかどうかが判然とせず、効率の良い回避動作ができないことを意味する。
【0005】
そして、図16(b)に示すように、検知エリアの小さいセンサSを多数並べたとしても、図中ハで示すような小さい障害物9を見逃す可能性があるほか、図中ニで示すような超音波や赤外線を受信部に向けて反射しない障害物を検出することができないために、図16(c)に示すように、検知エリアの間隙を補うセンサSや角度を変えたセンサSなど多数のセンサSを配置しなくてはならず、そして、このように多数のセンサSを設けることはコストの増大を招くだけでなく、センサS間の干渉を避けるために複雑な処理が必要となる。
【0006】
また、非スキャン型のセンサが常に有効であると、このセンサは検知エリア内の端部に障害物がかかっているだけの時にも、検知エリア全体に障害物がある場合と同じ出力しか出せないために、たとえば装置が壁と障害物との間の狭い通路を通過しようとした場合、通過できる幅があってもエリア端部に障害物がかかっているために通過できないという弊害が生じる。
【0007】
後者の障害物検知手段、つまり水平面内を例えば180°の範囲でスキャンするレーザーレーダーのようなスキャン型センサは、障害物の位置及び距離を精度良く検出することができるが、図17に示すように、椅子やテーブルのようにスキャン面に脚部90を位置させるだけで、スキャン面以外のところに天板等の上部構造物91を存在させている障害物については、脚部90を認識することができるものの、上部構造物91は認識することができないために、脚部90間を通過可能と判断して回避することなく直進移動し、上部構造物91に衝突してしまうことがある。なお、図17中のLは設定された障害物検知距離(半径)であり、ハッチングを施した部分は障害物がないと判断している部分である。
【0008】
前者の超音波センサや赤外センサである障害物検知手段と、後者のスキャン型センサである障害物検知手段とを組み合わせたならば、障害物に衝突してしまうことはなくなるとしても、前者の障害物検知手段で検出することができる障害物を回避する動作は、前者が有している問題点である効率の悪い動作となってしまう。
【0009】
本発明はこのような点に鑑みなされたものであって、その目的とするところは障害物を確実に検出することができる上に効率の良い回避動作を常に行うことができる自律移動装置を提供するにある。
【0010】
【課題を解決するための手段】
しかして本発明は、障害物を検出して障害物の回避動作を行いつつ目的地への移動を行う自律移動装置において、進行方向の水平面内をスキャンして障害物の位置を検知するスキャン型センサと、該スキャン型センサによるスキャン面と異なる空間の障害物を検出する非スキャン型障害物センサと、常時はスキャン型センサの出力に基づいて障害物を検出するとともにスキャン型センサによる障害物検出出力により非スキャン型障害物センサを稼働状態としてスキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置もしくは存在領域を推定する障害物検出手段と、障害物検出手段の出力に基づいて目的地への走行制御を行う制御手段とを備えていることに特徴を有している。スキャン型センサで障害物が検出された場合にのみ、非スキャン型障害物センサを稼働状態とし、スキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置を推定するので、常時両方のセンサの検出情報を用いる場合に比べて効率のよい検出動作及び回避動作が可能となる。
【0011】
また本発明は、障害物を検出して障害物の回避動作を行いつつ目的地への移動を行う自律移動装置において、進行方向の水平面内をスキャンして障害物の位置を検知するスキャン型センサと、該スキャン型センサによるスキャン面と異なる空間の障害物を検出する非スキャン型障害物センサと、スキャン型センサによるスキャン角度毎の検出物体距離情報から検出物体の形状を推定して予め設定してある特定形状か否かを検出する特定形状検出手段と、特定形状検出手段により特定形状が検出された場合にスキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置もしくは存在領域を推定し且つ特定形状検出手段により特定形状が検出されない場合にスキャン型センサの出力に基づいてのみ障害物の位置を推定する障害物検出手段と、障害物検出手段の出力に基づいて目的地への走行制御を行う制御手段とを備えていることに他の特徴を有している。この場合、上部構造物を有している障害物のようなスキャン型センサだけでは検出できない障害物がある領域での障害物の検出をより効率良く行うことができるとともに、障害物を確実に且つ効率良く回避することができる。
【0012】
この場合の特定形状検出手段は、柱状物を特定形状として検出するための情報を予め記憶させた記憶部を有し、スキャン型センサから得られる一連の角度毎の検出物体距離データに基づいて隣合うデータの距離の差が記憶部に設定された範囲にあるものから検出物体の幅を推定するとともにこの幅が記憶部に設定された範囲のものであり且つ推定物体に関わるデータの両側のデータが記憶部に設定された距離以上に長い時に推定物体を特定形状物体であると判断するものを脚部を持つ机や椅子などのオーバーハングした上部構造物を有する障害物の検出に好適に用いることができる。
【0013】
障害物検出手段は、特定形状検出手段で検出された特定形状物体までの距離が記憶部に設定された所定値より短い場合、スキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置もしくは存在領域を推定し、特定形状物体までの距離が記憶部に設定された所定値より長い場合、スキャン型センサの出力に基づいてのみ障害物の位置を推定するものであってもよい。
【0014】
また、障害物検出手段は特定形状検出手段による検出出力があった場合に非スキャン型障害物センサを稼働状態とするものが好ましい。
【0015】
また、制御手段は、特定形状検出手段による検出出力があった場合に走行速度を低下させるものであったり、スキャン型センサで検出された障害物への接近を所定距離までしか許可しないものであってもよい。
【0016】
非スキャン型障害物センサには超音波センサを好適に用いることができ、この場合、超音波センサは複数を配設するとともに、これら複数の超音波センサによる包括障害物検知エリアが進行方向水平面内において半円を描くものとなるように配設するとよい。上下に並ぶ複数の超音波センサはその超音波発信タイミングを同期させておくことも好ましい。
【0017】
非スキャン型障害物センサには、超音波センサのほか、幅方向の両端部に夫々配設されているとともに上下方向に広がるスリット光を出力し且つ障害物からの反射光で障害物を検出する光学的センサを用いてもよい。
【0018】
回避動作に関しては、制御手段はスキャン型センサ出力に非スキャン型障害物センサの出力を重畳させた情報に基づいて自律移動動作を継続するものとして、自律移動のためのプログラムが備えている回避アルゴリズムに回避動作をまかせてしまうようにするほか、非スキャン型障害物センサによる障害物検知出力で所定の方向に非スキャン型障害物センサの障害物検知出力がなくなるまで向きを変えさせ、その後、自律移動を再開させるものとしたり、非スキャン型障害物センサによる左右いずれかの方向の障害物検知出力で逆方向に非スキャン型障害物センサの障害物検知出力がなくなるまで向きを変えさせ、その後、自律移動を再開させるようにしたり、非スキャン型障害物センサによる左右及び前方について夫々障害物検知出力を出す時、特定形状物体が検出された向きに、複数の特定形状物体が検出された時には進行方向との角度が小さい方に向きを変えさせるようにしてもよく、この時、制御手段は非スキャン型障害物センサによる障害物検知出力で該当方向に障害物を設定してその位置を記憶するとともに、その位置よりも目的地に近づいた時点で上記位置記憶を消去するものや、非スキャン型障害物センサによる障害物検知出力で該当方向に障害物を設定してその位置を記憶するとともに、その位置から所定距離離れた時点で上記位置記憶を消去するものを好適に用いることができる。
【0019】
さらに制御手段は、特定形状検出手段による検出出力に対して、複数回の検出結果から特定形状物が移動しているかどうかの判断を行い、特定形状物が移動している時には停止を、移動していない場合は非スキャン型障害物センサの検出情報を有効にするものとするとよい。
【0020】
そして、この自律移動装置は、事務所や病院、レストラン等の屋内において搬送や警備や清掃等の目的で利用されるロボットとして非常に好適に用いることができる。
【0021】
【発明の実施の形態】
以下本発明を実施の形態の一例に基づいて詳述すると、図1は本発明に係る自律移動装置1のブロック図であり、走行及び操舵が可能な走行手段2と、この走行手段2の制御を行う走行制御手段3と、進行方向の水平面内をスキャンして障害物の位置を検知するレーザー型レーダー装置からなるスキャン型センサ4と、超音波センサや赤外線センサからなるとともに上記スキャン型センサ4によるスキャン面と異なる空間の障害物を検知する非スキャン型障害物センサ5とを備えるほか、スキャン型センサ4によるスキャン面のスキャン情報から予め設定してある特定形状を検出する特定形状検出手段6と、スキャン型センサ4や非スキャン型障害物センサ5及び特定形状検出手段6の出力を総合して障害物の検出を行う障害物検出手段7と、障害物検出手段7で得られた障害物の位置に基づいて移動目標位置(目的地)までの走行制御を行う走行制御手段3と、目的地や検出した障害物の位置などを記憶する記憶手段8とを備えている。図中95はシステムを構成している各要素に電力を供給している電源、96は手動走行時や移動目標位置の入力などのためのヒューマンインターフェースである。
【0022】
上記スキャン型センサ4は、たとえば図2に示すように、進行方向前方の水平面180°の範囲をスキャンするとともに、上記180°分を0.5°単位で距離測定を行う(スキャン範囲や距離測定の単位はこれに限定されるものではない)もので、正面(角度90°付近)に障害物9があった場合、次表で示すようなデータを出力する。
【0023】
【表1】
【0024】
なお、上記表1中のLはスキャン型センサ(レーダー装置)4に設定された距離(距離Lの出力が出ている角度領域には障害物が存在しないことになる)であり、d1,d2は障害物の大きさや位置によって変動する値である。
【0025】
そしてこの自律移動装置1ではスキャン型センサ4による障害物検知を非スキャン型障害物センサ5による障害物検知距離よりも長くしているために、スキャン型センサ4による検知を主体として目的地10への自律移動を行うが、たとえば図3に示すように対向する壁間の通路を目的地10に向けて走行している時、スキャン型センサ4により進行方向正面に障害物9が検出された(図中ハッチング部Aはスキャン型センサ4で壁や障害物9が無いとされている領域を示している)ならば、走行制御手段3は図中白抜き矢印で示すように、障害物9が無いと考えられる右前方側へ進行方向を一旦変更して障害物9を回避する動作を行う。この動作は走行制御手段3が障害物検出手段7の検出情報をもとに走行装置2を制御することで行われる。
【0026】
そして、障害物9がたとえば1本乃至複数本の脚を備えたテーブルなどの場合、スキャン型センサ4はその上部構造物である天板を検出することができず、柱状物である脚のみを検出することになり、このためにスキャン型センサ4の出力から判断できる移動可能なエリアは図4中のハッチングを施した部分となるが、この時のスキャン型センサ4の出力は障害物9である柱状物(特定形状物90)の存在により特異なものとなる。特定形状検出手段6は、この点を利用して次に述べるように特定形状物の存在を検出している。
【0027】
図5を参照して特定形状物の存在の検出について説明すると、スキャン型センサ4のスキャンにおける障害物9までの距離データを得る間隔をΔΘとした時に、θ=0から数えてi番目の距離データをD(i)、i番目の距離データD(i)と(i−1)番目の距離データD(i−1)との差をΔD、特定形状物90の存在を推定するための隣り合う距離データの距離差の設定値をDRとすると、特定形状物90が存在することで検出出力は表2で示すような状態となる。
【0028】
【表2】
【0029】
特定形状検出手段6は上記のような変化のある検出出力を図6のフローチャートで示す処理を行うことで、特定形状物90(この場合は柱状物)の存在を検出する。すなわち、隣合う距離データの差が設定値を越えている複数のデータから手前に突出している物体があると推定でき、この推定物体データの両側のデータが設定距離以上に長く、且つ推定物体データが設定幅分以内に連続している時、特定形状物90があるとする。上記各設定値は記憶手段8に予め記憶しておく。設定値は自律移動装置1が移動する環境によってその値を切り換えるようにしてもよい。
【0030】
さらに詳しく説明すると、1回のスキャンで間隔ΔΘ毎に発振されるレーダの数をN(0≦i≦N)、特定形状物90の存在を推定するための隣り合う距離データの距離差の設定値をDR、特定形状物90であると推定するための幅の設定値をDN、特定形状物90表面のスキャン型センサ4に対向する距離変化の最大値をdd(予め設定した正の値)とする。最大値ddは指定する特定形状が円柱であり且つ存在する円柱の中で最大の半径がrrである時、dd=rrと設定することができる。また、iはi番目を示す整数値、jは1スキャンによるN個の距離データについての処理で特定形状を見つけるたびにインクリメントされる整数値、cは一つの特定形状から反射されたレーダー数であり、ここではc=3である。DN>cの場合に特定形状とする。
【0031】
図6において、処理ルーティン毎にiは1ずつインクリメントされ(ステップ#2)、隣合う距離データ差ΔD、すなわちD(i)−D(i-1)の大きさが調べられる(ステップ#4)。図5に示す例では、i=mにおいて、D(m)−D(m-1)<−DRであるためにステップ#5に行き、c=1、m=iとなる。そしてi=m+1において、|D(m+1)−D(m)|≦DR且つD(m+1)−D(m)<ddであるために、処理はステップ#6,#7,#8を通り、c=2となる。
【0032】
また、i=m+2において、|D(m+2)−D(m+1)|≦DR且つD(m+2)−D(m+1)<ddであるために、同様にしてc=3となる。
【0033】
さらにi=m+3において、D(m+3)−D(m+2)>DRであるので、処理はステップ#10,#11,#12を通る。int(x)はxを越えない最大の整数を返すものとしており、ここでは連続する最大数のみ固定して設定している。
【0034】
こうしてD(m),D(m+1),D(m+2)が一つの特定形状からの反射によって得られた距離であると判断し、特定形状までの距離をH(j)=int((m+m+2)/2)=M+1番目の距離としている(ステップ#12)。なお、ステップ#9,#13ではc=0としてcをリセットしている。
【0035】
ステップ#11におけるDNの値は固定でもよいし、特定形状の大きさを予め仮定して距離ごとに値を変化させてもよい。この場合、一つの距離データから推定できる検出物の大きさをD(i)×sinΔΘと仮定すると、図5に示した例での特定形状の大きさはD(m)×sinΔΘ×cと推定することができる。また、特定形状の最大の幅をOmaxとすると、ある距離xでのDNの値は、Omax/(x・sinΔΘ)以上の最小の整数とすることができる。
【0036】
1回のスキャンが終了したならば、ステップ#14,#15を通り、検出した特定形状物の位置(角度θと距離D)データを記憶する。このような処理をスキャン型センサ4による1回のスキャン毎の障害物検出情報を得るたびに行うことで、柱状物である特定形状物90を認識するとともに、その位置(θ,D)を記憶したならば、直ちに回避動作に移るのではなく、進行方向水平面以外の空間の障害物を検出する非スキャン型障害物センサ5を有効(もしくは電源を入れて可動状態)とする。予め考慮しなければならない特定形状の最大距離を設定しておいてもい。
【0037】
図7はこの場合のフローチャートを示しており、図6のステップ#12の処理を#21,#22,#23に変更してある。この処理においては、考慮しなければならない特定形状までの距離Sを予め設定していて、距離データ(たとえばD(m+1))とSとが比較され、距離データが上記距離Sより大きければその距離データを無視するようにしている。また、考慮すべき特定形状物があれば、jをインクリメントして最後に記憶する。
【0038】
なお、図6及び図7のフローでは、障害物9の位置まで認識しているが、進行方向における特定形状物の有無を判断するだけであってもよい。
【0039】
特定形状検出手段6で特定の形状が検出されたならば、自律移動の速度を減速するルーティンを有効にするものでもよい。これにより、非スキャン型障害物センサ5の検出距離が長くとも上部構造物を有し得る障害物9に衝突することなく停止または回避することができる。
【0040】
また、障害物9に接近できる距離を予め定めておいて、それ以上近づくことがないようにするルーティンを有効にしてもよく、この場合、後述する特定形状物を持たないものの、上部構造物を有している障害物、たとえばカウンターや手すりに衝突してしまうことを避けることができる。
【0041】
上記非スキャン型障害物センサ5として超音波センサを用いるのであれば、図8(a)に示すように、上部構造物が想定される高さH内の障害物9をすべて検出できることができる配置としておく。図中Bは各超音波センサの検知エリアを示している。この時、これら複数の超音波センサ(非スキャン型障害物センサ5)による包括障害物検知エリアが図8(b)に示すように、進行方向水平面内において半円を描くものとなるようにしておくことで、上部構造物に対してどのような角度で接近しても非スキャン型障害物センサ5による障害物検出が可能となる。
【0042】
また、上下にも超音波センサ5を並べる時には、上下の超音波センサ5,5を同期させて超音波の送信タイミングを同時にしておくと、図8(c)に示すように、一方の超音波センサ5からされた超音波の障害物9による反射波を他方の超音波センサ5で検出することで上下方向の障害物有無の検出精度を上げることができる。なお、図では障害物9が上下2つの超音波センサ5,5の中間の高さにある障害物9の端面を干渉を利用して検出している状態を示しているが、上記端面は通常曲面や傾斜面となっていることから、上下2つの超音波センサ5,5の中間の高さにない障害物9も検出することができる。また、非スキャン型障害物センサ5としての超音波センサは、送受兼用型のもののほか、送受独立型のものでも使用することができる。
【0043】
非スキャン型障害物センサ5としては、図9に示すように、上下方向に広がるスリット光を出力し且つ障害物からの反射光で障害物を検出する光学的センサを用いるとともに、自律移動装置1の幅方向の両端部に配設したものとしてもよい。
【0044】
次に特定形状物を検出した場合の回避動作について説明すると、前述のように、特定形状検出手段6で特定形状物を検出したならば、障害物検出手段7は非スキャン型障害物センサ5を有効としたり稼働状態とし、さらに非スキャン型障害物センサ5からも障害物検知出力を得られたならば、走行制御手段3は所定の方向に回転して向きを変えるように走行手段2を制御し、前記特定形状物の検出がなくなるか非スキャン型障害物センサ5による障害物検知出力がなくなると、走行制御手段3は自律移動を再開する。
【0045】
たとえば、特定形状物の検出の後に非スキャン型障害物センサ5から障害物検知出力が得られたならば、走行制御手段3は走行手段2を停止させて、図10に示すように、検知出力のあった非スキャン型障害物センサ5の正面に、図10の場合では自律移動装置1の正面に仮想障害物9’を設定する。設定する仮想障害物9’のサイズ及び自律移動装置1からの距離は、予め他の設定値と同様に記憶手段8に設定しておくものとする。非スキャン型障害物センサ5が距離を測れるものであれば前記距離はその距離とする。また、図では仮想障害物9’を長方形で表しているが、一定間隔で並んだ点列でもよい。
【0046】
次に、特定形状検出手段6による特定形状物の検出がなくなるか、非スキャン型障害物センサ5による障害物検知出力がなくなるまで走行制御手段3は走行手段2を制御して自律移動装置1を回転させる。回転させる方向は、スキャン型センサ4での水平面のデータでθ=0°及びθ=180°の二つのデータのうち、障害物(壁)までの距離の長い方を走行制御手段3で判断して選択する。図10の場合は右回転となる。この後、走行制御手段3は自律移動を再開する。ただし、再開前に障害物9の位置を仮想障害物9’として記憶手段8に記憶する。この位置情報は、障害物を表す点列の座標でよい。その後、スキャン型センサ4で水平面をスキャンするたびに記憶してある障害物のデータを水平面のスキャンデータに重畳し、それをもとに走行制御手段3は走行手段2を制御して回避動作を行う。
【0047】
上記回転の向きは図11に示すように、自律移動装置1の左右に配されて左前方及び右前方に夫々検出エリアB,Bを持つ非スキャン型障害物センサ5,5のどちらかが障害物9を検知した時に、逆の方向側へ非スキャン型障害物センサ5の障害物検知出力がなくなるまで回転するようにしてもよく、このようにすることで、効率的な回避動作を行うことができる。この時も、図11(b)に示すように、新たに仮想障害物9’を設定してこれを記憶するものとし、スキャン平面上での障害物の検出が無くなった時点で走行制御手段3は自律移動を再開する。
【0048】
自律移動の再開後は、走行制御手段3は図12に示すように自律移動装置1と目的地10までの距離Rdと、設定した仮想障害物9’と目的地までの距離Ra,Rbとを比較して、距離Rdよりも距離Ra,Rbの方が長ければ、設定した仮想障害物9’についての位置記憶を消去(Rb<Rd<Raであれば、距離Raの仮想障害物9’を消去)してしまうと、自律移動に際しての障害物9の回避ための計算処理を少なくすることができる。
【0049】
上記消去処理は、図13に示すように、自律移動装置1と仮想障害物9’との間の距離Rda,Rdbが予め設定した距離Rsetより大きくなれば、設定した仮想障害物9’についての位置記憶を消去(Rda>Rset>Rdbであれば、距離Rdaの仮想障害物9’を消去)してしまうようにしても、同様の効果を得ることができる。
【0050】
図14(a)に示すように、特定形状検出手段6が特定形状物を検知したことで稼働した非スキャン型障害物センサ5が左右の両斜め方向前方並びに正面前方に夫々障害物検知出力を出す時、図14(b)に示すように、走行制御手段3はスキャン型センサ4で検出されるとともに進行方向との角度が小さい特定形状物体90側に向けて向きを変えさせるようにしてもよい。図示例ではθL<θRのために左に向けて回転する。
【0051】
ところで、障害物9が移動可能な移動体である場合も存在していることから、特定形状検出手段6が特定形状物を検出した時、走行制御手段3は、図6もしくは図7のフロー中のH(i)[0=<i<j]番目のデータθ及びDの値を記憶し、次に予め定めた時間だけ自律移動装置1を停止させ、その後、スキャン型センサ4でのスキャン面内の障害物検出を再度行うとともに特定形状物の認識処理を行い、再度H(i)[0=<i<j]番目のデータθ及びDが得られたならば、前回のデータθ及びDと比較して、異なっている時には、障害物9が移動体であると判断して、自律移動装置9の停止を所定の時間だけ継続させ、その後も定期的にスキャン型センサ4や非スキャン型障害物センサ5を作動させて、障害物9までの距離変化が無くなったならば、障害物9が停止したものとして自律移動を再開させるとよい。
【0052】
また、前回とのデータとの比較に際して、距離Dを予め設定した距離以下のものだけに限定すれば、物体の移動が自律移動装置1の移動に影響するものだけを対象にすることができる。
【0053】
走行制御手段3には、回避動作のための特別な回避アルゴリズムを用意するのではなく、障害物検出手段7でスキャン型センサ4の出力に非スキャン型障害物センサ5の出力を重畳させた情報に基づいて自律移動動作を継続するようにしてもよい。つまり、特定形状検出手段6で特定形状物の検出があり且つ非スキャン型障害物センサ5が上部構造物を検出した場合、障害物検出手段7はスキャン型センサ4の出力に非スキャン型障害物センサ5の出力を重畳させ、走行制御手段3は非スキャン型障害物センサ5での検知情報があたかもスキャン型センサ4で得られたかのように扱うことで、自律移動動作を継続させ、自律移動のためのプログラムが備えている回避アルゴリズムに回避動作をまかせてしまうようにしてもよい。
【0054】
たとえば、図15に示すように上部構造物である天板を備えたテーブルの柱状の脚部(特定形状物)をスキャン距離Rのスキャン型センサ4が検出した後、稼働状態となった図中3つの非スキャン型障害物センサ5が上部構造物を検出したならば、スキャン型センサ4の出力に非スキャン型障害物センサ5の出力を重畳して非スキャン型障害物センサ5の検出エリア上の所定半径rの位置に障害物9があるようにする。なお、図中のハッチングエリアは非スキャン型障害物センサ5の出力が重畳されたスキャン型センサ4の出力から障害物が無いと判断された領域を示している。これにより、非スキャン型障害物センサ5による検知情報をあたかもスキャン型センサ4で得たように扱うことができ、この状態で障害物回避アルゴリズムを含んでいる自律移動プログラムに自律移動動作を継続させるのである。この時、非スキャン型障害物センサ5が距離を検出できるタイプのものであれば、スキャン型センサ4の出力がその距離rに障害物があるようにとすればよい。非スキャン型障害物センサ5が障害物9の有無だけを検出できるものであれば、予め設定した値を用いるものとする。
【0055】
以上のような構成を備える自律移動装置1は、事務所や病院、レストラン等のテーブルや椅子のような障害物が多数存在している環境のなかで、搬送や警備や清掃等の目的で利用されるロボットとして好適に利用することができる。
【0056】
図3と図4と図10及び図11において、スキャン型センサ4による検出領域が矩形となっているのは、廊下などの通路における壁をイメージしているためで、この形に限定されるものではない。また、スキャン型センサ4を一つだけ設けたもので説明しているが、複数のスキャン型センサを備えたものであってもよいのはもちろんである。
【0057】
【発明の効果】
以上のように本発明においては、障害物の位置情報を正確に知ることができるスキャン型センサに加えてスキャン型センサによるスキャン面と異なる空間の障害物を検知する非スキャン型障害物センサも備えているために、上部構造物を有している障害物も検知して回避することができるものであり、しかもスキャン型センサで障害物が検出された場合にのみ、非スキャン型障害物センサを稼働状態とし、スキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置を推定するので、常時両方のセンサの検出情報を用いる場合に比べて効率のよい検出動作及び回避動作が可能なものである。
【0058】
また本発明は、スキャン型センサによるスキャン角度毎の検出物体距離情報から検出物体の形状を推定して予め設定してある特定形状か否かを検出する特定形状検出手段と、特定形状検出手段により特定形状が検出された場合にスキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置もしくは存在領域を推定し且つ特定形状検出手段により特定形状が検出されない場合にスキャン型センサの出力に基づいてのみ障害物の位置を推定する障害物検出手段とを備えているために、上部構造物を有している障害物のようなスキャン型センサだけでは検出できない障害物がある領域での障害物の検出をより効率良く行うことができるものであり、障害物を確実に且つ効率良く回避することができる。
【0059】
上記特定形状検出手段が、柱状物を特定形状として検出するための情報を予め記憶させた記憶部を有して、スキャン型センサから得られる一連の角度毎の検出物体距離データに基づいて隣合うデータの距離の差が記憶部に設定された範囲にあるものから検出物体の幅を推定するとともにこの幅が記憶部に設定された範囲のものであり且つ推定物体に関わるデータの両側のデータが記憶部に設定された距離以上に長い時に推定物体を特定形状物体であると判断するものであると、脚部を持つ机や椅子などのオーバーハングした上部構造物を有する障害物の検出を的確に行うことができる。
【0060】
障害物検出手段は、特定形状検出手段で検出された特定形状物体までの距離が記憶部に設定された所定値より短い場合、スキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置もしくは存在領域を推定し、特定形状物体までの距離が記憶部に設定された所定値より長い場合、スキャン型センサの出力に基づいてのみ障害物の位置を推定するものであってもよい。スキャン型センサのみでは検出できない障害物に衝突する可能性のある範囲にある時以外は、スキャン型センサの出力を利用するだけで移動することができる。
【0061】
また、障害物検出手段は特定形状検出手段による検出出力があった場合に非スキャン型障害物センサを稼働状態とするものが電力消費を抑えることができる点並びに通常はスキャン型センサの出力を処理するだけで障害物の回避を行うことができて、高速な応答を得ることができる点で好ましい。
【0062】
また、制御手段は、特定形状検出手段による検出出力があった場合に走行速度を低下させると、非スキャン型障害物センサの検出距離が短くても上部構造物を有している障害物に衝突することなく停止または回避することができる。
【0063】
また、スキャン型センサで検出された障害物への接近を所定距離までしか許可しないものであれば、特定形状物を持たないにもかかわらず上部構造物を有しているものとの衝突の回避に有効である。
【0064】
非スキャン型障害物センサには超音波センサがコスト的に有利であり、この場合、超音波センサは複数を配設するとともに、これら複数の超音波センサによる包括障害物検知エリアが進行方向水平面内において半円を描くものとなるように配設すると、上部構造物に対してどのような角度で接近しても上部構造物を検出することができるものとなる。また、上下に並ぶ複数の超音波センサはその超音波発信タイミングを同期させておくと、干渉を逆利用して障害物検出を有利に行うことができ、非スキャン型障害物センサの個数の削減を図ることができる。
【0065】
非スキャン型障害物センサには、超音波センサのほか、幅方向の両端部に夫々配設されているとともに上下方向に広がるスリット光を出力し且つ障害物からの反射光で障害物を検出する光学的センサを用いても、コスト的に有利である。
【0066】
回避動作に関しては、スキャン型センサ出力に非スキャン型障害物センサの出力を重畳させた情報に基づいて自律移動動作を継続するものとして、自律移動のためのプログラムが備えている回避アルゴリズムに回避動作をまかせてしまうようにすれば、特別な回避アルゴリズムを必要とすることなく、障害物を回避した自律移動が可能である。
【0067】
また、非スキャン型障害物センサによる障害物検知出力で所定の方向に非スキャン型障害物センサの障害物検知出力がなくなるまで向きを変えさせ、その後、自律移動を再開させるものとしたり、非スキャン型障害物センサによる左右いずれかの方向の障害物検知出力で逆方向に非スキャン型障害物センサの障害物検知出力がなくなるまで向きを変えさせ、その後、自律移動を再開させるものとすると、障害物(上部構造物)の詳細な位置が検知できていなくても簡単な方法で効率の良い回避動作を行うことができる。また、非スキャン型障害物センサによる左右及び前方について夫々障害物検知出力を出す時、特定形状物体が検出された向きに、複数の特定形状物体が検出された時には進行方向との角度が小さい方に向きを変えさせるようにすれば、上部構造物のオーバーハングの無くなる確率の大きい方向へ向きを変えさせることができる。
【0068】
この時、制御手段は非スキャン型障害物センサによる障害物検知出力で該当方向に障害物を設定してその位置を記憶するとともに、その位置よりも目的地に近づいた時点で上記位置記憶を消去するものや、非スキャン型障害物センサによる障害物検知出力で該当方向に障害物を設定してその位置を記憶するとともに、その位置から所定距離離れた時点で上記位置記憶を消去するものを用いると、障害物回避処理に必要な計算に際しての不要なデータを消去すべき時点を簡便に判断することができ、これに伴って上記計算処理の負荷を低減することができて、高速な回避動作を行うことができる。
【0069】
さらに制御手段は、特定形状検出手段による検出出力に対して、複数回の検出結果から特定形状物が移動しているかどうかの判断を行い、特定形状物が移動している時には停止を、移動していない場合は非スキャン型障害物センサの検出情報を有効にするものとすると、移動している障害物との衝突の回避及び移動する障害物が他の自律移動装置である場合の相互回避動作のデッドロックの防止を図ることができる。
【0070】
そして、この自律移動装置は、事務所や病院、レストラン等の屋内において搬送や警備や清掃等の目的で利用されるロボットとして非常に好適に用いることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の一例のブロック図である。
【図2】同上のスキャン型センサの動作説明図である。
【図3】同上の障害物検知に際しての基本動作を示す説明図である。
【図4】同上の上部構造物を有する障害物の検知の際の状況を示す説明図である。
【図5】同上のスキャン型センサによる特定形状検出についての説明図である。
【図6】同上の特定形状物認識処理のフローチャートである。
【図7】同上の特定形状物認識処理の他例のフローチャートである。
【図8】 (a)(b)(c)は同上の非スキャン型障害物センサの一例についての斜視図と平面図と側面図である。
【図9】同上の非スキャン型障害物センサの他例を示すもので、(a)は平面図、(b)は側面図である。
【図10】 (a)(b)は同上の動作説明図である。
【図11】 (a)(b)は同上の動作説明図である。
【図12】同上の仮想障害物の消去に関する動作説明図である。
【図13】同上の仮想障害物の消去に関する他の動作説明図である。
【図14】 (a)(b)は回避動作のさらに別の例の動作説明図である。
【図15】障害物検知についての別の例の動作説明図である。
【図16】 (a)(b)(c)は夫々従来例の説明図である。
【図17】 (a)(b)は他の従来例の平面図と側面図である。
【符号の説明】
1 自律移動装置
3 走行制御手段
4 スキャン型センサ
5 非スキャン型障害物センサ
6 特定形状検出手段
7 障害物検出手段
Claims (19)
- 障害物を検出して障害物の回避動作を行いつつ目的地への移動を行う自律移動装置において、進行方向の水平面内をスキャンして障害物の位置を検知するスキャン型センサと、該スキャン型センサによるスキャン面と異なる空間の障害物を検出する非スキャン型障害物センサと、常時はスキャン型センサの出力に基づいて障害物を検出するとともにスキャン型センサによる障害物検出出力により非スキャン型障害物センサを稼働状態としてスキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置もしくは存在領域を推定する障害物検出手段と、障害物検出手段の出力に基づいて目的地への走行制御を行う制御手段とを備えていることを特徴とする自律移動装置。
- 障害物を検出して障害物の回避動作を行いつつ目的地への移動を行う自律移動装置において、進行方向の水平面内をスキャンして障害物の位置を検知するスキャン型センサと、該スキャン型センサによるスキャン面と異なる空間の障害物を検出する非スキャン型障害物センサと、スキャン型センサによるスキャン角度毎の検出物体距離情報から検出物体の形状を推定して予め設定してある特定形状か否かを検出する特定形状検出手段と、特定形状検出手段により特定形状が検出された場合にスキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置もしくは存在領域を推定し且つ特定形状検出手段により特定形状が検出されない場合にスキャン型センサの出力に基づいてのみ障害物の位置を推定する障害物検出手段と、障害物検出手段の出力に基づいて目的地への走行制御を行う制御手段とを備えていることを特徴とする自律移動装置。
- 特定形状検出手段は、柱状物を特定形状として検出するための情報を予め記憶させた記憶部を有しており、スキャン型センサから得られる一連の角度毎の検出物体距離データに基づいて隣合うデータの距離の差が記憶部に設定された範囲にあるものから検出物体の幅を推定するとともにこの幅が記憶部に設定された範囲のものであり且つ推定物体に関わるデータの両側のデータが記憶部に設定された距離以上に長い時に推定物体を特定形状物体であると判断するものであることを特徴とする請求項2記載の自律移動装置。
- 障害物検出手段は、特定形状検出手段で検出された特定形状物体までの距離が記憶部に設定された所定値より短い場合、スキャン型センサと非スキャン型障害物センサの両出力に基づいて障害物の位置もしくは存在領域を推定し、特定形状物体までの距離が記憶部に設定された所定値より長い場合、スキャン型センサの出力に基づいてのみ障害物の位置を推定するものであることを特徴とする請求項2または3記載の自律移動装置。
- 障害物検出手段は、特定形状検出手段による検出出力があった場合に非スキャン型障害物センサを稼働状態とするものであることを特徴とする請求項2〜4のいずれかの項に記載の自律移動装置。
- 制御手段は、特定形状検出手段による検出出力があった場合に走行速度を低下させるものであることを特徴とする請求項1〜5のいずれかの項に記載の自律移動装置。
- 制御手段は、スキャン型センサで検出された障害物への接近を所定距離までしか許可しないものであることを特徴とする請求項1〜6のいずれかの項に記載の自律移動装置。
- 非スキャン型障害物センサが超音波センサであることを特徴とする請求項1〜7のいずれかの項に記載の自律移動装置。
- 超音波センサは複数が配設されているとともに、これら複数の超音波センサによる包括障害物検知エリアが進行方向水平面内において半円を描くものとなるように配設されていることを特徴とする請求項8記載の自律移動装置。
- 上下に並ぶ複数の超音波センサはその超音波発信タイミングが同期していることを特徴とする請求項8または9記載の自律移動装置。
- 非スキャン型障害物センサは幅方向の両端部に夫々配設されているとともに上下方向に広がるスリット光を出力し且つ障害物からの反射光で障害物を検出する光学的センサであることを特徴とする請求項1〜7のいずれかの項に記載の自律移動装置。
- 制御手段はスキャン型センサ出力に非スキャン型障害物センサの出力を重畳させた情報に基づいて自律移動動作を継続するものであることを特徴とする請求項1〜11のいずれかの項に記載の自律移動装置。
- 制御手段は非スキャン型障害物センサによる障害物検知出力で所定の方向に非スキャン型障害物センサの障害物検知出力がなくなるまで向きを変えさせ、その後、自律移動を再開させるものであることを特徴とする請求項1〜11のいずれかの項に記載の自律移動装置。
- 制御手段は非スキャン型障害物センサによる左右いずれかの方向の障害物検知出力で逆方向に非スキャン型障害物センサの障害物検知出力がなくなるまで向きを変えさせ、その後、自律移動を再開させるものであることを特徴とする請求項1〜11のいずれかの項に記載の自律移動装置。
- 制御手段は非スキャン型障害物センサによる左右及び前方について夫々障害物検知出力を出す時、特定形状物体が検出された向きに、複数の特定形状物体が検出された時には進行方向との角度が小さい方に向きを変えさせるものであることを特徴とする請求項1〜11のいずれかの項に記載の自律移動装置。
- 制御手段は非スキャン型障害物センサによる障害物検知出力で該当方向に障害物を設定してその位置を記憶するとともに、その位置よりも目的地に近づいた時点で上記位置記憶を消去するものであることを特徴とする請求項13〜15のいずれかの項に記載の自律移動装置。
- 制御手段は非スキャン型障害物センサによる障害物検知出力で該当方向に障害物を設定してその位置を記憶するとともに、その位置から所定距離離れた時点で上記位置記憶を消去するものであることを特徴とする請求項13〜15のいずれかの項に記載の自律移動装置。
- 制御手段は、特定形状検出手段による検出出力に対して、複数回の検出結果から特定形状物が移動しているかどうかの判断を行い、特定形状物が移動している時には停止を、移動していない場合は非スキャン型障害物センサの検出情報を有効にするものであることを特徴とする請求項1〜15のいずれかの項に記載の自律移動装置。
- 事務所や病院、レストラン等の屋内において搬送や警備や清掃等の目的で利用されるロボットとして形成されていることを特徴とする請求項1〜18のいずれかの項に記載の自律移動装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001329903A JP3648604B2 (ja) | 2000-10-26 | 2001-10-26 | 自律移動装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-327760 | 2000-10-26 | ||
JP2000327760 | 2000-10-26 | ||
JP2001329903A JP3648604B2 (ja) | 2000-10-26 | 2001-10-26 | 自律移動装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002202815A JP2002202815A (ja) | 2002-07-19 |
JP3648604B2 true JP3648604B2 (ja) | 2005-05-18 |
Family
ID=26602870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001329903A Expired - Fee Related JP3648604B2 (ja) | 2000-10-26 | 2001-10-26 | 自律移動装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3648604B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3879848B2 (ja) | 2003-03-14 | 2007-02-14 | 松下電工株式会社 | 自律移動装置 |
JP4564447B2 (ja) | 2004-12-14 | 2010-10-20 | 本田技研工業株式会社 | 自律移動ロボット |
JP4995458B2 (ja) | 2005-12-12 | 2012-08-08 | 本田技研工業株式会社 | 脚式移動ロボット |
KR100865165B1 (ko) | 2007-07-10 | 2008-10-24 | 현대중공업 주식회사 | 로봇 팔레타이징 시스템의 최적경로 설정방법 |
EP2375573B1 (de) * | 2007-08-03 | 2018-10-10 | Lufthansa Systems GmbH & Co. KG | Vorrichtung zur Positionskontrolle eines Objekts und Steuerungsverfahren |
JP5212939B2 (ja) * | 2008-07-17 | 2013-06-19 | パナソニック株式会社 | 自律移動装置 |
KR101464219B1 (ko) * | 2011-10-04 | 2014-11-25 | 주식회사 만도 | 자동 주차 보조 시스템 및 방법 |
WO2016009585A1 (ja) * | 2014-07-18 | 2016-01-21 | パナソニックIpマネジメント株式会社 | 自律移動体とその制御方法 |
JP6345558B2 (ja) * | 2014-09-24 | 2018-06-20 | 株式会社クボタ | 自動走行車両 |
JP2020135526A (ja) * | 2019-02-21 | 2020-08-31 | 株式会社豊田自動織機 | 移動体の障害物検知装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2689113B2 (ja) * | 1986-12-19 | 1997-12-10 | 新キャタピラー 三菱株式会社 | 無人自走体の障害物監視システム |
JP2525046B2 (ja) * | 1988-10-19 | 1996-08-14 | 株式会社ロボテック研究所 | 移動体の遠隔制御システム |
JPH07160335A (ja) * | 1993-12-10 | 1995-06-23 | Mutoh Ind Ltd | 走行ロボットの前方障害物検出装置 |
US6055042A (en) * | 1997-12-16 | 2000-04-25 | Caterpillar Inc. | Method and apparatus for detecting obstacles using multiple sensors for range selective detection |
JP2000148246A (ja) * | 1998-11-13 | 2000-05-26 | Japan Tobacco Inc | 無人搬送車 |
-
2001
- 2001-10-26 JP JP2001329903A patent/JP3648604B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002202815A (ja) | 2002-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6515614B2 (en) | Autonomous moving apparatus having obstacle avoidance function | |
CN107272710B (zh) | 一种基于视觉定位的医用物流机器人系统及其控制方法 | |
JP3648604B2 (ja) | 自律移動装置 | |
US7801645B2 (en) | Robotic vacuum cleaner with edge and object detection system | |
JP3865121B2 (ja) | 車両の障害物検出装置 | |
JP3708130B2 (ja) | 自律運動ユニットのセル構造の周囲エリアマップの作成方法 | |
KR20070095384A (ko) | 자동운전차량 및 평면 장애물인식방법 | |
WO2019062119A1 (zh) | 一种自主移动机器人及其自动对接的控制方法和装置 | |
CN108594264B (zh) | 障碍物识别方法、系统及具有障碍物识别功能的机器人 | |
JPH05257533A (ja) | 移動ロボットの床面掃引方法及び装置 | |
JP4962742B2 (ja) | 移動体システム | |
CN106980316B (zh) | 一种应用于移动平台的超声波阵列避障系统 | |
JP5879061B2 (ja) | 位置・姿勢推定可能な移動体システム及び自律移動ロボットシステム | |
CN110815202B (zh) | 障碍物检测方法及装置 | |
WO2017008742A1 (en) | Method and device for determining indoor approachable area | |
JP5983088B2 (ja) | 自律移動装置、及び、自律移動方法 | |
JPH09325812A (ja) | 自律移動ロボット | |
JP2014006835A (ja) | 自律移動装置、自律移動方法、標識、及び、自律移動システム | |
JP5763986B2 (ja) | 移動体および移動体の制御方法 | |
JP2010026727A (ja) | 自律移動装置 | |
JP2006079325A (ja) | 自律移動装置 | |
KR102286656B1 (ko) | 어라운드 맵을 이용하여 경로를 변경하는 방법 및 이를 구현하는 로봇 | |
JP2020154764A (ja) | 情報処理装置及び読取システム | |
JP6871602B2 (ja) | 自律走行型掃除機 | |
JP2012113765A (ja) | 移動体システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20041105 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20050107 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050131 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080225 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |