JP3959376B2 - Object detection apparatus and object detection method - Google Patents

Object detection apparatus and object detection method Download PDF

Info

Publication number
JP3959376B2
JP3959376B2 JP2003201682A JP2003201682A JP3959376B2 JP 3959376 B2 JP3959376 B2 JP 3959376B2 JP 2003201682 A JP2003201682 A JP 2003201682A JP 2003201682 A JP2003201682 A JP 2003201682A JP 3959376 B2 JP3959376 B2 JP 3959376B2
Authority
JP
Japan
Prior art keywords
elastic wave
distance
data
object detection
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003201682A
Other languages
Japanese (ja)
Other versions
JP2005043151A (en
Inventor
見 卓 吉
本 大 介 山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003201682A priority Critical patent/JP3959376B2/en
Publication of JP2005043151A publication Critical patent/JP2005043151A/en
Application granted granted Critical
Publication of JP3959376B2 publication Critical patent/JP3959376B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は物体検出装置および物体検出方法に関する。
【0002】
【従来の技術】
従来移動ロボットの多くは、そのロボットの動作環境内の障害物を検出するために、ロボット本体に指向性が低い超音波距離センサを搭載している。これにより、ロボットは、その動作環境内の障害物の有無や障害物までの距離を検出することができる。(例えば、非特許文献1を参照。)
【0003】
また、超音波を利用して対象物を検知する超音波信号処理装置は、指向性の高い超音波ビームを送受信する多数の超音波センサを備えている。各超音波センサは、指向性の高い超音波ビームを対象物へスポット状に照射し、対象物から反射した超音波ビームを検出する。これにより、超音波信号処理装置は、対象物の表面形状を得ることができる。
【0004】
この超音波信号処理装置を改良した技術として開口合成法がある。開口合成法において、超音波信号処理装置は1つの超音波送信器に対して多数の超音波受信器を有する。超音波送信器は、指向性の低い超音波を対象物に送信する。1つの超音波送信器から送信された超音波は、対象物に反射して多数の超音波受信器によって受信される。この開口合成法によれば、従来の超音波信号処理装置に比べ、超音波信号処理装置の超音波送信器の数を減らすことができる。(例えば、非特許文献2を参照。)
【0005】
また、より一層の解像度の向上を目指して、複数の超音速送信器から指向性の低い超音波を計測領域に順次広く送る手法が提案されている。(例えば、特許文献1を参考。)
【0006】
【非特許文献1】
筑波大学、知能ロボット研究室によるロボット「山彦」
インタネット(URL:http://www.roboken.esys.tsukuba.ac.jp/)
【非特許文献2】
永井啓之亮による”超音波ホログラフィ”,日刊工業新聞社,1989発行
【特許文献1】
特開平5−27080号公報
【0007】
【発明が解決しようとする課題】
従来の多くの移動ロボットにおける超音波距離センサは、指向性が低いので、障害物の有無や障害物までの距離を広範囲にわたって検出することができる。従って、ロボットに搭載される超音波距離センサの数は比較的少数でよい。一方これら移動ロボットの超音波距離センサは、指向性が低いので、障害物の表面形状や正確な位置を特定することはできない。つまり、移動ロボットに配備された超音波距離センサは、指向性が低く、広範囲に亘って超音波を送信する。従って、この超音波距離センサは、検出領域内に存在し尚且つ超音波距離センサから等距離にある2つの物体を互いに区別することはできない。
【0008】
更に、開口合成法を用いた超音波信号処理装置が対象物の表面形状を広範囲にわたって尚且つ高解像度で検出するためには、超音波信号処理装置に超音波センサを多数配備しなければならない。これは、超音波信号処理装置を大型化させ、並びに、そのコストを上昇させる。
【0009】
そこで、本発明の目的は、比較的小型かつ低コストであって、対象物の距離だけでなく、対象物の表面形状を正確に特定することができる物体検出装置を提供することである。
【0010】
【課題を解決するための手段】
本発明に従った実施の形態による物体検出装置は、一定の表面形状を有する物体に対して相対移動し、弾性波によって物体の表面形状を検出する物体検出装置であって、
当該物体検出装置の移動方向に対して垂直の方向を中心として所定の放射角を有する扇形を成す検出領域に弾性波を周期的に送信し、該検出領域を通過する物体によって反射された前記弾性波を逐次受信する弾性波送受信部と、
式1を演算することによって前記弾性波送受信部から前記物体までの距離データLを算出する演算部であって、
L=0.5*Ve*Δt (式1)
前記物体検出装置の移動に伴い前記距離データLが非線形に変化する場合に、式2を演算することによって前記弾性波送受信部に対する前記物体の方向を示す方向データθを算出し、
θ=θ −2θ *(T / ) (式2)
式3および式4を演算することによって前記物体の表面の座標(Xm、Ym)を導出し、
Xm=X +L*sin(θ) (式3)
Ym=L*cos(θ) (式4)
(ここで、Veは、弾性波が前記物体と前記弾性波送受信部との間を伝播する速度であり、Δtは、前記弾性波送受信部が弾性波を送信してから受信するまでの時間であり、前記検出領域の中心線を0度とした場合に前記放射角が±θ であり、T は、前記物体が前記検出領域に入ってからこれを通過するまでの間に、前記距離データが非線形変化している部分の時間であり、Tは、前記物体が前記検出領域に入ってから第1の位置に到達するまでの間に、前記距離データが非線形変化している部分の時間であり、X は、前記物体が前記第1の位置にあるときの前記物体検出装置の移動方向に関する座標である)
前記物体検出装置の移動に伴い前記距離データLが線形に変化する場合には、
弾性波が送受信された或る周期における前記方向データを、その直前の周期における前記方向データθと同一として処理し、
それぞれの弾性波に対応する前記物体の表面の座標(Xm、Ym)によって前記物体の少なくとも一部の表面形状を得る演算部と、
を備えることを特徴とする。
【0011】
本発明に従った実施の形態による物体検出方法は、一定の表面形状を有する物体に対して相対移動し、弾性波によって物体を検出する物体検出装置を用いた物体検出方法であって、
前記物体検出装置は、弾性波を送受信する弾性波送受信部と、前記物体の表面形状を検出する演算部とを備え、
当該方法は、
前記弾性波送受信部が、前記物体検出装置の移動方向に対して垂直の方向を中心として所定の放射角を有する扇形を成す検出領域に弾性波を周期的に送信し、該検出領域を通過する物体によって反射された前記弾性波を逐次受信するステップと、
前記演算部が、
式1を演算することによって前記弾性波送受信部から前記物体までの距離データLを算出し、
L=0.5*Ve*Δt (式1)
前記物体検出装置の移動に伴い前記距離データLが非線形に変化する場合に、式2を演算することによって前記弾性波送受信部に対する前記物体の方向を示す方向データθを算出し、
θ=θ −2θ *(T / ) (式2)
式3および式4を演算することによって前記物体の表面の座標(Xm、Ym)を導出し、
Xm=X +L*sin(θ) (式3)
Ym=L*cos(θ) (式4)
(ここで、Veは、弾性波が前記物体と前記弾性波送受信部との間を伝播する速度であり、Δtは、前記弾性波送受信部が弾性波を送信してから受信するまでの時間であり、前記検出領域の中心線を0度とした場合に前記放射角が±θ であり、T は、前記物体が前記検出領域に入ってからこれを通過するまでの間に、前記距離データが非線形変化している部分の時間であり、Tは、前記物体が前記検出領域に入ってから第1の位置に到達するまでの間に、前記距離データが非線形変化している部分の時間であり、X は、前記物体が前記第1の位置にあるときの前記物体検出装置の移動方向に関する座標である)
前記物体検出装置の移動に伴い前記距離データLが線形に変化する場合には、弾性波が送受信された或る周期における前記方向データを、その直前の周期における前記方向データθと同一として処理し、
それぞれの弾性波に対応する前記物体の表面の座標(Xm、Ym)によって前記物体の少なくとも一部の表面形状を得るステップと、
を備えている。
【0012】
【発明の実施の形態】
以下、図面を参照し、本発明による実施の形態を説明する。これらの実施の形態は本発明を限定するものではない。ここでは弾性波として、例えば超音波を用いて説明しているが、これに限定するものではない。
【0013】
以下の実施の形態による物体検出装置は、指向性が低くかつ検出範囲が広い超音波センサを備える。物体検出装置は、周期的に送受信される弾性波のそれぞれについて、物体検出装置に対する物体の距離およびその方向を算出し、これらの距離および方向に基づいてこの物体の表面形状を導出する。
【0014】
(第1の具体例)
図1は、本発明に係る実施の形態に従った物体検出ロボット100のブロック図である。物体検出ロボット100は、超音波センサ110およびロボット本体120を備えている。超音波センサ110は、超音波発信器112および超音波受信機114を備えている。ロボット本体120は、パルスアンプ122、発信回路124、波形整形回路126、受信回路128、超音波送受信制御部130および演算部140を備えている。
【0015】
発信回路124は、超音波制御部130の制御を受けて所定の周波数を有する電気信号を送信する。パルスアンプ122は、発信回路124から電気信号を受信して、この電気信号を増幅する。超音波発信器112は、圧電素子を有する振動子から構成されており、この振動子にパルスアンプ122からの信号電圧を印加することによって超音波を発生する。超音波発信器112は、指向性が比較的低い超音波を発生する。
【0016】
超音波受信器114もまた圧電素子を有する振動子から構成されており、超音波センサ110に入来した超音波によって振動する振動子によって電気信号を発生する。波形整形回路126は、超音波受信器114から電気信号を受けて波形を整形し、さらに、これを増幅する。受信回路128は、波形整形回路126から電気信号を受信し、超音波発信器112から発信された超音波の反射波であることを検出する。受信回路128は、超音波発信器112から発信された超音波の反射波を受信したことを超音波送受信制御部130へ通知する。
【0017】
超音波送受信制御部130は、計時カウンタ132を備えている。計時カウンタ132は、超音波が発信されてから受信されるまでの時間を計測する。超音波送受信制御部130は、この計測結果を演算部140へ送信する。超音波送受信制御部130は、発信回路124を制御して周期的に連続して電気信号を発生させる。
【0018】
演算部140は、距離演算部142、方向演算部144および形状演算部146を備えている。距離演算部142、方向演算部144および形状演算部146は、それぞれ別個のCPUで構成されてよい。一方、演算部140を1つのCPUで構成してもよい。この場合、その1つのCPUが距離演算部142、方向演算部144および形状演算部146における演算を時分割等により演算する。
【0019】
本実施の形態は、弾性波の例として超音波を用いているが、それ以外の音響波を用いてもよい。また、パルスアンプ122、発信回路124、波形整形回路126、受信回路128および超音波送受信制御部130は、超音波センサ110内に設けてもよい。
【0020】
図2は、物体検出ロボット100が動作している様子を示す概念図である。物体検出ロボット100は、物体Mに対して相対的に等速で移動している。超音波センサ110は、物体検出ロボット100の移動方向(矢印Xの方向)に対してほぼ垂直方向(矢印Yの方向)へ超音波を発信する。この超音波は、指向性が低いので、Y方向を中心軸として、±θの放射角に広がりながら進行する。従って、超音波の及ぶ領域、即ち、物体Mを検出することができる領域(以下、検出領域という)150は、図2に示すように平面上では扇形を成す。物体Mは、その表面が一定の形状を有する任意の物である。例えば、物体検出ロボット100が宅内を移動する場合には、物体Mは、家具、壁、柱などである。図2および図3に示す具体例において、物体Mは、点に近い球形を有するものとする。
【0021】
図3は、物体Mが検出領域150を通過する様子を示した図である。図3では、便宜上、物体検出ロボット100から見た物体Mの動作を示している。物体Mは、−X方向へ移動し、検出領域150を横切る。物体Mは、位置Pにおいて検出領域150へ進入し、矢印に沿って検出領域150を通過し、位置PYPにおいて検出領域150から出る。
【0022】
図4は、物体検出ロボット100の動作を示すフロー図である。図3から図6を参照して物体検出ロボット100の動作を説明する。
【0023】
超音波センサ110は、ある発生周期で連続的に超音波を発生し、物体Mが検出領域150を通過している間、その発生周期と同じ周期で物体Mに反射した反射波を受信する(S10)。よって、超音波センサ110は、物体MがPの位置に存在するときに物体Mに反射した最初の弾性波を受信し、物体MがPの位置にあるときに物体Mに反射した最後の弾性波を受信する。
【0024】
計時カウンタ132は、各弾性波が送信されてから受信されるまでの時間(以下、送受信時間という)Δtを計測する(S20)。超音波送受信制御部130は、各弾性波の送受信時間Δtを演算部140へ送る。
【0025】
演算部140において、距離演算部142は、送受信時間Δtに基づいて超音波センサ110から物体Mまでの距離Lを算出する(S30)。超音波が物体Mと超音波センサ110との間を伝播する速度をVeと仮定すると、超音波センサ110から物体Mまでの距離Lは、式1のように表される。
L=0.5*Ve*Δt (式1)
【0026】
距離演算部142は、物体Mが検出領域150を通過する間に送受信された総ての弾性波に対応する送受信時間Δtを式1に代入することによって、物体Mが検出領域150を通過しているときの距離Lを逐次算出することができる。例えば、物体Mが位置Pに存在すると仮定する。このときの送受信時間をΔtとすると、超音波センサ110から位置Pまでの距離Lは、0.5*Ve*Δt のように表される。
【0027】
図5は、物体検出ロボット100と物体Mとの距離Lを示すグラフである。図5に示すLからLは、物体Mが図3に示した位置PからPに存在するときのそれぞれの距離Lを示している。図3および図5から理解できるように、物体Mが検出領域150に進入した当初において、物体Mは、超音波センサ110から比較的遠くに位置する。物体Mが位置P2を通過するまでは、物体Mは、超音波センサ110に次第に接近し、さらに、物体Mが位置P2を通過してからは、物体Mは、超音波センサ110から次第に遠ざかる。物体Mが検出領域150から出るときには、それに進入した当初と同様に、物体Mは、超音波センサ110から比較的遠くに位置する。
【0028】
次に、方向演算部144が、超音波センサ110に対する物体Mの方向を演算する(S40)。方向演算部144は、物体Mが位置Pに存在する場合の超音波センサ110に対する物体Mの角度θを算出する。なお、本実施例においては、物体Mが検出領域150を通過する間に計測される距離データが全範囲で変化していることから、全範囲で距離データが特定のパターンに従って変化していると判断して以下の算出処理を行った。
【0029】
図3において、Y軸方向を0度として、検出領域150の放射角は±θである。また、物体検出ロボット100が移動することによって物体Mが検出領域150内を位置Pから位置Pまで移動する所要時間をTとする。この時間Tは、位置Pにおいて物体Mに反射した最初の弾性波が受信されてから、位置Pにおいて物体Mに反射した弾性波が受信されるまでの時間に等しい。即ち、移動時間Tは、計時カウンタ132が時間Δt0を計測し始めてから時間Δtを計測するまでの時間と換言してもよい。
【0030】
さらに、物体Mが検出領域150に進入してからこれを通過するまでの時間をTとすると、角度θは、次式のように表される。
θ=θ−2θ*(T/T
時間Tは、物体Mが検出領域150を通過する所要時間である。
【0031】
この式を一般化すると式2となる。
θ=θ−2θ*(T/T) (式2)
【0032】
図6は、物体検出ロボット100のX軸座標に対する物体Mの角度θを示すグラフである。図6に示す+θ、θ、0、−θは、物体Mが図3に示した位置P、P、P、Pに存在するときのそれぞれの角度θを示している。このように、式2を用いて、方向演算部144は、物体Mが検出領域150内の任意の位置に存在するときの角度θを算出することができる。物体検出ロボット100に対する物体Mの距離Lおよび角度θが算出されることによって、物体検出ロボット100は、物体Mの位置を検出することができる。尚、物体検出ロボット100が等速で移動する場合、実際には、超音波センサ110に対する物体Mの角速度(dθ/dt)は一定ではない。しかし、本実施の形態では、この角速度(dθ/dt)が一定であると近似している。従って、図6に示すように、物体検出ロボット100の移動距離に対して角度θは線形に変化している。
【0033】
次に、形状演算部146が、物体Mの表面の座標(Xm,Ym)を導出する(S50)。式1および式2によって得られた距離Lおよび角度θを用いて、座標(Xm,Ym)は、式3および式4のように表される。
Xm=X+L*sin(θ) (式3)
Ym=L*cos(θ) (式4)
ここで、Xは、物体Mが或る位置に存在するときのX方向における物体検出ロボット100の座標である。物体Mが物体検出ロボット100に対して相対的に移動すると考えると、Xは、物体MのX方向における座標の絶対値と換言してもよい。
【0034】
例えば、図3において、位置PをX軸の原点と仮定する。物体Mが位置Pに存在するとき、Xは、位置Pから位置Pまでの長さに等しい。また、式3において、L*sin(θ)は、位置Pから位置Pまでの長さに等しい。従って、式3によって、位置PのX座標は、位置PのX座標に等しくなる。さらに、式4によって、位置PのY座標は、位置PのY座標に等しくなる。
【0035】
本実施の形態おいて、物体Mは、図示するように、点に近い球形である。よって、式3および式4を用いて、位置Pから位置Pまでの各位置における座標を変換すると、位置Pの座標に一致する。これにより、位置Pに静止した物体Mの表面形状を示し、物体Mは、点に近い形状であることがわかる。
【0036】
(第2の具体例)
図7は、物体Mが直方体である場合に、物体検出ロボット100が物体Mを検出している様子を示した図である。この具体例では、超音波センサ110は、物体Mの底面Saが検出領域150に進入してから上面Scが検出領域150から出るまでの間、超音波の送受信により距離が計測される。
【0037】
図8は、第2の具体例における物体検出ロボット100に対する物体Mの距離Lを示すグラフである。ここで、距離Lは、部物体Mと物体検出ロボット100との最短距離を示す。尚、図8は実測データを示している。物体Mが直方体である場合も、距離演算部142は式1を用いて距離Lを演算する。その結果、物体Mの底面Saおよび端部Eが検出領域150内に進入してから、端部Eが図3に示す位置Pに至るまでは、距離Lは次第に低下している(X10からX11)。端部Eが位置Pを通過した後、端部Eが位置Pを通過するまでの間は、物体Mの側面Sbが位置Pを通過するので、距離(最短距離)Lが一定なる。(X11からX12)。その後、端部Enおよび上面Scが検出領域150を出るまで距離Lは次第に上昇する(X12からX13)。
【0038】
図9は、第2の具体例における物体検出ロボット100対する物体Mの角度θを示すグラフである。本実施例においては、図8よりわかるように、物体Mが検出領域150を通過する間に計測される距離データが変化しているところと変化していないところがあり、変化しているところで距離データが特定のパターンに従って変化していると判断して角度θの算出処理を行った。したがって、超音波センサ110に対する物体Mの距離Lがほぼ一定である場合とそれが変化する場合とにおいて、方向演算部144は互いに異なる処理を実行する。
【0039】
座標X10からX11および座標X12からX13においては、方向演算部144は式2を用いて角度θを演算する。
【0040】
一方で、座標X11からX12において超音波センサ110が受信する超音波は、図3に示す位置Pにおいて物体Mの側面Sbに反射した超音波である。即ち、最短距離Lの方向は、Y軸方向で一定であるので、角度θは一定(0度)である。このとき、方向演算部144は、座標X11からX12までの或る周期における物体Mの角度θを、その直前の周期における物体Mの角度θに等しいものとして処理する。
【0041】
尚、座標X12からX13において角度θを演算する際、角度θが一定である期間については、式2の時間TおよびTに含めない。即ち、式2の時間TおよびTは、角度θが変動している期間を示す。
【0042】
図10は、図8の各データに対して式3および式4を適用した結果を示すグラフである。尚、図10は、図8の各データを演算した実際の演算結果を示している。図10に示すように、物体Mの表面形状の一部とその演算結果とは適合する。形状演算部146は、式1および式4を用いて、図8に示す各データを変換する。これにより、図10に示すように、物体Mの表面形状が正確に表現され得る。
【0043】
本具体例のように、超音波センサ110に対する物体Mの距離Lがほぼ一定である場合とそれが変化する場合とにおいて、方向演算部144は互いに異なる処理を実行する。形状演算部146がこれにより得られた物体Mの方向データを演算する。その結果、物体Mが平面を有する場合であっても、物体検出ロボット100はその平面形状を正確に特定することができる。
【0044】
(第3の具体例)
図11は、直方体の物体Mが物体検出ロボット100に対して傾斜している場合に、物体検出ロボット100が物体Mを検出している様子を示した図である。この具体例では、超音波センサ110は、物体Mの端部Eが検出領域150に進入してから上面Scが検出領域150から出るまでの間、超音波の送受信により距離が計測される。この具体例では、物体Mの側面Sbが、検出領域150の一辺に対して垂直方向(破線K−K)よりも超音波センサ110側に傾斜している。
【0045】
図12は、第3の具体例における距離Lを示すグラフである。図12は、実測データを示している。端部Eが検出領域150に進入したとき(座標X20)、最短距離Lは、端部Eと超音波センサ110との間の距離に等しい。その後、座標X20からにX21おいて、最短距離Lは、検出領域150の一辺F(図11参照)に沿った超音波センサ110から側面Sbまでの距離となる。このとき、最短距離Lは、物体Mが進入するに従ってほぼ定率で短くなる。よって、端部Eが検出領域150に進入してから端部Enが検出領域150に進入するまでの間、距離Lはほぼ線形に低下する。
【0046】
端部Enが検出領域150に進入した後、距離Lは、端部Enと超音波センサ110との間の距離になる(X21からX23)。
【0047】
座標X20からX21において距離Lは線形に変化し、座標X21からX23において距離Lは非線形に変化する。距離Lが線形に変化する部分とこれが非線形に変化する部分との境は、座標X21である。座標X21に対応する距離L21は座標X23に対応する距離L23に等しい。
【0048】
図13は、第3の具体例における超音波センサ110に対する物体Mの角度θを示すグラフである。本実施例においては、図12よりわかるように、物体Mが検出領域150を通過する間に計測される距離データが非線形に変化しているところと線形に変化しているところがあり、非線形に変化しているところで距離データが特定のパターンに従って変化していると判断して角度θの算出処理を行った。したがって、方向演算部144は、距離Lが線形に変化する場合(座標X20からX21)とこれが非線形に変化する場合(座標X21からX23)とにおいて異なる処理を実行する。
【0049】
座標X20からX21においては、側面Sbが検出領域150に進入する。この間、最短距離Lは、検出領域150の一辺Fの方向へ送信された超音波によって計測される。従って、座標X20からX21において、角度θはθで一定である。換言すると、座標X20からX21においては、或る周期における物体Mの角度θは、その直前の周期における物体Mの角度θに等しい。
【0050】
その後、座標X21からX23においては、方向演算部144が、式2を用いて角度θを演算する。尚、座標X21からX23において角度θを演算する際、角度θが一定である期間については、式2の時間TおよびTに含めない。即ち、式2の時間TおよびTは、角度θが変動している期間を示す。
【0051】
図14は、図13の各データに対して式3および式4を適用した結果を示すグラフである。尚、図14は、図13の各データを演算した実際の演算結果を示している。形状演算部146は、式1および式4を用いて、図13に示す各データを変換する。これにより、図14に示すように、物体Mの表面形状が正確に表現され得る。
【0052】
本具体例のように、超音波センサ110に対する物体Mの距離Lがほぼ線形である場合と非線形である場合とにおいて、方向演算部144は互いに異なる処理を実行する。それによって、平面を有する物体Mが超音波センサ110に対して傾斜している場合であっても、物体検出ロボット100はその平面形状を正確に特定することができる。
【0053】
(第4の具体例)
図15は、物体Mが球形または円筒形である場合に、物体検出ロボット100が物体Mを検出している様子を示した図である。
【0054】
図16は、第4の具体例における距離Lを示すグラフである。尚、図16は実測データを示している。図5に示す曲線と比べ、図16の曲線はX方向に広がっている。この理由は、第1の具体例における物体Mは点に近い球形であるのに対し、本具体例の物体Mは、それよりも大きな球形であるからである。
【0055】
図17は、第4の具体例における超音波センサ110に対する物体Mの角度θを示すグラフである。このグラフは、上述の理由と同様の理由により、図6と比較してX方向に広がっている。従って、図17に示すグラフの傾きは、図6のそれよりも緩やかである。なお、本実施例においては、図16よりわかるように、物体Mが検出領域150を通過する間に計測される距離データが全範囲で非線形に変化していることから、全範囲で距離データが特定のパターンに従って変化していると判断して角度θの算出処理を行った。
【0056】
図18は、図16の各データに対して式3および式4を適用した結果を示すグラフである。尚、図18は、図16の各データを演算した実際の演算結果を示している。図18に示すように、物体Mの表面形状とその演算結果とが適合する。
【0057】
以上の具体例において、物体Mの形状は、直方体、球形または円筒形であった。物体Mが直方体および球形または円筒形を組み合わせた形状を有している場合であっても、超音波センサ110が超音波を送受信している間の一連の距離データのパターンに基づいて、その物体の表面形状を特定することができる。
【0058】
本実施の形態によれば、指向性の比較的低い超音波センサ110を用いているので、数少ない超音波センサ110によって広範囲の物体を検出することができる。また、本実施の形態によれば、指向性の比較的低い超音波センサ110を用いて、物体の距離だけでなく、物体の表面形状をより正確に特定することができる。よって、物体検出ロボット100の小型化が可能であり、そのコストを低減することができる。
【0059】
図19は、ロボット本体120に対して移動可能な超音波センサ110を配備した外観図である。ロボット本体120は、その向きを変えることなく前後左右に移動可能に構成されている。超音波センサ110は、このロボット本体120の周囲を移動できるように設けられている。これにより、超音波センサ110は、ロボット本体120の進行方向に対して常に垂直方向へ超音波を発信することができる。
【0060】
図20は、物体検出ロボット100が或る環境内を移動したときに作成した地図データである。この環境内には、静止した物体MからMが存在する。物体検出ロボット100は、この環境内をX方向に移動する。2つの超音波センサ110がロボット本体120の両側に設けられ、一方の超音波センサ110は−Y方向へ超音波を発信し、他方の超音波センサ110はY方向へ超音波を発信する。それにより、物体MからMの位置および表面形状を検出することができる。
【0061】
物体MからMの距離データおよび表面形状は、ロボット本体120内に設けられた地図データ作成部160に記憶される。地図データ作成部160は、例えば、メモリなどである。さらに、物体検出ロボット100の移動経路が地図データ作成部160に記録される。例えば、地図データ作成部160は、超音波センサ110が超音波を発信したときの物体検出ロボット100の位置座標を記憶する。それによって、物体検出ロボット100は、その環境内の地図データを得ることができる。
【0062】
本実施の形態において、ロボット本体120は生物検知センサ170をさらに備えてもよい。生物検知センサ170は、遠赤外線センサや焦電センサなどの生物の存在を検知することができるセンサである。これにより、物体検出ロボット100により検出された物体Mが生物か無生物であるかを検出することができる。生物は一定の表面形状を有さずかつ移動するので、物体Mが生物である場合には、地図データ作成部160は、物体Mの表面形状を記憶しない。一方で、物体Mが無生物である場合には、地図データ作成部160は、物体Mの表面形状を記憶する。このように、ロボット本体120に生物検知センサ170を設けることによって、本実施の形態は、必要な物体Mの表面形状のみを選択的に記憶することができる。
【0063】
【発明の効果】
本発明による物体検出装置は、比較的小型かつ低コストであって、対象物の距離だけでなく、対象物の表面形状を正確に特定することができるができる。
【図面の簡単な説明】
【図1】本発明に係る実施の形態に従った物体検出ロボット100のブロック図。
【図2】物体検出ロボット100が動作している様子を示す概念図。
【図3】物体Mが検出領域150を通過する様子を示した図。
【図4】物体検出ロボット100の動作を示すフロー図。
【図5】物体検出ロボット100のX軸座標に対する距離Lを示すグラフ。
【図6】物体検出ロボット100のX軸座標に対する物体Mの角度θを示すグラフ。
【図7】物体Mが直方体である場合に、物体検出ロボット100が物体Mを検出している様子を示した図。
【図8】第2の具体例における物体検出ロボット100に対する物体Mの距離Lを示すグラフ。
【図9】第2の具体例における物体検出ロボット100対する物体Mの角度θを示すグラフ。
【図10】図8の各データに対して式3および式4を適用した結果を示すグラフ。
【図11】直方体の物体Mが物体検出ロボット100に対して傾斜している場合に、物体検出ロボット100が物体Mを検出している様子を示した図。
【図12】第3の具体例における距離Lを示すグラフ。
【図13】第3の具体例における超音波センサ110に対する物体Mの角度θを示すグラフ。
【図14】図13の各データに対して式3および式4を適用した結果を示すグラフ。
【図15】物体Mが球形または円筒形である場合に、物体検出ロボット100が物体Mを検出している様子を示した図。
【図16】第4の具体例における距離Lを示すグラフ。
【図17】第4の具体例における超音波センサ110に対する物体Mの角度θを示すグラフ。
【図18】図16の各データに対して式3および式4を適用した結果を示すグラフ。
【図19】ロボット本体120に対して移動可能な超音波センサ110を配備した外観図。
【図20】物体検出ロボット100が或る環境内を移動したときに作成した地図データ。
【符号の説明】
100 物体検出ロボット
110 超音波センサ
120 ロボット本体
112 超音波発信器
114 超音波受信機
122 パルスアンプ
124 発信回路
126 波形整形回路
128 受信回路
130 超音波送受信制御部
140 演算部
132 計時カウンタ
142 距離演算部
144 方向演算部
146 形状演算部
150 検出領域
M 物体
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object detection device and an object detection method.
[0002]
[Prior art]
Many conventional mobile robots are equipped with an ultrasonic distance sensor with low directivity in the robot body in order to detect obstacles in the operating environment of the robot. Thereby, the robot can detect the presence or absence of an obstacle in the operating environment and the distance to the obstacle. (For example, refer nonpatent literature 1.)
[0003]
An ultrasonic signal processing apparatus that detects an object using ultrasonic waves includes a large number of ultrasonic sensors that transmit and receive highly directional ultrasonic beams. Each ultrasonic sensor irradiates a target with an ultrasonic beam with high directivity in a spot shape, and detects the ultrasonic beam reflected from the target. Thereby, the ultrasonic signal processing apparatus can obtain the surface shape of the object.
[0004]
A technique for improving this ultrasonic signal processing apparatus is an aperture synthesis method. In the aperture synthesis method, the ultrasonic signal processing apparatus has a large number of ultrasonic receivers for one ultrasonic transmitter. The ultrasonic transmitter transmits ultrasonic waves with low directivity to the object. The ultrasonic waves transmitted from one ultrasonic transmitter are reflected by the object and received by a number of ultrasonic receivers. According to this aperture synthesis method, the number of ultrasonic transmitters of the ultrasonic signal processing apparatus can be reduced as compared with the conventional ultrasonic signal processing apparatus. (For example, see Non-Patent Document 2.)
[0005]
In addition, with the aim of further improving the resolution, a technique has been proposed in which ultrasonic waves with low directivity are sequentially and widely transmitted from a plurality of supersonic transmitters to a measurement region. (For example, see Patent Document 1)
[0006]
[Non-Patent Document 1]
Robot “Yamahiko” by Intelligent Robotics Laboratory, University of Tsukuba
Internet (URL: http://www.roboken.esys.tsukuba.ac.jp/)
[Non-Patent Document 2]
"Ultrasonic Holography" by Hiroyuki Nagai, published by Nikkan Kogyo Shimbun, 1989
[Patent Document 1]
JP-A-5-27080
[0007]
[Problems to be solved by the invention]
Conventional ultrasonic distance sensors in many mobile robots have low directivity, and therefore can detect the presence of an obstacle and the distance to the obstacle over a wide range. Therefore, the number of ultrasonic distance sensors mounted on the robot may be relatively small. On the other hand, since the ultrasonic distance sensors of these mobile robots have low directivity, it is impossible to specify the surface shape or the exact position of the obstacle. That is, the ultrasonic distance sensor provided in the mobile robot has low directivity and transmits ultrasonic waves over a wide range. Therefore, this ultrasonic distance sensor cannot distinguish two objects that exist in the detection region and are equidistant from the ultrasonic distance sensor.
[0008]
Furthermore, in order for the ultrasonic signal processing apparatus using the aperture synthesis method to detect the surface shape of the object over a wide range and with high resolution, a large number of ultrasonic sensors must be provided in the ultrasonic signal processing apparatus. This increases the size of the ultrasonic signal processing apparatus and increases its cost.
[0009]
Accordingly, an object of the present invention is to provide an object detection apparatus that is relatively small and low in cost and can accurately specify not only the distance of the object but also the surface shape of the object.
[0010]
[Means for Solving the Problems]
  An object detection device according to an embodiment according to the present invention is an object detection device that moves relative to an object having a certain surface shape and detects the surface shape of the object by elastic waves,
  The elastic wave periodically transmitted to a detection region having a sector shape with a predetermined radiation angle centered on a direction perpendicular to the moving direction of the object detection device, and reflected by an object passing through the detection region An elastic wave transceiver for sequentially receiving waves;
  A calculation unit that calculates distance data L from the elastic wave transmitting / receiving unit to the object by calculating Equation (1),
  L = 0.5 * Ve * Δt (Formula 1)
  When the distance data L changes nonlinearly with the movement of the object detection device, the direction data θ indicating the direction of the object relative to the elastic wave transmitting / receiving unit is calculated by calculating Equation 2,
    θ = θ 0 -2θ 0 * (T / T L (Formula 2)
  Deriving the coordinates (Xm, Ym) of the surface of the object by calculating Equation 3 and Equation 4,
  Xm = X 0 + L * sin (θ) (Formula 3)
    Ym = L * cos (θ) (Formula 4)
  (Here, Ve is a speed at which an elastic wave propagates between the object and the elastic wave transmitting / receiving unit, and Δt is a time from when the elastic wave transmitting / receiving unit transmits an elastic wave to receiving the elastic wave. Yes, when the center line of the detection area is 0 degree, the radiation angle is ± θ 0 And T L Is the time during which the distance data changes nonlinearly from when the object enters the detection area to when it passes through, and T is the time from when the object enters the detection area. 1 is the time during which the distance data changes nonlinearly until reaching the position of 1, 0 Is a coordinate relating to the moving direction of the object detection device when the object is at the first position)
  When the distance data L changes linearly with the movement of the object detection device,
  The direction data in a certain cycle in which an elastic wave is transmitted and received is processed as the same as the direction data θ in the immediately preceding cycle,
  An arithmetic unit that obtains a surface shape of at least a part of the object by coordinates (Xm, Ym) of the surface of the object corresponding to each elastic wave;
  WithIt is characterized by that.
[0011]
  An object detection method according to an embodiment of the present invention is an object detection method using an object detection apparatus that moves relative to an object having a certain surface shape and detects an object by elastic waves,
  The object detection device includes an elastic wave transmission / reception unit that transmits / receives an elastic wave, and an arithmetic unit that detects a surface shape of the object,
  The method is
  The elastic wave transmitting / receiving unit periodically transmits an elastic wave to a detection region having a fan shape with a predetermined radiation angle centered on a direction perpendicular to the moving direction of the object detection device, and passes through the detection region. Sequentially receiving the elastic waves reflected by the object;
  The computing unit is
  By calculating Equation 1, distance data L from the elastic wave transmitting / receiving unit to the object is calculated,
  L = 0.5 * Ve * Δt (Formula 1)
  When the distance data L changes nonlinearly with the movement of the object detection device, the direction data θ indicating the direction of the object relative to the elastic wave transmitting / receiving unit is calculated by calculating Equation 2,
    θ = θ 0 -2θ 0 * (T / T L (Formula 2)
  Deriving the coordinates (Xm, Ym) of the surface of the object by calculating Equation 3 and Equation 4,
  Xm = X 0 + L * sin (θ) (Formula 3)
    Ym = L * cos (θ) (Formula 4)
  (Here, Ve is a speed at which an elastic wave propagates between the object and the elastic wave transmitting / receiving unit, and Δt is a time from when the elastic wave transmitting / receiving unit transmits an elastic wave to receiving the elastic wave. Yes, when the center line of the detection area is 0 degree, the radiation angle is ± θ 0 And T L Is the time during which the distance data changes nonlinearly from when the object enters the detection area to when it passes through, and T is the time from when the object enters the detection area. 1 is the time during which the distance data changes nonlinearly until reaching the position of 1, 0 Is a coordinate relating to the moving direction of the object detection device when the object is at the first position)
  When the distance data L changes linearly with the movement of the object detection device, the direction data in a certain cycle in which an elastic wave is transmitted and received is processed as the same as the direction data θ in the immediately preceding cycle. ,
  Obtaining a surface shape of at least a part of the object by coordinates (Xm, Ym) of the surface of the object corresponding to each elastic wave;
  It has.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. These embodiments do not limit the present invention. Here, for example, an ultrasonic wave is used as the elastic wave, but this is not a limitation.
[0013]
An object detection apparatus according to the following embodiment includes an ultrasonic sensor with low directivity and a wide detection range. The object detection device calculates the distance and direction of the object with respect to the object detection device for each elastic wave periodically transmitted and received, and derives the surface shape of the object based on the distance and direction.
[0014]
(First specific example)
FIG. 1 is a block diagram of an object detection robot 100 according to an embodiment of the present invention. The object detection robot 100 includes an ultrasonic sensor 110 and a robot main body 120. The ultrasonic sensor 110 includes an ultrasonic transmitter 112 and an ultrasonic receiver 114. The robot body 120 includes a pulse amplifier 122, a transmission circuit 124, a waveform shaping circuit 126, a reception circuit 128, an ultrasonic transmission / reception control unit 130, and a calculation unit 140.
[0015]
The transmission circuit 124 transmits an electrical signal having a predetermined frequency under the control of the ultrasonic control unit 130. The pulse amplifier 122 receives the electrical signal from the transmission circuit 124 and amplifies the electrical signal. The ultrasonic transmitter 112 is composed of a vibrator having a piezoelectric element, and generates ultrasonic waves by applying a signal voltage from the pulse amplifier 122 to the vibrator. The ultrasonic transmitter 112 generates ultrasonic waves with relatively low directivity.
[0016]
The ultrasonic receiver 114 is also composed of a vibrator having a piezoelectric element, and generates an electric signal by a vibrator that is vibrated by the ultrasonic wave that has entered the ultrasonic sensor 110. The waveform shaping circuit 126 receives the electrical signal from the ultrasonic receiver 114, shapes the waveform, and further amplifies it. The receiving circuit 128 receives the electric signal from the waveform shaping circuit 126 and detects that it is a reflected wave of the ultrasonic wave transmitted from the ultrasonic transmitter 112. The reception circuit 128 notifies the ultrasonic transmission / reception control unit 130 that the reflected wave of the ultrasonic wave transmitted from the ultrasonic transmitter 112 has been received.
[0017]
The ultrasonic transmission / reception control unit 130 includes a time counter 132. The time counter 132 measures the time from when an ultrasonic wave is transmitted until it is received. The ultrasonic transmission / reception control unit 130 transmits the measurement result to the calculation unit 140. The ultrasonic transmission / reception control unit 130 controls the transmission circuit 124 to periodically generate an electric signal.
[0018]
The calculation unit 140 includes a distance calculation unit 142, a direction calculation unit 144, and a shape calculation unit 146. The distance calculation unit 142, the direction calculation unit 144, and the shape calculation unit 146 may be configured by separate CPUs. On the other hand, the calculation unit 140 may be configured by one CPU. In this case, the one CPU calculates the calculations in the distance calculation unit 142, the direction calculation unit 144, and the shape calculation unit 146 by time division or the like.
[0019]
Although this embodiment uses ultrasonic waves as an example of elastic waves, other acoustic waves may be used. Further, the pulse amplifier 122, the transmission circuit 124, the waveform shaping circuit 126, the reception circuit 128, and the ultrasonic transmission / reception control unit 130 may be provided in the ultrasonic sensor 110.
[0020]
FIG. 2 is a conceptual diagram showing how the object detection robot 100 is operating. The object detection robot 100 moves relative to the object M at a constant speed. The ultrasonic sensor 110 emits ultrasonic waves in a direction (in the direction of arrow Y) substantially perpendicular to the moving direction of the object detection robot 100 (in the direction of arrow X). Since this ultrasonic wave has low directivity, ± θ with the Y direction as the central axis0It progresses while spreading to the radiation angle. Accordingly, an area covered by the ultrasonic wave, that is, an area where the object M can be detected (hereinafter referred to as a detection area) 150 forms a fan shape on a plane as shown in FIG. The object M is an arbitrary object whose surface has a certain shape. For example, when the object detection robot 100 moves in the house, the object M is furniture, a wall, a pillar, or the like. 2 and 3, the object M is assumed to have a spherical shape close to a point.
[0021]
FIG. 3 is a diagram showing how the object M passes through the detection region 150. In FIG. 3, for the sake of convenience, the operation of the object M viewed from the object detection robot 100 is shown. The object M moves in the −X direction and crosses the detection area 150. Object M is at position P0Enters the detection area 150, passes the detection area 150 along the arrow, and the position PYPnExits from the detection area 150.
[0022]
FIG. 4 is a flowchart showing the operation of the object detection robot 100. The operation of the object detection robot 100 will be described with reference to FIGS.
[0023]
The ultrasonic sensor 110 continuously generates ultrasonic waves at a certain generation period, and receives a reflected wave reflected by the object M at the same period as the generation period while the object M passes through the detection region 150 ( S10). Therefore, the ultrasonic sensor 110 is configured so that the object M is P0When the first elastic wave reflected by the object M is received at the position ofnThe last elastic wave reflected on the object M is received at the position.
[0024]
The time counter 132 measures time (hereinafter referred to as transmission / reception time) Δt from when each elastic wave is transmitted to when it is received (S20). The ultrasonic transmission / reception control unit 130 transmits the transmission / reception time Δt of each elastic wave to the calculation unit 140.
[0025]
In the calculation unit 140, the distance calculation unit 142 calculates the distance L from the ultrasonic sensor 110 to the object M based on the transmission / reception time Δt (S30). Assuming that the velocity at which the ultrasonic wave propagates between the object M and the ultrasonic sensor 110 is Ve, the distance L from the ultrasonic sensor 110 to the object M is expressed by Equation 1.
L = 0.5 * Ve * Δt               (Formula 1)
[0026]
The distance calculation unit 142 substitutes the transmission / reception time Δt corresponding to all the elastic waves transmitted / received while the object M passes through the detection region 150 into Equation 1, so that the object M passes through the detection region 150. The distance L can be calculated sequentially. For example, the object M is at the position P1Assume that The transmission / reception time at this time is Δt1Then, the position P from the ultrasonic sensor 1101Distance to1Is 0.5 * Ve * Δt1  It is expressed as
[0027]
FIG. 5 is a graph showing the distance L between the object detection robot 100 and the object M. L shown in FIG.0To LnIs the position P where the object M is shown in FIG.0To PnThe respective distances L are shown in FIG. As can be understood from FIGS. 3 and 5, when the object M enters the detection region 150, the object M is located relatively far from the ultrasonic sensor 110. The object M gradually approaches the ultrasonic sensor 110 until the object M passes the position P2, and further, the object M gradually moves away from the ultrasonic sensor 110 after the object M passes the position P2. When the object M leaves the detection area 150, the object M is located relatively far from the ultrasonic sensor 110, as in the beginning of entering the detection area 150.
[0028]
Next, the direction calculation unit 144 calculates the direction of the object M with respect to the ultrasonic sensor 110 (S40). The direction calculation unit 144 determines that the object M is at the position P.1Of the object M with respect to the ultrasonic sensor 1101Is calculated. In the present embodiment, since the distance data measured while the object M passes through the detection region 150 changes in the entire range, the distance data in the entire range changes according to a specific pattern. Judgment was made and the following calculation process was performed.
[0029]
In FIG. 3, the Y-axis direction is 0 degree, and the radiation angle of the detection region 150 is ± θ.0It is. Further, when the object detection robot 100 moves, the object M moves in the detection area 150 to the position P.0From position P1Time required to travel to T1And This time T1Is at position P0After receiving the first elastic wave reflected by the object M at position P1Is equal to the time until the elastic wave reflected by the object M is received. That is, the travel time T1Indicates that the time counter 132 has time Δt0Δt from the start of measuring1It may be rephrased as the time until measurement.
[0030]
Further, the time from when the object M enters the detection area 150 until it passes through it is expressed as TLThen the angle θ1Is expressed as follows:
θ1= Θ0-2θ0* (T1/ TL)
Time TLIs the time required for the object M to pass through the detection region 150.
[0031]
When this equation is generalized, Equation 2 is obtained.
θ = θ0-2θ0* (T / TL(Formula 2)
[0032]
FIG. 6 is a graph showing the angle θ of the object M with respect to the X-axis coordinate of the object detection robot 100. + Θ shown in FIG.0, Θ1, 0, -θ0Is the position P where the object M is shown in FIG.0, P1, P2, PnEach angle θ is shown in FIG. In this way, using Equation 2, the direction calculation unit 144 can calculate the angle θ when the object M exists at an arbitrary position in the detection region 150. By calculating the distance L and the angle θ of the object M with respect to the object detection robot 100, the object detection robot 100 can detect the position of the object M. When the object detection robot 100 moves at a constant speed, the angular velocity (dθ / dt) of the object M with respect to the ultrasonic sensor 110 is not actually constant. However, in this embodiment, it is approximated that this angular velocity (dθ / dt) is constant. Accordingly, as shown in FIG. 6, the angle θ changes linearly with respect to the moving distance of the object detection robot 100.
[0033]
Next, the shape calculation unit 146 derives the coordinates (Xm, Ym) of the surface of the object M (S50). Using the distance L and the angle θ obtained by Expression 1 and Expression 2, the coordinates (Xm, Ym) are expressed as Expression 3 and Expression 4.
Xm = X0+ L * sin (θ) (Formula 3)
Ym = L * cos (θ) (Formula 4)
Where X0Is the coordinates of the object detection robot 100 in the X direction when the object M is present at a certain position. Considering that the object M moves relative to the object detection robot 100, X0May be rephrased as an absolute value of coordinates in the X direction of the object M.
[0034]
For example, in FIG.0Is the origin of the X axis. Object M is at position P1X0Is at position P0From position P1Equal to the length of In Equation 3, L1* Sin (θ1) Is at position P1From position P2Equal to the length of Therefore, according to Equation 3, the position P1X coordinate is the position P2Is equal to the X coordinate. Further, according to Equation 4, the position P1Y coordinate is the position P2Is equal to the Y coordinate.
[0035]
In the present embodiment, the object M has a spherical shape close to a point as illustrated. Therefore, using Equation 3 and Equation 4, the position P0From position PnWhen the coordinates at each position up to are converted, the position P2Matches the coordinates of. As a result, the position P2Shows the surface shape of the stationary object M, and it can be seen that the object M has a shape close to a point.
[0036]
(Second specific example)
FIG. 7 is a diagram illustrating a state in which the object detection robot 100 detects the object M when the object M is a rectangular parallelepiped. In this specific example, the ultrasonic sensor 110 measures the distance by transmission and reception of ultrasonic waves from the time when the bottom surface Sa of the object M enters the detection region 150 to the time when the top surface Sc exits the detection region 150.
[0037]
FIG. 8 is a graph showing the distance L of the object M with respect to the object detection robot 100 in the second specific example. Here, the distance L indicates the shortest distance between the partial object M and the object detection robot 100. FIG. 8 shows actually measured data. Even when the object M is a rectangular parallelepiped, the distance calculation unit 142 calculates the distance L using Equation 1. As a result, the bottom surface Sa and the end E of the object M0After entering the detection area 150, the end E0Is position P shown in FIG.2Until the distance L is reached, the distance L gradually decreases (X10To X11). Edge E0Is position P2After passing through end EnIs position P2Until the side Sb of the object M passes through the position P.2, The distance (shortest distance) L is constant. (X11To X12). Thereafter, the distance L gradually increases until the end portion En and the upper surface Sc exit the detection region 150 (X12To X13).
[0038]
FIG. 9 is a graph showing the angle θ of the object M with respect to the object detection robot 100 in the second specific example. In this embodiment, as can be seen from FIG. 8, the distance data measured while the object M passes through the detection region 150 may or may not be changed. Was calculated according to a specific pattern, and the angle θ was calculated. Therefore, the direction calculation unit 144 executes different processes when the distance L of the object M to the ultrasonic sensor 110 is substantially constant and when the distance L changes.
[0039]
Coordinate X10To X11And coordinate X12To X13In, the direction calculation unit 144 calculates the angle θ using Equation 2.
[0040]
On the other hand, the coordinate X11To X12The ultrasonic wave received by the ultrasonic sensor 110 at the position P shown in FIG.2The ultrasonic wave reflected on the side surface Sb of the object M in FIG. That is, since the direction of the shortest distance L is constant in the Y-axis direction, the angle θ is constant (0 degree). At this time, the direction calculation unit 144 uses the coordinates X11To X12The angle θ of the object M in a certain period until is processed as being equal to the angle θ of the object M in the immediately preceding period.
[0041]
Coordinate X12To X13When calculating the angle θ in FIG. 2, the time T and T in Equation 2 are used for the period during which the angle θ is constant.LNot included. That is, the times T and T of Equation 2LIndicates a period during which the angle θ varies.
[0042]
FIG. 10 is a graph showing the results of applying Equation 3 and Equation 4 to each data of FIG. FIG. 10 shows an actual calculation result obtained by calculating each data of FIG. As shown in FIG. 10, a part of the surface shape of the object M matches the calculation result. The shape calculation unit 146 converts each data shown in FIG. 8 using Expression 1 and Expression 4. Thereby, as shown in FIG. 10, the surface shape of the object M can be expressed accurately.
[0043]
As in this specific example, the direction calculation unit 144 executes different processes when the distance L of the object M to the ultrasonic sensor 110 is substantially constant and when the distance L changes. The shape calculation unit 146 calculates the direction data of the object M obtained thereby. As a result, even if the object M has a plane, the object detection robot 100 can accurately specify the plane shape.
[0044]
(Third example)
FIG. 11 is a diagram illustrating a state in which the object detection robot 100 detects the object M when the cuboid object M is inclined with respect to the object detection robot 100. In this specific example, the ultrasonic sensor 110 has an end E of the object M.0The distance is measured by transmission / reception of ultrasonic waves until the upper surface Sc comes out of the detection area 150 after entering the detection area 150. In this specific example, the side surface Sb of the object M is inclined to the ultrasonic sensor 110 side from the direction perpendicular to the one side of the detection region 150 (broken line KK).
[0045]
FIG. 12 is a graph showing the distance L in the third specific example. FIG. 12 shows actual measurement data. Edge E0Enters the detection area 150 (coordinate X20), The shortest distance L is the end E0And the distance between the ultrasonic sensor 110 and the ultrasonic sensor 110. Then coordinate X20To X21The shortest distance L is a distance from the ultrasonic sensor 110 to the side surface Sb along one side F (see FIG. 11) of the detection region 150. At this time, the shortest distance L decreases at a substantially constant rate as the object M enters. Thus, end E0The distance L decreases approximately linearly from the time when the device enters the detection region 150 until the end portion En enters the detection region 150.
[0046]
After the end En enters the detection region 150, the distance L is the distance between the end En and the ultrasonic sensor 110 (X21To X23).
[0047]
Coordinate X20To X21The distance L changes linearly and the coordinates X21To X23The distance L varies nonlinearly. The boundary between the portion where the distance L changes linearly and the portion where this distance changes nonlinearly is expressed by the coordinate X21It is. Coordinate X21Distance L corresponding to21Is the coordinate X23Distance L corresponding to23be equivalent to.
[0048]
FIG. 13 is a graph showing the angle θ of the object M with respect to the ultrasonic sensor 110 in the third specific example. In this embodiment, as can be seen from FIG. 12, the distance data measured while the object M passes through the detection region 150 has a non-linear change and a non-linear change. Then, it was determined that the distance data was changing according to a specific pattern, and the calculation process of the angle θ was performed. Therefore, the direction calculation unit 144 determines that the distance L changes linearly (coordinate X20To X21) And when this changes nonlinearly (coordinate X21To X23) And different processes are executed.
[0049]
Coordinate X20To X21, The side surface Sb enters the detection region 150. During this time, the shortest distance L is measured by ultrasonic waves transmitted in the direction of one side F of the detection region 150. Therefore, the coordinate X20To X21The angle θ is θ0It is constant at. In other words, the coordinate X20To X21, The angle θ of the object M in a certain cycle is equal to the angle θ of the object M in the immediately preceding cycle.
[0050]
Then coordinate X21To X23In, the direction calculation unit 144 calculates the angle θ using Equation 2. Coordinate X21To X23When calculating the angle θ in FIG. 2, the time T and T in Equation 2 are used for the period during which the angle θ is constant.LNot included. That is, the times T and T of Equation 2LIndicates a period during which the angle θ varies.
[0051]
FIG. 14 is a graph showing the results of applying Equation 3 and Equation 4 to each data of FIG. FIG. 14 shows an actual calculation result obtained by calculating each data of FIG. The shape calculation unit 146 converts each data shown in FIG. 13 using Expression 1 and Expression 4. Thereby, as shown in FIG. 14, the surface shape of the object M can be expressed accurately.
[0052]
As in this specific example, the direction calculation unit 144 performs different processes depending on whether the distance L of the object M to the ultrasonic sensor 110 is substantially linear or nonlinear. Accordingly, even when the object M having a plane is inclined with respect to the ultrasonic sensor 110, the object detection robot 100 can accurately specify the plane shape.
[0053]
(Fourth specific example)
FIG. 15 is a diagram illustrating a state in which the object detection robot 100 detects the object M when the object M is spherical or cylindrical.
[0054]
FIG. 16 is a graph showing the distance L in the fourth specific example. FIG. 16 shows measured data. Compared with the curve shown in FIG. 5, the curve in FIG. 16 spreads in the X direction. This is because the object M in the first specific example has a spherical shape close to a point, whereas the object M in this specific example has a larger spherical shape.
[0055]
FIG. 17 is a graph showing the angle θ of the object M with respect to the ultrasonic sensor 110 in the fourth specific example. This graph spreads in the X direction compared to FIG. 6 for the same reason as described above. Therefore, the slope of the graph shown in FIG. 17 is gentler than that of FIG. In this embodiment, as can be seen from FIG. 16, the distance data measured while the object M passes through the detection region 150 changes non-linearly over the entire range. The angle θ was calculated by determining that the angle was changed according to a specific pattern.
[0056]
FIG. 18 is a graph showing the results of applying Equation 3 and Equation 4 to each data of FIG. FIG. 18 shows an actual calculation result obtained by calculating each data of FIG. As shown in FIG. 18, the surface shape of the object M matches the calculation result.
[0057]
In the above specific example, the shape of the object M was a rectangular parallelepiped, a sphere, or a cylinder. Even when the object M has a combination of a rectangular parallelepiped and a spherical or cylindrical shape, the object M is based on a series of distance data patterns while the ultrasonic sensor 110 transmits and receives ultrasonic waves. The surface shape can be specified.
[0058]
According to the present embodiment, since the ultrasonic sensor 110 having relatively low directivity is used, a wide range of objects can be detected by the few ultrasonic sensors 110. Further, according to the present embodiment, not only the distance of the object but also the surface shape of the object can be specified more accurately by using the ultrasonic sensor 110 with relatively low directivity. Therefore, the object detection robot 100 can be reduced in size, and the cost can be reduced.
[0059]
FIG. 19 is an external view in which an ultrasonic sensor 110 that can move with respect to the robot body 120 is provided. The robot body 120 is configured to be movable back and forth and right and left without changing its orientation. The ultrasonic sensor 110 is provided so as to be able to move around the robot body 120. Thereby, the ultrasonic sensor 110 can always transmit ultrasonic waves in a direction perpendicular to the traveling direction of the robot body 120.
[0060]
FIG. 20 is map data created when the object detection robot 100 moves in a certain environment. In this environment, a stationary object M1To M4Exists. The object detection robot 100 moves in this environment in the X direction. Two ultrasonic sensors 110 are provided on both sides of the robot main body 120. One ultrasonic sensor 110 transmits ultrasonic waves in the -Y direction, and the other ultrasonic sensor 110 transmits ultrasonic waves in the Y direction. Thereby, the object M1To M4Position and surface shape can be detected.
[0061]
Object M1To M4The distance data and the surface shape are stored in a map data creation unit 160 provided in the robot body 120. The map data creation unit 160 is, for example, a memory. Furthermore, the movement route of the object detection robot 100 is recorded in the map data creation unit 160. For example, the map data creation unit 160 stores the position coordinates of the object detection robot 100 when the ultrasonic sensor 110 transmits an ultrasonic wave. Thereby, the object detection robot 100 can obtain map data in the environment.
[0062]
In the present embodiment, the robot body 120 may further include a biological detection sensor 170. The organism detection sensor 170 is a sensor that can detect the presence of an organism such as a far-infrared sensor or a pyroelectric sensor. Thereby, it is possible to detect whether the object M detected by the object detection robot 100 is a living thing or an inanimate object. Since the living thing does not have a fixed surface shape and moves, the map data creation unit 160 does not store the surface shape of the object M when the object M is a living thing. On the other hand, when the object M is inanimate, the map data creation unit 160 stores the surface shape of the object M. Thus, by providing the biological body detection sensor 170 in the robot main body 120, this Embodiment can selectively memorize | store only the surface shape of the required object M selectively.
[0063]
【The invention's effect】
The object detection device according to the present invention is relatively small and low-cost, and can accurately specify not only the distance of the object but also the surface shape of the object.
[Brief description of the drawings]
FIG. 1 is a block diagram of an object detection robot 100 according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram showing how the object detection robot 100 is operating.
FIG. 3 is a diagram illustrating a state in which an object M passes through a detection region 150.
4 is a flowchart showing the operation of the object detection robot 100. FIG.
5 is a graph showing a distance L with respect to the X-axis coordinate of the object detection robot 100. FIG.
6 is a graph showing the angle θ of the object M with respect to the X-axis coordinate of the object detection robot 100. FIG.
FIG. 7 is a diagram illustrating a state in which the object detection robot 100 detects the object M when the object M is a rectangular parallelepiped.
FIG. 8 is a graph showing a distance L of an object M to the object detection robot 100 in the second specific example.
FIG. 9 is a graph showing an angle θ of the object M with respect to the object detection robot 100 in the second specific example.
10 is a graph showing the result of applying Equation 3 and Equation 4 to each data in FIG. 8;
11 is a diagram showing a state in which the object detection robot 100 detects the object M when the rectangular parallelepiped object M is inclined with respect to the object detection robot 100. FIG.
FIG. 12 is a graph showing the distance L in the third specific example.
FIG. 13 is a graph showing an angle θ of an object M with respect to an ultrasonic sensor 110 in a third specific example.
14 is a graph showing the result of applying Equation 3 and Equation 4 to each data in FIG. 13;
FIG. 15 is a diagram showing a state in which the object detection robot 100 detects the object M when the object M is spherical or cylindrical.
FIG. 16 is a graph showing the distance L in the fourth specific example.
FIG. 17 is a graph showing an angle θ of the object M with respect to the ultrasonic sensor 110 in the fourth specific example.
18 is a graph showing the result of applying Equation 3 and Equation 4 to each data in FIG. 16;
FIG. 19 is an external view in which an ultrasonic sensor 110 that is movable with respect to the robot body 120 is provided.
FIG. 20 is map data created when the object detection robot 100 moves in a certain environment.
[Explanation of symbols]
100 Object detection robot
110 Ultrasonic sensor
120 Robot body
112 Ultrasonic transmitter
114 Ultrasonic receiver
122 Pulse amplifier
124 transmitter circuit
126 Waveform shaping circuit
128 Receiver circuit
130 Ultrasonic transmission / reception controller
140 Calculation unit
132 clock counter
142 Distance calculator
144 Direction calculation unit
146 Shape calculator
150 detection area
M object

Claims (4)

一定の表面形状を有する物体に対して相対移動し、弾性波によって物体の表面形状を検出する物体検出装置において、
当該物体検出装置の移動方向に対して垂直の方向を中心として所定の放射角を有する扇形を成す検出領域に弾性波を周期的に送信し、該検出領域を通過する物体によって反射された前記弾性波を逐次受信する弾性波送受信部と、
式1を演算することによって前記弾性波送受信部から前記物体までの距離データLを算出する演算部であって、
L=0.5*Ve*Δt (式1)
前記物体検出装置の移動に伴い前記距離データLが非線形に変化する場合に、式2を演算することによって前記弾性波送受信部に対する前記物体の方向を示す方向データθを算出し、
θ=θ −2θ *(T / ) (式2)
式3および式4を演算することによって前記物体の表面の座標(Xm、Ym)を導出し、
Xm=X +L*sin(θ) (式3)
Ym=L*cos(θ) (式4)
(ここで、Veは、弾性波が前記物体と前記弾性波送受信部との間を伝播する速度であり、Δtは、前記弾性波送受信部が弾性波を送信してから受信するまでの時間であり、前記検出領域の中心線を0度とした場合に前記放射角が±θ であり、T は、前記物体が前記検出領域に入ってからこれを通過するまでの間に、前記距離データが非線形変化している部分の時間であり、Tは、前記物体が前記検出領域に入ってから第1の位置に到達するまでの間に、前記距離データが非線形変化している部分の時間であり、X は、前記物体が前記第1の位置にあるときの前記物体検出装置の移動方向に関する座標である)
前記物体検出装置の移動に伴い前記距離データLが線形に変化する場合には、
弾性波が送受信された或る周期における前記方向データを、その直前の周期における前記方向データθと同一として処理し、
それぞれの弾性波に対応する前記物体の表面の座標(Xm、Ym)によって前記物体の少なくとも一部の表面形状を得る演算部と、
を備えることを特徴とする物体検出装置。
In an object detection device that moves relative to an object having a certain surface shape and detects the surface shape of the object by elastic waves,
The elastic wave periodically transmitted to a detection region having a sector shape with a predetermined radiation angle centered on a direction perpendicular to the moving direction of the object detection device , and reflected by an object passing through the detection region An elastic wave transceiver for sequentially receiving waves;
A calculation unit that calculates distance data L from the elastic wave transmitting / receiving unit to the object by calculating Equation (1),
L = 0.5 * Ve * Δt (Formula 1)
When the distance data L changes nonlinearly with the movement of the object detection device, the direction data θ indicating the direction of the object relative to the elastic wave transmitting / receiving unit is calculated by calculating Equation 2,
θ = θ 0 −2θ 0 * (T / T L ) (Formula 2)
Deriving the coordinates (Xm, Ym) of the surface of the object by calculating Equation 3 and Equation 4,
Xm = X 0 + L * sin (θ) (Formula 3)
Ym = L * cos (θ) (Formula 4)
(Here, Ve is a speed at which an elastic wave propagates between the object and the elastic wave transmitting / receiving unit, and Δt is a time from when the elastic wave transmitting / receiving unit transmits an elastic wave to receiving the elastic wave. Yes, when the center line of the detection area is 0 degree, the radiation angle is ± θ 0 , and T L is the distance between the time when the object enters the detection area and the time when it passes through the detection area. The time of the portion where the data changes nonlinearly, and T is the time of the portion where the distance data changes nonlinearly after the object enters the detection area and reaches the first position. X 0 is a coordinate relating to the moving direction of the object detection device when the object is at the first position)
When the distance data L changes linearly with the movement of the object detection device,
The direction data in a certain cycle in which an elastic wave is transmitted and received is processed as the same as the direction data θ in the immediately preceding cycle,
An arithmetic unit that obtains a surface shape of at least a part of the object by coordinates (Xm, Ym) of the surface of the object corresponding to each elastic wave ;
Object detecting apparatus comprising: a.
前記物体検出装置の移動に伴い前記距離データLが変化しない場合には、
前記演算部は、弾性波が送受信された或る周期における前記方向データを、その直前の周期における前記方向データθと同一として処理することを特徴とする請求項1に記載の物体検出装置。
When the distance data L does not change with the movement of the object detection device,
The object detection apparatus according to claim 1 , wherein the calculation unit processes the direction data in a certain cycle in which an elastic wave is transmitted and received as the same as the direction data θ in the immediately preceding cycle .
一定の表面形状を有する物体に対して相対移動し、弾性波によって物体の表面形状を検出する物体検出装置を用いた物体検出方法であって、前記物体検出装置は、弾性波を送受信する弾性波送受信部と、前記物体の表面形状を検出する演算部とを備え、
当該方法は、
前記弾性波送受信部が、前記物体検出装置の移動方向に対して垂直の方向を中心として所定の放射角を有する扇形を成す検出領域に弾性波を周期的に送信し、検出領域を通過する物体によって反射された前記弾性波を逐次受信するステップと、
前記演算部が、
式1を演算することによって前記弾性波送受信部から前記物体までの距離データLを算出し、
L=0.5*Ve*Δt (式1)
前記物体検出装置の移動に伴い前記距離データLが非線形に変化する場合に、式2を演算することによって前記弾性波送受信部に対する前記物体の方向を示す方向データθを算 出し、
θ=θ −2θ *(T / ) (式2)
式3および式4を演算することによって前記物体の表面の座標(Xm、Ym)を導出し、
Xm=X +L*sin(θ) (式3)
Ym=L*cos(θ) (式4)
(ここで、Veは、弾性波が前記物体と前記弾性波送受信部との間を伝播する速度であり、Δtは、前記弾性波送受信部が弾性波を送信してから受信するまでの時間であり、前記検出領域の中心線を0度とした場合に前記放射角が±θ であり、T は、前記物体が前記検出領域に入ってからこれを通過するまでの間に、前記距離データが非線形変化している部分の時間であり、Tは、前記物体が前記検出領域に入ってから第1の位置に到達するまでの間に、前記距離データが非線形変化している部分の時間であり、X は、前記物体が前記第1の位置にあるときの前記物体検出装置の移動方向に関する座標である)
前記物体検出装置の移動に伴い前記距離データLが線形に変化する場合には、弾性波が送受信された或る周期における前記方向データを、その直前の周期における前記方向データθと同一として処理し、
それぞれの弾性波に対応する前記物体の表面の座標(Xm、Ym)によって前記物体の少なくとも一部の表面形状を得るステップと、
を備えた物体検出方法。
An object detection method using an object detection device that moves relative to an object having a certain surface shape and detects the surface shape of the object by elastic waves, wherein the object detection device transmits and receives elastic waves. A transmission / reception unit, and a calculation unit for detecting the surface shape of the object,
The method is
The elastic wave reception section, the elastic wave is transmitted periodically to the detection region forming a sector having a predetermined radiation angle around the direction perpendicular to the moving direction of the object detecting device, passing through the detection area Sequentially receiving the elastic waves reflected by the object;
The computing unit is
By calculating Equation 1, distance data L from the elastic wave transmitting / receiving unit to the object is calculated,
L = 0.5 * Ve * Δt (Formula 1)
Wherein when the distance data L with the movement of the object detecting device changes nonlinearly issues calculate the direction data θ indicating the direction of the object relative to the elastic wave transmitting and receiving unit by calculating the equation 2,
θ = θ 0 −2θ 0 * (T / T L ) (Formula 2)
Deriving the coordinates (Xm, Ym) of the surface of the object by calculating Equation 3 and Equation 4,
Xm = X 0 + L * sin (θ) (Formula 3)
Ym = L * cos (θ) (Formula 4)
(Here, Ve is a speed at which an elastic wave propagates between the object and the elastic wave transmitting / receiving unit, and Δt is a time from when the elastic wave transmitting / receiving unit transmits an elastic wave to receiving the elastic wave. Yes, when the center line of the detection area is 0 degree, the radiation angle is ± θ 0 , and T L is the distance between the time when the object enters the detection area and the time when it passes through the detection area. The time of the portion where the data changes nonlinearly, and T is the time of the portion where the distance data changes nonlinearly after the object enters the detection area and reaches the first position. X 0 is a coordinate relating to the moving direction of the object detection device when the object is at the first position)
When the distance data L changes linearly with the movement of the object detection device, the direction data in a certain cycle in which an elastic wave is transmitted and received is processed as the same as the direction data θ in the immediately preceding cycle. ,
Obtaining a surface shape of at least a part of the object by coordinates (Xm, Ym) of the surface of the object corresponding to each elastic wave;
An object detection method comprising:
前記物体検出装置の移動に伴い前記距離データLが変化しない場合には、When the distance data L does not change with the movement of the object detection device,
前記演算部は、弾性波が送受信された或る周期における前記方向データを、その直前の周期における前記方向データθと同一として処理するステップをさらに備えたことを特徴とする請求項3に記載の物体検出方法。The said calculating part is further provided with the step which processes the said direction data in a certain period with which the elastic wave was transmitted / received as the same as the said direction data (theta) in the period immediately before that. Object detection method.
JP2003201682A 2003-07-25 2003-07-25 Object detection apparatus and object detection method Expired - Fee Related JP3959376B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003201682A JP3959376B2 (en) 2003-07-25 2003-07-25 Object detection apparatus and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003201682A JP3959376B2 (en) 2003-07-25 2003-07-25 Object detection apparatus and object detection method

Publications (2)

Publication Number Publication Date
JP2005043151A JP2005043151A (en) 2005-02-17
JP3959376B2 true JP3959376B2 (en) 2007-08-15

Family

ID=34261674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003201682A Expired - Fee Related JP3959376B2 (en) 2003-07-25 2003-07-25 Object detection apparatus and object detection method

Country Status (1)

Country Link
JP (1) JP3959376B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2063287A1 (en) * 2006-08-30 2009-05-27 NEC Corporation Localization system, robot, localization method, and sound source localization program
JP5499479B2 (en) * 2009-01-13 2014-05-21 セイコーエプソン株式会社 Electronics
JP5370132B2 (en) * 2009-12-22 2013-12-18 株式会社デンソー Obstacle detection device

Also Published As

Publication number Publication date
JP2005043151A (en) 2005-02-17

Similar Documents

Publication Publication Date Title
JP6949938B2 (en) Reverberation localization by tactile oscillator device
KR100791383B1 (en) Method for estimating relative position between moving robot and transmitter and apparatus thereof
KR100561855B1 (en) Robot localization system
Kelemen et al. Distance measurement via using of ultrasonic sensor
KR101479232B1 (en) Robot, robot hand and method of controlling robot hand
JP4799631B2 (en) Object detection device
CN104781766B (en) The system and method that at least one contact on the touch sensitive surface of object is detected and positioned
KR20150125232A (en) Position detection apparatus and method for a movable matter, lighting apparatus, air conditioning apparatus, security apparatus, and parking apparatus
JP2005069892A (en) System for computing self-position of moving object
Krammer et al. Localization of object edges in arbitrary spatial positions based on ultrasonic data
Singh et al. Effect of external factors on accuracy of distance measurement using ultrasonic sensors
JP5148353B2 (en) Underwater vehicle and obstacle detection device
JP3959376B2 (en) Object detection apparatus and object detection method
KR101408089B1 (en) Device and method for measuring 3D position using multi-channel ultrasonic sensor
KR102263722B1 (en) Nosie detecting device of ultrasonic sensor for vehicle and noise detecting method thereof
JP2004138481A (en) Position measuring device and robot using it
JP2020165858A (en) Object detector
CN116324354A (en) Environmental condition measuring device
JP2007192763A (en) Autonomous travel device
JPH0854926A (en) Guidance device for autonomous mobile robot
JP7027810B2 (en) Object detection device
JP2007085825A (en) Apparatus for estimating arrival direction
JP2005049301A (en) Ultrasonic sensor
JPH05257530A (en) Method and device for correcting bearing and position of moving robot
JP7367322B2 (en) Object position detection sensor

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees