JP3979141B2 - 案内用自律移動ロボットとその制御方法 - Google Patents
案内用自律移動ロボットとその制御方法 Download PDFInfo
- Publication number
- JP3979141B2 JP3979141B2 JP2002085623A JP2002085623A JP3979141B2 JP 3979141 B2 JP3979141 B2 JP 3979141B2 JP 2002085623 A JP2002085623 A JP 2002085623A JP 2002085623 A JP2002085623 A JP 2002085623A JP 3979141 B2 JP3979141 B2 JP 3979141B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- guided person
- guided
- guidance
- mobile robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 50
- 238000005259 measurement Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、病院、博物館およびオフィスといった多くの来訪者が訪れる施設において、人間に替わって案内業務を代行するロボットを提供するための案内用自律移動ロボット及びその制御方法に関するものである。
【０００２】
【従来の技術】
従来、このような案内業務を行うロボットには、特開２００１−１２９７７７号公報に記述されているように、被案内者側が無線発信装置を携帯し、これにより自らの存在をロボットに知らせるという方法があった。
【０００３】
しかしながらこの方式では、被案内者が必ず無線発信装置を携帯しなければならず、また被案内者以外の被案内者がロボット周辺に存在した場合、被案内者を特定できない、といった問題があった。
【０００４】
【発明が解決しようとする課題】
本発明は上記問題点の解決を目的とするものであり、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に案内を実施することのできる案内用自律移動ロボット及びその制御方法を提供するものである。
【０００５】
【課題を解決するための手段】
本発明の請求項１記載の
案内用自律移動ロボットの制御方法は、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に出力手段により告知するものである。
【０００６】
したがって、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【０００７】
本発明の請求項２記載の案内用自律移動ロボットの制御方法は、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、複数の特徴部位の抽出を行うことで、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者位置算出演算部にて算出される被案内者の位置を用いて、案内業務を継続するものである。
【０００８】
したがって、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【０００９】
本発明の請求項３記載の案内用自律移動ロボットは、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に告知する出力手段を備えたことを特徴とするものである。
【００１０】
したがって、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００１１】
本発明の請求項４記載の案内用自律移動ロボットは、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記特徴抽出演算装置は、複数の特徴部位の抽出を行うものであり、被案内者位置算出演算部は、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者の位置を算出し、案内業務を継続することを特徴とするものである。
【００１２】
したがって、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００３４】
【発明の実施の形態】
図１乃至図５に示したように、本発明の実施形態に係わる案内用自律移動ロボットについて説明する。
【００３５】
図１及び図２に示したように、計測制御コンピュータＡと被案内者検出コンピュータＢとにより駆動部Ｃを制御する案内用自律移動ロボットＤにおいて、前記被案内者検出コンピュータＢが、自らの周辺をカメラ等で撮像する撮像手段１と、前記撮像手段１によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者２を特定する特徴抽出演算装置３と、随時撮像された画像から、前記特徴抽出演算装置３を用いて被案内者２を特定するために抽出した特徴部位４ａが、前記被案内者２が移動することにより生じた変化を、直近に撮像された画像における特徴部位４ｂと比較することで追跡する特徴部位追跡演算装置５と、前記特徴部位追跡演算装置５により、被案内者２の位置を算出する被案内者位置算出演算装置６とを備えたものである。
【００３６】
このとき、特徴抽出演算装置３は、撮像手段１によって撮像された画像から自らの周辺に存在している人物の体型的な身体的特徴を抽出したり、衣類等の着用物の特徴を抽出するものである。これらで得られた特徴部位４ａ、４ｂは、特徴部位追跡演算装置５で追跡して比較するようにしたものである。
【００３７】
さらに、計測制御コンピュータＡは、モータ制御部７とセンサ計測部８とからなるロボット統括制御部９及び記憶部１０とからなり、外部からの設定入力の操作盤やモニターとしての機能を有するディスプレイモニタＥとして操作可能とした操作入力部１１と情報出力部１２とが接続されている。
【００３８】
以下、本発明の実施例に係わる案内用自律移動ロボット及びその制御方法について詳述する。
【実施例】
【００３９】
まず、本発明を実施した案内用自律移動ロボットを図１、その計測制御コンピュータＡと被案内者検出コンピュータＢとにより駆動部Ｃを制御する横成を図２に示す。
【００４０】
自律移動ロボットＤは、一般的に移動するためにモータ１３とエンコーダ１４とからなり、モータ１３を中心に構成された駆動部Ｃとして、これらを制御するために計測制御コンピュータＡの中にモータ制御部７を備えている。
【００４１】
車輪１５により移動する案内用自律移動ロボットＤの場合、駆動部Ｃである車輪１５を回転するモータ制御部７にはエンコーダ１４が取り付けられ、モータ制御部７では当該エンコーダ１４からの信号を処理することで自律移動ロボットＤの位置と進行方向を算出し、この結果から目的とする地点へロボットが移動するようにモータを制御している。
【００４２】
また、自律移動ロボットＤの正確な位置が必要な場合、上記の算出結果には必ず誤差が含まれるので、様々なセンサ８ａを用いてこの誤差を修正するセンサ計測部８を備えている。
【００４３】
本発明で用いられた案内用自律移動ロボットＤでは、上記の案内用自律移動ロボットＤの被案内者検出コンピュータＢにおいて、自らの周辺を撮像するカメラ等の撮像手段１を備え、この撮像手段１によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出する特徴抽出演算装置３と、随時撮像された画像から特徴抽出演算装置３を用いて被案内者２を特定するために抽出した特徴部位４ａが、被案内者２が移動することにより生じる変化を、直近に撮像された画像における特徴部位４ｂと比較することで追跡する特徴部位追跡演算装置５と、特徴部位追跡演算装置５により被案内者２の案内用自律移動ロボットＤに対する相対位置を算出する被案内者位置算出演算装置６を備えている。
【００４４】
撮像手段１は自らの周辺を撮像するために、凸面鏡を利用して一台のカメラで全方位の視野を得るような構成、または複数台のカメラで広範囲の視野を得るような構成にすることも可能である。
【００４５】
特徴抽出演算装置３、特徴部位追跡演算装置５、被案内者位置算出演算装置６で実行される演算は、被案内者検出コンピュータＢで実行され、この被案内者検出コンピュータＢには演算の実行に必要な記憶部１６を備えられている。
【００４６】
そして、この情報は、計測制御コンピュータＡのモータ制御部７、センサ計測部８で実行される演算もロボット統括制御部９で制御され、コンピュータで実行されるため、上記の演算を実施するコンピュータと統一することも可能であるが、図２の構成では計測制御コンピュータＡと被案内者検出コンピュータＢに分離した実施例を示した。
【００４７】
また、これらに加えて被案内者２からの操作を入力する操作入力部１１、案内に必要な被案内者２への情報出力部１２も備えている。
【００４８】
図３に示したように、これら案内用自律移動ロボットＤの構成部の動作を以下に示す。
【００４９】
まず、被案内者２の条件の操作入力をディスプレイモニタＥの操作入力部１１で行う。その後、撮像手段１を用いて被案内者２を撮像する。被案内者検出コンピュータＢの特徴抽出演算装置３は撮像した画像から特徴部位４ａを抽出し、それを記憶部１６にて記憶する。
【００５０】
案内開始後は、撮像手段１を用いて随時撮像をおこなう。撮像された画像には被案内者２の姿が含まれており、これを被案内者検出コンピュータＢにおいて記憶している特徴部位４ａとほぼ等しい部位を抽出する特徴部位抽出演算を特徴抽出演算装置３で実施する。抽出された特徴部位４ａの画像中の位置が、直近に撮像した画像中のそれからどのように変化したか特徴部位追跡演算装置５で演算する。そして被案内者位置算出演算装置６によって被案内者２の相対的な位置を算出する。
【００５１】
これと自らの位置と進行方向の算出結果とを用いてモータ制御部７は、駆動部Ｃを制御する。以降、目的地に到着するまで、これを繰り返すことで被案内者２の案内をおこなうものである。
【００５２】
次に、図４に示した特徴抽出演算装置３での演算は、撮像手段１によって撮像された被案内者２の案内用自律移動ロボットＤにおいて、被案内者２を含んだ画像から、被案内者２の身体的特徴を抽出することで、被案内者２の特徴部位４ａとして抽出可能である。被案内者２の身体的特徴としては体形、顔における肌色の領域などを用いることが可能である。体型の輪郭を特徴部位４ａとして抽出した例であって、図４（ａ）は、撮像画像であり，図４（ｂ）は、特徴部位４ａを抽出した後の画像を示すものである。
【００５３】
また、図５に示した特徴抽出演算装置３での演算は、撮像手段１によって撮像された被案内者２を含んだ画像から、被案内者２の着用物の特徴を抽出することで、被案内者２の特徴部位４ａとして抽出するものである。このとき着用物の特徴としては衣服や用意したタグなどを用いることが可能である。図５（ａ）は、撮像画像であり，図５（ｂ）は、着用している服を特徴部位４ａとして抽出した例を示すものでる。
【００５４】
さらに、図６及び図７に示したように、異なる実施例に係わる案内用自律移動ロボットＤであって、以下に示す。
【００５５】
ロボット本体の周囲各部に人体検出センサ１７による人体検出手段１８を備え、得られた検出情報から被案内者２の存在を確認する被案内者存在確認部１９を設けることで、撮像された画像から抽出した特徴部位４が被案内者２のものであるか否かを判断するようにしたものである。
【００５６】
例えば、撮像した画像から特徴部位４を抽出し、特徴部位４を抽出した方向に人体が検出されていれば、それが被案内者２のものであると判断され、そうでない場合には、人体が検出されている方向から異なる特徴部位４の抽出を試みることが可能となる。このように被案内者２の特徴部位４の抽出を確実なものとすることができる。
【００５７】
また、撮像手段１を用いて被案内者２を撮像し、被案内者検出コンピュータＢの特徴抽出演算装置３で特徴部位４を抽出し、それを記憶部１６にて記憶する際に、被案内者２の正面だけでなく背面および側面も撮像することで、案内中に被案内者２との相対位置が変化し、被案内者２の正面を撮像できなかった場合でも対応することが可能である。このように案内中の被案内者２との位置関係に自由度を持たせることができる。
【００５８】
図８及び図９は、さらに異なる実施例であって、ロボット本体外部にあるコンピュータ２０と通信可能な送受信装置２１を備えたもので以下に示す。
【００５９】
例えば病院での案内の場合、入院患者と使用している病室の情報が記憶された外部コンピュータ２０と通信することで、案内用自律移動ロボットＤに予めこうした情報を記憶させることなく、案内業務をおこなわせることが可能である。オフィスでの案内の場合も、オフィス内の各職員名と机の位置が記憶された外部コンピュータ２０と通信することで、同様のことが可能となる。このように案内に必要な情報をリアルタイムに更新することが可能となり、便利なものである。
【００６０】
また、案内用自律移動ロボットＤの外部に、被案内者２の前面、背面および側面が撮像可能な撮像装置１と、この撮像装置１によって撮像された画像を前記案内用自律移動ロボットＤへ送信する送信手段を備えている外部コンピュータ２０を設ける。この外部コンピュータ２０から送信された被案内者２の正面、背面および側面画像を前記案内用自律移動ロボットＤで受信し、これらから特徴部位４を抽出し、これらを記憶部１６で記憶することで、案内中に被案内者２との相対位置が変化し、被案内者２の正面を撮像できなかった場合でも対応することが可能とある。
【００６１】
図１０は、速度制御のフロー図をに示すものであって、以下に示す。
【００６２】
請求項１〜３のいずれかに記載の案内用自律移動ロボットＤにおいて、被案内者位置算出演算装置６によって算出される被案内者２の位置情報に基づき、被案内者２との距離を一定に保つように案内用自律移動ロボットＤの移動速度を制御するもので、これにより、被案内者２の歩行速度が遅かった場合には、被案内者２を置去りにし、逆に被案内者２の歩行速度が速かった場合には、案内用自律移動ロボットＤの移動速度が速くて不快に感じるといったことを防止することができるようにしたものである。
【００６３】
また、上記速度制御に加えて、図１１の速度制御のフロー図のように、撮像装置１によって撮像された画像による被案内者位置算出演算装置６によって算出される被案内者２の位置とモータ制御部７で算出している移動速度を用いて、案内中の被案内者２の適切な移動速度を推定して、その最適な移動速度に速度制御するものである。
【００６４】
さらにまた、上記速度制御に加えて、図１２の速度制御のフロー図のように、撮像装置１によって撮像された画像による被案内者位置算出演算装置６によって算出される被案内者２の位置を用いて、被案内者２との距離を一定に保つように案内用自律移動ロボットＤの移動速度を制御している際に、被案内者２の歩行速度がある一定速度以上になった場合、それ以上に加速しないように制御するものである。
【００６５】
これにより被案内者２が案内用自律移動ロボットＤを操作するために近づこうとしても案内用自律移動ロボットＤが加速し続け、近づけなくなることを防止することができる。
【００６６】
図１３の平面図及び図１４の制御フロー図に示したように、撮像装置１によって撮像された画像による特徴部位追跡演算装置５における演算で、特徴部位４が突然消滅した場合は、被案内者２と案内用自律移動ロボットＤの間に被案内者２以外の割り込んだ人物２２が割り込んだと判断し、この状態が一定時間経過した後も解消されない場合は、被案内者２に移動するように告知する。または割り込んだ人物２２を避けて追従するように被案内者２に音声やブザー等の出力手段により告知するようにしている。
【００６７】
これにより被案内者２は、案内用自律移動ロボットＤが自分を見失っていることを認知できる。また、コーナなどの場所で被案内者２が死角に入った場合も、被案内者２が出現するまで案内用自律移動ロボットＤが待機させることが可能となる。
【００６８】
さらに、図１５の平面図及び図１６の制御フロー図に示したように、案内用自律移動ロボットＤにおいて、撮像装置１によって撮像された画像による被案内者位置算出演算装置６での演算において、案内エリアの地図情報と連携する。
【００６９】
これによりコーナなどの場所で被案内者２が死角に入った場合も、案内用自律移動ロボットＤはコーナによる死角のために被案内者を見失ったことを認識しているため、突然停止することなどを防止することが可能となる。
【００７０】
さらにまた、図１７に示した案内用自律移動ロボットＤにおいて、予め撮像手段１によって案内エリア内の風景を撮像し、この風景の撮像画像を記憶させる。これにより案内移動中に撮像手段１によって撮像された画像から特徴部位４の抽出をおこなう際に、記憶した風景の撮像画像と比較することで、被案内者２の特徴部位抽出の信頼性を向上させることが可能となる。
【００７１】
そして、案内用自律移動ロボットＤの計測制御コンピュータＡへ操作入力部１１からの操作入力によって案内業務の中止または一時停止を受付けることができるようにしている。
【００７２】
これにより被案内者２の都合で、案内業務を中止または一時停止することが可能となり、弾力的な運用が可能となる。
【００７３】
図１８に示したように、案内開始時に特徴部位４を記憶する際の特徴抽出演算装置３での演算で、複数の特徴部位４の抽出を行い、複数の特徴部位４を記憶する。
【００７４】
これにより複数の特徴部位４のうち、一個が突然消滅した場合でも、他の特徴部位によって被案内者位置算出演算装置６にて算出される被案内者２の位置を用いて、案内業務を継続することが可能となる。
【００７５】
さらにまた、図１９（ａ）、（ｂ）に示したように、（ａ）は、案内用自律移動ロボットＤにおいて、案内移動中は案内すべき人物を先導するように前方に位置し、それ以外の状態では適宜、立ち位置を変化する。例えば、（ｂ）に示したように目的地に到着した際は、被案内者の斜め前方に立ち、目的地に到着した旨を音声やブザー等の出力手段により告知し、立ち位置を変化させることも可能である。
【００７６】
このようにすることで、被案内者２に違和感を与えない案内を実施することが可能となる。
【００７７】
【発明の効果】
上述の如く、本発明の請求項１記載の案内用自律移動ロボットの制御方法は、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に出力手段により告知するので、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００７８】
本発明の請求項２記載の案内用自律移動ロボットの制御方法は、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、複数の特徴部位の抽出を行うことで、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者位置算出演算部にて算出される被案内者の位置を用いて、案内業務を継続するので、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００７９】
本発明の請求項３記載の案内用自律移動ロボットは、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に告知する出力手段を備えたことを特徴としているので、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００８０】
本発明の請求項４記載の案内用自律移動ロボットは、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記特徴抽出演算装置は、複数の特徴部位の抽出を行うものであり、被案内者位置算出演算部は、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者の位置を算出し、案内業務を継続することを特徴とするので、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例に係わる案内用自律移動ロボットと被案内者との斜視図である。
【図２】本発明の一実施例に係わる案内用自律移動ロボットの概念図である。
【図３】本発明の一実施例に係わる案内用自律移動ロボットの被案内者の特徴部位を抽出し、相対的位置を算出する制御フロー図である。
【図４】図４（ａ）は、本発明の撮像画像の正面図であり、（ｂ）は、特徴部位を抽出した後の画像を示す正面図である。
【図５】図５（ａ）は、本発明の撮像画像の正面図であり，図５（ｂ）は、着用している服を特徴部位として抽出した正面図である。
【図６】本発明の異なる実施例に係わる案内用自律移動ロボットと被案内者との斜視図である。
【図７】本発明の異なる実施例に係わる案内用自律移動ロボットの概念図である。
【図８】本発明のさらに異なる実施例に係わる案内用自律移動ロボットの斜視図である。
【図９】本発明のさらに異なる実施例に係わる案内用自律移動ロボットの概念図である。
【図１０】本発明の異なる実施例に係わる案内用自律移動ロボットの被案内者との距離により駆動部を制御する制御フロー図である。
【図１１】本発明の異なる実施例に係わる案内用自律移動ロボットの被案内者の移動速度を算出して制御する制御フロー図である。
【図１２】本発明の異なる実施例に係わる案内用自律移動ロボットの被案内者の被案内者との距離を一定に保つように設定移動速度を算出して制御する制御フロー図である。
【図１３】本発明の異なる実施例に係わる案内用自律移動ロボットに人物が割り込んだ状態を示す平面図である。
【図１４】本発明の異なる実施例に係わる案内用自律移動ロボットに人物が割り込んだ状態の被案内者の相対的な位置及び距離を算出し駆動部を制御する制御フロー図である。
【図１５】本発明の異なる実施例に係わる案内用自律移動ロボットがコーナによる死角にさしかかった状態を示す平面図である。
【図１６】本発明の異なる実施例に係わる案内用自律移動ロボットが地図情報と照合して被案内者の相対的な位置を算出し駆動部を制御する制御フロー図である。
【図１７】本発明の異なる実施例に係わる案内用自律移動ロボットにおいて、案内エリア内の風景を撮像し、記憶した風景の撮像画像と比較するフロー図である。
【図１８】本発明の異なる実施例に係わる案内用自律移動ロボットにおいて、複数の特徴部位が突然消滅しても被案内者位置算出演算装置にて算出されるようにするフロー図である。
【図１９】本発明の異なる実施例に係わる案内用自律移動ロボットにおいて、（ａ）は、案内移動中は案内すべき人物を先導するように前方に位置する状態を示す概略の平面図、（ｂ）は、説明等の際に被案内者の斜め前方位置に立つ状態を示す概略の平面図である。
【符号の説明】
Ａ 計測制御コンピュータ
Ｂ 被案内者検出コンピュータ
Ｃ 駆動部
Ｄ 案内用自律移動ロボット
Ｅ ディスプレイモニタ
１ 撮像手段
２ 被案内者
３ 特徴抽出演算装置
４ 特徴部位
５ 特徴部位追跡演算装置
６ 被案内者位置算出演算装置
７ モータ制御部
８ センサ計測部
９ ロボット統括制御部
１０ 記憶部
１１ 操作入力部
１２ 情報出力部
１３ モータ
１４ エンコーダ
１５ 車輪
１６ 記憶部
１７ 人体検出センサ
１８ 人体検出手段
１９ 被案内者存在確認部
２０ 外部コンピュータ
２１ 送受信装置
２２ 人物
【発明の属する技術分野】
本発明は、病院、博物館およびオフィスといった多くの来訪者が訪れる施設において、人間に替わって案内業務を代行するロボットを提供するための案内用自律移動ロボット及びその制御方法に関するものである。
【０００２】
【従来の技術】
従来、このような案内業務を行うロボットには、特開２００１−１２９７７７号公報に記述されているように、被案内者側が無線発信装置を携帯し、これにより自らの存在をロボットに知らせるという方法があった。
【０００３】
しかしながらこの方式では、被案内者が必ず無線発信装置を携帯しなければならず、また被案内者以外の被案内者がロボット周辺に存在した場合、被案内者を特定できない、といった問題があった。
【０００４】
【発明が解決しようとする課題】
本発明は上記問題点の解決を目的とするものであり、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に案内を実施することのできる案内用自律移動ロボット及びその制御方法を提供するものである。
【０００５】
【課題を解決するための手段】
本発明の請求項１記載の
案内用自律移動ロボットの制御方法は、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に出力手段により告知するものである。
【０００６】
したがって、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【０００７】
本発明の請求項２記載の案内用自律移動ロボットの制御方法は、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、複数の特徴部位の抽出を行うことで、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者位置算出演算部にて算出される被案内者の位置を用いて、案内業務を継続するものである。
【０００８】
したがって、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【０００９】
本発明の請求項３記載の案内用自律移動ロボットは、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に告知する出力手段を備えたことを特徴とするものである。
【００１０】
したがって、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００１１】
本発明の請求項４記載の案内用自律移動ロボットは、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記特徴抽出演算装置は、複数の特徴部位の抽出を行うものであり、被案内者位置算出演算部は、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者の位置を算出し、案内業務を継続することを特徴とするものである。
【００１２】
したがって、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００３４】
【発明の実施の形態】
図１乃至図５に示したように、本発明の実施形態に係わる案内用自律移動ロボットについて説明する。
【００３５】
図１及び図２に示したように、計測制御コンピュータＡと被案内者検出コンピュータＢとにより駆動部Ｃを制御する案内用自律移動ロボットＤにおいて、前記被案内者検出コンピュータＢが、自らの周辺をカメラ等で撮像する撮像手段１と、前記撮像手段１によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者２を特定する特徴抽出演算装置３と、随時撮像された画像から、前記特徴抽出演算装置３を用いて被案内者２を特定するために抽出した特徴部位４ａが、前記被案内者２が移動することにより生じた変化を、直近に撮像された画像における特徴部位４ｂと比較することで追跡する特徴部位追跡演算装置５と、前記特徴部位追跡演算装置５により、被案内者２の位置を算出する被案内者位置算出演算装置６とを備えたものである。
【００３６】
このとき、特徴抽出演算装置３は、撮像手段１によって撮像された画像から自らの周辺に存在している人物の体型的な身体的特徴を抽出したり、衣類等の着用物の特徴を抽出するものである。これらで得られた特徴部位４ａ、４ｂは、特徴部位追跡演算装置５で追跡して比較するようにしたものである。
【００３７】
さらに、計測制御コンピュータＡは、モータ制御部７とセンサ計測部８とからなるロボット統括制御部９及び記憶部１０とからなり、外部からの設定入力の操作盤やモニターとしての機能を有するディスプレイモニタＥとして操作可能とした操作入力部１１と情報出力部１２とが接続されている。
【００３８】
以下、本発明の実施例に係わる案内用自律移動ロボット及びその制御方法について詳述する。
【実施例】
【００３９】
まず、本発明を実施した案内用自律移動ロボットを図１、その計測制御コンピュータＡと被案内者検出コンピュータＢとにより駆動部Ｃを制御する横成を図２に示す。
【００４０】
自律移動ロボットＤは、一般的に移動するためにモータ１３とエンコーダ１４とからなり、モータ１３を中心に構成された駆動部Ｃとして、これらを制御するために計測制御コンピュータＡの中にモータ制御部７を備えている。
【００４１】
車輪１５により移動する案内用自律移動ロボットＤの場合、駆動部Ｃである車輪１５を回転するモータ制御部７にはエンコーダ１４が取り付けられ、モータ制御部７では当該エンコーダ１４からの信号を処理することで自律移動ロボットＤの位置と進行方向を算出し、この結果から目的とする地点へロボットが移動するようにモータを制御している。
【００４２】
また、自律移動ロボットＤの正確な位置が必要な場合、上記の算出結果には必ず誤差が含まれるので、様々なセンサ８ａを用いてこの誤差を修正するセンサ計測部８を備えている。
【００４３】
本発明で用いられた案内用自律移動ロボットＤでは、上記の案内用自律移動ロボットＤの被案内者検出コンピュータＢにおいて、自らの周辺を撮像するカメラ等の撮像手段１を備え、この撮像手段１によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出する特徴抽出演算装置３と、随時撮像された画像から特徴抽出演算装置３を用いて被案内者２を特定するために抽出した特徴部位４ａが、被案内者２が移動することにより生じる変化を、直近に撮像された画像における特徴部位４ｂと比較することで追跡する特徴部位追跡演算装置５と、特徴部位追跡演算装置５により被案内者２の案内用自律移動ロボットＤに対する相対位置を算出する被案内者位置算出演算装置６を備えている。
【００４４】
撮像手段１は自らの周辺を撮像するために、凸面鏡を利用して一台のカメラで全方位の視野を得るような構成、または複数台のカメラで広範囲の視野を得るような構成にすることも可能である。
【００４５】
特徴抽出演算装置３、特徴部位追跡演算装置５、被案内者位置算出演算装置６で実行される演算は、被案内者検出コンピュータＢで実行され、この被案内者検出コンピュータＢには演算の実行に必要な記憶部１６を備えられている。
【００４６】
そして、この情報は、計測制御コンピュータＡのモータ制御部７、センサ計測部８で実行される演算もロボット統括制御部９で制御され、コンピュータで実行されるため、上記の演算を実施するコンピュータと統一することも可能であるが、図２の構成では計測制御コンピュータＡと被案内者検出コンピュータＢに分離した実施例を示した。
【００４７】
また、これらに加えて被案内者２からの操作を入力する操作入力部１１、案内に必要な被案内者２への情報出力部１２も備えている。
【００４８】
図３に示したように、これら案内用自律移動ロボットＤの構成部の動作を以下に示す。
【００４９】
まず、被案内者２の条件の操作入力をディスプレイモニタＥの操作入力部１１で行う。その後、撮像手段１を用いて被案内者２を撮像する。被案内者検出コンピュータＢの特徴抽出演算装置３は撮像した画像から特徴部位４ａを抽出し、それを記憶部１６にて記憶する。
【００５０】
案内開始後は、撮像手段１を用いて随時撮像をおこなう。撮像された画像には被案内者２の姿が含まれており、これを被案内者検出コンピュータＢにおいて記憶している特徴部位４ａとほぼ等しい部位を抽出する特徴部位抽出演算を特徴抽出演算装置３で実施する。抽出された特徴部位４ａの画像中の位置が、直近に撮像した画像中のそれからどのように変化したか特徴部位追跡演算装置５で演算する。そして被案内者位置算出演算装置６によって被案内者２の相対的な位置を算出する。
【００５１】
これと自らの位置と進行方向の算出結果とを用いてモータ制御部７は、駆動部Ｃを制御する。以降、目的地に到着するまで、これを繰り返すことで被案内者２の案内をおこなうものである。
【００５２】
次に、図４に示した特徴抽出演算装置３での演算は、撮像手段１によって撮像された被案内者２の案内用自律移動ロボットＤにおいて、被案内者２を含んだ画像から、被案内者２の身体的特徴を抽出することで、被案内者２の特徴部位４ａとして抽出可能である。被案内者２の身体的特徴としては体形、顔における肌色の領域などを用いることが可能である。体型の輪郭を特徴部位４ａとして抽出した例であって、図４（ａ）は、撮像画像であり，図４（ｂ）は、特徴部位４ａを抽出した後の画像を示すものである。
【００５３】
また、図５に示した特徴抽出演算装置３での演算は、撮像手段１によって撮像された被案内者２を含んだ画像から、被案内者２の着用物の特徴を抽出することで、被案内者２の特徴部位４ａとして抽出するものである。このとき着用物の特徴としては衣服や用意したタグなどを用いることが可能である。図５（ａ）は、撮像画像であり，図５（ｂ）は、着用している服を特徴部位４ａとして抽出した例を示すものでる。
【００５４】
さらに、図６及び図７に示したように、異なる実施例に係わる案内用自律移動ロボットＤであって、以下に示す。
【００５５】
ロボット本体の周囲各部に人体検出センサ１７による人体検出手段１８を備え、得られた検出情報から被案内者２の存在を確認する被案内者存在確認部１９を設けることで、撮像された画像から抽出した特徴部位４が被案内者２のものであるか否かを判断するようにしたものである。
【００５６】
例えば、撮像した画像から特徴部位４を抽出し、特徴部位４を抽出した方向に人体が検出されていれば、それが被案内者２のものであると判断され、そうでない場合には、人体が検出されている方向から異なる特徴部位４の抽出を試みることが可能となる。このように被案内者２の特徴部位４の抽出を確実なものとすることができる。
【００５７】
また、撮像手段１を用いて被案内者２を撮像し、被案内者検出コンピュータＢの特徴抽出演算装置３で特徴部位４を抽出し、それを記憶部１６にて記憶する際に、被案内者２の正面だけでなく背面および側面も撮像することで、案内中に被案内者２との相対位置が変化し、被案内者２の正面を撮像できなかった場合でも対応することが可能である。このように案内中の被案内者２との位置関係に自由度を持たせることができる。
【００５８】
図８及び図９は、さらに異なる実施例であって、ロボット本体外部にあるコンピュータ２０と通信可能な送受信装置２１を備えたもので以下に示す。
【００５９】
例えば病院での案内の場合、入院患者と使用している病室の情報が記憶された外部コンピュータ２０と通信することで、案内用自律移動ロボットＤに予めこうした情報を記憶させることなく、案内業務をおこなわせることが可能である。オフィスでの案内の場合も、オフィス内の各職員名と机の位置が記憶された外部コンピュータ２０と通信することで、同様のことが可能となる。このように案内に必要な情報をリアルタイムに更新することが可能となり、便利なものである。
【００６０】
また、案内用自律移動ロボットＤの外部に、被案内者２の前面、背面および側面が撮像可能な撮像装置１と、この撮像装置１によって撮像された画像を前記案内用自律移動ロボットＤへ送信する送信手段を備えている外部コンピュータ２０を設ける。この外部コンピュータ２０から送信された被案内者２の正面、背面および側面画像を前記案内用自律移動ロボットＤで受信し、これらから特徴部位４を抽出し、これらを記憶部１６で記憶することで、案内中に被案内者２との相対位置が変化し、被案内者２の正面を撮像できなかった場合でも対応することが可能とある。
【００６１】
図１０は、速度制御のフロー図をに示すものであって、以下に示す。
【００６２】
請求項１〜３のいずれかに記載の案内用自律移動ロボットＤにおいて、被案内者位置算出演算装置６によって算出される被案内者２の位置情報に基づき、被案内者２との距離を一定に保つように案内用自律移動ロボットＤの移動速度を制御するもので、これにより、被案内者２の歩行速度が遅かった場合には、被案内者２を置去りにし、逆に被案内者２の歩行速度が速かった場合には、案内用自律移動ロボットＤの移動速度が速くて不快に感じるといったことを防止することができるようにしたものである。
【００６３】
また、上記速度制御に加えて、図１１の速度制御のフロー図のように、撮像装置１によって撮像された画像による被案内者位置算出演算装置６によって算出される被案内者２の位置とモータ制御部７で算出している移動速度を用いて、案内中の被案内者２の適切な移動速度を推定して、その最適な移動速度に速度制御するものである。
【００６４】
さらにまた、上記速度制御に加えて、図１２の速度制御のフロー図のように、撮像装置１によって撮像された画像による被案内者位置算出演算装置６によって算出される被案内者２の位置を用いて、被案内者２との距離を一定に保つように案内用自律移動ロボットＤの移動速度を制御している際に、被案内者２の歩行速度がある一定速度以上になった場合、それ以上に加速しないように制御するものである。
【００６５】
これにより被案内者２が案内用自律移動ロボットＤを操作するために近づこうとしても案内用自律移動ロボットＤが加速し続け、近づけなくなることを防止することができる。
【００６６】
図１３の平面図及び図１４の制御フロー図に示したように、撮像装置１によって撮像された画像による特徴部位追跡演算装置５における演算で、特徴部位４が突然消滅した場合は、被案内者２と案内用自律移動ロボットＤの間に被案内者２以外の割り込んだ人物２２が割り込んだと判断し、この状態が一定時間経過した後も解消されない場合は、被案内者２に移動するように告知する。または割り込んだ人物２２を避けて追従するように被案内者２に音声やブザー等の出力手段により告知するようにしている。
【００６７】
これにより被案内者２は、案内用自律移動ロボットＤが自分を見失っていることを認知できる。また、コーナなどの場所で被案内者２が死角に入った場合も、被案内者２が出現するまで案内用自律移動ロボットＤが待機させることが可能となる。
【００６８】
さらに、図１５の平面図及び図１６の制御フロー図に示したように、案内用自律移動ロボットＤにおいて、撮像装置１によって撮像された画像による被案内者位置算出演算装置６での演算において、案内エリアの地図情報と連携する。
【００６９】
これによりコーナなどの場所で被案内者２が死角に入った場合も、案内用自律移動ロボットＤはコーナによる死角のために被案内者を見失ったことを認識しているため、突然停止することなどを防止することが可能となる。
【００７０】
さらにまた、図１７に示した案内用自律移動ロボットＤにおいて、予め撮像手段１によって案内エリア内の風景を撮像し、この風景の撮像画像を記憶させる。これにより案内移動中に撮像手段１によって撮像された画像から特徴部位４の抽出をおこなう際に、記憶した風景の撮像画像と比較することで、被案内者２の特徴部位抽出の信頼性を向上させることが可能となる。
【００７１】
そして、案内用自律移動ロボットＤの計測制御コンピュータＡへ操作入力部１１からの操作入力によって案内業務の中止または一時停止を受付けることができるようにしている。
【００７２】
これにより被案内者２の都合で、案内業務を中止または一時停止することが可能となり、弾力的な運用が可能となる。
【００７３】
図１８に示したように、案内開始時に特徴部位４を記憶する際の特徴抽出演算装置３での演算で、複数の特徴部位４の抽出を行い、複数の特徴部位４を記憶する。
【００７４】
これにより複数の特徴部位４のうち、一個が突然消滅した場合でも、他の特徴部位によって被案内者位置算出演算装置６にて算出される被案内者２の位置を用いて、案内業務を継続することが可能となる。
【００７５】
さらにまた、図１９（ａ）、（ｂ）に示したように、（ａ）は、案内用自律移動ロボットＤにおいて、案内移動中は案内すべき人物を先導するように前方に位置し、それ以外の状態では適宜、立ち位置を変化する。例えば、（ｂ）に示したように目的地に到着した際は、被案内者の斜め前方に立ち、目的地に到着した旨を音声やブザー等の出力手段により告知し、立ち位置を変化させることも可能である。
【００７６】
このようにすることで、被案内者２に違和感を与えない案内を実施することが可能となる。
【００７７】
【発明の効果】
上述の如く、本発明の請求項１記載の案内用自律移動ロボットの制御方法は、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に出力手段により告知するので、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００７８】
本発明の請求項２記載の案内用自律移動ロボットの制御方法は、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、複数の特徴部位の抽出を行うことで、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者位置算出演算部にて算出される被案内者の位置を用いて、案内業務を継続するので、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００７９】
本発明の請求項３記載の案内用自律移動ロボットは、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に告知する出力手段を備えたことを特徴としているので、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【００８０】
本発明の請求項４記載の案内用自律移動ロボットは、計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、前記特徴抽出演算装置は、複数の特徴部位の抽出を行うものであり、被案内者位置算出演算部は、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者の位置を算出し、案内業務を継続することを特徴とするので、撮像手段により被案内者を特定する特徴抽出演算装置、特徴部位を比較する特徴部位追跡演算装置及び被案内者の位置を算出する被案内者位置算出演算装置によって、被案内者の特徴を確実に抽出し、違和感がなく簡単且つ正確に自律移動ロボットが案内を実施することができる。また、案内業務中に発生する障害に対処することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例に係わる案内用自律移動ロボットと被案内者との斜視図である。
【図２】本発明の一実施例に係わる案内用自律移動ロボットの概念図である。
【図３】本発明の一実施例に係わる案内用自律移動ロボットの被案内者の特徴部位を抽出し、相対的位置を算出する制御フロー図である。
【図４】図４（ａ）は、本発明の撮像画像の正面図であり、（ｂ）は、特徴部位を抽出した後の画像を示す正面図である。
【図５】図５（ａ）は、本発明の撮像画像の正面図であり，図５（ｂ）は、着用している服を特徴部位として抽出した正面図である。
【図６】本発明の異なる実施例に係わる案内用自律移動ロボットと被案内者との斜視図である。
【図７】本発明の異なる実施例に係わる案内用自律移動ロボットの概念図である。
【図８】本発明のさらに異なる実施例に係わる案内用自律移動ロボットの斜視図である。
【図９】本発明のさらに異なる実施例に係わる案内用自律移動ロボットの概念図である。
【図１０】本発明の異なる実施例に係わる案内用自律移動ロボットの被案内者との距離により駆動部を制御する制御フロー図である。
【図１１】本発明の異なる実施例に係わる案内用自律移動ロボットの被案内者の移動速度を算出して制御する制御フロー図である。
【図１２】本発明の異なる実施例に係わる案内用自律移動ロボットの被案内者の被案内者との距離を一定に保つように設定移動速度を算出して制御する制御フロー図である。
【図１３】本発明の異なる実施例に係わる案内用自律移動ロボットに人物が割り込んだ状態を示す平面図である。
【図１４】本発明の異なる実施例に係わる案内用自律移動ロボットに人物が割り込んだ状態の被案内者の相対的な位置及び距離を算出し駆動部を制御する制御フロー図である。
【図１５】本発明の異なる実施例に係わる案内用自律移動ロボットがコーナによる死角にさしかかった状態を示す平面図である。
【図１６】本発明の異なる実施例に係わる案内用自律移動ロボットが地図情報と照合して被案内者の相対的な位置を算出し駆動部を制御する制御フロー図である。
【図１７】本発明の異なる実施例に係わる案内用自律移動ロボットにおいて、案内エリア内の風景を撮像し、記憶した風景の撮像画像と比較するフロー図である。
【図１８】本発明の異なる実施例に係わる案内用自律移動ロボットにおいて、複数の特徴部位が突然消滅しても被案内者位置算出演算装置にて算出されるようにするフロー図である。
【図１９】本発明の異なる実施例に係わる案内用自律移動ロボットにおいて、（ａ）は、案内移動中は案内すべき人物を先導するように前方に位置する状態を示す概略の平面図、（ｂ）は、説明等の際に被案内者の斜め前方位置に立つ状態を示す概略の平面図である。
【符号の説明】
Ａ 計測制御コンピュータ
Ｂ 被案内者検出コンピュータ
Ｃ 駆動部
Ｄ 案内用自律移動ロボット
Ｅ ディスプレイモニタ
１ 撮像手段
２ 被案内者
３ 特徴抽出演算装置
４ 特徴部位
５ 特徴部位追跡演算装置
６ 被案内者位置算出演算装置
７ モータ制御部
８ センサ計測部
９ ロボット統括制御部
１０ 記憶部
１１ 操作入力部
１２ 情報出力部
１３ モータ
１４ エンコーダ
１５ 車輪
１６ 記憶部
１７ 人体検出センサ
１８ 人体検出手段
１９ 被案内者存在確認部
２０ 外部コンピュータ
２１ 送受信装置
２２ 人物
Claims (4)
- 計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、
前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に出力手段により告知する案内用自律移動ロボットの制御方法。 - 計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、
複数の特徴部位の抽出を行うことで、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者位置算出演算部にて算出される被案内者の位置を用いて、案内業務を継続することを特徴とする案内用自律移動ロボットの制御方法。 - 計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、
前記案内用自律移動ロボットにおいて、前記撮像装置によって撮像された画像による特徴部位追跡演算装置における演算で、特徴部位が突然消滅した場合は、被案内者と自らの間に被案内者以外の人物が割り込んだと判断し、当該の状態が一定時間経過した後も解消されない場合は、移動するように割り込んだ人物に、または割り込んだ人物を避けて追従するように被案内者に告知する出力手段を備えたことを特徴とする案内用自律移動ロボット。 - 計測制御コンピュータと被案内者検出コンピュータとにより駆動部を制御する案内用自律移動ロボットにおいて、前記被案内者検出コンピュータが、自らの周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像から自らの周辺に存在している人物の外観上の特徴を抽出して被案内者を特定する特徴抽出演算装置と、随時撮像された画像から、 前記特徴抽出演算装置を用いて被案内者を特定するために抽出した特徴部位が、前記被案内者が移動することにより生じた変化を、直近に撮像された画像における特徴部位と比較することで追跡する特徴部位追跡演算装置と、前記特徴部位追跡演算装置により、被案内者の位置を算出する被案内者位置算出演算装置とを備えたことを特徴とする案内用自律移動ロボットであって、
前記特徴抽出演算装置は、複数の特徴部位の抽出を行うものであり、被案内者位置算出演算部は、前記複数の特徴部位のうち一個が突然消滅した場合でも、他の特徴部位によって被案内者の位置を算出し、案内業務を継続することを特徴とする案内用自律移動ロボット。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002085623A JP3979141B2 (ja) | 2002-03-26 | 2002-03-26 | 案内用自律移動ロボットとその制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002085623A JP3979141B2 (ja) | 2002-03-26 | 2002-03-26 | 案内用自律移動ロボットとその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003280739A JP2003280739A (ja) | 2003-10-02 |
| JP3979141B2 true JP3979141B2 (ja) | 2007-09-19 |
Family
ID=29232516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002085623A Expired - Fee Related JP3979141B2 (ja) | 2002-03-26 | 2002-03-26 | 案内用自律移動ロボットとその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3979141B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3879848B2 (ja) * | 2003-03-14 | 2007-02-14 | 松下電工株式会社 | 自律移動装置 |
| US20070288141A1 (en) * | 2004-06-22 | 2007-12-13 | Bergen James R | Method and apparatus for visual odometry |
| JP4940698B2 (ja) * | 2006-02-27 | 2012-05-30 | トヨタ自動車株式会社 | 自律移動型ロボット |
| JP4539600B2 (ja) * | 2006-04-11 | 2010-09-08 | トヨタ自動車株式会社 | 案内ロボット |
| JP4849244B2 (ja) * | 2006-12-15 | 2012-01-11 | 株式会社国際電気通信基礎技術研究所 | 移動ロボットおよび移動速度推定方法 |
| JP4528295B2 (ja) | 2006-12-18 | 2010-08-18 | 株式会社日立製作所 | 案内ロボット装置及び案内システム |
| KR100991193B1 (ko) * | 2008-07-31 | 2010-11-05 | 주식회사 유진로봇 | 로봇 모니터의 경사도 제어 시스템 및 그 방법 |
| KR101014531B1 (ko) | 2009-12-30 | 2011-02-14 | 고려대학교 산학협력단 | 거리 센서를 이용한 다리 추출 방법, 이를 이용한 이동 로봇의 사람 추종 주행 방법 및 이동 로봇 |
| JP4936485B2 (ja) * | 2010-04-22 | 2012-05-23 | 空港情報通信株式会社 | スタッフ支援システム |
| CA2720886A1 (en) * | 2010-11-12 | 2012-05-12 | Crosswing Inc. | Customizable virtual presence system |
| KR101622673B1 (ko) | 2014-06-26 | 2016-05-20 | 대우조선해양 주식회사 | 케이블 로봇 장치 |
| GB2529848B (en) * | 2014-09-03 | 2018-12-19 | Dyson Technology Ltd | A mobile robot |
| FR3048406B1 (fr) | 2016-03-07 | 2019-08-16 | Effidence | Robot autonome avec guidage en mode poussee |
| JP6869172B2 (ja) * | 2016-12-28 | 2021-05-12 | 本田技研工業株式会社 | 自律移動体の運用方法 |
| JP2018124718A (ja) * | 2017-01-31 | 2018-08-09 | イームズロボティクス株式会社 | 代理装置、基地局、代理方法及びプログラム |
| JP2019105901A (ja) * | 2017-12-11 | 2019-06-27 | 株式会社日立製作所 | 移動体システム及び移動体システムの制御方法 |
| CN109683610A (zh) * | 2018-12-14 | 2019-04-26 | 北京猎户星空科技有限公司 | 智能设备控制方法、装置和存储介质 |
| CN114200938B (zh) * | 2021-12-10 | 2024-03-19 | 北京云迹科技股份有限公司 | 引领机器人周围障碍物的语音提醒方法、装置和机器人 |
-
2002
- 2002-03-26 JP JP2002085623A patent/JP3979141B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003280739A (ja) | 2003-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3979141B2 (ja) | 案内用自律移動ロボットとその制御方法 | |
| EP2952301B1 (en) | Humanoid robot with collision avoidance and trajectory recovery capabilities | |
| US20090198374A1 (en) | Nursing system | |
| JP2004299025A (ja) | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム | |
| WO2004052597A1 (ja) | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム | |
| US20140156125A1 (en) | Autonomous electronic apparatus and navigation method thereof | |
| JP5001930B2 (ja) | 動作認識装置及び方法 | |
| JP2008260107A (ja) | 移動ロボットシステム | |
| JP4940698B2 (ja) | 自律移動型ロボット | |
| JP2009045692A (ja) | コミュニケーションロボットとその動作方法 | |
| JP5145569B2 (ja) | 対象物特定方法および装置 | |
| JP6150429B2 (ja) | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 | |
| JP5221939B2 (ja) | 位置特定装置および動作指示装置並びに自走式ロボット | |
| US20120143028A1 (en) | Vital sign measurement robot and control method thereof | |
| Chaccour et al. | Novel indoor navigation system for visually impaired and blind people | |
| CN113490945A (zh) | 人动作过程采集系统 | |
| JP6402266B1 (ja) | ロボットの移動制御システム及び移動制御方法 | |
| CN113499229A (zh) | 康复机构的控制方法、康复机构的控制系统及康复设备 | |
| JP3768957B2 (ja) | 移動ロボットの経路設定方法 | |
| JP6730087B2 (ja) | 監視システム | |
| KR101398880B1 (ko) | 휴머노이드 기능이 탑재된 웨어러블 로봇 및 그 제어 방법 | |
| JP4878462B2 (ja) | コミュニケーションロボット | |
| Tasaki et al. | Moving target localization method using foot mounted acceleration sensor for autonomous following robot | |
| JP4839939B2 (ja) | 自律移動装置 | |
| Funato et al. | Development and experimental verification of a person tracking system of mobile robots using sensor fusion of inertial measurement unit and laser range finder for occlusion avoidance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040716 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070618 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |