WO2003102706A1

WO2003102706A1 - Robot telecommande et procede d'identification automatique de la position de robot.

Info

Publication number: WO2003102706A1
Application number: PCT/JP2002/005370
Authority: WO
Inventors: Keiju Okabayashi; Miwa Okabayashi; Yuichi Murase; Katsutoshi Shimizu; Sumihisa Iwashita; Naoyuki Sawasaki
Original assignee: Fujitsu Limited
Priority date: 2002-05-31
Filing date: 2002-05-31
Publication date: 2003-12-11
Also published as: EP1510896A4; JP4448024B2; US20050071047A1; CN100451897C; AU2002304133A1; EP1510896A1; KR20050003402A; JPWO2003102706A1; EP1510896B1; KR100812506B1; CN1628274A; US7120519B2

Description

明細書遠隔操作ロボットおよびロボット自己位置同定方法

技術分野

本発明はロボットの制御や利用の技術に関し、特に例えば建物の中に置かれ、遠隔地から例えばインターネットを介して遠隔操作が可能なロボットの制御と利用の技術に関し、またロボットの現在の位置と方向を正確に認識するためのロボット自己位置同定方法に関する。背景技術

従来において、遠隔地から留守宅などを監視するためにインターネットカメラが用いられている。しかしながらこのインターネットカメラはその設置場所が固定であり、建物の中の各部屋の状態を見たい時には全ての部屋へのカメラの設置が必要であり、また複数のカメラとホストコンピュータとの接続が複雑になり、コストが増大するという問題点があった。

また遠隔地から留守宅用の家庭電気機器を操作するために、 L A Nに接続可能な情報家電が開発されつつあるが、 L A N接続できない従来からの電気機器を操作できないという問題点がある。

更に例えば建物の中を移動可能な自律移動型ロボットにおいて、ユーザから指示された作業を行うためにはまず自己の位置を認識する必要があるまた一般にロボットを自律移動させるためには、ロボットが認識しやすい白い線などのランドマークが必要である。

しかしながら一般の住宅などにおいては、特徴的なランドマークを住宅内につけることは不可能であり、また既存の特徴点をランドンマークとして記録しても、ロポットの位置によってカメラの画像上で対象物の大きさが変化することから、ランドマークを画像のみから簡単に判断することは難しいという問題点があった。

本発明の目的は、以上の問題点に鑑み、建物内でロボットが移動すべき目的位置を遠隔地から簡単に指示することができ、また各部屋の状況を遠隔地からモニタしたり、各部屋にある家庭電器機器を操作したりする機能を持つ遠隔操作ロボットを比較的低コスト、かつ簡単な構成で実現することであり、またロボットが自己の位置と向きを正確に固定することができるロボット自己位置同定方法を提供することである。発明の開示

図 1は本発明の遠隔操作口ポットの原理構成ブロック図であり、ロボット 1は間取り図格納手段 2、通信手段 3、および移動制御手段 4を備える間取り図格納手段 2は建物、例えば住宅の間取り図を格納するものであり、通信手段 3はその間取り図内で遠隔地側から指示される位置を、例えばネットワークを介して遠隔地側の端末から受け取るものであり、移動制御手段 4は指示された位置へのロボットの移動を制御するものである。発明の実施の形態においては、遠隔操作ロポットは障害物センサによる段差検知結果に基づいて、建物内に存在する段差を乗り越えるための段差乗り越え手段を備えることもできる。またロボットは、建物内での現在の位置と方向を同定する自己位置同定手段を更に備え、移動制御手段 4がその同定結果に基づいてロボットの移動を制御することもできる。

本発明においては、図 1の通信手段 3は建物の間取り図内の部屋の指示を遠隔地側の端末から受け取ることもでき、この名場合には移動制御手段 4は指定された部屋の、例えば入り口へのロボットの移動を制御する。また本発明の遠隔操作ロボットは、建物内の画像を撮影する画像撮影手段と、定期的 Zまたは不定期的にロボットが建物内を巡回して画像撮影手段によって撮影された画像を、外部からネットワークを介して参照可能なメモリを有する計算機、例えばインターネットに接続された W e bサーバに送る通信手段を備える。あるいはこのような計算機、例えば W e bサーバをロボット自体の内部に備えてもよレ、。

この場合実施の形態において、画像撮影手段による撮影方向を変化させるための旋回手段と、画像撮影手段による撮影方向と並行に機器、例えば家庭電気機器の操作のための赤外線の投光/受光を行う赤外線投光/受光手段を更に備えることもできる。また前述の段差乗り越え手段を備えることもできる。

さらにこの場合、通信手段が外部からインターネットを介して送られるリンガ信号があらかじめ定められた回数だけ着信した時に、前述の計算機、例えば W e bサーバの起動を行うこともできる。

次に本発明の遠隔操作ロボットは、ロボットの 1つ以上の動作に対応するそれぞれのスクリブトのプログラムを格納するスクリプト格納手段と、格納されているプログラムのいずれかの実行の指示を外部から受け取る通信手段とを備える。

本発明の遠隔操作ロポットは建物内の人間、例えば住宅の居住者から外部に対する緊急時の連絡指示を受け取る指示受け取り手段と、その指示に応じてあらかじめ定められた外部端末に緊急連絡を行う通信手段とを備える。

この場合実施の形態において、ロボットは建物内の画像を撮影する画像撮影手段と、画像撮影手段の撮影方向を変化させるための旋回手段と、外部からの撮影方向の指示に応じて、画像撮影手段によって撮影された画像を外部に送る通信手段とを備えることもできる。，

本発明のロボット自己位置同定方法は、画像撮影方向を変化できるカメラを搭載したロボットによって実行されるものであり、あらかじめロボットが移動する可能性のある各部屋のパノラマ画像を撮影し、そのパノラマ画像から複数のプロック画像を切り出して参照画像を作成し、ロボットが存在する位置において撮影されたパノラマ画像内でそのプロック画像と同一の大きさの画像と参照画像とを用いて、相関演算と D Pマッチングによつてロボットが存在する部屋を識別する方法が用いられる。

この場合実施の形態においては、部屋内であらかじめ撮影されているランドマークの画像を参照テンプレートとして、ロボットが存在する位置で撮影された画像上でのそのランドマークの位置を求め、ランドマークまでの距離をステレオ視により計測して、識別された部屋の中での自己の位置と方向を同定することもできる。

更に実施の形態においては、撮影されているランドマークの画像内の縦線を抽出し、 2つのカメラの撮影方向とその縦線の方向とがなす 2つの角を用いて、ロボットの位置と方向とを精密に同定することもできる。

以上のように本発明によれば、例えば遠隔地側から建物の間取り図内で、ロボットが移動すべき目的位置や目的の部屋の指示を与えることができる。またロボットが移動する可能性のある各部屋のパノラマ画像を用いることにより、ロボットが存在する部屋の識別が可能となる。図面の簡単な説明

図 1は本発明の遠隔操作ロボットの原理構成ブロック図である。

図 2は本実施形態における遠隔操作ロボットの構成プロック図である。図 3は遠隔地からのロボット操作方式の説明図である。

図 4は遠隔操作ロボットの外観図である。

図 5は遠隔操作ロボットの内部構造を示す図である。

図 6は遠隔操作ロボットの部品構成を示す図である。 ■

図 7は移動先目的位置の指示に対するロボットの処理フローチヤ一トである。

図 8は図 7の処理における遠隔地側端末における間取り図の表示例である。

図 9は移動目的の部屋の名称が指示される場合のロボットの処理フローチャートである。

図 1 0は図 9の処理に対応する遠隔地側端末における表示画面の例である。

図 1 1は部屋のパノラマ画像撮影方法の説明図である。，図 1 2はロボットの存在する部屋の同定処理のフローチャートである。図 1 3は同定処理で用いられる画像相関演算の説明図である。

図 1 4は存在する部屋の同定後のロボット位置の概略同定処理のフローチヤ一トである。

図 1 5は存在する部屋の同定後のロボット位置の精密同定処理のフローチヤ一トである。

図 1 6は図 1 4，図 1 5の処理で求められたロボットの位置の説明図でめる。

図 1 7はロボットによる遠隔地への緊急連絡処理のフローチヤ一トである。

図 1 8はロボットによつて撮影された画像を遠隔地側から確認する方法 (その 1 ) の説明図である。

図 1 9は口ポットによつて撮影された画像を遠隔地側から確認する方法 (その 2 ) の説明図である。

図 2 0はあらかじめプログラムされている動作をロボットに実行させる方法の説明図である。

発明を実施するための最良形態

図 2は本実施形態における遠隔操作ロボットの構成プロック図である。同図においてロボットは制御用計算機 1 0、移動機構 1 1、ロボットの周囲を撮影するためのカメラ 1 2、カメラの水平回転角度と仰角、または俯角を調整するためのパンチルト台 1 3、例えばカメラ 1 2と同一の台上に設けられ、カメラ 1 2の撮影方向と並行に赤外線を送信し、リモコンデータを学習するために赤外線を受信する赤外線送受信機 1 4、無線通信部 1 5、入力デバイス 1 6、ポインティングデバイス 1 7、表示デバイス 1 8、各種スィッチ 1 9、および各種センサ 2 0を備えている。

図 2において、カメラ 1 2は、例えばビデオカメラであり、赤外線送受信機 1 4はカメラ 1 2の近傍に設置され、その撮影方向と同一の方向に赤外線を送信できるものとする。その台はカメラ旋回機構としてのパンチルト台 1 3によって任意の方向に向けられ、例えば遠隔地から、カメラ 1 2 の画像を見ながら、その方向にある家電機器の操作を行うために赤外線を送信することができる。

無線通信部 1 5は、このような遠隔地からの操作を携帯電話、 P D A (パーソナル ·ディジタル ·アシスタント) などの携帯情報端末、またはパーソナルコンピュータなどによって実行可能にするための通信を行うものである。

図 3は遠隔地からのロボット操作方式の説明図である。本実施形態においてはネットワーク、例えばィンターネットを介して遠隔地からロボットを操作できるものとし、そのためにロボット側に W e bサーバを設けるものとする。

図 3では、図 2のロボット制御用計算機 1 0の内部に W e bサーバ 2 1 が設けられ、制御操作を実行する操作実行部 2 2との間に C G I (コモン . ゲートウエイ ·インタフェース）や I S A P I (アイサツビ；インターネット · サーバ · アプリケーション · プログラミング · インタフエ一ス）などのインタフェース 2 3が備えられる。そして遠隔地からは W e b ブラウザ 24、ィンターネット 2 5を介して We bサーバ 2 1へのァクセスが可能となる。

図 3において、 We bブラウザ 24側からはメニュー選択によってインターネット 2 5への接続が行われ、 We bサーバ 2 1では We bブラウザ 24側からの指示に応じて CG I / I SAP I 2 3の呼び出しが行われ、 CG I /I SAP I 2 3においてコマンド形式がロボット操作に適した形に変更され、操作実行部 22によって指令が実行される。

制御用計算機 1 0側からは、操作実行部 2 2から返送されるステータスや画像データが CG I / I S AP I 23に送られ、データ形式が変更され、 We bサーバ 2 1によって h t m l ファイルとしてィンターネット 25を介して We bブラウザ 24側に提供され、 We bブラウザ 24側でメ-ュ一表示や画像表示が行われる。

図 4は遠隔操作ロボットの外観図である。左側は前面、右側は後面の外観を示す。前面には図 2のカメラ 1 2に相当するステレオカメラ 3 1、赤外線送受信機 1 4に相当する家電リモコン送信機 3 2、各種スィッチ 1 9 に相当する電源スィッチ 3 3、メニュースィッチ 34、障害物検知センサとして用いられるパンパスィツチ 3 5、および後述するように建物の住人が外部に緊急連絡を行うための緊急ボタン 36が備えられている。

また移動部 3 7は移動機構 1 1に、モニタ 3 8は表示デバイス 1 8に、近接距離センサ 3 9は各種センサ 20に相当し、更にマイク 40、スピーカー 4 1、トラックポインタ 42が備えられている。後面には図 2のパンチルト台 1 3に対応するパンチルトュニット 43が備えられている。

図 5は遠隔操作ロボット内部構造を示す。同図において図 4のステレオカメラ 3 1に相当する U S Bカメラ、近接距離センサ 3 9に相当する測距センサ、モニタ 38に相当する L CDが示されている。

本実施形態では、ロボットの移動機構 1 1として左右 1個ずつのクローラと、 1つ以上の回転自由な受動輪（補助輪）とを備えることによって、障害物や段差を乗り越えて、口ポットが移動できる機構を使用した。このクローラは、車輪回転軸の中心に垂直な平面内で旋回できる構造とし、信地旋回時にはクローラの形式よりもあたかも左右 2つの車輪であるかのように動作する。また補助輪が点接触で地面に接触することが可能であり、接地点が安定し、ロボット全体の信地旋回中心が安定するため、ロボットの構体底面の高さよりも高い障害物を乗り越えることができる構造となつている。なお段差乗越機構としては、他の公知の技術を用いることも当然可能である。

図 6は遠隔操作ロボットの部品構成図である。同図において C P U基板 5 1上のメイン C P U 5 3と、拡張基板 5 2上の M P Uコントローラ 6 5 が図 2の制御用計算機 1 0に相当し、図 3に示した制御用計算機 1 0の内部の W e bサーバ 2 1は、例えばメイン C P U 5 3を中心として構成することができる。あるいは後述するように W e bサーバをロボットとは別に設けることができ、その場合には口ポットとインターネットの間にサーバ計算機が別個に備えられる。

図 6においてメイン C P U 5 3にはポンティングデバイス 5 4、ユーザ拡張用 U S B (ユニバーサルシリアルバス) ポート 5 5、マイク 5 6とスピー力 5 7が接続された音声コーデック 5 8、 L C D 5 9が接続された L C Dインタフェース 6 0、それぞれコントロール部を介した C F (コンパクトフラッシュ）メモリ 6 1と通信モジュール 6 2が接続されている。

また M P Uコントローラ 6 5および H U B 6 4にはC M O Sカメラ 6 6、図 2のパンチルト台 1 3の回転を制御するための 2つのモータ 6 7、移動機構 1 1としての図 5のクローラおよび受動輪を回転させるための 3つのモータ 6 8、 L E Dや押ボタンスィッチが搭載されたスィッチサブ基板 6 9、距離センサ 7 0、パン（水平回転角）用ポテンショメータ 7 1、チルト（仰俯角）用ポテンショメータ 7 2、赤外線送信機 7 3、赤外線受信機 7 4、 A Cアダプタ 7 5と電池 7 6が接続された D C / D C充電回路 7 7 が備えられている。

図 7は本実施形態において、遠隔地から間取り図に対応する移動先の目的位置の指示を受ける場合の、ロボットの処理の説明図である。同図においては、ロボット側で建物の間取り図をあらかじめメモリ上に格納しておき、遠隔地のクライアントの端末側にその間取り図の画像を送り、クライアントが間取り図上でロボットの移動目的位置をロボット側に指示することによって、ロボットがその目的地に向かって移動するための処理が実行される。

図 7において処理が開始されると、まずステップ S 1でロボットによる自己位置の計測が行われる。この自己位置の計測については後述する。そしてステップ S 2で遠隔地のクライアン 1、側から、そのクライアン'ト側で、例えば移動端末上で表示可能な画像サイズのデータの送信を受ける。

続いてステップ S 3で、メモリ上に保持されている間取り図画像のサイズを、クライアント側から送られた画像サイズのデータを用いてそのサイズに変換し、その変換スケールを保存し、ステップ S 4でステップ S 1で計測した自己位置の情報を含んだ間取り図の画像をクライアント側に送り、ステップ S 5でクライアント側から指示された目的地の位置の座標を取得する。

次にステップ S 6で、ステップ S 3で保存した変換スケール情報とクライアントから指示された目的位置の座標から、実スケールにおける目的地座標を計算し、ステップ S 7で目的地までの経路を生成し、ステップ S 8 で目的地に向かって移動を行い、ステップ S 9で目的地まで移動したか否かを判定し、移動が完了するまではステップ S 8以降の処理を繰り返し、移動が完了したと判定した時点で処理を終了する。図 8は、図 7の処理において遠隔地側のクライアントの携帯電話などの端末における間取り図の表示例である。同図においては表示画面上に間取り図が示され、ロボットの現在位置とその向きが寝室上の三角印で、またクライアントから指示されるロボットの移動目標位置がリビング上のカーソルで表示されている。

図 9は、クライアント側から移動目的位置ではなく、移動すべき目的の部屋の名称、または部屋番号などが指示される場合のロボットの処理の説明図である。同図において図 7と異なる部分について説明する。

図 9において処理が開始されると、ステップ S l， S 2の処理が行われるが、クライアント側から目的の位置ではなく、部屋の名称などが指示されるため、図 7のステップ S 3での変換スケールの保存は必要なく、直ちにステップ S 4において自己位置情報を含む間取り画像がクライアントに送信され、図 7のステップ S 5， S 6の処理の代わりに、ステップ S 1 0 でクライアント側から移動すべき目的の部屋名、または部屋番号のデータを受け取り、ステップ S 1 1で目的の部屋名、または部屋番号から、あらかじめ登録しておいた各部屋毎の目標位置、例えば部屋の入口の位置を示す対応表を用いて目標位置の座標が得られ、その後図 7と同様にステップ S 7〜S 9の処理が実行される。

図 1 0は、図 9の処理に対応するクライアント側の端末の表示画面の例である。同図においては、表示画面上に間取り図と移動目標位置を指示するためのメニューが表示され、クライアントはメニュー上で特定の部屋を指示することにより、ロボットはその部屋への移動の処理を実行する。ここでは間取り図が表示画面上に表示されるものとしたが、間取り図の表示自体は必ずしも必要がなく、クライアント側に目的の部屋名などの指示を行わせるだけとすることによって処理が軽減され、処理を高速化することができる。次に、例えば図 7のステップ S 1におけるロボットの自己位置の取得、すなわち自己位置同定方法について説明する。本実施形態においては、あらかじめロボットによって建物内の各部屋のパノラマ画像を撮影して登録しておき、現在ロボットが存在する部屋で撮影したパノラマ画像と比較することによって、ロボットの存在する部屋、および正確な位置の同定を行うことにする。

図 1 1はあらかじめ建物内の各部屋のパノラマ画像を登録する場合のパノラマ画像撮影方法の説明図である。すなわち準備段階として、各部屋においてロボットを部屋の、例えば中心に設置し、例えば 3 0度のステップでカメラを旋回させて画像を取得、合成し、例えば縮小処理を行うことによって 3 6 0度のパノラマ画像が作成される。ここで計算などの処理時間を短縮するために、全体を圧縮したり、またあまりに鮮明な画像では位置を同定する際に撮影した画像とのマツチング結果が悪くなる可能性があるため、平均化処理を行う。

図 1 2はロボットの存在する部屋の同定処理のフローチヤ一トであり、図 1 3はその同定処理において用いられる画像相関演算の説明図である。まず図 1 2において処理が開始されると、ステップ S 2 0〜S 2 2において、図 1 1で説明した準備段階としてのパノラマ画像の撮影と、実際の位置同定時に使用される参照テンプレートの作成が行われる。

すなわちステップ S 2 0でロボットが移動する可能性のあるエリァの各部屋についてパノラマ画像が撮影され、ステップ S 2 1でそのパノラマ画像が縮小され、かつ平均化処理が施され、ステップ S 2 2でそのパノラマ画像から、例えば等ピッチ、すなわち横方向に等間隔で小ブロックの画像が切り出され、その画像が拡大、あるいは縮小（拡縮）されて、参照テンプレートが作成される。

図 1 3の上の図はこのように小ブロックとして切り出された画像の例である。例えば n個の部屋の登録画像として、それぞれの部屋のパノラマ画像から、 k個の小プロックの画像がそれぞれ切り出される。

図 1 2のステップ S 2 3以降の処理は、現在ロボットが存在する部屋の同定処理を示す。まずステップ S 2 3でロボットが現在存在する部屋についてパノラマ画像が撮影され、ステップ S 2 4でそのパノラマ画像が縮小され、かつ平均化処理が施され、ステップ S 2 5以降で参照テンプレートとの比較が行われる。

図 1 3の下の画像はロボットが現在存在する部屋の切り出し画像の例である。現在存在する部屋のパノラマ画像において、切り出しを開始した位置を採索基準位置として、探索範囲として X r a n g e個の小ブロックの画像を用いて、 n個の部屋の登録画像との比較が行われる。

図 1 2のステップ S 2 5で登録されている全ての部屋について処理が行われたか否かが判定され、まだ行われていない場合にはステップ S 2 6で参照ブロックナンパ、すなわち図 1 3の n個の部屋のそれぞれについて登録されている切り出し画像の k個についてまだ参照が終わっていないか否かが判定される。

終わっていない場合にはステップ S 2 7で探索範囲ナンパ、すなわち図 1 3の現在ロボットが存在する部屋のパノラマ画像における探索基準位置から x r a n g e画素の探索範囲についての探索が終わっていないか否かが判定され、終わっていない場合にはステップ S 2 8で拡縮ナンパ、すなわちステップ S 2 2で切り出された小プロック画像を拡大または縮小した結果の画像としての n個の画像のうちで、現在の部屋の画像との比較が行われた画像のナンパが nに達していないか否かが判定される。

まだ nに達していない場合にはステップ S 2 9で参照テンプレート、すなわち処理の対象となっている部屋の、処理の対象となっている小ブロック画像の、処理の対象となっている拡縮ナンパの参照テンプレートと、探索範囲ナンパによって指定されている現在の部屋のパノラマ画像との相関演算が行われる。そしてステップ S 3 0で拡縮ナンパがィンクリメントされ、ステップ S 2 8以降の処理が繰り返される。

ステップ S 2 8で拡縮ナンパが n以下でない、すなわち n個の拡縮ナンバの画像について処理が終了したと判定されると、ステップ S 3 1で処理中の探索範囲ナンパの画像について最も相関演算結果が小さい拡縮ナンパの画像がその探索位置における探索結果とされた後に、ステップ S 3 2で探索範囲ナンパの値がインクリメントされて、ステップ S 2 7以降の処理が繰り返される。なおここでは相関演算として、例えば画像毎の濃度の差の絶対値に相当するディストーションを求めるものとし、その値が小さい程、画像の間のマッチング率が大きくなる。

ステップ S 2 7で探索範囲ナンパが X r a n g e以下でないと判定されると、処理中の参照プロックナンパの画像に対する比較が終了したことになるため、ステップ S 3 3で参照プロックナンパがインクリメントされた後に、ステップ S 2 6以降の処理が繰り返される。

ステップ S 2 6で参照ブロックナンパが k以下でないと判定されると、処理中の部屋に対する比較が終了したことになるため、ステップ S 3 4でその部屋についての相関結果としての小プロック画像 k個と、探索範囲 X r a n g eによって決まる二次元マトリッタスが生成され、ステップ S 3 5で相関演算の演算結果と距離とをパラメータとして、例えばダイナミツクプログラミング ( D P ) マッチングを行うことによってコストが算出され、処理中の部屋についてのコスト最小値が求められる。

なお前述の小ブロック画像数 k個と、探索範囲の X r a n g e個とで行数と列数が決定される 2次元マトリッタスの各要素は、図 1 3の k個の小プロック画像を拡縮させたそれぞれ n個の参照テンプレートの中で、現在のパノラマ画像の各探索位置の画像との間での相関演算値が最も小さい参照テンプレートに相当するデータとなる。

また D Pマッチングにおける距離は図 1 3の下の図で探索基準位置を基準とする横方向の距離、すなわち X r a n g eの値に相当し、相関演算結果と距離とをパラメータとしてコストを最出する、一般的な D Pマツチングを実行することによって、ステップ S 3 5で処理中の部屋に対する最小コストの値が求められる。

そしてステップ S 3 6で部屋ナンパがインクリメントされ、ステップ S 2 5以降の処理が繰り返され、ステップ S 2 5で全ての部屋について処理が行われたと判定された時点で、ステップ S 3 7で、ステップ S 3 5で各部屋について算出されたコストの中でコスト最小の部屋が現在ロボットが存在する部屋と判定されて、処理を終了する。

図 1 4，図 1 5は、図 1 2の処理においてロボットが存在する部屋が同定された後に、その部屋の中でロボットの位置を同定する処理のフローチヤートである。図 1 4はロボットの概略位置の同定処理、図 1 5は精密位置の同定処理のフローチャートである。

図 1 4において処理が開始されると、まず実際のロボットの位置の同定に先立って、ステップ S 4 0で、図 1 1で説明したようにして撮影され、登録されたパノラマ画像の中でランドマーク、例えば柱が選択され、その画像上の位置と実際の部屋における位置が登録され、ステップ S 4 1で柱の画像がパノラマ画像から切り出され、拡縮テンプレートが生成される。続いて実際のロボットの概略位置の同定処理として、まずステップ S 4 2でロボットが現在存在する部屋、すなわち図 1 2の処理によって同定された部屋と同じ部屋の柱の拡縮テンプレートを参照画像として相関演算が行われ、現在のパノラマ画像中の柱の位置が特定され、ステップ S 4 3で特定された柱の位置までのロボットからの距離がステレオ視により求められ、ロボットの存在する概略的な位置が同定される。図 1 6はこのようにして求められたロボットの位置の説明図である。同図においては、例えば部屋の 4つの隅の柱からの距離がステップ S 4 3で求められ、それぞれの距離に相当する円弧の交点に相当する四角形の内部がロボットの概略的な位置の同定結果として求められる。

図 1 5は、図 1 4において求められたロボットの概略位置から更に精密位置を同定する処理のフローチヤ一トである。同図において処理が開始されると、まずステップ S 4 5で柱の画像から縦線、すなわち柱のエッジを抽出するために（1 ) でエッジの抽出、（2 ) で二値化、（3 ) で縦方向に投影したヒストグラムが求められる。縦方向に投影したヒストグラムとは、縦方向に検出されるエッジの中で、例えば机のように高さが低いもののエッジはそのヒストグラムの値が小さくなるため、最大値を持つエッジを柱のエッジとして求めるためのものであり、これによつて柱のエッジが抽出される。

続いてステップ S 4 6で、抽出された縦線、すなわち柱のエッジと 2つのカメラのそれぞれの撮影方向とがなす角度が求められる。

そしてステップ S 4 7で、部屋の中でのロボットの存在する位置と方向を精密に求めるために、部屋の中でマトリックス状に仮想的なボイントが設定され、各ポイントでロボットの向きをパラメータとして、そのロボットの位置と姿勢に対応する柱の縦線と 2つのカメラの撮影方向がなす角度が求められ、ステップ S 4 6で求められた角度の値との差に対応する値がコストとして算出され、ステップ S 4 8でそのコストが最小となる位置と方向がロボットの現在の位置と方向の精密な値として求められて処理を終了する。

図 1 6の四角形内の三角形が、図 1 5の処理によって同定されたロボットの現在の精密な位置と方向を示す。このようにして同定されたロボットの位置と方向のデータが、必要に応じて、例えば図 2の無線通信部 1 5によってクライアント側に通知される。

次に図 1 0に続いて遠隔操作ロボットに関する実施形態について更に説明する。図 1 7は操作ロボットの遠隔地への緊急連絡処理のフローチヤ一トである。図 4で説明したようにロボットは緊急ボタンを備えており、例えば建物の住人が遠隔地に緊急事態を連絡したい場合に緊急ポタンを押すことによって、遠隔地に連絡が行われる。

すなわち図 1 7において処理が開始されると、ステップ S 5 0で緊急ボタンが監視され、ステップ S 5 1で緊急ボタンが押されたか否かが判定され、押されていない場合にはステップ S 5 0以降の処理が繰り返され、押された場合にはステップ S 5 2であらかじめ登録された連絡先に電子メール、あるいは電話などの方法により緊急事態が通知されて、処理を終了する。

次に本実施形態において、ロボットによって撮影された建物内、例えば部屋の画像を遠隔地側から確認する方法について、図 1 8、およぴ図 1 9 を用いて説明する。図 1 8においては、例えばロボット 8 0が定期的に建物内を巡回し、撮影した各部屋の画像を、無線 L A Nを介して W e bサーバを備えるサーバ計算機 8 1に送り、遠隔地側からはこの W e bサーバにアクセスすることによって、画像を参照することが可能となる。

すなわちサーバ計算機 8 1の内部には、ロボット 8 0から送られた画像データを受け取るソケットサーバ 8 2と、 W e bサーバ 8 3が備えられ、ロボット 8 0から送られた画像は、 W e bサーバ 8 3内で外部から参照可能なフォルダの内部に蓄積される。遠隔地側では W e bブラウザ 2 4によつてインターネット 2 5を介して画像取得指令を W e bサ一バ 8 3に送り、 W e bサーバ 8 3からインターネット 2 5を介して送られた画像の表示を行うことになる。

なお、この場合例えば図 6では通信モジュール 6 2として L A Nカードなどがコネクタにさしこまれて使用される。

図 1 9では、図 3におけると同様に、ロボット制御用計算機 1 0の内部に W e bサーバ 2 1が備えられ、 W e bブラウザ 2 4はインターネット 2 5を介して W e bサーバ 2 1にアクセスすることによって画像を参照することができる。ここでは、例えば P H Sカードなどが図 6の通信モジユール 6 2としてコネクタにさしこまれることになる。

なおィンターネット 2 5を介して、ロボット側にリンガ信号が所定の回数だけ着信した時点で、 W e bサーバ 2 1を起動し、外部からのアクセスを可能とさせることもできる。

最後に本実施形態において、ロボット側にあらかじめ備えられているスクリブトを遠隔地側から指定して、あらかじめプログラムされている動作をロボットに実行させる方法を図 2 0を用いて説明する。同図において、クライアント側ブラウザ 8 5からの指示（コマンド）に対応して、遠隔操作ロボット 8 6の内部のコマンド解析 Z実行部 8 7によってそのコマンドが解析され、そのコマンドがスクリブトの選択とその実行を指示するものであれば、スクリプト選択/実行部 8 8によって、あらかじめロボット側に備えられている複数のロボット動作スクリプト 8 9 i 〜 8 9 _n のいずれかが選択され、その動作が実行される。

以上詳細に説明したように、本発明によれば遠隔地側の端末上に表示された、例えば間取り図の上で移動目的地を指示することにより、遠隔操作ロボットをその目的地に移動させることが可能となる。

また遠隔端末側から建物内の画像を確認したり、あらかじめプログラムされた動きを遠隔地側からロボットに実行させることも、また建物の居住者が緊急連絡を行うことも可能となる。産業上の利用可能性本発明はインターネット経由で家庭電気製品を操作したり、留守宅の状況を遠隔地からモニタする機能や、ロボットの自己位置の正確な同定方法を提供するものであり、遠隔操作ロボットを利用する全ての産業、および精密なロボットの自己位置の同定を必要とする産業などに利用することが可能である。具体的には家庭電気産業、ビル管理業など、様々な産業に利用することが可能である。

Claims

請求の範囲

1 . 遠隔地から操作が可能な遠隔操作ロボットにおいて、

建物の間取り図を格納する、間取り図格納手段と、

該間取り図内の位置の指示を遠隔地の端末側から受け取る通信手段と。該指定された位置へのロポットの移動を制御する移動制御手段とを備えることを特徴とする遠隔操作ロポット。

2 . 前記遠隔操作口ポットにおいて、

障害物センサによる段差検知結果に基づいて、建物内に存在する段差を乗り越えるための段差乗り越え手段を更に備えることを特徴とする請求項 1記載の遠隔操作ロボット。

3 . 前記遠隔操作ロボットにおいて、

該ロボットが前記建物内での現在の位置と方向を同定する自己位置同定手段を更に備え、

前記移動制御手段が、該同定の結果に基づいて、前記指定された位置への移動を制御することを特徴とする請求項 1記載の遠隔操作ロボット。

4 . 遠隔地から操作が可能な遠隔操作ロボットにおいて、

建物の間取り図を格納する間取り図格納手段と、

該間取り図内の部屋の指示を遠隔地の端末側から受け取る通信手段と、該指定された部屋へのロボットの移動を制御する移動制御手段とを備えることを特徴とする遠隔操作ロボット。

5 . 遠隔地から操作が可能な遠隔操作ロボットにおいて、

建物内の画像を撮影する画像撮影手段と、

定期的/または不定期的に該ロボットが建物内を巡回して該画像撮影手段によって得られた画像を、外部からネットワークを介して参照可能なメモリを有する計算機に送る通信手段とを備えること特徴とする遠隔操作口ボッ卜。

6 . 前記遠隔操作口ポットにおいて、

障害物センサによる段差検知結果に基づいて、建物内に存在する段差を乗り越えるための段差乗り越え手段を更に備えることを特徴とする請求項 5記載の遠隔操作口ボット。

7 . 前記遠隔操作口ポットにおいて、

前記画像撮影手段による撮影方向を変化させるための旋回手段と、該画像撮影手段による撮影方向と並行に赤外線の投光/受光を行う赤外線投光 Z受光手段を更に備えることを特徴とする請求項 5記載の遠隔操作ロボット。

8 . 前記通信手段が画像を送るべき計算機がインターネットに接続されたウェブサーバであることを特徴とする請求項 5記載の遠隔操作ロボット。

9 . 遠隔地から操作が可能な遠隔操作ロボットにおいて、

建物内の画像を撮影する画像撮影手段と、

定期的ノまたは不定期的に該ロボットが建物内を巡回して該画像撮影手段によって得られた画像を、外部からネットワークを介して参照可能なメモリに蓄積する計算機とを備えることを特徴とする遠隔操作ロボ.ット。

1 0 . 前記遠隔操作ロボットにおいて、

外部からィンターネットを介して送られるリンガ信号があらかじめ定められた回数だけ着信した時、前記計算機の起動を行う通信手段をさらに備えることを特徴とする請求項 9記載の遠隔操作ロボット。

1 1 . 遠隔地から操作が可能な遠隔操作ロボットにおいて、

該ロボットの 1つ以上の動作に対応するそれぞれのスクリブトのプログラムを格納するスクリプト格納手段と、

該スクリプト格納手段に格納されているプログラムのいずれかの実行の指示を外部から受け取る通信手段とを備えることを特徴とする遠隔操作口ポッ卜。

1 2 . 遠隔地から操作が可能な遠隔操作ロボットにおいて、

建物内の人間からの緊急時の連絡指示を受け取る指示受け取り手段と、該指示に応じて、あらかじめ定められた遠隔地側の端末に該緊急連絡を行う通信手段とを備えることを特徴とする遠隔操作ロボット。

1 3 . 前記遠隔操作ロポットにおいて、

建物内の画像を撮影する画像撮影手段と、

該画像撮影手段の撮影方向を変化させるための旋回手段と、

外部からの撮影方向の指示に応じて、該画像撮影手段によって撮影された画像を外部に送る通信手段とを備えることを特徴とする請求項 1 2記載の遠隔操作ロボット。

1 4 . 画像撮影方向を変化できるカメラを搭載したロボットの自己位置同定方法において、

あらかじめ該ロポットが移動する可能性のある各部屋のパノラマ画像を撮影し、

該パノラマ画像から複数のプロック画像を切り出して参照画像を作成し、ロボットが存在する位置において撮影したパノラマ画像内で該ブロック画像と同一の大きさの画像と、該参照画像とを用いて、相関演算と D Pマツチングによってロボットが存在する部屋を識別することを特徴とする口ボット自己位置同定方法。

1 5 . 前記自己位置同定方法において、

前記識別された部屋内のランドマークのうちで、あらかじめ撮影されているランドマークの画像を参照テンプレートとして、ロボットが存在する位置において撮影された画像との相関演算を行って、該ランドマークの該撮影画像上での位置を求め、

複数のランドマークまでの距離をステレオ視により計測して、該識別された部屋内での自己の位置と方向とを同定することを特徴とする請求項 1

4記載のロボット自己位置同定方法。

1 6 . 前記自己位置同定方法において、

前記撮影されているランドマークの画像内の縦線を抽出し、

2つのカメラの撮影方向と該縦線の方向とがなす 2つの角と、口ポットの位置と方向を仮定して 2つのカメラの撮影方向と該ランドマークの方向とがなす 2つの角を計算した結果との間の差に対応するコストを求め、該仮定した位置と方向を変化させて、該コストが最も小さくなる仮定の位置と方向とをロポットの位置と方向として同定することを特徴とする請求項 1 5記載のロボット自己位置同定方法。