JP3657854B2

JP3657854B2 - 遠隔地観測装置

Info

Publication number: JP3657854B2
Application number: JP2000137549A
Authority: JP
Inventors: 幸博中村; 伸洋武藤; 幸久片山; 学茂木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-05-10
Filing date: 2000-05-10
Publication date: 2005-06-08
Anticipated expiration: 2020-05-10
Also published as: JP2001315080A

Description

【０００１】
【発明の属する技術分野】
本発明は、作業者が遠隔地の状況を確認、あるいは、遠隔地の機器を操作しながら自分の手元で作業を遂行する必要がある状況下で、作業者の作業を援助する技術に関する。本発明は、ロボット制御の操作手順を簡単化する技術に関する。
【０００２】
【従来の技術】
いわゆるロボットのテレオペレーション技術は、遠隔の作業環境内に設置したロボットの遠隔地操作を可能とする。このシステムは、遠隔地の危険な環境下で作業を行う場合には有効な方法であるが、テレオペレーションが、本来、遠隔地の作業のみを前提としているため、例えば、作業者が手元の作業を行いながら、遠隔地の機器などの状態参照や操作を行う作業に対し、そのまま適用することは困難である。
【０００３】
【発明が解決しようとする課題】
（ａ）環境マップ作成が困難
遠隔地の機器などの操作や状態モニタリングを行う手段として、テレオペレーション技術を用いたロボットを用いることが考えられる（例えば、横小路，“マスタ・スレーブ制御の理論”，Vol.11,No.6,pp.794-802,日本ロボット学会誌,1993）。このロボットを所望する場所で作業させるためには、マスタ・スレーブを構成し、マスタであるロボットに具備したセンサ情報を、スレーブ側の作業者に高臨場感技術によって提示し、その提示情報を基にマスタ側を操作することで作業を進める。
【０００４】
このマスタ・スレーブによるロボット操作は、作業者がマスタ側のロボットに逐一動作指令を送る必要があり、ロボットの制御を行いながら、作業者が手元の作業を遂行するといった状況は当初より考慮されていないため、作業者の手元の作業遂行を阻害する。そこで、マスタ側のロボットに自律性を持たせ、作業を遂行させる方法が提案されている（佐藤，松井，平井，“人間との協調作業を特徴とする遠隔作業ロボットシステム”，日本ロボット学会誌，Vol.19,No.5,pp.602-613,1991）。
【０００５】
この手法は、ロボット周辺の環境の形状などのモデルを、あらかじめ環境モデルに記述する必要がある。この環境モデルの作成には多大な時間がかかり、テレオペレーションのシステムを容易に導入することは困難である。
【０００６】
環境内にカメラ装置を分散配置し、個々のカメラ装置の画像に直接作業者が環境モデルや動作を教示し、分散配置したカメラ装置からロボットに情報を提供しながら作業をさせれば、直感的な教示で容易にロボットに作業をさせることができ有効である。環境内に分散させたカメラ画像の視点でロボットを制御する手法は、様々な手法が既に提案されている。それらは１）画像内でのロボットの行動を記述する場合と（例えば，岡田，石黒，石田，“分散視覚を用いた人間ロボット協調ナビゲーション”，日本ロボット学会誌，Vol.16,No.7,pp.985-992,1998）。２）カメラ画像内での目標値を記述する場合がある（例えば，羽田，高瀬，“情報環境情報インフラを用いたロボットナビゲーションの研究”，第１７回日本ロボット学会学術講演会，pp.619-620,1998）。
【０００７】
前者に関しては、ロボット周辺の実環境を考慮して行動を記述することは困難である。後者に関しては、カメラ座標系からロボット座標系へ写像する必要もある。そこで、実環境を考慮して動作モデルを作成でき、座標変換をしないで、ロボットに作業をさせることができれば有効である。
【０００８】
遠隔の状況モニタに限定すれば、ロボットを使う必要はなく、環境内に複数のカメラ装置を固定し、遠隔の状況をモニタすることで実現できる。しかし、それらは、デスクトップで操作することが前提であり、遠隔の状況をモニタしながら、ハンズフリーで作業を行うことには適していない。それら画像をハンズフリーで参照可能であれば便利である。
【０００９】
ここで、他の課題は、設置されているカメラ装置は固定されているため、カメラ装置のＰＴＺ自由度、カメラ装置の解像度等により、作業者が所望する映像を全て得られるわけではない点である。そこで、テレオペレーション技術を利用し、固定されたカメラ装置の代わりに、カメラ装置を具備したスレーブロボットによって、固定されたカメラ装置によるモニタができない場合に、固定されたカメラ装置の機能補間として用いられれば有効である。
【００１０】
（ｂ）遠隔ロボットと作業者間作業協調のためのシステムモデルが未検討
テレオペレーションの観点からは、遠隔ロボットが作業を行うとともに、作業者が作業を行うことについては検討されていない。装着型パーソナル・コンピュータを用いることで、作業者が手元作業をしながら、遠隔ロボットと協調作業が可能になると期待できるが、まだ十分に検討されていない。
【００１１】
このように、従来の技術では遠隔ロボットに遠隔機器操作や機器モニタを行わせつつ、作業者がハンズフリーで様々な場所で作業を行うことができない。
【００１２】
本発明は、このような背景に行われたものであって、遠隔地に配置されたロボットが作業者と協調して作業を行うことができる遠隔地観測装置を提供することを目的とする。本発明は、簡単な手順によりロボットの配置された環境モデルおよびロボットの動作モデルを作成することができる遠隔地測定装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、観測対象地域内に配置した複数のカメラ装置から得られた定点観測情報と移動するロボットに具備したカメラ装置から得られた移動観測情報とを表示するとともに、これらのカメラ装置およびロボットを制御するＭＭＩ(Man Machine Interface)からなる遠隔地観測装置である。
【００１４】
本発明は、定点観測結果に対して実環境を考慮してロボットの環境モデルおよび動作モデルを作成し、センサ座標系からロボット座標系への写像なしでロボットを制御できるとともに、作業者が様々な場所においてハンズフリーで作業を行いながら遠隔状況のモニタリングや機器操作を簡易にできることを特徴とする。
【００１５】
すなわち、本発明の特徴とするところは、観測対象地域にあらかじめ複数設置された定点カメラ装置と、これら複数の定点カメラ装置に接続された画像処理コンピュータと、カメラを搭載した移動ロボットと、前記定点カメラ装置および移動ロボットに目標観測点情報を与える制御部とを備え、前記移動ロボットと前記画像処理コンピュータと前記制御部とは、無線回線を介して通信を行う手段を備えた遠隔地観測装置であり、前記各定点カメラ装置は、前記制御部から指示された観測すべき目標点の位置を表す目標点位置ベクトルを受信し、該目標点の撮影が不可であった場合には自己のＩＤおよび観測すべき目標地点の座標を表す目標ベクトルを前記画像処理コンピュータを介して無線回線により前記移動ロボットに送信する手段と、自己の撮影画像に前記移動ロボットが含まれていることを検出すると、自己のＩＤおよび移動ロボットの位置座標を表す位置ベクトルを前記画像処理コンピュータを介して無線回線により前記移動ロボットに送信する手段と、前記移動ロボットから定点カメラ装置のＩＤを受信すると、移動ロボットが現在位置から該ＩＤの定点カメラ装置に移動するための行動情報を送信する手段とを含み、前記移動ロボットは、前記定点カメラ装置から受信した目標ベクトル、位置ベクトル、および送信元を示す定点カメラ装置のＩＤを記憶する手段と、あらかじめ設定された観測対象地域のマップ情報に基づいて受信した位置ベトクルを始点として目標ベクトルを与えた定点カメラ装置に到着するための定点カメラ装置の通過順序を探索する手段と、前記探索された通過順序に基づいて次に通過する定点カメラ装置のＩＤを送信する手段と、前記定点カメラ装置から受信した行動情報にしたがって移動する手段と、目標点に達したら搭載しているカメラで目標観測地点を撮影しその画像を前記制御部に送信する手段とを備えたところにある。
【００２３】
さらに、前記制御部には、前記観測対象地域内の機器を遠隔操作する手段を備えることができる。前記遠隔操作する手段としては、例えばロボットアームのようなものを備えることができる。
【００２４】
【発明の実施の形態】
本発明実施例の遠隔地観測装置の構成を図１を参照して説明する。図１は本発明実施例の遠隔地観測装置の全体構成図である。
【００２５】
本発明は遠隔地観測装置であって、本発明の特徴とするところは、観測対象地域にあらかじめ複数設置されたＣＣＤカメラを含むカメラ装置１０−１、１０−２を備えた分散カメラ部１０と、移動ロボット１１およびカメラ装置１２を備えた移動ロボット部１３と、分散カメラ部１０および移動ロボット部１３の観測情報を受信するとともにこれらに制御情報を送信する装着型パーソナル・コンピュータ１４とを備えたＭＭＩ部１５とが設けられ、前記制御情報には、前記観測対象地域内の観測位置指定情報を含み、分散カメラ部１０は、この観測位置指定情報により指定された観測位置の観測結果を前記観測情報として送信し、この観測位置の観測が困難であるときには移動ロボット部１３にこの観測位置を観測するための行動指令を発し、移動ロボット部１３は、この行動指令にしたがって前記観測位置に移動するところにある。
【００２６】
分散カメラ部１０の各カメラ装置１０−１および１０−２は、自己の撮影範囲内の移動ロボット部１３の有無を検出し、この検出結果にしたがって自己の撮影範囲内に移動ロボット部１３が有るときには自己の設置位置情報を画像処理用パーソナル・コンピュータ１６を介して無線ＬＡＮにより送信し、移動ロボット部１３は、この設置位置情報を受信し、受信したこの設置位置情報とあらかじめ設定された前記観測対象地域のマップ情報とにしたがって自己の現在位置を認識する。
【００２７】
なお、カメラ装置１０−１および１０−２が移動ロボット部１３の有無を検出する手法としては、移動ロボット部１３の画像パターンを画像処理用パーソナル・コンピュータ１６にあらかじめ記憶させておき、カメラ装置１０−１および１０−２の撮影画像からこの画像パターンを検出することにより実現できる。
【００２８】
移動ロボット部１３は、前記行動指令にしたがって現在位置から前記観測位置までに通過するカメラ装置１０−１または１０−２の順序を前記マップ情報を参照して探索し、この順序にしたがって次に通過するカメラ装置１０−１または１０−２の識別符号を送信し、分散カメラ部１０は、この識別符号を受信すると移動ロボット部１３がこの識別符号に該当するカメラ装置１０−１または１０−２に到達するために必要な経路情報を送信し、移動ロボット部１３は、この経路情報にしたがって前記観測位置に移動する。本発明実施例では、経路情報の送信は、識別符号に該当するカメラ装置１０−１または１０−２が画像処理用パーソナル・コンピュータ１６を介して無線ＬＡＮにより行う。
【００２９】
前記経路情報は、前記観測対象地域内に実際に存在する壁または通路を基準に作成される。あるいは、仮想的に前記観測対象地域内に設けられた壁を基準に作成される。
【００３０】
また、移動ロボット部１３に、いわゆるロボットアームのような装置を備え、前記観測対象地域内の機器を遠隔操作することもできる。
【００３１】
以下では、本発明実施例の遠隔地観測装置をさらに詳細に説明する。作業者が手元作業を行いながら、遠隔地の環境状況を確認する作業に対する実施例を記す。図１は本発明に基づく実施例を示したものである。図１では、観測対象地域に分散配置されたカメラ装置１０−１および１０−２とその画像処理用パーソナル・コンピュータ１６、カメラ装置１２と超音波センサ１７を備えた移動ロボット１１、および装着型パーソナル・コンピュータ１４からなる。
【００３２】
本発明実施例での移動ロボット１１は二つの車輪を有し、個々の車輪にはアクチュエータとして独立したモータを有し、回転速度を検出するパルスエンコーダを具備している。この移動ロボット１１の各モータには、パルスエンコーダからの値のフィードバックとするモータ回転速度のサーボループがあらかじめ組んである。また、無線ＬＡＮによる他の機器とのＴＣＰ／ＩＰ通信機能、ロボット周辺環境を計測する超音波センサ１７を具備している。
【００３３】
装着型パーソナル・コンピュータ１４と画像処理用パーソナル・コンピュータ１６は、無線ＬＡＮによる他の機器とのＴＣＰ／ＩＰ通信機能を有する。
【００３４】
次に、本発明実施例の動作を説明する。図２に、ＭＭＩ部１５、分散カメラ部１０および移動ロボット部１３の個々の情報処理フローの実施例を示した。以下、図１および図２に基づいて個々の処理フローを記す。
【００３５】
１）ＭＭＩ部
Ｓｔｅｐ１）分散カメラ部１０から所望する画像を作業者が選択し、カメラ画像に領域を指定して環境モデルを記述し、その環境モデルに対する行動モデルを指定し、個々のカメラ装置１０−１、１０−２にＴＣＰ／ＩＰ通信を介して送信する（図２の▲１▼）。図３〜図６に、個々のカメラ画像に対して教示する環境モデルと行動モデルの例を示す。
【００３６】
（カメラＩＤ＝ｉに対しての環境モデルと行動モデル例）
Ａ_ｉは、カメラ画像内における可動領域とそこでの行動を表す。Ｐ_ｉは、多角形頂点の位置ベクトルをあらわし、（）は、壁を構成する多角形頂点の組み合わせを意味し、ＦＣは実際の通路の中心に沿って移動する通路沿い行動を意味し、ＦＷは実際の壁に沿って移動する壁沿い行動を意味する。
【００３７】
Ｃ：ｉ行ｊ列は、領域Ａｉと領域Ａｊが結合していれば１、結合していなければ０と定義した領域間の結合を表現するマトリクスである。ｇａｔｅ_ij：他のカメラ装置（カメラＩＤ＝ｊ）と重ね合う領域を多角形頂点の２点で表す。
【００３８】
図３に示すようにカメラ装置が▲１▼〜▲３▼に配置された例について説明する。図４はカメラＩＤ＝１に対する教示の例であり、
【００３９】
【数１】

となる。図５はカメラＩＤ＝２に対する教示の例であり、
【００４０】
【数２】

となる。図６はカメラＩＤ＝３に対する教示の例であり、
【００４１】
【数３】

となる。
【００４２】
Ｓｔｅｐ２）作業者が参照したいカメラ装置（ＩＤ＝ｔ）の画像を表示し、そこに目標点をカメラ画像上にポインティングし、目標点位置ベクトルをＩＤ＝ｔのカメラ装置へＴＣＰ／ＩＰ通信を介して送信する。
【００４３】
Ｓｔｅｐ３）分散カメラ部１０または移動ロボット部１３が目標画像を送信してきた場合に、ディスプレイ上に表示する（図２の▲２▼または▲９▼）。
【００４４】
２）カメラＩＤ＝ｔのカメラ装置
Ｓｔｅｐ１）ＭＭＩ部１５から送信された行動モデルと環境モデルを記憶する（図２の▲１▼）。
【００４５】
Ｓｔｅｐ２）ＭＭＩ部１５から送信された目標点位置ベクトルを受信し、このカメラ装置で定めたタスクが実行できれば、タスク終了後、画像をＭＭＩ部１５へ送信し、実行不可能であれば、移動ロボット部１３へカメラＩＤ＝ｔと目標値ベクトルを送信する。
【００４６】
タスクの例として、例えば、目標位置ベクトルを画像中心に捕えることにした場合には、カメラ装置のパンチルトを動かすことにより画像中心にすることができるかどうか判断し、パンチルトの可動範囲内であれば、パンチルトし、画像をＭＭＩ部１５に送信する。可動範囲外であれば、移動ロボット部１３に送信する（図２の▲２▼）。
【００４７】
Ｓｔｅｐ３）あらかじめ与えておいた移動ロボット部１３の画像テンプレートを基に、常にカメラ画像内から移動ロボット部１３を探索し（図２の▲３▼）、発見した場合に、その座標値とカメラＩＤ＝ｔを、移動ロボット部１３へＴＣＰ／ＩＰ通信を介して送信する（図２の▲３▼）。
【００４８】
Ｓｔｅｐ４）移動ロボット部１３からサブタスクをＴＣＰ／ＩＰ通信で受信する。このコマンドから得た移動ロボット部１３のサブコール（このカメラ視野内での目標値まで移動する）と移動ロボット部１３の現在値から、サブタスク（目標値へ移動する）を実現するための各Ａ_ｉでの行動を算出する。
【００４９】
図７にカメラＩＤ＝１のカメラ装置のカメラ画像内における可動領域とそこでの行動の例を示す。Ａ_１は、カメラ画像内における可動領域とそこでの行動を表し、
【００５０】
【数４】

となる。
【００５１】
ここで、ＦＣは通路中心沿い行動を意味する。また、（）は仮想壁を表し、Ｎｕｌｌはここで仮想壁がないことを表す。この仮想壁情報は、移動ロボット部１３の周辺の実環境に壁がない場合に、目標とするサブタスクを実現するために、仮想的にカメラ視野内で壁を算出し、移動ロボット部１３へ壁情報として利用させる目的がある。
【００５２】
次に、移動ロボット部１３が現在存在する領域に対する行動と、移動ロボット部１３に対する仮想壁の位置ベクトルを算出し、移動ロボット部１３へ送信する。また、移動ロボット部１３が目的地に到着した場合は、以下の行動を移動ロボット部１３へ送信する。
【００５３】
ＰｕｔＩｍａｇｅ：画像を送信させる行動
３）カメラＩＤ≠ｔのカメラ装置
Ｓｔｅｐ１）ＭＭＩ部１５から送信された行動モデルと環境モデルを記憶する（図２の▲１▼）。
【００５４】
Ｓｔｅｐ２）移動ロボット部１３の画像テンプレートを基に、常にカメラ画像から移動ロボット部１３を探索し、発見したときには、移動ロボット部１３へその座標値と自分のカメラＩＤをＴＣＰ／ＩＰ通信を介して送信する（図２の▲３▼）。
【００５５】
Ｓｔｅｐ３）移動ロボット部１３からサブタスクをＴＣＰ／ＩＰ通信で受信する。このコマンドから得た移動ロボット部１３のサブコール（カメラＩＤ＝ｓｇ）と移動ロボット部１３の現在地から、サブタスク（カメラＩＤ＝ｓｇへ移動する）を実現するための各Ａ_ｊでの行動を算出する。
【００５６】
図８にカメラＩＤ＝３のカメラ装置のカメラ画像内における可動領域とそこでの行動の例を示す。ロボットのサブゴール（本来の目的地に向かう過程にある補助的な目的地）ＩＤ＝２のカメラ装置（ｓｇ＝２）の場合の各Ａ_ｉでの行動と仮想壁の例であり、Ａ_４、Ａ_２、Ａ_１は、それぞれカメラ画像内における可動領域とそこでの行動を表し、
【００５７】
【数５】

となる。
【００５８】
ここで、ＦＣは壁沿い行動を意味し、ＦＷは通路中心沿い行動を意味する。また、（）は、仮想壁を表し、Ｎｕｌｌは仮想壁がないことを表す。この仮想壁情報は、移動ロボット部１３の周辺の実環境に壁がない場合に、目標とするサブタスクを実現するために、仮想的にカメラ視野内で壁を算出し、移動ロボット部１３へ壁情報として利用させる目的がある。
【００５９】
次に、移動ロボット部１３が現在存在する領域に対する行動と、移動ロボット部１３に対する仮想壁の位置ベクトルを算出し、移動ロボット部１３へ送信する。
【００６０】
４）移動ロボット部
Ｓｔｅｐ１）カメラＩＤ＝ｔからＴＣＰ／ＩＰ通信を介してカメラＩＤ＝ｔと目標値ベクトルを受信し、各カメラ装置から送信されてくるカメラＩＤと位置ベクトルを受信し、現在地を記憶する（図２の▲５▼）。
【００６１】
Ｓｔｅｐ２）あらかじめ定義されたカメラ装置の配置マトリクスを基に、ＩＤ＝ｔのカメラに到達するためのカメラ装置の順序を探索する（図２の▲６▼）。探索に関しては、本実施例では、一般的な横型探索によって、カメラ装置の経路順を算出したＡ^＊アルゴリズム等他の探索アルゴリズムを利用しても可能である。
【００６２】
Ｓｔｅｐ３）分散カメラ部１０にサブタスク（次に到達したいカメラ装置ＩＤ）を送信し、そのための行動モデルと仮想壁に対する位置ベクトルを受信し（図２の▲７▼）、受信した行動を、超音波センサ１７で環境を計測しながら、車輪を駆動して実行する（図２の▲７▼）。なお、カメラ装置から得た仮想壁の位置ベクトルは、超音波センサ１７で算出した壁情報と統合して車輪制御量を決定する。
【００６３】
Ｓｔｅｐ４）Ｓｔｅｐ２からＳｔｅｐ３を繰り返してカメラＩＤ＝ｔの分散カメラの目標値まで移動する。
【００６４】
Ｓｔｅｐ５）ＩＤ＝ｔのカメラからｐｕｔＩｍａｇｅを受信した場合には、ＭＭＩ部１５に具備しているカメラ画像を送信する（図２の▲９▼）。
【００６５】
本発明実施例では、説明をわかりやすくするために、二台のカメラ装置１０−１および１０−２を設置した例を説明したが、さらに複数のカメラ装置を備えることができる。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、遠隔地に配置されたロボットが作業者と協調して作業を行うことができる。また、簡単な手順によりロボットの配置された環境モデルおよびロボットの動作モデルを作成することができる。
【図面の簡単な説明】
【図１】本発明実施例の遠隔地観測装置の全体構成図。
【図２】ＭＭＩ部、分散カメラ部および移動ロボット部の個々の情報処理フローを示す図。
【図３】環境モデルおよび行動モデルの教示の例におけるカメラ装置の配置例を示す図。
【図４】環境モデルおよび行動モデルの教示の例におけるカメラＩＤ＝１に対する教示の例を示す図。
【図５】環境モデルおよび行動モデルの教示の例におけるカメラＩＤ＝２に対する教示の例を示す図。
【図６】環境モデルおよび行動モデルの教示の例におけるカメラＩＤ＝３に対する教示の例を示す図。
【図７】カメラ画像内における可動領域とそこでの行動の例を示す図。
【図８】カメラ画像内における可動領域とそこでの行動の例を示す図。
【符号の説明】
１０分散カメラ部
１０−１、１０−２、１２カメラ装置
１１移動ロボット
１３移動ロボット部
１４装着型パーソナル・コンピュータ
１５ＭＭＩ部
１６画像処理用パーソナル・コンピュータ
１７超音波センサ

Claims

観測対象地域にあらかじめ複数設置された定点カメラ装置と、これら複数の定点カメラ装置に接続された画像処理コンピュータと、カメラを搭載した移動ロボットと、前記定点カメラ装置および移動ロボットに目標観測点情報を与える制御部とを備え、
前記移動ロボットと前記画像処理コンピュータと前記制御部とは、無線回線を介して通信を行う手段を備えた遠隔地観測装置であり、
前記各定点カメラ装置は、
前記制御部から指示された観測すべき目標点の位置を表す目標点位置ベクトルを受信し、該目標点の撮影が不可であった場合には自己のＩＤおよび観測すべき目標地点の座標を表す目標ベクトルを前記画像処理コンピュータを介して無線回線により前記移動ロボットに送信する手段と、
自己の撮影画像に前記移動ロボットが含まれていることを検出すると、自己のＩＤおよび移動ロボットの位置座標を表す位置ベクトルを前記画像処理コンピュータを介して無線回線により前記移動ロボットに送信する手段と、
前記移動ロボットから定点カメラ装置のＩＤを受信すると、移動ロボットが現在位置から該ＩＤの定点カメラ装置に移動するための行動情報を送信する手段と
を含み、
前記移動ロボットは、
前記定点カメラ装置から受信した目標ベクトル、位置ベクトル、および送信元を示す定点カメラ装置のＩＤを記憶する手段と、
あらかじめ設定された観測対象地域のマップ情報に基づいて受信した位置ベトクルを始点として目標ベクトルを与えた定点カメラ装置に到着するための定点カメラ装置の通過順序を探索する手段と、
前記探索された通過順序に基づいて次に通過する定点カメラ装置のＩＤを送信する手段と、
前記定点カメラ装置から受信した行動情報にしたがって移動する手段と、
目標点に達したら搭載しているカメラで目標観測地点を撮影しその画像を前記制御部に送信する手段と
を備えたことを特徴とする遠隔地観測装置。
前記制御部には、前記観測対象地域内の機器を遠隔操作する手段を備える請求項１記載の遠隔観測装置。