JP3215616B2

JP3215616B2 - ロボットの誘導方法および誘導システム

Info

Publication number: JP3215616B2
Application number: JP29820795A
Authority: JP
Inventors: 宏尊中原; 隆早田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-11-16
Filing date: 1995-11-16
Publication date: 2001-10-09
Anticipated expiration: 2015-11-16
Also published as: JPH09146633A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は自走式ロボットに係
り、特にロボットを遠隔操作するための誘導システムに
関する。

【０００２】

【従来の技術】原子力プラントなどの検査や補修で、遠
隔作業を必要とする環境下に作業ロボットを移動させる
ために、特開平２−１４００７３号に記載されているよ
うに、ロボット本体にカメラを搭載して誘導する方式が
知られている。

【０００３】この方式では、複数個のカメラを設けてそ
の平面画像を処理することで、空間の奥行きの環境状態
を把握し、ロボットの正確な操作を可能にしている。

【０００４】

【発明が解決しようとする課題】上記従来技術では、空
間の奥行きの環境状態を把握するために複数のカメラが
必要であり、装置が大型化して狭隘部への適用性が問題
となる。また、複数の画像から空間の奥行き情報を取得
する処理は、演算量が膨大となるために誘導システムの
律速となり、誘導を高速化するときの障害となる。

【０００５】空間の奥行き情報を簡便に得るために、地
図情報とカメラ画像を照合する方法もあるが、地図を記
憶する大量のメモリが必要である。しかも、地図を予め
用意する必要があり、未知環境や環境の変化への適用性
に問題がある。

【０００６】本発明の目的は、上記した従来技術の問題
点を克服し、ロボットに搭載した１つのカメラ映像を基
にする簡単な構成で、ロボットを高速にあるいは未知環
境へ遠隔誘導するロボットの誘導方法及びシステムを提
供することにある。

【０００７】

【課題を解決するための手段】上記した本発明の目的
は、ロボットの進行方向を撮像するカメラを備え、走行
路の映像を表示する画面を監視しながら自走ロボットを
誘導する方法において、ロボットの現在位置を原点とす
る仮想平面に対する前記画面の逆透写変換によって、前
記画面上で指示したロボットの目標移動位置を前記仮想
平面上で求めることにより達成される。

【０００８】また、仮想平面上における前記目標移動位
置と前記現在位置からロボットの移動量を求めて逐次制
御することを特徴とする。

【０００９】前記目標移動位置が前記仮想平面上の２次
元座標で示される場合に、現在位置からの移動方向を求
め、この移動方向に向けて前記逐次制御を行うことを特
徴とする。

【００１０】前記仮想平面は、前記走行面に対しロボッ
ト位置を原点とする接平面であり、ロボットの高さ方向
のＺ_R軸を法線として、前記進行方向にＸ_R軸、Ｘ_R軸に
対する直角方向にＹ_R軸をとって定義できることを特徴
とする。

【００１１】前画面上で指示された目標移動位置Ｘ_V、
Ｙ_V及び、前記法線に対する前記カメラの俯角θ、高さ
ｈとするとき、前記仮想平面上の目標移動位置Ｘ_r、Ｙ_r
は後述する数２の逆透写変換アルゴリズムにより求める
ことを特徴とする。

【００１２】また、上記した本発明の目的は、移動手段
をもつ自走式のロボットと、ロボットに搭載されロボッ
トの進行方向の走行面を監視するカメラと、カメラの映
像を表示するモニタを備え、モニタの画面上で目標移動
先をカーソルにより指示してロボットを誘導するシステ
ムにおいて、前記カメラの走行面からの高さｈを検出す
るカメラ高さ検出手段と、走行面を俯瞰するカメラの俯
角θを検出するカメラ角度検出手段と、前記カーソルの
指示位置Ｘ_V、Ｙ_Vを検出する指示位置検出手段と、高さ
ｈ、俯角θ、指示位置Ｘ_V、Ｙ_Vを基に、走行面に対する
接平面上で前記指示位置に対応する目標移動位置を逆透
写変換により算出し、この目標移動位置からロボットの
移動量を決定する移動量決定手段を備え、前記移動手段
を制御することにより達成される。

【００１３】さらに、入力値に応じて前記カメラの高さ
ｈを制御するカメラ高さ制御装置と、入力値に応じて前
記カメラの俯角θ制御するカメラ角度制御装置を備え、
所望の走行面の映像を取得できるように構成したことを
特徴とする。

【００１４】さらに、前記走行面の映像として、ロボッ
トの一部および／または走行面の地平線を表示するよう
に、前記カメラ高さ制御装置と前記カメラ角度制御装置
を調整することを特徴とする。

【００１５】さらに、前記接平面上で縦横に区分したグ
リッドを、前記カメラの高さｈと俯角θを基に座標変換
して前記モニタの画面上に表示するグリット表示作成手
段を備えたことを特徴とする。

【００１６】このように構成される本発明の作用を説明
する。図２は、仮想平面のイメージを与える説明図で、
（ａ）は走行面上のロボットと仮想平面の関係を側面か
ら示し、（ｂ）はカメラ位置から見た画面、仮想平面及
び走行面の関係を俯瞰にて示している。図示に明らかな
ように、仮想平面は走行面上のロボット位置を原点とし
て、走行面に対する接平面となる。従って、高さ方向の
Ｚ_R軸を法線として、ロボットの進行方向にＸ_R軸、進行
方向に対する９０°方向をＹ_R軸として定義できる。仮
想平面（接平面）上の目標移動位置の座標Ｘ_r、Ｙ_rはモ
ニタ画面上の指示位置Ｘ_V、Ｙ_Vから、数２に示す逆透視
写変換のアルゴリズムによって算出される。

【００１７】

【数２】

【００１８】ここで、ｈ：法線Ｚ_Rに沿ったカメラの高
さ、θ：カメラ角度で、法線Ｚ_Rと仮想平面の俯角、
ｌ：ズーム定数である。なお、カメラ画面の立体角の影
響は簡単のため無視している。

【００１９】本発明によれば、走行面に対する仮想平面
の誤差は、ロボットが目標位置に近づくに従って減少す
るので、奥行き情報が十分には得られない平面情報であ
っても、逐次制御によって正確な誘導が可能になる。

【００２０】これにより、１台のカメラの映像を処理す
るのみで、簡単且つ、高速に目標位置を計算できる。し
かも、走行面の状況が予め分からない場合にも適用可能
であり、膨大な画像処理や走行環境の地図データを必要
としない。

【００２１】また、移動量と共に移動方向を決定できる
ので、レールなどによる直線上の移動のみならず、平面
上の移動にも適用できる。

【００２２】また、カメラの高さ及び角度を必要に応じ
て変更し、走行面のカメラ映像範囲を変更できるので、
走行面に存在する障害物の情報を取得して、ロボットを
安全に誘導できる。

【００２３】また、カメラの高さと角度情報から空間の
奥行き情報を与えるグッリド状の映像をモニタ画面に重
ね合せ表示できるので、カメラの高さ及び角度が変更さ
れても、操縦者がグッリドを目安にして目標移動位置を
容易に指示でき、熟練していない操縦者にも簡単にロボ
ットを誘導できる。

【００２４】また、ロボットの目標移動位置へ移動する
ための移動量に応じて、モニタ上に表示するカーソルの
形状、例えば大きさを変更することで、操縦者が、目標
移動位置を画面上に指示し易いため、操縦者が習熟して
いない場合にも簡単にロボットを誘導できる。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態を図面
に従って説明する。図１は、一実施形態によるロボット
誘導システムの構成図である。

【００２６】走行面０の上にロボット１０がある。ロボ
ット１０には、車輪とモータからなる移動手段１１と、
車輪軸に接続されたエンコーダからなる移動量検出手段
１２と、車輪の方向を自在に変更する操舵手段１３と、
ロボット１０の進行方向の走行面０を撮像するカメラ１
が搭載されている。

【００２７】カメラ１は支持柱のラック溝にピニオン嵌
合により取付けられ、このピニオンに接続されたエンコ
ーダからなるカメラ高さ検出手段１４と、支持柱に摺動
する台に固定されたギヤと嵌合するギヤに接続されたエ
ンコーダからなるカメラ角度検出手段１５を具備してい
る。

【００２８】モニタ２は、カメラ１と接続され、撮像中
の映像をモニタ画面２０上に表示する。また、モニタ画
面２０上の任意の位置にカーソル２１を表示する。この
ために、カーソル２１の位置を変化させるマウスなどの
指示器３０と、指示器３０によるカーソル２１の画面２
０上の位置（Ｘｖ、Ｙｖ）を検出する指示位置検出手段
３と、検出された指示位置にカーソル２１を表示させる
カーソル表示情報作成手段３２を具備している。

【００２９】移動体制御装置４は、移動目標位置が画面
２０上でカーソル２１により指示されると、カメラ高さ
検出手段１４からカメラ高さｈと、カメラ角度検出手段
１５からのカメラ角度θと、指示位置検出手段３からの
指示位置Ｘｖ、Ｙｖとから、ロボットの仮想平面上での
目標移動位置（Ｘｒ、Ｙｒ）を算出し、ロボットの目標
移動量Ｌｏを決定する移動量決定手段４１と、ロボット
の目標移動量Ｌｏと移動量検出手段１２からフィードバ
ックされる実移動量Ｌによって移動手段１１を駆動制御
する移動量制御器４２と、目標移動位置（Ｘｒ、Ｙｒ）
からロボットの移動方向Ｓを決定する移動方向決定手段
４３と、ロボットの移動方向Ｓに操舵手段１３を駆動制
御する移動方向制御器４４から構成されている。

【００３０】次に、ロボットの誘導手順を詳細に説明す
る。図３は、ロボット誘導システムによる逐次制御のフ
ローチャートである。

【００３１】システムが起動されると、モニタ２の画面
にロボット１０の走行面０の映像２０を表示する（Ｓ１
０）。この走行面の表示に際しては、カメラ高さｈや俯
角θが初期設定される。次に、指示位置の検出と表示を
行う処理１を起動し（Ｓ２０）、ロボットの移動制御を
行う処理２を起動する（Ｓ３０）。以後、処理１、処理
２を継続しながら、停止コマンドを検出するまでループ
処理する（Ｓ４０）。停止コマンドを検出すると、処理
１の停止（Ｓ５０）、処理２の停止（Ｓ６０）、モニタ
画面の非表示（Ｓ７０）をして、システムを停止する。

【００３２】処理１が起動されると、マウス３０のボタ
ンのＯＮが入力されるとその移動を検出し（Ｓ２０
１）、画面上のカーソルの位置情報（Ｘｖ，Ｙｖ）を作
成し（Ｓ２０２）、モニタ画面上に重ね表示し（Ｓ２０
３）、Ｓ２０１に戻ってマウス３０のボタンがＯＦＦさ
れるまで繰り返す。

【００３３】処理２が起動されると、指示コマンドの入
力を判定する（Ｓ３０１）。ここで、指示コマンドの入
力はマウス３０のボタンのＯＮ⇒ＯＦＦで検出する。指
示コマンドが入力され、目標位置がカーソルで画面上に
設定されると、上記（１）、（２）式から仮想平面上に
おけるロボットの目標移動位置（Ｘｒ、Ｙｒ）を算出す
る（Ｓ３０４）。

【００３４】次に、ロボットの移動方向Ｓを移動方向決
定手段４３で数３により算出し、目標移動量Ｌｏを移動
量決定手段４１で数４により算出し、ロボットの移動制
御を行う（Ｓ３０５）。

【００３５】

【数３】

【００３６】

【数４】

【００３７】ロボットの移動制御は、移動方向Ｓに向か
うように移動方向制御器４４によって出力指令を与え
て、操舵手段１３を駆動する。また、目標移動量Ｌｏと
実際の移動量Ｌの差分が０になるまで、移動量制御器４
２によって繰返し出力指令を与えて、移動手段１２を駆
動する。

【００３８】ロボットが目標移動位置（Ｘｒ、Ｙｒ）に
到達すると（Ｓ３０６）、ロボットを停止し（Ｓ３０
７）、Ｓ３０１に戻って指示コマンドの入力を待つ。

【００３９】本実施形態によれば、位置計算のために仮
定した仮想平面に、走行面の映像による画面を投影して
目標位置の決定を行う。走行面と仮想平面との誤差は、
目標位置に近づくほど小さくなるので、逐次制御によっ
て問題を解消している。これにより、走行面の形状が未
知の場合にも、画面を投影した仮想平面による誘導制御
が可能になり、従来のように複数のカメラ映像による複
雑な画像処理や、走行面の形状データ化した地図を用い
ることなく、ロボットに搭載した１つのカメラの映像画
面のみに基づいて、簡単にロボットを誘導できる。

【００４０】なお、本実施の形態は目標位置を２次元に
算出する場合を示した。もし、１次元に設定する場合
は、移動量決定手段４１によって目標移動位置Ｘｒ（＝
Ｌｏ）を求めれるだけでよい。次に、本発明のいくつか
の実施例を説明する。

【００４１】

【実施例】図４は、本発明の他の実施例を示す構成図で
ある。ここでは、図１の構成に加えて、カメラ高さ変更
手段６２とカメラ角度変更手段７２を設けている。前者
はカメラ高さ検出手段１４のピニオンギヤに接続される
モータからなり、後者はカメラ角度検出手段１５のギヤ
に接続されるモータからなる。さらに、操縦者がカメラ
高さｈｄを入力するカメラ高さ入力装置６と、カメラ高
さをｈｄに制御するようカメラ高さ変更手段６２に指令
するカメラ高さ制御器６１と、操縦者がカメラ角度θｄ
を入力するカメラ角度入力装置７と、カメラ高さをθｄ
に制御するようカメラ角度変更手段７２に指令するカメ
ラ角度制御器７１を設けている。

【００４２】モニタ画面の設定は、ロボットの走行方向
の画面が表示されるように、カメラ高さｈとカメラ俯角
θを調整する。好ましくは、画面の下端にロボットの一
部（先端）を表示し、可能であれば画面の上端に地平線
を表示するよう調整する。地平線の表示は、走行面が曲
面を有していることを操縦者に示し、操縦に対する有用
な情報を与える。

【００４３】図５は、曲面の走行面と仮想平面の関係を
示す模式図である。走行面が曲面となる場合に、画面の
上端に地平線を捉えることで、数５により走行面の曲率
ｒを求めることができる。

【００４４】

【数５】

【００４５】この曲率ｒにしたがって仮想平面から変換
した仮想曲面上で、目標位置を算出すれば、走行面と仮
想面の間の誤差をより低減でき、操縦者の指示が的確且
つ、容易になる。

【００４６】また、カメラの高さ及び角度を可変して走
行面のカメラ映像範囲を変更し、ロボットの近くから遠
くまで観察できるので、障害物を回避したり平坦なとこ
ろでは速度をアップしたりするなど、操縦が容易にな
る。

【００４７】さらに、障害物や目標位置付近では、ロボ
ットの付近を画面一杯に捉えることで、操縦者が空間イ
メージを把握しやすくすると共に、仮想平面をより走行
面に一致させ、障害物の回避や目標位置への到達を高精
度に誘導する。

【００４８】図６は、本発明のさらに他の実施例を示す
構成図である。ここでは、図４の構成に加えて、仮想平
面をモデルに縦横のグリッド線を画面上に表示するグリ
ッド表示情報作成手段３３を設けている。

【００４９】グリッド表示情報作成手段３３は、仮想平
面を縦横に区画したグリッド線の位置（Ｘｒ_ij，Ｙ
ｒ_ij）を集合で与えておき、上記（１）、（２）式を逆
変換してモニタ画面２０上のグリッド位置（Ｘｖ_ij，Ｙ
ｖ_ij）を求め、その集合を画面上に重ね表示する。グリ
ッドの表示位置はカメラ高さｈと俯角θから一意に定ま
り、図３のＳ１０で初期表示されるとともに、処理１中
に含みあるいは別処理で、カメラのカメラ高さｈ、角度
θを検出する周期で更新する。この検出周期は、処理２
のＳ３０２によってもよい。

【００５０】図７に、仮想平面上でのグリッド定義の概
念とモニタ画面でのグリッド表示を示す。一つのグリッ
ドの大きさはロボットの画面上の大きさを目安とし、走
行可能スペースの判断を容易にする。なお、仮想平面上
でのグリッド定義は、ロボットに近いグリッドだけとし
たり、ロボットの近くを密に、遠くなるほど粗くするよ
うにしてもよい。

【００５１】このように、グリッドは仮想平面に定義さ
れ、ロボットと走行面の相対位置情報を表すので、目標
位置の設定が簡単になるとともに、障害物との距離や進
行方向での回避可能性を一目で判断できる。

【００５２】図８は、本発明のさらに他の実施例を示す
構成図である。ここでは、図４の構成に加えて、カーソ
ル２１の形状を変えて表示させるカーソル形状情報作成
手段３４を設けている。

【００５３】カーソル形状情報作成手段３４は、例え
ば、ロボットの移動量Ｌの大きさとカーソルの面積の大
きさを反比例させて表示させる。こうして、操縦者が習
熟していないような場合にも、画面上における目標移動
位置の指示を容易にする。もちろん、図５のグリッド表
示を併用することも可能である。

【００５４】

【発明の効果】本発明によれば、１台のカメラによる走
行路の画面を仮想平面（ロボットを原点とする接平面）
に逆透写変換して目標位置を求めるので、複数のカメラ
による複雑な画像処理あるいは地図データを用いる必要
がなく、簡単なシステムにより未知の走行面でもロボッ
トを誘導できる効果がある。また、処理性の向上により
高速の誘導も可能になる。

【００５５】さらに、走行面のカメラ映像範囲を任意に
変更できるため、ロボットあるいは地平線の表示によ
り、走行面に適応した的確な誘導をできる効果がある。

【００５６】さらに、仮想平面上で定義したグリッドを
画面上に表示するので、障害物の回避や目標位置との遠
近に応じた速度制御や微調整などが容易にできる。

【図面の簡単な説明】

【図１】本発明の実施の形態の一例を示すロボット誘導
システムの構成図。

【図２】仮想平面の概念を説明する模式図。

【図３】本発明の実施の形態の一例を示すロボット誘導
方法のフローチャート。

【図４】本発明の他の実施例を示すロボット誘導システ
ムの構成図。

【図５】走行面が曲面となる場合のカメラ位置（高さ、
角度）と仮想平面の関係を示す説明図。

【図６】本発明の別の実施例を示すロボット誘導システ
ムの構成図。

【図７】グリッドの定義と表示の説明図。

【図８】本発明のさらに別の実施例を示すロボット誘導
システムの構成図。

【符号の説明】

０…走行面、１…カメラ、２…モニタ、３…指示位置検
出手段、４…移動体制御装置、６…カメラ高さ入力装
置、７…カメラ角度入力装置、１０…ロボット、１１…
移動手段、１２…移動量検出手段、１３…操舵手段、１
４…カメラ高さ検出手段、１５…カメラ角度検出手段、
２０…モニタ画面、２１…カーソル、２２…グリッド、
３０…指示器、３２…カーソル表示情報作成手段、３３
…グリッド表示情報作成手段、３４…カーソル形状情報
作成手段、４１…移動量決定手段、４２…移動量制御
器、４３…移動方向決定手段、４４…移動方向制御器、
６１…カメラ高さ制御器、６２…カメラ高さ変更手段、
７１…カメラ角度制御器、７２…カメラ角度変更手段、
ｈ…カメラ高さ、θ…カメラ角度（俯角）、Ｌ…移動
量、Ｓ…移動方向。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭62−212709（ＪＰ，Ａ) 特開昭63−71604（ＪＰ，Ａ) 特開平７−146145（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/00 - 1/12

Claims

(57)【特許請求の範囲】

【請求項１】ロボットの進行方向を撮像するカメラを
備え、走行路の映像を表示する画面を監視しながら自走
ロボットを誘導する方法において、前記走行路の走行面が未知または曲率を有する場合に、
ロボット位置を原点として前記走行面の接平面となる仮
想平面上で、前記画面上で指示したロボットの目標移動
位置を画面位置からの逆透写変換によって求め、この目
標移動位置を算出しながら逐次制御することを特徴とす
るロボットの誘導方法。
【請求項２】請求項１において、前記目標移動位置が前記仮想平面上の２次元座標で示さ
れるに場合に、前記現在位置からの移動方向を求め、こ
の移動方向に向けて逐次制御を行うことを特徴とするロ
ボットの誘導方法。
【請求項３】請求項２において、前記仮想平面は、ロボットの高さ方向のＺ _R 軸を法線と
して、前記進行方向にＸ _R 軸、Ｘ _R 軸に対する直角方向に
Ｙ _R 軸をとって定義し、前記画面上で指示された前記目
標移動位置Ｘ _V 、Ｙ _V を基に、前記仮想平面上の目標移動
位置Ｘ _r 、Ｙ _r を逆透写変換により求めることを特徴とす
るロボットの誘導方法。
【請求項４】移動手段をもつ自走式のロボットと、ロ
ボットに搭載されロボットの進行方向の走行面を監視す
るカメラと、カメラの映像を表示するモニタを備え、モ
ニタの画面上で目標移動先をカーソルにより指示してロ
ボットを誘導するシステムにおいて、前記カメラの走行面からの高さｈを検出するカメラ高さ
検出手段と、走行面を俯瞰するカメラの俯角θを検出す
るカメラ角度検出手段と、前記カーソルの指示位置
Ｘ _V 、Ｙ _V を検出する指示位置検出手段と、高さｈ、俯角
θ、指示位置Ｘ _V 、Ｙ _V を基に、曲率の有る走行面に対す
る接平面上で前記指示位置に対応する目標移動位置を逆
透写変換により算出し、この目標移動位置からロボット
の移動量を決定する移動量決定手段を備え、前記移動手
段を制御することを特徴とするロボットの誘導システ
ム。
【請求項５】請求項４において、入力値に応じて前記カメラの高さｈを制御するカメラ高
さ制御装置と、入力値に応じて前記カメラの俯角θを制
御するカメラ角度制御装置を備え、前記走行面の映像と
して、前記曲率の有る走行面の地平線を表示するよう
に、前記カメラ高さ制御装置と前記カメラ角度制御装置
を調整することを特徴とするロボットの誘導システム。
【請求項６】移動手段をもつ自走式のロボットと、ロ
ボットに搭載されロボットの進行方向の走行面を監視す
るカメラと、カメラの映像を表示するモニタを備え、モ
ニタの画面上で目標移動先をカーソルにより指示してロ
ボットを誘導するシステムにおいて、前記移動手段は、前記カメラの走行面からの高さｈを検
出するカメラ高さ検出手段と、走行面を俯瞰するカメラ
の俯角θを検出するカメラ角度検出手段と、前記カーソ
ルの指示位置Ｘ _V 、Ｙ _V を検出する指示位置検出手段と、
高さｈ、俯角θ、指示位置Ｘ _V 、Ｙ _V を基に、曲率の有る
走行面に対する接平面上で前記指示位置に対応する目標
移動位置を逆透写変換により算出し、この目標移動位置
からロボットの移動量を決定する移動量決定手段を備
え、さらに、前記接平面上で縦横に区分したグリッドを、前
記カメラの高さｈと俯角θを基に座標変換して前記モニ
タの画面上に表示するグリット表示作成手段を備えたこ
とを特徴とするロボットの誘導システム。
【請求項７】移動手段をもつ自走式のロボットと、ロ
ボットに搭載されロボットの進行方向の走行面を監視す
るカメラと、カメラの映像を表示するモニタを備え、モ
ニタの画面上で目標移動先をカーソルにより指示してロ
ボットを誘導するシステムにおいて、前記移動手段は、前記カメラの走行面からの高さｈを検
出するカメラ高さ検出手段と、走行面を俯瞰するカメラ
の俯角θを検出するカメラ角度検出手段と、前記カーソ
ルの指示位置Ｘ _V 、Ｙ _V を検出する指示位置検出手段と、
高さｈ、俯角θ、指示位置Ｘ _V 、Ｙ _V を基に、曲率の有る
走行面に対する接平面上で前記指示位置に対応する目標
移動位置を逆透写変換により算出し、この目標移動位置
からロボットの移動量を決定する移動量決定手段を備
え、かつ前記移動量決定手段で算出された移動量からカ
ーソルの形状を変更するカーソル形状情報作成手段を備
えたことを特徴とするロボットの誘導システム。