JPH02143309A - 操縦方法及び装置 - Google Patents

操縦方法及び装置

Info

Publication number
JPH02143309A
JPH02143309A JP1257989A JP25798989A JPH02143309A JP H02143309 A JPH02143309 A JP H02143309A JP 1257989 A JP1257989 A JP 1257989A JP 25798989 A JP25798989 A JP 25798989A JP H02143309 A JPH02143309 A JP H02143309A
Authority
JP
Japan
Prior art keywords
image
ceiling
vehicle
robot
forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1257989A
Other languages
English (en)
Inventor
Jr John M Evans
ジヨン・マーチン・エヴアンス,ジユニア
Carl F R Weiman
カール・フレデリツク・ラインホールド・ワイマン
Steven J King
ステイーブン・ジヨセフ・キング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transitions Research Corp
Original Assignee
Transitions Research Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Transitions Research Corp filed Critical Transitions Research Corp
Publication of JPH02143309A publication Critical patent/JPH02143309A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野コ 本発明は、走行ロボットのような動く車両の操縦に関す
るものであり、そして特に車両に搭載され、天井ライト
を観察するカメラを備え、そして整列から操縦データを
推断する視覚システムに関する。
[従来の技術〕 走行ロボットのような可動自走車両は車両の操縦する状
況を感知するある形式のセンサーシステムを備えている
。超音波検出器、機械的接点装置及びレーザー距離測定
装置を使用したシステムは当該技術分野において公知で
ある。状況を観察するカメラ及び受動三次元イメージ処
理系を備えたシステムも公知である。
従来の三次元受動情景分析(画像のセグメント化)視覚
システムに伴う問題は、多量の計算能力を必要とするこ
とにある。このようなシステムはまた比較的ゆっくりし
ており、しばしば誤った結果をもたらす。通常、データ
の解釈は実時間操縦に有用であるにはゆっくりすぎ、か
げを物体として判断するようなエラーを生じ得、その結
果誤操縦が生じ得る。視覚システムが好ましくはロボッ
トに搭載されそしてロボットのバッテリーで給電される
場合には、イメージ処理系の寸法及び電力消費は考慮す
べき重要な要件である。
従来の情景分析システムに伴う別の問題は、システムが
分析する必要のあるしばしば視覚的に″リッチな”イメ
ージ(画像)に関する。例えば、典型的な病院環境にお
いては、玄関や廊下には多数の従業員や患者のような動
くものの他に、洗濯物カート、食べ物カート及び医療機
器のような多数の静止したものが存在している。このよ
うな環境において操縦を迅速かつ正確に行うためには、
複雑で時間を浪費する情景分析技術が要求される。
またロボットの環境には本来のものでない特殊な視覚マ
ーカーすなわち“ビーコン”を設けることも知られてい
る。このようなビーコンは、システムが高価で複雑とな
りしかもロボットの環境を変更する必要があるので、望
ましくない。さらに、本質的なこととしてビーコンはそ
の環境内に存在し得る物体によって隠れてはならない。
利用分野における走行ロボットの商業的な応用例として
は床掃除、身体障害者の補助器具、病院の配送システム
、郵便カート及び保障がある。これらの応用例には実時
間操縦データを提供ししかも低コストで電力消費の少な
いセンサーを利用した丈夫で信頼できる操縦が必要とさ
れる。
従って、本発明の一つの目的は、走行ロボットのような
車両の視覚及び視覚処理を簡単化することにある。
本発明の別の目的は、環境においてロボットを案内する
のに十分な画像解像度をもちながら情景分析の複雑さを
最少に抑えた走行ロボットの視覚システムを提供するこ
とにある。
本発明の別の目的は、ロボットの環境内にビーコンまた
は他の環境変更手段を必要としない走行ロボットの視覚
システムを提供することにある。
本発明の別の目的は、高速度で運転できしかもロボット
の環境においてロボットを連続し適応性よく動かすこと
のできる走行ロボットの視覚システムを提供することに
ある。
本発明のさらに別の目的は、相対的には視覚的に単純で
あり、一般的には静止または動いている物体がなく、さ
らには多数の本来の視覚的に明確な基準物体を備えてい
るロボットの環境の部分を分析する走行ロボットの視覚
システムを提供することにある。
本発明のさらに別の目的は、ロボットの上方及び(また
は)前方に配置した天井の像を観察し、天井ライトの方
向性から操縦関連データを判断する走行ロボットの視覚
システムを提供することにある。
[課題を解決するための手段] 本発明によれば、天井ライトの像から玄関や廊下のよう
な環境における車両の方向や側部位置をfl(II定す
る装置及び方法によって上記の及びその他の問題点は解
決されそして」二記の目的は達成される。本発明は、天
頂凝視カメラまたは水平と天頂との間の中間角度で斜め
に設定されるカメラを備えた走行ロボットを提供する。
天井ライトは長方形のものであることができ、そして好
ましくは玄関や廊下の軸線に整列される。天井ライトは
玄関や廊下の長袖に平行または垂直なし軸線に沿って配
列され得る。天井ライトはカバー付きまたはカバーなし
の白熱灯または蛍光灯から成り得る。天井ライトの整列
パターンが玄関や廊下の長袖に実質的に平行または垂直
であるには、本発明はこの整列パターンを有利に利用し
てロボット操縦情報を得るようにする。
本発明によれば、走行ロボットのような車両用の操縦関
連情報を発生する操縦装置が提供される。
この装置は、車両または車両の投影通路−4二に位置し
、一つまたはそれ以上の照射源の配置された表面の像を
形成する像形成手段と、この像形成手段に結合され、上
記像内における一つまたはそれ以」二の照射源の位置を
検出する位置検出手段と、この位置検出手段に結合され
、検出された一つまたは複数の照射源位置から車両操縦
情報を発生ずる車両操縦情報発生手段とを備えている。
車両操縦情報発生手段は、像内の照射源の位置に対する
車両の少なくともずれ距離及び角度変位を4(す定する
手段を備えるようにされる。
さらに、本発明によれば、走行ロボットに対する操縦関
連情報を発生する方法が提供される。この方法は、(a
)一つまたはそれ以上の明確な視覚特徴をもち、少なく
ともロボットの投影通路I−に位置した天井の少なくと
も一つの像を形成すること、(b)天井の像の範囲内に
一つまたはそれ以上の明確な視覚特徴を位置させること
、(C)明確な視覚特徴の境界を検出すること、(d)
検出した境界に対する少なくとも一つの基準線を発生す
ること、及び(e)基準線に対するロボットの位置を測
定することから成っている。
[実施例] 本発明の特徴は添付図面についての以下の詳細な説明に
おいてより一層明らかとなろう。
さて第1a図を参照すると、走行ロボット10の一実施
例が側面図で示されており、この走行ロボット10はカ
メラのような電子画像形成装置I2を備えている。本発
明によれば、この光学的配置は多数のライト固定部16
を備えた天井14を観察するようにされており、天井1
4は走行ロボット10の所望の通路の−L方に位置され
ている。カメラ12は好ましくはCCD画像形成装置を
備え、このCCD画像形成装置の方形または長方形視野
(F OV)は走行ロボットIOの前方通路内に天井I
4の画像を形成するように斜め−L方に向けられている
。カメラ12は多数の画素を発生し、各画素はカメラの
先感知装置の対応した表面領域に入射する光の強度を表
す値をもっている。走行ロボットIOはさらにカメラ1
2の出力に接続される画像処理装置I8を備えている。
この画像処理装置I8は第1b図に詳細に示すようにビ
デオ記憶装置18Aを存し、このビデオ記憶装置18^
はカメラ12の一つのビデオフレームの出力の表示を記
憶する。ビデオ記憶装置1.8Aに対する入力はアナロ
グ−ディジタル(A/D)変換器18Bから供給され、
このA/D変換器1.8r3はカメラ12のアナログ出
力をディジタル量に変換する。
A/D変換器1813のディジタル出力はルックアツプ
表(LUT)18Cへのアドレス人力を成し、このルッ
クアツプ表18Cにおいて画素の輝度値が再割り当てさ
れ得る。ルックアツプ表18Cはまた画像しきい値形成
及び(または)ヒストグラム修正のためにも使用され得
る。画像処理装置18はさらにマイクロコンピュータの
ような画像処理装置18Dを有し、この画像処理装置1
.8Dはビデオ記憶装置18Aに接続され、そしてビデ
オ記憶装置18八から記憶されているビデオフレームデ
ータを読み出すように動作し得る。画像処理装置18は
さらにプログラム指令、定数及び−時的なデータを記憶
する記憶装置を備えた記憶装置18Eを有している。
プログラムデータは以下に詳しく説明する形態の演算を
実行するように作動できる。画像処理装置18の出力は
カメラ12の視野内の天井固定部16に関連した位置情
報を表し、R8−232すなわち平行データリンクを介
して操縦制御プロセッサ20に供給され得、この操縦制
御プロセッサ20は天井環境の感知した画像、特に天井
ライト固定部の方向性に基づいて操縦データを発生する
。この操縦データは玄関や廊下でロボットを操作したり
天井ライト固定部を備えた部屋やその他の包囲部の座標
系内でロボットを方向法めするのに使用され得る。
操縦制御プロセッサ20の出力は駆動及び操作制御装置
22に供給され、この駆動及び操作制御装置22の出力
は駆動及び操作車輪24に連結されている。
駆動及び操作車輪24は典型的には床である支持面26
に接触している。操縦制御プロセッサ20は通常駆動及
び操作制御装置22からの出力を受け、この出力は走行
ロボット10の走行した距離に関する走行距離計の読取
り値を表している。操縦制御プロセッサ20は記憶装置
及びサポート回路をもつデータ処理装置を有している。
上記の装置を収容して保護する包囲体が設けられる。
第1C図に見られるように、操縦制御プロセッサ20は
通常、他のセンサー系統からの可能性のある人力と共に
天井操縦画像処理装置18によっては発生されたロボッ
ト10の位置測定値を判断して駆動及び操作制御装置2
2を制御し走行ロボッNOを所望の通路に沿って案内す
るように応動できる。従って、位置測定値はフィードバ
ック制御系のエラー信号として機能し、駆動及び操作機
構はロボットの位置を変えるアクチュエータとして働く
カメラ12はPulnfx社製の形式TM440のCC
Dカメラであることができる。このカメラ12は、視野
を最大にするため焦点距離が比較的短く、例えば8. 
5m1l!であり得る。マイクロコンピュータ1.80
はMotorola社製のマイクロプロセッサ装置の6
8000フアミリーの一つであることができる。ルック
アツプ表18c及びビデオ記憶装置18八は、Core
co or Imaging Technologie
s社製の形式のようなフレームグラツバ−pcボード内
に収納され得る。
簡単に第3a図を参照すると、代表的な公共施設の廊下
が例示されている。適当に境界決めされたカメラ画像に
おいて、天井ライトI6は圧倒的に目立った視覚特徴で
ある。天井ライト16の直線縁部すなわち直線境界線は
本発明の方法及び装置に従って視見操縦のための基準線
を画定している。
認められ得るように、天井ライトの中心及び縁部を検索
して特定する際には、全体の処理時間を減らすためにで
きるだけ少ない画素を検索することが重要である。この
検索動作は、天井ライトを暗い背景内に埋め込まれる輝
き領域として現わさせる画像限界またはカメラ12のア
パーチャを設定することによって容易となる。それで暗
い画素から輝いた照射画素を確認するのに二進限界h″
(binary threshold techniq
ue)が利用され得る。
最初に画像において天井ライトを位置決めするため、に
列の画素から始めて下列に向かって全体画像にわたって
最初に予備検索を行うことができる。予定の検索しきい
値以」二の値をもつ画素が検出されると、予備検索は終
了される。予定のしきい値は、使用したカメラの形式、
カメラアパーチャの設定及び(または)特定の形式の画
素しきい値設定のようなファクタによって影響される。
予備検索は好ましくは、ロボットに最も近い天井ライト
が最初に検出されるように画像の上部から開始される。
しきい値以」二の画素が検出されると、本発明の方法で
は以下に説明するようにその後は二進副分割検索が使用
され得る。例として、天井ライト内に白点すなわち画素
が与えられると、ライトの縁部は白から黒への変化の生
じる部位に位置される。
これはライトに対応した画素値から暗い背景に対応した
画素値への変化を検出するため画素値を検査しながら白
点から外方へ向かって動くことによって行われ得る。当
然、画素値は通常完全臼または完全黒に対応してなく、
典型的には灰色の変化する影として現される。ライトの
縁部に向かって動かしながら各画素をサンプリングする
ことにより、最適でなくなり最初に検出された画素から
数百の画素が除去され得る。従って、好ましい方法では
、各ステップ毎に16の画素によるような画素のある比
較的大きな増加によるステッピングが包含される。1B
画素増加における外方へのステッピングは、検索が暗い
背景に入ったことを画素値が示すまで続く。この場合、
検索の増加は二つに分割され、そして検索の方向は反転
される。ステッピングの増加の分割及びステッピング方
向の反転のプロセスは、ステップサイズが一つに分割さ
れるまで続く。その時点において考察中の画素は明るい
ライトへの一つの画素かまたは暗い背景への一つの画素
である。この検索操作は以下に説明するように繰り返さ
れ、天井ライトの左方縁部、右方縁部及び中心点を正確
に位置決めするのに十分な情報を得るために天井ライト
の多線部を検出する。
第4f図を参照すると、ライト内の点(x)で表された
画素の後、垂直線(1)及び水平線(2)が上記の画素
検索法を用いて点(x)を通ってライトの縁部へ投影さ
れることが見られ得る。垂直線(1)が水平線(2)よ
り長ければ、新しい水平線(3)が垂直線(1)の中心
から投影される。
代わりに、水平線(2)が垂直線(1)より長ければ、
第2の垂直線が水平線(2)の中心から投影される。こ
れらのステップによりライトの枠縁部にあり得る最初の
点をさらに点X′で示すライトの中心へ移す。その後、
ライトの縁部の傾きは以下に説明するように測定される
多数の垂直線(4,5,6)は、垂直線(5)が水平線
(3)の中点に、他の二つの垂直線(4,6)が水平線
(3)の端部からほぼ25%の位置に投影される。その
後、垂直線(4,5,6)の端部を画定する点(a、b
Sc、dSe、f)からライトの平均傾きが見出される
。その後、線(7)は垂直線(5)の中心を通って投影
され、線(7)は前に計算したライトの平均傾きに等し
い傾きをもっている。垂直線(4,5,6)は互いに近
接して引かれ、それで計算された平均傾きは高精変のも
のでいことが認められるべきである。従って、線(7)
はライトの二つの端部と交差しない。その結果、線(7
)の端部からほぼ25%の点に二つの付加的な垂直線(
8,9)が投影され、これらの垂直線(8,9)の端点
(g、hs is j)から平均傾きが測定される。二
つの付加的な垂直線(8,9)の各々の中心点からは線
(10,11)がそれぞれライトの最近縁部に向かって
直前に計算された平均傾きに沿って投影される。線(1
0,11,)に沿って感知された照射画素と非照射画素
との間の縁変移はライト(A、B)の真の縁部を表して
いる。これらの縁部(A、B)の間の中間にライト(C
P)の中心点がある。
一つのライトを正確に位置決めした後、第2のライトは
水平における消滅点まで線(C,D)を投影する一組の
点を発生するため実質的に同じ方法で見出され分析され
る。
第2のライトを見出すために、第1のライトの中心(C
P)からの画像に下向きにかつ線(7)の傾きに垂直に
線(I2)が投影される。この線(I2)に沿った画素
は分析されて別のライトに出会うかどうかを測定する。
ライトが相対的に取り得る角度が異なるため、線(12
)は第2のライトと交差し得ない。その場合には、二つ
の別の線(13,14)が第1のライトの端部から線(
7)に垂直に投影され、第2のライトが交差する位置及
び第2のライトが交差するかどうかをAl1j定する。
線(12,13,14)から、これらの線の一つが別の
ライトと存在すれば交差すると仮定する。
天井ライトの縁部を決める方法の上記の説明は一つの適
当な方法であることが認めれる。例えば、ビデオ画像に
おいて直線パターンを見出す公知の方法はRough変
換、縁部検出及びリンキング、並びにカーブフィテイン
グの使用を包含する。
第2a図を参照すると、カメラ12の形態が視点30及
び画像平面32として幾何学的に処理されることを示し
ている。視点30はカメラレンズの中心として考えられ
得る。画像は三次元空間内の任意の点Pから画像平面3
2の点P′に視点30を通る線に沿って斜めに投影され
る。画像平面32を視点3oから単位距離にあると考え
るのが数学的に都合がよい。
Nは画像平面32に垂直な単位ベクトルである。従って
、画像平面32において測定した複数の単位距離は画像
平面32に垂直な視点30を通るベクトルNからの正切
角度に対応する。この方法は次のように計数したカメラ
12の画素の対して接線方向視角を測定する。
第2b図を参照すると、カメラI2の視野の水平角度は
fovhとして表され、また視野の垂直角度はf ov
vとして表されることが示されている。
画像平面32は長方形であり、そしてほとんどのビデオ
カメラにおいて規格であるようにカメラFOVに対して
対称に位置決めされる。npl xhは水平線における
画素34の数であり、またnpl XVは画素36の垂
直列の数である。画像平面32の座標系(U、■)は画
像平面32の中心38からそれぞれ水平及び垂直方向に
圧切単位で与えられる。下記の式により画素座標系は圧
切座標系に変換される。
u = (i −nplxh/2 ) * t a n
 (1”ovh/2) /(npixh/2 )   
                (1)v =  (
j −nplxh/2 )  * t a n  (1
’ovh/2)  /(nplxv/2 )     
              (2)ここで、i及びj
は画像平面32の左上方隅部からの画Jのそれぞれ行数
及び列数である。またここで使用した記号”*”は掛は
算を表し、また記号“/″は割り算を表している。式(
1)、(2)の画素座標系−圧切座標系変換により、カ
メラI2のアスペクト比が修正され、そして以下に記載
する座標変換及び投影の説明が簡単となる。視角から画
素数を得るため式を反転すると次のようになる。
i = u *  (nplxh/2 ) / t a
 n  (f’ovh/2) +nplxh/2   
               (3)j ”−v *
  (nplxh/2 ) / t a n  (f’
ovh/2) +npJ XV/2         
         (4)焦点距離8. 5in+で通
常のフレームグラツバ−を備えた゛代表的なCCDビデ
オカメラの場合、次の関係が適用される。
nplxh =51251 2画素xv =48048 0画素vh=55    角度 f’ovv=42    角度 第3a図には本発明の一つの特徴に従ってロボット10
に搭載された天頂凝視カメラ12が示されている。カメ
ラ12の視点から天井14までの距離は“Cである。画
像平面のU軸線は車両の前方に整列されている。ヨー角
度θはU軸線と廊下の長軸千Aとの間で測定される。カ
メラI2から見た天井の画像は第3b図に示す。
カメラ12の画像W面上における天井画像の回転角度は
第3a図及び第3b図に示すように車両のヨー角度に等
しい。測定精度は天井ライト1Bの直線縁部または境界
を確認する精度及びまた境界の長さに部分的に依存する
。代表的な環境では、ライト16の縁部は100画素に
及び、縁部測定値は正確には二つの画素の範囲内である
。これはヨー測定においてほぼ0.2ラジアンの精度ま
たは0,5°より多少大きい角度に対応している。
ロボットIOが車輪エンコーダまたは走行距離計で測定
して床26に沿って距離d動くと、視軸線の天頂投影は
天井14に沿ってd単位動く。天井14の画像における
点は画像平面上のu−v単位において距離d′動くこと
になる。第3c図には車両1oの座標系に対するこの動
きを示し、すなわち、車両10はあたかも静止しており
、そして天井14が距離dだけ動いたように示されてい
る。相似三角形の分析により、カメラ12の視点上の天
井までの距離は次式で得られる。
c=d/d”              (5)一般
には、 d  =sqrt(u**2+v**2)    (6
)であり、ここで“5qrt“は平方根関数であり、ま
た“**“は指数関数である。式(6)は、カメラI2
の水平線が運動方向と一致している場合には、d = 
=u                (7)と簡単に
表される。
カメラ■2が床26から2.5フイートの位置にあり、
天井14の高さがlOフィートであり、そしてロボット
10が毎秒2フイートの速度で動く例を考えると、c−
7,5フイートとなる。250 ミリ秒にロボットIO
は6インチ動くことになる。従って、d−=d/ c 
=0.5 /7.5 、すなわち0.0666正切単位
となる。カメラI2のFOVが55″で一列当り512
12画素えている場合には、この動きは32画素に対応
している。Cが予め未知である場合には、250ミリ秒
内における32画素の画像の動きは、天井14が床から
10フイートの高さに位置していることを意味し、床か
らのカメラ12の高さは2.5フイートであることがわ
かる。このようにして、天井の高さは直接判断され得る
動きの測定の正確さは天井■4における画素“足跡“の
大きさから次のようにして求められる。上記の例では、
(’ovh=55°であり、従って一つの画素はu =
 t a n (f’ovh/2) /25B =0.
002正切単位を表していることになる。よって、d=
c*d −=7.5 *0.00−0.15フイートま
たは0.18インチとなる。このエラー類は瞬時運動エ
ンコーダの精度のエラー類を越え得るが、このエラー類
は絶対値であって時間の経過と共に累積しないことが認
められるべきである。従って、運動エンーダによる測定
値がほぼ1%に正確である場合には、天井I4の視覚観
察は床を単に18インチ走行した後の運動エンーダによ
るデッドロック精度より勝っていることになる。しかし
ながら、車両IOの台は床面の凸凹や車両IOの台の慧
架における加速の吸収作用のため幾分揺れる。車両」O
の2°の傾きは天井14に3インチ、すなわち約17画
素のエラーとして現れることになる。仮にこの大きさの
揺れが普通であるとすると、位置的な表示における揺れ
の影響を低減する一つの適当な方法は3フィートまたは
それ以上の床走行毎に天頂凝視式視覚観察を使用するこ
とにある。不確定性の共変マトリックスに基づくカルマ
ンフィルタ法を使用して、視覚とエンコーダによる位置
評価を併合し、それにより絶対位置制御を維持するよう
にしてもよい。
上記例の場合、天井14における視覚スクリーンの足跡
(“頭跡”)はほぼ8フイートである。ライト16が4
フイ一ト以上離れており、そしてライトの一組が消えて
いる場合には、ライトの見えないロボット位置が存在す
る。従来のCCDカメラ及びレンズを使用しては、FO
Vは“魚眼“型のひずみを伴うことなしにはほぼ55°
以」二に容易に拡げることはできない。この形態のひず
みまたは収差はレンズの画像の直線性を歪ませ、画像処
理の幾何学を非常に複雑化させることになる。この制限
に対する好ましい解決法はカメラ12を水平より斜め上
方に向けて車両■0より前方でしかもロボットの投影さ
れた前方通路に沿った天井の領域を観察するようにする
ことにある。
以下、天井ライトの画像から廊下のような環境における
車両の方向決め及び横方向位置を推断するための幾何学
及び演算について説明する。以下の説明では、水平と天
頂との間の中間角度で斜めに選定されるカメラのような
画像形成装置が使用される。天井ライトは好ましくは長
方形のものであり、そして廊下と整列される。天井ライ
トの長軸線は廊下の長軸線に平行または垂直に配列され
得る。天井ライトは白熱灯または蛍光灯から成り得、そ
してカバーされてもカバーされなくてもよい。好ましく
は、ライトは廊下の長軸線に実質的に平行または垂直な
パターンまたはアライメントをもっている。すなわち、
検出されることになる形状は光源バルブのような簡単な
形の線境界かまたは直線列であるこができる。アライメ
ントの推断された軸線は以下の説明では幾何学的線とし
て取り扱う。
カメラ■2の中心に原点を中心法めしそして次のような
廊下と整列した右側のデカルト座標(X、y、z)を適
用するのが好都合である。Z軸は垂直であり、y軸は廊
下の長軸線に平行に廊下を表し、y軸は廊下の長軸線に
垂直である。位置はカメラ12から基準が取られ、方向
は廊下の壁に対して基準が取られる。従って以下用語“
カム壁”座標を使用する。
第4a図にはカム壁座標系の一般的な形態が示されてい
る。カメラ50から天井52までの距離はCで表される
。天井面はマイナス無限大<X<無限大、マイナス無限
大<y<無限大及びZ=Cとして特徴づけられる。カメ
ラ50は角度Pchラジアンで縦に揺れ、そして角度Y
awラジアンだけ横に揺れる。
ロール成分はなく、カメラのラスター線は天井、床及び
水5F面に平行である。角度Pchは視面に垂直なベク
トルNに対して垂直なx−y平面から測定される。角度
YawはベクトルNを含む垂直平面とy−z平面との間
の角度として測定される。これらの定義から、明らかな
ように垂直ベクトルNは N=  (x、y、z)=  [cos  (Pch)
sin(Yaw )  、cos  (Pch  )c
os  (Yaw )  、s in  (Pch)]
                 (8)で与えられ
る。
すなわち、Nの垂直成分は5in(Pch)である。木
毛成分はcos(Pch)であり、比cos(Yaw)
  : s in (Yaw)でX成分とy成分とに分
解する。
カム壁座標から画像座標への透視投影は第4b図に示さ
れる。三次元空間内における一般的なベクトルP= (
x−YN Z)は直線で原点に結合される。そしてそれ
は、Pの測定画像を画定するP==(x−1−z−)=
P/に=  (x/k、y/に、z/k)      
        (9)で画像を面54と交差する。測
定ファクタにはスクリーン垂線N上のPの投影の長さで
あり、すなわち、相似三角形ONP′及び0 (kN)
Pによって k = P  (dat )  N         
      (10)である。(dat )動作は、式 %式%) で与えられるベクトル点の積である。
画像平面54の中止からの画像座標[u、v]は単位ベ
クトルU、Vに対して表される。すなわち、[uS v
コ =u*U+v*V          (1,2)
であり、ここでU、Vはベクトルであり、またu1■は
スカラーである。UはNのx −y トI’面の足跡に
垂直な水平単位ベクトルである。カム壁座標においては
、 U= [cos (Yaw)、s in (Jaw)、
03である。
VはN、Uの両方に垂直な単位ベクトルであり、すなわ
ちN、Uのベクトルのクロス積は、次式%式% ここで、■、J、には(X SyN Z )カム壁座標
の単位基準ベクトルである。
すなわち、 V −[s in  (Pch ) *s in  (
Yaw )、s  in  (Pch)  *cos 
 (Yaw)   cos(Pch ) ]     
            (1,5)である。
点Pの画像の画像平面54の座標は、U、V上における
P′の投影であり、すなわち、 u=P ′(d a t) U         (1
6)v=P −(d a t) V         
(1,7’)であり、これらの式は、 u = (x/k) * c o s (Yav ) 
+ (y/k)*S in (Yaw)       
      (18)v= (x/k)  *s i 
n  (Pch )  *s in(Yaw ) −(
y/k) *s i n (Pch ) *cos(Y
aw)+(z/k)*cos(Pch)   (f、9
)廊下の軸線に沿った天井ライトの列は壁と床の両方に
平行な線LOを画定している。
カム壁座標においては、線LOの式は x=xO1y = s 、 z = z O(20)で
あり、ここで、Sは線LOの長さのパラメータであり、
プラス無限大からマイナス無限大まで変化し得る。値X
01zOは視点からの線の横方向距離及び垂直距離であ
る。画像平面54におけるこの線の投影は次式で与えら
れる。
u −(xO/k)  *c o s  (Yaw )
  +  (s/k)*s i n  (Yaw ) 
               (21)v=  (x
O/k)*s  in  (Pch)*s  1n(Y
By)  −(s/k)  *s in  (Pch)
  *cos(Way )  +  (zO/k)  
* c o s  (Pch )  (22)ここで k −−xO*cos  (Pch)  *s in 
 (Yaw)+s*cos  (Pch)*cos  
(Yaw)+zO*s i n  (Pch )   
              (23)である。
Sが無限大になるにつれて、u、vは限界[U1v]−
−> [uuXVV] に近き、ここで、uu−s i
n (Yaw) / [cos  (Yaw) *co
s  (Pch)] =tan  (Yaw)/cos
(Pch )                 (2
4)v v= −t a n (Pch )     
    (25)である。
第4c図に示すように、線LOの画像はスクリーン上の
消滅点5Bに近づく。この消滅点5Bは線LOに平行な
すべての線すなわちxOlzOのすべての可能な選択で
の画像の交点である。直感的には、この消滅点56は、
鉄道線路のような二本の線が集束し合致する水W上の点
である。
この集束する線類推法は、本発明の方法に従ってuu及
びvvの値を決めるために有利に使用される。すなわち
、第3a図におけるように天井ライト4Bの列の左側及
び右側境界のような平行関係である既知の天井特徴の画
像である画像平面54内の二本の線が選択される。従っ
て、二つの境界の画像平面座標における交点は一方の境
界の式を他方の境界の式に代入することによって決めら
れる。
こうして決められた交点は画像平面54から物理的にず
れているが、それにもかかわらず消滅点UU、vvの値
を形成する。従って、ピッチはPch’ = arct
an (v v )          (26)であ
り、またヨーは Yaw =arctan [u u * c o s 
(Pch )   (27)である。
vvはヨーに無関係であることがわかる。従って、■の
値は水平の画像であるスクリーン上の水平線である。
さて再び第4a図を参照すると、カメラのピッチ(Pc
h)が既知となると、天井の高さは、車両10が床に沿
って動く際の画像特徴の動きから推断され得ることが認
められるべきである。関連幾何学をさらに明確するため
、カメラ及び車両の動きの順方向と一致する座標系を考
えることは有効である。
これは、カム壁座標のx−y平面を回転させて画像54
の垂線nの水平成分に一致するようにすることによって
行われる。第4b図にはこの新しい座標系を示す。Z軸
はカム壁座標と共通であり、y軸及びy軸はU軸及びW
軸で置き換えられ、それらの基本ベクトルは、 U= [cos (*Yaw ) 、s in (Ya
v ) 、0]−(1,0,01(28) W −[−s in (Yaw) 、cos (Yaw
) 、0l−(0,1,0)            
 (29)z−(0,0,1)           
(30)大括弧表示(u、w、z)は基本ベクトルU1
W、zに対する座標を表し、この座標は以下”カム床”
座標系と記載する。カム壁座標系及びカム床座標系は両
方とも原点50としてカメラの視点を用いているo  
(XSys z)から(u、w、、z)への変換は変換
式 %式%) 逆変換は、 =  [u*cos  (Yav)−W*S in  
(Yaw)  、u*s  in  (Yaw)+w*
cos  (Yaw)  、z)で行われる。
第4b図、第4C図及び第4e図を参照してロボットが
順方向に動く際のカム床座標系における天井の点Pの軌
道を考えると、u=uQ、w=6S z=ZOであり、
ここでSは方向Wに走行した距離のパラメータである。
この線の画像は画像平面54における投影によって次の
ようにして形成される。
画像平面の基本ベクトルUは式(28)で表すようにカ
ム壁座標系の場合と同じである。
カム床座標系における画像平面54の垂線はN=(0、
cos (Pch) 、s in (Pch) 1で与
えられ、また画像平面54の基本ベクトル(V)は ■= (0、−s  i n  (Pch  )  、
c o s  (Pch  )  )である。
従って、Pは P ==P/に= (uO/に、s/に、zO/klで
スクリーン上に投影し、ここで に=P (dat)N=s*cos  (Pch)+z
O*s t n (Pch )           
   (36)である。
画像平面54の座標はU1V上にP′を投影することに
よって形成され、 u=P ′(dat ) U=uO/kv=P=  (
dat)V=−s*sin (Pch)/に+zo*c
os (Pch ) /k       (37)であ
る。
光学的流れの流れ線を表すこれらの画像線はすべて消滅
点、 [uu、vv] = [0、−t an (Pch )
 ]から放射する。
新しい画像平面座標系を表す満されたブラケットを用い
て画像平面座標の原点をこの点に変換すると、 [u−1v−]  =  [u−uuS v−vvコと
なり、これは、任意の光学的流れ線が[d′ v−] 
 −= [uO/に、zO/ (s=zQ*tan (
Pch)]  −または[u=  v−]=−[uO/
に、zo/(k*cos (Pch ) )     
        (40)となることを意味している。
従って、光学的流れ線の傾きは v  /u−=zO/ (uO*cos (Pch )
である。
V′酸成分示されたようにuOに無関係であり、天井の
高さの計算は簡単となることがわかる。
第4e図には画像平面及び天井のw−z成分が示されて
いる。U成分は前に示したようにzOを計算する際に無
視できる。車両10が方向Wに釦離d進む際に、スクリ
ーンの足跡(“頭跡”)は天井に沿って距離d動く。任
意の点P1はP2まで距離d動き、スクリーン上の対応
した画像はP1′P2=であり、画像平面においてd′
だけ垂直方向に離れている。すなわち、v2−−vl−
=d′である。
図面に見られるように、d=  cI′は、画像平面5
4のW軸道及び線0−P2−によって形成されたものと
相似形の三角形のそれぞれ側部及び底部である。従って
、 d′−/d′= [1/cos  (Pch)]/v2
−または cI−=d−/ [v2−*cos (Pch)]]=
Cv2−−vl−/v2−*cos (Pch)である
d−′、dは第4e図に垂直方向の点線で示すように高
さvl ” *cos (Pch )及びzOをもつ相
似三角形0−PI′−Q及び0−PL−P2の対応した
部分であるので、 zO/d=vl−*cos  (Pch)/d−−及び zO=c=d*vl−*v2−*cos2(Pch )
 / (v2−−v 1−)       (44)と
表すことができる。
式(44)は、特徴の二つの連続した画像の画像Nv−
面54の垂直座標[vl−v2−]及び画像・12面5
4のピッチの関数として天井の高さを与え、車両は画像
間を距離d走行する。d−”とdとの比率は、相似三角
形0−PI′〜R及び0−Pl−8によりそれぞれ原点
からPl−及びPlまでの範囲のW成分の比率と同じで
ある。従って、wl/d= [1/cos  (Pch
 )−v2−*s in (Pch ) ] /d −
−(45)であり、これは、 wl=d*v2−*  [1−Vl−*5in(Pch
)*cos  (Pch)]/ (v2=−vl −)
を意味している。
従って、本発明は、天井の高さを割り出す同一画像デー
タから推断されるべき範囲を形成する。
追跡天井の特徴からロボット10の横方向変位は以下の
ようにして得られる。
画像線の傾きをv −/u−=zO/ (uc)*co
s(PCh)で表した式(4I)から、ロボット通路に
対する追跡特徴の横方同位1δ(U軸座標)は、 uO−(ul−/vl−)*zO/cos(Pch )
                 (47)uf)−
(u2 ”/v2−)*zO/c os(Pch ) 
               (4g)である。
上記で説明したように、天井の高さがデータベース、ソ
ーナー読取り値または光学的流れ分析かられかれば、天
井の中心線LOまたは任意の他の測定可能線に対するロ
ボット10の位置は以下に説明するように廊下座標にお
いて求められ得る。ロボットのピッチおよびヨーも必要
な入力である。
前の説明で示したように、ピッチ及びヨーは消滅点5G
の画像平面54の座標から求められ得る。
前に説明したカム壁原点および線LOはエピポーラ(e
pfpolar)平面として知られた平面を画定する。
この平面と画像平面54との交点はエピポーラ線を形成
し、このエピポーラ線はLO上の全ての可能な点のスク
リーン画像の軌跡である。エピポーラ線の方向は画像平
面の垂線とエピポーラ平面の垂線とに対して垂直である
。エピポーラ平面に対するカム壁座標における垂線は次
式で与えられる。
E=(−zo、0、X O)         (49
)従って、エピポーラ線の方向はクロス乗積EXN= 
[xClccos  (Yaw)*cos*(Pch)
xO*cos (Pch)*s in* (Yaw)+
zO*s i n (Pch ) −zO*cos (
Pch )* c o s (Yaw ) ]    
        (50)で与えられる。
画像平面座標に変換するため、このベクトルは画像平面
の単位基本ベクトル、すなわちEu=(ExN)(da
t )U及びEv= (ExN)(dat ) Vに投
影され、その結果、Eu=xO*cos  (Pch 
)+zO*s 1n(Pch ) * s i n (
Yaw )         (51)Ev=−zo*
c o s (Yaw )      (52)が得ら
れる。
従って、U−V平面におけるエピポーラ線の傾きは、 Ev/Eu=−zo*cos  (Ya、v)/xO*
cos  (Pch)+zO*sin  (Pch)*
s i n (Yaw )             
  (53)となる。
その結果、線LOからの横方向変位(x O)は画像平
面54」二のLOの画像の傾き(m)、天井の高さ(z
O)、ピッチ及びヨーから次式で求められる。
xQ=−zQ*cos  (Yaw)/ [m*cos
(Pch) ]  −zo*s in  (Pch) 
 *s in(Yaw ) / c o s  (Pc
h )          (54)具体例 以下例として斜めに向けられたカメラを通して観察した
際の天井に沿ったライトの線に対する方向決め及び横方
向位置を推断するための一連の動作について例示する。
 第3a図について説明から、天井の適当に限界法めさ
れた画像においては天井ライト16は主要な視覚特徴と
して浮き出ている。
第4c図における二本の実線はライl−1,6の左側及
び右側の境界線を表している。これらの線は画素座標系
における消滅点[11,jj]で収束する。
画素座標系は式(1)、(2)を用いて圧切単位[uu
、vv]に変換される。ピッチ角度(Pch )は式(
26)で求められ、またヨー角度は式(27)で求めら
れる。
カメラの−に方の天井の高さ(C)は順方向走行に対す
る光学的流れを測定することによって測定でき、式(4
4)に記載したようにCの値が得られる。こうして得ら
れたCの値または天井の高さのソーナー測定値を用いる
ことによって、中心線からの横方向変位は式(54)で
与えられる前に得られた値を用いて測定され得る。
代わりに、任意の天井の特徴に対する正確な位置は天井
の高さの測定と一緒に次のように求められる得る。
c=d*vl−*v2−*cos  (Pch)/(v
2=−vl−)             (55)u
= (u2−/v2”)*c/cos  (Pch )
w=d*v2  +  *  [1−vl  −*s 
 i  n(Pch  )  *c  o  s  (
Pch  )  コ /  (v2−−vl  −)式
(55)〜(57)は例えば第1. b図のデータ処理
装置18Dで容易に解くことができる。各フレーム当り
四つの画像データ点で消滅点Pを十分法めることができ
る。演算には、線の交点を求めるため上記×27トリツ
ク反転が一度適用される。続いてピッチ及びヨーが計算
される。一般に、ピッチは廊下を動いている間は一定の
ままである。また、天井の高さは通常廊下に入る際に一
度計算する必要がある。代わりに、天井の高さはソーナ
ー測定値から求めることもでき、或いはロボットの予期
された通路または環境のマツプに関連して記憶されたデ
ータベースの要素から求めることもでき、それによって
、Cを計算する必要が省けることになる。データソース
に関係無く、天井の高さは一般に、計算機能」二の負担
を軽減するようにロボットの通路に沿って十分に長い距
離にわたって一定のままである。ロボットの横方向の偏
位を推断するために通常画素毎ではなくフレーム毎に八
つの乗算7割り算、及び一つの加算機能が必要とされる
本発明は玄関や廊下以外の車両環境に適用できることが
認められるべきである。例えば第5図には天井ライト固
定部16の多数のバンクを備えた環境内にロボット10
の上面図で示されている。この環境はオフィスビル内の
典型的な室であったりまたは例えば屋内競技場ような大
きな構内であってもよい。二つのライトのバンクの画像
は点Pで交差する二つの天井線を形成するように処理さ
れる。
天井線1はライトの一方のバンクの良縁に平行に走って
おり、また天井線2はライトの二つのバンクの短縁に平
行に走っている。ロボット10の(X Sy)床位置は
各天井線からのずれの量として推断され得る。角度θす
なわち天井線1または2に対する角度方向藻容易に求め
られ得る。
本発明は、天井のような−に方平坦面を備え、そこに天
井ライト固定部のような照射源を配置したような環境に
おいて操縦する走行ロボットのような・車両に関して説
明してきた。しかし、本発明はこれら以外の多数の応用
例や環境に適用できることが認められるべきである。当
業者にとっては上記に例示してきたものを変更すること
ができ、従って、本発明は上記の実施例のみに限定され
るものではなく、特許請求の範囲に記載したように定義
されるものである。
【図面の簡単な説明】
第1a図は、多数の天井固定光源を備えた天井を観察す
るため上向き視野をもつカメラを有する本発明によって
構成され作動する走行ロボットを示すブロック線図、第
1b図は第1a図の画像処理装置18のブロック線図、
第1C図は、天井関連位置測定値がエラー信号として機
能するフィードバック制御システムを例示するブロック
線図、第2a図及び第2b図は天井視覚システムの画像
面を例示する図、第3a図、第3b図及び第3C図は多
数の天井固定部を備えた環境内におけるロボットを示す
図、第4a図〜第4r図は天井ライト固定部に対するロ
ボットの位置を数学的に割り出す方法を示すグラフ、第
5図は多数の天井ライト列または配列をもつ環境内に位
置決めされたロボットの上面図である。

Claims (1)

  1. 【特許請求の範囲】 1、車両または車両の投影路上に位置し、一つまたはそ
    れ以上の照射源を配置した表面の像を形成する像形成手
    段と、 上記像形成手段に結合され、一つまたはそれ以上の照射
    源の像内の位置を検出する位置検出手段と、上記位置検
    出手段に結合され、一つまたは複数の検出された照射源
    位置から少なくとも車両位置及び方位情報を発生する手
    段と を有することを特徴とする車両用の操縦関連情報を発生
    する操縦装置。 2、車両位置及び方位情報発生手段が像内の照射源位置
    に対する車両のオフセット距離及び角変位を測定する手
    段を備えている請求項1に記載の操縦装置。 3、車両位置及び方位情報発生手段がさらに車両から表
    面までの距離を測定する手段を備えている請求項2に記
    載の操縦装置。 4、像形成手段が多数の画素から成る二次元像を形成す
    る手段を備えている請求項1に記載の操縦装置。 5、二次元像を形成する手段がCCD撮像手段から成る
    請求項4に記載の操縦装置。 6、二次元像を形成する手段がビディコン手段から成る
    請求項4に記載の操縦装置。 7、位置検出手段が、二次元像を形成する手段に結合さ
    れ、照射源のほぼ平行な縁部に対応する画素を特定する
    画素特定手段を備えている請求項4に記載の操縦装置。 8、車両位置及び方位情報発生手段が、画素特定手段に
    結合され、照射源のほぼ平行な縁部に対応する画素から
    の線を投影する投影手段を備え、投影された線の各々の
    交点が二次元像内の消滅点を画定している請求項7に記
    載の操縦装置。 9、画素特定手段が照射源の中心に対応した一つまたは
    複数の画素を特定するように作動でき、また投影手段は
    、投影された線が消滅点と交差するように照射源の中心
    を画定する一つまたは複数の画素から線を投影するよう
    に作動できる請求項8に記載の操縦装置。 10、車両位置及び方位情報発生手段がさらに、少なく
    とも照射源の中心に対応した画素から消滅点へ投影され
    た線に対する方位の角度変位及びオフセット距離を測定
    する装置を備えている請求項9に記載の操縦装置。 11、走行ロボットの順方向通路の上方に配置された天
    井の少なくとも一部の像を形成する像形成手段と、 天井の像形成部分内に配置される少なくとも一つの天井
    ライトの境界を上記像形成部分内に位置決めする位置決
    め手段と、 天井ライトの位置決めされた境界に対するロボットの動
    きの基準軸線を形成する基準軸線形成手段と、 ロボットの基準軸線に対するロボットの位置を測定する
    位置測定手段と を有することを特徴とする走行ロボット用の操縦関連情
    報を発生する操縦装置。 12、像形成手段が多数の画素から成る二次元像を形成
    する手段を備えている請求項11に記載の操縦装置。 13、二次元像を形成する手段がCCD撮像手段から成
    る請求項12に記載の操縦装置。 14、二次元像を形成する手段がビディコン手段から成
    る請求項12に記載の操縦装置。 15、さらに、ロボットに対する天井の高さを測定する
    手段を有している請求項11に記載の操縦装置。 16、さらに、位置測定手段に結合され、ロボットの動
    きの基準軸線に対してロボットの動きを制御する制御手
    段を有している請求項11に記載の操縦装置。 17、一つまたはそれ以上の明確な視覚特徴をもち、少
    なくとも走行ロボットの投影通路上に位置した天井の少
    なくとも一つの像を形成すること、天井の像の範囲内に
    一つまたはそれ以上の明確な視覚特徴を位置決めさせる
    こと、 明確な視覚特徴の境界を検出すること、 検出した境界に対する少なくとも一つの基準線を発生す
    ること、及び 基準線に対する走行ロボットの位置を測定すること から成ることを特徴とする走行ロボット用の操縦関連情
    報を発生する操縦方法。 18、像の形成行程が、各々天井の対応した部分の少な
    くとも輝度の関数である値をもつ多数の画素を発生する
    ことを含んでいる請求項17に記載の操縦方法。 19、位置決め及び検出行程が、天井ライト固定部の位
    置を表す値をもつ一つまたは複数の画素を特定すること
    によって行なわれる請求項18に記載の操縦方法。 20、少なくとも一つの基準線を発生する行程は、検出
    された境界に沿って透視線を投影し、投影された線が消
    滅点で交差するようにすることを含んでいる請求項17
    に記載の操縦方法。 21、位置を測定する行程が、走行ロボットと基準線と
    のずれ距離を測定することを含んでいる請求項17に記
    載の操縦方法。 22、位置を測定する行程が、基準線に対する走行ロボ
    ットの角度方位を測定する行程を含んでいる請求項21
    に記載の操縦方法。 23、車両の少なくとも投影された順方向通路の上方に
    配置され、車両上方に高さzOに位置ししかも一つまた
    は複数の照射源を備えた表面の像を形成すること、 照射源の一つの少なくとも二つの対向縁部を検出するこ
    と、 各照射源の中心点と、消滅点と交差する軸線のアライメ
    ントを決める各中心点を通る線とを測定すること、 像上に軸線のアライメントを投影して傾きmを得ること
    、 軸線のアライメントに対する車両の方位のピッチ(Pc
    h)成分とヨー(Yaw)成分とを測定すること、及び 軸線のアライメントからの車両の横方向変位xOを、式
    xO=−zO*cos(Yaw)/[m*cos(Pc
    h)]−zO*sin(Pch)*sin(Yaw)/
    cos(Pch)に従って決めること から成ることを特徴とする車両用の操縦関連情報を発生
    する操縦方法。 24、消滅点が座標uu及びvv画定され、またピッチ
    成分が、式Pch=arctan(vv)に従って決め
    られ、さらにヨー成分が、式Yaw=arctan[u
    u*cos(Pch)]に従って決められる請求項23
    に記載の操縦方法。
JP1257989A 1988-10-04 1989-10-04 操縦方法及び装置 Pending JPH02143309A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US253231 1988-10-04
US07/253,231 US4933864A (en) 1988-10-04 1988-10-04 Mobile robot navigation employing ceiling light fixtures

Publications (1)

Publication Number Publication Date
JPH02143309A true JPH02143309A (ja) 1990-06-01

Family

ID=22959401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1257989A Pending JPH02143309A (ja) 1988-10-04 1989-10-04 操縦方法及び装置

Country Status (3)

Country Link
US (1) US4933864A (ja)
EP (1) EP0363339A3 (ja)
JP (1) JPH02143309A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100500831B1 (ko) * 2002-11-25 2005-07-12 삼성광주전자 주식회사 로봇청소기의 회전각도 산출방법
US8380384B2 (en) 2008-09-12 2013-02-19 Samsung Electronics Co., Ltd. Apparatus and method for localizing mobile robot

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040116A (en) * 1988-09-06 1991-08-13 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US5155684A (en) * 1988-10-25 1992-10-13 Tennant Company Guiding an unmanned vehicle by reference to overhead features
US5051906A (en) * 1989-06-07 1991-09-24 Transitions Research Corporation Mobile robot navigation employing retroreflective ceiling features
US5087969A (en) * 1989-07-20 1992-02-11 Fujitsu Limited Unmanned vehicle control system with guide line detection
JP2669074B2 (ja) * 1989-09-27 1997-10-27 日産自動車株式会社 自律走行車両の車速感応操舵制御装置
JP2754871B2 (ja) * 1990-06-01 1998-05-20 日産自動車株式会社 走行路検出装置
US5281901A (en) * 1990-12-03 1994-01-25 Eaton-Kenway, Inc. Downward compatible AGV system and methods
JP2720920B2 (ja) * 1991-03-11 1998-03-04 工業技術院長 画像処理システムにおける実写画像とコンピュータグラフィックスの合成方法
JPH06230126A (ja) * 1993-01-29 1994-08-19 Aisin Seiki Co Ltd 車載用超音波計測装置
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
SE501477C2 (sv) * 1993-07-22 1995-02-27 Apogeum Ab Förfarande och anordning för styrning av AGV för val av väg vid övergång mellan skilda, icke fast relaterade arbetsområden
US5530330A (en) * 1994-03-30 1996-06-25 Inco Limited Automated guidance system for a vehicle
US5904725A (en) * 1995-04-25 1999-05-18 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus
IL113913A (en) * 1995-05-30 2000-02-29 Friendly Machines Ltd Navigation method and system
EP0852732A1 (en) * 1995-09-21 1998-07-15 Omniplanar, Inc. Method and apparatus for determining position and orientation
US5901273A (en) * 1995-10-17 1999-05-04 Fuji Xerox Co., Ltd. Two-dimensional position/orientation measuring mark, two-dimensional position/orientation measuring method and apparatus, control apparatus for image recording apparatus, and control apparatus for manipulator
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
BE1013948A3 (nl) * 1996-03-26 2003-01-14 Egemin Naanloze Vennootschap Meetsysteem voor het toetsen van de positie van een voertuig en waarneeminrichting hiervoor.
US5832139A (en) * 1996-07-31 1998-11-03 Omniplanar, Inc. Method and apparatus for determining degrees of freedom of a camera
US6912293B1 (en) 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6941199B1 (en) 1998-07-20 2005-09-06 The Procter & Gamble Company Robotic system
US6611738B2 (en) 1999-07-12 2003-08-26 Bryan J. Ruffner Multifunctional mobile appliance
US6727885B1 (en) 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
AU1775401A (en) * 1999-11-18 2001-05-30 Procter & Gamble Company, The Home cleaning robot
DE19962491A1 (de) * 1999-12-23 2001-07-05 Daimler Chrysler Ag Verfahren zur optischen Überwachung der Umgebung eines sich bewegenden Fahrzeugs
US7155308B2 (en) 2000-01-24 2006-12-26 Irobot Corporation Robot obstacle detection system
US8788092B2 (en) * 2000-01-24 2014-07-22 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US8412377B2 (en) * 2000-01-24 2013-04-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US6956348B2 (en) 2004-01-28 2005-10-18 Irobot Corporation Debris sensor for cleaning apparatus
US6481515B1 (en) 2000-05-30 2002-11-19 The Procter & Gamble Company Autonomous mobile surface treating apparatus
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
US7571511B2 (en) 2002-01-03 2009-08-11 Irobot Corporation Autonomous floor-cleaning robot
US6690134B1 (en) 2001-01-24 2004-02-10 Irobot Corporation Method and system for robot localization and confinement
RU2220643C2 (ru) * 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
AU767561B2 (en) * 2001-04-18 2003-11-13 Samsung Kwangju Electronics Co., Ltd. Robot cleaner, system employing the same and method for reconnecting to external recharging device
US8396592B2 (en) 2001-06-12 2013-03-12 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US7429843B2 (en) 2001-06-12 2008-09-30 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US9128486B2 (en) 2002-01-24 2015-09-08 Irobot Corporation Navigational control system for a robotic device
JP2003263104A (ja) * 2002-03-11 2003-09-19 Mitsubishi Electric Corp 撮像情報認識システム
JP4032793B2 (ja) * 2002-03-27 2008-01-16 ソニー株式会社 充電システム及び充電制御方法、ロボット装置、及び充電制御プログラム及び記録媒体
SE0201740D0 (sv) * 2002-06-07 2002-06-07 Electrolux Ab Electroniskt diregeringssystem
KR100483548B1 (ko) 2002-07-26 2005-04-15 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어 방법
US8386081B2 (en) 2002-09-13 2013-02-26 Irobot Corporation Navigational control system for a robotic device
US8428778B2 (en) 2002-09-13 2013-04-23 Irobot Corporation Navigational control system for a robotic device
WO2004031877A1 (de) * 2002-09-27 2004-04-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ermittlung des fahrzeugumfeldes
US6772525B2 (en) * 2002-12-17 2004-08-10 Ronald E. Newcomer Laser device for guiding a vehicle
US6853313B2 (en) * 2002-12-17 2005-02-08 Ronald E. Newcomer Vehicle positioning device
KR100506533B1 (ko) * 2003-01-11 2005-08-05 삼성전자주식회사 이동로봇 및 그에 따른 자율주행 시스템 및 방법
KR100552691B1 (ko) 2003-09-16 2006-02-20 삼성전자주식회사 이동로봇의 자기위치 및 방위각 추정방법 및 장치
US8133115B2 (en) * 2003-10-22 2012-03-13 Sony Computer Entertainment America Llc System and method for recording and displaying a graphical path in a video game
KR100569181B1 (ko) * 2004-01-06 2006-04-07 김진오 실내 항법을 위한 좌표확인 시스템
US7332890B2 (en) 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
KR100571837B1 (ko) * 2004-03-05 2006-04-17 삼성전자주식회사 자율주행기기의 주행제어방법 및 장치
US7720554B2 (en) 2004-03-29 2010-05-18 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
JP2005296509A (ja) * 2004-04-15 2005-10-27 Funai Electric Co Ltd 自走式掃除機
ATE536577T1 (de) 2004-06-24 2011-12-15 Irobot Corp Fernbediente ablaufsteuerung und verfahren für eine autonome robotervorrichtung
JP2006007368A (ja) * 2004-06-25 2006-01-12 Funai Electric Co Ltd 自走式掃除機
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
US8972052B2 (en) 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
US11209833B2 (en) 2004-07-07 2021-12-28 Irobot Corporation Celestial navigation system for an autonomous vehicle
US20060071933A1 (en) 2004-10-06 2006-04-06 Sony Computer Entertainment Inc. Application binary interface for multi-pass shaders
US7650013B2 (en) * 2004-11-15 2010-01-19 Mobilerobots Inc. System and method for map and position-determination enhancement
US7620476B2 (en) 2005-02-18 2009-11-17 Irobot Corporation Autonomous surface cleaning robot for dry cleaning
KR101240732B1 (ko) 2005-02-18 2013-03-07 아이로보트 코퍼레이션 습식 및 건식 청소를 위한 자동 표면 청소 로봇
US7389156B2 (en) * 2005-02-18 2008-06-17 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
US8392021B2 (en) 2005-02-18 2013-03-05 Irobot Corporation Autonomous surface cleaning robot for wet cleaning
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US7636126B2 (en) 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
EP2816434A3 (en) 2005-12-02 2015-01-28 iRobot Corporation Autonomous coverage robot
EP2065774B1 (en) 2005-12-02 2013-10-23 iRobot Corporation Autonomous coverage robot navigation system
US8374721B2 (en) 2005-12-02 2013-02-12 Irobot Corporation Robot system
US7441298B2 (en) 2005-12-02 2008-10-28 Irobot Corporation Coverage robot mobility
WO2007065034A1 (en) 2005-12-02 2007-06-07 Irobot Corporation Modular robot
ES2681523T3 (es) 2006-03-17 2018-09-13 Irobot Corporation Robot para el cuidado del césped
KR101013392B1 (ko) * 2006-03-31 2011-02-14 무라타 기카이 가부시키가이샤 이동체 위치 추정 장치와 추정 방법 및 추정 프로그램
US7880746B2 (en) 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US7965859B2 (en) 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
ES2693223T3 (es) 2006-05-19 2018-12-10 Irobot Corporation Eliminación de residuos de robots de limpieza
US8417383B2 (en) 2006-05-31 2013-04-09 Irobot Corporation Detecting robot stasis
EP2995235B1 (en) 2007-05-09 2021-08-11 iRobot Corporation Compact autonomous coverage robot
JP5027735B2 (ja) * 2007-05-25 2012-09-19 サッポロビール株式会社 発泡性アルコール飲料の製造方法
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
JP4508252B2 (ja) * 2008-03-12 2010-07-21 株式会社デンソーウェーブ ロボット教示装置
US8442661B1 (en) * 2008-11-25 2013-05-14 Anybots 2.0, Inc. Remotely controlled self-balancing robot including a stabilized laser pointer
KR101553653B1 (ko) * 2009-01-07 2015-09-16 삼성전자 주식회사 로봇의 슬립 감지 장치 및 방법
TWI407280B (zh) * 2009-08-20 2013-09-01 Nat Univ Tsing Hua 自動搜尋系統及方法
CN104127156B (zh) 2010-02-16 2017-01-11 艾罗伯特公司 真空吸尘器毛刷
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US8788096B1 (en) 2010-05-17 2014-07-22 Anybots 2.0, Inc. Self-balancing robot having a shaft-mounted head
TWI409605B (zh) * 2010-07-14 2013-09-21 Qisda Corp 能自動定位移動的電子裝置及讓其移動件自動歸位的方法
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
DE102011115354B4 (de) * 2011-10-07 2017-01-05 Telejet Kommunikations Gmbh Navigation anhand von zufälligen Mustern
CN102914303B (zh) * 2012-10-11 2015-01-21 江苏科技大学 多移动机器人的智能空间系统及导航信息获取方法
US9196040B2 (en) 2013-03-12 2015-11-24 Qualcomm Incorporated Method and apparatus for movement estimation
CN105378503B (zh) * 2013-07-04 2018-08-10 飞利浦灯具控股公司 确定取向
US9170581B2 (en) * 2013-09-30 2015-10-27 Crown Equipment Limited Industrial vehicles with overhead light based localization
CN103776455A (zh) * 2013-12-12 2014-05-07 武汉汉迪机器人科技有限公司 红外离散光源寻迹导航系统及该寻迹导航系统的控制方法
WO2015153109A1 (en) 2014-03-31 2015-10-08 Irobot Corporation Autonomous mobile robot
US9317747B2 (en) 2014-05-06 2016-04-19 Qualcomm Incorporated Determining an orientation of a mobile device
DE102014209137B4 (de) * 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
US9283678B2 (en) * 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
US9174830B1 (en) 2014-09-29 2015-11-03 Crown Equipment Limited Industrial vehicles with point fix based localization
US9516806B2 (en) 2014-10-10 2016-12-13 Irobot Corporation Robotic lawn mowing boundary determination
US9510505B2 (en) 2014-10-10 2016-12-06 Irobot Corporation Autonomous robot localization
US9420741B2 (en) 2014-12-15 2016-08-23 Irobot Corporation Robot lawnmower mapping
US9538702B2 (en) 2014-12-22 2017-01-10 Irobot Corporation Robotic mowing of separated lawn areas
DE102015105211A1 (de) * 2015-04-07 2016-10-13 Vorwerk & Co. Interholding Gmbh Verfahren zur Bearbeitung eines Bodens
KR101697857B1 (ko) * 2015-04-08 2017-01-18 엘지전자 주식회사 이동 로봇 및 그의 위치인식방법
US9868211B2 (en) 2015-04-09 2018-01-16 Irobot Corporation Restricting movement of a mobile robot
US11115798B2 (en) 2015-07-23 2021-09-07 Irobot Corporation Pairing a beacon with a mobile robot
CN105716611B (zh) * 2016-01-29 2018-06-05 西安电子科技大学 基于环境信息的室内移动机器人及其定位方法
US10021830B2 (en) 2016-02-02 2018-07-17 Irobot Corporation Blade assembly for a grass cutting mobile robot
US10459063B2 (en) 2016-02-16 2019-10-29 Irobot Corporation Ranging and angle of arrival antenna system for a mobile robot
AT15526U1 (de) * 2016-06-07 2017-11-15 Tridonic Gmbh & Co Kg Sensoranordnung für die optimierte Navigation eines Reinigungsroboters
TWI619372B (zh) * 2016-11-01 2018-03-21 Ultra-wide depth stereoscopic image system and method
KR102000067B1 (ko) * 2017-01-16 2019-09-17 엘지전자 주식회사 이동 로봇
CN106737687A (zh) * 2017-01-17 2017-05-31 暨南大学 基于可见光定位导航的室内机器人系统
KR102032516B1 (ko) * 2017-06-01 2019-10-15 엘지전자 주식회사 이동 로봇 및 그 제어방법
WO2019012942A1 (ja) * 2017-07-11 2019-01-17 パナソニックIpマネジメント株式会社 ロボット制御装置
WO2019013989A1 (en) 2017-07-14 2019-01-17 Irobot Corporation BLADE ASSEMBLY FOR MOBILE GRASS CUTTING ROBOT
DE102017220634B4 (de) * 2017-11-17 2021-09-16 Evocortex Gmbh Anordnung und Verfahren
TWI656421B (zh) * 2017-11-20 2019-04-11 所羅門股份有限公司 自走設備的控制方法
US10676022B2 (en) 2017-12-27 2020-06-09 X Development Llc Visually indicating vehicle caution regions
CN110044334B (zh) 2018-01-16 2020-04-21 京东方科技集团股份有限公司 基于维诺图的室内空间定位
CN108455492B (zh) * 2018-03-31 2021-03-23 深圳市有光图像科技有限公司 纠正由负载带来叉车的相机倾斜所带来误差的方法及叉车
US11662739B2 (en) * 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11416002B1 (en) * 2019-06-11 2022-08-16 Ambarella International Lp Robotic vacuum with mobile security function
US11262759B2 (en) * 2019-10-16 2022-03-01 Huawei Technologies Co., Ltd. Method and system for localization of an autonomous vehicle in real time
EP3929690A1 (en) 2020-06-22 2021-12-29 Carnegie Robotics, LLC A method and a system for analyzing a scene, room or venueby determining angles from imaging elements to visible navigation elements
EP3929613A1 (en) 2020-06-22 2021-12-29 Carnegie Robotics, LLC A method for navigating a movable device along an inclined surface
CN112804637B (zh) * 2021-04-07 2021-06-29 南京大翼航空科技有限公司 基于两个航空器辅助的建筑物室内目标定位方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6089213A (ja) * 1983-10-19 1985-05-20 Komatsu Ltd 無人走行車の位置および方向の検出方法
US4626995A (en) * 1984-03-26 1986-12-02 Ndc Technologies, Inc. Apparatus and method for optical guidance system for automatic guided vehicle
JPS61221910A (ja) * 1985-03-28 1986-10-02 Agency Of Ind Science & Technol 無人移動体の誘導方法
SE455539B (sv) * 1986-05-23 1988-07-18 Electrolux Ab Elektrooptiskt positionskennande system for ett i plan rorligt foremal, foretredesvis en mobil robot
US4819169A (en) * 1986-09-24 1989-04-04 Nissan Motor Company, Limited System and method for calculating movement direction and position of an unmanned vehicle
US4779095A (en) * 1986-10-28 1988-10-18 H & G Systems, Inc. Image change detection system
US4790402A (en) * 1987-09-28 1988-12-13 Tennant Company Automated guided vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100500831B1 (ko) * 2002-11-25 2005-07-12 삼성광주전자 주식회사 로봇청소기의 회전각도 산출방법
US8380384B2 (en) 2008-09-12 2013-02-19 Samsung Electronics Co., Ltd. Apparatus and method for localizing mobile robot

Also Published As

Publication number Publication date
US4933864A (en) 1990-06-12
EP0363339A2 (en) 1990-04-11
EP0363339A3 (en) 1991-05-29

Similar Documents

Publication Publication Date Title
JPH02143309A (ja) 操縦方法及び装置
US5051906A (en) Mobile robot navigation employing retroreflective ceiling features
King et al. Helpmate autonomous mobile robot navigation system
Harris et al. RAPID-a video rate object tracker.
Scaramuzza et al. Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes
Nair et al. Moving obstacle detection from a navigating robot
JPH03282203A (ja) ターゲット及びこれを用いた三次元位置姿勢計測システム
JPH11166818A (ja) 三次元形状計測装置の校正方法及び校正装置
JPH03213251A (ja) ワーク位置検知装置
JP2018527575A5 (ja)
JPH1012005A (ja) 自動追尾照明装置
JP2001066138A (ja) 計測システムおよびこの計測システムに用いられるプリズム式光路制御装置
Han et al. Navigation control for a mobile robot
KR100698535B1 (ko) 경사 보정기능을 갖는 이동로봇의 위치 인식 장치 및 방법
Blais et al. A very compact real time 3-D range sensor for mobile robot applications
JPH01197808A (ja) 無人走行車の誘導装置
JP2519445B2 (ja) 工作線追従方法
Tsukiyama Measuring the distance and orientation of a planar surface using nonstructured lighting-3-D measurement system for indoor mobile robots
JP3247305B2 (ja) 特徴領域抽出方法および装置
JPH0996506A (ja) 3次元視覚センサによる位置調整方法および3次元画像認識装置
Shirai Robot vision
Ryde An inexpensive 3D scanner for indoor mobile robots
JPS59112207A (ja) 2次元位置検出装置
Pettiti et al. Third-eye guided telemeter for high-precision positional measurement
JPH01259204A (ja) 三次元自動位置検出装置