JPH10160463A - 全方位視覚センサを用いた位置検出方法 - Google Patents

全方位視覚センサを用いた位置検出方法

Info

Publication number
JPH10160463A
JPH10160463A JP8322833A JP32283396A JPH10160463A JP H10160463 A JPH10160463 A JP H10160463A JP 8322833 A JP8322833 A JP 8322833A JP 32283396 A JP32283396 A JP 32283396A JP H10160463 A JPH10160463 A JP H10160463A
Authority
JP
Japan
Prior art keywords
image
vision sensor
omnidirectional vision
omnidirectional
standard pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8322833A
Other languages
English (en)
Other versions
JP3641335B2 (ja
Inventor
Takuichi Nishimura
拓一 西村
Riyuuichi Oka
嶐一 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GIJUTSU KENKYU KUMIAI SHINJOHO
GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO
Original Assignee
GIJUTSU KENKYU KUMIAI SHINJOHO
GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GIJUTSU KENKYU KUMIAI SHINJOHO, GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO filed Critical GIJUTSU KENKYU KUMIAI SHINJOHO
Priority to JP32283396A priority Critical patent/JP3641335B2/ja
Publication of JPH10160463A publication Critical patent/JPH10160463A/ja
Application granted granted Critical
Publication of JP3641335B2 publication Critical patent/JP3641335B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 カメラの撮影画像から精度よく位置検出を行
なう。 【解決手段】 移動ロボットに設置した双曲面ミラー1
を介してカメラ2により全方位画像を動画のように時系
列的に取得する。この取得した画像の特徴パターンを標
準パターンと比較する。一致の標準パターンが得られた
ときはその標準パターンを採取した位置を位置の検出結
果とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は移動ロボット等を使
用して位置検出を行うための全方位視覚センサを用いた
位置検出方法に関する。
【0002】
【従来の技術】オフィス、家庭のような実世界における
移動ロボットの位置推定、誘導法では、実時間処理が必
要不可欠であるとともに、走行外乱(スリップや揺れな
ど)に対するロバスト性が要求される。このような場
合、内界センサのみによる位置推定法では誤差が蓄積さ
れやすい。そこで、外界センサから環境情報を求め、あ
らかじめ獲得した環境モデルとの照合により自己位置を
推定する方法が用いられている。外界センサとしては、
超音波センサ、レーザレンジファインダ、視覚センサな
どがあるが、なかでも多くの情報を獲得できる視覚セン
サが有望視されている。
【0003】
【発明が解決しようとする課題】しかしながら、このよ
うな視覚センサを移動ロボットに搭載して、位置検出を
行うために、地上の特定位置に光学的特徴を持つ識別
板、たとえばバーコードや特定の色を記載した識別板を
撮像装置の視野に入るように設置しなければならない。
このような制限は装置コストの増大となるのみならず、
識別板を好適な場所に設置できない場所では位置検出が
できないという事態も生じる。
【0004】そこで、本発明の目的は、上述の点に鑑み
て、視覚センサを使用して位置検出を行う際に識別板を
設置しなくてもあるいは識別板の設置位置の制限を緩和
しても精度よく位置検出を行うことができる全方位視覚
センサを用いた位置検出方法を提供することにある。
【0005】
【課題を解決するための手段】このような目的を達成す
るために、全方位に視野を持つ全方位視覚センサを移動
体に予め搭載しておき、前記移動体を特定の経路上を移
動させて、前記全方位視覚センサにより該移動体周辺の
環境の画像を時系列的に標準パターンとして取得し、当
該取得した画像と位置を予め関連付けておき、前記移動
体が任意の経路を移動しているときに前記全方位視覚セ
ンサの取得画像と前記標準パターンの画像とを比較し、
一致の画像が得られた場合には前記標準パターンの画像
に関連付けられている位置を検出結果とすることを特徴
とする。
【0006】請求項1に記載の全方位視覚センサを用い
た位置検出方法において、前記移動体が特定経路移動し
たときに前記全方位視覚センサにより取得した画像から
その画像特徴を抽出して該画像特徴を前記標準パターン
となし、前記全方位視覚センサの取得画像と前記標準パ
ターンの画像との比較に際し、前記全方位視覚センサの
取得画像から画像特徴を抽出して該画像特徴および前記
標準パターンの画像特徴とを比較することを特徴とす
る。
【0007】請求項2に記載の全方位視覚センサを用い
た位置検出方法において、前記画像特徴の比較を連続D
Pマッチングの手法により行うことを特徴とする。
【0008】請求項3に記載の全方位視覚センサを用い
た位置検出方法において、前記画像特徴の比較は時系列
的に連続して得られる複数組の画像特徴を前記連続DP
マッチングの対象とすることを特徴とする。
【0009】請求項4に記載の全方位視覚センサを用い
た位置検出方法において、前記複数組の画像特徴の比較
において、前記標準パターンの複数組の画像特徴を時系
列の順序とは逆の方向に並べて位置検出対象の複数組の
時系列的に並べた複数組の画像特徴と比較することを特
徴とする。
【0010】明細書の記載内容は高度で難解であるの
で、特許請求の範囲に記載の構成要件と発明の実施の形
態の記載の構成との対応関係をここで補足説明してお
く。
【0011】請求項1に記載の画像比較は発明の実施の
形態では請求項2に記載のように画像特徴(特徴ベクト
ルと表現)の形態で行なわれ、位置の検出結果は画像特
徴が一致した標準パターン番号v* (t)およびフレー
ム番号(τ* (t))で表現されている。
【0012】請求項3に記載の連続DPマッチングの手
法は数2式から数14式により表わされている。ただ
し、従来のDPの手法と一部異なる点は標準パターンの
画像特徴を請求項5に記載のように逆順に並び変える処
理を含めていることであり、この点については実施の形
態では図7,図8を使用した最適パスの説明の記載によ
り表現されている。特に図8のSearch area
で標準パターンの最後部(rτ〜rr )がマッチングの
検索対象になっていることからも上記点が当事者に理解
されよう。
【0013】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。
【0014】一般に、環境モデルは、経路モデルとこれ
に付随する作業空間や物体の3次元モデルにより記述さ
れる。この場合、3次元モデルと視覚情報とのマッチン
グには、多くの計算量が必要なため、マッチングの前に
経路モデル中のおよその位置、つまり「大局的な位置」
を求めている。(ここでは「大局位置」は数m程度、
「局所位置」は数cm程度の精度の位置とする)。
【0015】一方、次のような設定を行うことで、大局
的な位置推定のみでロボットの視覚誘導が可能であると
考える。
【0016】設定1 画像系列による環境モデルの採用
環境モデルは、図1に示すように、簡単な圧縮処理を
行った画像系列そのものによりトポロジー地図として表
現する(3次元モデルを用いない)。このとき、画像系
列同士の位置関係は不要、つまり、走行情報や内界セン
サの情報を使用しないこととする。また、「ここは、A
さんの席」「ここは、本棚の前」などの情報はモデル教
示時に、画像のフレーム番号に付随して記憶しておく。
【0017】設定2 超音波センサなどで障害物回避可
能 我々は、Nomad200というロボットを用いて
超音波センサと赤外線センサによる誘導を行なっている
(参考文献6参照。一覧表にて後述)。
【0018】設定3 誘導時の走行軌跡の精度は低くて
も良い ロボットが誘導経路から外れたことが視覚情報
から分かれば、引き返して別の経路を選択することによ
り、誘導可能とする。
【0019】設定4 環境照明の変化は小さい 走行環
境は、窓からの光の影響が小さいオフィスなどの屋内と
する。
【0020】このような条件設定のもと、本報告では、
大局的位置推定法によりロボットの誘導を行う手法を提
案する。ただし、局所位置推定により高精度な軌道制御
や物体認識などへの機能拡張が可能なシステム構成を目
指す。また、大局的位置を推定するときは、次の2つの
処理が重要である。
【0021】1.特徴抽出 簡単な圧縮処理により、入
力画像から特徴ベクトルを求める。
【0022】2.地図とのマッチング 地図中の位置を
推定するため、入力画像とのマッチングを行う。
【0023】本実施の形態では、特徴抽出法として全方
位視覚センサを用いたカメラ方向に依存しない手法を提
案し、さらに、マッチング法としてNon−monot
onic Continuous Dynamic P
rograming(Non−monotonic C
DP)を用いた手法を提案する。
【0024】環境撮影時の視野としては、通常のカメラ
程度のもの(参考文献2,9参照)と全方位を捉えたも
の(panoramic view)とに大別できる。
前者の通常の視野を用いる手法では、局所的な位置・方
向の推定が困難なだけでなく、ロボットの方向が地図作
成時の方向と大きく異なるときは、大局的位置の推定も
困難となる。
【0025】一方、全方位を視野に持つ様々な全方位視
覚センサが研究されている(参考文献3参照)。周囲3
60度の画像を用いれば、局所的な方向や大局的位置を
容易に推定できる。特に、山澤ら(参考文献3参照)が
提案した双曲面ミラー(図2参照)を用いた全方位視覚
センサ(HyperOmni Vision)は、下方
視野を含んだ全方位画像を実時間で得るだけでなく、画
像の補正も容易である。さらに、前者と異なり、局所的
な方向や大局的位置を容易に推定できるという利点があ
る。
【0026】大局位置の推定をするため、Zhengら
(参考文献4)は、視野として進行方向と異なる方向の
垂直スリットを用いた。各位置における情報は、このス
リット内の画素値をRGB毎に積算するためカメラ(図
2参照)の垂直方向の揺れにロバストである。ただし、
カメラの水平方向や回転方向の揺れの影響が懸念され
る。また、前田ら(参考文献1参照)は、画像サイズ
が、垂直方向64画素、水平方向(周方向)256画素
の全方位画像を用いている。そして、この画像の各水平
ラインをフーリエ変換し、この低周波数側の強度成分
(64×32画素)を用いて位置推定している。この方
法は、ロボットのカメラ方向によらず、位置推定可能で
あるが記憶すべき情報量が大きい。Bangら(参考文
献5参照)も全方位センサを用いてロボット誘導を行な
っているが大局的な位置推定手法については述べていな
い。
【0027】一方、本出願人は通常のカメラを用い、リ
ダクション画像(平滑化後間引きした画像)による環境
モデルを用いた大局的位置推定法を提案し(参考文献
9,10参照)、複数の大幅にリダクションした画像を
用いることでカメラの揺れに対処できることを示した
(参考文献11参照)。そこで、本報告では、図2に示
すように、全方位視野を水平にN分割し(N<約1
0)、各領域の画素値をRGB毎に積算したわずか3N
次元の情報を特徴ベクトルとして用いる大局的位置推定
法を提案する。(ここで、視野のN分割前にラプラシア
ンフィルタなどのような等方性のフィルタ処理を行うこ
とも有用である)この方法は、 1.カメラの揺れにロバスト 2.ロボットのカメラ方向に依存しない 3.記憶すべき情報量が少ない という特徴を持つ。特に、この特徴2により、軌道誤差
は大きいもののHillclimb法などによる誘導が
可能となる。
【0028】本手法の有効性を調べるため、全方位視覚
センサとして、山澤ら(参考文献3参照)が提案したH
yperOmni Vision(HOBI)をNom
adに設置し(図3)、実験を行った。オフィス内の3
点において次のように条件を変化させてデータを採取
し、特徴ベクトルへの影響を調べた。
【0029】カメラ位置の変化 通路内でNomadを
約3m走行させた。
【0030】カメラの回転 停止させたNomadを回
転させた。
【0031】カメラの揺れ 停止したNomadを人手
で揺らし走行時の振動を模擬した。
【0032】環境の変化(人物通過) 図4に示すよう
に、停止したNomad近傍を人が通り過ぎた。
【0033】初めに、目視で全方位画像の中心位置と半
径を求め、水平方向の分割数Nを1,3,16として同
心円状にN等分し各領域内の平均化を行い、3N次元の
特徴ベクトルを求めた。次に、基準点における特徴ベク
トルs0 =(s0 (1),s0 (2),…,s0 (3
N))と条件変化時の特徴ベクトルs=(s(1),s
(2),…,s(3N))との距離dを求めその変化を
調べた。距離dは、特徴ベクトルの次元数3Nを用い以
下の式で求めた。
【0034】
【数1】
【0035】図5にカメラ位置の変化の影響をプロット
した。3≦Nにおいて位置が1m離れると距離dが平均
100以上になり、位置弁別能力があることが分かっ
た。ただし、数点において距離dが小さくなり、1地点
における情報のみでの位置推定が困難であることが分か
った。
【0036】図6に一例として地点No.1におけるカ
メラの回転や揺れ、人物の通過により距離dが受ける影
響をプロットした。3地点における平均値は、揺れの影
響がN=1のとき10、N=16のとき20、人物通過
の影響がN=1のとき30、N=16のとき60であっ
た。このことから、カメラ位置の変化が1mの場合の方
が人物通過の影響より小さいことが分かった。ただし、
実験データ量がまだ少ないため、さらに、評価実験を行
なう必要がある。以上の結果から、カメラの回転や揺
れ、環境の変化にロバストに位置推定可能であることが
示せた。これは、全方位視覚センサが広い視野を持つた
めと考えられる。
【0037】地図中に似た画像が含まれていると、1枚
の入力画像で位置を推定できない。しかし、この場合で
も地図中の複数画像と走行中の複数画像とのマッチング
を行うことで位置推定可能である。ここで、ロボットが
地図作成時と異なるスピードで走行してもマッチング可
能とするために、入力パターンを時間的に伸縮させる非
線形マッチングを行なう必要がある。
【0038】Zheng(参考文献4参照)らは、動的
計画、つまりDynamic Programming
(DP)を用いて大局的な位置を推定した。この方法で
は、非線形マッチング可能であるが、始点と終点が既知
である必要があるため、ロボットは地図と同じ経路を走
行しなくてはならない。また、松本ら(参考文献2参
照)は、画像間の距離がある閾値以下な位置を候補と
し、ロボットが走行するに従い、この候補位置を絞り込
んでいく方法を用いている。
【0039】一方、Continuous(連続)DP
(CDP)(参考文献8参照)によるマッチング法で
は、最適性原理に基づき最適な位置を推定でき、経路の
始点と終点も地図と一致させる必要がない。さらに、本
願出願人はロボットが地図の任意の部分区間を走行して
も位置推定ができるよう、Reference Int
erval−Free CDP(RIFCDP)による
位置推定法を提案している(参考文献9参照)。
【0040】RIFCDPは、音声認識で提案された手
法(参考文献7参照)であり、入力フレームと同期して
地図中の任意の部分区間長のフレーム列をスポッティン
グ的に検出することができるため、地図中の部分区間の
走行時や走行速度の変化時でも位置推定可能である。実
際、入力パターンに、時間軸方向に対して順方向(mo
notonic)に1/2倍以上2倍以下の伸縮があっ
てもマッチング可能である。しかし、位置推定の場合、
入力パターンの伸縮はロボット停止時や逆方向走行時
に、例えば−2倍以上2倍以下となる。(地図作成時の
2倍の速度制限がある場合) 従って、位置推定のためには、停止時や逆方向の入力に
も対応できる‘non−monotomic CDP’
を実現する必要がある。ここでは、この‘non−mo
notomic CDP’を実現するための一手法を提
案し、その有効性を示す。
【0041】Non−monotonic連続DPにつ
いて説明する。一つの標準パターンZは特徴ベクトルz
τの系列
【0042】
【数2】
【0043】で表す。ここで、特徴ベクトルzτはその
次元数をNとして
【0044】
【数3】
【0045】と表す。入力画像からも同様な特徴ベクト
ル系列が随時得られる。この特徴ベクトル系列をu
t (0≦t<∞)とし、ut とzτの局所距離d(t,
τ)を以下の式で定義する。
【0046】
【数4】
【0047】また、点(t,τ)を終点とする標準パタ
ーンと入力系列との最適マッチングするときの累積距離
をS(t,τ)で表す。Non−monotonic連
続DPではS(t,τ)を以下のような漸化式で更新す
る。
【0048】
【数5】
【0049】
【数6】
【0050】ここで、αは正規化係数(0≦α≦1)で
あり、式を簡単にするために、以下の2項を仮定した。
【0051】(仮定1)標準パターンは、特徴ベクトル
の1次元系列で表現できる。(本手法は、分岐のある場
合や2次元系列に拡張可能) (仮定2)入力パターンの速度変化は、標準パターンの
1倍以下 (仮定2)では、図7(a)のような傾斜パターンを採
用している。しかし、(6)式のmの範囲を変化させれ
ば、入力パターンの速度変化に対して様々な制限を付加
できる(図7(b))など。
【0052】(5)(6)式の漸化式を解くと次式のよ
うになる。
【0053】
【数7】
【0054】ここでp(k)は以下のように定義する。
【0055】
【数8】
【0056】つまり、Non−monotonic連続
DPは、距離(t,τ)を終点として図8の斜線領域内
において最小の累積距離となるマッチング経路を求めて
いる。
【0057】よく知られている「連続DP」では、終点
となる点は(t,T)とされてきた。また、それへの最
適パスは(t,τ)平面においてt,τについて単調に
増加するものとされてきた。これは、傾斜のとり方に依
っている。従って、「連続DP」はその最適パスの形成
においてmonotonicなものといえるものであ
る。しかし、Non−monotonic CDPで
は、図7(a)の様に(t,τ)において(t−1,τ
−1),(t−1,τ),(t−1,τ+1)の各点か
ら局所最適パスがとられ、図8の実線のように(t,
τ)平面での最適パスがτに関して単調に増加するもの
とはなっていない。この意味により、ここで提案するも
のを「Non−monotonic連続DP」と呼ぶこ
ととする。
【0058】また、(6)式のd(k,p(k))に対
する重みをw(k)とすると、重みw(k)の和は、
【0059】
【数9】
【0060】となり、いかなるtにおいても重みw
(k)の和が1に正規化された累積距離が得られること
が分かる。これにより、各tにおいて点の集合{(t,
τ)|1≦τ<T}における累積距離の集合{S(t,
τ)|1≦τ≦T}中での比較が可能であり、また、異
なる標準パターンの最短累積距離の比較も可能となる。
これは、(6)式の漸化式において、重みの和がα+
(1−α)=1となることからも、常に重みの和が正規
化されていることが分かる。(このことは、正規化係数
αが、時間的に変化する場合でも同様である。) 図9には、tとαを変化させたときの重み係数w(k)
の値をプロットした。現時点に近いほど重みw(k)の
値が大きくなっている。特に、tがある程度大きい定常
状態では、(7)式は
【0061】
【数10】
【0062】と簡略化できる。このとき、重み係数w
(k)の半値幅w1/2 (α)を
【0063】
【数11】
【0064】と定義するとき、
【0065】
【数12】
【0066】と、半値幅w1/2 (α)からαを決定でき
る。表1にαと半値幅w1/2 (α)との例を表記した。
【0067】
【表1】
【0068】通常、入力される特徴ベクトルの変化が小
さい場合は、過去の履歴を多く持つ(w1/2 (α)を大
きくする)方が良い。このためには、正規化係数αを、
特徴ベクトルの変化に比例するように時間的に変化させ
れば可能である。一例として次のようにα(t)を可変
にすればよい。
【0069】
【数13】
【0070】ここで、ut ′は入力される特徴ベクトル
の微分値、α1 ,α2 は標準パターンの長さTを考慮し
て定めた定数である。
【0071】ここで、標準パターンがL個存在すると
し、各パターンの累積距離をSv (t,τ)(1≦v≦
L)、閾値をhv 、標準パターンのフレーム数をTv
する。Non−monotonic連続DPの出力は、
マッチングした標準パターン番号v* (t)とその標準
パターン内でマッチングしたフレーム番号(τ
* (t))であり、
【0072】
【数14】
【0073】と表せる。ここで、Argは引数{v
(t),τ(t)}を返す関数、nullは空のカテゴ
リーを表す。
【0074】実験データは、フロアがカーペット敷きの
オフィス内約100mの通路をリモートコントロールで
ロボットを走行させて採集した。このとき、人はロボッ
トから約2m離れていた。ロボットの速度は最高50c
m/秒、2Hzのフレームレートでサイズ120×16
0の画像に変換した。入力時の走行経路は同じ経路を順
方向逆方向に走行し、随時停止している。また、地図作
成時の経路より約±30cm程度ずれた経路を走行させ
た箇所もある。
【0075】このデータからNon−monotoni
c CDPを用いて位置推定した結果の一例を図10に
示す。N=4の場合について、α=1.0とα=0.2
の場合を比較して示してある。図10(a)の太線が実
際に走行した経路である。この図から入力画像1枚の情
報のみで位置推定した場合(α=1.0の場合)に比
べ、約5枚の過去の履歴画像を用いることで(α=0.
2のとき)位置推定がロバストになっていることが分か
る。また、ロボット停止時や逆走時にも位置推定可能で
あることが分かる。
【0076】全方位画像を水平にN分割し(N<1
0)、各領域の画素値をRGB毎に積算した3N次元の
情報を利用した大局的位置推定における特徴抽出法を提
案した。また、ロボットの移動速度や方向の制限が少な
い、Non−monotonic連続DPを用いたマッ
チング法を提案し、簡単な実験により本手法の有効性を
示した。
【0077】参考文献 1 T.Maeda,H.Ishiguro and
S.Tuji,Memory−Based Navig
ation using Omni−directio
nal View in Unknown Envir
onment.IPSJ,CV−92,pp.73−8
0,1995 2 Y.Matsumoto,M.Inaba and
H.Inoue,Navigation of A
Mobile Robot for Indoor E
nvironments Basen on Scen
e ImageSequence.MSJ Conve
ntion meeting,Vol.A,pp.48
1−484,1995 3 K.Yamazawa,Y.Yagi and
M.Yachida,Omni−directiona
l Imaging with Hyperboloi
dal Projection.Proc.IEEE/
RSJ Int.Conf.Intelligent
Robots and Systems,2,pp.1
029−1034,1993. 4 J.Y.Zheng and S.Tsuji,P
anoramic Representation f
or Route Recognitionby a
Mobile robot.Internationa
l Journal of Computor Vis
ion,9:1,pp.55−76,1992 5 S.W.Bang,W.Yu and M.J.C
hung,Sensor−Based Local H
oming Using Omni−directio
nal Range and Intensity S
ensingSystem for Indoor M
obile Robot Navigation.Pr
eceedings of the 1995 IEE
E/RSJ International Confe
rence on Intelligent Robo
ts and Systems,Vol.2,pp.5
42−548,1995 6 Andreas Held and Ryuich
i Oka,“Sonar Based Map Ac
quisition and Exploration
in an Unknown Office Env
ironment”,International S
ymposium on Intelligent R
obotic Systems 95,Nov.199
5. 7 伊藤慶明,木山次郎,岡隆一、“標準パターンの任
意区間によるスポッティングのためのReferenc
e Interval−free連続DP(RIFCD
P)”,信学技報,SP95−34,June 199
5. 8 岡隆一,“連続DPを用いた連続音声認識”,音響
学会音声研資料,S78−20,pp.145−152
(1978−06) 9 小島浩,伊藤慶明,岡隆一,“Reference
Interval−free連続DPを利用した移動
ロボットの動画像による位置同定”,信学技報,pp.
139−144,July 1995. 10 小島浩,伊藤慶明,岡隆一,“Referenc
e Interval−free連続DPを利用した移
動ロボットの時系列画像による位置同定システム”,信
学投稿中 11 T.Nishimura,H.Kojima,
A.Held andR.Oka,Effect of
Time−spatial Size ofMoti
on Image for Localization
by using the Spotting Me
thod.ICPR’96
【0078】
【発明の効果】請求項1の発明では全方位視覚センサの
取得画像は撮影位置の全方位(360°)の画像となる
ので、移動体たとえば移動ロボットがどの方向を向いて
いても同一の画像が得られる。したがって、上記移動ロ
ボットが標準パターンを取得した経路以外の経路を走行
しても、合致画像により、位置検出が可能となる。
【0079】請求項2の発明では、画像特徴によるパタ
ーンマッチングを行うので、比較に用いるデータ量を削
減でき、位置検出時間を短縮することができる。
【0080】請求項3,4の発明では、パターンマッチ
ングに連続DPの手法を使用することで複数個の連続す
る画像の比較が可能となる。これにより、連続する画像
のつながりから、移動体の進行方向を検出することも可
能となる。標準パターンを採取した特定経路上にある単
一地点の位置検出に関しても検出精度が向上する。
【0081】請求項5の発明では標準パターンの画像特
徴のならびを逆にすること、あたかも移動体が標準パタ
ーンの走行経路を逆に走行した場合と同様の標準パター
ンが得られる。これにより、標準パターンの記憶量を半
分に削減する。
【図面の簡単な説明】
【図1】トポロジー地図の一例を示す説明図である。
【図2】特徴抽出処理の内容を示す説明図である。
【図3】全方位視覚センサを設置した移動ロボットの外
観を模式的に示す斜視図である。
【図4】撮影した全方向画像の一例をディスプレイ上に
示す写真である。
【図5】カメラ位置の変化の影響を示す説明図である。
【図6】ロボットの揺れ、人物の影響を示す説明図であ
る。
【図7】ノンモノトニック連続DPの傾斜パターン例を
示す説明図である。
【図8】ノンモノトニック連続DPのパス検索範囲を示
す説明図である。
【図9】重み係数の値を示す説明図である。
【図10】実験結果を示す説明図である。
【符号の説明】
1 双曲面ミラー 2 カメラ

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 全方位に視野を持つ全方位視覚センサを
    移動体に予め搭載しておき、 前記移動体を特定の経路上を移動させて、前記全方位視
    覚センサにより該移動体周辺の環境の画像を時系列的に
    標準パターンとして取得し、 当該取得した画像と位置を予め関連付けておき、 前記移動体が任意の経路を移動しているときに前記全方
    位視覚センサの取得画像と前記標準パターンの画像とを
    比較し、 一致の画像が得られた場合には前記標準パターンの画像
    に関連付けられている位置を検出結果とすることを特徴
    とする全方位視覚センサを用いた位置検出方法。
  2. 【請求項2】 請求項1に記載の全方位視覚センサを用
    いた位置検出方法において、前記移動体が特定経路移動
    したときに前記全方位視覚センサにより取得した画像か
    らその画像特徴を抽出して該画像特徴を前記標準パター
    ンとなし、前記全方位視覚センサの取得画像と前記標準
    パターンの画像との比較に際し、前記全方位視覚センサ
    の取得画像から画像特徴を抽出して該画像特徴および前
    記標準パターンの画像特徴とを比較することを特徴とす
    る全方位視覚センサを用いた位置検出方法。
  3. 【請求項3】 請求項2に記載の全方位視覚センサを用
    いた位置検出方法において、前記画像特徴の比較を連続
    DPマッチングの手法により行うことを特徴とする全方
    位視覚センサを用いた位置検出方法。
  4. 【請求項4】 請求項3に記載の全方位視覚センサを用
    いた位置検出方法において、前記画像特徴の比較は時系
    列的に連続して得られる複数組の画像特徴を前記連続D
    Pマッチングの対象とすることを特徴とする全方位視覚
    センサを用いた位置検出方法。
  5. 【請求項5】 請求項4に記載の全方位視覚センサを用
    いた位置検出方法において、前記複数組の画像特徴の比
    較において、前記標準パターンの複数組の画像特徴を時
    系列の順序とは逆の方向に並べて位置検出対象の複数組
    の時系列的に並べた複数組の画像特徴と比較することを
    特徴とする全方位視覚センサを用いた位置検出方法。
JP32283396A 1996-12-03 1996-12-03 全方位視覚センサを用いた位置検出方法 Expired - Fee Related JP3641335B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32283396A JP3641335B2 (ja) 1996-12-03 1996-12-03 全方位視覚センサを用いた位置検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32283396A JP3641335B2 (ja) 1996-12-03 1996-12-03 全方位視覚センサを用いた位置検出方法

Publications (2)

Publication Number Publication Date
JPH10160463A true JPH10160463A (ja) 1998-06-19
JP3641335B2 JP3641335B2 (ja) 2005-04-20

Family

ID=18148121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32283396A Expired - Fee Related JP3641335B2 (ja) 1996-12-03 1996-12-03 全方位視覚センサを用いた位置検出方法

Country Status (1)

Country Link
JP (1) JP3641335B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003102706A1 (ja) * 2002-05-31 2005-09-29 富士通株式会社 遠隔操作ロボットおよびロボット自己位置同定方法
JP2009271513A (ja) * 2008-04-30 2009-11-19 Samsung Electronics Co Ltd ロボット及びその地図作成方法
JP2011227037A (ja) * 2010-03-31 2011-11-10 Aisin Aw Co Ltd 画像処理システム及び位置測位システム
WO2012086821A1 (ja) * 2010-12-20 2012-06-28 日本電気株式会社 測位装置、測位方法
US8331652B2 (en) 2007-12-17 2012-12-11 Samsung Electronics Co., Ltd. Simultaneous localization and map building method and medium for moving robot
US8498488B2 (en) 2006-09-26 2013-07-30 Samsung Electronics Co., Ltd Method and apparatus to determine robot location using omni-directional image
US8588512B2 (en) 2007-03-20 2013-11-19 Samsung Electronics Co., Ltd. Localization method for a moving robot
CN106197652A (zh) * 2015-09-08 2016-12-07 萨姆株式会社 利用mems声音传感器的全方向声学照相机及全方向声音可视化装置
JP2018185240A (ja) * 2017-04-26 2018-11-22 大成建設株式会社 位置特定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0854927A (ja) * 1994-08-10 1996-02-27 Kawasaki Heavy Ind Ltd ランドマークの決定方法および装置
JPH08178654A (ja) * 1994-12-27 1996-07-12 Mitsubishi Electric Corp 標定装置
JPH08322833A (ja) * 1995-05-31 1996-12-10 Shimadzu Corp X線絞り装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0854927A (ja) * 1994-08-10 1996-02-27 Kawasaki Heavy Ind Ltd ランドマークの決定方法および装置
JPH08178654A (ja) * 1994-12-27 1996-07-12 Mitsubishi Electric Corp 標定装置
JPH08322833A (ja) * 1995-05-31 1996-12-10 Shimadzu Corp X線絞り装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003102706A1 (ja) * 2002-05-31 2005-09-29 富士通株式会社 遠隔操作ロボットおよびロボット自己位置同定方法
US8498488B2 (en) 2006-09-26 2013-07-30 Samsung Electronics Co., Ltd Method and apparatus to determine robot location using omni-directional image
US8588512B2 (en) 2007-03-20 2013-11-19 Samsung Electronics Co., Ltd. Localization method for a moving robot
US8331652B2 (en) 2007-12-17 2012-12-11 Samsung Electronics Co., Ltd. Simultaneous localization and map building method and medium for moving robot
JP2009271513A (ja) * 2008-04-30 2009-11-19 Samsung Electronics Co Ltd ロボット及びその地図作成方法
US8761925B2 (en) 2008-04-30 2014-06-24 Samsung Electronics Co., Ltd. Robot and method of building map therefor
JP2011227037A (ja) * 2010-03-31 2011-11-10 Aisin Aw Co Ltd 画像処理システム及び位置測位システム
WO2012086821A1 (ja) * 2010-12-20 2012-06-28 日本電気株式会社 測位装置、測位方法
US9794519B2 (en) 2010-12-20 2017-10-17 Nec Corporation Positioning apparatus and positioning method regarding a position of mobile object
CN106197652A (zh) * 2015-09-08 2016-12-07 萨姆株式会社 利用mems声音传感器的全方向声学照相机及全方向声音可视化装置
JP2018185240A (ja) * 2017-04-26 2018-11-22 大成建設株式会社 位置特定装置

Also Published As

Publication number Publication date
JP3641335B2 (ja) 2005-04-20

Similar Documents

Publication Publication Date Title
US10133278B2 (en) Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
EP2495632B1 (en) Map generating and updating method for mobile robot position recognition
US9846042B2 (en) Gyroscope assisted scalable visual simultaneous localization and mapping
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
US8467902B2 (en) Method and apparatus for estimating pose of mobile robot using particle filter
US10399228B2 (en) Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
Gaspar et al. Vision-based navigation and environmental representations with an omnidirectional camera
US9058521B2 (en) Mobile robot and simultaneous localization and map building method thereof
US8401783B2 (en) Method of building map of mobile platform in dynamic environment
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JPH10160463A (ja) 全方位視覚センサを用いた位置検出方法
Carrera et al. Lightweight SLAM and Navigation with a Multi-Camera Rig.
Nourani-Vatani et al. Scene change detection for vision-based topological mapping and localization
Winters et al. Omni-directional visual navigation
Guizilini et al. Semi-parametric models for visual odometry
Sim et al. Learning generative models of scene features
JP6826010B2 (ja) カメラ運動推定装置、カメラ運動推定方法及びプログラム
Matsumoto et al. Exploration and navigation in corridor environment based on omni-view sequence
KR20190103523A (ko) 자율 주행 장치 및 방법
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
Marouane et al. Visual odometry using motion vectors from visual feature points
Sharmila et al. Background Features-Based Novel Visual Ego-Motion Estimation
Das et al. Camera Motion Compensation and Person Detection in Construction Site Using Yolo-Bayes Model
Pathangay Detecting deviations in visual path following for indoor environments
Bacchewar et al. Indoor Navigation Using Augmented Reality

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040625

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120128

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees