JP2853283B2 - 全方位観測装置 - Google Patents

全方位観測装置

Info

Publication number
JP2853283B2
JP2853283B2 JP2177029A JP17702990A JP2853283B2 JP 2853283 B2 JP2853283 B2 JP 2853283B2 JP 2177029 A JP2177029 A JP 2177029A JP 17702990 A JP17702990 A JP 17702990A JP 2853283 B2 JP2853283 B2 JP 2853283B2
Authority
JP
Japan
Prior art keywords
image
distance information
omnidirectional
mirror
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2177029A
Other languages
English (en)
Other versions
JPH03174668A (ja
Inventor
康史 八木
慎二郎 川戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2177029A priority Critical patent/JP2853283B2/ja
Publication of JPH03174668A publication Critical patent/JPH03174668A/ja
Application granted granted Critical
Publication of JP2853283B2 publication Critical patent/JP2853283B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、例えばプラント内を巡視点検する移動ロ
ボットなどの移動手段に搭載された全方位観測装置に関
するものである。
〔従来の技術〕
第22図は例えば特開昭62−10279号公報に示された多
眼立体視装置であり、図において1は移動ロボットであ
り、2は移動ロボット1に搭載されたITVカメラ(工業
用TVカメラ)、4は対象物体である。
上記構成の従来の多眼立体視装置においては、移動ロ
ボット1が距離V移動したときにITVカメラ2により撮
像された2枚の画像上における対象物体4の像P1(x1,y
1)、P2(x2,y2)の位置関係より、次式により対象物体
4までの距離を測定することができる。
ただし、(X,Y,Z)は対象物体4の3次元位置、(O,O,
V)は移動ロボット1の移動ベクトル、P1(x1,y1)は時
刻tにおける対象物体4の画像位置、P2(x2,y2)は時
刻t+Δtにおける対象物体4の画像位置、fはITVカ
メラ2の焦点距離である。
〔発明が解決しようとする課題〕
しかしながら、上記した従来装置においては、側方あ
るいは後方における対象物体4の位置変化を観測しよう
とした場合、一旦停止してITVカメラ2を水平に走査す
る必要があった。このため、移動しながら全方位の観測
を行うことはできず、操作性、簡便さ、高速運転性に劣
るものがあった。又、距離計測を行う場合、前方のみの
観測では画像間の視差角が小さく、また距離計測できる
位置も限られ、高分解能かつ高精度な計測を行うことが
不可能であった。
この発明は上記のような課題を解決するために成され
たものであり、プラント等における巡視点検移動ロボッ
トなどの移動手段を目的地まで視覚誘導するための高精
度、高速操作性の全方位観測装置を得ることを目的とす
る。
〔課題を解決するための手段〕
この発明の請求項1に係る全方位観測装置は、回転面
の形状をなし、全方位から入射する光を所定方向に向け
て反射するミラーとこのミラーの反射光より得られるパ
ノラマ状の情景を撮像する撮像手段からなる全方位視覚
手段と、この全方位視覚手段を搭載して移動させる移動
手段と、移動手段の移動ベクトルを計測する計測手段
と、全方位視覚手段から得られた連続的な撮像画像を入
力して処理する処理手段を備えたものである。
又、請求項2に係る全方位観測装置は、上記処理手段
として、撮像画像に対して輪郭線検出処理を施した画像
を、ミラーの回転面とその回転軸との交点の像の位置を
中心とする極座標に変換する座標変換手段と、極座標に
おける各角度毎に画素数を計数して投影像を得る投影手
段と、連続画像間での投影像の相関より対応付けを行う
対応付け手段と、対応付けられた角度関係と上記移動ベ
クトルから距離情報を検出する距離情報検出手段を備え
たものである。
又、請求項3に係る全方位観測装置は、上記処理手段
として、撮像画像に対して輪郭線検出処理を施した後に
線分化処理して線分化処理データを得る線分化処理手段
と、線分化処理データを、ミラーの回転面とその回転軸
との交点の位置を中心とする極座標に変換する座標変換
手段と、連続する画像間で線分化処理データの幾何学的
特徴から対応付けを行う対応付け手段と、上記距離情報
検出手段を備えたものである。
又、請求項4に係る全方位観測装置は、上記処理手段
として、撮像画像に対して輪郭線検出処理を施した画像
において、観測対象物体を含みミラーの回転面とその回
転軸との交点の位置を中心とした扇状領域を特徴画像領
域とし、特徴画像領域の画像を極座標に変換する座標変
換手段と、連続する画像間で特徴画像領域の相関演算を
行い対応付けを行う対応付け手段と、上記距離情報検出
手段を備えたものである。
又、請求項5に係る全方位観測装置は、上記処理手段
として、撮像画像に対して輪郭線検出処理を施した輪郭
線画像を、ミラーの回転面とその回転軸との交点の位置
を中心とする極座標に変換する座標変換手段と、極座標
における各角度毎に画素数を計数して投影像を得る投影
手段と、連続画像間での投影像の相関より対応付けを行
う対応付け手段と、対応付けにより抽出された移動に伴
なう対象物体上の特徴点の移動軌跡と上記移動ベクトル
から距離情報を検出する距離情報検出手段を備えたもの
である。
〔作 用〕
請求項1においては、回転面の形状をなし、全方位か
ら入射する光を所定方向に向けて反射するミラーからの
全方位パノラマ画像が処理され、連続移動しながら全方
位が観測される。
請求項2においては、入力画像の投影変換により対応
付けが行なわれる。
請求項3においては、入力画像が線分化処理され、幾
何学的特徴から対応付けが行なわれる。
請求項4においては、ミラーの回転面とその回転軸と
の交点の像の位置を中心とした扇状領域が特徴画像領域
とされ、対応付けが行なわれる。
請求項5においては、対応付けにより抽出された移動
に伴なう対象物体上の特徴点の移動軌跡と移動手段の移
動ベクトルから距離情報が検出される。
〔実施例〕
以下、この発明の実施例を図面とともに説明する。第
1図はこの発明の一実施例を示す概念図である。図にお
いて、1は移動ロボット、2は移動ロボット1に搭載さ
れ、ミラー3の反射光より得られるパノラマ状の情景を
撮像するITVカメラ、3はITVカメラ2と対向して設けら
れ、回転面の形状をなし、全方位から入射する光を所定
方向に向けて反射するミラーで、倒えば円錐ミラー、4
は観測する対象物体である。移動ロボット1が図中矢印
の方向へ移動しながら複数かつ任意の撮像地点で対象物
体4をITVカメラ2により撮像し、その画像を例えばCCD
よりなる撮像面上に生成する。第2図(a),(b)は
時刻t及びt+Δtに撮像された画像の一例である。
第3図(a),(b)はこの発明装置の原理説明図で
あり、13は画像面である。なお、以下の説明における各
式はミラーとして例えば円錐ミラーを用いた実施例につ
いてのものである。カメラ2の光軸をZ軸(鉛直方
向)、移動ロボット1の進行方向をY軸とするカメラ2
に固定したO−XYZ3次元座標系を考える。座標原点O
は、時刻tにおけるカメラ2のレンズ中心とする。又、
画像面(x,y)13はXY平面に平行でカメラ2の焦点距離
fだけ離れたZ軸上の点を通る面とする。このとき、第
3図(a)に示すように距離計測を行なう対象物体4上
の任意の点P(XP,YP,ZP)に対する画像面13上の写像点
をP′(xP,yP)とすると、次式の関係がある。
tanθ=YP/XP=yP/xP ……(2) 即ち、対象物体4の方位角と画像面13内の像の方位角
との間には、不変の関係が成立する。又、第3図(b)
に示すように点Pと円錐ミラー3の軸Zを含む鉛直面を
想定すると、点Pと写像点P′との間に次式が成り立
つ。
この(3)式におけるα,Hの関係は次式で示される。
ただし、δ:円錐ミラー3の頂角 f :カメラ2の焦点距離 I :カメラ2と円錐ミラー3間距離 これは、写像点P′の画面中心からの距離rと、対象
物体4を示す視線と鉛直軸Zとのなす仰角αとの間に直
線関係があることを意味する。
第4図はこの発明装置の位相計測の原理説明図であ
り、移動ロボット1がY軸方向へ移動しているときの任
意の時刻t1,t2における(2)〜(4)式のパラメータ
を添字1,2で区別する。このとき、移動ベクトル(O,Vy,
O)と方位角θ1とから三角測量により時刻t1から
見たXP,YPの距離成分は次式で表現される。
高さZPは、時刻t1における(4)式のαとH1との関係
式と(5)式とから次式で与えられる。
ただし、(4)式より時刻t2におけるαとH2との関係
式を用いると、ZPは次式でも与えられる。
第5図は全方位観測装置の電気回路のブロック構成を
示し、7はCPU、8はメモリであり、これらはマイクロ
コンピュータにより構成されている。又、9は画像メモ
リ、10は画像処理部、11はロータリエンコーダ等の内界
センサ5を制御する内界センサ制御部、12は移動ロボッ
ト1の移動車1aの駆動、操舵用モータ6を制御する移動
系制御部である。上記構成において、CPU7及びメモリ8
は他の構成部と共に全方位観測に関する各種演算や処理
を実行する。画像処理部10はITVカメラ2で撮像された
物体画像より特徴量の抽出を行うものである。画像メモ
リ9はITVカメラ2により撮像された物体画像を格納す
るものであり、CPU7により制御される。モータ6は移動
車1aを駆動して推力を発生させ、また前後の車軸を駆動
して舵取動作を行わせる。CPU7はモータ6の駆動を移動
系制御部12を介して制御し、移動ロボット1を所望の方
向へ必要量移動させることができる。内界センサ5は、
移動車1aの移動量を計測できればいかなるものでもよ
い。
第6図は上記した全方位観測装置における視覚誘導の
処理手順を示し、スタート時点では移動ロボット1は所
定の位置に待機している。そして、スタートのサインと
共にステップ20で移動ロボット1は任意の周期で画像入
力を行いながら移動する。第2図(a)に示すある時刻
tに入力された画像はステップ21で雑音除去等の前処理
の後、ステップ22で(8)式により、ミラーの回転面と
その回転軸との交点、例えば円錐ミラー3では、円錐ミ
ラー3の頂点像位置を中心に回転方向にL−θ極座標系
に座標変換する。即ち、円錐ミラー3の頂点像位置Oを
点P(xij,yij)の座標原点とする。
ただし、i=o,n、j=o,m、(n,m)は画像サイズであ
る。
第7図(a),(b)は時刻tにおける雑音除去後の
前処理画像と極座標変換画像、第7図(c),(d)は
時刻t+Δtにおける雑音除去後の前処理画像と極座標
変換画像を示す。これらの変換画像はステップ23で時間
的に連続したフレーム間で特徴対象物像Skの対応付けを
行う。例えば、時刻tにおける特徴対象物像S1の位置を
(L1)とすれば、所定の時間Δt離れたqフレー
ムの画像が隣接画像間で対応付き、Δt時間後の位置S1
(Lq)が計算できた場合、ステップ24では内界セ
ンサ5より得られた移動ロボット1の移動ベクトルVと
時刻t及びt+Δtにおける特徴対象物の方位角θ1
とから以下の(9)式で2次元距離情報を表現する。
これを第8図に示す。
ここで、移動ロボット1の3次元座標系O−XYZは、
進行方向をZ軸、Z軸と直交し撮像面と平行な面上の軸
をX軸、撮像面に鉛直な軸をY軸とする。高さ方向につ
いては第9図(a)に示すように、円錐ミラー3の頂角
をβ、ITVカメラ2の焦点距離をf、ITVカメラ2と円錐
ミラー3間距離をFとし、また対象物体4からの入射光
とY軸との角度をα、この入射光が円錐ミラー3の表面
で反射した光とY軸との角度をγ、上記入射光とY軸と
の交点からITVカメラ2までの距離をHとすると、(1
0)式が成立する。
このため、第9図(b)に示すように対象物体4の高
さYは(11)式より(12)で表現される。
第10図は全方位観測装置における処理手順を示し、ス
テップ30ではITVカメラ2により撮像された画像を入力
し、ステップ31では雑音除去のための前処理を施し、ス
テップ32では微分処理をする。ステップ33ではこの微分
画像を所定のしきい値で2値化し、ステップ34で輪郭線
の検出を行う。この輪郭線の検出に当っては、(13)式
に示すように微分処理より得られる各画素におけるエッ
ジ方向成分Dを利用し、円錐ミラー3の頂点像位置方向
の線分のみ検出する。
abs(D−tan-1(y/x)<ΔD ……(13) この線分は実環境内で円錐ミラー3の軸と平行なエッジ
成分である。ステップ35では輪郭線画像を2値化した画
像を得、ステップ36ではこの画像について(8)式の座
標変換によりL−θ座標系上に回転方向に極座標変換す
る。ステップ37では座標変換画像の各回転角θごとに画
素数を計数することにより、回転角方向への投影変換を
行い、投影像を得る。ステップ38では投影データの計数
値Cθが連続して所定のしきい値CL以上となる回転角範
囲を判定し、ステップ39ではこの回転角範囲を特徴領域
Trとし、ステップ40では特徴領域Tr内で投影データの計
数最大の回転角θmaxを抽出し、ステップ41ではこのθ
maxをエッジ位置Eとする。エッジ位置Eの検出に当っ
ては、特徴領域Tr内の中心位置や各回転角における計数
値から平均位置を計算してもよい。第11図(a),
(b)に示すようにこのエッジ位置Eを特徴点とし、各
画像ごとに計算する。連続フレーム間での対応付けは、
ステップ42,43に示すように隣接画像間でエッジ位置を
中心とした所定幅ΔRの基本領域R間の相関値Rtを計算
し、ステップ44〜47では最も相関値の高い関係を対応位
置とする。(14)式は画像フレーム番号sのk番目の基
本領域と画像フレーム番号s+1のj番目の基本領域と
の相関である。
Rt=[s,k,j]=ΣR[s,k](i)*R[s+1,j](i) ÷(ΣR[s,k](i))1/2/(ΣR[s+1,j](i))1/2 ……(14) ただし、(−ΔR<i<ΔR)は相関値計算領域、sは
フレーム番号、kはフレーム番号sでのエッジ位置番
号、jはフレーム番号s+1でのエッジ位置番号であ
る。
上記実施例においては、特徴量として利用した輪郭線
は原点方向を向いたエッジであったが、一般のエッジが
含まれていても差し支えない。相関値計算は、SSDA法や
相互相関法等でもよい。又、第10図の処理手順では、極
座標変換画像を一旦生成し、その後投影変換を行う段階
処理であったが、各画素を極座標変換し、引き続いて投
影変換を行うという一連の処理にしても何ら問題はな
い。又、対応位置計算に当っても、各入力画像を投影変
換した後、前フレームの投影データとの対応位置を計算
する形にしてもよい。
第12図は処理手順の第2の実施例を示し、ステップ50
ではITVカメラ2により撮像した画像を入力し、ステッ
プ51では雑音除去のための前処理を施し、ステップ52で
は微分処理する。ステップ53ではこの微分画像を所定の
しきい値で2値化して輪郭線の検出を行う。ステップ54
では検出された輪郭線を一般的直線近似により線分化処
理して線分化処理データを得る。この線分はステップ55
で円錐ミラー3の頂点像位置を中心に回転方向に座標変
換し、ステップ56では第13図(a),(b)に示すよう
にこの線分をその中心位置(L,θ)、長さW、方向D及
び他の線分との連結関係T[i]により記述する。ステ
ップ57では隣接画像間での線分の中心位置(L,θ)、長
さW、方向D、連係関係T[i]を(15)式により総合
評価する。
ΔL、ΔW、ΔDは所定値である。ステップ58では、
(13)式の条件が成立した場合には連続フレーム間での
対応付けを決定する。なお、ステップ51〜53の処理はス
テップ55のL−θ座標変換の後に行ってもよい。
第14図のフローチャートは処理手順の第3の実施例を
示し、ステップ60では画像入力し、ステップ61では前処
理を施す。次に、ステップ62では輪郭線で囲まれた領域
を含む円錐ミラー3の頂点像位置を原点Oとする扇形領
域OABを第15図(a),(b)に示すように特徴領域と
し、各画像について領域を抽出する。ステップ63では、
この特徴領域をテンプレート(特徴)領域とし、次フレ
ームで検出された特徴領域との相関値を円錐ミラー3の
頂点像位置を中心に回転方向に計算し、最も相関度の高
い関係を対応位置とする。即ち、ステップ64では相関値
の最大値を求め、ステップ65でこの最大値が零でなけれ
ばステップ66で対応を決定し、ステップ67で最大値を零
とする。なお、テンプレート領域の検出は第10図の投影
方式による処理手順で示した回転角の検出法を利用し、
特徴領域をその回転角を中心とした所定領域としてもよ
い。又、対応付けを行う対象画像は、L−θ座標系上に
座標変換された画像上で行っても問題ない。さらに、所
定の角度両側を探索することにより、対応領域を検出す
る方法でも差し支えない。
上記各実施例では、移動ロボット1の移動前後の2フ
レームの情報より三角測量の原理で距離計算をしたが、
そのため観測時の量子化誤差や移動ロボット1の揺れの
影響等により、計測誤差が起り易かった。
第16図はこの発明の第4の実施例の原理説明図であ
り、移動ロボット1が画像面と平行なXY平面内で直線運
動した場合を考える。説明の都合上、円錐ミラー3の頂
角はπ/2とする。このとき、点P(XP,YP,ZP)の写像点
P′(第3図参照)は画像中心を通る閉ループ円形状軌
跡を描く。点Pとその写像点P′の間には、(2)〜
(4)式の関係があり、Hは次式で表現される。
H=I(1+tanβ) ……(16) (4)式のαの関係式より(17)式で示す関係が得られ
るため、(17)式と(4)式よりtanβについて(18)
式が得られる。
tanα=−1/tanβ ……(17) (I+(XP 2+YP 21/2tan2β+(I−ZP)=0 ……(18) ここで、移動ロボット1の移動速度を(vx,vy,vz)と定
義すると、点Pの相対速度は次式で表現される。
(∂XP/∂t,∂YP/∂t,∂ZP/∂t) =(−vx,−vy,−vz) ……(19) 時刻t=t1における点Pの座標位置をP1(X1,Y1,Z1)と
すれば、(19)式は次式となる。
次に、(2)式、(18)式に(20)式を代入し、tを
消去することにより、画像中での点Pの運動軌跡は表現
される。一般に移動ロボット1が床面上を移動する場
合、Z方向への移動速度はvz=0であるため、軌道は次
式で表現される。
第16図(a)に示すように移動ロボット1の両側に特
徴点P,Q(斜線部は壁部)がある場合、ロボット1の移
動(vx,vy,vz)=(O,vy,O)による観測点の軌跡は、
(21)式より次式で表現され、ロボット1と観測点との
間の距離に応じ、第4図(b)に示すようにロボット1
の進行方向に接する閉曲線を描く。
以上、頂角δ=π/2での写像点の運動軌跡について述
べたが、第4図(c)に示すような方位角θと移動量V
(t)の関係については、(3)式に頂角δを含まない
ため、観測点の高さに関わりなく、同一の軌跡を描く。
そこで、この実施例においては、この軌跡を観測するこ
とにより、位置計測を行なう。位置計測に当っては、
(2)式の方位角θと移動量V(t)の関係を利用し、
(X,Y)位置の計測を行なう。さらに、高さZは(X,Y)
の計測結果を用い、(22)式から求める。以下、処理手
順を示す。
第17図はこの発明の第4の実施例による処理手順を示
し、スタート時点においては移動ロボット1は所定の位
置に待機している。そして、スタートサインと共に任意
の周期Δtで画像入力(ST1)を行ないながら移動す
る。ある時刻tに入力された画像(第18図)に対し、ST
2でノイズ除去等の前処理及びST3で微分処理を施し(第
19図)、ST4で微分画像を所定のしきい値で2値化し、S
T5でエッジ検出を行なう。このエッジ検出に当っては、
微分処理より得られた各画素におけるエッジ方向成分を
利用し、原点より放射方向に延びた線分のみを検出す
る。この線分は実環境内で円錐ミラー3の軸と平行なエ
ッジ成分(柱等の垂直エッジ)である。次に、ST6でエ
ッジ画像を次式によりr−θ座標系上に極座標変換する
(第20図)。
一本の垂直エッジ上の点は、高さに関わりなく同一の
方位角を示す。そこで、ST7で座標変換画像の各回転角
θごとに画素数を計数することにより、回転角方向への
投影変換を行なう。投影データの計数値が所定のしきい
値以上の領域を特徴領域とし、同領域内で投影データの
平均回転角を抽出し、エッジ位置とする。さらに、各エ
ッジで端点、分岐点などの特徴的な位置を抽出し、第21
図に示すように特徴点Pjとする。この特徴点の検出は、
端点、分岐点、コーナ点等の特徴的な点であればよく、
一般に利用される方法を利用してもよい。次に、ST8で
連続フレーム間でエッジ位置の対応付けを行ない、さら
に特徴点の対応付けを行ない、移動軌跡を抽出する。位
置情報は、ST9で垂直エッジの移動軌跡に規則性がある
ことを利用し、一連の対応点から最小自乗法により
(X1,Y1)の距離を算出する。最小自乗法を用いるに当
っては、次式に示す方位角のずれ量を誤差量dとする。
又、誤差量dは以下の関係式を利用してもよい。
d=sin(θ(t))(X1−vxt) −cos(θ(t))(Y1−vyt) ……(25) 高さは、(X,Y)の算出結果を元に、(22)式を用
い、最小自乗法により計算する。次式を誤差量dとす
る。
d=r(t)(I|sinθ(t)|+|Y1|) +f(I−Z1)|sinθ(t)| ……(26) なお、上記各実施例においては、入力画像を円錐ミラ
ー3の頂点像位置を中心に回転方向に座標変換したが、
円錐ミラー3の頂点像位置を中心に回転方向に走査可能
なITVカメラを用いてもよい。又、プラント等の巡視点
検を行なう場合の例について述べてきたが、本発明はこ
れに限ることなく広く各種の移動ロボットや走行車に適
用することができ、例えば無人搬送車、自動車、船舶、
飛行機等のあらゆる移動手段に対しても有効に適用する
ことができる。
〔発明の効果〕
以上のようにこの発明の請求項1によれば、連続移動
しながら全方位の観測を行うことができ、高速操作性が
得られると共に、高精度で移動時の安全性も向上する。
又、撮像手段を回転させる必要がないので、構成簡単で
信頼性が向上する。
又、請求項2によれば、撮像画像を、ミラーの回転面
とその回転軸との交点の像の位置を中心とする極座標に
座標変換するので、高精度に対象物体の方位を検出でき
るとともに距離変換の計算量も少なくできる。又、投影
変換による対応付けが行われるので、高速な対応付けが
可能となる。
又、請求項3によれば、撮像画像が線分化処理されて
幾何学的特徴が抽出されて対応付けが行われるので、デ
ータ量の圧縮及び誤対応の少ない対応付けをすることが
できる。
又、請求項4においては、ミラーの回転面とその回転
軸との交点の像の位置を中心とした扇状領域が特徴画像
領域とされ、対応付けが行われるので、雑音に強い安定
した対応付けを行うことができる。
又、請求項5においては、対応付けにより抽出された
移動に伴なう対象物体上の特徴点の移動軌跡と移動ベク
トルから距離情報を計測するようにしているので、移動
手段の揺れや観測点の位置計測誤差による距離計測誤差
を除去することができ、距離計測精度を向上し、距離セ
ンサとしての信頼性を向上することができる。
【図面の簡単な説明】
第1図はこの発明装置の概念図、第2図は入力画像の一
例を示す図、第3図はこの発明装置の原理説明図、第4
図はこの発明装置の距離検出の原理説明図、第5図はこ
の発明装置のブロック構成図、第6図はこの発明装置の
視覚誘導動作を示すフローチャート、第7図はこの発明
による前処理画像と極座標変換画像を示す図、第8図は
この発明による距離変換の説明図、第9図はこの発明に
よる高さ方向の距離情報の説明図、第10図はこの発明装
置の処理手順を示すフローチャート、第11図はこの発明
による座標変換画像を投影処理した結果を示す図、第12
図はこの発明装置の処理手順の第2の実施例を示すフロ
ーチャート、第13図はこの発明の第2の実施例により入
力画像を線分化し座標変換した結果を示す図、第14図は
この発明装置の処理手順の第3の実施例を示す図、第15
図はこの発明の第3の実施例による扇形テンプレート画
像領域と探索領域の説明図、第16図及び第17図はこの発
明装置の第4の実施例による原理説明図及び処理手順を
示すフローチャート、第18図は同じく入力画像の一例を
示す図、第19図は同じく微分画像を示す図、第20図は同
じく極座標変換した図、第21図は同じく特徴点抽出図、
第22図は従来装置の概念図である。 1……移動ロボット、2……ITVカメラ、3……円錐ミ
ラー、4……対象物体、5……内界センサ、6……モー
タ、7……CPU、8……メモリ、9……画像メモリ、10
……画像処理部、11……内界センサ処理部、12……移動
系制御部。 なお、図中同一符号は同一又は相当部分を示す。
フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G06T 7/00 G06T 1/00 JICSTファイル(JOIS)

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】回転面の形状をなし、全方位から入射する
    光を所定方向に向けて反射するミラーとこのミラーの反
    射光より得られるパノラマ状の情景を撮像する撮像手段
    からなる全方位視覚手段と、この全方位視覚手段を搭載
    して移動させる移動手段と、各撮像地点への上記移動手
    段の移動ベクトルを計測する計測手段と、上記全方位視
    覚手段で連続的に得られる撮像画像を入力して処理する
    処理手段を備えたことを特徴とする全方位観測装置。
  2. 【請求項2】処理手段は、撮像画像に対して輪郭線検出
    処理を施した画像を、ミラーの回転面とその回転軸との
    交点の像の位置を中心とする極座標に変換する座標変換
    手段と、上記極座標における各角度毎に画素数を計数し
    て投影像を得る投影手段と、連続する画像間で上記投影
    像の相関より対応付けを行う対応付け手段と、対応付け
    られた角度関係と移動ベクトルから距離情報を検出する
    距離情報検出手段を備えたことを特徴とする請求項1記
    載の全方位観測装置。
  3. 【請求項3】処理手段は、撮像画像に対して輪郭線検出
    処理を施した後に線分化処理して線分化処理データを得
    る線分化処理手段と、上記線分化処理データを、ミラー
    の回転面とその回転軸との交点の位置を中心とする極座
    標に変換する座標変換手段と、連続する画像間で上記線
    分化処理データの幾何学的特徴から対応付けを行う対応
    付け手段と、対応付けられた角度関係と移動ベクトルか
    ら距離情報を検出する距離情報検出手段を備えたことを
    特徴とする請求項1記載の全方位観測装置。
  4. 【請求項4】処理手段は、撮像画像に対して輪郭線検出
    処理を施した画像において、観測対象物体を含みミラー
    の回転面とその回転軸との交点の位置を中心とした扇状
    領域を特徴画像領域とし、上記特徴画像領域の画像を極
    座標に変換する座標変換手段と、連続する画像間で上記
    特徴画像領域の相関演算を行い対応付けを行う対応付け
    手段と、対応付けられた角度関係と移動ベクトルから距
    離情報を検出する距離情報検出手段を備えたことを特徴
    とする請求項1記載の全方位観測装置。
  5. 【請求項5】処理手段は、撮像画像に対して輪郭線検出
    処理を施した輪郭線画像を、ミラーの回転面とその回転
    軸との交点の位置を中心とする極座標に変換する座標変
    換手段と、上記極座標における各角度毎に画素数を計数
    して投影像を得る投影手段と、連続する画像間で上記投
    影像の相関より対応付けを行う対応付け手段と、対応付
    けにより抽出された移動に伴なう観測対象物体上の特徴
    点の移動軌跡と移動ベクトルから距離情報を検出する距
    離情報検出手段を備えたことを特徴とする請求項1記載
    の全方位観測装置。
JP2177029A 1989-09-18 1990-07-02 全方位観測装置 Expired - Fee Related JP2853283B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2177029A JP2853283B2 (ja) 1989-09-18 1990-07-02 全方位観測装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP1-241359 1989-09-18
JP24135989 1989-09-18
JP2177029A JP2853283B2 (ja) 1989-09-18 1990-07-02 全方位観測装置

Publications (2)

Publication Number Publication Date
JPH03174668A JPH03174668A (ja) 1991-07-29
JP2853283B2 true JP2853283B2 (ja) 1999-02-03

Family

ID=26497708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2177029A Expired - Fee Related JP2853283B2 (ja) 1989-09-18 1990-07-02 全方位観測装置

Country Status (1)

Country Link
JP (1) JP2853283B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05346950A (ja) * 1991-12-19 1993-12-27 Eastman Kodak Co 三次元シーンを感知するための方法及び装置
IT1306912B1 (it) * 1998-10-21 2001-10-11 Alea Design S R L Tecnica anamorfica di ripresa e proiezione di immagini a 360 gradi
JP4142460B2 (ja) 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
KR100966875B1 (ko) * 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
CN106303417B (zh) * 2016-08-12 2020-03-27 长沙冰眼电子科技有限公司 用于无人平台的增强全景监控方法
CN114527551B (zh) * 2022-01-27 2024-06-04 西安理工大学 基于圆锥镜面反射的目标外壁全貌成像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
円錐投影による全方向環境認識 八木康史 川戸慎二郎 電子情報通信学会技術研究報告 PRU89−46 1989年9月21日

Also Published As

Publication number Publication date
JPH03174668A (ja) 1991-07-29

Similar Documents

Publication Publication Date Title
JP3895238B2 (ja) 障害物検出装置及びその方法
US5559695A (en) Apparatus and method for self-calibrating visual time-to-contact sensor
US5687249A (en) Method and apparatus for extracting features of moving objects
Koyasu et al. Recognizing moving obstacles for robot navigation using real-time omnidirectional stereo vision
US20090297036A1 (en) Object detection on a pixel plane in a digital image sequence
JPH11213157A (ja) カメラ搭載移動体
US20220099601A1 (en) Radiation inspection apparatus and radiation inspection method
JPS60200111A (ja) 3次元物体認識装置
JP2853283B2 (ja) 全方位観測装置
JP2003136465A (ja) 検出対象物の3次元位置・姿勢決定方法とロボット用視覚センサ
JP4256992B2 (ja) 障害物検出装置
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
JP2007280387A (ja) 物体移動の検出方法及び検出装置
Higuchi et al. 3D measurement of large structure by multiple cameras and a ring laser
JP4116116B2 (ja) 移動体の測距原点認識装置
JP5062626B2 (ja) 物体識別装置
JPH1137730A (ja) 道路形状推定装置
US20190139177A1 (en) Device for detecting road surface state
JP3208900B2 (ja) 視覚に基く三次元位置および姿勢の認識方法とその装置
JP3586938B2 (ja) 車載用距離測定装置
JP2728174B2 (ja) 移動車の前方車認識装置
Okada et al. A parts picking system with a range finder and a camera system
JP2634311B2 (ja) コイル位置検出装置
Yagi et al. Guidance of a mobile robot with environmental map using omnidirectional image sensor COPIS
US20230196588A1 (en) Device, method, and computer program for tracking

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees