JPS6172310A - 移動物体の追従方式 - Google Patents

移動物体の追従方式

Info

Publication number
JPS6172310A
JPS6172310A JP59194487A JP19448784A JPS6172310A JP S6172310 A JPS6172310 A JP S6172310A JP 59194487 A JP59194487 A JP 59194487A JP 19448784 A JP19448784 A JP 19448784A JP S6172310 A JPS6172310 A JP S6172310A
Authority
JP
Japan
Prior art keywords
time
pattern
series pattern
circuit
followed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP59194487A
Other languages
English (en)
Inventor
Miyao Oda
小田 宮雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP59194487A priority Critical patent/JPS6172310A/ja
Publication of JPS6172310A publication Critical patent/JPS6172310A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は移動物体を正確に追従する追従方式に係り、特
に画像データによフ追従処理を高速化するとともに、学
習により被追従物体と追従物体の代表的時系列パタン全
形成して、正確に被追従物体全追従できるようにしたも
のに関する。
〔従来の技術〕
例えば、矛1図(b)に示す如く、先行する矛lの災害
救助用ロボット(災害救助に必資な道具を保持する)を
、i’2の災害救助用ロボット(矛1のロボットの保持
できなかった道具を保持する)が追従する場合(この場
合は、災害救助に必要な道具の全てを1つのロボットに
保持させることができないときに、2台に分担する際等
において生じる)のように、移動する目標物体を促らえ
てこれに追従する制御を行う場合、目標物体をTV左カ
メラうつし、その画像データより時刻T、 T+△t。
T+2△t・・・・・・における目標物体の位置を検出
してサンプリング時間Δを毎に目標物体位置に応じて自
己の目標1直を修正することが必要である。なお、先導
するロボットは0例えば人間によるリモートコントロー
ルくより操従される。
この場合、従来はTV左カメラフ得られたn×j   
fflの大きさの二次元の画像データを処理してサンプ
リング時間毎の目標物体位置を検出することが必要であ
った。
〔発明が解決しようとする問題点〕
すなわち、従来の場合には、TV左カメラ目標物体をと
らえ、一定時間間隔毎の画像の差分をとり目標物体の移
動ベクトルを求めていくものであった。そのため二次元
データの処理を行わなければならないためデータ量が非
常に多く、処理時間が長くなるという問題がある。また
二次元アレー状のセンサも必要でありそのためコスト高
となる。
更に目標物体を追従しているときに1面円に他の物体(
並列に走るロボット等)が入ってくることもあシ、これ
が妨害物体となることがあるため。
ターゲットの識別が必要であった。
〔問題点を解決するための手段〕
前記の如き問題点を改善するために、データ量を少くし
て高速で処理可能とし、妨害物体や背景の影響をもうけ
ないようにするために2本発明における移動物体の追従
方式では、被追従物体を追従する移動物体の追従方式に
おいて、正量座標軸上に互に直交する方向に配列された
矛1アレーセンサと、該オニアレーセンサの各素子の変
化量のピーク値およびその座標軸上の位&t−検出する
ビーり検出手段と、追従に伴う前記ピーク値の基準座標
からのずれの時系列パタンを作成する時系列パタン生成
手段と、あらかじめ作成した被追従物体と追従物体との
時系列パタンによるデータを保持する固有パタン保持手
段と、前記矛1アレーセンサと同様に構成された。1−
2アレーセンサと、被追従物体との距離を測定する距離
測定手段を設け。
あらかじめ被追従物体く追従物体を追従トレーニングさ
せることにより両者間に固有の時系列パタンを作成して
これによるデータを前記固有パタン保持手段に保持させ
た後に、実際に追従制御を行うとき、その追従に際し矛
lアレーセンサより得られたピーク値の時系列パタンを
作成し、これにもとづくデータを前記固有パタン保持手
段に保持されたデータと比較して、そのもつとも一致し
たものを被追従物体に関するピーク値として識別し。
これにもとづき追従制御を行うようにしたことを特徴と
する。
〔作用〕
本発明ではアレーセンサを使用したのでデータ量が少な
く処理の高速化をはかることができ、しかも側抑制を利
用したピーク検出を使用しているので照明の変動やノイ
ズを低減することができる。
しかも学習により被追従物体と追従物体の代表的時系列
パタン全形成したので両物体の固体差を含めたデータを
用意し、正確な判別を行うことができる。
〔実施例〕
本発明の一実施例を矛1図〜才5図にもとづき説明する
矛1図は本発明の一実施例構成図、第2図はそのセンサ
部の詳細図、 、l=3図はピーク値検出回路の詳細図
、矛4図は時系列パタン生成の説明図。
、1−5図は学習パタンの形成及び距離測定説明図であ
る。
才1図において、1は矛lセンサ部、2は矛1ビーク値
検出回路、3は時系列パタン生成回路。
4は高速フーリエ変換回路、5は固有パタン保持部、6
は2乗偏差比較器、7は第2センサ部、8は第2ビーク
値検出回路、9は距離・座標算出回路、10は移動制御
回路である。
矛1センサ部1は、移動する目標物体の画像データを出
力するものであって、第2図に示す如く構成されている
。すなわち、矛lセンサ部lはT■左カメランズ11.
ハーフミラ−12,シリンドリカル、レンズ13.14
およびそれぞれこのシリンドリカル・レンズ13.14
と直交配置されている一次元アレーセンサ15.16等
により構成されている。−次元アレーセンサー5は0例
えばOODの如く、入射光に応じた出力電圧を発生する
受光素子列であり、Y軸方向の画像データを出力するも
のである。また−次元アレーセンサ16は、前記−次元
アレーセンサー5と同様に構成された受光素子列であっ
てX軸方向の画像データを出力するものである。またシ
リンドリカル・レンズ13はハーフミラ−12を経由し
てきた光を点線で示すヌロ<、Y軸方向の一次元アレー
センサ15に人力するものであって、シリンドリカル・
レンズ13は一次元アレーセンサー5と直交している。
そしてシリンドリカル・レンズ14はノ1−フミラー1
2を経由してきた光を、これまた点線で示す如く、X軸
方向の一次元アレーセンサ16に入力するものであり、
シリンドリカル・レンズ14は一次元アレーセンサ16
と直交している。
すなわち、この矛1センサ部1は、TVカメラのレンズ
11により集束された光がノ為−7ミラー12により2
分され、その−万の光はシリンドリカル・レンズ13に
より一次元アレーセンサ15に入射されて該−次元アレ
ーセンサ15よりY軸方向の画像データが出力される。
またハーフミラ−12によ#)2分された他方の光はシ
リンドリカル・レンズ14により一?&元アレーセンサ
16に入射されて該−次元アレーセンサ16よりX軸方
向の画像データが出力される。
矛lビーク値検出回路2は、矛lセンサ部1よ47出力
されるX釉およびY軸方向の画像データよりその変化点
のピーク値を検出するものであシ。
矛3図(α)に示す如く抑制回路により構成されている
。1次元アレーセンサ15は複数の受光素子EO9Bt
 、 Ex−・・Enよりなり各受光素子BO〜Enに
対応してオペアンプのTxJき増幅善人owAnが配置
されている。受光素子Boと対応する増幅器Aoは。
受光素子Boの出力電圧eaが正、隣接する受光素子E
 11 B ” +の出力電圧et、exが負になるよ
うに入力されている。またこの隣接受光素子El、E2
の出力電圧el、e2に係数が乗ぜられて重みづけされ
たものが負極性で印加される。受光素子Elと対応する
増幅器A1は、受光素子Elの出力電圧e1が正、隣接
する受光素子Eo、 Es、 Es の出力電圧eo、
62.esは重みづけされたものが負極性で印加される
。受光素子E2と対応する増幅器A2は受光素子E2の
出力電圧e!が正、隣接する受光素子Eo 、 El、
 Es 、 E4の出力電圧eo 、 61.6x 。
e4に係数が乗ぜられて重みづけされたものが負極性で
印加される。このように各受光素子go−Enの対応し
た増幅器A o −Anにはそれぞれ対応する受光素子
Eo−Enの出力電圧が正極性で入力され。
隣接する受光素子の出力電圧は重みづけされて。
逆極性で入力される。ところで増幅器AO−A4は図例
ではサイズが5の受容野(マスク)を構成しており、オ
ペアンプの如き増幅器AAOには各増幅器Aa −A4
の出力が正極性として入力される。そして増幅器AAo
の出力αと、Oは重みづけされたうえに負極性として、
その受容野を構成する各増幅器Ao 、 A4に入力さ
れる。このようにして、各アレーセンナに才3図Cb)
のKき画像信号が入力したとき、その変化点を、1q(
C)に示す如く、ピーク値として出力することができる
。このようにして。
矛3図(α)に示す抑制回路によりその下方に示す如く
、各種画像信号に対応するピーク値を出力することがで
き、これにより目標物体や妨害物体、背景物体等の輪郭
部分を抽出することができる。
時系列パタン生成回路3は物体の位置の時間的変化状態
を示すものである。例えば、牙4図(α)に示すヌロ<
、目標物体である被追従物体をT、妨害物体をり、背景
物体をBとすると、被追従物体Tは常時TVカメラの中
心付近に位置しているのでその軌跡T1を時間的に分析
すれば、、74図Cb)に示す如くX軸を上下するよう
なパタンを示し、背景物体Bは一定方向に移動するので
その軌跡B3を分析すれば矛4図(d)の如く、常時X
軸の一定の側にあシ増加減少の度合が一定であるような
パタンを示す。これは矛4図(α)の他の背景物体によ
る軌跡Br、BziCついても同様のパタンになる。ま
た妨害物体D1は瞬間的に飛込んできてあとははなれて
移動するという運動を行うのでその軌跡Dsf分析すれ
ば、1−4図(C)に示す如く、1時点で大きく変化し
て、X軸の特定極性側にあるような傾向を示す。したが
って各ピーク値の変化を示す時系列的パタンを生成しこ
れを分析することにより、どれが被追従物体、つまり目
標物体であるのか識別できる。
高速フーリエ変換回路4は、被追従物体に対する時系列
パタンを高速フーリエ変換してそのパタンを構成するス
ペクトル特江を抽出するものである。
′   固有パタン保持部5はあらかじめ被追従物体と
追従物体とで形成された例えば矛4図Cb)に示す如キ
ハタンを学習により形成させておき、この学習時のパタ
ンを保持するものである。この学習は。
矛5図(cL)に示す学習パタン形成回路により遂行す
る。
学習パタン形成回路は、モード指示キーKl、に2・・
・癩、速度検出回路200時間軸正規化回路21゜高速
フーリエ変換回路22.加算平均回路23等を備え、学
習結果は固有パタン保持部5に保持される。
学習パタンを得るとき、被追従物体と追従物体を学習時
に追従走行させる。このとき追従モードとしては1例え
ば直線走行モード(Ml)、蛇行走行モード(Mz)、
右回転モード(Ms)、左回転モード(M4)・・・等
のあらかじめ定められた複数の追従モードMl、 Mx
・・・Mnで走行させ、それぞれのモードの学習値を固
定パタン保持部5に保持することになる。例えば直線走
行モードで学習するとき。
モード指示キードlt−タッチして直線走行モードであ
ることを指示し、被追従物体全外部指令にて直線走行さ
せ、これに続いてこれまた学習モードを教師信号として
外部から与えて追従物体を直線走行させる。追従物体に
は、矛1図に示T如く。
、?lセンサ部lと第2センサ部7が設けられておシ、
また矛5図Cb)に示す如く、この矛1センサ部1、!
:第2センサ部7の距離はtで既知である。したがって
この矛lセンサ部lと第2センサ部2との被追従物体へ
の角θl、θ2がわかればこれらの物体間の距離dがわ
かり、もし被追従物体と追従物体との相対速度がかわれ
ばこの距離dも変化するので、そのときの相対速度も演
算することができる。したがって、追従物体の速度(既
知)にこの相対速度を加算することにより被追従物体の
速度を検出することができる。矛5図(α)の速度検出
回路20はこのようにして被追従物体の速度を検出する
時間軸正規化回路21は、被追従物体が速くなりたυ遅
くなったりしてもその移動体時系よりパタンが同一の速
度でのデータとして出力するように時間軸を正規イヒす
るものである。この正規化を行わないときは、フーリエ
変換によフ得られるスペクトル特性が変化するので正確
な比較を行うことが困難になる。
高速フーリエ変換回路22は1時間軸正規化回路21を
経由して出力された時系列パタンを、フーリエ変換して
周波数スペクトルを抽出し、比較し易い形にするもので
ある。
加算平均回路23は、学習するとき同一モードでd数回
学習を行なってその平均値をもとめるものである。これ
により学習のときにエラーが生じてもその影響を小さく
抑制することができる。
したがって、学習するとき、まず被追従物体と追従物体
を直線走行モードで追従走行させる。このときモード指
示キーに1を押して直線走行を示すモードMlであるこ
とを指示する。
この直線走行に際し、矛1図に示す矛1センサ部lおよ
び第2センサ部7からの信号により、まず被追従物体の
速度が速度検出回路20により算出され、また9例えば
オニセンサ部1より得られた画像データにより9才1図
の矛lビーク値検出回路2および時系列パタン生成回路
3により、 、t−4図(句に示T RO! 、時系列
パタンか作成される。
そしてこれが時間軸正規化回路21により時間軸軸を正
規化されて高速フーリエ変換回路22にで7−リエ変換
され、その周波数スペクトル特性が出力され、この周波
数スペクトルがモードM】とともに加算平均回路23に
て保持される。この直線走行のモードMlで同様のこと
が規定回数繰返されると、加算平均回路23はそれまで
のデータとともに加算平均され、その平均された周波数
スペクトル特性が直線走行時の判別データであるパタン
1として固有パタン保持部5に保持される。
このようなことがMl、  ・・・モード施について順
次行われ、各々の判別データがパタン2・・・パタンn
として固有パタン保持部5に保持される。
このようにして学習が終了したあと、実際に被追従物体
を追従することになる。
(1)  まず被追従物体を例えば人間によるリモート
コントロール等の外部指令により走行させ9次に′追従
物体を走行させるが、この最初のとき追従物体を被追従
物体に向けてから追従走行を開始する。
(2)追従物体は、その矛1センサ部1およびオ2セン
サ部7により補促され、その画像データが矛1ピーク値
検出回路2.第2ピーク値検出回路8によりビーク値が
検出される。ところで矛lビーク値検出回路2の出力は
時系列パタン生成回路3によつ、それぞれのピーク値毎
に1例えば、t−4図(A)〜(d)に示す如き時系列
パタンか作成される。そしてこれらの各時系列パタンか
高速フーリエ回路4によりフーリエ変換されて周波数ス
ペクトル特注が出力される。
(3ン  これらの周波数スペクトルは2乗偏差比較器
6に出力されて固有パタン5に保持されている。
パタン1.パタン2・・・・・・パタンnと比較される
そしてその結果もつとも偏差の少ない時系列パタンか被
追従物体に対するものとして検出され、その時系列識別
番号が距離・座標算出回路9に出力される。例えば、1
?3図(α)の下方に示す如く、ピークが3りあるとき
各ピークによる時系列が左側のピークよジのものより順
次2乗偏差比較された結果、最初のものがもつとも2乗
偏差が少さかったとりuという時系列識別′番号が出力
され、これにより矛1番のもの、つまり左側のピークが
被追従物体によるものであることが判別できる。
(4ン  したがって、距離・座標算出回路9において
その被追従物体の座標位置を算出し、また矛1センサ部
lおよび第2センサ部7の出力にもとづき被追従物体ま
での距離をX出し、これにより追従物体をどの方向くど
れだけ移動せしめるのか制御量を作成し、これに応じて
被追従物体に正しく追従することができる。
なお、妨害物体は突然現われるということはなく、信号
の1サンプリング時間内に(X、Y)座標の同じ点に被
追従物体と、妨害物体とが重なることはない。
また前記説明では災害救助ロボットの例について説明し
たが9本発明は勿論これのみに限定されるものではなく
1例えば鬼ゴッコロボットの如きゲーム等にも使用する
ことができる。
〔発明の効果〕
本発明によればアレーセンサを使用したのでデータ量を
大幅に削減することとなうその結果、処理の高速化をは
かることができる。また側抑制によりピーク検出を行っ
ているので、背景光を除去し、変化点のみを抽出できる
ので、その結果、照明の変動をうけに〈〈、またノイズ
を低減することができる。しかも学習により、被追従物
体と追従物体の代表的時系列パタンを形成しているので
両物体の固体差をふくめた記述ができる。これにより移
動に伴って一方向に流れる背景の除去はちとより、妨害
物体との分離も可能となる。
【図面の簡単な説明】
矛1図は本発明の一実施例構成図、牙2図はセンサ部の
詳細図1才3図はビーク1直検出回路の詳細図、矛4図
は時系列パタン生成の説明図1才5図は学習パタンの形
成及び距離測定説明図である。 図中、1は、tFiセンサ部、2は矛1ビーク1直検出
回路、3は時系列パタン生成回路、4は高速フIJ工変
換回路、5は固有パタン保持部、6は2乗偏差比較器、
7は第2センサ部、8は第2ビークイ直検出回路、9は
距離・座標算出回路、10は移動制御部回路である。 第1図 第3図

Claims (2)

    【特許請求の範囲】
  1. (1)被追従物体を追従する移動物体の追従方式におい
    て、空間座標軸上に互に直交する方向に配列された第1
    アレーセンサと、該第1アレーセンサの各素子の変化量
    のピーク値およびその座標軸上の位置を検出するピーク
    検出手段と、追従に伴う前記ピーク値の基準座標からの
    ずれの時系列パタンを作成する時系列パタン生成手段と
    、あらかじめ作成した被追従物体と追従物体との時系列
    パタンによるデータを保持する固有パタン保持手段と、
    前記第1アレーセンサと同様に構成された第2アレーセ
    ンサと、被追従物体との距離を測定する距離測定手段を
    設け、あらかじめ被追従物体に追従物体を追従トレーニ
    ングさせることにより両者間に固有の時系列パタンを作
    成してこれによるデータを前記固有パタン保持手段に保
    持させた後に、実際に追従制御を行うとき、その追従に
    際し第1アレーセンサより得られたピーク値の時系列パ
    タンを作成し、これにもとづくデータを前記固有パタン
    保持手段に保持されたデータと比較して、そのもつとも
    一致したものを被追従物体に関するピーク値として識別
    し、これにもとづき追従制御を行うようにしたことを特
    徴とする移動物体の追従方式。
  2. (2)前記時系列パタンによるデータとしてフーリエ変
    換スペクトルを使用したことを特徴とする特許請求の範
    囲第(1)項記載の移動物体の追従方式。
JP59194487A 1984-09-17 1984-09-17 移動物体の追従方式 Pending JPS6172310A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP59194487A JPS6172310A (ja) 1984-09-17 1984-09-17 移動物体の追従方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP59194487A JPS6172310A (ja) 1984-09-17 1984-09-17 移動物体の追従方式

Publications (1)

Publication Number Publication Date
JPS6172310A true JPS6172310A (ja) 1986-04-14

Family

ID=16325345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP59194487A Pending JPS6172310A (ja) 1984-09-17 1984-09-17 移動物体の追従方式

Country Status (1)

Country Link
JP (1) JPS6172310A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240698A (ja) * 2003-02-06 2004-08-26 Matsushita Electric Ind Co Ltd ロボット移動経路教示方法と移動経路教示機能付きロボット
JP2009031216A (ja) * 2007-07-30 2009-02-12 Nakagawa Kenkyusho:Kk 位置検出装置及び撮影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240698A (ja) * 2003-02-06 2004-08-26 Matsushita Electric Ind Co Ltd ロボット移動経路教示方法と移動経路教示機能付きロボット
JP2009031216A (ja) * 2007-07-30 2009-02-12 Nakagawa Kenkyusho:Kk 位置検出装置及び撮影装置

Similar Documents

Publication Publication Date Title
Chiu et al. Probabilistic 3d multi-modal, multi-object tracking for autonomous driving
Linder et al. On multi-modal people tracking from mobile platforms in very crowded and dynamic environments
Zhang et al. Vision-based target-following guider for mobile robot
Liu et al. The design of a fully autonomous robot system for urban search and rescue
Almeida et al. Localization system for autonomous mobile robots using machine learning methods and omnidirectional sonar
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
Xu et al. Autonomous behavior-based switched top-down and bottom-up visual attention for mobile robots
Arrouch et al. A Comparative Study of Artificial Neural Network Approach for Autonomous Robot’s TTC Prediction
Chandak et al. Path planning for mobile robot navigation using image processing
JPS6172310A (ja) 移動物体の追従方式
Spampinato et al. Deep learning localization with 2D range scanner
Amokrane et al. Active disturbance rejection control for unmanned tracked vehicles in leader–follower scenarios: Discrete-time implementation and field test validation
KR20190092051A (ko) 물체 검출 방법 및 로봇 시스템
Peremans et al. Acoustic flow for robot motion control
Bisulco et al. Fast motion understanding with spatiotemporal neural networks and dynamic vision sensors
Kalinov et al. Effective detection of real trajectories of highly maneuverable uavs under strong noise conditions
Shankar et al. A low-cost monocular vision-based obstacle avoidance using SVM and optical flow
Liang et al. Of-vo: Reliable navigation among pedestrians using commodity sensors
Wang et al. Robot mapping using local invariant feature detectors
Zhao et al. Visual tracking and grasping of moving objects and its application to an industrial robot
Zhang et al. Speaker tracking method based on audio-visual bimodal fusion and its application to mobile robot
Islam et al. Autonomous intruder detection using a ros-based multi-robot system equipped with 2d-lidar sensors
Sui et al. Multibeam Forward-looking Sonar Video Object Tracking using Truncated $\ell _ {1} $-$\ell _ {2} $ Sparsity and Aberrances Repression Regularization
Cree et al. Estimating heading direction from monocular video sequences using biologically-based sensors
Fomin et al. Comparison of Key Frames of Video Sequences Using the Izhikevich Spiking Neuron