JPH05233062A - 移動物体識別追尾システム - Google Patents
移動物体識別追尾システムInfo
- Publication number
- JPH05233062A JPH05233062A JP7514192A JP7514192A JPH05233062A JP H05233062 A JPH05233062 A JP H05233062A JP 7514192 A JP7514192 A JP 7514192A JP 7514192 A JP7514192 A JP 7514192A JP H05233062 A JPH05233062 A JP H05233062A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image data
- tracking system
- tracking
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Feedback Control In General (AREA)
- Control Of Position Or Direction (AREA)
Abstract
状態が変化しても自由自在に且つ高精度で追尾すること
ができる移動物体識別追尾システムを提供する。 【構成】 移動物体識別追尾システム10は、予めニュ
ーラルネットワーク19に基準画像データを学習させ、
移動物体をテレビカメラ11で撮像し、該テレビカメラ
11により取り込んだ画像データを、前記ニューラルネ
ットワーク19を通して識別し、一方、コントローラ1
8により画像データと基準画像との誤差及びその変化
分、更にテレビカメラ11の回転角度データと基準回転
角度データとの誤差及びその変化分を計算しモータ駆動
回路13を介して移動物体追尾機構14を駆動し、前記
テレビカメラ11で移動物体を追尾する。
Description
て追尾する移動物体識別追尾システムに関する。
パターンマッチング法を用い、移動物体の追尾には電磁
波、光、超音波のセンサー等からの信号が用いられて追
尾が行われていた。例えば、CCDカメラを固定して一
定場所の動作をビデオで記憶し、それを人が目で識別す
る方法など用いられ防犯等に利用されていた。
来の電磁波、光、超音波のセンサー等を用いた追尾装置
では物体を追尾するが、色々な種類の物体からある物体
を識別することができなかったり、途中で物体の状態が
変化した場合には追尾できず、また人による監視等が必
要で人権上の問題点があった。本発明はこのような事情
に鑑みてなされたもので、容易に移動物体の識別を行
い、該移動物体の状態が変化しても自由自在に且つ高精
度で追尾することができる移動物体識別追尾システムを
提供することを目的とする。
記載の移動物体識別追尾システムは、予めニューラルネ
ットワークに基準画像データを学習させ、移動物体をテ
レビカメラで撮像し、該テレビカメラにより取り込んだ
画像データを、前記ニューラルネットワークを通して識
別し、一方、コントローラにより画像データと基準画像
との誤差及びその変化分、更にテレビカメラの回転角度
データと基準回転角度データとの誤差及びその変化分を
計算しモータ駆動回路を介して移動物体追尾機構を駆動
し、前記テレビカメラで移動物体を追尾するように構成
されている。
いては、予めニューラルネットワークに基準画像データ
を学習させておき、該基準画像データに基づき、テレビ
カメラにより取り込んだ画像データから物体を識別す
る。また、コントローラにより画像データと基準画像と
の誤差及びその変化分、更にテレビカメラの回転角度デ
ータと基準回転角度データとの誤差及びその変化分を計
算し、基準画像データ及び基準回転角度基準データとの
偏差が一定の範囲内に収まるように、モータ駆動回路を
介して移動物体追尾機構が駆動し、移動物体を前記テレ
ビカメラが追尾する。
を具体化した実施例につき説明し、本発明の理解に供す
る。ここに、図1は本発明の一実施例に係る移動物体識
別追尾システムのソフト面の概略ブロック図、図2は同
ハード面の概略ブロック図、図3は本発明の一実施例に
係る移動物体識別追尾システムに用いる移動物体追尾機
構の断面図、図4は画像データ処理の説明図、図5はフ
ァジィコントローラの入出力を示す説明図である。図2
に示すように本発明の一実施例に使用する移動物体識別
追尾システム10は、テレビカメラの一例であるCCD
カメラ(電荷結合素子カメラ)11と、該CCDカメラ
11を接続するマイクロコンピュータシステム12と、
該マイクロコンピュータシステム12に接続されたモー
タ駆動回路13と、該モータ駆動回路13に接続された
移動物体追尾機構14を有する。
は、CPUバス15に接続されたビデオI/Fボード1
6、パラレルI/Oボード17を備えると共に、コント
ローラの一例であるファジィコントローラ18(図1参
照)と、本発明者が特願平3−155812の「天然産
物またはその加工品の形状識別方法」において提案した
ニューラルネットワーク19(図1参照)を有する。前
記CCDカメラ11はビデオI/Fボード15に接続さ
れる。前記モータ駆動回路13は前記パラレルI/Oボ
ード17に接続されている。前記移動物体追尾機構14
は、前記モータ駆動回路13に接続されたモータの一例
である水平移動用直流モータ20及び垂直移動用直流モ
ータ21を設け、該水平移動用及び垂直移動用直流モー
タ20、21に連動する水平移動用エンコーダ22、垂
直移動用エンコーダ23を有し、該水平移動用及び垂直
移動用エンコーダ22、23は、前記パラレルI/Oボ
ード17に接続されている。なお、前記CCDカメラ1
1、マイクロコンピュータシステム12、モータ駆動回
路13は図示しない電源に接続されている。
3を用いて詳しく説明すると、下部に架台24を設け、
該架台24に取付けた外球25と、該外球25の内側に
回動可能に取付けた内球26と、該内球26に固定した
CCDカメラ11を有する。前記架台24は、内側の両
側に水平移動用直流モータ20と、水平移動用エンコー
ダ22を固定する。前記水平移動用直流モータ20及び
水平移動用エンコーダ22の端部には水平移動用ギヤ2
7、28をそれぞれ固定し、水平移動用ギヤ27、28
の双方は水平方向用ギヤ29の両端部に噛み合い、該水
平方向用ギヤ29はその中心に前記架台24に回転自在
に固定された水平方向用軸30を固定する。前記外球2
5は、内部が空間となり、外面に図示しない内球用窓を
備え、下部に前記水平方向用軸30の端部を固定し、両
側の内側に垂直方向用軸31、32を固定し、該垂直方
向用軸31に垂直方向用ギヤ33を固定する。前記内球
26は、内側に外部を撮像可能にCCDカメラ11を固
定し、該CCDカメラ11の上部に垂直移動用エンコー
ダ23を固定し、下部に垂直移動用直流モータ21を固
定する。そして、前記垂直移動用エンコーダ23及び垂
直移動用直流モータ21の端部は垂直移動用ギヤ34、
35をそれぞれ回転自在に固定する。更に、前記垂直移
動用ギヤ34、35は前記垂直方向用ギヤ33の両端に
それぞれ噛み合う。なお、前記移動物体追尾機構14は
モータ駆動回路13(図2参照)に接続され、該モータ
駆動回路13は前記水平移動用直流モータ20及び垂直
移動用直流モータ21に接続されている。
を用いた移動物体の識別、追尾方法について説明する。
図1に示すように、前記移動物体識別追尾システム10
は、予めニューラルネットワーク19に識別しようとす
る形状の異なる物体の2値画像データ(12×15画
素)を取込み、逆誤差伝播法(バックプロパゲーション
法)により基準画像データの一例である基準画像データ
36(図4参照)を学習させておく。前記CCDカメラ
11により新しい画像データ37(図4参照)が得られ
たら、前記ニューラルネットワーク19によりその物体
がどのパターンに属するかを識別処理38する。そし
て、コントローラの一例であるファジィコントローラ1
8を用いて前記CCDカメラ11により捉えた画像デー
タ37の水平、垂直パターン或いはパターンそのもの
や、水平移動用及び垂直移動用エンコーダ22、23
(図2及び図3参照)からの回転角度データを基準回転
角度データの一例である基準回転角度39と比較し、そ
の偏差が最小か、または一定範囲内にあるようにモータ
駆動回路13に信号を送り、該モータ駆動回路13は、
PWM(pulse widthmodulatio
n)回路を介して、移動物体の画像データ37と基準画
像データ36からの偏差が最小か、またはある範囲内に
収まるように前記水平移動用直流モータ20を駆動し、
移動物体を追跡する。なお、移動物体が垂直方向に移動
する場合は垂直移動用直流モータ21を駆動する。
移動は図3に示すように、水平移動用直流モータ20が
駆動して、水平移動用ギヤ27を介して水平方向用ギヤ
29を回転させ、外球25を所定方向に回動させる。垂
直方向には、垂直移動用直流モータ21が駆動して、垂
直移動用ギヤ34の回転により垂直方向用ギヤ33を介
して内球26と共にCCDカメラ11を所定の垂直方向
に回転させ、基準画像データ36と移動物体の画像デー
タ37との偏差が一定の範囲に収まるようにする。更
に、該CCDカメラ11の動きは水平方向については水
平移動用エンコーダ22により、垂直方向については垂
直移動用エンコーダ23によりパルス信号として図1に
示すパラレルI/Oボード17を介してファジィコント
ローラ18に送られ、絶えずCCDカメラ11の位置関
係が把握される。従って、画像データ37のサンプリン
グ間隔毎にこの動作を繰り返し移動物体を追尾すること
ができる。
について画像データ一例として長方形の物体の画像デー
タ37が移動する場合の対応について図4及び図5を用
いて概略を説明する。図4に示すように長方形の画像デ
ータ37が基準画像データ36に対して水平移動した場
合、移動前後の画像の偏差eとその変化分Δeを計算す
る。これらを図5に示すファジィコントローラ18への
入力として加え、出力として水平移動用直流モータ20
及び垂直移動用直流モータ21(垂直移動の場合)を駆
動させるためのパルスを得る。即ち、e、Δeを三角型
メンバーシップ関数を持つファジィ量と見做し複数個
(本実施例では6個)のファジィ制御ルールを用いてミ
ニマックス法により適合度と重心を求め出力ファジィ量
である水平方向及び垂直方向への移動量のパルスの値を
計算し、モータ駆動回路13のPWM回路に加える。そ
れにより移動する長方形の画像データ37の物体を精度
よく追尾できる。
に詳しく説明する。入力画像が(12×15)画素の任
意の点を(i,j)とする。前記長方形の物体の基準画
像データ36をf(i,j)、Tサンプリング時間後の
移動画像の画像データ37をf(i+Δi,j)とす
る。斜線部の画像すなわち、偏差e(i,j)及びその
時間変化分Δe(i,j)を以下の(1)及び(2)式
を用いて計算する。 e(i,j)=f(i+Δi,j)−f(i,j) (1) Δe(i,j)=(e(i+Δi,j)−e(i,j))/T (2) 該e及びΔeの二つの入力及び回転角度入力を用いてフ
ァジィコントローラ18により水平移動用直流モータ2
0を動かすためのパルス幅、(垂直移動をも行う場合は
垂直移動用直流モータ21を動かすためのパルス幅をも
含む)を出力し、モータ駆動回路13のPWM回路に加
えることにより目標移動物体を自由自在に追尾すること
ができる。
及び回転角度が所定の仕様、例えば、1例としてそれが
ある範囲内の値を取るような仕様で設計する。更に、フ
ァジィ制御則として6個の制御則を用いる。いま水平移
動した場合についてファジィコントローラ18を用いた
追尾について説明したが一般の動きをする移動物体の追
尾法によってもその原理は同じである。以上のように本
発明の一実施例に係る移動物体識別追尾システム10
は、従来、人の目で識別していた物体の識別をニューラ
ルネットワーク19で行うことができ、更にファジィコ
ントローラ18による移動物体追尾機構14を備えてい
るので空間の移動物体を自由自在に精度よく追尾するこ
とが可能であり、従来にない新しい識別追尾装置として
その利用分野は広く、その波及効果は大なるものがあ
る。
ムにおいては、移動物体をテレビカメラを用いて撮像
し、該撮像した画像をニューラルネットワークを通して
識別し、更に、コントローラによりモータ駆動回路を介
して移動物体追尾機構を駆動して前記テレビカメラが移
動物体を追尾するので、容易に移動物体の識別を行い、
該移動物体の状態が変化しても自由自在に且つ高精度で
追尾することが可能である。
テムの概略ブロック図である。
テムに用いる移動物体追尾機構の断面図である。
ある。
Claims (1)
- 【請求項1】 予めニューラルネットワークに基準画像
データを学習させ、移動物体をテレビカメラで撮像し、
該テレビカメラにより取り込んだ画像データを、前記ニ
ューラルネットワークを通して識別し、一方、コントロ
ーラにより画像データと基準画像との誤差及びその変化
分、更にテレビカメラの回転角度データと基準回転角度
データとの誤差及びその変化分を計算しモータ駆動回路
を介して移動物体追尾機構を駆動し、前記テレビカメラ
で移動物体を追尾することを特徴とする移動物体識別追
尾システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07514192A JP3254241B2 (ja) | 1992-02-25 | 1992-02-25 | 移動物体識別追尾システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07514192A JP3254241B2 (ja) | 1992-02-25 | 1992-02-25 | 移動物体識別追尾システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05233062A true JPH05233062A (ja) | 1993-09-10 |
JP3254241B2 JP3254241B2 (ja) | 2002-02-04 |
Family
ID=13567625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07514192A Expired - Fee Related JP3254241B2 (ja) | 1992-02-25 | 1992-02-25 | 移動物体識別追尾システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3254241B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0778028A (ja) * | 1993-06-18 | 1995-03-20 | Masanori Sugisaka | 自立走行車 |
EP1274031A2 (en) * | 2001-07-06 | 2003-01-08 | Hitachi, Ltd. | Facility management system based on circulation information |
JP2009211294A (ja) * | 2008-03-03 | 2009-09-17 | Nippon Hoso Kyokai <Nhk> | ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム |
-
1992
- 1992-02-25 JP JP07514192A patent/JP3254241B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0778028A (ja) * | 1993-06-18 | 1995-03-20 | Masanori Sugisaka | 自立走行車 |
EP1274031A2 (en) * | 2001-07-06 | 2003-01-08 | Hitachi, Ltd. | Facility management system based on circulation information |
EP1274031A3 (en) * | 2001-07-06 | 2004-03-24 | Hitachi, Ltd. | Facility management system based on circulation information |
JP2009211294A (ja) * | 2008-03-03 | 2009-09-17 | Nippon Hoso Kyokai <Nhk> | ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3254241B2 (ja) | 2002-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH05233062A (ja) | 移動物体識別追尾システム | |
Piaggio et al. | An optical-flow person following behaviour | |
Hasan et al. | Implementation of vision based object tracking robot | |
CN113890972A (zh) | 一种监控区域目标跟踪系统 | |
Torkaman et al. | Real-time visual tracking of a moving object using pan and tilt platform: A Kalman filter approach | |
Kebir et al. | Smart robot navigation using rgb-d camera | |
Liu et al. | Sensor network based workcell for industrial robots | |
Chao et al. | Visually-guided obstacle avoidance | |
Kuo et al. | Development of active IR-based surgical marker tracking and positioning systems | |
Abdellatif | Color-based object tracking and following for mobile service robots | |
Lee et al. | Implementation of a Fuzzy Control Based Intelligent Robot Fish. | |
Sali et al. | Smart Buggy: An IoT Based Smart Surveillance Robotic Car Using Raspberry Pi | |
Manigandan et al. | Wireless vision based moving object tracking robot through perceptual color space | |
Abdellatif et al. | Development of a Target Following Mobile Robot Using Fuzzy Logic Control | |
Sheu et al. | Implementation of a following wheel robot featuring stereoscopic vision | |
Guo et al. | Research and Implementation of an OpenMV-Based Target Edge Detection and Tracking System | |
Rae et al. | 3d real-time tracking of points of interest based on zero-disparity filtering | |
Holcomb | Machine Learning Through Mimicry and Association | |
Adetoyi et al. | Secure Dual-mode Robotic Intrusion Detection System for Remote Surveillance | |
Godber et al. | Machine vision using line-scan sensors | |
Sulthana et al. | Subject tracking robotic manipulator using pan-tilt mechanism | |
Abdellatif | Behavior fusion for visually-guided service robots | |
Jin | Moving Object Trajectory based on Kohenen Network for Efficient Navigation of Mobile Robot | |
Ho et al. | Real-time tracking and stereo vision-based control of a goldfish-catching system | |
Pajaziti et al. | Development of a Vehicle for Driving with Convolutional Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 8 Free format text: PAYMENT UNTIL: 20091122 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 9 Free format text: PAYMENT UNTIL: 20101122 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |