JPH05233062A - 移動物体識別追尾システム - Google Patents

移動物体識別追尾システム

Info

Publication number
JPH05233062A
JPH05233062A JP7514192A JP7514192A JPH05233062A JP H05233062 A JPH05233062 A JP H05233062A JP 7514192 A JP7514192 A JP 7514192A JP 7514192 A JP7514192 A JP 7514192A JP H05233062 A JPH05233062 A JP H05233062A
Authority
JP
Japan
Prior art keywords
moving object
image data
tracking system
tracking
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7514192A
Other languages
English (en)
Other versions
JP3254241B2 (ja
Inventor
Masanori Sugisaka
政典 杉坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP07514192A priority Critical patent/JP3254241B2/ja
Publication of JPH05233062A publication Critical patent/JPH05233062A/ja
Application granted granted Critical
Publication of JP3254241B2 publication Critical patent/JP3254241B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Feedback Control In General (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

(57)【要約】 【目的】 容易に移動物体の識別を行い、該移動物体の
状態が変化しても自由自在に且つ高精度で追尾すること
ができる移動物体識別追尾システムを提供する。 【構成】 移動物体識別追尾システム10は、予めニュ
ーラルネットワーク19に基準画像データを学習させ、
移動物体をテレビカメラ11で撮像し、該テレビカメラ
11により取り込んだ画像データを、前記ニューラルネ
ットワーク19を通して識別し、一方、コントローラ1
8により画像データと基準画像との誤差及びその変化
分、更にテレビカメラ11の回転角度データと基準回転
角度データとの誤差及びその変化分を計算しモータ駆動
回路13を介して移動物体追尾機構14を駆動し、前記
テレビカメラ11で移動物体を追尾する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、移動中の物体を識別し
て追尾する移動物体識別追尾システムに関する。
【0002】
【従来の技術】従来、カメラを用いたパターン識別には
パターンマッチング法を用い、移動物体の追尾には電磁
波、光、超音波のセンサー等からの信号が用いられて追
尾が行われていた。例えば、CCDカメラを固定して一
定場所の動作をビデオで記憶し、それを人が目で識別す
る方法など用いられ防犯等に利用されていた。
【0003】
【発明が解決しようとする課題】しかしながら、前記従
来の電磁波、光、超音波のセンサー等を用いた追尾装置
では物体を追尾するが、色々な種類の物体からある物体
を識別することができなかったり、途中で物体の状態が
変化した場合には追尾できず、また人による監視等が必
要で人権上の問題点があった。本発明はこのような事情
に鑑みてなされたもので、容易に移動物体の識別を行
い、該移動物体の状態が変化しても自由自在に且つ高精
度で追尾することができる移動物体識別追尾システムを
提供することを目的とする。
【0004】
【課題を解決するための手段】前記目的に沿う請求項1
記載の移動物体識別追尾システムは、予めニューラルネ
ットワークに基準画像データを学習させ、移動物体をテ
レビカメラで撮像し、該テレビカメラにより取り込んだ
画像データを、前記ニューラルネットワークを通して識
別し、一方、コントローラにより画像データと基準画像
との誤差及びその変化分、更にテレビカメラの回転角度
データと基準回転角度データとの誤差及びその変化分を
計算しモータ駆動回路を介して移動物体追尾機構を駆動
し、前記テレビカメラで移動物体を追尾するように構成
されている。
【0005】
【作用】請求項1記載の移動物体識別追尾システムにお
いては、予めニューラルネットワークに基準画像データ
を学習させておき、該基準画像データに基づき、テレビ
カメラにより取り込んだ画像データから物体を識別す
る。また、コントローラにより画像データと基準画像と
の誤差及びその変化分、更にテレビカメラの回転角度デ
ータと基準回転角度データとの誤差及びその変化分を計
算し、基準画像データ及び基準回転角度基準データとの
偏差が一定の範囲内に収まるように、モータ駆動回路を
介して移動物体追尾機構が駆動し、移動物体を前記テレ
ビカメラが追尾する。
【0006】
【実施例】続いて、添付した図面を参照しつつ、本発明
を具体化した実施例につき説明し、本発明の理解に供す
る。ここに、図1は本発明の一実施例に係る移動物体識
別追尾システムのソフト面の概略ブロック図、図2は同
ハード面の概略ブロック図、図3は本発明の一実施例に
係る移動物体識別追尾システムに用いる移動物体追尾機
構の断面図、図4は画像データ処理の説明図、図5はフ
ァジィコントローラの入出力を示す説明図である。図2
に示すように本発明の一実施例に使用する移動物体識別
追尾システム10は、テレビカメラの一例であるCCD
カメラ(電荷結合素子カメラ)11と、該CCDカメラ
11を接続するマイクロコンピュータシステム12と、
該マイクロコンピュータシステム12に接続されたモー
タ駆動回路13と、該モータ駆動回路13に接続された
移動物体追尾機構14を有する。
【0007】前記マイクロコンピュータシステム12
は、CPUバス15に接続されたビデオI/Fボード1
6、パラレルI/Oボード17を備えると共に、コント
ローラの一例であるファジィコントローラ18(図1参
照)と、本発明者が特願平3−155812の「天然産
物またはその加工品の形状識別方法」において提案した
ニューラルネットワーク19(図1参照)を有する。前
記CCDカメラ11はビデオI/Fボード15に接続さ
れる。前記モータ駆動回路13は前記パラレルI/Oボ
ード17に接続されている。前記移動物体追尾機構14
は、前記モータ駆動回路13に接続されたモータの一例
である水平移動用直流モータ20及び垂直移動用直流モ
ータ21を設け、該水平移動用及び垂直移動用直流モー
タ20、21に連動する水平移動用エンコーダ22、垂
直移動用エンコーダ23を有し、該水平移動用及び垂直
移動用エンコーダ22、23は、前記パラレルI/Oボ
ード17に接続されている。なお、前記CCDカメラ1
1、マイクロコンピュータシステム12、モータ駆動回
路13は図示しない電源に接続されている。
【0008】ここで、移動物体追尾機構14について図
3を用いて詳しく説明すると、下部に架台24を設け、
該架台24に取付けた外球25と、該外球25の内側に
回動可能に取付けた内球26と、該内球26に固定した
CCDカメラ11を有する。前記架台24は、内側の両
側に水平移動用直流モータ20と、水平移動用エンコー
ダ22を固定する。前記水平移動用直流モータ20及び
水平移動用エンコーダ22の端部には水平移動用ギヤ2
7、28をそれぞれ固定し、水平移動用ギヤ27、28
の双方は水平方向用ギヤ29の両端部に噛み合い、該水
平方向用ギヤ29はその中心に前記架台24に回転自在
に固定された水平方向用軸30を固定する。前記外球2
5は、内部が空間となり、外面に図示しない内球用窓を
備え、下部に前記水平方向用軸30の端部を固定し、両
側の内側に垂直方向用軸31、32を固定し、該垂直方
向用軸31に垂直方向用ギヤ33を固定する。前記内球
26は、内側に外部を撮像可能にCCDカメラ11を固
定し、該CCDカメラ11の上部に垂直移動用エンコー
ダ23を固定し、下部に垂直移動用直流モータ21を固
定する。そして、前記垂直移動用エンコーダ23及び垂
直移動用直流モータ21の端部は垂直移動用ギヤ34、
35をそれぞれ回転自在に固定する。更に、前記垂直移
動用ギヤ34、35は前記垂直方向用ギヤ33の両端に
それぞれ噛み合う。なお、前記移動物体追尾機構14は
モータ駆動回路13(図2参照)に接続され、該モータ
駆動回路13は前記水平移動用直流モータ20及び垂直
移動用直流モータ21に接続されている。
【0009】以下、前記移動物体識別追尾システム10
を用いた移動物体の識別、追尾方法について説明する。
図1に示すように、前記移動物体識別追尾システム10
は、予めニューラルネットワーク19に識別しようとす
る形状の異なる物体の2値画像データ(12×15画
素)を取込み、逆誤差伝播法(バックプロパゲーション
法)により基準画像データの一例である基準画像データ
36(図4参照)を学習させておく。前記CCDカメラ
11により新しい画像データ37(図4参照)が得られ
たら、前記ニューラルネットワーク19によりその物体
がどのパターンに属するかを識別処理38する。そし
て、コントローラの一例であるファジィコントローラ1
8を用いて前記CCDカメラ11により捉えた画像デー
タ37の水平、垂直パターン或いはパターンそのもの
や、水平移動用及び垂直移動用エンコーダ22、23
(図2及び図3参照)からの回転角度データを基準回転
角度データの一例である基準回転角度39と比較し、そ
の偏差が最小か、または一定範囲内にあるようにモータ
駆動回路13に信号を送り、該モータ駆動回路13は、
PWM(pulse widthmodulatio
n)回路を介して、移動物体の画像データ37と基準画
像データ36からの偏差が最小か、またはある範囲内に
収まるように前記水平移動用直流モータ20を駆動し、
移動物体を追跡する。なお、移動物体が垂直方向に移動
する場合は垂直移動用直流モータ21を駆動する。
【0010】前記移動物体追尾機構14の水平方向への
移動は図3に示すように、水平移動用直流モータ20が
駆動して、水平移動用ギヤ27を介して水平方向用ギヤ
29を回転させ、外球25を所定方向に回動させる。垂
直方向には、垂直移動用直流モータ21が駆動して、垂
直移動用ギヤ34の回転により垂直方向用ギヤ33を介
して内球26と共にCCDカメラ11を所定の垂直方向
に回転させ、基準画像データ36と移動物体の画像デー
タ37との偏差が一定の範囲に収まるようにする。更
に、該CCDカメラ11の動きは水平方向については水
平移動用エンコーダ22により、垂直方向については垂
直移動用エンコーダ23によりパルス信号として図1に
示すパラレルI/Oボード17を介してファジィコント
ローラ18に送られ、絶えずCCDカメラ11の位置関
係が把握される。従って、画像データ37のサンプリン
グ間隔毎にこの動作を繰り返し移動物体を追尾すること
ができる。
【0011】ここで、ファジィコントローラ18の機能
について画像データ一例として長方形の物体の画像デー
タ37が移動する場合の対応について図4及び図5を用
いて概略を説明する。図4に示すように長方形の画像デ
ータ37が基準画像データ36に対して水平移動した場
合、移動前後の画像の偏差eとその変化分Δeを計算す
る。これらを図5に示すファジィコントローラ18への
入力として加え、出力として水平移動用直流モータ20
及び垂直移動用直流モータ21(垂直移動の場合)を駆
動させるためのパルスを得る。即ち、e、Δeを三角型
メンバーシップ関数を持つファジィ量と見做し複数個
(本実施例では6個)のファジィ制御ルールを用いてミ
ニマックス法により適合度と重心を求め出力ファジィ量
である水平方向及び垂直方向への移動量のパルスの値を
計算し、モータ駆動回路13のPWM回路に加える。そ
れにより移動する長方形の画像データ37の物体を精度
よく追尾できる。
【0012】前記ファジィコントローラ18の機能を更
に詳しく説明する。入力画像が(12×15)画素の任
意の点を(i,j)とする。前記長方形の物体の基準画
像データ36をf(i,j)、Tサンプリング時間後の
移動画像の画像データ37をf(i+Δi,j)とす
る。斜線部の画像すなわち、偏差e(i,j)及びその
時間変化分Δe(i,j)を以下の(1)及び(2)式
を用いて計算する。 e(i,j)=f(i+Δi,j)−f(i,j) (1) Δe(i,j)=(e(i+Δi,j)−e(i,j))/T (2) 該e及びΔeの二つの入力及び回転角度入力を用いてフ
ァジィコントローラ18により水平移動用直流モータ2
0を動かすためのパルス幅、(垂直移動をも行う場合は
垂直移動用直流モータ21を動かすためのパルス幅をも
含む)を出力し、モータ駆動回路13のPWM回路に加
えることにより目標移動物体を自由自在に追尾すること
ができる。
【0013】前記ファジィコントローラ18はeとΔe
及び回転角度が所定の仕様、例えば、1例としてそれが
ある範囲内の値を取るような仕様で設計する。更に、フ
ァジィ制御則として6個の制御則を用いる。いま水平移
動した場合についてファジィコントローラ18を用いた
追尾について説明したが一般の動きをする移動物体の追
尾法によってもその原理は同じである。以上のように本
発明の一実施例に係る移動物体識別追尾システム10
は、従来、人の目で識別していた物体の識別をニューラ
ルネットワーク19で行うことができ、更にファジィコ
ントローラ18による移動物体追尾機構14を備えてい
るので空間の移動物体を自由自在に精度よく追尾するこ
とが可能であり、従来にない新しい識別追尾装置として
その利用分野は広く、その波及効果は大なるものがあ
る。
【0014】
【発明の効果】請求項1記載の移動物体識別追尾システ
ムにおいては、移動物体をテレビカメラを用いて撮像
し、該撮像した画像をニューラルネットワークを通して
識別し、更に、コントローラによりモータ駆動回路を介
して移動物体追尾機構を駆動して前記テレビカメラが移
動物体を追尾するので、容易に移動物体の識別を行い、
該移動物体の状態が変化しても自由自在に且つ高精度で
追尾することが可能である。
【図面の簡単な説明】
【図1】本発明の一実施例に係る移動物体識別追尾シス
テムの概略ブロック図である。
【図2】同ハード面の概略ブロック図である。
【図3】本発明の一実施例に係る移動物体識別追尾シス
テムに用いる移動物体追尾機構の断面図である。
【図4】画像データ処理の説明図である。
【図5】ファジィコントローラの入出力を示す説明図で
ある。
【符号の説明】 10 移動物体識別追尾システム 11 CCDカメラ 12 マイクロコンピュータシステム 13 モータ駆動回路 14 移動物体追尾機構 15 CPUバス 16 ビデオI/Fボード 17 パラレルI/Oボード 18 ファジィコントローラ 19 ニューラルネットワーク 20 水平移動用直流モータ 21 垂直移動用直流モータ 22 水平移動用エンコーダ 23 垂直移動用エンコーダ 24 架台 25 外球 26 内球 27 水平移動用ギヤ 28 水平移動用ギヤ 29 水平方向用ギヤ 30 水平方向用軸 31 垂直方向用軸 32 垂直方向用軸 33 垂直方向用ギヤ 34 垂直移動用ギヤ 35 垂直移動用ギヤ 36 基準画像データ 37 画像データ 38 識別処理 39 基準回転角度

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 予めニューラルネットワークに基準画像
    データを学習させ、移動物体をテレビカメラで撮像し、
    該テレビカメラにより取り込んだ画像データを、前記ニ
    ューラルネットワークを通して識別し、一方、コントロ
    ーラにより画像データと基準画像との誤差及びその変化
    分、更にテレビカメラの回転角度データと基準回転角度
    データとの誤差及びその変化分を計算しモータ駆動回路
    を介して移動物体追尾機構を駆動し、前記テレビカメラ
    で移動物体を追尾することを特徴とする移動物体識別追
    尾システム。
JP07514192A 1992-02-25 1992-02-25 移動物体識別追尾システム Expired - Fee Related JP3254241B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07514192A JP3254241B2 (ja) 1992-02-25 1992-02-25 移動物体識別追尾システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07514192A JP3254241B2 (ja) 1992-02-25 1992-02-25 移動物体識別追尾システム

Publications (2)

Publication Number Publication Date
JPH05233062A true JPH05233062A (ja) 1993-09-10
JP3254241B2 JP3254241B2 (ja) 2002-02-04

Family

ID=13567625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07514192A Expired - Fee Related JP3254241B2 (ja) 1992-02-25 1992-02-25 移動物体識別追尾システム

Country Status (1)

Country Link
JP (1) JP3254241B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778028A (ja) * 1993-06-18 1995-03-20 Masanori Sugisaka 自立走行車
EP1274031A2 (en) * 2001-07-06 2003-01-08 Hitachi, Ltd. Facility management system based on circulation information
JP2009211294A (ja) * 2008-03-03 2009-09-17 Nippon Hoso Kyokai <Nhk> ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778028A (ja) * 1993-06-18 1995-03-20 Masanori Sugisaka 自立走行車
EP1274031A2 (en) * 2001-07-06 2003-01-08 Hitachi, Ltd. Facility management system based on circulation information
EP1274031A3 (en) * 2001-07-06 2004-03-24 Hitachi, Ltd. Facility management system based on circulation information
JP2009211294A (ja) * 2008-03-03 2009-09-17 Nippon Hoso Kyokai <Nhk> ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム

Also Published As

Publication number Publication date
JP3254241B2 (ja) 2002-02-04

Similar Documents

Publication Publication Date Title
JPH05233062A (ja) 移動物体識別追尾システム
Piaggio et al. An optical-flow person following behaviour
Hasan et al. Implementation of vision based object tracking robot
CN113890972A (zh) 一种监控区域目标跟踪系统
Torkaman et al. Real-time visual tracking of a moving object using pan and tilt platform: A Kalman filter approach
Kebir et al. Smart robot navigation using rgb-d camera
Liu et al. Sensor network based workcell for industrial robots
Chao et al. Visually-guided obstacle avoidance
Kuo et al. Development of active IR-based surgical marker tracking and positioning systems
Abdellatif Color-based object tracking and following for mobile service robots
Lee et al. Implementation of a Fuzzy Control Based Intelligent Robot Fish.
Sali et al. Smart Buggy: An IoT Based Smart Surveillance Robotic Car Using Raspberry Pi
Manigandan et al. Wireless vision based moving object tracking robot through perceptual color space
Abdellatif et al. Development of a Target Following Mobile Robot Using Fuzzy Logic Control
Sheu et al. Implementation of a following wheel robot featuring stereoscopic vision
Guo et al. Research and Implementation of an OpenMV-Based Target Edge Detection and Tracking System
Rae et al. 3d real-time tracking of points of interest based on zero-disparity filtering
Holcomb Machine Learning Through Mimicry and Association
Adetoyi et al. Secure Dual-mode Robotic Intrusion Detection System for Remote Surveillance
Godber et al. Machine vision using line-scan sensors
Sulthana et al. Subject tracking robotic manipulator using pan-tilt mechanism
Abdellatif Behavior fusion for visually-guided service robots
Jin Moving Object Trajectory based on Kohenen Network for Efficient Navigation of Mobile Robot
Ho et al. Real-time tracking and stereo vision-based control of a goldfish-catching system
Pajaziti et al. Development of a Vehicle for Driving with Convolutional Neural Network

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081122

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20091122

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20101122

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees