JPS60209104A - 移動体の追跡方法 - Google Patents

移動体の追跡方法

Info

Publication number
JPS60209104A
JPS60209104A JP59065608A JP6560884A JPS60209104A JP S60209104 A JPS60209104 A JP S60209104A JP 59065608 A JP59065608 A JP 59065608A JP 6560884 A JP6560884 A JP 6560884A JP S60209104 A JPS60209104 A JP S60209104A
Authority
JP
Japan
Prior art keywords
image
partial
time
correlation
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP59065608A
Other languages
English (en)
Inventor
Eisaku Yamada
山田 栄作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP59065608A priority Critical patent/JPS60209104A/ja
Publication of JPS60209104A publication Critical patent/JPS60209104A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は、テレビカメラ等の撮像装置を用いて移動体を
自動的に追跡する移動体の追跡方法忙関する。
移動体の動きを非接触で捕えるには、主に光を利用した
方法がとられている。位置を計測する方法としては、ポ
ジションセンサと称される光センサ等を用いるものがあ
るが、広く利用されているのは、テレビカメラによる方
法である。
従来、テレビカメラを用いて移動体を追跡する方法は5
移動体にIJD等の発光体を取り付け、テレビカメラに
よって撮影された画面中から前記発光体に相当する最も
明るい部分を検出し、この検出を逐次実行することによ
り移動体の追跡を行なうようにしている。
しかし、かかる方法は、簡単に実現できる利点があるが
、目標(発光体)以外に明るい部分が画面に現われると
、その追跡が不可能となる場合がある。したがって、外
乱の多い屋外等ではこの方法はその実施に問題があった
本発明は上記実情に鑑みてなされたもので、光学的な環
境の悪い場所でも確実に移動体の動きを捕えることがで
き、かつ処理時間の短縮化を図ることができる移動体の
追跡方法を提供することを目的とする。
この発明によれば、時間的に連続した画像では、コマ間
の相関が高いことを利用し、移動体を撮影した一画面分
の画像を微分処理して鮮鋭化し、その鮮鋭化した画像か
ら前記移動体の画像の一部である独特なパターン画像を
含む所定領域の部分画像を取り出し、所定時間経過後に
撮影し微分処理して鮮鋭化した画面より前記と同一位置
の部分画像を取り出し、両部分画像の相互相関をめ、こ
の相互相関が最大となる両部分画像のずれ量から移動体
の移動位置を検出し、この移動位置の部分画像を取り出
し、再び所定時間経過後に撮影し微分処理して鮮鋭化し
た画面より前記検出した移動位置の部分画像を取り出し
、再び両部分画像の相互相関をめ、上記と同様にして移
動体の移動位置を検出し、これを繰り返し実行すること
により移動体を追跡するようにしている。
以下、本発明を添付図面を参照して詳細に説明する。
まず、本発明方法を原理的に説明する。第1図(a)は
TVカメラによって撮影された画面の一例を示すもので
、この画面には移動体(ブルドーザ)が映し出されてい
る。この画面よりブルドーザの画像の一部である独特な
パターン画像を含む画像(部分画像)を抽出する(第1
図(b))。そして、ブルドーザの移動にともなって前
記パターン画像の追跡を行なう。
いま、任意の時刻における第2図の実線で囲んだ部分画
像の中心位置(移動位置)の座標を(xi。
yi)とし、所定時間Δを経過後、ブルドーザの移動に
ともなって前記座標が(Xi+l+Yi+1)に移動し
た場合について説明する。
この所定時間Δを経過後の前記座標間のずれ量ΔX、Δ
yは、ブルドーザの移動量に対応するものである。
さて、このずれ量ΔX、Δyをめる際に、第2図に示し
たノ5ターン画像をその中心で捕えた任意の時刻におけ
る部分画像と、所定時間Δを経過後の同一位置に゛おけ
る部分画像との相互相関を演算し、その相関のピーク値
が現われる位置力1らずれ量をめる。したがって、所定
時間経過後の実際の移動位置(Xiet、yi+1)は
、となる。
続いて、この移動位置(Xi+1+Yi+1)を基準に
した部分画像と、所定時間経過後の画面の上記位置と同
一位置から取り出した部分画像との相関から上記と同様
にして移動位置をめる。これを繰り返し実行することに
よりパターン画像(ブルドーザ)の追跡を行なうように
している。
また、被写体(パターン画像)とその背景とのコントラ
ストが十分でない場合には、上記相関値のSN比が劣化
し、相関関数に鋭いピーク値が生じないという問題があ
るが、本発明では、これを解決するために、映像信号を
微分処理して画像の鮮鋭化を図り、もって相関結果のピ
ーク値を鋭くすることにより、′被写体の位置変化を検
出しゃすくし、被写体の明るさや、コントラストにあま
り影響されない追跡を行なうことができるようにしてい
る。
次に、本発明方法を第3図に示す実施例にしたがって具
体的に説明する。
第1図において、テレビカメラ1は移動体の移動領域を
含む所定の視野で移動体を撮影し、そのビデオ信号をA
/D変換器2および同期分離回路3に出力する。同期分
離回路3は入力するビデオ信号から同期信号を分離し、
A/D変換器2は入力するビデオ信号を同期分離回路3
からの同期信号に同期して1画素が例えば16階調の画
像データに変換し、これを微分回路4に出力する。
A/D変換された画像データの微分を行なうためには差
分演算を行なう。主に利用される差分演算は、 1次差分 Δf(i)=i(i)−f(i−1)・・・
・・・・・・(2)2次差分 Δ”(i−1)=Qi)
” (1−2)−2f(i−1)・・・・・・・・・(
3) がある。上記微分回路4は、第(2)式に示す差分演算
を行なうもので、その詳細は第4図に示す。
第4図において、A/D変換器2から出力されるある1
つの画像データf(i)はレジスタ4aおよび減算器4
bに加えられる。レジスタ4aは画像データを1画素分
遅延させるもので、1画素分前の画像データf(i−i
)を減算器4bに出力する。
減算器4bは2人力より前記第(2)式に示す減算を行
ない、1次差分Δf(i)を示す画像データを出力する
第5図は、前記第(3)式に示す2次差分の差分演算を
行なう微分回路の他の実施例を示すもので、A/D変換
器2から出力されるある1つの画像データf (i)は
レジスタ41および減算器42に加えられる。レジスタ
41は画像データを1画素分遅延させるもので、1画素
分前の画像データf(i−1)をレジスタ43およびシ
フトレジスタ必に出力する。
レジスタ43はレジスタ41と同様に画像データを1画
素分遅延させるもので、更に1画素分前の画像データf
(i−2)を減算器45に出力する。
シフトレジスタ44は、入力画像データf(i−1)を
1ビツトシフトして2倍し、これを減算器42に出力す
る。減算器42は、画像データ2f(i−1)から画像
データf (i)を減算し、その差分を減算器45に出
力する。減算器45はレジスタ43からの画像データよ
り前記減算器45からの差分値を減算し、2次差分Δ2
f(j−1)を示す画像データを出力する。
さて、微分回路4により上記のようにして微分された画
像データは切換スイッチ5.に加えられる。
切換スイッチ5は、同期分離回路3から加えられる1フ
レーム終了毎の信号によりその可動接片5aを接点5b
と接点5Cとに交互に切り換え接続し、入力する微分さ
れ鮮鋭化された画像データを第1画像メモリ6および第
2画像メモリ7に出力する。第1画像メモリ6および第
2画像メモリ7はそれぞれ一画面分の画像データを記憶
するもので、各メモリの記憶内容は切換スイッチ5が切
り換えられる毎に交互に新しい画面の画像データに更新
される。したがって、第1画像メモリ6と第2画像メモ
リ7との画像データ間には、1フレ一ム時間を1/30
秒とすると、−画面取り込むための所定時間Δt(=1
/30秒)の時間差が生じる。
前記第1画像メモリ6および第2画像メモリ7からそれ
ぞれ抽出される部分画像の位置は、メモリコントローラ
8によって制御される。すなわち、メモ11コントロー
ラ8は、移動位置算出回路8からパターン画像の中心位
置座標(x、y)を示す信号を、該パターン画像の移動
位置を示す信号として入力し、この位置信号に基づいて
前記位置(x、y)を中心とする所定画素の部分画像を
抽出するための制御信号を第1画像メモリ6および第2
画像メモリ7に出力する。
いま、時刻t0の時点でパターン画像が位置(xo。
yo )にあり、この時点の画面が第1画像メモリ6に
記憶され、所定時間経過後の時刻1t(=i。
+Δt)における画面が第2画像メモリ7に記憶されて
いる場合について説明する。まず、第1画像メモリ6に
記憶されている画像データからその画面をモニタテレビ
(図示せず)に映し出し、ライトペン等を用い。てパタ
ーン画像の位t(xo。
yo )を指定する。この位置(xo、yo)を示す信
号は、初期値として移動位置算出回路9に入力され、そ
のままメモリコントローラ8に加えられる。
メモリコントローラ8は、入力する位置(x。
y)を示す信号に基づいて該移動位置を中心とする部分
画像を抽出すべく第1画像メモリ6および第2画像メモ
リ7に制御信号を出力する。
第1画像メモリ6および第2画像メモリ7から抽出され
た部分画像のデータは、それぞれ相関演算器10のFF
T装置11および12に加えられ、ここで2次元フーリ
エ変換され、両画像からの結果が対応する周波数成分ご
とに掛算器13で掛算され、・この結果がIPFT装置
14で逆フーリエ変換される。
逆フーリエ変換されたデータは最大値検出器15に加え
られ、ここで両部分画像データの相互相関が最大となる
第1画像メモリ6の部分画像に対する第2画像メモリ7
の部分画像のずれ量(ΔX。
Δy)がめられ、これに対応する信号が移動位置算出回
路9に送出される。
移動位置算出回路9は、初期値(xo * y6 )に
前記ずれ量(ΔX、Δy)を加算し、この加算値を示す
信号を、Δを時間後のパターン画像の位置(x、y)を
示す信号として出力する。
この位置(x、y)を示す信号は、メモリコントローラ
8に加えられる。メモリコントローラ8は、前記と同様
にしてその入力信号に基づいて第1画像メモリ6および
第2画像メモリ7からそれぞれ部分画像を抽出すべく制
御信号を出力する。
なお、この場合には、切換スイッチ5の可動接片5aは
接点5bに切り換えられており、第1画像メモリ6には
新たな画面の画像データが記憶されている。
これらの部分画像から再び両者の相関をとり、相関が最
大となる第2画像メモリ7の部分画像に対する第1画像
メモリ6の部分画像のずれ量(ΔX。
Δy)をめ、これを現移動位置(x、y)に加算して新
たな移動位置をめる。
以上の処理を繰り返り実行することにより移動体を追跡
することができる。
なお、本実施例では、A/D変換された後の画像データ
を微分処理するようにしたが、TVカメラに微分回路を
設け、TVカメラより微分された映像信号を得るように
すれば、前述した微分回路4は不要となる。
この場合のTVカメラの回路の一実施例を第6図に示す
。同図において、TVカメラ加のレンズ21を介して入
射する光は、撮像管部のイメージ部に結像し、撮像管n
は、発振器nからのクロックを受けて動作する掃引回路
列の出力によってイメージ部を走査し、映像信号を出力
する。この映像信号はビデオアンプ5で増幅されたのち
、微分口、路かに加えられる。微分回路26は入力する
映像信号を微分し、これを混合器nに加える。混合器n
の他の入力には発振器nからのクロックを受けて同期パ
ルスを発生する同期信号発生回路から同期パルスが加え
られるようになっており、混合器nは微分された映像信
号に帰線消去信号を重畳し、その消去期間に同期パルス
を合成したビデオコンポジット信号を出力する。
以上説明したように本発明によれば、連続する画面間の
相関から移動体を追跡する際に、該画面を微分処理して
鮮鋭化を図っているため、光学的 −環境が悪く、また
被写体とその背景とのコントラストが十分でない場合で
も、良好な相関を得ることができ確実に移動体の動きを
捕えることができる。また、一画面より抽出した部分画
像間の相関演算のため処理時間の短縮化を図ることがで
きる。
【図面の簡単な説明】
第1図(a)はTVカメラによって撮影された画面の一
例を示す図、第1図(b)は第1図(a)から取り出さ
れる部分画像の拡大図、第2図は本発明方法を原理的に
説明するために用いた部分画像を示す図、第3図は本発
明方法の一実施例を示す図、第4図および第5図はそれ
ぞれ第3図の微分回路の実施例を示すブロック図、第6
図はTVカメラの実施例を示すブロック図である。 1.20・・・TVカメラ、2・・・A/D変換器、3
・・・同期分離回路、4,26.40・・・微分回路、
5・・・切換スイッチ、6・・・第1画像メモリ、7・
・・第2画像メモリ、8・・・メモリコントローラ、9
・・・移動位置算出回路、10・・・相関演算器、15
・・・最大値検出器。 第1図 (([) (b) 第2図 第4図 ム 第5図 0 第6図 0

Claims (3)

    【特許請求の範囲】
  1. (1) 移動体を所定の視野で撮影し、該撮影した一画
    面の画像を微分処理して鮮鋭化し、その鮮鋭化した画像
    から前記移動体の画像の一部である独特なパターン画像
    を含む所定領域の第1の部分画像の位置を指定し、該位
    置指定した時刻t。における前記第1の部分画像を基準
    にして該第1の部分画像と、所定時間Δを経過後の時刻
    t1c”to+Δt)に撮影し微分処理して鮮鋭化した
    画面より前記指定した位置と同一位置から取り出した第
    2の部分画像との相互相関をめ、該相互相関が最大とな
    る前記第1、第2の部分画像間のずれ量から基準画像の
    移動位置を検出し、次に時刻t1に撮影し微分処理して
    鮮鋭化した画面より前記検出した移動位置に基づいて取
    り出した部分画像を基準にして該部分画像と、時刻1.
     (=1.+Δt)に撮影し微分処理して鮮鋭化した画
    面より前記検出した移動位置と同一位置から取り出した
    第3の部分画像との相互相関をめ、同様にして基準画像
    の移動位置を検出し、これを繰り返し実行することによ
    り前記移動体を追跡するようにしたことを特徴とする移
    動体の追跡方法。
  2. (2)前記第1の部分画像の位置指定は、前記一画面分
    の画像をモニタテレビに映し出し、該モニタテレビ画面
    上で第1の部分画像の位置をライトペンによって指定す
    ることにより行なう特許請求の範囲第(1)項記載の移
    動体の追跡方法。
  3. (3)前記第1の部分画像の位置指定は、前記移動体の
    独特なパターン画像を予め記録しておき、このパター、
    ン画像と前記一画面分の画像との相互相関が最大となる
    該パターン画像の位置によって指定する特許請求の範囲
    第(1)項記載の移動体の追跡方法。
JP59065608A 1984-04-02 1984-04-02 移動体の追跡方法 Pending JPS60209104A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP59065608A JPS60209104A (ja) 1984-04-02 1984-04-02 移動体の追跡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP59065608A JPS60209104A (ja) 1984-04-02 1984-04-02 移動体の追跡方法

Publications (1)

Publication Number Publication Date
JPS60209104A true JPS60209104A (ja) 1985-10-21

Family

ID=13291892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP59065608A Pending JPS60209104A (ja) 1984-04-02 1984-04-02 移動体の追跡方法

Country Status (1)

Country Link
JP (1) JPS60209104A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01315884A (ja) * 1988-06-16 1989-12-20 Sony Corp パターン追跡方法
JPH06111018A (ja) * 1992-09-05 1994-04-22 Internatl Business Mach Corp <Ibm> イメージ処理システム
US6031568A (en) * 1997-09-11 2000-02-29 Fujitsu Limited Moving-target tracking apparatus
CN101943575A (zh) * 2010-07-07 2011-01-12 深圳市银星智能电器有限公司 一种移动平台用测试方法和测试系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01315884A (ja) * 1988-06-16 1989-12-20 Sony Corp パターン追跡方法
JPH06111018A (ja) * 1992-09-05 1994-04-22 Internatl Business Mach Corp <Ibm> イメージ処理システム
US6031568A (en) * 1997-09-11 2000-02-29 Fujitsu Limited Moving-target tracking apparatus
CN101943575A (zh) * 2010-07-07 2011-01-12 深圳市银星智能电器有限公司 一种移动平台用测试方法和测试系统

Similar Documents

Publication Publication Date Title
KR940009239B1 (ko) 2개 프레임 감산을 이용한 이동 표적 검출 장치 및 방법
EP0488723B1 (en) Movement vector detection apparatus
US6888566B2 (en) Method and apparatus for uniform lineal motion blur estimation using multiple exposures
CN110139031B (zh) 一种基于惯性感知的视频防抖系统及其工作方法
JP4831760B2 (ja) 3次元情報検出方法及びその装置
JPH082090B2 (ja) 画像動き補正装置
JP2012073997A (ja) 物体追尾装置、物体追尾方法およびそのプログラム
CN112399032B (zh) 一种基于检测器的脉冲式图像传感器的光流获取方法
CN111696044A (zh) 一种大场景动态视觉观测方法及装置
Dardelet et al. An event-by-event feature detection and tracking invariant to motion direction and velocity
JPH0614698B2 (ja) 自動追尾カメラ
JPS60209104A (ja) 移動体の追跡方法
Ovrén et al. Why would I want a gyroscope on my RGB-D sensor?
JP4231216B2 (ja) 仮想シーン撮影方法及びその装置
JP4469757B2 (ja) 画像処理装置
JP2011205388A (ja) 信号処理装置および方法、並びにプログラム
TWI314831B (ja)
JP2000175101A (ja) 自動追尾装置
JPS60195682A (ja) 移動体の追跡方法
JP3151652B2 (ja) 長い対象物の測定方法とその装置
CN113538504B (zh) 目标匀速移动场景中的跟踪目标显示方法和电子设备
JPS6021472A (ja) 移動体の追跡方法
JP2018174461A (ja) 画像処理装置、画像処理方法、及びプログラム
JPH05108827A (ja) 画像相関演算装置
JPS61126407A (ja) デイザ法を用いた移動体の追跡装置