JPS61284681A - 移動体の追跡装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はテレビカメラ等の撮像装置を用いて移動体を自
動的に追跡する移動体の追跡装置に関する。

［従来の技術〕 従来、移動体の追跡装置としては、相関法を用いて逐次
移動体の位置を検出するものがある・この検出方法は、
移動体または移動体の一部を目標とし、その目標を含む
参照パターンを記憶し、この参照パターンと同じ大きさ
の画面を撮影中の１画面中から７１次切り出し、両者の
相関をとり、その相関が最大となる画面の切り出し位置
を求め、次にその切り出された画面を新たな参照パター
ンとして記憶し、新たに撮影中の画面において上記と同
様にして相関が最大となる画面の切り出し位置を求め、
これを繰り返し実行することによる移動体の位置を順次
求めていくものである。

上記相関演算に際して、画像データが濃淡レベル（グレ
イレベル）のときには演算が複雑とナリ、映像信号〔６
０フレーム／禦〕の１７レームに同一１−て演算処理を
行なうことは困娠であったが、画像データが白又黒の２
値レベルで表現されていると相関演算の掛は算が排他Ｏ
Ｒ０論理演算で可能となるため、映像信号と同期して演
算処理することが可能であった。

〔発明が解決しようとする問題点〕

しかし、画像な２値化して処理する手法は、照明が任意
にコントロールできる撮影条件ならば適用できるが、屋
外のような環境下では画像を２値化しても期待できる結
果が得られない。

したがって、画＊ｆｔ濃淡レベルにして処理する必要が
あるが、現在のコンビーータでは前述したようにその処
理速度が映像信号に追いつけないという問題がある。

本発明は上記実情に鑑みてなされたもので、濃淡レベル
で表現される＃Ｊ像に対してもリアルタイムに移動体の
位置を検出しながら移動体を追跡することができる移動
体の追跡装置を提供することを目的とする。

〔問題点を解決するための手段および作用〕本発明は、
演算が必要な部分に演算回路を並べ並列処理を行なうこ
とにより高速化を図ることを可能にしたもので、移動体
を含む所定の視野の映像信号を所定時間毎に順次ム／Ｄ
変換し、この人／Ｄ変換した画像データを、移動体に関
連する所定数の画像データである参照パターンと同じ大
きさの画面Ｊ）画像データを撮影中の１画面中から切り
出すべく配列したシフトレジスタ群に入力し、このシフ
トレジスタ群からの画像データと上記参照パターンの画
像データとの積和演算を並列に実行し、この積和演算の
最大となる時点から移動体の画面中の位置を検出し、そ
の位置に関連してその画面中から新たな参照パターンを
抽出し、以下同様にして抽出した参照パターンに基づい
て次の撮影画面中から移動体の位置を検出することＫよ
り移動体を追跡するようにしている。

〔実施例〕

以下、本発明を添付図面を参照して詳細に説明する。

Ｗｃ１図は本発明による移動体の追跡装置の一実施例を
示すブロック図で、移動体の検出に際して比較対照する
画素数を８×８にした場合に関して示している。

同図において、ＴＶカメラ１０は移動体を含む所定の視
野を撮影して映像信号を出力するもので、レンズ１１、
撮像管１２、ビデオアンプ１３、混合器１４および同期
信号発生回路１５から構成されている。レンズ１１を介
して上記視野から入射する光は、撮像管１２のイメージ
部に結像し、撮像管１２はそのイメージ部を走査して映
像信号を出力する。この映像信号はビデオアンプ１３で
増幅されたのち、混合器１４に加えられる。混合器１４
は、他の入力に同期信号発生回路１５から同期パルスが
加えられるようになってどり、入力する映像信号に帰線
消去信号をＸ畳し、その消去期間に同期パルスな合成し
て複合映像信号を出力する。

この複合映像信号は、Ａ／Ｄ変換器２０に加えられ、こ
こで同期分離回路２１から加わる所定のサンプリングパ
ルスに同期して上記同期信号を除いた映像信号が、例え
ば８ピツ）　（２５６階調）の画像データに変換される
。なお、ここでのサンブリフグ速度は、画像をどれだけ
細かく入力するかによって決定され、例えば１水平走査
線の画素数を２５６とした場合には％　　１６５ｎ□□
□となる。

同期分離回路２１からのＡ　／　Ｄ変換のタイミングを
示すサンプリングパルスはカウンタ２２に加えられる。

カウンタ２２はム／Ｄ変換された画像データの画面上の
Ｘ方向位置を検出するもので、１水平走査縁の画素数と
同じ数だけパルスを計数する毎にパルス信号をカウンタ
２３に加えるとともに、再び１から計数を開始するよう
に構成されている。カウンタ２３はＡ／Ｄ変侠された画
像データの画面上のＹ方向位置を検出するもので、１画
面の水平走査線の数と同じ数だけ上記カウンタ２２から
加わるノ（ルスな計数する毎に、再びｌから計数を開始
するように構成されている。なお、このカウンタ２３は
水平同期信号を計数するようにしてもよい。

ム／Ｄ変換された画像データは、シフトレジスタ３０お
よび切替スイッチ３１に加えられるＯこのシフトレジス
タ３０、切替スイッチ３１、およびＴＶカメラ１０から
複合映像信号が入力するモニタテレビ３２、切替スイッ
チ３３は移動体の追跡を開始する際に、最初の移動体の
位置を教示して追跡しようとする移動体に関連する８×
８画Ｘ数の画像データ（参照パターン）を記憶させると
きに用いられるもので、その詳細については後述する。

なお、移動体の追跡中は、スイッチ３１の可動振片３１
０は接点３１６Ｌに接続され、またスィッチ３３０可動
接片３３Ｇは接点３３ａに接続される。

スイッチ３１から出力される画像データは、直列に接続
された８つのシフトレジスタ４１〜４８の先ｍ（７）シ
フトレジスタ４１に入力される。

これらのシフトレジスタ４１〜４８はそれぞれ１水平走
査線の画素数と同じ数のピット数を有してＨす、前記画
像データの入力タイミング毎に各ビットの画微データを
１ビツトづつシフトする・したがって、例えばシフトレ
ジスタ４２に入力する画像データは、シフトレジスタ４
１に入力する画像データよりも１走査線分遅れたものと
なる。

シフトレジスタ４１は８個連続する各ビットの出力であ
る８個の画像データを演算回路５２に出力し、同様にシ
フトレジスタ４２〜４８も８個連続する各ビットの出力
である８個の画像データをそれぞれ演算回路５２〜５８
に出力する。すなわち、シフトレジスタ４１〜４８から
演算回路５１〜５８に出力される画像データは、１画面
から切り出した８×８の部品画面の画像データを示す。

演′ＪＬ（ｇｌ回路１〜５８は、それぞれ−画−面の走
査終了毎に出力されるカウンタ２３かものパルえられる
ようになっている。

次ニ、上記り７トレジスタ４１および演算回路５１につ
いて第２図を参照にして詳細に説明する。

シフトレジスタ４１は、１水平走査線の画素数と同数の
ｎ個の１ビツトＯクフトレジスタ５１１〜５１ｎから構
成され、これらのシフトレジスタのうち８個の７フトレ
ジスタ５１１〜５１８の各出力である画像データをそれ
ぞれ乗算回路５１５ａ〜５１５ｈの一方の入力に加える
。

乗算回路５１５ａ〜５１５ｈの他方の入力には、それぞ
れレジスタ５１４ａ〜５１４ｈに記憶されている参照パ
ターン（８×８画素）の１行分の８個の画像データが加
えられており、乗算回路５１５ａ〜５１５ｈはそれぞれ
入力する画像データを宋真し、その槓を示すデータを出
力する。これらのデータは加算回路５１５１〜５１５ｏ
によって総和がとられる。

ここで、上記レジスタ５１４ａ〜５１４ｈに記憶さぜム
公ロバｌ−ノとしての曲１像データレエ、切替スイッチ
３３からの信号およびカウンタ２３からの信号に基づい
てシフトレジスタ４１１〜４１８から出力される画像デ
ータが取り込まれたものである。いま、移動体の追跡を
開始する場合における上記シフトレジスタ５１５ａ〜５
１５ｂに記憶させる画像データについて説明する。

この場合、切替スイッチ３３（第１図）の可動接片３３
ａを接点３３１）に接続し、モニタテレビ３２の画面上
における移動体に関連する画像をライトペン３２ａで指
示する。なお、この実施例では８行８列〔縦方向に関し
ては走査線８本分）の大きさの部分画像を参照パターン
としているため、上記指示する画像としてはその部分画
像の大きさの範囲内で明暗パターンが明瞭なものが好ま
しい。

このようにして、ライトペン３２＆で追跡しよ５とする
部分画像が指示されると、モニタテレビ３２はその指示
された位置を検出し、一画面の定量中の上記検出位置に
対応する時点に検出信号をスイッチ３３を介して各演算
回路５１〜５８に出力する。

各演算回路５１〜５８は同一構成のため第２図の演算回
路５１に関して説明すると、上記切替スイッチ３３から
の信号はスイッチ５１１ａ〜５１１ｈをオンにし、その
時点においてシフトレジスタ４１１〜４１８から出力さ
れている画像データをそれぞれレジスタ５１２ａ〜５１
２ｈに格納する。続いて、一画面分の走査が終了すると
カウンタ２３かもパルス信号が出力されるが、このカウ
ンタ２３からの信号によってスイッチ５１３ａ〜５１３
ｈはオンとなり、レジスタ５１２＆〜５１２ｈの記憶内
容なエレジスタ５１４ａ〜５１４ｈに移される。

なＳｌ　ライトペン３２ａで追跡しようとする部分画像
を指示する場合、通常その部分画像の中心位置を指示す
るため、その中心位置を基準として８Ｘ８の画像を１画
面中から切り出すためには、ライトペン３２Ｌで指示さ
れた位置よりも４走査線＋４画素分前の位置から画像デ
ータを記憶する必景がある。したがって、この場合には
切替スイッチ３１の可１１ｂ接片３１Ｃを接点３１１）
に接続し、４走査線＋４画素分だけ画像データを遅らせ
るシフトレジスタ３０を介して画像データを入力するよ
うにしておき、移動体の追跡を開始するときに切替スイ
ッチ３１の可動接片３Ｃを接点３１ａに接続するように
すればよい。

このようにして、演算回路５１〜５８において参照パタ
ーンの画像データとこの参照パターンと同じ大きさで順
次切り出される部分画像の画像データとの積和演算が行
なわれ、各演算回路５１〜５８から出力される演算結果
は、更に加算回路６１〜６７によって総和がとられ、そ
の目相を示すデータはそれぞれＤ／ム変換器７０、比較
器７４、スイッチ７５に加えられる。なお、上記のよう
にして積和演算して得た値は、８×８の入力画像データ
と８×８の参照パターンの画像データとの一致の度合を
示し、似ているほど大きな値となる。また、Ａ／Ｄ変換
された画像データが入力する毎に、加算回路６７からは
上記積和演算した結果を示すデータが出力される。

Ｄ／ム変換器７０は、画像データのサンプリング速度と
同速度で入力する上記データをアナログ信号（映像信号
）に変換し、これを混合器７１に加える。混合器７１は
他の入力に同期信号発生回路７２から同期パルスが加え
られており、これと上記映像信号とを混合して複合映像
信号を出力する。

この複合映像信号はモニタテレビ７３に加えられ、映し
出される。なお、この画面では、移動体が存在する画面
上の位置が明るくなり、他の部分は暗くなる。また、Ｄ
／ム変換器７０゜混合器７１、同期信号発生回路７２ｚ
よびモニタテレビ７３は上記演算回路などが正しく動作
しているか否かを確認するだめのもので、本発明の必須
の構成要素ではない。

比較器７４は他の入力にレジスタ７６からのデータが加
えられるようになっており、加算回路６７から加わるデ
ータがレジスタ７６ρ）う加わるデータよりも犬゛きく
なると信号″１＃を出力し、スイッチ７５馨オンにし、
また切替スイツチ３３を介して各演算回路５１〜５８に
信号を出力するとともに、スイッチ２４．２５をオンに
する。

スイッチ７５がオンになると、そのときに加算回路６７
から出力されているデータがレジスタ７６に加えられ、
レジスタ７６の内容が更新される。また、スイッチ２４
および２５がオンになると、そのときのカウンタ２２お
よび２３の計数値がレジスタ２６および２７に加えられ
、これらのレジスタ２６および２７の内容が更新される
。

したがって、１画面分の走査が完了すると、その画面中
で最も積和演算結果の大きな値がレジスタ７６’ｆＣ格
納され、そのときの画像データの画面上のＸ方向位置お
よびＹ方向位置がそれぞれレジスタ２６および２７に格
納されることＫなる。

また、切替スイッチ３３を介して各演算回路５１〜５８
に加わる信号は、前述したように各演、ｇｔａ路５１〜
５８に対応するシフトレジスタ４１〜４８から出力され
る画像データを各演算回路５１〜５８の第１段目のレジ
スタに取り込むためのスイッチをオンにする。すなわち
、演算回路５１においては、スイッチ５１１ａ〜５１１
ｈをオンにしてシフトレジスタ４１１〜４１８から出力
される画像データをレジスタ５１２ａ〜５１２ｈＫ取り
込む。

したがって、１画面分の走査が完了すると、その画面中
で最も積和演算結果の大きな値を示したときの画像デー
タが第１段目のレジスタに格納される。そして、１画面
分の走査が完了してカウンタ２３からの信号が加えられ
ると、第１段目のレジスタに格納された画像データは第
２段目のレジスタＣ演算回路５１で示すとレジスタ５１
４ａ　〜５ｔ４ｈ（第２図））に移され、このレジスタ
に格納された画像データが新たな参照パターンとなる。

なお、レジスタ７６は１画面分の積和演算が終了するご
とにリセットされるようになっている。また、移動体の
初期位置を指定する手段としては、モニタテレビ３２、
ライドベン３２１Ｌを用いたものに限らず、例えば予め
追跡しようとする参照パターンをＲＯＭ又はＲＡＭＫ記
憶し、その参照パターンを用いて自動的に移動体の初期
位置を検出するものでもよい。更に、シフトレジスタの
構成も本実施例に限らず、要は画面中から部分画像を切
り出すべ（配列したものであればよい。

〔発明の効果〕

以上説明したように本発明によれば、移動体の位置検出
演算に必要な部分に演算回路を並べ並列処理を行なうよ
うにしたため、処理の高速化を図ることができ、リアル
タイムに移動体の位置を検出して移動体を追跡すること
ができる。

特に、濃淡レベルで表現された画像のように入力データ
景が太き（なる場合に本発明装置は有効である。

【図面の簡単な説明】

第１図は本発明による移動体の追跡装置の一実施例を示
したブロック図、第２図は第１図の一部を詳細に示した
ブロック図である。 Ｉ　Ｑ−Ｔ　Ｖカメラ、２　Ｑ−Ａ　／　Ｄ　変換器、
２１・・・同期分離回路、２２．２３・−カウンタ、２
４，２５゜７５・・・スイッチ、２６，２７．５１２ａ
〜５１２ｎ、５１４ａ〜５１４ｈ、７６・・・レジスタ
、３０．４１〜４８・・・シフトレジスタ、３１．３３
・・・切替スイッチ、３２．７３・・・モニタテレビ、
５１〜５８−・演算回路、５１５ａ〜５１５ｈ・・・乗
算回路、５１５１〜５１５０，６］、〜６７・−加算回
路、７４・・・比較器。

Claims (2)

【特許請求の範囲】
1. （１）移動体を含む所定の視野を撮影して映像信号を出
   力する撮像手段と、前記映像信号を所定時間毎にＡ／Ｄ
   変換して画像データを順次出力する手段と、前記移動体
   に関連するｍ×ｎ画素数の画像データを該移動体の参照
   パターンとして記憶するレジスタと、前記移動体の画面
   中の初期位置を指定し、その指定位置を基準にして前記
   画面中からｍ×ｎ画素数の画像データを切り出し、それ
   を前記レジスタに格納する手段と、前記Ａ／Ｄ変換され
   た画像データを順次入力し、ｍ×ｎ画素数の画像データ
   を順次画面中から切り出すべく配列したシフトレジスタ
   群と、このシフトレジスタ群から切り出されるｍ×ｎ個
   の画像データと前記レジスタに格納したｍ×ｎ個の画像
   データとを入力し、それぞれ対応する画素位置における
   画像データを乗算するｎ×ｍ個の乗算回路と、このｎ×
   ｍ個の乗算回路の出力の総和をとる加算回路と、１画面
   分の画像データの入力後、前記加算回路の出力が最大と
   なるときの該画像データの入力時点に基づき、その画面
   中から前記参照パターンと最も一致の度合の大きいｍ×
   ｎ個の画像データの基準となる位置を検出する位置検出
   手段と、前記レジスタに格納された画像データを、前記
   位置検出手段の検出位置を基準として得たその画面中の
   ｍ×ｎ画素数の画像データに更新しこれを新たな参照パ
   ターンとする手段とを具えた移動体の追跡装置。
2. （２）前記シフトレジスタ群は、１水平走査線の画素数
   と等しいビット数のシフトレジスタがｍ個直列に接続さ
   れて構成され、前記Ａ／Ｄ変換された画像データを最先
   のシフトレジスタから順次入力し、各シフトレジスタに
   おける同一ビット位置からｎ個連続する各ビットから前
   記ｍ×ｎ個の画像データを出力する特許請求の範囲第（
   １）項記載の移動体の追跡装置。