JPH07334682A

JPH07334682A - 追尾装置

Info

Publication number: JPH07334682A
Application number: JP6126398A
Authority: JP
Inventors: Takashi Furubayashi; 貴古林
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 1994-06-08
Filing date: 1994-06-08
Publication date: 1995-12-22

Abstract

(57)【要約】【目的】追尾対象物に対するテンプレート画像の位置
補正を行なうことで、累積する追尾誤差を無くし、高精
度な追尾処理を図る。【構成】追尾対象物が撮像装置２１により撮像されて
Ａ／Ｄ変換器２３に送られ、１画面毎にフレームメモリ
２５に記憶される。フレームメモリ２５から出力された
ディジタル画像信号２６は、テンプレート設定回路２７
でテンプレート画像の設定を行ない、次に相関演算回路
２９は、次フレームのディジタル画像データとの間で相
関演算を行なう。相関演算値は最小値探索回路３１にお
いて最小値が探索され、追尾座標信号３２として出力さ
れる。追尾座標信号３２を基に直線検出回路３３は、追
尾対象物の輪郭を検出し、この輪郭から頂点検出回路３
５は追尾対象物の頂点座標を検出してテンプレート更新
回路３７に送る。テンプレート更新回路３７は頂点座標
を基にテンプレートの位置補正を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、相対的に移動する対
象物の追尾に用いられる追尾装置に関し、特に航空機が
滑走路に着陸するために必要な着陸誘導装置に使用され
る追尾装置に関する。

【０００２】

【従来の技術】航空機に搭載される着陸誘導装置に使用
される追尾装置は、一般的には図９に示すように構成さ
れている。同図において追尾対象物、すなわち滑走路は
撮像装置１によって撮像され、アナログビデオ信号２と
してＡ／Ｄ変換器３に送られてディジタルデータ信号４
に変換され、フレームメモリ５に１画面単位で一時的に
記憶される。フレームメモリ５から読み出された第Ｎフ
レームのディジタル画像信号６は、テンプレート設定回
路７に送られ、テンプレート設定回路７はディジタル画
像信号６を用いてテンプレート画像信号８を生成する。

【０００３】この過程は次のようになる。すなわち、読
み出されたディジタル画像信号６における画像データを
Ｆ（Ｘ，Ｙ）とし、Ｘ座標およびＹ座標をそれぞれ画像
の水平方向および垂直方向としてＦ（Ｘ，Ｙ）値が、輝
度に対する任意のビット長データ（通常は８ビット）で
あるとすると、テンプレート設定回路７は、図１０に示
すように、滑走路１５の重心（Ｘ_G ，Ｙ_G ）１６を中心
とした横方向Ｘ_T ，縦方向Ｙ_T の大きさのテンプレート
画像信号８を生成する。この信号は関数Ｔ（Ｘ，Ｙ）で
表わされるとすると、テンプレート設定回路７は以下の
演算を行なう。

【０００４】

【数１】

【０００５】生成されたテンプレート画像信号８、つま
りＴ（Ｘ，Ｙ）と第Ｎ＋１フレームのディジタル画像信
号６は、相関演算回路９に入力され、相関演算回路９は
以下の演算を行なう。

【０００６】

【数２】

【０００７】上記（２）式の演算によって図１１に示す
ように、算出された相関演算回路９からの相関画像信号
１０における信号値Ｃ（Ｘ_L ，Ｙ_L ）は、最小値探索回
路１１によって最小値Ｃ_min が探索され、その結果求め
られた座標（Ｘ_TR，Ｙ_TR）が追尾座標信号１２として送
出される。また、この追尾座標信号１２と上記フレーム
メモリ５から読み出された第Ｎ＋１フレームのディジタ
ル画像信号６は、テンプレート更新回路１３に入力さ
れ、テンプレート更新回路１３は、最小値探索回路１１
から出力された追尾座標信号１２、すなわち追尾座標値
（Ｘ_TR，Ｙ_TR）を中心点としてテンプレート画像信号
８、つまりＴ（Ｘ，Ｙ）の更新を行ない、更新テンプレ
ート画像信号１４として相関演算回路９に出力し、相関
演算回路９は更新テンプレート画像信号１４とフレーム
メモリ５からの第Ｎ＋２フレームのディジタル画像信号
６を基に、相関演算、最小値探索、テンプレート更新の
各処理を行ない、上記の処理を繰り返すことによって滑
走路１５の追尾を行なっていく。

【０００８】

【発明が解決しようとする課題】相対的に移動する対象
物の追尾に用いられる従来の追尾装置は、時間が経過す
ると共に、図１２に示されるように追尾対象物の背景ノ
イズ１７等による背景画像の変化、追尾対象物自体の輝
度変動、そして追尾対象物の回転運動成分によって上記
最小値Ｃ_min が影響を受け、正確な追尾位置と最小値Ｃ
_min とが一致せず、追尾誤差が累積し、新たに設定した
テンプレート画像の位置が追尾対象物からずれて追尾精
度が悪化してしまい、最悪の場合、この累積追尾誤差が
ロックオフを起こす原因となる。

【０００９】この発明は上記実情に鑑みてなされたもの
で、テンプレートの更新時において、設定されるテンプ
レートに対する位置補正機能を加えて累積追尾誤差のな
い高精度な追尾を可能にする追尾装置を提供することを
目的とする。

【００１０】

【課題を解決するための手段】この発明は、撮像装置に
よって追尾対象物を撮像し、得られたアナログビデオ信
号をＡ／Ｄ変換器によってディジタル化し、フレームメ
モリに一時記憶させた後に画像処理して画面内の移動対
象物を追尾する追尾装置において、上記フレームメモリ
から読み出されるディジタル画像信号から追尾対象物の
テンプレートを設定するテンプレート設定回路と、この
テンプレート設定回路から出力されるテンプレート画像
信号かまたはテンプレート更新回路から出力される更新
テンプレート画像信号と上記フレームメモリから出力さ
れるディジタル画像信号との相関演算を行なう相関演算
回路と、この相関演算回路が出力する相関画像信号にお
ける信号値の最小値を算出する最小値探索回路と、この
最小値探索回路より出力される追尾座標信号と上記フレ
ームメモリより出力されるディジタル画像信号により追
尾対象物の輪郭である直線成分を検出する直線検出回路
と、この直線検出回路から出力される直線群パラメータ
信号より追尾対象物の頂点座標値を算出する頂点検出回
路と、上記最小値探索回路から出力される追尾座標信号
かまたは上記頂点検出回路から出力される追尾対象物の
頂点座標信号と上記フレームメモリから読み出されるデ
ィジタル画像信号から追尾対象物に設定されたテンプレ
ートを新たに更新するテンプレート更新回路とを具備し
たことを特徴とする。

【００１１】

【作用】この発明の追尾装置によれば、最小値探索回路
によって探索された新たな追尾座標データおよびフレー
ムメモリからの時系列の最新フレームのディジタル画像
データから、追尾する対象物の輪郭を表わしている直線
成分が直線検出回路によって検出され、さらに頂点検出
回路において上記直線成分の交点、すなわち追尾対象物
の頂点座標を決定し、テンプレート更新回路において、
決定された追尾対象物の頂点座標を中心とする位置補正
されたテンプレートを追尾対象物に対して新たに設定
し、この処理を繰り返している。

【００１２】上記のようにテンプレート更新時におい
て、テンプレート画像の位置補正機能を追加したことに
よって背景画像の変化や追尾対象物自体の輝度変動、そ
して追尾対象物の回転運動による追尾誤差の累積を排除
できる。

【００１３】

【実施例】以下、図面を参照してこの発明の一実施例を
説明する。図１は、この発明の一実施例に係る追尾装置
の回路構成を示すブロック図である。

【００１４】図１において撮像装置２１は、外界画像す
なわち追尾対象物を撮像し、アナログビデオ信号２２を
Ａ／Ｄ変換器２３に送出する。Ａ／Ｄ変換器２３は、送
られて来たアナログビデオ信号２２をディジタル画像信
号２４に変換し、フレームメモリ２５に送る。フレーム
メモリ２５は、上記ディジタル画像信号２４を１画面単
位で記憶し、ディジタル画像信号２６として１画面単位
でテンプレート設定回路２７，相関演算回路２９，直線
検出回路３３，テンプレート更新回路３７に出力する。
テンプレート設定回路２７は、フレームメモリ２５から
送られて来たある時点、つまり第Ｎフレームの追尾対象
物のディジタル画像信号２６を基にしてテンプレート画
像信号２８を生成し、相関演算回路２９に出力する。

【００１５】相関演算回路２９は、テンプレート設定回
路２７からのテンプレート画像信号２８か、あるいはテ
ンプレート更新回路３７からの更新テンプレート画像信
号３８のどちらかの信号とフレームメモリ２５からの次
フレームの追尾対象物のディジタル画像信号２６との相
関演算を行ない、得られた相関画像信号３０を最小値探
索回路３１に出力する。最小値探索回路３１は、相関画
像信号３０における相関画像データの最小値を求め、追
尾座標信号３２として出力し、この追尾座標信号３２を
直線検出回路３３，テンプレート更新回路３７にそれぞ
れ送出する。直線検出回路３３は、フレームメモリ２
５，最小値探索回路３１，頂点検出回路３５にそれぞれ
接続され、最新映像の追尾対象物の輪郭を表わす直線群
を検出し、直線群パラメータ信号３４として頂点検出回
路３５に出力する。

【００１６】頂点検出回路３５は、直線検出回路３３と
テンプレート更新回路３７とに接続され、入力された直
線群パラメータ信号３４から、最新フレームの追尾対象
物の頂点座標値を決定し、頂点座標信号３６としてテン
プレート更新回路３７に出力する。テンプレート更新回
路３７は、頂点検出回路３５からの最新フレームの追尾
対象物の頂点座標信号３６か、あるいは最小値探索回路
３１からの追尾座標信号３２を基に、最新フレームの追
尾対象物に対して新たなテンプレートを更新、設定し、
相関演算回路２９へ更新テンプレート画像信号３８を出
力する。

【００１７】図２（ａ）〜（ｃ）は、フレームメモリ２
５に記憶される各時点毎（第Ｎフレーム，第Ｎ＋１フレ
ーム，第Ｎ＋２フレーム）の追尾対象物である滑走路３
９ａ〜３９ｃの入力画像データを表わす図である。

【００１８】図３は、ある任意の画像Ｆ（ｘ，ｙ）と、
この画像と相関を取るべきパターンＴとを示した図であ
る。図３において、パターンＴは、Ｔ（ｘ，ｙ）で表わ
される。

【００１９】図４は、図３における、画像Ｆ（ｘ，ｙ）
とＴ（ｘ，ｙ）との相関演算の結果、生成される相関画
像データにおける類似度、すなわち相関度が示された図
である。

【００２０】図５は、フレームメモリ２５から出力され
た、第Ｎフレームの追尾対象物である滑走路３９ａに対
するディジタル画像信号２６ａを基に、テンプレート設
定回路２７において滑走路３９ａに設定されたテンプレ
ート画像２８ａ〜２８ｄを表わす図である。

【００２１】図６は、最新の追尾対象物であると想定し
た滑走路３９ｃについて、最小値探索回路３１から出力
された追尾座標信号３２を基に、直線検出回路３３にお
いて滑走路の四辺の輪郭を四辺直線群パラメータ３４ａ
〜３４ｄで検出することを示す図である。

【００２２】図７は、直線検出回路３３で検出された滑
走路３９ｃの輪郭を表わしている直線群パラメータ信号
３４から、頂点検出回路３５において滑走路３９ｃの頂
点座標３６ａ〜３６ｄが検出されることを示す図であ
る。

【００２３】図８は、位置補正しなかった場合のテンプ
レート画像３８ａ〜３８ｄと、頂点検出回路３５から出
力される滑走路３９の頂点座標信号３６から、テンプレ
ート更新回路３７によってテンプレート画像３８ａ〜３
８ｄの位置補正を行なった場合についての比較を表わす
図である。

【００２４】次に上記実施例の動作を説明する。図１に
おいて、撮像装置２１が追尾対象物である図２（ａ）に
示すある時点、すなわち第Ｎフレームの滑走路３９ａを
撮像すると、撮像装置２１は、その画像データをアナロ
グビデオ信号２２としてＡ／Ｄ変換器２３に出力する。
このアナログビデオ信号２２はＡ／Ｄ変換器２３におい
てディジタル画像信号２４に変換されて、１／３０秒毎
の１画面単位でフレームメモリ２５に記憶される。フレ
ームメモリ２５から読み出されるディジタル画像信号２
６は、各フレーム毎に図２（ａ）〜（ｃ）に示されるよ
うな変化を想定するものとする。フレームメモリ２５か
ら読み出された図２（ａ）の第Ｎフレームのディジタル
画像信号２６ａはテンプレート設定回路２７に送られ、
テンプレート設定回路２７は、図５に示されるように第
Ｎフレームのディジタル画像信号２６ａにおける滑走路
３９ａの四隅を中心とした矩形領域をテンプレート画像
２８ａ〜２８ｄとしてそれぞれ設定する。

【００２５】すなわち上記の動作は、フレームメモリ２
５から読み出されたディジタル画像信号２６ａにおける
ディジタル画像データをＦ（Ｘ，Ｙ）とし、テンプレー
ト画像データをＴ_i （Ｘ，Ｙ）とすると、テンプレート
設定回路２７は以下の演算を行なう。

【００２６】

【数３】

【００２７】（３）式によって得られた画像データＴ_i
（Ｘ，Ｙ）はテンプレート画像信号２８として相関演算
回路２９に出力される。また、フレームメモリ２５から
は図２（ｂ）に示す次の時点の第Ｎ＋１フレームのディ
ジタル画像信号２６ｂが読み出され、相関演算回路２９
に送られる。相関演算回路２９は、テンプレート画像信
号２８とディジタル画像信号２６ｂから以下の演算を行
なう。

【００２８】

【数４】（４）式での演算結果、すなわち相関画像データＣ_i
（Ｘ_Li，Ｙ_Li）は、相関画像信号３０として最小値探索
回路３１に出力される。最小値探索回路３１は、相関画
像データＣ_i （Ｘ_Li，Ｙ_Li）の最小値Ｃ_min _i を探索
し、その座標（Ｘ_TRi，Ｙ_TRi ）を滑走路３９ｂに対す
る追尾座標信号３２として出力し、追尾座標信号３２は
直線検出回路３３とテンプレート更新回路３７に送られ
る。

【００２９】（４）式における演算は、例えばある画像
Ｆ（ｘ，ｙ）中で、あるパターンＴを見つけるために、
画像とパターンＴ間の相関、すなわち類似度を計算し、
類似度が一番高いところを探し出す方法である。例えば
図３（ａ）に示す画像をＦ（ｘ，ｙ）とし、図３（ｂ）
に示すパターンＴをＴ（ｘ，ｙ）とすると、相関画像デ
ータＣ（Ｘ_L ，Ｙ_L ）は以下の演算によって求められ
る。

【００３０】

【数５】（５）式によって求められる相関画像データは、図４に
示される。図４において記入されている数字は、類似度
の値を示しており、値０の箇所が類似度、つまり相関度
の高い部分である。次に、テンプレート更新回路３７で
は、入力された追尾座標信号３２、すなわち追尾座標
（Ｘ_TRi ，Ｙ_TRi ）に対して以下の演算を行なう。

【００３１】

【数６】テンプレート更新回路３７は、上記（６）式によって得
られた更新テンプレート画像データＴ_i （Ｘ，Ｙ）を更
新テンプレート画像信号３８として相関演算回路２９へ
出力する。次に相関演算回路２９は、更新テンプレート
画像信号３８における更新テンプレート画像データＴ_i
（Ｘ，Ｙ）と、フレームメモリ２５から更に次の時点、
すなわち図２（ｃ）の第Ｎ＋２フレームであるディジタ
ル画像データ信号２６ｃの画像データＦ（Ｘ，Ｙ）から
上記（４）式に述べた相関演算を行ない、得られた相関
画像データＣ_i （Ｘ_Li，Ｙ_Li）の最小値Ｃ_min _i を最小
値探索回路３１で探索し、その座標（Ｘ_TRi ，Ｙ_TRi ）
を滑走路３９ｃに対する新たな追尾座標信号３２として
テンプレート更新回路３７に出力する。テンプレート更
新回路３７は、入力された追尾座標信号３２における、
滑走路３９ｃの四頂点の追尾座標（Ｘ_TRi ，Ｙ_TRi ）を
テンプレートの中心点として更新テンプレート画像３８
ａ〜３８ｄを設定する。

【００３２】ここで、時間の経過と共に追尾誤差の累積
を防ぐために数フレームに１回の割合でテンプレートの
位置補正処理を行なう。最新の追尾対象物が、図２
（ｃ）に示すディジタル画像信号２６ｃにおける滑走路
３９ｃであるとすると、直線検出回路３３において、図
６に示すように入力された滑走路３９ｃに対する追尾座
標信号３２における四頂点の追尾座標（Ｘ_TRi ，Ｙ
_TRi ）によって処理範囲を限定し、ハフ変換等を用いて
滑走路３９ｃの輪郭を表わす四辺直線群パラメータ３４
ａ〜３４ｄを検出する。この検出された四辺直線群パラ
メータ３４ａ〜３４ｄは、直線群パラメータ信号３４と
して頂点検出回路３５に出力され、頂点検出回路３５
は、図７に示すように直線群パラメータ信号３４におけ
る滑走路３９ｃの四辺直線群パラメータ３４ａ〜３４ｄ
の交点３６ａ〜３６ｄを求め、頂点座標信号３６として
テンプレート更新回路３７に出力する。テンプレート更
新回路３７は、図８（ｂ）に示すように、頂点座標信号
３６、すなわち滑走路３９ｃの各頂点座標である３６ａ
〜３６ｄをテンプレートの中心点として位置補正された
更新テンプレート画像３８ａ〜３８ｄを設定する。位置
補正された更新テンプレート画像信号３８は相関演算回
路２９に出力され、新たにフレームメモリ２５から読み
出された次のフレームのディジタル画像信号２６との相
関演算を行ない、追尾処理を繰り返す。

【００３３】つまり、テンプレート位置補正を行なわな
い場合にはテンプレート更新回路３７は、追尾座標信号
３２を基にしてテンプレートの更新を行ない、テンプレ
ート位置補正を行なう場合には、テンプレート更新回路
３７は頂点座標信号３６を基にしてテンプレートの更新
を行なうことになる。この結果、位置補正をしなかった
ときには、時間の経過と共に発生する背景画像の変化や
演算誤差等により、上記追尾座標（Ｘ_TRi ，Ｙ_TRi ）
が、本来追尾するべき滑走路３９の頂点の座標からずれ
てしまうために図８（ａ）に示すように、更新テンプレ
ート画像３８ａ〜３８ｄの中心点が必ずしも滑走路３９
の輪郭の頂点座標とは一致しておらず、位置ずれを起こ
しているのに対して、位置補正をした場合には、図８
（ｂ）のように滑走路３９の輪郭の頂点座標３６ａ〜３
６ｄがテンプレート画像３８ａ〜３８ｄの中心点になっ
ており、滑走路３９に対して正確な追尾処理をしている
ことがわかる。

【００３４】

【発明の効果】以上のようにこの発明によれば、最新の
追尾対象物の追尾座標を基にしてこの追尾対象物の輪郭
を直線検出回路によって検出し、頂点検出回路によって
追尾対象物の輪郭における頂点座標を求め、この頂点座
標を中心点として新たにテンプレート画像の位置補正を
行ない、上記の処理を定期的に行なうことにより、追尾
処理の時間経過と共に、たとえ設定したテンプレート画
像の位置が追尾対象物からずれてしまったとしても、テ
ンプレート画像の位置補正をして行くことが可能となる
ので、従来の追尾装置に比べて追尾誤差の累積がなく、
より高精度な追尾処理ができる。

【図面の簡単な説明】

【図１】この発明の一実施例に係る追尾装置の回路構成
を示すブロック図。

【図２】同実施例における追尾対象物である滑走路のフ
レームごとの入力画像データを表わす図。

【図３】任意の画像の中に、相関を取るべきパターンが
含まれていることを示す図。

【図４】相関演算の結果、相関画像データに類似度が記
入されたことを示す図。

【図５】図１におけるテンプレート設定回路において、
滑走路のディジタル画像データに対してテンプレート画
像の設定動作を説明するための図。

【図６】図１における直線検出回路において、最新フレ
ームの滑走路の画像に対する追尾座標を基に、滑走路の
輪郭を直線群によって検出することを示す図。

【図７】図１における頂点検出回路において、最新フレ
ームの滑走路の輪郭における頂点座標の検出を説明する
図。

【図８】テンプレート画像の位置補正を行なった場合と
補正なしの場合との比較を示す図。

【図９】従来の追尾装置の回路構成を示すブロック図。

【図１０】従来例に係る追尾対象物に対するテンプレー
ト画像の設定を説明する図。

【図１１】従来例に係る前フレームと現フレームの追尾
対象物の相関画像を説明する図。

【図１２】従来例に係る追尾位置のずれの問題を説明す
る図。

【符号の説明】

２１撮像装置２３Ａ／Ｄ変換器２５フレームメモリ２７テンプレート設定回路２８ａ〜２８ｄテンプレート画像２９相関演算回路３１最小値探索回路３３直線検出回路３４ａ〜３４ｄ四辺直線群パラメータ３５頂点検出回路３６ａ〜３６ｄ頂点座標３７テンプレート更新回路３８ａ〜３８ｄ更新テンプレート画像３９，３９ａ〜３９ｃ滑走路

Claims

【特許請求の範囲】

【請求項１】撮像装置によって追尾対象物を撮像し、
得られたアナログビデオ信号をＡ／Ｄ変換器によってデ
ィジタル化し、フレームメモリに一時記憶させた後に画
像処理して画面内の移動対象物を追尾する追尾装置にお
いて、上記フレームメモリから読み出されるディジタル
画像信号から追尾対象物のテンプレートを設定するテン
プレート設定回路と、このテンプレート設定回路から出
力されるテンプレート画像信号かまたはテンプレート更
新回路から出力される更新テンプレート画像信号と上記
フレームメモリから出力されるディジタル画像信号との
相関演算を行なう相関演算回路と、この相関演算回路が
出力する相関画像信号における信号値の最小値を算出す
る最小値探索回路と、この最小値探索回路より出力され
る追尾座標信号と上記フレームメモリより出力されるデ
ィジタル画像信号により追尾対象物の輪郭である直線成
分を検出する直線検出回路と、この直線検出回路から出
力される直線群パラメータ信号より追尾対象物の頂点座
標値を算出する頂点検出回路と、上記最小値探索回路か
ら出力される追尾座標信号かまたは上記頂点検出回路か
ら出力される追尾対象物の頂点座標信号と上記フレーム
メモリから読み出されるディジタル画像信号から追尾対
象物に設定されたテンプレートを新たに更新するテンプ
レート更新回路とを具備したことを特徴とする追尾装
置。