JP3845561B2 - 画像処理装置、及びこれを用いた目標検出追随装置 - Google Patents
画像処理装置、及びこれを用いた目標検出追随装置 Download PDFInfo
- Publication number
- JP3845561B2 JP3845561B2 JP2001257911A JP2001257911A JP3845561B2 JP 3845561 B2 JP3845561 B2 JP 3845561B2 JP 2001257911 A JP2001257911 A JP 2001257911A JP 2001257911 A JP2001257911 A JP 2001257911A JP 3845561 B2 JP3845561 B2 JP 3845561B2
- Authority
- JP
- Japan
- Prior art keywords
- label
- target
- frame
- candidate
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、テレビカメラや赤外線撮像装置等の撮像機器から供給される映像信号から、目標物の候補画像を抽出し、その抽出した候補画像の特徴情報に基づいて真の対象目標を抽出する画像処理装置、及びその画像処理装置の出力信号により撮像機器の向きを制御して、真の対象目標を追随させることができる目標検出追随装置に関する。
【０００２】
【従来の技術】
最近の誘導弾では、高い誘導精度が要求されてきており、そのため、採用される撮像機器を用いた目標検出追随装置においても、対象目標をより的確に抽出し追随できることが要望されている。
【０００３】
目標検出追随装置は、テレビカメラや赤外線撮像装置で撮影された映像信号を解析し、抽出した目標情報から、真の目標である対象物（対象目標）を検出して捉え、撮像機器の視野がその対象物に向け指向するように制御される。
【０００４】
そこで、目標検出追随装置においては、テレビカメラや赤外線撮像装置等の撮像機器からの映像信号がデジタル信号に変換された後、撮像画面の特徴が例えばエッジ処理等による強調処理を経て、フレーム内が複数領域に分割される。
【０００５】
各分割領域単位での検出信号から、分割領域間の連結調査を経て、目標侯補となるべき一塊の目標物（候補画像）すなわちセグメントが順次抽出され、引続きその抽出された目標物（候補画像）に、セグメント番号であるラベル（アドレス）が順次付与されて１フレーム毎のラベルテーブルが作成される。
【０００６】
１フレーム毎のラベルテーブルが作成された後、１つのフレーム内においては、抽出された目標物（候補画像）と付与されたラベルとが１対１に対応し、同じ番号のラベルが異なる複数の目標物（候補画像）で重複することがないように、いわゆるリラベリング処理が行われ、ラベルテーブル内におけるラベルの整理統合が行われる。
【０００７】
そして、リラベリング処理が行われた各フレームにおいて、抽出された目標物（候補画像）毎にその特徴信号、例えば濃度（輝度）の最大値や最小値、及びその座標位置、あるいはその画像の大きさや縦横比等の形状、総和すなわち面積等の特徴点を特徴情報として算出し、その算出された特徴情報を手掛かりに、目的対象とする真の目標（対象目標）の目標物（候補画像）を検出して、その検出信号に基づいた撮像機器の指向制御が行われる。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の目標検出追随装置では、ラベリング処理により作成されたラベルテーブルは、各フレーム毎に個々に独立したものとして取り扱われたので、たとえ同一の目標物（候補画像）でも、時間軸上で異なるフレーム間で同一（番号）のラベルが付与されるという保証はなかった。
【０００９】
通常、撮像機器により撮影される映像画面では、フレーム毎にその映像内容が刻々変化していることが多いから、例えば、あるフレームでは３番のラベルが与えられた目標物（候補画像）に対し、次のフレームでは２番のラベルが与えられることもある。
【００１０】
従来の目標検出追随装置では、ラベル毎の特徴情報は、各フレーム単位で個々に演算により算出したので、その目標物が時間軸上でどのように移動あるいは変化しているか等の推移情報を得ることができなかった。
【００１１】
しかしながら、追随しようとする真の目標（対象目標）は、多くの場合、上記のように時間的に特有の変化を示すことが多いから、単に１フレーム内の複数個の目標物（候補画像）の特徴情報からのデータだけでは、的確に真の目標（対象目標）を検出することができないという問題があった。
【００１２】
また、撮像画面上では刻々画面内容が変化するので、目標物（候補画像）には新たな発生や消滅が存在するほか、１個の目標物（候補画像）が時間の経過によって複数個に分離したり、あるいは反対に複数個の目標物（候補画像）が結合して１個の目標物（候補画像）となって抽出されることがある。
【００１３】
特に、分離後の目標物（候補画像）は、しばしば画面上での領域範囲が小さくなり、それだけにその特徴点も稀薄になりがちであることから、単一フレーム上の撮像データに基づいた目標物（候補画像）抽出の従来の目標検出追随装置では、的確な特徴情報が得られず、真の目標（対象目標）を捉え損なってしまうという問題があった。
【００１４】
そこで本発明は、目標物（候補画像）に関し、その特徴点の推移を捉えることができるように構成し、例えば特徴点が稀薄となった分離後の目標物（候補画像）についても、その本来有する特徴点を見逃すことなく、より高い確率で真の目標（対象目標）を捉えることができる画像処理装置、及びそれを用いて的確に目標を追随できる目標検出追随装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、撮像機器からの映像信号を導入し、映像信号における特徴点を強調処理する強調処理手段と、この強調処理手段で強調処理された前記映像信号をフレーム毎に撮像領域を分割し、目標物の候補画像を順次抽出する連結調査手段と、この連結調査手段により順次抽出された前記候補画像にラベルを割り当て、ラベルテーブルを作成するラベル割当手段と、このラベル割当手段により割り当てられたラベルの同一番号が１フレーム内において複数の前記候補画像に重複しないように整理統合するリラベリング手段と、このリラベリング手段と前記連結調査手段とに接続され、前記連結調査手段で抽出された前記候補画像を導入し、前後のフレーム間の対応比較により、同一の目標物の候補画像を連結するフレーム連結調査手段と、前記連結調査手段で抽出された前記候補画像と前記強調処理手段で強調処理された前記特徴点とから、静的特徴点を算出する静的特徴演算手段と、この静的特徴演算手段と前記フレーム連結調査手段とに接続され、静的特徴演算手段で算出された静的特徴点とフレーム連結調査手段で連結された同一の目標物の候補画像とから、連結後の候補画像の動的特徴情報を演算により算出する特徴演算手段とを具備することを特徴とする。
【００１６】
このように、本発明の画像処理装置は、目標物（候補画像）を検出して仮ラベル付けを行った後に、フレーム連結調査により、同一の目標物が前後のフレーム間でラベル付けが共通しているか否かを調査し、同一の候補画像については共通したラベルで連結されるようにラベルテーブルを修正更新する。
【００１７】
これにより、ラベルに対応した各目標物（候補画像）の特徴情報は、従来装置のように、１個のフレームのみの瞬間的な情報にとどまらず、時間軸上の複数フレームにまたがる変化情報も加味して演算により算出できるので、真の目標（対象目標）の特徴点を考慮した検出、すなわち例えば目標物（候補画像）がどの方向にどの程度の速度で移動しているかという連続的な情報に照らした検出をも行うことができる。
【００１８】
また、本発明の画像処理装置は、新たに連結されたラベルの画像信号が前回のフレームにおける画像信号の分離によるものであるとき、その分離前の画像信号の特徴情報を加味して、連結された画像信号における特徴情報の算出処理を行うので、分離により特徴量の稀薄となっても、分離前の特徴情報が加味された特徴情報の算出により、目標物（候補画像）の特徴点をより適切に捉えることができ、信頼性の高い検出信号を生成することができる。
【００１９】
本発明の目標検出追随装置は、撮像機器からの映像信号を導入し、映像信号における特徴点を強調処理する強調処理手段と、この強調処理手段で強調処理された前記映像信号をフレーム毎に撮像領域を分割し、目標物の候補画像を順次抽出する連結調査手段と、この連結調査手段により順次抽出された前記候補画像にラベルを割り当て、ラベルテーブルを作成するラベル割当手段と、このラベル割当手段により割り当てられたラベルの同一番号が１フレーム内において複数の前記候補画像に重複しないように整理統合するリラベリング手段と、このリラベリング手段と前記連結調査手段とに接続され、前記連結調査手段で抽出された前記候補画像を導入し、前後のフレーム間の対応比較により、同一の目標物の候補画像を連結するフレーム連結調査手段と、前記連結調査手段で抽出された前記候補画像と前記強調処理手段で強調処理された前記特徴点とから、静的特徴点を算出する静的特徴演算手段と、この静的特徴演算手段と前記フレーム連結調査手段とに接続され、静的特徴演算手段で算出された静的特徴点とフレーム連結調査手段で連結された同一の目標物の候補画像とから、連結後の候補画像の動的特徴情報を演算により算出する特徴演算手段と、この特徴演算手段により出力されたラベル毎の動的特徴情報に基づいて、対象目標を検出し、その検出した対象目標に向けて前記撮像機器を追随させるべく制御信号を出力する制御信号出力手段とを具備することを特徴とする。
【００２０】
このように、本発明の目標検出追随装置は、映像機器からの映像信号は上記本発明の映像処理装置により処理されて出力され、制御信号出力手段が撮像機器を制御するので、本発明による映像処理装置の効果に加えて、真の目標（対象目標）に向けた撮像機器の追随をより確実なものとすることができ、信頼性を向上させることができる。
【００２１】
【発明の実施の形態】
以下、本発明の映像処理装置、及びその映像処理装置を用いた目標検出追随装置の一実施の形態を図１ないし図５を参照して詳細に説明する。
【００２２】
図１は、本発明の映像処理装置を用いた目標検出追随装置の第１の実施形態を示した構成図、図２は図１に示した装置の動作タイミングチヤートで、図２では、図１に示した構成と同一符号を付し、各構成の動作時間長さを直線の長さで表示したものである。
【００２３】
第１の実施の形態の目標検出追随装置は、図１に示したように、まず目標物を捉えようとするテレビカメラや赤外線撮像装置等の撮像機器１と、この撮像機器１から供給されたアナログ映像信号をデジタル信号に変換するＡ／Ｄ変換回路２と、その変換されたデジタル映像信号を受け、波形成形等の必要な前処理を行う前処理回路３とを有している。なお、ここで撮像機器１からは直接デジタル映像信号が得られるようにしても良い。
【００２４】
次に、前処理回路３には、画像信号におけるエッジ等の特徴部分を強調処理する特徴強調回路４が接続され、この特徴強調回路４で強調処理された画像信号は、画像メモリ（特徴強調）Ｍ３に供給記憶されるとともに、同時に領域分割回路５に供給される。
【００２５】
領域分割回路５に供給された強調処理後の画像信号は、各フレーム毎に画面内で所定の撮像領域に分割された後、連結調査回路６に供給される。
【００２６】
連結調査回路６は、領域分割回路５とともにラベル割当手段を構成し、分割された各領域の隣接間で、特徴強調の映像信号が連結状態にあるか否か、すなわち各隣接する領域間で特徴強調の画素につながりがあるか否かを判定し、連結状態にあるときにはそのつながりがあるものを含めて一塊の目標物（候補画像）としてこれを捉えらて抽出し、抽出された１フレーム内の各目標物（候補画像）に対し、順次番号等の仮ラベルが付される。
【００２７】
連結調査回路６において、仮ラベルが付された目標物（候補画像）の映像信号は、順次、画像メモリ（仮ラベル）Ｍｌに供給格納されるとともに、付された一連の仮ラベルは、ラベルテーブルＴ１に供給され格納される。なお、仮ラベルを格納したラベルテーブルＴ１には、仮ラベルのデータに対し必要に応じて修正を加えることができるテーブル修正制御回路９が接続されている。
【００２８】
また、前記画像メモリ（特徴強調）Ｍ３に供給記憶された画像信号は、適宜読み出され、静的特徴演算回路７に供給される。
【００２９】
ラベルテーブルＴ１及び画像メモリＭｌの出力は、図２に示したように、１フレーム分のラベルテーブル作成が完了するタイミングＰの後に、リラベリング回路１２に供給され、従来と同様に、画像メモリＭｌから読み出された１フレームの目標物（候補画像）の映像信号と、ラベルテーブルＴ１の該当フレームにおけるラベルのデータ（番号）とが照合され、一塊りの画素の集団からなる１個の目標物（候補画像）に対し、仮ラベルの番号が１対１に適正に対応し、重複付与がないようにリラベリング処理が行われる。従って、リラベリング回路１２における処理では、他の処理と比較して比較的長い時間を要する。
【００３０】
リラベリング回路１２において、１フレーム分の仮ラベルが見直し修正され、ラベルと目標物（候補画像）とが１対１に適正に対応一致するようにいわゆる正ラベルが変換付与された後、その変換付与後の正ラベル及びそれに対応した目標物（候補画像）の映像信号は画像メモリ（正ラベル）Ｍ２に供給記憶されるとともに、変換付与された正ラベルは静的特徴演算回路７に、また１フレーム分のリラベリングの処理が終了したときのタイミング信号がフレーム連結調査回路８にそれぞれ供給される。
【００３１】
リラベリング回路１２から正ラベルの供給を受けた静的特徴演算回路７は、１フレーム（１画面）単位で、順次各正ラベルに対応した特徴強調信号を画像メモリＭ３から読み出し、たとえば大きさ等、演算により抽出できる特徴点を算出し、その特徴情報は静的特徴テーブルＴ２に供給格納される。
【００３２】
また、同じくリラベリング回路１２から１フレーム分のリラベリング処理のタイミング信号を受けたフレーム連結調査回路８は、時間軸上で前後する複数枚のフレーム間の目標物（候補画像）及びその各目標物（候補画像）に対応する正ラベルを画像メモリＭ２から読み出し、重ね合わせにより対応比較する。
【００３３】
すなわち、フレーム連結調査回路８は、時間軸上でつらなるフレームを重ね合わせることにより、各目標物（候補画像）のフレーム間の連結状態の有無を調査し、複数のフレーム間にわたり共通した同一の目標物（候補画像）信号に対し、共通したラベル（例えば同一ラベル）を付与してフレーム連結テーブルＴ３に供給し格納する。
【００３４】
図３は、フレーム連結調査回路８における上記動作を説明する図である。
【００３５】
すなわち、図３（ａ）は、画像メモリ（正ラベル）Ｍ２から読み出された３つのつらなるフレーム（前々回、前回、及び今回）における正ラベル及びその正ラベルが付された目標物（候補画像）のパターン図を示したものである。すなわち、各フレームでは、目標物（候補画像）に対しエッジ等の特徴点が強調されるとともに、各フレーム毎にリラベリングされたラベルが、丸数字で示した番号で付されている。
【００３６】
そこで、図３（ａ）において、（前々回）、（前回）、及び（今回）の各フレームにおいて、それぞれ抽出された目標物（候補画像）に対し、予めリラベリング回路１２において整理された符号番号（正ラベル）
が付されており、フレーム連結調査回路８は、これら時間軸上で隣接するフレームの重ね合わせにより、目標物（候補画像）の連結の有無を調査する。
【００３７】
図３（ｂ）における（前回）と（前々回）との間のフレーム間の連結状態の調査をまず先に説明すると、（前回）と（前々回）との間の目標物（候補画像）の対照比較により、符号▲１▼〜▲６▼の各正ラベルの対象目標物（候補画像）は、いずれも互いに１対１に対応するものと判定される。
【００３８】
従って、図３（ｃ）に示す（前回）のテーブルにおいて、（前回）の目標物 （候補画像）の符号▲１▼〜▲６▼のセグメントは、（前々回）の符号▲１▼〜▲６▼のセグメントにことごとく対応一致するものとして、各番号が「番号」及び「連結（前々回）」の各アドレス欄に供給記憶される。
【００３９】
また、（前回）と（前々回）との間のフレーム間の比較において、（前回）のフレームの目標物（候補画像）には、（前々回）のフレームの目標物（候補画像）の「結合」によるものが存在しないので、図３（ｃ）の（前回）のテーブルの「結合の有無」のアドレス欄にはフラッグは立たないこと（０）を示している。
【００４０】
次に、図３（ｂ）に示した（今回）と（前回）との間のフレーム間の連結状態の調査によれば、対照比較により、まず（今回）の符号▲１▼及び▲２▼の各目標物（候補画像）は、いずれも（前回）の符号▲１▼の目標物（候補画像）に対応することから、（前回）の符号▲１▼の目標物（候補画像）の「分離」により生成されたものと判定され、その旨、図３（ｃ）のテーブルに記憶される。
【００４１】
続いて、（今回）の符号▲３▼及び▲４▼の２個の目標物（候補画像）は、それぞれ （前回）の符号▲２▼及び▲３▼の２個の目標物（候補画像）にそれぞれ対応するものと判定され、さらに、（今回）の符号▲５▼の目標物（候補画像）は、（前回）の符号▲５▼及び▲４▼の２個の目標物（候補画像）に対応し、特徴点のより小さい符号▲４▼の目標物（候補画像）は、符号▲５▼の目標物（候補画像）に「結合」されたものとして、「結合の有無」のアドレス欄に「結合」の個数を示すフラッグ「１」が立てられる。
【００４２】
さらに続いて、（今回）の符号▲６▼の目標物（候補画像）は、（前回）のフレームに連結対応する目標物（候補画像）が無いので、「連結（前回）」欄は「０」となり、新たに「発生」したものと表示される。
【００４３】
なお、図３では、目標物（候補画像）が「消滅」した例を示していないが、 「連結」欄の符号（番号）をサーチし、番号（ラベル）の欠落から、「消滅」を読み取ることができる。また、上記構成による過去の連結調査におけるフレーム間の照合により、たとえば、図３（ａ）に示した（今回）の符号▲３▼の目標物（候補画像）は、矢印ｘ方向に向け移動してきていることを知ることができる。
【００４４】
このように、フレーム連結調査回路８においては、一定時間にわたり、前後につらなる各フレーム間の連結状態、並びにその変化、すなわち目標物（候補画像）の「発生」「消滅」「分離」「結合」の経緯が捕捉される。
【００４５】
静的特徴演算回路７は、上述のように、１フレーム単位でその中の目標物（候補画像）の静的特徴点を演算により抽出し静的特徴テーブルＴ２に供給する。
【００４６】
一方、フレーム連結調査回路８には動的特徴演算回路１３が接続されており、動的特徴演算回路１３は、フレーム連結調査回路８から供給される複数フレーム間の連結状態や変化の経緯のデータと、静的特徴テーブルＴ２からの各フレームにおける静的特徴点のデータとに基づき、目標物（候補画像）の動的変化、すなわち速度等や大きさ・形状の変化等、動的特徴点を演算により算出し、動的特徴テーブルＴ４に供給する。
【００４７】
従って、動的特徴演算回路１３においては、例えば、分離した目標物（候補画像）についても、分離した複数の目標物（候補画像）の統合した特徴量をも演算により算出して、動的特徴テーブルＴ４に提供することができる。
【００４８】
そこで、図１に示すように、制御信号出力手段である目標検出回路１４は、静的特徴テーブルＴ２からの目標物（候補画像）の静的特徴データ、並びに動的特徴テーブルＴ４からその動的特徴データをそれぞれ導入し、フレーム更新のタイミングで、追随しようとする目的目標（対象目標）の特徴情報と照合し、一致あるいは近似する目標物（候補画像）を目標（対象目標）として検出し、その座標位置方向への制御信号を生成してサーボ回路１５に供給する。
【００４９】
このように、この実施の形態の画像処理装置、及びそれを用いた目標検出追随装置によれば、フレーム連結調査回路８を有し、一つの目標物の移動速度や移動方向等、追随しようとする目的目標（対象目標）特有の時間軸上で変化する特徴点をも加味して目標物（候補画像）を抽出するので、目標検出回路１４における真の目標（対象目標）検出確率が大幅に改善され、追随精度を向上させることができる。
【００５０】
また、この実施の形態によれば、上述のように、目標物（候補画像）が「分離」し、分離後の１個の目標物（候補画像）の特徴量がたとえ稀薄となっても、連結調査により、分離前の目標物（候補画像）の特徴情報を加味してその特徴点を算出できるので、目標物（候補画像）を的確に捕捉することができ、検出確率を高めることができる。
【００５１】
なお、上記第１の実施の形態では、フレーム連結調査回路８は、リラベリング回路１２の処理終了後に、該当フレームの連結調査を開始するように構成されている。リラベリング回路１２は、図２に示したように、比較的長い処理時間を要するので、画像処理全体のスループットタイムも長くなるが、リラベリング処理を待つことなく、フレーム連結調査回路８等における処理実行を開始できるように構成して、装置全体のスループットタイムを短縮することができる。
【００５２】
図４及び図５は、装置全体のスループットタイムの短縮化を図った本発明による画像処理装置、及びその装置を用いた目標検出追随装置の第２の実施の形態を示した構成図、及びその構成における動作タイミングチャートを示したものである。
【００５３】
なお、上記第１の実施の形態との相違点は、リラベリング回路１２における１フレーム内における目標物（侯補画像）に対するラベル付与の完了を待つことなく、単に連結調査回路６における調査結果が得られ次第、都度、フレーム間の連結調査及び特徴演算を開始することで、処理速度の向上を図るものである。
【００５４】
すなわち、図４に示したように、第２の実施の形態では、第１の実施の形態とは相違し、特徴強調回路４の出力信号は、メモリを介することなく直ちに静的特徴演算回路７に供給されるとともに、連結調査回路６にて目標物（候補画像）に順次仮ラベルが付与されたタイミングで、直ちに静的特徴演算処理（７）やフレーム連結調査処理（８）が開始され、テーブル修正制御回路９におけるラベルテーブルの修正に同期して、特徴テーブルＴ２及びフレーム連結テーブルＴ３の修正が行われるように構成されている。
【００５５】
すなわち、連結調査回路６を経て作成されたラベルテーブルは、第１のラベルテーブル修正手段であるテーブル修正制御回路９により修正されるとともに、そのテーブル修正制御回路９による修正に基づき、第２のラベルテーブル修正手段である静的特徴テーブル修正制御回路１０及びフレーム連結修正回路１１により、それぞれ静的特徴テーブルＴ２、及びフレーム連結テーブルＴ３の修正が行われる。
【００５６】
従って、静的特徴テーブルＴ２、及びフレーム連結テーブルＴ３においては、１フレーム内の修正が逐次実行されるので、実質上、リラベリング処理が行われるのと等価となる。
【００５７】
なお、リラベリング回路１２において、１フレーム内において、正ラベルと１対１に対応するように整理された各目標物（候補画像）のデータはそのラベル情報とともにフレーム連結調査回路８に供給されるが、そのリラベリング処理の結果は、最終的には、連結調査回路６において、次のフレームについて仮ラベルが供給されるまでの間に、フレーム連結調査回路８に供給されれば良い。
【００５８】
従って、上記構成により、図５に示したように、比較的時間を要するリラベリング処理（１２）の完了を待たずに、静的特徴演算処理（７）を終えるので、テーブル修正（９）開始のタイミングＰからサーボ回路１５による撮像機器１の制御終了時点までの処理時間ｔ２を、第１の実施の形態における処理時間ｔ１よりも大幅に短縮して目標検出を行い、サーボ回路１５を制御できる。
【００５９】
従って、この第２の実施の形態によれば、上記説明の第１の実施の形態の効果に加えて、撮像機器１は対象物をタイミング良く実時間で追随することができる効果が得られる。
【００６０】
なお、上記第１及び第２の実施の形態では、ハードウェアで構成した場合を説明したが、本発明はこれに限らず、ソウトフエアで実現する場合にも適用できることは言うまでもない。
【００６１】
以上詳述したように本発明によれば、複数のフレーム間にわたりフレーム連結状態の有無を調査して処理するので、特徴テーブルの情報が連続した目標物の移動速度や移動方向を動的に把握することができ、対象目標の特徴に沿った目標検出が可能である。
【００６２】
従ってまた、例えば分離によって特徴点が稀薄になった目標物（候補画像）に対しても、分離した複数の目標物（候補画像）の特徴を加味した特徴情報を算出できるので、より検出確率が高くかつ信頼性の高い画像処理装置、及び目標検出追随装置を提供することができる。
【００６３】
【発明の効果】
以上詳述したように本発明によれば、複数のフレーム間にわたりフレーム連結を調査して処理し、特徴テーブルの情報が連続した目標物の移動速度や移動方向を把握できるので、実用に際し得られる効果大である。
【図面の簡単な説明】
【図１】本発明の画像処理装置及びそれを用いた目標検出追随装置の第１の実施の形態を示した構成図である。
【図２】図１に示した装置の動作タイミングチャートである。
【図３】図１に示した装置の要部動作説明図である。
【図４】本発明の画像処理装置及びそれを用いた目標検出追随装置の第２の実施の形態を示した構成図である。
【図５】図４に示した装置の動作タイミングチャートである。
【符号の説明】
１ 撮像機器
２ Ａ／Ｄ変換回路
３ 前処理回路
４ 特徴強調回路
５ 領域分割回路（ラベル割当手段）
６ 連結調査回路（ラベル割当手段）
７ 静的特徴演算回路（静的な特徴演算手段）
８ フレーム連結調査回路（フレーム連結調査手段）
９ テーブル修正制御回路（第１のラベルテーブル修正手段）
１０ 静的特徴テーブル修正制御回路（第２のラベルテーブル修正手段）
１１ フレーム連結修正回路（第２のラベルテーブル修正手段）
１２ リラベリング回路
１３ 動的特徴演算回路（動的な特徴演算手段）
１４ 目標検出回路（制御信号出力手段）
１５ サーボ回路
Ｔ１ ラベルテーブル
Ｔ２ 静的特徴テーブル
Ｔ３ フレーム連結テーブル
Ｔ４ 動的特徴テーブル
Ｍ１ 画像メモリ（仮ラベル）
Ｍ２ 画像メモリ（特徴強調）
Ｍ３ 画像メモリ（正ラベル）
【発明の属する技術分野】
この発明は、テレビカメラや赤外線撮像装置等の撮像機器から供給される映像信号から、目標物の候補画像を抽出し、その抽出した候補画像の特徴情報に基づいて真の対象目標を抽出する画像処理装置、及びその画像処理装置の出力信号により撮像機器の向きを制御して、真の対象目標を追随させることができる目標検出追随装置に関する。
【０００２】
【従来の技術】
最近の誘導弾では、高い誘導精度が要求されてきており、そのため、採用される撮像機器を用いた目標検出追随装置においても、対象目標をより的確に抽出し追随できることが要望されている。
【０００３】
目標検出追随装置は、テレビカメラや赤外線撮像装置で撮影された映像信号を解析し、抽出した目標情報から、真の目標である対象物（対象目標）を検出して捉え、撮像機器の視野がその対象物に向け指向するように制御される。
【０００４】
そこで、目標検出追随装置においては、テレビカメラや赤外線撮像装置等の撮像機器からの映像信号がデジタル信号に変換された後、撮像画面の特徴が例えばエッジ処理等による強調処理を経て、フレーム内が複数領域に分割される。
【０００５】
各分割領域単位での検出信号から、分割領域間の連結調査を経て、目標侯補となるべき一塊の目標物（候補画像）すなわちセグメントが順次抽出され、引続きその抽出された目標物（候補画像）に、セグメント番号であるラベル（アドレス）が順次付与されて１フレーム毎のラベルテーブルが作成される。
【０００６】
１フレーム毎のラベルテーブルが作成された後、１つのフレーム内においては、抽出された目標物（候補画像）と付与されたラベルとが１対１に対応し、同じ番号のラベルが異なる複数の目標物（候補画像）で重複することがないように、いわゆるリラベリング処理が行われ、ラベルテーブル内におけるラベルの整理統合が行われる。
【０００７】
そして、リラベリング処理が行われた各フレームにおいて、抽出された目標物（候補画像）毎にその特徴信号、例えば濃度（輝度）の最大値や最小値、及びその座標位置、あるいはその画像の大きさや縦横比等の形状、総和すなわち面積等の特徴点を特徴情報として算出し、その算出された特徴情報を手掛かりに、目的対象とする真の目標（対象目標）の目標物（候補画像）を検出して、その検出信号に基づいた撮像機器の指向制御が行われる。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の目標検出追随装置では、ラベリング処理により作成されたラベルテーブルは、各フレーム毎に個々に独立したものとして取り扱われたので、たとえ同一の目標物（候補画像）でも、時間軸上で異なるフレーム間で同一（番号）のラベルが付与されるという保証はなかった。
【０００９】
通常、撮像機器により撮影される映像画面では、フレーム毎にその映像内容が刻々変化していることが多いから、例えば、あるフレームでは３番のラベルが与えられた目標物（候補画像）に対し、次のフレームでは２番のラベルが与えられることもある。
【００１０】
従来の目標検出追随装置では、ラベル毎の特徴情報は、各フレーム単位で個々に演算により算出したので、その目標物が時間軸上でどのように移動あるいは変化しているか等の推移情報を得ることができなかった。
【００１１】
しかしながら、追随しようとする真の目標（対象目標）は、多くの場合、上記のように時間的に特有の変化を示すことが多いから、単に１フレーム内の複数個の目標物（候補画像）の特徴情報からのデータだけでは、的確に真の目標（対象目標）を検出することができないという問題があった。
【００１２】
また、撮像画面上では刻々画面内容が変化するので、目標物（候補画像）には新たな発生や消滅が存在するほか、１個の目標物（候補画像）が時間の経過によって複数個に分離したり、あるいは反対に複数個の目標物（候補画像）が結合して１個の目標物（候補画像）となって抽出されることがある。
【００１３】
特に、分離後の目標物（候補画像）は、しばしば画面上での領域範囲が小さくなり、それだけにその特徴点も稀薄になりがちであることから、単一フレーム上の撮像データに基づいた目標物（候補画像）抽出の従来の目標検出追随装置では、的確な特徴情報が得られず、真の目標（対象目標）を捉え損なってしまうという問題があった。
【００１４】
そこで本発明は、目標物（候補画像）に関し、その特徴点の推移を捉えることができるように構成し、例えば特徴点が稀薄となった分離後の目標物（候補画像）についても、その本来有する特徴点を見逃すことなく、より高い確率で真の目標（対象目標）を捉えることができる画像処理装置、及びそれを用いて的確に目標を追随できる目標検出追随装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、撮像機器からの映像信号を導入し、映像信号における特徴点を強調処理する強調処理手段と、この強調処理手段で強調処理された前記映像信号をフレーム毎に撮像領域を分割し、目標物の候補画像を順次抽出する連結調査手段と、この連結調査手段により順次抽出された前記候補画像にラベルを割り当て、ラベルテーブルを作成するラベル割当手段と、このラベル割当手段により割り当てられたラベルの同一番号が１フレーム内において複数の前記候補画像に重複しないように整理統合するリラベリング手段と、このリラベリング手段と前記連結調査手段とに接続され、前記連結調査手段で抽出された前記候補画像を導入し、前後のフレーム間の対応比較により、同一の目標物の候補画像を連結するフレーム連結調査手段と、前記連結調査手段で抽出された前記候補画像と前記強調処理手段で強調処理された前記特徴点とから、静的特徴点を算出する静的特徴演算手段と、この静的特徴演算手段と前記フレーム連結調査手段とに接続され、静的特徴演算手段で算出された静的特徴点とフレーム連結調査手段で連結された同一の目標物の候補画像とから、連結後の候補画像の動的特徴情報を演算により算出する特徴演算手段とを具備することを特徴とする。
【００１６】
このように、本発明の画像処理装置は、目標物（候補画像）を検出して仮ラベル付けを行った後に、フレーム連結調査により、同一の目標物が前後のフレーム間でラベル付けが共通しているか否かを調査し、同一の候補画像については共通したラベルで連結されるようにラベルテーブルを修正更新する。
【００１７】
これにより、ラベルに対応した各目標物（候補画像）の特徴情報は、従来装置のように、１個のフレームのみの瞬間的な情報にとどまらず、時間軸上の複数フレームにまたがる変化情報も加味して演算により算出できるので、真の目標（対象目標）の特徴点を考慮した検出、すなわち例えば目標物（候補画像）がどの方向にどの程度の速度で移動しているかという連続的な情報に照らした検出をも行うことができる。
【００１８】
また、本発明の画像処理装置は、新たに連結されたラベルの画像信号が前回のフレームにおける画像信号の分離によるものであるとき、その分離前の画像信号の特徴情報を加味して、連結された画像信号における特徴情報の算出処理を行うので、分離により特徴量の稀薄となっても、分離前の特徴情報が加味された特徴情報の算出により、目標物（候補画像）の特徴点をより適切に捉えることができ、信頼性の高い検出信号を生成することができる。
【００１９】
本発明の目標検出追随装置は、撮像機器からの映像信号を導入し、映像信号における特徴点を強調処理する強調処理手段と、この強調処理手段で強調処理された前記映像信号をフレーム毎に撮像領域を分割し、目標物の候補画像を順次抽出する連結調査手段と、この連結調査手段により順次抽出された前記候補画像にラベルを割り当て、ラベルテーブルを作成するラベル割当手段と、このラベル割当手段により割り当てられたラベルの同一番号が１フレーム内において複数の前記候補画像に重複しないように整理統合するリラベリング手段と、このリラベリング手段と前記連結調査手段とに接続され、前記連結調査手段で抽出された前記候補画像を導入し、前後のフレーム間の対応比較により、同一の目標物の候補画像を連結するフレーム連結調査手段と、前記連結調査手段で抽出された前記候補画像と前記強調処理手段で強調処理された前記特徴点とから、静的特徴点を算出する静的特徴演算手段と、この静的特徴演算手段と前記フレーム連結調査手段とに接続され、静的特徴演算手段で算出された静的特徴点とフレーム連結調査手段で連結された同一の目標物の候補画像とから、連結後の候補画像の動的特徴情報を演算により算出する特徴演算手段と、この特徴演算手段により出力されたラベル毎の動的特徴情報に基づいて、対象目標を検出し、その検出した対象目標に向けて前記撮像機器を追随させるべく制御信号を出力する制御信号出力手段とを具備することを特徴とする。
【００２０】
このように、本発明の目標検出追随装置は、映像機器からの映像信号は上記本発明の映像処理装置により処理されて出力され、制御信号出力手段が撮像機器を制御するので、本発明による映像処理装置の効果に加えて、真の目標（対象目標）に向けた撮像機器の追随をより確実なものとすることができ、信頼性を向上させることができる。
【００２１】
【発明の実施の形態】
以下、本発明の映像処理装置、及びその映像処理装置を用いた目標検出追随装置の一実施の形態を図１ないし図５を参照して詳細に説明する。
【００２２】
図１は、本発明の映像処理装置を用いた目標検出追随装置の第１の実施形態を示した構成図、図２は図１に示した装置の動作タイミングチヤートで、図２では、図１に示した構成と同一符号を付し、各構成の動作時間長さを直線の長さで表示したものである。
【００２３】
第１の実施の形態の目標検出追随装置は、図１に示したように、まず目標物を捉えようとするテレビカメラや赤外線撮像装置等の撮像機器１と、この撮像機器１から供給されたアナログ映像信号をデジタル信号に変換するＡ／Ｄ変換回路２と、その変換されたデジタル映像信号を受け、波形成形等の必要な前処理を行う前処理回路３とを有している。なお、ここで撮像機器１からは直接デジタル映像信号が得られるようにしても良い。
【００２４】
次に、前処理回路３には、画像信号におけるエッジ等の特徴部分を強調処理する特徴強調回路４が接続され、この特徴強調回路４で強調処理された画像信号は、画像メモリ（特徴強調）Ｍ３に供給記憶されるとともに、同時に領域分割回路５に供給される。
【００２５】
領域分割回路５に供給された強調処理後の画像信号は、各フレーム毎に画面内で所定の撮像領域に分割された後、連結調査回路６に供給される。
【００２６】
連結調査回路６は、領域分割回路５とともにラベル割当手段を構成し、分割された各領域の隣接間で、特徴強調の映像信号が連結状態にあるか否か、すなわち各隣接する領域間で特徴強調の画素につながりがあるか否かを判定し、連結状態にあるときにはそのつながりがあるものを含めて一塊の目標物（候補画像）としてこれを捉えらて抽出し、抽出された１フレーム内の各目標物（候補画像）に対し、順次番号等の仮ラベルが付される。
【００２７】
連結調査回路６において、仮ラベルが付された目標物（候補画像）の映像信号は、順次、画像メモリ（仮ラベル）Ｍｌに供給格納されるとともに、付された一連の仮ラベルは、ラベルテーブルＴ１に供給され格納される。なお、仮ラベルを格納したラベルテーブルＴ１には、仮ラベルのデータに対し必要に応じて修正を加えることができるテーブル修正制御回路９が接続されている。
【００２８】
また、前記画像メモリ（特徴強調）Ｍ３に供給記憶された画像信号は、適宜読み出され、静的特徴演算回路７に供給される。
【００２９】
ラベルテーブルＴ１及び画像メモリＭｌの出力は、図２に示したように、１フレーム分のラベルテーブル作成が完了するタイミングＰの後に、リラベリング回路１２に供給され、従来と同様に、画像メモリＭｌから読み出された１フレームの目標物（候補画像）の映像信号と、ラベルテーブルＴ１の該当フレームにおけるラベルのデータ（番号）とが照合され、一塊りの画素の集団からなる１個の目標物（候補画像）に対し、仮ラベルの番号が１対１に適正に対応し、重複付与がないようにリラベリング処理が行われる。従って、リラベリング回路１２における処理では、他の処理と比較して比較的長い時間を要する。
【００３０】
リラベリング回路１２において、１フレーム分の仮ラベルが見直し修正され、ラベルと目標物（候補画像）とが１対１に適正に対応一致するようにいわゆる正ラベルが変換付与された後、その変換付与後の正ラベル及びそれに対応した目標物（候補画像）の映像信号は画像メモリ（正ラベル）Ｍ２に供給記憶されるとともに、変換付与された正ラベルは静的特徴演算回路７に、また１フレーム分のリラベリングの処理が終了したときのタイミング信号がフレーム連結調査回路８にそれぞれ供給される。
【００３１】
リラベリング回路１２から正ラベルの供給を受けた静的特徴演算回路７は、１フレーム（１画面）単位で、順次各正ラベルに対応した特徴強調信号を画像メモリＭ３から読み出し、たとえば大きさ等、演算により抽出できる特徴点を算出し、その特徴情報は静的特徴テーブルＴ２に供給格納される。
【００３２】
また、同じくリラベリング回路１２から１フレーム分のリラベリング処理のタイミング信号を受けたフレーム連結調査回路８は、時間軸上で前後する複数枚のフレーム間の目標物（候補画像）及びその各目標物（候補画像）に対応する正ラベルを画像メモリＭ２から読み出し、重ね合わせにより対応比較する。
【００３３】
すなわち、フレーム連結調査回路８は、時間軸上でつらなるフレームを重ね合わせることにより、各目標物（候補画像）のフレーム間の連結状態の有無を調査し、複数のフレーム間にわたり共通した同一の目標物（候補画像）信号に対し、共通したラベル（例えば同一ラベル）を付与してフレーム連結テーブルＴ３に供給し格納する。
【００３４】
図３は、フレーム連結調査回路８における上記動作を説明する図である。
【００３５】
すなわち、図３（ａ）は、画像メモリ（正ラベル）Ｍ２から読み出された３つのつらなるフレーム（前々回、前回、及び今回）における正ラベル及びその正ラベルが付された目標物（候補画像）のパターン図を示したものである。すなわち、各フレームでは、目標物（候補画像）に対しエッジ等の特徴点が強調されるとともに、各フレーム毎にリラベリングされたラベルが、丸数字で示した番号で付されている。
【００３６】
そこで、図３（ａ）において、（前々回）、（前回）、及び（今回）の各フレームにおいて、それぞれ抽出された目標物（候補画像）に対し、予めリラベリング回路１２において整理された符号番号（正ラベル）
【００３７】
図３（ｂ）における（前回）と（前々回）との間のフレーム間の連結状態の調査をまず先に説明すると、（前回）と（前々回）との間の目標物（候補画像）の対照比較により、符号▲１▼〜▲６▼の各正ラベルの対象目標物（候補画像）は、いずれも互いに１対１に対応するものと判定される。
【００３８】
従って、図３（ｃ）に示す（前回）のテーブルにおいて、（前回）の目標物 （候補画像）の符号▲１▼〜▲６▼のセグメントは、（前々回）の符号▲１▼〜▲６▼のセグメントにことごとく対応一致するものとして、各番号が「番号」及び「連結（前々回）」の各アドレス欄に供給記憶される。
【００３９】
また、（前回）と（前々回）との間のフレーム間の比較において、（前回）のフレームの目標物（候補画像）には、（前々回）のフレームの目標物（候補画像）の「結合」によるものが存在しないので、図３（ｃ）の（前回）のテーブルの「結合の有無」のアドレス欄にはフラッグは立たないこと（０）を示している。
【００４０】
次に、図３（ｂ）に示した（今回）と（前回）との間のフレーム間の連結状態の調査によれば、対照比較により、まず（今回）の符号▲１▼及び▲２▼の各目標物（候補画像）は、いずれも（前回）の符号▲１▼の目標物（候補画像）に対応することから、（前回）の符号▲１▼の目標物（候補画像）の「分離」により生成されたものと判定され、その旨、図３（ｃ）のテーブルに記憶される。
【００４１】
続いて、（今回）の符号▲３▼及び▲４▼の２個の目標物（候補画像）は、それぞれ （前回）の符号▲２▼及び▲３▼の２個の目標物（候補画像）にそれぞれ対応するものと判定され、さらに、（今回）の符号▲５▼の目標物（候補画像）は、（前回）の符号▲５▼及び▲４▼の２個の目標物（候補画像）に対応し、特徴点のより小さい符号▲４▼の目標物（候補画像）は、符号▲５▼の目標物（候補画像）に「結合」されたものとして、「結合の有無」のアドレス欄に「結合」の個数を示すフラッグ「１」が立てられる。
【００４２】
さらに続いて、（今回）の符号▲６▼の目標物（候補画像）は、（前回）のフレームに連結対応する目標物（候補画像）が無いので、「連結（前回）」欄は「０」となり、新たに「発生」したものと表示される。
【００４３】
なお、図３では、目標物（候補画像）が「消滅」した例を示していないが、 「連結」欄の符号（番号）をサーチし、番号（ラベル）の欠落から、「消滅」を読み取ることができる。また、上記構成による過去の連結調査におけるフレーム間の照合により、たとえば、図３（ａ）に示した（今回）の符号▲３▼の目標物（候補画像）は、矢印ｘ方向に向け移動してきていることを知ることができる。
【００４４】
このように、フレーム連結調査回路８においては、一定時間にわたり、前後につらなる各フレーム間の連結状態、並びにその変化、すなわち目標物（候補画像）の「発生」「消滅」「分離」「結合」の経緯が捕捉される。
【００４５】
静的特徴演算回路７は、上述のように、１フレーム単位でその中の目標物（候補画像）の静的特徴点を演算により抽出し静的特徴テーブルＴ２に供給する。
【００４６】
一方、フレーム連結調査回路８には動的特徴演算回路１３が接続されており、動的特徴演算回路１３は、フレーム連結調査回路８から供給される複数フレーム間の連結状態や変化の経緯のデータと、静的特徴テーブルＴ２からの各フレームにおける静的特徴点のデータとに基づき、目標物（候補画像）の動的変化、すなわち速度等や大きさ・形状の変化等、動的特徴点を演算により算出し、動的特徴テーブルＴ４に供給する。
【００４７】
従って、動的特徴演算回路１３においては、例えば、分離した目標物（候補画像）についても、分離した複数の目標物（候補画像）の統合した特徴量をも演算により算出して、動的特徴テーブルＴ４に提供することができる。
【００４８】
そこで、図１に示すように、制御信号出力手段である目標検出回路１４は、静的特徴テーブルＴ２からの目標物（候補画像）の静的特徴データ、並びに動的特徴テーブルＴ４からその動的特徴データをそれぞれ導入し、フレーム更新のタイミングで、追随しようとする目的目標（対象目標）の特徴情報と照合し、一致あるいは近似する目標物（候補画像）を目標（対象目標）として検出し、その座標位置方向への制御信号を生成してサーボ回路１５に供給する。
【００４９】
このように、この実施の形態の画像処理装置、及びそれを用いた目標検出追随装置によれば、フレーム連結調査回路８を有し、一つの目標物の移動速度や移動方向等、追随しようとする目的目標（対象目標）特有の時間軸上で変化する特徴点をも加味して目標物（候補画像）を抽出するので、目標検出回路１４における真の目標（対象目標）検出確率が大幅に改善され、追随精度を向上させることができる。
【００５０】
また、この実施の形態によれば、上述のように、目標物（候補画像）が「分離」し、分離後の１個の目標物（候補画像）の特徴量がたとえ稀薄となっても、連結調査により、分離前の目標物（候補画像）の特徴情報を加味してその特徴点を算出できるので、目標物（候補画像）を的確に捕捉することができ、検出確率を高めることができる。
【００５１】
なお、上記第１の実施の形態では、フレーム連結調査回路８は、リラベリング回路１２の処理終了後に、該当フレームの連結調査を開始するように構成されている。リラベリング回路１２は、図２に示したように、比較的長い処理時間を要するので、画像処理全体のスループットタイムも長くなるが、リラベリング処理を待つことなく、フレーム連結調査回路８等における処理実行を開始できるように構成して、装置全体のスループットタイムを短縮することができる。
【００５２】
図４及び図５は、装置全体のスループットタイムの短縮化を図った本発明による画像処理装置、及びその装置を用いた目標検出追随装置の第２の実施の形態を示した構成図、及びその構成における動作タイミングチャートを示したものである。
【００５３】
なお、上記第１の実施の形態との相違点は、リラベリング回路１２における１フレーム内における目標物（侯補画像）に対するラベル付与の完了を待つことなく、単に連結調査回路６における調査結果が得られ次第、都度、フレーム間の連結調査及び特徴演算を開始することで、処理速度の向上を図るものである。
【００５４】
すなわち、図４に示したように、第２の実施の形態では、第１の実施の形態とは相違し、特徴強調回路４の出力信号は、メモリを介することなく直ちに静的特徴演算回路７に供給されるとともに、連結調査回路６にて目標物（候補画像）に順次仮ラベルが付与されたタイミングで、直ちに静的特徴演算処理（７）やフレーム連結調査処理（８）が開始され、テーブル修正制御回路９におけるラベルテーブルの修正に同期して、特徴テーブルＴ２及びフレーム連結テーブルＴ３の修正が行われるように構成されている。
【００５５】
すなわち、連結調査回路６を経て作成されたラベルテーブルは、第１のラベルテーブル修正手段であるテーブル修正制御回路９により修正されるとともに、そのテーブル修正制御回路９による修正に基づき、第２のラベルテーブル修正手段である静的特徴テーブル修正制御回路１０及びフレーム連結修正回路１１により、それぞれ静的特徴テーブルＴ２、及びフレーム連結テーブルＴ３の修正が行われる。
【００５６】
従って、静的特徴テーブルＴ２、及びフレーム連結テーブルＴ３においては、１フレーム内の修正が逐次実行されるので、実質上、リラベリング処理が行われるのと等価となる。
【００５７】
なお、リラベリング回路１２において、１フレーム内において、正ラベルと１対１に対応するように整理された各目標物（候補画像）のデータはそのラベル情報とともにフレーム連結調査回路８に供給されるが、そのリラベリング処理の結果は、最終的には、連結調査回路６において、次のフレームについて仮ラベルが供給されるまでの間に、フレーム連結調査回路８に供給されれば良い。
【００５８】
従って、上記構成により、図５に示したように、比較的時間を要するリラベリング処理（１２）の完了を待たずに、静的特徴演算処理（７）を終えるので、テーブル修正（９）開始のタイミングＰからサーボ回路１５による撮像機器１の制御終了時点までの処理時間ｔ２を、第１の実施の形態における処理時間ｔ１よりも大幅に短縮して目標検出を行い、サーボ回路１５を制御できる。
【００５９】
従って、この第２の実施の形態によれば、上記説明の第１の実施の形態の効果に加えて、撮像機器１は対象物をタイミング良く実時間で追随することができる効果が得られる。
【００６０】
なお、上記第１及び第２の実施の形態では、ハードウェアで構成した場合を説明したが、本発明はこれに限らず、ソウトフエアで実現する場合にも適用できることは言うまでもない。
【００６１】
以上詳述したように本発明によれば、複数のフレーム間にわたりフレーム連結状態の有無を調査して処理するので、特徴テーブルの情報が連続した目標物の移動速度や移動方向を動的に把握することができ、対象目標の特徴に沿った目標検出が可能である。
【００６２】
従ってまた、例えば分離によって特徴点が稀薄になった目標物（候補画像）に対しても、分離した複数の目標物（候補画像）の特徴を加味した特徴情報を算出できるので、より検出確率が高くかつ信頼性の高い画像処理装置、及び目標検出追随装置を提供することができる。
【００６３】
【発明の効果】
以上詳述したように本発明によれば、複数のフレーム間にわたりフレーム連結を調査して処理し、特徴テーブルの情報が連続した目標物の移動速度や移動方向を把握できるので、実用に際し得られる効果大である。
【図面の簡単な説明】
【図１】本発明の画像処理装置及びそれを用いた目標検出追随装置の第１の実施の形態を示した構成図である。
【図２】図１に示した装置の動作タイミングチャートである。
【図３】図１に示した装置の要部動作説明図である。
【図４】本発明の画像処理装置及びそれを用いた目標検出追随装置の第２の実施の形態を示した構成図である。
【図５】図４に示した装置の動作タイミングチャートである。
【符号の説明】
１ 撮像機器
２ Ａ／Ｄ変換回路
３ 前処理回路
４ 特徴強調回路
５ 領域分割回路（ラベル割当手段）
６ 連結調査回路（ラベル割当手段）
７ 静的特徴演算回路（静的な特徴演算手段）
８ フレーム連結調査回路（フレーム連結調査手段）
９ テーブル修正制御回路（第１のラベルテーブル修正手段）
１０ 静的特徴テーブル修正制御回路（第２のラベルテーブル修正手段）
１１ フレーム連結修正回路（第２のラベルテーブル修正手段）
１２ リラベリング回路
１３ 動的特徴演算回路（動的な特徴演算手段）
１４ 目標検出回路（制御信号出力手段）
１５ サーボ回路
Ｔ１ ラベルテーブル
Ｔ２ 静的特徴テーブル
Ｔ３ フレーム連結テーブル
Ｔ４ 動的特徴テーブル
Ｍ１ 画像メモリ（仮ラベル）
Ｍ２ 画像メモリ（特徴強調）
Ｍ３ 画像メモリ（正ラベル）
Claims (6)
- 撮像機器からの映像信号を導入し、映像信号における特徴点を強調処理する強調処理手段と、
この強調処理手段で強調処理された前記映像信号をフレーム毎に撮像領域を分割し、目標物の候補画像を順次抽出する連結調査手段と、
この連結調査手段により順次抽出された前記候補画像にラベルを割り当て、ラベルテーブルを作成するラベル割当手段と、
このラベル割当手段により割り当てられたラベルの同一番号が１フレーム内において複数の前記候補画像に重複しないように整理統合するリラベリング手段と、
このリラベリング手段と前記連結調査手段とに接続され、前記連結調査手段で抽出された前記候補画像を導入し、前後のフレーム間の対応比較により、同一の目標物の候補画像を連結するフレーム連結調査手段と、
前記連結調査手段で抽出された前記候補画像と前記強調処理手段で強調処理された前記特徴点とから、静的特徴点を算出する静的特徴演算手段と、
この静的特徴演算手段と前記フレーム連結調査手段とに接続され、静的特徴演算手段で算出された静的特徴点とフレーム連結調査手段で連結された同一の目標物の候補画像とから、連結後の候補画像の動的特徴情報を演算により算出する特徴演算手段と
を具備することを特徴とする画像処理装置。 - 前記フレーム連結調査手段は、連結した候補画像に共通ラベルを割り当ててフレーム連結テーブルを作成し、
前記特徴演算手段は、前記フレーム連結調査手段で連結された後の候補画像が前の候補画像の分離によるものであるとき、その分離前の候補画像の特徴情報を加味して、前記連結した候補画像の動的特徴情報を算出して動的特徴テーブルを作成する
ことを特徴とする請求項１記載の画像処理装置。 - 前記ラベル割当手段で作成されたラベルテーブルを修正する第１のラベルテーブル修正手段と、
この第１のラベルテーブル修正手段におけるラベルテーブルの修正に基づき、前記フレーム連結テーブルを修正する第２のラベルテーブル修正手段と、
前記ラベル割当手段において割り当てられたラベルは、１フレーム内で抽出された目標物の候補画像と１対１に対応するように整理し、その整理されたラベルの情報を前記フレーム連結調査手段に供給するリラベリング手段と
を有することを特徴とする請求項２記載の画像処理装置。 - 撮像機器からの映像信号を導入し、映像信号における特徴点を強調処理する強調処理手段と、
この強調処理手段で強調処理された前記映像信号をフレーム毎に撮像領域を分割し、目標物の候補画像を順次抽出する連結調査手段と、
この連結調査手段により順次抽出された前記候補画像にラベルを割り当て、ラベルテーブルを作成するラベル割当手段と、
このラベル割当手段により割り当てられたラベルの同一番号が１フレーム内において複数の前記候補画像に重複しないように整理統合するリラベリング手段と、
このリラベリング手段と前記連結調査手段とに接続され、前記連結調査手段で抽出された前記候補画像を導入し、前後のフレーム間の対応比較により、同一の目標物の候補画像を連結するフレーム連結調査手段と、
前記連結調査手段で抽出された前記候補画像と前記強調処理手段で強調処理された前記特徴点とから、静的特徴点を算出する静的特徴演算手段と、
この静的特徴演算手段と前記フレーム連結調査手段とに接続され、静的特徴演算手段で 算出された静的特徴点とフレーム連結調査手段で連結された同一の目標物の候補画像とから、連結後の候補画像の動的特徴情報を演算により算出する特徴演算手段と
この特徴演算手段により出力されたラベル毎の動的特徴情報に基づいて、対象目標を検出し、その検出した対象目標に向けて前記撮像機器を追随させるべく制御信号を出力する制御信号出力手段と
を具備することを特徴とする目標検出追随装置。 - 前記フレーム連結調査手段は、連結した候補画像に共通ラベルを割り当ててフレーム連結テーブルを作成し、
前記特徴演算手段は、前記フレーム連結調査手段で連結された後の候補画像が前の候補画像の分離によるものであるとき、その分離前の候補画像の特徴情報を加味して、前記連結した候補画像の動的特徴情報を算出して動的特徴テーブルを作成する
ことを特徴とする請求項４記載の目標検出追随装置。 - 前記ラベル割当手段で作成されたラベルテーブルを修正する第１のラベルテーブル修正手段と、
この第１のラベルテーブル修正手段におけるラベルテーブルの修正に基づき、前記フレーム連結テーブルを修正する第２のラベルテーブル修正手段と、
前記ラベル割当手段において割り当てられたラベルは、１フレーム内で抽出された候補画像と１対１に対応するように整理し、その整理されたラベル情報を前記フレーム連結調査手段に供給するリラベリング手段と
を有することを特徴とする請求項５記載の目標検出追随装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001257911A JP3845561B2 (ja) | 2001-08-28 | 2001-08-28 | 画像処理装置、及びこれを用いた目標検出追随装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001257911A JP3845561B2 (ja) | 2001-08-28 | 2001-08-28 | 画像処理装置、及びこれを用いた目標検出追随装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003067754A JP2003067754A (ja) | 2003-03-07 |
| JP3845561B2 true JP3845561B2 (ja) | 2006-11-15 |
Family
ID=19085513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001257911A Expired - Fee Related JP3845561B2 (ja) | 2001-08-28 | 2001-08-28 | 画像処理装置、及びこれを用いた目標検出追随装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3845561B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4515332B2 (ja) | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | 画像処理装置及び対象領域追跡プログラム |
| JP4719127B2 (ja) * | 2006-11-06 | 2011-07-06 | 株式会社東芝 | 誘導装置の動画像処理装置、誘導装置の目標追跡システム及び誘導装置の動画像処理装置における目標追跡方法 |
| US8094937B2 (en) * | 2007-04-17 | 2012-01-10 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System and method for labeling feature clusters in frames of image data for optical navigation |
-
2001
- 2001-08-28 JP JP2001257911A patent/JP3845561B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003067754A (ja) | 2003-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008192060A (ja) | 画像処理装置及び画像処理方法 | |
| JPH09102910A (ja) | 動画像処理装置および方法 | |
| JP2015194901A (ja) | 追跡装置および追尾システム | |
| US11494922B2 (en) | Object tracking device, object tracking method, and object tracking program | |
| US11587240B2 (en) | Moving body detecting device, moving body detecting method, and moving body detecting program | |
| JP2007164690A (ja) | 画像処理装置及び画像処理方法 | |
| JP3845561B2 (ja) | 画像処理装置、及びこれを用いた目標検出追随装置 | |
| JPH0754549B2 (ja) | パターンマッチング用標準パターンの作成方法 | |
| US20220157050A1 (en) | Image recognition device, image recognition system, image recognition method, and non-transitry computer-readable recording medium | |
| JPH1098644A (ja) | 動き検出装置 | |
| JPH0664614B2 (ja) | 階層化構造的テンプレ−ト・マツチング方法 | |
| JP3668092B2 (ja) | 画像処理装置及びこれを用いた目標検出追随装置 | |
| JP4537645B2 (ja) | 物体追跡装置および物体追跡装置制御方法 | |
| JPH0652311A (ja) | 画像処理方法 | |
| KR101407249B1 (ko) | 증강현실에 의한 프리젠테이션 제어 시스템 및 그 방법 | |
| CN109977740B (zh) | 一种基于深度图的手部跟踪方法 | |
| JPH10283482A (ja) | 移動目標検出装置及び検出方法 | |
| JP2984267B1 (ja) | 対象物の画像処理方法 | |
| JP2697117B2 (ja) | 動画像におけるラベル付け装置 | |
| JPS61145689A (ja) | 領域ラベリング回路 | |
| JPH07192134A (ja) | 画像処理方法 | |
| JPH0991425A (ja) | 画像処理装置 | |
| JP2004110542A (ja) | 目標検出装置および目標検出方法 | |
| JPH08167029A (ja) | 画像処理装置 | |
| Kagami et al. | A pixel-parallel algorithm for detecting and tracking fast-moving modulated light signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060821 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3845561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090825 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100825 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100825 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110825 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110825 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120825 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120825 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130825 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |