JPH04306499A - 場景認識装置及び場景認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はシーン（光景）認識シ
ステム及び方法に関し、特に、低レベルと高レベルの特
徴検出を使用して、標的を確認して追跡するシーン認識
システム及び方法に関する。

【０００２】

【従来の技術】現代のミサイルに採用されているシーン
（光景、情況）認識システム及び方法は専用の信号処理
ア−キテクチャとアルゴリズムを使用して、ミサイルの
視界内にある建造物、トラック、戦車、船舶等の目標物
の情況を迅速かつ適確に検出できるように設計されてい
る。従って、目標物を短時間に精密に確認または分類す
ることができるより精巧な設計が要求されている。

【０００３】

【発明が解決しようとする課題】このように、現代のミ
サイルに採用されているシーン認識システム及び方法に
おいては、目標物をより短時間により精密に確認または
分類することができる設計が要求されている。また、こ
の要求は他の画像認識システム及び方法においても同様
である。

【０００４】この発明の目的は上記実情に鑑みてなされ
たもので、目標物をより短時間により精密に確認または
分類することができるシーン認識システム及び方法を提
供することである。

【０００５】また、この発明の他の目的は、目標物をよ
り短時間により精密に確認または分類することができる
ミサイル誘導システム用の認識システム及び方法を提供
することである。

【０００６】

【課題を解決するための手段と作用】上記目的を達成す
るために、この発明のシーン認識システム及び方法は、
ミサイルの誘導追跡システムと共に使用され、低レベル
特徴検出と高レベル特徴検出を使用して、目標物を確認
し追跡する。

【０００７】このシステムは赤外線センサ、ミリ波レ−
ダまたは合成開口レ−ダ、潜水艦探知機等の従来のイメ
−ジセンサを使用して、シーン、即ち、画像を得る。セ
ンサの出力（即ち、画像）は、低レベル特徴検出プロセ
ッサにより処理され、低レベルの特徴が画像から抽出さ
れる。これはセンサの出力データ（画像データ）のマト
リクスを直交アイコンのマトリクスに変換することによ
り達成される。この直交アイコンのマトリックスは所定
の属性の集合を使用して画像をシンボリックに（象徴的
に）表示する。

【０００８】直交アイコンは、高レベルグラフ突合せプ
ロセッサにより処理される。この高レベルグラフ突合せ
プロセッサは、低レベル特徴検出処理に続き、シンボリ
ックな画像分割（セグメンテーション）処理、記述処理
、認識処理を行う。この処理は、撮像された画像中の標
的を表す属性グラフ（属性検出（又はセンス）グラフ）
を生成する。前記高レベルグラフ突合せプロセッサは、
所定の属性基準グラフを生成された属性グラフと突合せ
、その２つのグラフ間の類似の程度に基づいて最も共通
のサブグラフを生成する。さらに、高レベルグラフ突合
せプロセッサは、類似の程度と所定のしきい値に基づい
て認識を行う。高レベルグラフ突合せプロセッサの出力
データにより、照準点が決定される。この照準点は、確
認された標的を追跡するミサイルガイダンス（誘導）シ
ステムに供給される。

【０００９】

【実施例】以下、図面を参照して、本願発明の実施例を
説明する。

【００１０】図１は、高レベルと低レベルの特徴検出を
使用して標的を確認して追跡するシーン（光景）認識シ
ステムのブロック図であり、この発明の主要部に相当す
るものである。このシステムは低レベル特徴検出器１１
を含み、低レベル特徴検出器１１は例えば赤外線センサ
、テレビセンサ、レ−ダからなるイメ−ジセンサ９から
得られた画像データを受信する。低レベル特徴検出器１
１は高レベルグラフ突合せプロセッサ１２に接続され、
高レベルグラフ突合せプロセッサ１２は低レベル特徴検
出器１１により生成されたシ−ン（画像）に含まれた特
徴を示すアイコン（視覚的要素）を処理する。ミサイル
運行システム２４は照準点の情報を生成して、これを用
いて、ミサイルを所望の標的に向けて操縦する。

【００１１】高レベルグラフ突合せプロセッサ１２は、
直列接続されたグラフシンセサイザ１３、グラフ突合せ
部１４、照準点評価部１５を備える。基準（参照）グラ
フメモリ１６はグラフ突合せプロセッサ１２に接続され
ており、画像シ−ン中に存在すると予期される標的（目
標物）を表現する所定の基準グラフを格納する。基準グ
ラフは戦車、建造物、境界標、水中物体等を示すグラフ
からなる。

【００１２】低レベル特徴検出器１１については、平成
２年４月２５日付けで米国特許商標庁に出願された特許
出願５１４、７７９の“改良されたデータ伸張システム
と方法”に詳細に記述されている。参考のため、この米
国出願の内容をこの明細書中に取込むものとする。

【００１３】低レベル特徴検出器１１はイメージセンサ
９からのデータ（画像データ）のマトリックスを直交ア
イコンのマトリックスに変換する。この直交アイコンの
マトリクスは、属性の集合を使用して画像シ−ンをシン
ボリックに表示する。これらの点については、図３乃至
図１２を参照してより詳細に後述する。

【００１４】図１に示されるシーン認識システムにより
実行される処理は、画像情報を抽象的でより圧縮された
形式に漸進的に変換する一連の変換処理を使用する。第
１の変換は低レベル特徴検出器１１により実行され、各
画素位置における強度を示す数のアレーで示されるセン
サ画像を変換して、画像データの１０×１０ピクセルか
らなるブロックの基本的な強度分布を示す属性を有した
アイコンのコンパクトなアレーとする。

【００１５】第２の変換は、高レベルグラフ突合せプロ
セッサ１２により実行され、アイコンのアレーを均一（
ほぼ均一を含む）な強度を有する別々の領域に関連付け
、領域間の線形の境界を識別する。領域が細長く両側が
ほぼ平行になっている場合には、その領域はリボンとみ
なされる。この変換により、形成された目標、目標自体
の種々の属性、目標間の関係のリストが生成される。 この情報は、属性グラフの形式にエンコ−ドされる。

【００１６】グラフ突合せ部１４は、センサ画像から得
られたグラフの構造を、たとえば、以前に得られて格納
されていたグラフまたは偵察情報から得られたグラフと
比較する。相関性の大きいものが見付かると、基準グラ
フにより記述されたシ−ンとセンサにより撮像されたシ
−ンが同一であると見なされる。突合せ後、照準点評価
部１５は基準グラフにおいて演繹的に与えられる照準点
を検出グラフに関連付け、この情報はミサイル運行シス
テム２４に供給される。

【００１７】典型的なグラフ応用技術において、２つの
グラフを関係づける場合の一般的な問題はＮ−Ｐコンプ
リ−ト問題である。Ｎ−Ｐコンプリ−ト問題においては
、ノ−ドの数が増加するにつれてと、グラフを突合せる
ために必要とされるサ−チの回数（すなわち比較回数）
が指数関数的に増加する。この発明は、検出グラフと基
準グラフを特有な属性を用いてオ−バ−ロ−ドすること
により、サ−チ空間を大幅に縮小して迅速なリアルタイ
ムサ−チを達成し、この問題を解決する。

【００１８】図２は図１のシステムの詳細な機能ブロッ
ク図である。シ−ン分割処理（セグメンテーション処理
）２１は、低レベル特徴等級化処理３１、強度分割処理
（強度に基づいた分割処理）３２，傾斜分割処理（傾斜
に基づいた分割処理）３３、傾斜／強度目標統合処理３
４を含み、低レベル特徴検出器１１（図１）により実行
される。

【００１９】シ−ン分割処理２１の出力信号は、検出さ
れた画像中の目標のグラフを発生するグラフ合成処理３
５を含むシ−ン記述処理２２に入力される。乗り物、建
造物、境界標、水中物体等を表像（代表）する基準グラ
フ３６が予めメモリなどに格納されている。この基準グ
ラフは、偵察飛行等により得られたビデオデ−タから得
られた標的（目標物）などを処理して得られ、最終的に
、標的を識別し選択するための比較用データとして使用
される。

【００２０】シ−ン認識処理部２３はグラフ合成処理３
５により合成されたグラフと基準グラフ３６を使用して
、グラフ突合せ処理３７とシ−ン変換処理３８により照
準点の評価を行ない、この結果を運行システム２４に出
力する。

【００２１】図３ａ−３ｃ，４ａ−４ｃは低レベルの特
徴を識別するために実行される処理を示す。この処理は
検出デ−タ（イメ−ジデ−タ）のマトリックスを、属性
の集合によりシンボリックに検出画像を表現する直交ア
イコンのマトリックスに変換する。直交アイコンは図２
に示されるシンボリックなシ−ン分割処理、記述処理、
認識処理を実行するための基本となる。図３ａは壁４２
，４３と屋根４４，４５を有する家屋４１の像を示して
おり、太陽の方向に関係して異なる陰影がつけられてい
る。家屋４１の各表面は図３ａに示されるように異なる
テクスチャ（陰影）により確認される。家屋４１の画像
はデータの各ピクセルに関連する異なる強度を示す数の
アレーである。

【００２２】家屋４１を表わす画像データは、図３ｂに
描写されるような１０×１０画素からなるブロックウイ
ンドウ４６により処理される。ブロックウインドウ４６
は図３ｃに示されたピクセルデータを発生する。図３ｃ
のピクセルデータは、低レベル特徴検出器１１中で生成
される。このピクセルデ−タは直交アイコンを含む。図
３ｃの各ピクセルは図３ｂに示される陰影にしたがって
陰影が付けられている。図３ｃに示されるデータのブロ
ックまたはセルは、低レベル特徴検出器１１で生成され
る。

【００２３】図４ａにおいてはラインが図３ｃの陰影が
付けられたピクセルデータから形成され、図４ｂにおい
ては領域が図３ｃの陰影が付けられたピクセルデータか
ら形成される。ラインは図２のシ−ン分割処理２１にお
いて、傾斜分割処理（傾斜に基づいた分割処理）３３に
より生成され、領域は図２のシ−ン分割処理２１の強度
分割処理（強度に基づいた分割処理）３２により生成さ
れる。領域は平面リンクと傾斜リンクを使用して形成さ
れ、領域の形状が求められる。ラインと領域に関する情
報は図２に示される傾斜／強度目標統合処理３４とグラ
フ合成処理３５により領域とリボンとを形成するために
処理され、グラフが図４ｃに示されるように合成される
。このグラフは図３ａの家屋４１のグラフ的表現（グラ
フ表示）である。図４ｃに示される照準点が図２の基準
グラフ３６を構成する情報から得られる。

【００２４】平面リンク処理と領域成長処理は図２のシ
ーン分割処理２１の一部である。この平面リンク処理と
領域成長処理は、２つの部分処理からなる。平面リンク
処理は、緩和法に基づいたアルゴリズムを使用して、Ｆ
ＬＡＴ（平面或いは平坦）型の低レベル特徴識別直交ア
イコン（強度むらのないアイコン）を同質の強度の平面
領域に分類する。この結果、ＦＬＡＴアイコンからなる
領域の集合が得られ、それらは面積（要素たるＦＬＡＴ
アイコンの数）、強度（要素たるＦＬＡＴアイコンの平
均強度）、要素たるＦＬＡＴアイコンのリストにより記
述される（描かれる）。より詳細には、同質の強度の領
域を有する直交アイコンのグル−プが形成され、ブロッ
ク分離境界を有する領域の集合が生成される。直交アイ
コンのグル−プは同質強度のアイコンからなり、要素た
る同質強度のアイコンの数を含む面積と、要素たる同質
強度のアイコンの平均強度と、要素たる同質強度のアイ
コンのリストにより記述される。領域成長処理は、強度
傾斜を有しており、特徴分離境界を生成する直交アイコ
ンを付加する。

【００２５】領域成長処理は傾斜型（ＦＬＡＴではない
）情報の直交アイコンを成長平面領域に付加し、これに
より、平面リンク処理により生成される１０×１０ブロ
ック決定境界に対照したものとして特徴決定境界を生成
する。この処理に使用される方法は次の通りである。 （１）平面リンク処理により生成された平面領域から開
始する。その領域は単にＦＬＡＴアイコンから成り、成
長を停止するための側面の傾斜アイコンまで成長する。 （２）傾斜アイコンが領域の側面にあると考える。各傾
斜アイコンは２−強度モデルにより記述される。各傾斜
アイコンの２つの強度のうちの１つは平面領域の強度に
近い。この強度が平面領域の強度に近い場合、その強度
で覆われた傾斜アイコンの部分を含むように、領域境界
が延びる。（３）上記動作を全ての平面領域について繰
り返す。平面リンク処理は全てのＦＬＡＴアイコンに単
一の領域番号を付す。領域成長処理は傾斜アイコンに複
数の領域番号を付す。ＥＤＧＥ（端部）型とＣＯＲＮＥ
Ｒ（角）型の傾斜アイコンには２つの領域番号が付され
る。ＲＩＢＢＯＮ（リボン）型の傾斜アイコンには３つ
の領域番号が付される。ＳＰＯＴ（点）型の傾斜アイコ
ンは考慮されない。この処理により、ＦＬＡＴアイコン
からなる均一強度の領域の集合と部分傾斜アイコンが得
られる。この点に関する詳細は、上述の特許出願”Ｉｍ
ｐｒｏｖｅｄ　ＤａｔａＤｅｃｏｍｐｒｅｓｓｉｏｎ　
Ｓｙｓｔｅｍ　ａｎｄＭｅｔｈｏｄ”　を参照されたい
。

【００２６】図５ａと５ｂは図２に示されるシーン分割
処理２１により実行される平面リンク処理と領域成長処
理の結果を示している。この処理は、図２に示される強
度分割処理３２と傾斜分割処理３３と傾斜／強度目標統
合処理３４によってなされる。図５ａと５ｂにおいて、
単一の陰影を含む直交アイコンはＦＬＡＴアイコン５０
、５１を示す。一方、２つの陰影を（対角線に沿って）
含む直交アイコンはＥＤＧＥ型アイコン５２を示す。領
域はＦＬＡＴアイコンと傾斜（ＦＬＡＴではない）アイ
コンから構成される。他の傾斜アイコンと同様にＥＤＧ
Ｅアイコン５２は複数の領域に属す。即ち、それらには
複数の領域番号が割り付けられる。

【００２７】図５ａと５ｂにおいては、各ＥＤＧＥアイ
コン５２には、２つの領域番号「１」と「２」が割り付
けられる。これにより、ローレベル特徴検出処理により
検出された傾斜に関する特徴に対して正確な境界が得ら
れる。

【００２８】境界形成処理と線形特徴抽出処理は、図２
のシ−ン分割処理部により実行される。この処理は３つ
の部分処理から成る。各領域６０−６３（図６ａ）の傾
斜境界は、各々の領域の回りを傾斜のチェーンを形成す
るように検討される。各領域の傾斜チェインは線形セグ
メント６４−６８（図６ｂ）を生成するように解析され
、各線形セグメント６４−６８の開始と終了においてそ
のチェインに書き込まれたポインタを有する。線形セグ
メント６４−６８は、線形セグメントを構成する２以上
の領域に関連する隣接セグメントの生成のために解析さ
れる。これらの処理の結果は、平面リンクと領域増加処
理により系統立てられる各領域６０−６３の境界の記述
と、長さ、方向、終点座標により表される線形セグメン
ト７０−７３（図６ｃ）を含む。

【００２９】図６ａ−６ｃは図２のシーン分割処理２１
により実行される境界形成処理と線形特徴抽出処理の結
果を示す。図６ａは平面リンクと領域成長処理により得
られる領域６０−６３を示す。図６ｂは境界形成処理に
より得られた各領域６０−６３の境界を示す。図６ｃは
線形特徴抽出処理により得られる線形セグメント７０−
７３を示す。

【００３０】目標形成処理は２つの部分処理からなる。 第１の処理は、傾斜境界処理と線形特徴抽出処理から得
られる、線形特徴からリボン目標７５を形成し、これら
の目標のシンボリックな描写を形成する。第２の処理は
、平面リンクと領域成長処理により得られる領域を象徴
的、即ち、シンボリックに記述し、領域目標７６−７８
（図９ａ、図９ｂ）を生成する。リボン目標と領域目標
は、属性検出グラフ（属性が付された検出グラフ）のノ
−ドとなる。シンボリックな記述は属性として機能する
。図７と図８は、それぞれ図９ａと９ｂに示される領域
目標とリボン目標７５−７８に対し、目標形成処理部に
おいて図２のシーンセグメンテーション処理２１、特に
図２のグラフ合成処理部３５により実行され、計算され
た属性を示す。

【００３１】図７は、領域目標の属性と、図示の方程式
を使用した領域の境界と凸状の外殻に関する計算を示す
。図８はリボン目標属性を示し、このリボン目標属性は
図８ａのリボン長、図８ｂのリボン強度、図８ｃの極性
、図８ｄのリボンの方向を含む。図８ｂと図８ｃに示さ
れる矢印はリボンを構成するラインセグメントの方向を
示す。

【００３２】領域目標に関し、処理部は面積属性、周囲
長属性、凸状外殻の属性を計算する。リボン目標に対し
、処理部はラインテーブルを用いて、以下の条件を満足
する一対のラインを検索する。（１）方向が１８０度異
なる、（２）互いに極めて接近している、（３）同様な
強度の領域の側面に位置する、（４）どちらのラインに
も平行でない他のラインセグメントを囲まない。このよ
うな条件を満たすラインの対が見つかると、それらに関
するリボン属性が計算される。リボン目標の属性は、（
１）リボンの強度、（２）リボンの極性（暗の中の明ま
たは明の中の暗の別）（３）リボンの幅（２つのライン
の距離）（４）リボンの方向、を含む。

【００３３】グラフ合成処理とそれに関連したグラフ言
語は、目標形成処理により生成された領域目標とリボン
目標７５−７８（図９ａ，図９ｂ）の間の関係（即ち、
関係記述）を求め、領域目標とリボン目標とそれらの関
連に基づいて属性検出グラフ構造を公式化或いは規定す
る。すべての領域目標と領域目標、領域目標とリボン目
標、リボン目標とリボン目標の間の関係が求められる。 その関係は空間型（互いに近接していること）あるいは
比較型（属性の比較）である。

【００３４】グラフ、ノ−ド、ノ−ド間リンク、グラフ
形成処理はよく知られた技術なのでここでは詳述しない
。グラフ処理の当業者は、参照されるべき属性に関する
知識とこの明細書に示されたグラフの説明に基づいてグ
ラフを生成できる。

【００３５】属性検出グラフの作成において、領域目標
とリボン目標は、それらの属性と共に、グラフのノ−ド
におかれる。１つのノ−ドには１つの目標が置かれる。 目標の各対の関係は、グラフの弧（リンク）にそれらの
属性と共に置かれる。この手法により、十分連結され属
性付けられたグラフが形成され、シンボリックに元の画
像シ−ンを表現する。

【００３６】図９ａ−９ｃは、グラフ合成処理３５（図
２）で、属性検出グラフ８０を生成する工程を示す。グ
ラフ８０はノ−ド８１−８４と、ノ−ド属性と、弧（ま
たはリンク）と、リンク属性、から成る。ノ−ド８１−
８４はシ−ン中の目標をシンボリックに表し、ノ−ド属
性は目標を説明（記述）し、弧（またはリンク）はシ−
ン中の目標間の関連をシンボリックに表し（記述し）、
リンク属性は目標間の関連を示す（記述する）。より詳
細には、ノ−ド１は領域１即ち目標７６を表し、ノ−ド
２は領域２即ち目標７７を表し、ノ−ド３は領域３即ち
目標７８を表し、ノ−ド４はリボン目標７５を表す。リ
ボン目標と領域目標７５−７８間の種々のリンクは、図
面上、１リンク２、２リンク４、１リンク４、１リンク
３、２リンク３、３リンク４として示される。これらの
リンクは、領域１即ち目標７６は上方にあり領域２即ち
目標７７に隣接しており、領域１即ち目標７６は領域３
即ち目標７８の左にあり、領域２即ち目標７７はリボン
目標７５の左隣にある等のパラメ−タを含む。

【００３７】基準グラフの処理は、目標の形成や２つの
異なるグラフを合成する処理と同一の処理によりなされ
る。基準グラフの処理は検出画像の取得とその後の分割
処理、記述処理より先に実行される。また、基準グラフ
は、一般に、自律的なシーン分割処理から得られるもの
ではなく、画像入力装置を用いてオペレ−タにより入力
される。

【００３８】図１０ａと１０ｂは、基準シ−ン（参照画
像）９０と属性基準グラフ（属性が付された基準グラフ
）９１をそれぞれ示す。図１０ａは、領域１と領域２、
リボンと所望の照準点９４を含む基準シ−ン９０を示す
。図１０ｂに示された属性基準グラフ９１は、図９ｃに
示されたグラフと同様にノ−ドとリンクからなる。 ノ−ドとリンクは図９ｃに関して説明したものと同一形
式の関連性を有する。

【００３９】グラフ突合せ処理３７（図２）は、属性基
準グラフと属性検出グラフを比較し、２つのグラフ間の
類似の程度に基づいた最高の共通サブグラフ（即ち、コ
ンフィデンスナンバー）を生成し、コンフィデンスナン
バーと所定のしきい値に基づき認識処理を行なう。各グ
ラフのノ−ドと弧の属性との一致の程度により成否の可
能性が決定される。予め決定されたいき値よりコンフィ
デンスナンバ−を大きくできないパスを無視するように
、発見的学習処理が採用される。不確かな解、すなわち
一方のグラフ中の１つの目標を他方のグラフの複数の目
標に突き合わせる解となるパスは無視される。最後に、
目標が元のシ−ンに表れたような目標間の空間的な関連
が保存されないパスは無視される。

【００４０】図１１は、図２のシ−ン認識処理２３のグ
ラフ突合せにより決定された最もよい共通サブグラフ９
２を示す。図９ｃに示されたグラフは図１０ｂに示され
たグラフと突合わされ、図１１の共通サブグラフ９２を
発生する。この処理は従来の周知のグラフプロセス技術
を用いて実行される。

【００４１】図１２ａと１２ｂは、それぞれ照準点９４
、９５を有する基準シ−ン９０と検出シ−ン９３を示す
。図１２ａと１２ｂでは、基準グラフには示されていな
い目標を検出シ−ン（領域３）に見付ける可能性がある
。しかし、この相違や、目標に付加物あるいは脱落があ
ったり、目標の大きさや形状が相違したり、撮像の際の
状態に起因する変化にかかわらず適切な照準点が指示さ
れる。基準シ−ン９０の照準点９４は、属性基準グラフ
に含まれ、所望の標的となる場所を示す。この照準点は
ミサイルが狙うべき場所である照準点として検出グラフ
に移される。この情報はミサイル運行システムへ供給さ
れ、ミサイルの運行に使用される。

【００４２】以上、本願発明にかかる新規で改良された
、高レベルと低レベルの特徴検出を使用して標的を確認
し追跡するシーン認識システムと方法を説明したが、上
述の具体例は、この発明の多くの具体化の一例にすぎな
い。この発明の範囲を逸脱しない範囲で、他の多くの構
成及び変形が可能である。

【００４３】

【発明の効果】以上詳記したように本発明によれば、目
標をより短時間により精密に確認または分類することが
できる設計が可能となり、これをミサイル誘導システム
に使用すれば、より正確にミサイルを所望の目標に誘導
することが可能となる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図であり、低レ
ベルと高レベルの特徴検出を使用して標的を確認し追跡
するシーン認識システムのブロック図。

【図２】図１のシステムの詳細な機能ブロック図。

【図３】低レベル特徴検出のために実行される処理を示
す図であり、図３ａは検出シーンを示しており、図３ｂ
にブロックウインドウ処理された検出シーンを示し、図
３ｃはピクセルデータを示す。

【図４】低レベル特徴検出のために実行される処理を示
す図であり、図４ａはライン形成処理を、図４ｂは領域
を、図４ｃは合成されたグラフを示す。

【図５】図２のシ−ン分割処理において実行される平面
リンク処理と領域成長処理を示す。

【図６】図２のシ−ン分割処理において実行される境界
形成処理と線形特徴抽出処理の結果を示す。

【図７】領域目標についての属性の説明と属性を求める
方程式を示す図。

【図８】リボン目標についての属性を説明する図。

【図９】属性検出グラフを生成する過程を示す図。

【図１０】基準シ−ンおよび属性基準グラフを示す図。

【図１１】図２のシーン認識部のグラフ突合せ処理によ
り決定された、最もよい共通サブグラフを示す図。

【図１２】照準点を有する基準シ−ンと検出シーンを示
す図。

【符号の説明】

１１…低レベル特徴検出器、１２…高レベルグラフ突合
せプロセッサ、１３…グラフシンセサイザ、１４…グラ
フ突合せ部、１５…照準点評価部、１６…基準グラフメ
モリ、２１…シ−ン分割処理、２２…シーン記述処理、
２３…シ−ン認識処理、２４…ミサイル運行システム、
３１…低レベル特徴記述処理、３２…強度分割処理、３
３…傾斜分割処理、３４…傾斜／強度目標統合処理、３
５…グラフ合成処理、３６…基準グラフ、３７…グラフ
突合せ処理部、３８…シ−ン転送処理。

Claims (10)

【特許請求の範囲】
1. 【請求項１】　　シーン内の標的を識別して追跡するた
   めのローレベル特徴検出及びハイレベル特徴検出を用い
   て任意の標的にミサイルを誘導するミサイルガイダンス
   システムを備えるシーン認識システムであって、撮像さ
   れたシーンから抽出され、撮像されたシーンを代表する
   画像データを処理し、所定の属性の集合を用いて前記イ
   メージデータを前記イメージをシンボリックに表現する
   垂直アイコンのマトリクスに変換することにより、撮像
   されたシーンから特徴を抽出するローレベル特徴検出プ
   ロセッサと、前記ローレベル特徴検出プロセッサに接続
   され、前記アイコンを処理してシーン中に存在する目標
   を形成し、前記目標と属性により記述されるそれらの関
   係から、各目標が記述的属性と共にグラフのノードに置
   かれ、対応する前記目標間の関係はノードをリンクする
   属性と共にグラフリンクに置かれ、イメージをシンボリ
   カルに代表し、完全接続された属性グラフはイメージを
   シンボリカルに代表するところの属性検出グラフを生成
   するグラフ合成プロセッサと、前記グラフ合成プロセッ
   サに接続され、イメージシーン内に存在すると期待され
   る識別可能な目標の表現である所定の基準グラフを記憶
   する基準グラフ記憶手段と、前記グラフ合成プロセッサ
   に接続され所定の属性基準グラフと属性検出グラフを比
   較し、属性基準グラフと属性検出グラフの類似度に基づ
   いて目標認識を行って照準点指示信号を出力し、この出
   力信号を指示された目標に向けてミサイルを誘導するガ
   イダンス信号を出力するミサイル誘導システムに供給す
   るグラフ突き合わせプロセッサ、を具備することを特徴
   とするシーン認識システム。
2. 【請求項２】　　視野内の標的を特定してトラッキング
   するためのローレベル及びハイレベル特徴検出器と任意
   の標的にミサイルを運行するミサイル誘導システムを備
   えるシーン認識システムであって、撮像されたシーンか
   ら抽出され、撮像されたシーンを代表する画像データを
   処理し、所定の属性の集合を用いて前記画像データを前
   記シーンをシンボリックに表現する垂直アイコンのマト
   リクスに変換して、撮像されたシーンから特徴を抽出す
   るするローレベル特徴検出プロセッサ手段と、前記ロー
   レベル特徴検出プロセッサ手段に接続され、前記垂直ア
   イコンを処理し、画像シーンに存在する目標を代表する
   表現を生成し、前記目標と属性により現される目標間の
   関係に基づいて属性検出グラフを形成するために目標間
   の関連を計算し、各目標を記述的属性と共にグラフのノ
   ードに置き、対応する目的間の関係をノードを結ぶ属性
   と共にグラフリンクに置き、完成に接続されたものが画
   像をシンボリカルに代表するところの属性検出グラフを
   生成するグラフ合成プロセッサ手段と、前記グラフ合成
   プロセッサ手段に接続され、画像を構成するデータに存
   在すると期待される識別可能な目標の所定の基準グラフ
   を記憶する基準グラフ記憶手段と、前記グラフ合成プロ
   セッサ手段に接続され、属性基準グラフと属性検出グラ
   フを比較し、属性基準グラフと属性検出グラフの類似度
   と所定のしきい値に基づいて目標の認識を行い、指示さ
   れた目標にミサイルを誘導するガイダンス信号を出力す
   るミサイルガイダンスシステムに供給される標的指定信
   号を出力するグラフ突き合わせプロセッサ、を具備する
   ことを特徴とするシーン認識システム。
3. 【請求項３】　　前記ローレベル特徴検出処理手段に接
   続され、ブロック分離境界を有する領域の集合を生成す
   るために均一の強度の領域を有する直交アイコンの集合
   を生成する平面リンクプロセス手段と、前記平面連結処
   理手段に接続され、特徴分離境界を生成するために強度
   勾配を有する隣接直交アイコンを付加する領域成長処理
   手段をさらに備え、前記領域は均一強度の構成アイコン
   の数で示される面積と均一強度アイコンのリストにより
   記述され、この強度は構成アイコンの平均強度である、
   ことを特徴とする請求項２記載のシーン認識システム。
4. 【請求項４】　　前記ローレベル特徴検出処理手段はさ
   らに、境界形成及び線形特徴抽出処理手段を備え、前記
   境界形成及び線形特徴抽出処理手段は前記領域成長処理
   手段に接続され、（１）各領域を囲む勾配チェーンを形
   成するために各領域の勾配境界を検討し、（２）各リニ
   アセグメントの始点と終点にある前記チェーンに挿入さ
   れたポインタを用いてリニアセグメント用の各領域の勾
   配チェーンを分析し、（３）リニアセグメントを形成す
   るために２以上の領域に関連するセグメントの結合のた
   めのリニアセグメントを分析し、平面リンク処理手段と
   領域成長処理手段により規定される各領域の境界と、長
   さ・方向・終点座標により示されるリニアセグメントを
   生成することを特徴とする請求項３記載のシーン認識シ
   ステム。
5. 【請求項５】　　前記ローレベル特徴検出処理手段はさ
   らに目標形成処理手段を備え、前記目標形成処理手段は
   前記境界形成及び線形特徴抽出処理手段に接続され、前
   記境界形成及び線形特徴抽出処理手段により提供される
   線形特徴からリボン目標を生成し、属性検出グラフのノ
   ードを定義する領域目標を生成するために、平面連結及
   び領域成長処理手段により提供された領域の属性からな
   るシンボリックな説明を生成することにより、これらの
   目標のシンボリックな説明を生成し、前記目標形成処理
   手段は領域目標のために、面積と周囲長と凸状外形属性
   を求め、リボン目標のために、前記目標形成処理手段は
   次の条件を満たすラインの対を見付けるためにラインテ
   ーブルをサーチし、（１）方向が１８０度異なる、（２
   ）互いに接近している、（３）類似の強度の部分が側面
   に位置する、（４）いずれかのラインに平行である他の
   ラインを含まない、そして、これらの条件に合致するラ
   イン対が検出された時、それらのリボン属性を計算し、
   前記リボン目標の属性は以下のものを含む（１）リボン
   の強度、（２）暗の中の明なのかその逆なのかを示すリ
   ボンの極性、（３）２つのラインの間隔に相当するリボ
   ンの幅、（４）リボンの方向、ことを特徴とする請求項
   ４記載の画像認識システム。
6. 【請求項６】　　視野内の標的を特定してトラッキング
   するためのローレベル特徴検出器及びハイレベル特徴検
   出器と任意の標的にミサイルを誘導するミサイルガイダ
   ンスシステムを備える画像認識システムであって、イメ
   ージされたシーンから抽出され、イメージされたシーン
   を代表するイメージデータ処理し、所定の属性の集合を
   用いて前記イメージデータを前記イメージをシンボリッ
   クに表現する垂直アイコンのマトリクスに変換すること
   によって、イメージされたシーンからローレベル特徴を
   抽出するローレベル特徴検出プロセッサ手段と、前記直
   交アイコンを処理する前記ローレベル特徴検出プロセッ
   サ手段に接続され、領域目標及びリボン目標とそれらの
   関係から属性検出グラフを形成するために、目標形成処
   理手段により提供された領域目標及びリボン目標の間の
   関係を求め、領域目標とリボン目標をグラフのノードに
   記述的属性と共に置き、各目標を１つのノードに置き、
   対応する前記目標間の関係を属性と共にグラフリンクに
   置き、イメージをシンボリカルに表示する属性グラフを
   生成するグラフ合成プロセッサと、前記グラフ合成プロ
   セッサに接続され、イメージシーン内に存在すると期待
   される識別可能な目標の所定の基準グラフを記憶する基
   準グラフ記憶手段と、前記グラフ合成プロセッサに接続
   され、所定の属性基準グラフと属性検出グラフを比較し
   、２つのグラフの類似度に基づいて２つのグラフ間の最
   も共通のサブグラフを生成し、類似の程度と所定のしき
   い値に基づいて目標を認識し、指示された目標にミサイ
   ルを誘導するためのガイダンス信号を出力するミサイル
   ガイダンスシステムに標的決定信号を出力するグラフ突
   き合わせプロセッサ、を具備することを特徴とする画像
   認識システム。
7. 【請求項７】　　視野内の標的を識別して追跡するため
   のローレベル及びハイレベル特徴検出器と任意の標的に
   ミサイルを運行するミサイル誘導システムを備えるシー
   ン認識システムであって、イメージされたシーンから抽
   出され、イメージされたシーンを代表するイメージデー
   タを処理し、所定の属性の集合を用いて前記イメージデ
   ータを前記イメージをシンボリックに表現する垂直アイ
   コンのマトリクスに変換し、イメージされたシーンから
   特徴を抽出するするローレベル特徴検出プロセッサ手段
   と、前記ローレベル特徴検出処理手段に接続され、均一
   強度のアイコンから構成されかつブロック分離境界を有
   する領域の集合を生成するために、緩和法に基づいたア
   ルゴリズムにより均一の強度を有する直交アイコンのグ
   ループの集合を生成し、それらの領域は均一の強度のア
   イコンの数で示される面積とアイコンのリストから構成
   され、この強度は直交アイコンの平均強度である平面連
   結プロセス手段と、前記平面連結処理手段に接続され、
   特徴分離境界を生成するために、強度勾配を有する隣接
   直交アイコンを付加する領域成長処理手段と、前記領域
   成長処理手段に接続され、（１）各領域を囲む勾配チェ
   ーンを形成するために各領域の勾配境界を検討し、（２
   ）各リニアセグメントの始点と終点にある前記チェーン
   に挿入されたポインタを用いてリニアセグメントのため
   に各領域の勾配チェーンを分析し、（３）リニアセグメ
   ントを形成するために２以上の領域に関連するセグメン
   トの結合のためのリニアセグメントを分析し、平面連結
   処理手段と領域成長処理手段により規定される各領域の
   境界説明と、長さ・方向・終点座標により示されるリニ
   アセグメントを生成する境界形成及び特徴抽出処理手段
   と、前記境界生成及びリニア特徴抽出処理手段に接続さ
   れ、前記勾配境界及びリニア特徴抽出処理手段により生
   成されるリニア特徴からリボン対象を生成し、属性検出
   グラフのノードを定義する領域目的を生成するために、
   平面連結及び領域成長処理手段により提供された領域の
   属性から構成されたシンボリックな説明を生成すること
   により、これらの目標のシンボリックな説明を生成する
   目標形成処理手段と、前記ローレベル特徴検出プロセッ
   サ手段に接続され、領域目標及びリボン目標とそれらの
   関係からイメージをシンボリカルに代表する属性検出グ
   ラフを生成するために、目標形成処理手段により提供さ
   れる領域目標とリボン目標の間の関係を求め、領域目標
   とリボン目標を記述的属性と共にグラフのノードに置き
   、対応する目標間の関係をノードを結ぶ属性と共にグラ
   フリンクに置くグラフ合成プロセッサ手段と、前記グラ
   フ合成プロセッサ手段に接続され、イメージを構成する
   データ内に存在すると期待される識別可能な目標の基準
   グラフを記憶する基準グラフ記憶手段と、前記グラフ合
   成プロセッサ手段に接続され、所定の属性基準グラフと
   属性検出グラフを比較し、２つのグラフの間の類似度に
   基づいて２つのグラフ間の最も共通のサブグラフを生成
   し、属性基準グラフと属性検出グラフの類似度と所定の
   しきい値に基づいて目標認識を行う、グラフマッチング
   手段、を備え、前記目標形成処理手段は、前記領域目標
   のために、面積と周囲長と凸状外形属性を求め、リボン
   目標のために、次の条件を満足するライン対を検出する
   ためにラインテーブルをサーチし、（１）方向が１８０
   度異なる、（２）互いに接近している、（３）類似の領
   域が側部に存在する、（４）いずれかのラインに平行で
   ある他のラインを含まない、そして、これらの条件に合
   致するライン対が検出された時、前記リボン目標の以下
   の属性を含むリボン属性を求め（１）リボンの強度、（
   ２）暗の中の明かその逆かを示すリボンの極性、（３）
   ２つのラインの間隔に相当するリボンの幅、（４）リボ
   ンの方向、前記グラフマッチング手段は属性基準グラフ
   と属性検出グラフのノードとアーク間の適切なマッチン
   グを評価するために発見的学習法に方向付けられた深さ
   を中心にしたサーチ技術を用い、前記適合性はグラフ間
   のノードと弧の属性の間の突き合わせの程度により決定
   され、前記発見的学習法は前記所定のしきい値よりも大
   きな類似の程度を生成する可能性がないパスのツリー、
   一方のグラフにおける１つの目標を他方のグラフにおけ
   る複数の目標にマッチングさせる不明瞭な解に導くパス
   のツリー、元のシーンに現れる目標間の空間的関係を満
   足しないパスのツリーを無視することを特徴とするシー
   ン認識システム。
8. 【請求項８】　　視野内の標的を追跡するためのミサイ
   ルガイダンスシステムに使用される方法であって、イメ
   ージシーンから抽出され、イメージされたシーンを代表
   するイメージデータを処理し、所定の属性の集合を用い
   て前記イメージデータを前記イメージをシンボリックに
   表現する垂直アイコンのマトリクスに変換し、イメージ
   されたシーンからローレベルの特徴を抽出するイメージ
   データ処理工程と、前記垂直アイコンを処理して、直交
   アイコンとそれらの関係からなる領域目標及びリボン目
   標から属性センスグラフを形成する工程であって、領域
   目標及びリボン目標は記述的属性と共にグラフのノード
   に置かれ、１つの目標が１つのノードにおかれ、対応す
   る目標間の関係はそれらの属性と共にグラフリンクに置
   かれ、完全に接続された属性グラフはイメージをシンボ
   リカルに代表する工程と、イメージシーンを構成するデ
   ータに存在すると期待される目標の基準グラフを記憶す
   る工程と、所定の属性基準グラフと属性センスグラフを
   比較し、目標の認識を行い、標的特定信号を指示された
   目標にミサイルを誘導するガイダンス信号を出力するミ
   サイルガイダンスシステムに供給する工程、を具備する
   ことを特徴とする方法。
9. 【請求項９】　　前記イメージデータ処理工程は、緩和
   法に基づいたアルゴリズムを用いてほぼ均一強度の領域
   を有する直交アイコンのグループを形成して、ブロック
   分離境界を有する領域の集合を生成する工程と、特徴分
   離境界を生成するために、強度勾配を有する隣接直交ア
   イコンを付加する工程、　　を具備し、前記領域は均一
   の強度を有する直交アイコンの数で示される面積とアイ
   コンのリストから構成され、この強度は均一強度アイコ
   ンの平均強度であることを特徴とする請求項８記載の方
   法。
10. 【請求項１０】　　所定のグラフ形式で所定の目標の表
    現を保存する工程と、画像データを処理し、イメージシ
    ーンに含まれる画像的特徴を表すアイコンを生成する工
    程と、イメージシーン内の目標を形成するためにアイコ
    ンを処理する工程と、目標をイメージシーン内の目標の
    表現に合成する工程と、イメージシーン内の合成された
    目標の表現と所定の目標の保存された表現を比較し、両
    者の間に対応が存在するか否かを決定する工程と、合成
    された目標の表現と保存された表現の間の突き合わせ結
    果を示す信号を生成し、イメージシーン内の所定の目標
    の識別を示す信号を出力する工程、を具備することを特
    徴とするイメージシーン内の所定の目標を識別する方法
    。