JP2518578B2 - 場景認識装置及び場景認識方法 - Google Patents
場景認識装置及び場景認識方法Info
- Publication number
- JP2518578B2 JP2518578B2 JP3345159A JP34515991A JP2518578B2 JP 2518578 B2 JP2518578 B2 JP 2518578B2 JP 3345159 A JP3345159 A JP 3345159A JP 34515991 A JP34515991 A JP 34515991A JP 2518578 B2 JP2518578 B2 JP 2518578B2
- Authority
- JP
- Japan
- Prior art keywords
- processing means
- gradation
- scene
- area
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
【０００１】
【産業上の利用分野】本発明は場景認識装置及び場景認
識方法、特に、標的の追跡をするために標的の識別をす
る場景認識装置及び場景認識方法に関する。
識方法、特に、標的の追跡をするために標的の識別をす
る場景認識装置及び場景認識方法に関する。
【０００２】
【従来の技術】ミサイルを誘導する現在の場景認識装置
及び場景認識方法は、ミサイルの視界内にある建造物、
トラック、戦車、船舶等の標的物を迅速に効率よく検出
する特殊な信号処理アーキテクチャとアルゴリズムを採
用している。即ち、ミサイルの誘導には物体の分類及び
標的物の識別を瞬時に正確に行う優れた場景認識装置及
び場景認識方法が常に要求されている。この要求は他の
用途においても同様である。
及び場景認識方法は、ミサイルの視界内にある建造物、
トラック、戦車、船舶等の標的物を迅速に効率よく検出
する特殊な信号処理アーキテクチャとアルゴリズムを採
用している。即ち、ミサイルの誘導には物体の分類及び
標的物の識別を瞬時に正確に行う優れた場景認識装置及
び場景認識方法が常に要求されている。この要求は他の
用途においても同様である。
【０００３】
【発明が解決しようとする課題】本発明は上記事情に鑑
みてなされたもので、本発明の目的は物体の分類及び標
的物の識別を瞬時に正確に行う場景認識装置及び場景認
識方法を提供することである。
みてなされたもので、本発明の目的は物体の分類及び標
的物の識別を瞬時に正確に行う場景認識装置及び場景認
識方法を提供することである。
【０００４】
【課題を解決するための手段と作用】本発明に基づく場
景認識装置及び場景認識方法は、赤外線センサ、ミリ波
レーダ、合成アパーチャレーダ、音波探知機等の従来の
撮像装置を用いて場景を撮像し、撮像装置の出力（画
像）を概要抽出プロセッサで処理して画像から場景の概
要を抽出する。この処理は、撮像装置により得られるデ
ータ（画像データ）の行列を一組の所定の属性により画
像を記号で表示する矩形状のアイコンの行列に変換する
ことによりなされる。矩形状のアイコンの行列を図形照
合プロセッサで処理して、記号による場景の分割、記
述、認識を通じて画像内の標的物を表す属性図を求め、
この属性図を所定の参照用属性図と比較して、両者間の
類似度に基づいて共通属性図を生成し、類似度の値及び
所定の閾値に基づいて標的物か否かの判定をする。図形
照合プロセッサは、判定結果に基づいて照準点を決定
し、この照準点をミサイル誘導装置に供給する。ミサイ
ル誘導装置は照準点に従って標的の追跡をする。
景認識装置及び場景認識方法は、赤外線センサ、ミリ波
レーダ、合成アパーチャレーダ、音波探知機等の従来の
撮像装置を用いて場景を撮像し、撮像装置の出力（画
像）を概要抽出プロセッサで処理して画像から場景の概
要を抽出する。この処理は、撮像装置により得られるデ
ータ（画像データ）の行列を一組の所定の属性により画
像を記号で表示する矩形状のアイコンの行列に変換する
ことによりなされる。矩形状のアイコンの行列を図形照
合プロセッサで処理して、記号による場景の分割、記
述、認識を通じて画像内の標的物を表す属性図を求め、
この属性図を所定の参照用属性図と比較して、両者間の
類似度に基づいて共通属性図を生成し、類似度の値及び
所定の閾値に基づいて標的物か否かの判定をする。図形
照合プロセッサは、判定結果に基づいて照準点を決定
し、この照準点をミサイル誘導装置に供給する。ミサイ
ル誘導装置は照準点に従って標的の追跡をする。
【０００５】
【実施例】以下、図面を参照して本発明の実施例を説明
する。
する。
【０００６】図１は本発明に基づく場景認識装置の概略
を示すブロック図である。この装置は、赤外線センサ、
テレビ用撮像管、レーダ等の撮像装置9 が撮像した画像
データが入力されて、画像データの概要をアイコンで表
示する概要抽出装置11を有している。この概要抽出装置
11はアイコンを処理して照準点情報を生成する図形照合
プロセッサ12に接続されている。照準点情報はミサイル
を所望の標的に誘導するミサイル誘導装置24に供給され
る。
を示すブロック図である。この装置は、赤外線センサ、
テレビ用撮像管、レーダ等の撮像装置9 が撮像した画像
データが入力されて、画像データの概要をアイコンで表
示する概要抽出装置11を有している。この概要抽出装置
11はアイコンを処理して照準点情報を生成する図形照合
プロセッサ12に接続されている。照準点情報はミサイル
を所望の標的に誘導するミサイル誘導装置24に供給され
る。
【０００７】図形照合プロセッサ12は、図形合成装置1
3、図形照合装置14、照準点確定装置15が直列に接続さ
れて構成されている。図形照合プロセッサ12には、撮像
した場景に存在している筈の対象物を表示する所定の参
照図形が格納されている参照図形記憶装置16が接続され
ている。参照図形は、戦車、建物、陸標、湖沼等を表す
図形である。
3、図形照合装置14、照準点確定装置15が直列に接続さ
れて構成されている。図形照合プロセッサ12には、撮像
した場景に存在している筈の対象物を表示する所定の参
照図形が格納されている参照図形記憶装置16が接続され
ている。参照図形は、戦車、建物、陸標、湖沼等を表す
図形である。
【０００８】概要抽出装置11は、平成２年４月２５日に
米国特許商標局に出願された「改良されたデータ伸張装
置と方法」と言う名称の特許出願第５１４，７７９号に
詳しく記載されている。この言及によりこの米国特許出
願の内容が本明細書中にも含まれるものとする。但し、
参考までにこの米国特許出願の内容をここで簡単に要約
しておく。概要抽出装置11は、撮像装置により得られた
データ（画像データ）の行列を矩形状のアイコンの行列
に変換して、撮像した場景を一組の属性に基づいて記号
で表示するものである。この点については、後に図３〜
図１２を参照して詳述する。
米国特許商標局に出願された「改良されたデータ伸張装
置と方法」と言う名称の特許出願第５１４，７７９号に
詳しく記載されている。この言及によりこの米国特許出
願の内容が本明細書中にも含まれるものとする。但し、
参考までにこの米国特許出願の内容をここで簡単に要約
しておく。概要抽出装置11は、撮像装置により得られた
データ（画像データ）の行列を矩形状のアイコンの行列
に変換して、撮像した場景を一組の属性に基づいて記号
で表示するものである。この点については、後に図３〜
図１２を参照して詳述する。
【０００９】図１に示した場景認識装置は、画像情報を
圧縮して抽象的な形式に変換するもので、このような変
換処理を段階的に実行する。第１の変換処理は概要抽出
装置11が実行するもので、撮像装置により得られた画像
を処理して、即ち、各画素の階調を示す数で構成された
行列を処理して、画像データの階調分布を１０×１０個
の画素からなるブロック毎に定義する属性付アイコンか
らなる簡潔な行列に変換する。
圧縮して抽象的な形式に変換するもので、このような変
換処理を段階的に実行する。第１の変換処理は概要抽出
装置11が実行するもので、撮像装置により得られた画像
を処理して、即ち、各画素の階調を示す数で構成された
行列を処理して、画像データの階調分布を１０×１０個
の画素からなるブロック毎に定義する属性付アイコンか
らなる簡潔な行列に変換する。
【００１０】第２の変換処理は図形照合プロセッサ12が
実行するもので、アイコンの行列を階調に基づいて分類
して階調毎に領域を形成し、領域間の境界線を特定す
る。細長くて対向辺がほぼ平行な領域はリボンとして指
定される。この変換処理により、物体、物体の様々な属
性、物体間の相互関係に関するリストが得られる。この
情報を符号化し、属性図として構造化する。
実行するもので、アイコンの行列を階調に基づいて分類
して階調毎に領域を形成し、領域間の境界線を特定す
る。細長くて対向辺がほぼ平行な領域はリボンとして指
定される。この変換処理により、物体、物体の様々な属
性、物体間の相互関係に関するリストが得られる。この
情報を符号化し、属性図として構造化する。
【００１１】図形照合装置14は、撮像装置の出力画像か
ら得られて構造を示す属性図を偵察で得られた情報に基
づいて予め形成し格納しておいた参照用構造化属性図と
比較し、両属性図間に高い相関が得られると、両属性図
が同一であると判定する。このようにして両属性図が同
一であると判定されると、照準点確定装置15は参照用構
造化属性図に予め設けておいた照準点を撮像装置により
得られて構造を示す属性図に写して、この情報をミサイ
ル誘導装置に入力として供給する。
ら得られて構造を示す属性図を偵察で得られた情報に基
づいて予め形成し格納しておいた参照用構造化属性図と
比較し、両属性図間に高い相関が得られると、両属性図
が同一であると判定する。このようにして両属性図が同
一であると判定されると、照準点確定装置15は参照用構
造化属性図に予め設けておいた照準点を撮像装置により
得られて構造を示す属性図に写して、この情報をミサイ
ル誘導装置に入力として供給する。
【００１２】両図の相関を調べる従来の方法では、節点
の数が一直線に増大すると、両図が一致しているか否か
の判定に必要な調査の回数、即ち、比較の回数が指数関
数的に増大してしまうので、従来の方法はＮＰ完全であ
る。これに対して、本発明ではこの問題を次のようにし
て解消している。即ち、撮像画像と参照画像の両者に独
特の属性を付加して、調査領域の大幅な減少を実現し、
これにより高速実時間調査を達成している。
の数が一直線に増大すると、両図が一致しているか否か
の判定に必要な調査の回数、即ち、比較の回数が指数関
数的に増大してしまうので、従来の方法はＮＰ完全であ
る。これに対して、本発明ではこの問題を次のようにし
て解消している。即ち、撮像画像と参照画像の両者に独
特の属性を付加して、調査領域の大幅な減少を実現し、
これにより高速実時間調査を達成している。
【００１３】図２は図１に示した場景認識装置の機能を
示すブロック図である。場景分割処理21は、概要抽出処
理31、同一階調均一部統合化処理32、階調不均一部統合
化処理33、同一階調均一部階調不均一部融合化処理34で
構成されていて、図１の概要抽出装置11が実行する。場
景分割処理21により得られた出力信号には場景記述処理
22が施される（概要抽出装置11の出力信号は図形照合プ
ロセッサ12に供給される）。場景記述処理22は撮像した
画像に存在している各対象物の図形を生成する図形合成
処理35からなる。参照図形36は行動作戦計画の立案に必
要な情報を得るための偵察飛行などにより得られたビデ
オデータから予め作成して格納しておいた図形で、乗り
物、建造物、陸標、湖沼等を示す図形である。本発明で
はビデオデータに基づいて標的物を決め、この標的物を
処理して参照図形を生成し、この参照図形を比較データ
として最終的に利用して、標的の識別及び選択をしてい
る。
示すブロック図である。場景分割処理21は、概要抽出処
理31、同一階調均一部統合化処理32、階調不均一部統合
化処理33、同一階調均一部階調不均一部融合化処理34で
構成されていて、図１の概要抽出装置11が実行する。場
景分割処理21により得られた出力信号には場景記述処理
22が施される（概要抽出装置11の出力信号は図形照合プ
ロセッサ12に供給される）。場景記述処理22は撮像した
画像に存在している各対象物の図形を生成する図形合成
処理35からなる。参照図形36は行動作戦計画の立案に必
要な情報を得るための偵察飛行などにより得られたビデ
オデータから予め作成して格納しておいた図形で、乗り
物、建造物、陸標、湖沼等を示す図形である。本発明で
はビデオデータに基づいて標的物を決め、この標的物を
処理して参照図形を生成し、この参照図形を比較データ
として最終的に利用して、標的の識別及び選択をしてい
る。
【００１４】場景認識処理23は、図形合成処理35で生成
された図形と参照図形36とを照合する図形照合処理37
と、照準点を確定して照準点確定情報をミサイル誘導装
置24に供給する標的確定処理38とで構成されている。
された図形と参照図形36とを照合する図形照合処理37
と、照準点を確定して照準点確定情報をミサイル誘導装
置24に供給する標的確定処理38とで構成されている。
【００１５】図３〜図４は概要抽出処理31の処理内容を
示している。概要抽出処理31では、撮像データ（画像デ
ータ）の行列を一組の属性により記号で撮像場景を表示
する矩形状のアイコンの行列に変換する。矩形状のアイ
コンは、図２に示した場景の分割、記述、認識の各処理
を記号で実施する際の基になる。図３ａは、家屋41の像
を示している。この家屋41は、太陽との相対的な位置関
係により壁42、43や屋根44、45に異なる陰影が生じる。
従って、家屋41の各面は図３ａに示したように異なるテ
クスチャー（濃淡）により特定することができる。即
ち、家屋41の像は、家屋データの各画素の濃度を表す数
値の行列である。
示している。概要抽出処理31では、撮像データ（画像デ
ータ）の行列を一組の属性により記号で撮像場景を表示
する矩形状のアイコンの行列に変換する。矩形状のアイ
コンは、図２に示した場景の分割、記述、認識の各処理
を記号で実施する際の基になる。図３ａは、家屋41の像
を示している。この家屋41は、太陽との相対的な位置関
係により壁42、43や屋根44、45に異なる陰影が生じる。
従って、家屋41の各面は図３ａに示したように異なるテ
クスチャー（濃淡）により特定することができる。即
ち、家屋41の像は、家屋データの各画素の濃度を表す数
値の行列である。
【００１６】図３ｂに概略を示したように、家屋41を表
す画像データを１０×１０個の画素で構成した矩形状の
ブロック46で処理して、図３ｃに示したように矩形状の
ブロックからなる画素データを生成する。図３ｃの画素
データは概要抽出装置11により生成されるもので、画素
データには矩形状のアイコンが含まれている。図３ｃの
各アイコンは図３ｂの陰影に従って濃淡を有している矩
形状のブロックである。図３ｃに示したようにブロック
からなるデータが概要抽出装置11により生成される。
す画像データを１０×１０個の画素で構成した矩形状の
ブロック46で処理して、図３ｃに示したように矩形状の
ブロックからなる画素データを生成する。図３ｃの画素
データは概要抽出装置11により生成されるもので、画素
データには矩形状のアイコンが含まれている。図３ｃの
各アイコンは図３ｂの陰影に従って濃淡を有している矩
形状のブロックである。図３ｃに示したようにブロック
からなるデータが概要抽出装置11により生成される。
【００１７】図３ｃのブロックから図４ａに示す線と、
図４ｂに示す大まかな面領域とを形成する。線の形成は
図２に示した場景分割処理21の中の階調不均一部統合化
処理33で行われ、大まかな面領域の形成は図２に示した
場景分割処理21の中の同一階調均一部統合化処理32で行
われる。階調不均一部統合化処理33は面の濃淡（階調）
が不均一な隣接ブロックを相互に統合する処理で、同一
階調均一部統合化処理32は面全体にわたって濃度（階
調）が均一のブロックの中から同一濃度（同一階調）の
隣接ブロックを相互に統合する処理である。細部にわた
る面領域の形成は、同一階調均一部統合化処理32と、階
調不均一部統合化処理33との融合により行われ、この融
合処理により面領域の形状が決定される。即ち、線と大
まかな面領域の両情報を図２の同一階調均一部階調不均
一部融合化処理34及び図形合成処理35で処理して、領域
及びリボンの両者を形成し、図３ａの家屋41を表す図４
ｃに示すような図形を合成する。図４ｃには図２の参照
図36の情報から得られる照準点も示してある。
図４ｂに示す大まかな面領域とを形成する。線の形成は
図２に示した場景分割処理21の中の階調不均一部統合化
処理33で行われ、大まかな面領域の形成は図２に示した
場景分割処理21の中の同一階調均一部統合化処理32で行
われる。階調不均一部統合化処理33は面の濃淡（階調）
が不均一な隣接ブロックを相互に統合する処理で、同一
階調均一部統合化処理32は面全体にわたって濃度（階
調）が均一のブロックの中から同一濃度（同一階調）の
隣接ブロックを相互に統合する処理である。細部にわた
る面領域の形成は、同一階調均一部統合化処理32と、階
調不均一部統合化処理33との融合により行われ、この融
合処理により面領域の形状が決定される。即ち、線と大
まかな面領域の両情報を図２の同一階調均一部階調不均
一部融合化処理34及び図形合成処理35で処理して、領域
及びリボンの両者を形成し、図３ａの家屋41を表す図４
ｃに示すような図形を合成する。図４ｃには図２の参照
図36の情報から得られる照準点も示してある。
【００１８】図２の場景分割処理21の同一階調均一部階
調不均一部融合化処理34には、階調均一領域拡張処理も
含まれる。即ち、同一階調均一部統合化処理32では階調
が全面にわたって均一である矩形状のアイコンを緩和法
に基づくアルゴリズムにより同一階調のグループに分類
する。この分類により、階調が全面にわたって均一であ
る矩形状のアイコンからなる面領域が画像に存在する階
調毎に形成される。この面領域は、面積（面領域の構成
要素となっていて階調が全面にわたって均一なアイコン
の数）、階調度（面領域の構成要素となっていて階調が
全面にわたって均一なアイコンの平均階調度）、面領域
の構成要素となっていて階調が全面にわたって均一なア
イコンのリストにより定義される。即ち、階調が全面に
わたって均一である矩形状のアイコンの中から階調度が
類似している矩形状のアイコンのグループを形成して、
このグループの境界に基づいて面領域の大まかな境界が
決まる。この大まかな境界に隣接していて、面の階調が
不均一なアイコンに基づいて領域拡張処理を施すことに
より、詳細な境界が最終的に決定される。
調不均一部融合化処理34には、階調均一領域拡張処理も
含まれる。即ち、同一階調均一部統合化処理32では階調
が全面にわたって均一である矩形状のアイコンを緩和法
に基づくアルゴリズムにより同一階調のグループに分類
する。この分類により、階調が全面にわたって均一であ
る矩形状のアイコンからなる面領域が画像に存在する階
調毎に形成される。この面領域は、面積（面領域の構成
要素となっていて階調が全面にわたって均一なアイコン
の数）、階調度（面領域の構成要素となっていて階調が
全面にわたって均一なアイコンの平均階調度）、面領域
の構成要素となっていて階調が全面にわたって均一なア
イコンのリストにより定義される。即ち、階調が全面に
わたって均一である矩形状のアイコンの中から階調度が
類似している矩形状のアイコンのグループを形成して、
このグループの境界に基づいて面領域の大まかな境界が
決まる。この大まかな境界に隣接していて、面の階調が
不均一なアイコンに基づいて領域拡張処理を施すことに
より、詳細な境界が最終的に決定される。
【００１９】領域拡張処理は、階調が全面にわたって均
一である矩形状のアイコンの中から階調度が類似してい
る矩形状のアイコンのグループで形成された面領域に面
の階調が不均一で前記の面領域に隣接しているアイコン
を付加して、１０×１０個の画素からなり、階調が全面
にわたって均一である矩形状のアイコンの集合のみで形
成した境界よりも肌理の細かい境界を形成する処理であ
る。この処理は次のようにして実施される。
一である矩形状のアイコンの中から階調度が類似してい
る矩形状のアイコンのグループで形成された面領域に面
の階調が不均一で前記の面領域に隣接しているアイコン
を付加して、１０×１０個の画素からなり、階調が全面
にわたって均一である矩形状のアイコンの集合のみで形
成した境界よりも肌理の細かい境界を形成する処理であ
る。この処理は次のようにして実施される。
【００２０】(1) 階調が全面にわたって均一で階調度が
類似している隣接アイコン同士を相互に統一して行っ
て、均一な階調の領域を形成する。この領域の形成作業
は、面の階調が不均一なアイコンや階調度の異なるアイ
コンの存在により停止される。
類似している隣接アイコン同士を相互に統一して行っ
て、均一な階調の領域を形成する。この領域の形成作業
は、面の階調が不均一なアイコンや階調度の異なるアイ
コンの存在により停止される。
【００２１】(2) 階調の均一な領域に隣接する階調の不
均一なアイコンは、どれも２種類の階調を有していて、
いずれか一方の階調を有する側が階調の均一な領域に隣
接しているものとして定義される。この隣接している側
の階調度が、階調の均一な領域の階調度と同じであるな
らば、階調の均一な領域の境界を拡張して、階調の不均
一なアイコンの中の同一階調度の部分を領域に含める。
均一なアイコンは、どれも２種類の階調を有していて、
いずれか一方の階調を有する側が階調の均一な領域に隣
接しているものとして定義される。この隣接している側
の階調度が、階調の均一な領域の階調度と同じであるな
らば、階調の均一な領域の境界を拡張して、階調の不均
一なアイコンの中の同一階調度の部分を領域に含める。
【００２２】(3) この処理を階調の均一な総ての領域に
隣接している階調の不均一な各アイコンについて繰り返
す。
隣接している階調の不均一な各アイコンについて繰り返
す。
【００２３】階調の均一なアイコンの中で同一階調のも
のを統合して得られた領域を構成している各アイコンに
は同一の領域番号が割り当てられる。領域拡張処理を施
した階調の不均一なアイコンには、複数の領域番号が割
り当てられる。縁と角に当たる階調の不均一なアイコン
には二つの領域番号が割り当てられ、リボンに当たる階
調の不均一なアイコンには三つの領域番号が割り当てら
れる。スポットに当たる階調の不均一なアイコンはここ
では考慮しない。この処理により、階調の均一なアイコ
ンと階調の不均一なアイコンとからなる同一階調の領域
が形成される。この処理の詳細は先に引用した米国特許
出願「改良されたデータ伸張装置と方法」に記載されて
いる。
のを統合して得られた領域を構成している各アイコンに
は同一の領域番号が割り当てられる。領域拡張処理を施
した階調の不均一なアイコンには、複数の領域番号が割
り当てられる。縁と角に当たる階調の不均一なアイコン
には二つの領域番号が割り当てられ、リボンに当たる階
調の不均一なアイコンには三つの領域番号が割り当てら
れる。スポットに当たる階調の不均一なアイコンはここ
では考慮しない。この処理により、階調の均一なアイコ
ンと階調の不均一なアイコンとからなる同一階調の領域
が形成される。この処理の詳細は先に引用した米国特許
出願「改良されたデータ伸張装置と方法」に記載されて
いる。
【００２４】図５ａ及び図５ｂに図２の場景分割処理21
で実施される同一階調均一部統合化処理と領域拡張処理
とのそれぞれの結果を示す。両処理は図２の同一階調均
一部統合化処理32、階調不均一部統合化処理33、同一階
調均一部階調不均一部融合化処理34により実施される。
図５ａ及び図５ｂでは、矩形状のアイコンには階調度が
同一で面全体にわたって階調が均一な２種類のアイコン
50、51と、面に（斜めに分かれた）２種類の階調度を有
していて、縁を表すアイコン52とが含まれている。面領
域は階調度の均一なアイコンと階調度の不均一なアイコ
ンの両者で構成されている。縁を表すアイコン52は、他
の総ての階調度の不均一なアイコンと共に、複数の領域
に関係付けられている。即ち、縁を表すアイコン52には
複数の領域番号が割り当てられている。図５ａ及び図５
ｂでは、縁を表すアイコン52にはどれにも両領域番号1
及び2 が割り当てられている。この処理により、概要抽
出処理で検出した階調の相違に従って正確に境界を確定
することができる。
で実施される同一階調均一部統合化処理と領域拡張処理
とのそれぞれの結果を示す。両処理は図２の同一階調均
一部統合化処理32、階調不均一部統合化処理33、同一階
調均一部階調不均一部融合化処理34により実施される。
図５ａ及び図５ｂでは、矩形状のアイコンには階調度が
同一で面全体にわたって階調が均一な２種類のアイコン
50、51と、面に（斜めに分かれた）２種類の階調度を有
していて、縁を表すアイコン52とが含まれている。面領
域は階調度の均一なアイコンと階調度の不均一なアイコ
ンの両者で構成されている。縁を表すアイコン52は、他
の総ての階調度の不均一なアイコンと共に、複数の領域
に関係付けられている。即ち、縁を表すアイコン52には
複数の領域番号が割り当てられている。図５ａ及び図５
ｂでは、縁を表すアイコン52にはどれにも両領域番号1
及び2 が割り当てられている。この処理により、概要抽
出処理で検出した階調の相違に従って正確に境界を確定
することができる。
【００２５】境界の形成と線形特性抽出の両処理が図２
の場景分割処理21で実施される。場景分割処理21は３種
類の下位処理で構成されている。領域60〜63（図６ａ）
について、各領域の周囲に隣接して位置していて面の階
調が不均一なアイコンを相互に繋いで面の階調が不均一
なアイコンの連鎖を各領域の周囲に形成し、領域毎に連
鎖を調べて線分64〜68を形成し（図６ｂ）、各線分の始
まりと終わりにポインタを挿入する。次に、２つ以上の
領域の境界となる別の線分を形成する連鎖が側にないか
どうかについて線分64〜68を調べる。以上の一連の処理
の結果、同一階調均一部統合化処理と領域拡張処理とに
より形成された領域60〜63の各々を規定する境界線と、
長さ、方向、両端の座標により規定される線分70〜73
（図６ｃ）とが得られる。
の場景分割処理21で実施される。場景分割処理21は３種
類の下位処理で構成されている。領域60〜63（図６ａ）
について、各領域の周囲に隣接して位置していて面の階
調が不均一なアイコンを相互に繋いで面の階調が不均一
なアイコンの連鎖を各領域の周囲に形成し、領域毎に連
鎖を調べて線分64〜68を形成し（図６ｂ）、各線分の始
まりと終わりにポインタを挿入する。次に、２つ以上の
領域の境界となる別の線分を形成する連鎖が側にないか
どうかについて線分64〜68を調べる。以上の一連の処理
の結果、同一階調均一部統合化処理と領域拡張処理とに
より形成された領域60〜63の各々を規定する境界線と、
長さ、方向、両端の座標により規定される線分70〜73
（図６ｃ）とが得られる。
【００２６】図６ａ〜図６ｃには、図２の場景分割処理
21で実施される境界の形成と線形特性抽出の両処理の結
果が示されている。図６ａには同一階調均一部統合化処
理と領域拡張処理とにより形成された領域60〜63が示さ
れている。図６ｂには境界形成処理により領域60〜63毎
に得られた境界線が示されている。図６ｃには線形特性
抽出処理により得られた線分70〜73が示されている。
21で実施される境界の形成と線形特性抽出の両処理の結
果が示されている。図６ａには同一階調均一部統合化処
理と領域拡張処理とにより形成された領域60〜63が示さ
れている。図６ｂには境界形成処理により領域60〜63毎
に得られた境界線が示されている。図６ｃには線形特性
抽出処理により得られた線分70〜73が示されている。
【００２７】対象物形成処理は、図２の場景分割処理21
と特に図形合成処理35とにより実施される処理であり、
２種類の下位処理で構成されている。第１の下位処理
は、境界の形成と線形特性抽出の両処理により得られる
線形特性からリボン対象物75を形成して、リボン対象物
を表す記号を生成する。第２の下位処理は、同一階調均
一部統合化処理と領域拡張処理とにより得られた領域を
記号化して、領域対象物76〜78を生成する（図９ａ、図
９ｂ）。リボン及び領域のそれぞれの対象物は、属性図
の節点になる。記号による表示は属性として役立つ。図
７及び図８に領域及びリボンの各対象物75〜78について
演算した属性を示す。
と特に図形合成処理35とにより実施される処理であり、
２種類の下位処理で構成されている。第１の下位処理
は、境界の形成と線形特性抽出の両処理により得られる
線形特性からリボン対象物75を形成して、リボン対象物
を表す記号を生成する。第２の下位処理は、同一階調均
一部統合化処理と領域拡張処理とにより得られた領域を
記号化して、領域対象物76〜78を生成する（図９ａ、図
９ｂ）。リボン及び領域のそれぞれの対象物は、属性図
の節点になる。記号による表示は属性として役立つ。図
７及び図８に領域及びリボンの各対象物75〜78について
演算した属性を示す。
【００２８】図７には領域対象物の属性と、同図に示し
た式を用いて行う領域の境界及び凸閉包の演算とが示さ
れている。図８にはリボン対象物の属性が示されてい
る。図８の中で、(a) にはリボンの全長が、(b) にはリ
ボンの階調度が、(c) にはリボンの極性が、(d) にはリ
ボンの位置がそれぞれ示されている。図８の(b) 及び
(c) に記されている矢印は、リボンを構成する線分の向
きを表している。
た式を用いて行う領域の境界及び凸閉包の演算とが示さ
れている。図８にはリボン対象物の属性が示されてい
る。図８の中で、(a) にはリボンの全長が、(b) にはリ
ボンの階調度が、(c) にはリボンの極性が、(d) にはリ
ボンの位置がそれぞれ示されている。図８の(b) 及び
(c) に記されている矢印は、リボンを構成する線分の向
きを表している。
【００２９】領域対象物については、面積、周辺の長
さ、凸閉包の各属性を演算し、リボン対象物について
は、線分の表を調べて次の要件を満たす線分を一対だけ
探し出す。
さ、凸閉包の各属性を演算し、リボン対象物について
は、線分の表を調べて次の要件を満たす線分を一対だけ
探し出す。
【００３０】 要件(1) ： 互いに向きが１８０度違う一対の線分 要件(2) ： 互いに隣接している一対の線分 要件(3) ： 類似した階調度に隣接している一対の線分 要件(4) ： 対を構成する両線分のいずれかに平行な別
の線分をいずれも有していない一対の線分 以上の要件を満たす一対の線分が見つかると、両線分に
ついてリボン属性の演算をする。リボン対象物の属性に
は、(1) リボンの階調度、(2) リボンの極性（「濃い薄
い」又は「薄い濃い」）、(3) リボンの幅（両線分間の
距離）、(4)リボンの位置が含まれる。
の線分をいずれも有していない一対の線分 以上の要件を満たす一対の線分が見つかると、両線分に
ついてリボン属性の演算をする。リボン対象物の属性に
は、(1) リボンの階調度、(2) リボンの極性（「濃い薄
い」又は「薄い濃い」）、(3) リボンの幅（両線分間の
距離）、(4)リボンの位置が含まれる。
【００３１】図形合成処理及びこの処理に関連した図形
言語は、対象物形成処理により得られた領域やリボンの
各対象物75〜78（図９ａ、図９ｂ）間の関係を記述し、
領域対象物、リボン対象物、各対象物相互の関係から属
性構造図を作成する。領域と領域、領域とリボン、リボ
ンとリボンの関係を各対毎に演算する。この関係には空
間に関するもの（相互の隣接関係）と、比較に関するも
の（属性の比較）とがある。図形、節点、節点間の接続
肢、作図、図形処理は、いずれもこの分野では良く知ら
れているので、ここには詳述しない。図形処理の分野に
長けた者であれば、参照すべき属性と、ここに記載した
図形の詳細とが分かれば、ここに記載した図形を容易に
形成することができる。
言語は、対象物形成処理により得られた領域やリボンの
各対象物75〜78（図９ａ、図９ｂ）間の関係を記述し、
領域対象物、リボン対象物、各対象物相互の関係から属
性構造図を作成する。領域と領域、領域とリボン、リボ
ンとリボンの関係を各対毎に演算する。この関係には空
間に関するもの（相互の隣接関係）と、比較に関するも
の（属性の比較）とがある。図形、節点、節点間の接続
肢、作図、図形処理は、いずれもこの分野では良く知ら
れているので、ここには詳述しない。図形処理の分野に
長けた者であれば、参照すべき属性と、ここに記載した
図形の詳細とが分かれば、ここに記載した図形を容易に
形成することができる。
【００３２】領域対象物及びリボン対象物はいずれも属
性図の節点に１対１対応で属性と共に割り当てられる。
各対を構成している対象物相互の間の関係は、属性と共
に接続肢に割り当てられる。この方法により、撮像場景
を模式的に表す属性構造図が得られる。
性図の節点に１対１対応で属性と共に割り当てられる。
各対を構成している対象物相互の間の関係は、属性と共
に接続肢に割り当てられる。この方法により、撮像場景
を模式的に表す属性構造図が得られる。
【００３３】図９ａ〜図９ｃは、図２の図形合成装置35
で属性構造図80を生成する各工程を示している。属性構
造図80は、場景内の対象物を模式的に表す節点81〜84
と、対象物を記述する節点の属性と、場景内の対象物相
互の関係を模式的に表す接続肢と、対象物相互の関係を
記述する接続肢の属性とで構成されている。図９ｃの節
点1 は図９ａの対象物76、即ち、図９ｂの領域1 を表
し、図９ｃの節点2 は図９ａの対象物77、即ち、図９ｂ
の領域2 を表し、図９ｃの節点3 は図９ａの対象物78、
即ち、図９ｂの領域3 を表し、図９ｃの節点4 は図９ａ
の対象物75、即ち、図９ｂのリボン75を表している。リ
ボン及び領域の各対象物75〜78間の様々な接続関係は、
接続１−２、接続２−４、接続１−４、接続１−３、接
続２−３、接続３−４として各接続肢に表示されてい
る。この各接続肢には、対象物76である領域1 が対象物
77である領域2 の上に隣接して位置していることを示す
パラメータ、対象物76である領域1 が対象物78である領
域3 の左に位置していることを示すパラメータ、対象物
77である領域2 がリボン75の左に隣接して位置している
ことを示すパラメータ等が属性として含まれている。
で属性構造図80を生成する各工程を示している。属性構
造図80は、場景内の対象物を模式的に表す節点81〜84
と、対象物を記述する節点の属性と、場景内の対象物相
互の関係を模式的に表す接続肢と、対象物相互の関係を
記述する接続肢の属性とで構成されている。図９ｃの節
点1 は図９ａの対象物76、即ち、図９ｂの領域1 を表
し、図９ｃの節点2 は図９ａの対象物77、即ち、図９ｂ
の領域2 を表し、図９ｃの節点3 は図９ａの対象物78、
即ち、図９ｂの領域3 を表し、図９ｃの節点4 は図９ａ
の対象物75、即ち、図９ｂのリボン75を表している。リ
ボン及び領域の各対象物75〜78間の様々な接続関係は、
接続１−２、接続２−４、接続１−４、接続１−３、接
続２−３、接続３−４として各接続肢に表示されてい
る。この各接続肢には、対象物76である領域1 が対象物
77である領域2 の上に隣接して位置していることを示す
パラメータ、対象物76である領域1 が対象物78である領
域3 の左に位置していることを示すパラメータ、対象物
77である領域2 がリボン75の左に隣接して位置している
ことを示すパラメータ等が属性として含まれている。
【００３４】参照図形の処理は対象物形成処理及び図形
合成処理と同一の処理をするのであるが、次の２点が相
違している。即ち、参照図形の処理を予め済ましておい
てから、撮像及び撮像により得られた画像の分割及び記
述が行われるということと、入力が自動分割処理により
行われるのではなく、オペレータが図形入力装置を手動
操作することにより入力されることの２点である。
合成処理と同一の処理をするのであるが、次の２点が相
違している。即ち、参照図形の処理を予め済ましておい
てから、撮像及び撮像により得られた画像の分割及び記
述が行われるということと、入力が自動分割処理により
行われるのではなく、オペレータが図形入力装置を手動
操作することにより入力されることの２点である。
【００３５】図１０ａは領域1 、領域2 、リボン、所望
の照準点で構成されている参照場景90を示しており、図
１０ｂは図９ｃと同様に節点と接続関係とで構成されて
いる属性参照図形91を示している。図１０ｂの節点と接
続関係は図９ｃで述べた節点と接続関係と同じである。
の照準点で構成されている参照場景90を示しており、図
１０ｂは図９ｃと同様に節点と接続関係とで構成されて
いる属性参照図形91を示している。図１０ｂの節点と接
続関係は図９ｃで述べた節点と接続関係と同じである。
【００３６】図形照合処理38（図２）は参照用属性図と
属性図とを比較し、両図の類似度（信頼度数）に基づい
て両図に関する最良の共通図を生成し、信頼度数及び所
定の閾値に基づいて照合結果を生成する。各図の節点及
び接続関係に関する属性の整合度に基づいて可能性を判
定する。この判定には発見的手法（ヒューリスティック
探索）が用いられている。状態空間を木で表した場合
に、発見的手法には所定の閾値よりも大きい信頼度数を
生成できない経路を無視すること、解の曖昧な経路、即
ち、一方の図のある単一の物体が他方の図では複数の物
体に一致してしまうことになる経路を無視すること、元
々の場景における物体間の空間的な関係を維持していな
い経路を無視することが含まれる。
属性図とを比較し、両図の類似度（信頼度数）に基づい
て両図に関する最良の共通図を生成し、信頼度数及び所
定の閾値に基づいて照合結果を生成する。各図の節点及
び接続関係に関する属性の整合度に基づいて可能性を判
定する。この判定には発見的手法（ヒューリスティック
探索）が用いられている。状態空間を木で表した場合
に、発見的手法には所定の閾値よりも大きい信頼度数を
生成できない経路を無視すること、解の曖昧な経路、即
ち、一方の図のある単一の物体が他方の図では複数の物
体に一致してしまうことになる経路を無視すること、元
々の場景における物体間の空間的な関係を維持していな
い経路を無視することが含まれる。
【００３７】図１１は、図２の場景認識処理23の図形照
合部により得られた最良の共通図形92を示している。図
９ｃに示した図と図１０ｂに示した図との照合により、
図１１の共通図92が生成される。この処理は図形処理の
分野では公知の方法で実施されるので、ここでは詳細な
説明をしない。
合部により得られた最良の共通図形92を示している。図
９ｃに示した図と図１０ｂに示した図との照合により、
図１１の共通図92が生成される。この処理は図形処理の
分野では公知の方法で実施されるので、ここでは詳細な
説明をしない。
【００３８】図１２ａは指定された照準点94を有する参
照場景90を、図１２ｂは照準点95を有する撮像場景93を
それぞれ示している。図１２ａと図１２ｂとの比較か
ら、両図は撮像により得られた場景に存在する物体（領
域3 ）が参照図には存在していない場合を示しているこ
とが理解できる。この相違の他に、物体の付加や削除、
物体の大きさや形状の相違、撮像条件により生じる変化
などにも拘らず、照準点が適切に示されている。参照場
景90の照準点94は参照用属性図にも含まれていて、所望
の標的の位置を示している。この照準点をミサイルの標
的として撮像場景に「転写」する。この情報がミサイル
誘導装置に供給される。
照場景90を、図１２ｂは照準点95を有する撮像場景93を
それぞれ示している。図１２ａと図１２ｂとの比較か
ら、両図は撮像により得られた場景に存在する物体（領
域3 ）が参照図には存在していない場合を示しているこ
とが理解できる。この相違の他に、物体の付加や削除、
物体の大きさや形状の相違、撮像条件により生じる変化
などにも拘らず、照準点が適切に示されている。参照場
景90の照準点94は参照用属性図にも含まれていて、所望
の標的の位置を示している。この照準点をミサイルの標
的として撮像場景に「転写」する。この情報がミサイル
誘導装置に供給される。
【００３９】このように本発明では、場景を撮像して得
られた画像を直接に処理することをせずに、画像の概要
を抽出して模式図を作成し、模式図を処理して標的を探
し出すことにより演算量の減少と演算の高速化を同時に
達成している。更に、標的の識別処理に発見的手法を採
用して演算量の更なる減少と演算の更なる高速化を実現
している。この結果、標的を瞬時に識別して識別した標
的を正確に追跡する場景認識装置及び場景認識方法を提
供することが可能になった。
られた画像を直接に処理することをせずに、画像の概要
を抽出して模式図を作成し、模式図を処理して標的を探
し出すことにより演算量の減少と演算の高速化を同時に
達成している。更に、標的の識別処理に発見的手法を採
用して演算量の更なる減少と演算の更なる高速化を実現
している。この結果、標的を瞬時に識別して識別した標
的を正確に追跡する場景認識装置及び場景認識方法を提
供することが可能になった。
【００４０】以上に標的の識別と追跡をするための新規
で改良された場景認識装置を述べたが、以上に述べた場
景認識装置は飽くまでも本発明の原理を適用した様々な
実施態様の中の一例に過ぎないことを断っておく。この
技術分野で通常の知識を有する者であれば、以上に説明
に基づいて本発明を本発明の範囲内で種々様々に実施で
きることは言うまでもない。
で改良された場景認識装置を述べたが、以上に述べた場
景認識装置は飽くまでも本発明の原理を適用した様々な
実施態様の中の一例に過ぎないことを断っておく。この
技術分野で通常の知識を有する者であれば、以上に説明
に基づいて本発明を本発明の範囲内で種々様々に実施で
きることは言うまでもない。
【図１】本発明の原理に基づいて標的の識別及び追跡を
する場景認識装置のブロック図。
する場景認識装置のブロック図。
【図２】図１の装置の機能を示すブロック図。
【図３】概要抽出処理の前半を示す図。
【図４】概要抽出処理の後半を示す図。
【図５】図２の場景分割処理で行われる同一階調均一部
統合化処理と領域拡張処理との概略を示す図。
統合化処理と領域拡張処理との概略を示す図。
【図６】図２の場景分割処理で行われる境界の形成と線
形特性抽出の両処理の結果を示す図。
形特性抽出の両処理の結果を示す図。
【図７】図２の場景分割処理で行われる対象物形成処理
において、領域対象物の属性の演算の概略を示す図。
において、領域対象物の属性の演算の概略を示す図。
【図８】図２の場景分割処理で行われる対象物形成処理
において、リボン対象物の属性の演算の概略を示す図。
において、リボン対象物の属性の演算の概略を示す図。
【図９】属性図の形成過程の概略を示す図。
【図１０】図１０ａは参照場景図、図１０ｂは参照用属
性図。
性図。
【図１１】図２の場景認識処理の中の図形照合処理によ
り得られる最良の共通属性図。
り得られる最良の共通属性図。
【図１２】図１２ａは照準点を有する参照場景図、図１
２ｂは合成処理により得られた照準点を有する場景図。
２ｂは合成処理により得られた照準点を有する場景図。
１１…概要抽出装置、１２…図形照合プロセッサ、１３
…図形合成装置、１４…図形照合装置、１５…照準点確
定装置、１６…参照図形記憶装置、２１…場景分割処
理、２２…場景記述処理、２３…場景認識処理、２４…
ミサイル誘導装置、３１…概要抽出処理、３２…同一階
調均一部統合化処理、３３…階調不均一部統合化処理、
３４…同一階調均一部階調不均一部融合化処理、３５…
図形合成処理、３６…参照図、３７…図形照合処理、３
８…標的確定処理
…図形合成装置、１４…図形照合装置、１５…照準点確
定装置、１６…参照図形記憶装置、２１…場景分割処
理、２２…場景記述処理、２３…場景認識処理、２４…
ミサイル誘導装置、３１…概要抽出処理、３２…同一階
調均一部統合化処理、３３…階調不均一部統合化処理、
３４…同一階調均一部階調不均一部融合化処理、３５…
図形合成処理、３６…参照図、３７…図形照合処理、３
８…標的確定処理
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジェリー・エー・バーマン アメリカ合衆国、カリフォルニア州 91361、ウエストレイク・ビレッジ、 ラ・ベンタ・ドライブ 4114 (72)発明者 ビクトリア・ゴア アメリカ合衆国、カリフォルニア州 91306、カノガ・パーク、アークウッ ド・ストリート 19912 (72)発明者 マイケル・ケー・ダニエルス アメリカ合衆国、カリフォルニア州 91324、ノースリッジ、ナンバー178、バ ナルデン 9000 (72)発明者 ウォルター・ダブリユ・タケット アメリカ合衆国、カリフォルニア州 91306、カノガ・パーク、ボーズ・スト リート 20307 (72)発明者 クレイグ・シー・ラインハート アメリカ合衆国、カリフォルニア州 93021、ムーアパーク、シルバー・クリ ーク 12967 (72)発明者 ブルース・エー・バーガー アメリカ合衆国、カリフォルニア州 93065、シミ・バレイ、ボディー・アベ ニュー 1662 (72)発明者 ブライアン・ジェイ・バーゾール アメリカ合衆国、カリフォルニア州 91306、カノガ・パーク、サニー・ブ レ・アベニュー 6756 (56)参考文献 米国特許4783829（ＵＳ，Ａ)
Claims (7)
- 【請求項１】 撮像した場景を処理して標的の識別及び
追跡をする場景認識装置において、 概要抽出処理手段と、図形合成処理手段と、参照図形記
憶処理手段と、図形照合処理手段とを具備し、 概要抽出処理手段は、撮像した場景から得られて場景を
表示する画像データを処理し、所定の一組の属性を用い
て画像を模式的に表示する矩形状のアイコンからなる行
列に画像データを変換して場景から概要を抽出するもの
で、同一階調均一部統合化処理手段と、この同一階調均
一部統合化処理手段に接続されている領域拡張処理手段
とを有していて、 同一階調均一部統合化処理手段は、階調が全面にわたっ
て均一である矩形状のアイコンを階調に応じて分類し
て、階調が全面にわたって均一である矩形状のアイコン
からなる領域を階調毎に生成し、この各領域を構成する
階調が全面にわたって均一である矩形状のアイコンの
数、当該アイコンの階調度の平均、当該アイコンのリス
トにより各領域を記述し、各領域の境界をブロック単位
で確定し、 領域拡張処理手段は、同一階調均一部統合化処理手段に
よりブロック単位で確定された境界に隣接していて階調
が不均一である矩形状のアイコンを境界に追加して境界
線を確定し、 図形合成処理手段は、この概要抽出処理手段に接続され
ていて、矩形状のアイコンを処理して場景内の物体を表
す所定の物体像を生成し、物体像相互の関係を計算して
個々の物体像及び物体像相互の関係から属性を記述した
属性記述図を形成し、これに基づいて物体像一つに付き
一つの節点を割り当て、これに当該物体像の属性を付け
加え、更に物体像の相互関係を物体像の対毎に当該対の
属性と共に節点接続肢に付け加えて、撮像した場景を模
式的に表示する完全に構造化された属性図を形成し、 参照図形記憶処理手段は図形合成処理手段に接続されて
いて、画像からなるデータ内に存在している筈の物体を
表す様々な所定の図や図形を参照用に格納していて、 図形照合処理手段は図形合成処理手段に接続されてい
て、所定の参照用属性図と撮像画像を処理して形成した
属性図とを比較して、属性図と参照用属性図との類似度
及び所定の閾値に基づいて物体を識別し、標的決定信号
を出力し、 標的決定信号がミサイル誘導装置に入力されてミサイル
を標的に向かって誘導する場景認識装置。 - 【請求項２】 概要抽出処理手段が、領域拡張処理手段
に接続されていて境界の形成処理と線形特性の抽出処理
の両処理をする手段を更に有しており、境界の形成と線
形特性の抽出の両処理をする手段が、(1) 各領域の境界
の周囲に隣接している階調の不均一なアイコンを調べて
階調の不均一なアイコンの連鎖を形成し、(2) この連鎖
を領域毎に調べて連鎖の開始端と終端のそれぞれにポイ
ンタを挿入することにより線分を形成し、(3) 各線分を
調べて２つ以上の領域に関連している線分を相互に連結
して、同一階調均一部統合化処理及び領域拡張処理で形
成した領域毎に境界線を生成すると共に、境界線を長
さ、向き、両端の座標により記述する請求項１に記載の
場景認識装置。 - 【請求項３】 概要抽出処理手段が、境界の形成処理と
線形特性の抽出処理の両処理をする手段に接続されてい
る対象物形成処理手段を更に有しており、この対象物形
成処理手段が境界の形成処理と線形特性の抽出処理の両
処理をする手段で生成された線形特性からリボン対象物
を形成してリボン対象物を表す記号を生成し、同一階調
均一部統合化処理と領域拡張処理とにより得られた領域
を記号化して領域対象物を生成し、リボン及び領域の両
者を属性として属性図の節点を作成し、領域対象物につ
いて面積、周辺の長さ、凸閉包の各属性を演算し、リボ
ン対象物については線分対の表を調べて、(1) 向きが互
いに１８０度異なり、(2) 互いに隣接していて、(3) 類
似した階調度に隣接していて、(4) いずれかの線分に平
行な別の線分を有していない一対の線分を探し出し、以
上の制約を満たす一対の線分が見つかると、(1) 階調
度、(2) 明暗又は暗明の極性、(3) 両線分間の距離であ
る幅、(4) 位置からなるリボン属性を演算する請求項２
に記載の場景認識装置。 - 【請求項４】 ミサイルを標的に誘導するミサイル誘導
装置に連結され、撮像した場景を処理して標的の識別及
び追跡をする場景認識装置において、 概要抽出処理手段と、図形合成処理手段と、参照図形記
憶処理手段と、図形照合処理手段とを具備し、 概要抽出処理手段は、撮像した場景から得られて場景を
表示する画像データを処理し、所定の一組の属性を用い
て画像を模式的に表示する矩形状のアイコンからなる行
列に画像データを変換して場景から概要を抽出し、 図形合成処理手段は、この概要抽出処理手段に接続され
た対象物形成処理手段を有していて、対象物形成処理手
段により得られた領域及びリボンの各対象物の間の関連
性を演算して、領域及びリボンの各対象物及びそれらの
関連性から撮像場景属性図を形成し、この撮像場景属性
図に基づいて対象物一つに付き一つの節点を割り当て、
これに当該対象物の属性を付け加え、更に対象物の相互
関係を対象物の対毎に当該対の属性と共に節点接続肢に
付け加えて、撮像した場景を模式的に表示する完全に構
造化された属性図を形成し、 参照図形記憶処理手段は図形合成処理手段に接続されて
いて、画像からなるデータ内に存在している筈の物体を
表す様々な所定の図や図形を参照用に格納していて、 図形照合処理手段は図形合成処理手段に接続されてい
て、所定の参照用属性図と撮像画像を処理して形成した
属性図とを比較して物体を識別し、両図の類似度に基づ
いて最良の共通図を生成し、類似度の値及び閾値に基づ
いて識別結果を生成して標的決定信号を出力し、 標的決定信号をミサイル誘導装置に入力してミサイルを
標的に向かって誘導する場景認識装置。 - 【請求項５】 撮像した場景内に位置する標的の識別及
び追跡をする場景認識装置において、 概要抽出処理手段、同一階調均一部統合化処理手段、領
域拡張処理手段、境界の形成及び線形特性の抽出の両処
理をする手段、対象物形成処理手段、図形合成処理手
段、参照図記憶手段、図形照合処理手段を具備し、 概要抽出処理手段は、撮像した場景から得られて場景を
表示する画像データを処理し、所定の一組の属性を用い
て画像を模式的に表示する矩形状のアイコンからなる行
列に画像データを変換して場景から概要を抽出し、 同一階調均一部統合化処理手段は概要抽出処理手段に接
続されているものであり、階調が全面にわたって均一な
矩形状のアイコンを弛緩法により階調に応じて分類し
て、階調が全面にわたって均一な矩形状のアイコンから
なる領域を階調毎に生成し、この各領域を構成する階調
が全面にわたって均一な矩形状のアイコンの数、当該ア
イコンの階調度の平均、当該アイコンのリストにより各
領域を記述し、各領域の境界をブロック単位で確定し、 領域拡張処理手段は同一階調均一部統合化処理手段に接
続されているものであり、同一階調均一部統合化処理手
段によりブロック単位で確定された境界に隣接していて
階調が不均一である矩形状のアイコンを境界に追加して
境界線を確定可能にし、 境界の形成及び線形特性の抽出の両処理をする手段は領
域拡張処理手段に接続されているものであり、(1) 各領
域の境界の周囲に隣接している階調の不均一なアイコン
を調べて階調の不均一なアイコンの連鎖を形成し、(2)
この連鎖を領域毎に調べて連鎖の開始端と終端のそれぞ
れにポインタを挿入することにより線分を形成し、(3)
各線分を調べて２つ以上の領域に関連している線分を相
互に連結して、同一階調均一部統合化処理及び領域拡張
処理で形成した領域毎に境界線を生成すると共に、境界
線を長さ、向き、両端の座標により記述し、 対象物形成処理手段は境界の形成及び線形特性の抽出の
両処理をする手段に接続されているものであり、境界の
形成処理と線形特性の抽出処理の両処理をする手段で生
成された線形特性からリボン対象物を形成してリボン対
象物を表す記号を生成し、同一階調均一部統合化処理と
領域拡張処理とにより得られた領域を記号化して領域対
象物を生成し、リボン及び領域の両者を属性として属性
図の節点を作成し、領域対象物について面積、周辺の長
さ、凸閉包の各属性を演算し、リボン対象物については
線分対の表を調べて、(1) 向きが互いに１８０度異な
り、(2) 互いに隣接していて、(3) 類似した階調度に隣
接していて、(4) 対を構成しているいずれかの線分に平
行な別の線分を内部に有していない対を探索し、以上の
制約を満たす一対の線分が見つかると、(1) 階調度、
(2) 明暗又は暗明の極性、(3) 両線分間の距離である
幅、(4) 位置からなるリボン属性を演算し、 図形合成処理手段は、概要抽出処理手段に接続されてい
るものであり、矩形状のアイコンを処理して場景内の物
体を表す所定の物体像を生成し、物体像相互の関係を計
算して個々の物体像及び物体像相互の関係から属性を記
述した属性記述図を形成し、これに基づいて物体像一つ
に付き一つの節点を割り当て、これに当該物体像の属性
を付け加え、更に物体像の相互関係を物体像の対毎に当
該対の属性と共に節点接続肢に付け加えて、撮像した場
景を模式的に表示する完全に構造化された属性図を形成
し、 参照図形記憶処理手段は図形合成処理手段に接続されて
いて、画像からなるデータ内に存在している筈の物体を
表す様々な所定の図や図形を参照用に格納していて、 図形照合処理手段は図形合成処理手段に接続されてい
て、所定の参照用属性図と撮像画像を処理して形成した
属性図とを比較して、属性図と参照用属性図との類似度
に基づいて共通属性図を形成し、類似度と所定の閾値と
に基づいて物体を識別するもので、状態空間を木で表し
た場合に、所定の閾値よりも大きい類似度を生成できな
い経路を無視すること、解の曖昧な経路、即ち、一方の
図のある単一の物体が他方の図では複数の物体に一致し
てしまうことになる経路を無視すること、元々の場景に
おける物体間の空間的な関係を維持していない経路を無
視することを含むヒューリスティックな知識を利用した
深さ優先探索技術を用いて、属性図の節点及び接続肢と
参照属性図の節点及び接続肢とを照合する場景認識装
置。 - 【請求項６】 撮像した場景から得られて場景を表示す
る画像データを処理し、所定の一組の属性を用いて画像
を模式的に表示する矩形状のアイコンからなる行列に画
像データを変換して場景から概要を抽出する工程と、 矩形状のアイコンを処理して、矩形状のアイコン及びア
イコン相互の関係からなる領域及びリボンの両対象から
撮像場景属性図を形成し、これに基づいて領域及びリボ
ンの各対象を属性と共に各節点に対象毎に付け加え、更
に対象相互の関係を属性と共に接続肢に付け加えること
により、撮像した場景を模式的に表示する完全に構造化
された属性図を形成する工程と、 撮像場景からなるデータ内に存在している筈の物体を表
す様々な所定の図や図形を参照用に格納する工程と、 所定の参照用属性図と撮像画像を処理して形成した属性
図とを比較して物体を識別し、標的照準点の決定信号を
ミサイル誘導装置に出力して、ミサイルを標的に向かっ
て誘導する工程とを具備した場景認識方法。 - 【請求項７】 画像データを処理する工程には、 階調が全面にわたって均一な矩形状のアイコンを弛緩法
に基づくアルゴリズムにより階調に応じて分類して、階
調が全面にわたって均一な矩形状のアイコンからなる領
域を階調毎に生成し、この各領域を構成する階調が全面
にわたって均一な矩形状のアイコンの数、当該アイコン
の階調度の平均、当該アイコンのリストにより各領域を
記述し、各領域の境界をブロック単位で確定する段階
と、 ブロック単位で確定された境界に隣接していて階調が不
均一である矩形状のアイコンを境界に追加して境界線を
確定する段階とが含まれている請求項６に記載の場景認
識方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/633,833 US5093869A (en) | 1990-12-26 | 1990-12-26 | Pattern recognition apparatus utilizing area linking and region growth techniques |
| US633833 | 1990-12-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04306499A JPH04306499A (ja) | 1992-10-29 |
| JP2518578B2 true JP2518578B2 (ja) | 1996-07-24 |
Family
ID=24541303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3345159A Expired - Lifetime JP2518578B2 (ja) | 1990-12-26 | 1991-12-26 | 場景認識装置及び場景認識方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US5093869A (ja) |
| EP (1) | EP0492512A3 (ja) |
| JP (1) | JP2518578B2 (ja) |
| KR (1) | KR940006841B1 (ja) |
| AU (1) | AU644923B2 (ja) |
| CA (1) | CA2055714C (ja) |
| IL (1) | IL100104A (ja) |
| NO (1) | NO914813L (ja) |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2502175B2 (ja) * | 1990-08-18 | 1996-05-29 | 富士通株式会社 | 原画像パタ―ンデ―タ再生方法及び装置 |
| GB9020082D0 (en) * | 1990-09-14 | 1990-10-24 | Crosfield Electronics Ltd | Methods and apparatus for defining contours in coloured images |
| US5265173A (en) * | 1991-03-20 | 1993-11-23 | Hughes Aircraft Company | Rectilinear object image matcher |
| US5268967A (en) * | 1992-06-29 | 1993-12-07 | Eastman Kodak Company | Method for automatic foreground and background detection in digital radiographic images |
| JP3298072B2 (ja) * | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
| EP0686932A3 (en) * | 1994-03-17 | 1997-06-25 | Texas Instruments Inc | Computer vision system to search for three-dimensional rectangular objects |
| US5671294A (en) * | 1994-09-15 | 1997-09-23 | The United States Of America As Represented By The Secretary Of The Navy | System and method for incorporating segmentation boundaries into the calculation of fractal dimension features for texture discrimination |
| JP2738325B2 (ja) * | 1995-01-24 | 1998-04-08 | 日本電気株式会社 | 動き補償フレーム間予測装置 |
| US5706361A (en) * | 1995-01-26 | 1998-01-06 | Autodesk, Inc. | Video seed fill over time |
| IL114839A0 (en) * | 1995-08-04 | 1997-02-18 | Spiegel Ehud | Apparatus and method for object tracking |
| JPH11510995A (ja) * | 1995-08-16 | 1999-09-21 | スー バエ、ヨウン | 動力及び電力を発生するための回転装置の磁気回路 |
| US5894525A (en) * | 1995-12-06 | 1999-04-13 | Ncr Corporation | Method and system for simultaneously recognizing contextually related input fields for a mutually consistent interpretation |
| US6084989A (en) * | 1996-11-15 | 2000-07-04 | Lockheed Martin Corporation | System and method for automatically determining the position of landmarks in digitized images derived from a satellite-based imaging system |
| US5978504A (en) * | 1997-02-19 | 1999-11-02 | Carnegie Mellon University | Fast planar segmentation of range data for mobile robots |
| JP3862374B2 (ja) * | 1997-09-04 | 2006-12-27 | キヤノン株式会社 | 画像処理装置及び方法 |
| US6144379A (en) * | 1997-11-20 | 2000-11-07 | International Business Machines Corporation | Computer controlled user interactive display system for presenting graphs with interactive icons for accessing related graphs |
| EP0996091B1 (en) * | 1998-04-07 | 2015-12-30 | Omron Corporation | Image processing device and method, medium on which program for image processing is stored, and inspecting device |
| ATE282845T1 (de) * | 1998-07-08 | 2004-12-15 | Siemens Ag | Verfahren und anordnung zur ermittlung eines ähnlichkeitsmasses einer ersten struktur mit mindestens einer vorgegebenen zweiten struktur |
| JP3667173B2 (ja) * | 1999-09-27 | 2005-07-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US6671407B1 (en) * | 1999-10-19 | 2003-12-30 | Microsoft Corporation | System and method for hashing digital images |
| US6847979B2 (en) * | 2000-02-25 | 2005-01-25 | Synquiry Technologies, Ltd | Conceptual factoring and unification of graphs representing semantic models |
| US7020775B2 (en) * | 2001-04-24 | 2006-03-28 | Microsoft Corporation | Derivation and quantization of robust non-local characteristics for blind watermarking |
| US7356188B2 (en) | 2001-04-24 | 2008-04-08 | Microsoft Corporation | Recognizer of text-based work |
| US6996273B2 (en) * | 2001-04-24 | 2006-02-07 | Microsoft Corporation | Robust recognizer of perceptually similar content |
| US6973574B2 (en) * | 2001-04-24 | 2005-12-06 | Microsoft Corp. | Recognizer of audio-content in digital signals |
| EP1393197A4 (en) * | 2001-06-04 | 2006-08-16 | Barra Inc | METHOD AND DEVICE FOR CREATING COHERENT RISK FORECASTS AND AGGREGATING FACTORIAL MODELS |
| US7113637B2 (en) * | 2001-08-24 | 2006-09-26 | Industrial Technology Research Institute | Apparatus and methods for pattern recognition based on transform aggregation |
| GB2384095B (en) * | 2001-12-10 | 2004-04-28 | Cybula Ltd | Image recognition |
| US7746379B2 (en) * | 2002-12-31 | 2010-06-29 | Asset Intelligence, Llc | Sensing cargo using an imaging device |
| US7336819B2 (en) * | 2003-12-29 | 2008-02-26 | Eastman Kodak Company | Detection of sky in digital color images |
| US7831832B2 (en) * | 2004-01-06 | 2010-11-09 | Microsoft Corporation | Digital goods representation based upon matrix invariances |
| US7587064B2 (en) * | 2004-02-03 | 2009-09-08 | Hrl Laboratories, Llc | Active learning system for object fingerprinting |
| US7421112B2 (en) * | 2004-03-12 | 2008-09-02 | General Electric Company | Cargo sensing system |
| US7770014B2 (en) * | 2004-04-30 | 2010-08-03 | Microsoft Corporation | Randomized signal transforms and their applications |
| US8294763B2 (en) * | 2007-12-14 | 2012-10-23 | Sri International | Method for building and extracting entity networks from video |
| US8036468B2 (en) | 2007-12-24 | 2011-10-11 | Microsoft Corporation | Invariant visual scene and object recognition |
| RU2507538C2 (ru) * | 2009-10-19 | 2014-02-20 | Алексей Александрович Галицын | Способ группового опознавания объектов ("свой-чужой") и обеспечения целеуказания на основе беспроводной системы позиционирования в реальном масштабе времени и интеллектуальных радаров |
| US20110232719A1 (en) * | 2010-02-17 | 2011-09-29 | Freda Robert M | Solar power system |
| US8909950B1 (en) | 2010-04-18 | 2014-12-09 | Aptima, Inc. | Systems and methods of power management |
| US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
| WO2013126144A2 (en) * | 2012-02-20 | 2013-08-29 | Aptima, Inc. | Systems and methods for network pattern matching |
| US9076062B2 (en) * | 2012-09-17 | 2015-07-07 | Gravity Jack, Inc. | Feature searching along a path of increasing similarity |
| US9406138B1 (en) | 2013-09-17 | 2016-08-02 | Bentley Systems, Incorporated | Semi-automatic polyline extraction from point cloud |
| US10637814B2 (en) | 2017-01-18 | 2020-04-28 | Microsoft Technology Licensing, Llc | Communication routing based on physical status |
| US10437884B2 (en) | 2017-01-18 | 2019-10-08 | Microsoft Technology Licensing, Llc | Navigation of computer-navigable physical feature graph |
| US10635981B2 (en) | 2017-01-18 | 2020-04-28 | Microsoft Technology Licensing, Llc | Automated movement orchestration |
| US11094212B2 (en) * | 2017-01-18 | 2021-08-17 | Microsoft Technology Licensing, Llc | Sharing signal segments of physical graph |
| US10606814B2 (en) | 2017-01-18 | 2020-03-31 | Microsoft Technology Licensing, Llc | Computer-aided tracking of physical entities |
| US10482900B2 (en) | 2017-01-18 | 2019-11-19 | Microsoft Technology Licensing, Llc | Organization of signal segments supporting sensed features |
| US10679669B2 (en) | 2017-01-18 | 2020-06-09 | Microsoft Technology Licensing, Llc | Automatic narration of signal segment |
| CN111522967B (zh) * | 2020-04-27 | 2023-09-15 | 北京百度网讯科技有限公司 | 知识图谱构建方法、装置、设备以及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4783829A (en) | 1983-02-23 | 1988-11-08 | Hitachi, Ltd. | Pattern recognition apparatus |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3725576A (en) * | 1962-09-12 | 1973-04-03 | Us Navy | Television tracking system |
| GB1409448A (en) * | 1966-04-27 | 1975-10-08 | Emi Ltd | Automatic target following apparatus |
| US3794272A (en) * | 1967-02-13 | 1974-02-26 | Us Navy | Electro-optical guidance system |
| US4115803A (en) * | 1975-05-23 | 1978-09-19 | Bausch & Lomb Incorporated | Image analysis measurement apparatus and methods |
| US4047154A (en) * | 1976-09-10 | 1977-09-06 | Rockwell International Corporation | Operator interactive pattern processing system |
| US4183013A (en) * | 1976-11-29 | 1980-01-08 | Coulter Electronics, Inc. | System for extracting shape features from an image |
| US4267562A (en) * | 1977-10-18 | 1981-05-12 | The United States Of America As Represented By The Secretary Of The Army | Method of autonomous target acquisition |
| DE3505793A1 (de) * | 1984-02-21 | 1985-08-22 | Kabushiki Kaisha Komatsu Seisakusho, Tokio/Tokyo | Objektidentifikationsverfahren |
| GB2210487B (en) * | 1987-09-11 | 1991-07-10 | Gen Electric Co Plc | Object recognition |
| DE3823814A1 (de) * | 1988-07-14 | 1990-02-01 | Messerschmitt Boelkow Blohm | Flugkoerperfuehrungssystem |
| GB8905926D0 (en) * | 1989-03-15 | 1990-04-25 | British Aerospace | Target aim point location |
-
1990
- 1990-12-26 US US07/633,833 patent/US5093869A/en not_active Expired - Lifetime
-
1991
- 1991-11-15 CA CA002055714A patent/CA2055714C/en not_active Expired - Fee Related
- 1991-11-20 IL IL10010491A patent/IL100104A/en not_active IP Right Cessation
- 1991-12-06 NO NO91914813A patent/NO914813L/no unknown
- 1991-12-20 EP EP19910121973 patent/EP0492512A3/en not_active Ceased
- 1991-12-23 AU AU90016/91A patent/AU644923B2/en not_active Ceased
- 1991-12-24 KR KR1019910024287A patent/KR940006841B1/ko not_active IP Right Cessation
- 1991-12-26 JP JP3345159A patent/JP2518578B2/ja not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4783829A (en) | 1983-02-23 | 1988-11-08 | Hitachi, Ltd. | Pattern recognition apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR920013189A (ko) | 1992-07-28 |
| KR940006841B1 (ko) | 1994-07-28 |
| IL100104A0 (en) | 1992-08-18 |
| AU9001691A (en) | 1992-07-09 |
| AU644923B2 (en) | 1993-12-23 |
| US5093869A (en) | 1992-03-03 |
| JPH04306499A (ja) | 1992-10-29 |
| NO914813L (no) | 1992-06-29 |
| CA2055714A1 (en) | 1992-06-27 |
| CA2055714C (en) | 1997-01-07 |
| IL100104A (en) | 1996-06-18 |
| NO914813D0 (no) | 1991-12-06 |
| EP0492512A3 (en) | 1993-12-08 |
| EP0492512A2 (en) | 1992-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2518578B2 (ja) | 場景認識装置及び場景認識方法 | |
| CN111914834B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN109934121B (zh) | 一种基于YOLOv3算法的果园行人检测方法 | |
| CN108416378B (zh) | 一种基于深度神经网络的大场景sar目标识别方法 | |
| US20210003697A1 (en) | Method and apparatus for end-to-end sar image recognition, and storage medium | |
| EP0534446B1 (en) | System with approximation means for recognizing graphical elements in a drawing | |
| US7324104B1 (en) | Method of centerline generation in virtual objects | |
| US6205242B1 (en) | Image monitor apparatus and a method | |
| CN110180186B (zh) | 一种地形图转换方法及系统 | |
| KR100937270B1 (ko) | 형태를 사용하여 객체를 표현 및 탐색하기 위한 방법 및 장치 | |
| CN110413816B (zh) | 彩色草图图像搜索 | |
| US10943352B2 (en) | Object shape regression using wasserstein distance | |
| CN110175504A (zh) | 一种基于多任务级联卷积网络的目标检测和对齐方法 | |
| KR101930940B1 (ko) | 영상 분석 장치 및 방법 | |
| CN113706480A (zh) | 一种基于关键点多尺度特征融合的点云3d目标检测方法 | |
| JP2007293558A (ja) | 目標物認識プログラム及び目標物認識装置 | |
| CN115335872A (zh) | 目标检测网络的训练方法、目标检测方法及装置 | |
| US20200410397A1 (en) | Search system, search method, and program | |
| CN116128883A (zh) | 一种光伏板数量统计方法、装置、电子设备及存储介质 | |
| CN114926738A (zh) | 一种基于深度学习的滑坡识别方法及系统 | |
| JP2004198530A (ja) | 地図更新システム、地図更新方法及びコンピュータプログラム | |
| CN114586075A (zh) | 用于位置识别的视觉对象实例描述符 | |
| JP4570995B2 (ja) | マッチング方法およびマッチング装置ならびにプログラム | |
| JP3066173B2 (ja) | パターンマッチング方法 | |
| JP4984261B2 (ja) | 目標物検出システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090517 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090517 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100517 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110517 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110517 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120517 Year of fee payment: 16 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120517 Year of fee payment: 16 |